企業(yè)做網(wǎng)站W(wǎng)eb頁(yè)面文本提取
日期 : 2021-01-29 22:55:11
Web頁(yè)面文本提取相對比較復雜, 這也正是本文研究的Web頁(yè)面自適應轉換系統的關(guān)鍵技術(shù)之一。對國內外的文獻進(jìn)行分析可以發(fā)現, Web頁(yè)面的文本提取技術(shù)基本可以分為兩類(lèi):基于DOM的Web頁(yè)面文本提取技術(shù)和非基于DOM的Web頁(yè)面提取技術(shù)。通常很多研究者會(huì )采用基于DOM的Web頁(yè)面文本提取技術(shù), 其技術(shù)發(fā)展比較成熟。
Web頁(yè)面的標簽和標簽之間、標簽和內容之間都存在著(zhù)層次關(guān)系, DOM樹(shù)是描述Web頁(yè)面結構的常用方法, DOM樹(shù)的葉子節點(diǎn)通常就是要提取的文本信息。因此, 通過(guò)一定的算法對Web頁(yè)面的DOM樹(shù)進(jìn)行遍歷, 進(jìn)行相應的篩查降噪處理之后, 可以得到目標的文本內容。
在實(shí)際的應用過(guò)程中, 利用Web頁(yè)面解析工具進(jìn)行頁(yè)面解析, 并修正其中不規范的地方, 構建Web頁(yè)面的DOM樹(shù)并進(jìn)行遞歸遍歷, 識別其中的非主要文本信息, 比如廣告、圖像等內容, 將噪聲節點(diǎn)移除即得到文本信息。
Web頁(yè)面的標簽和標簽之間、標簽和內容之間都存在著(zhù)層次關(guān)系, DOM樹(shù)是描述Web頁(yè)面結構的常用方法, DOM樹(shù)的葉子節點(diǎn)通常就是要提取的文本信息。因此, 通過(guò)一定的算法對Web頁(yè)面的DOM樹(shù)進(jìn)行遍歷, 進(jìn)行相應的篩查降噪處理之后, 可以得到目標的文本內容。
在實(shí)際的應用過(guò)程中, 利用Web頁(yè)面解析工具進(jìn)行頁(yè)面解析, 并修正其中不規范的地方, 構建Web頁(yè)面的DOM樹(shù)并進(jìn)行遞歸遍歷, 識別其中的非主要文本信息, 比如廣告、圖像等內容, 將噪聲節點(diǎn)移除即得到文本信息。
相關(guān)文章
精彩導讀
熱門(mén)資訊
