国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于節(jié)點權(quán)重的網(wǎng)頁去噪方法的研究

2017-10-23 02:16健,張
計算機技術(shù)與發(fā)展 2017年10期
關(guān)鍵詞:樣式正文網(wǎng)頁

王 健,張 金

(南京郵電大學(xué) 計算機學(xué)院,江蘇 南京 210003)

基于節(jié)點權(quán)重的網(wǎng)頁去噪方法的研究

王 健,張 金

(南京郵電大學(xué) 計算機學(xué)院,江蘇 南京 210003)

隨著網(wǎng)絡(luò)信息的不斷增多,網(wǎng)頁信息不僅成為用戶的重要信息來源,同時也是數(shù)據(jù)挖掘、信息檢索等研究的重要數(shù)據(jù)來源。為提供高質(zhì)量的文本信息源,頁面去噪已經(jīng)成為網(wǎng)頁處理中不可忽視的步驟。隨著網(wǎng)頁制作技術(shù)的不斷提升,頁面中的視覺元素日益增多,網(wǎng)頁節(jié)點信息愈加豐富。視覺信息已經(jīng)成為頁面去噪中不可忽視的重要部分。從用戶的角度,在瀏覽網(wǎng)頁時,視覺的信息網(wǎng)頁能夠第一時間反映頁面中模塊的重要程度。傳統(tǒng)的頁面去噪技術(shù)過多地忽略了頁面的視覺特性,面對現(xiàn)今復(fù)雜的頁面結(jié)構(gòu),去噪效果大大下降。文中在綜合視覺信息和節(jié)點信息的基礎(chǔ)上,提出了一種基于節(jié)點權(quán)重的去噪方法,該方法充分考慮了節(jié)點的視覺特性和內(nèi)容特性。實驗結(jié)果表明,該方法在網(wǎng)頁去噪的準確率和召回率上有所提高。

視覺特性;節(jié)點權(quán)重;準確率;召回率

0 引 言

互聯(lián)網(wǎng)的飛速發(fā)展使得網(wǎng)絡(luò)上的信息急劇增加,網(wǎng)絡(luò)已經(jīng)與人們的生活緊緊相聯(lián)。網(wǎng)絡(luò)就像一個巨大的信息庫,提供了各種各樣的信息。人們可以從中查詢自己需要的知識,在豐富了生活的同時,給工作和學(xué)習(xí)也帶來了巨大的益處。但是,在網(wǎng)頁規(guī)模不斷擴大的同時,網(wǎng)絡(luò)上的信息并不像圖書館的書那樣編排得分類整齊,使得搜索和獲取信息變得非常困難。不僅如此,當(dāng)瀏覽網(wǎng)頁獲取信息時,往往發(fā)現(xiàn)網(wǎng)頁中充斥著大量的無關(guān)信息,如導(dǎo)航欄、廣告信息、浮動提示窗等,稱之為“噪聲”。這些“噪聲”往往與頁面的正文內(nèi)容無相關(guān)性,而且影響了網(wǎng)頁的可觀性,因此網(wǎng)頁的噪聲給信息的獲取增加了一道門檻。

面對海量信息,用戶能夠快速定位所需信息就成了當(dāng)務(wù)之急。為幫助用戶獲取更精確的信息,信息檢索[1]、文本挖掘[2]等技術(shù)應(yīng)運而生。而數(shù)據(jù)源的質(zhì)量將直接與這些技術(shù)息息相關(guān)。網(wǎng)頁中的噪聲內(nèi)容對于檢索技術(shù)來說,不僅有可能導(dǎo)致搜索的主題漂移[3],而且會影響索引建立,使得上述技術(shù)的處理效率和效果不夠完美。因此,研究網(wǎng)頁去噪技術(shù),即去除頁面中無關(guān)的導(dǎo)航欄、無用標簽等信息,準確抽取網(wǎng)頁的正文內(nèi)容,是非常有必要的。

目前的網(wǎng)頁去噪領(lǐng)域已存在許多研究成果,噪聲的處理也能提高頁面正文的提取效果。隨著硬件水平的提高,能夠展現(xiàn)的頁面內(nèi)容也越來越豐富,網(wǎng)頁的制作技術(shù)也百花齊放。網(wǎng)頁的制作者為了使網(wǎng)頁美觀,為頁面增加了更多的樣式修飾,提升了用戶體驗,但同時隨之而來的是越來越復(fù)雜的頁面結(jié)構(gòu),以及越來越多的噪聲信息。傳統(tǒng)的頁面從HTML4發(fā)展到HTML5[4],原有的table布局也被取代。傳統(tǒng)的頁面去噪聲技術(shù)已經(jīng)不能適應(yīng)復(fù)雜的新型網(wǎng)頁結(jié)構(gòu)。因此研究出相對簡單的去噪算法,能夠應(yīng)對復(fù)雜的新型網(wǎng)頁的處理需求,讓算法具有更好的健壯性,也是一個很有挑戰(zhàn)性的課題。

1 相關(guān)工作

目前國內(nèi)外關(guān)于頁面噪聲去除的研究中,已經(jīng)取得了不少成果,采用的方法多種多樣,涉及各個領(lǐng)域。但從去噪方法的成果來看,可以分為如下幾種:

(1)基于DOM結(jié)構(gòu)的方法。

DOM(Document Object Model)即文檔對象模型[5]的縮寫,根據(jù)網(wǎng)頁的標簽結(jié)構(gòu)信息能夠?qū)⒕W(wǎng)頁松散的HTML代碼表示成結(jié)構(gòu)清晰的DOM樹,因此較多的頁面去噪工作都是在DOM結(jié)構(gòu)的基礎(chǔ)上進行的。文獻[6]提出了基于DOM的頁面分塊方法,利用這種方法去除頁面的噪音信息,抽取正文內(nèi)容。文獻[7]在建立DOM樹的基礎(chǔ)上,以頁面中文本節(jié)點的視覺特性為特征,分別使用聚類等方法對DOM節(jié)點進行分類,得到頁面的正文信息。由于DOM結(jié)構(gòu)的節(jié)點中包含的語義等信息較少,文獻[8]在DOM樹的基礎(chǔ)上移入STU(Semantic Textual Units,語義文本單元),添加語義特征,構(gòu)造相應(yīng)的STU-DOM樹,并對其進行基于樹結(jié)構(gòu)的過濾和基于特征的剪枝,完成對網(wǎng)頁的去噪工作。

由于在制作網(wǎng)頁時,為了可維護性,采用嵌套的方式書寫HTML的標簽,將網(wǎng)頁信息轉(zhuǎn)換成DOM結(jié)構(gòu)的方法有較好的可適應(yīng)性。但是直接將網(wǎng)頁轉(zhuǎn)換成對應(yīng)的DOM,不考慮網(wǎng)頁原有的布局位置等信息,在HTML代碼不具有嵌套規(guī)范的情況下,生成的DOM樹將嚴重影響葉子節(jié)點的分析以及后續(xù)的剪枝操作。

(2)基于生成模板的方法。

該方法通常是根據(jù)一類網(wǎng)站共同的結(jié)構(gòu)特征。在此假設(shè)的基礎(chǔ)上,通過訓(xùn)練模式匹配和歸納學(xué)習(xí)生成包裝器得到該類網(wǎng)站的模板。包裝器的目的就是把網(wǎng)頁中有用的結(jié)構(gòu)信息以結(jié)構(gòu)化的形式存儲起來,在抽取頁面時,利用生成的包裝器去除頁面中的噪音。李文立等利用標簽對形式生成的樹結(jié)構(gòu)抽取網(wǎng)頁模板[9],效果較好,但沒有對前期的頁面進行去噪操作,抽取頁面正文的算法時間復(fù)雜度較高且沒有分類,模板健壯性較低。文獻[10]采用一些網(wǎng)頁作為訓(xùn)練集找到相應(yīng)的Xpath,將其用來抽取相似網(wǎng)頁的正文?;谏赡0宓姆椒?,往往由于訓(xùn)練集的數(shù)量問題,不僅效率較慢,且訓(xùn)練集的不準確會嚴重影響網(wǎng)頁的清洗率。

(3)基于統(tǒng)計的方法。

該方法克服了傳統(tǒng)網(wǎng)頁內(nèi)容抽取方法需要針對不同網(wǎng)頁結(jié)構(gòu)的問題,具有一定的普遍性,不需要生成模板,大大提高了正文抽取速度。文獻[11]針對制定規(guī)則,提出對標簽建立標簽庫,并根據(jù)中文字符數(shù)最多的決定網(wǎng)頁正文塊,但不利于短正文頁面的抽取。孫承杰等[12]提出正文信息只能位于

節(jié)點,將頁面HTML表示成DOM樹后對每個
節(jié)點進行處理,比較節(jié)點中的中文字符數(shù)量。該方法雖利用了中文網(wǎng)頁的特性,實現(xiàn)簡單,健壯性強,但未考慮英文網(wǎng)頁,且對短正文網(wǎng)頁效果不理想。

(4)基于視覺分塊的方法。

通常在瀏覽網(wǎng)頁時,人們往往將不同的功能區(qū)域看成不同的語義塊。較早的分塊方式是按照HTML的樹形結(jié)構(gòu)進行[13],但隨著HTML的發(fā)展,僅僅依賴樹形結(jié)構(gòu),不足以滿足通用性。2003年,微軟亞洲研究院提出基于頁面視覺分塊的算法(VIsion-based Page Segmentation,VIPS),利用頁面的可視化信息在樹形結(jié)構(gòu)的基礎(chǔ)上進行網(wǎng)頁分塊。然而它僅僅是一種分塊算法,利用已有的視覺信息,并未對頁面進行凈化操作,可以在算法的基礎(chǔ)上加入規(guī)則進行頁面凈化操作。文獻[14]通過修改VIPS算法迭代過程,在塊劃分后進行一系列的分隔條提取和語義塊重構(gòu),采用制定規(guī)則對頁面進行去噪操作。VIPS算法充分考慮了用戶的視覺習(xí)慣,但由于分隔條提取和語義塊重構(gòu)需要過多的人工參與,復(fù)雜度較高,且缺乏對網(wǎng)頁中和信息的利用。

文中在VIPS算法分塊的基礎(chǔ)上,提出樣式樹,再根據(jù)鏈接比及樹路徑距離生成相應(yīng)的權(quán)重樹,自動調(diào)整權(quán)重,根據(jù)權(quán)重進行剪枝操作,生成去噪頁面。

2 樣式樹定義

樣式樹由DOM樹演化而來[15],主要包含兩類虛擬節(jié)點:樣式節(jié)點(Style nodes)和元素節(jié)點(Element nodes)。樣式節(jié)點描述了節(jié)點布局或者展現(xiàn)風(fēng)格,樣式節(jié)點A的表現(xiàn)樣式SA是一個序列。其中l(wèi)i是一個二元組(Tag,Styles)元素,通常Styles表示為{width:300,height:200,bg-Color:red},n表示樣式長度。節(jié)點E描述節(jié)點的屬性信息,表示為E(Tag,Attrs,Content),其中Tag表示節(jié)點標識,Attrs表示屬性信息,Content表示節(jié)點的文本信息?;緲邮綐淙鐖D1所示。

圖1 基本樣式樹

3 基于節(jié)點權(quán)重的網(wǎng)頁去噪算法

3.1算法基本思想

基于節(jié)點權(quán)重的去噪算法在VIPS基礎(chǔ)上,將VIPS生成的基本視覺塊樹進行樣式樹的轉(zhuǎn)化,利用樣式樹節(jié)點中的樣式特性,將葉子節(jié)點劃分成細粒度的樣式樹,再對樣式樹進行權(quán)重標注,根據(jù)權(quán)重標注進行剪枝,生成去噪頁面。基本流程如圖2所示。

圖2 從樣本頁面到凈化頁面的總體流程

通常生成的樣式樹,無權(quán)重表示,在屬性節(jié)點的基礎(chǔ)上,引入權(quán)重節(jié)點的概念。權(quán)重節(jié)點T表示為QT,記為Q(k,d,t,m)。其中,k表示鏈接比,即當(dāng)前節(jié)點中鏈接數(shù)占總鏈接數(shù)的比值;d表示樹路徑距離,即當(dāng)前節(jié)點與容器節(jié)點在樹形結(jié)構(gòu)上的距離;t表示文本比,即當(dāng)前節(jié)點文本占總文本的比例;m表示節(jié)點私有屬性的權(quán)重系數(shù)。為了使H(Qi)的值落在[0,1]之間,使用節(jié)點的標簽個數(shù)n將H(Qi)歸一化。

(1)

其中,ki表示第i個標簽的鏈接比;ti表示第i個標簽的文本系數(shù);di表示第i個標簽的樹路徑距離;D表示權(quán)重樹中的節(jié)點路徑和。

3.2視覺塊樹細粒度化

通常,VIPS生成的視覺樹,只是初步提取了頁面的基本布局信息,粗粒度的視覺塊樹將噪聲和正文融合到了相同的塊中,必須進行細粒度化。此時對生成的樣式樹進行樣式節(jié)點和屬性節(jié)點的標注。對已經(jīng)標注完的塊節(jié)點,進行子元素的相似度分析。子元素的樣式節(jié)點用二元組表示,屬性節(jié)點標識為E(Tag,Attrs,Content),由于li的Styles是以鍵值對的形式存在,在此將鍵值對轉(zhuǎn)化為樣式系數(shù)Ci,將塊標簽Tag表示為HTML中對應(yīng)的NODE值,此時li表示為(Ti,Ci)。節(jié)點相似度判斷如下:

(2)

當(dāng)相關(guān)系數(shù)較小時,將子節(jié)點進行分裂。采用自頂向下的層次遍歷方式,完成對視覺樹的初步分裂。

3.3細節(jié)樹剪枝

此時得到的是一棵基于樣式的視覺樹,在樣式和基本屬性上已經(jīng)不可細分,在此基礎(chǔ)上進行噪聲的判斷。根據(jù)大量線上頁面的統(tǒng)計,噪聲區(qū)域往往有比正文區(qū)域更多的鏈接比,更少的文本比,以及更淺的樹距離。故此處引入權(quán)重節(jié)點的概念,對細粒度化的視覺塊樹進行自頂向下的標注,對權(quán)重低的節(jié)點進行剪枝操作。在初次遍歷的過程中,可進行一次簡單的預(yù)處理,對含有樣式樹節(jié)點中含有鍵值對display:none和position:fixed的節(jié)點進行刪除操作,前者是網(wǎng)頁中不做顯示的元素,后者是懸浮窗,據(jù)大量網(wǎng)頁的觀察,兩者都是判斷噪聲節(jié)點的重要依據(jù)。

剪枝算法描述如下:

(1)獲取樣式樹,設(shè)樣式樹為Ti;

(2)For(樣式樹的每個節(jié)點Qi)

(3)if(該節(jié)點的css屬性中含有position:fixed,display:none等鍵值對時) then

(4)刪除該節(jié)點;

(5)Else if

(6)計算出文本比,節(jié)點的距離深度,計算權(quán)重值H(Qi);

(7)For(樣式樹的每個節(jié)點QT);

(8)刪除平級節(jié)點中權(quán)重小的節(jié)點。

4 實 驗

4.1數(shù)據(jù)集

為了驗證文中算法的去噪效果,使用該算法對含有噪音的網(wǎng)頁進行處理??紤]到頁面抽取時信息獲取的客觀性,選取網(wǎng)易、新浪等頁面各200個,考研論壇等論壇型網(wǎng)頁200個,從網(wǎng)頁處理的整體效果出發(fā),進行網(wǎng)頁去噪的實驗。

4.2評價指標

在實驗中,常見的評測指標有準確率和召回率。由于準確率和召回率介于[0,1]之間,而且不相互獨立。所以文中引入同時兼顧準確率和召回率的F1,即F-measure,作為綜合評價指標。

準確率為:

P=t0/t1

(3)

召回率為:

R=t0/t2

(4)

其中,t0表示當(dāng)前頁面被抽取出的正文塊;t1表示當(dāng)前頁面中全部的正文塊;t2表示被當(dāng)做正文中抽取出來的信息塊。

由于在F-measure公式中β通常用來調(diào)節(jié)準確率和召回率的權(quán)重,而此處重點考慮的是網(wǎng)頁抽取的準確率和召回率,所以取β為1,最終用來判斷實驗效果的公式如下:

(5)

4.3實驗結(jié)果與分析

為了驗證文中算法,分別進行了兩組實驗,結(jié)果如表1和表2所示[16]。

表1 文中算法

表2 基于行塊分布函數(shù)算法

從上述實驗可以看出,文中算法在準確率和召回率方面要優(yōu)于基于行塊分布函數(shù)算法的頁面處理效果?;谛袎K分布函數(shù)的方法雖然實現(xiàn)簡單,但是對去除標簽后的文本分塊的數(shù)量選取將直接影響網(wǎng)頁正文提取的準確率,而且去除標簽同時也去除了頁面中大量可用的視覺信息,當(dāng)噪音文本與正文文本混雜時,將會被提取。文中充分考慮了頁面的視覺特征,在當(dāng)前視覺元素豐富的網(wǎng)頁中,從網(wǎng)頁制作者的方向出發(fā),利用大量的視覺特性,提取視覺系數(shù),再利用正文內(nèi)容特征,合理去除頁面中的噪音塊,使正文塊更易被識別。

5 結(jié)束語

文中在VIPS分塊的基礎(chǔ)上,引入了樣式樹的概念,取消了原有的基于視覺繁雜的啟發(fā)式的規(guī)則,只使用了VIPS粗粒度的視覺分塊,對粗粒度的視覺塊樹進行細粒度的劃分,進一步考慮了視覺塊之間的相關(guān)性,再對標注完權(quán)重的樣式樹進行去噪操作。實驗結(jié)果表明,該算法可以更好地去除頁面中導(dǎo)航欄等局部噪聲以及隱藏中正文塊的全局噪聲。該算法主要針對主題型頁面、論壇型頁面,但當(dāng)正文內(nèi)容和噪音內(nèi)容相似度較高時,去噪效果不夠理想,這是該算法的局限性。在以后的研究中,將進一步分析這些網(wǎng)頁的特征,尋求改進方法,增強算法的健壯性。

[1] 歐石燕,唐振貴,蘇翡斐.面向信息檢索的術(shù)語服務(wù)構(gòu)建與應(yīng)用研究[J].中國圖書館學(xué)報,2016,42(2):32-51.

[2] Witten I H,Frank E.Data mining:practical machine learning tools and techniques[M].[s.l.]:Morgan Kaufmann Publishers Inc.,2011:206-207.

[3] 高 琪,張永平.超鏈接導(dǎo)向搜索算法中主題漂移的研究[J].計算機應(yīng)用,2009,29(11):3100-3102.

[4] 劉華星,楊 庚.HTML5-下一代Web開發(fā)標準研究[J].計算機技術(shù)與發(fā)展,2011,21(8):54-58.

[5] 李效東,顧毓清.基于DOM的Web信息提取[J].計算機學(xué)報,2002,25(5):526-533.

[6] 胡金棟.網(wǎng)頁正文提取及去重技術(shù)研究[D].杭州:浙江大學(xué),2011.

[7] 汪建偉,楊冬青,高 軍,等.一種基于分類算法的網(wǎng)頁信息提取方法[J].計算機科學(xué),2008,35(3):91-93.

[8] 王 琦,唐世渭,楊冬青,等.基于DOM的網(wǎng)頁主題信息自動提取[J].計算機研究與發(fā)展,2004,41(10):1786-1792.

[9] 李文立,王樂超,宋春雷.基于HTML樹和模板的文獻信息提取方法研究[J].計算機應(yīng)用研究,2010,27(12):4615-4617.

[10] Fu Y,Yang D,Tang S,et al.Using XPath to discover informative content blocks of web pages[C]//Proceedings of third international conference on semantics,knowledge and grid.[s.l.]:[s.n.],2007.

[11] 趙 文,唐建雄,高慶鋒.基于統(tǒng)計的中文網(wǎng)頁正文抽取的研究[J].電腦知識與技術(shù),2008(1):120-123.

[12] 孫承杰,關(guān) 毅.基于統(tǒng)計的網(wǎng)頁正文信息抽取方法的研究[J].中文信息學(xué)報,2004,18(5):17-22.

[13] 劉晨曦,吳揚揚.一種基于塊分析的網(wǎng)頁去噪音方法[J].廣西師范大學(xué):自然科學(xué)版,2007,25(2):149-152.

[14] 穆 瓊.基于視覺特征的網(wǎng)頁清洗研究與實現(xiàn)[D].北京:北京郵電大學(xué),2013.

[15] Yi L,Liu B,Li X.Eliminating noisy information in Webpages for data mining[C]//Proceedings of the 9th ACMSIGKDD international conference on knowledge discovery and data mining.New York:ACM,2003:296-305.

[16] 高慶寧,吳 鵬,張晶晶.基于文檔對象模型與行塊分布算法的網(wǎng)頁信息抽取[J].情報理論與實踐,2016,39(4):133-137.

ResearchonWebPageDenoisingMethodBasedonNodeWeight

WANG Jian,ZHANG Jin

(College of Computer,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

As the network information is increasing continuously,website information is not only an important information resource of users,but also important data source for data mining,information retrieval and other studies.To provide the text information with high quality,website denoising has become a nonnegligible step for webpage processing.With the continuous improvement of webpage making technology,visual elements in webpage are raised increasingly,and the information of webpage node becomes richer and richer.Visual information has been a nonnegligible and important part in webpage denoising.From a user’s point of view,the visual information can immediately reflect the importance of module in the page when browsing the web page.Traditional webpage denoising technology is neglected in the visual characteristics of webpage too much.Facing to the current complex webpage,the denoising effects are decreased greatly.Based on the comprehensive visual information and node information,a noise weight-based denoising method is proposed which fully considers the visual and content characteristics of nodes.The experimental results indicate that its accuracy rate and recall rate is improved to certain content.

vision characteristics;node weight;accuracy rate;recall rate

TP301

A

1673-629X(2017)10-0083-04

2016-11-15

2017-03-07 < class="emphasis_bold">網(wǎng)絡(luò)出版時間

時間:2017-07-19

教育部專項研究項目(2013116)

王 健(1991-),男,碩士,研究方向為大數(shù)據(jù)。

http://kns.cnki.net/kcms/detail/61.1450.tp.20170719.1110.056.html

10.3969/j.issn.1673-629X.2017.10.018

猜你喜歡
樣式正文網(wǎng)頁
CPMF-I 取樣式多相流分離計量裝置
更正啟事
CPMF-I 取樣式多相流分離計量裝置
《現(xiàn)代畜牧獸皮》正文書寫規(guī)范
取樣式多相流分離計量裝置
基于HTML5與CSS3的網(wǎng)頁設(shè)計技術(shù)研究
基于CSS的網(wǎng)頁導(dǎo)航欄的設(shè)計
基于HTML5靜態(tài)網(wǎng)頁設(shè)計
基于URL和網(wǎng)頁類型的網(wǎng)頁信息采集研究
這是巴黎發(fā)布的新樣式
广宁县| 奉节县| 额敏县| 沙坪坝区| 阳江市| 资溪县| 汽车| 梅州市| 三都| 寿阳县| 宜丰县| 建水县| 宣武区| 伊金霍洛旗| 清远市| 栾川县| 宁津县| 济源市| 石门县| 乐安县| 鄂伦春自治旗| 溧阳市| 高雄县| 东方市| 定南县| 山西省| 仪陇县| 客服| 奉新县| 吉木乃县| 错那县| 敦化市| 凌海市| 湖口县| 澄江县| 陈巴尔虎旗| 鲁甸县| 延长县| 德阳市| 阿坝县| 陇西县|