盧春光，周安民

（四川大學(xué)電子信息學(xué)院，成都 610065）

基于TF＊PDF的熱點新聞發(fā)現(xiàn)研究

盧春光，周安民

（四川大學(xué)電子信息學(xué)院，成都 610065）

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)新聞呈現(xiàn)爆炸式的增長，如何有效發(fā)現(xiàn)熱點新聞成為了當前研究的熱點之一。TF*PDF算法側(cè)重文本中熱點詞的計算，但沒有考慮用戶的影響。用戶的閱讀和評論在熱點新聞的發(fā)展和形成過程中起到催化劑的作用，引入用戶關(guān)注度用來表示熱點新聞受關(guān)注的程度，提出一種基于TF*PDF算法和用戶關(guān)注度相結(jié)合的熱點新聞發(fā)現(xiàn)方法。首先采用TF*PDF算法發(fā)現(xiàn)熱點新聞相關(guān)的熱點詞匯，然后計算出用戶關(guān)注度以發(fā)現(xiàn)熱點新聞。實驗結(jié)果表明，該方法可以有效發(fā)現(xiàn)熱點新聞。

熱點詞；用戶關(guān)注度；熱點新聞

0 引言

網(wǎng)絡(luò)熱點新聞是指能呈現(xiàn)當前重要事件、反映當前關(guān)注焦點和輿論傾向的新聞。普通新聞發(fā)展成為熱點新聞包括：新聞報道被各大網(wǎng)站轉(zhuǎn)載，吸引人們關(guān)注，人們受新聞評論的影響，產(chǎn)生思想共鳴或異議，進而產(chǎn)生對個人的影響，新聞事件持續(xù)的傳播，受到影響的人數(shù)越來越多，最終發(fā)展成為熱點新聞，對社會造成一定的影響。熱點新聞的特點包括關(guān)注廣泛性，利益相關(guān)性，重復(fù)轉(zhuǎn)載性和漸進持續(xù)性。網(wǎng)絡(luò)熱點新聞的發(fā)現(xiàn)能夠幫助人們了解當前的社會動態(tài)，關(guān)注民生，同時也能幫助政府部門及時掌握社會輿情的發(fā)展態(tài)勢，進而正確引導(dǎo)輿情發(fā)展。用戶的參與和討論，在熱點新聞的形成和發(fā)展過程中，產(chǎn)生了重要的影響，因此提出用戶關(guān)注度來定量化表示用戶的行為對熱點新聞所起的影響和作用。

1 相關(guān)工作

熱點新聞的發(fā)現(xiàn)借鑒了話題檢測與跟蹤TDT（Topic Detection and Tracking）的理論和方法。TDT起源于早期面向事件的檢測與跟蹤（Event Detection and Tracking）[1]。它最初是要創(chuàng)造一種算法，用來發(fā)現(xiàn)數(shù)據(jù)流中的重要信息，其基本思想是話題檢測與追蹤，該項目在熱點關(guān)鍵詞挖掘檢測方面主要針對突發(fā)性網(wǎng)絡(luò)輿情事件的挖掘和網(wǎng)絡(luò)輿情熱點跟蹤方面的研究[2]。中科院計算機研究所張華平等人提出了一種基于主題詞的網(wǎng)絡(luò)熱點發(fā)現(xiàn)算法[3]。其基本思想就是將主題詞表生成主題詞候選集，對其進行過濾和權(quán)重計算，以主題詞為線索，使用多特征的話題模型，結(jié)合新聞和微博等相應(yīng)特征實現(xiàn)網(wǎng)絡(luò)熱點話題的發(fā)現(xiàn)。萬曉霞等提出了基于三種聚類算法相結(jié)合的話題發(fā)現(xiàn)算法和熱度計算方法[4]，通過選擇層次聚類對每天的新聞進行聚類得出微類，再選擇K-Means聚類算法對每月的微類進行聚類，最后將每個月的熱點事件通過增量聚類得到該年度的熱點新聞；吳永輝等將仿射傳播聚類算法（A，P）[5-6]和LDA模型相結(jié)合，提出了一種自適應(yīng)網(wǎng)絡(luò)主題發(fā)現(xiàn)和熱點新聞發(fā)現(xiàn)方法[7]；王義等通過將字符串核函數(shù)（string kernel）計算文本相似度并應(yīng)用到文本聚類，提出了基于字符串核函數(shù)的熱點新聞發(fā)現(xiàn)方法[8]。Bun和Ishizuka等提出了一種基于TF*PDF的算法[9]用于熱點話題的發(fā)現(xiàn)，但是沒有考慮到用戶的影響因素。本文借用百度指數(shù)的思想用熱點新聞的關(guān)注度來描述當前新聞被關(guān)注的程度，提出了基于TF*PDF和用戶關(guān)注度相結(jié)合的熱點新聞發(fā)現(xiàn)算法。

2 基于TF＊PDF和用戶關(guān)注度的熱點新聞發(fā)現(xiàn)算法

2.1 TF★PDF算法

在傳統(tǒng)的TF*IDF[10-11]算法中，更看重出現(xiàn)在較少文章中的詞匯，而Bun和Ishizuka提出的TF*PDF算法是一種新的衡量詞匯權(quán)重的算法，該算法認為越是出現(xiàn)在多個文章中的單詞被認為是熱門主題單詞的可能性越大。其計算公式如式如下所示：

其中,Wj表示詞匯j的權(quán)重；Fjc表示詞匯j在渠道c出現(xiàn)的頻率；njc表示詞匯j所在的渠道包含的文檔數(shù)量；Nc表示渠道c中文檔的總數(shù)量；k表示一個渠道詞匯的總數(shù)量；D表示渠道的數(shù)量。

TF*PDF算法主要有三部分組成；一是單詞j的權(quán)重是由該單詞在每個渠道中的權(quán)重求和得到的；二是Fjc，因為在不同的渠道中詞匯集的大小不同，在具有較多文章的渠道中單詞j出現(xiàn)的頻率越大，也即是Fjc的值越大；三是PDF（Proportional Document Frequency）這部分表示越是在多個文章中出現(xiàn)的單詞，其價值越大，權(quán)重也就越大。

在TF*PDF算法中，某個渠道詞匯的權(quán)重和該詞匯在渠道中出現(xiàn)的頻率成線性比，與該渠道包含詞匯的文檔比率數(shù)呈指數(shù)比。該詞匯的總權(quán)重為該詞匯在每個渠道的權(quán)重之和。

2.2 用戶關(guān)注度的計算

用戶關(guān)注度是指熱點新聞被用戶關(guān)注的程度。影響用戶關(guān)注度的參數(shù)主要是新聞閱讀數(shù)、新聞評論數(shù)和單位時間新聞評論數(shù)。新聞閱讀數(shù)用RN來表示，新聞評論數(shù)用CN來表示，單位時間評論數(shù)用UTC來表示。新聞評論數(shù)和新聞閱讀數(shù)對熱點新聞的形成起到的作用和影響是不同的，所以應(yīng)對其設(shè)定不同的權(quán)重大小。正常情況下如果一個用戶對某個新聞感興趣，則在閱讀完該新聞后會對其進行評論，因此本文認為新聞評論數(shù)在熱點新聞的形成過程中所起的作用要比新聞閱讀數(shù)所起的作用更大更重要，應(yīng)對其設(shè)置較高的權(quán)重。本文經(jīng)過多次試驗發(fā)現(xiàn)當新聞評論數(shù)設(shè)置的權(quán)重為新聞閱讀數(shù)兩倍時效果最好。用戶關(guān)注度的計算公式如下：

其中α為：

其中Pc計算公式為：

其中Pr計算公式為：

其中：T（i，t）u表示在時間段t內(nèi)用戶對新聞i的關(guān)注度；Pc表示關(guān)于新聞i的評論人數(shù)占評論數(shù)和閱讀數(shù)的比值，γ作為調(diào)整因子，起到平衡作用；Pr表示關(guān)于新聞i的閱讀人數(shù)所占的比值；CN為t時間段內(nèi)的新聞評論數(shù)，RN為t時間段內(nèi)的新聞閱讀數(shù)。

單位時間段內(nèi)的評論數(shù)UTC用來描述網(wǎng)絡(luò)新聞從一般性新聞演變?yōu)闊狳c新聞趨勢變化的強弱，UTC越大說明該新聞發(fā)展成為熱點新聞的趨勢越強。

其中UTC的計算公式表示為：

將通過TF*PDF算法和用戶關(guān)注度結(jié)合起來可以較好的描述熱點新聞的關(guān)注度，其計算公式如下：

其中參數(shù)β是調(diào)整參數(shù)，用來調(diào)整TF*PDF算法的結(jié)果和用戶關(guān)注度的數(shù)值差異，防止由于某一方數(shù)值很大而把另一方數(shù)值淹沒的出現(xiàn)。在描述熱點新聞關(guān)注度變化情況時，我們借助“話題指數(shù)”的思想，提出一種“新聞熱點變化指數(shù)”，用來描述在第n天時熱點新聞相對于第一天的變化情況，其計算公式如下：

其中，Hn表示熱點新聞在第n天的熱點指數(shù)；Tn用來表示熱點新聞在第n天的關(guān)注度；T1用來表示熱點新聞在初始第一天的關(guān)注度。我們可以用公式Hn來描述熱點新聞在一個時間段內(nèi)的關(guān)注度的變化情況，同時還能過濾小部分雖然關(guān)注度高但卻不屬于熱點的新聞。例如NBA新聞雖然短時間內(nèi)報道數(shù)量和用戶關(guān)注較多，但是隨著時間的推移，新聞的熱度很快下降，所以并不屬于熱點新聞。

3 實驗結(jié)果和分析

本文的實驗數(shù)據(jù)通過網(wǎng)絡(luò)爬蟲采集網(wǎng)易新聞手機版的新聞和評論。首先，使用Android模擬器和抓包工具分析手機端的新聞結(jié)構(gòu)，然后使用模擬瀏覽器的方式對目標網(wǎng)站發(fā)起請求，通過對網(wǎng)頁內(nèi)容的解析，獲取包括新聞標題、新聞內(nèi)容、發(fā)布時間和新聞評論內(nèi)容、用戶信息、評論時間等信息。最后通過實驗來驗證基于TF*PDF和用戶關(guān)注度算法的有效性。

3.1 實驗數(shù)據(jù)源的選取

數(shù)據(jù)來源為從網(wǎng)易新聞手機版采集回來的2016年10月份和2016年11月份的新聞數(shù)據(jù)。經(jīng)過數(shù)據(jù)的去重處理，獲取的數(shù)據(jù)（以條為單位）如表1所示：

表1

3.2 實驗步驟及結(jié)果

為了保證用戶關(guān)注度T（i，t）u隨著用戶的閱讀數(shù)和評論數(shù)的增加而增加，使用戶關(guān)注度呈現(xiàn)正相關(guān)，對式（3）中的對數(shù)底數(shù)α取值大于1，γ取值1，新聞閱讀數(shù)取新聞評論數(shù)和新聞點贊數(shù)之和。首先要對式（8）中的加權(quán)因子進行測定，通過隨機選取兩個月份各800條數(shù)據(jù)及其對應(yīng)的評論進行多次試驗，對β的數(shù)值從[0，1]進行遍歷選取，遍歷步長為0.01，并根據(jù)結(jié)果進行統(tǒng)計分析，得到當β等于0.63時熱點新聞發(fā)現(xiàn)效果最好。實驗結(jié)果如表2所示：

表2

從表2可以看到，關(guān)注度較高的新聞有美國大選事件等，將實驗結(jié)果與同一時間段內(nèi)各大網(wǎng)站的評選結(jié)果進行比較，可知在加權(quán)用戶關(guān)注度的影響下，得到的熱點新聞更加客觀準確。表2中的熱點新聞關(guān)注度也反映出了使用新方法得到的熱點新聞的關(guān)注度大小，能夠更好地衡量實驗結(jié)果的有效性。

4 結(jié)語

本文首先介紹了熱點新聞的相關(guān)知識和當前的研究現(xiàn)狀，然后分析了用戶關(guān)注行為在熱點新聞發(fā)展形成過程中所起到的作用，引入用戶關(guān)注度用來衡量熱點新聞受關(guān)注的程度。通過TF*PDF算法進行熱點詞匯的發(fā)現(xiàn)，然后根據(jù)提出的用戶關(guān)注度算法計算用戶對新聞的關(guān)注度大小，最后將兩者進行加權(quán)計算，得到熱點新聞的關(guān)注度。實驗結(jié)果證明，該方法能夠有效地進行熱點新聞發(fā)現(xiàn)。下一步的工作重點是考慮將熱點新聞發(fā)現(xiàn)應(yīng)用于輿情分析和預(yù)測。

[1]Allan J,Carbonell J,Doddington G,et al.Topic Detection and Tracking Pilot Study:Final Report[C],1998.

[2]Y.M.Yang,J.Carbonell,R.Brown et al.Learning Approaches for Detection and Tracking New Events.IEEE Intelligent Systems: Special Issue on Applications of Intelligent Information Retrieval,1999.

[3]張華平等.基于主題詞的網(wǎng)絡(luò)熱點話題發(fā)現(xiàn).第五屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議CCIR，2009,135-142.

[4]萬曉霞，趙佳.基于聚類的網(wǎng)絡(luò)新聞熱點發(fā)現(xiàn)研究.現(xiàn)代計算機[J]，2015,36-39.

[5]B Frey,D Dueck.Clustering by Passing Messages Between Data Points[J].New York:Science,2007,315（5814）:972-976.

[6]肖宇,于劍.基于近鄰傳播算法的半監(jiān)督聚類[J].軟件學(xué)報2008,9（11）:2803-2813.

[7]吳永輝等.基于主題的自適應(yīng)、在線網(wǎng)絡(luò)熱點發(fā)現(xiàn)方法及新聞推薦系統(tǒng)[J].電子學(xué)報,2010,28（11）:2620-2624.

[8]王義等.基于字符串核函數(shù)的熱點新聞發(fā)現(xiàn)系統(tǒng)[J].廣西師范大學(xué)學(xué)報（自然科學(xué)版）,2007-12,25（4）:212-215.

[9]Bun KK,Ishizuka M.Topic Extraction from News Archive Using TF*PDF Algorithm[A].In:Processing of the 3 rd International Conference on Web Information Systems Engineering（SISE 2002）,Singapore,2002:73-82.

[10]P.D.Turney.Learning Algorithms for Keyphrase Extraction.Information Retrieval,2000,2（4）:303-336.

[11]I.H.Witten,G.W.Paynteer,E.Frank,et al.KEA:Practical Automatic Keyphrase Extraction.The 4th ACM Conference on Digital Libraries,Berkeley:ACM Press,1999:254-256.

Research on Hot News Discovery Based on TF＊PDF

LU Chun-guang，ZHOU An-min
（College of Electronics and Information Engineering，Sichuan University，Chengdu 610065）

With the development of the Internet and the explosive growth of network news,how to effectively find hot news has become one of the hot spots of current research.TF*PDF algorithm focuses on the calculation of hot words in the text,without considering the user's impact. User's reading and commenting plays a catalytic role in the development and formation of hot news,so introduction the user attention to indicate the extent to which the hot news is of interest,presents a method of hot news discovery which is based on TF*PDF algorithm and user attention.Uses TF*PDF algorithm to find hot words related to hot news,and then calculates the user attention to get hot news.Experimental results show that the method can effectively find hot news.

Hot Words;User Attention;Hot News

1007-1423（2017）08-0018-04

10.3969/j.issn.1007-1423.2017.08.004

盧春光（1990-），男，河南周口人，碩士研究生，研究方向為信息安全

2016-12-29

2017-02-25

周安民（1963-），男，四川成都人，碩士生導(dǎo)師，研究員，研究方向為信息安全