戴長(zhǎng)松 王永濱 王琦

摘 要：為了對(duì)新聞媒體平臺(tái)的重大事件進(jìn)行話題演化建模分析，基于隱含狄利克雷分布（LDA主題模型算法）對(duì)話題動(dòng)態(tài)建模，在變分推斷主題模型基礎(chǔ)上建立衡量話題內(nèi)容和熱度變化的流行話題模型（TTM-OL-DA）。針對(duì)用戶關(guān)注的重大新聞事件發(fā)展方向與熱度，提出話題內(nèi)容向量與流行因子，對(duì)整個(gè)話題生命周期進(jìn)行量化，從而有效地從大量相關(guān)新聞中挖掘出話題演化細(xì)節(jié)，幫助用戶更好地掌握話題發(fā)展情況。在特定新聞板塊篩選的數(shù)據(jù)集下，通過(guò)設(shè)置對(duì)比實(shí)驗(yàn)和人工評(píng)測(cè)方式，驗(yàn)證該方法在困惑度上優(yōu)于在線主題模型算法。

關(guān)鍵詞：新聞熱點(diǎn);話題演化;在線主題模型;動(dòng)態(tài)話題建模;變分推斷

DOI： 10. 11907/rjdk.191252

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP303

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-7800（2020）001-0084-05

0 引言

網(wǎng)絡(luò)信息爆炸式增長(zhǎng)，尤其是文本類型數(shù)據(jù)，如來(lái)自新聞網(wǎng)站、微博、論壇等，紛繁復(fù)雜導(dǎo)致用戶無(wú)法一一查看感興趣的話題內(nèi)容。當(dāng)某個(gè)重大新聞事件發(fā)生時(shí)，相關(guān)新聞報(bào)道層出不窮，為了幫助用戶準(zhǔn)確實(shí)時(shí)掌握輿情事件的發(fā)展和走向，盡可能還原話題的焦點(diǎn)和熱度，文本挖掘尤其是話題模型研究應(yīng)運(yùn)而生。

基于LDA（Latent Dirichlet Allocation，隱含狄利克雷分布）主題模型[1]的話題演化研究方法近年被研究人員廣泛采用。楚克明等[2]使用LDA模型對(duì)不同時(shí)段的文集進(jìn)行話題抽取，然后通過(guò)話題分布計(jì)算相鄰時(shí)間段內(nèi)兩個(gè)話題的距離表示話題間的關(guān)聯(lián)，不足之處是各個(gè)時(shí)間段內(nèi)的話題模型完全獨(dú)立，僅根據(jù)模型生成的主題分布推測(cè)話題間的聯(lián)系會(huì)使新出現(xiàn)的話題內(nèi)容脫離實(shí)際。原始的LDA算法并不具備在線建模能力，為了使模型能夠隨時(shí)間進(jìn)行演化，Loulwah等[3]基于LDA提出了在線主題模型（On-LineLDA，以下簡(jiǎn)稱OLDA），這種方法以增量更新的方式構(gòu)建主題模型，更新時(shí)不需要訪問(wèn)之前的數(shù)據(jù)，使主題模型具有了在線學(xué)習(xí)能力。OLDA的出現(xiàn)為話題演化提供了一種新思路，即利用在線學(xué)習(xí)能力模擬話題演化過(guò)程;胡艷麗等[4]根據(jù)時(shí)序劃分文本流并采用OLDA模型抽取每個(gè)時(shí)間片的子話題，提出基于相對(duì)熵的子話題關(guān)聯(lián)分析方法;崔凱等[5]基于改進(jìn)的吉布斯算法對(duì)文本進(jìn)行主題建模，并利用相對(duì)熵比較主題間的相似度以發(fā)現(xiàn)話題演化過(guò)程中的“遺傳”和“變異”。

以上方法均采用吉布斯抽樣算法構(gòu)建LDA主題模型。該方法優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，缺點(diǎn)在于需要迭代的次數(shù)較多，在一些要求時(shí)效性的場(chǎng)景下表現(xiàn)較差。與吉布斯抽樣算法相對(duì)的是變分貝葉斯方法，Chase等[6]的研究表明，變分貝葉斯方法實(shí)現(xiàn)復(fù)雜但建模更準(zhǔn)確快捷，因此本文采用變分貝葉斯方法構(gòu)建主題模型，在該方法基礎(chǔ)上實(shí)現(xiàn)OL-DA模型并提出流行話題模型（Trending Topic Model on On-line LDA，簡(jiǎn)稱TTM-OLDA）。

1 話題演化模型

話題跟蹤或演化最早出現(xiàn)于話題檢測(cè)與跟蹤（ TopicDetection and Tracking，TDT）相關(guān)研究中。話題跟蹤中的話題指某一個(gè)具體的事件而非一類領(lǐng)域[7]，典型的話題如“個(gè)稅起征點(diǎn)提高”、“崔永元曝光陰陽(yáng)合同”等都屬于話題范疇。新聞話題隨著時(shí)間的發(fā)展，關(guān)注點(diǎn)和熱度也會(huì)隨之發(fā)生變化，以“陰陽(yáng)合同”事件為例，人們的關(guān)注點(diǎn)從最初的“范冰冰逃稅，稅務(wù)局介入調(diào)查”變?yōu)椤胺侗涣P款”，再到“崔永元受到人身威脅”等等，其話題相關(guān)內(nèi)容本身發(fā)生了變化，而熱度指人們對(duì)這個(gè)話題的關(guān)注程度，本文將對(duì)這一指標(biāo)量化為強(qiáng)度。

話題演化指新聞話題在內(nèi)容和強(qiáng)度上的變化過(guò)程，如何從這些海量的新聞文本中挖掘出話題的演化方向和過(guò)程，對(duì)輿情分析、文本挖掘等領(lǐng)域有著重要的研究意義。

1.1 主題模型

在自然語(yǔ)言處理等領(lǐng)域，主題模型指對(duì)多文檔語(yǔ)料庫(kù)進(jìn)行隱含特征發(fā)現(xiàn)的算法，發(fā)展至今，提到最多的主題模型是Blei在2003年提出的LDA主題模型，當(dāng)前關(guān)于話題演化的很多研究也是基于LDA主題模型[8-15]構(gòu)建的。主題模型從文檔和詞兩個(gè)維度之間抽象出一個(gè)“主題”維度，如圖1所示。

作為文本聚類領(lǐng)域應(yīng)用最廣泛的算法之一，LDA主題模型已經(jīng)經(jīng)歷了10余年的發(fā)展.至今圍繞主題模型的相關(guān)研究仍是文本挖掘領(lǐng)域的熱點(diǎn)方向之一。

最初的向量空間模型（ Vector Space Model，VSM）中，Salton等將語(yǔ)義相似度轉(zhuǎn)化為向量空間上的相似度，為了比較請(qǐng)求文檔q與目標(biāo)文檔d的相似度，以qi和di表示詞i在文檔中的權(quán)重，一般使用tf-idf值表示，其余弦相似度Sim（q，d）定義如下：

由于向量空間模型無(wú)法解決一詞多義和多詞一義問(wèn)題，Dumais等提出了隱含語(yǔ)義分析（Latent Semantic Analv-SIS，LSA）模型，該模型基于SVD矩陣分解構(gòu)造文檔一詞矩陣Xdy的一個(gè)低秩逼近矩陣，不僅緩解了一義多詞問(wèn)題，還在原本的文檔一詞矩陣上作了特征降維，對(duì)于原始向量空間的噪聲進(jìn)行消除。

LSA矩陣分解過(guò)程如下：

其中，d表示文檔數(shù)量，v表示詞個(gè)數(shù)，k表示潛在語(yǔ)義維度。同樣，文檔一詞矩陣Xdy一般使用詞的tf-idf值表示。

LSA模型不足之處在于矩陣分解過(guò)程十分漫長(zhǎng)，無(wú)法解決一詞多義，且在數(shù)理統(tǒng)計(jì)上無(wú)法推導(dǎo)，可解釋性較差。為解決上述問(wèn)題，Hofmann等提出了pLSA模型。該模型基于概率統(tǒng)計(jì)，假設(shè)文檔與主題、主題與詞之間服從多項(xiàng)式分布，使用常見的參數(shù)估計(jì)方法，即EM算法對(duì)模型參數(shù)進(jìn)行估計(jì)，pLSA模型為現(xiàn)在最常見的LDA主題模型產(chǎn)生奠定了理論基礎(chǔ)。

LDA主題模型可看作pLSA的貝葉斯版本，這里的貝葉斯先驗(yàn)體現(xiàn)在LDA為文檔一主題和主題一詞分布添加了狄利克雷先驗(yàn)。在主題模型技術(shù)中，無(wú)視文檔中詞語(yǔ)順序，因此這類模型也稱為詞袋模型或unlgram模型。語(yǔ)料中的每篇文檔可看成由多個(gè)主題組成，而主題則是由多個(gè)關(guān)鍵詞構(gòu)成，每篇文檔下的主題有其自身權(quán)重系數(shù)。同樣，每個(gè)主題下的關(guān)鍵詞也有其權(quán)重，這些權(quán)重代表了它們對(duì)主題或者文檔的貢獻(xiàn)程度。

LDA是一種非監(jiān)督的文本聚類算法，在pLSA假設(shè)基礎(chǔ)上，LDA引入了狄利克雷先驗(yàn)分布確定文檔到主題和主題到詞的多項(xiàng)式分布參數(shù)。在結(jié)構(gòu)上看，LDA主題模型依據(jù)文檔、主題、詞生成三層貝葉斯概率模型，相對(duì)于PLSA，LDA主題模型借鑒了貝葉斯學(xué)派思想，為模型參數(shù)加入了先驗(yàn)分布，使得主題和詞的分布隨機(jī)化。由于LDA的上述優(yōu)點(diǎn)，使其在文本挖掘領(lǐng)域應(yīng)用十分廣泛，圍繞其設(shè)計(jì)改進(jìn)的模型也屢見不鮮。LDA概率如圖2所示。

1.2 在線主題模型OLDA

在LDA提出之后，為適應(yīng)流式數(shù)據(jù)的文本建模分析，Loulwah等提出了在線主題模型OLDA（Online LDA），它可對(duì)連續(xù)時(shí)間窗口內(nèi)的語(yǔ)料分別進(jìn)行訓(xùn)練。為了讓前一個(gè)時(shí)間窗口內(nèi)的模型特征得到“遺傳”，提高分散建模效率，OLDA模型將前一個(gè)主題模型內(nèi)單詞的主題分布作為下一個(gè)主題模型的主題先驗(yàn)分布，使得OLDA模型具備在線處理流式文本能力。

1.3 話題演化模型

話題演化作為文本主題挖掘領(lǐng)域的重要組成部分，在LDA主題模型提出之后，基于LDA算法的話題演化模型設(shè)計(jì)受到越來(lái)越多的研究者關(guān)注。根據(jù)單斌等的研究，基于LDA主題模型的話題演化方法目前可依據(jù)時(shí)間信息劃分為先離散方法、后離散方法、結(jié)合時(shí)間特征到LDA模型等3種方法。

本文屬于“按時(shí)間信息先離散”方法。先離散指將語(yǔ)料中的文檔依據(jù)時(shí)間特征離散至相應(yīng)的時(shí)間窗口內(nèi)，時(shí)間窗口長(zhǎng)度可根據(jù)語(yǔ)料特點(diǎn)選用不同的時(shí)間粒度，先離散方法依次對(duì)每個(gè)時(shí)間窗口內(nèi)的語(yǔ)料進(jìn)行建模。需要注意的是，不同時(shí)間窗口的主題模型并不完全獨(dú)立而且參數(shù)相關(guān)。

針對(duì)話題演化過(guò)程中的話題內(nèi)容和強(qiáng)度變化，本文基于LDA模型生成的文檔到主題的分布，計(jì)算相鄰的時(shí)間窗口內(nèi)話題內(nèi)容變化，記為相鄰話題語(yǔ)義距離。一旦該語(yǔ)義距離超出某個(gè)閾值，說(shuō)明該話題在內(nèi)容上發(fā)生了變化，即發(fā)生了話題演化過(guò)程，該變化由內(nèi)容向量計(jì)算而得。在話題強(qiáng)度變化上，對(duì)同一個(gè)話題，其強(qiáng)度由一個(gè)隨時(shí)間窗口變化的系數(shù)衡量，該系數(shù)表示某個(gè)話題在相應(yīng)時(shí)間窗口的流行程度，使用者可根據(jù)實(shí)際情況設(shè)定系數(shù)的閾值以界定話題的流行程度，這個(gè)系數(shù)稱為流行因子。

2 基于變分推導(dǎo)與內(nèi)容遺傳的話題演化模型

2.1 LDA生成過(guò)程

LDA的吉布斯（Gibbs）和變分推導(dǎo)分別稱為smoothed版本和basic版本，與smoothed版本不同之處在于，使用變分貝葉斯方式的推導(dǎo)過(guò)程更加復(fù)雜，其生成模型的流程也很不同。

Cibbs抽樣多見于貝葉斯概率分析問(wèn)題中[16]，LDA主題模型同樣依賴于貝葉斯假設(shè)。basic LDA的生成過(guò)程如下：①?gòu)牡依死追植贾挟a(chǎn)生文檔主題分布θ，其中O-Dir（a）;②從泊松分布中生成一篇文檔的單詞個(gè)數(shù)Nd，即Nd-possion（λ）;③對(duì)文檔中的每個(gè)單詞ωd，n，首先選擇一個(gè)主題Z d，n，即Z d，n-Mult（θ）;④單詞ωd，n的主題Z d，n確定之后，再根據(jù)概率分布p（ωd，n| Zd.n，β）生成單詞本身的ω d，n。

其中，入為隨機(jī)事件平均發(fā)生率，a是一個(gè)K維向量，是狄利克雷分布的超參數(shù)，由狄利克雷分布產(chǎn)生的參數(shù)θ為生成文檔的主題分布概率向量。θ=（θn，θ1，…，θk-1）T，θ，表示文檔選擇第i個(gè)主題z的概率。

為了對(duì)真實(shí)數(shù)據(jù)進(jìn)行模擬，同時(shí)為簡(jiǎn)化模型，這里使用真實(shí)文檔的單詞個(gè)數(shù)取代Nd。與smoothed版本最大不同之處在于β是一個(gè)KxV的矩陣，表示主題Zd，n產(chǎn)生詞ω d，n的概率。區(qū)別在于β是一個(gè)可估算的確定量，而不是從狄利克雷分布中隨機(jī)生成的。變分LDA使用的變量及參數(shù)如表1所示。

2.2 LDA變分推導(dǎo)

LDA變分推導(dǎo)的關(guān)鍵在于變分EM算法，以LDA推導(dǎo)為例，當(dāng)給定一篇文檔時(shí)，要求解其隱變量的后驗(yàn)分布表達(dá)式。

這樣，對(duì)該假設(shè)函數(shù)O求極值就可近似得到原始分布的近似，稱為變分分布。在新的模型分布中，Blei引入了兩個(gè)新的參數(shù)y和中替代原來(lái)模型的超參數(shù)。為了獲得模型下界，采用EM算法對(duì)其進(jìn)行估計(jì)，EM算法分為E步（求期望）和M步（最大化似然函數(shù)）。

流行因子反映了話題強(qiáng)度變化，為了方便話題的流行因子計(jì)算與比較，設(shè)置i的閾值大小T為10，即取話題前10個(gè)概率較大的詞概率參與流行因子計(jì)算。

話題k的內(nèi)容向量定義如下：

3 實(shí)驗(yàn)及結(jié)果展示

對(duì)于數(shù)據(jù)集選取，話題演化模型并沒(méi)有一個(gè)規(guī)范通用的解決方案，這與主題模型本身特性有關(guān)。雖然主題模型屬于文本聚類領(lǐng)域算法之一，但嚴(yán)格來(lái)說(shuō)它并沒(méi)有將一個(gè)語(yǔ)料庫(kù)的文本按類別“完全”分離，而是一種軟聚類或模糊聚類方法。為了關(guān)注重大新聞事件的走向，本文選取近兩個(gè)月（ 2019.1-2019.2）某新聞網(wǎng)站中互聯(lián)網(wǎng)版塊新聞作為訓(xùn)練語(yǔ)料庫(kù)，著重關(guān)注近期網(wǎng)絡(luò)熱點(diǎn)話題，如“互聯(lián)網(wǎng)大裁員”等幾個(gè)較熱門的新聞話題作為觀測(cè)對(duì)象，通過(guò)TTM-OLDA模型分析話題的演化，在內(nèi)容演化和流行熱度兩方面對(duì)其進(jìn)行模擬。TTM-OLDA模型的實(shí)驗(yàn)流程如圖4所示。

語(yǔ)言模型的衡量方法一般可分為實(shí)用方法和理論方法，實(shí)用方法直接對(duì)模型在實(shí)際應(yīng)用中的表現(xiàn)作出評(píng)價(jià)，簡(jiǎn)單直觀，但是不能從客觀角度作出評(píng)價(jià)，缺乏針對(duì)性。因此，本文選擇比較客觀的理論方法衡量TTM-OLDA的表現(xiàn)。對(duì)于文本聚類方法，由于使用的測(cè)試數(shù)據(jù)集沒(méi)有分類標(biāo)簽，無(wú)法判斷模型訓(xùn)練結(jié)果與真實(shí)情況之間的差異，因此使用困惑度perplexity衡量主題模型的好壞，困惑度公式如下：

其中，D表示由M篇文檔組成的訓(xùn)練數(shù)據(jù)集，p（wm）為模型在第m篇文檔的似然函數(shù)[17]。似然值越大，困惑度越小，模型的泛化性能越好。

訓(xùn)練數(shù)據(jù)集包含2個(gè)月的新聞數(shù)據(jù)，考慮到主題建模需要，本文以周為單位劃分時(shí)間窗口，即共8個(gè)時(shí)間窗口，平均每個(gè)窗口新聞條數(shù)為320條。實(shí)驗(yàn)選取基于Gibbs的OLDA模型作為對(duì)照，在困惑度與建模耗時(shí)兩方面分別比較，結(jié)果如圖5、圖6所示。

2018年下半年開始，各大互聯(lián)網(wǎng)企業(yè)輪番上演人員結(jié)構(gòu)優(yōu)化，從而引發(fā)了一場(chǎng)裁員大潮，本文選取該熱點(diǎn)話題作為觀測(cè)對(duì)象，持續(xù)追蹤其話題內(nèi)容即熱度變化，實(shí)驗(yàn)結(jié)果見圖7。

4 結(jié)語(yǔ)

對(duì)于當(dāng)前話題演化模型中普遍存在的迭代次數(shù)多、時(shí)效性低以及模型還原話題不夠真實(shí)等問(wèn)題[18-21]，本文基于在線主題模型OLDA，提出了在線流行話題模型TTM-OL-DA，以話題內(nèi)容向量與流行因子對(duì)流行新聞話題內(nèi)容與熱度變化進(jìn)行衡量。實(shí)驗(yàn)結(jié)果表明，TTM-OLDA在模型困惑度、時(shí)效性上均領(lǐng)先于原始OLDA算法，證明該模型在新聞話題演化建模上的準(zhǔn)確性和時(shí)效性。由于本文主要關(guān)注新聞?lì)I(lǐng)域話題演化和熱度變化，沒(méi)有考慮新聞本身的閱讀量等流行因素，因此下一步研究將引入新聞初始流行程度，對(duì)比更多的新聞數(shù)據(jù)來(lái)源，改善話題演化模型，以適應(yīng)更多的話題演化建模場(chǎng)景。

參考文獻(xiàn)：

[1]DAVID M，BLEI， ANDREWY. et al. Latent Dirichlet allocation [J].Journal of Machine Learning Research. 2003（3）：993-1022.

[2] 楚克明，李芳.基于LDA模型的新聞話題的演化[J].計(jì)算機(jī)應(yīng)用與軟件，2011，28（4）：4-7，26.

[3]ALSUMAIT L，BARBARA D. DOMENICONI C.On-Iine LDA： adap-tive topic models of mining text streams with applications to topic de-tection and tracking[C].Proceeding of the 8thIEEE International Con-ference on Data Mining， 2008： 3-12.

[4]胡艷麗，白亮，張維明.一種話題演化建模與分析方法[J].自動(dòng)化學(xué)報(bào)，2012，38（ 10）：1690-1697.

[5] 崔凱，周斌，賈焰，等.一種基于LDA的在線主題演化挖掘模型[J].計(jì)算機(jī)科學(xué)，2010，37（ 11）：156-159，193.

[6]CHASE CEIGLE.lnference methods for latent dirichlet allocation[ EB/OL]. http： //times.cs.uiuc.edu/cocour/5 lOfl 8/notes/lda-survey.pdf.

[7] 陳興蜀，高悅，江浩，等.基于OLDA的熱點(diǎn)話題演化跟蹤模型[J].華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，44（5）：130-136.

[8] 姚兆旭.基于WSO-LDA的微博話題“主題+觀點(diǎn)”詞條抽取算法研究[D].南京：南京航空航天大學(xué)，2017.

[9] 劉小軍.基于LDA模型和AP聚類算法的主題演化研究[D].合肥：合肥工業(yè)大學(xué)，2016.

[10]袁勝文，基于LDA的中文科技文獻(xiàn)話題演化研究[D].鄭州：河南工業(yè)大學(xué)，2015.

[11] 張衛(wèi)春.基于主題模型的汽車評(píng)論話題演化研究[D].合肥：合肥工業(yè)大學(xué)，2017.

[12]林萍，黃衛(wèi)東.基于LDA模型的網(wǎng)絡(luò)突發(fā)事件話題演化路徑研究[J].情報(bào)科學(xué)，2014，32（ 10）：20-23.

[13]喬善增.基于種子文檔和統(tǒng)計(jì)模型的話題演化研究[D].濟(jì)南：山東大學(xué)，2014.

[14]章建.基于上下文的話題和話題關(guān)系的演化研究[D].上海：上海交通大學(xué)，2013.

[15] 方瑩，黃河燕，辛欣，等.面向動(dòng)態(tài)主題數(shù)的話題演化分析[J].中文信息學(xué)報(bào)，2014，28（3）：142-149.

[16] 劉忠，茆詩(shī)松.分組數(shù)據(jù)的Baves分析-Cibbs抽樣方法[J].應(yīng)用概率統(tǒng)計(jì)，1997（2）：211-216。

[17] HEINRICH G.Parameter estimation for text analysis[ EB/OL]. http： llwww.arbylon.net/publications/text-est.pdf.

[18] 王子涵.一種基于社交媒體的突發(fā)事件話題演化分析系統(tǒng)研究[c].中國(guó)計(jì)算機(jī)學(xué)會(huì)第32次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集.2017.

[19]李慧，王麗婷.基于話題標(biāo)簽的微博熱點(diǎn)話題演化研究[J].情報(bào)科學(xué)，2019，37（1）：30-36.

[20] 陳婷，曲霏，陳福集.基于時(shí)間片劃分的輿情話題演化模型研究[J].華中師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2015，49（6）：890-894.

[21] 周未東.一種基于LDA中文微博輿情演化分析方法[D].哈爾濱：哈爾濱工程大學(xué)，2017.

（責(zé)任編輯：杜能銅）

基金項(xiàng)目：中國(guó)傳媒大學(xué)青年理工科規(guī)劃項(xiàng)目（ 3132018XNC1804，3132018XNC1837）

作者簡(jiǎn)介：戴長(zhǎng)松（1994-），男，中國(guó)傳媒大學(xué)協(xié)同創(chuàng)新中心互聯(lián)網(wǎng)信息研究院碩士研究生，研究方向?yàn)槲谋揪垲?王永濱（1963-），男，博士，中國(guó)傳媒大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)空間安全學(xué)院、智能融媒體教育部重點(diǎn)實(shí)驗(yàn)室教授、博士生導(dǎo)師，研究方向?yàn)榫W(wǎng)絡(luò)新媒體技術(shù);王琦（1982-），男，博士，中國(guó)傳媒大學(xué)協(xié)同創(chuàng)新中心互聯(lián)網(wǎng)信息研究院副教授、碩士生導(dǎo)師，研究方向?yàn)橹悄苊襟w與信息技術(shù)。本文通訊作者：王琦。