吳新華，欒翠菊

(上海海事大學(xué) 信息工程學(xué)院,上海 201306)

基于微博文本分類的突發(fā)地震事件檢測(cè)方法

吳新華，欒翠菊

(上海海事大學(xué) 信息工程學(xué)院,上海 201306)

事件檢測(cè)是文本挖掘的一個(gè)重要研究方向，以微博文本的突發(fā)地震事件檢測(cè)為例做了深入研究。首先分別運(yùn)用三種經(jīng)典的分類算法來(lái)實(shí)現(xiàn)突發(fā)地震事件檢測(cè)，將檢測(cè)結(jié)果進(jìn)行比較，選擇出一種最優(yōu)的分類算法和最適合的特征數(shù)。在此基礎(chǔ)上提出關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別的方法將錯(cuò)分的實(shí)例進(jìn)行再分類來(lái)提高檢測(cè)結(jié)果。實(shí)驗(yàn)表明該方法的檢測(cè)結(jié)果與僅采用經(jīng)典分類算法相比F1值提高了5.3%。

事件檢測(cè)；文本分類；關(guān)鍵字過(guò)濾；時(shí)間關(guān)系識(shí)別關(guān)鍵詞

0 引言

地震會(huì)造成嚴(yán)重的經(jīng)濟(jì)損失和人員傷亡，對(duì)人類生命財(cái)產(chǎn)安全有著極大的威脅。中國(guó)是一個(gè)地震災(zāi)害嚴(yán)重的國(guó)家，提高應(yīng)對(duì)突發(fā)地震災(zāi)害的能力成為當(dāng)務(wù)之急，而震后快速準(zhǔn)確地檢測(cè)災(zāi)情信息是地震應(yīng)急工作的關(guān)鍵。通常地震發(fā)生后，在震區(qū)的民眾希望可以第一時(shí)間得到災(zāi)情信息。由于互聯(lián)網(wǎng)的快速發(fā)展，微博等社交媒體平臺(tái)在輿情分析、觀點(diǎn)挖掘突發(fā)事件檢測(cè)等領(lǐng)域起到了重要作用，已成為災(zāi)害信息管理過(guò)程中的重要信息來(lái)源和溝通媒介。由于微博廣泛的公眾參與性和實(shí)時(shí)性，在震后災(zāi)情提取中表現(xiàn)出良好的應(yīng)用前景。鑒于此，通過(guò)新浪微博平臺(tái)，利用文本挖掘技術(shù)，研究一種高效的地震事件檢測(cè)方法，將有效提高對(duì)地震災(zāi)害的應(yīng)急管理能力。

1 相關(guān)研究

近年來(lái)，國(guó)外針對(duì)Twitter的突發(fā)事件檢測(cè)[1-2]研究已取得了一定的成果。文獻(xiàn)[3]提出了基于Twitter的實(shí)時(shí)地震監(jiān)控系統(tǒng)；文獻(xiàn)[4]通過(guò)調(diào)查150萬(wàn)個(gè)推特消息，結(jié)果表明Twitter的數(shù)據(jù)可以被用來(lái)作為一個(gè)有用的資源跟蹤受自然災(zāi)害影響的公眾情緒，以及一個(gè)早期預(yù)警系統(tǒng)。

國(guó)內(nèi)關(guān)于利用社交媒體檢測(cè)地震的研究甚少，大多偏向研究文本聚類[5-7]的突發(fā)話題檢測(cè)技術(shù)。聚類目標(biāo)是把相似的東西聚到一起，不關(guān)注具體類別。而分類的目標(biāo)明確，將未知的數(shù)據(jù)分到已有的類別中。微博文本的突發(fā)地震事件檢測(cè)要識(shí)別出突發(fā)地震的文本，判斷一條微博是否屬于突發(fā)地震事件的類別。因此采用分類的方法來(lái)實(shí)現(xiàn)更加有效。

白華[8]利用文本分類技術(shù)進(jìn)行災(zāi)害事件探討中，實(shí)現(xiàn)了地震災(zāi)害的爆發(fā)檢測(cè)，研究過(guò)程中主要討論了4種常見(jiàn)的文本分類算法。分別應(yīng)用分類算法進(jìn)行分類，最后得出支持向量機(jī)表現(xiàn)最優(yōu)，F(xiàn)1值達(dá)到了0.890?；诖耍疚膽?yīng)用文本分類來(lái)實(shí)現(xiàn)突發(fā)地震事件檢測(cè)，在此基礎(chǔ)上提出關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別來(lái)提高檢測(cè)結(jié)果。

2 系統(tǒng)框架

本文研究主要概括為兩個(gè)部分：文本分類與基于關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別的再分類。首先分別運(yùn)用三種經(jīng)典的分類算法來(lái)實(shí)現(xiàn)突發(fā)地震事件檢測(cè)，將檢測(cè)結(jié)果進(jìn)行比較，選擇一種最優(yōu)的分類算法和最適合的特征數(shù)。在此基礎(chǔ)上提出關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別的方法進(jìn)行再分類來(lái)提高檢測(cè)結(jié)果。系統(tǒng)框架圖如圖1所示。下面將詳細(xì)描述文本分類和再分類的具體過(guò)程。

圖1 突發(fā)地震事件檢測(cè)框架圖

2.1文本分類

實(shí)驗(yàn)主要通過(guò)調(diào)用數(shù)據(jù)挖掘工具weka接口編程實(shí)現(xiàn)，分別運(yùn)用三種經(jīng)典的文本分類算法：決策樹(shù)[9](J48)、支持向量機(jī)[10-11](SMO)和樸素貝葉斯多項(xiàng)式模型[12](NaiveBayesMultinomial)，這三種方法均在傳統(tǒng)文本分類領(lǐng)域中取得了很好的分類效果。

2.1.1數(shù)據(jù)集

數(shù)據(jù)的獲取是通過(guò)在微博搜索頁(yè)面設(shè)置關(guān)鍵字“地震”和“震中”查詢地震有關(guān)的微博，并對(duì)頁(yè)面進(jìn)行解析來(lái)爬取微博文本和微博發(fā)表的時(shí)間，經(jīng)過(guò)去重后實(shí)驗(yàn)數(shù)據(jù)總數(shù)為1 368條，分別為2016-9-9～2016-12-22日之間與地震相關(guān)的微博文本。在這個(gè)數(shù)據(jù)集上進(jìn)行人工標(biāo)注，將描述突發(fā)地震事件的微博數(shù)據(jù)標(biāo)為正類positive，其他標(biāo)為負(fù)類negative。標(biāo)注后正類數(shù)據(jù)703條，負(fù)類數(shù)據(jù)665條。至此，突發(fā)地震事件的檢測(cè)問(wèn)題就轉(zhuǎn)化為二值分類問(wèn)題。正負(fù)類示例數(shù)據(jù)如下表1所示。

表1 正負(fù)類示例數(shù)據(jù)表

2.1.2數(shù)據(jù)預(yù)處理

本文的數(shù)據(jù)預(yù)處理包括兩部分，首先對(duì)微博文本分詞，其次通過(guò)weka實(shí)現(xiàn)微博文本的向量空間的轉(zhuǎn)換。

(1)中文分詞。采用中科院提供的NLPIR漢語(yǔ)分詞系統(tǒng)并根據(jù)本次實(shí)驗(yàn)中地震數(shù)據(jù)的特點(diǎn)建立用戶詞典進(jìn)行中文分詞，用戶詞典包含“防震減災(zāi)”、“地震活動(dòng)盤點(diǎn)”等地震領(lǐng)域詞匯，同時(shí)去掉微博文本中“@用戶名”這樣的內(nèi)容。

(2)文本表示。通過(guò)weka平臺(tái)StringToWordVecter過(guò)濾器將微博文本轉(zhuǎn)換成向量空間模型，權(quán)重計(jì)算采用TFIDF算法。

2.1.3特征選擇

構(gòu)成文本的詞匯數(shù)量越大表示向量空間的特征維度越大，為了提高分類效率和減小計(jì)算復(fù)雜度而又不影響分類的效果，需要對(duì)類別影響大的重要特征進(jìn)行特征選擇。實(shí)驗(yàn)中文本數(shù)據(jù)總特征數(shù)是1 653，分別取400、700、1 000、1 300、1 600五種數(shù)量的特征數(shù)進(jìn)行分類比較。本文采用信息增益進(jìn)行特征選擇。在信息增益中，重要性的衡量標(biāo)準(zhǔn)就是看特征能夠?yàn)榉诸愊到y(tǒng)帶來(lái)多少信息，帶來(lái)的信息越多，該特征越重要。如式(1)：

IG(wi,cj)=H(C)-H(C|wi)

(1)

2.1.4分類

分別運(yùn)用三種經(jīng)典的分類算法：決策樹(shù)、支持向量機(jī)和樸素貝葉斯多項(xiàng)式模型進(jìn)行分類，并分別取不同的特征數(shù)目，觀察不同特征數(shù)對(duì)分類算法的影響，找出一種最優(yōu)分類算法和最合適的特征數(shù)組合，以此作為改進(jìn)的基礎(chǔ)。

在二值分類問(wèn)題中，分類結(jié)果有四種情況：將正類預(yù)測(cè)為正類(TP)、將負(fù)類預(yù)測(cè)為負(fù)類(TN)、將正類預(yù)測(cè)為負(fù)類(FN)和將負(fù)類預(yù)測(cè)為正類(FP)。

對(duì)分類算法性能的評(píng)估方法通常按照以下3個(gè)指標(biāo)：準(zhǔn)確率P=TP(TP+FP)、召回率R=TP/(TP+FN)、F1值F1=2TP/(2TP+FP+FN)。

圖2是通過(guò)十折交叉驗(yàn)證取平均值算出的不同算法不同特征數(shù)對(duì)分類性能的影響指標(biāo)。通過(guò)圖2可以看出，表現(xiàn)最好的是Naive Bayes Multinomial特征算法在數(shù)為1 300和1 600時(shí)，它們的F1值都達(dá)到0.859。因此下一步將采用Naive Bayes Multinomial特征數(shù)為1 300作為分類基礎(chǔ)進(jìn)行分類改進(jìn)并比較。

圖2 分類性能評(píng)估表

2.2基于關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別的再分類

通過(guò)經(jīng)典分類算法檢測(cè)得出4種情況，其中分錯(cuò)的情況是將正類預(yù)測(cè)為負(fù)類(FN)和將負(fù)類預(yù)測(cè)為正類(FP)。預(yù)測(cè)錯(cuò)誤的兩類數(shù)據(jù)示例如表2所示。

表2 預(yù)測(cè)錯(cuò)誤數(shù)據(jù)示例表

再分類的思想是盡量降低錯(cuò)誤率，而這兩類數(shù)據(jù)均有各自特點(diǎn)，通過(guò)這些特點(diǎn)把預(yù)測(cè)錯(cuò)誤數(shù)據(jù)重新歸為正確類別中。正類預(yù)測(cè)為負(fù)類的數(shù)據(jù)中大部分是描述剛發(fā)生的地震，含有“剛剛地震”、“？小時(shí)前地震”等兩個(gè)關(guān)鍵詞的組合，根據(jù)這些數(shù)據(jù)特點(diǎn)，提出關(guān)鍵詞過(guò)濾的方法來(lái)糾正錯(cuò)誤分類的數(shù)據(jù)。負(fù)類預(yù)測(cè)為正類的數(shù)據(jù)，該類微博數(shù)據(jù)是描述地震知識(shí)、防災(zāi)預(yù)警、描述歷史地震等，其大部分含有“演習(xí)”、“防震減災(zāi)”、“悼念”等關(guān)鍵詞，描述歷史地震的微博中帶有時(shí)間詞的特點(diǎn)。根據(jù)這些數(shù)據(jù)的特征，先通過(guò)關(guān)鍵詞過(guò)濾糾正，之后剩下的微博通過(guò)識(shí)別微博文本中所描述事件的時(shí)間并與微博發(fā)表的時(shí)間對(duì)比，以此判斷是否為突發(fā)事件。

2.2.1將正類預(yù)測(cè)為負(fù)類的數(shù)據(jù)糾正

首先根據(jù)這些數(shù)據(jù)的特征，建立一個(gè)正類關(guān)鍵詞詞典KeyP，用來(lái)糾正被錯(cuò)誤分類的含有正類關(guān)鍵詞的微博數(shù)據(jù)，將其歸為正類。正類關(guān)鍵詞詞典示例表如下表3所示。

但是，這兩個(gè)關(guān)鍵詞在微博文本中出現(xiàn)的位置不一定是相鄰的，因此在建立正類關(guān)鍵詞詞典之后再利用集合的包含關(guān)系進(jìn)行判斷微博中是否包含組合關(guān)鍵詞，方法是把整個(gè)的預(yù)測(cè)錯(cuò)誤的微博數(shù)據(jù)看作一個(gè)大的文本集Text,每一條分完詞的微博看作一個(gè)小集合Texti，集合的元素是該條微博中的每一個(gè)詞，即Texti=(w1,w2,…,wn)，再把正類關(guān)鍵詞詞典中每一組關(guān)鍵詞看作一個(gè)集合KeyPxj={kx,k}，如果微博數(shù)據(jù)Texti中包含任意一個(gè)關(guān)鍵詞集合KeyPj，即Texti?KeyPj，則認(rèn)為該條數(shù)據(jù)是描述突發(fā)地震事件并將其糾正為正類。

2.2.2將負(fù)類預(yù)測(cè)為正類的數(shù)據(jù)糾正

先通過(guò)關(guān)鍵詞過(guò)濾糾正，建立一個(gè)負(fù)類關(guān)鍵詞詞典KeyN，將負(fù)類預(yù)測(cè)為正類的數(shù)據(jù)經(jīng)過(guò)負(fù)類關(guān)鍵詞詞典過(guò)濾一遍，如果數(shù)據(jù)中含有詞典中的任意關(guān)鍵詞就把該數(shù)據(jù)歸為負(fù)類。負(fù)類關(guān)鍵詞詞典示例如表4所示。

表4 負(fù)類關(guān)鍵詞詞典示例表

在經(jīng)過(guò)負(fù)類關(guān)鍵詞詞典過(guò)濾后未能成功糾正的數(shù)據(jù)中，雖然不含有負(fù)類關(guān)鍵詞，但大部分具有時(shí)間詞的特征。因此，可以通過(guò)識(shí)別微博文本中事件的時(shí)間關(guān)系[13-14]并與微博發(fā)表的時(shí)間對(duì)比來(lái)確定是否為突發(fā)事件。這些數(shù)據(jù)大部分是描述以前發(fā)生的地震事件，且這些數(shù)據(jù)中時(shí)間關(guān)系描述得比較簡(jiǎn)單規(guī)范，大部分都有出現(xiàn)“？年？月？日”，因此利用正則表達(dá)式進(jìn)行時(shí)間匹配識(shí)別。用于匹配的正則表達(dá)式是“Pat =(\d{4}年)?(\d{1,2}月)?(\d{1,2}日)?”。匹配出了時(shí)間再與微博的發(fā)表時(shí)間作減法比較，時(shí)間間隔小于三天則認(rèn)為是突發(fā)地震事件，否則不是。如果微博中只出現(xiàn)“？年”則只與微博發(fā)表的年份比較，如果微博中只出現(xiàn)“？月日”則只與微博發(fā)表的月日作比較，“？月”和“？日”同理。

2.2.3再分類算法

綜上，具體的再分類過(guò)程如算法1所示。

算法1再分類過(guò)程算法

Procedure Reclassification

Input： label ← Texti中標(biāo)記的分類標(biāo)簽；prelabel ← 分類預(yù)測(cè)的標(biāo)簽

Output：通過(guò)再分類的微博文本Text

Preliminary： prelabel<>label

1 FOR i = 0 to len[Text]-1

2 DO Texti←Text[i]

3 IF label=“positive”THEN

4 IF Texti?KeyPj THEN

5 prelabel←“positive”;

6 ELSE IF Texti?KeyNj THEN

7 prelabel←“negative”

8 ELSE publish_t←查找微博發(fā)表時(shí)間“date：”

9 Texti _ t←Pat = (\d{4}年)?(\d{1,2}月)?(\d{1,2}日)?

10 IF publish_t - Texti _ t>3 THEN

11 prelable←“negative”;

12 END IF

13 END IF

14 END FOR

15 RETURN prelable;

END Reclassification

3 實(shí)驗(yàn)結(jié)果

采用Naive Bayes Multinomial特征數(shù)1 300作為分類基礎(chǔ)，進(jìn)行再分類改進(jìn)得出的結(jié)果與單純使用Naive Bayes Multinomial特征數(shù)1 300得到的結(jié)果進(jìn)行對(duì)比，如表5所示，F(xiàn)1值提高了5.3%，證明通過(guò)關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別的再分類得到了更好的突發(fā)地震事件檢測(cè)效果。圖3給出了用weka繪制改進(jìn)前和改進(jìn)后的方法評(píng)估ROC曲線圖，從圖中可以明顯看出改進(jìn)后(上面)的分類效果要比改進(jìn)前(下面)的效果好，即通過(guò)關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別的方法提高了微博文本突發(fā)地震事件的檢測(cè)效率。

表5 改進(jìn)前改進(jìn)后結(jié)果對(duì)比表

圖3 ROC曲線圖

通過(guò)關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別來(lái)進(jìn)行再分類的檢測(cè)結(jié)果中F1值達(dá)到0.912，與文獻(xiàn)[8]中僅采用經(jīng)典分類算法得到的結(jié)果“支持向量機(jī)表現(xiàn)最優(yōu)F1值達(dá)到了0.890”相比，F(xiàn)1值有提高。

4 總結(jié)與展望

通過(guò)關(guān)鍵詞過(guò)濾和時(shí)間關(guān)系識(shí)別進(jìn)行再分類后F1值提高了5.3%，這對(duì)于地震災(zāi)情信息的獲取和應(yīng)急管理有很大幫助。但這種方法做得還不夠完善：(1)正負(fù)關(guān)鍵詞詞典還不夠完整，收錄的僅僅是本次實(shí)驗(yàn)中用到的數(shù)據(jù)集中的一些特征詞，需要從更多的數(shù)據(jù)中發(fā)現(xiàn)新詞來(lái)擴(kuò)充詞典；(2)關(guān)鍵詞過(guò)濾的方法考慮得過(guò)于簡(jiǎn)單，例如微博文本中出現(xiàn)關(guān)鍵詞“夢(mèng)到地震”就認(rèn)為該條微博不是描述突

發(fā)地震事件，但是“夢(mèng)到地震，醒來(lái)真的地震了，衣柜和床都在晃動(dòng)”卻是在描述突發(fā)的地震事件，對(duì)于這種情況，以后將考慮深層的語(yǔ)義分析；(3)本次實(shí)驗(yàn)的時(shí)間關(guān)系識(shí)別是簡(jiǎn)單的通過(guò)正則匹配來(lái)實(shí)現(xiàn)的，如果文本中出現(xiàn)了兩個(gè)事件的時(shí)間詞將默認(rèn)匹配第一個(gè)，這也導(dǎo)致少量的一些具有多個(gè)時(shí)間詞的數(shù)據(jù)分類結(jié)果不可信，未來(lái)將從事件抽取的角度出發(fā)去找出描述地震事件的時(shí)間詞。

[1] ATEFEH F, KHREICH W. A survey of techniques for event detection in twitter[J]. Computational Intelligence, 2015,31(1): 132-164.

[2] LI R, LEI K H, KHADIWALA R, et al. TEDAS: a twitter-based event detection and analysis system[J]. 2012 IEEE 28th International Conference on Data Engineering,2012, 41(4):1273-1276.

[3] SAKAKI T, OKAZAKI M, MATSUO Y. Earthquake shake twitter users:real-time event detection by social sensors[C]. The 19th International Conference on World Wide Web, WWW’10.New York, ACM2010: 851-860.

[4] DOAN S, VO B K H, COLLIER N. An analysis of twitter messages in the 2011 tohoku earthquake[J]. Computer Science, 2011, 91: 58-66.

[5] 高永兵,郭文彥,周環(huán)宇,等.基于K-means的私人微博聚類算法改進(jìn)[J].微型機(jī)與應(yīng)用, 2014,33(14): 78-81.

[6] 王勇,肖詩(shī)斌,郭跇秀,等.中文微博突發(fā)事件檢測(cè)研究[J]. 現(xiàn)代圖書(shū)情報(bào)技術(shù), 2013, 230(2): 57-62.

[7] 郭跇秀,呂學(xué)強(qiáng),李卓.基于突發(fā)詞聚類的微博突發(fā)事件檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用, 2014, 34(2): 486-505.

[8] 白華,林勛國(guó). 基于中文短文本分類的社交媒體災(zāi)害事件檢測(cè)系統(tǒng)研究[J]. 災(zāi)害學(xué), 2016,31(2): 19-23.

[9] ROKACH L, MAIMON O. Data mining with decision trees: theory and applications(2nd Edition)[M]. World Scientific, 2014.

[10] BY C J. Burges a tutorial on support vector machines for pattern recognition[J]. Data Mining & Knowledge Discovery, 2010, 2(2): 121-167.

[11] FLAKE G W, LAWRENCE S. Efficient SVM regression training with SMO[J]. Machine Learning, 2002, 46(1): 271-290.

[12] BERMEJO P, GMEZ J A, PUERTA J M. Improving the performance of Naive Bayes multinomial in e-mail foldering by introducing distribution-based balance of datasets[J]. Expert Systems with Applications, 2011, 38(3): 2072-2080.

[13] 譚紅葉,鄭家恒，梁吉業(yè).時(shí)間關(guān)系識(shí)別研究進(jìn)展[J].中文信息學(xué)報(bào), 2011, 25(5):44-52.

[14] 王風(fēng)娥, 譚紅葉, 錢揖麗. 基于最大熵的句內(nèi)時(shí)間關(guān)系識(shí)別[J]. 計(jì)算機(jī)工程, 2012, 38(4): 37-39.

A method for detecting sudden earthquake events based on micro-blog text classification

Wu Xinhua, Luan Cuiju

(Department of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

Event detection is one of the most important research fields in text mining, and an in-depth study is carried out in the case of micro-blog. First, used three kinds of classical classification algorithms to detection the sudden earthquake events, and the results were compared, selected an optimal classification algorithm and the most suitable number of features. Then, basis of this, put forward the method of keyword filtering and temporal relation recognition to classify the wrong examples to improve the detection results. Experimental results show that the proposed method can improve theF1value by 5.3% compared with the classical classification algorithm.

event detection; text categorization; keyword filtering; temporal relation recognition

TP18

A

10.19358/j.issn.1674- 7720.2017.19.017

吳新華，欒翠菊.基于微博文本分類的突發(fā)地震事件檢測(cè)方法[J].微型機(jī)與應(yīng)用，2017,36(19)：58-61，65.

2017-04-10)

吳新華(1992-)，通信作者，女，碩士，主要研究方向：數(shù)據(jù)挖掘、自然語(yǔ)言處理。E-mail: alicewoo_hi@163.com。欒翠菊(1974-)，女, 博士, 副教授，主要研究方向：智能決策、數(shù)據(jù)挖掘等。