婁建瑋

(濰坊職業(yè)學院,山東 濰坊 261031)

0 引言

隨著社會自由度的逐漸開放和大眾傳媒的進一步普及,輿情(public opinion sentiment)在當前社會的政治和生活中發(fā)揮著越來越重要的作用。合理正確的輿情引導,成為秩序建設的特殊形式,也是構建和諧社會的重要組成部分。與此同時,隨著高職院校的院校網(wǎng)絡迅速建設,“網(wǎng)絡化生存”正逐漸成為學生在校生活的重要方式,使得高職院校的校園輿情也出現(xiàn)了與網(wǎng)絡相結合的新特征。校園輿情同公眾輿情一樣,是大學生作為輿情主體基于自身的某種利益,對校園現(xiàn)實或社會現(xiàn)實的反映和對自身意愿的表達[1]。同時校園論壇已經(jīng)成為學生發(fā)表輿情的重要平臺。

因此,基于校園論壇建立一個有效的輿情熱點推薦系統(tǒng),通過信息化技術了解學生當前的思想狀態(tài),幫助學生管理人員快速尋找到當前學生的輿情熱點,并對學生進行恰當?shù)囊龑?對學生管理工作不無裨益。本研究以校園網(wǎng)絡服務器中的論壇數(shù)據(jù)庫話題記錄表為基礎,提出一種基于Web數(shù)據(jù)挖掘的關鍵詞權重評分協(xié)同過濾聚類算法為主線,來達到匯集輿情熱點的目的。

1 論壇輿情挖掘中的數(shù)據(jù)過濾

面對網(wǎng)絡上的海量數(shù)據(jù),首先使用數(shù)據(jù)過濾來解決網(wǎng)絡輿情數(shù)據(jù)信息量大、數(shù)據(jù)噪聲多等問題。以學校服務器上的論壇數(shù)據(jù)庫為基礎,從tb_User表、tb_Topic表、tb_Revert表等數(shù)據(jù)表中使用聯(lián)合查詢獲得相應數(shù)據(jù)。對學生用戶發(fā)表的話題,進行前置轉換與處理,將發(fā)表話題ID、發(fā)表用戶登陸名、發(fā)表時間、話題內容長度、瀏覽次數(shù)和回復次數(shù)等四項數(shù)據(jù)作為分析的基礎,本文以表1為例進行分析。

表1 前置處理后的數(shù)據(jù)表

根據(jù)從服務器數(shù)據(jù)庫中所擷取出的學生所發(fā)表帖子數(shù)據(jù)內容特性,可根據(jù)定義數(shù)據(jù)取用的限制條件,過濾出有效的數(shù)據(jù)。而在本研究中,定義了三項限制條件。

1.1 時間限制

本研究立足于對當前學生輿情的分析與引導,一般而言,學生關心的輿情熱點存在季節(jié)性的差別,因此本研究首先針對前置處理后的數(shù)據(jù),擷取出2009年的記錄,如表2所示。表2為表1的延續(xù),其中的數(shù)據(jù)僅保留發(fā)表于2009年的話題記錄,其余記錄皆忽略不計。

表2 時間限制

1.2 內容長度限制

學生用戶以設定的賬號與密碼登入論壇發(fā)表話題,鑒于每個學生用戶具有不同的發(fā)表目的,具有明確發(fā)表意向的用戶往往會有較多文字內容的描述。為了使分析結果具有較高的參考性,排除部分學生用戶較少字數(shù)話題的干擾項,本研究定義了一個最低內容字數(shù)的門坎值,以過濾出為獲得用戶積分而發(fā)表的字數(shù)較少無實際內容的話題,如表3所示。表3為表2例子的延續(xù),其中話題字數(shù)小于5個字的,其瀏覽記錄將忽略不計。

1.3 興趣度限制

當在論壇上學生對一個話題的瀏覽次數(shù)(點擊率)和回復次數(shù)很高時,我們可以稱學生對該話題具有較高的興趣度。所以本研究定義了一個最低點擊率門坎值,以過濾出點擊率和回復次數(shù)之和低于門坎值的用戶話題,如表4所示。表4為表3的延續(xù),其中學生在論壇上發(fā)表的某個話題如果沒有引起足夠的興趣度即瀏覽次數(shù)和回復數(shù)之和低于12次的,將被忽略。

表3 內容長度限制

表4 興趣度限制

根據(jù)本研究所定義的三項限制條件,上述例子最后得到表4的話題瀏覽記錄,大幅降低了待處理的數(shù)據(jù)量。

如何有效地描述互聯(lián)網(wǎng)輿情指數(shù),如何精確地判定某個網(wǎng)絡突發(fā)事件發(fā)生,如何準確地將網(wǎng)絡突發(fā)事件類別化等等,所有這些問題都源自互聯(lián)網(wǎng)輿情關鍵詞的挖掘技術。因此,在下個步驟中,要從被選數(shù)據(jù)集中獲得相應的輿情關鍵詞集分類。

2 輿情關鍵詞集的分類

2.1 輿情關鍵詞挖掘方法概述

首先,互聯(lián)網(wǎng)可用的信息源非常豐富,為了避免所研究的問題過于龐雜,我們將網(wǎng)絡輿情的信息源限定到校園網(wǎng)絡服務器的BBS論壇上。BBS最主要的信息傳遞方式是話題的文本信息,為網(wǎng)絡輿情的發(fā)生和變化提供了平臺,因此可以也應當考慮用代表文本信息的特征詞,即輿情關鍵詞對網(wǎng)絡輿情進行必要的描述。從話題的文本信息中挖掘輿情關鍵詞并對其進行必要的分類。

2.2 輿情關鍵詞集的選取

本文依據(jù)校園網(wǎng)絡的BBS論壇等文本內容均是網(wǎng)絡輿情的直接反映,可以作為語料集的待選信息源。內容頁面是用戶感興趣信息的主要載體,一個內容頁面中包含了圖像、動畫、音頻、超鏈接等豐富的信息表達方式,但最主要的信息傳遞方式還是正文的文字信息。為了簡單起見,本文只處理正文信息,為此我們將原始語料集中網(wǎng)頁結構信息,以及圖像、動畫、音頻、超鏈接等信息統(tǒng)一屏蔽,僅僅保留原始語料集的正文信息。

與英文不同,中文詞匯不像英語中的單詞那樣是自然分割的,有的時候是詞和詞之間緊密連接成為短語。句子中的詞匯需要人為地通過語境來切分,短語所表達的意思會因不同的切分方式而與單個的詞語意不同。在短文本串聚類方面,黃永光等人針對近些年來大量出現(xiàn)的聊天語言和手機短信中的短文本,提出了一種面向變異短文本的快速高效的聚類算法,該算法采取特征串抽取方法,并融合了壓縮編碼的思想,從而加快了處理速度,該方法較適合手機短信等不規(guī)范的短文本進行聚類[2]。另外,朱燁行等人為方便BBS瀏覽提取一種新的文本聚類方法,即以分等級的菜單方式組織帖子,該方法類似于找出最長公共特征串,利用頻繁出現(xiàn)的串先聚成小類,再對小類進行合并,進而得到粒度適當?shù)念怺3]。在研究BBS、Blog等短文本聚類時,這些技術可以有效的得到正確的關鍵詞和關鍵詞短語。

文獻[4]中給出了如何建立備選網(wǎng)絡輿情關鍵詞語料集,基于統(tǒng)計的中文高頻詞提取,輿情關鍵詞的評價標準、提取算法以及輿情關鍵詞的分類,即網(wǎng)絡輿情關鍵詞挖掘的四個步驟,并在關鍵詞的分類技術上,給出了一種改進了的k-均值(k-means)聚類分析算法。

經(jīng)過試驗,我們按照已選定網(wǎng)絡輿情的備選關鍵詞原始語料集的分類目錄分別運行進行改進了的k -均值聚類分析程序,剔除重復的關鍵詞,得到代表網(wǎng)絡輿情的關鍵詞。

2.3 輿情關鍵詞集的分類

得到了關鍵詞集以后,為了確定各個關鍵詞分類,選用德爾菲法,根據(jù)濰坊職業(yè)學院信息工程系中具有多年學生管理工作經(jīng)驗的各位輔導員的意見獲得大體的關鍵詞分類,然后統(tǒng)計關鍵詞評估因素分類表如表5所示。

表5 關鍵詞分類表

主要分成了六大類評估因素,在每一個大的評估因素里面,為了方便關鍵詞分類,又細分了各個方面的分支,例如,如果關鍵詞屬于對人評價類評估因素中的教師評教類,則它的分類編號為D。得到了關鍵詞的分類表就可以運用關鍵詞項目評分來匯總輿情熱點。

3 基于關鍵詞評分的協(xié)同過濾算法

基于詞匯權重評分的協(xié)同過濾算法的基本思想就是對輿情關鍵詞權重評分相似的最近鄰居(如果兩個話題文本的輿論方向大體一致,我們就稱其中一個話題文本為另一個目標話題文本的最近鄰居)的聚類算法。該相似度聚類方法基于這樣一個前提:在單一文本中關鍵詞的出現(xiàn)頻數(shù)可以作為用于描述文本的特征向量,如果最近鄰居對相同類別的輿情關鍵詞的權重評分與目標話題非常相似,則這兩個話題文本屬于同一種輿情方向。

在基于校園網(wǎng)絡的大型論壇(BBS)系統(tǒng)中,一個比較明顯的問題在于:當學生用戶數(shù)目和發(fā)表的話題數(shù)目增加很快,關鍵詞的評分數(shù)據(jù)卻和大幅增加的學生發(fā)表的話題成反比。在關鍵詞分布極端稀疏的情況下,根據(jù)文獻[5]中提出的基于項目評分聚類的協(xié)同過濾推薦算法(K-means聚類算法)可以有效的根據(jù)關鍵詞的相似性度量對輿情的方向進行聚合。

4 輿情熱點的推薦

在數(shù)據(jù)過濾之后,根據(jù)關鍵字庫的分類,分析話題關鍵詞的偏好。通過使用關鍵詞表遍歷數(shù)據(jù)庫,在話題中出現(xiàn)的關鍵詞標記為(關鍵詞類別號,關鍵詞編號),例如(A,14)代表該關鍵詞為A類第14號關鍵詞。在表4的基礎上得到表6。按照話題所包含的某類別的關鍵詞出現(xiàn)次數(shù)為評分標準,在表6的基礎上得到表7。

表6 話題關鍵詞集合

表7 關鍵詞評分矩陣

由于表7為表1一路衍生而來,所以表7中包含的所有話題,均符合文中所定義的時間限制、內容長度限制、興趣度限制。

在整理出目標關鍵詞表和關鍵詞評分矩陣之后,可以把關鍵詞集合評分大體相同的話題聚合在一起,根據(jù)協(xié)同過濾推薦算法,分別計算話題的相似度。Topic08和 Topic10的相似度近似為1,Topic23和 Topic71的相似度為1,因此 Topic10和 Topic71可以作為輿情方向相似項分別與 Topic08、Topic23進行聚合。這樣可以有效減少分析的數(shù)據(jù)量并且不影響數(shù)據(jù)挖掘的結果,為進一步縮減的結果,通過以上的方法,可以得到與合并相近性后的話題集合。接著根據(jù)興趣度即點擊率和回復率之和降序擺列,將推薦后興趣度高的話題排放在前面,整理如表8。

表8 關鍵詞評分聚類后的話題集合

在每次聚類時,把相同輿情方向中被合并的話題數(shù)目進行記錄,根據(jù)表8操作所得的結果,將得到的輿情熱點整理如表9所示。

表9 絡輿情熱點

5 實驗結果與分析

首先從校園服務器上的論壇SQL數(shù)據(jù)庫中取出論壇的話題及回復話題的記錄,共計52750條記錄,接著根據(jù)所定義的限定性條件:

(1)時間限制:2009年11月份、12月份的記錄

(2)內容長度限制:發(fā)表的話題字數(shù)在10個字以上的。

(3)興趣度限制:瀏覽和回復次數(shù)在12次以上的。

過濾后,留下1386條記錄,再使用關鍵詞評分,進行相似度計算,合并相似度近的輿情熱點。(見表10)

表10 網(wǎng)絡輿情熱點分析

根據(jù)匯總出2009年11月份、12月份的學生網(wǎng)絡輿情主要方向有:

(1)部分學生對學校的硬件設備滿意度不高,認為很多學生活動的實施過程形式化,沒有預期的效果。

(2)部分學生對技能大賽還存在疑惑,不知道自己適合哪個方向,哪個方向能出成績。選方向的時候基本是根據(jù)對指導老師的認可度進行選擇。

(3)部分學生對2009年11月份的學校獎學金評定過程感覺不公平,獎罰不分明,不少同學對獎學金的評選特別是市級以上獎學金的評選失去信心。

得到了大體的輿情方向后,班主任、輔導員就可以采取班會、座談會等形式,對學生進行積極的開導和引導。

[1]陳文舉,夏泉.試論高校輿論引導與和諧校園建設[J].濟南大學學報,2006,16(6):88-95.

[2]黃永光,劉挺.面向變異短文本的快速聚類算法[J].中文信息學報,2007,21(2):63-68.

[3]朱燁行,戴冠中.一種文本聚類方法及BBS瀏覽機制研究[J].微電子學與計算機,2006,23(8):55-60.

[4]趙旭東.互聯(lián)網(wǎng)輿情指數(shù)挖掘方法研究[D].哈爾濱:哈爾濱工業(yè)大學,2007.

[5]鄧愛林,左子葉,朱揚勇.基于項目聚類的協(xié)同過濾推薦算法[J].小型微型計算機系統(tǒng),2004,24(9):67-68.