方博平　郭佳怡　陸欣怡　王夢怡　宋濤

摘要：對智慧政務平臺的群眾輿情建立了文本聚類模型進行信息挖掘與分析?；贔astText原理利用Python語言進行數(shù)據(jù)預處理并實現(xiàn)文本數(shù)據(jù)的分類。使用TF-IDF算法將文本信息轉換為權重向量并提取文本關鍵詞，結合K-means聚類算法建立文本聚類模型，實現(xiàn)對群眾輿情中高頻熱點問題的挖掘和排序。最后，對政府反饋意見以信息量、可解釋性、相關性3個評價指標進行權重計算，構建了廣義線性回歸模型的評價指標體系。每一步驟均給出了相應實例分析及計算結果。

關鍵詞：智慧政務;FastText;TF-IDF算法;K-means聚類;廣義線性回歸模型

在互聯(lián)網(wǎng)的快速發(fā)展和滲透下，網(wǎng)絡問政平臺為收集海量群眾輿情文本數(shù)據(jù)提供了方便。但如何快速處理大量留言文本數(shù)據(jù)并進行有效處理成為亟待解決的問題。

本文利用收集自互聯(lián)網(wǎng)公開來源的群眾問政留言記錄，及相關部門對部分群眾留言的答復意見，采用FastText原理對留言詳情信息進行分類，用TF-IDF算法計算權重，提取文本關鍵詞，結合K-means算法提取熱點話題，計算余弦相似度篩選高質(zhì)量答復建議，構建答復意見質(zhì)量評價指標體系的廣義線性回歸模型。

1預處理工作

數(shù)據(jù)來源為互聯(lián)網(wǎng)公開渠道?；赑ython語言，預處理選擇中文分詞模塊jieba對群眾留言進行分詞，采用精確模式用于去除文本標注的無效信息，為后續(xù)進一步處理作準備。

建立停用詞字典，選擇了CSDN網(wǎng)站的停用詞表，其中包含1893個停用詞。在分詞以后去停用詞。最終對留言文本分詞后去停用詞的部分結果如圖1所示：

使用n-gram算法進行特征提取，將文本內(nèi)容按照字節(jié)順序進行大小為N的滑動窗口操作，最終形成長度為N的字節(jié)片段序列。經(jīng)多次測試后，得出2-gram最適用。

2分類模型構建和熱點問題的挖掘

2.1群眾留言文本分類

通常情況下，在得到文本向量進行分類處理時常選擇余弦相似度計算。但由于群眾輿情文本的詞匯一文本矩陣是一個不易計算的大矩陣，因此不選擇余弦相似度的方法，而是借助Softmax函數(shù)來實現(xiàn)，同時也實現(xiàn)了語義空間的降維。

Softmax函數(shù)能將一個含任意實數(shù)的K維向量“壓縮”到另一個K維實向量中，使得每一個元素的范圍都在（0，1）之間，并且所有元素的和為1。該函數(shù)多于多分類問題中。計算Softmax函數(shù)耗時較長，因此可用分層Softmax來加速，即根據(jù)類別的頻率構造霍夫曼樹來代替標準Softmax，通過分層Softmax可以將復雜度從N降低到logN。

由于想要模型訓練速度快且不需要預訓練好的詞向量，故選擇FastText文本分類算法。FastText的結構為：輸入—隱層—h-softmax。原理是將輸入層中的詞和詞組構成特征向量，再將特征向量通過線性變換映射到隱藏層，隱藏層通過求解最大似然函數(shù)，然后根據(jù)每個類別的權重和模型參數(shù)構建霍夫曼樹，將霍夫曼樹作為輸出。

2.2熱點問題挖掘

2.2.1留言信息特征提取

熱點問題的挖掘是群眾輿情政務處理的重點，需要政府相關部門高度重視。在對群眾留言詳情信息分詞后，可以通過將這些詞語轉換為向量供文本挖掘使用。通常采用TF-IDF算法將詞語信息轉換為權重向量。TF-IDF算法的具體流程分為三步：

第一步，計算詞頻，即TF權重（Term Frequency）。詞頻（TF）是某個詞在文本中出現(xiàn)的次數(shù)。考慮文本有長短之分，為了便于不同文本的比較，需要對“詞頻”進行標準化。

第二步，計算IDF權重，即逆文檔頻率（inverse Document Frequency），建立一個語料庫模擬語言的使用環(huán)境。IDF越大，此特征性在文本中的分布越集中，則該分詞在區(qū)分該文本內(nèi)容屬性能力越強。

第三步，計算TF-IDF值（Term Frequency Document Frequency），公式為：

TF-IDF=詞頻（TF）×逆文檔頻率（IDF）

實際分析得出TF-IDF值與一個詞在留言信息表中文本出現(xiàn)的次數(shù)成正比，某個詞文本的重要性越高，TF-IDF值越大。計算文本中每個詞的TF-IDF值并進行排序，次數(shù)最多的即為要提取的留言信息表中文本的關鍵詞。

對群眾輿情信息生成TF-IDF向量的具體步驟如下，得到的結果如圖2所示。

（1）使用TF-IDF算法，找出每個留言描述的前5個關鍵詞;

（2）對每個留言描述提取的5個關鍵詞，合并成一個集合，計算每個留言描述對于這個集合中詞的詞頻，如果沒有則記為0;

（3）生成各個留言描述的TF-IDF權重向量。

2.2.2話題表示模型構建

K-means聚類算法是無監(jiān)督的機器學習方法，將數(shù)據(jù)集劃分為不同的類簇。將每個簇看成是一個話題，運用K-means聚類方法采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。該算法認為簇是由距離靠近的對象組成的，把得到緊湊且獨立的簇作為最終目標。其中，k個聚類具有以下特點：各聚類本身盡可能緊湊，而各聚類之間盡可能分開。一般選取歐氏距離作為相似性和距離判斷準則，計算該類內(nèi)每個點到聚類中心的距離平方和，聚類目標是使各類總的距離平方和最小，根據(jù)最小二乘法和拉格朗日原理，聚類中心應該取為各類別數(shù)據(jù)點的平均值。

為保證聚類模型的效果，應選擇合適的中心點?，F(xiàn)采用以下方法來確定K-means中心點：首先選擇彼此距離盡可能遠的那些點作為中心點，采用層次進行初步聚類輸出k個簇，以簇的中心點作為K-means的中心點的輸入。然后多次隨機選擇中心點訓練K-means，選擇效果最好的聚類效果。

2.2.3文本聚類話題提取

根據(jù)聚類得到的話題類別，結合留言文本數(shù)據(jù)的內(nèi)容，現(xiàn)提取得到排名前五的熱點話題及其相關內(nèi)容如下：

3答復意見質(zhì)量評價指標與模型構建

3.1文本指標提取

根據(jù)留言的內(nèi)容，從反饋的問題意見中提取特征。對于答復意見文本信息中提取的主要特征指標有相關性、可解釋性、信息量等。對于以上特征指標可以通過以下不同的方式獲得：

3.1.1相關性指標

相關性是指答復意見與留言主題的相關性。答復意見通常使用向量的形式來表達，因此可以通過計算文檔之間的距離來計算文檔相似度。利用余弦相似度計算方法來計算留言主題與相關工作部門的答復意見之間的相似度。

當余弦值接近1，夾角趨于0度時，說明兩個向量越相似。當余弦值接近于0，夾角區(qū)域90度時，表明兩個向量越不相似，以此來判斷相似度。答復意見與留言主題相關度越高，則該答復建議對主題的價值越大，其質(zhì)量越高。可以選取一個閾值，進而篩選出每個主題相關度大于該閾值的評論作為該主題下質(zhì)量較高的答復建議。

3.1.2可解釋性指標

可解釋性是指政府部門答復意見的可讀性。答復意見的可讀性可以用自動化可讀性指數(shù)ARI（Automated Readability Index）來表示。ARI的計算公式為：

API=4.71·（總字符數(shù)/總字數(shù)）+0.5·（總字數(shù)/總句數(shù)）-21.43

3.1.3信息量指標

信息量是指從內(nèi)容上確保答復意見質(zhì)量，以答復意見長度衡量（詞/字數(shù)統(tǒng)計），即答復意見內(nèi)容的長度。通常認為，答復意見內(nèi)容越多所包含有效信息越多，參考價值越大，在一定程度上會增加民眾對部門工作能力的信服力?，F(xiàn)使用分數(shù)表示文本信息量，少于10個字為0.1分。11至20個字為0.2分，以此類推，大于90及以上為1分。

3.2答復意見質(zhì)量評價指標體系和模型

使用不同的指標權重構建工作部門答復意見質(zhì)量評價模型，將會得到不同的結果。因此，基于上述評價指標，使用基于主成分分析權值的方法計算模型中各個評價指標的權重后再構建評價指標體系。具體做法如下，首先，將相關工作部門答復意見中數(shù)據(jù)對應的各個評價指標的數(shù)據(jù)進行標準化，以降低各個不同評價指標中的差異度。其次，對各個評價指標進行主成分分析以及權值的計算。最后，對評價指標進行主成分分析。對信息量、可解釋性、相關性這三個主成分評價指標進行權重計算后再使用廣義線性回歸算法建立模型，對答復意見的質(zhì)量進行預測。

引入四個符號：答復意見質(zhì)量（Q），相關性（Relevancy），可解釋性（Credibility），信息量（Words）后建立廣義線性回歸模型Q=（φ·Words+φ·Relevancy+φ·Credibility+ε作為答復意見質(zhì)量評價指標體系。

基于主成分分析權值的方法計算得出的信息量、相關性和可解釋性這三個評價指標的權重分別用φ、φ、φ表示，其中，ε表示常數(shù)項。

最終，經(jīng)過模型訓練得到的答復意見質(zhì)量評價指標體系的廣義線性回歸模型計算公式為：

Q=0.28Words+0.26Relevancy+0.28Credibility+0.01

4結論

對“智慧政務”中的文本數(shù)據(jù)即群眾的留言數(shù)、熱點問題以及相關政府部門的答復數(shù)據(jù)建立了文本聚類模型進行數(shù)據(jù)挖掘與分析。分析過程包括數(shù)據(jù)預處理、數(shù)據(jù)篩選與特征提取處理、聚類分析、構建評價指標與建模等。每一分析步驟均給出了實例分析和對應結果，在文本數(shù)據(jù)分析過程中需注意如下事項：

（1）對獲得的留言數(shù)據(jù)利用基于FastText原理的Python程序進行處理，可實現(xiàn)對留言數(shù)據(jù)的分類，降低模型訓練時間，提升可建模度，增加模型的準確性。

（2）利用K-means文本聚類算法，可以更好地將留言加入對應的話題簇，從而對熱點問題進行更好的分類和篩選。

（3）在構建答復意見質(zhì)量評價指標與模型中，通過提取的指標特征構建廣義線性回歸模型對相關部門的答復意見質(zhì)量進行分析。為平衡模型，需對文本模型的目標值進行標準化，使對答復意見質(zhì)量的評價更為準確。

*通訊作者：宋濤，博士，講師，研究方向：交通行為和交通流建模與分析。