金志剛，胡博宏, 2，張瑞

?

基于深度學(xué)習(xí)的多維特征微博情感分析

金志剛1，胡博宏1, 2，張瑞1

(1. 天津大學(xué) 電氣自動化與信息工程學(xué)院，天津，300072；2. 天津大學(xué) 國際工程師學(xué)院，天津，300072)

提出1種基于卷積神經(jīng)網(wǎng)絡(luò)的多維特征微博情感分析新機制；利用詞向量計算文本的語義特征，結(jié)合基于表情字符的情感特征，利用卷積神經(jīng)網(wǎng)絡(luò)挖掘特征集合與情感標(biāo)簽間的深層次關(guān)聯(lián)，訓(xùn)練情感分類器；結(jié)合微博文本的語義和情感特征，同時利用卷積神經(jīng)網(wǎng)絡(luò)的抽象特征提取能力，進而改善情感分析性能。研究結(jié)果表明：引入表情字符的情感特征模型可使情感分析準(zhǔn)確率提高2.62%；相比基于詞典的機器學(xué)習(xí)模型，新機制將情感分析準(zhǔn)確率與度量分別提升21.29%和19.20%。

情感分析；卷積神經(jīng)網(wǎng)絡(luò)；微博短文本；表情字符

隨著互聯(lián)網(wǎng)的飛速發(fā)展，越來越多的用戶樂于在網(wǎng)絡(luò)上發(fā)布自己的觀點、分享個人的生活狀態(tài)，同時獲取實時新聞、資訊，社交平臺也因此發(fā)展迅猛。新浪微博作為一個基于用戶關(guān)系信息分享、傳播以及獲取的平臺，改變了傳統(tǒng)社交網(wǎng)絡(luò)交流方式，給用戶提供更為便捷獲取豐富信息的方式，迅速成為了極具人氣的社交網(wǎng)絡(luò)平臺與新媒體平臺。由于微博平臺的開放性，多數(shù)突發(fā)事件都是第一時間由身處現(xiàn)場的目擊者發(fā)布到微博平臺，并因此引發(fā)網(wǎng)友的高度關(guān)注，例如“巴黎恐怖襲擊事件”、“上海浦東機場疑似爆炸事件”、“英國退歐”等。互聯(lián)網(wǎng)用戶通過微博第一時間了解熱點事件，關(guān)注事態(tài)發(fā)展；相關(guān)部門通過微博通報事件最新進展，澄清事實，安撫民眾情緒。因此對微博平臺內(nèi)容進行準(zhǔn)確分析具有重要意義。Twitter作為國外著名的社交平臺，已成為學(xué)術(shù)界的熱門研究對象。用于Twitter情感分析的傳統(tǒng)方法是基于詞典的情感分析，使用包含情感極性、否定以及程度副詞的詞典計算句子的情感傾向[1?2]。PANG等[3]基于學(xué)習(xí)的情感分析方法，將文本情感分析看作文本分類問題，利用從情感詞選取的大量嘈雜的標(biāo)簽文本作為訓(xùn)練集直接構(gòu)建分類器。大量基于學(xué)習(xí)的情感分析方法過于依賴特征工程，例如MOHAMMAD等[4]利用大量手工挑選的特征取得了當(dāng)時的最佳分類性能，但手工特征需要大量的語法構(gòu)詞等專業(yè)知識，同時成本極高。因此，國內(nèi)外研究者開始將深度學(xué)習(xí)模型應(yīng)用于Twitter情感分析問題。SEVERYN等[5]使用詞向量表示文本的語義特征，并使用卷積神經(jīng)網(wǎng)絡(luò)提取深層次特征訓(xùn)練分類器；TANG等[6]構(gòu)建神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)包含情感特征與語義特征的詞向量表示，并與手工特征結(jié)合作為復(fù)合特征，訓(xùn)練分類器。此外，國內(nèi)外研究者也將深度學(xué)習(xí)模型應(yīng)用于英語短文本處理。KIM等[7]使用卷積神經(jīng)網(wǎng)絡(luò)對短文本進行建模，并在多個數(shù)據(jù)集上進行了多組實驗，完成了句子級別的文本分類任務(wù)。ZHANG等[8]提出了字符級別的卷積神經(jīng)網(wǎng)絡(luò)模型并用于文本分類，該模型適用于多種語言，且其性能不亞于詞袋模型、N-grams、TFIDF等傳統(tǒng)模型，以及基于詞組的卷積神經(jīng)網(wǎng)絡(luò)模型和循環(huán)網(wǎng)絡(luò)模型。WANG等[9]提出將卷積神經(jīng)網(wǎng)絡(luò)與-means算法融合的半監(jiān)督學(xué)習(xí)模型，使用少量帶標(biāo)簽數(shù)據(jù)對短文本進行聚類。XU等[10]提出了利用卷積神經(jīng)網(wǎng)絡(luò)與-means聚類算法結(jié)合的短文本聚類模型，該模型是自學(xué)習(xí)框架，無需任何標(biāo)簽數(shù)據(jù)。英語語料相比中文語料具有已分詞的天然優(yōu)勢，此外，中英文在文化以及使用習(xí)慣上也具有很大差別。針對中文短文本的情感分析并不多，大部分通過提取文本的情感和統(tǒng)計等特征，進而使用機器學(xué)習(xí)中的分類算法完成情感分析任務(wù)。黃發(fā)良等[11]提出基于隱含狄利克雷分布(LDA)主題模型的結(jié)合表情符號與用戶性格特征的多特征融合模型，實現(xiàn)了微博文本的主題與情感傾向的同步檢測。張冬雯等[12]通過word2vec工具擴充情感詞典，根據(jù)情感詞特征與詞性特征，使用支持向量機訓(xùn)練文本情感分類模型。黃仁等[13]也通過word2vec工具擴展情感詞典，使用基于情感特征詞的統(tǒng)計模型對文本進行情感評分。通過情感詞典提取情感特征對情感詞典要求嚴(yán)格。一方面，模型往往需要多種詞典，如情感詞詞典、程度副詞詞典和否定詞詞典等；另一方面，互聯(lián)網(wǎng)新詞、網(wǎng)絡(luò)用語日新月異，更新和維護詞典也是一個難題。而統(tǒng)計特征的提取依賴自然語言的研究分析，需要語法構(gòu)詞等專業(yè)知識。當(dāng)前，將深度學(xué)習(xí)模型應(yīng)用于中文微博情感分析的研究不多。本文作者一方面使用word2vec工具計算詞向量，提取短文本的語義特征，另一方面保留微博文本中的表情字符，作為情感特征，共同構(gòu)成特征集合；再通過卷積神經(jīng)網(wǎng)絡(luò)模型提取深度抽象特征，訓(xùn)練分類器完成情感分類任務(wù)。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的多維特征微博情感分析新機制

本文作者提出1種多維特征微博情感分析新機制。圖1所示為多維特征微博情感分析新機制流程圖。

微博文本的多維度特征包括語義特征與情感特征。語義特征通過對大規(guī)模語料進行無監(jiān)督學(xué)習(xí)訓(xùn)練，計算詞組的詞向量表示。詞向量不僅將詞組映射至高維空間中實現(xiàn)向量化表示，同時詞向量在高維空間中的余弦距離也表示詞組間的相似度，蘊含了詞組間的深層語義聯(lián)系。情感特征由微博文本中的表情字符表示。對微博文本中的表情字符提取與轉(zhuǎn)換，并進行隨機向量化以匹配語義特征的詞向量表示，共同構(gòu)成微博文本特征集合。

將特征集合作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，通過卷積與池化運算，捕獲局部特征并對局部特征進行篩選，所得特征作為情感分類器的輸入，訓(xùn)練微博文本情感分類器。

圖1 多維特征微博情感分析新機制流程圖

2 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中的常用模型之一，已經(jīng)在圖像和語音分析領(lǐng)域取得了可觀的效果。該模型受生物視覺系統(tǒng)啟發(fā)，通過池化和權(quán)值共享減少了網(wǎng)絡(luò)中權(quán)值的數(shù)量，降低了網(wǎng)絡(luò)模型的復(fù)雜度。池化操作利用了自然文本的統(tǒng)計特性即局部的統(tǒng)計特性同樣適用于其他部分的原理。同時，卷積神經(jīng)網(wǎng)絡(luò)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。

2.1 模型概況

本文作者借鑒文獻[7]中使用的卷積神經(jīng)網(wǎng)絡(luò)模型，所用的模型可分為3個部分，如圖2所示。

第2部分為卷積層，主要由卷積和池化運算構(gòu)成。使用卷積層是為了提取微博文本的深層次情感模式特征，同時配合池化運算減少計算量，歸一化特征長度。模型使用不同長度的卷積核提取不同的特征，每個卷積核是一個×的矩陣，其中是卷積核的長度。使用卷積核對微博文本進行卷積，該過程可表示為

經(jīng)過池化操作，即可保證使用多個不同長度卷積核對微博文本卷積生成長度統(tǒng)一的特征向量。

第3部分是分類層。將上一層生成的特征向量輸入至全連接的softmax層，計算屬于各類別的概率分布：

2.2 正則化

模型使用反向傳播算法進行訓(xùn)練，采用隨機梯度下降算法(SGD)計算梯度，使用Adadelta算法[14]自動更新學(xué)習(xí)率。此外，模型引入Batch Normalization算法對各層神經(jīng)網(wǎng)絡(luò)的輸入進行正則化處理。通過在各層計算激活值前加入一個Batch Normalization歸一化網(wǎng)絡(luò)層，能夠減少內(nèi)部協(xié)變量偏移的影響，進而加速參數(shù)更新的收斂與網(wǎng)絡(luò)的訓(xùn)練[15]。

(a) 輸入層；(b) 卷積層；(c) 分類層

本模型中加入了2處Batch Normalization歸一化網(wǎng)絡(luò)層。一是在卷積運算后，對單個卷積核對應(yīng)的卷積特征進行歸一化，再進行池化運算；二是在全連接分類層中計算激活值之前加入歸一化層，激活值計算公式為

引入歸一化層后，激活值計算公式為

其中：為歸一化函數(shù)。由于歸一化運算對于偏置無效，因此省略偏置項。

3 微博文本多維度特征提取

3.1 基于詞向量的語義特征

已有的研究表明，在無法對大規(guī)模帶標(biāo)簽數(shù)據(jù)進行監(jiān)督學(xué)習(xí)的情況下，使用無監(jiān)督學(xué)習(xí)的方式初始化神經(jīng)網(wǎng)絡(luò)的輸入值，是一個有效改善訓(xùn)練效果、加速訓(xùn)練收斂的方法[16?17]。因此，本文作者使用word2vec工具計算微博文本的詞向量，作為卷積神經(jīng)網(wǎng)絡(luò)輸入的初始化值。

word2vec工具[18]是Google上一款開源的高效計算分布式詞向量的工具。此工具以語料庫為輸入，計算出詞向量表示。它以由文本數(shù)據(jù)構(gòu)建的詞匯表為訓(xùn)練數(shù)據(jù)，然后學(xué)習(xí)詞組的高維向量表示，即將詞組映射至有限維的高維空間中。與傳統(tǒng)的One-hot表示模型相比，詞向量是稠密的向量表示，并且更易計算向量間的距離度量，因此更適用于自然語言處理和機器學(xué)習(xí)，同時對微博文本的簡短性和隨意性具有更好的魯棒性。

word2vec工具包含2個計算詞向量的模型即連續(xù)詞袋模型(CBOW)和Skip-Gram模型。該工具基于神經(jīng)網(wǎng)絡(luò)語言模型，通過刪除隱層以及利用分層softmax和負(fù)采樣等技巧減少計算復(fù)雜度，同時優(yōu)化訓(xùn)練結(jié) 果[19?20]。通過word2vec工具對分詞后的中文語料進行訓(xùn)練，可計算每個詞組的指定維度的向量表示。利用詞組的詞向量可以方便地計算詞向量的余弦距離作為詞組間的相似度度量，因此詞向量表示了語料中詞組間的深層語義聯(lián)系。

3.2 基于微博表情字符的情感特征

微博平臺為用戶提供了大量的默認(rèn)表情字符，幫助用戶更生動地表達當(dāng)下的感受和體會。圖3所示為微博默認(rèn)表情。直觀上，這些表情字符也是微博文本情感傾向的重要組成部分。由于傳統(tǒng)的自然語言處理大多針對新聞、博客等正式語料，因此只關(guān)注對于文本的研究與處理，在文本預(yù)處理階段只過濾出文本信息，而刪除網(wǎng)頁鏈接、特殊字符等數(shù)據(jù)，導(dǎo)致微博文本情感特征的缺失。

圖3 微博默認(rèn)表情

通過研究發(fā)現(xiàn)，微博平臺的默認(rèn)表情字符是由HTML圖像標(biāo)簽構(gòu)成。因此，在數(shù)據(jù)預(yù)處理階段，對圖像標(biāo)簽進行提取與轉(zhuǎn)換，并將轉(zhuǎn)換后的表情字符插入所屬微博文本的原位置，然后用方括號對表情字符進行標(biāo)注，以區(qū)分微博中的文本與表情，例如“[哈哈]”。將處理后的表情字符采用隨機初始化的方式轉(zhuǎn)換成詞向量，與語義特征保持一致，進而實現(xiàn)語義特征與情感特征的結(jié)合。

4 實驗與分析

4.1 數(shù)據(jù)集

實驗所用數(shù)據(jù)集包含word2vec訓(xùn)練語料與微博數(shù)據(jù)集。

word2vec訓(xùn)練語料使用搜狗實驗室整理提供的新聞數(shù)據(jù)[21]，包含全網(wǎng)新聞數(shù)據(jù)與搜狐新聞數(shù)據(jù)共 2 706 229條新聞?wù)Z料。選取新聞預(yù)料中新聞?wù)倪M行分詞處理，作為word2vec工具的訓(xùn)練數(shù)據(jù)，并設(shè)置詞向量長度=300。訓(xùn)練完成后，共包含565 345個詞組。對于未出現(xiàn)在詞向量集合中的詞組，將對其進行隨機初始化。

對于微博數(shù)據(jù)集，由于模型需要考慮微博中的表情字符，并未發(fā)現(xiàn)合適的公開數(shù)據(jù)集，因此通過自行采集的方式獲取了約10 000條微博文本，通過人工標(biāo)注的方式將其分為積極和消極2類，其中積極類微博3 100條，消極類微博3 800條。最終，隨機選擇3 000條積極類和3 000條消極類微博作為數(shù)據(jù)集。表1所示為實驗所用微博樣本示例。

表1 微博文本示例

4.2 對比實驗

對比實驗包含2個部分：第1部分是與傳統(tǒng)基于詞典的機器學(xué)習(xí)模型的對比；第2部分是與無表情字符的卷積神經(jīng)網(wǎng)絡(luò)模型對比。

第1部分的對比實驗采用基于情感詞典與詞性特征的機器學(xué)習(xí)情感分類算法。參考文獻[12]，使用word2vec工具計算詞組相似度，進而對由HowNet詞典和IAR詞典組合構(gòu)成的情感詞典進行擴充，同時使用{形容詞，副詞，動詞}的詞性組合作為文本的詞性特征，將提取的情感特征與詞性特征進行主成分分析(PCA)降維處理，最終通過支持向量機對特征進行訓(xùn)練，完成中文情感分類任務(wù)。

為了驗證微博文本中表情字符對情感分析的促進效果，設(shè)計關(guān)于表情字符的對比實驗，即在文本預(yù)處理階段將表情字符去除作為對比實驗，其余設(shè)置與主模型相同。

4.3 結(jié)果與討論

實施3組情感分析實驗。第1組為本文提出的微博情感分析新機制，記為有情感特征的深度學(xué)習(xí)模型其參數(shù)通過在小批量數(shù)據(jù)集上進行交叉驗證后確定，如表2所示。第2組為無感情特征的基于卷積神經(jīng)網(wǎng)絡(luò)的模型，即在本文作者提出模型的基礎(chǔ)上，去除表情字符，記為無情感特征的深度學(xué)習(xí)模型。第3組為基于情感詞典的機器學(xué)習(xí)模型，記為機器學(xué)習(xí)模型。

采用準(zhǔn)確率與值作為分類效果的度量。對于本文所屬的二分類問題，設(shè)類別分別為積極和消極，令P為原本屬于積極且分類正確的數(shù)量，P為原本屬于積極但分類錯誤的數(shù)量，N為原本屬于消極但分類錯誤的數(shù)量，N為原本屬于消極且分類正確的數(shù)量。則準(zhǔn)確率acc、精確率prec、召回率recall和值的計算如下：

表2 實驗參數(shù)

每組實驗均采用10折交叉驗證的方式進行。表3所示為各組實驗的實驗結(jié)果。

表3 對比實驗結(jié)果

由表3可知：與機器學(xué)習(xí)模型相比，本文作者提出的微博情感分析新機制情感分析準(zhǔn)確率與值分別提升0.149 0和0.136 6，相對提升21.29%和19.20%?？梢缘贸鼋Y(jié)論，卷積神經(jīng)網(wǎng)絡(luò)與多維度文本特征的引入對微博情感分析的改善效果顯著。與無情感特征的深度學(xué)習(xí)模型相比，發(fā)現(xiàn)準(zhǔn)確率與值分別提升0.021 7與0.014 8，相對提升2.62%與1.78%，考慮到并非所有微博文本都包含表情字符，該改善效果比較可觀，可見，引入微博表情字符有助于促進情感分析。

5 結(jié)論

1) 提出應(yīng)用深度學(xué)習(xí)提取微博文本情感模式，且包含微博表情字符特征的情感分析新機制。通過詞向量提取文本的語義特征，對微博表情字符進行提取并作為微博文本的情感特征。

2) 與無情感特征的模型相比，基于表情字符的情感特征模型對情感分析的準(zhǔn)確率提高2.62%。

3) 通過引入情感特征，利用卷積神經(jīng)網(wǎng)絡(luò)的抽象特征挖掘能力，訓(xùn)練情感分類器，使得本文提出模型的準(zhǔn)確率與度量相對于傳統(tǒng)基于詞典的機器學(xué)習(xí)模型分別提升21.29%和19.20%。

[1] TABOADA M, BROOKE J, TOFILOSKI M, et al. Lexicon- based methods for sentiment analysis[J]. Computational Linguistics, 2011, 37(2): 267?307.

[2] THELWALL M, BUCKLEY K, PALTOGLOU G. Sentiment strength detection for the social web[J]. Journal of the American Society for Information Science & Technology, 2012, 63(1): 163?173.

[3] PANG Bo, LEE L, VAITHYANATHAN S. Thumbs up?: sentiment classification using machine learning techniques[C]// Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing. PA, USA: ACL, 2002: 79?86.

[4] MOHAMMAD S M, KIRITCHENKO S, ZHU Xiaodan. NRC-Canada: building the state-of-the-art in sentiment analysis of tweets[EB/OL]. 2013?08?28. https://arxiv.org/abs/1308.6242.

[5] SEVERYN A, MOSCHITTI A. Twitter sentiment analysis with deep convolutional neural networks[C]// The International ACM SIGIR Conference. Santiago, Chile: ACM, 2015: 959?962.

[6] TANG Duyu, WEI Furu, QIN Bing, et al. Coooolll: A deep learning system for twitter sentiment classification[C]//Proceedings of the 8th International Workshop on Semantic Evaluation. Dublin, Ireland: ACL, 2014: 208?212.

[7] KIM Y. Convolutional neural networks for sentence classification[EB/OL]. 2014?08?25. https://arxiv.org/abs/1408. 5882.

[8] ZHANG Xiang, ZHAO Junbo, LECUN Y. Character-level convolutional networks for text classification[C]// Advances in Neural Information Processing Systems. New York, USA: Curran Associates, Inc., 2015: 649?657.

[9] WANG Zhiguo, MI Haitao, ITTYCHERIAH A. Semi- supervised clustering for short text via deep representation learning[EB/OL]. 2016?02?22. http://arxiv.org/abs/1602.06797.

[10] XU Jiaming, WANG Peng, TIAN Guanhua, et al. Short text clustering via convolutional neural networks[C]// Proceedings of NAACL-HLT.Denver, Colorado, USA: ACL Anthology, 2015: 62?69.

[11] 黃發(fā)良, 馮時, 王大玲, 等. 基于多特征融合的微博主題情感挖掘[J]. 計算機學(xué)報, 2017, 40(4): 872?888. HUANG Faliang, FENG Shi, WANG Daling, et al. Mining topic sentiment in microblogging based on multi-feature fusion[J].Chinese Journal of Computers, 2017, 40(4): 872?888.

[12] 張冬雯, 楊鵬飛, 許云峰. 基于word2vec和SVMperf的中文評論情感分類研究[J]. 計算機科學(xué), 2016, 43(S1): 418?421, 447. ZHANG Dongwen, YANG Pengfei, XU Yunfeng. Research of Chinese comments sentiment classification based on Word2vec and SVMperf[J]. Computer Science, 2016, 43(S1): 418?421, 447.

[13] 黃仁, 張衛(wèi). 基于word2vec的互聯(lián)網(wǎng)商品評論情感傾向研究[J]. 計算機科學(xué), 2016, 43(S1): 387?389. HUANG Ren, ZHANG Wei. Study on sentiment analysis of internet commodities review based on word2vec[J]. Computer Science, 2016, 43(S1): 387?389.

[14] ZEILER M D. ADADELTA: an adaptive learning rate method[EB/OL]. 2012?12?22. https://arxiv.org/abs/1212.5701.

[15] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[EB/OL]. 2015?02?11. https://arxiv.org/abs/1502.03167.

[16] COLLOBERT R, WESTON J, BOTTOU L, et al. Natural language processing (almost) from scratch[J]. Journal of Machine Learning Research, 2011, 12(1): 2493?2537.

[17] SOCHER R, PENNINGTON J, HUANG E H, et al. Semi- supervised recursive autoencoders for predicting sentiment distributions[C]// Proceedings of the Conference on Empirical Methods in Natural Language Processing. Edinburgh, UK: ACL, 2011: 151?161.

[18] Google. Word2vec[EB/OL]. 2013?07?30. https://code.google. com/p/ word2vec/.

[19] MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed representations of words and phrases and their compositionality[C]// Advances in Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates, Inc, 2013: 3111?3119.

[20] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[EB/OL]. 2013?01?16. https://arxiv.org/abs/1301.3781.

[21] 搜狗實驗室. 新聞數(shù)據(jù)[EB/OL]. 2012?08?16. http://www. sogou.com/labs/resource/list_news.php.

(編輯 伍錦花)

Analysis of Weibo sentiment with multi-dimensional features based on deep learning

JIN Zhigang1, HU Bohong1, 2, ZHANG Rui1

(1. School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China; 2. Tianjin International Engineering Institute, Tianjin University, Tianjin 300072, China)

A new mechanism of Weibo sentiment analysis based on convolutional neural networks with multi- dimensional features was proposed. The proposed mechanism combines semantic features from word vectors with sentiment features from emoticons, in which convolutional neural networks was used to mine deep correlation between features and labels. The performance of Weibo sentiment analysis was improved through mining multi-dimensional features and utilizing abstract features extraction ability of convolutional neural networks. The results show that the accuracy of sentiment analysis model based on emoticons increases by 2.62%. The accuracy andmeasure increase by 21.29% and 19.20% respectively compared with that of machine learning model based on lexicon.

sentiment analysis; convolutional neural networks; Weibo short text; emoticons

10.11817/j.issn.1672-7207.2018.05.015

TP391

A

1672?7207(2018)05?1135?06

2017?05?21；

2017?06?30

國家自然科學(xué)基金資助項目(61571318)；青海省科技項目(2015-ZJ-904)；海南省科技項目(ZDYF2016153) (Project(61571318) supported by the National Natural Science Foundation of China; Project(2015-ZJ-904) supported by the Science Foundation of Qinghai Province; Project(ZDYF2016153) supported by the Science Foundation of Hainan Province)

張瑞，博士，講師，從事社交網(wǎng)絡(luò)數(shù)據(jù)挖掘研究；E-mail: hitchcockzhr@163.com