王 婷，楊文忠

1.新疆大學(xué) 軟件學(xué)院 軟件工程技術(shù)重點(diǎn)實(shí)驗(yàn)室，烏魯木齊830046

2.新疆大學(xué) 信息科學(xué)與工程學(xué)院，烏魯木齊830046

隨著信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)已經(jīng)與人們的日常生活密不可分，同時信息也開始呈現(xiàn)出爆炸式的增長。2019年2月，根據(jù)《中國互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》可知，截止2018年12月，我國網(wǎng)民規(guī)模達(dá)8.29億，新增網(wǎng)民5 653萬，互聯(lián)網(wǎng)普及率達(dá)59.6%[1]，可見網(wǎng)絡(luò)已成為人們現(xiàn)代生活中的重要組成部分。關(guān)于國務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》[2]中指出，人工智能的迅速發(fā)展將深刻改變?nèi)祟惿鐣睢⒏淖兪澜纭?/p>

伴隨著網(wǎng)民數(shù)量的增長，越來越多的信息在網(wǎng)上出現(xiàn)。網(wǎng)民可以在微博等公共平臺上發(fā)布對于各類事件的看法，表達(dá)自己的情感態(tài)度：在輿情分析方面，通過對熱點(diǎn)事件進(jìn)行情感剖析，尋找情感原因，對政府了解民意，預(yù)防危害事件的發(fā)生具有一定的意義；在情感對話方面，情感機(jī)器人可以撫慰心靈，充當(dāng)情感陪護(hù)的角色；在商品和服務(wù)評論分析方面，對評價(jià)對象和評價(jià)表達(dá)進(jìn)行抽取，識別評論中的情感傾向性，對消費(fèi)者挑選商品，商家改進(jìn)商品/服務(wù)具有一定的輔助作用。因此在現(xiàn)階段，人工智能不斷進(jìn)步，通過情感計(jì)算實(shí)現(xiàn)有效的情感分析，是一個有巨大意義的任務(wù)。

1 文本情感分析介紹

文本情感分析又稱意見挖掘，是指對帶有情感色彩的主觀性文本進(jìn)行分析，挖掘其中蘊(yùn)含的情感傾向，對情感態(tài)度進(jìn)行劃分。文本情感分析作為自然語言處理的研究熱點(diǎn)，在輿情分析、用戶畫像和推薦系統(tǒng)中有很大的研究意義。文本情感分析的過程如圖1所示，包括原始數(shù)據(jù)的獲取、數(shù)據(jù)的預(yù)處理、特征提取、分類器以及情感類別的輸出。

圖1 文本情感分析過程

原始數(shù)據(jù)的獲取一般是通過網(wǎng)絡(luò)爬蟲獲取相關(guān)數(shù)據(jù)，如新浪微博內(nèi)容、推特語料、各大電商網(wǎng)站的評論等；數(shù)據(jù)預(yù)處理是指進(jìn)行數(shù)據(jù)清洗去除噪聲，常見的方法有去除無效字符和數(shù)據(jù)、統(tǒng)一數(shù)據(jù)類別（如中文或簡體）、使用分詞工具進(jìn)行分詞處理、停用詞過濾等；特征提取根據(jù)使用的方法不同，會有不同的實(shí)現(xiàn)方法，在依賴不同的工具獲得文本的數(shù)值向量表征時，常見的方法有詞頻計(jì)數(shù)模型N-gram和詞袋模型TF-IDF，而深度學(xué)習(xí)方法的特征提取一般都是自動的；分類器輸出得到文本的最終情感極性，常見的分類器方法有SVM和softmax。

2 文本情感分析方法介紹

根據(jù)使用的不同方法，將情感分析方法分為：基于情感詞典的情感分析方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法、基于深度學(xué)習(xí)的情感分析方法。更進(jìn)一步的方法劃分如圖2所示。

圖2 情感分析方法分類

2.1 基于情感詞典的情感分析方法

基于情感詞典的方法，是指根據(jù)不同情感詞典所提供的情感詞的情感極性，來實(shí)現(xiàn)不同粒度下的情感極性劃分，該方法的一般流程如圖3所示，首先是將文本輸入，通過對數(shù)據(jù)的預(yù)處理（包含去噪、去除無效字符等），接著進(jìn)行分詞操作，然后將情感詞典中的不同類型和程度的詞語放入模型中進(jìn)行訓(xùn)練，最后根據(jù)情感判斷規(guī)則將情感類型輸出?，F(xiàn)有的情感詞典大部分都是人工構(gòu)造，按照劃分的不同粒度，現(xiàn)有的情感分析任務(wù)可以劃分為詞、短語、屬性、句子、篇章等級別。人工構(gòu)建情感詞典需要花費(fèi)很大的代價(jià)，需要閱讀大量的相關(guān)資料和現(xiàn)有的詞典，通過總結(jié)概括含有情感傾向的詞語，并對這些詞語的情感極性和強(qiáng)度進(jìn)行不同程度的標(biāo)注。對于情感詞典的構(gòu)建，國外最早的是SentiWordNet[3]情感詞典，它根據(jù)WordNet將含義一致的詞語合并在一起，并賦予詞語正面或者負(fù)面的極性分?jǐn)?shù)，情感極性分?jǐn)?shù)可以如實(shí)反應(yīng)用戶的情感態(tài)度。與英文情感詞典不同，中文情感詞典主要有NTUSD[4]、How Net[5]、情感詞匯本體庫[6]組成。這三類情感詞典中分別包含不同數(shù)量的褒義詞和貶義詞，許多情感分析研究者對這三類情感詞典進(jìn)行大量學(xué)習(xí)和使用。

圖3 基于情感詞典的情感分析方法一般流程

栗雨晴等人[7]提出一種基于雙語詞典的多類情感分析模型，有效解決了現(xiàn)有的情感詞典多基于單一語言的問題；Cai等人[8]通過構(gòu)建一種基于特定域的情感詞典，來解決情感詞存在的多義問題，通過實(shí)驗(yàn)表明，將SVM和GBDT兩種分類器疊加在一起，效果優(yōu)于單一的模型；柳位平等人[9]利用中文情感詞建立一個基礎(chǔ)情感詞典用于專一領(lǐng)域情感詞識別，還在中文詞語相似度計(jì)算方法的基礎(chǔ)上提出了一種中文情感詞語的情感權(quán)值的計(jì)算方法，該方法能夠有效地在語料庫中識別及擴(kuò)展情感詞集并提高情感分類效果；Rao等人[10]用三種剪枝策略來自動建立一個用于社會情緒檢測的詞匯級情感詞典，此外，還提出了一種基于主題建模的方法來構(gòu)建主題級詞典，其中每個主題都與社會情緒相關(guān)，在預(yù)測有關(guān)新聞文章的情緒分布，識別新聞事件的社會情緒等問題上有很大的幫助。

現(xiàn)有的基于情感詞典的情感分析方法都是建立在流行的中文或英文等語言上，因此有學(xué)者在其他語言領(lǐng)域做了研究，有學(xué)者[11]建立一種大型西班牙語情感詞典的方法，用于情感的主觀性分析；Nguyen等人[12]提出了一種將情感詞典的方法運(yùn)用在越南語中，通過從越南語文本中挖掘民意，來提高情感分類的準(zhǔn)確性，有效解決創(chuàng)建越南語詞典情感分類方法的問題；Wu等人[13]利用網(wǎng)絡(luò)資源建立第一個俚語詞匯情感詞典，有效分析俚語的社交媒體內(nèi)容的情感極性。

為有效解決中文情感詞典的數(shù)據(jù)量、口語化詞語少的問題，趙妍妍等人[14]提出一種面向微博的大規(guī)模情感詞典的方法，該方法在微博情感分類的性能上和基線方法相比提高了1.13%；Xu等人[15]通過構(gòu)建一個包含基本情感詞、場景情感詞和多義情感詞的擴(kuò)展的情感詞典，有效實(shí)現(xiàn)了文本的情感分類；Cai等人[16]利用Apriori算法對基于上下文的情感歧義詞進(jìn)行擴(kuò)展，擴(kuò)展后的情感詞典由情感對象、情感詞、情感極性三元組組成，通過構(gòu)造的情感歧義詞詞典來實(shí)現(xiàn)細(xì)粒度的情感定向分析；王科等人[17]對情感詞典自動構(gòu)建方法進(jìn)行了綜述，將情感詞典自動構(gòu)建方法總結(jié)為三類：基于知識庫的方法、基于語料庫的方法、基于知識庫和語料庫結(jié)合的方法，并通過對現(xiàn)有的中英文情感詞典進(jìn)行歸納總結(jié)，分析了情感詞典自動構(gòu)建方法存在的問題等；Xu等人[18]構(gòu)造了一個擴(kuò)展的情感詞典，該情感詞典包含基本情感詞、領(lǐng)域情感詞和多義情感詞，利用擴(kuò)展的情感字典和設(shè)計(jì)的情感評分規(guī)則，實(shí)現(xiàn)了文本的情感分類。實(shí)驗(yàn)結(jié)果表明，作者提出的基于擴(kuò)展情感字典的情感分析方法具有一定的可行性和準(zhǔn)確性。

基于情感詞典的方法可以準(zhǔn)確反映文本的非結(jié)構(gòu)化特征，易于分析和理解。在這種方法中，當(dāng)情感詞覆蓋率和準(zhǔn)確率高的情況下，情感分類效果比較準(zhǔn)確。但這種方法仍然存在一定的缺陷：基于情感詞典的情感分類方法主要依賴于情感詞典的構(gòu)建，但由于現(xiàn)階段網(wǎng)絡(luò)的快速發(fā)展，信息更新速度的加快，出現(xiàn)了許多網(wǎng)絡(luò)新詞，對于許多類似于歇后語、成語或網(wǎng)絡(luò)特殊用語等新詞的的識別并不能有很好的效果，現(xiàn)有的情感詞典需要不斷地?cái)U(kuò)充才能滿足需要；情感詞典中的同一情感詞可能在不同時間、不同語言或不同領(lǐng)域中所表達(dá)的含義不同，因此基于情感詞典的方法在跨領(lǐng)域和跨語言中的效果不是很理想；在使用情感詞典進(jìn)行情感分類時，往往考慮不到上下文之間的語義關(guān)系。因此對基于情感詞典的方法還需要更多的學(xué)者進(jìn)行充分的研究。

隨著信息技術(shù)的快速發(fā)展，涌現(xiàn)出了越來越多的網(wǎng)絡(luò)新詞，原有的情感詞典對于詞形詞性的變化問題不能很好解決，在情感分類時存在靈活度不高的問題；情感詞典中的情感詞數(shù)量也存在限制，因此需要不斷地?cái)U(kuò)充情感詞典來滿足對情感分析的需要，對于情感詞典的擴(kuò)充需要花費(fèi)大量的時間和資源。為提高情感分類的準(zhǔn)確性，有研究者對基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法進(jìn)行了研究，取得了不錯的結(jié)果。

2.2 基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法

機(jī)器學(xué)習(xí)是一種通過給定的數(shù)據(jù)訓(xùn)練模型，通過模型預(yù)測結(jié)果的一種學(xué)習(xí)方法。該方法研究至今，已經(jīng)取得了諸多有效的成果?；跈C(jī)器學(xué)習(xí)的情感分析方法是指通過大量有標(biāo)注的或無標(biāo)注的語料，使用統(tǒng)計(jì)機(jī)器學(xué)習(xí)算法，抽取特征，最后在進(jìn)行情感分析輸出結(jié)果?；跈C(jī)器學(xué)習(xí)的情感分類方法主要分為三類：有監(jiān)督、半監(jiān)督和無監(jiān)督的方法。

在有監(jiān)督方法中，通過給定帶有情緒極性的樣本集，可以分類得到不同的情感類別。有監(jiān)督的方法對數(shù)據(jù)樣本的依賴程度較高，在人工標(biāo)記和處理數(shù)據(jù)樣本上花費(fèi)的時間較多。常見的有監(jiān)督的方法有：KNN、樸素貝葉斯、SVM。在半監(jiān)督方法中，通過對未標(biāo)記的文本進(jìn)行特征提取可以有效地改善文本情感分類結(jié)果，這種方法可以有效解決帶有標(biāo)記的數(shù)據(jù)集稀缺的問題。在無監(jiān)督方法中，根據(jù)文本間的相似性對未標(biāo)記的文本進(jìn)行分類，這種方法在情感分析中使用較少。

通過對有監(jiān)督的機(jī)器學(xué)習(xí)方法梳理，許多研究者在情感分析方面取得了不錯的成果。唐慧豐等人[19]通過使用幾種常見的機(jī)器學(xué)習(xí)方法（SVM、KNN等）對中文文本的情感分類進(jìn)行了實(shí)驗(yàn)比較，考慮到不同的特征選擇方法、文本特征表示方法、特征選擇機(jī)制、數(shù)據(jù)集的規(guī)模和文本的特征數(shù)量對情感分類的影響，通過大量的對比實(shí)驗(yàn)發(fā)現(xiàn)采用BiGrams特征表示方法、信息增益特征選擇方法和SVM方法時，在大量訓(xùn)練集和適量的特征選擇時情感分類效果可以達(dá)到最優(yōu)；在短文本和多級情感分類問題中，有監(jiān)督的機(jī)器學(xué)習(xí)方法也取得了不錯的效果，楊爽等人[20]提出了一種基于SVM的多級情感分類研究，通過在情感、詞性、語義等特征上實(shí)現(xiàn)情感的五級分類，通過實(shí)驗(yàn)結(jié)果表明，該方法對情感的分類的準(zhǔn)確率為82.4%，F(xiàn)值為82.10%；Li等人[21]提出一種基于多標(biāo)簽最大熵（MME）模型用于短文本情感分類，實(shí)驗(yàn)表明該方法在相關(guān)數(shù)據(jù)集（微博、推特、BBC論壇博客等評論）上的準(zhǔn)確率可達(dá)86.06%；在快速追蹤公眾的情緒變化，衡量公眾利益方面，情感分析也起到一定的作用，Xue等人[22]用機(jī)器學(xué)習(xí)的方法LDA（潛在的狄利克雷分布）來實(shí)現(xiàn)對2020年3月1日至4月21日期間與COVID-19相關(guān)的2 200萬條Twitter信息中的突出的主題及其情感的識別。

除了對微博和推特等公共社交媒體的研究，Pang等人用[23]三種機(jī)器學(xué)習(xí)的方法（樸素貝葉斯、最大熵分類和支持向量機(jī)）在有關(guān)電影評論的數(shù)據(jù)集上進(jìn)行情感分類的判斷，實(shí)驗(yàn)結(jié)果表明在支持向量機(jī)方法中可以達(dá)到82.9%的準(zhǔn)確性；還有研究者[24]使用機(jī)器學(xué)習(xí)分類算法（LSTM、SVM等）對藥物評論的情感進(jìn)行分析，將藥物的數(shù)量分為三類（陽性、陰性和中性），通過實(shí)驗(yàn)在測試數(shù)據(jù)集上取得了不錯的結(jié)果；許多研究者通過對有監(jiān)督的機(jī)器學(xué)習(xí)方法的融合研究，在情感分析方面也取得了不錯的效果，Kamal等人[25]提出了一個基于規(guī)則和機(jī)器學(xué)習(xí)方法相結(jié)合的情緒分析系統(tǒng)來識別特征-意見對其情感極性，來實(shí)現(xiàn)在不同電子產(chǎn)品中用戶的評價(jià)來實(shí)現(xiàn)用戶的情感極性的劃分；有研究者[26]使用貝葉斯網(wǎng)絡(luò)分類器對兩個西班牙語數(shù)據(jù)集進(jìn)行情感分析（2010年智利地震和2017年加泰羅尼亞獨(dú)立公投），通過大量的訓(xùn)練實(shí)例，和其他機(jī)器學(xué)習(xí)方法（支持向量機(jī)和隨機(jī)森林）對比發(fā)現(xiàn)，能更有效地預(yù)測情感極性。

在有監(jiān)督的機(jī)器學(xué)習(xí)方法基礎(chǔ)上，許多研究者對半監(jiān)督的機(jī)器學(xué)習(xí)方法進(jìn)行研究，并取得了大量成果。有研究者對微博用戶的立場檢測進(jìn)行研究，立場檢測即判斷用戶對于給定目標(biāo)是贊成還是反對的態(tài)度，Liu等人[27]采用有監(jiān)督和半監(jiān)督機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)了對微博用戶的立場檢測，通過在SVM、樸素貝葉斯和隨機(jī)森林等不同的分類器上進(jìn)行實(shí)驗(yàn)對比，得到了顯著的效果；為解決推文中主客觀內(nèi)容的不平衡的問題，Yu等人[28]提出了一種基于半監(jiān)督機(jī)器學(xué)習(xí)方法用于推文情緒分類，實(shí)驗(yàn)結(jié)果表明該方法的召回率約為60%；Jiang等人[29]提出一種基于表情符號的情緒空間模型ESM（Emotion Space Model）的半監(jiān)督情感分類方法，該方法利用表情符號從未標(biāo)記的數(shù)據(jù)中構(gòu)建詞向量，相比于基線方法效果較好。

基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分類方法主要在于情感特征的提取以及分類器的組合選擇，不同分類器的組合選擇對情感分析的結(jié)果有存在一定的影響，這類方法在對文本內(nèi)容進(jìn)行情感分析時常常不能充分利用上下文文本的語境信息，因此其分類準(zhǔn)確性有一定的影響。表1為基于機(jī)器學(xué)習(xí)方法的情感分析的實(shí)驗(yàn)結(jié)果。

因此，為解決在情感分析問題中存在忽略上下文語義的問題，許多研究者對基于深度學(xué)習(xí)的情感分析方法進(jìn)行了深入研究，取得了許多成果。

2.3 基于深度學(xué)習(xí)的情感分析方法

通過對基于深度學(xué)習(xí)的情感分析方法細(xì)分，可以分為：單一神經(jīng)網(wǎng)絡(luò)的情感分析方法、混合（組合、融合）神經(jīng)網(wǎng)絡(luò)的情感分析方法，引入注意力機(jī)制的情感分析和使用預(yù)訓(xùn)練模型的情感分析。

2.3.1 單一神經(jīng)網(wǎng)絡(luò)的情感分析

2003年Bengio等人[30]提出了神經(jīng)網(wǎng)絡(luò)語言模型，該語言模型使用了一個三層前饋神經(jīng)網(wǎng)絡(luò)來建模。神經(jīng)網(wǎng)絡(luò)主要由輸入層、隱藏層、輸出層構(gòu)成。在該網(wǎng)絡(luò)的輸入層的每個神經(jīng)元代表一個特質(zhì)，隱藏層層數(shù)及隱藏層神經(jīng)元是由人工設(shè)定，輸出層代表分類標(biāo)簽的個數(shù)，一個基本的三層神經(jīng)網(wǎng)絡(luò)如圖4所示。語言模型的本質(zhì)就是根據(jù)上下文信息來預(yù)測下一個詞的內(nèi)容，而不依賴人工標(biāo)注語料，由此可以發(fā)現(xiàn)語言模型的優(yōu)勢就是能從大規(guī)模的語料中學(xué)習(xí)豐富的知識。這種方法能夠有效解決基于傳統(tǒng)情感分析方法中忽略上下文語義的問題。

圖4 基本的三層神經(jīng)網(wǎng)絡(luò)

典型的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法有：卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）[31]、長短時記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)等。

許多研究者通過對神經(jīng)網(wǎng)絡(luò)的研究，在情感分析的任務(wù)中取得了不錯的結(jié)果。長短期記憶網(wǎng)絡(luò)（LSTM）是一種特殊類型的遞歸神經(jīng)網(wǎng)絡(luò)（RNN），在處理長序列數(shù)據(jù)和學(xué)習(xí)長期依賴性方面效果不錯。為了加快模型的訓(xùn)練速度，減少計(jì)算量和計(jì)算時間，Gopalakrishnan等人[32]提出了六種不同參數(shù)的精簡LSTM模型來實(shí)現(xiàn)對共和黨辯論推特?cái)?shù)據(jù)集上的情感分析，通過實(shí)驗(yàn)證明不同參數(shù)設(shè)置和模型層數(shù)設(shè)置均會對實(shí)驗(yàn)結(jié)果產(chǎn)生影響；Fei等人[33]提出了一種基于長短時記憶的多維話題分類模型，該模型由長短時記憶（LSTM）細(xì)胞網(wǎng)絡(luò)構(gòu)成，可以實(shí)現(xiàn)對向量、數(shù)組和高維數(shù)據(jù)的處理，實(shí)驗(yàn)結(jié)果表明該模型的平均精度達(dá)91%，最高可以達(dá)到96.5%；通過對社交媒體和網(wǎng)絡(luò)論壇中的信息進(jìn)行情感分析，可以有效獲取公眾意見。因此，對于新冠病毒（COVID-19）的研究就變得很有意義，Jelodar等人[34]通過使用LSTM方法對COVID-19的評論進(jìn)行情感分類，研究結(jié)果對COVID-19的相關(guān)問題的指導(dǎo)和決策有一定的影響意義。

為解決傳統(tǒng)CNN方法中忽略文本潛在主題的問題，Zhou等人[35]提出一種基于CNN的多樣化限制玻爾茲曼機(jī)（RBM）方法來對文本中句子的順序潛在主題建模，來達(dá)到情感分類的效果；Li等人[36]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的中文微博系統(tǒng)意見摘要算法，該模型通過應(yīng)用CNN自動挖掘相關(guān)特征來進(jìn)行情感分析，通過一個混合排序函數(shù)計(jì)算特征間的語義關(guān)系，該方法在四個評價(jià)指標(biāo)上（準(zhǔn)確率、召回率、精度、AUC）優(yōu)于傳統(tǒng)的分類方法（SVM、隨機(jī)森林、邏輯回歸），對微博數(shù)據(jù)的情感預(yù)測的準(zhǔn)確性達(dá)到86%；Wang等人[37]提出了一種將遞歸神經(jīng)網(wǎng)絡(luò)和條件隨機(jī)場相結(jié)合的聯(lián)合模型，將其整合到一個統(tǒng)一的框架中，用于對方面詞和意見詞的提取。該模型同時學(xué)習(xí)高級判別特征，并在方面詞和意見詞之間進(jìn)行信息的雙重傳播。在SemEval Challenge 2014數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該模型比幾種基準(zhǔn)方法更具有優(yōu)越性。

表1 基于機(jī)器學(xué)習(xí)方法的情感分析的實(shí)驗(yàn)結(jié)果

2.3.2 混合（組合、融合）神經(jīng)網(wǎng)絡(luò)的情感分析

除了對單一神經(jīng)網(wǎng)絡(luò)的方法的研究之外，有不少學(xué)者在考慮了不同方法的優(yōu)點(diǎn)后將這些方法進(jìn)行組合和改進(jìn)，并將其用于情感分析方面。

在充分考慮到循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積結(jié)構(gòu)的優(yōu)點(diǎn)，Madasu等人[38]提出了一種順序卷積注意遞歸網(wǎng)絡(luò)（SCARN），通過與傳統(tǒng)的CNN和LSTM方法相比較，SCARN具有更好的性能；羅帆等人[39]利用聯(lián)合循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，提出一種多層網(wǎng)絡(luò)模型HRNN-CNN，該模型使用兩層的RNN對文本建模，并將其引入句子層，實(shí)現(xiàn)了對長文本的情感分類；Xing等人[40]通過引入一個新的參數(shù)化卷積神經(jīng)網(wǎng)絡(luò)用于方面級情感分類，該方法使用了參數(shù)化過濾器（PF-CNN）和參數(shù)化門機(jī)制（PG-CNN），在emEval 2014 datasets數(shù)據(jù)集上取得較高的準(zhǔn)確性，可以達(dá)到90.58%；Jiang等人[41]提出了一種基于分句極性和卷積神經(jīng)網(wǎng)絡(luò)融合的情感分類方法，首先利用神經(jīng)網(wǎng)絡(luò)對構(gòu)成原句的多個分句的情感極性進(jìn)行計(jì)算，然后利用極性融合規(guī)則對輸出的分句情感極性進(jìn)行合并，來計(jì)算原句的情感極性，實(shí)驗(yàn)表明，在SST-1和SST-2數(shù)據(jù)集上的分類精度分別達(dá)到48.6%和87.8%，取得了較好的結(jié)果；考慮到普通時間卷積網(wǎng)絡(luò)對文本進(jìn)行單向特征提取時不能充分捕捉文本特征，對文本的分析能力較弱，韓建勝等人[42]提出一種基于雙向時間卷積網(wǎng)絡(luò)（Bi-TCN）的情感分析模型。該模型使用單向多層空洞因果卷積結(jié)構(gòu)分別對文本進(jìn)行前向和后向特征提取，將兩個方向的序列特征融合后進(jìn)行情感分類，實(shí)驗(yàn)證明，與單向時間卷積網(wǎng)絡(luò)情感分析模型相比，雙向時間卷積網(wǎng)絡(luò)模型在四個中文情感分析數(shù)據(jù)集上的準(zhǔn)確率分別提高了2.5%、0.25%、2.33%和2.5%；為充分利用語法信息，Lai等人[43]提出了一個基于語法的圖卷積網(wǎng)絡(luò)（GCN）模型來增強(qiáng)對微博語法結(jié)構(gòu)多樣性的理解，此外，在實(shí)驗(yàn)中對微博的情感進(jìn)行細(xì)粒度分類，包括快樂、悲傷、喜歡、憤怒、厭惡、恐懼和驚訝，該模型的F-measure達(dá)到82.32%，比最先進(jìn)的算法高出5.90%。實(shí)驗(yàn)結(jié)果表明，該模型能有效提高情感檢測的性能，此外作者注解了一個新的中國情感分類數(shù)據(jù)集（https：//github.com/zhanglinfeng1997/Sentiment-Analysis-via-GCN），并向其他研究者開放以供研究。

除了實(shí)現(xiàn)對長文本的情感分類問題，也有研究者將混合神經(jīng)網(wǎng)絡(luò)方法用于短文本情感分類問題，杜永萍等人[44]提出一種基于CNN-LSTM神經(jīng)網(wǎng)絡(luò)的情感分類方法，在短文本評論中對含有隱含的語義的短文本評論中的情感傾向性識別取得不錯的效果；為充分利用情感分析任務(wù)中的情感信息，李衛(wèi)疆等人[45]提出一種基于多通道雙向長短期記憶網(wǎng)絡(luò)的情感分析模型（Multichannels Bi-directional Long Short Term Memory network，Multi-Bi-LSTM），該模型對情感分析任務(wù)中現(xiàn)有的語言知識和情感資源進(jìn)行建模，生成不同的特征通道，讓模型充分學(xué)習(xí)句子中的情感信息，通過在中文COAE2014數(shù)據(jù)集、英文MR數(shù)據(jù)集和SST數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，取得了比普通Bi-LSTM、結(jié)合情感序列特征的卷積神經(jīng)網(wǎng)絡(luò)以及傳統(tǒng)分類器更好的性能。

和使用基于情感詞典和傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法相比，采用神經(jīng)網(wǎng)絡(luò)的方法在文本特征學(xué)習(xí)方面有顯著優(yōu)勢，能主動學(xué)習(xí)特征，并對文本中的詞語的信息主動保留，從而更好地提取到相應(yīng)詞語的語義信息，來有效實(shí)現(xiàn)文本的情感分類。由于深度學(xué)習(xí)概念的提出，許多研究者不斷對其探索，得到了不少的成果，因此基于深度學(xué)習(xí)的文本情感分類方法也在不斷擴(kuò)充。

2.3.3 引入注意力機(jī)制的情感分析

在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，2006年，Hinton等人率先提出了深度學(xué)習(xí)的概念，通過深層網(wǎng)絡(luò)模型學(xué)習(xí)數(shù)據(jù)中的關(guān)鍵信息，來反映數(shù)據(jù)的特征，從而提升學(xué)習(xí)的性能。基于深度學(xué)習(xí)的方法是采用連續(xù)、低維度的向量來表示文檔和詞語，因此能有效解決數(shù)據(jù)稀疏的問題；此外，基于深度學(xué)習(xí)的方法屬于端到端的方法，能自動提取文本特征，降低文本構(gòu)建特征的復(fù)雜性。深度學(xué)習(xí)方法除了在語音和圖像領(lǐng)域取得了顯著的成果以外，還在自然語言處理領(lǐng)域取得了重大進(jìn)展，如機(jī)器翻譯、文本分類、實(shí)體識別等，對文本情感分析方法的研究屬于文本分類的一個小分支。

注意力機(jī)制（attention mechanism）最早的應(yīng)用是在視覺圖像領(lǐng)域，在文獻(xiàn)[46]中，研究者在RNN模型上使用了注意力機(jī)制來實(shí)現(xiàn)圖像分類，隨后，Bahdanau等人[47]通過將注意力機(jī)制應(yīng)用在機(jī)器翻譯任務(wù)中，這也意味著注意力機(jī)制開始應(yīng)用到自然語言處理領(lǐng)域中。2017年Google機(jī)器翻譯團(tuán)隊(duì)[48]提出用Attention機(jī)制代替?zhèn)鹘y(tǒng)RNN方法搭建了整個模型框架，并提出了多頭注意力（Multi-head attention）機(jī)制，如圖5所示，其中Q、K、V首先經(jīng)過一個線性變換，然后輸入到放縮點(diǎn)積Attention（Scaled Dot-Product attention）中，進(jìn)行h次計(jì)算，即多頭。然后將h次的放縮點(diǎn)積Attention結(jié)果進(jìn)行拼接，再進(jìn)行一次線性變換得到的值作為多頭Attention的結(jié)果。通過實(shí)驗(yàn)證明在將該方法用于WMT2014語料中的英德和英法任務(wù)上效果不錯，訓(xùn)練速度優(yōu)于主流模型。

圖5 多頭注意力機(jī)制

注意機(jī)制能夠擴(kuò)展神經(jīng)網(wǎng)絡(luò)的能力，允許近似更加復(fù)雜函數(shù)，即關(guān)注輸入的特定部分。通過在神經(jīng)網(wǎng)絡(luò)中使用這種機(jī)制，可以有效提升自然語言處理任務(wù)的性能。

Da’U等人[49]提出了一種基于注意力的神經(jīng)網(wǎng)絡(luò)（SDRA）的深度感知推薦系統(tǒng)，該系統(tǒng)能夠捕捉產(chǎn)品的不同方面以及用戶對不同方面產(chǎn)品的潛在情感，從而提高推薦系統(tǒng)的性能，此外，作者還引入了協(xié)同注意機(jī)制，以更好地對用戶-項(xiàng)目交互進(jìn)行細(xì)粒度建模，從而提高預(yù)測性能；Yang等人[50]首次提出一種將目標(biāo)層注意和上下文層注意交替建模的協(xié)同注意機(jī)制，通過將目標(biāo)轉(zhuǎn)移到關(guān)鍵詞的上下文表示來實(shí)現(xiàn)方面情感分析，在SemEval 2014數(shù)據(jù)集和Twitter數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法優(yōu)于傳統(tǒng)帶有注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)方法；Pergola等人[51]提出一種基于話題依賴的注意模型，該方法通過使用注意力機(jī)制來實(shí)現(xiàn)對單詞和句子的局部主題嵌入，用于情緒分類和主題提取問題，并取得了不錯的效果；劉發(fā)升等人[52]提出了一種將注意力機(jī)制和句子排序的雙層CNN-BiLSTM的模型，該方法能有效解決在深度學(xué)習(xí)方法應(yīng)用在情感分析時沒有很好地解決文本特征和輸入優(yōu)化的問題，通過實(shí)驗(yàn)證明該方法在情感分類精度上有所提高，能有效用于一般的情感分類任務(wù)；顧軍華等人[53]提出一種基于卷積注意力機(jī)制的模型（CNN_attention_LSTM）用于提取文本的局部最優(yōu)情感和捕捉文本情感極性轉(zhuǎn)移的語義信息，該方法首先使用卷積操作提取文本注意力信號，將其加權(quán)融合到Word-Embedding文本分布式表示矩陣中，突出文本關(guān)注重點(diǎn)的情感詞與轉(zhuǎn)折詞，然后使用長短記憶網(wǎng)絡(luò)LSTM來捕捉文本前后情感語義關(guān)系，最后采用softmax線性函數(shù)實(shí)現(xiàn)情感分類通過實(shí)驗(yàn)表明，該方法在帶有情感轉(zhuǎn)折詞的文本中，能夠更好地捕獲文本的情感傾向，提高情感分類精度；陳珂等人[54]針對情感詞典不能有效考慮到上下文語義信息，循環(huán)神經(jīng)網(wǎng)絡(luò)獲取整個句子序列信息有限以及在反向傳播時可能存在梯度消失或梯度爆炸的問題，提出一種基于情感詞典和Transformer的文本情感分析方法，該方法充分地利用了情感詞典的特征信息，還將與情感詞相關(guān)聯(lián)的其他詞融入到該情感詞中以幫助情感詞更好地編碼，此外，該方法對不同情感詞的不同位置進(jìn)行研究，發(fā)現(xiàn)句子中的單詞順序和距離對句子中情感的影響，通過在NLPCC2014數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)發(fā)現(xiàn)該方法比一般神經(jīng)網(wǎng)絡(luò)具有更好的分類效果。

除了上述研究者通過對顯示文本的情感進(jìn)行研究以外，還有部分學(xué)者通過對含有隱式情感詞的文本進(jìn)行了研究。隱式文本的情感分析目前還處于起步階段，和含有顯式情感詞的文本相比，隱式文本的情感分析具有一定的難度，趙容梅等人[55]利用卷積神經(jīng)網(wǎng)絡(luò)對文本進(jìn)行特征提取，再使用LSTM提取文本中的上下文信息，并通過添加注意力機(jī)制來實(shí)現(xiàn)對隱式文本的情感分析，最后通過實(shí)驗(yàn)在公開的數(shù)據(jù)集上可以達(dá)到77%的準(zhǔn)確率；潘東行等人[56]提出了一種結(jié)合上下文語義和融合注意力機(jī)制的情感分析方法，該方法首先使用Word2vec方法進(jìn)行特征提取，在通過結(jié)合不同的分類模型（TextCNN、LSTM、BiGRU），最后通過融合注意力機(jī)制的方法來有效實(shí)現(xiàn)對隱式文本的情感分析；Wei等人[57]提出一種基于多極性正交注意的BiLSTM模型用于隱式情感分析，與傳統(tǒng)的單一注意力機(jī)制的模型相比，該方法可以有效識別詞語和情感傾向之間的差異，并在實(shí)驗(yàn)中得到了驗(yàn)證。

通過在深度學(xué)習(xí)的方法中加入注意力機(jī)制，用于情感分析任務(wù)的研究，能夠更好地捕獲上下文相關(guān)信息，提取語義信息，防止重要信息的丟失，可以有效提高文本情感分類的準(zhǔn)確率?，F(xiàn)階段的研究更多的是通過對預(yù)訓(xùn)練模型的微調(diào)和改進(jìn)，從而更有效地提升實(shí)驗(yàn)的效果。

2.3.4 使用預(yù)訓(xùn)練模型的情感分析

預(yù)訓(xùn)練模型是指用數(shù)據(jù)集已經(jīng)訓(xùn)練好的模型。通過對預(yù)訓(xùn)練模型的微調(diào)，可以實(shí)現(xiàn)較好的情感分類結(jié)果，因此最新的方法大多是使用預(yù)訓(xùn)練模型，最新的預(yù)訓(xùn)練模型有：ELMo、BERT、XL-NET、ALBERT等。

Peters等人[58]在2018年的NAACL會議（The North American Chapter of the Association for Computational Linguistics，計(jì)算機(jī)語言學(xué)協(xié)會北美分會）上提出一個新方法ELMo，該方法使用的是一個雙向的LSTM語言模型，由一個前向和一個后向語言模型構(gòu)成，目標(biāo)函數(shù)就是取這兩個方向語言模型的最大似然值。和傳統(tǒng)詞向量方法相比，這種方法的優(yōu)勢在于每一個詞只對應(yīng)一個詞向量。ELMo利用預(yù)訓(xùn)練好的雙向語言模型，然后根據(jù)具體輸入從該語言模型中可以得到上下文依賴的當(dāng)前詞表示（對于不同上下文的同一個詞的表示是不一樣的），再當(dāng)成特征加入到具體的NLP有監(jiān)督模型里。在相關(guān)實(shí)驗(yàn)中表明，通過加入這種方法，實(shí)驗(yàn)結(jié)果平均提升了2%。

2018年10月谷歌公司提出一種基于BERT[59]的新方法，它將雙向的transformer機(jī)制用于語言模型，充分考慮到單詞的上下文語義信息。在模型的輸入方面BERT使用了WordPiece embedding作為詞向量，并加入了位置向量和句子切分向量。許多研究者通過對BERT模型的微調(diào)訓(xùn)練，在情感分類中取得了不錯的效果；有研究者[60]通過BERT模型來實(shí)現(xiàn)細(xì)粒度的情感分析任務(wù)，并通過在Stanford Sentiment Treebank（SST）[61]數(shù)據(jù)集上實(shí)驗(yàn)，在SST-2數(shù)據(jù)集上（二分類標(biāo)簽）可以達(dá)到94.7%的準(zhǔn)確性，在SST-5數(shù)據(jù)集上（五分類標(biāo)簽）可以達(dá)到84.2%的準(zhǔn)確性；Araci等人[62]提出一種基于BERT的FinBERT語言模型來處理金融領(lǐng)域的任務(wù)，通過對BERT模型的微調(diào)，分類的準(zhǔn)確率提高了15%；Xu等人[63]通過結(jié)合通用語言模型（ELMo和BERT）和特定領(lǐng)域的語言理解，提出DomBERT模型用于域內(nèi)語料庫和相關(guān)域語料庫中的學(xué)習(xí)，在用于基于方面的情感分析任務(wù)上的實(shí)驗(yàn)證明該方法的有效性以及廣闊的應(yīng)用前景；為解決快速準(zhǔn)確地從大量負(fù)面金融文本中挖掘出關(guān)鍵信息，Zhao等人[64]提出了一種基于BERT的情感分析和關(guān)鍵實(shí)體檢測方法，并將其應(yīng)用于在線金融文本挖掘和社交媒體輿情分析。實(shí)驗(yàn)結(jié)果表明，在兩個財(cái)務(wù)情緒分析和關(guān)鍵實(shí)體檢測數(shù)據(jù)集（2019年CCF大數(shù)據(jù)與計(jì)算智能大賽子任務(wù)和2019年CCKS2面向金融領(lǐng)域的事件主體抽取子任務(wù)）上該方法性能普遍高于SVM、LR、NBM和BERT；Sun等人[65]提出一種新的ABSA（Aspect-Based Sentiment Analysis，基于方面的情緒分析）方法，通過微調(diào)預(yù)先訓(xùn)練的BERT模型將ABSA任務(wù)轉(zhuǎn)化為句子對分類任務(wù)，取得了不錯的結(jié)果；Hu等人[66]提出一種基于方面的硬選擇的情感分析方法，通過給定的意見片段的開始和結(jié)束位置，選擇兩個位置之間的詞進(jìn)行情緒預(yù)測利用預(yù)先訓(xùn)練好的BERT模型來學(xué)習(xí)句子和方面之間的深層關(guān)聯(lián)，以及句子中的長期依賴關(guān)系，并通過自批判強(qiáng)化學(xué)習(xí)進(jìn)一步檢測意見片段，該方法在處理多向句時的效果明顯更好；為有效捕獲到基于句子組成結(jié)構(gòu)的復(fù)合情感語義，Yin等人[67]提出一種基于BERT的變體方法SentiBERT，該方法包含三個模塊：BERT、基于注意網(wǎng)絡(luò)的語義組合模塊、短語和句子的情感預(yù)測因子，通過實(shí)驗(yàn)證明該方法效果明顯優(yōu)于基線方法。

大量的研究者對基于transform模型的變體BERT模型的研究多側(cè)重于英語，有研究者提出[68]一種用于波斯語的單語BERT（ParsBERT）模型用于情感分析、文本分類等，通過在大量數(shù)據(jù)集上實(shí)驗(yàn)證明該方法優(yōu)于多語言BERT模型和其他方法；Delobelle等人[69]將BERT模型用于荷蘭語，并進(jìn)行了魯棒優(yōu)化來訓(xùn)練得到Bob-BERT荷蘭語模型，通過實(shí)驗(yàn)對比發(fā)現(xiàn)，和現(xiàn)有的基于BERTbased荷蘭語言模型相比，BobBERT方法得到了較好的結(jié)果。有研究者發(fā)現(xiàn)現(xiàn)有的基于BERT的情感分析方法大都只利用BERT的最后一個輸出層，而忽略了中間層的語義知識，因此Song等人[70]通過對BERT的中間層進(jìn)行研究，提高BERT的細(xì)化性能在基于方面的情感分析中，并通過實(shí)驗(yàn)證明了該方法的有效性；又有研究者通過對BERT模型進(jìn)行改進(jìn)，Lan等人[71]提出了ALBERT模型，該模型的優(yōu)勢在于縮小了整體的參數(shù)量，加快了訓(xùn)練速度，增加了模型效果；曾誠等人[72]提出一種結(jié)合預(yù)訓(xùn)練模型ALBERT_CRNN的方法用于視頻網(wǎng)站的彈幕文本情感分析，在三個手工爬取的視頻網(wǎng)站的數(shù)據(jù)集（嗶哩嗶哩、愛奇藝、騰訊視頻）上的情感分類的準(zhǔn)確度分別達(dá)到94.3%、93.5%、94.8%，均優(yōu)于傳統(tǒng)方法。

通過和傳統(tǒng)方法相比，使用語言模型預(yù)訓(xùn)練的方法充分利用了大規(guī)模的單語語料，可以對一詞多義進(jìn)行建模，使用語言模型預(yù)訓(xùn)練的過程可以被看作是一個句子級別的上下文詞表示。通過對大規(guī)模語料預(yù)訓(xùn)練，使用一個統(tǒng)一的模型或者將特征加到一些簡單的模型中，在很多NLP任務(wù)中取得了不錯的效果，說明這種方法在緩解對模型結(jié)構(gòu)的依賴問題上有明顯的效果。表2列舉了基于深度學(xué)習(xí)方法的文本情感分析中的實(shí)驗(yàn)結(jié)果。

未來對于自然語言處理的任務(wù)的研究將會更多，尤其是文本的情感挖掘方面。其中最新的情感分析方法大多基于對預(yù)訓(xùn)練模型的微調(diào)，并取得了較好的效果。因此，可以預(yù)知未來的情感分析方法將更加專注于研究基于深度學(xué)習(xí)的方法，并且通過對預(yù)訓(xùn)練模型的微調(diào)，實(shí)現(xiàn)更好的情感分析效果。

2.4 情感分析方法對比

通過將情感分析方法分為：基于情感詞典的情感分析方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法、基于深度學(xué)習(xí)的情感分析方法，將其不同優(yōu)缺點(diǎn)總結(jié)如表3所示。

3 文本情感分析方法應(yīng)用

現(xiàn)階段對于情感分析的研究已經(jīng)很充分，并且在許多場景中也能得到應(yīng)用，如商品評論，社交媒體等。

謝治海等人[73]提出一種基于影視情感類型與強(qiáng)度的自回歸票房預(yù)測模型，同時還構(gòu)建了面向票房預(yù)測的影評情感可視分析系統(tǒng)MRS-VIS。通過該系統(tǒng)可以有效地對電影上映前后的影評情感進(jìn)行多角度的分析，在對電影票房的預(yù)測方面有一定的準(zhǔn)確性和可靠性；王建成等人[74]提出一種基于神經(jīng)主題模型用于對話情感分析，對話情感分析可以識別出一段對話中的每個句子的情感極性，因此在電商客服數(shù)據(jù)中發(fā)揮著很大的作用，作者通過在電商客服對話數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明該方法的有效性；梁士利等人[75]通過構(gòu)建金融情感詞典及改進(jìn)的貝葉斯算法，實(shí)現(xiàn)了對股票市場的情感數(shù)據(jù)的有效分析，在和基線方法比較中發(fā)現(xiàn)，該方法的準(zhǔn)確率可以達(dá)到90.6%，能達(dá)到較好的預(yù)測結(jié)果，從而有效完成了對股票市場的分析預(yù)測；沈瑞琳等人[76]提出一種多任務(wù)學(xué)習(xí)框架，將情感分析和謠言檢測這兩個任務(wù)結(jié)合起來學(xué)習(xí)，利用情感分析任務(wù)輔助謠言檢測，在公開的微博數(shù)據(jù)集中取得了不錯的效果；陳亞茹等人[77]提出一種融合自注意力機(jī)制和BiGRU網(wǎng)絡(luò)的情感分析模型用于微博文本的情感分析，通過在三個微博數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法有效地提高了情感分類的準(zhǔn)確率；宋雙永等人[78]以阿里小蜜為例，對情感分析技術(shù)在應(yīng)用于智能客服系統(tǒng)中進(jìn)行了全面介紹，包括相關(guān)的情感分析算法的模型原理，以及其在智能客服系統(tǒng)中的應(yīng)用場景的實(shí)際落地的使用方式及其效果，表明情感分析技術(shù)在客服機(jī)器人中起到的重要作用；陳興蜀等人[79]利用分布式爬蟲技術(shù)，分布式數(shù)據(jù)庫系統(tǒng)，SnowNLP情感分析模型和K-Means文本聚類算法，對2020年1月1日至2月29日期間共計(jì)6萬條新浪微博及1.5萬條微博熱門評論的內(nèi)容進(jìn)行情感分析，對與“新冠肺炎疫情”相關(guān)話題展開輿情分析，可以發(fā)現(xiàn)在不同時間段，不同地區(qū)網(wǎng)民的情感波動不同，飽含的情感值也不同，如在疫情嚴(yán)重的地區(qū)，網(wǎng)民的評論較多，情感值偏低。

表2 基于深度學(xué)習(xí)方法的情感分析中的實(shí)驗(yàn)結(jié)果

表3 文本情感分析方法對比

這些應(yīng)用使得對于情感分析的研究變得更加有實(shí)際意義，科學(xué)研究真正實(shí)現(xiàn)落地，實(shí)現(xiàn)其價(jià)值的最大化。

表4 常見情感詞典介紹

表5 常見顯式情感數(shù)據(jù)集介紹

4 文本情感分析數(shù)據(jù)集及評價(jià)指標(biāo)

現(xiàn)有的基于情感分析的方法的研究過程中，在基于情感詞典的方法中有大量公開的情感詞典供研究者使用，在基于傳統(tǒng)機(jī)器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法中有研究者使用公開發(fā)表的數(shù)據(jù)集，也有研究者通過構(gòu)建新數(shù)據(jù)集，劃分不同的標(biāo)簽來實(shí)現(xiàn)對于情感的分類。數(shù)據(jù)集中的數(shù)據(jù)來自不同的主題和來源，數(shù)據(jù)集的大小也不同，數(shù)據(jù)集的大小對實(shí)驗(yàn)結(jié)果也會有不同的影響。

4.1 情感詞典

通過對情感詞典中的情感詞載入進(jìn)行訓(xùn)練，來實(shí)現(xiàn)對文本中的情感詞有效識別，從而達(dá)到情感分類的效果，因此情感詞典扮演著重要的作用，表4列出了研究者常用的情感詞典。

4.2 顯式情感數(shù)據(jù)集

在情感分析的研究中，數(shù)據(jù)資源是至關(guān)重要的一部分，針對不同研究方法，不同的研究學(xué)者使用不同的語料庫來實(shí)現(xiàn)不同程度的情感分類。表5是對常見的顯式情感分析的中英文數(shù)據(jù)集的簡單介紹。圖6為weibo_senti_100k數(shù)據(jù)集中部分內(nèi)容。

4.3 隱式情感數(shù)據(jù)集

圖6 weibo_senti_100k數(shù)據(jù)集

現(xiàn)有的情感分析方法多基于顯示文本的研究，即在句子中含有直接表達(dá)情感的詞語，也有研究者[55-57]通過對隱式文本的情感進(jìn)行研究，因此需要使用不含有顯式情感詞的隱式數(shù)據(jù)集。SMP2019數(shù)據(jù)集（數(shù)據(jù)集下載地址：http：//conference.cipsc.org.cn/smp2019/smp_ecisa_SMP.html）是由第八屆全國社會媒體處理大會“拓爾思杯”中文隱式情感分析測評發(fā)布的數(shù)據(jù)集，該數(shù)據(jù)集由山西大學(xué)提供，數(shù)據(jù)來源主要包括微博、旅游網(wǎng)站、產(chǎn)品論壇，主要領(lǐng)域/主題包括但不限于：春晚、霧霾、樂視、國考、旅游、端午節(jié)等，數(shù)據(jù)集中包含的顯示情感詞文本已經(jīng)通過大規(guī)模情感詞典進(jìn)行過濾處理，處理后的數(shù)據(jù)集中將隱式情感句進(jìn)行了部分標(biāo)注，分為褒義隱式情感（1）、貶義隱式情感（2）和不含情感傾向的句子（0）。該數(shù)據(jù)集的測試集和訓(xùn)練集中的數(shù)據(jù)量的詳細(xì)劃分如表6所示。圖7為SMP2019數(shù)據(jù)集中部分內(nèi)容。

表6 SMP2019數(shù)據(jù)集劃分

圖7 SMP2019數(shù)據(jù)集

4.4 評價(jià)指標(biāo)

具體實(shí)驗(yàn)中常用到的評價(jià)指標(biāo)有準(zhǔn)確率、精確度（P）、召回率（R）、準(zhǔn)確率（Acc）以及F1值，其中各個評價(jià)指標(biāo)的計(jì)算公式如下所示：

TP代表將正類樣本預(yù)測為正類的數(shù)量，F(xiàn)N代表將正類樣本預(yù)測為負(fù)類的數(shù)量，F(xiàn)P代表將負(fù)類樣本預(yù)測為正類的數(shù)量，TN代表將負(fù)類樣本預(yù)測為負(fù)類的數(shù)量。

5 情感分析子任務(wù)

5.1 反諷檢測

通過研究發(fā)現(xiàn)，在社交媒體中存在許多反諷或諷刺的現(xiàn)象，而這些語句中表達(dá)的情感往往與語句表面的意思不一致，通過對反諷語句的研究，提取其深層語義特征，對于情感分析的研究也很有幫助。

Chaudhary等人[84]通過對情感分析過程和決策過程進(jìn)行改進(jìn)，并在Twitter上爬取數(shù)據(jù)，在四個機(jī)器學(xué)習(xí)方法的實(shí)驗(yàn)中取得了不錯的效果，線性SVC（accuracy=83%，f1-score=0.81）、Na?ve Bayes（accuracy=74%，f1-score=0.73）、logistic回歸（accuracy=83%，f1-score=0.81）和隨機(jī)森林分類器（accuracy=80%，f1-score=0.77）；盧欣等人[85]研究發(fā)現(xiàn)，微博評論中存在大量反諷語句，而以往的情感分析任務(wù)并沒有考慮到，因此作者通過構(gòu)建一種融合語言特征的卷積神經(jīng)網(wǎng)絡(luò)的反諷情感識別方法，并通過實(shí)驗(yàn)證明該方法優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法；有作者[86]發(fā)現(xiàn)以往的對于諷刺檢測的研究多是利用自然語言處理技術(shù)進(jìn)行，并未考慮其語境，用戶的表達(dá)習(xí)慣等，因此通過一種雙通道卷積神經(jīng)網(wǎng)絡(luò)來分析目標(biāo)文本的語義，以及其情感語境，還利用注意力機(jī)制來提取用戶的表達(dá)習(xí)慣，通過在多個數(shù)據(jù)集上的實(shí)驗(yàn)證實(shí)該方法的有效性，并能夠有效提升諷刺檢測任務(wù)的性能。

5.2 隱式情感分析

隱式情感分析是情感分析領(lǐng)域較為特殊的部分，由于缺乏情感詞，情感表達(dá)較為模糊，是現(xiàn)階段研究的難點(diǎn)，通過對現(xiàn)階段隱式情感分析的文獻(xiàn)梳理，發(fā)現(xiàn)現(xiàn)有的研究非常有限。

Zuo等人[87]發(fā)現(xiàn)以往的圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）在用于情感分析問題的研究時，不能有效地利用上下文文本的語境信息，或者常常會忽略短語間的依賴關(guān)系，所以在此基礎(chǔ)上提出一種新的上下文特定的異構(gòu)圖卷積網(wǎng)絡(luò)（CsHGCN），通過實(shí)驗(yàn)證實(shí)該模型能有效識別句子中的目標(biāo)情感；楊善良等人[88]在圖卷積注意力神經(jīng)網(wǎng)絡(luò)（Graph Attention Convolutional Neural Network）的基礎(chǔ)上構(gòu)建文本和詞語的異構(gòu)圖譜，使用圖卷積網(wǎng)絡(luò)對隱式情感語句進(jìn)行建模，操作傳播語義信息，通過注意力機(jī)制提取語句中對情感分析重要的語句特征，通過在SMP2019中文隱式情感分析評測數(shù)據(jù)集上驗(yàn)證了模型的有效性，能取得91.7%的準(zhǔn)確率。

5.3 多模態(tài)情感分析

現(xiàn)階段，許多社交媒體中的評論內(nèi)容往往不僅僅是文字或圖片，傳統(tǒng)的基于文本的情感分析方法不能很好解決這一類的問題，因此，多模態(tài)情感分析方法旨在融合不同模態(tài)的特征來進(jìn)行情感極性的判斷。

Huang等人[89]提出了一種新的圖像文本情感分析模型，即深度多模態(tài)關(guān)注融合（Deep Multimodal Attention Fusion，DMAF），利用視覺和語義內(nèi)容之間的區(qū)別特征和內(nèi)在相關(guān)性，利用混合融合框架進(jìn)行情感分析。先利用兩種獨(dú)立的單模態(tài)注意模型，分別學(xué)習(xí)視覺模態(tài)和文本模態(tài)，然后，提出了一種基于中間融合的多模態(tài)注意力模型，利用視覺特征和文本特征之間的內(nèi)在關(guān)聯(lián)進(jìn)行聯(lián)合情感分類。最后，采用一種后期融合方案，將三種注意模型結(jié)合起來進(jìn)行情感預(yù)測。在弱標(biāo)記和人工標(biāo)記的數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，證明了該方法的有效性。

Haish等人[90]提出了一種文本、音頻和視頻的多模態(tài)情感分析融合方法。和以往特征級或決策級融合的方法相比，該方法使用基于注意力的深度神經(jīng)網(wǎng)絡(luò)來促進(jìn)特征和決策級的特征融合，該網(wǎng)絡(luò)通過兩個階段的融合來有效利用三種模式（文本、音頻和視頻）的信息，在多模態(tài)數(shù)據(jù)集中證明了該方法的有效性。

5.4 面向方面級情感分析

基于方面的情感分析（Aspect-Based Sentiment Analysis，ABSA）是情感分析（Sentiment Analysis，SA）中一個具有挑戰(zhàn)性的子任務(wù)，它旨在識別針對特定方面的細(xì)粒度意見極性。

Chen等人[91]提出了一種基于神經(jīng)網(wǎng)絡(luò)的新框架來識別評論中方面目標(biāo)的情感。該框架采用了多注意機(jī)制來捕捉遠(yuǎn)距離下的情感信息，通過與遞歸神經(jīng)網(wǎng)絡(luò)的非線性結(jié)合，增強(qiáng)了模型的表達(dá)能力，能處理更加復(fù)雜的語義問題。在四個數(shù)據(jù)集上（兩個數(shù)據(jù)集來自SemEval2014（餐館和筆記本電腦的評論）、twitter數(shù)據(jù)集、中文新聞評論數(shù)據(jù)集）驗(yàn)證了該模型的性能。

Xue等人[92]發(fā)現(xiàn)以往的預(yù)測方法大多采用長、短期記憶和注意機(jī)制來預(yù)測相關(guān)目標(biāo)的情緒極性，這些方法往往比較復(fù)雜，需要更多的訓(xùn)練時間。所以提出將之前的方法歸納為兩個子任務(wù)：方面-類別情感分析（ACSA）和方面-項(xiàng)情感分析（ATSA）。還提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和門控機(jī)制的模型，該模型更加準(zhǔn)確和有效。該方法首先通過新的門控單元Tanh-ReLU根據(jù)給定的方面或?qū)嶓w有選擇地輸出情感特征;這個體系結(jié)構(gòu)比現(xiàn)有模型中使用的注意層要簡單得多；其次，該模型的計(jì)算在訓(xùn)練過程中很容易并行化，因?yàn)榫矸e層不像LSTM層那樣有時間依賴性，門控單元也是獨(dú)立工作，最后通過在SemEval數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了該模型的有效性。

阿拉伯語由于其復(fù)雜的結(jié)構(gòu)，加上其資源的缺乏，為情感分析任務(wù)帶來了許多挑戰(zhàn)。有學(xué)者通過對面向阿拉伯語方面的情感分析作為研究方向，Heikal等人[93]采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長短期記憶（LSTM）模型相結(jié)合的集成模型對阿拉伯語推文的情感進(jìn)行預(yù)測。在阿拉伯語情感推文數(shù)據(jù)集（ASTD）上，該模型F1得分為64.46%，優(yōu)于最先進(jìn)的深度學(xué)習(xí)模型；有研究者[94]利用兩種不同的長短期記憶神經(jīng)網(wǎng)絡(luò)用于對阿拉伯酒店評論的基于方面的情感分析的研究。第一種是字符級雙向LSTM以及條件隨機(jī)場分類器（Bi-LSTM-CRF）用于方面意見目標(biāo)表達(dá)式（選票）提取，第二種是一個面向LSTM方面情緒極性分類的aspect-OTEs作為情緒極性標(biāo)識。該方法使用阿拉伯酒店評論的參考數(shù)據(jù)集進(jìn)行評估，結(jié)果表明，該方法在兩種任務(wù)上都優(yōu)于基線研究，分別提高了39%和6%。

6 結(jié)語

現(xiàn)階段，越來越多的人在社交媒體上發(fā)表自己的觀點(diǎn)看法，表達(dá)情感，通過分析他們的情感極性可以判斷他們的態(tài)度。特別是在對于政治立場、網(wǎng)絡(luò)購物等問題的評論的情緒分析十分有必要。通過對情感極性的判斷，來預(yù)測將來可能要發(fā)生的事情。網(wǎng)絡(luò)評論、微博、博客等社交媒體中的文本，蘊(yùn)含著大量的情感和情緒，情感分析是對文本中的情感進(jìn)行計(jì)算，對情緒進(jìn)行挖掘，因此是一個十分有意義的挑戰(zhàn)。情感分析不僅涉及到自然語言處理領(lǐng)域，還涉及到計(jì)算機(jī)科學(xué)、管理學(xué)科以及社會學(xué)科的交叉融合。

本文通過對現(xiàn)階段國內(nèi)外關(guān)于文本情感分析的問題的研究，對不同方法進(jìn)行分類，總結(jié)介紹了各種方法所取得的成果，還對通用的數(shù)據(jù)集以及實(shí)驗(yàn)的評價(jià)指標(biāo)進(jìn)行簡單的介紹，對文本情感分析方法的應(yīng)用簡要介紹，以及現(xiàn)階段情感分析方法中的子任務(wù)研究進(jìn)行簡單概述。通過對情感詞典的情感分析方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法、基于深度學(xué)習(xí)的情感分析方法對比，可以發(fā)現(xiàn)基于情感詞典的情感分析方法和基于傳統(tǒng)機(jī)器學(xué)習(xí)的情感分析方法中存在的問題，基于深度學(xué)習(xí)的方法的優(yōu)勢?？梢灶A(yù)測在未來的自然語言處理領(lǐng)域中，文本數(shù)據(jù)的規(guī)模不斷擴(kuò)大，將深度學(xué)習(xí)用于情感分析是未來的研究趨勢。

從不同方法的發(fā)展趨勢來看，未來文本情感分析的研究需要關(guān)注以下方面：

（1）通過對比不同的研究方法可以發(fā)現(xiàn)，現(xiàn)有的對于情感分析的研究方法多基于單一領(lǐng)域，如社交網(wǎng)絡(luò)媒體平臺weibo、酒店評論等，在個性化推薦中如何將多個領(lǐng)域的內(nèi)容結(jié)合，進(jìn)行情感分類，實(shí)現(xiàn)更好的推薦效果，并實(shí)現(xiàn)在提高模型的泛用性能，都是未來值得研究和探索的工作方向。

（2）大部分對于情感分析的研究多用于顯式的文本情感分類問題，采用含有明顯情感詞的數(shù)據(jù)集，而對于某些隱式詞的檢測和分類效果不佳?，F(xiàn)階段對于隱式情感分析的研究還處于起步階段，不是很充分，未來可以通過構(gòu)建隱式情感詞詞典，或者通過使用更好的深度學(xué)習(xí)方法來更深層次地提取語義相關(guān)信息來實(shí)現(xiàn)更好的情感分類效果。

（3）對于復(fù)雜語句的情感分析研究需要進(jìn)一步完善，當(dāng)帶有情感傾向的網(wǎng)絡(luò)用語、歇后語、成語等越來越頻繁地出現(xiàn)，尤其在文本中含有反諷或隱喻類的詞時，情感極性的檢測就會存在難度，這也需要進(jìn)一步研究。

（4）多模態(tài)情感分析也是近來的研究熱點(diǎn)，如何將多個模態(tài)中的情感信息進(jìn)行提取和融合，是大家主要研究的方向，當(dāng)多個模態(tài)中的情感表達(dá)不一致時，該如何權(quán)重不同模態(tài)中的情感信息也是需要考慮的；以及是否能考慮外部語義信息，這對情感分析的準(zhǔn)確性是否有幫助，也是需要有大量的研究。

（5）在情感分析的子任務(wù)中，也能發(fā)現(xiàn)大多研究是基于簡單二分類情感分析，實(shí)現(xiàn)多分類，更加細(xì)粒度的情感分析也是將來的研究熱點(diǎn)。

（6）預(yù)訓(xùn)練模型是現(xiàn)階段的研究熱點(diǎn)，它能有效解決傳統(tǒng)方法中存在的問題，如不能并行化計(jì)算的限制等，還能有效捕獲詞語之間的相互關(guān)系，并且通過微調(diào)就能在下游任務(wù)中實(shí)現(xiàn)較好的效果，但也會存在模型參數(shù)量大，訓(xùn)練時間較長的問題。如何在模型的參數(shù)量小，有效縮短訓(xùn)練時間的前提下，達(dá)到好的分類效果，也會是值得研究的方向。

通過對不同的文本情感分析方法進(jìn)行總結(jié)和歸納，對不同方法進(jìn)行對比和簡單介紹，并總結(jié)了相應(yīng)的優(yōu)缺點(diǎn)，并對未來的對文本情感分析方面繼續(xù)研究的學(xué)者提供一定的指導(dǎo)和建議。

情感分析是一項(xiàng)相當(dāng)有意義的研究工作，有著廣泛的應(yīng)用前景，在將來會有更多有效的方法和成果。同時也希望本文能對文本情感分析領(lǐng)域研究的學(xué)者給予一定的幫助。