李衛(wèi)疆,漆 芳

(昆明理工大學 信息工程與自動化學院,云南 昆明 650500)

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，越來越多的用戶在網(wǎng)上表達自己的觀點和情感。如何高效快速的分析這些帶有情感的觀點和言論，已得到越來越多研究人員的關(guān)注。

傳統(tǒng)的情感分類方法主要包括基于詞典和基于機器學習?；谠~典方法的核心模式是“詞典+規(guī)則”，即以情感詞典作為判斷評論情感極性的主要依據(jù)[1]，依賴于情感詞典和判斷規(guī)則的質(zhì)量，需要大量的人工干預(yù)；基于機器學習方法將情感分析看作一個分類問題，該方法是對訓練數(shù)據(jù)進行統(tǒng)計學習來構(gòu)建一個分類模型，用來對未知標簽的測試數(shù)據(jù)進行分類預(yù)測[2-3]。這類方法的多數(shù)模型的性能依賴于標注數(shù)據(jù)的質(zhì)量，需要耗費大量的人工成本。

近年來，隨著深度學習技術(shù)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的方法成為了主流，被廣泛地應(yīng)用于自然語言處理(NLP)領(lǐng)域中。卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks，CNN)[4]和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)[5]是目前在情感分析任務(wù)中具有代表性的深度學習模型。其中CNN通過對句子的所有詞的詞向量使用不同大小的滑動窗口進行卷積操作，提取局部相鄰詞之間的高維度特征。與CNN相比，RNN具有上下文語義捕捉能力，能夠?qū)⒂洃泝?nèi)容應(yīng)用到當前情景下，并且支持變長樣本的輸入。文獻[6]中，作者提出使用長短期記憶網(wǎng)絡(luò)(long short term memory，LSTM)，是RNN的變種，考慮了詞序列之間順序依賴關(guān)系，能夠很好地解決長時距離依賴問題。

在情感分析任務(wù)中，相對于傳統(tǒng)的機器學習方法，深度學習能夠自動捕捉從數(shù)據(jù)本身到高層特征更為復(fù)雜的語義映射，特征獲取無需大量人工干預(yù)。在性能上也體現(xiàn)了相比于以往方法的優(yōu)越性。雖然這些神經(jīng)網(wǎng)絡(luò)模型取得了巨大的成功，但也存在著一些缺陷。首先，忽略了情感分析任務(wù)中現(xiàn)有的語言知識和情感資源，不能充分的利用這些情感特征信息；其次，語言知識，如情感詞匯、否定詞 (如不，從不)、程度副詞(非常，很)，在神經(jīng)網(wǎng)絡(luò)模型中未被充分使用。陳釗等[7]提出了一種利用情感詞典中的詞條對文本中詞語進行抽象表示生成的特征加入卷積神經(jīng)網(wǎng)絡(luò)(WFCNN)；這一類方法過于依賴于情感詞典，需要大量的人工整理情感詞典，無法充分利用情感分析任務(wù)中特有的語言知識和情感特征信息。而且，該方法使用的卷積神經(jīng)網(wǎng)絡(luò)的濾波器的詞容量有限，不能捕捉到句子中距離長的信息，從而無法獲得句子中非相鄰詞之間的長距離語義關(guān)系。Qiao Qian等[8]提出使用句級注釋訓練的簡單LSTM模型，并對情感詞匯、否定詞和強度詞的語言角色(作用)進行建模。雖然該模型能夠捕捉到非相鄰詞之間的語義關(guān)系，但是該方法需要人工來建立強度正則化器，過于依賴正則化句級注釋。還有一些非常依賴解析樹結(jié)構(gòu)和昂貴的短語級注釋的模型，如Tree-LSTM[9]，當僅使用句子級進行訓練時，其性能會顯著下降。

針對上述問題，本文提出一種基于多通道雙向長短期記憶的文本情感分析方法，該方法首先通過對文本中的詞語進行詞性標注，并進行向量化操作，映射成一個詞性特征向量，其中重點對特殊情感詞進行標注。同時，對文本進行句法依存分析，生成依存特征；對每個詞語的位置，通過向量化映射成一個位置特征向量。有效的將文本的情感特征信息充分的加入模型中。從而，更加準確地的突出詞語的語義程度。其次，將輸入文本句子中的詞向量和詞性特征向量、位置特征向量和依存特征向量三者進行兩兩組合，生成不同特征的通道輸入，再將每個通道輸入學習一個Bi-LSTM；讓模型從不同的角度去學習句子中的情感特征信息，挖掘句子中不同方面的隱藏信息。

本文在中文傾向性分析評測COAE2014、英文電影評論MR和斯坦福情緒樹庫(SST)三個數(shù)據(jù)集上進行了實驗，并和多種基準模型進行了對比。實驗結(jié)果顯示本文提出的Multi-Bi-LSTM在三個數(shù)據(jù)集上取得了比樸素貝葉斯、支持向量機、RNN、Bi-LSTM等一些基準模型更好的性能。綜上，本文貢獻如下：

(1) 提出了一種Multi-Bi-LSTM模型用于情感分析任務(wù)，該模型對情感分析任務(wù)中現(xiàn)有的語言知識和情感資源進行建模，形成不同的特征通道。

(2) 使用三個Bi-LSTM對不同的特征通道去學習不同角度的情感信息特征，挖掘句子中更多的隱藏信息。與以前依賴情感詞典、人工建立情感強度正則化器和解析結(jié)構(gòu)以及昂貴的短語級注釋不同，本文提出的模型簡單而有效。

(3) 在中英文三個數(shù)據(jù)集上驗證了本文提出的Multi-Bi-LSTM模型在情感分析任務(wù)中的有效性。

1 相關(guān)工作

情感分析是自然語言處理領(lǐng)域中的一個任務(wù)。在過去的研究中，基于機器學習方法得到很多學者的重點關(guān)注，使用最多的經(jīng)典分類模型有樸素貝葉斯(NB)、支持向量機(SVM)和最大熵(ME)等。將文本特征映射為多維特征向量送入這些模型中進行機器學習訓練，學習文本的特征信息。很多研究工作者嘗試設(shè)計更好的工程特征來提高情感分析的性能。黃發(fā)良[10]將情感表情符號與微博用戶性格情緒特征納入到圖模型LDA中實現(xiàn)微博主題與情感的同步推導(dǎo)。這些模型是基于詞袋模型，文本中每個詞語都是獨立的不依賴于其他詞語，忽略了詞序和語法，無法獲取到文本中隱藏的語義信息。

自從2006年無監(jiān)督逐層學習技術(shù)的提出，深度學習開始成為機器學習領(lǐng)域的熱門研究方向。Kim[4]使用卷積神經(jīng)網(wǎng)絡(luò)對電影評論進行情感分類，實驗結(jié)果表明卷積神經(jīng)網(wǎng)絡(luò)的分類性能優(yōu)于遞歸神經(jīng)網(wǎng)絡(luò)。劉龍飛等[11]提出結(jié)合不同粒度的卷積神經(jīng)網(wǎng)絡(luò)模型，將詞級別和字級別的文本表示作為卷積神經(jīng)網(wǎng)絡(luò)的輸入來學習句子的特征信息。結(jié)果取得了比傳統(tǒng)的SVM方法更好的效果。陳釗等[7]提出了一種結(jié)合情感詞典和卷積神經(jīng)網(wǎng)絡(luò)分類方法，利用情感詞典中的詞條對文本中的詞語進行抽象化表示，來獲取更多的語義信息。在中文COAE2014數(shù)據(jù)集上取得了主流的卷積神經(jīng)網(wǎng)絡(luò)以及樸素貝葉斯、支持向量機更好的性能，但這類方法過于依賴與情感詞典，且無法獲取到距離長詞的信息，忽略了非相鄰詞之間的語義關(guān)系。

一些研究者提出了序列模型如RNN來解決情感分類問題，Socher等[12-14]提出了遞歸神經(jīng)網(wǎng)絡(luò)RNN分類模型，RNN分類模型通過遞歸計算來獲取句子語義，學習變長語句的特征用來解決情感分類問題中語義合成等任務(wù)。傳統(tǒng)RNN存在的優(yōu)化問題很早就被研究者所知，并提出了長短期記憶網(wǎng)絡(luò)LSTM[6]。將評論建模成詞序列來解決情感分類問題，考慮了詞序列之間順序依賴關(guān)系，能夠捕捉的上下文語義信息。Jin Wang[15]提出一種區(qū)域CNN-LSTM模型，該模型由兩部分組成： 區(qū)域CNN和LSTM，用于預(yù)測文本的valence-arousal(VA)空間(VA是指在情感分析中從維度上識別多維空間中的連續(xù)數(shù)值)。該方法所提出區(qū)域CNN使用單個句子作為區(qū)域，將輸入文本劃分成若干區(qū)域,以便可以提取每個區(qū)域中有用的情感信息。在使用LSTM進行VA預(yù)測時，這些區(qū)域信息將按區(qū)域順序進行集合。通過結(jié)合區(qū)域CNN和LSTM，可以在預(yù)測過程中考慮句子內(nèi)的局部(區(qū)域)信息和句子之間的長距離依賴性。實驗結(jié)果表明，該方法優(yōu)于先前研究中提出的基于詞典，基于回歸和基于NN的方法。Qiao Liu[16]提出了一種新穎的基于內(nèi)容注意的方面情感分類模型，具有兩個關(guān)注增強機制： 句子內(nèi)容注意機制能夠從全局角度獲取關(guān)于給定方面的重要信息，而情景注意機制是負責同時考慮單詞及其相關(guān)性的順序，將它們嵌入到一系列定制的記憶中。實驗結(jié)果表明，該模型勝過當時最先進的技術(shù)，其中提出的機制起著關(guān)鍵作用。Nallapati等[17]在抽象文本摘要任務(wù)中提到了將語言學特征轉(zhuǎn)化為多維度向量的方法。把詞性、命名實體標簽，單詞的TF和IDF等這些額外特征全部與單詞進行連接，使每個單詞具有多個維度的意義。Qiao Qian[8]提出語言規(guī)則化的LSTM，用句級注釋訓練的簡單模型，并對情感詞匯、否定詞和強度詞等語言知識進行建模。

本文提出的Multi-Bi-LSTM與文獻[7]使用的利用情感詞典中的詞條對文本中詞語進行抽象表示生成的二取值特征不同之處在于，本文使用連續(xù)值向量的形式來表示詞的特征，且不依賴情感詞典；同時，本文使用的Bi-LSTM神經(jīng)網(wǎng)絡(luò)方法，能夠解決CNN的固定窗口問題，能夠捕捉到評論詞與詞之間的長依賴關(guān)系。相比文獻[17]所使用的將語言學特征轉(zhuǎn)化為多維度向量的方法，文本采用了以詞為基礎(chǔ)和詞性、位置和句法依存分別進行兩兩組合，形成三個不同的特征向量通道輸入，在不同特征向量通道輸入上，讓模型從不同角度去學習句子中不同方面的情感特征信息，挖掘句子中不同角度的隱藏信息。與文獻[8]提出的語言規(guī)則化的LSTM相比，Multi-Bi-LSTM不需要大量的人工來建立強度正則化器。也不與Tree-LSTM模型[9]一樣，需要依賴解析樹結(jié)構(gòu)和昂貴的短語級注釋。

2 情感分析模型

本文通過在Bi-LSTM神經(jīng)網(wǎng)絡(luò)輸入層構(gòu)建多個通道，來解決如何更加充分地學習利用文本情感分析任務(wù)中的特有的情感資源信息。從而提高情感分析性能。本文提出的多通道雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(Multi-Bi-LSTM)整體框架如圖1所示，是一個從左至右的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要由4 部分組成，從左至右依次為輸入層，多通道層，Bi-LSTM layer和情感輸出層。

2.1 輸入層

輸入層是Multi-Bi-LSTM模型的輸入層，是由整個數(shù)據(jù)集中的詞向量、詞性特征向量、位置值向量和依存句法向量構(gòu)成。其中，本文將輸入的樣本最大步長設(shè)置為maxlen，對于長度小于maxlen的輸入，在其末以“0”填充，對于超出maxlen的樣本，直接截取前maxlen。

(1) 詞向量

在神經(jīng)網(wǎng)絡(luò)中，是通過接受文本向量化輸入來學習句子特征信息的。在文本分類任務(wù)中，每個句子中的詞隱藏著重要的情感特征信息。文本將句子以詞為單位形成一個詞序列。將每個詞映射為一個多維連續(xù)值的向量。如： 對于長度為n(1≤n≤maxlen)的句子s={w1,w2…wn}，其中每個wi為句子s中第i個詞語。存在一個詞向量矩陣：W∈Rd*|v|，|v|是詞表大小，d是詞向量的維度。每個wi映射為一個多維連續(xù)值的詞向量ei，使用這個詞向量矩陣，可以把句子中的每個詞轉(zhuǎn)換成詞向量表示如式(1)所示。

圖1 Multi-Bi-LSTM網(wǎng)絡(luò)模型結(jié)構(gòu)圖

其中，vi是大小為|v|的one-hot向量，在對應(yīng)的維度取值為1，其它位置全為0。通過將句子序列中的詞向量拼接起來，就得到了整個句子序列的詞向量矩陣表示如式(2)所示。

其中，ei∈Rd，⊕為拼接操作。

(2) 詞性特征向量

本文利用HowNet(1)http://www.keenage.com/html/c_index.html情感集合，對輸入的句子進行詞性標注。通過對句子的詞性標注，可以讓模型學習對情感分類有重要影響的詞語，其中重點對特殊的詞進行標注，如表1所示。本模型中重點特殊情感詞包括： 程度副詞(如： 非常，很)，正面/負面評價詞、正面/負面情感詞和否定詞(如： 不，從不)對于標注好的詞性，通過向 量化操作，映射成一個多維的連續(xù)值向量，與詞向量操作一樣。使ti∈Rm，其中ti為第i個詞性特征向量，m是詞性向量的維度。對于長度為n的句子s的詞性特征向量表示如式(3)所示。

表1 詞性標注

(3) 位置值向量

在情感任務(wù)中，詞語之間的位置往往也隱藏著很重要的信息。同一個詞語出現(xiàn)在不同的位置，可能表達著不同的情感信息，如式(4)所示。

其中，pi為句子s中第i個詞的位置值，ti!=0為第i個詞含有特殊的詞性，i為詞在句子s中的位置，maxlen為本文輸入的最大的步長，len(s)為句子s的長度(len(s)=n)。本文將每一個位置值映射成一個多維的連續(xù)值向量pi∈Rl，其中pi為第i個位置特征向量，l是位置特征向量的維度。對于長度為n的句子s的詞性特征向量表示如式(5)所示。

(4) 依存句法向量

此外，本文對輸入的句子進行了依存句法分析，通過對輸入的句子進行句法分析，確定句子的句法結(jié)構(gòu)和句子中詞匯之間的依存關(guān)系?？梢宰屇Ｐ驮诟蟪潭壬蠈W習情感分析任務(wù)中現(xiàn)有的語言知識，挖掘更多的隱藏情感信息。依存句法分析是通過分析語言單位內(nèi)成分之間的依存關(guān)系揭示其句法結(jié)構(gòu)，將每一個句子的句法特征映射成一個多維連續(xù)值向量parseri∈Rp，其中parseri為句子s中第i個詞的句法特征，p是句法特征向量的維度。對于長度為n的句子s的句法特征向量表示如式(6)所示。

2.2 多通道層

為了讓模型更加充分的學習到語言知識和隱藏的情感信息。本文將以詞特征為主體與詞性特征，位置特征和依存句法三個向量，進行不同的組合形成3個通道作為網(wǎng)絡(luò)模型的輸入，為了讓模型簡單化，本文在實驗中使用一種簡單拼接操作，如式(7)～式(9)所示。

2.3 多通道雙向長短期記憶網(wǎng)絡(luò)

2.3.1 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)(long short term memory，LSTM)是對遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的改進，被廣泛用于文本處理。在LSTM[6]中，隱藏狀態(tài)ht和存儲器單元ct是上一個單元的隱藏狀態(tài)ht-1和存儲器單元ct-1和輸入向量xt的函數(shù)。每個位置(ht)的隱藏狀態(tài)只考慮前向上下文，而不考慮后向上下文。計算如式(10)所示。

2.3.2 多通道雙向長短期記憶網(wǎng)絡(luò)

在文本中，使用基于多通道雙向長短期記憶網(wǎng)絡(luò)(Multi-Bi-LSTM)，根據(jù)3.2形成的三個通道輸入。該網(wǎng)絡(luò)在訓練過程中分別使用Bi-LSTM[18]從這三個通道輸入來學習特征信息。同時用兩個LSTM沿著序列的兩個方向(前向和后向)進行建模。前向和后向LSTM計算如式(11)、式(12)所示。

圖通道Bi-LSTM結(jié)構(gòu)圖

2.4 情感分類輸出層

接著，將三個Bi-LSTM網(wǎng)絡(luò)中隱藏層輸出H分別使用文獻[19]提出的層歸一化(layer normalization)來計算隱藏層中神經(jīng)元的求和輸入的均差和方差。一個層中的所有隱藏單元共享同樣的歸一化項μ和σ，層歸一化計算如式(13)～式(15)所示。

其中，U為隱藏神經(jīng)單元個數(shù)，g和b為待更新的偏差和增益參數(shù)，⊙為兩個向量之間的元素乘法。

將經(jīng)過層歸一化提取得到的三個不同的情感特征的最重要信息h進入Merge層，通過⊕得到向量x，本實驗中該層使用tanh作為激勵函數(shù)，如式(16)所示。

在模型中，將上一層的輸出作為全連接的輸入，通過softmax輸出層，對最后的分數(shù)進行歸一化，可以得到分類結(jié)果,如式(17)所示。

其中，x為上一層輸出，wc為權(quán)重矩陣，bc為偏置。在模型訓練的過程中，本文使用交叉熵作為損失函數(shù)，且在模型參數(shù)上面使用權(quán)重衰減(weight decay)來對參數(shù)進行正則化，損失函數(shù),如式(18)所示。

其中，D為訓練數(shù)據(jù)集大小，C為數(shù)據(jù)的類別數(shù)，p為預(yù)測類別，y為實際類別，λ||θ||2為正則項，λ為正則化系數(shù)，θ為模型中所有參數(shù)。本文中使用時序反向傳播算法(back propagation)來對網(wǎng)絡(luò)參數(shù)進行更新。

3 實驗

本文在中文觀點傾向性分析評測(Chinese opinion analysis evaluation，COAE2014)任務(wù)4、英文電影評論(movie reviews，MR)(2)http://www.cs.cornell.edu/people/pabo/movie-review-data/和斯坦福情緒樹庫(stanford sentiment treebank，SST)(3)https://nlp.stanford.edu/sentiment/index.html三個數(shù)據(jù)集上進行實驗。從COAE數(shù)據(jù)集中標注6 000條帶有極性的數(shù)據(jù)，其中正面情緒3 022條，負面情緒2 978條。MR數(shù)據(jù)集包含了從電影評論網(wǎng)站上采集到的電影評論數(shù)據(jù)，每個樣本是一個句子，注明了其源評論的情感類別，有5 331個正面和5 331個負面處理句子。SST數(shù)據(jù)集中句子和短語一共有239 231條，是由斯坦福解析器[20]在11 855個句子的解析樹中解析的227 376個短語級的細粒情感分類。其中情感標簽集合為{0,1,2,3,4}，分別對應(yīng)于“非常消極”“消極”“中立”“積極”“非常積極”等五類,本文分別在SST句子級(Sent.-level)和基于短語級注釋的句子級(Phrase-level)上進行訓練，最后使用句子級中的測試數(shù)據(jù)對這兩個訓練分別進行測試。其中，在整理Train/Dev./Test時，和原本的數(shù)據(jù)(8 544/1 101/2 210)條，存在一些差別，Train少了100條，Dev.少了8條，Test少了10條；另外，去掉了Phrase-level里面一些特殊字符8條數(shù)據(jù)。詳細的數(shù)據(jù)統(tǒng)計如表2所示。

表2 MR 和COAE兩個數(shù)據(jù)集的相關(guān)信息

3.1 數(shù)據(jù)預(yù)處理與參數(shù)設(shè)置

本文使用哈工大的語言技術(shù)平臺LTP工具(4)https://ltp.readthedocs.io/zh_CN/latest/begin.html對表2中文COAE實驗數(shù)據(jù)進行分詞，詞性標注和依存句法分析。使用預(yù)訓練好的百度百科中文特征向量(5)https://github.com/Embedding/Chinese-Word-Vectors，對詞向量和詞性特征向量進行訓練。使用Stanford CoreNLP工具(6)https://nlp.stanford.edu/software/corenlp-backup-download.html對表2英文MR和SST實驗數(shù)據(jù)進行分詞，詞性標注和依存句法分析。詞向量采用Pennington等人[21]提出的Glove(7)http://nlp.stanford.edu/projects/glove詞向量來初始化，其中每個詞向量為300維，詞典大小為1.9MB。對三個實驗數(shù)據(jù)集中，未登錄詞使用均勻分布U(-0.05,0.05)來隨機初始化。訓練過程采用Duchi[22]提出的Adagrad方法來更新模型參數(shù)，本文選擇在測試數(shù)據(jù)集上表現(xiàn)最佳的結(jié)果作為最終表現(xiàn)。模型的參數(shù)設(shè)置如表3所示。

表3 三個數(shù)據(jù)集的最佳超參數(shù)設(shè)置

在整個實驗中，詞向量維度為300維，詞性特征為30維，位置特征為25維，依存句法特征為25維。

3.2 實驗結(jié)果與分析

將本文提出的模型和文獻[4, 6-9]提出的方法在表2所示的數(shù)據(jù)集上進行對比實驗。驗證本文提出的方法的有效性，如表4所示，介紹如下：

(1) NBSVM： 在本文實驗中使用bi-gram作為特征的樸素貝葉斯SVM模型。

(2) CNN： 文獻[4]提出的卷積神經(jīng)網(wǎng)絡(luò)，是通過卷積和合并操作生成句子表示。

(3) RNN/RNTN： 文獻[12]提出的循環(huán)神經(jīng)網(wǎng)絡(luò)，文獻[14]提出的遞歸張量神經(jīng)網(wǎng)絡(luò)(RNTN)使用張量來建模子節(jié)點向量的不同維度之間的相關(guān)性。

(4) LSTM/Bi-LSTM： 文獻[6]提出的長短期記憶網(wǎng)絡(luò)和網(wǎng)絡(luò)的雙向變體。

(5) Tree-LSTM： 文獻[9]提出的樹狀結(jié)構(gòu)的長期短期記憶模型，將記憶細胞和門引入樹形結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。

(6) WFCNN： 文獻[7]提出的結(jié)合情感序列的卷積神經(jīng)網(wǎng)絡(luò)模型，在本文實驗中，使用Glove詞向量來初始化。

(7) LR-LSTM/LR-Bi-LSTM： 文獻[8]提出的語言規(guī)則化的LSTM。

(8) Multi-LSTM/Multi-Bi-LSTM： 本文提出來的多通道LSTM和多通道雙向LSTM網(wǎng)絡(luò)。

表4 不同模型的情感分類性能對比

注： 標有*的結(jié)果將從文獻[8-9, 14, 23]中引用。

首先，從表4結(jié)果可以看出，本文提出的Multi-LSTM 和Muti-Bi-LSTM模型在COAE和MR數(shù)據(jù)集上，都取得了比傳統(tǒng)方法NBSVM更好的分類效果，這表明神經(jīng)網(wǎng)絡(luò)模型在情感分析任務(wù)上比傳統(tǒng)方法有更好的效果。同時，本文提出的模型分類效果在三個數(shù)據(jù)集上，也遠遠高于CNN、RNN、RNTN和LSTM這些只使用了詞向量訓練的模型。說明本文提出的對現(xiàn)有語言知識和情感資源進行建模，生成不同特征通道的方法在情感分析任務(wù)中的有效性。

其次，在MR數(shù)據(jù)集上，對比文獻[8]提出來的LR-LSTM、LR-Bi-LSTM模型的81.5%、82.1%和文獻[9]提出來的Tree-LSTM模型的80.7%可以看出，本文提出的Multi-Bi-LSTM模型的81.9%，比Tree-LSTM模型提高了1.2%。比LR-Bi-LSTM模型效果稍微差一點(0.2%)。但是，LR-Bi-LSTM模型過于依賴情感詞典，另外還需要使用大量的人工來建立強度正則化器，而本文提出的Multi-Bi-LSTM模型則不需要這樣情感詞典以及強度正則化器。說明了本文模型的簡單性。在SST數(shù)據(jù)集中，本文模型在Phrase-level上的51.4%比LR-Bi-LSTM模型的50.6%提高了0.8%，比Tree-LSTM模型的51.0%提高了0.4%，在Sent.-level上本文模型分別提高了0.9%和1.4%。除此之外，從表4中還可以看出，Tree-LSTM模型嚴重依賴于短語級注釋，當僅使用句子級進行訓練時，其性能會下降2.9%(性能從51.0%下降到48.1%)，而本文提出的模型不依賴于解析樹。因此，本文模型效率更高。在中文COAE數(shù)據(jù)集上，與文獻[7]提出來的WFCNN模型的88.6%相比，本文提出的Multi-Bi-LSTM模型表現(xiàn)的稍差一點(0.2%)，而在F1值上，本文模型提高了0.4%。另外，在SST數(shù)據(jù)集中，對比WFCNN模型的49.6%、48.0%，本文模型提高了1.8%、1.5%。這說明本文提出的方法充分利用了情感分析任務(wù)中的語言知識和情感信息，取得了比以往模型更好的分類效果。

最后，與文獻[6]提出的基本Bi-LSTM模型相比，本文提出的Multi-Bi-LSTM模型在三個數(shù)據(jù)集上的分類效果最高提升了3.4%?？梢娫谇楦蟹治鋈蝿?wù)中，充分利用現(xiàn)有的語言知識和情感資源的重要性。

3.3 不同語言特征的組合

為了揭示每個語言特征對模型的影響，本文在三個數(shù)據(jù)集上進行了特征組合實驗。由于本文提出的模型不依賴于解析樹，所以SST數(shù)據(jù)中的短語注釋(Phrase-level)數(shù)據(jù)不參與實驗。根據(jù)表3的性能分析結(jié)果，選擇在Bi-LSTM基礎(chǔ)上，設(shè)置相同的參數(shù)，并依次在Bi-LSTM上添加語言特征，形成不同的通道，觀察模型的性能變化。以下表中的W、P、Ps和T分別表示詞向量、位置特征向量、依存句法特性向量和詞性特征向量。實驗結(jié)果如表5所示，隨著語言特征的添加，模型的復(fù)雜度越來越高，模型的性能起伏比較大；但是，總體性能是呈上升趨勢的。其中，在詞向量(W)基礎(chǔ)上，詞性特征向量(T)和句法特征向量(Ps)在性能提升方面起著關(guān)鍵性的作用。

表5 Bi-LSTM語言特征調(diào)節(jié)的性能

3.4 典型例子分析

為了進一步分析本文提出的模型對比其他模型的優(yōu)點，這里通過幾個具體的樣例來分析。如表6所示，從COAE數(shù)據(jù)集的測試集中提取出一些典型樣例的分類結(jié)果進行了對比分析。

如表6的樣例的分類結(jié)果所示。對于樣例3，情感詞不是單獨起作用的，而是通過詞序列結(jié)合句子的上下語義表達出整個句子的情感。

表6 典型數(shù)據(jù)實驗樣例

由于WFCNN，提取的特征是局部相鄰詞之間的特征，因此會出現(xiàn)誤分類為正面的情況。Bi-LSTM雖具有強大的上下文語義捕捉能力，但在樣例3中具有大量的正負面情感詞。由于對特殊的情感詞并沒有進行處理，從而出現(xiàn)了誤分類。而在Multi-Bi-LSTM中，不僅有強大的上下文語義捕捉能力，能夠根據(jù)上下語義，對正負面情感詞進行程度加強而且還能夠?qū)渥舆M行句法分析，同時，對句子進行句法分析，確定樣例3整體情感偏向于負面。因此，對樣例3分類正確。對于樣例4，樣例6，WFCNN模型都沒有分類正確。由于這類樣例是反問句式，往往是諷刺的表達方式，一般有著和正確類別的相反情感。所以，對于提取的僅僅是局部相鄰詞之間特征的WFCNN模型僅從句子的表面信息來判斷樣例的情感類別，會得到錯誤的分類結(jié)果。對于Bi-LSTM，樣例4，可以直接從詞序上就可以判斷出正確分類結(jié)果。而樣例6，這種諷刺極其強而情感特征又不明顯的樣例，WFCNN模型和Bi-LSTM模型會簡單的根據(jù)樣例中“會技術(shù)”，而進行誤分類。對于這類樣例，因為本文提出的方法對這類詞進行了學習，所以Multi-Bi-LSTM模型可以根據(jù)這些詞在句子中位置，詞與詞之間的句法關(guān)系和詞性特征來學習這類句型的情感信息，從而分類正確。對于樣例7，這類中有太多的網(wǎng)絡(luò)詞匯如“逆天”、“艾瑪”等等。同時，對于“霸道”在不同領(lǐng)域中，所表達的情感極性不同。因此，WFCNN模型、Bi-LSTM模型以及本文提出的Multi-Bi-LSTM模型都出現(xiàn)了錯誤的分類。對于樣例1、樣例2以及樣例5，這類樣例中的情感詞比較明顯，沒有什么反轉(zhuǎn)諷刺句子。故而，WFCNN模型、Bi-LSTM模型以及本文提出的Multi-Bi-LSTM模型都判斷出了正確的類別。

4 總結(jié)和未來工作

本文提出多通道雙向長短期記憶網(wǎng)絡(luò)(Multi-Bi-LSTM)進行對文本進行情感分析。所提出的模型，通過對情感分析任務(wù)中現(xiàn)有的語言知識和情感資源進行建模形成多通道輸入，再利用Bi-LSTM來充分的獲得這些有效的情感資源信息。實驗結(jié)果表明，本文提出的模型在中英文數(shù)據(jù)集上取得了較好的分類效果。但是，通過典型例子分析可以看出，本文提出的多通道雙向長短期記憶網(wǎng)絡(luò)模型，在中文數(shù)據(jù)集中，對于跨領(lǐng)域帶有極性的情感的詞匯以及網(wǎng)絡(luò)詞匯，不能很好地識別出這類文本的情感極性。進而在下一步工作中，重點以中文數(shù)據(jù)集為中心引入網(wǎng)絡(luò)詞匯和多個領(lǐng)域的文檔，對跨領(lǐng)域文本進行情感分類。