胡任遠，劉建華，王璇，羅逸軒，林鴻輝

(福建工程學(xué)院 計算機科學(xué)與數(shù)學(xué)學(xué)院，福建 福州 350118)

早期的情感分析大多使用傳統(tǒng)的機器學(xué)習(xí)方法來實現(xiàn)，例如支持向量機、隨機森林、決策樹、K鄰近算法等機器學(xué)習(xí)方法[1]。但是，以傳統(tǒng)機器學(xué)習(xí)方法為核心的情感分析方法需要依賴復(fù)雜人工規(guī)則的特征選擇策略，模型參數(shù)調(diào)優(yōu)和模型性能表現(xiàn)會受到較大的影響。

近年來，深度學(xué)習(xí)模型被廣泛應(yīng)用于自然語言處理領(lǐng)域，國內(nèi)外許多學(xué)者將其應(yīng)用到情感分析中[2]。Kim等[3]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于英文文本的語義特征提取任務(wù)中，并提出了一種可以捕捉局部語義相關(guān)性的模型TextCNN[4]，但未能獲取整體文本序列的上下文聯(lián)系。梁軍等[5]使用長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)提取上下文信息，通過情感極性轉(zhuǎn)移模型進行信息提取和分類，雖然提高了分類準確率，但未提取文本序列的特征。Wang等[6]為解決該問題提出了融合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的CNN-LSTM分類模型，使用LSTM網(wǎng)絡(luò)作為解碼器處理CNN的輸出序列，使模型在一定程度上學(xué)習(xí)到輸入序列的情感極性和上下文信息，但特征選擇能力仍不足。李洋等[7]在Word2Vvec訓(xùn)練模型的詞向量基礎(chǔ)上，使用混合的網(wǎng)絡(luò)模型CNN-BiLSTM進行特征提取和語義信息獲取，使模型具有更好的分類性能，但對特征的處理僅使用不同大小卷積核的CNN網(wǎng)絡(luò)。Lai等[8]提出一種由雙向循環(huán)神經(jīng)網(wǎng)絡(luò)和最大池化層組成的RCNN模型(regions with CNN features)，使用最大池化層做特征提取工作，提高了模型的分類能力，但增加了時間成本。劉全等[9]使用深度分層網(wǎng)絡(luò)模型，使用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)處理用戶評論，將其分割為定長的不同區(qū)域來進行多特征的提取。

綜上所述，現(xiàn)有文本情感分類模型的特征提取方式更多局限于使用注意力機制或在模型中添加CNN層。其中，注意力機制存在抓取的關(guān)系過于單一、無法提取出文本序列中字詞之間聯(lián)系的問題。在模型中添加CNN雖然可以提取出各語塊的主要信息，但僅使用單次卷積池化的模型也無法有效識別短文本內(nèi)容、含有轉(zhuǎn)折關(guān)系等句子的情感極性。

為減少模型抓取關(guān)系過于單一對分類結(jié)果產(chǎn)生的影響，本研究將循環(huán)機制引入進卷積神經(jīng)網(wǎng)絡(luò)中，提出一種雙循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型(double recurrent convolutional neural network, DRCNN)，通過改變深度學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重共享模式，各循環(huán)結(jié)構(gòu)之間使用權(quán)重私有化的方法來使模型學(xué)習(xí)到更豐富的情感特征信息。

1 相關(guān)工作

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)采用局部連接、權(quán)值共享等策略有效地解決了網(wǎng)絡(luò)參數(shù)大、訓(xùn)練時間長等問題。CNN主要包含了輸入層、卷積層、池化層、全連接層和輸出層，將詞嵌入處理的文本向量作為卷積層的輸入。卷積層使用卷積核對輸入數(shù)據(jù)進行卷積計算來提取文本特征。卷積層輸出如式(1)所示。

A=f(W·X+b)

(1)

式中，X為輸入矩陣，W為權(quán)重矩陣，b為偏置量，f為非線性激活函數(shù)。通過最大池化層來進一步提取特征，同時降低了向量維度，減少了模型參數(shù)，計算結(jié)果也可以被進一步處理。

1.2 雙向長短期記憶網(wǎng)絡(luò)

1.2.1 傳統(tǒng)長短期記憶網(wǎng)絡(luò)

Hochreiter等[10]于1997年提出長短期記憶網(wǎng)絡(luò)模型LSTM，改善了循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)中存在的長期依賴問題，可作為復(fù)雜的非線性單元用于構(gòu)造更大型深度神經(jīng)網(wǎng)絡(luò)。LSTM采用了細胞狀態(tài)和門機制，結(jié)構(gòu)如圖1所示。

圖1 長短期記憶網(wǎng)絡(luò)

圖1中，h為遺留信息的輸出；it為輸入門，決定了有多少t時刻網(wǎng)絡(luò)的輸入將保存到單元狀態(tài)；ot為輸出門，控制單元狀態(tài)有多少輸出到LSTM的當前輸出值；ft代表著遺忘門，決定了t-1時刻的單元狀態(tài)有多少能保留到t時刻；σ為非線性的sigmoid函數(shù)。it、ot、ft的計算分別如式(2)～(4)所示：

it=σ(Wixt+Uiht-1+bi)

(2)

ot=σ(Woxt+Uoht-1+bo)

(3)

ft=σ(Wfxt+Ufht-1+bf)

(4)

式中，xt表示t時刻的當前輸入，ht-1為t-1時刻遺留的信息向量；Wi和Ui為輸入門的記憶細胞所對應(yīng)的權(quán)重矩陣；Uo、Wo為輸出門的記憶細胞所對應(yīng)的權(quán)重矩陣；Wf和Uf為遺忘門的記憶細胞所對應(yīng)的權(quán)重矩陣；bi、bo、bf分別為輸入門、輸出門和遺留門的偏置量。

(5)

(6)

式中，tanh代表著非線性激活函數(shù)tanh()，網(wǎng)絡(luò)接收到t時刻的輸入xt和t-1時刻遺留的信息向量ht-1作為3個門機制的輸入，分別為it輸入門、ot輸出門和ft遺忘門在t時刻所得到的激活向量。最后得到最終輸出ht如式(7)所示：

ht=ottanh(ct)

(7)

1.2.2 雙向長短期記憶網(wǎng)絡(luò)

雙向長短期記憶網(wǎng)絡(luò)BiLSTM是由前向LSTM與后向LSTM組合而成，可以同時考慮文本的上下文語境、提供更加全面的語義信息，減少因上下文語序問題出現(xiàn)的判斷錯誤，顯著提升模型效果。因為神經(jīng)網(wǎng)絡(luò)易存在過擬合的問題，Hinton等[11]在2012年提出了Dropout策略，通過隨機丟棄部分比例的神經(jīng)元、減小模型參數(shù)從而達到一定程度上的正則化效果。BiLSTM模型的結(jié)構(gòu)如圖2所示。

圖2 雙向長短期記憶網(wǎng)絡(luò)

2 深度分層網(wǎng)絡(luò)模型

深度分層網(wǎng)絡(luò)模型(BiLSTM-DRCNN模型)是結(jié)合了BiLSTM和DRCNN的情感分析模型，具體結(jié)構(gòu)如圖3所示。BiLSTM-DRCNN模型先利用經(jīng)典BiLSTM網(wǎng)絡(luò)處理序列使得序列中每個元素都可以包含雙向的時序信息，并引入注意力機制使文本序列中帶有情感傾向的信息被高度關(guān)注。BiLSTM-DRCNN模型利用多次不同層面的循環(huán)機制來處理序列特征，可以高度關(guān)注文本序列中的情感傾向，提高情感特征表達的準確性。BiLSTM-DRCNN模型不僅能夠同時接收上下文信息，還能有效提取語句的情感極性，有助于提升模型對情感分析的性能。

圖3 BiLSTM-DRCNN網(wǎng)絡(luò)模型

2.1 模型輸入

BiLSTM-DRCNN模型所接收的數(shù)據(jù)是對原文本序列經(jīng)過處理后的向量表示。對于中文文本數(shù)據(jù)先用正則表達式處理和停用詞去除；對于英文文本數(shù)據(jù)也需要進行停用詞去除以及分詞和統(tǒng)一大小寫處理。最后使用最廣泛的方法將詞語用分布式詞向量來表示，作為模型的輸入數(shù)據(jù)。

2.2 DRCNN網(wǎng)絡(luò)

本節(jié)提出的DRCNN為改進傳統(tǒng)CNN中卷積運算并添加池化層的方式，利用多次卷積操作反復(fù)提取所需要的局部特征之后，最終構(gòu)造了一個循環(huán)卷積塊(recurrent convolutional block，RCB)。RCB層通過多次的卷積運算來處理序列特征，再將輸出傳給池化層進行特征提取，使模型可以更好地分析出文本的情感傾向。DRCNN模型更關(guān)注句中含有情感極性信息的內(nèi)容，它擁有多個不同循環(huán)結(jié)構(gòu)組成的網(wǎng)絡(luò)，其結(jié)構(gòu)主要包含數(shù)個循環(huán)卷積層、數(shù)個池化層、展平層以及最終輸出層，如圖4所示。

從圖4可見，DRCNN模型在輸入層之后連接著多個RCB層(RCB1～RCBm)對序列進行處理，在層與層之間加入池化層，降低數(shù)據(jù)維度，并同時提取特征；最后使用FLATTEN將多維數(shù)據(jù)展平成一維數(shù)據(jù)輸入給分類器。每一層RCB都是由若干個卷積層所組建而成，即需要經(jīng)過數(shù)次特征提取的過程，圖5為RCB層的具體展開圖。

圖4 DRCNN的結(jié)構(gòu)分布圖

圖5 RCB展開圖

RCB可看作深度為m的前饋子網(wǎng)，由多個卷積層組成，其中f為卷積核激活函數(shù)，A0為經(jīng)過BiLSTM和注意力機制處理過后的序列信息。f(Ai)只能存在一個輸入和一個輸出，其中i=1,2,3，…，m-1。每個循環(huán)卷積層之后都會有一個最大池化層來進行數(shù)據(jù)降維，并且每個RCB層的權(quán)重不共享，從而使模型擁有更高的容錯率。其中f(Ai)的計算如式(8)所示：

f(Ai)=relu(W1Ai+W2(ai?rL))

(8)

式中，Ai為輸入序列，W1,W2分別為權(quán)重矩陣，airL為將ai重復(fù)拼接L次，ai為序列對應(yīng)的情感標簽，L為固定句子長度。

2.3 模型訓(xùn)練

模型對不同的文本分類數(shù)據(jù)使用不同的激活函數(shù)，接收經(jīng)過DRCNN特征提取和FLATTEN數(shù)據(jù)展平后的輸出，隨后進行分類處理。其中二分類數(shù)據(jù)使用了sigmoid函數(shù)如式(9)所示，三分類數(shù)據(jù)采用了softmax函數(shù)計算待分類句子情感極性，如(10)所示：

(9)

(10)

(11)

2.4 注意力機制

注意力機制是一種能夠聚焦于局部信息的機制。計算機視覺領(lǐng)域最早提出了注意力機制分配權(quán)重的方法，幫助神經(jīng)網(wǎng)絡(luò)具備專注于其輸入特征的能力。Wang等[12]將注意力機制進入LSTM網(wǎng)絡(luò)中，用于處理情感分析任務(wù)，最終結(jié)果證明了注意力機制在自然語言處理中的有效性。李洋等[6]將CNN與BiLSTM結(jié)合并且引入注意力機制用于處理情感分析問題中，利用CNN提取局部特征后作為BiLSTM層的輸入，結(jié)合注意力機制對特定情感進行高度關(guān)注，更有效地關(guān)注輸入序列的句子情感信息，比傳統(tǒng)網(wǎng)絡(luò)的分類效果更佳。本研究在BiLSTM層后加入注意力機制，可以使模型更好地關(guān)注情感極性等特征，隨后使用DRCNN接收處理好的序列進一步進行特征提取，在注意力機制的處理序列的前提下將文本的情感特征更好地提取出來，從而提高模型的分類結(jié)果。注意力機制的原理如式(12)～(14)所示：

(12)

at′t=softmax(σ(st′-1,ht))

(13)

σ(st′-1,ht)=vTtanh(Wsst′-1+Whht)

(14)

式中ct′代表著輸出變量，ht為隱藏層，at′t表示一個權(quán)重的概率分布，σ為變換函數(shù)，st′-1為查詢項。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

操作系統(tǒng)為Windows 10，CPU為Intel Core i5-8300H，GPU為GeForce GTX 1060，內(nèi)存大小為16 GB，開發(fā)環(huán)境為TensorFlow 2.2.0-GPU，開發(fā)工具使用了JetBrains Pycharm。

3.2 實驗數(shù)據(jù)

采用的情感分類數(shù)據(jù)集如表1所示，其中CN代表中文文本數(shù)據(jù)，EN代表英文文本數(shù)據(jù)。訓(xùn)練集和測試集是獨立的兩個數(shù)據(jù)集，通過不同語言和分類目的來確保本文提出方法的有效性。中文實驗數(shù)據(jù)采用了Data Fountain的開源數(shù)據(jù)o2o商鋪食品相關(guān)評論數(shù)據(jù)(縮寫為o2o)以及疫情期間網(wǎng)民情緒數(shù)據(jù)(縮寫為Cov19)，英文實驗數(shù)據(jù)則是IMDB和Twitter評論數(shù)據(jù)。

表1 試驗數(shù)據(jù)統(tǒng)計

3.3 評價標準

因?qū)嶒灁?shù)據(jù)中各情感數(shù)據(jù)分布不均的問題，使用的評價模型的指標為代表正確預(yù)測正樣本占實際預(yù)測為正樣本的比例精準率(precision)、代表正確預(yù)測正樣本的比例召回率(recall)和F1值(F1-score)。F1作為一種綜合指標，可以作為模型分類結(jié)果的評價標準之一，如式(15)～(17)所示：

(15)

(16)

(17)

其中，TP(true positive)是指將原本為正類文本判定為正類文本的個數(shù)，F(xiàn)P(false positive)是指將原本為負類的文本判定為正類文本的個數(shù)，F(xiàn)N(false negative)是指將原本為正類文本判定為負類文本的個數(shù)。

3.4 模型參數(shù)設(shè)置

由于模型參數(shù)的選擇對結(jié)果會有較大的影響，實驗采用控制變量法，模型采用Adam優(yōu)化器，將卷積層填充模式設(shè)為same。BiLSTM隱層節(jié)點分別取32、64和128，DRCNN隱層節(jié)點數(shù)分別取64、128和256進行對比試驗。通過多次實驗發(fā)現(xiàn)取表2參數(shù)時，BiLSTM-DRCNN深度分層具有最優(yōu)性能。

表2 模型參數(shù)設(shè)置

本研究在設(shè)計DRCNN循環(huán)機制時采用了較少的循環(huán)次數(shù)，主要由于多次卷積特征提取在信息量上的削減會導(dǎo)致重要特征的遺漏，從而對結(jié)果造成負面影響，并且會增加計算時間開銷。在多次試驗后得到了RCB層和DRCNN層的最佳參數(shù)，可以得出DRCNN層循環(huán)次數(shù)為2且RCB層深度為2時，模型效果最優(yōu)。

3.5 對比實驗

(1)CNN模型：基于文獻[13]作為經(jīng)典網(wǎng)絡(luò)模型具有強大的特征提取能力，但是存在忽略句子長距離依賴關(guān)系以及時序的問題。

(2)BiLSTM模型：基于文獻[14]提出的經(jīng)典網(wǎng)絡(luò)模型，可以處理時間序列但輸入的文本序列，但冗余信息過多缺乏特征提取能力，無法有效判別句子的情感極性。

(3)ATT-CNN 模型：基于文獻[15]將注意力機制引入傳統(tǒng)網(wǎng)絡(luò)模型CNN中，可以關(guān)注特定的情感詞匯，有效的判別出句子所表達的情感極性。但該模型無法捕捉句子上下文信息。

(4)ATT-BiLSTM模型：基于文獻[16]提出的帶有注意力機制的雙向長短期記憶網(wǎng)絡(luò)。該模型客克服了CNN無法獲取句子長距離依賴關(guān)系的問題，在情感分析任務(wù)中效果顯著。在高度關(guān)注特定情感詞的同時，有效識別用戶不同的情感極性。但該模型未進一步提取序列特征，模型效果還有提升空間。

(5)Fusion Model模型：基于文獻[6]提出的結(jié)合CNN和BiLSTM的模型，輸入序列通過該模型用不同大小卷積核的CNN層提取特征后拼接BiLSTM的輸出，用CNN代替注意力機制運作，可以獲取整句評論的長距離依賴關(guān)系。但該模型沒有融入循環(huán)機制在CNN中，無法進行特征多次提取。

(6)BiLSTM-CNN模型：基于文獻[17]提出的網(wǎng)絡(luò)模型，型結(jié)合了BiLSTM和CNN的優(yōu)點，在全局語義的基礎(chǔ)上進行特征提取，模型結(jié)果超過單一模型。

(7)BiLSTM-DRCNN模型：本研究提出的深度網(wǎng)絡(luò)模型，使用BiLSTM可以使每個字都包含著上下文的信息，同時結(jié)合適當深度的RCNN結(jié)構(gòu)將BiLSTM處理過后的文本序列進行特征提取，充分提取情感極性的同時不會忽略邊緣詞匯，大大提升了分類結(jié)果的準確率。

3.6 實驗結(jié)果與分析

本研究使用7個應(yīng)用在情感分析領(lǐng)域的模型在兩種語言4種的數(shù)據(jù)集上進行7組對比實驗，模型實驗結(jié)果如表3所示。

表3 不同模型在4種數(shù)據(jù)集上的結(jié)果

從表3可見，未引入注意力機制的基礎(chǔ)網(wǎng)絡(luò)模型的分類效果并不理想，CNN和BiLSTM的平均F1分數(shù)只有78.07%和79.54%；而ATT-CNN和ATT-BiLSTM模型的平均F1分數(shù)比基礎(chǔ)的CNN和BiLSTM模型總體提高了0.8%和0.68%。與BiLSTM-CNN網(wǎng)絡(luò)模型相比，BiLSTM-DRCNN模型在4個數(shù)據(jù)集上的平均F1分數(shù)提高了0.62%，在Twitter數(shù)據(jù)集上模型效果提高了1.02%；與CNN-BiLSTM模型相比，BiLSTM-DRCNN模型在4個數(shù)據(jù)集上的平均F1分數(shù)提升了0.97%，在o2o數(shù)據(jù)集上模型效果提升了2.27%。因IMDB數(shù)據(jù)集為公開數(shù)據(jù)集，BiLSTM-DRCNN模型相較于SOTA上的CNN-LSTM和CNNu模型，在準確率指標上平均高出0.3%，比S-LSTM模型高出2.05%，收斂速度更快。

BiLSTM-CNN模型在4個數(shù)據(jù)集上的模型的F1分數(shù)比CNN-BiLSTM模型的F1分數(shù)高0.39%。因為先使用BiLSTM可以使序列很好地學(xué)習(xí)到上下文信息后再通過CNN進行特征提取；而CNN-BiLSTM模型存在CNN處理后的語塊信息已經(jīng)缺少部分序列的完整性，再使用BiLSTM便無法很好地抓取上下文信息。在4個數(shù)據(jù)集上，BiLSTM-DRCNN模型的收斂速度都比其他模型更快。因為不同RCB層之間的權(quán)重不共享，故研究不同Dropout比例下模型擬合能力的強弱尤為重要，可以看出模型在Dropout比例為0.3時效果最優(yōu)，過高過過低的Dropout比例都會影響模型的擬合能力。

本研究設(shè)置了3組消融實驗，通過改變模型的組合方式或代替模型中部分網(wǎng)絡(luò)結(jié)構(gòu)等方法來驗證BiLSTM-DRCNN模型的有效性。首先，BiLSTM-DRCNN模型中DRCNN用LSTM代替后組成BiLSTM-LSTM模型來檢測DRCNN的提取能力。其次，將BiLSTM-DRCNN模型中的注意力機制剔除組成BiLSTM-DRCNN'模型，驗證引入注意力機制是否會對模型的實驗結(jié)果產(chǎn)生影響。最后，將BiLSTM部分用LSTM代替后組成LSTM-DRCNN，如此可以驗證使用BiLSTM接收雙向信息是否比LSTM接收單向信息對模型結(jié)果產(chǎn)生影響。實驗結(jié)果如表4所示。

從表4可見，模型在4個不同的數(shù)據(jù)集上均取得了最好的F1分數(shù)。與BiLSTM-LSTM模型相比，BiLSTM-DRCNN模型在4個數(shù)據(jù)集上的平均F1分數(shù)提高了1.41%，在Twitter數(shù)據(jù)集上提高了2.42%。與BiLSTM-DRCNN'模型相比，BiLSTM-DRCNN模型總體提升了1.26%，體現(xiàn)使用注意力機制對模型結(jié)果的有較大影響。從使用LSTM代替本文模型中BiLSTM部分的LSTM-DRCNN模型實驗結(jié)果可以看出，BiLSTM-DRCNN總體提升了0.75%，其中在IMDB數(shù)據(jù)集上總體提升了1.31%。

表4 不同模型在4種數(shù)據(jù)集上的消融實驗結(jié)果

3.7 模型訓(xùn)練時間分析

對算法訓(xùn)練時間進行統(tǒng)計分析，如表5所示，在模型對比試驗中選擇的模型進行篩選，共取在4種數(shù)據(jù)集上10個epoch的總計訓(xùn)練時間做對比，剔除了不包含BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)的模型，因為BiLSTM的輸入為時序輸入，在訓(xùn)練耗時上遠遠超過CNN網(wǎng)絡(luò)，對比的意義不顯著。

表5 各模型在4個數(shù)據(jù)集上訓(xùn)練10個epoch的總共訓(xùn)練時間

從表5可以看出訓(xùn)練最快的為BiLSTM模型，加入了注意力機制后訓(xùn)練時間延長了24 s，提出的BiLSTM-DRCNN雖然耗時最長，但其收斂速度卻優(yōu)于其他模型，如圖6所示，可以看出BiLSTM-DRCNN對比另外2個模型復(fù)雜度相當?shù)纳疃葘W(xué)習(xí)模型，均可以更快的收斂到最優(yōu)解附近。

圖6 收斂速度分析圖

4 結(jié)語

本研究提出一種融合雙向長短期記憶網(wǎng)絡(luò)與對向循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的BiLSTM-DRCNN模型，將其應(yīng)用于情感分析任務(wù)中。通過和多種神經(jīng)網(wǎng)絡(luò)模型在情感分類任務(wù)實驗分板對比，驗證了BiLSTM-DRCNN模型具有更好的性能。所提出的BiLSTM-RCNN模型可以將文本數(shù)據(jù)經(jīng)過BiLSTM與注意力機制處理，借助BiLSTM的雙向機制使得每個詞都包含了上下文信息，消除傳統(tǒng)LSTM無法捕獲下文信息的缺點，并且將處理過后的序列輸入到DRCNN中，利用DRCNN的內(nèi)循環(huán)機制來充分提取局部情感特征，進一步獲取句子的情感極性，有效處理了邊緣詞匯和局部情感詞匯。BiLSTM-DRCNN模型改變深度學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重共享模式，各循環(huán)結(jié)構(gòu)之間使用權(quán)重私有化的方法來使模型學(xué)習(xí)到更豐富的情感特征信息。權(quán)重私有化使模型具有更多參數(shù)，相比使用CNN和注意力機制的模型，該結(jié)構(gòu)可以更好的提升模型情感分類能力。同時單個循環(huán)結(jié)構(gòu)中采用了多卷積的模式，特征提取相比CNN更強。