齊嵩喆，黃賢英，朱小飛

(重慶理工大學(xué) 計算機科學(xué)與工程學(xué)院，重慶 400054)

1 引 言

方面級情感分析ABSA(Aspect-Based-Sentiment-Analysis)是細粒度情感分析的一個分支.例如：“Great food but the service was dreadful！” 這句話包含兩個方面詞“food”和“service”，對應(yīng)的觀點分別是“Great”和“dreadful”，表達的情感極性分別是積極和消極.ABSA的任務(wù)就是根據(jù)上下文的語義關(guān)系、方面詞的特征信息、以及每個方面對應(yīng)的觀點詞來判斷出每個方面的情感極性.

方面級的情感分析對于各行各業(yè)都有著重要的意義.在電子商務(wù)領(lǐng)域，對用戶購買商品的評價進行方面級情感分析，可以迅速了解用戶的消費習(xí)慣和購買喜好；通過對社交評論進行方面級的情感分析可以準(zhǔn)確地了解民眾對于相關(guān)政策的態(tài)度.Wu等人[1]提出一種基于概率圖模型的情感分析方法，結(jié)合SVM進行分類，通過理論證明了模型的可行性，且在實驗中表明在含有潛在情感的文本中具有良好的表象.

目前，關(guān)于方面級情感分析的研究更多是基于深度學(xué)習(xí)的方法來展開研究的，并且都側(cè)重于通過獲取方面詞的相關(guān)語義表示來判斷情感極性.Bahdanau等人[5]首次將RNN(Recurrent Neural Network)和注意力機制結(jié)合并應(yīng)用到在機器翻譯任務(wù)中，取得了出色的結(jié)果.之后，Ma.等人[6]將注意力機制運用到了方面級情感分析任務(wù)中.通過注意力機制對原文本的詞語賦予不同的權(quán)重，從而利用加權(quán)特征對于方面詞的情感極性進行預(yù)測，并通過實驗驗證了注意力機制對于該項任務(wù)的有效性，但是沒有考慮到注意力機制可能會增加噪聲并對實驗結(jié)果產(chǎn)生影響，例如：否定副詞：hardly，never等，都可能被注意力機制忽略其重要性，從而導(dǎo)致分類錯誤.Wang等人[7]使用LSTM(Long Short Term Memory)來結(jié)合注意力機制建立分類模型，LSTM可以有效地避免RNN的梯度消失和梯度爆炸的問題；注意力機制可以用來捕捉方面詞的相關(guān)語義.但是，相較于單層的注意力機制，Tang等人[8]通過多層注意力機制來獲取更深層次的情感特征信息.He等人[9]提出在注意力機制的基礎(chǔ)上添加句法約束來降低噪聲對于模型的影響，但是對于句法結(jié)構(gòu)的利用不夠充分.Xue等人[10]提出將卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Networks)應(yīng)用到該類任務(wù)中，但是卷積神經(jīng)網(wǎng)絡(luò)只能融合連續(xù)詞語的特征，不能有效的處理非連續(xù)詞語所表達的情感.Zhang等人[3]提出一種基于有序神經(jīng)元長短時記憶和自注意力機制的方面情感分析模型(ON-LSTM-SA)，結(jié)合深層語境化詞表征進行預(yù)訓(xùn)練，在多個數(shù)據(jù)集上效果有所提升.Chen等人[4]提出一種基于雙向切片門控循環(huán)單元和注意力機制(Bi-SGRU-Attention)結(jié)合的情感分類模型，用以解決切片操作導(dǎo)致的低層網(wǎng)絡(luò)的長期依賴性損失和單向SRNN無法充分提取文本語義特征的問題.Chen[11]等人則表示文檔級的語義知識可以增強方面級情感分析的效果，通過構(gòu)建方面級和句子級兩個層次的語義膠囊提出了一種遷移膠囊網(wǎng)絡(luò)(TransCap)，但是忽略了句法信息.Zheng等人[12]提出了一種基于隨機游走的RepWalk神經(jīng)網(wǎng)絡(luò)模型，發(fā)掘依存樹中與情感極性相關(guān)的特定子樹，有效地利用了樹形結(jié)構(gòu).

Kipf等人[13]提出將圖卷積GCN(Graph Convolutional Networks)應(yīng)用于文本分類任務(wù)中.GCN是一種具有多層網(wǎng)絡(luò)的結(jié)構(gòu)，其中每一層在更新權(quán)重時都會融合節(jié)點的鄰接信息，通過實驗驗證在文本分類方向上比CNN的性能更佳.根據(jù)前人的研究成果，Zhang等人[14]將完整的句法依存樹(Syntactic dependency tree)和圖卷積相結(jié)合來完成方面級的情感分析任務(wù)，取得了更好的效果.而Li等人[15]在Zhang的基礎(chǔ)上加入掩碼機制和位置編碼并采用注意力機制來進行分類，相比之前的方法更加充分的利用了句法依存樹的結(jié)構(gòu)信息，而且掩碼機制和注意力機制的結(jié)合能有效的提升模型的性能.Sun等人[16]提出一種更加樸素的圖卷積模型，通過圖卷積融合句法，詞性和位置等特征信息來增強Bi-LSTM的上下文特征表示.但是沒有考慮方面詞和非方面詞的句法關(guān)系對于注意力機制影響的差異性，為了彌補上述研究存在的空缺，本文提出了一種基于權(quán)重增強的改良型圖卷積神經(jīng)網(wǎng)絡(luò)模型AW-IGCN(Aspect-weighted Improved-Graph Convolutional Networks).

AW-IGCN模型通過加載預(yù)訓(xùn)練詞向量的方式將文本編碼為詞嵌入向量，然后利用雙向GRU序列獲取上下文的語義信息；與此同時，構(gòu)造文本的句法依存樹，并將其轉(zhuǎn)化為鄰接矩陣輸入到模型中，考慮到方面詞和非方面詞的句法依存關(guān)系對于目標(biāo)情感的重要性是不同的，通過權(quán)重增強的方法，將原有的無權(quán)依存樹矩陣轉(zhuǎn)化為帶權(quán)矩陣以存儲更多的信息，從而給予與方面詞存在句法依存關(guān)系的節(jié)點更高的權(quán)重.在圖卷積融合部分，使用squash函數(shù)[17]代替ReLU函數(shù)來改良圖卷積網(wǎng)絡(luò)，避免ReLU函數(shù)輸入負值后神經(jīng)元失活所導(dǎo)致的信息遺漏.后續(xù)實驗驗證了這兩種方法均能在一定程度上提升模型的性能.

2 AW-IGCN模型

AW-IGCN模型如圖1所示，整體可以分為詞嵌入層、上下文語義抽取層、句法提取層、語義融合層、掩碼機制層、注意力權(quán)重分配層以及最終的情感分類層.

圖1 AW-IGCN模型Fig.1 AW-IGCN model

2.1 詞嵌入層

2.2 上下文語義提取層

(1)

(2)

(3)

2.3 句法提取層和權(quán)重增強層

句法依存樹是通過分析語句成分之間的依存關(guān)系來獲取其句法結(jié)構(gòu).對于方面級的情感分析，通過提取每個詞或短語的依存關(guān)系，能更準(zhǔn)確地獲得指定方面詞的修飾成分.對于生成的句法依存樹，節(jié)點表示詞語，節(jié)點與節(jié)點的連接表示詞與詞之間的依存關(guān)系.

依存關(guān)系通常以無權(quán)圖鄰接矩陣的形式輸入到模型中，本模型為了充分利用句法信息，通過轉(zhuǎn)換函數(shù)將每一句文本的依存關(guān)系鄰接矩陣轉(zhuǎn)換為帶權(quán)矩陣，這一步驟稱為權(quán)重增強.轉(zhuǎn)換函數(shù)取決于方面詞的依存關(guān)系，具體的函數(shù)定義方式如下：對于一句由k個單詞構(gòu)成的文本，其中τ表示對應(yīng)方面詞或短語的長度，A∈Rk×k表示對應(yīng)的依存關(guān)系矩陣，轉(zhuǎn)換函數(shù)如下：

A′=C×A×C

(4)

其中C∈Rk×k對于主對角線元素cij∈C，cnn～cn+τn+τ=α，其余部分的cii均為1，非對角下元素為0.α為句法依存樹矩陣的權(quán)重增強系數(shù)，其取值通過后續(xù)對比實驗結(jié)果得出，當(dāng)K=2時，模型能夠取得最佳分類效果.

2.4 語義融合層

(5)

(6)

其中，s為待輸入的向量.

通過在雙向門控循環(huán)序列的上方使用上述的改良圖卷積IGCN結(jié)構(gòu)來融合結(jié)點信息，與此同時根據(jù)kipf等人[7]的方法，在實驗時向IGCN中加入其自循環(huán)約束，即每個節(jié)點都設(shè)置一個指向自身的連接，最終實驗對每個結(jié)點的更新方式如下：

(7)

(8)

2.5 掩碼機制層與注意力權(quán)重分配層

在獲得基于方面級的信息融合向量后，通過將向量輸入到注意力機制，來獲得與方面詞更相關(guān)的詞或短語的權(quán)重分配，但是在這之前，為了保持方面詞的向量表示不受到影響，整句語料的向量表示需要經(jīng)過掩碼機制的處理.掩碼機制是通過將非方面詞對應(yīng)的節(jié)點向量置位0，保持方面詞節(jié)點對應(yīng)的向量不變，操作方式如下：

(9)

隨后，使用特殊的方面詞注意力機制，來檢索整句語料的向量表示中對于方面詞的情感極性的判別有著重要作用的單詞或短語，并根據(jù)重要程度予以權(quán)重分配.通過將掩碼機制層的輸出直接輸入到特殊的方面詞注意力網(wǎng)絡(luò)層中，從而獲得每一個詞對應(yīng)向量表示的權(quán)重分配，其權(quán)重計算方式如下：

(10)

(11)

其中αt是得出的待分配權(quán)重，最終的權(quán)重分配公式如下：

(12)

2.6 情感分類層

將獲得的帶權(quán)語義特征表示向量r，輸入到一個全連接層后，接著使用softmax分類算法將語義向量映射到一個與預(yù)設(shè)情感極性空間維度相同的概率空間：

P=softmax(Wpr+bp)

(13)

其中P的維度與情感極性的標(biāo)簽種類數(shù)是相同的，權(quán)重矩陣wp和正則項bp是可被訓(xùn)練的參數(shù).

3 實驗設(shè)計及結(jié)果分析

3.1 實驗數(shù)據(jù)

本研究的相關(guān)實驗將在5組公開的數(shù)據(jù)集上進行，分別是Twitter短文本評論數(shù)據(jù)集，以及來自于SemEval 2014任務(wù)4 的Rest14和Lap14數(shù)據(jù)集，來自于SemEval 2015任務(wù)12 的Rest15數(shù)據(jù)集，來自于SemEval 2016任務(wù)5的Rest16數(shù)據(jù)集.在進行實驗之前，我們將數(shù)據(jù)進行了一定的預(yù)處理：去掉了沒有明確表明方面詞的評論語料的語料，實驗數(shù)據(jù)設(shè)置如表1、表2所示.

表1 實驗數(shù)據(jù)設(shè)置Table 1 Experimental data settings

表2 實驗數(shù)據(jù)樣例Table 2 Experimental data example

3.2 實驗流程

數(shù)據(jù)的預(yù)處理：對原始數(shù)據(jù)集首先進行格式上的處理，清除數(shù)據(jù)集中的HTML標(biāo)簽；為了適應(yīng)模型文本方面詞的同步輸入，將方面詞從每一句文本中抽取出來，然后在文本中使用統(tǒng)一的特殊符號來替換方面詞.為了更好的學(xué)習(xí)文本結(jié)構(gòu)特征，在使用預(yù)訓(xùn)練詞典的同時分別附加30維的詞性編碼和相對位置編碼，由于采用的數(shù)據(jù)集多為短文本評論，所以只采用補全的方法，在詞嵌入完成后把文本向量的長度補全到與其當(dāng)前所在batch的最長文本相同.

圖結(jié)構(gòu)的生成：為了提升實驗效率，文本的圖結(jié)構(gòu)部分獨立于模型訓(xùn)練來生成，使用spaCy框架來獲取文本的句法依存樹，對依存樹進行權(quán)重增強后以矩陣的形式保存成序列文件以備輸入.

模型的訓(xùn)練與調(diào)整：訓(xùn)練一共設(shè)置100個訓(xùn)練輪次，當(dāng)連續(xù)5個輪次loss值不再發(fā)生改變時進行early stop.在每種數(shù)據(jù)集上進行不同的隨機初始化訓(xùn)練3次，取3次的準(zhǔn)確率和F1-score得平均值作為最終實驗結(jié)果.

3.3 實驗配置和超參數(shù)的設(shè)置

本模型進行的一系列實驗統(tǒng)一選擇GloVe預(yù)訓(xùn)練詞向量作為初始化的詞嵌入，BatchSize設(shè)置為16；為了避免過擬合，在實驗中雙向GRU的輸入端應(yīng)用了Dropout，整個模型的權(quán)值矩陣使用正態(tài)分布來進行初始化，使用Adam作為模型的優(yōu)化器，具體的超參數(shù)以及實驗環(huán)境配置明細如表3、表4所示.

表3 實驗環(huán)境及配置Table 3 Experimental environment configuration

表4 實驗超參數(shù)明細Table 4 Experimental parameter configuration

3.4 損失函數(shù)

本模型采用的損失函數(shù)是交叉熵損失函數(shù)，并使用L2正則化來增加模型的泛化性.其中，C代表數(shù)據(jù)集，t代表情感極性的輸出集合，λ代表L2正則化的系數(shù)，評論文本和方面詞是成對給出的，即一組數(shù)據(jù)可以表示為(c，t).

(14)

3.5 模型對比實驗

本文的目的在于提升方面級情感分析的準(zhǔn)確性和穩(wěn)定性，因此結(jié)合其他相關(guān)研究文獻提出的模型設(shè)立了以下多組對比實驗，其中所有的模型的采用相同的數(shù)據(jù)集，實驗參數(shù)配置嚴(yán)格遵照原文獻，其中帶有*標(biāo)的對比模型實驗結(jié)果直接引用自原文獻，N/A代表未獲得的實驗結(jié)果.

SVM：Kiritchenko等人[20]建立的模型，通過采用經(jīng)典的SVM分類模型和進行一些具有針對性的特征處理，在SemEval 14的任務(wù)4中獲得出色的成績.

LSTM：Tang等人[21]使用LSTM的最后一層輸出向量作為整個句子的語義表示并結(jié)合方面詞信息來預(yù)測情感極性.不過該方法雖然考慮了方面詞信息的作用，但是沒能充分利用方面詞與它上下文之間的關(guān)聯(lián).

MemNet：Tang等人[8]利用一種加入注意力機制的深度記憶網(wǎng)絡(luò)，并且在注意力機制中加入了位置特征，實現(xiàn)了對于方面級情感極性的分類，并在多個方面級情感分析的數(shù)據(jù)集上取得了比傳統(tǒng)LSTM模型更好的效果.

AOA：Huang等人[22]將機器翻譯領(lǐng)域的AOA(attention-over-attention)機制應(yīng)用到方面級情感分析中，通過AOA模塊，模型可以共同學(xué)習(xí)方面和句子的表示形式，并自動關(guān)注句子中的重要部分.

AEN-GloVe：Song等人[23]通過平滑標(biāo)注來處理中性方面詞情感模糊的問題，結(jié)合多種注意力機制對方面詞和文本極性建模.

IAN：Ma等人[6]認為方面詞和情感語料是具有交互性的，因此通過將方面詞和整句語義相互融合，并結(jié)合注意力機制，從而達到方面級情感分類的目的.

ASCNN：Kim等人[24]提出采用CNN作為基礎(chǔ)建立模型，通過預(yù)訓(xùn)練的詞嵌入作為輸入，使用CNN網(wǎng)絡(luò)層來獲得文本的情感特征，但是該模型只采用了最基礎(chǔ)的CNN模型結(jié)構(gòu)，在方面級的情感分析任務(wù)中效果一般，但是驗證里CNN網(wǎng)絡(luò)層確實具有優(yōu)秀的語義抽取能力.因此，為了驗證GCN和CNN的語義提取效果的差別，設(shè)置對比實驗使用CNN網(wǎng)絡(luò)結(jié)構(gòu)來替代GCN網(wǎng)絡(luò)結(jié)構(gòu)部分，并結(jié)合注意力機制來進行方面級情感分析.

ASGCN：Zhang等人[15]提出一種基于圖卷積和句法依存樹的模型，對方面詞和語義信息同時建立表達形式，用注意力機制進行二者的交互.

ATBL-MHMN：Lu等人[2]通過將LSTM獲取序列信息和多跳記憶網(wǎng)絡(luò)獲取方面詞的分類特征相結(jié)合，來著重考慮臨近方面項的依賴關(guān)系對情感分析的影響，最終使用注意力結(jié)合和softmax來獲得分類結(jié)果.

RepWalk：Zheng等人[12]通過在句法依存樹上進行隨機游走的方法來確定與情感極性相關(guān)的特定子樹，建立神經(jīng)網(wǎng)絡(luò)模型獲取更加準(zhǔn)確的上下文信息，從而進行方面級的情感分析.

TranCaps：Chen等人[11]通過遷移學(xué)習(xí)來引入文檔級情感信息來增強方面級的情感分類，建立雙層語義膠囊網(wǎng)絡(luò)(方面級膠囊和句子級膠囊)通過適當(dāng)?shù)臄U展路由機制來完成情感分類任務(wù).

CDT：Sun等人[16]融合了句法、詞性、位置和語義特征信息，提出了一種結(jié)合圖卷積和Bi-LSTM的輕量級模型，縮短模型訓(xùn)練代價的同時提升了分類效果.

實驗的評估指標(biāo)是分類準(zhǔn)確率(Accuracy)和F1值(F1-score).準(zhǔn)確率是相關(guān)研究中的常用指標(biāo)，而F1值是綜合考慮了模型準(zhǔn)確率和召回率的計算結(jié)果，取值更偏向于二者中結(jié)果較小的那個指標(biāo)，從而更能說明模型的整體性能.最終的結(jié)果為3次隨機初始化實驗結(jié)果的平均值.對比實驗結(jié)果如表5所示，AW-IGCN模型在所有的數(shù)據(jù)集上都達到了最優(yōu)的效果.

表5 模型測試結(jié)果Table 5 Test results of models

對比ASCNN和ASGCN可以發(fā)現(xiàn)：盡管加入了注意力機制，可以有效地避免CNN在方面級情感分析上的能力不足，但是通過對比試驗結(jié)果可知，在這種以句法依存樹鄰接矩陣作為主要輸入形式的模型中，GCN在語義抽取方面的表現(xiàn)更好.

通過對比模型在5種不同數(shù)據(jù)集的效果提升幅度，可以發(fā)現(xiàn)AW-IGCN在準(zhǔn)確率這一指標(biāo)上明顯在LAP 14上取得了更好的改進效果，相比在其他3個餐廳評論以及Twitter評論數(shù)據(jù)集提升效果微弱，為了探究產(chǎn)生這種差異的原因，我們仔細觀察LAP 14與REST各數(shù)據(jù)集發(fā)現(xiàn)：相對于前者，后者的3個數(shù)據(jù)集的正負樣本比例更加不均衡，我們認為這是導(dǎo)致準(zhǔn)確率提升效果不夠顯著的原因之一；本實驗結(jié)果中F1值在除Twitter以外的四組數(shù)據(jù)集上均有一定提升，這足以說明，AW-IGCN相對于分類的準(zhǔn)確性來說，對于分類的穩(wěn)定性提升更大.但是在Twitter數(shù)據(jù)及上與RepWalk模型性能相比仍存在一定差距，經(jīng)過對數(shù)據(jù)的統(tǒng)計和模型結(jié)構(gòu)剖析，我們認為造成這種現(xiàn)象的原因主要是AW-IGCN對句法依存樹的權(quán)重增強更注重規(guī)則，RepWalk對于特定子樹的選擇更加依賴于隨機游走，在面對類似Twitter這種句法結(jié)構(gòu)相對自由，且存在大量不規(guī)范語法的文本時(如：大量感嘆詞，顏文字等)，這些噪聲相比于RepWalk模型，對于AW-IGCN的影響更大，這也是后續(xù)研究我們需要解決的重要問題之一.

3.6 結(jié)果測試舉例與分析

為了更加直觀的了解模型對于方面級情感分析的性能，我們從對比實驗數(shù)據(jù)集中抽取出實例文本來進行情感分析，從而展現(xiàn)本文模型的優(yōu)勢與不足，對比結(jié)果如表6所示.

表6 對比測試舉例Table 6 Comparative test example

在第1句文本中：Great food but service was dreadful，含有兩個方面詞且極性相反，這是一句能夠體現(xiàn)方面級情感分析任務(wù)特性的典型例子，Memnet對于兩種情感均分類錯誤；IAN兩者均能夠分類正確；對于以CNN為基礎(chǔ)的ASCNN模型只能分類正確一部分，在一定情況下也說明了CNN在處理雙方面相反極性的問題時存在一定的欠缺.在第2句文本中，雖然出現(xiàn)了通常作為積極情感修飾語的friendly，但是因為a bit的修飾導(dǎo)致情感極性發(fā)生了翻轉(zhuǎn)，這也是在情感分析中存在的一項任務(wù)難點，這可能是導(dǎo)致Memnet和IAN分類錯誤的原因；但是在AW-IGCN中，對于這兩個例子都能夠分類正確，也通過在關(guān)鍵問題上的對比，能夠充分體現(xiàn)本模型在方面級情感分析問題上具有更好的泛化性.

3.7 消融實驗設(shè)計及結(jié)果

為了更明確的研究影響模型效果的獨立因素，本研究設(shè)置了多組消融實驗：

3.7.1 權(quán)重增強系數(shù)α

首先，為了探究權(quán)重增強系數(shù)α的取值對于模型分類效果的影響，通過枚舉不同的α值在各個數(shù)據(jù)集上進行對比實驗，其中α∈{1，2，3，4，5，6}.實驗結(jié)果對圖2所示，通過可以看出在α=2時.模型在5種數(shù)據(jù)集上均取得最佳準(zhǔn)確率.

圖2 α的取值對于模型的影響Fig.2 Effect of α on the model

3.7.2 squash與ReLU對比實驗

除此之外，為驗證squash函數(shù)相對于ReLU函數(shù)的優(yōu)越性，設(shè)置對比實驗，移除模型中權(quán)重增強這一步操作，依舊使用普通的無權(quán)矩陣表示句法依存樹，從而將IGCN退化為GCN.

實驗結(jié)果如圖3所示，可以清楚地看出雖然squash函數(shù)對模型性能產(chǎn)生的影響大小不同，但是在多個數(shù)據(jù)集中都能夠比ReLU函數(shù)有更好的分類效果.

圖3 squash和ReLU的模型效果比較Fig.3 Comparison of model effects between squash and ReLU

3.7.3 IGCN與GCN對比實驗

為了驗證改良的圖卷積對于模型性能的提升，在保留模型的其他部分不更改的前提下，我們進行了IGCN和普通的GCN的對比實驗，如圖4所示.結(jié)果表明，單純地使用IGCN確實比普通的GCN能獲得更好的分類效果.

圖4 IGCN和GCN的模型效果比較Fig.4 Comparison of model effects between IGCN and GCN

綜上所述，無論是單純的采用IGCN網(wǎng)絡(luò)結(jié)構(gòu)還是獨立應(yīng)用squash函數(shù)對于模型都是有一定的效果提升的，而且在上述5種數(shù)據(jù)集中二者相結(jié)合的時候能夠獲得相對更好的效果，這與我們的預(yù)期結(jié)果是相同的.

4 結(jié)束語

為了解決句法關(guān)系利用的單一性，本文提出了AW-IGCN模型來進行方面級情感分析任務(wù)：通過權(quán)重增強機制來增強語句的依存關(guān)系表示；利用squash函數(shù)的優(yōu)勢來克服ReLU函數(shù)的信息丟失問題，在不同的公共數(shù)據(jù)集上通過實驗與其他模型進行比較，均取得了更加優(yōu)秀且穩(wěn)定的分類效果，也驗證了附加權(quán)重增強的句法依存樹能夠提升圖卷積機制表示的有效性.

雖然本文提出的模型在多個公共數(shù)據(jù)集上取得了實驗效果上的提升，但是對于權(quán)重增強的過程還可以考慮將依存關(guān)系的種類作為判定依據(jù)，從而對于矩陣中每個向量的權(quán)重采用不同的增強方式，這可以作為未來繼續(xù)提升模型效果的一個研究方向，并設(shè)計實驗進行驗證分析.