范明煒，張云華

(浙江理工大學(xué)信息學(xué)院，浙江 杭州 310018)

719068852@qq.com;605498519@qq.com

1 引言(Introduction)

方面級這種細(xì)粒度的情感分析解決了針對一段評論的不同方面，情感的判斷可能出現(xiàn)兩種相反結(jié)果的問題，因此目前方面級情感分析逐漸成為研究的熱點，對商品評論、推薦系統(tǒng)等領(lǐng)域具有重要意義。

現(xiàn)有的深度學(xué)習(xí)模型在情感分析方面取得了較好的效果?；谡Z義的方法將輸入的句子看作單詞序列，通過注意力建模，例如RNN、Transformer等；基于語法的方法通過引入句法依賴關(guān)系樹構(gòu)造輸入句子的語法結(jié)構(gòu)，采用GNN通過依賴關(guān)系樹上下文詞的表示來豐富方面表示；但它們均未充分利用上下文詞與方面詞之間的語法依賴。XIONG等采用字符級別詞嵌入實現(xiàn)文本分類。YANG等做出改進(jìn)，提出了基于TD-LSTM的方法。但邵興林通過實體信息與屬性信息的比較，發(fā)現(xiàn)實體信息更加重要，同時評論可能會有多個句子，選出情感更加強烈的句子也具有重要意義。

受此啟發(fā)，本文提出結(jié)合分層注意力機制與顯式句法依賴的多層網(wǎng)絡(luò)，結(jié)合依賴路徑編碼和實體信息的嵌入表示一并發(fā)送到注意力層。構(gòu)建單詞-句子、句子-文檔的層次結(jié)構(gòu)，通過加入多級注意力機制，使模型對不同單詞、句子賦予不同的注意力權(quán)重，對最后的結(jié)果做出更準(zhǔn)確的判斷。

2 相關(guān)工作(Related work)

2.1 Stanford Parser

Stanford Parser是基于概率統(tǒng)計的開源句法分析器?；赑enn Treebank作為分析器的訓(xùn)練數(shù)據(jù)，面向中文、英文等語種提供句法分析功能，可以輸出句法分析樹，如圖1所示。

圖1 句法分析樹Fig.1 Syntactic parse tree

2.2 層次注意力

注意力機制就是關(guān)注輸入權(quán)重分配，可以理解成一個由查詢矩陣和對應(yīng)的鍵，以及需加權(quán)平均的值構(gòu)成的一層感知機。

層次注意力用于解決多層次問題。如在分析評論時，把詞作為一層，把句子作為一層，這樣就有了多層，下一層對上一層產(chǎn)生影響，因此建立了一種堆疊的層次注意力模型，如圖2所示。

圖2 層次注意力模型Fig.2 Hierarchical attention model

2.3 LSTM

LSTM是一種特殊的RNN，主要是為了解決長序列訓(xùn)練過程的梯度消失和爆炸問題，長序列使用LSTM有更好的表現(xiàn)。傳輸過程中，通過門控狀態(tài)來控制需要長時間記憶的和忘記不重要的信息，其內(nèi)部可劃分為忘記階段、選擇記憶階段以及輸出階段，如圖3所示。

圖3 LSTMFig.3 LSTM

3 模型構(gòu)建(Model building)

給定長度為的句子={1，2，3，…，}，以及長度為(0＜＜)的方面項={[+1]，…，[+]}，其中∈，可以是詞或者短語。目標(biāo)是對方面項進(jìn)行情感分析，最終分為積極、消極、中性。

圖4展示了模型的整體設(shè)計。在詞級別，通過句法分析獲取句法依賴樹，從而得到每個單詞到方面項的路徑編碼和距離。同時獲取句子中單詞的詞性及方面項的實體信息，結(jié)合上述路徑編碼和距離一起饋送到各自的編碼層，通過注意力網(wǎng)絡(luò)得到句子表示。在句子級別，評論中的其他句子表示獲取同上，通過LSTM及注意力給予重要的句子更大的權(quán)重。這樣，單詞和句子都有了自己的注意力權(quán)重。

圖4 模型整體設(shè)計Fig.4 Overall design of the model

3.1 輸入層

通過Stanford Parser獲取句子結(jié)構(gòu)樹與每個單詞的詞性。詞性對于情感分析任務(wù)是非常重要的，通常形容詞和動詞比名詞表達(dá)的程度更深。句法結(jié)構(gòu)樹包含詞對的關(guān)系，在句法依賴路徑編碼中需要用到。

句法依賴樹中每個詞到方面詞的有向關(guān)系路徑稱為句法依賴路徑，路徑上邊的個數(shù)稱為距離。例如圖1中的依賴樹，針對“牛肉飯”這一方面詞，句中單詞到它的距離為{1，0，1，1，2，1}。針對“很棒的”到“服務(wù)”這一方面詞的路徑，“很棒的—(-amod)→牛肉飯—(+conj)→服務(wù)”可以被轉(zhuǎn)換為“[(很棒的，-amod，JJ)，(牛肉飯，+conj，NN)，(服務(wù)，self，NN)]”?！?”和“-”表示有向路徑的正反，即關(guān)系的方向，并且在最后為方面詞附加一個預(yù)定義的關(guān)系“self”。簡單地將依賴路徑進(jìn)行分解容易丟失路徑的全局特征，因此使用LSTM對依賴路徑序列進(jìn)行編碼，如圖5所示。

圖5 依賴路徑編碼Fig.5 Dependent path encoding

實體信息對方面級情感分析具有重要作用，如“牛肉飯”這一方面詞的實體信息為“食物”，將“食物”通過詞向量矩陣獲取詞向量，同時結(jié)合依賴路徑編碼與距離編碼，將上述組成的向量送入注意力層，獲得句子向量表示。

3.2 分層注意力

一段評論可能包含多個句子，給句子加入注意力可以使模型提取更適合的句子進(jìn)行情感極性分析。本文加入新一層句子級別的注意力機制，依照句子向量表示的方法，對每一句話都獲取向量表示，將這些句子向量表示作為LSTM新的輸入，再將LSTM的輸出與實體信息結(jié)合，通過注意力機制提取對評論情感極性更加重要的句子，以獲取最終評論的向量表示。

3.3 模型訓(xùn)練

利用交叉熵?fù)p失函數(shù)和L2正則化對模型進(jìn)行訓(xùn)練，公式如下：

4 實驗結(jié)果分析(Experimental results and analysis)

4.1 數(shù)據(jù)集

為了驗證模型的有效性，本文使用了SemEval 2014 Task 4中的restaurants數(shù)據(jù)集，包含三種情感和五個方面，如表1所示。

表1 數(shù)據(jù)集分類統(tǒng)計表Tab.1 Statistical table of the dataset classification

4.2 注意力機制有效性

對于例句“很棒的牛肉飯，但是服務(wù)是糟糕的”，當(dāng)給定實體為“食物”時，“牛肉飯”和“很棒的”被賦予了更高的權(quán)重，在句子情感分析中二者起到重要作用。對于該評論“很棒的牛肉飯”和“但是服務(wù)是糟糕的”這兩個句子，第一句在情感分析中起到重要的作用，而這句話是實體“食物”對應(yīng)的句子，結(jié)果符合預(yù)期，如圖6所示。

圖6 針對“食物”的注意力權(quán)重分布Fig.6 Attention weight distribution for "food"

同理，將實體換為“服務(wù)”時，單詞和句子的注意力權(quán)重數(shù)據(jù)也同樣符合預(yù)期，如圖7所示。

圖7 針對“服務(wù)”的注意力權(quán)重分布Fig.7 Attention weight distribution for "service"

4.3 模型對比

通過在相同數(shù)據(jù)集中與其他模型進(jìn)行對比，驗證本文模型的有效性，主要采用F1值和Acc值(準(zhǔn)確率)進(jìn)行評估。對比的模型主要有BiLSTM-AMM、BiGRU-AAM、Bi-LSTM、ATAE-LSTM等。

如表2所示，從實驗結(jié)果來看，本文的方法在數(shù)據(jù)集上相比于基本的深度學(xué)習(xí)模型，Acc值和F1值都有所提高，主要是因為模型通過引入實體信息，充分利用顯式語法結(jié)構(gòu)獲取到更加有用的信息；其次，分層注意力機制的引入也使得結(jié)果變得更加精確。

表2 不同模型在數(shù)據(jù)集中的結(jié)果Tab.2 Results of different models on the dataset

5 結(jié)論(Conclusion)

針對方面級情感分析中未對句法結(jié)構(gòu)信息與屬性信息進(jìn)行深度挖掘的問題，本文提出的模型一方面利用句法結(jié)構(gòu)、實體信息加強特征獲取的能力，另一方面利用分層注意力機制使模型能夠賦予重要單詞和句子更大的權(quán)重。從實驗結(jié)果來看，該模型能有效提高情感分類的效果。