劉欣逸 寧 博 王 明 楊 超 商 迪 李冠宇

1 （大連海事大學(xué)信息科學(xué)技術(shù)學(xué)院 遼寧 大連 116026）

2 （國網(wǎng)遼寧省電力有限公司信息通信分公司 沈陽 110006）

文本情感分析是自然語言處理領(lǐng)域中的一個(gè)分支任務(wù)，主要是從大量且復(fù)雜的評價(jià)信息中抽取出用戶對各種產(chǎn)品的評價(jià)觀點(diǎn)，進(jìn)一步挖掘出這些評價(jià)信息深層次的情感傾向和含義.從電商平臺或影評軟件的評價(jià)信息提取出的評價(jià)觀點(diǎn)不僅有利于用戶快速了解產(chǎn)品信息以及評估產(chǎn)品購買價(jià)值，還可以為企業(yè)提供不同產(chǎn)品相應(yīng)的使用反饋，從而幫助企業(yè)提升產(chǎn)品質(zhì)量、跟進(jìn)競爭策略和提高企業(yè)競爭力，因此文本情感分析有較高的研究價(jià)值.

傳統(tǒng)的文本情感分析主要是針對文檔或者句子進(jìn)行情感傾向分析，得到整篇文檔或者整個(gè)句子的情感傾向，如積極、消極或者中性，這是一個(gè)粗粒度的情感分析任務(wù).如果一篇文檔或一個(gè)句子中有多個(gè)屬性詞對應(yīng)多個(gè)情感傾向時(shí)，這種粗粒度的分析無法抽取出用戶所評價(jià)的對象，也無法準(zhǔn)確地分析出不同的評價(jià)對象所對應(yīng)的情感傾向.隨后，研究者們進(jìn)一步研究細(xì)粒度的情感分析，其中屬性級情感分析[1-7]是分析已知的屬性詞對應(yīng)的情感傾向，然而這種已知屬性詞的前提并不總是存在的，因此有人提出了屬性詞抽取子任務(wù)[8-10]，該子任務(wù)的目的是從句子中抽取出需要的屬性詞.之后，研究者們[11-17]將屬性詞抽取和情感分類2個(gè)子任務(wù)進(jìn)行結(jié)合，抽取出用戶所評價(jià)的評價(jià)對象（也稱屬性詞）和該屬性詞對應(yīng)的情感傾向.然而，除了屬性詞和情感傾向，該屬性詞的評價(jià)詞也是十分重要的要素，可以得到用戶對該產(chǎn)品某一方面積極或者消極的態(tài)度，這可以給商家和消費(fèi)者提供更加準(zhǔn)確的數(shù)據(jù).Peng 等人[18]認(rèn)為評價(jià)詞表示的是情感產(chǎn)生的原因，應(yīng)該將評價(jià)詞抽取看作一個(gè)重要的子任務(wù)而不是僅僅作為輔助任務(wù)，因此提出了一個(gè)新的情感分析任務(wù)：屬性級情感三元組抽取[18-23]（aspect sentiment triplet extraction，ASTE），該任務(wù)是在屬性詞抽取和情感分類聯(lián)合學(xué)習(xí)的基礎(chǔ)上將評價(jià)詞也抽取出來，得到一個(gè)三元組（屬性詞，評價(jià)詞，情感傾向）.

在上述細(xì)粒度情感三元組抽取任務(wù)中，研究者們沒有考慮在聯(lián)合框架中引入句法信息來共同增強(qiáng)多個(gè)子任務(wù)，然而句子之間的句法信息對屬性詞提取、評價(jià)詞提取和情感分類任務(wù)有十分重要的影響.例如，當(dāng)屬性詞和評價(jià)詞是由多個(gè)單詞構(gòu)成時(shí)，以往的研究很難準(zhǔn)確地抽取出全部的單詞，存在跨度問題.本文認(rèn)為如果利用句子之間的句法信息，并根據(jù)單詞之間的依存關(guān)系，可以有效地提高抽取的準(zhǔn)確性.當(dāng)評價(jià)詞與屬性詞相距較遠(yuǎn)時(shí)，之前的研究沒有考慮二者之間的句法關(guān)系，可能不會(huì)將二者當(dāng)作有關(guān)聯(lián)的信息，無法提取出準(zhǔn)確的三元組，但如果利用句法依存關(guān)系，就可以對評價(jià)詞和屬性詞匹配有積極影響.因此針對上述問題，提出了一個(gè)基于句法增強(qiáng)的情感三元組抽取框架，該框架是聯(lián)合學(xué)習(xí)框架，采用多頭任務(wù)學(xué)習(xí)層對3個(gè)子任務(wù)共同學(xué)習(xí)，還可以充分利用句法信息增強(qiáng)多個(gè)子任務(wù).設(shè)計(jì)了一個(gè)依存句法嵌入圖卷積網(wǎng)絡(luò)，充分地對句子中的每一個(gè)單詞之間的句法依存關(guān)系進(jìn)行建模.

如圖1 所示，“beef noodles were great but the service was dreadful !”中存在多個(gè)屬性詞“beef noodles”和“service”，也存在多個(gè)評價(jià)詞和不同的情感傾向，表1 所表示的是圖1 中的依存關(guān)系類型及其含義.其中“noodles”是屬性詞的一部分，根據(jù)依存關(guān)系“compound”可以得到“beef ”與“noodles”有關(guān)聯(lián)，組合為一個(gè)完整的屬性詞，又通過依存關(guān)系“nsubj”可以推斷出該屬性詞對應(yīng)的評價(jià)詞為“great”，從而分析出其情感傾向?yàn)榉e極.整個(gè)句子是通過序列標(biāo)注的方法抽取出屬性詞和評價(jià)詞，同時(shí)還需要識別出評價(jià)詞和屬性詞之間的搭配關(guān)系以及所對應(yīng)的情感傾向，最后獲得細(xì)粒度的情感三元組分析結(jié)果:“beef noodles-great-positive”和“service-dreadful-negative”.

本文的貢獻(xiàn)主要有3 個(gè)方面：

1）由于句子中存在重復(fù)或多詞的屬性詞和評價(jià)詞，本文提出了一種基于句法增強(qiáng)的細(xì)粒度情感三元組抽取模型，該模型利用句法信息來增強(qiáng)屬性詞抽取、評價(jià)詞抽取和情感依賴分析這3 個(gè)子任務(wù)，從而提高了三元組抽取任務(wù)的準(zhǔn)確性.

2）使用圖卷積網(wǎng)絡(luò)（graph convolution network,GCN）與依存句法樹來生成圖節(jié)點(diǎn)的句法信息，更好地保留了句子中的語法特征.

3）在情感三元組任務(wù)的4個(gè)常用英文數(shù)據(jù)集和1個(gè)中文數(shù)據(jù)集上，設(shè)計(jì)了本文模型與基準(zhǔn)模型的對比實(shí)驗(yàn)，并設(shè)計(jì)了子任務(wù)對比實(shí)驗(yàn)來進(jìn)一步驗(yàn)證模型性能，實(shí)驗(yàn)結(jié)果表明了本文模型的有效性.

1 相關(guān)工作

近年來在細(xì)粒度情感分析的研究中有多個(gè)子任務(wù)，如屬性級情感分類、屬性詞抽取、評價(jià)詞抽取、情感分類聯(lián)合學(xué)習(xí)和三元組任務(wù)等.

基于屬性級的情感分類任務(wù)[1-7]，是將已知的屬性詞融合到情感分類中.例如，Dong 等人[1]提出了自適應(yīng)性遞歸神經(jīng)網(wǎng)絡(luò)（adaptive recursive neural network，AdaRNN），它根據(jù)每個(gè)單詞之間的上下文和依存句法信息，自適應(yīng)地將單詞的情感傳遞給目標(biāo).Yang 等人[2]提出了一種以注意力為基礎(chǔ)的雙向LSTM（long short-term memory）方法來進(jìn)行基于目標(biāo)的情感分類任務(wù).Tang 等人[4]針對注意力機(jī)制的缺點(diǎn)，提出了一種漸進(jìn)式的自監(jiān)督注意力學(xué)習(xí)方法，迭代地進(jìn)行屬性級情感分類預(yù)測，完善注意力機(jī)制.此外，Song 等人[6]為解決傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network,RNN）和注意力帶來的問題，提出了一種注意力編碼器網(wǎng)絡(luò)（attentional encoder network，AEN），使用基于注意力的編碼器來建模上下文和目標(biāo)的關(guān)系，從而進(jìn)行基于特定目標(biāo)的情感分類任務(wù).而Sun 等人[7]將屬性詞構(gòu)造為一個(gè)輔助句，將屬性級情感分類任務(wù)轉(zhuǎn)化為句子對分類任務(wù)，利用BERT（bidirectional encoder representation from transformers）模型進(jìn)行分類.

屬性詞抽取任務(wù)是抽取評價(jià)中的屬性詞，Yin 等人[8]采用無監(jiān)督的方式學(xué)習(xí)單詞和依存路徑的分布式表征，并用條件隨機(jī)場（conditional random field, CRF）模型進(jìn)行屬性詞的抽取.Li 等人[9]提出了一種新的屬性詞抽取框架，利用評價(jià)詞摘要和屬性詞檢測歷史信息來提高屬性詞抽取的準(zhǔn)確性.因?yàn)榛谛蛄械姆椒ú荒艹浞掷谜麄€(gè)句子的整體含義，并且依賴關(guān)系存在局限性，因此，Ma 等人[10]提出了門控單元網(wǎng)絡(luò)和位置感知注意力機(jī)制，并將屬性詞抽取任務(wù)定義為序列到序列的任務(wù).

之后，研究者們[11-17]將屬性詞抽取和情感分類2個(gè)子任務(wù)進(jìn)行結(jié)合，Phan 等人[11]采用流水線的方式先抽取出屬性詞，再利用情感分類器來得到情感傾向.但由于子任務(wù)的分離，模型的錯(cuò)誤率會(huì)加大，因此，Ma等人[12]提出聯(lián)合學(xué)習(xí)屬性詞抽取和情感分類任務(wù)，設(shè)計(jì)了分層堆棧雙向門控循環(huán)單元（hierarchical multilayer bidirectional gated recurrent units，HMBi-GRU）模型，同時(shí)抽取目標(biāo)并預(yù)測其情感極性.該模型在情感分類任務(wù)中使用了評價(jià)詞作為輔助任務(wù)，沒有更多地考慮評價(jià)詞和分類任務(wù)之間的關(guān)聯(lián)關(guān)系.之后，研究者對評價(jià)詞有了更深入的研究，例如He 等人[13]提出的交互式多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)（interactive multi-task learning network, IMN）模型可以同時(shí)進(jìn)行多個(gè)任務(wù)的聯(lián)合學(xué)習(xí)，該模型中引入了一種消息傳遞機(jī)制，可以通過加大評價(jià)詞注意力權(quán)重來增強(qiáng)文本表示.

隨后，Peng 等人[18]提出了屬性級情感三元組抽取方法[18-23]，該方法采用流水線的方式先抽取出“屬性詞-情感極性”和評價(jià)詞，之后通過分類器對屬性詞和評價(jià)詞進(jìn)行配對.但是Peng 等人[18]的流水線方式還需要另外的配對任務(wù)，有嚴(yán)重的局限性也增加了錯(cuò)誤率.因此，Xu 等人[19]提出了一個(gè)基于位置感知標(biāo)記的端到端聯(lián)合模型，實(shí)現(xiàn)了三元組的共同抽取，很好地解決了流水線方法中存在的問題，但是不能同時(shí)解決屬性詞重疊或者評價(jià)詞重疊的問題.Wu 等人[20]提出了網(wǎng)格標(biāo)記方案（grid tagging scheme，GTS），通過一個(gè)統(tǒng)一的網(wǎng)格標(biāo)記任務(wù)以端到端的方式處理三元組任務(wù)或"屬性詞-評價(jià)詞"詞對抽取任務(wù).與此同時(shí)，Zhang 等人[21]為解決統(tǒng)一標(biāo)簽和成對的"屬性詞-情感極性"帶來的問題，提出了一個(gè)多任務(wù)學(xué)習(xí)框架實(shí)現(xiàn)屬性詞和評價(jià)詞的聯(lián)合抽取以及二者之間的情感關(guān)系解析，最終抽取出三元組.

2 細(xì)粒度情感三元組抽取模型

2.1 任務(wù)定義

本文屬性級情感三元組抽取任務(wù)可以看作是序列標(biāo)注任務(wù)和分類任務(wù)的結(jié)合.給定輸入文本序列X=，xi表示該句子中第i個(gè)單詞，|X|表示整個(gè)句子的長度，目標(biāo)是輸出一個(gè)三元組集合Y=yj表示第j個(gè)三元組元素，|Y|表示的是三元組集合的長度.每一個(gè)三元組是由3 個(gè)元素構(gòu)成，即yj=分別表示屬性詞跨度、評價(jià)詞跨度和情感傾向，其中sp和ep表示屬性詞的跨度和評價(jià)詞的跨度，即開始位置和結(jié)束位置.因此，本文的主要任務(wù)可以表達(dá)為將一個(gè)句子X=通過模型學(xué)習(xí)轉(zhuǎn)化為三元組集合：

2.2 模型結(jié)構(gòu)

細(xì)粒度情感三元組抽取框架是聯(lián)合抽取框架，其包括文本編碼層、句法特征層、多頭任務(wù)學(xué)習(xí)層和三元組解碼層這4 部分.模型結(jié)構(gòu)圖如圖2 所示，其中n表示輸入句子的長度，m表示輸出三元組的個(gè)數(shù)，將序列文本輸入到由句子編碼模塊和句法關(guān)聯(lián)模塊組成的文本編碼層，得到句子上下文編碼和依存句法分析樹；再進(jìn)入帶有依存關(guān)系的圖卷積網(wǎng)絡(luò)來充分學(xué)習(xí)句法信息，得到上下文句法特征；接著，進(jìn)入多頭任務(wù)學(xué)習(xí)層，同時(shí)進(jìn)行屬性詞抽取、評價(jià)詞抽取和情感依賴關(guān)系分析；最后，基于多頭任務(wù)學(xué)習(xí)層獲得的結(jié)果進(jìn)行解碼，輸出完整的三元組集合.

Fig.2 Our model structure圖2 本文模型結(jié)構(gòu)

2.3 文本編碼層

學(xué)習(xí)語義信息和語境信息需要將句子轉(zhuǎn)化為詞向量，這是文本編碼層的關(guān)鍵.文本編碼層是由句子編碼模塊和句法關(guān)聯(lián)模塊組成的.

在句子編碼模塊中，給定一個(gè)輸入X=，為了可以充分地學(xué)習(xí)句子中每個(gè)單詞的上下文信息，使用了一個(gè)雙向長短期記憶網(wǎng)絡(luò)（bi-directional long short-term memory，Bi-LSTM）.將輸入的句子轉(zhuǎn)化為向量形式，然后使用Bi-LSTM 網(wǎng)絡(luò)進(jìn)一步充分學(xué)習(xí)句子中的上下文信息.Bi-LSTM 不同于LSTM，它由2個(gè)不同方向的LSTM 組成，因此Bi-LSTM 不僅可以同LSTM 那樣學(xué)習(xí)到每一個(gè)單詞在句子中的長期依賴關(guān)系，而且可以從2個(gè)方向獲取上下文信息，保留了更多的重要信息.輸入的句子X=進(jìn)行編碼后得到向量表示Es={ei|ei∈Rde}，使用Bi-LSTM 得到句子的上下文表示Hs=，其中，=demb和dhid分別表示詞向量的維度和LSTM 的隱藏狀態(tài)維度，和分別表示正向和反向的LSTM.

在句法關(guān)聯(lián)模塊中，給定一個(gè)輸入X=，為學(xué)習(xí)到句子中的句法信息，利用依存句法分析將每一個(gè)句子轉(zhuǎn)化為依存句法樹，從而得到句子的依存關(guān)系.輸入的句子X利用斯坦福依存句法分析，得到句子的依存句法表示DSP=dSP(X)=.其中，SP 表示斯坦福依存句法分析器，di表示第i個(gè)單詞在依存句法樹中相關(guān)聯(lián)的父節(jié)點(diǎn)序號.此外，對于中文酒店數(shù)據(jù)集，本文采用哈爾濱工業(yè)大學(xué)的中文自然語言處理工具LTP 進(jìn)行句法分析，同樣得到句子的依存句法表示DLTP=dLTP(X)=.

2.4 句法特征層

該模型在句法特征層引入了圖卷積網(wǎng)絡(luò)（GCN）來學(xué)習(xí)單詞之間的句法信息.在上一層的句法關(guān)聯(lián)模塊中得到了依存句法分析樹，該依存分析樹也可以表示為具有n個(gè)節(jié)點(diǎn)的圖，其中的節(jié)點(diǎn)就是每一個(gè)句子中的單詞，邊表示的是單詞之間的句法關(guān)聯(lián)路徑.而依存分析樹中的節(jié)點(diǎn)是經(jīng)過上一層的句子編碼模塊中Bi-LSTM 編碼得到的向量表征結(jié)果，上一層的這些輸出是作為句法特征層的輸入.模型中采用GCN 來建模句法特征，GCN 的主要思想是每一個(gè)節(jié)點(diǎn)的特征是由相鄰節(jié)點(diǎn)不斷更新得到的，當(dāng)存在多層的GCN 時(shí)，當(dāng)前層節(jié)點(diǎn)的特征可以由上一層的相鄰節(jié)點(diǎn)和自身節(jié)點(diǎn)特征更新獲得.

將句子的上下文表示和依存分析樹的鄰接矩陣作為句法特征層中GCN 的輸入.任意句子的n×n的鄰接矩陣可以由其依存分析樹轉(zhuǎn)換而來，在依存分析樹中節(jié)點(diǎn)i和節(jié)點(diǎn)j之間存在一條依存路徑，則鄰接矩陣的Aij=1，否則Aij=0.與此同時(shí)，每一層的節(jié)點(diǎn)自身應(yīng)當(dāng)是有關(guān)聯(lián)和影響的，因此設(shè)計(jì)了一個(gè)自循環(huán)，即Aii=1.GCN 是多層的結(jié)構(gòu)，每一層節(jié)點(diǎn)的信息是由上一層的節(jié)點(diǎn)通過其依存句法路徑來傳播和聚集特征信息，并不斷更新節(jié)點(diǎn)的特征.因此，將Bi-LSTM 輸出節(jié)點(diǎn)的上下文向量作為GCN 的輸入來進(jìn)行句法關(guān)聯(lián)信息的構(gòu)建.GCN 中的第k+1 層的第i個(gè)節(jié)點(diǎn)更新為

最后通過GCN 層得到帶有依存句法關(guān)聯(lián)的向量表示：

此外，還需要建立殘差連接，將Bi-LSTM 輸出的向量和GCN 層輸出的特征進(jìn)行相加和殘差連接，得到多頭任務(wù)層的輸入，這樣訓(xùn)練的時(shí)候可以使梯度直接走捷徑反傳給最初始層.句法特征層的最終輸出為

2.5 多頭任務(wù)學(xué)習(xí)層和解碼層

2.5.1 多頭任務(wù)學(xué)習(xí)層

多頭任務(wù)學(xué)習(xí)層包括屬性詞抽取、評價(jià)詞抽取和情感依賴分析3 個(gè)部分，下面介紹這3 個(gè)部分.

1）屬性詞和評價(jià)詞抽取

采用序列標(biāo)注的方法來進(jìn)行屬性詞和評價(jià)詞的抽取任務(wù)，將句子中的單詞標(biāo)記為屬性詞ap 和評價(jià)詞op.句法特征層的隱藏狀態(tài)包含了一些多余的信息，可能會(huì)導(dǎo)致過擬合的風(fēng)險(xiǎn).因此，首先使用簡單的線性層和非線性激活函數(shù)從句法特征層輸出的特征中分別抽取出屬性詞特征和評價(jià)詞特征，并將句法中的無關(guān)特性去除掉.具體方法可由式（6）（7）所示：

在得到屬性詞和評價(jià)詞的特征表示后，使用（B,I,O）序列標(biāo)注方法對特征進(jìn)行標(biāo)注.通過線性層和softmax函數(shù)得到屬性詞和評價(jià)詞的分布序列和：

因此，屬性詞和評價(jià)詞抽取任務(wù)的損失為

2）情感依賴分析

定義了4 種情感依賴類型POS, NEG, NEU, NODEP，其中POS 表示積極，NEG 表示消極，NEU 表示中性，NO-DEP 表示沒有依賴關(guān)系.

與屬性詞抽取和評價(jià)詞抽取2 個(gè)子任務(wù)一樣，先用不同的參數(shù)抽取到屬性詞和評價(jià)詞的特征，如式（11）（12）所示，然后用雙仿射評分器來獲取每個(gè)詞對的依賴.

句子中存在|X|2個(gè)由屬性詞和評價(jià)詞組成的詞對，因此期望可以對每一詞對進(jìn)行分析.為減少學(xué)習(xí)的冗余度，面對多詞構(gòu)成的屬性詞和評價(jià)詞時(shí)，先只考慮最后一個(gè)詞進(jìn)行分析.每一個(gè)單詞對依賴類型的評分可由式（13）計(jì)算得出：

然后，使用softmax函數(shù)來進(jìn)行歸一化，si,j,k表示單詞對[xi,yj]所有依賴關(guān)系類型的概率.

最后，采用多頭任務(wù)學(xué)習(xí)框架的聯(lián)合訓(xùn)練方式，訓(xùn)練目標(biāo)如式（16）所示，其中，α表示權(quán)衡參數(shù)，用于平衡抽取任務(wù)和情感依賴分析任務(wù)，θ表示可訓(xùn)練參數(shù)，γ表示L2正則化的權(quán)重值.

2.5.2 三元組解碼層

在獲得屬性詞、評價(jià)詞和二者的情感依賴關(guān)系后，以評分器得到的情感依賴為基礎(chǔ)，進(jìn)行三元組的解碼.如圖1 所示，句子“beef noodles were great but the service was dreadful !”，屬性詞抽取結(jié)果為（B,I,O,O,O,O,B,O,O,O）,評價(jià)詞抽取結(jié)果為（O,O,O,B,O,O,O,O,B,O），情感依賴分析結(jié)果為（1, 3, POS）,（6, 8, NEG），其中數(shù)字表示屬性詞和評價(jià)詞中最后一個(gè)單詞的下標(biāo).因此，通過情感依賴分析結(jié)果反向遍歷屬性詞標(biāo)簽和評價(jià)詞標(biāo)簽，解析出完整的三元組，最終的情感三元組為（（0, 1）, （3, 3）, POS）和（（6, 6）, （8, 8）, NEG），其中（0, 1）表示的是屬性詞“beef noodles”的開始位置和結(jié)束位置，（3, 3）表示的是評價(jià)詞“great”的開始位置和結(jié)束位置，POS 表示該屬性詞的情感傾向?yàn)榉e極.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

在Peng 等人[18]提出的ASTE-DATA-V1 數(shù)據(jù)集和Xu 等人[19]提出的ASTE-DATA-V2 數(shù)據(jù)集上對設(shè)計(jì)的模型進(jìn)行評估，這2 個(gè)數(shù)據(jù)集都包括了3個(gè)餐廳領(lǐng)域的數(shù)據(jù)集和1個(gè)筆記本領(lǐng)域的數(shù)據(jù)集，具體為：lap14，rest14，rest15，rest16.這2個(gè)數(shù)據(jù)集的具體情況如表2 和表3 所示，這2 個(gè)數(shù)據(jù)集都有3 種情感傾向：積極、消極、中性.ASTE-DATA-V1 數(shù)據(jù)集中缺失了一些沖突情感傾向的三元組，其中包括重復(fù)評價(jià)詞的三元組，例如，“good food and service”這句話中評價(jià)詞“good”對應(yīng)了2 個(gè)屬性詞“food”和“service”，應(yīng)該得到2 個(gè)三元組，但是數(shù)據(jù)集ASTE-DATA-V1沒有標(biāo)注出這部分.而Xu 等人[19]補(bǔ)充了這部分缺失，進(jìn)一步對數(shù)據(jù)集進(jìn)行完善，得到一個(gè)新的數(shù)據(jù)集ASTEDATA-V2.這2 個(gè)數(shù)據(jù)集的4個(gè)領(lǐng)域數(shù)據(jù)集都來自SemEval-2014 task 4[24]，SemEval-2015 task 12[25]，SemEval-2016 task 5[26].

Table 2 Statistics of Four Datasets from ASTE-DATA-V1表2 ASTE-DATA-V1 中的4 個(gè)數(shù)據(jù)集統(tǒng)計(jì)

Table 3 Statistics of Four Datasets from ASTE-DATA-V2表3 ASTE-DATA-V2 中的4 個(gè)數(shù)據(jù)集統(tǒng)計(jì)

此外，為進(jìn)一步驗(yàn)證模型的有效性，本文使用譚松波酒店評論語料作為中文情感分析數(shù)據(jù)集，目前還沒有中文的情感三元組數(shù)據(jù)集，因此，采用手工標(biāo)注的方式對中文數(shù)據(jù)集進(jìn)行處理.數(shù)據(jù)集具體細(xì)節(jié)如表4 所示.

Table 4 Statistics of Chinese Datasets表4 中文數(shù)據(jù)集統(tǒng)計(jì)

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

在本文的實(shí)驗(yàn)中，詞嵌入使用預(yù)訓(xùn)練的GloVe詞向量進(jìn)行初始化，詞嵌入維度為300，隱藏向量維度為300，設(shè)置聯(lián)合訓(xùn)練的平衡參數(shù) α=1，正則化參數(shù)γ=10-5，為了緩解過擬合，將dropout設(shè)置為0.5，訓(xùn)練過程中的學(xué)習(xí)率設(shè)置為0.003，每次訓(xùn)練的樣本數(shù)量BatchSize設(shè)置為32，模型訓(xùn)練的輪數(shù)設(shè)置為10.

3.3 對比實(shí)驗(yàn)

為了驗(yàn)證本文模型的有效性，使用5 個(gè)基線模型進(jìn)行對比實(shí)驗(yàn).

1）Pipeline[18]采用流水線的方式進(jìn)行三元組抽取，并分為2個(gè)階段：第1個(gè)階段是采用GCN 進(jìn)行屬性詞的情感分類和評價(jià)詞抽??；第2個(gè)階段是將評價(jià)詞與屬性詞進(jìn)行配對.

2）CMLA+[27]是由 CMLA[27]（coupled multi-layer attentions）模型改良得到的，CMLA[27]采用注意力機(jī)制學(xué)習(xí)屬性詞和評價(jià)詞之間的相互關(guān)聯(lián)影響，從而抽取出目標(biāo)屬性詞和評價(jià)詞.CMLA+[27]是在第1 階段后加入了一個(gè)分類器來抽取出三元組.

3）JET[19]（jointly extract the triplets）是把ASTE 任務(wù)定義為一個(gè)基于統(tǒng)一標(biāo)簽的序列標(biāo)注任務(wù)，采用位置感知標(biāo)記方法來實(shí)現(xiàn)端到端的聯(lián)合三元組抽取.

4）GTS[20]是把ASTE 任務(wù)定義為一個(gè)統(tǒng)一的網(wǎng)格標(biāo)注任務(wù)，采用網(wǎng)格標(biāo)記方法實(shí)現(xiàn)端到端的三元組抽取任務(wù)，先抽取出每個(gè)單詞的情感傾向特征，然后利用這些特征得出每個(gè)"屬性詞-評價(jià)詞"對的初始預(yù)測概率，最后設(shè)計(jì)了一個(gè)基于網(wǎng)格的解碼策略來得到完整的三元組.

5）OTE-MTL[21]（multi-task learning framework for opinion triplet extraction）采用聯(lián)合抽取方式，該框架先使用共享的編碼器來學(xué)習(xí)3個(gè)子任務(wù)的聯(lián)合特征，然后提出了一個(gè)多頭任務(wù)學(xué)習(xí)框架共同實(shí)現(xiàn)屬性詞和評價(jià)詞的聯(lián)合抽取以及二者的情感關(guān)聯(lián)解析，最終使用解碼器來獲得完整的三元組.

3.4 實(shí)驗(yàn)結(jié)果和分析

3.4.1 實(shí)驗(yàn)結(jié)果

在相同的數(shù)據(jù)集和實(shí)驗(yàn)環(huán)境下，本文模型與基線模型所運(yùn)行的時(shí)間對比結(jié)果如表5 所示，本文模型相比基線模型較為復(fù)雜，GCN 在訓(xùn)練過程中需要消耗部分時(shí)間，因此耗時(shí)較多，但是本文模型有更高的精度，整體性能更好.

Table 5 Total Training Time Results Compared with the Baseline Models表5 與基線模型的訓(xùn)練總時(shí)間的對比結(jié)果

與基線模型的對比實(shí)驗(yàn)結(jié)果如表6 所示，在精確率P、召回率R和F1 分?jǐn)?shù)方面比較了基線模型和本文模型，實(shí)驗(yàn)結(jié)果都是取的最佳值.

Table 6 Experimental Results of Different Models for Triplet Extraction Tasks表6 三元組抽取任務(wù)中不同模型的實(shí)驗(yàn)結(jié)果對比%

在ASTE-DATA-V1 數(shù)據(jù)集上本文模型整體性能優(yōu)于OTE-MTL[21]模型，在精確率（P）、召回率（R）和F1 分?jǐn)?shù)這3個(gè)性能上大多高于OTE-MTL[21]模型，結(jié)果表明本文模型能夠有效地利用依存句法分析樹和GCN 來獲取句子之間的句法特征，提高三元組的抽取效率.對于ASTE-DATA-V1 數(shù)據(jù)集，本文的方法在ASTE-DATA-V1 數(shù)據(jù)集的4個(gè)數(shù)據(jù)集上的F1 分?jǐn)?shù)比OTE-MTL[21]模型分別提升了0.22，0.44，1.74，1.07個(gè)百分點(diǎn).但由于ASTE-DATA-V1 數(shù)據(jù)集中缺失了部分?jǐn)?shù)據(jù)，所以又在ASTE-DATA-V2 數(shù)據(jù)集上和相同的基線模型進(jìn)行對比實(shí)驗(yàn).在F1 分?jǐn)?shù)性能下，本文模型均優(yōu)于基線模型，在性能提升最高的lap14 數(shù)據(jù)集上，F(xiàn)1 值達(dá)到48.70%，比表現(xiàn)最好的模型OTEMTL[21]提升了1.95 個(gè)百分點(diǎn)，而在ASTE-DATA-V1數(shù)據(jù)集的lap14 數(shù)據(jù)集上本文模型只提高了0.22 個(gè)百分點(diǎn)，可以看出本文模型對ASTE-DATA-V2 數(shù)據(jù)集中補(bǔ)充的重復(fù)評價(jià)詞有積極影響；相比rest14，rest15，rest16 數(shù)據(jù)集，本文模型都有所提升，相比OTEMTL[21]模型，本文模型提升了近2 個(gè)百分點(diǎn).大多數(shù)情況下，本文模型在精確率和召回率都明顯優(yōu)于其他基線模型.由表6 還發(fā)現(xiàn)，流水線模型Pipeline 和CMLA+在召回率上取得較好的結(jié)果，但由于精確率較低，因此模型的整體性能較差.對于ASTE-DATAV2 數(shù)據(jù)集，本文模型在4個(gè)數(shù)據(jù)集上的性能比OTEMTL 模型分別提升了1.95，1.89，1.89，1.71 個(gè)百分點(diǎn)，比在ASTE-DATA-V1 數(shù)據(jù)集上的提升度Dif都高.此外，在大多數(shù)情況下，相比其他基線模型，本文模型在ASTE-DATA-V2 數(shù)據(jù)集上的提升度Dif都明顯高于ASTE-DATA-V1 數(shù)據(jù)集上的提升度Dif，因此本文模型對重復(fù)評價(jià)詞有一定幫助.

為進(jìn)一步研究句法依存嵌入圖卷積網(wǎng)絡(luò)對整個(gè)模型的作用，進(jìn)行子任務(wù)的對比實(shí)驗(yàn)，使用ASTEDATA-V2 數(shù)據(jù)集來分析屬性詞和評價(jià)詞抽取任務(wù)的性能，對比實(shí)驗(yàn)結(jié)果如表7 所示.與OTE-MTL[21]模型對比可得出，在屬性詞抽取任務(wù)（ap）中，本文模型在ASTE-DATA-V2 數(shù)據(jù)集上都優(yōu)于OTE-MTL 模型，性能提升最高的是在lap14 數(shù)據(jù)集上F1 分?jǐn)?shù)達(dá)到76.41%，提升了2.95%.在評價(jià)詞抽取任務(wù)（op）中，本文模型也都優(yōu)于OTE-MTL 模型，性能提升最高的是在lap14 數(shù)據(jù)集上F1 分?jǐn)?shù)達(dá)到73.69%，提升了1.7%.在召回率性能上，本文模型大多高于OTE-MTL 模型，雖然有些數(shù)據(jù)集的精確率沒有高于OTE-MTL 模型，但是在整體性能F1 分?jǐn)?shù)上本文模型均取得較好的結(jié)果.結(jié)果表明引入單詞之間的句法依存關(guān)系對屬性詞抽取和評價(jià)詞抽取任務(wù)均有很大提升，猜測是因?yàn)楫?dāng)面對多詞組成的屬性詞和評價(jià)詞時(shí)，若引入句法信息，本文模型相比別的模型能得到更準(zhǔn)確的抽取結(jié)果.

Table 7 Experimental Results of Aspect and Opinion Extraction Tasks表7 屬性詞和評價(jià)詞抽取任務(wù)的實(shí)驗(yàn)結(jié)果對比%

在譚松波酒店評論中文數(shù)據(jù)集中，本文模型與基線模型的對比實(shí)驗(yàn)結(jié)果如表8 所示.在三元組抽取任務(wù)（triplet）中，本文模型相比CMLA[27]模型提升很大，相比OTE-MTL[21]模型提升了1.2 個(gè)百分點(diǎn)；在屬性詞抽取任務(wù)（ap）中，本文模型相比OTE-MTL[21]模型提升了3.23 個(gè)百分點(diǎn)；在評價(jià)詞抽取任務(wù)（op）中，本文模型相比OTE-MTL[21]模型提升了0.47 個(gè)百分點(diǎn).實(shí)驗(yàn)結(jié)果表明本文模型對中文數(shù)據(jù)集有積極影響，但所有三元組抽取結(jié)果的F1 值最高只有43.29%，效果一般.猜測是因?yàn)橹形臄?shù)據(jù)集有較多口語化表達(dá)，中文相比英文有更多非正式的語義和結(jié)構(gòu)，因此情感三元組抽取任務(wù)在中文數(shù)據(jù)集上還面臨較大挑戰(zhàn).

Table 8 Experimental Results of Different Models on Chinese Datasets for Each Task表8 各任務(wù)中不同模型在中文數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對比 %

3.4.2 實(shí)驗(yàn)分析

根據(jù)表6 和表7 的實(shí)驗(yàn)結(jié)果可以得出，本文模型在不同的數(shù)據(jù)集上均優(yōu)于其他基線模型.CMLA+和Pipeline 模型采用的是流水線的方式，由表6 可得流水線的方法雖然在召回率上有較好性能，但是它們的精確率較低，因?yàn)榱魉€方式使三元組任務(wù)分離為2 個(gè)步驟，整個(gè)模型在訓(xùn)練過程中有局限性，同時(shí)還加大了誤差，導(dǎo)致最終的結(jié)果較低.JET，GTS，OTE-MTL 模型是采用聯(lián)合訓(xùn)練的方式，很好地解決了流水線方式帶來的問題，取得較好的結(jié)果.本文模型也采用聯(lián)合訓(xùn)練的方式，并且還引入了句法信息來提升句子特征，在面對重復(fù)評價(jià)詞的情況時(shí)，本文模型在屬性詞抽取、評價(jià)詞抽取和三元組抽取任務(wù)均可以取得更好結(jié)果.因此可以得出，本文提出的句法依存嵌入圖卷積網(wǎng)絡(luò)對三元組任務(wù)有一定提升.猜測在屬性詞和評價(jià)詞抽取任務(wù)中，當(dāng)面對多詞構(gòu)成的屬性詞和評價(jià)詞時(shí)，利用句法信息可以更加準(zhǔn)確地獲得它們的跨度情況.在屬性詞和評價(jià)詞相匹配的過程中，本文模型利用句法依存信息可以去除無關(guān)的配對結(jié)果，從而提升模型的準(zhǔn)確性.

3.5 案例分析

為了說明本文提出的細(xì)粒度情感三元組抽取任務(wù)的粒度范圍，本文舉例說明了粗粒度情感分析和細(xì)粒度情感分析結(jié)果.如表9 所示，粗粒度情感分析是分析整個(gè)句子的情感傾向，如第2個(gè)和第4個(gè)例句所示，當(dāng)句子中有多種情感傾向時(shí)，粗粒度情感分析不能準(zhǔn)確地得到每個(gè)屬性詞對應(yīng)的情感傾向，也不能得到該屬性詞對應(yīng)的評價(jià)詞，而本文的細(xì)粒度三元組抽取模型可以更加直觀地反饋句子中的屬性詞及其相應(yīng)的多種情感傾向和評價(jià)對象.

Table 9 Case Analysis表9 案例分析

為了進(jìn)一步研究模型的性能，選取F1 值提升相對較小的rest16 數(shù)據(jù)集中的部分樣本進(jìn)行案例分析，結(jié)果如表9 所示.

當(dāng)面對多詞屬性詞這種情況時(shí)，CMLA+不能準(zhǔn)確地抽取出全部屬性詞，而OTE-MTL 和本文模型可以抽取出準(zhǔn)確結(jié)果.

當(dāng)多個(gè)三元組有重復(fù)評價(jià)詞時(shí)，CMLA+和OTEMTL 都不能抽取到全部的三元組，會(huì)丟失一部分，而本文模型可以抽取出全部三元組.猜測是因?yàn)閯e的模型沒有句法依存關(guān)系，在學(xué)習(xí)過程中評價(jià)詞enjoying和屬性詞table 之間的句法關(guān)系聯(lián)系不起來.

當(dāng)存在重復(fù)屬性詞時(shí)，CMLA+將所有可能的配對情況都抽取出來，OTE-MTL 盡管錯(cuò)誤配對的情況減少很多，但是依舊有1 個(gè)錯(cuò)誤的三元組；而本文模型能抽取出全部的正確三元組且沒有多余的錯(cuò)誤配對.猜測CMLA+因?yàn)闆]有學(xué)習(xí)屬性詞和評價(jià)詞之間的依賴關(guān)系，導(dǎo)致匹配結(jié)果誤差較大；而OTE-MTL模型沒有考慮句法信息，導(dǎo)致將無關(guān)聯(lián)的“屬性詞-評價(jià)詞”對抽取出來.而本文模型不僅學(xué)習(xí)了子任務(wù)之間的依賴關(guān)系，還引入了句法特征來輔助三元組的抽取，將句法關(guān)聯(lián)的詞對排除出去.

當(dāng)面對一句話中存在多個(gè)情感傾向且有重復(fù)的屬性詞的情況時(shí)，CMLA+和OTE-MTL 模型都沒有抽取出全部的三元組，其中部分三元組的情感傾向也有錯(cuò)誤.猜測CMLA+和OTE-MTL 模型在面對復(fù)雜的多情感句子時(shí)，很難有效地學(xué)習(xí)到詞對之間的情感傾向的關(guān)聯(lián).而本文模型取得了一個(gè)較好的結(jié)果是因?yàn)槟Ｐ驮诰浞ㄌ卣鲗佑行У貙⒕渥犹卣魅谌肷舷挛奶卣?，因此在多頭任務(wù)層時(shí)可以利用句法特征學(xué)習(xí)到詞對和情感的依賴關(guān)系.本文模型除了一個(gè)三元組沒有抽取到，剩下的三元組都得到了準(zhǔn)確的結(jié)果.這個(gè)錯(cuò)誤的三元組猜測是因?yàn)樵撊M的評價(jià)詞是屬性詞的一部分，而本文模型沒有考慮到這種情況.

4 結(jié) 論

對于屬性級情感三元組分析，單詞之間的句法信息有助于抽取情感特征和目標(biāo)詞語.本文提出了基于句法增強(qiáng)的細(xì)粒度情感三元組抽取模型.由于多跨度的屬性詞和評價(jià)詞抽取任務(wù)的準(zhǔn)確性低，屬性詞和評價(jià)詞配對研究還有很多不足，因此，提出了一種基于依存句法增強(qiáng)的多任務(wù)學(xué)習(xí)框架，通過依存句法信息嵌入圖卷積網(wǎng)絡(luò)來充分利用單詞之間的句法信息挖掘語法知識和句法特征.然后將句法特征作用在多頭子任務(wù)中，3 個(gè)子任務(wù)進(jìn)行聯(lián)合學(xué)習(xí)解析出完整三元組.在4 個(gè)英文數(shù)據(jù)集和1 個(gè)中文數(shù)據(jù)集上設(shè)計(jì)了對比實(shí)驗(yàn)，從而驗(yàn)證了本文模型的有效性.實(shí)驗(yàn)結(jié)果表明，該模型在細(xì)粒度情感三元組分析上可取得較好的結(jié)果，同時(shí)表明依存句法信息有助于屬性詞抽取、評價(jià)詞抽取和三元組抽取任務(wù).之后還考慮學(xué)習(xí)評價(jià)詞抽取任務(wù)和情感依賴分析任務(wù)之間的關(guān)聯(lián)作用，例如利用消息傳遞機(jī)制將抽取結(jié)果的特征傳遞到情感依賴分析任務(wù)中，實(shí)現(xiàn)子任務(wù)之間的交互.

作者貢獻(xiàn)聲明：劉欣逸提出算法思路和實(shí)驗(yàn)方案，完成實(shí)驗(yàn)并撰寫和修改論文；寧博提出指導(dǎo)意見并修改完善論文；王明負(fù)責(zé)數(shù)據(jù)集收集和整理、論文校對工作；楊超提出實(shí)驗(yàn)改進(jìn)建議；商迪負(fù)責(zé)論文審查；李冠宇負(fù)責(zé)理論指導(dǎo).