黃俊 劉洋 王慶鳳 陳立偉 邱家林 黎茂鋒

摘 要：當(dāng)前大多數(shù)基于圖卷積網(wǎng)絡(luò)的方面級(jí)情感分析方法利用文本的句法知識(shí)、語(yǔ)義知識(shí)、情感知識(shí)構(gòu)建文本依賴，但少有研究利用文本語(yǔ)序知識(shí)構(gòu)建文本依賴，導(dǎo)致圖卷積網(wǎng)絡(luò)不能有效地利用文本語(yǔ)序知識(shí)引導(dǎo)方面項(xiàng)學(xué)習(xí)上下文情感信息，從而限制了其性能。針對(duì)上述問(wèn)題，提出基于語(yǔ)序知識(shí)的雙通道圖卷積網(wǎng)絡(luò)（dual-channel graph convolutional network with word-order knowledge，WKDGCN）模型，該模型由語(yǔ)序圖卷積網(wǎng)絡(luò)（word-order graph convolutional network，WoGCN）和情感知識(shí)結(jié)合語(yǔ)義知識(shí)增強(qiáng)的句法圖卷積網(wǎng)絡(luò)（sentiment and attention-enhanced graph convolutional network，SAGCN）組成。具體地，WoGCN基于文本的語(yǔ)序知識(shí)構(gòu)建圖卷積網(wǎng)絡(luò)，由文本的語(yǔ)序依賴引導(dǎo)方面項(xiàng)特征學(xué)習(xí)上下文情感信息；SAGCN利用SenticNet中的情感知識(shí)結(jié)合注意力機(jī)制增強(qiáng)句法依賴，利用增強(qiáng)后的句法依賴構(gòu)建圖卷積網(wǎng)絡(luò)，以此引導(dǎo)方面項(xiàng)特征學(xué)習(xí)上下文情感信息；最后融合兩個(gè)圖卷積網(wǎng)絡(luò)的特征用于情感分類。此外，設(shè)計(jì)了一種權(quán)重分配策略，在放大方面項(xiàng)權(quán)重的同時(shí)保持上下文權(quán)重一致，避免錯(cuò)誤的計(jì)算方面項(xiàng)特征與重要特征的語(yǔ)義相關(guān)性。在多個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提方法優(yōu)于對(duì)比模型。

關(guān)鍵詞：方面級(jí)情感分析； 語(yǔ)序知識(shí)； 情感信息； 注意力機(jī)制； 句法依賴； 圖卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP391?? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）03-019-0779-07

doi：10.19734/j.issn.1001-3695.2023.07.0310

Dual-channel graph convolutional network with word-orderknowledge for aspect-based sentiment analysis

Huang Jun， Liu Yang， Wang Qingfeng， Chen Liwei， Qiu Jialin， Li Maofeng

（School of Computer Science & Technology， Southwest University of Science & Technology， Mianyang Sichuan 621010， China）

Abstract：At present， most of the aspect-based sentiment analysis methods based on graph convolutional network use the syntactic knowledge， semantic knowledge and sentiment knowledge of text to construct text dependency， but few studies have made use of text word-order knowledge to build text dependency.As a result， graph convolutional networks cant effectively use text word order knowledge to guide aspects to learn contextual sentiment information， thus limiting its performance. Aiming at the above problems， this paper proposed an aspect-based sentiment analysis model of dual-channel graph convolutional network with word-order knowledge（WKDGCN）， which consisted of WoGCN and SAGCN. Specifically， WoGCN constructed a graph convolutional network based on the word-order knowledge of text， and learned contextual sentiment information by re-lying on the characteristics of the guiding aspect of the text word order. SAGCN used the sentiment knowledge in SenticNet combined with the attention mechanism to enhance syntactic dependence， and used the enhanced syntactic dependence to construct a graph convolutional network，so as to guide the aspect features to learn contextual emotional information. Finally，it fused the features of two graph convolutional networks for sentiment classification. In addition，it designed a weight allocation strategy to keep the context weights consistent while amplifying the weights of the terms to avoid erroneous calculation of the semantic correlation between the features of the terms and the important features. Experimental results on several public data sets show that the proposed method is superior to the comparison models.

Key words：aspect-based sentiment analysis; word-order knowledge; sentiment information; attention mechanism; syntactic dependence; graph convolutional network

0 引言

在Web 2.0的時(shí)代背景下，社交媒體每時(shí)每刻都在產(chǎn)生大量帶有情感極性的文本信息，為了挖掘其中的有益價(jià)值，情感分析、意見(jiàn)挖掘等［1］逐漸成為自然語(yǔ)言處理（natural language processing，NLP）領(lǐng)域的熱門研究話題。方面級(jí)情感分析（aspect-based sentiment analysis，ABSA）能夠?qū)ξ谋局刑囟ǚ矫骓?xiàng)的情感極性進(jìn)行預(yù)測(cè)，而非單純預(yù)測(cè)整條文本的情感極性，所以其又被稱為細(xì)粒度的情感分析。以“The food is good， but the service is terrible.”為例，文本中有“food”和“service”兩個(gè)方面項(xiàng)，對(duì)應(yīng)的意見(jiàn)項(xiàng)分別是“good”和“terrible”，ABSA任務(wù)的目標(biāo)就是建立方面項(xiàng)與意見(jiàn)項(xiàng)之間的聯(lián)系，從而判斷出兩個(gè)方面項(xiàng)的情感極性分別為正向和負(fù)向。

當(dāng)前，大多數(shù)基于圖卷積網(wǎng)絡(luò)的方面級(jí)情感分析利用文本的句法知識(shí)、語(yǔ)義知識(shí)、情感知識(shí)構(gòu)建文本依賴［2～6］，但是目前利用語(yǔ)序知識(shí)構(gòu)建文本依賴的研究尚有不足，導(dǎo)致圖卷積網(wǎng)絡(luò)不能有效地利用文本的語(yǔ)序知識(shí)引導(dǎo)方面項(xiàng)學(xué)習(xí)上下文情感信息，從而影響模型在ABSA任務(wù)上的性能，并且融合蘊(yùn)涵多種文本知識(shí)的特征能有效提升模型的性能［3，4］。為有效融合文本的語(yǔ)序特征以增強(qiáng)模型的分類性能，本文提出基于語(yǔ)序知識(shí)的雙通道圖卷積網(wǎng)絡(luò)（WKDGCN）方面級(jí)情感分析模型。

WKDGCN由語(yǔ)序圖卷積網(wǎng)絡(luò)（WoGCN）和句法增強(qiáng)圖卷積網(wǎng)絡(luò)（SAGCN）組成。首先，利用文本的語(yǔ)序知識(shí)構(gòu)建文本語(yǔ)序依賴，并基于語(yǔ)序依賴構(gòu)建圖卷積網(wǎng)絡(luò)WoGCN通道；其次，結(jié)合SenticNet中的情感知識(shí)和注意力機(jī)制增強(qiáng)句法依賴，并基于增強(qiáng)的句法依賴構(gòu)建圖卷積網(wǎng)絡(luò)SAGCN通道；最后融合兩個(gè)通道的特征用于情感分類。此外，為避免錯(cuò)誤的計(jì)算方面項(xiàng)特征與重要特征的語(yǔ)義相關(guān)性，設(shè)計(jì)了一種權(quán)重分配策略，該策略在放大方面項(xiàng)權(quán)重的同時(shí)保持上下文權(quán)重一致。最終在多個(gè)公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文WKDGCN模型相較于對(duì)比模型在ABSA任務(wù)上性能更優(yōu)。

本文主要貢獻(xiàn)總結(jié)如下：a）提出一種基于文本語(yǔ)序知識(shí)的文本依賴構(gòu)建方法；b）構(gòu)建WKDGCN模型，其由WoGCN與SAGCN組成，WoGCN利用文本的語(yǔ)序知識(shí)引導(dǎo)方面項(xiàng)聚合上下文情感信息，SAGCN利用SenticNet中的情感知識(shí)結(jié)合注意力機(jī)制增強(qiáng)句法依賴，將文本的語(yǔ)義知識(shí)和情感知識(shí)融入到句法依賴中;c）設(shè)計(jì)了一種權(quán)重分配策略，在放大方面項(xiàng)權(quán)重的同時(shí)保持上下文權(quán)重一致，避免模型錯(cuò)誤的計(jì)算方面項(xiàng)特征與重要特征的語(yǔ)義相關(guān)性。

1 相關(guān)工作

方面級(jí)情感分析的概念由Thet等人［7］在2010年明確提出。早期受限于硬件條件，大多數(shù)研究建立在傳統(tǒng)機(jī)器學(xué)習(xí)算法的基礎(chǔ)上，如在最大熵、支持向量機(jī)等經(jīng)典機(jī)器學(xué)習(xí)模型的基礎(chǔ)上結(jié)合情感詞典、依賴信息等對(duì)情感進(jìn)行分類［8］。這些方法需要投入較大的人力成本和時(shí)間成本，隨著硬件設(shè)備的改良與升級(jí)，深度學(xué)習(xí)得到良好的應(yīng)用環(huán)境，大大降低了人力成本與時(shí)間成本，深度學(xué)習(xí)逐漸成為主流研究方法。

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN） ［9］擅長(zhǎng)處理有序列特性的數(shù)據(jù)，因此在NLP領(lǐng)域得到了廣泛應(yīng)用，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short term memory，LSTM）［10］和門控循環(huán)單元（gated recurrent unit，GRU）［11］是RNN的兩個(gè)有效變體，兩者在傳統(tǒng)RNN的基礎(chǔ)上引入門控機(jī)制，有效克服了傳統(tǒng)RNN梯度爆炸和梯度彌散的問(wèn)題。Tang等人［12］提出TD-LSTM、TC-LSTM兩個(gè)改進(jìn)模型用于方面級(jí)情感分析，整合了方面項(xiàng)與上下文的相互關(guān)聯(lián)信息，取得了比標(biāo)準(zhǔn)LSTM更好的效果。最近在ABSA任務(wù)上也有許多利用注意力機(jī)制捕捉上下文語(yǔ)義相關(guān)性特征［13］而開(kāi)展的工作。Wang等人［14］提出基于注意力機(jī)制的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)ATAE-LSTM，用于方面級(jí)情感分析。Tan等人［15］提出帶有雙注意力機(jī)制的多標(biāo)簽分類模型，提升了模型對(duì)帶有沖突意見(jiàn)的方面項(xiàng)情感分類性能。另外，Devlin等人［16］提出的基于注意力機(jī)制的BERT預(yù)訓(xùn)練模型也一度刷新了NLP領(lǐng)域的各大任務(wù)成果。Sun等人［17］提出構(gòu)造NLI_B、NLI_M、QA_B、QA_M四種輔助句，再微調(diào)BERT模型，從句子對(duì)分類的角度考慮ABSA任務(wù)，取得了良好效果。Xu等人［18］針對(duì)ABSA任務(wù)提出了一種基于BERT的后訓(xùn)練微調(diào)方式，提升了BERT預(yù)訓(xùn)練模型在微調(diào)ABSA任務(wù)上的性能。循環(huán)神經(jīng)網(wǎng)絡(luò)以及注意力機(jī)制能有效建模文本的上下文信息，但其不能有效利用外部的文本依賴信息。

而利用文本依賴有助于建立方面項(xiàng)與上下文之間的聯(lián)系，以此引導(dǎo)方面項(xiàng)學(xué)習(xí)上下文情感信息。遵循這一思路，基于圖數(shù)據(jù)的圖卷積網(wǎng)絡(luò)被廣泛應(yīng)用于ABSA任務(wù)。Lu等人［19］設(shè)計(jì)了一種星形圖，并提出基于節(jié)點(diǎn)和基于文檔的分類方法，用于情感分析并取得了良好效果； Liang等人［20］提出依賴關(guān)系嵌入式圖卷積網(wǎng)絡(luò)DREGCN，并設(shè)計(jì)了一個(gè)有效的消息傳遞機(jī)制以充分利用語(yǔ)法知識(shí)，在ABSA任務(wù)上取得了良好成果；趙振等人［21］提出基于關(guān)系交互的圖注意力網(wǎng)絡(luò)模型，使用一個(gè)新的擴(kuò)展注意力來(lái)引導(dǎo)信息從方面項(xiàng)的句法上下文傳播到方面項(xiàng)本身；Pang等人［22］通過(guò)句法依賴樹(shù)和多頭注意力機(jī)制分別生成句法依賴圖和語(yǔ)義圖，并提出一種動(dòng)態(tài)多通道圖卷積網(wǎng)絡(luò)DM-GCN來(lái)有效地從生成的圖中學(xué)習(xí)相關(guān)信息；Tang等人［23］利用依賴關(guān)系標(biāo)簽構(gòu)建語(yǔ)法感知潛在圖，并設(shè)計(jì)了一個(gè)情感細(xì)化策略引導(dǎo)網(wǎng)絡(luò)捕捉重要的情感線索；楊春霞等人［24］提出基于注意力與雙通道的模型TCCM，實(shí)現(xiàn)了通道內(nèi)信息的殘差互補(bǔ)，有效結(jié)合了句法與語(yǔ)義關(guān)聯(lián)信息；Li等人［25］提出一種雙圖卷積神經(jīng)網(wǎng)絡(luò)DualGCN，同時(shí)對(duì)語(yǔ)法知識(shí)和語(yǔ)義知識(shí)進(jìn)行學(xué)習(xí)，并提出了正交正則化器和差分正則化器鼓勵(lì)句法知識(shí)和語(yǔ)義知識(shí)相互感知學(xué)習(xí)；Xing等人［26］提出DigNet模型，設(shè)計(jì)了一種局部全局交互圖，結(jié)合句法圖和語(yǔ)義圖，實(shí)現(xiàn)圖知識(shí)有益交互。

雖然以上基于文本句法知識(shí)、語(yǔ)義知識(shí)、情感知識(shí)構(gòu)建圖神經(jīng)網(wǎng)絡(luò)的方法在ABSA任務(wù)上取得了良好效果，但它們?nèi)狈?duì)基于語(yǔ)序知識(shí)構(gòu)建圖卷積網(wǎng)絡(luò)的研究。為探究文本語(yǔ)序知識(shí)對(duì)模型性能的影響，本文提出基于語(yǔ)序知識(shí)的雙通道圖卷積網(wǎng)絡(luò)方面級(jí)情感分析模型。

2 WKDGCN模型構(gòu)建

本文模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由四個(gè)部分組成：

a）詞嵌入與BiLSTM層。輸入序列文本，輸出富含上下文情感信息的文本詞向量矩陣表示H。

b）雙通道圖卷積網(wǎng)絡(luò)。基于文本的語(yǔ)序依賴以及注意力機(jī)制結(jié)合情感知識(shí)增強(qiáng)句法依賴分別構(gòu)建WoGCN與SAGCN，再輸出融合兩個(gè)通道輸出的文本特征hGCN。

c）權(quán)重分配策略?；诜矫骓?xiàng)的局部特征和聚合多種文本知識(shí)的方面項(xiàng)特征進(jìn)行注意力計(jì)算，在上下文特征權(quán)重保持一致的情況下放大方面項(xiàng)權(quán)重。

d）輸出模塊。將經(jīng)過(guò)步驟c）得到的權(quán)重反饋到BiLSTM中，以輸出最終的文本特征用于分類。

2.1 詞嵌入與BiLSTM層

詞嵌入與BiLSTM層的目的是獲取用于訓(xùn)練模型的詞向量表示與富含上下文情感信息的文本特征。實(shí)現(xiàn)方法如下：

首先，使用GloVe［27］將文本S={W1，…，Wa+1，…，Wa+m，…，Wn}映射為300維的詞向量矩陣E={e1，…，ea+1，…，ea+m，…，en}，其中n表示文本S的長(zhǎng)度，en是Wn的詞向量表示，然后經(jīng)過(guò)BiLSTM訓(xùn)練詞向量矩陣E得到文本隱藏向量表示H={h1，…，ha+1，…，ha+m，…，hn}。

2.2 雙通道圖卷積網(wǎng)絡(luò)構(gòu)建

本文WKDGCN由基于語(yǔ)序依賴的WoGCN與基于注意力機(jī)制與情感知識(shí)增強(qiáng)的句法依賴的SAGCN組成，接下來(lái)將逐步實(shí)現(xiàn)WKDGCN的構(gòu)建。

2.2.1 語(yǔ)序圖卷積網(wǎng)絡(luò)WoGCN構(gòu)建

WoGCN是基于文本語(yǔ)序依賴構(gòu)建的圖卷積網(wǎng)絡(luò)，其核心是構(gòu)建語(yǔ)序依賴，文本的語(yǔ)序由單詞的語(yǔ)序與單詞之間的相對(duì)語(yǔ)序構(gòu)成。其中，單詞的語(yǔ)序表示如式（1）所示。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選擇Twitter、restaurant14（簡(jiǎn)寫為Rest14）、laptop14（簡(jiǎn)寫為L(zhǎng)ap14）和restaurant16（簡(jiǎn)寫為Rest16）四個(gè)公開(kāi)數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集。數(shù)據(jù)集由正、中、負(fù)三種情感極性數(shù)據(jù)組成。每個(gè)樣本由一條文本評(píng)論、一個(gè)或多個(gè)單詞組成的方面項(xiàng)以及對(duì)應(yīng)的意見(jiàn)項(xiàng)組成。數(shù)據(jù)集信息如表2所示。

3.2 對(duì)比模型

ATAE-LSTM：使用BiLSTM來(lái)捕捉上下文信息，并使用方面項(xiàng)特征和注意力機(jī)制，將方面詞與上下文信息相結(jié)合。

IAN：使用BiLSTM來(lái)編碼句子中的上下文信息，并使用交互式注意力機(jī)制建模方面詞和上下文之間的關(guān)系，以捕捉方面詞對(duì)情感的影響。RAM：使用多頭注意力機(jī)制計(jì)算方面詞和上下文單詞之間的關(guān)系，并使用記憶網(wǎng)絡(luò)來(lái)學(xué)習(xí)句子的詞嵌入表示。

MGAN：提出多粒度注意力機(jī)制以及方面對(duì)齊損失來(lái)學(xué)習(xí)方面項(xiàng)與上下文之間的詞級(jí)交互。

TNet：該模型在CNN和BiLSTM之間添加了一個(gè)組件來(lái)生成方面項(xiàng)的特征，并使用CNN提取BiLSTM的文本特征。

AEN-GloVe：該模型使用了GloVe預(yù)訓(xùn)練詞向量來(lái)表示單詞，使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)提取方面詞信息，并使用雙向LSTM來(lái)編碼上下文信息。

ASGCN：該模型首次提出了使用圖卷積神經(jīng)網(wǎng)絡(luò)GCN來(lái)學(xué)習(xí)用于ABSA任務(wù)的特定方面項(xiàng)表示。

CDT：該模型利用BiLSTM學(xué)習(xí)句子的特征表示，然后使用GCN來(lái)增強(qiáng)從BiLSTM中學(xué)習(xí)到的特征。

BiGCN：該模型使用雙層交互式圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)建模方面詞和上下文單詞之間的交互關(guān)系，以便更好地捕捉方面詞對(duì)情感的影響。

kumaGCN：使用潛在的圖結(jié)構(gòu)來(lái)補(bǔ)充句法特征。

R-GAT：提出了一種面向方面項(xiàng)的依賴樹(shù)結(jié)構(gòu)，然后使用關(guān)系圖注意網(wǎng)絡(luò)GAT對(duì)面向方面項(xiàng)的依賴樹(shù)進(jìn)行編碼。

DGEDT：設(shè)計(jì)了一個(gè)雙向轉(zhuǎn)換結(jié)構(gòu)，以相互增強(qiáng)的方式融合句法依賴知識(shí)和具有豐富上下文信息知識(shí)。IMA：提出一個(gè)基于交互矩陣和全局注意力機(jī)制模型，以提高模型性能。

CPA-SA：設(shè)計(jì)了兩個(gè)不對(duì)稱的上下文權(quán)重函數(shù)來(lái)調(diào)整方面項(xiàng)的權(quán)重。

本文選擇的對(duì)比模型包括從2016—2022年的經(jīng)典基線模型，其中ATAE-LSTM、IAN、RAM、MGAN、TNet、AEN-GloVe、IMA、CPA-SA僅考慮文本的上下文語(yǔ)義信息， ASGCN、CDT、BiGCN、kumaGCN、R-GAT、DGEDT在上下文語(yǔ)義信息的基礎(chǔ)上加入了文本的結(jié)構(gòu)信息。

3.3 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文網(wǎng)絡(luò)模型基于PyTorch深度學(xué)習(xí)框架搭建，模型具體訓(xùn)練環(huán)境如表3所示。

為了防止模型出現(xiàn)過(guò)擬合的情況，本文模型在BiLSTM層與圖卷積層設(shè)置了不同的dropout值，具體參數(shù)設(shè)置如表4所示。

3.4 評(píng)價(jià)指標(biāo)

為便于與模型對(duì)比，選擇ABSA任務(wù)通用評(píng)價(jià)指標(biāo)準(zhǔn)確率accuracy和宏平均Macro-F1來(lái)評(píng)價(jià)本文模型的性能，表5中分別用Acc和F1代指。

3.5 實(shí)驗(yàn)結(jié)果與分析

3.5.1 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文方法在ABSA任務(wù)上的性能，使用3.1節(jié)中的實(shí)驗(yàn)數(shù)據(jù)集開(kāi)展實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5所示。

3.5.2 實(shí)驗(yàn)結(jié)果分析

據(jù)表5結(jié)果分析得知，本文模型F1值達(dá)到最優(yōu)，特別是在Rest16上高出最優(yōu)對(duì)比模型1.32%，但是準(zhǔn)確率欠佳。為探究造成此結(jié)果的原因，對(duì)數(shù)據(jù)集中不同標(biāo)簽數(shù)據(jù)在測(cè)試集上的準(zhǔn)確率以及訓(xùn)練集中數(shù)據(jù)分布情況進(jìn)行統(tǒng)計(jì)，結(jié)果如圖3所示。

據(jù)圖3分析可知，Twitter數(shù)據(jù)集標(biāo)簽為0的數(shù)據(jù)預(yù)測(cè)準(zhǔn)確率最高，其在訓(xùn)練集中占比最高；其他三個(gè)數(shù)據(jù)集則相反。因此，猜測(cè)是因數(shù)據(jù)分布不均導(dǎo)致準(zhǔn)確率欠佳。為驗(yàn)證此猜想，在Rest16訓(xùn)練集和測(cè)試集中分別新增143條和50條標(biāo)簽為0的數(shù)據(jù)，重新訓(xùn)練模型，預(yù)測(cè)標(biāo)簽0的準(zhǔn)確率如圖4所示。

據(jù)圖4分析可知，向Rest16數(shù)據(jù)集中添加標(biāo)簽為0后的數(shù)據(jù)后，模型對(duì)標(biāo)簽為0的數(shù)據(jù)預(yù)測(cè)準(zhǔn)確率有了明顯提升，由此驗(yàn)證了數(shù)據(jù)分布不平衡會(huì)造成模型的預(yù)測(cè)性能差異。

3.6 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的基于語(yǔ)序知識(shí)的WoGCN模塊和基于SenticNet結(jié)合注意力機(jī)制增強(qiáng)句法依賴的SAGCN模塊，以及方面項(xiàng)權(quán)重分配策略對(duì)提升模型性能的有效性，在保持參數(shù)一致的情況下進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表6所示。

a）WKDGCN-WoG：模型中不使用WoGCN模塊。

b）WKDGCN-SAG：模型中不使用SAGCN模塊。

c）WKDGCN-Att：SAGCN模塊中不使用注意力機(jī)制對(duì)文本的句法依賴知識(shí)進(jìn)行增強(qiáng)。

d）WKDGCN-Sen：SAGCN模塊中不使用SenticNet詞典的情感知識(shí)對(duì)文本的句法依賴知識(shí)進(jìn)行增強(qiáng)。

e）WKDGCN-SA：SAGCN模塊中不使用注意力機(jī)制和SenticNet詞典的情感知識(shí)對(duì)文本的句法依賴知識(shí)進(jìn)行增強(qiáng)，僅使用文本句法依賴。

f）WKDGCN（*）：模型中不使用本文提出的權(quán)重分配策略。

綜上，在移除本文模塊的情況下，模型的性能均有明顯下降，從而印證了本文方法對(duì)提升模型性能的有效性。

3.7 案例分析

為了更好地分析本文提出的基于語(yǔ)序知識(shí)構(gòu)建的文本依賴對(duì)情感分析結(jié)果的影響，以“The food is very good”為例進(jìn)行分析。“food”是該樣例的方面項(xiàng)，“good”是表達(dá)其情感極性的意見(jiàn)項(xiàng)，據(jù)圖2可知方面項(xiàng)“food”與意見(jiàn)項(xiàng)“good”沒(méi)有直接的聯(lián)系，導(dǎo)致GCN不能直接將意見(jiàn)項(xiàng)的情感信息聚合到方面項(xiàng)，進(jìn)而增大了模型錯(cuò)誤分類情感極性的概率，而使用本文提出的基于語(yǔ)序知識(shí)構(gòu)建文本依賴的方法能夠直接在方面項(xiàng)“food”與表達(dá)其情感極性的意見(jiàn)項(xiàng)“good”之間建立聯(lián)系，并且能根據(jù)式（3）計(jì)算出不同詞組之間的依賴程度（例如詞組“The-food”和詞組“food-good”之間的依賴程度分別是0.574 3和0.577 9），使得GCN能直接將意見(jiàn)項(xiàng)的情感信息聚合到意見(jiàn)項(xiàng)，從而增強(qiáng)模型的性能。兩者對(duì)比如圖5所示。

最后，使用五條數(shù)據(jù)在僅基于句法知識(shí)的圖卷積網(wǎng)絡(luò)模型ASGCN［5］與本文提出的基于語(yǔ)序知識(shí)雙通道圖卷積網(wǎng)絡(luò)WKDGCN模型上驗(yàn)證模型的性能，結(jié)果如表7所示。

從表7可以看出，文本中無(wú)論是有多個(gè)方面項(xiàng)還是單個(gè)方面項(xiàng)，本文模型依靠語(yǔ)序依賴都能夠捕捉到正確的意見(jiàn)項(xiàng)，相比于對(duì)比模型具有更高的可靠性。

使用Twitter評(píng)論數(shù)據(jù)集、關(guān)于飯店的評(píng)論數(shù)據(jù)集Rest14和Rest16以及筆記本電腦評(píng)論數(shù)據(jù)集Lap14進(jìn)行實(shí)驗(yàn)，本文模型均有不俗表現(xiàn)，說(shuō)明模型適用于多種領(lǐng)域類型的文本數(shù)據(jù)，因此該模型可以擴(kuò)展應(yīng)用到各行各業(yè)的數(shù)據(jù)上，為各個(gè)行業(yè)的運(yùn)營(yíng)情況作出針對(duì)性的指導(dǎo)，具有較大的應(yīng)用前景。比如：根據(jù)電商產(chǎn)品評(píng)論分析出用戶對(duì)商品具體某些方面的情感極性傾向，進(jìn)而分析出用戶對(duì)產(chǎn)品的購(gòu)買欲，以便商家根據(jù)情感傾向制定相應(yīng)的營(yíng)銷策略；根據(jù)人們對(duì)某熱點(diǎn)事件的網(wǎng)絡(luò)評(píng)論分析出人們對(duì)事件某些方面的情感關(guān)注點(diǎn)，以便相關(guān)部門正確預(yù)測(cè)由事件引導(dǎo)的輿論走向并制定出相應(yīng)的政策等。

4 結(jié)束語(yǔ)

本文提出基于語(yǔ)序知識(shí)構(gòu)建文本依賴，并基于語(yǔ)序依賴構(gòu)建雙通道圖卷積網(wǎng)絡(luò)模型WKDGCN用于方面級(jí)情感分析，模型由基于語(yǔ)序依賴的WoGCN模塊與情感知識(shí)結(jié)合注意力機(jī)制增強(qiáng)的句法圖卷積網(wǎng)絡(luò)SAGCN模塊組成。此外，設(shè)計(jì)了一種權(quán)重分配策略，在放大方面項(xiàng)權(quán)重的同時(shí)保持上下文權(quán)重一致，避免方面項(xiàng)錯(cuò)誤的計(jì)算與重要特征的語(yǔ)義相關(guān)性，最終在Twitter、Rest14、Lap14、Rest16四個(gè)公開(kāi)數(shù)據(jù)集上取得了較對(duì)比模型更好的效果。同時(shí)消融實(shí)驗(yàn)的結(jié)果與分析也驗(yàn)證了本文方法的有效性。

雖然本文方法在ABSA任務(wù)上取得了不錯(cuò)的效果，但在特征融合策略上的工作仍有欠缺；另外，模型的泛化性還有待提升，對(duì)預(yù)測(cè)效果不好的數(shù)據(jù)類型可以使用過(guò)采樣、數(shù)據(jù)增強(qiáng)等方式提升模型在這些類型數(shù)據(jù)上的泛化性能。以后工作可以圍繞這兩個(gè)方面繼續(xù)開(kāi)展，以提升模型的性能。

參考文獻(xiàn)：

［1］Liu Bing， Zhang Lei. A survey of opinion mining and sentiment analysis［M］//Aggarwal C C， Zhai Chengxiang. Mining Text Data. Boston， MA： Springer， 2012： 415-463.

［2］Yu Chengze， Wu Taiqiang， Li Jiayi， et al. SynGen： a syntactic plug-and-play module for generative aspect-based sentiment analysis［C］//Proc of IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， NJ： IEEE Press， 2023： 1-5.

［3］李帥， 徐彬， 韓祎珂， 等. SS-GCN： 情感增強(qiáng)和句法增強(qiáng)的方面級(jí)情感分析模型［J］. 計(jì)算機(jī)科學(xué)， 2023，50（3）： 3-11. （Li Shuai， Xu Bin， Han Yike， et al. SS-GCN： aspect-based sentiment analysis model with affective enhancement and syntactic enhancement［J］. Computer Science， 2023，50（3）： 3-11.）

［4］Liang Bin， Su Hang， Gui Lin， et al. Aspect-based sentiment analysis via affective knowledge enhanced graph convolutional networks［J］. Knowledge-Based Systems， 2022，235： 107643.

［5］Zhang Chen， Li Qiuchi， Song Dawei. Aspect-based sentiment classification with aspect-specific graph convolutional networks［EB/OL］. （2019-10-13）. https：//arxiv.org/abs/1909.03477.

［6］陽(yáng)影， 張凡， 李天瑞. 基于情感知識(shí)的雙通道圖卷積網(wǎng)絡(luò)的方面級(jí)情感分析［J］. 計(jì)算機(jī)科學(xué)， 2023，50（5）： 230-237. （Yang Ying， Zhang Fan， Li Tianrui. Aspect-based sentiment analysis based on dual-channel graph convolutional network with sentiment know-ledge［J］. Computer Science， 2023，50（5）： 230-237.）

［7］Thet T T， Na J C， Khoo C S G. Aspect-based sentiment analysis of movie reviews on discussion boards［J］. Journal of Information Science， 2010，36（6）： 823-848.

［8］Wiebe J， Wilson T， Cardie C. Annotating expressions of opinions and emotions in language［J］. Language Resources and Evaluation， 2005，39： 165-210.

［9］Zaremba W， Sutskever I， Vinyals O. Recurrent neural network regularization［EB/OL］. （2015-02-19）. https：//arxiv.org/abs/1409.2329.

［10］Hochreiter S， Schmidhuber J. Long short-term memory［J］. Neural Computation， 1997，9（8）： 1735-1780.

［11］Dey R， Salem F M. Gate-variants of gated recurrent unit（GRU） neural networks［C］//Proc of the 60th International Midwest Symposium on Circuits and Systems. Piscataway， NJ： IEEE Press， 2017： 1597-1600.

［12］Tang Duyu， Qin Bing， Feng Xiaocheng， et al. Effective LSTMs for target-dependent sentiment classification［EB/OL］. （2016-09-29）. https：//arxiv.org/abs/1512.01100.

［13］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need ［EB/OL］. （2023-08-02）. https：//arxiv.org/abs/1706.03762.

［14］Wang Yequan， Huang Minlie， Zhu Xiaoyan， et al. Attention-based LSTM for aspect-level sentiment classification［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 606-615.

［15］Tan Xingwei， Cai Yi， Zhu Changxi. Recognizing conflict opinions in aspect-level sentiment classification with dual attention networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 3426-3431.

［16］Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. （2019-05-24）. https：//arxiv.org/abs/1810.04805.

［17］Sun Chi， Huang Luyao， Qiu Xipeng. Utilizing BERT for aspect-based sentiment analysis via constructing auxiliary sentence［EB/OL］. （2019-03-22）. https：//arxiv.org/abs/1903.09588.

［18］Xu Hu， Liu Bing， Shu Lei， et al. BERT post-training for review reading comprehension and aspect-based sentiment analysis［EB/OL］. （2019-05-04）. https：//arxiv.org/abs/1904.02232.

［19］Lu Haonan， Huang S H， Ye Tian， et al. Graph star net for genera-lized multi-task learning ［EB/OL］. （2019-06-21）. https：//arxiv.org/abs/1906.12330.

［20］Liang Yunlong， Meng Fandong， Zhang Jinchao， et al. A dependency syntactic knowledge augmented interactive architecture for end-to-end aspect-based sentiment analysis［J］. Neurocomputing， 2021， 454： 291-302.

［21］趙振， 朱振方， 王文玲. 基于關(guān)系特征交互的方面級(jí)情感分類方法［J］. 計(jì)算機(jī)技術(shù)與發(fā)展， 2023，33（3）： 187-193. （Zhao Zhen， Zhu Zhenfang， Wang Wenling. An aspect-level sentiment classification method based on relational feature interaction［J］. Computer Technology and Development， 2023，33（3）： 187-193.）

［22］Pang Shiguan， Xue Yun， Yan Zehao， et al. Dynamic and multi-channel graph convolutional networks for aspect-based sentiment analysis［C］//Proc of Findings of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2021： 2627-2636.

［23］Tang Siyu， Chai Heyan， Yao Ziyi， et al. Affective knowledge enhanced multiple-graph fusion networks for aspect-based sentiment analysis［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computatio-nal Linguistics， 2022： 5352-5362.

［24］楊春霞， 徐奔， 桂強(qiáng)， 等. 基于注意力與雙通道網(wǎng)絡(luò)的方面級(jí)情感分析［J］. 南京信息工程大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2023，15（1）： 42-50. （Yang Chunxia， Xu Ben， Gui Qiang， et al. Aspect-based sentiment analysis based on attention and dual-channel network［J］. Journal of Nanjing University Science & Technology： Natural Science Edition， 2023， 15（1）： 42-50.）

［25］Li Ruifan， Chen Hao， Feng Fangxiang， et al. Dual graph convolutional networks for aspect-based sentiment analysis［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2021： 6319-6329.

［26］Xing Bowen， Tsang I. DigNet： digging clues from local-global interactive graph for aspect-level sentiment classification［EB/OL］. （2022-05-02）. https：//arxiv.org/abs/2201.00989.

［27］Pennington J， Socher R， Manning C D. GloVe： global vectors for word representation［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1532-1543.

［28］Ma Dehong， Li Sujian， Zhang Xiaodong， et al. Interactive attention networks for aspect-level sentiment classification［C］//Proc of the 26th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2017： 4068-4074.

［29］Chen Peng， Sun Zhongqian， Bing Lidong， et al. Recurrent attention network on memory for aspect sentiment analysis［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017： 452-461.

［30］Fan Feifan， Feng Yansong， Zhao Dongyan. Multi-grained attention network for aspect-level sentiment classification［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2018： 3433-3442.

［31］Li Xin， Bing Lidong， Lam W， et al. Transformation networks for target-oriented sentiment classification［C］//Proc of the 56th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2018： 946-956.

［32］Song Youwei， Wang Jiahai， Jiang Tao， et al. Targeted sentiment classification with attentional encoder network［C］//Proc of International Conference on Artificial Neural Networks. Berlin： Springer， 2019： 93-103.

［33］Sun Kai， Zhang Richong， Mensah S， et al. Aspect-level sentiment analysis via convolution over dependency tree［C］//Proc of Confe-rence on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 5679-5688.

［34］Zhang Mi， Qian Tieyun. Convolution over hierarchical syntactic and lexical graphs for aspect level sentiment analysis［C］/Proc of Confe-rence on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2020： 3540-3549.

［35］Chen Chenhua， Teng Zhiyang， Zhang Yue. Inducing target-specific latent structures for aspect sentiment classification［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2020： 5596-5607.

［36］Wang Kai， Shen Weizhou， Yang Yunyi， et al. Relational graph attention network for aspect-based sentiment analysis［EB/OL］. （2020-04-26）. https：//arxiv.org/abs/2004.12362.

［37］Tang Hao， Ji Donghong， Li Chenliang， et al. Dependency graph enhanced dual-transformer structure for aspect-based sentiment classification［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 6578-6588.

［38］Wang Xiaodi， Pan Xiaoge， Yang Tian， et al. Aspect-based sentiment analysis using interaction matrix and global attention neural network［J］. The Computer Journal， 2023， 66（5）： 1167-1183.

［39］Huang Bo， Guo Ruyan， Zhu Yimin， et al. Aspect-level sentiment analysis with aspect-specific context position information［J］. Know-ledge-Based Systems， 2022， 243（C）： 108473.