馮 超,黎海輝,趙洪雅,薛 云,唐婧堯

(1.云南廣電網(wǎng)絡(luò)集團(tuán)有限公司，云南 昆明 650100；2.深圳職業(yè)技術(shù)學(xué)院 工業(yè)中心，廣東 深圳 518055；3.華南師范大學(xué) 物理與電信工程學(xué)院，廣東 廣州 510006)

0 引言

近年來(lái)，隨著互聯(lián)網(wǎng)的飛速發(fā)展，大量的消費(fèi)平臺(tái)和社交網(wǎng)絡(luò)平臺(tái)逐漸走進(jìn)人們的生活[1]。在消費(fèi)平臺(tái)上，消費(fèi)者消費(fèi)之后往往會(huì)留下一段關(guān)于產(chǎn)品優(yōu)劣的評(píng)論；在社交網(wǎng)絡(luò)平臺(tái)上，網(wǎng)民也會(huì)留下關(guān)于某個(gè)事件的看法。這些含有情感信息的評(píng)論無(wú)論對(duì)企業(yè)或者政府而言都是極具價(jià)值的，企業(yè)可以通過(guò)分析消費(fèi)者的評(píng)論，了解產(chǎn)品的不足，以達(dá)到改善產(chǎn)品性能的目的；政府也可以通過(guò)總結(jié)網(wǎng)民對(duì)事件的看法以引導(dǎo)事件的發(fā)展方向?？梢?jiàn)，如何從富含情感信息的評(píng)論中挖掘出有用的信息已成為自然語(yǔ)言處理領(lǐng)域的熱點(diǎn)研究方向之一。

情感分析是自然語(yǔ)言處理中重要的子領(lǐng)域，可分為句子級(jí)別情感分析、篇章級(jí)別情感分析和屬性級(jí)別情感分析[2]。句子級(jí)別情感分析對(duì)整個(gè)句子的單一情感極性(積極、中性和消極)進(jìn)行判斷。篇章一般由多個(gè)句子構(gòu)成，所以篇章級(jí)別情感分析在于根據(jù)構(gòu)成該篇章的多個(gè)句子判斷其整體情感極性[3]。由此可知，句子級(jí)別和篇章級(jí)別情感分析均為對(duì)評(píng)論文本的單一情感極性進(jìn)行判斷，而在產(chǎn)品以及產(chǎn)品屬性日益多樣化的今天，消費(fèi)者一般會(huì)留下一段關(guān)于產(chǎn)品多個(gè)屬性評(píng)論的評(píng)論文本，例如“The food was extremely tasty,but the service was dreadful”。這是一段來(lái)自酒店的評(píng)論，通過(guò)分析可以看出屬性詞“food”和“service”的情感極性分別是積極和消極，而以獲取整體情感極性為目的的句子和篇章級(jí)別情感分析明顯不適合這種含有多個(gè)屬性詞且對(duì)每個(gè)屬性詞表達(dá)情感不一致的情況，所以，屬性級(jí)別情感分析逐漸受到學(xué)術(shù)界和商業(yè)界的關(guān)注。

屬性級(jí)別情感分析需要找出特定屬性詞在上下文(本文將評(píng)論中屬性詞之外的部分稱(chēng)作屬性詞的上下文)中所關(guān)聯(lián)部分以達(dá)到判斷特定屬性詞情感傾向的目的[4]。因此，屬性級(jí)別情感分析需要充分利用屬性詞和上下文的關(guān)系，即不同屬性詞在上下文中關(guān)注的詞也有所不同[5]，如當(dāng)識(shí)別屬性詞picture quality情感極性的時(shí)候，clear-cut自然能與屬性詞picture quality產(chǎn)生聯(lián)系。除此之外，在屬性級(jí)別情感分析中，不同詞對(duì)于不同屬性詞情感極性判斷的作用也是不一致的，如情感詞。因此，在近些年屬性級(jí)別情感分析工作中，如何通過(guò)上下文和屬性詞的交互式學(xué)習(xí)，從而達(dá)到識(shí)別出上下文中對(duì)屬性詞、重要詞的目的已經(jīng)成為了研究重點(diǎn)。常見(jiàn)的交互方式有如下幾種：第一，將屬性詞向量與上下文向量進(jìn)行拼接；第二，設(shè)計(jì)上下文和屬性詞之間的交互注意力機(jī)制。但是簡(jiǎn)單的拼接并不能達(dá)到識(shí)別出上下文中對(duì)屬性詞重要詞的效果。因此，設(shè)計(jì)上下文和屬性詞之間的注意力機(jī)制成為了學(xué)術(shù)界研究熱點(diǎn)之一，但是單層的注意力機(jī)制難以達(dá)到將上下文和屬性詞相互關(guān)聯(lián)的目的。而且，大多數(shù)屬性級(jí)別情感分析工作將上下文與屬性詞之間的注意力機(jī)制直接作為上下文和屬性詞的表達(dá)，本文認(rèn)為該做法在一定程度上忽略了原上下文和屬性詞表示的作用。因此本文提出使用層次注意力機(jī)制和門(mén)機(jī)制(Aspect-level Sentiment Analysis Based on Hierarchical Attention and Gate Networks,HAG)來(lái)處理屬性級(jí)別情感分析任務(wù)，主要貢獻(xiàn)如下：

首先，本文認(rèn)為單層交互注意力機(jī)制并不能很好地將上下文和屬性詞相互關(guān)聯(lián)，而且難以識(shí)別出上下文中對(duì)于屬性詞比較重要的詞。例如，在對(duì)“The food is average and dreadful serving speed”中的“The food”進(jìn)行情感分析的時(shí)候，單層交互注意力機(jī)制會(huì)同時(shí)加大“average”和“dreadful”的權(quán)重，而“dreadful”的情感強(qiáng)度通常更大，“dreadful”的權(quán)重一般會(huì)大于 “average”，而多層交互注意力機(jī)制將進(jìn)一步對(duì)詞語(yǔ)進(jìn)行加權(quán)，調(diào)節(jié)“average”和“dreadful”的權(quán)重。本文使用層次注意力機(jī)制先獲取上下文對(duì)屬性詞的影響矩陣，更新屬性詞的表示，進(jìn)一步得到上下文的表示。此方式利用上下文與屬性詞之間的注意力機(jī)制使屬性詞的表達(dá)更加準(zhǔn)確，再利用新的屬性詞表示與上下文的注意力機(jī)制，使得上下文的表達(dá)更加準(zhǔn)確，通過(guò)層次注意力機(jī)制的設(shè)計(jì)在上下文和屬性詞之間進(jìn)行了充分的關(guān)聯(lián)，同時(shí)對(duì)不同詞進(jìn)行了加權(quán)以達(dá)到判斷屬性級(jí)別情感分類(lèi)的目的。

其次，在以往屬性級(jí)別情感分析的研究工作中，通常將屬性詞對(duì)上下文的影響矩陣當(dāng)作是上下文的最終表示，將上下文對(duì)屬性詞的影響矩陣當(dāng)作是屬性詞的表示,該做法忽略了上下文和屬性詞原表示的作用。本文認(rèn)為影響矩陣只能作為對(duì)原表示調(diào)整的依據(jù)，而不能直接作為上下文和屬性詞的直接表示，因此，本文將二者相加，在一定程度上保留了原始信息。

最后，本文認(rèn)為門(mén)機(jī)制的選擇作用能夠用于選擇對(duì)于不同屬性詞上下文中重要的詞,因此本文通過(guò)門(mén)機(jī)制改變上下文的表達(dá)，豐富上下文的表示。實(shí)驗(yàn)結(jié)果表明門(mén)機(jī)制在一定程度上提高了模型的準(zhǔn)確率。

1 相關(guān)工作

從Hu等[5]提出需要關(guān)注產(chǎn)品不同屬性的情感表達(dá)起，便出現(xiàn)了大量屬性級(jí)別情感分析工作，這些工作大致可以分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的屬性級(jí)別情感分析方法、基于深度學(xué)習(xí)的情感分析方法、深度學(xué)習(xí)與注意力相結(jié)合的方法和其他混合的方法。本文提出的基于層次注意力機(jī)制和門(mén)機(jī)制的屬性級(jí)別情感分析屬于近幾年成為研究熱點(diǎn)的深度學(xué)習(xí)和注意力機(jī)制相結(jié)合的方法，本節(jié)將從注意力機(jī)制和門(mén)機(jī)制兩部分具體介紹屬性級(jí)別情感分析的相關(guān)工作。

1.1 注意力機(jī)制

近些年來(lái)，神經(jīng)網(wǎng)絡(luò)的發(fā)展加快了屬性級(jí)別情感分析的研究，CNN、RNN、LSTM、GRU等經(jīng)典的神經(jīng)網(wǎng)絡(luò)更是在提取文本隱藏特征方面有著顯著的效果；另一方面，在自然語(yǔ)言處理中，注意力機(jī)制能夠選擇出有助于特定自然語(yǔ)言處理任務(wù)的詞，在減小計(jì)算量的同時(shí)，可以大大減少噪聲的引入。因此，在近些年的自然語(yǔ)言處理任務(wù)中，神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合成為了主流方法。在屬性級(jí)別情感分析上，注意力機(jī)制的使用一定程度上可以選擇出有助不同屬性情感分類(lèi)的詞，從而提高了實(shí)驗(yàn)準(zhǔn)確率，因此深度學(xué)習(xí)與注意力機(jī)制相結(jié)合的方法也成為了屬性級(jí)別情感分析的主要研究方法。Wang等[6]在處理屬性識(shí)別情感分析任務(wù)時(shí)提出了兩個(gè)模型。第一個(gè)模型通過(guò)平均池化將屬性詞矩陣表示轉(zhuǎn)化成屬性詞詞向量，然后通過(guò)屬性詞詞向量與上下文隱藏表示之間的注意力機(jī)制對(duì)上下文表示進(jìn)行加權(quán)。相對(duì)于第一個(gè)模型，第二個(gè)模型在上下文進(jìn)入LSTM之前先將屬性詞向量與上下文矩陣表示進(jìn)行拼接。由于使用了注意力機(jī)制，兩個(gè)模型都取得了較好的實(shí)驗(yàn)結(jié)果，后者通過(guò)拼接進(jìn)一步加大了上下文和屬性詞之間的關(guān)聯(lián)性，因此實(shí)驗(yàn)效果也有一定的提升。自此，在處理屬性級(jí)別情感分析任務(wù)的大多數(shù)工作中都引入了注意力機(jī)制。

Ma等[7]將上下文和屬性詞之間的關(guān)聯(lián)定義為交互，并認(rèn)為不僅屬性詞對(duì)上下文具有選擇作用，而且上下文對(duì)屬性詞也有選擇作用，因此提出使用二者之間的交互注意力機(jī)制來(lái)處理屬性級(jí)別情感分析任務(wù)。Huang等[8]提出使用Attention-over-Attention來(lái)增強(qiáng)上下文和屬性詞之間的交互程度。Zhang等[9]提出運(yùn)用協(xié)同注意力機(jī)制處理屬性級(jí)別情感分析任務(wù)，具體為：將評(píng)論句子分成屬性詞上文、屬性詞和屬性詞下文，然后將三部分兩兩進(jìn)行協(xié)同注意力機(jī)制。Huang等[10]通過(guò)語(yǔ)法感知和圖注意力機(jī)制得到屬性級(jí)別情感極性分布。以上工作均通過(guò)單層注意力機(jī)制加深上下文和屬性詞之間的交互。Li等[4]先通過(guò)協(xié)同注意力機(jī)制在上下文和屬性詞的表示中分別融入彼此之間的影響，然后通過(guò)自注意力機(jī)制進(jìn)一步對(duì)自身表示進(jìn)行加權(quán)。Li等[11]將上下文向量與位置向量進(jìn)行拼接，經(jīng)過(guò)GRU之后再與通過(guò)注意力機(jī)制得到的屬性詞向量進(jìn)行拼接，最后再通過(guò)注意力機(jī)制得到含有屬性詞情感信息的最終表示。該工作通過(guò)多層注意力機(jī)制使得上下文的表示能夠更加準(zhǔn)確地表達(dá)出屬性詞對(duì)應(yīng)的情感信息。Song等[12]分別將上下文詞嵌入與屬性詞詞嵌入輸入到多頭注意力機(jī)制，分別得到上下文和屬性詞的表示，然后通過(guò)二者之間的注意力機(jī)制得到二者之間的交互向量，通過(guò)分類(lèi)器進(jìn)一步得到屬性詞對(duì)應(yīng)情感極性分布。Zheng等[13]先將屬性詞隱藏表示與屬性詞上文和屬性詞下文運(yùn)用注意力機(jī)制，得到屬性詞上文向量和屬性詞下文向量，然后將屬性詞上文向量和屬性詞下文向量分別與屬性詞隱藏表示進(jìn)行注意力機(jī)制。該工作先通過(guò)注意力機(jī)制更新了屬性詞上文和屬性詞下文的表示，使得屬性詞上文和屬性詞下文的表示更加準(zhǔn)確，然后進(jìn)一步獲取屬性詞的表示，層次注意力機(jī)制的交互和互相選擇作用使實(shí)驗(yàn)效果得到進(jìn)一步的提升。

1.2 門(mén)機(jī)制

屬性級(jí)別情感分析在于從上下文中選擇出針對(duì)當(dāng)前屬性詞情感分析有用的詞，從而改變上下文表示，以達(dá)到判斷屬性詞情感極性分布的效果，而門(mén)機(jī)制在選擇和提取信息時(shí)有顯著的效果。因此，也存在大量的使用門(mén)機(jī)制處理屬性級(jí)別情感分析的任務(wù)。Xue等[14]先使用CNN提取屬性詞和上下文的信息，然后通過(guò)門(mén)機(jī)制(gating mechanisms)選擇上下文和屬性詞中的有用信息。Liang等[15]處理屬性級(jí)別情感分析任務(wù)時(shí)設(shè)計(jì)了兩種不同的門(mén)機(jī)制，使上下文的表示融入了屬性詞信息，同時(shí)提取和選擇出了有用的上下文的信息，該方法在兩個(gè)數(shù)據(jù)集上也取得了較好的實(shí)驗(yàn)效果。故本文使用了門(mén)機(jī)制選擇出上下文中有用的信息，以此豐富了上下文的表達(dá)，實(shí)驗(yàn)結(jié)果證明，門(mén)機(jī)制的設(shè)計(jì)在一定程度上豐富了上下文的表達(dá)，對(duì)實(shí)驗(yàn)準(zhǔn)確率的提高有一定的作用，進(jìn)一步提高了模型的有效性。

2 模型

圖1 總體模型結(jié)構(gòu)

2.1 層次注意力機(jī)制

層次注意力機(jī)制為本文的兩個(gè)核心之一，其目的在于通過(guò)層次注意力機(jī)制的加權(quán)，使上下文和屬性詞相關(guān)聯(lián)，表達(dá)更加準(zhǔn)確。本文先通過(guò)上下文對(duì)屬性詞運(yùn)用注意力機(jī)制，得到上下文對(duì)屬性詞的影響矩陣，從而更新屬性詞的表示；然后通過(guò)屬性詞新的表示，進(jìn)一步對(duì)上下文進(jìn)行注意力機(jī)制，得到屬性詞對(duì)上下文的影響矩陣，進(jìn)一步更新上下文的表示。注意力機(jī)制的層次設(shè)計(jì)，先獲取屬性詞的表示，再獲取上下文的表示，使屬性詞和上下文獲取了更加準(zhǔn)確的表示，同時(shí)加深了上下文和屬性詞之間的關(guān)聯(lián)性；通過(guò)對(duì)原表示與影響矩陣相加再加權(quán)的結(jié)構(gòu)設(shè)計(jì)，在一定程度上保留了原有信息，豐富了新表示的信息，通過(guò)多次加權(quán)結(jié)構(gòu)，進(jìn)一步體現(xiàn)了上下文和屬性詞中不同詞對(duì)于屬性級(jí)別情感分析不同作用性的思想，具體結(jié)構(gòu)如圖2所示。

圖2 層次注意力機(jī)制結(jié)構(gòu)圖

在通過(guò)GRU得到屬性詞隱藏狀態(tài)HT和上下文隱藏狀態(tài)HC之后，為了在屬性詞與上下文之間運(yùn)用注意力機(jī)制，首先需要得到屬性詞與上下文之間的注意力權(quán)重矩陣，如式(1)所示。

(1)

首先利用上下文對(duì)屬性詞進(jìn)行加權(quán)，進(jìn)而得到新的屬性詞表示，如式(2)所示。

2.2 門(mén)機(jī)制

圖3 門(mén)機(jī)制結(jié)構(gòu)圖

然后通過(guò)門(mén)機(jī)制對(duì)上下文的表示進(jìn)行調(diào)整，并把調(diào)整后的上下文表示當(dāng)作是屬性詞對(duì)上下文表示的影響矩陣，具體門(mén)機(jī)制計(jì)算如式(9)～式(11)所示。

其中，wA∈Rdh、wg∈Rdh、ws∈Rdh為參數(shù)向量,relu、tanh為激活函數(shù)，Pi∈Rdh為屬性詞向量通過(guò)門(mén)機(jī)制對(duì)上下文中第i個(gè)向量進(jìn)行選擇后的表示，因此可以得到屬性詞向量對(duì)上下文中每個(gè)向量進(jìn)行選擇后的表示P∈Rn×dh。P為經(jīng)過(guò)屬性詞經(jīng)過(guò)門(mén)機(jī)制對(duì)上下文進(jìn)行選擇后表示，本文這部分看作是屬性詞對(duì)上下文的影響矩陣。因此將P與上下文原表示進(jìn)行相加，并通過(guò)參數(shù)矩陣進(jìn)行調(diào)整，如式(12)所示。

將上下文向量表示1、屬性詞向量表示和上下文向量表示2進(jìn)行拼接之后得到r∈R3dh,并通過(guò)分類(lèi)器得到屬性詞在上下文對(duì)應(yīng)的情感極性分布，具體如式(15)～式(16)所示。

其中C為情感分類(lèi)的總數(shù)，在本文中C=3，即積極、中性和消極，gi為屬性詞在評(píng)論中真實(shí)的情感分布，yi為通過(guò)模型對(duì)屬性詞情感的預(yù)測(cè)，Θ為所有參數(shù)的集合，λr為L(zhǎng)2正則化的參數(shù)，λl為更新參數(shù)的學(xué)習(xí)率。

3 實(shí)驗(yàn)

為驗(yàn)證基于層次注意力機(jī)制和門(mén)機(jī)制的模型的性能，本節(jié)將主要對(duì)實(shí)驗(yàn)設(shè)置、實(shí)驗(yàn)結(jié)果與分析和案例分析進(jìn)行詳細(xì)介紹。

3.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：本文使用的數(shù)據(jù)集為公開(kāi)的英文屬性級(jí)別情感分析數(shù)據(jù)集SemEval 2014 Task 4[16]和Twitter[17]數(shù)據(jù)集，其中SemEval 2014 Task 4由兩部分組成，分別是筆記本領(lǐng)域和餐廳領(lǐng)域。數(shù)據(jù)集的具體分布情況如表1所示。

表1 數(shù)據(jù)集統(tǒng)計(jì)

評(píng)價(jià)指標(biāo)：本文使用平均準(zhǔn)確率來(lái)衡量基于層次注意力機(jī)制和門(mén)機(jī)制的屬性級(jí)別情感分析模型的性能，具體平均準(zhǔn)確率計(jì)算如式(17)所示。

其中，TP表示為真實(shí)類(lèi)別為正例，預(yù)測(cè)類(lèi)別也為正例；TN表示為真實(shí)類(lèi)別為反例，預(yù)測(cè)類(lèi)別也為反例；FP表示為真實(shí)類(lèi)別為反例，預(yù)測(cè)類(lèi)別為正例；FN表示為真實(shí)類(lèi)別為正例，預(yù)測(cè)類(lèi)別為反例。

超參數(shù):本文通過(guò)使用GloVe詞向量對(duì)詞進(jìn)行初始化，詞向量維度為200，同時(shí)GRU隱藏層的維度也設(shè)置為200；對(duì)于不在GloVe詞典中的詞均在[-0.1,0.1]之間隨機(jī)取值，所有參數(shù)矩陣和向量的初始值均在[-0.1,0.1]之間隨機(jī)選取，偏置的初始值均設(shè)置為0；為對(duì)參數(shù)進(jìn)行調(diào)整，本文使用的優(yōu)化器是Adam，學(xué)習(xí)率設(shè)置為0.01，同時(shí)為了防止過(guò)擬合，dropout設(shè)置為0.5。

3.2 實(shí)驗(yàn)結(jié)果與分析

為了衡量本文提出的基于層次注意力機(jī)制和門(mén)機(jī)制模型(HAG)的性能，本選取了7個(gè)基準(zhǔn)模型與之進(jìn)行比較，具體如下：

SVM：通過(guò)簡(jiǎn)單的特征工程提取特征之后，再使用SVM分類(lèi)器進(jìn)行分類(lèi)。

TD-LSTM：將評(píng)論分成屬性詞上文與屬性詞、屬性詞與屬性詞下文兩部分，然后將兩部分分別經(jīng)過(guò)兩個(gè)LSTM之后的最后一個(gè)隱藏向量進(jìn)行拼接，再通過(guò)softmax分類(lèi)器分類(lèi)[18]。

ATAE-LSTM：將平均池化后的屬性詞向量與上下文中每個(gè)詞向量進(jìn)行拼接，得到新的上下文矩陣，然后將新的上下文矩陣通過(guò)LSTM得到上下文隱藏狀態(tài)，再與屬性詞向量拼接；接下來(lái)，通過(guò)注意力機(jī)制選擇出對(duì)于屬性詞而言上下文中較為重要的詞，最后通過(guò)softmax分類(lèi)器分類(lèi)[6]。

MemNet：通過(guò)上下文和屬性詞之間的多層注意力機(jī)制加大有助于屬性級(jí)別情感分析詞的權(quán)重[19]。

IAN：通過(guò)上下文和屬性詞之間的交互注意力機(jī)制加大對(duì)于屬性詞而言上下文中重要詞的權(quán)重和加大對(duì)于上下文而言屬性詞中重要詞的權(quán)重[7]。

RAM：將評(píng)論句子輸入雙向LSTM之后，利用多層注意力機(jī)制綜合句子中的重要特征[20]。

Co-attention：首先將評(píng)論分為屬性詞上文、屬性詞和屬性詞下文，然后通過(guò)屬性詞上文與屬性詞、屬性詞與屬性詞下文和屬性詞上文與屬性詞下文之間的協(xié)同注意力機(jī)制得到6個(gè)向量表示，將這6個(gè)向量進(jìn)行拼接之后輸入到softmax分類(lèi)器得到屬性詞的情感分布[9]。

7個(gè)基準(zhǔn)模型與HAG的對(duì)比實(shí)驗(yàn)結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果

表2中,“*”表示作者根據(jù)原論文描述復(fù)現(xiàn)后的實(shí)驗(yàn)結(jié)果。根據(jù)實(shí)驗(yàn)結(jié)果可以看出，傳統(tǒng)機(jī)器學(xué)習(xí)的SVM在三個(gè)數(shù)據(jù)集上的效果較差。相對(duì)于SVM，TD-LSTM由于使用了LSTM提取特征同時(shí)考慮了屬性詞信息，因此在三個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)效果有所提高。ATAE-LSTM通過(guò)注意力機(jī)制進(jìn)一步選擇出針對(duì)不同屬性詞而言，在上下文中不同詞的重要性，因此在一定程度上提高了實(shí)驗(yàn)的準(zhǔn)確率。MemNet通過(guò)上下文和屬性詞之間的多層注意力機(jī)制進(jìn)一步調(diào)整了上下文的表示。IAN認(rèn)為上下文和屬性詞是相互選擇，因此利用交互注意力機(jī)制，通過(guò)上下文對(duì)屬性詞的表示進(jìn)行加權(quán)、屬性詞對(duì)上下文進(jìn)行加權(quán)。與MemNet相比，IAN更加充分地利用了屬性詞信息，并通過(guò)上下文對(duì)屬性詞的表示進(jìn)行調(diào)整，使得實(shí)驗(yàn)結(jié)果更加準(zhǔn)確。Co-attention通過(guò)屬性詞上文與屬性詞、屬性詞與屬性詞下文和屬性詞上文與屬性詞下文之間的協(xié)同注意力機(jī)制，使得屬性詞上文、屬性詞和屬性詞下文三者之間相互選擇。本文使用層次注意力機(jī)制，在屬性詞的表示中加入了上下文的影響，進(jìn)一步得到屬性詞的表示，使得屬性詞的表示更加準(zhǔn)確；在更新屬性詞表示之后再更新上下文的表示，層次性注意力機(jī)制結(jié)果設(shè)計(jì)使得上下文的表示更加準(zhǔn)確，相對(duì)于使用自注意力機(jī)制，層次注意力機(jī)制的增加在一定程度上提高了準(zhǔn)確率。其次，本文利用門(mén)機(jī)制進(jìn)一步地豐富了上下文的表示。實(shí)驗(yàn)結(jié)果表明,HAG在Restaurant和Twitter數(shù)據(jù)集上取得了較好的實(shí)驗(yàn)結(jié)果，在Laptop數(shù)據(jù)集低于RAM，這是由于Laptop數(shù)據(jù)集中含有如否定轉(zhuǎn)移、轉(zhuǎn)折等結(jié)構(gòu)較為復(fù)雜的評(píng)論，RAM運(yùn)用多重注意力機(jī)制綜合難句結(jié)構(gòu)中的重要特征，提高了實(shí)驗(yàn)的準(zhǔn)確率。

3.3 案例分析

本節(jié)從餐廳領(lǐng)域選取了一條評(píng)論作為案例進(jìn)行分析，通過(guò)注意力機(jī)制系數(shù)的可視化以驗(yàn)證模型的有效性。如圖4所示，圖的左側(cè)為屬性詞，右側(cè)為屬性詞對(duì)應(yīng)的上下文，圖中顏色的深淺分別代表了注意力機(jī)制系數(shù)α和β+γ的大小。通過(guò)分析可知，當(dāng)屬性詞“place”在上下文中所關(guān)注的詞為“cool”，而在案例中“so cool and”三個(gè)詞的系數(shù)較大，當(dāng)屬性詞變?yōu)?“service”的時(shí)候，“is prompt and curious”幾個(gè)詞的權(quán)重加大，“cool”的權(quán)重降低，由此可見(jiàn)模型的合理性。

圖4 案例分析

4 結(jié)論

本文提出了一種基于層次注意力機(jī)制和門(mén)機(jī)制的屬性級(jí)別情感分析方法，通過(guò)層次注意力機(jī)制先利用上下文對(duì)屬性詞進(jìn)行選擇作用，并將選擇后的屬性詞表示看作是上下文對(duì)屬性詞的影響矩陣，從而更新屬性詞的表示，在得到屬性詞新的表示之后，再更新上下文的表示，以此在屬性詞的表示中融入上下文，在上下文的表示中融入屬性詞信息，層次性的注意力機(jī)制結(jié)構(gòu)設(shè)計(jì)使得上下文和屬性詞的表示更加準(zhǔn)確。其次，本文通過(guò)門(mén)機(jī)制選擇出針對(duì)于屬性詞而言上下文中有用的信息，進(jìn)一步豐富了上下文的表示，實(shí)驗(yàn)結(jié)果證明本文提出的HAG模型的有效性。未來(lái)的工作中，我們將會(huì)考慮利用更多的信息以豐富詞的嵌入表示，如加入一些詞性信息、情感信息和位置信息等，在詞向量的使用上將會(huì)考慮信息更加豐富的BERT詞向量,同時(shí)會(huì)對(duì)復(fù)雜句式的屬性級(jí)別情感做進(jìn)一步研究。