任曉奎 郭 娟 陶志勇

1(遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院 遼寧 葫蘆島 125105)2(阜新力興科技有限責(zé)任公司 遼寧 葫蘆島 125100)

0 引 言

情感分析[1]在博客、微博、在線社區(qū)、維基百科等在線平臺(tái)上處理數(shù)據(jù)已成為一個(gè)研究熱點(diǎn)。其中，主題情感分析擴(kuò)展了其典型框架設(shè)置，即極性與特定主題(或產(chǎn)品特性)而不是整個(gè)文本單元相關(guān)聯(lián)來(lái)聚集情感分析。

深度學(xué)習(xí)模型[2]在沒(méi)有人工標(biāo)注的特征工程[3-4]前提下，應(yīng)用于特定主題情感分析時(shí)，準(zhǔn)確率很高，特別是神經(jīng)序列模型，但傳統(tǒng)的神經(jīng)序列模型如長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)以一種隱式的方式捕捉上下文信息[7]，而不能明確顯示某一主題的線索。此外，現(xiàn)有的研究在有效地融入深層神經(jīng)網(wǎng)絡(luò)的外部知識(shí)(如情感或常識(shí)知識(shí))方面存在不足，情感常識(shí)的引入可以訪問(wèn)有限的訓(xùn)練數(shù)據(jù)中沒(méi)有的外部信息。這些知識(shí)可以有效地幫助識(shí)別情感極性。

自Pang等[8]提出有關(guān)情感分析的工作之后，情感分析發(fā)展為基于傳統(tǒng)的方法和基于深度學(xué)習(xí)的方法。隨著Hinton等[9]提出深度學(xué)習(xí)之后，越來(lái)越多的學(xué)習(xí)任務(wù)被應(yīng)用到自然語(yǔ)言處理中。然而，神經(jīng)網(wǎng)絡(luò)模型在處理主題級(jí)情感分類主題還處于起步階段，代表性的方法有Kiritchenko[11]等基于特征的支持向量機(jī)和Dong[12]等研究的神經(jīng)網(wǎng)絡(luò)模型。最近，目標(biāo)依賴情感的分類可以從考慮目標(biāo)信息中獲益，如Tang[4]等研究的目標(biāo)依賴LSTM(TD-LSTM)和目標(biāo)連接LSTM(TC-LSTM)。然而，這些模型只能考慮給定目標(biāo)，而不能考慮主題信息。

本文探討了主題情感分類中主題與情感極性的潛在關(guān)聯(lián)。為了捕獲針對(duì)給定主題的重要信息，設(shè)計(jì)了一種基于全局注意力和位置注意力的混合注意力LSTM，并在基準(zhǔn)數(shù)據(jù)集[8]上評(píng)估所提出的方法，經(jīng)驗(yàn)證該方法是有效的。

1 相關(guān)工作

1.1 特定主題情感分析

特定主題情感分類是一種細(xì)粒度情感分類任務(wù)，目標(biāo)是對(duì)于給定的句子和句子中出現(xiàn)的主題，推測(cè)句子對(duì)于主題的情感極性[13]。早期關(guān)于主題情感分析的論文主要依靠特征工程來(lái)描述句子。在表征學(xué)習(xí)深度學(xué)習(xí)的成功激勵(lì)下，Lakkaraju等[14]利用深度神經(jīng)網(wǎng)絡(luò)生成句子嵌入(句子的密集向量表示)，然后作為低維特征向量反饋給分類器。情感極性如Positive、Negative和Neutral。例如，“這個(gè)標(biāo)準(zhǔn)間的床很寬敞，但是通風(fēng)效果很差！”對(duì)于主題“床”是Positive，而對(duì)于主題“通風(fēng)效果”的極性是Negative。此外，通過(guò)注意力機(jī)制可以增強(qiáng)表達(dá)，對(duì)于句子中的每個(gè)單詞，注意力向量都量化了它的情感顯著性以及與給定主題的相關(guān)性。

1.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

LSTM是由Hochreiter和Schmidhuber[5]首次提出的，用來(lái)解決RNN面臨的梯度消失和爆炸問(wèn)題。典型的LSTM單元包含三個(gè)門(mén)：遺忘門(mén)、輸入門(mén)和輸出門(mén)。這些門(mén)決定了在當(dāng)前時(shí)間步驟中流入和流出的信息。LSTM單元狀態(tài)數(shù)學(xué)表示如下：

fi=σ(Wf[xi,hi-1]+bf)

(1)

Ii=σ(WI[xi,hi-1]+bI)

(2)

(3)

(4)

oi=σ(Wo[xi,hi-1]+bo)

(5)

hi=oi×tanh(Ci)

(6)

fi、Ii、oi分別表示遺忘門(mén)、輸入門(mén)和輸出門(mén)；Wf、WI、Wo、bf、bI、bo代表每個(gè)門(mén)的權(quán)重矩陣和偏置量。Ci為單元狀態(tài)，hi為隱藏輸出。單個(gè)LSTM通常只從一個(gè)方向?qū)π蛄羞M(jìn)行編碼。然而，兩個(gè)LSTM也可以堆疊起來(lái)作為雙向使用編碼器，簡(jiǎn)稱雙向LSTM。對(duì)于一個(gè)句子s={w1,w2,…,wL}，雙向LSTM產(chǎn)生一系列隱藏的輸出，如式(7)所示：

(7)

式中：H的每個(gè)元素都是前向和后向LSTM單元對(duì)應(yīng)的隱藏輸出的連接。

1.3 情感常識(shí)知識(shí)庫(kù)

情感常識(shí)知識(shí)庫(kù)[15-16]通常被作為特征的外部來(lái)源。神經(jīng)序列模型[17]利用知識(shí)概念的低維度連續(xù)表示作為附加輸入。情感常識(shí)知識(shí)庫(kù)，如AffectNet[18]，包含了與一組豐富的情感屬性相關(guān)的概念，這些情感屬性不僅提供了概念層面的特征，而且還提供了指向各個(gè)主題及其情感極性的語(yǔ)義鏈接。摘要“情感網(wǎng)”是一種基于詞匯的情感知識(shí)庫(kù)，它是由帶有情感極性注釋的詞義同步構(gòu)成的。情感網(wǎng)絡(luò)既不包含常識(shí)性概念，也不包含情感性屬性，這是情感空間的主要特征。因此，必須使用隨機(jī)初始化的嵌入來(lái)表示敏感詞網(wǎng)絡(luò)同步集。與AffectiveSpace一樣，字同步集映射到相同的100維嵌入。借助詞義消歧工具，將句子中的每個(gè)單詞映射到其詞義。

2 融合常識(shí)知識(shí)庫(kù)的混合注意力LSTM模型

本節(jié)詳細(xì)描述了提出的基于混合注意力的神經(jīng)體系結(jié)構(gòu)：首先提出了特定主題情感分析的任務(wù)定義；接著，描述了全局注意力模型和位置注意力模型；最后介紹了嵌入LSTM單元的知識(shí)嵌入擴(kuò)展流程。

2.1 任務(wù)定義

給出一個(gè)句子s={w1,w2,…,wi,wm}由m個(gè)詞組成的句子和出現(xiàn)在句子s中一個(gè)主題詞wi，特定主題情感分析旨在確定句子s對(duì)wi的情感極性。在處理文本語(yǔ)料庫(kù)時(shí)，將每個(gè)單詞映射為一個(gè)低維的連續(xù)實(shí)值向量，也稱為詞嵌入[19]。所有的詞向量堆疊在一個(gè)詞嵌入矩陣L∈Rd×|V|中，其中d為詞向量的維數(shù)，|V|為詞匯量的大小。wi的嵌入詞被標(biāo)記為ei∈Rd×1，它是嵌入矩陣L中的一列。

2.2 詞向量輸入層

句子s={w1,w2,…,wi,…,wn}，主題詞wi，將每個(gè)詞映射到它的嵌入向量，這些詞向量被分成兩部分：特定主題表示和上下文內(nèi)容表示。圖1說(shuō)明了神經(jīng)結(jié)構(gòu)是如何工作的。給定一個(gè)句子s，首先執(zhí)行查找操作，將輸入的單詞轉(zhuǎn)換為詞嵌入。基于LSTM的序列編碼器，將詞嵌入轉(zhuǎn)換為隱藏輸出序列。注意力組件構(gòu)建在隱藏輸出之上。注意力層包含一個(gè)全局注意力和位置注意力，通過(guò)兩次注意力層從外部存儲(chǔ)器m中自適應(yīng)地選擇權(quán)重突出的單詞，最后將輸出的向量作為句子的主題表示，進(jìn)一步作為主題級(jí)情感分析的特征。

圖1 融合外部常識(shí)庫(kù)的混合注意力LSTM模型

2.3 全局注意力

本文使用混合注意力模型來(lái)計(jì)算一個(gè)句子關(guān)于一個(gè)主題的表示。語(yǔ)境詞對(duì)句子語(yǔ)義的貢獻(xiàn)并不相等。此外，如果關(guān)注不同的主題，一個(gè)詞的重要性應(yīng)該是不同的。這里再次以“這個(gè)標(biāo)準(zhǔn)間的床很寬敞，但是通風(fēng)效果很差!”為例。對(duì)于主題“床”，語(yǔ)境詞“寬敞”比“差”更重要。相反，對(duì)于主題“通風(fēng)效果”而言，“差”比“寬敞t”更重要。

注意力模型以外部存儲(chǔ)器m∈Rd×k和主題向量vaspect∈Rd×1作為輸入，輸出連續(xù)向量vec∈Rd×1。輸出向量是m中每一記憶內(nèi)存的加權(quán)和，即：

(8)

gi=tanh(Watt[mi;vaspect]+batt)

(9)

然后獲得{g1,g2,…，gk}，我們將它們輸入softmax函數(shù)來(lái)計(jì)算最終的重要度分?jǐn)?shù){α1,α2,…，αk}。

(10)

這種注意力模型有兩個(gè)優(yōu)點(diǎn)：該模型可以根據(jù)每個(gè)內(nèi)存mi片段與主題的語(yǔ)義相關(guān)性，為其自適應(yīng)地分配一個(gè)注意力權(quán)重；這種注意力模型很容易與其他組件一起以端到端方式進(jìn)行訓(xùn)練。

2.4 位置注意力

從直覺(jué)上講，一個(gè)離主題更近的上下文詞應(yīng)該比一個(gè)更遠(yuǎn)的詞更重要。所以將語(yǔ)境詞的位置定義為它與原句序列中的相位的絕對(duì)距離。在此基礎(chǔ)上，研究了在注意力模型中對(duì)位置信息進(jìn)行編碼的一種策略。詳情如下：

根據(jù)Sukhbaatar等[20]，計(jì)算內(nèi)存記憶向量mi：

mi=ei?vi

(11)

式中：?代表元素的相乘，vi∈Rd×1是一個(gè)單詞wi的位置向量，vi中的每個(gè)元素計(jì)算如下：

(12)

式中：n是句子的長(zhǎng)度，k是層的數(shù)目,li是wi的位置。

這種注意力模型有效地結(jié)合了位置信息，使主題詞wi的位置向量有更加精確的抽象表示，所研究的位置信息編碼方法仍有進(jìn)一步提高準(zhǔn)確性的空間。

2.5 常識(shí)知識(shí)庫(kù)的嵌入

為了提高情感分類的準(zhǔn)確性，將常識(shí)知識(shí)作為知識(shí)來(lái)源嵌入到序列編碼器中。將Ma[18]等提出的AffectNet的概念映射到連續(xù)的低維嵌入，同時(shí)不丟失原始空間中的語(yǔ)義和情感關(guān)聯(lián)。基于這種新的概念空間，本文將概念混合的信息嵌入到深度神經(jīng)序列模型中，以更好地對(duì)句子的特定主題情感進(jìn)行分類。AffectNet的目標(biāo)是賦予這些概念兩個(gè)重要的角色：(1) 協(xié)助過(guò)濾從一個(gè)時(shí)間步驟到下一個(gè)時(shí)間步驟的信息和(2) 提供補(bǔ)充的信息給記憶單元。在每次步驟i中，假設(shè)可以觸發(fā)一組知識(shí)概念候選對(duì)象并將其映射到dc維空間。K概念的集合為{μi,1,μi,2,…,μi,K}。將候選嵌入合并到單個(gè)向量中，如公式所示：

(13)

例如表1所示，“Rotten fish”這一概念具有食物種類屬性——食品可以直接與餐廳或食品質(zhì)量等主題相關(guān)，而“joy”等屬性對(duì)情感極性的劃分具有正向作用。

表1 AffectNet 斷定的實(shí)例

2.6 模型訓(xùn)練

我們將上一層中的輸出向量作為特征，并將其提供給softmax層，以進(jìn)行主題情感分類。該模型通過(guò)最小化情感分類的交叉熵誤差進(jìn)行監(jiān)督訓(xùn)練，其損失函數(shù)如下所示，其中T表示所有訓(xùn)練實(shí)例，C為情感類別集合，(s;a)表示句子主題。

(14)

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

為了驗(yàn)證該模型的有效性，實(shí)驗(yàn)基于中文情感挖掘的酒店評(píng)論語(yǔ)料(ChnSentiCorp)，ChnSentiCorp是中科院譚松波博士收集整理的一個(gè)酒店評(píng)論的語(yǔ)料，其公布的語(yǔ)料規(guī)模為10 000篇，被分為4個(gè)子集，本文選用ChnSentiCorp-Htl-ba-6000數(shù)據(jù)來(lái)進(jìn)行實(shí)驗(yàn)，其為平衡語(yǔ)料，正負(fù)類各3 000篇。評(píng)價(jià)指標(biāo)是分類準(zhǔn)確率。數(shù)據(jù)集的統(tǒng)計(jì)樣例如表2所示。

表2 數(shù)據(jù)集的統(tǒng)計(jì)樣例

3.2 詞向量訓(xùn)練

本文選用維基百科的中文語(yǔ)料作為訓(xùn)練的語(yǔ)料庫(kù)，利用Google開(kāi)源的word2vec tool來(lái)進(jìn)行詞向量的訓(xùn)練，然后對(duì)語(yǔ)料庫(kù)進(jìn)行預(yù)處理，并以此作為本模型的輸入層。本文采用的word2vec tool的skip-gram模型，上下文窗口大小設(shè)置為5，詞向量維度大小設(shè)為50，采樣值大小設(shè)為1e-3，如果有詞語(yǔ)不在預(yù)訓(xùn)練好的詞向量中的話，則采用隨機(jī)初始化方式來(lái)進(jìn)行表示。

3.3 超參數(shù)設(shè)置與訓(xùn)練

本文提出的方案建模過(guò)程主要采用Tensorflow深度學(xué)習(xí)框架?；陂L(zhǎng)短期記憶網(wǎng)絡(luò)和混合注意力模型的方法進(jìn)行情感分析的實(shí)現(xiàn)方案在前文已經(jīng)有了介紹。模型構(gòu)建采用的是Tensorflow的序列模型框架，首先添加Embedding層作為模型的輸入，其次添加LSTM模型，并在LSTM的模型后添加混合注意力機(jī)制層，在得到句子的向量表示時(shí)對(duì)評(píng)論文本中不同的詞賦予不同的權(quán)值，然后由這些不同權(quán)值的詞向量加權(quán)得到句子的向量表示。之后采用sigmoid函數(shù)對(duì)文本進(jìn)行分類。另外，在模型訓(xùn)練過(guò)程中，采用dropout以防止過(guò)擬合。最后，編譯過(guò)程采用梯度下降算法進(jìn)行權(quán)重的更新迭代。

3.4 實(shí)驗(yàn)對(duì)比

將本文提出的融合常識(shí)知識(shí)庫(kù)的混合注意力長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)主題情感分析模型與以下方法進(jìn)行對(duì)比：

1) LSTM?；鶞?zhǔn)LSTM模型不能獲取到特定主題信息，盡管主題不同，但是得到的情感極性一致。

2) TD-LSTM[4]。使用前向和后向LSTM方法在主題詞之前和之后提取信息。但是由于沒(méi)有在TD-LSTM模型中應(yīng)用注意力機(jī)制，并不能夠獲取文本中對(duì)于給定主題的重要詞信息。

3) TC-LSTM[21]。改進(jìn)了TD-LSTM模型。TC-LSTM模型[20]在原來(lái)TD-LSTM的基礎(chǔ)上，將主題向量引入一個(gè)句子的特征表示。能夠更好地利用主題詞和文本中每個(gè)詞，將其連接組成一個(gè)文本的特征表示。

4) ATAE-LSTM[3]。AE-LSTM中使用主題信息的方式讓主題詞向量在注意力權(quán)重中起到了重要的作用。Wang提出的ATAE-LSTM模型，將主題詞向量連接到每個(gè)單詞的輸入向量。

5) AE-ATT-LSTM[21]。將融合主題特征的深層注意力LSTM模型應(yīng)用到特定主題情感分類任務(wù)上。通過(guò)共享權(quán)重的雙向LSTM將主題詞向量和文本詞向量進(jìn)行訓(xùn)練，得到主題特征和文本特征融合，經(jīng)過(guò)深層注意力機(jī)制在得到相應(yīng)分類結(jié)果。

3.5 實(shí)驗(yàn)結(jié)果與分析

本文采用嵌入外部常識(shí)的混合注意力LSTM方法在ChnSentiCorp-Htl-ba-600數(shù)據(jù)集上進(jìn)行模型訓(xùn)練和交叉驗(yàn)證，得到的結(jié)果如表3所示。

表3 各模型實(shí)驗(yàn)結(jié)果對(duì)比

其中Three-way是數(shù)據(jù)集中的三種情感極性(Positive，Negative， Neutral)和兩種情感極性(Positive，Negative)的分類準(zhǔn)確率結(jié)果。本文所采用的方法較之其他模型得到了提高，因此可以得出，特定主題下嵌入外部常識(shí)知識(shí)庫(kù)和混合注意力機(jī)制的引入，提高了分類準(zhǔn)確率。

4 結(jié) 語(yǔ)

針對(duì)特定主題情感分類任務(wù)中，大多數(shù)方法對(duì)注意力機(jī)制的引用沒(méi)有綜合考慮位置影響，所以分類效果不準(zhǔn)確。通過(guò)采用全局注意力和位置注意力的混合注意力機(jī)制來(lái)改進(jìn)長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM，該方法能夠準(zhǔn)確捕捉上下文信息。同時(shí)將有關(guān)情感概念的知識(shí)常識(shí)庫(kù)融合到深度神經(jīng)網(wǎng)絡(luò)端到端的情感分類訓(xùn)練中，使分類更加準(zhǔn)確。通過(guò)在數(shù)據(jù)集上不同的對(duì)比實(shí)驗(yàn)表明，該方法在準(zhǔn)確率上有了進(jìn)一步的提升，從而能更好地解決特定主題情感分析任務(wù)。在未來(lái)的研究中，將句子結(jié)構(gòu)和詞性(比如解析結(jié)果)整合到深層記憶網(wǎng)絡(luò)中進(jìn)行改進(jìn)，是下一步研究的重點(diǎn)。