潘曉英 趙 普 趙 倩

（西安郵電大學(xué)計(jì)算機(jī)學(xué)院 西安 710121）

1 引言

隨著互聯(lián)網(wǎng)時(shí)代的來(lái)臨，人們已經(jīng)習(xí)慣于網(wǎng)上消費(fèi)，在電商平臺(tái)上購(gòu)物并對(duì)購(gòu)買的產(chǎn)品進(jìn)行評(píng)論已經(jīng)成為了日常生活的一部分，并由此產(chǎn)生出大量的評(píng)論信息。這些評(píng)論信息中通常包含著消費(fèi)者的態(tài)度和想法，對(duì)于研究者和商家均具有極高的分析價(jià)值。因此，如何使用機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等技術(shù)來(lái)挖掘和提取這些信息中蘊(yùn)含的觀點(diǎn)傾向性和情感信息［1］，成為了自然語(yǔ)言處理領(lǐng)域中一個(gè)重要的研究方向，引起了國(guó)內(nèi)外眾多研究人員的廣泛關(guān)注。

當(dāng)前，文本情感分類主流的研究方法依然圍繞著機(jī)器學(xué)習(xí)展開(kāi)，通過(guò)人工構(gòu)建特征工程，將文本進(jìn)行數(shù)據(jù)化，以此進(jìn)行后續(xù)的研究學(xué)習(xí)。例如支持向量機(jī)、KNN算法、決策樹(shù)等［2］。這些方法雖然簡(jiǎn)單有效，但是算法抽象能力較弱，人們?cè)谶@些方法的改進(jìn)上做了大量工作，如人工建立情感詞典、引入文本結(jié)構(gòu)特征和語(yǔ)法特征等，至今仍有許多應(yīng)用價(jià)值。但是新環(huán)境下，互聯(lián)網(wǎng)文本具有數(shù)據(jù)量大、不均勻、語(yǔ)法結(jié)構(gòu)不固定等特點(diǎn)，這導(dǎo)致上述方法難以繼續(xù)發(fā)展。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)和基于長(zhǎng)短時(shí)記憶模型（LSTM）也被應(yīng)用于文本的情感分類中。但電商評(píng)論語(yǔ)言結(jié)構(gòu)通常不規(guī)范，新詞、組合詞較多，文本多口語(yǔ)化，并且在對(duì)一條評(píng)論文本進(jìn)行情感分類時(shí)，也并非文本中所有的部分對(duì)于其情感傾向的影響都是相同的。因此，上述方法雖然取得了一些不錯(cuò)的成果，但是仍然存在明顯的不足。

為解決上述問(wèn)題，本文提出基于雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和注意力機(jī)制的情感分類模型。為避免人工構(gòu)造特征工程和不合理分詞的影響，將單獨(dú)的字作為文本的最小組成單元，使用預(yù)訓(xùn)練的字向量作為輸入特征，利用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)來(lái)學(xué)習(xí)文本特征。然后通過(guò)注意力機(jī)制來(lái)計(jì)算文本各部分的影響權(quán)重，用于最終的情感分類，并將評(píng)論文本按照其影響權(quán)重進(jìn)行了可視化。實(shí)驗(yàn)結(jié)果表明，該方法取得了比目前主流機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法更好的效果，驗(yàn)證了本文方法的有效性。

2 相關(guān)工作

情感分類通過(guò)分析文本中蘊(yùn)含的情感信息，來(lái)判斷用戶對(duì)于某一事件或某一事物的態(tài)度。Pang［3］等早期利用詞袋模型來(lái)進(jìn)行文本的情感分類，后續(xù)很多人嘗試設(shè)計(jì)更合理的文本特征來(lái)提高情感分類的正確率。但這些方法都是基于分析句法結(jié)構(gòu)搭配情感詞典的方法或者類似方法來(lái)進(jìn)行構(gòu)建文本特征。Pang使用了樸素貝葉斯和支持向量機(jī)等方法，在電影評(píng)論數(shù)據(jù)集上取得了不錯(cuò)的成績(jī)；Taboada［4］等根據(jù)詞性的不同建立包含情感極性和強(qiáng)度的詞典，然后對(duì)句子進(jìn)行加權(quán)評(píng)分然后得出情感分類；胡熠［5］等用基于n-gram的方法進(jìn)行語(yǔ)言建模，然后使用支持向量機(jī)進(jìn)行情感分析；肖紅［6］等通過(guò)將句法分析和情感詞典進(jìn)行結(jié)合來(lái)進(jìn)行網(wǎng)絡(luò)輿情傾向性研究。

為了擺脫傳統(tǒng)機(jī)器學(xué)習(xí)中特征工程的影響，人們開(kāi)始將深度學(xué)習(xí)方法應(yīng)用于自然語(yǔ)言處理領(lǐng)域。Hinton［7］提出了詞向量（Word Embedding）的思想，該思想通過(guò)將詞語(yǔ)分布式的映射到低維空間中，一方面解決了向量稀疏問(wèn)題，另一方面保存了詞語(yǔ)間語(yǔ)義層面的關(guān)系；隨后，Bengio［8］等實(shí)現(xiàn)了基于三層神經(jīng)網(wǎng)絡(luò)的 n-gram語(yǔ)言模型；Mikolov［9］等提出了word2vec模型，實(shí)現(xiàn)了CBOW和Skip-gram兩種方法。詞向量的出現(xiàn)極大地促進(jìn)了深度學(xué)習(xí)在自然語(yǔ)言領(lǐng)域的進(jìn)展，劉政［10］等利用不同大小的卷積核來(lái)構(gòu)建文本特征，以此進(jìn)行謠言的分類識(shí)別；李陽(yáng)輝［11］等將改進(jìn)的降噪自動(dòng)編碼器應(yīng)用于微博的情感分析；Zhou［12］等則將卷積神經(jīng)網(wǎng)絡(luò)和LSTM模型進(jìn)行結(jié)合用于文本的分類；Wang［13］等利用LSTM模型來(lái)預(yù)測(cè)推特的情感極性；Tang［14］等將LSTM模型進(jìn)行擴(kuò)展，突出上下文對(duì)目標(biāo)詞情感傾向的影響來(lái)提高分類效果。

隨著深度學(xué)習(xí)的不斷深入，注意力機(jī)制成為神經(jīng)網(wǎng)絡(luò)研究的一個(gè)熱點(diǎn)。注意力機(jī)制在圖像處理［15］中已經(jīng)取得不錯(cuò)的效果。隨后Bahdanau［16］等將注意力機(jī)制應(yīng)用于機(jī)器翻譯，并取得了非常優(yōu)秀的效果，目前已經(jīng)被谷歌用于超大規(guī)模的神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)當(dāng)中。而后續(xù)基于注意力機(jī)制的一系列工作，如關(guān)聯(lián)提取［17］、文本摘要［18］等，均說(shuō)明其理論在自然語(yǔ)言處理領(lǐng)域的先進(jìn)性和適用性。

深度學(xué)習(xí)已經(jīng)被證明在諸多領(lǐng)域的有效性，本文提出基于雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和注意力機(jī)制的模型來(lái)進(jìn)行情感分類。該方法能學(xué)習(xí)到更加完整的文本特征，提升文本中關(guān)鍵部分的影響，從而提高情感分類的正確率。

3 模型構(gòu)建

本文構(gòu)建的用于情感分類的模型結(jié)構(gòu)如圖1所示。

圖1 基于BLSTM和注意力機(jī)制的情感分類模型

該模型主要由三個(gè)部分組成:輸入層，基于BLSTM的特征提取層和注意力層。本文模型整體流程:將文本序列用字向量進(jìn)行建模，得到文本的字向量表示，然后通過(guò)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)來(lái)進(jìn)行語(yǔ)義編碼得到文本語(yǔ)義特征，最后通過(guò)注意力層來(lái)抽取文本語(yǔ)義特征中重要的部分并提高這部分的權(quán)重來(lái)生成最終的文本特征，以此進(jìn)行情感分類工作。

3.1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)的擴(kuò)展，其隱藏層神經(jīng)元中構(gòu)建了記憶存儲(chǔ)單元，可以發(fā)現(xiàn)和建立輸入特征之間的長(zhǎng)距離依賴關(guān)系，因此可以有效處理循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中存在的梯度消失和梯度爆炸問(wèn)題。

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)由四個(gè)部分構(gòu)成，輸入門(mén)it，Wih、Wix、bi為輸入門(mén)的權(quán)重矩陣:

遺忘門(mén) ft，Wfh、Wfx、bf為其權(quán)重矩陣:

以上門(mén)結(jié)構(gòu)的輸出將同當(dāng)前的輸入xt，上一時(shí)刻LSTM單元的輸出ht-1，以及上一時(shí)刻的記憶單元中存儲(chǔ)的Ct-1用于決定是否更新記憶單元的狀態(tài)并遺忘之前存儲(chǔ)的狀態(tài):

最后輸出門(mén)輸出記憶單元狀態(tài)改變后的值:

3.2 字向量表示

由于電商評(píng)論多具有新詞多、合成詞使用頻繁等特點(diǎn)，如果直接本進(jìn)行分詞訓(xùn)練詞向量有可能會(huì)割裂語(yǔ)義。例如“這家酒店真是高大上”中，“高大上”為縮寫(xiě)組成的合成詞，對(duì)其直接進(jìn)行分詞會(huì)導(dǎo)致訓(xùn)練出的詞向量語(yǔ)義信息不夠準(zhǔn)確。為了更好地得到文本的語(yǔ)義編碼，本文將使用預(yù)訓(xùn)練的字向量作為輸入特征。

3.3 特征提取層

為了得到包含有上下文語(yǔ)義信息的文本特征，本文使用雙向的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)來(lái)進(jìn)行語(yǔ)義特征提取。雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)包含兩層方向相反的網(wǎng)絡(luò)結(jié)構(gòu)。對(duì)于句子si，正向網(wǎng)絡(luò)的學(xué)習(xí)方向從x1到xT，反向網(wǎng)絡(luò)的學(xué)習(xí)方向從xT到x1:

對(duì)于每個(gè)輸入的字xt，將正向?qū)拥妮敵龊头聪驅(qū)拥妮敵鲞M(jìn)行拼接，得到包含該位置上下文語(yǔ)義的特征ht，這樣ht中包含了上下文的語(yǔ)義信息，但焦點(diǎn)依然集中在字xt上:

經(jīng)過(guò)雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)即可得到句子si中每個(gè)字的語(yǔ)義特征。

3.4 注意力層

對(duì)于評(píng)論文本而言，句子中的每個(gè)字對(duì)于其最終情感分類的影響是不同的，為了擴(kuò)大關(guān)鍵部分的影響力，需要找到它們。因此，在雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計(jì)了一種注意力機(jī)制來(lái)提取文本中對(duì)于情感分類相對(duì)重要的部分，并提高其在最終生成的文本特征中的權(quán)重。

對(duì)句子si，計(jì)算其每個(gè)字的影響力權(quán)重。首先得到每個(gè)字激活后的語(yǔ)義特征，然后通過(guò)softmax函數(shù)來(lái)計(jì)算文本中每個(gè)字的影響權(quán)重at:

最后將經(jīng)過(guò)雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的語(yǔ)義表示和影響權(quán)重進(jìn)行乘積求和，得到包含了句子si全部語(yǔ)義信息的特征Ci:

將其作為最后全連接層的輸入，通過(guò)全連接層:

3.5 模型訓(xùn)練

用上文中求得的文本特征進(jìn)行最終的情感分類。本文根據(jù)數(shù)據(jù)集的特點(diǎn)，將測(cè)試集分為正向和負(fù)向兩類文本。對(duì)于句子si，通過(guò)本文模型訓(xùn)練得到其對(duì)應(yīng)情感類別τ∈K的輸出 fω()si，K表示所有的情感類別。通過(guò)softmax函數(shù)來(lái)得到每個(gè)情感類別的概率:

對(duì)上式的負(fù)似然對(duì)數(shù)來(lái)作為訓(xùn)練的損失函數(shù)，并使用adam算法來(lái)優(yōu)化:

其中N表示訓(xùn)練數(shù)據(jù)集，sj和yj表示數(shù)據(jù)集中一條句子和對(duì)應(yīng)的情感類別。這里加入了對(duì)參數(shù)的正則化來(lái)防止過(guò)擬合，λ為正則化系數(shù)，ω為所有參數(shù)。

4 實(shí)驗(yàn)設(shè)計(jì)與分析

4.1 實(shí)驗(yàn)環(huán)境設(shè)置

本文實(shí)驗(yàn)環(huán)境配置如表1所示。

表1 實(shí)驗(yàn)環(huán)境及配置

4.2 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理

本文所用數(shù)據(jù)集為譚松波博士整理的攜程網(wǎng)酒店評(píng)論數(shù)據(jù)集，并在此基礎(chǔ)上另外使用爬蟲(chóng)抓取攜程網(wǎng)正負(fù)項(xiàng)評(píng)論文本各2000條文本進(jìn)行擴(kuò)充，實(shí)驗(yàn)數(shù)據(jù)集規(guī)模為5000條正向評(píng)論，5000條負(fù)向評(píng)論。

在對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練字向量之前，對(duì)數(shù)據(jù)進(jìn)行了預(yù)處理:

1）去除特殊字符，只留下中文字符；

2）進(jìn)行繁簡(jiǎn)轉(zhuǎn)換，將數(shù)據(jù)中的繁體字轉(zhuǎn)換為簡(jiǎn)體字；

3）對(duì)于字向量進(jìn)行分字處理。

4.3 字向量的訓(xùn)練

為了訓(xùn)練出更高質(zhì)量的字向量，本文將維基百科的中文語(yǔ)料和實(shí)驗(yàn)數(shù)據(jù)集一起進(jìn)行了字向量的訓(xùn)練，以此作為后續(xù)實(shí)驗(yàn)的輸入數(shù)據(jù)。文本使用gensim［19］工具中的skip-gram模型進(jìn)行字向量的訓(xùn)練，上下文窗口大小為8，詞向量的維度為100。

另外，為了進(jìn)行對(duì)比實(shí)驗(yàn)，本文在同樣的語(yǔ)料基礎(chǔ)上，進(jìn)行了詞向量的訓(xùn)練，訓(xùn)練參數(shù)保持一致，上下文窗口大小為8，詞向量的維度為100。

4.4 模型參數(shù)設(shè)置

模型中各層神經(jīng)單元數(shù)如果較少，則無(wú)法有效學(xué)習(xí)到句子的特征，神經(jīng)單元數(shù)目過(guò)多則容易過(guò)擬合。通過(guò)多次實(shí)驗(yàn)，在本數(shù)據(jù)集上，設(shè)置單層長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的神經(jīng)單元數(shù)量為50，雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行合并后的神經(jīng)單元數(shù)量為100，注意力層神經(jīng)單元數(shù)量為50。為了防止過(guò)擬合現(xiàn)象，在訓(xùn)練過(guò)程中加入了L2正則化來(lái)進(jìn)行參數(shù)約束，同時(shí)加入dropout策略。模型中的各權(quán)重參數(shù)進(jìn)行隨機(jī)初始化，采用adam算法進(jìn)行迭代。由于模型較為復(fù)雜，且數(shù)據(jù)集規(guī)模不大，因此采用early stopping，根據(jù)驗(yàn)證集上的效果決定是否提前停止迭代。

4.5 實(shí)驗(yàn)與分析

為了探究本文方法和其他方法在情感分類上的性能優(yōu)劣，這里加入傳統(tǒng)機(jī)器學(xué)習(xí)方法（SVM）以及單層長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BLSTM）進(jìn)行對(duì)比，并分別使用字向量和詞向量作為輸入特征。實(shí)驗(yàn)采用準(zhǔn)確率、召回率和F1值作為評(píng)價(jià)標(biāo)準(zhǔn)，并對(duì)結(jié)果進(jìn)行了可視化處理。

本文實(shí)驗(yàn)分為三組:第一組以字向量為輸入特征，進(jìn)行了3次實(shí)驗(yàn)，分別為:char-LSTM、char-BLSTM和char-Att-BlSTM；第二組使用詞向量作為輸入特征，在保持參數(shù)一致的情況，分別進(jìn)行了word-LSTM、word-BLSTM和word-Att-BLSTM的實(shí)驗(yàn)；第三組進(jìn)行了基于詞向量的傳統(tǒng)機(jī)器學(xué)習(xí)方法（word-SVM）的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 各組實(shí)驗(yàn)結(jié)果比較

對(duì)上表實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析:

1）比較word-SVM和word-LSTM兩組實(shí)驗(yàn)結(jié)果，可以看出基于單層的word-LSTM模型的實(shí)驗(yàn)結(jié)果要大大好于word-SVM的結(jié)果，這說(shuō)明在使用詞向量作為輸入特征時(shí)，采用單層LSTM模型可以學(xué)習(xí)到更加合理和全面的語(yǔ)義特征，因而其取得的效果也較好；

2）比較LSTM模型的兩組實(shí)驗(yàn)和BLSTM模型的兩組實(shí)驗(yàn)結(jié)果可以看出，在使用字向量和詞向量作為輸入特征的情況下，BLSTM模型的實(shí)驗(yàn)結(jié)果都要明顯優(yōu)于LSTM模型的結(jié)果，這說(shuō)明BLSTM模型可以學(xué)習(xí)到更完整的上下文語(yǔ)義，因此其生成的語(yǔ)義特征的表達(dá)能力也更強(qiáng)，因此在面對(duì)電商評(píng)論文本時(shí)，使用BLSTM模型來(lái)學(xué)習(xí)句子的語(yǔ)義特征更加有效；

3）比較基于BLSTM模型的兩組實(shí)驗(yàn)和基于Att-BLSTM模型的兩組實(shí)驗(yàn)可以看出，在同樣的輸入特征時(shí)，注意力機(jī)制的引入，使得其在BLSTM模型學(xué)習(xí)到的語(yǔ)義特征基礎(chǔ)上，根據(jù)句中不同部分對(duì)句子語(yǔ)義影響力的不同，動(dòng)態(tài)的增加重要部分的權(quán)重，有效地降低了句子中冗余成分對(duì)于情感分類的影響，加強(qiáng)了句子中關(guān)鍵部分的影響，從而提高了分類效果；

4）對(duì)比使用不同輸入特征的兩組實(shí)驗(yàn)，使用字向量作為輸入特征的3個(gè)實(shí)驗(yàn)的結(jié)果均要好于使用詞向量的實(shí)驗(yàn)結(jié)果?？梢钥闯觯斎胛谋救绻L(zhǎng)度不固定并且合成詞和新詞出現(xiàn)的頻率較多，句子的不合理切分會(huì)割裂文本語(yǔ)義的完整性，導(dǎo)致訓(xùn)練出的詞向量質(zhì)量不高，這將直接影響情感分類的結(jié)果。因此在面對(duì)互聯(lián)網(wǎng)語(yǔ)境下的電商評(píng)論文本時(shí)，使用字向量作為輸入文本有助于提高分類的效果。

4.6 注意力機(jī)制的可視化

為了直觀地驗(yàn)證本文模型的有效性，這里將部分語(yǔ)句的實(shí)驗(yàn)結(jié)果按照其影響力權(quán)重進(jìn)行了可視化，以標(biāo)準(zhǔn)RGB作為基準(zhǔn)色，按照上文中求得的影響權(quán)重進(jìn)行背景上色處理，結(jié)果如圖2所示。圖中每一行為一條評(píng)論語(yǔ)句，對(duì)每條句子中的每個(gè)字進(jìn)行處理，按照注意力機(jī)制計(jì)算出的影響權(quán)重的不同，其顏色深淺不同，影響權(quán)重越大，其顏色越深。從圖2可以看出，對(duì)于積極的評(píng)論和消極的評(píng)論，對(duì)于句子情感類別影響較大的情感評(píng)價(jià)詞和程度副詞均能有效的標(biāo)注出來(lái)，這充分說(shuō)明本文模型對(duì)于電商評(píng)論的情感分類是有效的。

圖2 部分評(píng)論通過(guò)注意力機(jī)制可視化圖示

5 結(jié)語(yǔ)

情感傾向分類是自然語(yǔ)言處理領(lǐng)域的重要研究課題之一。本文提出一種基于雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和注意力機(jī)制的情感分類模型，該方法使用預(yù)訓(xùn)練的字向量作為輸入特征，通過(guò)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)來(lái)學(xué)習(xí)文本的語(yǔ)義特征，然后利用注意力機(jī)制來(lái)提高文本的關(guān)鍵部分的權(quán)重，進(jìn)行情感分類。實(shí)驗(yàn)驗(yàn)證了該模型的可行性和有效性，同時(shí)對(duì)注意力機(jī)制的可視化結(jié)果也充分說(shuō)明了該模型對(duì)于文本關(guān)鍵部分的判別能力。在下一步的工作中，將進(jìn)一步結(jié)合其他方法提高模型的泛化能力，將其推廣應(yīng)用于更復(fù)雜的語(yǔ)言環(huán)境中去，同時(shí)提高其對(duì)于消極評(píng)論文本的分類能力。