劉洪偉，林偉振，溫展明，陳燕君，易閩琦

（廣東工業(yè)大學 管理學院, 廣東 廣州 510520）

消費者(用戶)在使用各種網絡平臺后留下大量帶有情感傾向的信息，這些信息表達了網民的情緒、情感與觀點等主觀性態(tài)度[1]。人們在網絡發(fā)表的主觀意見反映了他們對產品、服務和現(xiàn)有技術的滿意程度，同時也影響消費者購買決策[2-4]。對于企業(yè)信息系統(tǒng)而言，在主觀情感層次與用戶進行交互具有重要意義，如提高產品質量、調整營銷和經營策略、改善客戶服務、危機管理、監(jiān)控業(yè)績、顧客需求識別、產品推薦等[1]。用戶生成內容(User Generated Content,UGC)指用戶在互聯(lián)網中主動產生的內容，內容形式包括文字、圖片或音視頻等，文字是UGC的主要形式之一[5-6]。電影評論是用戶觀影后對電影質量做出的主觀原創(chuàng)內容，反映了評論用戶對某部電影的看法，并對其進行了積極或消極的批評，從而使其他用戶都能了解這部電影的整體思想和概要，以影響電影消費選擇。觀眾的評論成為一部電影是否成功的主要因素[7]，電影評論影響電影口碑，從而影響電影利益相關方的盈利。與網絡購物類似，用戶做出觀影購買決策前也會事先了解電影的評價和口碑。同時導演或演員看到電影評論也會被針對性地改善，使得更多客戶的需求被滿足。此外，對于電影院線平臺，從用戶既往評論中識別用戶對電影的偏好，有利于個性化電影推薦系統(tǒng)機制的構建。因此，如何對電影評論進行分類，從而更有效地捕捉、檢索、量化和分析觀眾情感需求，是一個至關重要的問題[8]。

情感分析(Sentiment Analysis, SA) 是理解消費者需求的關鍵途徑[9]。電影評論分為正面或負面評論，評論的情感傾向與評論文本中出現(xiàn)的詞匯有關，以及這些詞匯之前是否在正面或負面語境中使用過等，理解這些因素有助于使用情感分析增強對評論的理解。情感分析也被稱為意見挖掘(Opinion Mining, OM)，是指識別和分類在文本所表達的主觀意見，以確定顧客對某個特定話題的感受、態(tài)度或情緒是積極的還是消極的。SA也被定義為將具體數(shù)據轉化為主觀數(shù)據的過程，可以在不同的層次(文檔、句子或方面) 進行。SA的過程包括分詞、詞過濾、停用詞處理、字體繁簡體轉換、文本向量化、情感標注以及情感識別分類等。分詞是將一段評論文本轉化為一個詞匯序列的過程[7]。通過詞語過濾和停用詞處理可以將介詞、連詞等無意義的詞匯過濾[10]。字體繁簡體轉換是中文特有的文本方式，類似于英文詞匯大小寫轉換。文本向量化表示是進行評論情感傾向識別建模的重要步驟，通過此過程得到評論情感傾向識別模型的輸入特征[11]。文本向量化是機器學習領域對文本信息進行特征工程的主要流程，常見算法有Word2Vec, Text2Vec, Word2Vec-CBOW等，所得到的文本向量可作為機器學習模型的直接輸入特征[12]。在自然語言處理領域，深度學習模型的輸入特征向量由文本嵌入層Embedding Layers生成。不同于Word2Vec算法，Embedding層具有可訓練性，可以跟隨模型一同訓練以更好地學習文本數(shù)據中的信息[13]。關于電影評論情感分類的既有研究常使用經典機器學習模型，如支持向量機、決策樹、隨機森林、K近鄰等[7]。對于深度學習模型的選擇，也往往簡單應用循環(huán)神經網絡，以及長短期記憶網絡[14]、循環(huán)門控單元[15]、多頭自注意力機制模型[16]等。

因此，本文提出基于多頭自注意力機制和雙向長短期記憶機制的神經網絡模型MABM(Multi-head self-Attention and Bidirectional long-short term Memory neural-network)，以既有研究中被驗證有效的多種機器學習模型作為對照組，使用來自豆瓣電影的真實電影評論數(shù)據集，采用多種評估指標(準確率，精準率，召回率，F(xiàn)1值，曲下面積值)，通過兩組對比實驗(交叉驗證和測試集驗證)，以檢驗MABM模型情感分類識別的穩(wěn)健性和有效性。本研究的貢獻可以概括為：

其一，本文將基于多頭自注意力機制神經網絡和雙向長短期記憶機制的神經網絡進行結合，提出MABM模型，并采用多種模型評估指標和評估驗證方法，綜合對比MABM與10種不同機器學習分類器以及4種深度學習分類器的情感識別表現(xiàn)，以說明本研究所提出模型的有效性和穩(wěn)健性，為挖掘用戶情感傾向和電影需求偏好提供建議。

其二，本文以423 804條真實評論數(shù)據作為語料庫訓練文本向量化CBOW-Word2Vec模型，再訓練10種機器學習模型作為本研究的對照組模型。既往研究已證明有效的情感識別分類模型有邏輯回歸(Logistic Regression, LR)、支持向量機(Support Vector Machine, SVM)、決策樹(Decision Tree, DT)、隨機森林(Random Forest, RF)、多層感知器(Multi-Layers Perception, MLP)和自適應梯度提升樹(Adaptive Boosting, Adaboost)等[7]。同時，由于文本向量維度高的特點，本研究還考慮了降維算法和支持向量機相結合的方式進行實驗。

其三，本研究還選擇同類型Embedding+深度學習模型作為對照組，包括模型11～14，以確保對比實驗結果的穩(wěn)健性、可行性和有效性。

本文的結構如下：引言介紹研究背景意義；第1節(jié)進行文獻綜述介紹既有研究進展；第2節(jié)介紹本文研究框架；第3節(jié)開展實證研究；第4節(jié)總結研究結論和局限性。

1 文獻綜述

當前，情感分析被廣泛應用于識別并抽提文本蘊含的情感狀態(tài)與要素。在方法上被認為可以分為基于情感詞典和知識庫的情感分析、基于機器學習的情感分析和基于深度學習的情感分析等3個類別[17-19]。比如，有學者通過利用語義分析技術建立基于知網的情感詞庫,分析并設計學生評教系統(tǒng)[19]，再如有的學者基于超短評論建構了情感詞典，用于分析圖書評論場景中的情感分析與挖掘[20]。然而，這類方法普遍存在著情感區(qū)分度不夠導致數(shù)據適恰性與分類效能較低的缺陷[17，21]。

此后，隨著不同機器學習算法的提出與優(yōu)化，基于機器學習算法的情感分析方法逐漸成為情感分析領域內的重要分支，學者們取得了一系列的研究成果[22]。譬如有學者使用支持向量機SVM方法建構微博情感分類模型分析輿情情感演化，以期有效實現(xiàn)輿情精準預測[23]。再如，有的學者使用并行樸素貝葉斯算法(Naive Bayesian, NB)對于Twitter實時情緒進行分類，進行大數(shù)據背景下的算法適配性研究[24]。但是這些機器學習模型被認為在復雜分類問題上泛化能力較差，在實際情感分類上的表現(xiàn)并不如基于主題的分類好[25-27]。

在基于機器學習模型進行情感分類遇到發(fā)展瓶頸時，神經網絡因克服了高維數(shù)據稀疏問題而逐漸引領了情感分類領域的研究[17]。譬如有學者基于卷積神經網絡對電子商務領域的消費者情感分類，實現(xiàn)了自適應的情感分類[28]，還有學者提出結合多粒度卷積神經算法和雙向門控循環(huán)單元(Bidirectional Gate Recurrent Unit, Bi-GRU)的深度學習情感分析方法，在中文語料的處理中加入了多層自注意力機制，使得情感分類的性能得到了顯著提升[29]。學者朱麗等[30]更是將卷積神經網絡與雙向長短時記憶Bi-LSTM(Bidirectional Long-Short Term Memory)網絡結合建立混合模型，對腦電波情感識別進行了研究。有學者通過對上述三類情感分析方法進行橫向比較，指出基于多策略學習機制混合的方法是未來情感分析的重要方向[10,31]。

長短期記憶神經網絡LSTM(Long-Short Term Memory)作為循環(huán)神經網絡的一種，被廣泛應用于序列化數(shù)據，如文本數(shù)據、點擊流數(shù)據、時間序列數(shù)據等[32]。此外，門控循環(huán)單元GRU(Gate Recurrent Unit)也是一種基于長短期記憶機制的循環(huán)神經網絡。相比于LSTM，GRU具有結構簡單、計算效率高等特點。但由于其單向序列化學習過程易造成長期信息的丟失，為解決此問題，學者們采用雙向學習以緩解信息丟失的情況，而基于雙向長短期記憶機制的Bi-LSTM和Bi-GRU也具有更出色的預測表現(xiàn)[33-34]。盡管記憶力機制網絡對文本序列數(shù)據有不錯的學習能力，但學習文本重點信息以及信息相互關系的能力有所欠缺，采用多頭自注意力機制的神經網絡模型可彌補這一不足。

Vaswani等[35]提出了基于多頭自注意力機制的BERT模型(Bidirectional Encoder Representation from Transformers)。得益于其多頭自注意力機制，BERT模型被廣泛應用于各種領域，尤其在自然語言處理(Natural Language Processing, NLP)領域中大放異彩，對各項NLP任務的預測效果均有出色表現(xiàn)[35-38]，包括情感分類、命名實體識別、文章總結、智能問答、知識圖譜以及推薦系統(tǒng)方向等等[35]。

綜上所述，本文提出基于多頭自注意力機制和雙向長短期記憶神經網絡的MABM模型，以探討兩種深度學習機制組合下的神經網絡模型(MABM)對影評情感傾向的分類識別能力。同時，本研究將MABM模型與機器學習算法進行對比分析，以驗證模型的有效性和穩(wěn)健性。

2 研究框架

2.1 特征工程

本文通過爬蟲獲得豆瓣影評數(shù)據，然后進行特征建構，主要包括對影片文本數(shù)據進行評論情感標簽轉換與文本數(shù)據的預處理。在評論文本的情感標簽轉換時，將評分不小于3的評論樣本標注為積極情感(y=1)，評分小于3的樣本標注為消極情感(y=0)；而在評論文本的預處理時，主要包括了繁簡體轉換、分詞、去除停用詞、去除標點符號等非中文字體等一系列數(shù)據預處理操作。

對于機器學習模型，本文采用423 804條評論語料數(shù)據訓練基于CBOW的Word2Vec模型，將對預處理后的評論文本數(shù)據進行詞向量轉化和平均池化，從而得到評論文本向量。而對于深度學習模型，本文首先對預處理后的評論文本進行編碼，然后通過Embedding層得到評論文本向量。最后，將整合評論向量化數(shù)據與情感標簽得到標準化的全數(shù)據集，共計12 222個樣本，按照8:2劃分為訓練集(9 777)和測試集(2 445)。

2.2 MABM模型

本文提出基于多頭自注意力機制和雙向長短期記憶神經網絡的MABM模型，以識別用戶在評論中表達的情感傾向模型。由圖1可知，MABM模型結構可分為4個部分，分別為輸入層，BERT多頭注意力層、雙向記憶層以及輸出層。首先，通過Embedding層將用戶評論轉化成輸入向量；其次，使用多頭注意力機制的BERT層提取輸入向量的信息；再次，利用雙向記憶神經網絡(Bi-LSTM和Bi-GRU)深化對關鍵信息的提?。蛔詈?，由MLP層輸出用戶情感傾向識別結果。

圖1 MABM模型結構圖Fig.1 Structure of the MABM model

2.3 模型交叉驗證和測試集對比分析

為了驗證MABM模型的有效性，本文將10個機器學習模型、4個深度學習模型作為對照組進行交叉驗證對比實驗。在模型的交叉驗證上采用5折交叉驗證，并以準確率(Accuracy)、精準率(Precision)、召回率(Recall)、曲線下面積(ROC-AUC)和F1值等5個指標作為模型穩(wěn)定性評價。模型描述如下：

機器學習模型包括(模型1～10)：模型1(邏輯回歸LR)、模型2(決策樹DT)、模型3(隨機森林RF)、模型4(極端隨機樹ET)、模型5(BP神經網絡-MLP)、模型6(K近鄰KNN)、模型7(樸素貝葉斯NB)、模型8(自適應增強算法Adaboost)、模型9(PCA+SVM)、模型10(PCA+RF+SVM)；

對照組深度學習模型包括(模型11～14)：模型11(2-Bi-LSTM+MLP)、模型12(BERT+MLP)、模型13(BERT+2-Bi-LSTM+MLP)、模型14(BERT+2-Bi-GRU+MLP)；

本研究提出模型MABM(模型15)：BERT+Bi-(2-LSTM-GRU) +MLP。

綜上所述，本文研究框架如圖2所示，整個框架分為兩個部分：特征工程，模型交叉驗證和模型測試集驗證。

圖2 研究框架Fig.2 Research framework

3 實證研究

3.1 數(shù)據描述

本研究的數(shù)據爬取自豆瓣影評2007-08-08 17:57: 00至2021-05-31 22: 57: 00期間6 989個用戶對113部熱門電影的12 222條電影評論，按照數(shù)據集、用戶與電影3個層級進行電影評論情感傾向的描述性統(tǒng)計(見表1)。從評分角度發(fā)現(xiàn)，數(shù)據集、用戶和電影3個層級的均值分別為3.04、3.02和3.07，中位數(shù)分別為3.00、3.00和3.05，評分呈正態(tài)分布。其中，按照1～5星打分標準，電影最低評分為2.43，最高評分為4.11。假設將評分不小于3視為積極傾向，從情感傾向角度分析，則 68%的評論為積極評論，66%的用戶傾向于發(fā)表積極看法，69%的電影口碑積極。

表1 描述性統(tǒng)計Table 1 Descriptive statistics

3.2 模型識別效果分析

本研究將數(shù)據按照8:2將數(shù)據集劃分為訓練集(9 777)和測試集(2 445)，且訓練集(0.684 9)和測試集(0.678 1)中不同情感傾向類別樣本比例相似。為了驗證MABM模型的有效性，分別訓練10個機器學習模型、4個深度學習模型作為對照組進行對比實驗。為保證結果的穩(wěn)健性，采用多種評估指標衡量模型分類表現(xiàn)，并設計了兩組對比試驗：

(1) 所有模型在訓練集上進行5折交叉驗證(見表2～3)；

(2) 所有模型在測試集上分類表現(xiàn)(見表4～5)。

表4 CBOW+機器學習模型測試集分類效果Table 4 Classification results of the CBOW+ machine learning model test set

3.2.1 模型交叉驗證結果對比分析

對比10個機器學習模型發(fā)現(xiàn)(見表2)，模型9支持向量機 (CBOW+PCA+SVM)在訓練集上交叉驗證表現(xiàn)效果最佳(準確率74.03%，ROC-AUC=0.776 2，F(xiàn)1=0.831 0)，其次是邏輯回歸(準確率73.95%，ROCAUC=0.776 2，F(xiàn)1=0.831 0)和隨機森林(準確率73.06%，ROC-AUC=0.776 2，F(xiàn)1=0.831 0)。機器學習模型1～10的F1均值為0.800 2。

根據表3可知，相比于模型11～14，MABM模型的交叉驗證評估表現(xiàn)顯著提升且效果最佳(準確率78.58%，ROC-AUC=0.696 6，F(xiàn)1=0.857 2)，并且所有深度神經網絡模型的F1均值為0.828 1。

綜合對比表2和表3可知，基于多頭自注意力機制和記憶力機制的深度神經網絡模型預測效果(F1均值=0.828 2，準確率均值73.81%，ROC-AUC均值=0.629 6)整體優(yōu)于機器學習模型(F1均值=0.800 2，準確率均值70.51%，ROC-AUC均值=0.693 9)，并且本文提出的MABM模型在訓練集的交叉驗證分類表現(xiàn)最佳。

表3 Word-Embedding +深度學習模型交叉驗證Table 3 Cross-validation of Word-Embedding + Deep Learning Models

3.2.2 模型測試集分類效果對比分析

為檢驗不同模型在訓練集樣本外的測試集的分類表現(xiàn)，本研究在測試集上對模型進行對比實驗(見表4～5)。根據表4可知，在所有機器學習模型中，表現(xiàn)最佳的是支持向量機SVM(準確率72.27%，ROCAUC=0.618 2，F(xiàn)1=0.817 2)，其次是極端隨機樹ET(準確率70.63%，ROC-AUC=0.577 7，F(xiàn)1=0.813 3)，第三是邏輯回歸LR(準確率71.89%，ROC-AUC=0.623 4，F(xiàn)1=0.812 6)。表4中所有機器學習模型的F1均值為0.785 4，準確率均值為0.688 9，ROC-AUC均值為0.599 6。

表5表明，相比于模型11～14，本研究提出的MABM模型的測試集分類效果提升明顯且表現(xiàn)最佳(準確率85.15%，ROC-AUC=0.832 5，F(xiàn)1=0.890 0)，隨后分別是模型14、模型12以及模型13，并且MABM和模型11的F1差值為0.092，這說明基于Embedding層、多頭自注意力機制的BERT和長短期記憶神經網絡(LSTM和GRU)的組合模型對于識別評論文本的情感傾向的能力更強。表5中所有機器學習模型的F1均值=0.828 0，準確率均值為74.27%，ROC-AUC均值為0.653 9。

表5 Word-Embedding +深度學習模型測試集分類效果Table 5 Classification results of the Word-Embedding + Deep Learning model test set

通過對比表4和表5的模型測試集評估結果，基于Embedding層、多頭自注意力機制和長短期記憶力機制的深度神經網絡模型(模型11～15)預測效果(F1=0.828 0，準確率為74.27%，ROC-AUC= 0.653 9)整體優(yōu)于機器學習模型(F1=0.785 4，準確率68.89%，ROC-AUC=0.599 6)，MABM模型在測試集上分類表現(xiàn)最佳。

根據所有模型在測試集上分類的F1值進行排序(見表6)。根據表6可知所有模型的分類預測表現(xiàn)排序為：模型15(MABM)>模型14(BERT+2-Bi-GRU+MLP)>模型12(BERT+MLP)>模型9(PCA+SVM)>模型4(極端隨機樹ET)>模型1(邏輯回歸LR)>模型13(BERT+2-Bi-LSTM+MLP)>模型3(隨機森林RF)>模型10(PCA+RF+SVM)>模型11(2-Bi-LSTM+MLP)>模型6(K近鄰KNN)>模型8(自適應增強算法Adaboost)>模型5(BP神經網絡-MLP)>模型7(樸素貝葉斯NB)>模型2(決策樹DT)。

表6 模型測試集評估排位Table 6 Model test set assessment ranking

綜上所述，本研究采用多種模型評估指標，對MABM模型、10個機器學習模型，以及4個深度學習模型進行交叉驗證和測試集評估對比實驗分析發(fā)現(xiàn)，基于Embedding層、多頭自注意力機制和長短期記憶機制的神經網絡模型，能夠更好地學習電影評論文本中所蘊含的情感傾向信息，并且本文提出的MABM模型與其他同類模型相比，在訓練集交叉驗證和測試集評估表現(xiàn)最佳(準確率85.15%，ROCAUC=0.832 5，F(xiàn)1=0.890 0)。

4 結論

本研究在對比各類常見情感分析算法的基礎上，提出了一種MABM算法，將使用基于詞袋模型(CBOW)算法的決策樹、隨機森林、ExtraTree、Adaboost等在內的10個機器學習模型和基于多頭自注意力機制與長短期記憶神經網絡的5個深度學習模型進行了對比，在交叉驗證的基礎上依據準確率(Accuracy)、精準率(Precision)、召回率(Recall)、曲線下面積(ROC-AUC)和F1值等多指標對這些機器學習模型和深度學習模型進行了對比與模型效能評估。研究結果表明，在模型的整體分類與預測效果最佳的模型排序為：模型15(MABM)>模型14(BERT+2-Bi-GRU+MLP)>模型12(BERT+MLP)>模型9(PCA+SVM)>模型4(極端隨機樹ET)>模型1(邏輯回歸LR)>模型13(BERT+2-Bi-LSTM+MLP )>模型3(隨機森林RF)>模型10(PCA+RF+SVM)>模型11(2-Bi-LSTM+MLP)>模型6(K近鄰KNN)>模型8(自適應增強算法Adaboost)>模型5(BP神經網絡-MLP)>模型7(樸素貝葉斯N B)>模型2(決策樹D T)，基于Embedding層、多頭自注意力機制和長短期記憶力機制的深度神經網絡模型(模型11～15)預測效果在整體上要優(yōu)于機器學習模型，并且本文提出的MABM模型在測試集上分類表現(xiàn)最佳。

本文的研究證實了深度學習模型在影評情感分類的任務上比起常規(guī)的機器學習模型有著更好的效能，深度學習模型比機器學習模型要更加適合高通量數(shù)據的復雜情感分類任務。其中，本研究提出的基于多頭自注意力機制和記憶力機制的深度神經網絡模型(MABM)有著最佳的影評情感分類效能，其模型準確率可以達到0.851 5，精確率0.894 1，召回率0.886 0，ROC-AUC值為0.832 5，而反映模型整體預測質量的F1值為0.890 0，表明MABM模型在影評的情感分類與預測中都表現(xiàn)出極佳分類效能與模型穩(wěn)健性，能夠適用于電影影評的情感分類任務。在具體的電影發(fā)行與平臺消費者推薦上，可以根據本文模型對電影情感的分類來向有相同偏好的消費者進行智能匹配，提升電影購買或觀影轉化率，為電影運營商帶來更多可能的盈利。

綜上所述，本文將機器學習算法和深度學習模型進行了橫向對比，驗證了深度學習模型在影評情感分類任務上的適恰性，由于本文訓練的模型使用的影評語料庫，該模型更多地適用于電影影評的情感分類任務，對于音樂音評、書評等其他品類的適恰性還有待驗證，同時尚未考慮評論真實性以及評論數(shù)據范圍的局限性。未來在訓練評論情感分類模型時，將各類書評、影評等要素與虛假評論情況納入模型訓練過程是下一步研究的方向。