袁景凌，丁遠遠，潘東行，2*，李 琳

（1.武漢理工大學計算機科學與技術學院，武漢 430070；2.中國建設銀行股份有限公司運營數據中心，武漢 430070）

0 引言

隨著網絡媒體的迅速普及，大量含有主觀評論的文本信息迅速傳播。這些評論文本信息具有數量大、涉及范圍廣、傳播速度快等特點，給當代社會經濟發(fā)展帶來了深遠的影響。針對網絡文本的情感分析，可以幫助研究人員更加細致了解用戶對日常事件的意見和情感傾向［1］，幫助商家提高服務質量以及為用戶提供個性化推薦內容［2］。

在文本情感分析任務中，根據表達中是否包含顯式情感詞，情感分析可分為顯式情感分析和隱式情感分析［3］。包含顯式情感詞的顯式情感分析已經取得了豐富研究成果，而采用含蓄表達的隱式情感分析還處于起步階段。隱式情感文本在互聯網文本中占有較高比例的特點［4］使得針對隱式情感分析的研究不容忽視。中文隱式情感分類任務存在諸多困難，主要體現在如下幾個方面：

1）在隱式情感分類中，句子大部分為事實型描述以及不存在關鍵情感特征［5］。隱式情感文本主要包含事實型和修辭型兩個類別，統(tǒng)計結果顯示，事實型隱式情感文本占比為70%以上［4］。顯式與隱式的情感分類任務對比如表1所示。

表1 情感分類任務對比Tab.1 Comparison of sentiment classification tasks

2）隱式情感分類任務對分類方法有較高要求。隱式情感句中情感詞的缺乏使得部分顯式情感分類方法不再適用，如基于情感詞典分類方法；另外，基于機器學習的情感分類方法很難獲取有效情感特征對情感類別進行判斷［4］。

3）與其他語言的隱式情感分類任務相比，中文隱式情感分類任務更加困難。在表達載體上，中文缺乏形態(tài)上的變化，只能通過字或者詞語的組合表達特定語義。在獲取文本特征表示時，錯誤的劃分會使語義發(fā)生改變，另外，中文的語義關系又和社會、文化等因素密切相關。以上因素使得中文語義更難獲取。

在中文隱式情感分類任務中，已有的研究方法以卷積神經網絡為主［4］，缺乏循環(huán)神經網絡的相關研究。卷積神經網絡的最大池化層會丟失詞語的位置特征。而在隱式情感分類中，詞語的位置特征對分類結果有重要影響，如隱式情感句“你們公司一年的銷售額也趕不上我們一個月的?！卑x情感色彩。當調換“你們”和“我們”兩個主語位置時，句子包含貶義情感色彩。卷積神經網絡在處理該特征文本時，僅能保留主語編碼后的特征，無法獲得主語的位置特征。循環(huán)神經網絡在處理距離較長的特征時，容易丟失關鍵信息。在已有的隱式情感分類任務中，分類模型的輸入僅包含情感句本身［4］。相關研究顯示，隱式情感句的上下文語句往往蘊含較為明顯的情感色彩，對隱式情感的判別有重要指導作用［6］。

針對中文隱式情感分類任務更加困難和已有研究內容存在的部分缺陷，本文采用門控卷積神經網絡（Gated Convolutional Neural Network，GCNN）對局部特征進行提取和篩選，在此基礎上采用門控循環(huán)單元（Gated Recurrent Unit，GRU）獲取單詞之間的時序關系及更高層的語義特征?？紤]到上下文語句在隱式情感判別的重要作用，采用雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit，BiGRU）和注意力（Attention）機制從上下文語句中提取重要情感特征，在融合層將提取到的上下文特征融入到隱式情感判別中，提出了一種融合詞語時序和上下文特征的中文隱式情感分類模型GGBA（GCNN-GRU-BiGRU-Attention）。本文的主要貢獻如下：

1）對隱式情感句文本特征和情感詞匯資源進行了分析。隱式情感文本存在字符分布集中、語句長度與數量之間滿足冪律分布等特點。隱式情感句缺乏情感詞匯資源，上下文語句蘊含豐富的情感詞匯資源，并且情感詞匯情感傾向和隱式情感句情感傾向相同占比達63%以上。

2）針對基礎分類模型容易忽略目標句子中的時序信息的缺陷，本文通過GCNN 對目標句子中的局部特征信息進行提取與篩選后，將輸出通過GRU 提取句子中的時序信息，提出了一種融合局部信息和時序信息的中文隱式情感分類模型GCNN-GRU，該模型為未融合上下文特征的中間模型。

3）針對隱式情感分類任務依賴隱式情感句上下文的特點，在采用GCNN-GRU 模型提取隱式情感句基礎上，使用BiGRU+Attention 的組合對提取句子的上下文重要特征，提出了一種融合時序和上下文特征的中文隱式情感分類模型GGBA（GCNN-GRU-BiGRU-Attention），并在中文隱式情感分析評測數據集上進行實驗。實驗結果顯示，在3 個評價指標上，本文提出的模型均取得了最優(yōu)的綜合分類性能。

1 相關工作

情感分類是指根據文本所表達的含義和情感信息將文本劃分成褒揚的或貶義的兩種或幾種類型，是對文本作者傾向性和觀點、態(tài)度的劃分［7］。觀點態(tài)度可以包括常見的褒、貶、中情感傾向或者喜、怒和哀等多個情緒類別［8］?，F有的文本情感分類技術主要分為3 類：基于詞典的情感分類方法、基于機器學習的情感分類方法和基于深度學習的情感分類方法［9］。

基于詞典的情感分類方法主要是指，通過文本中情感詞典和規(guī)則的組合判斷整個句子的情感類別。這種方法依賴于人工設計的本體知識庫和判斷規(guī)則，無法解決不同領域的類似問題［10］。基于機器學習的情感分類方法從文本中提取不同特征組合，通過訓練機器學習模型實現情感的分類。這種方法不易提取文本特征，難以處理文字長短不一的問題且模型不容易擴展?；谝陨辖Y論，本文在開展中文隱式情感分類研究時舍棄了基于詞典和機器學習的情感分類方法。

基于深度學習的情感分類方法主要包括3 個類別，分別為擅長局部特征提取的卷積神經網絡（Convolutional Neural Network，CNN）、擅長時序特征提取的循環(huán)神經網絡（Recurrent Neural Network，RNN）以及相關的變體結構，相關研究如下：

1）CNN。CNN采用了局部連接、權值共享及池化操作，在局部特征提取、魯棒性和容錯能力上更具備優(yōu)勢［11］。Kim［12］首次將CNN 應用于文本情感分類任務，采用多個窗口的卷積核提取句子的局部特征，提出了用于句子情感分類的卷積神經網絡。Zhang 等［13］對卷積神經網絡中單層CNN 的敏感性進行了分析，研究了超參數對分類的影響。Dauphin等［14］在對長文本建模時，提出了一種包含門控機制的卷積神經網絡。

2）RNN。在網絡結構上，RNN 適合處理不定長文本序列。在反向傳播計算梯度時，基礎循環(huán)神經網絡會出現梯度消失或梯度爆炸的問題。Wang 等［15］采用LSTM 結構實現了Twitter的情感預測。

3）CNN 和RNN 的融合結構。卷積神經網絡可以有效提取句子局部特征，但無法獲取詞語的時序關系以及詞語間依賴關系。循環(huán)神經網絡擅長獲取特征的長短期依賴關系。合理利用兩種網絡結構的優(yōu)點，可以實現更好的分類效果。Wang［16］針對CNN 和RNN 存在的缺陷，提出中斷循環(huán)神經網絡（Disconnected Recurrent Neural Network，DRNN）。實驗結果表明，DRNN 可以同時獲取長距離依賴關系和關鍵短語信息。

4）融合注意力機制的深度學習模型。當文本序列較長和文本較為復雜時，深度學習模型會丟失重要關鍵信息。Devlin 等［17］采用自注意力機制（Self-Attention）、Mask 方法和Transformer 編碼結構設計了具備更高泛化能力的BERT 模型。Liu 等［18］改進了BERT 模型在預訓練時的策略，提出了RoBERTa 隱式情感分類模型。Yang 等［19］采用雙向門控循環(huán)單元（BiGRU）和層級注意力機制，提出了用于文檔情感分類的模型，其中注意力機制包括詞語級和句子級兩個部分。

綜上所述，CNN、RNN以及變體結構在特征提取上具有不同的優(yōu)勢，合理組合兩種結構在特征提取上的優(yōu)勢可以提升情感分類效果。注意力機制可以為句子中的重要情感特征賦予更大權重。深度學習模型更容易擴展，可以容納更多特征信息。

2 特征分析

在已有的中文隱式情感分類任務研究中，隱式情感句缺乏關鍵情感特征、隱式情感句和上下文語句在情感類別上具有高度一致性特點備受相關學者的關注，本文從文本長度和情感詞匯資源的角度對隱式文本的特征進行了分析。

2.1 文本特征

句子長度對不同分類模型情感分類效果有較大影響［20］，本節(jié)對隱式情感句的句子長度進行了統(tǒng)計分析。首先，本文將測評任務公布的訓練集和驗證集文本進行了合并；其次，從合并后的文本中根據句子的標簽信息提取了隱式情感句；最后，統(tǒng)計了隱式情感句的句子長度信息，統(tǒng)計結果如表2所示。

表2 句子長度統(tǒng)計結果Tab.2 Sentence length statistics

為了更加直觀地觀察句子的文本特征，繪制了隱式情感句句子長度和頻數的分布圖。將句子長度和頻數取以10 為底的對數后，采用機器學習庫（Sklearn）的線性回歸模型對句子長度和頻數關系進行了擬合，擬合結果如圖1 所示，其中，黑色圓點代表句子長度對應的頻數。在對數坐標系下，隱式情感句長度和頻數滿足冪律分布，函數關系式為y=-1.983 3x+4.834 8，指標R2為0.582 3。

圖1 句子長度和頻數關系Fig.1 Relationship between sentence length and frequency

由圖1可以發(fā)現：情感句長度分布較為集中，由圖1（a）可以看出，本文隱式情感句子長度多數集中在［20，160］，在部分子區(qū)間內會出現峰值，句子長度較長（>160）和較短（<20）的數量較少。在文本研究領域，句子長度低于160 個字符被定義為短文本［21］。隱式情感句長度低于160 個字符占比約為99%，因而隱式情感分類屬于短文本分類研究領域。在采用循環(huán)神經網絡提取隱式情感特征時，預測模型擅長獲取句子的距離依賴和位置特征，但模型每一時刻的隱層狀態(tài)都和前面所有詞語相關，會忽略關鍵的短語特征［21］。隱式情感句中詞語的位置特征對分類結果有重要影響。在采用卷積神經網絡提取隱式情感特征時，預測模型擅長獲取句子的關鍵短語特征，但模型的池化操作會丟失句子的位置特征［22］。根據兩種模型的特點，本文采用GCNN 和GRU 的組合提取隱式情感句特征。

2.2 情感詞匯資源特征

本文采用如下步驟對隱式情感句和上下文語句詞匯資源進行分析：

步驟1 構建表情符號詞典。微博平臺用戶會使用表情符號來表達部分隱式情感［23］。在采用分詞工具對句子進行切分時，表情符號作為新詞會被錯誤切分，如表情符號“［嘻嘻］”會被分成“［”“嘻嘻”“］”三部分。在隱式情感研究中，本文將完整的表情符號作為單獨詞語。在分詞工具中，本文通過自定義表情符號詞典的方式將表情符號進行完整保留。本文從微博平臺上收集了常用的1 691個表情符號，具有代表性的表情符號與情緒類別對應關系如圖2所示。

圖2 表情符號與情緒類別對應Fig.2 Emoticons correspond to emotional categories

步驟2 將隱式情感句與上下文情感詞匯進行分詞。采用帶有自定義表情符號詞典的jieba 分詞工具將隱式情感句劃分為單獨的詞語。

步驟3 查詢與統(tǒng)計。查詢詞語組中的詞語在詞匯本體庫中是否出現，統(tǒng)計出現過詞語的情感類別和強度等信息。

采用算法1 對隱式情感句與上下文進行識別，統(tǒng)計結果如表3所示。

在表3 中，“句子總數”代表隱式情感句（上下文）的總數；“含有情感詞匯的句子總數”代表隱式情感句（上下文）中含有情感詞匯的句子。由于并非所有的隱式情感句（上下文）都含有情感詞匯，“含有情感詞匯”代表隱式情感句（上下文）中含有情感詞匯的句子數?！半[式情感類別/情感詞匯類別”用于記錄隱式情感句（上下文）情感詞匯與句子情感傾向相同的數量。

表3 隱式情感句與上下文詞匯資源統(tǒng)計結果Tab.3 Statistical results of implicit sentiment sentences and context lexical resources

對統(tǒng)計結果進行分析，在占比上，隱式情感缺乏情感詞匯資源，訓練集中含有一個及以上數量標記詞匯的句子約占總體的29.18%，驗證集中含有一個及以上數量標記詞匯的句子約占總體的29.26%。而在上下文中，含有情感詞匯的句子占總數的比例較高，分別為訓練集73.55%與驗證集72.29%。在占比上，上下文語句的情感詞匯資源明顯高于隱式情感句，這一特點說明了上下文語句中蘊含豐富的情感詞匯資源。

情感詞匯擁有的情感強度較弱，即詞匯不帶有明顯情感傾向。為了直觀衡量標記詞傾向與句子整體傾向，本文統(tǒng)計了情感詞匯分別與隱式情感句和上下文語句情感傾向相同的句子，統(tǒng)計結果見表4。

表4 情感詞匯與隱式情感句和上下文語句相同情感傾向統(tǒng)計 單位：%Tab.4 Statistics on the same tendency of sentimental words，implicit sentiment sentences and contextual sentences unit：%

由表3～4 可以得出以下結論：情感詞匯占比低、情感詞匯和隱式情感句情感傾向不一致這兩個特點會使句子情感判別更加困難；上下文語句中蘊含豐富的情感詞匯資源，并且情感傾向和情感句情感傾向相同占比平均達63%以上?；A模型輸入僅包括隱式情感句，未利用到上下文語句中豐富的情感資源，且有實驗證明詞語的時序關系以及詞語間依賴關系對分類結果有提升作用。針對以上問題，本文采用GRU 提取隱式情感句中的時序關系及詞語間的依賴關系，用BiGRU+Attention 的組合結構提取句子外的上下文特征，在融合層使用特征向量點乘的方式，融合時序特征與上下文特征，從而提升中文隱式情感分類效果。

3 隱式情感分類模型

本章主要介紹本文提出的融合時序與上下文特征的隱式情感分類模型。

3.1 任務定義

隱式情感分類任務與傳統(tǒng)的情感分類任務相同。為了更加直觀地表示本文采用的上下文特征對隱式情感分類的影響，對包含上下文的隱式情感分類任務進行了定義：

其中：采用Sl代表任意隱式情感句，Sl可表示為Sl=(wl1，wl2，…，wlm)，其中wlm表示Sl第m個詞語特征，m代表句子中詞語的數量；Sc代表隱式情感句對應的上下文語句，Sc可表示為Sc=(wc1，wc2，…，wcm)，其中wcm表示Sc第m個詞語特征。pli代表情感類別的概率，隱式情感類別可表示為Pl=(pl1，pl2，pl3)，其中pl1、pl2和pl3代表中性、褒義和貶義隱式情感類別的概率。包含上下文信息的隱式情感分類任務可定義為：對于給定的任意隱式情感句Sl及其對應的上下文語句Sc，判定Sl和Sc對應的Pl，即計算Sl和Sc在Pl中各元素上的極大似然概率分布。

3.2 模型描述

本文提出的模型總共包含4 個部分，分別為輸入層、編碼層、融合層和輸出層。整體模型結構分為4 層（見圖3），輸入層主要負責將隱式情感句和上下文語句轉換為定長的特征向量并輸入進模型；編碼層主要負責對輸入層表示的特征向量進行編碼，并輸出編碼后的特征值；融合層為包含計算節(jié)點的網絡結構，用于融合隱式情感句中的時序信息和上下文特征中重要的情感信息；輸出層根據融合后的特征計算各個情感類別的概率。

3.2.1 輸入層

1）對隱式情感句的處理。

步驟1 文本預處理。由于數據來源于網絡，文本數據包含較多的標點符號和“臟數據”?！芭K數據”指和官方測評任務描述不同的語句，主要指標簽后帶有“"”符號的句子。為使隱式情感句數量與官方測評任務保持一致，本文去除了“臟數據”。

步驟2 對隱式情感句進行分詞。采用帶有自定義表情符號詞典的jieba分詞工具將隱式情感句劃分為單獨的詞語。

步驟3 定長處理。為方便進行特征編碼，設定使用句子最大長度對隱式情感句進行補齊或者截斷處理。設定最大長度閾值為n，采用Sl代表任意隱式情感句，采用wlm表示Sl第m個詞語特征，則任意隱式情感句可表示為Sl=(wl1，wl2，…，wlm)，采用式（2）對句子進行定長處理：

其中：當詞語數量大于n時，對詞語順序大于n的詞語進行截斷，橫向拼接前n個詞語作為句子的特征表示；當詞語數量小于n時，對詞語進行補齊，用n-m個特定標志[padding]進行左補全。

步驟4 詞向量表示。查詢隱式情感句Sl每個詞語在詞嵌入模型中的向量表示，將詞語特征轉化為定長維度的實數向量。假設預訓練詞向量表為N∈RV×d，其中N為向量表的詞典大小，d為詞向量的維度大小。對任意隱式情感句Sl=(wl1，wl2，…，wln)，采用維度為1×N的向量N(wln)∈R1×N表示wln在N中的位置，其中，wln對應的位置數值為1，其余位置為0，采用式（3）將每一個隱式情感句Sl轉換成N×d維度的實數向量。

對于不在詞典中的詞匯和[padding]標志，采用相同維度大小的全0 向量進行初始化。任意隱式情感句Sl對應的向量表示為wl=，其中wl維度大小為n×d。

2）對上下文語句的處理。

上下文語句不需要進行“臟數據”處理，其余操作同隱式情感句處理操作。

3.2.2 編碼層

1）對隱式情感句進行編碼。

隱式情感句的編碼層包括3個部分：單層GRU單元塊、門控循環(huán)單元及Dropout機制。

與普通CNN 結構不同的是，GCNN 結合了門控機制和卷積神經網絡結構特點，在建模時能簡化學習方式，減少非線性計算量。GCNN 能分層次地對輸入的語言特征進行分析，根據輸入特征建立不同粒度的句法樹結構。本文提出了GCNNGRU 隱式情感分類模型，該模型為GGBA 未融合上下文特征的中間模型。本文對GCNN結構進行如下處理：

①由于本文數據集中的隱式情感句屬于短文本，本文采用單個門控卷積神經網絡塊對隱式情感文本特征進行提取，這樣既保留了GCNN 獨特的特征篩選和提取能力，同時又簡化了模型。

②由于本文采用了單層GCNN 結構，分類模型不會出現詞表巨大的現象，為了使輸出層和其他分類模型保持一致，在輸出層部分采用普通的Softmax 代替Adaptive Softmax。本文采用的單層GCNN結構如圖4所示。

圖4 GCNN結構示意圖Fig.4 Schematic diagram of GCNN structure

GCNN卷積部分主要分為兩部分，卷積激活部分A和用于門控操作的B。GCNN 門控單元會對來自A和B的信息進行如式（4）的計算：

wl為輸入層預處理后的特征矩陣；WA和WB為A和B中取值不同的卷積核權重矩陣，WA、WB∈Rk×n×o；bA和bB為A和B中取值不同的卷積核偏置項，n和o為輸入特征圖信息，k為卷積核信息；σ為Sigmoid 函數，用于控制A部分中信息的傳遞；?為多元乘法運算，用于求A和B兩部分各個元素乘積，結果為GCNN 提取到的特征。為便于描述，詞向量特征wl經過單個門控卷積神經網絡編碼后的特征為hg=(hg1，hg2，…，hgn)。

門控循環(huán)單元GRU 是RNN 的一種變體結構。GRU 具備同LSTM 相同的長短期記憶能力和更簡潔的結構，主要包括兩個處理信息的門控結構。在GCNN 編碼結構輸出部分，本文采用門控循環(huán)單元獲取更高層語義特征。GRU 結構如圖5所示。

圖5 GRU結構示意圖Fig.5 Schematic diagram of GRU structure

如圖5（a）所示，GRU 中線性序列的特點讓特征在前后計算中得以傳遞，建立了特征長短期距離依賴關系。圖5（b）為GRU 單元結構，其中更新門（Update Gate）負責數據的丟棄和更新；重置門（Reset Gate）用于儲存遺忘信息的步長。不同時間步內，GRU對輸入信息進行式（5）～（8）的計算。

其中：Wz、Wr、Wg分別為更新門、重置門和整個單元的權重矩陣；xt為t時刻的輸入；ht-1和ht為t-1 時刻和t時刻GRU 單元輸出；zt和rt為t時刻兩個門結構的輸出，由式（5）和（6）計算得到為新的記憶信息，由式（7）計算得到。為了直觀展示特征處理過程，GRU編碼過程簡化為式（9）～（10）：

其中：Wg為GRU 結構的權重矩陣，經過式（3）～（9）的計算，得到GRU結構的輸入為前向傳播時詞語的隱狀態(tài)為簡化的前向序列計算；實際計算過程如式（5）～（8）所示。編碼后的特征表示為Hl=[hl1，hl2，…，hln]，集合內各元素與wl內元素一一對應。在特征輸出部分，本文采用了Dropout機制［24］減弱分類模型中的過擬合現象。

2）對上下文語句進行編碼。

為突出上下文語句中的重要情感特征和解決較長上下文語句中關鍵詞信息丟失問題，采用BiGRU 與注意力機制的組合對上下文重要情感特征進行加權輸出，結構如圖6所示。

圖6 BiGRU+Attention網絡結構Fig.6 Schematic of BiGRU+Attention network

BiGRU 編碼部分會對上下文特征進行雙向語義計算，前向計算與GRU編碼部分相同，反向計算過程如式（11）：

注意力機制層可表示為帶有特殊功能的前饋神經網絡，主要功能是為拼接后的特征賦予不同的權重。注意力機制層內部主要包括3 個參數，分別為權重矩陣、偏置項及單獨的實數序列。注意力機制層會對輸入特征進行式（12）～（14）的計算：

其中：Ww為注意力機制層的權重矩陣；bW為注意力機制層的偏置項；μW為隨機初始化的實數序列；αt為每個輸入分配的獨立權重；s為分配權重后的輸出。輸出后的特征包含了上下文重要情感特征，記作hc=[hc1，hc2，…，hcn]。

3.2.3 融合層

融合層將含有時序特征的向量hl=[hl1，hl2，…，hln]與含有上下文情感特征的向量hc=[hc1，hc2，…，hcn]采用式（15）對隱式情感句特征和上下文特征進行逐元素相乘。

3.2.4 輸出層

假設融合后的特征H∈Rn×d，輸出層則對輸入特征H進行式（16）的計算：

其中：softmax為歸一化函數；pli為歸一化后的分類模型情感類別結果，Ws和bs分別為輸出層的權重矩陣和偏置項向量，取pli中的最大值作為分類模型最終預測結果，即進行式（17）計算：

4 實驗與分析

4.1 數據集

本文所用數據集為第8 屆全國社會媒體處理大會（SMP2019）舉辦的“拓爾思杯”中文隱式情感分析評測數據集，由于無法獲得該數據集中測試集的標注信息，本文只使用數據集中的訓練集和驗證集，對訓練集重新進行4∶1 的劃分，分別作為訓練集與驗證集，原驗證集作為本文測試集。該數據集情感標簽為褒義、中性、貶義3 種。表5 展示了標注數據的詳細信息。

表5 實驗數據信息Tab.5 Experimental data information

4.2 實驗設置

4.2.1 數據預處理

對本實驗中的數據集進行初步的規(guī)則識別，分別提取出隱式情感句和上下文語句。隱式情感句中去除了“臟數據”（3.2.1 節(jié)對隱式情感句的處理）。與隱式情感句相鄰的語句作為上下文的輸入，對于不包含上下文的隱式情感句，采用句子本身作為上下文輸入。句子提取完成后，采用帶有自定義情感詞典的jieba分詞工具對句子進行分詞處理。

4.2.2 評價指標

本文使用SMP2019 官方提供的評價指標測試各個模型分類性能，即宏平均準確率（Macro?P）、召回率（Macro?R）及F1值（Macro?F1）。宏平均指標的計算需要求得各個類別的準確率（P）、召回率（R）及F1 值。3 個數值的計算如式（18）～（20）所示：

其中：TP（True Positive）表示句子情感類別為正例，分類模型預測結果為正例；FP（False Positive）表示句子情感類別為負例，分類模型預測結果為正例；FN（False Negative）表示句子情感類別為正例，分類模型預測結果為負例。在隱式情感分類研究中，正例為原始情感類別，負例為其他情感類別。宏平均指標為對3 個類別指標求均值，僅展示宏平均準確率計算方式，如式（21）所示，其中Pi與標簽信息一一對應，分別代表隱性情感類別：中性、褒義、貶義，其余指標計算相似。

4.2.3 對比實驗設置

為直觀比較各模型特征提取特點，本文采用Word2vec 詞向量，且在訓練時融入Word+Character+Ngram 特征［25］。本節(jié)選取了隱式情感分類和顯式情感分類研究中常用的模型，詳細信息如下：

1）LSTM。本文采用文獻［15］提出的LSTM網絡獲取詞語的時序關系及詞語間的依賴關系，在此基礎上建立了LSTM隱式情感分類模型。

2）GRU。獲取文本特征表示后，本文采用文獻［15］提出的GRU 網絡獲取詞語間的時序關系及依賴關系，從而建立了GRU隱式情感分類模型。

3）GCNN。在文獻［14］中的GCNN 分類模型基礎上，采用單層門控卷積神經網絡進行局部特征提取，通過最大池化和輸出層實現特征情感判別。

4）TextCNN。本文在編碼器部分采用了文獻［12］提出的TextCNN模型。

5）DRNN。本文在文獻［16］中DRNN 分類模型基礎上，采用GRU 作為中斷門控循環(huán)單元，通過全連接層、最大池化層提取更高層的特征信息。

6）BERT。本文采用中文預訓練BERT 模型［17］獲取詞語深層次語義信息，搭建了一個Softmax 分類器實現隱式情感句的判別。本文還采用了L2正則化減弱模型的過擬合程度。

7）RoBERTa。本文采用RoBERTa 預訓練模型［18］獲取詞語深層次語義信息，搭建了一個Softmax 分類器實現隱式情感句的判別。本文還采用了L2正則化減弱模型的過擬合程度。

8）GCNN-GRU。本文提出的一種融合詞語時序信息的隱式情感分類模型。采用單層GCNN 提取局部特征，通過GRU網絡增強距離依賴特性，并獲取詞語間的時序信息及更高層的語義特征信息，結構內部設計見3.2.2節(jié)編碼層描述部分。

4.2.4 超參數設置

采用參考相關研究文獻和重復實驗的方式確定超參數的取值，如表6所示。

表6 分類模型統(tǒng)一超參數Tab.6 Unified hyperparameters for classification models

分類模型主要包括兩大類：一種為循環(huán)神經網絡相關的分類模型，其中隱層神經元個數對分類結果有較大影響，如LSTM、GRU、DRNN 和GCNN-GRU；另一種為卷積神經網絡相關的分類模型，如GCNN-GRU、GCNN 和TextCNN，卷積核數和窗口大小對模型分類結果有較大影響。在確定隱層神經元最佳取值時，設定取值分別為8、16、32、64、128 和256。在確定GCNN-GRU 和DRNN 隱層神經元時，本文參照文本分類任務中卷積神經網絡敏感性研究，將卷積核數設定為100，窗口大小設定為1，DRNN 窗口大小設定為10。本節(jié)采用宏平均F1 值作為評價指標，在測試集上進行一次實驗并記錄各分類模型實驗結果，實驗結果如圖7所示。

圖7 神經元數與F1值關系Fig.7 Relationship between the number of neurons and value of F1

對實驗結果進行分析，當隱層神經元數量取值為64 時，循環(huán)神經網絡相關的分類模型均可以取得不錯的分類效果。GCNN-GRU、DRNN、LSTM 和GRU隱層神經元個數設定為64。在研究卷積神經網絡相關的分類模型超參數時，窗口大小分別設定為1、3、5、7、10和15。實驗結果如圖8所示，其中，CNN窗口大小測試參考了文獻［17］研究內容，主要目的是測試單層CNN 在不同大小窗口的敏感性。根據單層CNN 敏感性測試結果，本文確定了CNN相關網絡的窗口取值。

圖8 卷積核窗口大小與F1值關系Fig.8 Relationship between size of convolution kernel window and value of F1

對實驗結果進行分析，DRNN 分類模型在取值為15 時可以取得不錯分類效果，綜合其他大型數據集實驗結果，將DRNN 窗口大小設定為15。GCNN 和GCNN-GRU 分類模型宏平均F1 值隨著窗口增大而下降，在取值為1 時最優(yōu)。CNN 分類模型宏平均F1 值在3 時效果最優(yōu)。綜合實驗結果，分類模型獨特的超參數設置如表7所示。

表7 各模型參數取值Tab.7 Different parameter values of models

4.3 實驗結果分析

本文對各分類模型進行了5 次重復實驗，獲取了宏平均準確率、召回率以及F1 值。為了方便對比，本文還列舉了各分類模型參與訓練的參數量，實驗結果詳細信息見表8。

表8 各分類模型宏平均準確率、召回率和F1值Tab.8 Macro?P，Macro?R and F1 values of each classification model

對實驗結果進行分析可以得到如下結論：

1）對比GCNN-GRU、LSTM 和GRU 模型，GCNN-GRU 具備更強的局部特征提取和信息篩選能力。與最優(yōu)的GRU 相比，本文提出的GCNN-GRU 在宏平均準確率上從73.15%提高到了73.74%，提升了0.80%；在宏平均召回率上從72.01%提高到了73.71%，提升了0.97%；在宏平均F1 值上從72.27%提高到了73.65%，提升了1.91%，驗證了本文提出的GCNNGRU 在融合局部特征和詞語時序信息上的有效性。由于本文數據集中包含修辭語句、情感類別增多（增加中性）、情感類別數據不均衡（中性>貶義>褒義）、不同情感類別的句子不存在界限分明的情感詞、數據來源廣泛、等特點，導致隱性情感分析任務比顯式情感分析任務更加困難，也導致了隱性情感分析的準確度不可能大幅度提升。GGBA 在GCNN-GRU 基礎上融合了上下文特征，將宏平均準確率、召回率、F1 值分別提升了1.75%、0.87%、1.33%，證明了上下文信息對隱式情感分類任務的影響。

2）對比GGBA、GCNN、TextCNN 和DRNN 模型，GGBA 模型比效果最好的DRNN 模型在宏平均準確率上提高到75.03%，提高了1.9%；召回率提高到74.35%，提升了1.5%；F1 值提高到74.63%，提升了1.6%，驗證了本文所提模型在中文隱式情感分類任務上的有效性。

3）對比GGBA、BERT 和RoBERTa 分類模型，RoBERTa 分類模型采用的雙向Transformer 結構、多維度的注意力機制和動態(tài)Masking 方法有效獲取了詞語的深層語義特征，但具備最高數量級的參數量。相對于基礎的BERT 模型，改進后的RoBERTa 分類模型在隱式情感數據集上可以獲得更好的分類效果。BERT 相關模型由于其龐大的參數量導致預訓練時花費的時間更久，且對設備和內存的要求較高［26］，若需在手機等資源有限的設備上使用BERT 相關模型，必須縮減模型中的參數量，但緊湊的BERT 相關模型往往會丟失潛在的重要信息，表現出較低的性能。雖然知識蒸餾技術［22］在一定程度上增強了BERT 相關模型的可遷移性，但其性能相較于教師模型仍有所降低。本文的GGBA 模型雖然對宏平均準確率、召回率和F1 值的提升不如BERT 模型和RoBERTa 模型，但其參數量驟降，更適用于資源有限設備。

5 結語

本文首先對隱式情感句文本特征和情感詞匯資源進行了分析，然后提出了一種融合局部特征提取的隱式情感分類模型GCNN-GRU 和一種融合時序信息和上下文信息的中文隱式情感分類模型GGBA。GCNN-GRU 模型證明了局部信息與時序信息對中文隱式情感分類任務效果的提升，基于隱式情感分類對上下文信息的依賴；在GCNN-GRU 模型基礎上，融合了上下文信息，提出GGBA 模型，在宏平均準確率、召回率和F1值上均有不錯的表現，效果相較于參數量級較低的模型均獲得了不同程度的提升。雖然分類效果不如BERT 和RoBERTa，但是GGBA 模型小、參數量低、遷移性高，能夠在手機等資源有限的設備上達到最好的性能。隨著互聯網行業(yè)的發(fā)展，人們表達感情已經不僅僅局限于文本，圖片、聲音、視頻均可以傳達人們想要表達的感情，所以，接下來的工作也會著重研究多模態(tài)的情感分析，更加貼合人們的實際生活。