王雨，袁玉波，過弋，3，張嘉杰

（1.華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237；2.上海大數(shù)據(jù)與互聯(lián)網(wǎng)受眾工程技術(shù)研究中心，上海 200072；3.大數(shù)據(jù)流通與交易技術(shù)國家工程實驗室（上海數(shù)據(jù)交易所），上海 200436）

0 引言

近年來，隨著人工智能和社交媒體大數(shù)據(jù)的快速發(fā)展，情緒（emotion）分析已經(jīng)在社交輿情分析、用戶畫像以及推薦系統(tǒng)等多個領(lǐng)域廣泛應(yīng)用。情感（sentiment）是人類固有的一種基本的內(nèi)在狀態(tài)，在人類交流中幫助傳達和理解實際信息，因此情感理解對于情緒分析十分重要。

在社交媒體大數(shù)據(jù)開發(fā)應(yīng)用領(lǐng)域的網(wǎng)絡(luò)對話文本中，說話人的情緒識別（Emotion Recognition in Conversation，ERC）作為自然語言處理（Natural Language Processing，NLP）的新課題越來越受重視，因為它具有從Twitter、微博、微信等平臺上大量公開可用的交互式數(shù)據(jù)中挖掘輿情的能力。此外，對話情緒識別在醫(yī)療保健系統(tǒng)、智能教育、視覺問答等方面具有應(yīng)用潛力。近幾年，電商智能客服、閑聊機器人等對話系統(tǒng)的應(yīng)用越來越廣泛，但是它們往往缺乏帶有情感的交流，不能很好地識別用戶在對話中的情緒和情感，因此有必要研究對話中蘊含的情感信息。

對話情緒識別本質(zhì)上是分類任務(wù)，旨在對一段對話中的話語進行情緒分類。與傳統(tǒng)的文本分類任務(wù)不同，對話文本存在信息的交互以及說話人情感的影響，說話人的情緒變化不僅受自己情緒狀態(tài)的影響，還受到對方說話人的情緒狀態(tài)的影響，說話人之間的依賴和自我依賴之間總是存在重要的相互作用。因此需要綜合考慮對話上下文、說話人、說話人的個性、意圖、對彼此的態(tài)度等，分析這些因素可以得到豐富的會話信息。

情感和情緒都是人類主觀的感受，因此它們的理解是相似的，并且經(jīng)?；Q使用。之前的相關(guān)研究大多將其視為兩個獨立的問題，情感分類多為情感正負極性的判斷，而情緒識別多為更細粒度的情緒識別。文獻［1-2］表明情感和情緒密切相關(guān)，大多數(shù)情緒狀態(tài)都有明顯的積極或消極的區(qū)別。如“憤怒”“恐懼”“悲傷”等，屬于消極的情緒，而“高興”和“驚訝”反映了積極的情緒。因此話語的情感知識（或情緒）可以幫助對其相鄰話語分類，例如關(guān)于憤怒情緒的信息可以幫助預(yù)測負面情感，反之亦然。

本文的主要工作如下：1）將對話主題信息和行為信息融入對話文本，通過微調(diào)預(yù)訓(xùn)練語言模型RoBERTa［3］提取重構(gòu)的句子特征。2）通過圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）建模對話上下文，并引入情感分類輔助情緒識別任務(wù)，將情感分類損失作為懲罰項設(shè)計了新的損失函數(shù)，動態(tài)調(diào)節(jié)權(quán)值。3）在DailyDialog 公開數(shù)據(jù)集［4］上進行大量實驗，驗證了本文方法的有效性。

1 相關(guān)工作

早期的情緒識別工作主要依賴于支持向量機（Support Vector Machine，SVM）［5］、規(guī)則匹配等。隨著深度學(xué)習(xí)的發(fā)展，目前的情緒識別工作主要依賴于神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［6］、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［7］等。由于社交媒體平臺上開源會話數(shù)據(jù)集的增加，ERC 引起了越來越多的研究興趣。

Hazarika等［8］提出了 會話記 憶網(wǎng)絡(luò)（Conversational Memory Network，CMN）為二元會話的參與者模擬人類交互，并利用說話人相關(guān)的記憶進行情緒識別。Hazarika等［9］擴展CMN，提出另一種用于模擬人類交互的記憶網(wǎng)絡(luò)，稱為交互式會話記憶網(wǎng)絡(luò)（Interactive Conversational Memory Network，ICON），將所有歷史話語包含在對話參與者的上下文窗口內(nèi)，作為整體對話記憶。Majumder等［10］提出了一個基于RNN 的基準(zhǔn)模型，使用三個門循環(huán)單元（Gated Recurrent Unit，GRU）跟蹤單個說話人在對話中的狀態(tài)、情緒狀態(tài)和全局語境。另一方面，作為語境信息的一種考慮方式，Shen等［11］利用增強的記憶模塊存儲更長的歷史上下文，并利用對話感知的自我注意以捕獲有用的內(nèi)部說話人依賴關(guān)系。此外，融入外部知識以及情感知識也是目前研究者探索的方向。Zhong等［12］通過多層自注意力機制理解上下文，同時，通過上下文感知的情感圖注意機制將外部常識利用起來。Bhat等［13］通過在對話中添加情感詞、主題詞匯來為句子添加基于上下文的情感特征，通過微調(diào)預(yù)訓(xùn)練語言模型RoBERTa獲得了不錯的結(jié)果。

除了使用RNN 等序列結(jié)構(gòu)處理對話中的話語序列，還有許多研究者通過圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）結(jié)構(gòu)建 模對話。Ghosal等［14］提出DialogueGCN（Dialogue Graph Convolutional Network）模型，利用GCN 模擬對話中的交互，并考慮未來的窗口話語。Ishiwatari等［15］針對DialogueGCN 沒有考慮順序信息的問題，在圖網(wǎng)絡(luò)中加入關(guān)系位置編碼以捕獲說話人的依賴性和話語的順序。彭韜等［16］將文本的句法依存關(guān)系引入模型，通過GCN 提取句法結(jié)構(gòu)信息，并與文本情感分析模型相結(jié)合。Shen等［17］提出用有向無環(huán)圖（Directed Acyclic Graph，DAG）對話語進行建圖，結(jié)合話語順序結(jié)構(gòu)設(shè)計了DAG-ERC（Directed Acyclic Graph-Emotion Recognition in Conversation）模型。

也有研究使用情感和其他任務(wù)的聯(lián)合學(xué)習(xí)方法，利用多個任務(wù)之間的相關(guān)性提升分類性能。Qin等［18］提出深度協(xié)同交互關(guān)系網(wǎng)絡(luò)（Deep Co-interactive Relation Network，DCR-Net），引入?yún)f(xié)同交互關(guān)系層建模對話行為識別（Dialog Act Recognition，DAR）和對話情感分類任務(wù)之間的交互。

基于上述相關(guān)研究，考慮到對話文本通常較短，存在表達能力有限等問題，而且對話主題和意圖有助于建模說話人之間的影響，本文在話語特征提取階段融入對話主題和意圖信息從而提取更豐富的話語特征表示，然后基于GNN 建模對話結(jié)構(gòu)和說話人信息，避免RNN 模型存在的長距離依賴問題。另一方面，本文針對對話情感和情緒存在一定關(guān)聯(lián)的特點，通過基于雙向長短時記憶（Bi-directional Long Short-Term Memory，Bi-LSTM）模型的情感分類任務(wù)輔助情緒識別任務(wù)，從而提高模型情緒識別性能。

2 任務(wù)定義

2.1 問題定義

對話情緒識別的問題定義如下：

假設(shè)在一段對話中有M個說話人，用符號表示為P={p1，p2，…，pM}，有N個句子的對話U={u1，u2，…，uN}，其中：第i個說話人的話語ui={wi1，wi2，…，wini}，ni為第i個句子中詞的數(shù)量。對話情緒識別的問題表示如下：

即在給定的模型空間H中，求得一個最優(yōu)的識別模型F*，在已知情緒標(biāo)簽的數(shù)據(jù)集合U上，使模型的識別結(jié)果和已知標(biāo)簽的差異極小。

2.2 情感對對話情緒識別的影響分析

下面分析說明情感和情緒之間的內(nèi)在關(guān)系以及對話結(jié)構(gòu)對它們的影響。

表1 是一段由A、B 兩個人參與的對話示例。A 表現(xiàn)出“驚訝”的情緒，情感傾向是積極的。而隨著對話輪次進行，A 的情緒逐漸變?yōu)椤爸行浴薄吧鷼狻?，相?yīng)的情感傾向也變?yōu)橄麡O，而B 隨著A 的情緒變化也發(fā)生了變化，并且情感傾向的變化相似。這說明對話中說話人的情感和情緒之間存在一定的關(guān)聯(lián)性，一個話語的情感（或情緒）經(jīng)常與其他語境話語相互依賴，即情感（或情緒）可以對相鄰話語進行分類。

表1 對話示例Tab.1 Example dialogues

在對話中特別是兩人對話中，說話人之間表達的情感是動態(tài)變化的并且會相互影響，通常體現(xiàn)在說話人的自我影響和說話人之間的影響。自我影響或情感慣性是指說話人在談話中對自己的情感影響。參與者對話由于自身的情緒慣性，很可能會堅持自己的情緒狀態(tài)。而說話人之間的影響指對方在說話人身上產(chǎn)生的情感影響。這種影響與這樣一個事實密切相關(guān)，即在對話過程中，說話人傾向于模仿他們面對的人來建立融洽的關(guān)系。

情感的表達方式、話語的意義也會隨對話的主題變化而變化。通常，圍繞特定主題的對話存在不同的語言表達方式，不僅影響話語的意義，還影響特定的情感因素的表達。對話行為或者對話意圖指在一段對話中說話人說的某句話的動機。對話意圖的不同使說話人在對話中表達的情感也會不同，并且兩者也存在一定關(guān)聯(lián)。通過識別說話人的意圖能幫助檢測話語中隱含的情感。此外，對話通常包含許多較短的文本，表達的信息可能有限。所以本文融合對話主題和意圖信息以豐富句子的語義特征。

對話情緒識別的難點在于不同說話人之間的情感相互影響，并且依賴上下文信息。本文通過分析發(fā)現(xiàn)對話中說話人的情緒變化和情感傾向變化趨勢相似，存在一定關(guān)聯(lián)；對于同一個說話人，其情感傾向起伏不會很大?；诖?，本文基于GNN 并考慮說話人信息來建模對話結(jié)構(gòu)，探索通過粗粒度的情感分類任務(wù)來輔助細粒度的情緒識別性能，并融入主題和意圖信息增強文本特征。

3 情感增強的對話情緒識別模型

本文提出的SBGN（Sentiment Boosting Graph Neural network）模型如式（2）所示：

即在模型中，融入了主題（s）和意圖（a）數(shù)據(jù)，通過對話情感分類結(jié)果優(yōu)化提升情緒識別的結(jié)果。SBGN 模型定義為情感增強的對話情緒識別模型，技術(shù)架構(gòu)如圖1 所示。

圖1 模型框架Fig.1 Model framework

SBGN 模型主要包括三個部分：

1）主題特征增強的話語編碼。說話人級別的上下文編碼器將對話主題和行為信息與原始話語拼接，通過微調(diào)預(yù)訓(xùn)練模型RoBERTa 作為自編碼器得到情感增強的話語特征。

2）情緒與情感對稱學(xué)習(xí)。在情緒識別模型中，通過堆疊L層的圖網(wǎng)絡(luò)編碼對話上下文和說話人信息得到輸出向量，拼接L層的隱層向量以及原始特征，然后通過前饋神經(jīng)網(wǎng)絡(luò)（Feed-Forward Neural network，F(xiàn)FN），最后經(jīng)過Softmax 層得到話語屬于每一類情緒標(biāo)簽的概率。在情感分類模型中，首先將增強特征輸給Bi-LSTM 模型，之后應(yīng)用線性變換，并通過Softmax 層得到情感標(biāo)簽結(jié)果。兩個任務(wù)共享底層特征，分別經(jīng)過不同的模型結(jié)構(gòu)進一步編碼得到不同任務(wù)下的話語表征，最后進行聯(lián)合優(yōu)化，在形式上形成“對稱”的兩部分。

3）情感與情緒的融合優(yōu)化。SBGN 模型通過調(diào)節(jié)損失調(diào)節(jié)因子平衡情感和情緒識別任務(wù)。

3.1 話語特征重構(gòu)

考慮到RoBERTa 強大的特征提取能力，本文通過微調(diào)RoBERTa 提取話語級的句子特征，在后續(xù)模型訓(xùn)練中凍結(jié)其參數(shù)。本文將對話主題和意圖作為數(shù)據(jù)增強映射到話語級別進行特征重構(gòu)。結(jié)合DailyDialog 數(shù)據(jù)集標(biāo)注信息，本文選擇的對話主題包括｛日常生活，學(xué)校生活，文化和教育，態(tài)度和情感，關(guān)系，旅游，健康，工作，政策/政治，經(jīng)濟｝10 個類別，對話意圖 包括｛通知（Inform），疑問（Questions），建議（Directives），接受/拒絕（Commissive）｝四個方面。

具體的，對話語ui，拼接其對應(yīng)的主題數(shù)據(jù)ti和意圖數(shù)據(jù)ai得到=ti⊕ai⊕ui={ti，ai，wi1，wi2，…，wini}。重構(gòu)以后數(shù)據(jù)的輸 入形式 為[CLS]ti，ai，wi1，wi2，…，wini[SEP]，其中：[CLS]是用于分類的特殊符號，[SEP]是令牌分隔符。

在下游微調(diào)分類任務(wù)，將模型最后一層[CLS]的嵌入表示gi作為話語的特征表示，如式（3）所示：

3.2 情感增強的對話情緒識別模型

在ERC 任務(wù)中，除了建模對話結(jié)構(gòu)，如何有效地模擬說話人的互動也是一個難點，除了需要捕捉當(dāng)前說話人的自我影響之外，還需要考慮其他參與者狀態(tài)對他的影響。本文通過圖網(wǎng)絡(luò)建模會話信息流，并在建圖過程中模擬說話人之間的交互進行情緒識別。下面介紹圖網(wǎng)絡(luò)的構(gòu)建與學(xué)習(xí)過程。

3.2.1 對話圖構(gòu)建

本文將對話圖定義為G={V，ε，R，Ω}，其中：V表示節(jié)點的集合；ε表示連接這些節(jié)點和邊的集合；Ω和R分別表示邊的權(quán)重和關(guān)系類型。下面介紹對話圖的構(gòu)建方法。

節(jié)點：對話中的每一個話語作為節(jié)點vi∈V，第一層節(jié)點向量由前述提取話語特征gi初始化，堆疊L層圖網(wǎng)絡(luò)后節(jié)點表示更新為。

邊：考慮說話人的自我影響和對話參與者的影響，本文構(gòu)建了兩種關(guān)系類型的邊。

1）自我影響。當(dāng)前說話人的話語節(jié)點vi與他自身前一個直接話語節(jié)點之間連邊，即：?(j，i，rji)∈R。

2）說話人之間的影響。當(dāng)前說話人的話語節(jié)點vi與其他說話人的直接話語節(jié)點相連，即：?(k，i，rki)∈R。

因此關(guān)系集合R={0，1}，1 表示兩個連接的語句來自同一個說話人，0 表示來自其他說話人。

圖2 是構(gòu)建的對話圖的一個示例。對話中有5 句話{u1，u2，…，u5}，u1、u3、u5由說話人A 說出，u2和u4來自說話人B。對于節(jié)點v3，與它來自同一個說話人的最近話語為v1，來自不同說話人的最近話語為v2。由構(gòu)建邊的約束可知，節(jié)點v1和v2之間的邊e12∈ε表示不同說話人之間的影響，節(jié)點v2和v3之間的邊e23∈ε表示自我影響。圖2 中說話人之間的影響和自我影響分別用實線和虛線表示。

圖2 對話圖示例Fig.2 Sample dialogue diagram

邊權(quán)重：通過注意機制計算當(dāng)前節(jié)點與鄰居節(jié)點之間的權(quán)重。具體的，對于第l層的節(jié)點vi，通過它在l-1 層的隱狀態(tài)與l層的鄰居節(jié)點的隱狀態(tài)計算得到注意權(quán)重，如式（4）所示：

其中：Vi表示vi的鄰居節(jié)點集合；是可訓(xùn)練的權(quán)重參數(shù)矩陣；‖表示拼接操作。

3.2.2 圖表示學(xué)習(xí)

本文采用與文獻［16］中類似的方式聚合和更新節(jié)點信息，按照序列順序聚合每個節(jié)點的信息，并在同一層更新節(jié)點的狀態(tài)，在傳播步驟中利用了GRU 的門控機制。由于構(gòu)建的對話圖是多關(guān)系圖，所以本文結(jié)合不同的關(guān)系類型并基于注意機制，對節(jié)點vi聚合鄰居節(jié)點信息，即隱含地考慮了不同的說話人信息。第l層的節(jié)點聚合方式如式（5）所示：

其中：Vi為vi的鄰居節(jié)點集合表示不同關(guān)系的可訓(xùn)練參數(shù)。得到聚合信息后，通過GRU 集成來自其他節(jié)點和前一層的信息，得到當(dāng)前層每個節(jié)點更新的隱藏狀態(tài)向量在GRU 中，重置門r決定是否忽略先前的隱藏狀態(tài)，更新門z決定是否更新隱藏狀態(tài)與新的隱藏狀態(tài)。計算過程如下：

其中：Wr、Wz、Wh、Ur、Uz、Uh是可訓(xùn)練的參數(shù)矩陣是經(jīng)過GRU 更新后的向量；σ是Sigmoid 激活函數(shù)；⊙是哈達瑪積。

為了更好地學(xué)習(xí)上下文信息，本文使用另一個GRU 利用前一層的節(jié)點隱藏狀態(tài)控制當(dāng)前聚合信息的傳播。將與在GRU 的位置互換，計算得到上下文信息

將兩者相加作為節(jié)點在第l層最終表示

3.3 情感分類模型

情感分類任務(wù)旨在通過判斷句子的情感極性輔助情緒識別。因此本文忽略情感分類模型中對說話人的建模，簡單地將其視為對話中話語的情感傾向分類，并通過不同情感分類網(wǎng)絡(luò)對比效果。首先，為了使特征更加適用于任務(wù)，本文將提取的句子特征進行線性變換，然后利用Bi-LSTM 模型編碼，得到一系列隱藏句子向量。即在每個時間步輸入對話中的一個話語，將正向和反向最后一個隱藏向量拼接作為話語的最終表征si，然后進行后續(xù)分類。

此外，在具體實驗中，本文還對比了不同情感分類模型的效果，用多層感知機（Multi-Layer Perceptron，MLP）代替Bi-LSTM，然后通過Softmax 層進行分類。

3.4 分類與聯(lián)合優(yōu)化

對于情緒分類任務(wù)，本文將所有圖網(wǎng)絡(luò)層句子ui的隱藏狀態(tài)拼接作為話語的最終表示Hi，然后經(jīng)過一個全連接網(wǎng)絡(luò)和Softmax 層預(yù)測情緒標(biāo)簽。

對于情感分類任務(wù)，將得到的話語向量經(jīng)過Dropout 層和Softmax 層進行情感分類：

其中：Se和Ss分別表示情緒和情感標(biāo)簽集合。

由于模型分為細粒度的情緒分類和粗粒度的情感傾向分類兩個子任務(wù)，所以需要同時優(yōu)化兩個任務(wù)的損失函數(shù)，又由于兩個子任務(wù)都是多分類任務(wù)，所以本文選用交叉熵作為損失函數(shù)。在實驗中，將情緒識別視作主任務(wù)，而情感分類作為輔助任務(wù)，對整個模型進行多目標(biāo)聯(lián)合訓(xùn)練。即將情感分類的損失作為懲罰構(gòu)建新的損失函數(shù)，通過學(xué)習(xí)動態(tài)尋找最優(yōu)的權(quán)重系數(shù)。損失函數(shù)定義如下：

其中：N表示對話總數(shù)；Ni表示每個對話中的話語數(shù)目；λ為調(diào)節(jié)因子；γ1和γ2分別是情緒識別和情感分類的損失函數(shù)。最終的損失函數(shù)為兩者加權(quán)和。

4 實驗與結(jié)果分析

4.1 實驗數(shù)據(jù)集

本文使用的是公開的DailyDialog 英文數(shù)據(jù)集，這是一個多輪的日常對話數(shù)據(jù)集，包含了人類的日常交流數(shù)據(jù)，并標(biāo)注了對話主題和對話行為。情緒標(biāo)簽有7 類：中性、快樂、驚訝、悲傷、憤怒、厭惡和恐懼。對于情感標(biāo)簽，將“快樂”和“驚訝”標(biāo)注為“積極”，“中性”標(biāo)注為“無情感”，其他標(biāo)注為“消極”。本文對原始數(shù)據(jù)集采用標(biāo)準(zhǔn)分割方式，使用11 118 個對話進行訓(xùn)練，1 000 個對話進行驗證，1 000 個對話進行測試。訓(xùn)練集、驗證集和測試集分別有87 170、8 069、7 740 個句子，每個對話大概有8 輪。

由于數(shù)據(jù)情緒類別不均衡，本文選擇不包括多數(shù)類（中性）的微平均F1（Micro-F1）作為情緒識別評價指標(biāo)，宏平均F1（Macro-F1）作為情感分類的評價指標(biāo)，根據(jù)真正性TP（True positives）、真負性TN（True Negatives）、假正性FP（False Positives）、假負性FN（False Negatives）計算：

其中：IF1是精確率P（Precision）與召回率R（Recall）的調(diào)和平均值；K為類別數(shù)。

4.2 實驗參數(shù)設(shè)置

通過驗證集調(diào)整模型超參數(shù)，包括學(xué)習(xí)率、批量大小、圖網(wǎng)絡(luò)層數(shù)、損失調(diào)節(jié)因子等。在RoBERTa 特征提取中，特征維度為1 024；對于情緒分類模型，GNN 隱藏層維度為300，層數(shù)為3，學(xué)習(xí)率為2× 10-5，丟棄率為0.3；對于情感分類模型，Bi-LSTM 模型為兩層，隱藏層維度為512，丟棄率為0.5，學(xué)習(xí)率為2× 10-5；MLP 隱藏層維度為256，丟棄率為0.2，學(xué)習(xí)率相同。對于損失調(diào)節(jié)因子，設(shè)置其取值范圍為［0.1，1］，每次實驗增加0.1，模型批量大小為64。本文實驗使用Pytorch 框架，每個訓(xùn)練和測試過程都運行在單個RTX 2080 Ti 上。

4.3 情感分類模塊選擇

SBGN_Bi-LSTM 為本文提出的沒有經(jīng)過特征重構(gòu)的模型，通過圖網(wǎng)絡(luò)建模對話上下文，情感分類模塊選擇Bi-LSTM 模型，調(diào)整損失調(diào)節(jié)因子聯(lián)合優(yōu)化，取其中的最優(yōu)結(jié)果作為模型結(jié)果；SBGN_MLP 與SBGN_Bi-LSTM 模型的方法相同，情感分類模塊為MLP，調(diào)整損失調(diào)節(jié)因子聯(lián)合優(yōu)化并選擇最優(yōu)結(jié)果。

通過實驗對比，SBGN_Bi-LSTM 的微平均F1 和宏平均F1為59.45%、67.50%；SBGN_MLP 的微平均F1 和宏平均F1 為59.22%、67.53%。因此選擇Bi-LSTM 作為SBGN 模型的情感分類模塊。

4.4 與基準(zhǔn)模型比較

本文選用以下方法進行對比分析。

1）MLP：利用MLP 作為分類器，情感分類和情緒識別分別訓(xùn)練一個模型。

2）DialogueGCN：以句子作為節(jié)點構(gòu)建對話圖，考慮說話人之間的依賴和自我依賴，在對話圖中基于固定上下文窗口連接不同關(guān)系節(jié)點，考慮過去信息的同時還考慮了未來信息，模型通過GCN 更新節(jié)點表示。

3）RGAT（Relation Graph Attention Network）［14］：以句子作為節(jié)點，對不同說話人基于關(guān)系位置編碼建模對話結(jié)構(gòu)，基于圖注意網(wǎng)絡(luò)（Graph Attention Network，GAT）更新節(jié)點，同時考慮過去和未來信息。

4）DAG-ERC：以句子作為節(jié)點，通過有向無環(huán)圖建模對話上下文，結(jié)合注意力機制和不同說話人收集信息更新句子節(jié)點，只考慮歷史節(jié)點。

5）Bi-LSTM：預(yù)訓(xùn)練語言模型提取特征之后通過Bi-LSTM 層，然后通過線性層分類，情感分類和情緒識別分別訓(xùn)練一個模型。

6）Joint MLP（Joint Multi-Layer Perceptron）：單層MLP 作為分類器，情緒和情感模型采用本文的權(quán)重調(diào)節(jié)方式聯(lián)合訓(xùn)練。

7）Joint LSTM（Joint Long Short-Term Memory Network）：情緒和情感聯(lián)合訓(xùn)練模型，堆疊兩層單向LSTM，情感和情緒模型采用本文的權(quán)重調(diào)節(jié)方式聯(lián)合訓(xùn)練。

8）Joint Bi-LSTM（Joint Bidirectional Long Short-Term Memory network）：情緒和情感聯(lián)合訓(xùn)練模型，堆疊兩層Bi-LSTM，情感和情緒模型采用本文權(quán)重調(diào)節(jié)方式聯(lián)合訓(xùn)練。

9）SBGN：本文提出的經(jīng)過特征重構(gòu)的模型，其中情緒識別任務(wù)選擇Bi-LSTM，調(diào)整損失調(diào)節(jié)因子聯(lián)合優(yōu)化，取最優(yōu)結(jié)果作為最終結(jié)果。

對比實驗結(jié)果如表2 所示。微平均F1 和宏平均F1 分別為5 次實驗取平均后情緒識別和情感分類的結(jié)果，調(diào)節(jié)因子選擇取平均后微平均F1 最好的值。

表2 與基準(zhǔn)模型的比較 單位：%Tab.2 Comparison with baseline models unit：%

由表2 可以看出：

1）相較于MLP、Bi-LSTM 模型，本文提出的SBGN 模型在情感分類結(jié)果上均有提升，說明基于圖網(wǎng)絡(luò)的方法能夠更好地建模對話中的說話人信息和上下文信息，有效傳遞對話歷史信息，對話中的情緒識別需要綜合考慮上下文信息和說話人之間的依賴性。

2）聯(lián)合優(yōu)化模型Joint MLP、Joint LSTM、Joint Bi-LSTM 相較于兩個單任務(wù)模型MLP 和Bi-LSTM 效果均有所提升，說明情感分類在一定程度上能夠輔助細粒度情緒識別任務(wù)，反之情緒識別也能提高情感分類的效果，兩個任務(wù)正相關(guān)，同時也證明了本文通過加權(quán)調(diào)節(jié)懲罰因子方法的有效性。

3）相較于基于GCN、GAT 等的模型，SBGN 模型的性能有一定提升。特別是在特征增強之后微平均F1 值提升較大，說明主題信息和對話行為信息能夠彌補短文本表達信息有限的問題，豐富文本表示。

4）相較于DialogueGCN 模型與目前較先進的DAG-ERC模型，SBGN 的微平均F1 提高16.62 與14.81 個百分點。

5）情感分類整體的指標(biāo)高于情緒識別，這可能是由于情感分類的分類粒度比較粗、分類任務(wù)相對簡單，模型更容易學(xué)習(xí)，通過一些基礎(chǔ)的模型就可以達到較好的效果。

在以上的模型中，SBGN 模型獲得了最優(yōu)結(jié)果，說明本文通過情感傾向分類任務(wù)輔助情緒識別的設(shè)想是正確的。通常一句話會有一個確定的整體情感傾向，而不同的情感傾向?qū)?yīng)不同的情緒類別，因此將兩者結(jié)合起來是一個值得探索的方向。未來本文將試圖通過注意機制等方式將兩個任務(wù)聯(lián)合建模。另一方面，融入對話主題信息和對話行為信息之后模型效果提升明顯，說明對話主題和對話行為是對話情緒識別等任務(wù)中不可忽略的特征，也說明豐富的背景信息能夠幫助分類。此外，實驗結(jié)果也表明本文通過有向圖結(jié)構(gòu)建模對話圖符合實際的對話流，這種圖結(jié)構(gòu)可以在單個層中重復(fù)收集每個話語的前置信息，從而使包含較少層次的模型就能獲得遠距離的歷史信息，并能處理不同說話人之間的依賴。

本文考慮了幾種不同模型的組合，通過對比情緒分類最優(yōu)調(diào)節(jié)因子下的微平均F1 驗證本文特征重構(gòu)以及聯(lián)合優(yōu)化方法的有效性。實驗結(jié)果如表3 所示，設(shè)計了8 組實驗，對比各模型特征重構(gòu)前的基礎(chǔ)特征與重構(gòu)后的增強特征的差異。LSTM 模型是單向長短時記憶網(wǎng)絡(luò)，與Bi-LSTM 方法類似；DAG-ERC 的重構(gòu)特征結(jié)果為按照作者提供代碼復(fù)現(xiàn)所得。

表3 不同特征下的結(jié)果對比 單位：%Tab.3 Comparison of results under different features unit：%

分析表3 可以看出：

1）與沒有進行特征重構(gòu)的模型的基礎(chǔ)特征結(jié)果相比，所有重構(gòu)后的模型的性能都獲得明顯提升。因為DailyDialog數(shù)據(jù)集中的文本大多較短，平均每句話長度為14.6 個詞，所以通過嵌入外部信息一定程度上能夠豐富句子的表達，提取更多文本特征。這也說明對話中的情緒與對話中的主題和對話意圖存在一定的關(guān)聯(lián)性。這一定程度上說明用與對話相關(guān)的信息擴充特性可以帶來明顯的性能改進，不一定需要建模更復(fù)雜的模型。

2）聯(lián)合優(yōu)化模型在進行特征重構(gòu)后依然優(yōu)于單任務(wù)模型，說明情感和情緒相互關(guān)聯(lián)，通過情感分類能夠幫助提升情緒識別性能。而對于對話中的情感分類，MLP 模型與LSTM 模型特別是Bi-LSTM 效果差別不大，總體上Bi-LSTM模型略優(yōu)。

另外，通過RoBERTa 提取特征之后，通過全連接網(wǎng)絡(luò)這樣的簡單網(wǎng)絡(luò)編碼進行句子分類的效果與Bi-LSTM 效果區(qū)別不大，也側(cè)面說明了預(yù)訓(xùn)練語言模型強大的特征提取能力，只需要簡單的線性變換和全連接網(wǎng)絡(luò)即可得到很好的分類結(jié)果。

4.5 損失調(diào)節(jié)因子對比

此外，本文對比了兩種模型在不同損失調(diào)節(jié)因子下的結(jié)果，如圖3 所示。圖3（a）為沒有重構(gòu)特征時的SBGN_MLP 和SBGN_Bi-LSTM 模型情緒分類的Micro-F1 值；圖3（b）展示了嵌入主題和意圖信息之后對應(yīng)的Micro-F1 結(jié)果。

分析圖3（a）可以看到，SBGN_MLP 模型性能隨著損失調(diào)節(jié)因子改變有所上升，但是變化不大，說明MLP 網(wǎng)絡(luò)比較簡單，性能趨于穩(wěn)定。而SBGN_Bi-LSTM 模型變化幅度較大，除了存在一定的隨機性之外，與模型結(jié)構(gòu)也存在一定關(guān)系，Bi-LSTM 能更好地建模對話中的序列關(guān)系，性能提升明顯。另外，本文推測也與對話數(shù)據(jù)有關(guān)，模型容易受數(shù)據(jù)質(zhì)量影響。當(dāng)SBGN_Bi-LSTM 模型在損失調(diào)節(jié)因子λ=0.5 時獲得了最優(yōu)結(jié)果，SBGN_MLP 模型在λ=0.9 時獲得最佳結(jié)果。這可能是由于MLP 模型需要更多的情感分類“知識”來輔助情緒識別。相比之下，Bi-LSTM 模型更加復(fù)雜，在少量外部信息的情況下即可獲得較好的結(jié)果，權(quán)重過大反而會損失模型性能。

從圖3（b）可以看出，當(dāng)輸入增強后的特征時，SBGN_MLP 模型的最優(yōu)調(diào)節(jié)因子變小，SBGN_Bi-LSTM 模型也有所減小，兩者的最優(yōu)結(jié)果相差不大。說明通過特征重構(gòu)嵌入主題信息和意圖信息能豐富句子特征，在較少外部信息輔助時，情緒識別模型可獲得更好的分類結(jié)果；也說明當(dāng)提取的特征比較豐富時，通過較簡單的模型也能獲得比較好的結(jié)果。這也啟發(fā)我們盡可能地提取文本的特征，借助外部知識庫豐富文本信息也是一個值得探索的方向。

圖3 損失調(diào)節(jié)因子對比Fig.3 Comparison of loss adjustment factor

4.6 時間消耗

本文對比了SBGN、SBGN_MLP、SBGN_Bi-LSTM 與DAG模型的計算時間消耗情況，如表4 所示所有模型選擇最優(yōu)調(diào)節(jié)因子下，5 次實驗的平均1 個epoch 的結(jié)果?？梢钥闯觯?lián)合優(yōu)化模型的運行時間都高于單一的DAG-ERC 模型，并且主要與圖網(wǎng)絡(luò)有關(guān)。因為模型復(fù)雜度主要與圖網(wǎng)絡(luò)層數(shù)L和對話長度N有關(guān)，通常網(wǎng)絡(luò)層數(shù)越深、對話規(guī)模越大，復(fù)雜度越高。而Bi-LSTM 比MLP 復(fù)雜，所以SBGN_Bi-LSTM 模型的運行時間高于SBGN_MLP 模型。由于特征已經(jīng)固定，輸入維度一致，所以重構(gòu)特征前后模型運行時間基本一致。雖然本文提出的聯(lián)合模型SBGN 時間消耗略高，但是F1 指標(biāo)更優(yōu)。后續(xù)將探索如何在保證算法有效的同時提高效率。

表4 不同模型的運行時間比較 單位：sTab.4 Comparison of running time among different models unit：s

5 結(jié)語

本文提出了一種情感增強的圖網(wǎng)絡(luò)對話情緒分析模型（SBGN），通過圖結(jié)構(gòu)建模對話上下文和說話人的依賴關(guān)系，并與情感傾向分類聯(lián)合優(yōu)化。針對文本較短問題以及對話數(shù)據(jù)特點，本文在特征提取階段融入對話主題和對話意圖信息豐富短文本表示。實驗結(jié)果表明，SBGN 模型取得了較好的性能。此外，還可以得出幾個結(jié)論：首先，基于對話上下文和說話人依賴的對話圖結(jié)構(gòu)能有效建模對話信息流，從較遠的話語中獲取更多的信息；其次，情感和情緒是密切相關(guān)的，通過情感分類所獲得的信息能幫助情緒識別；最后，對話主題信息和意圖信息能夠輔助情緒識別，緩解短文本表達能力有限的問題。未來，我們將探索如何在模型中更好地建模對話情感與情緒之間的交互，如應(yīng)用注意力機制等，并考慮引入外部知識庫、情感詞典等輔助分類。