孟 潔, 李 妍, 趙 迪, 張倩宜, 劉 赫

1(國網(wǎng)天津市電力公司 信息通信公司, 天津 300010)

2(天津市能源大數(shù)據(jù)仿真企業(yè)重點實驗室, 天津 300010)

電力行業(yè)[1]是關(guān)系到國計民生的基礎(chǔ)性行業(yè). 電力業(yè)務(wù)運營過程產(chǎn)生了海量的多種形態(tài)的自然語言數(shù)據(jù), 但是海量的數(shù)據(jù)會造成信息過載, 導(dǎo)致關(guān)鍵信息淹沒在大量的其他數(shù)據(jù)中, 增加了工作人員篩選、獲取有效信息的難度, 導(dǎo)致對已有數(shù)據(jù)缺乏有效的處理和利用, 造成信息資源的浪費. 在我們相關(guān)的研究中, 已實現(xiàn)針對電力業(yè)務(wù)語音數(shù)據(jù)設(shè)計自然語言識別模型,智能化地提取語音信息中的重要特征并根據(jù)語音數(shù)據(jù)自動生成對應(yīng)文字內(nèi)容; 進一步地, 由于電力行業(yè)專業(yè)性較強, 通過基于自然語言理解技術(shù)將非結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)化, 實現(xiàn)電力業(yè)務(wù)知識庫地自動構(gòu)建. 而在本文的研究中, 針對對話信息進行有效的分析和理解, 改進了傳統(tǒng)的繁雜、費時費力且重復(fù)性較高的客服電話質(zhì)檢工作, 有利于電力系統(tǒng)高效而穩(wěn)定的運行, 將工作人員從繁雜的記錄工作中解脫出來, 極大地提升數(shù)據(jù)的利用率及信息服務(wù)的自動化、智能化. 客服的話務(wù)質(zhì)量關(guān)系著用戶的滿意度, 是服務(wù)中的一項重要指標(biāo). 在社交網(wǎng)絡(luò)平臺以及在客服服務(wù)等情境中, 都會出現(xiàn)大量的對話文本, 隨著開源會話數(shù)據(jù)集的增加, 會話中的數(shù)據(jù)挖掘也得到了越來越多研究者的關(guān)注[2,3], 目前在客服對話領(lǐng)域數(shù)據(jù)挖掘工作主要是從對話系統(tǒng)的設(shè)計[4,5]以及在商業(yè)領(lǐng)域的客戶購物預(yù)測[6]進行的, 而在客服對話的情感分析領(lǐng)域的研究也有越來越多的工作, 如胡若云等[7]提出基于雙向傳播框架, 首先從外部語料中獲取情感詞和評價屬性并對其進行擴展, 然后使用基于詞向量的語料相似度計算方法識別長尾詞, 最后挖掘出客服對話文本的情感詞和評價屬性. 王建成[8]通過長短時記憶網(wǎng)絡(luò)和注意力機制挖掘?qū)υ挌v史中的相關(guān)信息, 融入句子的語義表示; 在解碼器中將已解碼句子的情感類別的概率分布融入當(dāng)前句子的情感分類過程中實現(xiàn)客服對話情感分析. Wang 等[9]提出基于主題感知的多任務(wù)學(xué)習(xí)方法, 該方法通過捕捉各種主題信息來學(xué)習(xí)客服對話中主題豐富的話語表達. 對話情感識別是識別對話中說話人所說語句的情緒, 本質(zhì)上也可以歸納為文本分類問題.

傳統(tǒng)的情感分析(又稱觀點挖掘)是從文本中分析人們的觀點和情感, 是自然語言處理中一個活躍的研究領(lǐng)域[10]. 現(xiàn)有的基于文本的情感分類研究, 作為情感分析的一個重要組成部分, 可以分為基于句法分析、基于詞典分析與基于機器學(xué)習(xí)分析3 大類. 基于句法分析的情感分析主要采用句法知識對文本進行分析,從而確定文本情感類別; 基于詞典的情感分析方法通常將文本看成詞的集合, 通過統(tǒng)計文本中的關(guān)鍵詞再使用相關(guān)算法對文本情感進行評分, 從而判斷情感類別; 基于機器學(xué)習(xí)的情感分類方法主要基于Pang 等[11]的工作, 將文本情感分類看作文本分類問題, 利用從情感詞選取的大量嘈雜的標(biāo)簽文本作為訓(xùn)練集直接構(gòu)建分類器(樸素貝葉斯、支持向量機等). 近年來, 隨著深度學(xué)習(xí)技術(shù)的發(fā)展, 人們提出了各種神經(jīng)網(wǎng)絡(luò)模型, 并在文本情感分類方面取得了顯著的效果.

Kim[12]首次將神經(jīng)網(wǎng)絡(luò)用于情感分類, 該方法是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)的直接應(yīng)用, 具有預(yù)先訓(xùn)練好的詞嵌入功能. Kalchbrenner等[13]提出了一個動態(tài)CNN 方法, 用于句子語義建模,來處理長度不同的輸入句子, 并在句子上生成一個特征圖.這種模型能明確地捕捉短期和長期的關(guān)系; Xu 等[14]提出了一個緩存的長短期記憶網(wǎng)絡(luò)(long-short term memory, LSTM)模型來捕獲長文本中的整體語義信息;Zhou 等[15]設(shè)計了由兩個基于注意力的LSTM 模型用于跨語言情感分類; 宋曙光等[16]提出基于注意力機制的特定目標(biāo)情感分析方法; Wang 等[17]提出利用CNNLSTM 組合模型預(yù)測文本情感極性. Poria 等[18]使用雙向門控循環(huán)單元(bi-directional gated recurrent unit, Bi-GRU)提取對話句子表征, 指出對話中的信息主要依賴于話語中的序列上下文信息; 王偉等[19]將Bi-GRU模型與注意力機制相結(jié)合, 并成功提成了情感分類效果. 孟仕林等[20]提出利用情感詞的情感信息構(gòu)造出情感向量, 與語言模型生成的向量相結(jié)合來表示文本, 并使用雙向LSTM模型作為分類器進行情感分析. 邱寧佳等[21]提出融合語法規(guī)則構(gòu)建雙通道中文情感模型,首先設(shè)計語法規(guī)則對文本進行預(yù)處理, 然后使用CNN和BiLSTM 模型提取局部情感特征并挖掘到文本時間跨度更大時的語義依賴關(guān)系. Shen 等[22]和Wang 等[23]利用雙向注意網(wǎng)絡(luò)捕捉單輪問答對話中的語義匹配信息. 以上對話情感分析研究主要集中在話語間語境聯(lián)系的建模上, 而沒有考慮對話的整體特征, 也沒有考慮特定說話人的特征. Majumder 等[24]提出采用注意機制, 將每個目標(biāo)話語的全部或部分對話信息集中起來.然而, 這種聚合機制沒有考慮說話人的話語之間信息以及其他話語與目標(biāo)話語的相對位置關(guān)系.

從理論上分析, RNN、LSTM、GRU 等網(wǎng)絡(luò)模型,可以傳播長期的上下文信息, 然而在實際應(yīng)用中, 這些方法過度依賴于對話上下文和序列信息, 容易忽略對話中的上下文情感動態(tài)建模, 并且由于缺乏標(biāo)準(zhǔn)數(shù)據(jù)集對文本的有效標(biāo)記, 難以實現(xiàn)對文本的意圖、個性以及主題等方面的建模.

近年來, 圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional networks, GCN)受到越來越多的關(guān)注. 在最近對相關(guān)自然語言處理任務(wù)的研究中, Yao 等[25]提出在整個語料庫上構(gòu)建一個異構(gòu)圖來進行文本級分類. Wu 等[26]反復(fù)消除GCN 層之間的非線性, 并將函數(shù)折疊成線性變換, 以降低GCN 的復(fù)雜性. Zhang 等[27]將句法依賴樹引入到GCN 中對句法結(jié)構(gòu)進行編碼, 并將新的GCN 結(jié)構(gòu)用于句子和體層的情感分析. 陳佳偉等[28]提出基于自注意力門控圖卷積網(wǎng)絡(luò)的特定目標(biāo)情感分析模型, 并將預(yù)訓(xùn)練BERT 應(yīng)用到該任務(wù)中實現(xiàn)情感極性的分析.

由于圖神經(jīng)網(wǎng)絡(luò)在文本分類[25,29]、鏈接預(yù)測[30]、文檔摘要[31]和關(guān)系分類[32]等方面取得了成功, 受以上研究的啟發(fā), 本文將圖網(wǎng)絡(luò)應(yīng)用于客服對話的情感識別問題.

首先, 在對話過程中, 詞語是構(gòu)成語句的主要成分,詞語在決定句子的情感極性方面起著最重要的作用,詞語的出現(xiàn)、排列和定位以及文檔不同組成部分之間的關(guān)系對于理解文檔是必要的和有價值的. 另外, 在雙方對話的交互語句進行建模時, 說話人信息是建模說話人之間依賴的必要條件, 即模型能夠理解說話人是如何影響其他說話人的情感狀態(tài); 同樣地, 對說話人自身話語的建模有助于模型理解說話人個體的情感狀態(tài)變化. 此外, 在對話過程中, 上下文話語的相對位置決定了過去話語會對未來話語產(chǎn)生影響.

基于以上因素, 本文提出了一種新的基于異構(gòu)圖卷積網(wǎng)絡(luò)的對話情感識別模型(conversation sentiment analysis based on graph convolution network, CS-GCN).

在該模型中, 首先, 根據(jù)詞共現(xiàn)關(guān)系構(gòu)建詞語關(guān)系圖,對整個語句進行非連續(xù)長距離的語義建模; 其次使用Bi-GRU 模型來捕捉連續(xù)順序語句之間的上下文信息,并根據(jù)對話雙方語句信息建立順序語句的自我上下文依賴關(guān)系和交互語句上下文依賴關(guān)系, 并通過鄰居語句特征聚合進而得到每個語句的特征. 最后通過以上圖模型的建立, 將詞結(jié)構(gòu)嵌入表示、語句上下文之間的自我順序依賴和交互依賴關(guān)系得到的語句嵌入表示聚合得到文本信息的最終嵌入表示, 實現(xiàn)對話情感狀態(tài)檢測.

1 基于圖卷積網(wǎng)絡(luò)的對話情感識別

1.1 模型設(shè)計

在大數(shù)據(jù)時代, 文本是存儲數(shù)據(jù)和元數(shù)據(jù)最普遍的形式之一, 數(shù)據(jù)表示是數(shù)據(jù)挖掘中特征提取階段的關(guān)鍵步驟. 因此, 如何構(gòu)建一個合適的文本表示模型,能夠更好地描述文本數(shù)據(jù)的固有特征, 仍然是一個挑戰(zhàn). 本文從詞共現(xiàn)關(guān)系、語句的自依賴關(guān)系和互依賴關(guān)系兩方面構(gòu)建分別構(gòu)建詞圖模型和有向語句圖模型,并采用圖卷積網(wǎng)絡(luò)提取文本特征, 進一步得到文本最終的嵌入表示用于識別對話情感狀態(tài). 該模型主要由4 部分組成: 字圖編碼結(jié)構(gòu)、順序上下文語句編碼結(jié)構(gòu)、交互上下文語句編碼結(jié)構(gòu)和情感分類器. 所提出框架的總體架構(gòu)如圖1 所示.

圖1 基于圖卷積網(wǎng)絡(luò)的客服對話情感分析框架

1.2 字圖編碼

1.2.1 詞共現(xiàn)圖構(gòu)建

詞語是構(gòu)成語句的主要成分, 詞語在決定句子的情感極性方面起著最重要的作用, 詞語的出現(xiàn)、排列和定位以及文檔不同組成部分之間的關(guān)系對于理解文檔是必要的和有價值的. 對話情感識別的第一個關(guān)鍵問題是對對話語句詞語進行建模并提取特征, 盡管有各種基于圖形的文檔表示模型, 但詞共現(xiàn)圖是表示社交媒體內(nèi)容中一個詞和另一個詞之間關(guān)系的有效方法. 在文獻[33] 的啟發(fā)下, 本文構(gòu)建窗口大小為3 的詞圖. 圖2 給出了一個示例句子的圖, 當(dāng)兩個節(jié)點在一個最大長度為3 的窗口內(nèi)時, 則認(rèn)為兩節(jié)點之間具有連邊.

圖2 窗口為3 的示例詞圖

1.2.2 字圖編碼結(jié)構(gòu)

1.3 語句編碼

1.3.1 構(gòu)建對話語句有向圖

對話情感識別另一個關(guān)鍵的是對語句上下文進行建模, 語句上下文包括說話者自身語句的上下文以及雙方對話形成的上下文. 受Majumder 等[24]的啟發(fā), 針對每一句對話本文都通過兩種上下文關(guān)系進行建模.但考慮到在對上下文語句進行建模時, 情感動態(tài)會隨之改變, 即對話雙方未來語句的情感狀態(tài)不僅會受到自身過去語句的影響, 還會受到對方過去語句的影響,這種對話語句自身的依賴性和語句交互的依賴性分別稱為順序語句自身依賴和交互語句相互依賴關(guān)系. 在本文提出的方法中, 將這兩種截然不同但相關(guān)的上下文信息(順序語句編碼和交互語句編碼)結(jié)合起來, 實現(xiàn)增強的上下文表示, 從而更好地理解會話系統(tǒng)中的情緒狀態(tài). 如圖3 所示為語句自依賴和交互語句依賴關(guān)系.

圖3 語句自依賴和交互語句依賴關(guān)系圖

1.3.2 順序語句編碼

對話的本質(zhì)是一種序列信息, RNN 模型被廣泛用于序列信息建模, GRU 是一種與LSTM 相似的遞歸神經(jīng)網(wǎng)絡(luò), 它也被用來解決反向傳播中的長期記憶和梯度問題. GRU 的輸入輸出結(jié)構(gòu)類似于RNN, 其內(nèi)在思想類似于LSTM. 與LSTM 相比, GRU 具有更少的“選通”和更少的參數(shù), 但可以實現(xiàn)與LSTM 相同的性能.因此考慮到計算開銷, 本文選擇Bi-GRU 來捕捉上下文信息. 首先在編碼語句時不區(qū)分說話人, 對全部對話語句信息進行特征表示. 以前向傳播GRU 為例, 每個GRU 單元包含更新門和重置門, 給定狀態(tài)向量ht∈RF,當(dāng)前隱藏狀態(tài)可計算如下:

1.4 情感分類與模型優(yōu)化

2 實驗

在實驗中, 首先將所提出的CS-GCN 方法與基線和性能較好的情感分析方法進行了比較, 驗證了不同上下文窗口對情感分析準(zhǔn)確率以及F1 值的影響, 并且驗證了不同聚合函數(shù)的性能, 最后設(shè)置了消融實驗來驗證采用詞共現(xiàn)關(guān)系, 順序語句編碼器和交互語句上下文編碼器進行對話情感分析的有效性. 實驗環(huán)境為:Intel Xeon 2.30 GHz, RAM 256 GB 和Nvidia Quadro P620 GPU; 操作系統(tǒng)和軟件平臺是Ubuntu 16.04、TensorFlow 1.14 和Python 3.5.

2.1 數(shù)據(jù)集與評價指標(biāo)

IEMOCAP: 南加州大學(xué)的SAIL 實驗室收集的雙人對話數(shù)據(jù). 該數(shù)據(jù)集包括151 段對話, 共7 433 句. 該數(shù)據(jù)集標(biāo)注了6 類情緒: 中立, 快樂, 悲傷, 憤怒, 沮喪,興奮, 其中, 非中立情緒占比77%. 為簡化實驗, 實驗中對6 種情緒狀態(tài)只進行積極、消極以及中立3 種情感分類.

AVEC2012: SEMAINE 數(shù)據(jù)庫收集的多模態(tài)對話數(shù)據(jù), 由4 個固定形象的機器人與人進行對話, 曾用于AVEC2012 挑戰(zhàn)賽使用的數(shù)據(jù). 該數(shù)據(jù)有95 段對話,共5 798 句. 標(biāo)注了4 個情感維度: Valence, Arousal,Expectancy, Power. Valence 表示情感積極的程度,Arousal 表示興奮的程度, Expectancy 表示與預(yù)期相符的程度, Power 表示情感影響力. 其中, Valence、Arousa和Expectancy 為[-1, 1]范圍內(nèi)的連續(xù)值, Power 為大于等于0 的連續(xù)值.

為了評價不同模型的情感分析準(zhǔn)確率, 采用準(zhǔn)確率和F1 值作為評價指標(biāo)

2.2 情感分析對比

為了全面評估CS-GCN, 將本文提出的模型與以下方法進行比較, 選擇串聯(lián)操作作為聚合函數(shù), 并且在參數(shù)設(shè)置過程中, 盡量保持4 種文本模型在參數(shù)設(shè)置上的一致性, 由于模型結(jié)構(gòu)的不同而無法達到一致性時, 采用最優(yōu)的參數(shù)設(shè)置. IEMOCAP 和AVEC2012 中沒有提供預(yù)定義的訓(xùn)練集和驗證集分割, 因此使用10%的訓(xùn)練對話作為驗證集.

CNN[12]: 基于卷積神經(jīng)網(wǎng)絡(luò)的基線模型, 該模型是上下文無關(guān)的, 不使用上下文語境中的信息. 該模型中,詞向量維度為100, 學(xué)習(xí)率為0.001, 濾波窗口選擇3、4 和5; Dropout 為0.5, 批大小為64.

Memnet[34]: 每一個話語都被反饋到網(wǎng)絡(luò)中, 與先前話語相對應(yīng)的記憶以多跳方式不斷更新, 最后利用記憶網(wǎng)絡(luò)的輸出進行情感分類. 該模型中, 學(xué)習(xí)率是0.01, 每25 個epoch 學(xué)習(xí)率自動減半, 直到100 個epoch.在梯度下降中, 沒有采用動量和權(quán)重衰減. 矩陣采用Gaussian distribution 隨機初始化, 均值為0, 方差為0.1.批大小為是32. 采用L2 正則化.

c-LSTM[35]: 通過使用雙向LSTM 網(wǎng)絡(luò)捕獲上下文內(nèi)容進行建模, 然后進行情感分類, 但是上下文LSTM模型與說話人之間的交互無關(guān), 即不對語句間交互依賴關(guān)系建模. 該模型詞向量維度為100, Bi-LSTM 隱藏層有64 個神經(jīng)元, 學(xué)習(xí)率為0.001, Dropout 為0.5, 同時設(shè)置雙向LSTM 的層數(shù)為128 層.

CMN[36]: CMN 使用兩個不同的GRU 模型為兩個說話人從對話歷史中建模話語語境. 最后, 將當(dāng)前話語作為查詢反饋給兩個不同的記憶網(wǎng)絡(luò), 得到兩個說話人的話語表示. 對于CMN 模型, 卷積層的濾波器大小為3、4 和5, 每個濾波器具有50 個特征映射, 在這些特征圖上使用最大池, 池窗口大小為2, 最后使用100 個神經(jīng)元的完全連接層.

DialogueRNN[24]: 基于說話者、過去話語的上下文和過去話語的情緒, 應(yīng)用了3 個GRU 來對這3 方面進行建模, 該模型是目前在對話情感分析領(lǐng)域取得最好性能的模型, 因此在本文中選用原文的參數(shù)進行實驗.

在實驗中將所有的實驗都獨立運行5 次, 并取平均值作為最終實驗結(jié)果, 如表1 和表2 所示.

表1 IEMOCAP 數(shù)據(jù)集在不同模型上的情感分類準(zhǔn)確率對比(%)

表2 AVEC2012 數(shù)據(jù)集在不同模型上的情感分類準(zhǔn)確率對比(%)

在IEMOCAP 數(shù)據(jù)集上, CS-GCN 的準(zhǔn)確率和F1 值分別為68.34%和71.26%, 相比于DialogueRNN模型的準(zhǔn)確率和F1 值分別提高了5%和6%左右. 在AVEC2012 數(shù)據(jù)集上, CS-GCN 在所有4 個情感維度上的準(zhǔn)確率和F1 值也同樣都優(yōu)于其他模型. 與CNN,Memnet, c-LSTM 和CMN 4 個基線模型相比, CSGCN 和DialogueRNN 都對交互語句級別的上下文進行建模, 而其他基線模型都沒有對交互語句之間的依賴關(guān)系進行編碼, 因此其情感分類的準(zhǔn)確率優(yōu)于基線模型. 其次, CS-GCN 和DialogueRNN 都對交互語句級別的上下文進行建模, 但CS-GCN 同時采用了詞共現(xiàn)關(guān)系對語句進行編碼, 其次CS-GCN 通過卷積神經(jīng)網(wǎng)絡(luò)對語句的鄰域信息進行聚合進而得到該語句的特征表示, 因此相比于DialogueRNN 模型, CS-GCN 模型獲得了更好的情感分類性能.

2.3 上下文窗口設(shè)置

在實驗中分別驗證了不同的上下文窗口對情感分類準(zhǔn)確率的影響, 分別設(shè)置P=10,Q=10;P=8,Q=8;P=4,Q=4;P=0,Q=0四組實驗進行對比, 在兩個數(shù)據(jù)集上得到的準(zhǔn)確率和F1 值如圖4 所示.

由圖4 可知, 在兩類數(shù)據(jù)集上, 隨著上下文窗口的減小, CS-GCN 模型的情感分類性能也逐步下降, 當(dāng)上下文窗口大小為P=0,Q=0, CS-GCN 模型只對詞共現(xiàn)結(jié)構(gòu)和順序上下文進行編碼, 不再對交互語句之間的依賴關(guān)系進行編碼, 因此情感分類性能較差.

圖4 不同上下文窗口大小情感分類性能對比

2.4 聚合函數(shù)測試

為了驗證不同聚合函數(shù)對情感分類準(zhǔn)確率的影響,我們測試了3 種聚合函數(shù)在兩個數(shù)據(jù)集上的性能, 實驗準(zhǔn)確率如表3 所示.

表3 不同聚合函數(shù)測試準(zhǔn)確度(%)

顯然, 串聯(lián)融合達到了最佳準(zhǔn)確度, 而其他兩個聚合函數(shù)的性能相對較差. 這是因為串聯(lián)操作在嵌入聚合期間保留比求和和最大池更多的信息, 有助于學(xué)習(xí)更好的節(jié)點信息表示.

2.5 消融實驗

為了驗證采用詞共現(xiàn)關(guān)系, 順序語句編碼器和交互語句上下文編碼器進行對話情感分析的有效性, 在兩個數(shù)據(jù)集上對幾種模型的情感預(yù)測性能進行了實驗比較. 首先, 將只有順序語句編碼器模型視為對話語句情感分析的基線模型, 記為CS-GCNN. 此外, 為了驗證詞共現(xiàn)關(guān)系和交互語句上下文編碼對情感分析的有效性, 在基線模型的基礎(chǔ)上加入了詞共現(xiàn)編碼結(jié)構(gòu)記為CS-GCNW. 為了驗證交互語句上下文編碼的適用性,在基線模型的基礎(chǔ)上增加了交互語句上下文編碼結(jié)構(gòu),記CS-GCNS. 最后, 將詞共現(xiàn)關(guān)系編碼結(jié)構(gòu)和交互語句上下文編碼結(jié)構(gòu)嵌入到基線模型之上, 進一步驗證組合的優(yōu)越性. 模型類型如表4 所示, 實驗結(jié)果如圖5所示.

表4 不同模型類型

圖5 不同模型類型情感分類性能對比

從圖5 可以看出, 隨著詞共現(xiàn)關(guān)系編碼器, 交互語句上下文編碼器結(jié)構(gòu)的加入, 情感分類的準(zhǔn)確率和F1 得到了逐步提高. 在數(shù)據(jù)集IEMOCAP 上, 與CSGCNN模型相比, CS-GCNW模型的準(zhǔn)確率和F1 值分別提高了10.38%和10.05%左右. 與CS-GCNN模型相比, CS-GCNS模型的準(zhǔn)確率和F1 值分別提高了13.66%和10.75%. 通過詞共現(xiàn)關(guān)系編碼器, 交互語句上下文編碼器結(jié)構(gòu)的加入, 證明了CS-GCNW和CSGCNS模型能夠提高情感分類的性能, 具有普遍適用性. 其次, 在CS-GCN 模型中, 實現(xiàn)了3 類編碼結(jié)構(gòu)的嵌入和融合用于情感分類, 與CS-GCNN模型相比, CSGCN 模型的準(zhǔn)確率和F1 值分別提高了40.98% 和38.06%. 最后, 將CS-GCN 模型與CS-GCNW和CSGCNS模型相比較, 準(zhǔn)確率和F1 值同樣得到了顯著的提高. 綜上所述, 這些對比實驗充分驗證了本文提出的CS-GCN 模型通過引入詞共現(xiàn)關(guān)系編碼器, 交互語句上下文編碼器結(jié)構(gòu), 顯著提升了對話情感分析的性能.

3 結(jié)論

受異質(zhì)圖卷積網(wǎng)絡(luò)的啟發(fā), 本文提出了一種基于圖卷積網(wǎng)絡(luò)的客服對話情感分析方法. 提出的CSGCN 模型與傳統(tǒng)的基于RNN 模型的對話數(shù)據(jù)情感檢測方法不同, CS-GCN 模型將詞共現(xiàn)關(guān)系, 語句的順序上下文特征以及不同說話人語句之間的交互依賴關(guān)系進行融合編碼, 通過圖卷積網(wǎng)絡(luò)實現(xiàn)對文本特征提取與聚合得到最終的文本表示, 進一步實現(xiàn)對對話情感的狀態(tài)識別. 在實驗中, 將CS-GCN 模型與基礎(chǔ)CNN,Memnet, c-LSTM, CMN 和DialogueRNN 模型在兩個數(shù)據(jù)集進行情感分類準(zhǔn)確率的對比, 驗證了CS-GCN模型可有效提高情感識別準(zhǔn)確度. 其次, 設(shè)計了相關(guān)的消融實驗驗證了融合詞共現(xiàn)編碼, 順序語句上下文編碼以及交互語句上下文編碼3 種結(jié)構(gòu)對于對話情感識別準(zhǔn)確率提高的有效性. 在未來的工作中可將多模態(tài)信息整合到CS-GCN 網(wǎng)絡(luò)中, 進一步提高對說話人之間的情感轉(zhuǎn)換檢測, 為客服的質(zhì)檢工作提供及時、客觀、有效的分析.