薛之芹 張貫虹 王見賢 范義飛

關(guān)鍵詞：文本分類；抑郁識別；情感分析；注意力機制；BiLSTM

0 引言

抑郁癥是現(xiàn)代社會日益嚴重的公共健康問題之一，其特征有顯著且長期的情緒抑郁、認知障礙、思維遲緩等。隨著激烈的社會競爭等因素影響[1]，人們所面臨的生活負擔和心理壓力日益嚴重，導致抑郁癥的患病率持續(xù)增長，抑郁癥患者自殺風險也是正常人的25倍以上[2-3]。由此可見，目前抑郁識別仍然是一項非常具有挑戰(zhàn)性的任務。

傳統(tǒng)的抑郁識別方法主要包括基于詞典和機器學習的情感分析方法。Ran Li等人[4]創(chuàng)建了一個與抑郁相關(guān)的情感詞典來研究健康者與抑郁癥患者之間的差異。實驗結(jié)果表明，構(gòu)建的抑郁癥詞匯對抑郁癥患者有較好的識別效果。Anu Priya等人[5]采用機器學習算法來確定五種不同的焦慮、抑郁和壓力的嚴重程度。數(shù)據(jù)收集采用標準問卷，測量焦慮、抑郁和壓力的常見癥狀（DASS-21）。隨后，應用了五種不同的識別技術(shù)——決策樹、隨機森林樹、樸素貝葉斯、SVM和K-近鄰算法來進行預測，隨機森林模型被確定為最佳模型，最終在DAIC-WOZ 數(shù)據(jù)集上的F1 值達到0.766。但隨著網(wǎng)絡(luò)快速發(fā)展，詞語更替速度飛快，基于情感詞典的方法需要耗費大量資源去更新詞典；基于機器學習的方法依賴于人工對文本進行標注。相比于以上兩種方法，基于深度學習的方法能夠快速高效地處理大量數(shù)據(jù)，自動提取出文本的情感特征，具有較好的泛化能力。

Heinrich Dinkel等人[6]提出了一個基于文本的多任務Bi-GRU網(wǎng)絡(luò)，通過預訓練的詞嵌入來模擬病人在臨床訪談中的反應。使用了一種新的多任務損失函數(shù)，旨在建模抑郁癥的嚴重程度和二元健康狀態(tài)。將多任務建模與預訓練句子嵌入相結(jié)合，即Word2Vec、FastText、ELMo 和BERT 用于基于文本的抑郁建模，分類器采用具有注意機制的Bi-GRU模型。獨立研究了單詞和句子級的單詞嵌入以及使用大數(shù)據(jù)預訓練進行抑郁檢測。最終在DAIC-WOZ驗證集上的F1值為0.84。M.Niu等人[7]提出了一種基于圖注意網(wǎng)絡(luò)（HCAG） 的層次上下文感知模型進行抑郁檢測，所提出的層次上下文感知結(jié)構(gòu)可以捕獲答案中的關(guān)鍵信息，該模型在DAIC-WOZ數(shù)據(jù)集上的F1值為0.77。雖然基于深度學習算法進行抑郁識別的方法不需要人工干預，分類精度較高，但是需要使用一個大規(guī)模的數(shù)據(jù)集來訓練模型，抑郁癥患者臨床對話這樣的場景研究目前較少，往往很難提取出顯著的特征，識別效果較差。

針對上述問題，為了提高抑郁識別的準確性，本文提出了一種基于Attention-BiLSTM 的抑郁識別模型。實驗結(jié)果表明，與上述相似文本實驗相比，該模型顯著提高了文本抑郁傾向識別的準確率。

1 相關(guān)工作

1.1 Bi-LSTM 模型

LSTM（Long Short-Term Memory）模型[8]是深度學習中的一種常見模型，廣泛用于文本分類、圖像處理中。然而，LSTM模型不能全面包含文本的上下文特征依賴信息。在文本抑郁傾向情感識別研究中，詞語與上下文都有著不同程度的語義關(guān)聯(lián)性，并且抑郁癥正負樣本量不多，所以雙向處理至關(guān)重要。綜上所述，本文將采用Bi-LSTM （Bi-directional Long Short-TermMemory）[9]模型，用相互獨立的兩個隱層，從正反兩個方向同時對文本數(shù)據(jù)進行處理，從而捕捉到文本中的雙向語義依賴。

1.2 Attention 機制

在對話式文本的抑郁識別任務中，Seq2Seq任務是一項重要的任務。Seq2Seq任務包含兩部分：編碼器（Encoder）和解碼器（Decoder）。文本單詞對應的詞向量被輸入編碼器中，產(chǎn)生文本對應的隱含向量表示，然后通過解碼器對文本對應的隱含向量進行逐個字符的解碼，生成目標文件。然而，對于較長的文本，編碼器和解碼器很難做到全部記憶的功能，而且不是所有的單詞對抑郁識別都能起到作用，因此在該分類任務中融入Attention機制。本文采用的是Bahdanau注意力機制[10]，具體計算過程如下：假設(shè)編碼器的輸出向量為si，i = 0，1，2，...，S - 1，其中S是編碼器輸入系列的長度。解碼器當前的隱含層輸出為hj，j = 0，1，2，...，j - 1，其中T是解碼器輸出系列的長度。首先，將si 和hj 拼接，然后對拼接之后的向量做線性變換，取Tanh激活函數(shù)，并使用vT 做點積，最后輸出score值：

最后，將隱藏層的結(jié)果和歸一化后的結(jié)果在特征方向上做拼接和線性變換，并且使用tanh函數(shù)作為激活函數(shù)輸出最終的注意力值：

Attention機制通過引入一個網(wǎng)絡(luò)能夠在Bi-LSTM 中對重要的單詞加以不同的權(quán)重，在抑郁識別分類中，使得文本特征在保留最有效信息的基礎(chǔ)上，最大限度地解決信息冗余的問題，從而提高分類的準確率。

2 對話式抑郁數(shù)據(jù)集

由于適合使用深度學習算法來研究抑郁傾向的公開數(shù)據(jù)集非常有限，目前比較廣泛使用的是精神壓力訪談語料庫DAIC-WOZ （Distress Analysis InterviewCorpus-Wizard of Oz）以及擴展版E -DAIC（Extended-DAIC） [11-12]。該系列語料庫是用于精神壓力狀況診斷的臨床訪談，如焦慮、抑郁和創(chuàng)傷后應激障礙。它包含了從總共278次臨床訪談中收集的約74小時的數(shù)據(jù)，并且為每個參與者提供了兩個標簽：一個標簽是抑郁或者非抑郁的二元診斷，1代表具有抑郁傾向，0 代表不具有抑郁傾向；一個標簽是PHQ-8抑郁量表問卷得分。PHQ-8量表是大型臨床研究中抑郁癥的有效診斷和嚴重程度測量方法，包含八項患者健康問卷抑郁量表的抑郁評分。PHQ-8總分≥10分的參與者，即被認為有抑郁癥狀。本文實驗采用的數(shù)據(jù)為DAIC-WOZ中的對話語料部分，除去動畫虛擬采訪者Ellie的話語，將參與者的對話語料提取出來并進行拼接，部分數(shù)據(jù)格式如圖1所示。

2.1 數(shù)據(jù)預處理

首先，采用去掉停用詞、標點符號、最常見和最罕見的單詞等技術(shù)。其次，一些參與者的回答過于口語化，不利于模型訓練，所以對這些話語進行了規(guī)范化處理。最后，采用詞形還原技術(shù)，把單詞的詞綴部分刪掉，提取主干部分，將每個任意變形的單詞還原為它的詞根單詞，方便計算機進行后續(xù)處理。

2.2 數(shù)據(jù)增強

由圖2原始數(shù)據(jù)分布情況可知，由于DAIC系列抑郁數(shù)據(jù)集的樣本量總共只有278條，而且抑郁人群在總樣本的占比較少，所以需要對原始數(shù)據(jù)進行數(shù)據(jù)增強，從而擴充樣本?，F(xiàn)有NLP的數(shù)據(jù)增強有兩種方法，一種是EDA加噪法[13]，另一種是回譯法[14]。根據(jù)對話式文本的特點以及幾種方法的比對，該實驗最終選擇EDA加噪法中的同義詞替換方法來進行數(shù)據(jù)增強。

為了保證對話式文本在進行同義詞替換后，依舊保持參與者所表達的語義，本實驗將替換的單詞數(shù)量設(shè)置為20，并且使用Python NLTK模塊中的WordNet 詞匯數(shù)據(jù)庫來查找同義詞。此外，為了能夠有效擴充樣本的總數(shù)量，本實驗將同義詞替換增強技術(shù)應用于整個訓練數(shù)據(jù)集，處理后的初始訓練集由175個訓練樣本加倍到350個樣本。

3 抑郁識別模型構(gòu)建

本文提出的Attention-BiLSTM模型結(jié)構(gòu)如圖3所示，主要由以下部分組成：

文本嵌入層：實驗選擇預訓練好的FastText語言模型完成對詞性的向量化表示，詞向量維度設(shè)置為300維。

Attention層：該層為特征權(quán)重學習層。采用有效的特征學習策略，根據(jù)輸入數(shù)據(jù)計算不同特征對下游任務的不同貢獻程度，使模型不僅能夠全面地表達語義，也能夠著重于關(guān)注有助于抑郁識別的文本向量。

Softmax層：使用Softmax 函數(shù)對已生成的文本向量進行歸一化處理，得到文本向量在抑郁或非抑郁類型下的概率分布，具體計算過程如下：

其中，i 為1時表示抑郁狀態(tài)，i 為0時表示非抑郁狀態(tài)，ω和b 分別為權(quán)重和偏置量。

4 實驗分析

4.1 實驗環(huán)境

本文實驗基于Windows10 系統(tǒng)，采用了Py?Torch1.11.0網(wǎng)絡(luò)框架和Python3.7版本的編程語言進行深度學習網(wǎng)絡(luò)的訓練，CUDA版本為11.3，顯卡為GTX 1080Ti，顯存大小為11GB。

4.2 參數(shù)設(shè)置

模型的性能好壞會受到各種參數(shù)的影響。本文通過實驗，對比不同Epochs、Dropout和Learning Rate等參數(shù)后，最終篩選出了以下最佳參數(shù)：

4.3 對比實驗

本文采用了以下幾種對比實驗：

FastText：FastText模型將整個對話文本作為特征來預測參與者是否具有抑郁傾向[15]。將DAIC-WOZ系列數(shù)據(jù)集經(jīng)過預處理后輸入FastText模型中，識別的準確率為0.625 0，F(xiàn)1值為0.575 4。由于FastText模型更適合用于大型數(shù)據(jù)集中，DAIC-WOZ系列數(shù)據(jù)集的規(guī)模較小，很容易造成過擬合，所以訓練效果并不理想。

TextCNN：相比于分類方法較為簡單的FastText 模型，TextCNN 模型通過使用多個大小不同的卷積核，可以提煉出句子內(nèi)部及句子之間的相互關(guān)系[16]。將DAIC-WOZ 系列數(shù)據(jù)集經(jīng)過預處理后，輸入TextCNN 模型中，識別的準確率為0.776 7，F(xiàn)1 值為0.649 8。相較于FastText模型，TextCNN的訓練效果優(yōu)于FastText模型，但是其中的卷積和池化操作會丟失對話文本間的順序和位置信息等內(nèi)容，不利于對話式文本的抑郁傾向識別。

BERT：BERT模型可以獲取動態(tài)的編碼詞向量，具有較強的泛化能力[17]。將DAIC-WOZ系列數(shù)據(jù)集輸入BERT模型中，識別的準確率為0.642 9，F(xiàn)1值為0.694 8。由此可見，BERT模型并不適合用于該數(shù)據(jù)集的分類，因為BERT模型適用于在大規(guī)模語料上進行無監(jiān)督訓練，而且BERT模型的時間和空間復雜度都非常高，需要大量的算力。

BERT-TextCNN-BiGRU：基于上述模型的不足之處，將BERT、TextCNN和BiGRU模型進行融合[18]。首先使用BERT預訓練模型將對話文本映射為向量表示，然后在情感特征提取層使用TextCNN模型和Bi?GRU模型共同對向量矩陣提取特征信息。將DAIC-WOZ 系列數(shù)據(jù)集輸入該模型中，識別的準確率為0.695 7，F(xiàn)1值為0.722 5，比單模型的BERT有所提升，但并未取得良好的效果。

Attention-BiLSTM：經(jīng)過上述模型可以得出，BERT模型并不適用于對話式文本抑郁傾向的識別研究。所以針對這種稀疏的文本，在情感特征提取層采用了將Attention機制與Bi-LSTM進行結(jié)合的方法，形成一種新的抑郁情感識別模型，學習對抑郁檢測有高度貢獻的顯著單詞的權(quán)重和重要的隱藏特征。最后，采用Softmax分類器對結(jié)果進行分類，識別的準確率高達0.917 5，F(xiàn)1值為0.852 2。

綜上所述，幾種不同的模型對比結(jié)果如表2所示：

Attention-BiLSTM 模型實驗結(jié)果分析如圖4 所示。初始訓練準確率較高的原因是該抑郁數(shù)據(jù)集的正負樣本不平衡。在剛開始訓練時，網(wǎng)絡(luò)中所有的權(quán)重都是隨機初始化，開始幾輪訓練基本沒有將權(quán)重訓練好，經(jīng)過分類器后輸出的標簽值更容易趨近于占比較大的抑郁樣本，直到后面權(quán)重訓練好后，各項指標才慢慢開始變化。

5 結(jié)論

目前，深度學習模型在情感分析領(lǐng)域非常流行，本文提出了一種基于Attention-BiLSTM模型的對話式文本識別抑郁傾向的方法。該模型利用預訓練的FastText模型，將對話文本中的單詞轉(zhuǎn)換為對應的向量，并使用同義詞替換方法增強向量的情感特征。然后使用BiLSTM網(wǎng)絡(luò)提取正向和反向的上下文信息，并且融入Attention機制學習對抑郁檢測有高度貢獻的單詞權(quán)重和重要的隱藏特征。最后，采用Softmax 分類器進行分類。本實驗的F1值達到了0.852 2，相較于其他模型取得了較好的提升。

本文的研究為今后的工作指出了另外一個方向，將參與者的語音、面部神情以及眼睛注視方向等特征融入模型中訓練。因此，下一階段的目標是在現(xiàn)有實驗的基礎(chǔ)上，實現(xiàn)多模態(tài)的情感分析，從而進一步提高抑郁識別的準確性。