王競(jìng)茜，苗敏敏，2*，徐寶國(guó)，胡文軍，2

(1.湖州師范學(xué)院信息工程學(xué)院，浙江 湖州 313000；2.浙江省現(xiàn)代農(nóng)業(yè)資源智慧管理與應(yīng)用研究重點(diǎn)實(shí)驗(yàn)室，浙江 湖州 313000；3.東南大學(xué)儀器科學(xué)與工程學(xué)院，江蘇 南京 210096)

情感是多種感覺(jué)、思想和行為綜合的復(fù)雜狀態(tài)，是人類(lèi)的一種高級(jí)認(rèn)知活動(dòng)。 情感識(shí)別作為人工智能和現(xiàn)代人機(jī)交互等研究中的重要課題，在醫(yī)療保健、遠(yuǎn)程教育和智能機(jī)器人等領(lǐng)域具有廣泛的應(yīng)用前景。 早期的情感識(shí)別研究通常利用人臉表情、語(yǔ)音以及身體姿態(tài)等非生理信號(hào)特征，但是人們可以刻意控制表情和聲音，因此難以得到客觀的情感狀態(tài)評(píng)估結(jié)果[1]。 頭皮腦電作為一種典型的生理信號(hào)，直接從大腦活動(dòng)中捕捉信息，不易偽裝，可以反映大腦的特定狀態(tài)，在情感識(shí)別中發(fā)揮著關(guān)鍵作用[2]。

基于EEG 的情感識(shí)別主要包括特征提取、選擇以及分類(lèi)方法。 EEG 特征通常能夠從時(shí)域、頻域和時(shí)頻域中進(jìn)行提取。 在時(shí)域特征方面，Hosseini等[3]將非線性時(shí)間序列分析應(yīng)用于腦電信號(hào)，并提取近似熵(Approximate Entropy，ApEn)和小波熵(Wavelet Entropy，WE) 特征，使用支持向量機(jī)(Support Vector Machine，SVM)對(duì)平靜和消極情緒進(jìn)行分類(lèi)，得到了73.25%的識(shí)別準(zhǔn)確率。 在頻域特征方面，郝琰等[4]計(jì)算功率譜密度(Power Spectral Density，PSD)作為特征來(lái)完成喚醒度與愉悅度2 個(gè)維度的情感分類(lèi)，準(zhǔn)確率分別達(dá)到82.33% 和75.46%。 在時(shí)頻域特征方面，Liu 等[5]提出了一種基于經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition，EMD)的混合特征提取方式，并結(jié)合序列后向選擇(Sequential Backward Selection，SBS)方法實(shí)現(xiàn)最優(yōu)特征選擇，利用K近鄰(K-Nearest Neighbor，KNN)分類(lèi)器在愉悅度和喚醒度兩個(gè)情緒維度上進(jìn)行識(shí)別，準(zhǔn)確率分別達(dá)到86.46%和84.90%。 此外，主成分分析(Principal Component Analysis，PCA)、小波變換(Wavelet Transform，WT)及共空間模式(Common Spatial Patterns，CSP)等特征提取方法也廣泛應(yīng)用于情感識(shí)別。 隨著腦電信號(hào)處理方法的發(fā)展和實(shí)際應(yīng)用需求的提升，從腦電信號(hào)中挖掘情感相關(guān)魯棒特征依然值得深入研究。

深度學(xué)習(xí)通過(guò)組合淺層特征形成抽象的高層特征來(lái)表示屬性類(lèi)別，從而有利于發(fā)現(xiàn)復(fù)雜數(shù)據(jù)的分布特性。 近年來(lái)，國(guó)內(nèi)外已有部分研究團(tuán)隊(duì)采用深度學(xué)習(xí)技術(shù)進(jìn)行情感腦電分析。 Zheng 等[6]從多通道EEG 信號(hào)提取微分熵特征，利用深度置信網(wǎng)絡(luò)(Deep Belief Network，DBN)對(duì)積極、中性和消極情緒識(shí)別分類(lèi)，平均準(zhǔn)確率達(dá)到86.08%。 Sharma等[7]基于長(zhǎng)短時(shí)記憶(Long Short-Term Memory，LSTM)網(wǎng)絡(luò)使用Softmax 分類(lèi)器在DEAP 數(shù)據(jù)集上進(jìn)行情感分類(lèi)，得到了82.01%的平均分類(lèi)準(zhǔn)確率。孟明等[8]提出了將CNN 和LSTM 相結(jié)合的混合深度神經(jīng)網(wǎng)絡(luò)，對(duì)DEAP 數(shù)據(jù)在效價(jià)和喚醒維度上進(jìn)行情感分類(lèi)實(shí)驗(yàn)，平均識(shí)別準(zhǔn)確率分別達(dá)到87.60%和88.58%。

在深度學(xué)習(xí)技術(shù)不斷發(fā)展的背景下，深度學(xué)習(xí)可解釋性方法也越來(lái)越多地被應(yīng)用在情感腦電分析中。 Qing 等[9]提出了一種新的具有激活機(jī)制的可解釋情感識(shí)別方法，根據(jù)分類(lèi)結(jié)果構(gòu)造包含相關(guān)系數(shù)和熵系數(shù)的情緒激活曲線來(lái)揭示情緒的激活過(guò)程。 Nie 等[10]利用特征的相關(guān)系數(shù)發(fā)現(xiàn)與情緒相關(guān)的腦電特征主要集中于Alpha 頻帶的右枕葉和頂葉、Beta 頻帶的中央?yún)^(qū)以及Gamma 頻帶的左額葉和右顳葉。 Zheng 等[11]通過(guò)研究DBN 模型學(xué)習(xí)到的權(quán)重分布來(lái)探索情感識(shí)別的關(guān)鍵通道和頻帶，發(fā)現(xiàn)外側(cè)顳葉和前額葉區(qū)在Beta 和Gamma 頻帶比大腦其他區(qū)域更活躍。

綜合以上分析，本文提出一種基于二維空間域表征可視化的情感腦電分類(lèi)方法，整體框架如圖1所示。 大量研究表明，高頻節(jié)律比低頻節(jié)律更有助于情感識(shí)別。 Li 等[12]指出Gamma 頻段的EEG 信號(hào)更適合對(duì)快樂(lè)和悲傷情緒進(jìn)行分類(lèi)。 本研究首先利用帶通濾波提取腦電信號(hào)的Gamma 頻段信號(hào)并計(jì)算其DE 特征，再根據(jù)導(dǎo)聯(lián)位置將一維DE 特征向量映射成二維矩陣進(jìn)行拓?fù)渲貥?gòu)，最后通過(guò)三次插值法提升圖片分辨率。 由于深度學(xué)習(xí)能夠自動(dòng)學(xué)習(xí)和提取抽象特征，因此使用ResNet 深度殘差網(wǎng)絡(luò)作為情感分類(lèi)模型。 雖然許多情感腦電識(shí)別模型已經(jīng)取得了良好的精度，但是仍然無(wú)法較好地理解模型的內(nèi)部表示和處理過(guò)程，本文采用事后可解釋技術(shù)Grad-CAM 解碼網(wǎng)絡(luò)模型，分析模型決策原因。 相較于傳統(tǒng)的情感識(shí)別方法，本文方法可以更好地獲取多通道情感腦電的空間信息，在解決網(wǎng)絡(luò)退化問(wèn)題的同時(shí)更方便地優(yōu)化網(wǎng)絡(luò)，達(dá)到較好的分類(lèi)效果，并結(jié)合了可視化技術(shù)，有助于理解深度學(xué)習(xí)模型的內(nèi)部表征，驗(yàn)證決策過(guò)程的正確性。

圖1 基于腦電二維空間域表征可視化的情感分類(lèi)整體框架

1 腦電信號(hào)數(shù)據(jù)集和特征提取

1.1 SEED 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

SJTU Emotion EEG Dataset(SEED)[6]是上海交通大學(xué)提供的一個(gè)免費(fèi)、公開(kāi)的情感腦電數(shù)據(jù)集。該數(shù)據(jù)集記錄了受試者觀看15 個(gè)電影剪輯片段的EEG 和眼球運(yùn)動(dòng)信號(hào)，電影片段分為積極、中性和消極三種情感類(lèi)別，每個(gè)電影片段激發(fā)受試者單一情緒。 整個(gè)試驗(yàn)過(guò)程分為5 s 的提示、4 min 左右的電影剪輯放映、45 s 的自我反饋以及15 s 的休息時(shí)間。 具體實(shí)驗(yàn)過(guò)程如圖2 所示。

圖2 具體實(shí)驗(yàn)過(guò)程

受試者有15 名(7 名男性，8 名女性，平均年齡23.27 歲，標(biāo)準(zhǔn)差2.37)。 在觀看電影剪輯片段時(shí)，使用62 通道的ESI NeuroScan 系統(tǒng)和SMI 眼動(dòng)追蹤眼鏡收集數(shù)據(jù)。 實(shí)驗(yàn)使用提供的預(yù)處理版本，數(shù)據(jù)由1 000 Hz 降采樣到200 Hz，應(yīng)用帶通濾波器將信號(hào)濾波至0~75 Hz 頻段范圍內(nèi)。

每名受試者共進(jìn)行3 次實(shí)驗(yàn)，取每名受試者的第1 次實(shí)驗(yàn)數(shù)據(jù)作為研究對(duì)象，對(duì)原始信號(hào)進(jìn)行31 Hz~50 Hz 的帶通濾波得到Gamma 頻帶信號(hào)，對(duì)15 個(gè)觀影片段數(shù)據(jù)按1 s 為時(shí)間窗口進(jìn)行無(wú)重疊劃分，總共得到3 394 個(gè)樣本，每種情感類(lèi)別的樣本數(shù)目相近。

1.2 微分熵

微分熵是香農(nóng)信息熵的連續(xù)版本，用來(lái)度量連續(xù)隨機(jī)變量的復(fù)雜性[13]。 Duan 等[14]和Zheng等[15]證明微分熵特征在情感腦電分類(lèi)任務(wù)中具有良好的性能。 因此，本研究計(jì)算Gamma 頻帶信號(hào)的微分熵，將其作為特征。 概率密度為f(x)的連續(xù)隨機(jī)變量X的微分熵公式為:

對(duì)于一段[a，b]時(shí)間范圍內(nèi)的EEG 信號(hào)，服從高斯分布N(μ，)，其微分熵為:

在特定頻帶i中，微分熵定義為:

式中:hi表示相應(yīng)EEG 信號(hào)在頻帶i的微分熵，表示信號(hào)方差。

1.3 特征提取

基于腦電的腦機(jī)接口系統(tǒng)使用多通道電極帽采集腦電信號(hào)。 SEED 數(shù)據(jù)集采用ESI 神經(jīng)掃描系統(tǒng)，從62 個(gè)電極通道記錄腦電信號(hào)，62 導(dǎo)聯(lián)的平面圖如圖3 左側(cè)所示，實(shí)驗(yàn)保留該數(shù)據(jù)集使用的所有導(dǎo)聯(lián)。

圖3 一維向量拓?fù)涑啥S矩陣

從EEG 電極圖中可以發(fā)現(xiàn):每個(gè)電極都有若干個(gè)相鄰電極，這些電極記錄了大腦特定區(qū)域的EEG信號(hào)，不同的大腦區(qū)域?qū)?yīng)不同的大腦活動(dòng)，而鏈狀的一維EEG 向量?jī)H能包含兩個(gè)相鄰電極的相關(guān)性。原始提取的一維DE 特征向量可表示為S＝[s1，s2，…，sn]，其中sn是第n個(gè)電極通道的微分熵值，n為通道總數(shù)。 對(duì)SEED 數(shù)據(jù)集來(lái)說(shuō)，采集系統(tǒng)共有62個(gè)通道，即n＝62。 為了保存多個(gè)相鄰?fù)ǖ乐g的空間信息，根據(jù)電極分布圖將一維DE 特征向量拓?fù)涑啥S矩陣(h×w)，其中h為垂直方向使用電極的最大數(shù)量，w為水平方向使用電極的最大數(shù)量。二維矩陣中不包含電極的位置用0 填充。 在SEED數(shù)據(jù)集上，h＝w＝9，由一維特征向量拓?fù)涑啥S矩陣的具體過(guò)程如圖3 所示。 一維DE 特征向量對(duì)應(yīng)的二維矩陣可以表示為:

為了顯示特征圖的細(xì)節(jié)，對(duì)上述DE 特征二維矩陣進(jìn)一步使用三次插值，提高其分辨率[16]。 三次插值示例如圖4 所示。

2 情感腦電識(shí)別模型與可解釋性分析

2.1 ResNet 模型構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)具有局部感知和權(quán)值共享等特性，能夠有效地挖掘腦電信號(hào)不同通道之間的相關(guān)性，并獲取多導(dǎo)聯(lián)腦電信號(hào)的空間特征[17]。 本文針對(duì)性地設(shè)計(jì)了一種深度殘差網(wǎng)絡(luò)(ResNet)模型對(duì)情感EEG 進(jìn)行分類(lèi)識(shí)別，將二維特征圖作為輸入，應(yīng)用二維卷積運(yùn)算，輸出三分類(lèi)預(yù)測(cè)的條件概率。殘差網(wǎng)絡(luò)通過(guò)層與層之間的快捷連接，可以有效地緩解梯度消失和梯度爆炸等問(wèn)題。

深度殘差網(wǎng)絡(luò)由多個(gè)堆疊的殘差單元組成[18]，每個(gè)單元的一般形式為:

式中:xl和xl+1是第l層的輸入和輸出，F(xiàn)是殘差函數(shù)，h(xl)＝xl是一個(gè)恒等映射，f是ReLU 激活函數(shù)。

本文構(gòu)造的ResNet 模型由6 個(gè)殘差單元、1 個(gè)平均池化層、1 個(gè)全連接層以及1 個(gè)Softmax 層組成，總體網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。 卷積核個(gè)數(shù)分別設(shè)置為32、64 和128，采用全局平均池化減少網(wǎng)絡(luò)參數(shù)，之后將數(shù)據(jù)輸入全連接層輸出三維列向量并經(jīng)過(guò)Softmax 函數(shù)得到概率分布。 所有中間層使用修正線性單元(Rectified Linear Unit，ReLU)作為激活函數(shù)，每個(gè)卷積層后包含一個(gè)批標(biāo)準(zhǔn)化(Batch Normalization，BN)層。 網(wǎng)絡(luò)包含兩類(lèi)殘差塊，考慮到二維腦電特征圖的稀疏性，殘差塊卷積核大小都設(shè)置為3×3。 第一類(lèi)殘差塊中第一個(gè)卷積塊步長(zhǎng)設(shè)置為2，實(shí)現(xiàn)降采樣，將特征圖尺寸縮小，第二個(gè)卷積塊步長(zhǎng)設(shè)置為1，同時(shí)對(duì)原始輸入進(jìn)行下采樣以保證經(jīng)過(guò)恒等映射后的輸出和經(jīng)過(guò)殘差函數(shù)處理后的輸出維度相同；第二類(lèi)殘差塊中的卷積塊步長(zhǎng)均為1，實(shí)現(xiàn)快捷連接，殘差塊的詳細(xì)結(jié)構(gòu)如圖5虛線框所示。 選用自適應(yīng)運(yùn)動(dòng)估計(jì)(Adaptive Moment Estimation，Adam)優(yōu)化算法，學(xué)習(xí)率設(shè)置為0.0001，權(quán)重衰減率設(shè)置為0.001。 殘差網(wǎng)絡(luò)的各層參數(shù)如表1 所示。

表1 殘差網(wǎng)絡(luò)的各層參數(shù)以及輸入大小

2.2 情感腦電空間域表征可視化

在卷積神經(jīng)網(wǎng)絡(luò)中，特征層層傳遞，低級(jí)特征組合成高級(jí)特征[19]。 對(duì)于輸入數(shù)據(jù)，通過(guò)CNN 的空間卷積操作，得到的最后一個(gè)卷積層的特征圖包含高級(jí)的語(yǔ)義與空間信息。 模型基于這些高級(jí)特征進(jìn)行分類(lèi)，其在最終決策中的權(quán)重可視為特征重要性，同時(shí)對(duì)特征映射計(jì)算加權(quán)平均值可有效定位具有類(lèi)別區(qū)分性的局部區(qū)域。

梯度加權(quán)類(lèi)激活映射[20]基于上述原理提出，是卷積神經(jīng)網(wǎng)絡(luò)表征可視化中基于局部解釋的一種重要方法，對(duì)網(wǎng)絡(luò)決策生成視覺(jué)解釋?zhuān)癸@分類(lèi)物體的位置。 基本思想是根據(jù)最后一個(gè)卷積層的特征圖，進(jìn)行反向傳播獲取梯度，將梯度作為權(quán)重對(duì)特征圖加權(quán)，得到關(guān)于某個(gè)特定類(lèi)別的熱力圖。 此方法簡(jiǎn)單直觀且適用于各種CNN 模型，可以應(yīng)用在圖像分類(lèi)、弱監(jiān)督定位、圖像描述和視覺(jué)問(wèn)答等方面。

為了識(shí)別情感腦電二維空間特征對(duì)結(jié)果產(chǎn)生重大影響的區(qū)域，解釋ResNet 模型的決策，使用Grad-CAM 方法。 首先計(jì)算類(lèi)c(消極、中性或積極)的輸出yc關(guān)于最后一個(gè)卷積層第k個(gè)特征圖Ak的梯度，然后對(duì)該梯度進(jìn)行高和寬維度(分別用i和j表示)的全局平均池化，獲得特征圖的重要性分?jǐn)?shù)，即:

對(duì)特征圖的線性組合使用ReLU 函數(shù)是為了篩選出對(duì)關(guān)注類(lèi)別有正向影響的特征，抑制與其他類(lèi)別有關(guān)的負(fù)向影響特征。 將熱力圖上采樣到與輸入圖像相同尺寸大小以方便和原圖疊加進(jìn)行解釋?zhuān)w一化得到最終解釋圖像。 對(duì)于類(lèi)別c，將其所有樣本的熱力圖求取均值，以表示該類(lèi)的重要區(qū)域分布。 使用Grad-CAM 實(shí)現(xiàn)可視化過(guò)程如圖6 所示。

圖6 Grad-CAM 實(shí)現(xiàn)可視化

3 實(shí)驗(yàn)結(jié)果與分析

本文的訓(xùn)練和測(cè)試過(guò)程使用Pytorch 框架在Python3.7 軟件環(huán)境下實(shí)現(xiàn)。 每次實(shí)驗(yàn)隨機(jī)選取受試者樣本的80%作為訓(xùn)練集，在訓(xùn)練樣本中隨機(jī)選取10%作為驗(yàn)證集，并將所有樣本剩余的20%作為測(cè)試集。 實(shí)驗(yàn)共有15 名受試者，每名受試者對(duì)應(yīng)一次實(shí)驗(yàn)，共進(jìn)行15 次實(shí)驗(yàn)，每名受試者的樣本數(shù)為3 394，因此訓(xùn)練集、驗(yàn)證集與測(cè)試集的樣本數(shù)分別為2 443、272 和679。 設(shè)置訓(xùn)練迭代次數(shù)為120，最終取15 次實(shí)驗(yàn)結(jié)果的平均值作為模型的分類(lèi)準(zhǔn)確率。

3.1 模型準(zhǔn)確率

本研究將模型的準(zhǔn)確率作為評(píng)估指標(biāo)，即所有測(cè)試樣本中正確預(yù)測(cè)的百分比，定義為:

式中:TP 是正確分類(lèi)的正例數(shù)，TN 是正確分類(lèi)的負(fù)例數(shù)，F(xiàn)P 是錯(cuò)誤分類(lèi)的負(fù)例數(shù)，F(xiàn)N 是錯(cuò)誤分類(lèi)的正例數(shù)。

為了展示模型對(duì)不同情緒的識(shí)別效果，利用前4 名受試者的樣本訓(xùn)練并測(cè)試模型，得到模型的分類(lèi)混淆矩陣如圖7 所示。 從中可以觀察到，模型在4 名受試者的三種情緒上均表現(xiàn)優(yōu)異，每種情緒的分類(lèi)正確樣本數(shù)遠(yuǎn)大于錯(cuò)誤樣本數(shù)。 此外，相比于中性情緒和消極情緒，模型對(duì)積極情緒的分類(lèi)更加準(zhǔn)確、分類(lèi)精度更高。

圖7 模型的分類(lèi)混淆矩陣(前4 名受試者)

本研究使用三次插值法，將9×9 大小的矩陣擴(kuò)展成32×32，分別對(duì)這兩種設(shè)置進(jìn)行了實(shí)驗(yàn)，結(jié)果如圖8 所示。 9×9 設(shè)置的準(zhǔn)確率為94.16%，32×32 設(shè)置的準(zhǔn)確率為94.88%，提高了0.72%。 同時(shí)，對(duì)于32×32 大小的樣本，每一個(gè)受試者的準(zhǔn)確率都達(dá)到88%以上，具有較好的分類(lèi)效果，也進(jìn)一步增加了圖片的分辨率，有利于實(shí)現(xiàn)Grad-CAM 可視化。

為了驗(yàn)證本文方法的有效性，除選用的微分熵特征外，提取均方根(Root Mean Square，RMS)、方差(Variance，VAR)、功率譜密度、近似熵和樣本熵(Sample Entropy，SampEn)特征，分別在SVM(kernel＝rbf)、KNN(Neighbors ＝5)、線性判別分析(Linear Discriminant Analysis，LDA)(Components ＝2)、隨機(jī)森林(Random Forest，RF)、深度學(xué)習(xí)VGG(3 層)以及所設(shè)計(jì)的ResNet 模型上進(jìn)行情感分類(lèi)。 不同特征與模型的分類(lèi)性能對(duì)比如表2 所示。 結(jié)果表明，本文的方法在近似熵、樣本熵和微分熵特征方面具有最好的分類(lèi)性能，分別達(dá)到92.45%、91.57%和94.88%。 VGG 模型在均方根和方差這兩個(gè)特征上分類(lèi)準(zhǔn)確率高于ResNet 模型，分別為93.16%和90.84%，但對(duì)近似熵和樣本熵特征識(shí)別效果不理想。 相較于其他特征，微分熵特征在不同的分類(lèi)器上均能達(dá)到較高的準(zhǔn)確率，適用于情感腦電識(shí)別研究。 本研究選取的DE 特征以及設(shè)計(jì)的ResNet 模型在SEED 數(shù)據(jù)集上取得了最優(yōu)的結(jié)果。

表2 不同特征與模型的分類(lèi)性能對(duì)比 單位:%

3.2 同類(lèi)相關(guān)研究對(duì)比

將本文的情感識(shí)別方法與其他采用SEED 數(shù)據(jù)集進(jìn)行識(shí)別分類(lèi)的研究進(jìn)行對(duì)比，幾種方法的識(shí)別結(jié)果如表3 所示。 文獻(xiàn)[21]首先對(duì)信號(hào)段進(jìn)行短時(shí)傅里葉變換(Short-time Fourier Transform，STFT)，再將不同通道的DE 特征組織起來(lái)構(gòu)建二維映射，使用分層卷積神經(jīng)網(wǎng)絡(luò)(Hierarchical Convolutional Neural Network，HCNN) 識(shí)別不同情緒，達(dá)到了88.20%的分類(lèi)準(zhǔn)確率。 文獻(xiàn)[22]提取腦電信號(hào)的DE 特征，采用圖正則化稀疏線性回歸(Graph Regularized Sparse Linear Regression，GRSLR)作為分類(lèi)模型，獲得了88.41%的識(shí)別準(zhǔn)確率。 文獻(xiàn)[23]利用有向連通圖對(duì)多通道腦電DE 特征建模，在動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)(Dynamical Graph Convolutional Neural Networks，DGCNN)上進(jìn)行腦電情感分類(lèi)，得到了90.40%的分類(lèi)準(zhǔn)確率。 文獻(xiàn)[24]從腦電數(shù)據(jù)中提取DE 特征，利用雙峰深自編碼器(Bimodal Deep AutoEncoder，BDAE)網(wǎng)絡(luò)生成的共享表示特征訓(xùn)練線性SVM 分類(lèi)器，獲得了91.01%的識(shí)別準(zhǔn)確率。文獻(xiàn)[25] 通過(guò)小波包變換(Wavelet Packet Transform，WPT)分解腦電數(shù)據(jù)生成節(jié)點(diǎn)并計(jì)算其能量作為特征，再基于六種不同深度的CNN，應(yīng)用加權(quán)平均法建立集成模型，取得了93.12%的分類(lèi)準(zhǔn)確率。 本文提取腦電Gamma 頻段的DE 特征，將一維DE 特征向量拓?fù)渲炼S矩陣并進(jìn)行三次插值，構(gòu)造ResNet 模型對(duì)情感腦電分類(lèi)，準(zhǔn)確率達(dá)到94.88%，高于其他文獻(xiàn)，證實(shí)了本方法的優(yōu)越性。

表3 相關(guān)研究分類(lèi)結(jié)果

此外，將本文方法與近3 年的研究進(jìn)行對(duì)比。Gao 等[26]提出在腦電信號(hào)的多個(gè)頻帶上提取DE 特征并構(gòu)建核心大腦網(wǎng)絡(luò)，將第1 次實(shí)驗(yàn)數(shù)據(jù)按照6 ∶4劃分訓(xùn)練集和測(cè)試集，使用多層卷積神經(jīng)網(wǎng)絡(luò)(Multilayer Convolutional Neural Network，MCNN)模型進(jìn)行分類(lèi)，準(zhǔn)確率達(dá)到91.45%。 Li 等[27]和Topic 等[28]都采用3 次實(shí)驗(yàn)數(shù)據(jù)進(jìn)行10 折交叉驗(yàn)證，分別使用圖正則化極限學(xué)習(xí)機(jī)(Graph regularized Extreme Learning Machine，GELM)和SVM 模型對(duì)情感腦電進(jìn)行分類(lèi)，獲得了88.00%和88.45%的識(shí)別準(zhǔn)確率。 本文使用相同的實(shí)驗(yàn)數(shù)據(jù)和劃分方法進(jìn)行對(duì)比分析，準(zhǔn)確率分別達(dá)到93.10%和93.40%，具體比較結(jié)果如圖9 所示。

圖9 同類(lèi)研究分類(lèi)結(jié)果比較

與上述基于腦電信號(hào)的同類(lèi)相關(guān)方法相比，采用ResNet 深度殘差網(wǎng)絡(luò)在積極、中性、消極三種情感識(shí)別問(wèn)題上獲得了最佳分類(lèi)準(zhǔn)確率，表明本文方法具有較強(qiáng)的競(jìng)爭(zhēng)力。

3.3 可視化結(jié)果分析

本文應(yīng)用Grad-CAM 方法分析生成決策需要關(guān)注的輸入部分，定位每個(gè)情感類(lèi)別對(duì)應(yīng)的關(guān)鍵腦區(qū)。根據(jù)導(dǎo)聯(lián)的空間位置，將62 個(gè)導(dǎo)聯(lián)分成16 個(gè)簇[29]，具體每個(gè)腦區(qū)的導(dǎo)聯(lián)分布情況如表4 所示。

表4 不同腦區(qū)的導(dǎo)聯(lián)分布

為了確定情緒識(shí)別的關(guān)鍵通道，需要計(jì)算每個(gè)情緒類(lèi)別腦區(qū)對(duì)應(yīng)的熱力圖。 圖10 顯示了15 名受試者對(duì)應(yīng)積極類(lèi)別的Grad-CAM 圖。 熱力圖能夠反映導(dǎo)聯(lián)重要性分布，受試者在積極情緒狀態(tài)下不同腦區(qū)中導(dǎo)聯(lián)的平均重要性值如圖11 所示。 從圖11 中可以看出，對(duì)于積極情緒，關(guān)鍵通道主要分布在外側(cè)顳區(qū)。

圖10 15 名受試者對(duì)應(yīng)積極類(lèi)的所有樣本的平均Grad-CAM 可視化結(jié)果圖

圖11 在積極情緒狀態(tài)下不同腦區(qū)中導(dǎo)聯(lián)的平均重要性值

圖12 展示了受試者15 通過(guò)Grad-CAM 獲得的所有樣本的平均熱力圖。

圖12 所有樣本的平均Grad-CAM 可視化結(jié)果圖(受試者15)

圖13 描述了受試者15 在三種情緒狀態(tài)下不同腦區(qū)中導(dǎo)聯(lián)的平均重要性值。 從圖13 中可以看出，外側(cè)顳葉對(duì)積極情緒和消極情緒影響較大，前額葉對(duì)中性情緒影響較大，即在Gamma 頻段，外側(cè)顳葉和前額葉區(qū)域?qū)η楦蟹诸?lèi)的貢獻(xiàn)較大。 本文得出的結(jié)論與文獻(xiàn)[6]、文獻(xiàn)[10]、文獻(xiàn)[11]、文獻(xiàn)[15]中一致。 由于二維卷積運(yùn)算的影響，定位的關(guān)鍵腦電通道區(qū)域比實(shí)際范圍更廣，即與情感識(shí)別相關(guān)的真正關(guān)鍵的腦區(qū)應(yīng)該集中在熱力圖亮度最高的幾個(gè)通道中。

圖13 在三種情緒狀態(tài)下不同腦區(qū)中導(dǎo)聯(lián)的平均重要性值(受試者15)

4 結(jié)論

本文對(duì)SEED 情感腦電數(shù)據(jù)集進(jìn)行研究，將每名受試者15 個(gè)4 min 左右的腦電數(shù)據(jù)按1 s 劃分樣本。 選取Gamma 頻段計(jì)算DE 特征，并將一維DE特征向量拓?fù)涑啥S矩陣以保留空間信息，利用三次插值法將9×9 大小的矩陣擴(kuò)展成32×32。 然后采用ResNet 深度殘差網(wǎng)絡(luò)進(jìn)行情感腦電識(shí)別，由表3和圖9 可知，所設(shè)計(jì)模型的準(zhǔn)確率高于其他幾種模型。 最后通過(guò)Grad-CAM 方法定位每個(gè)情感類(lèi)別對(duì)應(yīng)的關(guān)鍵腦區(qū)，發(fā)現(xiàn)外側(cè)顳葉區(qū)和前額葉區(qū)對(duì)決策產(chǎn)生影響較大。 針對(duì)深度學(xué)習(xí)的黑盒問(wèn)題，許多理解和解釋CNN 的方法已經(jīng)得到深入研究，本文只應(yīng)用了其中一種表征可視化方法解釋網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果，未來(lái)可以考慮采取更多的可視化方法應(yīng)用于腦電深度學(xué)習(xí)模型可解釋性研究。