梁圣金

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500）

0 引 言

情緒對人們的言行舉止有著重要的影響。情緒的刺激和響應(yīng)理論認(rèn)為，主體對客觀事物和環(huán)境的評價(jià)水平是情緒喚醒和產(chǎn)生的關(guān)鍵所在[1]。已有研究表明，情緒與一些精神疾病密切相關(guān)，如受到情緒調(diào)節(jié)影響的抑郁癥[2]。所以，對情緒的研究，將有助于人們對自身情緒狀態(tài)及其影響擁有更深入的認(rèn)知。

近年來，一種能夠從人類的大腦活動中檢測情緒狀態(tài)的情感腦機(jī)接口[3]技術(shù)得到了越來越多的關(guān)注。腦電具有非侵入性和時(shí)間分辨率高等優(yōu)點(diǎn)，常用于記錄大腦活動。相比于面部表情、聲音及身體姿態(tài)等，腦電信號不易受到個(gè)體的刻意控制，為情緒識別提供了客觀可靠的基礎(chǔ)。但是，腦電信號的非平穩(wěn)特性[4]使得不同個(gè)體間（跨被試）或不同時(shí)段下（跨會話）的腦電數(shù)據(jù)不滿足機(jī)器學(xué)習(xí)中獨(dú)立同分布的要求，不利于已有情緒識別模型的推廣應(yīng)用。最近，遷移學(xué)習(xí)技術(shù)為該問題提供了一些解決方案，如其中的領(lǐng)域自適應(yīng)[5-7]方法嘗試從原始領(lǐng)域（源域）和應(yīng)用領(lǐng)域（目標(biāo)域）中挖掘領(lǐng)域不變的成分。

但是，在一些實(shí)際應(yīng)用場景中，模型可能無法預(yù)先獲取待測試被試的任何數(shù)據(jù)。而且，對目標(biāo)被試建立的情緒識別模型也會隨著時(shí)間的推移而過時(shí)。對此，少部分研究者嘗試求助于領(lǐng)域泛化[8]方法。例如，MA 等人[9]和ZHAO 等人[10]為所有源域被試提取共享特征，并為每個(gè)源域被試獨(dú)立地提取特定特征，其中提取共享特征的組件有利于改善對目標(biāo)被試的預(yù)測效果。相比于領(lǐng)域自適應(yīng)方法，領(lǐng)域泛化方法因其在模型的訓(xùn)練階段無需訪問目標(biāo)域而有利于情感腦機(jī)接口的推廣應(yīng)用，值得進(jìn)一步的開發(fā)。

為了探討領(lǐng)域泛化在腦電情緒識別中的可行性，本文提出一個(gè)名為領(lǐng)域?qū)苟囝A(yù)測融合的遷移方法，利用特征提取器和領(lǐng)域分類器之間的對抗訓(xùn)練來從各個(gè)源域中提取領(lǐng)域不變的特征。此外，分別為每個(gè)源域延伸出一個(gè)獨(dú)立的標(biāo)簽預(yù)測器，以充分利用不同源域的情緒判別信息進(jìn)行融合預(yù)測。最后，在情緒腦電數(shù)據(jù)集上驗(yàn)證了所提方法的性能。

1 方 法

1.1 問題定義

當(dāng)測試領(lǐng)域（目標(biāo)域）完全未知時(shí)，只能盡可能地從訓(xùn)練領(lǐng)域（源域）中學(xué)習(xí)具有較好泛化能力的模型。在基于腦電信號的情緒識別中，當(dāng)預(yù)先訓(xùn)練的模型服務(wù)于大眾時(shí)，它可能會遇到為模型提供過訓(xùn)練數(shù)據(jù)的人（跨會話場景），但更多時(shí)候都會面臨著未知的測試者（跨被試場景）。這些真實(shí)的場景對模型的成功應(yīng)用提出了較高的要求。本文嘗試探索領(lǐng)域泛化在腦電情緒識別中的可行性，以減少對目標(biāo)域數(shù)據(jù)的需求。

1.2 領(lǐng)域?qū)苟囝A(yù)測融合

1.2.1 網(wǎng)絡(luò)框架

為了應(yīng)對在訓(xùn)練模型過程中無法訪問目標(biāo)域的情況，本文提出了一個(gè)領(lǐng)域?qū)苟囝A(yù)測融合（Domain-Adversarial Multi-Prediction Fusion，DAMPF）網(wǎng)絡(luò)，結(jié)構(gòu)如圖1 所示。其中，虛線箭頭表示對目標(biāo)域進(jìn)行預(yù)測時(shí)的行為。DAMPF 網(wǎng)絡(luò)主要由一個(gè)特征提取器、一個(gè)領(lǐng)域分類器以及K個(gè)標(biāo)簽預(yù)測器組成。

圖1 領(lǐng)域?qū)苟囝A(yù)測融合（DAMPF）網(wǎng)絡(luò)框架

特征提取器用Gf表示，參數(shù)為θf。其作用是把各個(gè)領(lǐng)域的輸入數(shù)據(jù)映射到一個(gè)公共的特征空間中，以供后續(xù)使用。

領(lǐng)域分類器用Gd（參數(shù)為θd）表示，用于判斷輸入樣本來自哪個(gè)領(lǐng)域。對于K個(gè)輸入源域，Gd是一個(gè)K類分類器。它和特征提取器之間通過一個(gè)特殊的梯度反轉(zhuǎn)層[11]進(jìn)行連接。梯度反轉(zhuǎn)層在前向傳播過程中不起作用，而在反向傳播過程中先將領(lǐng)域分類器傳給它的梯度乘以-1 再傳給前面的特征提取器。在梯度反轉(zhuǎn)層的作用下，特征提取器和領(lǐng)域分類器在基于標(biāo)準(zhǔn)反向傳播的訓(xùn)練過程中往相反的方向進(jìn)行優(yōu)化。具體而言，領(lǐng)域分類器盡量區(qū)分輸入樣本的原始領(lǐng)域，而特征提取器盡量混淆輸入樣本的原始領(lǐng)域以提取領(lǐng)域不變的特征。

1.2.2 模型優(yōu)化

在本文考慮的問題中，各個(gè)給定的源域的數(shù)據(jù)均已標(biāo)注。這些帶標(biāo)簽的源數(shù)據(jù)可以用來訓(xùn)練各個(gè)標(biāo)簽預(yù)測器，其中第k個(gè)標(biāo)簽預(yù)測器的損失可以計(jì)算為：

式中：λ為權(quán)衡標(biāo)簽預(yù)測損失和領(lǐng)域分類損失的超參數(shù)。訓(xùn)練模型時(shí)，在梯度反轉(zhuǎn)層的幫助下，優(yōu)化過程可利用標(biāo)準(zhǔn)的梯度下降來完成。因此，通過最小化總的損失就可以同時(shí)學(xué)習(xí)所有組件的參數(shù)。

1.2.3 模型預(yù)測

在預(yù)測階段，對所有標(biāo)簽預(yù)測器的預(yù)測輸出進(jìn)行融合，來判斷對應(yīng)目標(biāo)樣本的情緒類別。所采用的融合策略為求多個(gè)預(yù)測的平均值，相當(dāng)于給予各個(gè)標(biāo)簽預(yù)測器相同的權(quán)重。具體地，對于來自目標(biāo)域的樣本xi，第k個(gè)標(biāo)簽預(yù)測器的輸出為：

2 實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集

為了對所提的DAMPF 網(wǎng)絡(luò)進(jìn)行評估，本文在常用的情緒腦電數(shù)據(jù)集SEED[13]上執(zhí)行遷移實(shí)驗(yàn)。SEED 數(shù)據(jù)集包含15 名被試在觀看情感電影片段時(shí)所采集的腦電數(shù)據(jù)，包含積極、中性及消極三種情緒類別。每名被試在不同的日期共參與了三次數(shù)據(jù)采集實(shí)驗(yàn)，其中每次實(shí)驗(yàn)被稱為一個(gè)會話。在每個(gè)會話中，每名被試共觀看了15 個(gè)情感電影片段，每個(gè)電影片段持續(xù)約4 min。每種情緒所對應(yīng)的電影片段數(shù)量是一致的，這意味著每種情緒的樣本數(shù)量基本一致。由于腦電采集實(shí)驗(yàn)中所使用的設(shè)備有62 個(gè)通道，而每個(gè)通道的數(shù)據(jù)又劃分為5 個(gè)頻段，所以每個(gè)樣本的維度為62×5=310。預(yù)處理后的腦電數(shù)據(jù)被分割成許多個(gè)長度為1 s 的無重疊時(shí)間序列，并從中提取微分熵特征。最終從每個(gè)會話得到3 394 個(gè)樣本。

2.2 遷移場景

本文考慮跨被試和跨會話這兩種遷移場景下的腦電情緒識別。

在跨被試場景中，每個(gè)方法都需要執(zhí)行15 次實(shí)驗(yàn)。每次實(shí)驗(yàn)都從15 名被試中選擇一名被試作為目標(biāo)域，而其余14 名被試作為源域，使得每名被試都有機(jī)會成為目標(biāo)域。實(shí)驗(yàn)中每名被試僅包含其一個(gè)會話的腦電數(shù)據(jù)。對15 次實(shí)驗(yàn)的目標(biāo)域準(zhǔn)確率求平均值和標(biāo)準(zhǔn)差。

在跨會話場景中，對于每名被試，都將其第一個(gè)會話和第二個(gè)會話作為源域，而剩余的第三個(gè)會話作為目標(biāo)域，使得每名被試獨(dú)立地進(jìn)行實(shí)驗(yàn)。對于每個(gè)方法，對所有15 名被試的目標(biāo)域準(zhǔn)確率取平均值和標(biāo)準(zhǔn)差。

2.3 對比方法及實(shí)現(xiàn)細(xì)節(jié)

對比實(shí)驗(yàn)將所提方法與基線方法、領(lǐng)域自適應(yīng)方法及領(lǐng)域泛化方法進(jìn)行比較。

本文將k最近鄰（k-Nearest Neighbors，KNN）方法作為基線方法。它沒有采用遷移學(xué)習(xí)技術(shù)，直接將從源域訓(xùn)練得到的模型應(yīng)用于目標(biāo)域。KNN的參數(shù)k設(shè)置為5。

領(lǐng)域自適應(yīng)方法包括遷移成分分析（Transfer Component Analysis，TCA）[14-15]和聯(lián)合分布自適應(yīng)（Joint Distribution Adaptation，JDA）[16]方法。TCA通過對齊源域和目標(biāo)域的邊緣分布來促進(jìn)知識遷移，而JDA 又進(jìn)一步地對齊跨領(lǐng)域的條件分布。對于TCA 和JDA，降維后的維度為30，正則化參數(shù)為1，訓(xùn)練模型的源域樣本數(shù)量為5 000（由于內(nèi)存有限，僅使用所有源域樣本的子集）。JDA 的迭代次數(shù)為10。

領(lǐng)域泛化的對比方法為領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)的領(lǐng)域泛化變體（Domain Generalization in Domain-Adversarial Neural Network，DG-DANN）[9]。 它 利用一個(gè)特征提取器、一個(gè)標(biāo)簽預(yù)測器及一個(gè)領(lǐng)域分類器來從源域的數(shù)據(jù)中提取領(lǐng)域不變成分。對于DG-DANN，特征提取器有3 層，分別有512，256，128 個(gè)節(jié)點(diǎn)。標(biāo)簽預(yù)測器有3 層，節(jié)點(diǎn)數(shù)量分別有64，32 和3 個(gè)。領(lǐng)域分類器有3 層，分別有256，256 和K個(gè)節(jié)點(diǎn)，其中K為源域的數(shù)量。

對于本文所提出的DAMPF 網(wǎng)絡(luò)，特征提取器、領(lǐng)域分類器及每個(gè)標(biāo)簽預(yù)測器的層數(shù)和節(jié)點(diǎn)數(shù)都與DG-DANN 的一樣。此外，與僅有一個(gè)標(biāo)簽預(yù)測器的DG-DANN 不同，DAMPF 網(wǎng)絡(luò)為每個(gè)源域都設(shè)置了一個(gè)標(biāo)簽預(yù)測器。

對于DG-DANN 和DAMPF 網(wǎng)絡(luò)，權(quán)衡參數(shù)λ的設(shè)置遵循文獻(xiàn)[11]：λ=2/(1+e-ηp)-1，其中η=10，p為模型訓(xùn)練進(jìn)度，使得λ從0 逐漸變化到1。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 跨被試實(shí)驗(yàn)

各個(gè)方法在SEED 數(shù)據(jù)集上進(jìn)行跨被試實(shí)驗(yàn)的結(jié)果如圖2 和表1 所示。

表1 各個(gè)方法的跨被試實(shí)驗(yàn)的平均結(jié)果

圖2 每名被試作為目標(biāo)域時(shí)所對應(yīng)的跨被試實(shí)驗(yàn)結(jié)果

基線方法KNN 取得了62.15%的平均準(zhǔn)確率和8.85%的標(biāo)準(zhǔn)差。KNN 沒有使用任何遷移學(xué)習(xí)技術(shù)，因此將它作為最基礎(chǔ)的對比方法。

傳統(tǒng)的領(lǐng)域自適應(yīng)方法TCA 和JDA 分別取得了66.26%（6.57%）和68.41%（9.03%）的平均結(jié)果，在平均準(zhǔn)確率上與KNN 相比分別提升了4.11%和6.26%。由此可見，對齊源域和目標(biāo)域的邊緣分布和條件分布，可以減小領(lǐng)域之間的差異；使用遷移學(xué)習(xí)技術(shù)，可以改善跨被試的腦電情緒識別效果。

基于神經(jīng)網(wǎng)絡(luò)的方法（DG-DANN 和DAMPF）均比基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法（KNN、TCA 及JDA）有較大的性能提升，平均準(zhǔn)確率都提升了10%以上?？梢娕c神經(jīng)網(wǎng)絡(luò)相結(jié)合的遷移方法能夠提取可遷移性更高的特征，使得源域和目標(biāo)域的差異變得更小，從而更有利于對目標(biāo)域數(shù)據(jù)的預(yù)測。

本文所提出的領(lǐng)域泛化方法DAMPF 取得了80.50%的平均準(zhǔn)確率和6.19%的標(biāo)準(zhǔn)差。在平均準(zhǔn)確率上，利用神經(jīng)網(wǎng)絡(luò)構(gòu)建的DAMPF 方法相比傳統(tǒng)的領(lǐng)域自適應(yīng)方法TCA 和JDA 有了較大的提升，分別提升了14.24%和12.09%；DAMPF 方法比僅有一個(gè)標(biāo)簽預(yù)測器的領(lǐng)域泛化方法DG-DANN提升了1.34%，在所有方法中取得了最好的效果，說明利用多個(gè)標(biāo)簽預(yù)測器的預(yù)測進(jìn)行融合的遷移方法可以提升模型的泛化能力。此外，DAMPF 方法取得了最低的標(biāo)準(zhǔn)差，說明它的穩(wěn)定性較高。由于DAMPF 不需要目標(biāo)域的任何數(shù)據(jù)參與模型訓(xùn)練，所以這些實(shí)驗(yàn)結(jié)果表明它在跨被試場景中應(yīng)用時(shí)具有較好的性能。

3.2 跨會話實(shí)驗(yàn)

各個(gè)方法在SEED 數(shù)據(jù)集上的跨會話實(shí)驗(yàn)結(jié)果如圖3 和表2 所示。圖3 比較了各個(gè)方法在每名被試中進(jìn)行跨會話實(shí)驗(yàn)的準(zhǔn)確率，表2 給出了各個(gè)方法在所有跨會話實(shí)驗(yàn)中的平均準(zhǔn)確率和標(biāo)準(zhǔn)差。下面對跨會話實(shí)驗(yàn)結(jié)果進(jìn)行分析。

表2 各個(gè)方法的跨會話實(shí)驗(yàn)的平均結(jié)果

圖3 每名被試所對應(yīng)的跨會話實(shí)驗(yàn)結(jié)果

在跨會話實(shí)驗(yàn)中，所有方法的平均準(zhǔn)確率都比跨被試實(shí)驗(yàn)有了很大的提升，其中基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法（KNN、TCA 及JDA）的提升幅度尤為明顯。這些觀察說明，同一被試內(nèi)部不同會話的腦電數(shù)據(jù)雖然存在領(lǐng)域差異，但其差異比不同被試之間的要小很多。

可以發(fā)現(xiàn)，TCA 和JDA 的結(jié)果略遜于KNN。這可能是因?yàn)門CA 和JDA 只使用了源域的部分?jǐn)?shù)據(jù)來訓(xùn)練模型，而KNN 則使用了全部的源域數(shù)據(jù)。

從實(shí)驗(yàn)結(jié)果中同樣也發(fā)現(xiàn)了基于神經(jīng)網(wǎng)絡(luò)的方法（DG-DANN 和DAMPF）比基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法（KNN、TCA 和JDA）取得了更好的效果。這說明在跨會話場景下，神經(jīng)網(wǎng)絡(luò)有利于提高所學(xué)習(xí)特征的判別性，使得情緒識別模型的準(zhǔn)確率更高。

本文所提出的領(lǐng)域泛化方法DAMPF 的平均準(zhǔn)確率較傳統(tǒng)領(lǐng)域自適應(yīng)方法有了較大的提升，也優(yōu)于領(lǐng)域泛化方法DG-DANN，并且在所有對比方法中取得了最好的預(yù)測效果。這些結(jié)果表明，DAMPF 充分利用了源域中各個(gè)會話的數(shù)據(jù)分布來學(xué)習(xí)較為通用的模型，并通過利用不同標(biāo)簽預(yù)測器的輸出進(jìn)行多預(yù)測融合提供了較好的性能。

4 結(jié) 語

本文提出了一個(gè)領(lǐng)域泛化的遷移方法，即領(lǐng)域?qū)苟囝A(yù)測融合。該方法利用特征提取器將所有源域映射到一個(gè)公共的特征空間，并利用領(lǐng)域分類器和梯度反轉(zhuǎn)層增強(qiáng)特征的領(lǐng)域不變性；目標(biāo)域數(shù)據(jù)的預(yù)測由所有標(biāo)簽預(yù)測器的預(yù)測的平均融合來決定。為了評估所提方法的性能，本文分別執(zhí)行了跨被試和跨會話兩種場景的遷移實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，所提方法的性能優(yōu)于其他對比方法，證明了所提方法在腦電情緒識別的遷移問題中的有效性，也表明領(lǐng)域泛化方法可以在無需利用目標(biāo)域數(shù)據(jù)來訓(xùn)練模型的前提下維持較好的情緒識別準(zhǔn)確率。