賈小云，鄭 茹，陳景霞

(陜西科技大學(xué) 電氣與信息工程學(xué)院，陜西 西安 710021)

0 引言

大腦管控著人們的日常情感變化，是人體中最為復(fù)雜的信息處理中心.腦電信號(Electroencephalogram,EEG)是由電極記錄下來的腦細(xì)胞群的自發(fā)性、節(jié)律性電活動，其蘊(yùn)含著豐富的生理、心理及病理信息[1].隨著腦科學(xué)的迅速發(fā)展，神經(jīng)科學(xué)和認(rèn)知科學(xué)對情感的深入研究，以及計算機(jī)數(shù)據(jù)處理能力的大幅提高，腦檢測技術(shù)和腦信號處理為基于情感的腦機(jī)制研究提供了科學(xué)的依據(jù)和新的研究方法.現(xiàn)在，基于腦電的情感分類與識別已經(jīng)成為情感研究的一個熱門課題[2]，對于實現(xiàn)高級人機(jī)交互，腦-機(jī)接口以及人工智能系統(tǒng)等具有重要意義.

數(shù)據(jù)空間自適應(yīng)(Data Space Adaptation，DSA)能夠使目標(biāo)空間與源空間的分布差異最小化.Arvaneh M等[3]采用監(jiān)督和非監(jiān)督版的DSA技術(shù)，來緩解EEG數(shù)據(jù)中的間歇性非平穩(wěn)性導(dǎo)致腦機(jī)接口性能惡化的問題.公共空間模式(Common Spatial Patterns,CSP)可以使信號矩陣的方差最大化.張學(xué)軍等[4]針對CSP需要大量輸入通道與缺乏頻域信息的缺陷，將EMD和CSP算法結(jié)合.吳林彥等[5]提取小波包分析和CSP特征，對比二者的分類精度，得出提取小波包分析的分類精度較高的結(jié)論.李昕等[6]結(jié)合小波包熵和自回歸模型進(jìn)行提取EEG特征，分類精度提高了5%～7%.

如何有效地緩解不同人的腦電信號之間的差異對情感分類的影響，是基于EEG的情感分類研究所面臨的挑戰(zhàn)[7,8]之一.Lin等[9]預(yù)處理采用獨立成分分析(Independent Component Analysis,ICA)等步驟去除腦電偽跡，有效地緩解了EEG的非平穩(wěn)性.Jao等[10]采用魯棒的主成分分析(Robust Principal Component Analysis，RPCA)緩解了不同受試者之間EEG信號的差異，并稍微改善了情感的分類.Lin、Jao等[11]采用RPCA分解的稀疏信號捕獲了情感反應(yīng)一致性的EEG振蕩，其分類精度提高了6%.

針對如何有效減小不同受試者試驗間的腦電信號差異對分類性能的影響，本文采用DSA-CSP迭代算法來處理腦電信號，通過DSA算法將EEG數(shù)據(jù)從源空間線性算法進(jìn)行線性變換得到投影矩陣，將多通道EEG數(shù)據(jù)投影到低維子空間，使信號矩陣的方差最大化，并對EEG數(shù)據(jù)進(jìn)行DSA和CSP的多次迭代，提取EEG的頻帶能量和小波包能量特征進(jìn)行分類.

1 EEG情感識別方法

1.1 數(shù)據(jù)源和預(yù)處理

DEAP(Database for Emotion Analysis Using Physiological Signals)情緒分析數(shù)據(jù)集由兩部分組成：在線自我評分和參與者評分.在線自我評分，記錄了由14～16名受試者根據(jù)喚醒度、效價和優(yōu)勢，對120分鐘的音視頻片段的評分；參與者評分，記錄了觀看40個音視頻片段時32位受試者的評分、EEG和外圍生理信號.受試者對音視頻的喚醒度、效價、喜好、優(yōu)勢和喜歡的評分等級從1到9.上述40個音視頻片段的情感視覺刺激等級也是從1到9，其中有20個代表高價視覺刺激，20個代表低價視覺刺激，每個音視頻片段持續(xù)1分鐘.采用32通道的電極記錄EEG，每個電極記錄63秒的EEG信號，前3秒是試驗的基線信號.這些數(shù)據(jù)記錄在兩個不同的地點，第1位到第22位受試者在Twente進(jìn)行實驗記錄，而后的第23位到第32位受試者在日內(nèi)瓦進(jìn)行實驗記錄.本文實驗采用前22位受試者觀看前20部影片的EEG數(shù)據(jù).

EEG數(shù)據(jù)預(yù)處理過程如下：最初使用128 Hz對EEG數(shù)據(jù)進(jìn)行下采樣，使用4.0～45.0 Hz的帶通濾波器去除低頻漂移.刪除EOG文物，把數(shù)據(jù)分割成3秒的試驗前基線與60秒的試驗.利用受試者的自我評分作為標(biāo)簽，分析喚醒度和效價的二分類.如果評分大于等于4，則喚醒度/效價的標(biāo)簽高，即表示第一類；如果評分小于4，則喚醒度/效價的標(biāo)簽低，即表示第二類.然后按照時間段的先后順序把每個受試者的EEG數(shù)據(jù)均分為5段.

1.2 特征提取

1.2.1 DSA算法

z=VTx

(1)

式(1)中：V?Rn×n為轉(zhuǎn)換矩陣，n是EEG通道的數(shù)量，T是轉(zhuǎn)置運算符.通過計算轉(zhuǎn)換矩陣V，最小化目標(biāo)空間和源空間之間的分布差異.

假設(shè)非平穩(wěn)性只存在于單次EEG的前兩個時刻(即平均值和協(xié)方差)，只比較源空間和目標(biāo)空間之間EEG試驗的平均分布，來計算一個最小化其前兩個時刻差異的變換矩陣.

由于帶通EEG測量結(jié)果具有近似為零的平均值，所以可以將單蹤EEG的歸一化協(xié)方差矩陣估計為：

(2)

式(2)中：x?Rn×t代表一條單一試驗EEG信號，該信號是一個由n個通道t個采樣點構(gòu)成的矩陣，tr(x)為x的對角線元素之和，即x的跡.

因此，一組EEG信號的平均分布可以通過零均值和通過對多次EEG試驗中的相關(guān)性進(jìn)行平均而計算出的協(xié)方差矩陣來定義.基于最大熵原理，用于建模與零均值和協(xié)方差矩陣一致的單徑腦電的分布的最適合模型是高斯分布.因此，為衡量兩個高斯分布之間的差異，采用Kullback-Leibler(KL)散度.

(3)

為了最小化上式，則計算損失函數(shù)L1(V)關(guān)于V的一階導(dǎo)數(shù)并且將其設(shè)置為0，結(jié)果如下：

(4)

1.2.2 CSP算法

共空間模式[12,13]利用線性變換將多通道腦電信號數(shù)據(jù)投影到帶有映射矩陣的低維空間子空間中，其中映射矩陣每一行由通道權(quán)值組成.能夠最大化兩類信號矩陣的差異.

若X為某個受試者第一類情感狀態(tài)的數(shù)據(jù)，Y為該受試者第二類情感狀態(tài)的數(shù)據(jù).EEG數(shù)據(jù)的歸一化空間協(xié)方差表示為：

(5)

(6)

式(6)中：U0是特征向量矩陣，Σ是特征值的對角矩陣.白化轉(zhuǎn)換矩陣如下：

(7)

轉(zhuǎn)換平均協(xié)方差矩陣如下：

(8)

Sx和Sy共享共同的特征向量，兩個矩陣對應(yīng)的特征值之和總是1.

Sx=UΣxUT

Sy=UΣyUT

(9)

對于Sx具有最小特征值的特征向量對于Sy具有最大的特征值.將白化的EEG轉(zhuǎn)化為對應(yīng)于Σx和Σy中最大特征值的特征向量，對于兩類信號矩陣的分離差異是最優(yōu)的.定義映射矩陣W如下：

W=UTP

(10)

根據(jù)映射矩陣，原始EEG數(shù)據(jù)可按照如下方式轉(zhuǎn)換：

Zx=WX

Zy=WY

(11)

式(11)中：Zx和Zy可以看作是腦電信號源的組成部分，包括不同任務(wù)的共同和特定的組成部分.通過下式可以重構(gòu)腦電X和Y：

X=W-1Zx

Y=W-1Zy

(12)

式(12)中：W-1是W的逆陣.W-1的列是空間模式，是EEG源分布向量.W-1的第一列和最后一列是解釋一個任務(wù)的最大方差和另一個的最小方差的最重要的空間模式.

1.2.3 DSA-CSP迭代算法

將經(jīng)過DSA和CSP處理過的EEG數(shù)據(jù)作為DSA的輸入進(jìn)行處理，再進(jìn)行CSP處理，如此迭代若干次.迭代步驟如圖1所示.通過多次DSA-CSP算法的迭代，尋求與腦電相關(guān)的隱性情緒狀態(tài)特征.

圖1 DSA-CSP算法迭代

1.2.4 功率譜能量特征

對DSA-CSP處理過的數(shù)據(jù)，把每個受試者觀看每個音視頻片段的高喚醒度/效價和低喚醒度/效價的數(shù)據(jù)連接在一起.EEG數(shù)據(jù)采樣頻率為128 Hz，使用經(jīng)典譜估計中的周期圖法，把隨機(jī)序列x(n)的N個數(shù)據(jù)視為一能量有限的序列，再計算x(n)的離散傅立葉變換，得到X(k)，然后取其幅值的平方并除N，得出序列x(n)的功率譜估計.分別求出EEG 5個頻帶的功率譜密度(Power Spectral Density，PSD)特征，包括δ(1～3 Hz)、θ(4～7 Hz)、α(8～13 Hz)、β(14～30 Hz)和γ(31～43 Hz).圖2所示為第10個人的EEG信號經(jīng)過DSA-CSP迭代計算后5個頻帶的能量圖.

圖2 S10的5個頻帶的能量圖

1.2.5 小波包能量

小波分析是一種被廣泛應(yīng)用的時頻分析工具.小波分析相比于傅里葉變換和短時傅里葉變換，其優(yōu)點是：具有多分辨率分析，能多尺度反映信號的局部細(xì)節(jié)[14].愛用小波包來分解EEG信號s(t)到第i級時，得到2i個子帶.s(t)定義如下：

(13)

式(13)中：fi,j(tj)是節(jié)點(i,j)的重建信號.若EEG信號s(t)的最低頻率為0，最高頻率為ωm，則第i層的頻率寬度為ωm/2i.

根據(jù)譜分析中的帕斯瓦爾定理，得到EEG信號s(t)小波包能量譜，公式如下：

(14)

式(14)中：xj,k是重建信號fi,j(tj)的離散采樣點振幅，j=0,1,2,…,2i-1，k=1,2,…,m，m代表采樣點數(shù)目.Ei,j(tj)是EEG信號在第j個節(jié)點分解為第i層時的頻帶能量.計算EEG信號s(t)的小波包能量和的公式如下：

(15)

將經(jīng)過DSA-CSP迭代處理的EEG信號采用小波包分解進(jìn)行處理，圖3所示為4層小波包分解的小波包樹.圖4所示為第10個人的EEG信號經(jīng)過小波包分解的波形圖，重建后的EEG波形圖如圖5所示，各個節(jié)點小波包能量占比如圖6所示.

圖3 四層小波包分解的小波包樹

圖4 EEG信號的第四層小波包分解

圖5 第四層小波包分解的重建

圖6 第四層小波包能量占比

1.3 分類和驗證

本文測試了所提算法從二維情感分類任務(wù)(高喚醒度/效價和低喚醒度/效價)的腦電數(shù)據(jù)集中提取特征的適用性.

Bagging Tree(BT)的性能依賴于基分類器的穩(wěn)定性，通過降低基分類器的方差能夠減小泛化誤差.線性判別分析(Linear Discriminative Analysis,LDA)的核心思想是把高維的樣本投射到低維上，使同類的樣本聚集，不同類的樣本遠(yuǎn)離分散.貝葉斯線性判別分析(Bayesian Linear Discriminative Analysis,BLDA)計算每個樣本的后驗概率和判錯率，用最大后驗概率劃分樣本的分類使期望損失最小化.支持向量機(jī)(Support Vector Machine,SVM)的最終決策函數(shù)由少數(shù)的支持向量確定，其計算的復(fù)雜性取決于支持向量的數(shù)目，而非樣本空間的維數(shù)，避免了“維數(shù)災(zāi)難”.

本文使用簡單分類算法中性能最好的四種分類算法(BT、LDA、BLDA和SVM等)進(jìn)行EEG數(shù)據(jù)的二分類.根據(jù)采樣頻率將EEG數(shù)據(jù)分成五段，采用其中四段的EEG數(shù)據(jù)用于訓(xùn)練分類模型和訓(xùn)練模型，使用余留下的EEG數(shù)據(jù)對訓(xùn)練模型進(jìn)行測試.通過該方法，共得到5組交叉驗證集.實驗結(jié)果使用分類精度作為評判標(biāo)準(zhǔn)，分類精度是正確分類的樣本數(shù)除以分類的總樣本數(shù).分類精度越高說明所用的特征提取方法能夠提取出與EEG信號情感相關(guān)的判別性特征.

2 結(jié)果與討論

選用Deap數(shù)據(jù)集中22個受試者的5段EEG數(shù)據(jù)進(jìn)行預(yù)處理.再進(jìn)行DSA-CSP迭代，首先使用DSA算法，來最小化每個對象之間EEG的不一致性和非平穩(wěn)性，然后將DSA的輸出作為CSP的輸入，以最大化兩個類別之間的差異.然后將每個CSP變換的輸出作為下一輪DSA變換的輸入，進(jìn)行多次迭代，再提取功率譜密度和小波包能量的進(jìn)行二分類，經(jīng)過1～5次迭代的最終分類精度如表1所示.

表1 DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量特征的分類精度

由表1可知，當(dāng)?shù)螖?shù)為1時，DSA-CSP算法迭代處理后產(chǎn)生的EEG情感分類精度最高，其中最優(yōu)分類器精度達(dá)到0.703 4，高于其他迭代次數(shù)的分類結(jié)果.分類精度沒有隨著迭代次數(shù)增加而提高，可能是在使用CSP算法進(jìn)行類間差異最大化空間映射時，削減了某些日間差異較小的判別性特征.因此，迭代次數(shù)增加并非能增加處理后的分類精度.

主成分分析(Principal Component Analysis,PCA)算法將原始EEG數(shù)據(jù)通過線性變換轉(zhuǎn)化為每個維度上的一組線性無關(guān)向量，提取數(shù)據(jù)的主要特征.特征提取時使用PCA、DSA-CSP迭代&小波包能量、DSA-CSP迭代&功率譜密度、DSA-CSP迭代&功率譜密度&小波包能量的分類精度如表2所示.

表2 4種特征提取算法的分類精度

實驗結(jié)果顯示，DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量特征的分類精度，在1次迭代得到最佳BLDA分類精度為0.703 4，這一結(jié)果比其他多次迭代后的分類精度更高，同時也比PCA算法的最好分類精度0.552 0高0.151 4；相比于DSA-CSP迭代&小波包能量，在1次迭代得到最佳分類精度為0.600 0高0.103 4；相比于DSA-CSP迭代&功率譜密度，在1次迭代得到的最佳分類精度0.607 6高0.095 8.結(jié)果表明通過DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量特征，能夠得到較好的分類精度，說明該方法能夠提取出與EEG信號情感相關(guān)的判別性特征.由于不同受試者之間EEG數(shù)據(jù)的差異性和非平穩(wěn)性，故而容易導(dǎo)致每個人的EEG信號提取出的情感特征之間有較大的差異和波動，從而致使分類精度的下降.而本文所用方法能夠提取出與EEG信號情感相關(guān)的判別性特征，有較好的分類精度，所提取的EEG特征與情感相關(guān)性越大分類精度越高，本文所用方法從某種程度上縮小了不同受試者之間EEG數(shù)據(jù)的差異性和非平穩(wěn)性.

3 結(jié)論

本文提出了一種基于DSA-CSP迭代算法的腦電情感識別方法，運用該方法處理22個受試者觀看20部音視頻片段的EEG數(shù)據(jù)，提取功率譜能量和小波包能量，然后使用四種經(jīng)典分類算法進(jìn)行分類.結(jié)果顯示：(1)DSA-CSP迭代算法結(jié)合功率譜密度和小波包能量的特征提取方法，能提取出與EEG信號情感相關(guān)的判別性特征，從而縮小不同受試者之間EEG數(shù)據(jù)的差異；(2)該方法緩解了EEG的間歇性非平穩(wěn)特性，并提高了分類的精度.雖然本文所用方法一定程度上提高了EEG信號的分類性能，但在這方面還有待深入研究.接下來的工作進(jìn)一步將DSA和CSP統(tǒng)一到一個框架中進(jìn)行優(yōu)化，進(jìn)一步提高EEG情感分類性能.