高云園 王翔坤 田玉平* 佘青山 董 驊

1(杭州電子科技大學(xué)自動(dòng)化學(xué)院，杭州 310018)2(浙江省腦機(jī)協(xié)同智能重點(diǎn)實(shí)驗(yàn)室，杭州 310018)3(中國信息通信研究院安全研究所，北京 100191)

引言

人類的情感復(fù)雜且易變，對情感的識別和分析對注意力、決策、知覺、記憶等許多認(rèn)知活動(dòng)有積極的影響。認(rèn)知心理學(xué)和神經(jīng)心理學(xué)的研究表明，情感的產(chǎn)生和變化與中樞神經(jīng)系統(tǒng)功能直接相關(guān)[1]，這為使用腦電信號(electroencephalography, EEG)對情感分析提供了理論依據(jù)。在各種各樣的現(xiàn)有情感中，壓力對健康的潛在影響尤其值得注意，長時(shí)間承受壓力可能會嚴(yán)重影響身心健康，從而引起或加劇高血壓和冠狀動(dòng)脈疾病等疾病[2]。

通常認(rèn)為壓力和平靜具有互補(bǔ)性[3]，所以常常將這兩種情感放在一起研究。最近的一些研究也表明，使用非線性的方法研究壓力和平靜狀態(tài)下EEG的規(guī)律性，可以成功區(qū)分這兩種狀態(tài)[4]。目前，大多數(shù)研究是利用腦區(qū)通道的時(shí)域或者頻域特征，如Nie等[5]利用快速傅里葉變換，通過提取處理后的EEG信號不同頻帶的對數(shù)能量作為特征，進(jìn)行效價(jià)維度的兩類情感識別；Arturo等[6]提出多元樣本熵和多元排列熵用于特征提取，采用決策樹和支持向量機(jī)對不同尺度下EEG通道的熵值組合進(jìn)行判別；Zheng等[7]使用異質(zhì)遷移學(xué)習(xí)的方法，從具有時(shí)空特性的眼睛的掃視軌跡進(jìn)行知識遷移，以提升EEG情感模型被試遷移的性能。

大腦神經(jīng)元之間存在著同步性活動(dòng)，情感變化時(shí)，腦區(qū)通道間信息交互就會產(chǎn)生相應(yīng)變化，使用腦網(wǎng)絡(luò)，利用通道間的信息交互可以有效提升情感識別的準(zhǔn)確率，研究人員已經(jīng)基于這一點(diǎn)進(jìn)行了分析。如Guo等[8]利用情感表達(dá)時(shí)不同腦區(qū)和通道之間稀疏組LASSO-Granger因果關(guān)系特征進(jìn)行分類；Xie等[9]使用情感變化時(shí)腦網(wǎng)絡(luò)的差異性作為特征進(jìn)行分類。

由于在大腦這個(gè)復(fù)雜網(wǎng)絡(luò)環(huán)境中不確定性因素和各種條件的制約，如外部的瞬時(shí)干擾和噪聲，有可能使得系統(tǒng)在變化過程中其動(dòng)力學(xué)行為呈現(xiàn)出具有連續(xù)和離散等特征的的脈沖現(xiàn)象，這種瞬態(tài)的變化，往往能更深刻和準(zhǔn)確的反映動(dòng)態(tài)系統(tǒng)的演變規(guī)律[10]。既往研究認(rèn)為，瞬時(shí)效應(yīng)主要指情感加工過程中瞬時(shí)刺激和感知覺相關(guān)的瞬時(shí)狀態(tài)[11]，持續(xù)效應(yīng)指與持續(xù)性刺激相關(guān)的持續(xù)狀態(tài)[12]。但是，如何在EEG情感分析中處理瞬時(shí)因果效應(yīng)，目前的研究還很少。針對這一問題，本研究提出了變尺度符號化補(bǔ)償傳遞熵算法(variable-scale symbolic compensation transfer entropy,VSSCTE)，通過考慮瞬時(shí)因果效應(yīng)的補(bǔ)償算法，增強(qiáng)有效的因果關(guān)系，分析不同情感下EEG通道間信息交互變化，并進(jìn)一步使用VSSCTE得到的因果關(guān)系構(gòu)建EEG的腦網(wǎng)絡(luò)模型，使用相關(guān)測度并結(jié)合ReliefF算法對采集通道進(jìn)行選擇和優(yōu)化，在保證準(zhǔn)確率的前提下，實(shí)現(xiàn)減少計(jì)算量，提高實(shí)時(shí)性的效果。

1 材料和方法

1.1 DEAP數(shù)據(jù)集

采用DEAP數(shù)據(jù)集，這是一個(gè)由Koelstra等[13]提出的多模態(tài)數(shù)據(jù)集被用于分析人類情感狀態(tài)，也是現(xiàn)在情感研究中使用最廣泛的數(shù)據(jù)集之一。該數(shù)據(jù)集記錄了32名受試者(年齡在19～37歲，平均年齡26.9歲，男女比例1∶1)不同情感狀態(tài)時(shí)的EEG和其他生理信號。

受試者坐在距離17寸屏幕大約1 m遠(yuǎn)的地方，每個(gè)受試者在實(shí)驗(yàn)前都會簽署知情同意書，每人觀看40段時(shí)長1 min的音樂視頻，以512 Hz采樣率記錄32個(gè)通道的EEG信號，同時(shí)還記錄了13個(gè)周圍生理信號。實(shí)驗(yàn)以一個(gè)2 min的基線記錄開始，在此期間屏幕中向參與者展示一個(gè)固定十字(受試者保持輕松的狀態(tài))。然后，在40組試驗(yàn)中展示了40個(gè)不同音樂視頻，每個(gè)視頻的實(shí)驗(yàn)包含以下步驟：

1)2 s的編號展示，告知受試者的實(shí)驗(yàn)進(jìn)度；

2)5 s的基線記錄；

3)1 min音樂視頻展示；

4)自我評估，從喚醒度，效價(jià)，喜好和支配程度這4個(gè)維度進(jìn)行1～9打分。

當(dāng)進(jìn)行20組實(shí)驗(yàn)后，受試者可進(jìn)行適當(dāng)?shù)男菹ⅲ瑫r(shí)實(shí)驗(yàn)人員檢查腦電帽是否發(fā)生位移，之后繼續(xù)進(jìn)行剩余20組實(shí)驗(yàn)，具體流程如圖1所示。

圖1 實(shí)驗(yàn)范式Fig.1 Subject experiment procedure

本研究根據(jù)Russell的二維情感模型，用效價(jià)和喚醒度對情感進(jìn)行分類，壓力和平靜分別位于第2象限左側(cè)和第3、4象限中間，并根據(jù)之前的研究[14]，選擇喚醒度高于5且效價(jià)低于3的樣本作為壓力樣本。而平靜樣本則選擇喚醒度低于4且效價(jià)在4～6之間[6]，如圖2所示。最后，根據(jù)篩選標(biāo)準(zhǔn)，在所有參與者中選擇了125個(gè)平靜樣本和127個(gè)壓力樣本。由于原始EEG信號是非平穩(wěn)的隨機(jī)信號，單純的時(shí)域特征或者頻域特征都不足對其進(jìn)行表示[15]，所以使用平移不變性和方向性較好的小波變換函數(shù)對信號去噪，同時(shí)使用“db5”小波基進(jìn)行6層分解，將原始信號分解為α、β、γ等3個(gè)波段。受試者在每個(gè)視頻刺激的前半段存在沒有進(jìn)入該情感狀態(tài)的可能，而有效提取通道之間的關(guān)系，需要受試者完全沉浸在該情感狀態(tài)中，同時(shí)考慮到β頻段與精神和情感變化更為密切[16]，所以選擇每次實(shí)驗(yàn)最后30 s的EEG信號的β頻段作為本次實(shí)驗(yàn)的數(shù)據(jù)。

圖2 二維情感模型中數(shù)據(jù)選擇范圍Fig.2 The value range in the valence-arousal emotion model

1.2 方法

1.2.1變尺度符號化補(bǔ)償傳遞熵

補(bǔ)償傳遞熵[17]可以用來估計(jì)功能耦合的強(qiáng)度以及大腦通道之間的信息傳遞。由于補(bǔ)償傳遞熵考慮的是變量間的信息量傳遞，不需要假定變量間具有特定形式的關(guān)系，因此具有比Wiener-Granger因果性[18]更好的適用性，尤其是對于非線性系統(tǒng)。但是在補(bǔ)償傳遞熵計(jì)算過程之中發(fā)現(xiàn)了兩個(gè)問題：一是計(jì)算過程沒有考慮到瞬時(shí)因果效應(yīng)對時(shí)間序列的影響；二是需要重建觀察到的多元?jiǎng)恿W(xué)系統(tǒng)的狀態(tài)空間，并在這個(gè)多維狀態(tài)空間中估計(jì)概率。為了解決這些問題，本研究借鑒排列熵算法[19]中對時(shí)間序列的重新排列，提出了VSSCTE方法，其中符號化可以有效降低原始時(shí)間序列的維數(shù)，達(dá)到抑制噪聲和減少計(jì)算量的目的[20]，而改變尺度則可以發(fā)現(xiàn)隱藏在時(shí)間序列中的動(dòng)態(tài)信息。

假設(shè)原始時(shí)間序列為X={x1,x2,…,xn}，尺度化過程表示為

(1)

式中，s為尺度因子,a為尺度化后元素的位置坐標(biāo)。

多尺度符號化的思想在信號分析中得到了廣泛的應(yīng)用，因其能夠有效地發(fā)現(xiàn)隱藏的或有偏差的動(dòng)態(tài)信息，從而展現(xiàn)出完整的符號動(dòng)態(tài)特征[21]。

尺度序列Xs={xs1,xs2,…,xsn}的符號化的定義為

(2)

式中，N為符號集的大小，N越大與原始序列越接近，但是符號集太大就失去了符號化處理的意義；QN為設(shè)定的一個(gè)門閾值，確定的方法有等區(qū)間法和等概率法兩種，本研究使用等概率法，即不同符號出現(xiàn)的概率大致相等，這樣有利于保留序列的有效信息[22]。之后，對尺度符號化后的時(shí)間序列xQN={xQN(1),xQN(2),…,xQN(N)}進(jìn)行相空間重構(gòu)，表示為

(3)

式中，m是嵌入維數(shù)，τ是延遲時(shí)間。根據(jù)排列熵的排列方式對xQN(i)的每個(gè)分段中的元素進(jìn)行重組，并按升序排列有

(4)

元素原始位置的序列πj={j1,j2,…,jm}，對于嵌入維數(shù)m，一共有m!種排列方式，考慮了信息量的提取和計(jì)算量，本研究采用Cao算法[23]，選取m=3和τ=3，所以共有6種排列類型，對應(yīng)符號為(0，1，2，3，4，5)。

假設(shè)M是由一組相互作用的動(dòng)力學(xué)過程構(gòu)成的復(fù)合系統(tǒng)，在其中，需要得到從源系統(tǒng)X={x1,x2,…,xT}流向目標(biāo)系統(tǒng)Y={y1,y2,…,yT}的信息，將M中的其余系統(tǒng)歸入向量Z={Z(k)1：T}k=1,2,…,M-2，用x、y和z描述系統(tǒng)X、Y和Z隨時(shí)間變化的狀態(tài)的非平穩(wěn)隨機(jī)過程，在給定Z的條件下，源系統(tǒng)X與目標(biāo)系統(tǒng)Y的傳遞熵可表示為

(5)

式中，p(·)為聯(lián)合概率分布，根據(jù)信息熵的定義，可以得出傳遞熵與信息熵H(·)的等價(jià)關(guān)系，即

(6)

瞬時(shí)因果效應(yīng)可以反映有生理意義的相互作用，也可以反映沒有生理意義的相互作用(例如，可能是由于未觀察到的混雜因素)。在這兩種情況下，瞬時(shí)因果效應(yīng)對任何因果測度的計(jì)算都會產(chǎn)生影響[24]。

當(dāng)瞬時(shí)因果效應(yīng)被認(rèn)為具有因果意義，源進(jìn)程的零滯后項(xiàng)xn則合并在第2個(gè)條件熵中用于傳遞熵計(jì)算，即

(7)

在這種情況下，零滯后項(xiàng)被過去時(shí)間序列吸收，即xn與x1:n-1的作用相同。因此，在使用傳遞熵計(jì)算瞬時(shí)因果關(guān)系時(shí)，源系統(tǒng)的當(dāng)前狀態(tài)被認(rèn)為是因果相關(guān)的。

當(dāng)瞬時(shí)因果效應(yīng)被認(rèn)為不具有因果意義，零滯后項(xiàng)同時(shí)包含在用于傳遞熵計(jì)算的第1個(gè)和第2個(gè)條件熵中，即

(8)

此時(shí)零滯后項(xiàng)被認(rèn)為是一個(gè)條件因子，即xn與y1:n-1,z1:n的作用相同，從而補(bǔ)償源系統(tǒng)的當(dāng)前狀態(tài)，以消除傳遞熵計(jì)算中的瞬時(shí)因果效應(yīng)。

1.2.2腦網(wǎng)絡(luò)模型分析

EEG的腦網(wǎng)絡(luò)分析可以通過記錄在不同腦區(qū)的信號，研究它們的相關(guān)性和因果關(guān)系，并通過對網(wǎng)絡(luò)測度的分析，探索EEG因效性腦網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，從而了解大腦不同腦區(qū)之間的協(xié)同工作模式。使用VSSCTE構(gòu)建因效性腦網(wǎng)絡(luò)時(shí)需要選擇閾值T，將關(guān)系矩陣轉(zhuǎn)為鄰接矩陣。閾值的選擇直接影響腦網(wǎng)絡(luò)分析的準(zhǔn)確性。在得到閾值選擇后的鄰接矩陣構(gòu)建腦網(wǎng)絡(luò)，利用度、介數(shù)和聚類系數(shù)等3個(gè)典型的網(wǎng)絡(luò)測度進(jìn)行EEG通道間的交互分析。

1)度

度是最簡單也是最直觀的腦網(wǎng)絡(luò)測度，是指與節(jié)點(diǎn)i連接的邊的數(shù)目，反映了該節(jié)點(diǎn)在網(wǎng)絡(luò)中的重要性，節(jié)點(diǎn)i的度ki可以表示為

(9)

式中，N代表網(wǎng)絡(luò)的所有節(jié)點(diǎn)，aij是節(jié)點(diǎn)i和節(jié)點(diǎn)j之間的連接權(quán)重，在本研究中是上述EEG關(guān)系矩陣中的系數(shù)。如果該節(jié)點(diǎn)連接的節(jié)點(diǎn)越多，則ki越大，表明該節(jié)點(diǎn)在網(wǎng)絡(luò)中越重要。

2)介數(shù)

介數(shù)代表了節(jié)點(diǎn)或者連接邊在整個(gè)網(wǎng)絡(luò)中的重要性，介數(shù)高的節(jié)點(diǎn)或者邊意味著位于網(wǎng)絡(luò)中的重要位置。節(jié)點(diǎn)介數(shù)的公式為

(10)

式中，N為網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)，σ(s,t)為節(jié)點(diǎn)s和節(jié)點(diǎn)t之間最短路徑的數(shù)目，σ(s,t|i)為節(jié)點(diǎn)s和節(jié)點(diǎn)t之間經(jīng)過節(jié)點(diǎn)i的最短路徑數(shù)目。

3)聚類系數(shù)

聚類系數(shù)是用來描述一個(gè)圖中的頂點(diǎn)之間集團(tuán)化程度的參數(shù)。節(jié)點(diǎn)i的聚類系數(shù)Ci可以定義為與i之間相鄰的ki個(gè)節(jié)點(diǎn)中，真實(shí)存在的連接邊數(shù)ei占可能存在的連續(xù)邊數(shù)目的比例，表示為

(11)

整個(gè)網(wǎng)絡(luò)的聚類系數(shù)C為

(12)

式中，N為網(wǎng)絡(luò)的節(jié)點(diǎn)總數(shù)，C越大，網(wǎng)絡(luò)的集團(tuán)化程度越高。

最后，對計(jì)算出來的數(shù)值使用SPSS統(tǒng)計(jì)分析軟件進(jìn)行計(jì)算結(jié)果的顯著性分析，以確保算法有效性。

1.2.3通道選擇及分類方法

在復(fù)雜的腦網(wǎng)絡(luò)系統(tǒng)中，并不是所有的通道都與情緒密切相關(guān)。當(dāng)提取的特征量比較大時(shí)，如果提取全部通道的特征，會使分類時(shí)間大幅增加，降低實(shí)時(shí)性。為了減少冗余特征，提升分類實(shí)時(shí)性，使用ReliefF算法進(jìn)行通道選擇。在通道選擇時(shí)，分別基于腦網(wǎng)絡(luò)3種測度的不同組合方式，利用ReliefF算法對腦電每個(gè)通道的分類準(zhǔn)確性進(jìn)行排序。根據(jù)排序，在測試集中取第一個(gè)通道構(gòu)成的特征組合進(jìn)行分類，之后依次加入下一個(gè)通道的特征，經(jīng)過不斷的分類和訓(xùn)練，直到32個(gè)通道全部加入特征集中。

目前，情感分類主要采用支持向量機(jī)(support vector machines, SVM)進(jìn)行分類，使用SVM對DEAP數(shù)據(jù)集中32位受試者采用VSSCTE方法獲得的數(shù)據(jù)在標(biāo)準(zhǔn)化處理后進(jìn)行情感分類，并進(jìn)行十折交叉驗(yàn)證得到最終分類準(zhǔn)確率。

運(yùn)行環(huán)境均在本地PC上運(yùn)行，其中CPU為i5-8265U，GPU為MX250，RAM內(nèi)存為8 GB，系統(tǒng)版本為Windows 10，Matlab版本為R2017a。

2 結(jié)果

2.1 尺度因子選擇

有研究表明，不同腦區(qū)參與不同的感知和認(rèn)知活動(dòng)，例如額葉與思維、意識、情感有關(guān)，為了選取合適的尺度參數(shù)，所以針對受試者S01，使用尺度符號化補(bǔ)償傳遞熵對額葉的FP1、FP2通道雙向信息交互進(jìn)行分析。圖3中展示了100個(gè)尺度因子(0～200，步長為2)的分析結(jié)果?？梢园l(fā)現(xiàn)無論是壓力狀態(tài)還是平靜狀態(tài)，尺度符號化補(bǔ)償傳遞熵的值均在尺度為10附近時(shí)達(dá)到峰值。在其他受試者中，也發(fā)現(xiàn)了類似的規(guī)律。因此本研究選擇尺度因子10作為后續(xù)分析的尺度因子，對EEG進(jìn)行符號化補(bǔ)償傳遞熵計(jì)算。

圖3 尺度因子選擇(以Fp1和Fp2通道為例)Fig.3 Scale factor selection (take Fp1 and Fp2 channels as examples)

2.2 變尺度符號化補(bǔ)償傳遞熵分析

VSSCTE可以定向表示信息在不同通道之間的傳遞關(guān)系，同時(shí)對瞬時(shí)因果效應(yīng)進(jìn)行“補(bǔ)償”，通過計(jì)算通道之間的VSSCTE，可以得到在平靜和壓力狀態(tài)時(shí)情感的變化情況。圖4中對于每個(gè)目標(biāo)通道，以該通道為目標(biāo)計(jì)算出具有統(tǒng)計(jì)意義的VSSCTE值，可見在壓力狀態(tài)下大多數(shù)通道的VSSCTE值要高于平靜狀態(tài)時(shí)的熵值(P<0.05)，且在左側(cè)額葉(如Fp1，AF3，F(xiàn)7)以及右側(cè)頂葉(如P4，P8，CP6，CP2)的腦區(qū)通道熵值的區(qū)分度更顯著。

圖4 變尺度符號化補(bǔ)償傳遞熵Fig.4 Variable scale symbolization compensation transfer entropy

由于VSSCTE包含了通道之間的間接傳遞，將所有間接傳遞的熵值并入到主傳遞的熵值中，歸一化后構(gòu)建VSSCTE的關(guān)系矩陣如圖5所示，從圖中也可以看出，腦區(qū)之間的信息交互在壓力狀態(tài)比平靜狀態(tài)更為密切。

圖5 VSSCTE關(guān)系矩陣。 (a)平靜狀態(tài)；(b)壓力狀態(tài)Fig.5 Variable scale symbolization compensation transfer entropy relationship matrix. (a) Calm state; (b) Stress state

綜合分析32位受試者的實(shí)驗(yàn)結(jié)果，共得到125個(gè)平靜狀態(tài)和127個(gè)壓力狀態(tài)的VSSCTE關(guān)系矩陣，最終得到兩種特征向量的分類準(zhǔn)確率，如表1所示?？梢园l(fā)現(xiàn)，考慮瞬時(shí)因果效應(yīng)的VSSCTE算法相較于傳統(tǒng)的TE算法在分類性能上有了極大的提升，但是運(yùn)行時(shí)間幾乎相同。

表1 二元傳遞熵(TE)與VSSCTE分類性能對比

2.3 因效性腦網(wǎng)絡(luò)分析

在較大閾值范圍0.05≤T≤0.95，步長為0.05的情況下，測試不同的閾值對結(jié)果顯著性差異的影響，最終得到最優(yōu)閾值為0.85。根據(jù)閾值T=0.85生成鄰接矩陣，構(gòu)建壓力和平靜兩種狀態(tài)的β頻段因效性腦網(wǎng)絡(luò)。圖6為壓力和平靜兩種狀態(tài)下度、介數(shù)和聚類系數(shù)的統(tǒng)計(jì)結(jié)果。從圖6中可以看出，壓力狀態(tài)時(shí)的度、介數(shù)和聚類系數(shù)都遠(yuǎn)大于平靜狀態(tài)，說明此狀態(tài)腦區(qū)之間的信息交互更為密切。

圖6 網(wǎng)絡(luò)測度的統(tǒng)計(jì)結(jié)果。(a)度；(b)介數(shù)；(c)聚類系數(shù)Fig.6 Statistical results of network measures. (a) Degree; (b) Betweenness; (c) Clustering coefficient

將TE和VSSCTE分別構(gòu)建腦網(wǎng)絡(luò)的指標(biāo)進(jìn)行對比，如表2所示，可以發(fā)現(xiàn)考慮瞬時(shí)因果效應(yīng)的VSSCTE對于兩類情感狀態(tài)更具有顯著的區(qū)分度(P<0.01)。所以在情感分析時(shí)更能發(fā)現(xiàn)深層次的因果關(guān)系，體現(xiàn)大腦這一復(fù)雜系統(tǒng)不同通道之間的瞬時(shí)定向聯(lián)系。

表2 二元傳遞熵和VSSCTE構(gòu)建腦網(wǎng)絡(luò)指標(biāo)對比

利用ReliefF算法對腦電每個(gè)通道的分類準(zhǔn)確性進(jìn)行排序，經(jīng)過不斷的分類和訓(xùn)練，得到如圖7所示的分類準(zhǔn)確率和通道選擇數(shù)目的曲線。從圖7中可以發(fā)現(xiàn)，當(dāng)EEG通道個(gè)數(shù)在15附近時(shí)，7種特征的分類準(zhǔn)確率都達(dá)到一個(gè)較高的值，與相應(yīng)特征的最高分類準(zhǔn)確率的差值均小于2%(除聚類系數(shù)之外)。實(shí)驗(yàn)結(jié)果證明了ReliefF算法的有效性，同時(shí)也說明與情感相關(guān)的EEG通道約為15個(gè)，考慮到不同特征差異也會對結(jié)果產(chǎn)生影響，在通過ReliefF算法得到每個(gè)通道的權(quán)值之后，將這些權(quán)值歸一化，之后將每種特征屬于該通道的權(quán)值相加，得到一組具有共性的通道，按照權(quán)值從大到小依次為C3、FP1、P3、T7、F4、O2、O1、FP2、AF3、FC1、C4、OZ、P4、P7、FC5。

圖7 不同網(wǎng)絡(luò)測度組合與通道選擇個(gè)數(shù)分類準(zhǔn)確率Fig.7 Classification accuracy of different network measure combination and channel selection number

分類準(zhǔn)確率如表3所示。通過對分類性能結(jié)果的分析可以發(fā)現(xiàn)，通道優(yōu)化后的VSSCTE算法分類準(zhǔn)確率僅下降了約2%，但是計(jì)算時(shí)間卻由51.27 s降至23.84 s，更適合實(shí)際的應(yīng)用場景。

表3 通道選擇前后VSSCTE分類性能對比

同時(shí)，為了驗(yàn)證VSSCTE提取特征的分類性能，本研究對比了現(xiàn)有典型的特征提取方法，使用與本研究相同的數(shù)據(jù)進(jìn)行分析，并使用SVM進(jìn)行分類。最終結(jié)果如表4所示，結(jié)論表明優(yōu)化后的VSSCTE算法較其他方法能更有效地進(jìn)行情感識別。

表4 多種特征提取方法分類對比

3 討論

復(fù)雜腦功能的實(shí)現(xiàn)，往往需要不同腦區(qū)之間的協(xié)作配合，這意味著分布在不同腦區(qū)的神經(jīng)元間存在著豐富多樣的信號傳遞，使某種特殊的功能得以實(shí)現(xiàn)。本研究提出VSSCTE方法，提取EEG特征，并構(gòu)建因效性腦網(wǎng)絡(luò)，分析在壓力和平靜兩種情感狀態(tài)腦區(qū)通道間的信息交互。但是，在復(fù)雜的腦區(qū)通道之中，并不是所有的通道都與情感密切相關(guān)。當(dāng)提取的特征量比較大時(shí)，如果提取全部通道的特征，會使分類時(shí)間大幅增加，忽略了實(shí)時(shí)性這一重要指標(biāo)。通過使用ReliefF算法，根據(jù)不同情感狀態(tài)時(shí)EEG通道特征對樣本的區(qū)分能力計(jì)算該通道特征的權(quán)重，得到了15個(gè)與情感最為密切的通道。

研究結(jié)果還發(fā)現(xiàn)，壓力狀態(tài)時(shí)，度、介數(shù)和聚類系數(shù)較平靜狀態(tài)均有較大的差異，提示了在壓力狀態(tài)時(shí)，大腦的信息交互更為活躍，這與Arturo等[4]的研究結(jié)果一致。Bennett[29]和Yoon[30]的研究發(fā)現(xiàn)，前額葉皮質(zhì)-邊緣、前額葉皮質(zhì)-基底節(jié)以及頂葉是調(diào)節(jié)人類情感、認(rèn)知功能和社會行為的重要神經(jīng)環(huán)路。本研究通過對腦網(wǎng)絡(luò)的一些測度的分析得到了優(yōu)化后壓力和平靜狀態(tài)區(qū)分度較大的通道，在保持較高分類準(zhǔn)確率的前提下，減少了計(jì)算時(shí)間。此外，研究發(fā)現(xiàn)區(qū)分度較高的通道基本位于左側(cè)前額和前頂葉，這與Ledoux等[31]證實(shí)的情感產(chǎn)生的生理機(jī)制一致，也在一定程度上證實(shí)了本研究的有效性。而且目前對于多通道的EEG建模過程中經(jīng)常能獲得協(xié)方差不為零的殘差項(xiàng)，在一定程度上提示了EEG間有可能存在瞬時(shí)作用的影響。Deshpande等[32]研究了瞬時(shí)作用對多元信號定向關(guān)聯(lián)所產(chǎn)生的影響，其結(jié)果也證實(shí)了瞬時(shí)作用對具有時(shí)延的定向信息交互的結(jié)果產(chǎn)生具有較大的影響。

本研究所提出的方法雖然在情感分類準(zhǔn)確率和計(jì)算時(shí)間等方面有顯著的進(jìn)步，但仍有一些問題需要解決。一方面，不同的被試對同一音樂視頻可能產(chǎn)生不同的效價(jià)和喚醒，這給客觀的情感刺激分類帶來了困難。另一方面，從理論上講，當(dāng)兩個(gè)過程X和Y的當(dāng)前變量Xn和Yn不是有條件的獨(dú)立于觀察到的多元過程的過去和現(xiàn)在變量的任意組合時(shí)，對瞬時(shí)因果效應(yīng)的嚴(yán)格處理，應(yīng)在兩個(gè)過程X和Y之間設(shè)置瞬時(shí)因果關(guān)系。上述這些問題都會對分類準(zhǔn)確率以及生理性分析帶來影響，在后續(xù)的實(shí)驗(yàn)中還會進(jìn)一步探索。

4 結(jié)論

情感識別的大量研究成果已在情感相關(guān)疾病的診斷與治療以及日常生活中得到應(yīng)用。本研究從腦通道間信息交互的角度出發(fā)，結(jié)合對瞬時(shí)因果效應(yīng)的補(bǔ)償算法，提出了VSSCTE為特征的情感分析方法，提升了壓力情感的分類準(zhǔn)確性。在此基礎(chǔ)上，通過VSSCTE構(gòu)建因效性腦網(wǎng)絡(luò)，對采集通道進(jìn)行選擇和優(yōu)化，減少了計(jì)算量，提高了實(shí)時(shí)性，為情感分析和計(jì)算提供了新的方法和思路。