劉化東，許博俊，李夢琪

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500）

0 引言

腦機接口（Brain-Computer Interface,BCI）是腦-計算機接口的簡稱，是一個新的人和計算機進行交流的方式，可以對采集到的大腦皮層神經(jīng)元電活動進行分析處理，并轉(zhuǎn)化為控制信號輸送給其他輔助設(shè)備[1]。BCI 在很多領(lǐng)域都有著廣泛的應(yīng)用，比如在醫(yī)學(xué)、航天、游戲開發(fā)等領(lǐng)域。在醫(yī)學(xué)領(lǐng)域中，BCI 可以通過控制康復(fù)機器人的方法，輔助肢體障礙患者進行運動功能重建和生活自理；在航天中可以幫助宇航員監(jiān)控遠程設(shè)備。通過設(shè)計BCI 神經(jīng)反饋系統(tǒng)，在游戲中加入反饋場景可以提升人們的游戲體驗，增加游戲的趣味性[2]。

BCI 系統(tǒng)常用的腦成像方式包括腦電圖（Electronencephalogram,EEG）[3]、腦磁圖、功能磁共振成像和功能近紅外光譜（Functional Near -infrared Spectroscopy,fNIRS）[4]。由于每種神經(jīng)成像方式都有其優(yōu)缺點，結(jié)合其互補特征可以提高BCI 系統(tǒng)的整體性能。EEG 是一種利用電生理指標(biāo)記錄大腦活動的方法。它通過記錄大腦活動過程中電波的變化來反映大腦皮層或頭皮表面的腦神經(jīng)細(xì)胞的電生理活動。雖然EEG是目前BCI 領(lǐng)域最常用的技術(shù)之一，但仍存在一些局限性，如易受運動偽影和電噪聲的影響，空間分辨率低[5]。fNIRS 是一種新興的光學(xué)腦成像技術(shù)，近年來引起了腦機接口領(lǐng)域的廣泛關(guān)注。它利用血液主要成分對600～900 nm 近紅外光的良好散射，獲得了大腦活動過程中氧血紅蛋白（Oxyhemoglobin,HbO）和脫氧血紅蛋白（Deoxygenated hemoglobin,HbR）的變化。與EEG 相比，fNIRS 對運動偽影和電噪聲的敏感性較低，具有較高的空間分辨率，但時間分辨率較低[6]。所以利用EEG 和fNIRS 信號的多樣性和互補信息，可以最大限度地發(fā)揮各模態(tài)各自的優(yōu)勢，提升分類精度。

為了更好地利用兩種模態(tài)的信息，需要選擇合適的信號融合方法，本文提出對兩種信號進行特征提取后進行歸一化處理，然后采用主成分分析（Principal Components Analysis,PCA）進行信號融合。實驗結(jié)果表明，對EEG-fNIRS 的特征進行融合后分類精度實現(xiàn)了81.2%，比單獨使用EEG 和fNIRS 進行信號解碼精度分別提高了7.4%和8.9%。

1 材料和方法

1.1 被試、實驗范式和數(shù)據(jù)采集

1.1.1 被試

本研究招募了12 名右利手被試參與實驗（男性9 名、女性3 名，年齡在22～28 歲），所有的被試均了解運動想象過程，視力正?；蛞殉C正至正常。實驗過程中，被試坐在電腦屏幕前專心地看屏幕提醒進行抬左右腿的動作想象；周圍的環(huán)境保持安靜，避免影響被試的注意力。所有被試都簽署了實驗知情同意書。本研究的想象任務(wù)為抬左右腿。

1.1.2 實驗范式

實驗中每個環(huán)節(jié)包括前60 s 的休息階段、20 次重復(fù)的任務(wù)過程和后60 s 的休息階段。每個任務(wù)過程以2 s 的視覺指令（一個指向左邊、右邊的黑色箭頭會在屏幕中央出現(xiàn)）開始，當(dāng)屏幕出現(xiàn)黑色十字時，執(zhí)行10 s 的想象任務(wù)，之后是15 s 的休息時間。在實驗開始前，訓(xùn)練受試者提前進行幾組運動想象實驗。實驗范式流程如圖1 所示。

圖1 實驗范式流程圖

1.1.3 數(shù)據(jù)采集

本實驗采用雙模態(tài)的方法，所以要保證數(shù)據(jù)采集的同步性，由于EEG 信號采集和fNIRS 信號采集設(shè)備的原理是不同的，要想實現(xiàn)同步采集，首先需要對電極帽的布局進行調(diào)整，保證既可以進行相關(guān)區(qū)域中的腦電信號采集又可以布局近紅外探頭。電極根據(jù)國際10-20 系統(tǒng)[7]標(biāo)準(zhǔn)布置，雙模態(tài)實驗中EEG 采用9 通道，fNIRS 采用12 通道，由6 個光源發(fā)射器和6 個探測器構(gòu)成，自制腦電帽如圖2 所示。實驗中，被試坐在密閉的實驗室中，以最大程度降低外界環(huán)境對實驗的干擾。

圖2 雙模態(tài)實驗?zāi)X電帽

1.2 方法

1.2.1 EEG 信號處理

1）預(yù)處理

EEG 主要包括δ 波、θ 波、α 波、β 波以及γ 波，并且每種頻率的EEG 節(jié)律都與大腦特定的生理現(xiàn)象密切相關(guān)。在運動想象分類任務(wù)相關(guān)研究中，文獻[8]發(fā)現(xiàn)α 波（8～13 Hz）具有最高的分類性能，其次是β波（14～30 Hz）。因此首先對原始運動想象EEG 數(shù)據(jù)選擇8～30 Hz 帶通濾波器進行濾波處理。

2）特征提取

對兩個類別的協(xié)方差矩陣進行對角化，然后尋找到一個空間濾波器，使得投影進來的數(shù)據(jù)特征區(qū)分度最高是CSP 算法的主要工作。用X1和X2代表兩種類型的運動想象信號，為了計算方便，一般選擇忽略信號采集中噪聲的影響。X1和X2分別表示為：

式中：S1和S2分別代表兩個不同類別的源活動；O1和O2是由S1和S2相關(guān)的共空間模式組成；Sm表示兩種不同類別下所共有的源信號；Om表示與Sm相應(yīng)共有的空間模式。CSP 算法的本質(zhì)是通過協(xié)方差矩陣同時對角化，找到與這兩個想象任務(wù)匹配的空間模式，通過該空間濾波器提取這兩個類別中的有效成分S1和S2，使得經(jīng)過預(yù)處理后的EEG 信號經(jīng)過該濾波器投影后得到兩種類別最高區(qū)分度的特征向量。

接下來進行共空間模式方法的數(shù)學(xué)描述。用表示實驗i的原始腦電數(shù)據(jù)，條件a表示N×T的矩陣，N表示腦電數(shù)據(jù)的通道數(shù)，T表示時間上的樣本數(shù)。因此，在給定時間點的采集可以表示為N維歐氏空間中的點，而且一個EEG 可以看作是T個這樣的點的分布。一般基于MI 的腦電數(shù)據(jù)特征提取之前都會進行8～30 Hz的帶通濾波，預(yù)處理后該分布的平均值為零，所以首先要計算腦電信號的協(xié)方差矩陣。標(biāo)準(zhǔn)化的空間協(xié)方差表示為：

設(shè)表示條件b的實驗所對應(yīng)的標(biāo)準(zhǔn)化協(xié)方差矩陣，進行歸一化是為了消除矩陣間絕對值的變化。接下來平均歸一化協(xié)方差矩陣：

接下來對復(fù)合協(xié)方差矩陣進行對角化分解：

Rc是復(fù)合協(xié)方差矩陣，Bc是N×N的歸一化特征向量，? 是對角矩陣對應(yīng)的特征值。白化轉(zhuǎn)化矩陣：

對平均協(xié)方差矩陣Ra和Rb變形：

由式（7）可知Sa和Sb是公用相同的特征向量，Sa和Sb如下式所示：

在U上投影白化的時間點將提供在最小二乘意義上區(qū)分兩種運動想像目標(biāo)的最佳特征向量。投影矩陣表示如下：

每次實驗的分解：

同樣，特征分量計算可以轉(zhuǎn)換為：

新的時間序列Zi作為擴展系數(shù)，因此CSP 可以被視為源分布矩陣，而Zi則是相應(yīng)的源波形矩陣。

1.2.2 fNIRS 信號處理

1）預(yù)處理

為了糾正運動偽影，使用[0.01,0.2]Hz 帶通濾波器進行濾波，以去除心臟信號和低頻振蕩。利用修正的比爾-朗伯定律[9]，將濾波后的光強數(shù)據(jù)轉(zhuǎn)換為HbO。對于每一次實驗，得到數(shù)據(jù)然后通過從原始數(shù)據(jù)中減去基線進行基線校正[10]?；€被認(rèn)為是刺激開始前1 s 的信號的平均值。

2）特征提取

對fNIRS 信號進行預(yù)處理后，從時域信號中提取特征：最常用的是提取信號的平均值和斜率。一般提取到的HbO 信號平均值可以反映出此區(qū)域的大腦活動程度，腦活動程度的變化用采集到的HbO 信號的斜率進行檢測[11]。HbO 信號平均值的計算方法為：

式中：X為采樣數(shù)；XN表示HbO 數(shù)據(jù)。

方差的計算方法如下：

式中：var 為方差；μ為X的平均值。

峰值計算如下：

式中：E是X的期望值；σ是X的標(biāo)準(zhǔn)差。信號斜率用Matlab 中的多擬合函數(shù)計算。

1.2.3 EEG-fNIRS 特征融合與分類

1）特征融合

EEG 信號和fNIRS 信號是不同類型的兩種腦信號，對其進行融合前需要進行歸一化處理。

歸一化后的數(shù)據(jù)需要進行主成分分析（PCA）[12]，PCA 可以降低數(shù)據(jù)的特征維度，提取出主要的特征向量，對數(shù)據(jù)進行壓縮，以減少計算復(fù)雜度，整體流程如圖3 所示。

圖3 EEG-fNIRS 雙模態(tài)信號處理流程

PCA 的主要思想是通過線性變換，將數(shù)據(jù)從n維線性空間映射到k維（k＜n），并盡可能最大化地保留信息。主要變換步驟如下：

①對數(shù)據(jù)進行均值化：

②計算數(shù)據(jù)的協(xié)方差矩陣C；

③求出協(xié)方差矩陣C的特征值和特征向量；

④對求出的特征值進行大小順序排列，取前k個特征向量組成向量矩陣P；

⑤將數(shù)據(jù)在矩陣P上進行投影，計算Y=X*P，得出降維后的數(shù)據(jù)。

2）分類器

SVM 是一種使用比較多的分類器，它把傳送進來的信號通過一個核函數(shù)映射到高維空間中。之后在高維空間中構(gòu)造一個可以使每一個類別的數(shù)據(jù)區(qū)分度較高的超平面，以提高分類的泛化能力和置信度。最優(yōu)超平面ωT·x+b=0 可以通過非線性映射產(chǎn)生。一般，樣本集線性可分時，優(yōu)化問題可以表示為：。當(dāng)樣本集不可分時，SVM 將會采用非線性映射θ將數(shù)據(jù)樣本映射到高維空間進行分類，之后選用核函數(shù)g對高維空間出現(xiàn)的問題進行解決[13]。

2 結(jié)果與討論

2.1 結(jié)果

通過上述方法對EEG 信號采用CSP 進行特征提取，采用SVM 進行分類，得到了73.8%的分類精度。對于fNIRS 信號，分別使用平均值、斜率、峰值和標(biāo)準(zhǔn)差的方法進行特征提取和SVM 算法分類。分類結(jié)果中提取平均值達到了72.3%的最高分類準(zhǔn)確率，fNIRS 提取不同特征的分類結(jié)果如表1 所示。

表1 fNIRS 信號不同特征的分類準(zhǔn)確率 %

對于EEG-fNIRS 信號的協(xié)同分類，本文提出首先對兩種信號進行歸一化，然后使用PCA 進行信號的融合降維。表2 顯示了本文提出的方法分類結(jié)果，可以看出本文提到的采用PCA 進行兩種信號融合實現(xiàn)了81.2%的分類準(zhǔn)確率，對比單模態(tài)分別提升了7.4%和8.9%。實驗結(jié)果證明本文提出的方法可以有效地對雙模態(tài)特征進行融合，提升分類精度。

表2 雙模態(tài)信號的分類準(zhǔn)確率 %

每位被試的EEG 信號、fNIRS 信號的平均值和兩種模態(tài)融合分類準(zhǔn)確率如表3 所示。

表3 對比三種模式的分類準(zhǔn)確率 %

2.2 討論

在本文的研究中，提出對兩種信號特征進行歸一化后使用PCA 進行降維融合的方法，分類精度比單模態(tài)EEG 信號和fNIRS 信號分別提升了7.4%和8.9%。本研究招募了12 名被試，表1 顯示的是fNIRS 不同特征的分類結(jié)果，可以看出平均值的分類精度最高達到了72.3%。表2 中雙模態(tài)融合分類中同樣是對平均值特征融合分類精度最高，達到81.2%。對比每一個被試，從表3 可以看出，不同被試的分類精度差異較大，被試5 的分類精度為68%，而被試9 的分類精度達到92%，原因主要是因為不同被試個體之間也會存在差異。對比三種模式的結(jié)果，個別被試使用雙模態(tài)的分類準(zhǔn)確度低于單模態(tài)，原因可能是在利用PCA 進行降維處理后，會丟掉一些有效的信息，使得個別被試的分類精度下降，但總體而言，平均分類精度有所提升。

文獻[14]設(shè)計了同步采集方法，使用腦網(wǎng)絡(luò)對兩種信號進行提取融合，采用SVM 分類器最終實驗得到了72.7%的分類精度，相對于單模態(tài)提升了5%；文獻[15]在分類過程中采用深度神經(jīng)網(wǎng)絡(luò)（DNN）進行分類，通過把兩種信號的特征作為全連接前饋結(jié)構(gòu)的DNN 網(wǎng)絡(luò)的輸入，最終得到83%的分類精度，比EEG 高10%，比fNIRS 高11%。以上研究使用不同方法實現(xiàn)對雙模態(tài)的數(shù)據(jù)融合，都有了一定程度的提升。但目前來看，如何在保證不丟失有效信息的前提下，更好地實現(xiàn)雙模態(tài)信號融合是未來的研究重點。總體來看，本文提出的方法與其他方法相比，計算量減少，分類精度也得到了大幅度提高，可以為未來的多模態(tài)在線BCI 系統(tǒng)提供框架。

3 結(jié)論

本次研究提出使用PCA 的方法對EEG-fNIRS 信號的特征進行融合，使用SVM 分類器進行分類。通過實驗對該方法進行驗證，得到了81.2%的分類精度，相對于單模態(tài)，分類精度分別提升了7.4%和8.9%。實驗結(jié)果表明，本文所提的融合方法可以最大限度地保留單個模態(tài)的信息，提高了運動任務(wù)的分類精度，證明了兩種模態(tài)的融合可以提升信號解碼能力。本研究可以為多模態(tài)的信號融合提供參考。