袁密桁，呂曉彤，董煜陽

（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650504）

0 引言

腦機接口（Brain-Computer Interface，BCI）是一種變革性的人機交互[1]，其中基于運動想象（Motor Imagery，MI）的BCI 是一類重要的腦機交互，其在運動意圖的控制和運動功能障礙康復(fù)中具有潛在的應(yīng)用?，F(xiàn)有的MI-BCI 系統(tǒng)主要致力于解碼MI 涉及的肢體類型（Types of limbs）并映射為特定的控制指令[2-3]，以實現(xiàn)大腦的感覺運動意圖直接、自然地與外部環(huán)境進行所需要的交互，如可以通過MI-BCI 系統(tǒng)將腿部的運動意圖轉(zhuǎn)化為驅(qū)動外骨骼機器人的指令，以實現(xiàn)對下肢癱瘓患者的康復(fù)訓(xùn)練[4]。

然而，迄今為止的MI-BCI 研究大多將MI 作為一個整體活動來理解，僅識別其所涉及的肢體，少有將MI 分解為若干子過程（sub-process/subprocedure）來解碼[5]，如圖1 所示。由于沒有解碼MI 的子過程，不能反映真實的運動意圖，也難以實現(xiàn)較精細、高維和準(zhǔn)確的控制。

圖1 目前MI-BCI 系統(tǒng)的肢體識別過程

實際上，MI 是一種包含若干子過程的心理活動，例如，想象右手臂舉起和放下運動，可以分解為首先想象手臂從自然下垂?fàn)顟B(tài)舉起到齊肩的水平位置，其次想象從水平位置舉起到垂直向上的位置，再次想象從垂直向上的位置下放到水平位置，最后想象從水平位置回到自然下垂?fàn)顟B(tài)。MI 要求用戶或被試者在心里逼真或生動地重復(fù)或排練相應(yīng)的實際運動過程（包含若干子過程），其所需的時間必須與相應(yīng)實際運動所需的時間一致[6]，并要求參與者心理體現(xiàn)或心理感受/體驗出實際運動的各個子過程，避免草率或者應(yīng)付式地瞬間完成[7]。用戶或被試者通過一定量的MI 訓(xùn)練，能夠可控地或可操作地執(zhí)行MI 過程[8]，如圖2 所示。

圖2 MI 識別子流程

本研究針對抓握物體的MI 過程，將該過程分解為打開手掌（opening hand）和抓握（gripping hand）想象兩個子過程，被試者在執(zhí)行想象的抓握物體時，要求其逼真、可控地想象兩個子過程。由于這兩個子過程不相同，相應(yīng)的大腦控制指令和過程也不相同，因此，假定兩個子過程相關(guān)聯(lián)的腦電（Electroencephalogram，EEG）特征也不相同，并能夠區(qū)分。為驗證該假設(shè)，建立MI 與其子過程相關(guān)EEG 特征的數(shù)學(xué)模型，然后選擇EEG 通道構(gòu)建靜息態(tài)特征空間作為參考，并表征MI 及其子過程的EEG 特征，最后求解MI 與其子過程EEG 特征之間的關(guān)系，證明MI 分解和融合的可能性。本研究有望為MI-BCI 系統(tǒng)精細、高維和準(zhǔn)確地控制提供新思路。

1 材料和方法

1.1 MI 與其子過程EEG 特征關(guān)系的數(shù)學(xué)模型

引言中所述命題可以理解為，對于某一運動想象腦意圖（記為a，對應(yīng)的EEG 數(shù)據(jù)記為A），均可以視其為特定子意圖（記為b，c，d，…，對應(yīng)的EEG 數(shù)據(jù)為B，C，D，…）的一個累加態(tài)，因此，引言中命題的數(shù)學(xué)表示為：

式中：Af，Bf，Cf，Df，…為對應(yīng)的EEG 數(shù)據(jù)A，B，C，D，…映射到特征空間的特征；F(·)Fusion為特征融合方法；m為相關(guān)性矩陣。

不失一般性，為了方便實驗驗證和數(shù)學(xué)分析，本研究將a對應(yīng)的子意圖簡化為b和c這兩個，式（1）可簡化為：

式中：A′f=F(Bf,Cf)Fusion。進一步驗證該數(shù)學(xué)關(guān)系對于同一被試者具有統(tǒng)一性，則式（2）可表示為：

1.2 實驗設(shè)計及實驗過程

1.2.1 實驗設(shè)計

將一個連續(xù)的運動想象過程分解為若干個子過程是一件較為困難的事情，但站在驗證命題的角度，實驗范式只需滿足命題要求，即運動想象動作a 為子動作b 和c 的累加即可。如圖3 所示，將a 定義為右手手掌攤開，再從攤開到握拳的想象過程；b的運動想象內(nèi)容定義為右手手掌攤開的運動想象過程；將c 定義為右手手掌握拳的運動想象過程。

圖3 3 組運動想象a、b、c 的實驗內(nèi)容

1.2.2 實驗過程

如圖4 所示，本文選取15 名身體情況健康的右利手為被試者，實驗中被試者坐在提示屏幕正前方，面部距離顯示屏約75 cm，認(rèn)真按照實驗刺激程序的流程進行運動想象。本實驗所選擇的實驗設(shè)備型號為64 通道的Cognionics 無線干電極腦電采集設(shè)備，電極安放依據(jù)64 導(dǎo)聯(lián)的國際標(biāo)準(zhǔn)，所有導(dǎo)聯(lián)均采用AgCl 電極，各電極的阻抗均通過Cognionics Acquisition Beta 軟件設(shè)置被降至5 kΩ以下，初始采樣頻率設(shè)置為500 Hz，設(shè)備的帶通濾波設(shè)置為0.5～40 Hz，參考電極為左側(cè)和右側(cè)的耳后隆起位置[9-10]。

圖4 實驗過程

實驗開始前，被試者需在靜息態(tài)下采集1 min的EEG 作為對照組。實驗開始時，實驗范式提示端的顯示器背景先為黑色，接著開始顯示指導(dǎo)語持續(xù)2 s，幫助被試者理解實驗內(nèi)容；然后出現(xiàn)黑底白色的十字光標(biāo)2 s 作為準(zhǔn)備階段，第4 s 時出現(xiàn)運動想象內(nèi)容的提示圖片和文字，被試者觀察提示內(nèi)容2 s 后，提示屏幕上再度出現(xiàn)十字光標(biāo)2 s，然后黑屏進入4 s 的運動想象過程，隨后再出現(xiàn)十字光標(biāo)2 s 作為被試者的休息時間，再進入下一次運動想象。被試者單次實驗的累計運動想象次數(shù)為30次，每次實驗間被試者休息2 s，運動想象a、b 和c 共計90 次，獲得數(shù)據(jù)集A，B和C各30 組。以運動想象c 的實驗為例，具體的實驗流程和對應(yīng)的實驗范式的刺激程序如圖5 所示。

圖5 實驗范式流程c

1.3 實驗數(shù)據(jù)分析方法

1.3.1 特征提取算法選擇和通道選擇

（1）基于靜息態(tài)參考和Frobenius范數(shù)（Frobenius-Resting state，F(xiàn)-Rs）的特征向量表達

式（1）要求將可以表征運動想象意圖的矩陣空間的數(shù)據(jù)投射到特征空間，這個投射過程所采取的特征提取方法在本研究中是非常重要的。與傳統(tǒng)的腦電分類研究不同，這里所規(guī)劃的特征提取算法并非以分類效果為指標(biāo)，而是該特征能夠盡可能全面而準(zhǔn)確地表達需要表征的運動想象意圖。

在不考慮數(shù)據(jù)的相容性的情況下，EEG 信號的每個通道的數(shù)據(jù)都可以作為一個高維向量Zi，同時也可以視為一個矩陣。而對于一個向量的充分表征，當(dāng)然可以從相對某一參考的模長與夾角進行描述。對于一個矩陣的描述，可以從范數(shù)的角度進行理解。這里定義靜息態(tài)EEG 為Rs作為參考靜息態(tài)EEG 的模長作為單位模長，將運動想象的EEG 信號從笛卡爾空間變換到靜息態(tài)空間[11]，如圖6 所示。

圖6 基于靜止?fàn)顟B(tài)參考和Frobenius 范數(shù)的特征向量表示

Frobenius 范數(shù)是指對矩陣全部元素平方和的平方根，即：

當(dāng)矩陣為一維時，F(xiàn)robenius 范數(shù)求解得到的即為模長，而且從矩陣的角度來說，F(xiàn)robenius 范數(shù)對矩陣任一元素的概括均是遍歷的。下面本文根據(jù)N維向量的夾角公式得到Zi與Rs的余弦相似度[12]，計算公式為：

接著通過坐標(biāo)變換，任一通道的EEG 均可表征為：

（2）基于EEG-MI 的通道貢獻的導(dǎo)聯(lián)選擇

據(jù)現(xiàn)有研究，運動想象EEG 的采集主要使用C3、Cz和C4三個通道及其附近通道[13]。在本研究中，筆者希望可以盡可能地選擇合適的通道的數(shù)據(jù)去表達運動想象的內(nèi)容，因此需要研究各個導(dǎo)聯(lián)組合對運動想象的貢獻程度。這一基本思路是利用1.2.1節(jié)中描述的方法去提取各個通道的特征，再通過無監(jiān)督的聚類算法去做簡單的運動想象的二分類，按照分類的精度去尋找最合適的導(dǎo)聯(lián)組合。

為避免不必要的討論，本文首先在C3、Cz 和C4 三個通道及其附近選取共計13 個通道作為組合的基底，如表1 所示；其次按照空間位置規(guī)劃了多種通道組合，如圖7 所示，并采用無監(jiān)督的K-means算法[14]去分類這些通道組合下的運動想象數(shù)據(jù)；最后利用分類準(zhǔn)確度去標(biāo)定各個組合對運動想象的貢獻。

表1 所選取的通道

圖7 各通道組合

1.3.2 運動想象子過程的特征融合

按式（1）所述，需要對Bf和Cf進行特征融合，典型的特征融合算法包括串聯(lián)融合、并行融合和典型相關(guān)性分析（Canonical Correlation Analysis，CCA）[15]，這些算法有其各自的優(yōu)勢并在自己的領(lǐng)域可進一步拓展算法的功能，如串聯(lián)融合可以延伸為結(jié)合網(wǎng)絡(luò)訓(xùn)練的加權(quán)串聯(lián)融合；CCA 可拓展為mCCA 以解決多變量的典型相關(guān)性問題，或引入核函數(shù)（Kernel Function）的概念將CCA 增強至kCCA，以解決變量間的非線性典型相關(guān)性[16-17]。而本文需要融合的特征為一組二維樣本，同時Af的對應(yīng)的運動想象過程為Bf和Cf的一個順序連接的過程，因此，最直接的思路是，直接利用樣本層的融合，直接得到A′f，即Af中的每個樣本由Bf和Cf對應(yīng)位置的樣本加權(quán)融合而成。

則式（2）的串聯(lián)融合表達式為：

式中：α和β為融合權(quán)值。則式（2）中m可以表示為：

則式（7）的求解即為：

即可求解出αi和βi，進而得到mi，取其中一個被試者的結(jié)果。

此外，考慮到本研究下的特征現(xiàn)實語義是表達Bf和Cf對組成Af的貢獻度，因此嘗試從每個特征的特征進行融合，即融合子特征和組合特征的對應(yīng)樣本點建立數(shù)學(xué)關(guān)系，則其表達式為：

同理，可求解出m。

2 實驗結(jié)果

使用各類通道的分類結(jié)果如表2 與圖8 所示，其中表2說明了各組通道組合方式所選取的通道數(shù)。根據(jù)第2 組的測試結(jié)果可知，單純的C3、Cz 和C4三個通道在本研究的實踐中并不能很好地反映運動想象的語義；但是根據(jù)第3 組結(jié)果對比可知，C3、Cz 和C4 三個通道對于運動想象的表征是必不可少的。最后根據(jù)9 組的結(jié)果對比，可以確定第6 組的導(dǎo)聯(lián)組合下的信號對運動想象的貢獻最多，因此，在后續(xù)研究中選擇第6 組的9 通道導(dǎo)聯(lián)組合。

圖8 不同通道組合的運動想象數(shù)據(jù)分類結(jié)果

表2 所選取的通道

通過通道選擇和基于F-Rs 特征提取后，在靜息態(tài)空間內(nèi)12 組被試者的Af，Bf和Cf的空間分布如圖9 所示。組合特征與兩個子特征均屬于同側(cè)肢體的運動想象，且反映的是手部的精細姿態(tài)——攤手和握拳，但在特征空間內(nèi)，三類特征在不依賴任何訓(xùn)練模型和分類算法的情況下，各個特征依然表現(xiàn)出比較明顯的聚集性。這證明經(jīng)過上述數(shù)據(jù)處理過程得到的三類運動想象特征Af，Bf和Cf符合理論預(yù)期。

圖9 靜態(tài)空間內(nèi)Af，Bf 和Cf 的空間分布

運用上述特征融合可求解出m，如圖10 所示。進一步的，對兩種融合方式下的mi找到聚類中心m^，利用m^，Bf和Cf計算AF特征，最后對比AF和Af特征，對比結(jié)果見圖11?？梢钥吹剑么?lián)融合求解的m可以較好地擬合運動想象子特征與運動想象特征，但從特征樣本的對應(yīng)關(guān)系來入手，反而不能擬合出較好的結(jié)果。

圖10 兩種特征融合方法求解融合矩陣m 的結(jié)果分布

圖11 基于兩個融合矩陣m 在靜息狀態(tài)參考空間中的融合特征分布

3 結(jié)語

本研究首先將問題轉(zhuǎn)化為一個數(shù)學(xué)解的判定問題，其次設(shè)計了符合數(shù)學(xué)命題的單側(cè)肢體的運動想象實驗組，將數(shù)據(jù)經(jīng)過一定的通道選擇后，利用靜息態(tài)參考的原理和Frobenius 范數(shù)將數(shù)據(jù)映射至特征空間，最后利用串聯(lián)融合和樣本層融合這兩種方式求解融合矩陣。

此外，本文探討了運動想象腦意圖所對應(yīng)的EEG 信號的特征是否具有可分解性與可組合性，即能否被拆解為若干個運動想象子過程與其對應(yīng)的子特征。這個問題的產(chǎn)生主要源于在線的運行想象系統(tǒng)精細控制的需要。實驗結(jié)果表明，運動想象確實可以通過某個統(tǒng)一的數(shù)學(xué)關(guān)系拆解為若干個子過程，而且該過程可逆。

值得說明的是，各個腦電設(shè)備、被試者和實驗環(huán)境下通道選擇的結(jié)果理論上來說具有一定差異。本研究的通道選擇結(jié)果僅服務(wù)于運動想象過程與子過程的充分表達這一目的，因此該結(jié)果對所有的問題是否具有普適性需要進一步研究。

本研究尚存在值得進一步研究的問題，如能否研究出對不同被試者高泛化性的融合矩陣或融合算法。此外，實驗過程中有數(shù)據(jù)證明，基于靜息態(tài)參考和Frobenius 范數(shù)的特征向量表達對少樣本、少通道高采樣率的運動想象分類具有優(yōu)秀的性質(zhì)。一言以蔽之，本研究落實于EEG-MI 系統(tǒng)的精細控制，但道阻且長。在接下來的工作中，會將本文證明的MI 與其子過程相關(guān)腦電特征的分解與融合關(guān)系用于MI-BCI 系統(tǒng)中，并提高其性能。