曲思霖，王從慶，李建亮，展文豪，張 民

(1.南京航空航天大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 210016；2.中國(guó)航天員科研訓(xùn)練中心 人因工程國(guó)防科技重點(diǎn)實(shí)驗(yàn)室, 北京 100094)

0 引言

在空間站中，由于失重，航天員不能像在地面一樣自如地控制機(jī)器完成指定操作，而腦機(jī)接口技術(shù)可以解碼腦電，利用腦電信號(hào)(EEG signal)控制空間機(jī)械臂運(yùn)動(dòng)。腦機(jī)接口(brain computer interface,BCI)[1]是一種不依賴于外圍神經(jīng)和肌肉組織的大腦正常輸出通路來(lái)實(shí)現(xiàn)大腦與外部環(huán)境之間的直接通信的技術(shù)。通過(guò)腦機(jī)接口可以將操作者的意圖傳遞給機(jī)器，達(dá)到人腦控制機(jī)器運(yùn)動(dòng)的效果。

腦電信號(hào)的特征提取方法主要有時(shí)域分析法、頻域分析法、時(shí)頻分析法、空域分析法。張紹榮等[2]提出基于稀疏貝葉斯邏輯回歸運(yùn)動(dòng)想象腦電信號(hào)分類模型，提取方差、峰度、峭度、6階自回歸模型(auto regression,AR)系數(shù)、通帶頻率以及小波能量作為特征。Mahmood等[3]采用共空間模式方法進(jìn)行特征提取，用支持向量機(jī)(support vector machine,SVM)分類。Park等[4]采用特征向量中心性特征選擇方法，通過(guò)小波包分解、共空間模式提取特征，并采用內(nèi)核極限學(xué)習(xí)機(jī)分類。Sun等[5]采用共空間模式提取特征，將概率神經(jīng)網(wǎng)絡(luò)(probabilistic neural network,PNN)分成6類腦電信號(hào)。

由于運(yùn)動(dòng)想象信號(hào)主要表現(xiàn)為特定頻率的波段信號(hào)幅值變化，只采用時(shí)域特征無(wú)法體現(xiàn)，因此，常用時(shí)頻分析法和空域分析法進(jìn)行分析?；诳焖俑道锶~變換的功率譜密度(power spectral density,PSD)表示信號(hào)功率在各頻率點(diǎn)的分布情況，該方法簡(jiǎn)單易行，但事件和頻率不能同時(shí)滿足最佳效果[6]。小波包分解(wavelet packet decomposition,WPD)是進(jìn)行信號(hào)時(shí)頻分析和處理的常用工具，通過(guò)伸縮平移對(duì)信號(hào)進(jìn)行多尺度細(xì)化，達(dá)到高頻處時(shí)間細(xì)分、低頻處頻率細(xì)分的效果，適用于非平穩(wěn)信號(hào)處理[7]。共空間模式(common space pattern，CSP)是一種有效提取運(yùn)動(dòng)想象腦電信號(hào)特征的方法，于1999年首次用于運(yùn)動(dòng)想象信號(hào)分類[8]，目前在腦機(jī)接口系統(tǒng)中已得到廣泛應(yīng)用[9]。通過(guò)共空間模式計(jì)算空間濾波器，使不同類別的腦電信號(hào)特征差異最大化。

以上所提及的相關(guān)文獻(xiàn)中分別提取了運(yùn)動(dòng)想象信號(hào)的時(shí)域特征、頻域特征、空域特征，但沒(méi)有將3類特征結(jié)合起來(lái)，且未考慮由于受試者個(gè)人條件不同選擇不同特征的情況。本文針對(duì)小波包分解腦電信號(hào)，采用遞歸特性消除方法(recursive feature elimination,RFE)選擇特征，將經(jīng)過(guò)共空間模式濾波得到的特征向量輸入長(zhǎng)短期記憶網(wǎng)絡(luò)進(jìn)行分類，識(shí)別4類腦電信號(hào)，平均識(shí)別準(zhǔn)確率達(dá)93.69%。將識(shí)別的腦電信號(hào)作為控制信號(hào)，控制虛擬環(huán)境中的空間機(jī)械臂的中臂和大臂順時(shí)針或逆時(shí)針運(yùn)動(dòng)。

1 腦電信號(hào)特征提取與分類

1.1 信號(hào)預(yù)處理

采用基于負(fù)熵最大的FastICA方法對(duì)腦電信號(hào)進(jìn)行盲源分離。由于相鄰?fù)ǖ啦杉男盘?hào)之間相互干擾，且這些信號(hào)相互獨(dú)立，因此，常用獨(dú)立成分分析(independent component analysis,ICA)的方法對(duì)腦電信號(hào)進(jìn)行分離[10]。

基于神經(jīng)生理經(jīng)驗(yàn)知識(shí)，選擇大腦皮層區(qū)域感知區(qū)22通道采集的腦電信號(hào)。運(yùn)動(dòng)想象信號(hào)采集通道如圖1所示。

圖1 運(yùn)動(dòng)想象信號(hào)采集通道分布

以C3、C4、Cz通道信號(hào)為例，未經(jīng)獨(dú)立成分分析方法分離的運(yùn)動(dòng)想象信號(hào)如圖2所示。經(jīng)過(guò)FastICA盲源分離后得到C3、C4、Cz獨(dú)立成分如圖3所示。

圖2 C3、C4、Cz通道腦電信號(hào)

圖3 經(jīng)過(guò)FastICA盲源分離后C3、C4、Cz通道腦電信號(hào)

1.2 小波包分解

小波包中提供多種類型的小波基。對(duì)跳變較多的信號(hào)，Haar-Wsalsh基比較適用；局部三角函數(shù)基適用于含正弦分量或高頻振蕩的信號(hào)；對(duì)于運(yùn)動(dòng)想象腦電信號(hào)這類由分段多項(xiàng)式結(jié)構(gòu)組成的離散型的信號(hào)，常采用Daubechies小波基[11]。本文采用Db3小波(濾波器長(zhǎng)度為3)對(duì)4類運(yùn)動(dòng)想象信號(hào)進(jìn)行3層分解。

小波包分解原理如下[12]：

(1)

式中：s為尺度因子；b為平移因子；f(t)為源信號(hào)；ψ(·)為小波基函數(shù)。離散表達(dá)式為

(2)

式中：cl為逼近系數(shù)；gj,l為細(xì)節(jié)系數(shù)；φ(·)為尺度函數(shù)。

(3)

(4)

(5)

(6)

式中：h0為低通濾波器；h1為高通濾波器。

小波包分解如圖4所示。本文中數(shù)據(jù)集采集運(yùn)動(dòng)想象信號(hào)經(jīng)過(guò)Butterworth濾波后的頻率為0.5～100 Hz,因此第3層小波包節(jié)點(diǎn)對(duì)應(yīng)的頻率如表1所示。

圖4 小波包3層分解圖

表1 第3層小波包節(jié)點(diǎn)對(duì)應(yīng)的頻率

1.3 特征選擇

當(dāng)進(jìn)行運(yùn)動(dòng)想象時(shí)，不同的受試者子頻帶變化不同。針對(duì)不同的受試者選擇不同的通道和頻帶信號(hào)可以去除每個(gè)受試者不重要的子頻帶，使剩余子頻帶有更好的可分性，可提高識(shí)別準(zhǔn)確率[13]。特征選擇具體步驟如下。

步驟1計(jì)算第3層中每個(gè)節(jié)點(diǎn)的功率值：

(7)

式中：l表示第l個(gè)通道；j表示第j層；n表示第n個(gè)節(jié)點(diǎn)；r表示采樣點(diǎn)個(gè)數(shù)。

步驟4將被選入V′中子頻帶的系數(shù)重新構(gòu)成一個(gè)新的矩陣E165×q，q為每個(gè)節(jié)點(diǎn)系數(shù)個(gè)數(shù)。

1.4 共空間模式提取特征

二分類共空間模式的原理為求取空間濾波器使得一類信號(hào)的投影矩陣方差最大，另一類信號(hào)的投影矩陣方差最小[14]，算法如下。

第k類腦電信號(hào)Xk可表示為

(8)

式中：N為腦電儀的通道數(shù)；T為總采樣點(diǎn)數(shù)。

求取腦電信號(hào)的規(guī)范化協(xié)方差矩陣Rk：

(9)

復(fù)合的規(guī)范化協(xié)方差矩陣RC：

RC=R1+R2。

(10)

對(duì)規(guī)范化協(xié)方差矩陣RC進(jìn)行特征值分解：

(11)

式中：λC為特征值矩陣；UC為特征向量法矩陣。

構(gòu)造白化變換矩陣Q：

(12)

利用白化變換矩陣Q對(duì)協(xié)方差矩陣R1和R2進(jìn)行處理：

S1=QR1QTS2=QR2QT。

(13)

式中：S1、S2具有相同的特征向量。構(gòu)造對(duì)角矩陣λ1、λ2和特征向量矩陣B，對(duì)S1、S2進(jìn)行主分量分解：

S1=Bλ1BTS2=Bλ2BT，λ1+λ2=I。

(14)

若λ1中特征值按降序排列，則λ2中特征值按升序排列，即當(dāng)S1特征值最大時(shí)，S2特征值最小，保證了2類信號(hào)差異最大化。

求取投影矩陣，即空間濾波器M：

M=BTQ。

(15)

通過(guò)空間濾波器M得到第k類腦電信號(hào)特征矩陣Zm×T：

Zm×T=MT×XN×T。

(16)

式中：N為腦電儀的通道數(shù)；T為總采樣點(diǎn)數(shù)；m為生成空間濾波器時(shí)選取特征個(gè)數(shù)。本文中m=30,計(jì)算平均頻帶功率：

(17)

將4類運(yùn)動(dòng)想象信號(hào)兩兩組合，作為CSP濾波器的輸入，得到6個(gè)空間濾波器。將2類信號(hào)組合，通過(guò)空間濾波器的方法增大信號(hào)與另3類信號(hào)的差異性，使4類信號(hào)具有可分性，為后續(xù)分類提供良好的基礎(chǔ)。CSP提取4類腦電特征如圖5所示。

圖5 CSP提取腦電特征示意圖

1.5 腦電信號(hào)分類

本文選擇長(zhǎng)短期記憶(long short term memory,LSTM)網(wǎng)絡(luò)進(jìn)行分類。長(zhǎng)短期記憶網(wǎng)絡(luò)是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)算法,它使用一種被稱為 LSTM的記憶單元來(lái)判別哪些信息應(yīng)該被保留,控制信息從前一時(shí)刻到下一時(shí)刻進(jìn)行傳輸,是目前應(yīng)用最為廣泛的具有記憶功能的網(wǎng)絡(luò)[15]。

每個(gè)空間濾波器選取30維特征，信號(hào)與共空間模式濾波器相乘，計(jì)算平均頻帶功率，6個(gè)空間濾波器可組成30×6的特征矩陣。選擇長(zhǎng)短期記憶網(wǎng)絡(luò)搭建分類模型。LSTM的記憶單元共100個(gè)神經(jīng)元，輸出層選擇Softmax作為激活函數(shù)，得到4類分類結(jié)果，共迭代30次。訓(xùn)練模型損失函數(shù)選擇交叉熵函數(shù)，優(yōu)化器選擇Adam優(yōu)化器。

2 實(shí)驗(yàn)部分

本文介紹了用于驗(yàn)證的公開(kāi)數(shù)據(jù)集，并將本文方法在數(shù)據(jù)集上測(cè)試得到的識(shí)別準(zhǔn)確率與其他特征提取和分類方法比較。

本文選用的數(shù)據(jù)集為奧地利大學(xué)提供的第4屆腦-機(jī)接口大賽的data set A。該數(shù)據(jù)集中包含9位受試者4類運(yùn)動(dòng)想象的數(shù)據(jù)。每個(gè)受試者進(jìn)行288次單次實(shí)驗(yàn)，其中每類運(yùn)動(dòng)想象各72次。每個(gè)實(shí)驗(yàn)持續(xù)時(shí)間約為8 s。在第2 s時(shí)，屏幕出現(xiàn)上、下、左、右箭頭，受試者分別進(jìn)行舌頭運(yùn)動(dòng)想象、雙腳運(yùn)動(dòng)想象、左手運(yùn)動(dòng)想象、右手運(yùn)動(dòng)想象。3～6 s時(shí)，受試者保持該動(dòng)作想象。信號(hào)采樣頻率為250 Hz，并且通過(guò)0.5～100 Hz的帶通濾波器和50 Hz的陷波濾波。實(shí)驗(yàn)共采集25個(gè)通道信號(hào)，包括22個(gè)腦電通道和3個(gè)眼電(electro-oculogram,EOG)通道[16]。

選擇前3位受試者的3～6 s的22個(gè)腦電采集通道的訓(xùn)練數(shù)據(jù)隨機(jī)劃分，其中75%作為訓(xùn)練集，25%作為測(cè)試集。與其他方法對(duì)比結(jié)果如表2所示。

表2 不同的特征提取方法和分類方法的識(shí)別準(zhǔn)確率對(duì)比

表2中LDA為線性判別分析。由表2可知，在采用WPD和CSP進(jìn)行特征提取并用LSTM進(jìn)行分類時(shí)，采用RFE選擇特征的識(shí)別準(zhǔn)確率略高于未選擇特征的識(shí)別準(zhǔn)確率。在采用WPD和CSP進(jìn)行特征提取并用RFE進(jìn)行特征選擇時(shí)，LSTM分類效果好于LDA。若未采用CSP提取特征，則幾乎無(wú)法正確分類。由于采用RFE選擇特征時(shí)，需要遍歷所有特征，且對(duì)準(zhǔn)確率影響較小，因此當(dāng)特征數(shù)量較大時(shí)，不建議采用。本文將不同類別信號(hào)兩兩組合進(jìn)行CSP空域?yàn)V波器計(jì)算，即需要計(jì)算k(k-1)/2個(gè)空域?yàn)V波器(其中k為類別數(shù))，若類別過(guò)多，則需要計(jì)算的空域?yàn)V波器會(huì)大量增加。

3 空間機(jī)械臂的腦電解碼控制

將上述分類結(jié)果作為控制信號(hào)，通過(guò)串口在Unity 3D中控制空間機(jī)械臂運(yùn)動(dòng)，仿真實(shí)驗(yàn)流程如圖6所示。

圖6 仿真實(shí)驗(yàn)流程

空間機(jī)械臂是由底座(基座)、大臂、中臂、小臂、末端手爪組成，將其安裝在空間站上，主要完成空間在軌抓取目標(biāo)物體任務(wù)。航天員利用腦電解碼指令控制空間站外的空間機(jī)械臂。當(dāng)腦電信號(hào)為左手運(yùn)動(dòng)想象時(shí)，控制空間機(jī)械臂大臂逆時(shí)針轉(zhuǎn)動(dòng)。當(dāng)腦電信號(hào)為右手運(yùn)動(dòng)想象時(shí)，控制械臂大臂順時(shí)針轉(zhuǎn)動(dòng)。當(dāng)腦電信號(hào)為舌頭運(yùn)動(dòng)想象時(shí)，控制機(jī)械臂中臂順時(shí)針轉(zhuǎn)動(dòng)。當(dāng)腦電信號(hào)為雙腳運(yùn)動(dòng)想象時(shí)，控制機(jī)械臂中臂逆時(shí)針轉(zhuǎn)動(dòng)。各類腦電信號(hào)對(duì)應(yīng)控制指令及作用如表3所示，空間機(jī)械臂初始位置如圖7所示，空間機(jī)械臂按指令轉(zhuǎn)動(dòng)效果如圖8所示。

表3 4類腦電信號(hào)對(duì)應(yīng)控制指令及機(jī)械臂動(dòng)作

圖7 空間機(jī)械臂初始位置

圖8 空間機(jī)械臂按指令轉(zhuǎn)動(dòng)后位置

4 結(jié)論

本文提出一種基于小波包分解的共空間模式方法提取腦電信號(hào)特征，采用遞歸特性消除方法選擇特征，通過(guò)長(zhǎng)短期記憶網(wǎng)絡(luò)進(jìn)行分類。首先，用快速獨(dú)立成分分析(FastICA)方法對(duì)22通道的腦電信號(hào)進(jìn)行盲源分離。然后，用Db3小波分解腦電信號(hào)，計(jì)算每個(gè)節(jié)點(diǎn)的功率值，采用RFE選擇特征，將選擇的子頻帶和通道組成特征矩陣,通過(guò)共空間模式對(duì)腦電信號(hào)進(jìn)行空間濾波，并采用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)對(duì)提取的腦電特征進(jìn)行分類。將本文方法與其他特征提取方法在data set A公開(kāi)數(shù)據(jù)集上進(jìn)行測(cè)試。測(cè)試結(jié)果表明，本文方法識(shí)別率均優(yōu)于常用的幾種方法。最后，采用解碼的腦電信號(hào)作為控制信號(hào)，控制空間機(jī)械臂中臂和大臂順時(shí)針、逆時(shí)針轉(zhuǎn)動(dòng)，驗(yàn)證了本文方法可以用于解碼控制。

該方法可用于幫助航天員控制空間站外的空間機(jī)械臂在軌操作。腦電信號(hào)易受周圍環(huán)境干擾，而且可實(shí)現(xiàn)任務(wù)較少，人與人之間具有較大差異性，如何將訓(xùn)練好的模型通過(guò)遷移學(xué)習(xí)的方法解決腦機(jī)接口系統(tǒng)的局限性[17]是下一步研究的重點(diǎn)。