錢一潤，王從慶，張聞銳，展文豪，張 民

(1. 南京航空航天大學(xué) 自動化學(xué)院，南京 210016; 2. 中國航天員科研訓(xùn)練中心 人因工程國防科技重點實驗室，北京 100094)

0 引言

空間機械臂是空間站中用來完成目標(biāo)搬運、在軌建設(shè)和輔助航天員出艙等任務(wù)的智能設(shè)備，具有強大的應(yīng)用能力和廣闊的發(fā)展前景?？臻g機械臂可以由航天員遙控進行操作，然而在失重的環(huán)境影響下，航天員很難像在地面一樣自如地操控空間機械臂。腦機接口(BCI，brain-computer interface)作為一種可以直接實現(xiàn)大腦與外界間信息傳輸?shù)耐ǖ繹1]，可以通過腦機接口技術(shù)對大腦中的神經(jīng)信號進行解碼并傳輸給空間機械臂，實現(xiàn)航天員與空間機械臂之間的腦機交互控制。穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP，steady-state visual evoked potential)是一種受持續(xù)視覺刺激而產(chǎn)生的腦電信號[2]，根據(jù)其原理而設(shè)計的SSVEP腦機接口憑借著頻域特征明顯、可選擇的目標(biāo)數(shù)多、信息傳輸速率快且受試者不需要經(jīng)過訓(xùn)練等優(yōu)勢，在對信息傳輸要求較高的場合已被廣泛使用。

傳統(tǒng)的SSVEP信號分析方法主要有功率譜密度分析[3](PSDA，power spectral density analysis)和典型相關(guān)分析(CCA， canonical correlation analysis)等。功率譜密度分析是一種單通道分析方法，通過將腦電信號從時域轉(zhuǎn)換到頻域[4]，比較信號的頻率成分和相對強弱來對受試者關(guān)注的視覺刺激進行分類。作為目前主流的SSVEP分類方法，典型相關(guān)分析及其改進方法被廣泛應(yīng)用，CCA方法可以計算出兩組多維變量之間的相關(guān)性[5]。Lin等人[6]提出的CCA方法通過分析腦電信號與模板信號之間的相關(guān)關(guān)系來對SSVEP信號進行分類。作為一種多通道方法，CCA具有高效性和魯棒性，已成為一種SSVEP信號分類的經(jīng)典方法。陳小剛等人[7]在CCA的基礎(chǔ)上有效地利用了信號中的諧波成分，提出了改進方法濾波器組典型相關(guān)分析(FBCCA，filterbank canonical correlation analysis)，進一步提高了信號的分類準(zhǔn)確率。近年來，深度學(xué)習(xí)已經(jīng)在很多領(lǐng)域成為了一種熱門方法。引入深度學(xué)習(xí)來對SSVEP信號進行分類，相比于傳統(tǒng)方法，深度學(xué)習(xí)在學(xué)習(xí)數(shù)據(jù)特征方面有著天然的優(yōu)勢，卷積神經(jīng)網(wǎng)絡(luò)[8](CNN，convolutional neural network)是最常使用的算法之一。杜光景等人[9]使用了一個7層的CNN網(wǎng)絡(luò)對原始的多通道SSVEP信號進行分類，在針對短時間的SSVEP信號時，有效地提高了信號的分類準(zhǔn)確率和魯棒性。A.Ravi等人[10]先將SSVEP信號轉(zhuǎn)換到頻域提取特征，再輸入到CNN網(wǎng)絡(luò)，可以有效地降低模型的計算復(fù)雜度。

在空間機械臂腦機交互系統(tǒng)中，為保證實際應(yīng)用中的信息傳輸效率，有必要在短時間內(nèi)實現(xiàn)對SSVEP信號的正確分類，因此本文針對1 s時間窗口的6類信號分類問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的SSVEP分類方法，并與傳統(tǒng)的CCA和FBCCA方法進行比較，本文方法的平均識別準(zhǔn)確率最高。采用本文方法解碼6類SSVEP信號，并控制仿真環(huán)境下的空間機械臂進行操作。

1 SSVEP信號處理與分類

1.1 SSVEP信號原理

SSVEP信號由視覺刺激產(chǎn)生[11]，當(dāng)人眼受到外界一個持續(xù)性的閃爍刺激時(刺激頻率一般高于6 Hz)，大腦枕葉區(qū)的視覺皮層會產(chǎn)生相應(yīng)的信號，該信號的頻率與閃爍刺激的頻率及其諧波頻率相同。SSVEP腦機接口正是根據(jù)這個原理設(shè)計的。如圖1所示，當(dāng)受試者注視一個頻率為10 Hz的周期性持續(xù)刺激時，從SSVEP信號的頻譜圖上可明顯看出在10 Hz、20 Hz和30 Hz處出現(xiàn)波峰，波峰的幅值隨著頻率的增大呈遞減趨勢。

圖1 10 Hz頻率誘發(fā)的SSVEP頻譜圖

1.2 數(shù)據(jù)集介紹及預(yù)處理

本文所使用的數(shù)據(jù)來自清華大學(xué)的Benchmark數(shù)據(jù)集[12]，該數(shù)據(jù)集共采集了35名健康的受試者(記為S01-S35)，其中女性有17名，男性有18名。在所有受試者中，受試者S01-S08有過SSVEP數(shù)據(jù)的采集經(jīng)驗，受試者S09-S35則沒有。該數(shù)據(jù)集使用64通道的腦電儀對40個目標(biāo)進行了6次實驗，每次實驗采集到的有效時間為5 s。經(jīng)處理后，SSVEP信號的采樣頻率為250 Hz，并且通過50 Hz的陷波濾波器去除工頻干擾。選擇8 Hz，9 Hz，10 Hz，11 Hz，12 Hz和13 Hz這6個頻率作為6分類的刺激頻率?；诮?jīng)驗知識，選擇該數(shù)據(jù)集中位于大腦枕葉區(qū)的Pz，PO5，PO3，POz，PO4，PO6，O1，Oz和O2這9個通道的數(shù)據(jù)。并使用巴特沃斯帶通濾波器對選用的SSVEP信號進行濾波。

1.3 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)

1.3.1 特征提取

特征提取是從原始信號中提取出對分類最有效可靠的特征，進行特征提取可以有效降低數(shù)據(jù)的維度，并且能夠在后續(xù)處理使用時簡化卷積神經(jīng)網(wǎng)絡(luò)的計算復(fù)雜度。對于腦電信號，通常采用傅里葉變換、小波變換法等方法提取信號的頻域或時頻域特征[13]。

在本文中，選擇先對SSVEP信號進行特征提取，再把提取的特征輸入到CNN進行分類。SSVEP信號頻域特征明顯，快速傅里葉變換(FFT，fast Fourier transform)可以將信號轉(zhuǎn)換到頻域[14]。對原始的SSVEP信號使用快速傅里葉變換可以得到一組復(fù)數(shù)序列，其中實部代表信號的幅度信息，虛部代表信號的相位信息。研究結(jié)果表明，信號的相位信息在解碼SSVEP時提供重要信息[15]，因此將快速傅立葉變換的實部和虛部結(jié)合起來作為CNN的輸入。對每個通道使用分辨率為0.293 0 Hz的標(biāo)準(zhǔn)快速傅立葉變換，選擇4～40 Hz之間的頻率分量，把計算出的FFT實部和虛部組合成一個新的特征。

再將這些特征按通道順序進行堆疊，得到最終的特征矩陣。

1.3.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的研究開始于20世紀(jì)80至90年代，經(jīng)過多年的完善發(fā)展，目前已經(jīng)是深度學(xué)習(xí)領(lǐng)域中最常用的神經(jīng)網(wǎng)絡(luò)之一，在圖像處理[16]、信號分類[17]和目標(biāo)檢測[18]等方面都發(fā)揮了重要的作用。一個常見的CNN架構(gòu)包括輸入層、隱藏層和輸出層這幾部分。在隱藏層中，又有卷積層、全連接層等常見的架構(gòu)。利用CNN進行信號分類時，網(wǎng)絡(luò)的輸入通常是原始時域信號或信號的特征矩陣，通過卷積層對輸入的數(shù)據(jù)加以學(xué)習(xí)，并由輸出層輸出分類標(biāo)簽。

在本文中，設(shè)計了一個5層的CNN網(wǎng)絡(luò)，分別是一個輸入層，3個卷積層和一個全連接的輸出層?？傮w的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，每一層的網(wǎng)絡(luò)具體如下：

1)輸入層l1。第一層為整個網(wǎng)絡(luò)的輸入層，將前一步特征提取中得到的特征矩陣作為整個網(wǎng)絡(luò)的輸入在特征提取中，我們對每一個通道都提取了特征，整個特征矩陣的維度即為通道數(shù)×特征數(shù)量。在圖2中，輸入的特征矩陣大小為9×248，表示一共有9個通道的輸入數(shù)據(jù)，每個通道中有248個特征數(shù)量。

圖2 卷積神經(jīng)網(wǎng)絡(luò)總體結(jié)構(gòu)圖

2)卷積層l2。卷積層l2層執(zhí)行整個網(wǎng)絡(luò)中的第一次卷積操作，為學(xué)習(xí)每個通道的不同作用，參考空域濾波器的設(shè)計，在這一層中，利用步長為1，維度為9×1的一維卷積核對輸入數(shù)據(jù)進行卷積。l2層一共輸出18個大小為1×248的一維特征圖。

3)卷積層l3。第三層是對每張?zhí)卣鲌D中的頻譜特征進行學(xué)習(xí)，利用步長為1，維度為1×30的卷積核進行卷積。在這一層中只進行有效的卷積，即不對邊界數(shù)據(jù)進行處理，最后輸出的特征圖數(shù)量不變，大小則變?yōu)?×219。

4)卷積層l4。卷積層l4是在卷積層l3的基礎(chǔ)上對頻譜特征再做一次卷積，采用步長為3，維度為1×10的卷積核進行卷積，同樣不對邊界數(shù)據(jù)進行處理，共輸出18個特征圖，每個特征圖的大小減小為1×70。為方便將這一層得到的數(shù)據(jù)傳遞給輸出層，在卷積結(jié)束后對所有數(shù)據(jù)進行扁平化處理。

5)輸出層l5。輸出層由6個節(jié)點組成，代表原始SSVEP數(shù)據(jù)中的6個刺激頻率。將卷積層l4和輸出層l5進行全連接，選擇使用softmax函數(shù)作為輸出層的激活函數(shù)。

在卷積神經(jīng)網(wǎng)絡(luò)的每一層卷積后，選擇線性整流函數(shù)(ReLU)作為卷積層的激活函數(shù)，并且不設(shè)置偏置值。研究表明，批歸一化可以使特征服從均值為0，方差為1的分布，從而使得網(wǎng)絡(luò)中的數(shù)據(jù)分布相對穩(wěn)定，可以簡化調(diào)參過程，并起到了一定的正則化效果。為了提高網(wǎng)絡(luò)的泛化能力，加快模型的學(xué)習(xí)訓(xùn)練速度[19]，對卷積層l2，l3和l4層的輸出均使用批歸一化處理。同時，使用權(quán)值衰減和隨機刪除部分神經(jīng)元的方法可以有效防止訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，因此在每一層卷積中引入了L2正則化和dropout方法[20]。

CNN訓(xùn)練時，使用誤差反向傳播法訓(xùn)練網(wǎng)絡(luò)。以均值為0，標(biāo)準(zhǔn)差為1的高斯分布作為CNN的權(quán)重初始值。訓(xùn)練過程中，利用小批量訓(xùn)練進行學(xué)習(xí)，每次輸入32個數(shù)據(jù)段，總共迭代50次。損失函數(shù)選擇使用交叉熵損失函數(shù)，采用SGDM算法進行權(quán)值優(yōu)化，設(shè)置學(xué)習(xí)率為0.001，動量為0.9。為防止過擬合，設(shè)置正則化項L2為0.000 1，dropout比率為0.2。

1.4 典型相關(guān)分析

CCA方法可以計算出兩組數(shù)據(jù)之間的相關(guān)程度。其基本原理是分別從兩組數(shù)據(jù)中提取一對綜合變量，計算這組變量對之間的相關(guān)關(guān)系，我們可以得到一個數(shù)值，即為這組變量對之間的相關(guān)系數(shù)。顯然，在這兩組數(shù)據(jù)中我們可以提取出很多對綜合變量。其中，相關(guān)系數(shù)最大的一組變量對被稱為這兩組數(shù)據(jù)的一對典型變量，相關(guān)系數(shù)越大，代表這組變量對之間的相關(guān)關(guān)系就越強，說明兩組數(shù)據(jù)之間的關(guān)聯(lián)性也越強。因此，在分析兩組數(shù)據(jù)之間的整體關(guān)系時，可以根據(jù)這兩個指標(biāo)來判斷。

使用CCA方法進行SSVEP分類時，我們通常只關(guān)注SSVEP信號與模板信號之間最大的相關(guān)系數(shù)，因此通過計算兩者之間的典型相關(guān)系數(shù)就可以確定刺激頻率。研究表明，CCA在區(qū)分SSVEP信號時具有優(yōu)異的性能[21]。定義兩組變量X和Yi，X為采集到的SSVEP信號，表示為：

X=(X1,X2,...,Xn)

(1)

(2)

(3)

按上述步驟計算待檢測的SSVEP信號與各模板信號之間的皮爾森相關(guān)系數(shù)，確定目標(biāo)頻率:

ft=maxp(x,yi),i=1,2,...,M

(4)

式中，M為視覺刺激的個數(shù)。

1.5 濾波器組典型相關(guān)分析

FBCCA是對CCA方法的一種改進[22]，相比于CCA，F(xiàn)BCCA方法有效地利用了信號中的諧波成分。根據(jù)CCA的原理，在進行SSVEP信號分類時，更關(guān)注SSVEP信號與模板信號之間的相關(guān)關(guān)系，而忽略了SSVEP內(nèi)部的諧波信息。從SSVEP的頻譜圖中可以很清楚地看出，信號中的諧波成分，尤其是二次諧波成分非常明顯，因此可以通過這些諧波成分為SSVEP分類提供重要的參考信息。

在進行分類前，先使用濾波器組將SSVEP信號分成多個子帶，對每個子帶和模板信號進行CCA處理，計算出對應(yīng)的相關(guān)系數(shù)。最后，將每個子帶得到的相關(guān)系數(shù)進行加權(quán)平方和后求得最終的相關(guān)系數(shù)：

(5)

式中，i表示某類視覺刺激目標(biāo)，j表示子帶的索引，l為子帶總個數(shù)，M為視覺刺激的個數(shù)，w(j)為子帶分量對應(yīng)的權(quán)重因子，可以表示為：

w(j)=j-a+b,j∈[1,j]

(6)

式中，a和b為常數(shù)參數(shù)，根據(jù)經(jīng)驗，通常設(shè)置參數(shù)a為1.25，參數(shù)b為0.25。最終確定目標(biāo)頻率為：

ft=max(pi),i=1,2,...,M

(7)

2 實驗分析

將卷積神經(jīng)網(wǎng)絡(luò)方法在數(shù)據(jù)集上的進行測試，由于卷積神經(jīng)網(wǎng)絡(luò)需要比較大的數(shù)據(jù)量，而數(shù)據(jù)集中的SSVEP信號較少，因此采用數(shù)據(jù)分割的方式增加數(shù)據(jù)量[23]。將每個5秒的數(shù)據(jù)用寬度為1 s，步長為200 ms的滑動窗口進行分割，這樣單次試驗將能獲得21個分段數(shù)據(jù)，每人每個頻率目標(biāo)一共有126個分段數(shù)據(jù)，可滿足卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)需求。

更多信息，請掃描二維碼關(guān)注“老創(chuàng)客”微信公眾號。如果您也想展示自己的作品，請撥打電話0551-62607765。

使用卷積神經(jīng)網(wǎng)絡(luò)方法進行訓(xùn)練時，將單個受試者的數(shù)據(jù)按比例劃分為訓(xùn)練集和測試集。為得到較好的效果，對每個受試者的數(shù)據(jù)進行10倍交叉驗證，即將數(shù)據(jù)劃分為10份，分別選擇其中9份數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩余的1份數(shù)據(jù)作為測試數(shù)據(jù)。每次試驗都會得到一個分類準(zhǔn)確率，將10次試驗得到的準(zhǔn)確率的平均值作為最終的分類準(zhǔn)確率。同時使用CCA和FBCCA的方法在該數(shù)據(jù)集上進行測試，將3種方法得到的分類準(zhǔn)確率進行比較，對比的結(jié)果如表1所示。

表1 1 s時間窗口下分類準(zhǔn)確率對比

實驗表明，對35名受試者使用本文提出的卷積神經(jīng)網(wǎng)絡(luò)方法，平均分類準(zhǔn)確率為99.07%，明顯高于CCA方法(41.67%)和FBCCA方法(85.79%)。其中最高的分類準(zhǔn)確率為100%(S3，S5，S10，S12，S13，S14，S22，S25，S26，S31，S32)，共11人，占總數(shù)的31.43%；最低分類準(zhǔn)確率為94.18%(S33)?？紤]到數(shù)據(jù)集中受試者S1-S8有過采集SSVEP數(shù)據(jù)的經(jīng)驗，而受試者S09-S35則沒有，因此對其分別進行討論。對于有過經(jīng)驗的受試者S1-S8，他們的分類準(zhǔn)確率都在99%以上，平均分類準(zhǔn)確率達到了99.64%，說明對于有經(jīng)驗的受試者，本文給出的方法可以出色的完成短時間窗口下的SSVEP信號分類問題，且具有較高的魯棒性。受試者S09-S35沒有采集經(jīng)驗，他們的平均分類準(zhǔn)確率為98.90%。在的27名受試者中，共有5人的分類準(zhǔn)確率低于98%(S11，S18，S19，S29，S33)，占沒有采集經(jīng)驗人數(shù)的18.52%，只有兩人的分類準(zhǔn)確率沒有達到95%(S19：94.71%，S33：94.18%)，且相差并不大，說明即使是沒有經(jīng)驗的受試者，采用本文方法依然可以保持較高的分類準(zhǔn)確率。

除了識別準(zhǔn)確率，還可以通過信息傳輸率(ITR，information translate rate)來評價SSVEP腦機接口的性能[24]，ITR表示在一分鐘內(nèi)所能夠傳輸?shù)男畔⒘看笮?，ITR越大，說明該方法下信息傳輸率越快。在SSVEP腦機接口中有3個重要的參數(shù)指標(biāo)，分別是待分類的刺激頻率數(shù)、信號的分類準(zhǔn)確率和單次刺激所持續(xù)的時間。信息傳輸率將這3個指標(biāo)結(jié)合起來：

(8)

(9)

式中，B表示一次刺激所傳輸?shù)男畔⒘浚琓表示進行一次刺激所持續(xù)的時間，N表示所要分類的刺激頻率數(shù)量，P表示分類準(zhǔn)確率。在本文中，共有6個待分類的刺激頻率，選用35名受試者的平均識別率作為信號的分類準(zhǔn)確率，設(shè)定單次刺激所持續(xù)的時間為理論時間1秒。通過上述公式，計算出采用卷積神經(jīng)網(wǎng)絡(luò)方法時的信息傳輸率為149.24 b/min，已經(jīng)達到了一個很高的傳輸速率。相比于CCA方法(15.04 b/min)和FBCCA方法(99.92 b/min)，采用CNN方法下的信息傳輸率得到了巨大的提升。總體而言，在針對短時間窗口的SSVEP信號時，本文提出的方法比傳統(tǒng)CCA和FBCCA方法在分類準(zhǔn)確率和信息傳輸率上都有了很大的提升，可以有效提高SSVEP腦機接口的分類性能。

3 空間機械臂的腦機交互控制

本文所使用的仿真空間機械臂在VS2017平臺上進行運行。首先在3D Studio MAX中繪制空間機械臂的模型，然后使用OpenGL在VS2017平臺上對空間機械臂進行重構(gòu)。6類SSVEP信號的分類識別在Jupyter Notebook中完成，與空間機械臂仿真環(huán)境之間采用TCP/IP協(xié)議進行信息傳輸。將使用卷積神經(jīng)網(wǎng)絡(luò)方法分類后的結(jié)果作為控制信號，控制仿真環(huán)境下的空間機械臂運動，仿真實驗方案如圖3所示。

圖3 仿真實驗方案流程圖

仿真環(huán)境中的空間機械臂安裝在空間站上，由基座、大臂、中臂、小臂和末端手爪等部分組成，其初始示意圖見圖4。

圖4 空間機械臂初始示意

操作者利用SSVEP信號解碼指令控制空間機械臂，各刺激頻率與控制指令和空間機械臂動作的對應(yīng)關(guān)系如表2所示。

表2 刺激目標(biāo)對應(yīng)控制指令及機械臂動作

進行仿真實驗時，空間機械臂轉(zhuǎn)動示意圖見圖5。

圖5 空間機械臂轉(zhuǎn)動示意圖

實驗過程中，當(dāng)檢測到受試者注視的刺激頻率為8 Hz時，控制空間機械臂大臂順時針轉(zhuǎn)動；檢測到注視的刺激頻率為9 Hz時，控制空間機械臂大臂逆時針轉(zhuǎn)動；檢測到注視的刺激頻率為10 Hz時，控制空間機械臂中臂順時針轉(zhuǎn)動；檢測到注視的刺激頻率為11 Hz時，控制空間機械臂中臂逆時針轉(zhuǎn)動；檢測到注視的刺激頻率為12 Hz時，控制空間機械臂小臂順時針轉(zhuǎn)動；檢測到注視的刺激頻率為13 Hz時，控制空間機械臂小臂逆時針轉(zhuǎn)動。

4 結(jié)束語

根據(jù)實際腦機交互場景中高信息傳輸率的要求，本文針對短時間窗口下的SSVEP信號分類問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法。該方法通過快速傅里葉變換提取各通道的頻譜特征并組成特征矩陣，使用卷積神經(jīng)網(wǎng)絡(luò)對其進行分類。由于在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)之前進行了特征提取，本文提出的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)相比于直接對原始SSVEP信號進行深度學(xué)習(xí)要簡單很多。在清華大學(xué)的Benchmark數(shù)據(jù)集上將本文方法與典型相關(guān)分析方法和濾波器組典型相關(guān)分析方法進行比較，對比結(jié)果表明，該方法的目標(biāo)識別準(zhǔn)確率和信息傳輸率要明顯高于另外兩種方法。在1秒的時間窗口下，平均識別準(zhǔn)確率達到了99.07%，平均信息傳輸率為149.24 b/min。即使對于沒有SSVEP信號采集經(jīng)驗的受試者，應(yīng)用本文方法的平均識別準(zhǔn)確率也達到了98.90%，表示該方法可以有效地對短時間窗口的信號進行分類。最后，采用分類后的SSVEP信號作為控制信號，控制仿真環(huán)境中空間機械臂的大、中、小臂運動，驗證了本方法是一種可靠的腦機交互方法。

和其他腦電信號相同，SSVEP信號也存在個體差異性強、識別準(zhǔn)確率會隨著分類目標(biāo)的增多而下降等缺點，如何使用遷移學(xué)習(xí)的方法提高模型在不同受試者之間的泛化能力；同時當(dāng)面對目標(biāo)更多的分類問題時，保證識別準(zhǔn)確率是我們后續(xù)研究的重點。