李趙春，周永照，馮衛(wèi)奔，王玉成

(1.南京林業(yè)大學機械電子工程學院，南京 210037； 2.中國科學院合肥物質(zhì)科學研究院智能機械研究所，常州 213000)

調(diào)查顯示，腦卒中已成為導致中國居民的第一位死亡原因，也是中國成年人殘疾的首要原因。腦卒中后的患者大多會發(fā)生手功能障礙，手功能的恢復既是治療重點也是難點[1]。因此，及時有效的康復訓練對重塑患者大腦功能進而改善運動能力至關(guān)重要?；陬^皮腦電信號的精細手勢動作識別是腦卒中患者運動功能康復的重要技術(shù)手段。

腦電信號(electroencephalogram，EEG)作為一種電生理信號，反映了最簡單、直接的大腦活動狀態(tài)。它可以以非常高的時間分辨率、非侵入式方式和較低的成本在頭皮表面獲取，采集方法簡單安全。腦機接口(brain-computer Interface，BCI)是大腦與外界的通信通道，通過EEG可以清楚看到大腦中各種各樣的思維活動[2]。BCI的關(guān)鍵是從大腦活動中解釋運動意圖。高效的神經(jīng)解碼算法可以提高解碼的精度，但是EEG信號低信噪比導致EEG信號分類精度較低。因此，如何設(shè)計更好的實驗范式并設(shè)計更符合EEG信號數(shù)據(jù)結(jié)構(gòu)特征的分類識別方法至關(guān)重要。

對于精細的手勢動作來說，單靠運動想象獲取的腦電信號無法獲得較高的分類準確率。為了得到更好的腦電信號，通常是采用實際手勢動作，而不是運動想象，因為它更直觀，從而提高了BCI的性能。

EEG信號相對于其他生理信號更為微弱，一般在微伏數(shù)量級，并且由于導聯(lián)方式，更容易受到干擾。常見的偽跡干擾來自外部電子設(shè)備或受試者本身的出汗、肌肉活動、眼動、心電等。在對EEG信號分析前，通常需要對EEG信號進行預處理，最小化偽跡干擾，可以提高EEG信號的信噪比和分類精度。常見的去偽跡方法包括盲源分離(blind source separation，BSS)[3]，小波變換(wavelet transform，WT)[4]和經(jīng)驗模態(tài)分解(empirical mode decomposition，EMD)[5]。

EEG信號模式識別一直是個具有挑戰(zhàn)性的問題，早期的機器方法依賴于過多的預處理和已經(jīng)確定的信號特征，最佳特征子集和算法沒有明確規(guī)定。但在近幾年里，用于EEG信號分類的深度學習模型已被成功地提出，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)廣泛應用于EEG分類中，但它們各有弊病。CNN可以捕捉到局部的接收域信息，但忽略了全局信息。RNN網(wǎng)絡(luò)無法捕捉空間信息，并行計算效率較低。

近年來，受Transformer在自然語言處理和機器視覺等領(lǐng)域的成功啟發(fā)，許多研究人員開始探索其在EEG信號分類中的應用。Sun等[6]設(shè)計了5種新的基于變壓器的腦電信號分類模型，取得了良好的性能。 Liu等[7]提出了一種新的基于自我注意的腦電情緒識別框架。該方法考慮了腦電樣本中不同腦區(qū)和時間段的不同貢獻，以及腦電信號固有的時空特征。 Lee等[8]提出了一種基于變壓器結(jié)構(gòu)的注意模塊來解碼腦電信號中的想象語音，證明了用注意力模塊解碼想象語音的技術(shù)有潛力作為真實世界的通信系統(tǒng)。 Tao等[9]為了捕獲長 EEG 序列中編碼的時間信息，在 EEG 信號上使用 Transformer 的增強版本，即門控Transformer，沿著EEG序列學習特征表示，實現(xiàn)了新的最先進的性能。Transformer模型在EEG信號分類取得了良好的效果，與CNN和RNN相比，Transformer在處理長距離依賴關(guān)系方面表現(xiàn)更為出色，是一個很好的長序列數(shù)據(jù)識別模型。在長時間序列中，注意力機制可以確定最相關(guān)的信息，了解哪些數(shù)據(jù)部分與最終輸出有關(guān)。

為增強大腦感覺運動功能皮層EEG信號強度、降低腦機交互過程中的大腦負荷，現(xiàn)設(shè)計4種實際手勢動作并同步采集EEG信號作為數(shù)據(jù)處理對象，有效提高EEG信號與手勢動作的信號關(guān)聯(lián)度；同時設(shè)計一種基于MEMD-CCA的混合去偽影方法，在消除肌電偽影和眼電偽影方面效果良好。為了得到更好的腦電分類結(jié)果，結(jié)合腦電信號的時間特征和空間特征，考慮多通道腦電采集時體積傳導和受試者反應速度的不同，改進一種基于自注意力的Transformer模型：在經(jīng)典Transformer模型中添加top-k選擇，構(gòu)建top-k稀疏Transformer模型并選擇信號特征明顯的k個數(shù)據(jù)段以期提高分類準確率。最后，通過重構(gòu)腦電信號數(shù)據(jù)結(jié)構(gòu)，對比分析時間、空間、top-k時間和top-k空間4個變體Transformer模型的分類識別性能效果。

1 腦電信號采集

1.1 腦電信號通道選擇

研究表明，人腦對手勢動作的控制神經(jīng)均位于大腦中央前回區(qū)域[10]。因此所選16導電極均圍繞此區(qū)域分布，根據(jù)10-20國際標準電極放置法，選擇如下16導電極位置：Fz、FC3、FC1、FCz、FC2、FC4、C5、C3、C1、Cz、C2、C4、C6、CP3、CPz、CP4，如圖1所示。

圖1 10-20國際電極放置標準16通道電極位置分布圖Fig.1 Distribution of 16-channel electrode position 10-20 international standard electrode placement method

1.2 腦電信號采集

設(shè)計手勢動作共4種，如圖2所示，依次為握拳、伸掌、數(shù)字2和數(shù)字3。實驗范式如圖3所示，單次試驗時長共7 s，腦電設(shè)備采樣頻率設(shè)為1 000 Hz，分為4個階段。

圖2 手勢動作Fig.2 Gesture action

圖3 實驗范式Fig.3 Experimental paradigm

(1)準備階段。0～2 s，該階段內(nèi)受試者保持放松狀態(tài)。

(2)提示階段。2～3 s，第二秒開始時，揚聲器會發(fā)出“嘀”的一聲提示音，持續(xù)大約0.5 s，提醒受試者做好準備。

(3)反饋階段。3～5 s，第3秒開始時，顯示器上會出現(xiàn)動作提示，受試者根據(jù)出現(xiàn)的圖片做出相應的動作。

(4)休息階段。5～7 s，受試者重新回到放松狀態(tài)，等待下一次提示。

實驗對象共3名，均為健康的男性青年，年齡在23～35歲，均為右利手。實驗前受試者均已熟悉實驗步驟和流程，且都為自愿參加。

2 腦電信號預處理

EEG信號頻率主要集中在0.1～40 Hz，在上位機先對EEG信號進行50 Hz陷波和0.1～40 Hz帶通濾波。偽影一般僅使用傳統(tǒng)BSS技術(shù)是難以去除的，因為它們要求可用通道的數(shù)量應等于或大于未知源的數(shù)量。因此，在通道數(shù)量有限的情況下，僅使用獨立成分分析(independent component analysis，ICA)或典型相關(guān)分析(canonical correlation analysis，CCA)都無法完全恢復腦源和非腦源。在最近的調(diào)查中，研究人員反復建議，抑制EEG偽影的最佳方法可能包括通過組合多個算法的多個處理過程，而不是單獨使用[11]。CCA使用了比ICA算法尋求的統(tǒng)計獨立性更弱的條件，且具有自動化和計算效率更高的優(yōu)點。MEMD算法是一種經(jīng)驗和數(shù)據(jù)驅(qū)動的方法，本質(zhì)上是自適應的，不需要任何先驗知識，特別適合處理非線性和非平穩(wěn)神經(jīng)信號，充分利用通道之間的信息。

設(shè)計了基于多變量經(jīng)驗模式分解(multivariate empirical mode decomposition，MEMD)和CCA的混合去除偽影方法(MEMD-CCA)?；贛EMD和CCA的混合去除偽影方法具體步驟如下。

步驟1輸入數(shù)據(jù)是16通道腦電采集數(shù)據(jù)，依圖3實驗范式截取0.5～6.5 s數(shù)據(jù)，單個腦電數(shù)據(jù)的大小為16×6 000。

步驟2使用MEMD算法分解16通道腦電數(shù)據(jù)。IMF分量根據(jù)原始通道順序被重組為一個IMF矩陣X(t)。

步驟3識別并去除與肌電偽影偽影相關(guān)的IMF，組成新的IMF數(shù)據(jù)集，定義為F(t)。肌電偽影一般雜亂無章，具有相對較低的自相關(guān)值，而眼電偽影則具有相對高的自相關(guān)值，計算IMF的自相關(guān)值并設(shè)置高低閾值來識別與偽影相關(guān)的IMF，并使用相對較高或較低的閾值來避免錯漏EEG成分，那些從不同的腦電通道識別出的IMF實際上由于體積傳導具有內(nèi)在相似的振蕩模式。這些跨信道信息可以在很大程度上促進后續(xù)BSS步驟。

步驟4基于二階統(tǒng)計量(second order statistics，SOS)的CCA算法用于將分散在數(shù)據(jù)集F(t)的IMF分量中偽影信號集中到幾個CCA組件(CCs)中。CCA使用重組的IMFs矩陣X(t)及其延時版本Y(t)=X(t-1)通過解決等式中的最大化問題，通過分解矩陣wx和wy得到源矩陣Sx和Sy。

步驟5計算源信號矩陣Sx的每個源信號的自相關(guān)系數(shù)r，若r小于所設(shè)閾值e時,將Sx中與偽影對應源信號設(shè)置為零，并定義新的數(shù)據(jù)集Snew。

步驟7MEMD信號重構(gòu)。X(t)clean中的干凈的IMFs對應代替數(shù)據(jù)集F中具有偽影成分的IMFs，得到無偽影的IMF數(shù)據(jù)集，將IMFs相加得到干凈的腦電信號。

步驟8依實驗范式，截取動作反饋的2～4 s的重構(gòu)腦電數(shù)據(jù)，保存數(shù)據(jù)集。

3 模型構(gòu)建

3.1 Tranformer模型

在研究中，多通道EEG數(shù)據(jù)具有空間信息和時間信息，每個采樣通道下所有時間點的信息都是該通道的特征，每個采樣時間點下所有通道的信息都是該時間點的特征。另外，根據(jù)對EEG信號的觀察，一個時間片段比單個采樣點更能反映信號趨勢和特征。受vision transformer(ViT)模型啟發(fā)[12]，構(gòu)建了時間Tranformer模型和空間Transformer模型，兩模型分別計算了采樣時間段間的相關(guān)性和采樣通道間的相關(guān)性。

時間Tranformer模型和通道Transformer模型的區(qū)別在于輸入，如圖4所示。在時間Transformer模型中，模型輸入按時間維度切割成k份不重疊的時間切片并展平成一維向量(k=通道數(shù)，確保注意力模塊輸入相同)，通過線性映射到模型維數(shù)。在空間Transformer模型中，模型輸入按電極通道分割數(shù)據(jù)，通過線性映射到模型維數(shù)。

圖4 時間Tranformer模型和通道Transformer模型Fig.4 Time Transformer model and spatial Transformer model

Transformer模型架構(gòu)中自注意力模塊采用查詢-鍵-值(query-key-value，QKV)模式，其計算過程如圖5所示。注意力模塊用于映射一組查詢和鍵值對，其中輸出計算為值的加權(quán)和。自注意力模型使用縮放點積來作為注意力打分函數(shù)，輸出向量序列可以簡寫為

Dk、Dv為矩陣的行數(shù)；N為矩陣的列數(shù)；Wq、Wk、Wv為輸入數(shù)據(jù)線性變化的矩陣圖5 自注意力模型的計算過程Fig.5 The calculation process of the self-attention model

(1)

3.2 top-k稀疏Transformer模型

多通道EEG信號采集時，由于設(shè)備的傳輸速率和人的反應速度，腦電信號的采集有延遲性，另外，由于體積傳導的緣故，EEG不同通道采集的信號存在共模冗余信號成分。自注意力能夠為長距離依賴關(guān)系建模，但它可能會受到信號中不相關(guān)或冗余信息的影響。因此，為了提取腦電信號中特征更加明顯的時空信息，使用了基于top-k選擇的稀疏Transformer模型[13]。在Transformer Encoder層，通過top-k選擇將注意退化為稀疏注意，這樣有助于保留引起注意的部分信號，而其他無關(guān)信號就被刪除了，這樣能有效地保留重要的信息和去除噪聲，注意力就可以集中在最具信息價值的數(shù)據(jù)上。

在稀疏Transformer模型注意力模塊中，首先生成注意力分數(shù)P，表達式為

(2)

然后在假設(shè)得分越大、相關(guān)性越大的基礎(chǔ)上，模型對注意力分數(shù)P進行評估，對P執(zhí)行稀疏注意力掩蔽操作M(·)，以選擇top-k貢獻元素。掩蔽函數(shù)M(·)為

(3)

式(3)中：ti為第i行中第k大的值。通過top-k選擇高注意力分數(shù)，保證EEG信號重要成分的保留。輸出向量序列可以簡寫為

H=Vsoftmax[M(P,k)]

(4)

結(jié)果表明，采用自注意力機制的最具貢獻的數(shù)據(jù)上。top-k選擇應用于時間Transformer模型，可以集中更多的注意力在更有價值的時間段；top-k選擇應用于空間Transformer模型，可以集中更多的注意力在更有價值的通道上。

3.3 實驗配置及參數(shù)設(shè)置

使用的實驗環(huán)境為Windows10系統(tǒng)，處理器為AMD Ryzen 7 3700x 8-Core Processor，編程語言為python 3.8，改進的Transformer模型的構(gòu)建使用pytorch1.10.1。在實驗中，模型的自注意力模型均設(shè)置為3層，每層自注意頭的個數(shù)為8，dropout為0.5，Mmodel為512，連接前饋層的參數(shù)設(shè)置為2 048，學習率為5×10-5。模型均使用的是交叉熵損失函數(shù)和Adam優(yōu)化器。top-k稀疏Transformer模型中超參數(shù)k為8。為了保證模型的穩(wěn)定性，使用了10折交叉驗證的方法進行訓練。將樣本按個體的順序隨機打亂并平均分成10份，每次取不同的1份作為測試集對模型進行測試得到分類準確率，剩下的9份作為訓練集進行訓練，最后將得到的10個準確率取平均作為模型的分類結(jié)果。

4 結(jié)果與討論

使用了準確率和混淆矩陣評價模型。在10折交叉驗證中，準確率指10次訓練準確率的平均值。時間Transformer模型、空間Transformer模型、top-k時間Transformer模型、top-k空間Transformer模型訓練曲線、10折交叉驗證準確率如圖6和圖7所示。表1為手勢腦電信號Transformer模型10折交叉驗證準確率。

表1 手勢腦電信號Transformer模型10折交叉驗證準確率平均值Table 1 Average accuracy of gesture EEG Transformer model 10-fold cross-validation

圖6 手勢腦電信號的Transformer分類模型訓練曲線Fig.6 Transformer classification model training curve of gesture EEG signals

圖7 手勢腦電信號Transformer模型10折交叉驗證準確率Fig.7 Gesture EEG Transformer model 10-fold cross-validation accuracy

混淆矩陣表現(xiàn)了每一種分類情況的具體數(shù)量。混淆矩陣用來觀察每個類別的分類情況以及各類別錯分的情況。混淆矩陣對角線上的數(shù)目代表了該類分類正確的數(shù)目。時間Transformer模型、空間Transformer模型、top-k時間Transformer模型、top-k空間Transformer模型10折交叉驗證混淆矩陣如圖8所示。

據(jù)圖6～圖8可知，4個Transformer模型都取得較好的分類結(jié)果。自注意力的優(yōu)點是參數(shù)少、對算力要求少、可并行計算、對長期依賴關(guān)系有著更強的捕捉能力。結(jié)果表明，采用自注意力機制的Transformer模型具有較好的性能。由于數(shù)字2和數(shù)字3手勢相關(guān)腦電信號相似性強，容易混淆識別。在添加了top-k選擇后，注意力退化為稀疏注意力，將注意力都轉(zhuǎn)移到最具信息價值的數(shù)據(jù)上，top-k時間Transformer模型和top-k空間Transformer模型準確率分別增加了0.017和0.008，手勢數(shù)字2和數(shù)字3還存在互相識別錯誤，但是手勢數(shù)字2和數(shù)字3識別率上升。從表1可知，增添了top-k選擇的Transformer模型取得了更好的分類結(jié)果，top-k時間Transformer模型的結(jié)果優(yōu)于top-k空間Transformer模型，因為top-k時間Transformer模型選取的是最具信息價值的時間片段，而top-k空間Transformer模型選取的是最具信息價值的通道信息，通道信息中含有無關(guān)信息。另外，繪制了同種手勢EEG信號的各個Transformer模型最后一層的單個注意力頭的注意力權(quán)重，可以看到，因為top-k選擇，注意力權(quán)重主要集中在一小塊區(qū)域，從而提高了分類的精度。如圖9所示。

圖8 手勢腦電信號Transformer模型10折交叉驗證混淆矩陣Fig.8 Gesture EEG Transformer model 10-fold cross-validation confusion matrix

圖9 手勢腦電信號Transformer模型單個注意力頭的注意力權(quán)重Fig.9 The attention weight of a single attention head in the gesture EEG Transformer model

5 結(jié)論

為提高腦電信號與手勢動作的信號關(guān)聯(lián)度，設(shè)計了4種實際手勢動作，通過確定手勢運動的腦電信號通道選擇，設(shè)計腦電信號實驗范式同步采集手勢動作頭皮腦電信號。

為了去除眼電和肌電等偽影，設(shè)計了一種基于MEMD-CCA的混合去偽影方法，對腦電信號進行二重分解、閾值處理和重構(gòu)。結(jié)合腦電數(shù)據(jù)結(jié)構(gòu)特點改進了一種基于自我注意的Transformer模型識別方法，分別從時間維度和空間維度構(gòu)建了基于自我注意的Transformer模型及其變體top-k稀疏Transformer模型，改進的Transformer模型取得了優(yōu)異的分類識別結(jié)果。

實驗結(jié)果表明，Transformer模型適用于腦電信號分類識別，增添了top-k選擇的Transformer模型取得了更好的分類結(jié)果，top-k時間Transformer模型識別率最高，達到95.2%。