賈子鈺 林友芳,3 劉天航 楊凱昕 張?chǎng)瓮?王 晶,3

1(北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院 北京 100044)

2(交通數(shù)據(jù)分析與挖掘北京市重點(diǎn)實(shí)驗(yàn)室(北京交通大學(xué)) 北京 100044)

3(民航旅客服務(wù)智能化應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室(中國(guó)民用航空局) 北京 100044)

腦機(jī)接口(Brain-computer Interface, BCI) 作為人機(jī)混合增強(qiáng)智能的重要應(yīng)用，可以通過大腦活動(dòng)來控制外部設(shè)備進(jìn)而建立大腦與外界的聯(lián)系.在早期的研究中，腦機(jī)接口主要應(yīng)用于中風(fēng)患者的康復(fù)治療[1]，后期應(yīng)用到了更廣泛的領(lǐng)域，例如控制輪椅[2]、文字拼寫器[3]、情感識(shí)別[4]等領(lǐng)域.腦機(jī)接口可以充分利用電生理活動(dòng)或血液動(dòng)力學(xué)活動(dòng)等大腦活動(dòng)來實(shí)現(xiàn)大腦和外界的交互[5].其中，測(cè)量腦電信號(hào)(electroencephalography, EEG)可以直接反應(yīng)出電生理活動(dòng).測(cè)量血液動(dòng)力學(xué)活動(dòng)通常使用功能磁共振和近紅外光譜等方法.由于腦電信號(hào)較其余生理數(shù)據(jù)具有高時(shí)間分辨率、低成本、高便攜性等優(yōu)勢(shì)，因此被廣泛應(yīng)用于腦機(jī)接口的研究中，在醫(yī)學(xué)的康復(fù)治療中起著至關(guān)重要的作用.

腦電信號(hào)具有非線性、非平穩(wěn)和低信噪比等特點(diǎn)，如何進(jìn)行有效的運(yùn)動(dòng)想象信號(hào)分類，一直是腦機(jī)接口領(lǐng)域的重點(diǎn)研究問題.基于EEG的運(yùn)動(dòng)想象是腦機(jī)接口的經(jīng)典范式之一，它是指受試者在大腦中想象肢體執(zhí)行特定運(yùn)動(dòng)任務(wù)，而實(shí)際肢體處于靜止?fàn)顟B(tài).在此過程中產(chǎn)生的腦電信號(hào)具有事件相關(guān)同步(event-related synchronization, ERS)和事件相關(guān)去同步(event-related desynchronization, ERD)現(xiàn)象[6].大多數(shù)傳統(tǒng)方法主要對(duì)腦電信號(hào)的空間或時(shí)頻等特征進(jìn)行手動(dòng)提取然后進(jìn)行運(yùn)動(dòng)想象分類，例如利用公共空間模式(common spatial pattern, CSP)[7]、濾波器組公共空間模式(filter bank common spatial pattern, FBCSP)[8]等方法可以提取腦電信號(hào)中的空間特征.利用短時(shí)傅里葉變換、小波變換等方法可以提取腦電信號(hào)中的時(shí)頻域特征.但是，有效的特征提取往往需要研究人員具備一定的先驗(yàn)知識(shí)并進(jìn)行大量的特征選擇.

為了避免手動(dòng)提取特征，研究者嘗試使用深度學(xué)習(xí)的端到端模型提升運(yùn)動(dòng)想象分類任務(wù)的準(zhǔn)確度. Schirrmeister等人[9]建立了多個(gè)不同架構(gòu)的端到端卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, ConvNets)模型對(duì)運(yùn)動(dòng)想象腦電信號(hào)進(jìn)行分類；Zhao等人[10]改進(jìn)了ConvNets模型，解決了其需要大量數(shù)據(jù)來訓(xùn)練的問題并實(shí)現(xiàn)了時(shí)空特征聯(lián)合學(xué)習(xí).雖然現(xiàn)有的端到端模型取得了較高的準(zhǔn)確度，但是這些模型大都同時(shí)利用腦電信號(hào)的空間信息和時(shí)間信息.而在實(shí)際BCI系統(tǒng)的應(yīng)用中，具有較少通道的腦電信號(hào)更便于采集，并且能夠大幅度降低腦機(jī)接口設(shè)備的生產(chǎn)與使用成本.但當(dāng)采集的通道數(shù)較少時(shí)會(huì)影響運(yùn)動(dòng)想象的分類效果，現(xiàn)有端到端模型往往難以達(dá)到較優(yōu)的效果.因此，當(dāng)采集腦電信號(hào)的通道數(shù)較少(缺乏空間信息)時(shí)，對(duì)其進(jìn)行精準(zhǔn)分類是一個(gè)亟待解決的問題.

為解決上述問題，本文提出了一種基于多尺度特征提取與擠壓激勵(lì)模型的深度模型，該模型包括3個(gè)核心模塊，分別是多尺度模塊、殘差模塊和擠壓激勵(lì)模塊.與現(xiàn)有多尺度模型不同，該模型不依賴于腦電信號(hào)的預(yù)處理(例如信號(hào)濾波)，并且更多的卷積尺度能夠在較少的腦電通道中充分挖掘腦電信號(hào)特征.此外，深度模型的擠壓激勵(lì)模塊可以自適應(yīng)提取對(duì)于高精度分類更為重要的特征。基于本文提出的深度神經(jīng)網(wǎng)絡(luò)也可以在腦電信號(hào)通道數(shù)較少的情況下進(jìn)行運(yùn)動(dòng)想象腦電信號(hào)分類，這有利于BCI可穿戴智能設(shè)備的發(fā)展，本文的主要貢獻(xiàn)分為3個(gè)方面:

1) 基于多尺度卷積結(jié)構(gòu)可以自動(dòng)提取原始腦電信號(hào)中的時(shí)域、頻域和時(shí)頻域特征，無需手動(dòng)提取特征.

2) 基于擠壓激勵(lì)模塊自動(dòng)學(xué)習(xí)不同特征的重要性程度，提升端到端模型的分類效果.

3) 在公開的BCI競(jìng)賽Ⅳ 2a和2b數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證本文模型的分類效果優(yōu)于現(xiàn)有運(yùn)動(dòng)想象分類模型.

1 相關(guān)工作

現(xiàn)有的大多數(shù)方法主要基于腦電信號(hào)的空間特征和時(shí)頻特征進(jìn)行運(yùn)動(dòng)想象分類.基于空間特征的方法主要有CSP及其改進(jìn)方法.CSP方法基于矩陣對(duì)角化構(gòu)建最優(yōu)空間濾波器進(jìn)行投影，進(jìn)而得到具有較高區(qū)分度的特征向量.例如，Zhang等人[11]提出的基于CSP方法的多核極限學(xué)習(xí)機(jī)，該模型使用CSP方法提取空間特征進(jìn)行運(yùn)動(dòng)想象任務(wù)的分類.Ang提出了FBCSP[8]方法解決了CSP的效果依賴于選擇合適的頻段這一問題.針對(duì)時(shí)頻特征的提取，目前主要的方法有快速傅里葉變換、小波變換等方法.如Lu等人[12]提出基于受限玻爾茲曼機(jī)(restricted Boltzmann machine, RBM)的深度學(xué)習(xí)模型使用了快速傅里葉變換提取EEG信號(hào)中的時(shí)頻特征.此外，還有一些研究者提出了基于雙譜特征的提取方法[13].

然而，提取腦電信號(hào)特征需要掌握大量先驗(yàn)知識(shí). 近些年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理和語音識(shí)別方面取得了巨大成就[14].端到端的深度學(xué)習(xí)框架[15]將多個(gè)處理階段如數(shù)據(jù)處理、特征提取合并為一個(gè)模型，建立了從輸入到輸出的直接投影，在各種任務(wù)中均表現(xiàn)出色.因此，深度學(xué)習(xí)的出現(xiàn)為建立端到端模型提供了思路，諸多研究者嘗試構(gòu)建端到端的深度學(xué)習(xí)模型進(jìn)行運(yùn)動(dòng)想象的分類.但是腦電信號(hào)具有非線性、非平穩(wěn)、低信噪比等特性，這些特性成為了構(gòu)建基于腦電信號(hào)端到端模型時(shí)的幾大難題.在運(yùn)動(dòng)想象領(lǐng)域中已經(jīng)有一些基于端到端模型的研究.Schirrmeister等人[9]利用Conv-Nets適合端到端學(xué)習(xí)的優(yōu)勢(shì)，構(gòu)建了3種不同架構(gòu)的ConvNets模型:Deep ConvNets模型、Shallow ConvNets模型、Hybrid ConvNets模型對(duì)腦電信號(hào)進(jìn)行分類.Zhao等人[10]提出WaSF ConvNet模型改進(jìn)了ConvNets模型，同時(shí)解決了傳統(tǒng)模型難以解釋、參數(shù)量大等問題，實(shí)現(xiàn)了時(shí)空聯(lián)合的特征學(xué)習(xí).

但是，上述模型一般使用單一尺度的卷積，這種結(jié)構(gòu)提取的特征是有限的，盡管存在少量多尺度模型進(jìn)行運(yùn)動(dòng)想象分類[16]但仍然依賴于腦電信號(hào)的預(yù)處理并且這些模型的多尺度跨度較小不能充分提取腦電特征.此外，大多數(shù)現(xiàn)有模型的分類結(jié)果在一定程度上依賴于腦電信號(hào)空間信息的豐富程度.實(shí)際上，通道數(shù)較少的數(shù)據(jù)采集更為便利，所以當(dāng)空間信息不足時(shí)，如何進(jìn)行腦電信號(hào)的特征提取與分類是一個(gè)重要的問題.因此，我們?cè)O(shè)計(jì)了具有不同卷積核大小的多分支卷積神經(jīng)網(wǎng)絡(luò)來捕獲不同類型的特征，這些特征相互補(bǔ)充并提高了分類的準(zhǔn)確性，與此同時(shí)應(yīng)用擠壓激勵(lì)模塊自動(dòng)學(xué)習(xí)不同特征的重要性進(jìn)而實(shí)現(xiàn)高精度的分類.

2 符號(hào)定義

對(duì)運(yùn)動(dòng)想象腦電進(jìn)行采集時(shí)，一般通過固定在頭部的若干電極獲取多通道信號(hào)，并且所有電極以相同的采樣頻率記錄大腦產(chǎn)生的信號(hào).每組運(yùn)動(dòng)想象腦電信號(hào)的采集實(shí)驗(yàn)包含若干關(guān)鍵時(shí)間節(jié)點(diǎn)，例如每次給出運(yùn)動(dòng)想象開始提醒的時(shí)間節(jié)點(diǎn)，以及運(yùn)動(dòng)想象開始和結(jié)束的時(shí)間節(jié)點(diǎn)等.研究者采用的運(yùn)動(dòng)想象腦電信號(hào)一般是從運(yùn)動(dòng)想象提醒至結(jié)束的時(shí)間節(jié)點(diǎn)間采集的腦電信號(hào).

運(yùn)動(dòng)想象腦電信號(hào)分類問題可以定義為：基于端到端深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)映射函數(shù)F，該函數(shù)將原始腦電信號(hào)X映射為標(biāo)簽yprediction：

yprediction=F(X),

(1)

其中,F表示映射函數(shù)，X是輸入的腦電數(shù)據(jù)，yprediction是模型輸出的預(yù)測(cè)結(jié)果.

3 多尺度特征提取與擠壓激勵(lì)神經(jīng)網(wǎng)絡(luò)

本文的多尺度特征提取與擠壓激勵(lì)神經(jīng)網(wǎng)絡(luò)模型總體框架如圖1所示，該模型包括3個(gè)核心部分：多尺度卷積模塊(Part1)、殘差模塊(Part2)、擠壓激勵(lì)模塊(Part3).其中，Part1基于多尺度卷積核從原始腦電信號(hào)中，自動(dòng)地提取腦電信號(hào)的時(shí)域、頻域和時(shí)頻特征；Part2基于殘差模塊進(jìn)行特征融合，同時(shí)引入殘差避免了網(wǎng)絡(luò)層數(shù)過多產(chǎn)生的網(wǎng)絡(luò)退化問題；Part3基于擠壓激勵(lì)模塊對(duì)融合的特征進(jìn)行選擇，有效地避免了信息冗余并自動(dòng)學(xué)習(xí)不同特征的重要性，進(jìn)而提升運(yùn)動(dòng)想象腦電信號(hào)的分類效果.

Fig. 1 Overall framework of the multiscale feature extraction and squeeze excitation model圖1 多尺度特征提取與擠壓激勵(lì)模型總體架構(gòu)圖

3.1 多尺度卷積模塊

在運(yùn)動(dòng)想象分類任務(wù)中，一個(gè)重要的問題是如何提取到豐富的特征進(jìn)而提高分類準(zhǔn)確度，尤其是在空間信息較少的情況下.在之前的研究中大部分模型僅使用單一尺度的卷積核進(jìn)行卷積操作及特征提取，這種單一尺度的設(shè)計(jì)在一定程度上限制了模型特征提取和分類的能力.因此，我們?cè)O(shè)計(jì)了一種多尺度卷積結(jié)構(gòu)Part1，該結(jié)構(gòu)基于多尺度卷積自動(dòng)從原始腦電信號(hào)中提取時(shí)域、頻域以及時(shí)頻特征.其結(jié)構(gòu)如圖2所示:

我們?cè)O(shè)計(jì)的多尺度卷積結(jié)構(gòu)主要根據(jù)信號(hào)處理領(lǐng)域的相關(guān)方法[17]，利用大尺度卷積核捕獲腦電信號(hào)中的頻域特征，小尺度卷積核捕獲時(shí)域特征；3種中等尺度的卷積核捕獲時(shí)頻域特征，從而提取更多更豐富的特征，進(jìn)而提高分類效果.相比于傳統(tǒng)的手動(dòng)設(shè)計(jì)特征的方法，該結(jié)構(gòu)可以自動(dòng)對(duì)原始腦電信號(hào)進(jìn)行多尺度的特征提取.具體而言，我們受到Inception結(jié)構(gòu)[18]的啟發(fā)，將其改進(jìn)為適合處理腦電信號(hào)的Part1結(jié)構(gòu)，該結(jié)構(gòu)采用了多個(gè)并行卷積分支對(duì)原始數(shù)據(jù)進(jìn)行特征提取，包含大尺度1×180卷積核、小尺度1×10卷積核以及其余中等尺度1×45,1×65,1×85卷積核，中等尺度的卷積對(duì)于其余尺度的卷積起到了有益的補(bǔ)充作用.同時(shí)，與Inception模型類似，Part1結(jié)構(gòu)保留了并行池化層以提高模型的分類準(zhǔn)確度，其大小為1×100. Part1結(jié)構(gòu)定義為：

Iconv=[p1,k*xi;p2,k*xi;p3,k*xi;p4,k*xi;p5,k*xi],

(2)

I=[Iconv;Fmaxpooling(xi)],

(3)

其中，Iconv表示5個(gè)卷積分支上的輸出，xi表示輸入的第i個(gè)樣本，pj,k表示第j個(gè)分支上的第k個(gè)卷積核，*表示卷積操作，F(xiàn)maxpooling(x)表示最大池化層上的輸出，[ ]表示特征圖拼接操作，I是Part1的輸出表示拼接操作得到的矩陣.

3.2 殘差模塊

Part2是本文模型的殘差模塊，該模塊對(duì)提取的特征進(jìn)行特征融合，與此同時(shí)該模塊引入殘差避免了網(wǎng)絡(luò)層數(shù)過多產(chǎn)生的網(wǎng)絡(luò)退化問題[19].殘差模塊的結(jié)構(gòu)如圖3所示，該模塊由多個(gè)一維卷積層和批量歸一化(batch normalization, BN)層結(jié)合殘差連接堆疊形成，其定義為：

U=Fres(I)+I,

(4)

其中，I表示該模塊的輸入，U表示其輸出.殘差連接可以將淺層網(wǎng)絡(luò)學(xué)習(xí)得到的特征傳遞給深層網(wǎng)絡(luò)，從而避免網(wǎng)絡(luò)退化的發(fā)生.

3.3 擠壓激勵(lì)模塊

Part3是本文模型的擠壓激勵(lì)模塊，可以對(duì)融合的特征進(jìn)行選擇，有效地避免了信息冗余，該模塊采用SE(squeeze-and-excitation block)結(jié)構(gòu)[20]自動(dòng)學(xué)習(xí)不同特征的重要性，進(jìn)而提升運(yùn)動(dòng)想象腦電信號(hào)的分類效果.

Part3主要包含3步操作：

第1步通過使用全局平均池化將通道進(jìn)行壓縮(squeeze)操作，其定義為：

(5)

其中，F(xiàn)sq表示壓縮操作，m表示壓縮操作形成的壓縮向量，U表示輸入的特征圖(feature map)，L是它的大小.

第2步是激勵(lì)(excitation)操作，其定義為：

S=Fex(m,W),

(6)

其中，F(xiàn)ex表示激勵(lì)操作，S是該操作的輸出可以刻畫不同特征的重要程度，W基于比例參數(shù)(ratio)進(jìn)行該操作的調(diào)節(jié).

第3步操作是為特征圖U分配重要程度：

f=Fscale(U,S)=U·S,

(7)

其中,·表示矩陣相乘運(yùn)算，F(xiàn)scale表示分配權(quán)重操.

4 實(shí)驗(yàn)與結(jié)果

4.1 評(píng)價(jià)指標(biāo)

本文選擇準(zhǔn)確度和Kappa值作為評(píng)價(jià)指標(biāo)來評(píng)估實(shí)驗(yàn)結(jié)果，準(zhǔn)確度(accuracy,acc)的定義為:

(8)

其中，TP表示真陽性，TN真陰性，F(xiàn)P假陽性，F(xiàn)N假陰性.

Kappa值(κ)的定義為:

(9)

(10)

其中,n為樣本總數(shù)，a1,a2,…,az為每類樣本的實(shí)際量，而b1,b2,…,bz為模型預(yù)測(cè)出的每類樣本的數(shù)量.

4.2 數(shù)據(jù)集

本文使用了2008年BCI競(jìng)賽Ⅳ中2個(gè)公開的數(shù)據(jù)集[21].

1) 數(shù)據(jù)集1.BCI競(jìng)賽Ⅳ 2b數(shù)據(jù)集包含9名受試者執(zhí)行運(yùn)動(dòng)想象任務(wù)(左手和右手動(dòng)作)的數(shù)據(jù)，其中受試者都是右利手，采集數(shù)據(jù)時(shí)要求所有受試者坐在椅子上，注視距離眼睛1 m的屏幕.采集的腦電信號(hào)包括頻率為250 Hz的3個(gè)EEG通道(C3,Cz和C4)，并使用0.5 Hz～100 Hz帶通濾波器和50 Hz的工頻陷波器進(jìn)行濾波.每個(gè)受試者進(jìn)行5組實(shí)驗(yàn)，其中前2組實(shí)驗(yàn)采用無反饋實(shí)驗(yàn)范式采集，每組包含120次運(yùn)動(dòng)想象任務(wù)，后3組實(shí)驗(yàn)采用有反饋實(shí)驗(yàn)范式采集，每組包含160次運(yùn)動(dòng)想象任務(wù).

數(shù)據(jù)采集時(shí)包含有反饋實(shí)驗(yàn)范式和無反饋實(shí)驗(yàn)范式，其中有反饋實(shí)驗(yàn)范式是第0秒時(shí)在屏幕中央出現(xiàn)灰色笑臉(gray smile).在第2秒處，出現(xiàn)短時(shí)提示音(beep)提示受試者準(zhǔn)備開始.在第3秒時(shí)，箭頭提示線索(cue)出現(xiàn)，屏幕上箭頭的左右朝向?qū)⑻崾臼茉囌呦胂笞笫只蚴怯沂謩?dòng)作，屏幕上的反饋笑臉(feedback smile)將根據(jù)想象朝左側(cè)或是右側(cè)移動(dòng).第7.5秒時(shí)，屏幕變?yōu)榭瞻?，運(yùn)動(dòng)想象結(jié)束.算法將識(shí)別的結(jié)果反饋給受試者，若識(shí)別結(jié)果與真實(shí)提示的運(yùn)動(dòng)類別一致，則屏幕顯示笑臉，否則屏幕顯示哭臉.

無反饋實(shí)驗(yàn)范式是在運(yùn)動(dòng)想象任務(wù)開始時(shí)出現(xiàn)短暫提示音(beep)，之后屏幕上顯示一個(gè)固定的十字(fixation cross)，之后在第2秒時(shí)屏幕上出現(xiàn)提示線索(cue)，第3秒受試者開始運(yùn)動(dòng)想象(motor imagery)，第6秒結(jié)束運(yùn)動(dòng)想象進(jìn)行短暫休息(break).實(shí)驗(yàn)使用所有受試者全部5組實(shí)驗(yàn)，并提取每次運(yùn)動(dòng)想象任務(wù)中從提示開始4 s的腦電信號(hào)數(shù)據(jù).

2) 數(shù)據(jù)集2.BCI競(jìng)賽Ⅳ 2a數(shù)據(jù)集包含9名受試者執(zhí)行運(yùn)動(dòng)想象任務(wù)(左手、右手、舌頭和足部動(dòng)作)的數(shù)據(jù).其所采集的腦電信號(hào)包括頻率為250 Hz的22個(gè)EEG通道，并使用0.5 Hz～100 Hz帶通濾波器和50 Hz工頻陷波器進(jìn)行濾波.實(shí)驗(yàn)中，每個(gè)受試者進(jìn)行2組實(shí)驗(yàn)，每組實(shí)驗(yàn)包括288次運(yùn)動(dòng)想象任務(wù)，每種分類任務(wù)72次.

該數(shù)據(jù)集的采集使用無反饋實(shí)驗(yàn)范式，所收集的運(yùn)動(dòng)想象任務(wù)的持續(xù)時(shí)間與BCI競(jìng)賽Ⅳ 2b數(shù)據(jù)集相同.我們的實(shí)驗(yàn)使用所有受試者的全部2組實(shí)驗(yàn)，并提取實(shí)驗(yàn)中從提示開始4 s腦電信號(hào)數(shù)據(jù).此外，為了研究在空間信息較少的情況下的分類情況，我們的實(shí)驗(yàn)使用與2b數(shù)據(jù)集相同的3個(gè)EEG通道 (C3,Cz和C4)進(jìn)行實(shí)驗(yàn).

4.3 實(shí)驗(yàn)設(shè)置

為了評(píng)估模型的有效性，在實(shí)驗(yàn)中我們采用了5折交叉驗(yàn)證，使用ELU激活函數(shù)、Adam優(yōu)化器，模型學(xué)習(xí)率恒定為0.0001，dropout=0.8.此外，我們分別在Part1和Part2中的卷積層中使用了L2正則化，正則化參數(shù)分別設(shè)置為0.002和0.01.同時(shí)，在訓(xùn)練過程中使用了早停訓(xùn)練的方式.此外，我們使用了滑動(dòng)窗口和添加高斯噪聲的方法進(jìn)行數(shù)據(jù)增強(qiáng)[22]，更多的網(wǎng)絡(luò)參數(shù)設(shè)置詳見表1所示：

Table 1 Network Parameter Settings of the Proposed Model表1 本文模型的網(wǎng)絡(luò)參數(shù)設(shè)置

4.4 基準(zhǔn)模型

本文模型與6種基準(zhǔn)模型進(jìn)行比對(duì)：

1) CSP模型[7].基于矩陣對(duì)角化構(gòu)建最優(yōu)空間濾波器進(jìn)行投影，進(jìn)而得到具有較高區(qū)分度的特征向量.

2) FBCSP模型[8].基于多頻段帶通濾波的CSP方法，采用特征選擇算法進(jìn)行特征的選擇，最后使用分類模型進(jìn)行分類.

3) MKELM模型[11].使用2種不同類型內(nèi)核(高斯內(nèi)核和多項(xiàng)式內(nèi)核)的極限學(xué)習(xí)機(jī)方法，將CSP特征映射到不同的非線性特征空間中.

4) Shallow ConvNets模型和Deep ConvNets模型[9].2個(gè)能端到端地提取時(shí)域特征和空間特征的淺層和深層卷積模型，該方法模型是使用深度學(xué)習(xí)進(jìn)行腦電信號(hào)分類的第1次探索.

5) EEGNets模型[23].使用深度卷積和可分離卷積的單一尺度神經(jīng)網(wǎng)絡(luò)，該模型參數(shù)量較小，在訓(xùn)練數(shù)據(jù)有限時(shí)具有較強(qiáng)的泛化能力和更高的性能.

6) MSFBCNN模型[24].一種由3部分構(gòu)成(特征提取層、特征簡(jiǎn)化層、分類層)的深度卷積神經(jīng)網(wǎng)絡(luò).

4.5 與基準(zhǔn)模型的結(jié)果對(duì)比

表2列出了本文模型與先進(jìn)基準(zhǔn)模型在BCI 競(jìng)賽Ⅳ 2b數(shù)據(jù)集上的結(jié)果對(duì)比.實(shí)驗(yàn)表明本文模型優(yōu)于其余基準(zhǔn)模型，其平均準(zhǔn)確度是最高的.CSP和FBCSP這2種方法在空間信息較少的情況下無法發(fā)揮其提取空間特征的優(yōu)勢(shì)，也忽略了腦電信號(hào)時(shí)域或頻域特征等信息的提取，因此并不能達(dá)到較高的分類準(zhǔn)確度.以受試者S3為例，本文模型比CSP方法提高了20%多的準(zhǔn)確度，比FBCSP方法提高了10%以上的準(zhǔn)確度.對(duì)于端到端模型，盡管EEGNets模型和Shallow ConvNets模型可以進(jìn)行端到端的腦電信號(hào)特征提取，但其進(jìn)行提取特征時(shí)僅采用單一尺度的卷積核并不能充分挖掘腦電信號(hào)中蘊(yùn)含的大量信息，同時(shí)存在一定程度上的信息損失從而限制了分類準(zhǔn)確度.本文模型基于多尺度卷積的設(shè)計(jì)，可以自動(dòng)提取腦電信號(hào)的時(shí)域、頻域以及時(shí)頻域特征，相比于傳統(tǒng)模型增加了特征的豐富程度從而增加了分類效果.因此本文模型在大部分受試者的準(zhǔn)確度上優(yōu)于傳統(tǒng)的基準(zhǔn)模型，并且具有最高的平均準(zhǔn)確度.

Table 2 The Performance Comparison of the State-of-the-Art Models on BCI cCompetition Ⅳ 2b表2 本文模型與基準(zhǔn)模型在BCI競(jìng)賽Ⅳ 2b數(shù)據(jù)集的結(jié)果對(duì)比

圖4展示了本文模型在BCI競(jìng)賽Ⅳ 2a數(shù)據(jù)集與現(xiàn)有的先進(jìn)端到端基準(zhǔn)模型(EEGNets,Shallow ConvNets,Deep ConvNets,MSFBCNN)的比較.結(jié)果表明在空間信息較少的情況下，對(duì)于運(yùn)動(dòng)想象分類任務(wù)本文模型仍能取得最優(yōu)的結(jié)果，同時(shí)也體現(xiàn)了本文模型在不同數(shù)據(jù)集上的魯棒性.

Fig. 4 The performance comparison of the state-of-the-art models on BCI competition Ⅳ 2a圖4 本文模型與基準(zhǔn)模型在BCI競(jìng)賽Ⅳ 2a實(shí)驗(yàn)結(jié)果對(duì)比

4.6 討論多尺度結(jié)構(gòu)中分支數(shù)對(duì)分類結(jié)果的影響

為了驗(yàn)證多尺度結(jié)構(gòu)Part1中每個(gè)分支的有效性，我們?cè)贐CI競(jìng)賽Ⅳ 2b數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，從僅使用一個(gè)卷積分支Part1-(1)開始，逐步遞增卷積分支的數(shù)量，直至與原結(jié)構(gòu)相同，對(duì)比結(jié)果如圖5所示.

Fig. 5 Experiment result with different branch numbers圖5 不同分支數(shù)的實(shí)驗(yàn)結(jié)果

由圖5可得，分類準(zhǔn)確度隨著卷積分支的增加而提高，基于全部卷積分支的模型達(dá)到了最高的準(zhǔn)確度.這說明隨著卷積分支的增加，模型提取特征的豐富程度不斷增加，這些特征(時(shí)域、頻域、時(shí)頻域等特征)起到互相補(bǔ)充的作用，從而提高了分類準(zhǔn)確度.

4.7 討論擠壓激勵(lì)模塊對(duì)分類結(jié)果的影響

Fig. 6 Experimental results before and after the SE block is removed圖6 移除擠壓激勵(lì)模塊前后的實(shí)驗(yàn)結(jié)果對(duì)比

為了探究擠壓激勵(lì)模塊對(duì)模型分類結(jié)果的影響，我們移除擠壓激勵(lì)模塊與本文模型進(jìn)行比較.如圖6所示，移除擠壓激勵(lì)模塊后每個(gè)受試者的分類準(zhǔn)確度出現(xiàn)不同程度的降低.由此說明，擠壓激勵(lì)模塊在本文模型的有效性，原始腦電信號(hào)經(jīng)過多尺度卷積模塊和殘差模塊提取到的特征對(duì)于分類的重要程度是不同的，基于擠壓激勵(lì)模塊可以自動(dòng)學(xué)習(xí)不同特征的重要程度，進(jìn)而提升運(yùn)動(dòng)想象任務(wù)的分類效果.

4.8 討論不同通道對(duì)分類結(jié)果的影響

在腦電信號(hào)的提取過程中，往往需要在頭部覆蓋若干電極，以全面地捕獲大腦在進(jìn)行運(yùn)動(dòng)想象時(shí)產(chǎn)生的生理信號(hào).通常電極數(shù)量越多采集的信息就越全面，但采集成本會(huì)隨之提高并且設(shè)備的便攜性也會(huì)降低.因?yàn)槊總€(gè)通道的信息對(duì)分類結(jié)果的重要程度是不同的，所以確定出對(duì)于分類較為重要的通道，進(jìn)行有針對(duì)性的采集將有助于提高采集設(shè)備的便攜性，進(jìn)一步降低生產(chǎn)和使用的成本.

我們基于本次實(shí)驗(yàn)使用的所有通道(C3，C4，Cz通道)的腦電信號(hào)，進(jìn)一步探究不同腦電通道對(duì)分類結(jié)果的影響.由圖7可得，單獨(dú)使用C3通道或C4通道得到的分類效果優(yōu)于單獨(dú)使用Cz通道，并且單獨(dú)使用C4通道的結(jié)果又優(yōu)于C3通道的結(jié)果.每個(gè)通道對(duì)于分類的影響是不同的.此外，由圖7可知當(dāng)基于組合腦電通道進(jìn)行分類時(shí)，其分類結(jié)果都優(yōu)于使用單獨(dú)的通道得到的結(jié)果.其中同時(shí)使用C3和C4這2個(gè)通道的分類準(zhǔn)確度僅與3個(gè)通道同時(shí)使用時(shí)的分類準(zhǔn)確度相差2%，這說明在實(shí)驗(yàn)中從C3和C4兩個(gè)通道提取到的信息對(duì)運(yùn)動(dòng)想象分類起著主要作用，再增加Cz通道對(duì)于模型分類準(zhǔn)確度的提升相對(duì)較小.

Fig. 7 Experiment result with different channels圖7 不同通道的實(shí)驗(yàn)結(jié)果

上述實(shí)驗(yàn)表明進(jìn)行運(yùn)動(dòng)想象腦電信號(hào)分類時(shí)，所有通道對(duì)分類準(zhǔn)確度都起到了提升作用，但是不同通道的腦電信號(hào)對(duì)提升分類效果的重要性是不同的.當(dāng)資源有限的情況下，C3和C4兩個(gè)通道的組合能夠達(dá)到較優(yōu)的分類效果.這些探究結(jié)論為腦電信號(hào)通道的選擇提供了一定的參考標(biāo)準(zhǔn)，將有助于便攜式運(yùn)動(dòng)想象設(shè)備的研發(fā).

5 總 結(jié)

本文提出一種基于多尺度特征提取與擠壓激勵(lì)的深度模型進(jìn)行運(yùn)動(dòng)想象腦電信號(hào)分類.首先根據(jù)信號(hào)處理相關(guān)理論設(shè)計(jì)多尺度卷積模塊，對(duì)原始腦電信號(hào)進(jìn)行時(shí)域、頻域和時(shí)頻域特征的自動(dòng)提??；其次基于殘差模塊和擠壓激勵(lì)模塊進(jìn)行特征的融合和選擇；最后通過全連接層進(jìn)行腦電信號(hào)分類.在2個(gè)公開數(shù)據(jù)集進(jìn)行的實(shí)驗(yàn)結(jié)構(gòu)表明，本文模型的分類效果優(yōu)于現(xiàn)有基準(zhǔn)方法達(dá)到了最高的平均分類精度. 此外，本文討論了多尺度的設(shè)計(jì)、擠壓激勵(lì)模塊和通道的選擇對(duì)于分類效果的不同影響.在未來，我們將研究輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)在運(yùn)動(dòng)想象分類的應(yīng)用，進(jìn)一步提高腦機(jī)交互的實(shí)時(shí)性.

貢獻(xiàn)聲明：賈子鈺進(jìn)行了該論文的模型設(shè)計(jì)和編碼、論文撰寫等工作；林友芳進(jìn)行了方法的設(shè)計(jì)與論文的修改；劉天航進(jìn)行了模型調(diào)優(yōu)和論文修改；楊凱昕和張?chǎng)瓮M(jìn)行課題的前期調(diào)研和數(shù)據(jù)的統(tǒng)計(jì)分析及可視化；王晶為參與了論文的修改和討論.