胡章芳 張力 黃麗嘉 羅元

摘 要：針對目前運(yùn)動想象腦電（EEG）信號識別率較低的問題，考慮到腦電信號蘊(yùn)含著豐富的時頻信息，提出一種基于時頻域的卷積神經(jīng)網(wǎng)絡(luò)（CNN）運(yùn)動想象腦電信號識別方法。首先，利用短時傅里葉變換（STFT）對腦電信號的相關(guān)頻帶進(jìn)行預(yù)處理，并將多個電極的時頻圖組合構(gòu)造出一種二維時頻圖;然后，針對二維時頻圖的時頻特性，通過一維卷積的方法設(shè)計了一種新穎的CNN結(jié)構(gòu);最后，通過支持向量機(jī)（SVM）對CNN提取的特征進(jìn)行分類。基于BCI數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，所提方法的平均識別率為86.5%，優(yōu)于其他傳統(tǒng)運(yùn)動想象腦電信號識別方法;同時將該方法應(yīng)用在智能輪椅上，驗(yàn)證了其有效性。

關(guān)鍵詞：運(yùn)動想象;腦電;時頻域;卷積神經(jīng)網(wǎng)絡(luò);智能輪椅

中圖分類號：?TP242.6

文獻(xiàn)標(biāo)志碼：A

Motor imagery electroencephalogram signal recognition method based on convolutional neural network in time-frequency domain

HU Zhangfang， ZHANG Li*， HUANG Lijia， LUO Yuan

National Engineering Research and Development Center for Information Accessibility， Chongqing University of Posts and Telecommunications， Chongqing 400065， China

Abstract：?To solve the problem of low recognition rate of motor imagery ElectroEncephaloGram （EEG） signals， considering that EEG signals contain abundant time-frequency information， a recognition method based on Convolutional Neural Network （CNN） in time-frequency domain was proposed. Firstly， Short-Time Fourier Transform （STFT） was applied to preprocess the relevant frequency bands of EEG signals to construct a two-dimensional time-frequency domain map composed of multiple time-frequency maps of electrodes， which was regarded as the input of the CNN. Secondly， focusing on the time-frequency characteristic of two-dimensional time-frequency domain map， a novel CNN structure was designed by one-dimensional convolution method. Finally， the features extracted by CNN were classified by Support Vector Machine （SVM）. Experimental results based on BCI dataset show that the average recognition rate of the proposed method is 86.5%， which is higher than that of traditional motor imagery EEG signal recognition method， and the proposed method has been applied to the intelligent wheelchair， which proves its effectiveness.

Key words：?motor imagery; ElectroEncephaloGram （EEG）;time-frequency domain; Convolutional Neural Network （CNN）; intelligent wheelchair

0 引言

腦機(jī)接口（Brain-Computer Interface， BCI）通過分析腦電信號，解碼用戶意圖進(jìn)而控制外部設(shè)備[1]。作為一種新型人機(jī)交互方式，腦機(jī)接口近年來逐步成為研究熱點(diǎn)。當(dāng)前腦電信號主要分為大腦皮層電位圖（ElectroCorticoGram， ECoG）、腦電圖（ElectroEncephaloGram， EEG）、腦磁圖（MagnetoEncephaloGraphy， MEG）、功能磁共振成像（Functional Magnetic Resonance Imaging， FMRI）等，由于EEG具有低成本和非侵入性的優(yōu)點(diǎn)而被廣泛應(yīng)用于BCI系統(tǒng)[2]。

目前，基于EEG的BCI系統(tǒng)的研究主要集中于運(yùn)動想象腦電信號。在執(zhí)行運(yùn)動想象任務(wù)時，μ節(jié)律（8～13Hz）的能量下降，這種現(xiàn)象稱為事件相關(guān)去同步（Event-Related Desynchronization， ERD）;而在β（14～30Hz）節(jié)律的能量增加，這種現(xiàn)象被稱為事件相關(guān)同步（Event-Related Synchronization， ERS）[3]。根據(jù)ERD/ERS現(xiàn)象，許多運(yùn)動想象任務(wù)識別方法被提出，如共空間模式（Common Spatial Pattern， CSP）[4]、濾波器組共空間模式（Filter Bank Common Spatial Pattern， FBCSP）[5]、自回歸模型[6]等。近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）在機(jī)器視覺、語音識別等領(lǐng)域被廣泛應(yīng)用，而在BCI領(lǐng)域仍處于起步階段。相比手工提取特征的方法，CNN通過數(shù)據(jù)驅(qū)動的方式提取抽象特征，減少了信息的損失。唐智川等[7]以原始的腦電數(shù)據(jù)（通道×采樣點(diǎn)）作為CNN的輸入，構(gòu)建了一個5層的CNN來對運(yùn)動想象進(jìn)行特征提取與分類，結(jié)果表明，CNN比傳統(tǒng)運(yùn)動想象識別方法更好;Pérez-Zapata 等[8]結(jié)合CNN和功率譜密度特征對運(yùn)動想象腦電信號分類，識別率亦高于傳統(tǒng)方法。然而，它們并未考慮到腦電信號含有豐富的時間和頻率信息這一特點(diǎn)。為此，本文充分結(jié)合時間與頻率信息，將經(jīng)過短時傅里葉變換（Short-Time Fourier Transform， STFT）[9]得到的時頻圖作為CNN的輸入，并使用一維卷積進(jìn)行特征提取;此外，本文利用支持向量機(jī)（Support Vector Machine， SVM）[10-11]在處理小樣本分類時的良好特性，將經(jīng)過CNN提取到的特征利用SVM分類器進(jìn)行分類。通過在BCI競賽數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文方法在識別率上優(yōu)于其他傳統(tǒng)運(yùn)動想象腦電信號識別方法。最后在智能輪椅平臺上進(jìn)一步驗(yàn)證了本文方法的有效性。

1 預(yù)處理

腦電信號是一種復(fù)雜的生物信號，包含大量時頻信息，并且往往由多個通道采集（如本文所使用的數(shù)據(jù)集，其運(yùn)動想象腦電信號由C3、CZ和C4三個電極采集而成）。結(jié)合ERD/ERS現(xiàn)象，本文基于BCI競賽數(shù)據(jù)集設(shè)計了一種二維時頻圖作為CNN的輸入。對于每個電極采集到的2s長度腦電信號，利用STFT得到257×32的時頻圖，其中STFT采用長度為64的漢明窗，時間間隔為14。為了更好地表示數(shù)據(jù)，對得到的時頻圖提取8～13Hz頻帶和17～30Hz頻帶，分別得到12×32和29×32的二維時頻圖。此外，為了保證兩個頻帶的一致性，通過立方插值法將17～30Hz頻帶的時頻圖調(diào)整為12×32。最后，本文將三個電極的所有頻帶進(jìn)行組合構(gòu)成（3×2×12）×32大小的時頻圖（即72×32），如圖1所示。

2 卷積神經(jīng)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

卷積神經(jīng)網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)，主要由輸入層、卷積層、全連接層和輸出層組成。與圖像不同，腦電信號是一種包?含豐富時頻信息的信號，本文為了識別運(yùn)動想象腦電信號而?設(shè)計了一種新的CNN結(jié)構(gòu)模型（如圖2所示），該CNN由5層網(wǎng)絡(luò)構(gòu)成，第1層為輸入層，第2、3層為卷積層，第4層為全連接層，第5層為輸出層。各網(wǎng)絡(luò)層結(jié)構(gòu)具體如下：

1）L1。該層為神經(jīng)網(wǎng)絡(luò)的輸入層，本文以預(yù)處理中得到的72×32時頻圖作為輸入I。

2）L2。該層為卷積層。傳統(tǒng)的CNN往往使用二維卷積核進(jìn)行運(yùn)算，以時頻圖作為CNN的輸入時，由于其橫縱坐標(biāo)分別代表了時間與頻率分量，這種傳統(tǒng)的二維卷積核會使得提取的特征中混雜頻率與時間信息，對提取到的特征十分不利。為了避免時頻信息的混雜，本文采用一維卷積核進(jìn)行計算。在L2中使用了8個卷積核，卷積核大小設(shè)置為72×1，通過與輸入數(shù)據(jù)進(jìn)行卷積運(yùn)算可得8個對應(yīng)的特征圖，進(jìn)行卷積第k個卷積核對應(yīng)的特征圖被定義為：

h2k（j）=f （ ∑ 72 i=1 Ii， j×w2k+b2k（j） ）

（1）

其中：j表示特征圖中的第j個神經(jīng)元;w2k為72×1的卷積核;b2k（j）為偏置;f（）表示激活函數(shù)。本網(wǎng)絡(luò)模型以修正線性單元（Rectified Linear Unit， ReLU）作為激活函數(shù)，表示如下：

f（a）=ReLU（a）=max（0，a）

（2）

3）L3。該層為卷積層。對L2層中得到的8個特征圖分別使用5個卷積核，卷積核大小為8×1。為了減小過擬合的風(fēng)險，該層設(shè)置卷積步長與卷積核長度相同以減少參數(shù)。經(jīng)過映射后，該層可得40個特征圖，每個特征圖的大小為4×1。與L2層計算方式類似，特征圖可表示為：

h3k（j）=f （ ∑ 8 i=1 h2k（（j-1）×8+i）×w3k+b3k（j） ）

（3）

其中：w3k為8×1的卷積核;b2k（j）為偏置。

4）L4。該層為全連接層，神經(jīng)元個數(shù)為30，其作用為連接所有特征，并將輸出值送給分類器。計算方式為：

h4（j）=f （ ∑ 40 i=1 ∑ 4 p=1 h3i（p）w4i（p）+b4（j） ）

（4）

其中：w4i（p）為L3、L4兩層神經(jīng)元的連接權(quán)值;b4（j）為偏置。

5）L5。該層為輸出層，神經(jīng)元個數(shù)為2，代表左右手運(yùn)動想象的二分類問題。它與L4層的所有神經(jīng)元以全連接的形式相連接：

y5（j）=f （ ∑ 30 i=1 h4（i）w5（i）+b5（j） ）

（5）

其中：w5（j）為L4與L5兩層之間的連接權(quán)值;b5（j）為偏置。

CNN的訓(xùn)練主要采用反向傳播算法[12]，即先前向計算每層輸出，根據(jù)輸出層的結(jié)果與標(biāo)簽反向計算誤差，據(jù)此誤差求權(quán)值和偏置的梯度，以此更新各個權(quán)值和偏置。

2.2 分類器

在傳統(tǒng)CNN中，各卷積層負(fù)責(zé)特征提取，分類工作主要通過全連接層完成，其分類性能有待提高。SVM以VC維和結(jié)構(gòu)風(fēng)險最小化的原則，具有良好的泛化能力，在處理類似于腦電數(shù)據(jù)這種小樣本時能表現(xiàn)出很好的優(yōu)勢。為此，本文將CNN與SVM相結(jié)合，以SVM作為CNN的分類器，具體做法為：將SVM替換原始CNN中的輸出層（即圖2中的L5），并以全連接層得到的特征（即圖2中的L4）作為SVM的輸入。SVM分類器同樣需要訓(xùn)練，其訓(xùn)練過程如圖3所示：首先，將所有樣本作為圖2中CNN模型（已訓(xùn)練完畢）的輸入，通過L4得到所有樣本的特征向量，再將所有訓(xùn)練樣本的特征向量作為SVM的輸入，最后得到訓(xùn)練完畢的SVM分類器。

3 實(shí)驗(yàn)結(jié)果與分析

本文在公共數(shù)據(jù)集BCI Competition Ⅳ 2B上做了離線實(shí)驗(yàn)（http：//www.bbci.de/competition/iv/）。該數(shù)據(jù)集記錄了9名受試者想象左手運(yùn)動和想像右手運(yùn)動的腦電數(shù)據(jù)，每名受試者通過C3、CZ和C4三個電極采集5組腦電數(shù)據(jù)，其中前兩組每組包含120個樣本，后三組每組提供160個樣本。在記錄時，腦電數(shù)據(jù)在0.5～100Hz進(jìn)行帶通濾波，并使用50Hz陷波濾波器以消除工頻干擾。對于每位受試者，以前3組作為訓(xùn)練樣本，后2組作為測試樣本。

經(jīng)過多次實(shí)驗(yàn)，對網(wǎng)絡(luò)模型進(jìn)行參數(shù)調(diào)整。在CNN模型的學(xué)習(xí)率設(shè)置為0.01的條件下，本文將不同的網(wǎng)絡(luò)迭代次數(shù)

進(jìn)行對比，結(jié)果如圖4所示， 橫坐標(biāo)表示網(wǎng)絡(luò)迭代次數(shù)，縱坐標(biāo)表示分類正確率。由圖4可知， 可以看出最優(yōu)的迭代次數(shù)在300～500，而過高的迭代次數(shù)使模型出現(xiàn)了明顯的過擬合現(xiàn)象。

由于越高的迭代次數(shù)需要的訓(xùn)練時間也越長，在不損失分類

正確率的前提下為了減少訓(xùn)練時間，本文將迭代次數(shù)選為

300。此外，本文SVM中的核函數(shù)采用徑向基核函數(shù)，并且通過網(wǎng)格搜索法設(shè)置SVM的懲罰系數(shù)C=0.18，相應(yīng)的核函數(shù)參數(shù)σ=0.5。

為了評估本文方法對左右手運(yùn)動想象腦電信號的識別性

能，對近年來被廣泛使用的CSP方法[4]、CSP的衍生算法FBCSP[13]以及普通CNN方法[7]進(jìn)行了對比實(shí)驗(yàn);另外，為了體現(xiàn)對比方法的多樣性，本文也對BCI Ⅳ競賽前三名（按名次由高到低依次為Chin、Gan和Coyle）所使用的方法進(jìn)行了對比。所有受試者的測試樣本在上述方法下的識別率如表1所示。由表1可以直觀地發(fā)現(xiàn)，本文方法平均識別率為865%，優(yōu)于其他方法，說明充分挖掘腦電信號的時頻信息有利于識別率的提升 ;相比FBCSP和普通CNN這兩種算法，分別提高了6個百分點(diǎn)和2.3個百分點(diǎn) 。對于單個受試者，本文方法識別率最高可達(dá)98.3% ，比普通CNN算法提高了0.2個百分點(diǎn) 。此外，本文方法的識別率雖高于普通CNN方法，但在測試集上分類耗時略高，主要原因在于本文方法在CNN之前引入了預(yù)處理操作，且分類器更改為耗時較高的SVM。

為了進(jìn)一步驗(yàn)證本文方法的有效性和在實(shí)際應(yīng)用中的使用效果，本文基于智能輪椅平臺進(jìn)行了一系列實(shí)驗(yàn)。其中運(yùn)動想象腦電信號利用Emotiv傳感器進(jìn)行采集，如圖5（a）所示。該傳感器具有16個電極，所有電極按照國際10-20標(biāo)準(zhǔn)電極安放來合理分布，如圖5（b）所示。在這16個電極中，F(xiàn)C5、FC6及O1等電極可作為采集通道，而電極CMS和DRL作為參考電極。

以本文方法得到的識別結(jié)果作為控制智能輪椅的指令信號，對5名健康受試者按照圖6所示實(shí)驗(yàn)路徑進(jìn)行走“8”字實(shí)驗(yàn)，并與普通CNN方法進(jìn)行對比，得到的運(yùn)動軌跡曲線分別如圖7（a）和（b）所示。由圖7（a）和（b）可知，受試者均能通過兩種方法安全地完成指定路線，但普遍存在“8”字形右邊沒有左邊光滑和波動更大的問題，其主要原因是受試者在左右手運(yùn)動想象過程中需要高度集中注意力，使得在控制后期易產(chǎn)生疲勞，進(jìn)而導(dǎo)致腦電信號特征值發(fā)生變化[14]，穩(wěn)定性降低，加重誤識別的可能性。雖然兩種方法均能完成“8”字形路線，但相比較而言，基于本文方法的輪椅運(yùn)動軌跡曲線比基于普通CNN方法的輪椅運(yùn)動軌跡曲線更光滑，波動更少，且更具有實(shí)際的應(yīng)用前景。

4 結(jié)語

本文采用了一種基于時頻域的卷積神經(jīng)網(wǎng)絡(luò)對左右手運(yùn)動想象腦電信號進(jìn)行特征提取和分類。首先，通過STFT提取電極C3、CZ和C4原始時間序列信號的時頻域信息，依據(jù)此時頻信息，設(shè)計了CNN結(jié)構(gòu);其次，通過實(shí)驗(yàn)對CNN的相關(guān)超參數(shù)進(jìn)行調(diào)整和選定，并基于公共數(shù)據(jù)集將本文方法與其他方法以識別率為標(biāo)準(zhǔn)進(jìn)行了一系列對比實(shí)驗(yàn)，結(jié)果表明，本文方法的平均識別率均優(yōu)于其他識別方法，單個受試者的識別率亦高于其他識別方法;最后，將本文方法應(yīng)用于智能輪椅的實(shí)時控制中，驗(yàn)證了本文方法的有效性。本文方法實(shí)現(xiàn)了左右手運(yùn)動想象腦電信號的準(zhǔn)確識別，為腦機(jī)接口技術(shù)在助老助殘領(lǐng)域的應(yīng)用提供了理論基礎(chǔ)與支持，但相比于其他常用的運(yùn)動想象腦電信號識別方法，本文方法分類識別時耗時較高，如何減少分類所需時間是我們下一步的研究重點(diǎn)。

參考文獻(xiàn)

[1]?王行愚，金晶，張宇，等.腦控：基于腦——機(jī)接口的人機(jī)融合控制[J].自動化學(xué)報，2013，39（3）：208-221. （WANG X Y， JIN J， ZHANG Y， et al. Brain control： human-computer integration control based on brain-computer interface [J]. Acta Automatica Sinica， 2013， 39（3）： 208-221.）

[2]??MINGUILLON J， LOPEZ-GORDO M A， PELAYO F. Trends in EEG-BCI for daily-life： requirements for artifact removal [J]. Biomedical Signal Processing and Control， 2017， 31： 407-418.

[3]?AVILS-CRUZ C， VILLEGAS-CORTEZ J， FERREYRA-RAMíREZ A， et al. EEG pattern recognition： an efficient improvement combination of ERD/ERS/laterality features to create a self-paced BCI system [C]// Proceedings of the 2016 Mexican Conference on Pattern Recognition， LNCS 9703. Cham： Springer， 2016： 231-240.

[4]?RAMOSER H， MLLER-GERKING J， PFURTSCHELLER G. Optimal spatial filtering of single trial EEG during imagined hand movement [J]. IEEE Transactions on Rehabilitation Engineering， 2000， 8（4）：441-446.

[5]?KAI K A， ZHENG Y C， ZHANG H， et al. Filter Bank Common Spatial Pattern （FBCSP） in brain-computer interface [C]// Proceedings of the 2008 IEEE International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2008： 2390-2397.

[6]??IQBAL H， AQIL M. A QR decomposition based RLS algorithm with forgetting factor for adaptation of AR EEG features [C]// Proceedings of the 2016 International Conference on Emerging Technologies. Piscataway， NJ： IEEE， 2016： 1-5.

[7]?唐智川，張克俊，李超，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動想象分類及其在腦控外骨骼中的應(yīng)用[J].計算機(jī)學(xué)報，2017，40（6）：1367-1378. （TANG Z C， ZHANG K J， LI C， et al. Motor imagery classification based on deep convolutional neural network and its application in exoskeleton controlled by EEG[J]. Chinese Journal of Computers， 2017， 40（6）： 1367-1378.）

[8]?PREZ-ZAPATA A F， CARDONA-ESCOBAR A F， JARAMILLO-GARZN J A， et al. Deep convolutional neural networks and power spectral density features for motor imagery classification of EEG signals [C]//? AC 2018：? Proceedings of the 2018 International Conference on Augmented Cognition. Berlin： Springer， 2018： 158-169.

[9]?GRAMFORT A， STROHMEIER D， HAUEISEN J， et al. Time-frequency mixed-norm estimates： sparse M/EEG imaging with non-stationary source activations [J]. Neuroimage， 2013， 70（2）： 410-422.

[10]?SHAO S Y， SHEN K Q， ONG C J， et al. Automatic identification and removal of artifacts in EEG using a probabilistic multi-class SVM approach with error correction[C]//? SMC 2008：? Proceedings of the 2008 IEEE Internatioanl Conference on Systems， Man and Cybernetics. Piscataway， NJ： IEEE， 2008： 1134-1139.

[11]??BHARDWAJ A， GUPTA A， JAIN P， et al. Classification of human emotions from EEG signals using SVM and LDA classifiers [C]// Proceedings of the 2015 2nd International Conference on Signal Processing and Integrated Networks. Piscataway， NJ： IEEE， 2015： 180-185.

[12]?NG S C， LEUNG S H， LUK A. Fast convergent generalized back-propagation algorithm with constant learning rate [J]. Neural Processing Letters， 1999， 9（1）： 13-23.

[13]?KENG A K， YANG C Z， WANG C， et al. Filter bank common spatial pattern algorithm on BCI competition IV datasets 2a and 2b [J]. Frontiers in Neuroscience， 2012， 6： 39.

[14]?NEU D， MAIRESSE O， VERBANCK P， et al. Non-REM sleep EEG power distribution in fatigue and sleepiness [J]. Journal of Psychosomatic Research， 2014， 76（4）： 286-291.