孟 明,滿海濤,佘青山
(杭州電子科技大學(xué)智能控制與機(jī)器人研究所,杭州310018)
在人們想象肢體動(dòng)作的規(guī)劃和執(zhí)行階段,大腦皮層對(duì)側(cè)主感覺運(yùn)動(dòng)區(qū)會(huì)出現(xiàn)特定節(jié)律波衰減的現(xiàn)象,稱為事件相關(guān)去同步電位ERD(Event-Related Desynchronization);而在動(dòng)作執(zhí)行結(jié)束后,則會(huì)出現(xiàn)特定節(jié)律波增強(qiáng)的現(xiàn)象,稱為事件相關(guān)同步電位ERS(Event-Related Synchronization)[1]?;?ERD/ERS模式進(jìn)行意圖識(shí)別是腦機(jī)接口的一種重要方式,相對(duì)于P300、VEP等誘發(fā)電位方式,運(yùn)動(dòng)想象具有無需外界刺激、可實(shí)現(xiàn)異步通訊等優(yōu)點(diǎn),在腦機(jī)接口研究當(dāng)中被廣泛關(guān)注[2]。這種自發(fā)的腦電信號(hào)EEG(Electroencephalogram,)更為微弱,并具有顯著的非平穩(wěn)性和非線性,這給EEG的特征提取和運(yùn)動(dòng)想象分類帶來很大的挑戰(zhàn)。
在馬爾科夫模型基礎(chǔ)上發(fā)展起來的隱馬爾科夫模型(HMM)是一種用于描述隨機(jī)過程統(tǒng)計(jì)特性的通用模型[3],已成功應(yīng)用于語音識(shí)別領(lǐng)域,因而也被嘗試用于運(yùn)動(dòng)想象EEG這類多元時(shí)序信號(hào)的分類。Souza等[4]采用幅值平方相干函數(shù)提取EEG特征,然后分別利用HMM和多層感知器(MLP)對(duì)手指動(dòng)作的實(shí)際運(yùn)動(dòng)和運(yùn)動(dòng)想象進(jìn)行識(shí)別,HMM方法的識(shí)別準(zhǔn)確率優(yōu)于MLP方法。Argunsah等[5]利用HMM結(jié)合自回歸模型(AR)和主成分分析(PCA)方法對(duì)左手、右手、雙腳和舌頭4類運(yùn)動(dòng)想象EEG進(jìn)行分類,平均識(shí)別率為74%。Yang[6]等采用AR模型方法提取左手和右手兩類運(yùn)動(dòng)想象EEG的特征,利用最大邊際估計(jì)方法進(jìn)行HMM的參數(shù)重估,再用該HMM進(jìn)行分類,相對(duì)于傳統(tǒng)期望最大化(EM)重估方法的HMM識(shí)別率提高了5%。雖然HMM可以有效地對(duì)EEG進(jìn)行分類,但是識(shí)別正確率并不理想。一個(gè)重要的原因在于,EEG信號(hào)序列之間具有一定的關(guān)聯(lián)性,但HMM卻存在內(nèi)部獨(dú)立性假設(shè),要求信號(hào)之間獨(dú)立,因此,如何消除這種獨(dú)立性假設(shè)的影響顯得至關(guān)重要。
以模糊集理論為基礎(chǔ)的模糊數(shù)學(xué),可以有效地處理不確定性現(xiàn)象。Sugeno[7]1974年以模糊集理論為基礎(chǔ),提出了模糊測度的概念,以其更廣泛的單調(diào)性取代了概率測度的可加性。Mohamed等[8]利用模糊測度上的Choquet積分,將傳統(tǒng)HMM推廣為模糊HMM,并通過手寫字符識(shí)別的實(shí)例表明模糊HMM在處理序列信號(hào)時(shí)有更好的適應(yīng)性,可以得到更高的識(shí)別率。本文利用基于Choquet積分的模糊HMM,即Choquet積分HMM(Choquet integral HMM,CI-HMM),建立一種運(yùn)動(dòng)想象EEG分類方法,以放寬HMM對(duì)EEG信號(hào)的獨(dú)立性假設(shè)要求,并采用BCI Competition 2008 Data Sets 1運(yùn)動(dòng)想象EEG數(shù)據(jù)進(jìn)行了分類方法的實(shí)驗(yàn)驗(yàn)證和分析。
設(shè)X是任意的非空集合,Ω是X的子集所構(gòu)成的非空集類,g:Ω→[0,1]為定義在Ω上的一個(gè)函數(shù)集,如果g滿足如下性質(zhì),那么稱g是Ω上的一個(gè)模糊測度[9]。
(1)邊界條件:g(φ)=0,g(X)=1;
(2)單調(diào)性:?A,b∈Ω,若 A?B,則有 g(A)≤g(B);
(3)連續(xù)性:如果?Fn∈Ω,1≤n<∞,且序列{Fn}是單調(diào)的,則有
Choquet積分是定義在模糊測度基礎(chǔ)上的一種集合函數(shù)[10]。設(shè)(X,Ω)是一個(gè)可測空間,h:X→[0,1]為Ω上一可測函數(shù),對(duì)A?Ω,可測函數(shù)h關(guān)于模糊測度g在集合A上的Choquet模糊積分定義為:
其中 Aα={X|h(X)≥α},α∈[0,1]。
對(duì)于有限集 X,設(shè) Ai={xi,xi+1,…,xN},h(x1)≤h(x2)≤…≤h(xN)則X上的Choquet模糊積分為:
與經(jīng)典HMM一樣,CI-HMM也是一個(gè)雙重內(nèi)嵌式隨機(jī)過程,其中一個(gè)是Markov鏈,另一個(gè)是描述了狀態(tài)和觀察值之間對(duì)應(yīng)關(guān)系的隨機(jī)過程。對(duì)于一個(gè)給定的觀察序列,CI-HMM隱含了一個(gè)與此觀察序列對(duì)應(yīng)的狀態(tài)序列,其中狀態(tài)之間的對(duì)應(yīng)關(guān)系由模糊測度給出。類似地,CI-HMM也可以用一個(gè)三元組^λ=(^π,^A,^B)來表示[11]。CI-HMM模型的狀態(tài)集合記為 S={S1,S2,…,SN},N 為狀態(tài)數(shù)目,則
2.1.1 加大各方面投入力度。①加大人力資源投入,尤其是選配好相關(guān)專業(yè)人員,確保在紅色文獻(xiàn)的收集、整理、開發(fā)、研究及服務(wù)等方面,有一支能力素養(yǎng)較強(qiáng)的專兼職人員隊(duì)伍;②增加專項(xiàng)資金投入,滿足紅色文獻(xiàn)的收集整理需要,并添置必要的現(xiàn)代技術(shù)設(shè)備設(shè)施。
(1)^π={^πi}表示初始狀態(tài)模糊密度向量,^πi=^πs({Si})是初始狀態(tài)的模糊密度;
(2)^A=[^aij]為轉(zhuǎn)移模糊密度矩陣,其中 ^aij=^aY({yi}|xi)是Y關(guān)于X的條件模糊測度,表示轉(zhuǎn)移模糊密度,其中xi為t時(shí)刻的狀態(tài),yj為t+1時(shí)刻的狀態(tài);
(3)^B=[^bi(Ot)]是觀察值的概率密度矩陣,其中^bj(Ot)是定義在模糊測度上的模糊密度,是對(duì)狀態(tài)為Sj時(shí)觀察到符號(hào)Ot的確定性程度的度量。
隨著模糊積分的引入,經(jīng)典HMM中輸出概率的計(jì)算也相應(yīng)變?yōu)閷?duì)輸出模糊測度^P(O|^λ)的求解。在給定模型^λ時(shí),可以通過前后向模糊變量求得。
記^αt(i)為前向模糊變量,表示t時(shí)刻,狀態(tài)為xi時(shí)觀察序列是{O1,O2,…,Ot}的確定性程度。對(duì)應(yīng)的^βt(i)為后向模糊變量,表示t時(shí)刻,狀態(tài)為xi條件下觀察子序列是{Ot+1,Ot+2,…,OT}的確定性程度。前、后向模糊變量的計(jì)算步驟如下:
(1)初始化:
其中∧為模糊交算子。
(2)迭代:
類似地,后向模糊變量計(jì)算為:
利用式(2)計(jì)算前向后向的Choquet積分,則有
在式(5)計(jì)算前向模糊變量時(shí),將聯(lián)合測度^αΩY({O1,O2,…,Ot}×{yj})分別定義在觀察序列O1,O2,…,Ot及狀態(tài)yj上的兩個(gè)模糊測度的聯(lián)合形式,并沒有假設(shè)該測度可以以乘積的形式分解,類似的,計(jì)算后向模糊變量時(shí),做了同樣的處理,因此CIHMM的統(tǒng)計(jì)獨(dú)立性比HMM的統(tǒng)計(jì)獨(dú)立性假設(shè)要弱。
CI-HMM的輸入為特征向量序列,因此首先要將運(yùn)動(dòng)想象EEG信號(hào)按順序分成段,再從每段中分別提取特征,構(gòu)成EEG信號(hào)特征序列。本文采用窗口重疊滑動(dòng)的分段方式,設(shè)數(shù)據(jù)滑動(dòng)窗口Si長度為LW個(gè)采樣點(diǎn),窗口重疊長度為LO個(gè)采樣點(diǎn),即每次窗口滑動(dòng)的間隔為(LW-LO)個(gè)采樣點(diǎn),如圖1所示。
圖1 EEG的特征提取分段示意圖
將EEG信號(hào)分段后,對(duì)每段信號(hào)分別選取時(shí)域方法和時(shí)頻域小波包方法提取特征。其中時(shí)域特征采用絕對(duì)均值和波長兩類特征[12];時(shí)頻域特征采用小波包分解和重構(gòu)特定頻段信號(hào),然后提取各頻段的相對(duì)能量作為特征[13-14]。運(yùn)動(dòng)想象腦電信號(hào)的ERD/ERS現(xiàn)象一般在alpha節(jié)律(8 Hz~14 Hz)和beta節(jié)律(14 Hz~30 Hz)比較明顯,首先根據(jù)信號(hào)的頻率范圍,用db5小波包基函數(shù)將信號(hào)進(jìn)行多層分解,然后根據(jù)alpha節(jié)律和beta節(jié)律的頻段范圍,選擇適當(dāng)?shù)男〔ò宇l帶進(jìn)行疊加重構(gòu)對(duì)應(yīng)的頻段信號(hào),然后計(jì)算該頻段能量相對(duì)全部頻段能量的比值作為特征。
在運(yùn)用CI-HMM進(jìn)行EEG信號(hào)分類時(shí),可以按進(jìn)行動(dòng)作運(yùn)動(dòng)想象過程的不同階段來對(duì)應(yīng)確定模型的狀態(tài)拓?fù)浣Y(jié)構(gòu)。想象動(dòng)作是一個(gè)連續(xù)過程,當(dāng)大腦皮質(zhì)某區(qū)域被激活,該區(qū)域的代謝和血流增加,導(dǎo)致腦電波相關(guān)節(jié)律幅度降低,出現(xiàn)ERD,而在大腦靜息或惰性狀態(tài)下表現(xiàn)出幅度明顯增高,出現(xiàn)ERS,針對(duì)這個(gè)過程中EEG信號(hào)的模式特點(diǎn),本文選取無跨越從左至右型的CI-HMM結(jié)構(gòu),如圖2所示。在該結(jié)構(gòu)中每個(gè)狀態(tài)下的輸出測度采用混合模糊密度形式,以適應(yīng)EEG信號(hào)的非平穩(wěn)性和非線性。
圖2 無狀態(tài)跨越CI-HMM拓?fù)浣Y(jié)構(gòu)圖
應(yīng)用CI-HMM對(duì)EEG信號(hào)進(jìn)行模式分類時(shí),分為訓(xùn)練和識(shí)別兩個(gè)階段。首先需要對(duì)每種運(yùn)動(dòng)想象動(dòng)作所對(duì)應(yīng)的模型進(jìn)行訓(xùn)練,然后利用得到的模型進(jìn)行識(shí)別操作,整個(gè)系統(tǒng)的原理框圖如圖3所示。
圖3 基于CI-HMM的EEG模式分類系統(tǒng)
在訓(xùn)練階段,首先設(shè)定模型的初始參數(shù),然后將每種運(yùn)動(dòng)想象EEG的樣本數(shù)據(jù)集提取特征構(gòu)成特征序列集合,利用Baum-Welch算法進(jìn)行樣本訓(xùn)練得到重估后的CI-HMM參數(shù)。在識(shí)別階段,待分類的EEG信號(hào)經(jīng)特征提取得到特征序列后,輸入到每種運(yùn)動(dòng)想象動(dòng)作的CI-HMM模型中,經(jīng)前后向算法分別計(jì)算出各模型^λ的輸出模糊測度P(^λ),然后選取最大輸出模糊測度P(^λ)對(duì)應(yīng)的運(yùn)動(dòng)想象動(dòng)作作為模式分類結(jié)果。
為驗(yàn)證所提出分類方法的有效性,對(duì)來源于由Berlin BCI研究組[15]提供的2008 年BCI Competition IV Datasets1的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了分類實(shí)驗(yàn)。該數(shù)據(jù)集包含分別采集于七名健康的受試者的七組數(shù)據(jù),其中5名受試者為左手和右手運(yùn)動(dòng)想象,另外2名受試者為左手和腳運(yùn)動(dòng)想象。實(shí)驗(yàn)采用雙導(dǎo)聯(lián)方式記錄59個(gè)通道的EEG信號(hào),帶通濾波的范圍是0.5 Hz~200 Hz,采樣頻率為1 000 Hz,但提供的數(shù)據(jù)進(jìn)行了頻率為100 Hz的下采樣。
每次采集實(shí)驗(yàn)的過程如圖4所示,首先受試者安靜準(zhǔn)備2 s,同時(shí)在屏幕上顯示十字符號(hào),在第2 s時(shí),出現(xiàn)向左、向右、向下的箭頭,分別提醒受試者進(jìn)行左手、右手以及腳的運(yùn)動(dòng)想象運(yùn)動(dòng),想象時(shí)間持續(xù)4 s,緊接著出現(xiàn)2 s黑屏,表示本次實(shí)驗(yàn)結(jié)束。每個(gè)受試者進(jìn)行200次運(yùn)動(dòng)想象,單次實(shí)驗(yàn)持續(xù)8 s。
圖4 運(yùn)動(dòng)想象實(shí)驗(yàn)時(shí)序圖
本文選取4位受試者a、b、f、g的標(biāo)定數(shù)據(jù)進(jìn)行分類實(shí)驗(yàn),其中a、f進(jìn)行的是左手和腳的運(yùn)動(dòng)想象,b、g進(jìn)行的是左手和右手的運(yùn)動(dòng)想象。在各通道信號(hào)中選取了運(yùn)動(dòng)想象分類常用的C3、C4兩路通道的數(shù)據(jù)用于特征提取。為了獲取較好的分類效果,同時(shí)考慮到特征提取中的小波包分析,在每次實(shí)驗(yàn)記錄的數(shù)據(jù)中,選取受試者在執(zhí)行運(yùn)動(dòng)想象階段的400個(gè)采樣點(diǎn),以及開始運(yùn)動(dòng)想象之前和停止運(yùn)動(dòng)想象之后的各56個(gè)采樣點(diǎn),共512個(gè)采樣點(diǎn)進(jìn)行特征提取。
在CI-HMM的訓(xùn)練和識(shí)別過程中需要進(jìn)行大量的模糊測度計(jì)算,如果模型拓?fù)浣Y(jié)構(gòu)中的狀態(tài)數(shù)和混合數(shù)比較大的話,不僅增加計(jì)算量,而且需要估計(jì)的參數(shù)個(gè)數(shù)也明顯增多,在有限的樣本條件下,導(dǎo)致分類性能下降。為了盡可能地減少計(jì)算量和對(duì)訓(xùn)練樣本的需求,根據(jù)運(yùn)動(dòng)想象EEG信號(hào)的特點(diǎn),將CIHMM的狀態(tài)數(shù)N、每種狀態(tài)的模糊密度混合數(shù)M,分別設(shè)置在3~7和2~4的范圍內(nèi),并分別在這個(gè)范圍內(nèi)組合計(jì)算對(duì)應(yīng)結(jié)構(gòu)模型的識(shí)別率,以尋找最優(yōu)的CI-HMM結(jié)構(gòu)。采用不同狀態(tài)數(shù)和混合數(shù)的模型進(jìn)行分類的識(shí)別結(jié)果如圖5所示,其中縱坐標(biāo)表示不同N、M下的平均識(shí)別率,橫坐標(biāo)表示受試者的狀態(tài)數(shù)N,不同的標(biāo)記符號(hào)表示不同的混合數(shù)M:正方形表示M=2,上三角形表示M=3,下三角形表示M=4。特征選取時(shí)域特征和小波包特征的混合特征。從圖中可知,對(duì)于受試者 a、f,當(dāng) N=4,M=4時(shí),本實(shí)驗(yàn)的EEG信號(hào)的分類效果最為理想;對(duì)于受試者b、g,當(dāng)N=5,M=4時(shí),分類效果最為理想。
圖5 不同N、M的CI-HMM的識(shí)別率
特征提取中利用滑動(dòng)窗對(duì)信號(hào)進(jìn)行分段,窗口的長度LW和重疊長度LO也會(huì)影響到后續(xù)分類器的分類效果。為了分析滑動(dòng)窗口的影響,取CI-HMM的最優(yōu)N、M參數(shù),選取時(shí)域特征和小波包特征的混合特征,對(duì)不同的LW和LO組合下4位受試者的分類平均識(shí)別率如圖6所示,其中橫縱標(biāo)為滑動(dòng)窗口長度和重疊長度的組合LW/LO。可以看出,對(duì)于4位受試者具有一致的結(jié)果,重疊長度對(duì)于分類結(jié)果的影響更為明顯,其中128/64的組合獲得的平均識(shí)別率最高。
對(duì)提取得到的不同類型特征的選擇也會(huì)直接影響到信號(hào)的分類效果。本文提取了時(shí)域和小波包能量兩類特征,為了探討特征選擇對(duì)于CI-HMM分類效果的影響,選擇了時(shí)域、小波包能量和兩類混合等3種不同特征集合進(jìn)行分類實(shí)驗(yàn),同時(shí)為與經(jīng)典HMM分類效果進(jìn)行比較,對(duì)每種特征集合分別采用CI-HMM和HMM兩種分類方法進(jìn)行實(shí)驗(yàn),分類識(shí)別的結(jié)果如圖7所示,其中T表示時(shí)域特征,W表示小波包能量特征,C表示兩類混合特征。
圖6 不同滑動(dòng)窗下的識(shí)別率
由圖7可以看出,在兩種模型分類方法中,單獨(dú)的時(shí)域特征集合都得到最高的識(shí)別率,表明時(shí)域特征更適合于HMM這種對(duì)隨機(jī)過程建模的方法。4位受試者在3種特征集合下CI-HMM的平均識(shí)別率分別為82.4%、79.1%、82.1%,HMM 的平均識(shí)別率分別為 75.2%、72.5%、74.3%,即對(duì)于不同的特征集合,CI-HMM方法的識(shí)別性能均優(yōu)于HMM方法。在CI-HMM方法中,因?yàn)槟:郎y度和模糊積分具有的單調(diào)性,使CI-HMM避免了獨(dú)立性假設(shè)的約束,能夠更一致地描述運(yùn)動(dòng)想象過程中的EEG信號(hào),最終獲得了高于經(jīng)典HMM的分類效果。
為了進(jìn)一步說明CI-HMM分類方法的有效性,采用混合特征集合的CI-HMM方法與EEG分類中常用的共空間模式(CSP)及其改進(jìn)方法在同一運(yùn)動(dòng)想象數(shù)據(jù)集上獲得的識(shí)別率[16]進(jìn)行比較,如表1所示。與基本CSP方法相比,CI-HMM方法的識(shí)別率明顯提高,相對(duì)于改進(jìn)的濾波器組共空間模式(FBCSP)方法,單個(gè)受試者的最高識(shí)別率較低,但整體平均識(shí)別率略有提高,表明CI-HMM方法對(duì)不同受試者的適應(yīng)性較好,分類結(jié)果更為穩(wěn)定。CIHMM方法在單個(gè)受試者和整體平均識(shí)別率上都比鄰接矩陣分解(AMD)方法要低,但CI-HMM方法只使用了 C3、C4兩路通道的 EEG信號(hào),而 CSP和AMD方法中使用了全部59路通道的EEG信號(hào),在數(shù)據(jù)采集上的要求更高。
圖7 4位受試者在不同的特征集合的分類效果
表1 不同分類方法的平均識(shí)別率比較
本文提出運(yùn)用CI-HMM對(duì)運(yùn)動(dòng)想象EEG信號(hào)進(jìn)行分類的方法。CI-HMM利用模糊積分的單調(diào)性,有效地解決了經(jīng)典HMM在計(jì)算觀察序列概率時(shí)的獨(dú)立性假設(shè),從而提高了EEG信號(hào)分類的準(zhǔn)確率。對(duì)兩類運(yùn)動(dòng)想象動(dòng)作的分類實(shí)驗(yàn)表明,CIHMM方法應(yīng)用于運(yùn)動(dòng)想象EEG信號(hào)的分類中具有可行性,并能夠得到較高的識(shí)別準(zhǔn)確率。
[1] Pfurtscheller G,Neuper C.Motor Imagery and Direct Brain-Computer Communication[J].Proceedings of the IEEE,2001,89(7):1123-1134.
[2] Mak J R,Wolpaw J R.Clinical Applications of Brain-Computer Interfaces:Current State and Future Prospects[J].IEEE Reviews in Biomedical Engineering,2009(2):187-199.
[3] Rabiner L R.A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition[J].Proceedings of the IEEE,1989,77(2):257-285.
[4] Souza A P,F(xiàn)ilho S A,F(xiàn)elix L B,et al.Classification of Imaginary Movements Using the Magnitude-Squared Coherence Feature Extractor[C]//Proceedings of the 2012 ISSNIP Biosignals and Biorobotics Conference,2012:1-6.
[5] Argunsah A O,Cetin M.AR-PCA-HMM Approach for Sensorimotor Task Classification in EEG-Based Brain-ComputerInterfaces[C]//Proceedings of the 20th International Conference on Pattern Recognition,2010:113-116.
[6] Yang Y,Yu Z L,Gu Z H,et al.A New Method for Motor Imagery Classification Based on Hidden Markov Model[C]//Proceedings of the 7th IEEE Conference on Industrial Electronics and Applications,2012:1588-1591.
[7] Sugeno M.Theory of Fuzzy Integrals and Its Applications[D].Tokyo Institute of Technology,1974.
[8] Mohamed M A,Gader P.Generalized Hidden Markov Models-PartⅡ:Application to Handwritte Word Recognition[J].IEEE Transactions on Fuzzy Systems,2000,8(1):82-94.
[9] Ralescu D,Adams G.The Fuzzy Integral[J].Journal of Mathematical Analysis and Applications,1980,75(2):562-570.
[10] Klement E P,Mesiar R,Pap E.A Universal Integral as Common Frame for Choquet and Sugeno Integral[J].IEEE Transactions on Fuzzy Systems,2010,18(1):178-187.
[11] Mohamed M A,Gader P.Generalized Hidden Markov Models-Part I:Theoretical Frameworks[J].IEEE Transactions on Fuzzy Systems,2000,8(1):67-81.
[12]孟明,佘青山,羅志增.HMM在下肢表面肌電信號(hào)步態(tài)識(shí)別中的應(yīng)用[J].華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,39(S2):177-179.
[13]黃思娟,吳效明.基于能量特征的腦電信號(hào)特征提取與分類[J].傳感技術(shù)學(xué)報(bào),2010,23(6):782-785.
[14]顏世玉,劉沖,趙海濱.基于分解的意識(shí)腦電特征提?。跩].儀器儀表學(xué)報(bào),2012,33(8):1749-1752.
[15] Blankertz B,Dornhege G,Krauledat M,et al.The Non-Invasive Berlin Brain-Computer Interface:Fast Acquisition of Effective Performance in Untrained Subjects[J].NeuroImage,2007,37(2):539-550.
[16]佘青山,昌鳳玲,范影樂.基于鄰接矩陣分解的腦電特征提取與分類方法[J].傳感技術(shù)學(xué)報(bào),2012,25(9):1204-1209.