高諾,魯昊,魯守銀,吳林彥
(山東建筑大學(xué)信息與電氣工程學(xué)院,濟(jì)南 250101)
腦機(jī)接口(brain computer interface, BCI)是人腦與計(jì)算機(jī)或其他電子設(shè)備之間建立的直接的交流和控制通道。通過這種通道,人就可以直接通過腦來表達(dá)想法或操縱其他設(shè)備,而不需要通過語言或肢體的動(dòng)作,是一種全新的通信和控制方式[1-5]。在所有能夠被監(jiān)測(cè)到的反映大腦活動(dòng)的信號(hào)中,由于腦電信號(hào)(electroencephalogram,EEG)具有較好的時(shí)間分辨率,監(jiān)測(cè)儀器較簡(jiǎn)單,非入侵等優(yōu)點(diǎn),被大部分腦機(jī)接口系統(tǒng)所采納。
運(yùn)動(dòng)想象是在肢體不實(shí)際運(yùn)動(dòng)的情況下對(duì)肢體某個(gè)部分的潛在想象?;谶\(yùn)動(dòng)想象的腦機(jī)接口系統(tǒng)的生理依據(jù)是使用者在想象不同肢體運(yùn)動(dòng)時(shí),自主控制其大腦運(yùn)動(dòng)感覺皮層與所想象肢體對(duì)應(yīng)區(qū)域u節(jié)律或β節(jié)律的變化[6-7]。如何提取u節(jié)律或β節(jié)律的能量差異這種特征是運(yùn)動(dòng)與想象腦機(jī)接口系統(tǒng)的關(guān)鍵問題[2]。
目前,研究重點(diǎn)大多集中于嘗試新的腦電信號(hào)的提取算法,但提出的新算法相對(duì)于傳統(tǒng)算法的效果提升并不明顯[8-12],而利用提升算法來改進(jìn)已有的算法卻取得了較好的成果。劉錦等以交叉驗(yàn)證識(shí)別率為指標(biāo),剔除“低質(zhì)量”的數(shù)據(jù)集,識(shí)別率得到了有效的提升[13];牛曉青等利用遺傳算法進(jìn)行最優(yōu)特征集選擇,除去了冗余的特征信息,分類正確率提升效果明顯[14];單海軍等提出了一種Relief-SBS通道選擇算法,得到了出色的分類準(zhǔn)確率[15]。上述方法有效地提高了腦電信號(hào)分類正確率,但都只是對(duì)特征、通道或者數(shù)據(jù)進(jìn)行剔除,而未能增加有效的信息。
本研究提出了一種綜合考慮不同時(shí)間段分類結(jié)果,并且可以進(jìn)行數(shù)據(jù)篩選的提升方法。由于腦電信號(hào)具有較好的時(shí)間分辨率,且不同時(shí)間段對(duì)有效特征的貢獻(xiàn)率是不同的,因此本研究提出:利用CSP算法進(jìn)行不同時(shí)間段的特征提取,再利用遺傳算法得到不同時(shí)間段對(duì)分類正確率的貢獻(xiàn)率,即權(quán)值,最后對(duì)不同時(shí)間段結(jié)果加權(quán)得到最終分類結(jié)果及其可信度。利用本實(shí)驗(yàn)室采集的腦電信號(hào)進(jìn)行測(cè)試,測(cè)試結(jié)果證實(shí),該方法可以有效提高腦電信號(hào)分類準(zhǔn)確率,并且通過設(shè)置可信度閾值,可以進(jìn)行低質(zhì)量數(shù)據(jù)的剔除。
本研究的數(shù)據(jù)來源是本實(shí)驗(yàn)室采集的運(yùn)動(dòng)想象腦電數(shù)據(jù)。七名年齡在19~23歲的大學(xué)生志愿者每人采集了兩組數(shù)據(jù),一組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),一組數(shù)據(jù)作為測(cè)試數(shù)據(jù)。數(shù)據(jù)是在有視覺反饋提示的情況下獲得的。每次實(shí)驗(yàn)時(shí)間長(zhǎng)度為10 s, 在1 s的無提示準(zhǔn)備時(shí)間后,屏幕出現(xiàn)方向提示,提示時(shí)間1 s。之后被試進(jìn)行左手與右手的運(yùn)動(dòng)想象,想象時(shí)間為8 s。信號(hào)采集時(shí)序圖見圖1。
每名被試分兩天共記錄了兩組數(shù)據(jù)共400次實(shí)驗(yàn)數(shù)據(jù),其中一組200次實(shí)驗(yàn)數(shù)據(jù)用于確定權(quán)重,另一組200次數(shù)據(jù)用于算法測(cè)試。每一組200次實(shí)驗(yàn)數(shù)據(jù)中,都包含左手想象和右手想象各100次。整個(gè)實(shí)驗(yàn)采用Emotiv EPOC+電極帽進(jìn)行腦電信號(hào)采集,采樣頻率為128 Hz。
圖1 數(shù)據(jù)采集時(shí)序示意圖
2.2.1特征提取 共空域模式(common spatial pattern, CSP)算法是一種常見的空域?yàn)V波方法[16-19]。步驟如下:
若將實(shí)驗(yàn)測(cè)得的腦電數(shù)據(jù)表示為N×T的矩陣E,其中N為腦電測(cè)量的通道數(shù),T為腦電測(cè)量時(shí)每個(gè)通道的采樣點(diǎn)數(shù),那么歸一化的腦電數(shù)據(jù)協(xié)方差矩陣可以表示為:
(1)
若用C1和CR表示想左和想右兩種情況下的空間協(xié)方差矩陣。那我們可以應(yīng)用主成分分析法,對(duì)協(xié)方差矩陣的和C按式2進(jìn)行特征分解:
(2)
其中,λC為特征矩陣對(duì)角陣,F(xiàn)C為對(duì)應(yīng)的特征向量矩陣。那么,白化矩陣為:
(3)
則協(xié)方差矩陣CL和CR可以變換為:
SL=PCLPT=UλUT
(4)
SR=PCRPT=UλUT
(5)
SL和SR擁有共同的特征向量,即如果SL=BλLBT,則SR=BλRBT。不難得λR+λL=I,B是SL和SR共同的特征向量。由于兩類矩陣的特征值相加總是為1,則SL的最大特征值所對(duì)應(yīng)的特征向量使SR有最小的特征值,反之亦然。將白化后的EEG信號(hào)投影在特征向量B的前8和后8列特征向量上,就能夠得出最佳的分類特征。投影矩陣W=BTP,則單次任務(wù)實(shí)驗(yàn)的腦電數(shù)據(jù)E可以變換為Z=WE。
對(duì)于腦電特征的提取,可以將投影后的信號(hào)ZP(p=1,K,16)做如下變化后作為特征值[19]:
(6)
則特征向量為F=[f1,f2,…,f16]。
2.2.2特征分類 本研究采用支持向量機(jī)對(duì)提取的特征進(jìn)行二分類,將想象左和想象右分別應(yīng)標(biāo)記為1和-1[19-20]。10折交叉驗(yàn)證方法被用來數(shù)據(jù)訓(xùn)練,將想象左手、右手運(yùn)動(dòng)的各100組數(shù)據(jù)隨機(jī)分為10組互斥數(shù)據(jù),每組包括左手、右手各10組數(shù)據(jù)。每次用9組數(shù)據(jù)作為訓(xùn)練集,剩余一組為驗(yàn)證集,對(duì)每一秒都進(jìn)行訓(xùn)練和測(cè)試,最終得到想象左手、右手運(yùn)動(dòng)的各100組的分類結(jié)果。
2.2.3確定權(quán)重 由于腦電信號(hào)具有較好的時(shí)間分辨率,不同時(shí)間段的特征都具有較好的分類效果。在表1中可以看出每秒的正確率都在80%左右,一般只會(huì)取最高的時(shí)間段作為判斷的依據(jù),而忽視了其他時(shí)間段對(duì)最后結(jié)果的貢獻(xiàn),所以本研究采用加權(quán)各時(shí)間段的結(jié)果,從而獲得最終結(jié)果S:
(7)
常見的權(quán)重確定方法有專家打分法、層次分析法和模糊評(píng)價(jià)等。這些權(quán)重確定方法通常是憑經(jīng)驗(yàn)給出的,不能客觀地反映實(shí)際情況,評(píng)判結(jié)果可能“失真”[21]。本研究采用遺傳算法(genetic algorithm, GA)來客觀地獲得最有效的權(quán)重,遺傳算法的流程圖見圖2[22-25]。
(1)種群初始化 種群規(guī)模確定為100,每個(gè)個(gè)體對(duì)應(yīng)8個(gè)權(quán)重(i=1,2……7,8),采用二進(jìn)制編碼。進(jìn)化代數(shù)預(yù)設(shè)為100。
(2)適應(yīng)度函數(shù)的確定 將解碼后的權(quán)重Ki對(duì)不同時(shí)間段的分類Oi結(jié)果加權(quán),加權(quán)結(jié)果與實(shí)際結(jié)果G差距越小,適應(yīng)度越大;相反,適應(yīng)度越小。加入可變參數(shù)N,使得優(yōu)秀個(gè)體與普通個(gè)體適應(yīng)度差異增大,從而防止優(yōu)秀個(gè)體的丟失。適應(yīng)度函數(shù)定義如下:
(8)
注:N在本研究中取8。
圖2 遺傳算法流程圖
(3) 選擇、交配和變異 根據(jù)種群中每個(gè)個(gè)體的適應(yīng)度,輪盤選擇算法被用來選擇復(fù)制出新的種群;交配采用單點(diǎn)交叉法,交叉概率0.9;變異概率0.1,即每位二進(jìn)制數(shù)都有0.1的概率發(fā)生改變[25]。
通過10折交叉驗(yàn)證對(duì)不同時(shí)間段進(jìn)行10次訓(xùn)練和測(cè)試,得到每次交叉驗(yàn)證不同時(shí)間段的分類正確率,且求得不同時(shí)間段10次交叉驗(yàn)證正確率的平均值,結(jié)果見表1。
表1不同時(shí)間段的分類正確率
Table1Theaccuracyofclassificationfordifferenttimeperiods
10次交叉驗(yàn)證不同時(shí)間段正確率/s0-11-22~33~44~55~66~77~810.650.800.700.800.850.700.750.7020.850.800.750.800.850.800.800.9030.950.900.750.700.900.850.850.8040.750.850.800.650.800.650.800.8050.900.650.550.750.800.850.600.8060.800.800.600.700.950.750.800.6070.700.950.950.800.900.650.700.6080.850.750.950.750.550.850.750.7090.800.650.900.750.800.800.750.80100.850.850.750.800.900.850.800.70平均0.810.800.770.750.830.770.730.71
通過遺傳算法,進(jìn)行初始化種群,重復(fù)計(jì)算種群適應(yīng)度、種群選擇、交配和變異步驟,迭代100代,最大平均適應(yīng)度隨迭代次數(shù)變化曲線見圖3。
圖3 種群適應(yīng)度隨進(jìn)化代數(shù)的變化
從圖3可以看出遺傳算法迭代100代,種群達(dá)到較為穩(wěn)定狀態(tài),表明得到了目標(biāo)函數(shù)對(duì)應(yīng)的最優(yōu)解。圖中,藍(lán)色曲線代表最大適應(yīng)度隨進(jìn)化代數(shù)的變化曲線,紅色曲線代表平均適應(yīng)度隨進(jìn)化代數(shù)的變化曲線。
設(shè)置不同的可信度閾值,篩選出結(jié)果可信度高的結(jié)果。其中,可信度低的數(shù)據(jù)往往是低質(zhì)量,可以被剔除。得到可信測(cè)試數(shù)據(jù)的正確率和個(gè)數(shù)隨可信度閾值變化趨勢(shì),見圖4、圖5。
圖4 可信測(cè)試數(shù)據(jù)的正確率隨可信度閾值的變化
Fig4Thecorrectrateoftrustedtestdatavarieswiththethresholdofconfidence
圖5 可信測(cè)試數(shù)據(jù)的個(gè)數(shù)隨可信度閾值的變化
Fig5Thenumberoftrustedtestdatavarieswiththethresholdofconfidence
從圖4和圖5得知,可信測(cè)試數(shù)據(jù)的正確率隨可信度閾值的增大而增大,且正確率變得非常理想。但是,伴隨著的是可信測(cè)試數(shù)據(jù)的個(gè)數(shù)下降,即對(duì)數(shù)據(jù)質(zhì)量要求變高。
對(duì)七名被試的訓(xùn)練數(shù)據(jù)進(jìn)行上述權(quán)值及可信度計(jì)算,然后對(duì)每名被試的測(cè)試數(shù)據(jù)進(jìn)行測(cè)試。設(shè)置可信度閾值0.4,得到?jīng)]有加權(quán)綜合考慮前不同時(shí)間段的分類正確率和加權(quán)后分類正確率,見圖6。實(shí)驗(yàn)結(jié)果表明,設(shè)置了可信度閾值之后,算法明顯提高了分類精度。
圖6 加權(quán)前后正確率比較
Fig6Comparisonofcorrectnessbeforeandafterweighting
相較于傳統(tǒng)算法,新的特征提取算法提升效果不明顯[8-12],改進(jìn)和提升傳統(tǒng)算法是一個(gè)有效的途徑[13-15]。本研究提出了一種綜合考慮不同時(shí)間段分類結(jié)果,并且可以進(jìn)行數(shù)據(jù)篩選的提升方法。不同時(shí)間段的特征都具有較好的分類效果。從表1可以看出,不同時(shí)段交叉驗(yàn)證的平均正確率差別不大,均在0.7~0.8之間,說明每一時(shí)間段的特征都是有效的。而當(dāng)某一時(shí)間段判斷失誤時(shí),其他時(shí)間段大多數(shù)都為正確的預(yù)測(cè)結(jié)果,所以,加權(quán)每一時(shí)間段分類結(jié)果是十分必要的。而從圖6可以看出加權(quán)后的正確率由原來的80%左右上升到95%左右,且對(duì)7名被試人員都有效。這證明了該算法不但能夠明顯地提高準(zhǔn)確率,并且具有普適性。
此外,本研究提出的方法還得到了對(duì)應(yīng)結(jié)果的可信度,可信度越低說明各時(shí)間段判斷結(jié)果越不一致,進(jìn)而體現(xiàn)出數(shù)據(jù)的質(zhì)量越差。腦電信號(hào)易受干擾,采集到的數(shù)據(jù)往往不能直接用來作為識(shí)別運(yùn)動(dòng)想象的準(zhǔn)確識(shí)別。通過設(shè)定閾值,可以剔除低質(zhì)量的信號(hào),進(jìn)而提高了準(zhǔn)確率。從圖4可以看出準(zhǔn)確率隨著閾值的提高逐漸變高,甚至可以達(dá)到100%。但在圖5中可以看出,閾值的提高對(duì)數(shù)據(jù)的質(zhì)量的要求也隨之變高,即有效數(shù)據(jù)的數(shù)量迅速下降。所以,根據(jù)對(duì)正確率要求和數(shù)據(jù)質(zhì)量的實(shí)際情況,閾值可以進(jìn)行適當(dāng)?shù)卣{(diào)整。本研究中設(shè)置可信度閾值為0.4,在保證數(shù)據(jù)個(gè)數(shù)的前提下,正確率即可達(dá)到95%。
目前提升算法主要是對(duì)特征、通道或者數(shù)據(jù)進(jìn)行選擇,即剔除無效的特征和通道或者剔除低質(zhì)量的數(shù)據(jù),而未能增加有效的信息,而僅僅利用減少冗余信息使得分類器更容易分類,所以改善的效果相對(duì)較差。而本研究提出的算法可以綜合不同時(shí)間段的分類結(jié)果,分類效果提升更加明顯。此外,本方法還能得到分類結(jié)果的可信度。設(shè)置可信度的閾值可以剔除低質(zhì)量的信號(hào),從而提高算法識(shí)別的正確率。同時(shí),該方法還可以與其他特征提取方法相結(jié)合,對(duì)不同時(shí)、頻特性進(jìn)行有效性及可信度計(jì)算,提升分類準(zhǔn)確率。
為了綜合考慮不同時(shí)間段腦電信號(hào)特征的分類結(jié)果,提高分類準(zhǔn)確率,本研究通過CSP算法求得不同時(shí)間段的特征,以支持向量機(jī)為分類器,通過10折交叉驗(yàn)證法對(duì)不同時(shí)間段進(jìn)行訓(xùn)練和測(cè)試,以降低加權(quán)后的分類結(jié)果與實(shí)際結(jié)果之間歐式距離為目的,通過GA確定權(quán)重K。隨后,對(duì)不同時(shí)間分類結(jié)果加權(quán)。本研究同時(shí)討論了可信度閾值的作用,通過設(shè)定可信度閾值,可以選擇最有效的時(shí)間段數(shù)據(jù),摒棄無效數(shù)據(jù),從而大幅度提高正確率。本研究利用實(shí)驗(yàn)室測(cè)試數(shù)據(jù)進(jìn)行驗(yàn)證,在可信度閾值設(shè)置為0.4,引入了不同時(shí)間段的權(quán)值之后,分類準(zhǔn)確率由原來的80%左右上升到95%左右。
本研究提出的方法不僅可以綜合考慮不同時(shí)間段分類結(jié)果,還可以綜合考慮不同算法或不同時(shí)、頻特征得到分類結(jié)果。如何確定更優(yōu)的權(quán)重、以及加權(quán)對(duì)象選擇有待更進(jìn)一步的研究,也是本方法的潛力所在。
致謝
感謝本實(shí)驗(yàn)室翟文文、于冬雪、高楓提供了實(shí)驗(yàn)數(shù)據(jù)。