許敏鵬 羅睿心 韓錦 孟佳圓 明東
(1.天津大學(xué)精密儀器與光電子工程學(xué)院,天津 300072;2.天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院,天津 300072)
腦-機接口(brain-computer interface,BCI)為大腦與外部環(huán)境之間提供了一種無需依賴周圍神經(jīng)的直接通訊通路,能夠替代、修復(fù)、增強、補充或改善正常的神經(jīng)系統(tǒng)功能[1-2]。相較于功能性近紅外成像、腦磁圖、皮層腦電等大腦信息獲取方式來說,腦電圖(electroencephalogram,EEG)具有無創(chuàng)傷、價格低廉、便攜和高時間分辨率的優(yōu)點,在腦-機接口領(lǐng)域顯示出了巨大的應(yīng)用價值[3]。目前研究中,用于編碼腦-機接口系統(tǒng)的常見EEG 信號主要包括P300 誘發(fā)電位[4-6]、運動想象[7]、穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential,SSVEP)[8-10]等。其中,穩(wěn)態(tài)視覺誘發(fā)電位是指在一定頻率的視覺刺激下,人的大腦會受到調(diào)制而產(chǎn)生的具有刺激基波和諧波成分的電信號[11],能夠在枕區(qū)被明顯觀察到。
近年來,基于穩(wěn)態(tài)視覺誘發(fā)電位的腦-機接口(SSVEP-BCI)系統(tǒng)具有高信噪比、高信息傳輸速率和用戶所需訓(xùn)練時間短的優(yōu)勢,受到了研究者們的廣泛關(guān)注。SSVEP-BCI系統(tǒng)的刺激閃爍頻率可以被劃分為低頻帶(5~15Hz)、中頻帶(15~30Hz)和高頻帶(30Hz 以上)[12]。低、中頻帶誘發(fā)SSVEP 信號幅值更大,常用來編碼刺激指令。然而,明顯的閃爍刺激容易引起用戶產(chǎn)生疲勞甚至誘發(fā)光敏性癲癇[13],舒適性和安全性均較差,導(dǎo)致SSVEP-BCI 系統(tǒng)走向?qū)嶋H應(yīng)用受到了限制。
為了突破此限制,進一步構(gòu)建舒適、友好的實用型SSVEP-BCI系統(tǒng),研究人員從優(yōu)化刺激參數(shù)、改進閃爍形式等方面展開了相關(guān)研究。早在2005年時,Wang 等人[12]發(fā)現(xiàn)高頻段刺激下的SSVEP 信號幅度較低,但是由于背景噪聲也變?nèi)?,因此具有和中低頻相當(dāng)?shù)男旁氡?。高頻SSVEP-BCI 系統(tǒng)能夠使用戶更加舒適和安全,正在逐漸受到重視。SSVEP 信號的誘發(fā)強度與刺激顏色和亮度也密切相關(guān)。Sakurada 等人[14]在2015 年的研究表明,高亮度的綠色和低亮度的藍(lán)色交替閃爍能夠在減緩視疲勞的同時,獲得較強的SSVEP 信號。除了刺激頻率、亮度、顏色等參數(shù)對SSVEP 信號強度的影響,研究人員還通過改變閃爍形式來減弱SSVEP-BCI 系統(tǒng)刺激帶來的不適感。2012 年,Xie 等人[15]利用圖像運動代替光閃爍的方式,設(shè)計了穩(wěn)態(tài)運動的牛頓環(huán)刺激,能夠誘發(fā)出穩(wěn)定有效的SSVEP 信號。Xu 等人[16]在2018 年的工作中采用了位于周邊視野的微弱視覺刺激,首次開發(fā)了基于非對稱視覺誘發(fā)電位的新型腦-機接口系統(tǒng)。非中央視野的視覺刺激可以降低視覺負(fù)荷,減輕視覺疲勞,相關(guān)研究也隨之涌現(xiàn)[17-18]。
除了刺激頻率、亮度、顏色和閃爍形式外,刺激的視野面積也是影響SSVEP-BCI 系統(tǒng)性能的一個重要因素[19-21]。傳統(tǒng)的SSVEP-BCI系統(tǒng)通常傾向于使用占據(jù)視野較大區(qū)域的閃爍刺激,以誘發(fā)出更明顯的EEG 特征。然而,較大的刺激視野面積會占用更多的視覺資源,在長時間的注視下會導(dǎo)致受試者疲勞、緊張,甚至是頭痛[16]。刺激的視野面積越小,用戶所能感受到的閃爍感越弱,使用更加舒適。但較小的刺激視野面積會導(dǎo)致誘發(fā)的SSVEP 信號強度變?nèi)酰斐勺R別困難。因此,選擇適當(dāng)?shù)拇碳ひ曇懊娣e大小能夠在一定程度上平衡系統(tǒng)的舒適度和識別性能之間的關(guān)系,具有重要的研究意義。Duszyk等人[19]利用4個不同角度尺寸下的閃爍刺激探究了刺激視野面積對SSVEP-BCI 系統(tǒng)的影響,認(rèn)為SSVEP-BCI 系統(tǒng)的刺激視野面積應(yīng)該盡可能大。而Ng 等人[20]的研究提到,占據(jù)視野面積越大的刺激誘發(fā)的SSVEP 響應(yīng)越強,但可能會達(dá)到瓶頸。由于文獻[19]和文獻[20]中研究的角度尺寸數(shù)量有限,且未覆蓋全尺寸全角度,僅探究了較小刺激視野面積下的系統(tǒng)性能(文獻[19]中數(shù)量為4,范圍為0.57°至3.72°;文獻[20]數(shù)量為6,范圍為0.67°至8.9°),難以全面刻畫SSVEP 信號隨刺激視野面積增大的變化趨勢,因此尚無統(tǒng)一結(jié)論。除此之外,以往關(guān)于刺激視野面積的研究均采用靈活性差的發(fā)光二極管(light emitting diode,LED)來呈現(xiàn)閃爍刺激,并且刺激頻率局限于10~30Hz 的中低頻范圍內(nèi),其研究結(jié)論并不適用于實用型SSVEP-BCI 系統(tǒng)的刺激視野面積選擇。
針對此問題,本文采用液晶顯示器(liquid crystal display,LCD)作為刺激呈現(xiàn)裝置,在7.5 Hz、15 Hz、30 Hz 和60 Hz 共4 個頻率下,探究不同大小的刺激視野面積(以角度尺寸進行衡量,范圍為0.1°至13°)對SSVEP 信號的影響。本文研究結(jié)果能夠為SSVEP-BCI 系統(tǒng)的刺激視野面積選擇提供依據(jù),進一步為構(gòu)建舒適友好型SSVEP-BCI 系統(tǒng)提供關(guān)鍵技術(shù)支持。
共15名受試者參與離線腦電采集實驗,其中有男性10 名,女性5 名。受試者年齡在20 至24 歲之間,為正常視力或矯正至正常視力。實驗前,所有受試者均明確了實驗流程和注意事項,并簽署了知情同意書。
本實驗中,刺激的視野面積大小由角度尺寸進行衡量。刺激的角度尺寸β的計算定義為:
式中,D為方形閃爍刺激的邊長;S為人眼到屏幕的距離,實驗中被固定為60 cm。刺激的角度尺寸變化范圍為0.1°至13°,通過改變參數(shù)D來控制角度尺寸的變化。其中,0.1°至5.9°范圍內(nèi)角度尺寸選擇的變化步長為0.4°,6°至13°范圍內(nèi)的變化步長則為1°,共有22 個角度尺寸。在一組實驗中,不同角度尺寸下的單刺激閃爍以偽隨機序列依次呈現(xiàn)在視野中央[20-22]。
實驗共采集了橫跨低、中、高頻帶的7.5 Hz、15 Hz、30 Hz 和60 Hz 共計4 個頻率的信號,每個頻率下各采集10 組實驗數(shù)據(jù)。每組實驗包括22 個試次,不同試次下刺激的角度尺寸各不相同,刺激呈現(xiàn)時間為2 s,相鄰試次間的間隙時間為1 s(圖1)。利用正弦采樣編碼的方法來編碼刺激亮度,可以克服屏幕刷新率帶來的限制。除此之外,每組實驗結(jié)束后,受試者需要短暫的休息,以減小視覺疲勞對實驗結(jié)果造成的不良影響。
圖1 實驗流程示意圖Fig.1 Schematic diagram of the experimental
實驗刺激呈現(xiàn)裝置為24 英寸、頻率刷新率為240 Hz 的LCD 顯示屏,刺激程序由MATLAB 中的Psychphysic toolbox v3.0.15工具包編寫。使用Neuroscan Synamps2 腦電放大器和配套采集軟件記錄64 導(dǎo)腦電信號,導(dǎo)聯(lián)放置遵循國際10-20 標(biāo)準(zhǔn)。其中,采樣率為1000 Hz,設(shè)置記錄信號的濾波范圍為直流(DC)到200 Hz,50 Hz陷波器去除工頻干擾,受試者的頭皮阻抗保持在10 kΩ以下。
數(shù)據(jù)分析過程中,首先對數(shù)據(jù)進行預(yù)處理,然后通過計算相關(guān)參數(shù)來建立起刺激的角度尺寸與SSVEP 信號強度之間的關(guān)系(圖2)。一方面,SSVEP 信號中包含刺激頻率的基波與若干諧波頻率成分,需要具體分析基波與諧波強度分別隨角度尺寸變化的趨勢。另一方面,利用現(xiàn)有的空間濾波算法可以計算包含基波和諧波在內(nèi)的SSVEP 信號的判別系數(shù),用于表征信號的總體強度變化趨勢。最后,在不同角度尺寸下,對4個頻率數(shù)據(jù)進行分類識別,直觀表示刺激的角度尺寸對SSVEP-BCI 系統(tǒng)識別性能的影響。
圖2 數(shù)據(jù)分析流程圖Fig.2 Data processing and analysis framework
將采集到的腦電信號降采樣至500 Hz,由于SSVEP 信號在枕區(qū)強度最大,選取SSVEP-BCI 相關(guān)研究中常用的枕區(qū)周圍9 個導(dǎo)聯(lián)(PZ、PO5、PO3、POZ、PO4、PO6、O1、OZ 和O2)[8-10]信號用于后續(xù)分析。按照與刺激同步的事件觸發(fā)信號對原始信號進行截取,獲得多個與事件相關(guān)的分段數(shù)據(jù)。考慮到SSVEP 信號通常具有140 ms 的延遲(潛伏期),分段數(shù)據(jù)從刺激后的0.14 s 截取至刺激后的2.14 s。
采用I 型切比雪夫濾波器進行濾波處理,不同分析方法下濾波范圍的設(shè)置不同。在基波與諧波變化分析中,幅值和信噪比的計算無需進行濾波處理,典型相關(guān)系數(shù)、任務(wù)相關(guān)系數(shù)的計算需要盡可能濾除除目標(biāo)頻率外的其他頻率,濾波范圍設(shè)置為[(f-5)Hz,(f+5)Hz],其中f代表對應(yīng)的任一頻率刺激下的基波或諧波頻率;在總體強度分析中,需要保留信號的基波和n次諧波(本文分析中n設(shè)置為3),濾波范圍設(shè)置為[(f-5)Hz,(f×n+5)Hz],f代表刺激頻率;在分類識別中,不同頻率下數(shù)據(jù)的濾波范圍均設(shè)置為[6 Hz,185 Hz]。
通過單導(dǎo)聯(lián)的幅值和信噪比來衡量基波和諧波的信號強度,本文中選擇OZ 導(dǎo)聯(lián)處信號,信號時長為2 s。具體來說,將同一受試者在相同角度尺寸下的10 組數(shù)據(jù)進行疊加平均,計算幅值和信噪比后,再對15名受試者的結(jié)果取均值。
采用MATLAB 中的快速傅里葉變換函數(shù)ff(t)得到幅度譜y(f),變換點數(shù)為1000。信噪比(signal-to-noise ratio,SNR)定義為目標(biāo)頻率與周圍若干頻率的幅值之間的比值(dB),計算方式如下:
式中,Δf代表頻譜分辨率,此處為0.5 Hz;n代表周圍頻率的數(shù)量,本文分析中設(shè)置為8。
典型相關(guān)分析(canonical correlation analysis,CCA)目前已被廣泛用于SSVEP 信號的檢測中[23]。令多通道EEG 信號表示為X∈RNc×Np,某一頻率下含有若干諧波成分的正余弦參考信號表示為Yf∈R2Nh×Np,如式(3)所示。其中Np為信號的采樣點數(shù)、Nc為導(dǎo)聯(lián)數(shù)量、Nh為參考信號所包含的諧波次數(shù)、fs表示信號的采樣率。
CCA算法的目標(biāo)就是尋找空間濾波器u和v,使得降維后的XTu和YfTv之間的相關(guān)性最大,其優(yōu)化目標(biāo)可以表示為:
本文分析中,利用單試次腦電信號與對應(yīng)頻率的參考信號進行CCA 降維后,獲得相關(guān)系數(shù)來表征不同角度尺寸下誘發(fā)的SSVEP 信號中對應(yīng)頻率成分強度,最后對15 名受試者、10 組實驗的結(jié)果取均值。在基波與諧波變化分析中,參考信號的諧波次數(shù)Nh設(shè)置為1,僅包含對應(yīng)頻率的正余弦序列;在總體強度變化分析中,設(shè)置為3。
任務(wù)相關(guān)成分分析(task related component analysis,TRCA)將信號劃分為任務(wù)相關(guān)信號和任務(wù)不相關(guān)信號,其實質(zhì)是最大化多個相同任務(wù)下信號的相似性來提取任務(wù)相關(guān)的成分[24]。Nakanishi等人在2018 年時首次將TRCA 算法應(yīng)用到SSVEP信號的分類識別中,其識別準(zhǔn)確率優(yōu)于以CCA 為代表的空間濾波方法。
假設(shè)相同任務(wù)下的多通道EEG 信號表示為X∈RNc×Np×Nt,其中Nt為試次數(shù)量,x(jh)(t)代表第h個試次、第j個導(dǎo)聯(lián)的腦電序列。TRCA 算法的目標(biāo)就是尋找空間濾波器w=[w1,w2,...,wNc],使得相同任務(wù)下信號的總協(xié)方差最大,協(xié)方差總和可以表示為:
為了獲得唯一解,將方差限定為1,表示為:
式(5)、(6)中,h1、h2代表不同的試次,j1、j2代表不同的導(dǎo)聯(lián),Cov(a,b)是指向量a和b之間的協(xié)方差。簡化式子后,優(yōu)化目標(biāo)可以表示為:
在基波與諧波變化分析、總體強度變化分析中,使用留一法策略計算得到的TRCA 系數(shù)可以表征SSVEP 信號中與任務(wù)相關(guān)的成分強度。具體來說,在同一角度尺寸下,將某一組實驗信號看作目標(biāo)信號,其余信號看作訓(xùn)練信號,用于獲得空間濾波器和平均模板。計算目標(biāo)信號和平均模板經(jīng)過投影后獲得的相關(guān)系數(shù),最后對15 名受試者、10 組實驗的結(jié)果取均值。
在分類識別中,采用與上文一致的留一法策略,TRCA 系數(shù)作為頻率判別的決策系數(shù),計算15名受試者、10組實驗獲得的平均分類準(zhǔn)確率。
使用“統(tǒng)計產(chǎn)品與服務(wù)解決方案”軟件(statistical product service solutions,SPSS)進行統(tǒng)計學(xué)檢驗。具體來說,采用單因素重復(fù)測量方差分析(oneway repeated measures analysis of variance,One-way RMANOVA)探究刺激的角度尺寸對分析參數(shù)的影響,當(dāng)數(shù)據(jù)未通過球度檢驗(Mauchly’s test of sphericity)時,對結(jié)果進行格林豪斯-蓋斯勒校正(Greenhouse-Geisser correction)。
在7.5 Hz、15 Hz、30 Hz 和60 Hz 四個頻率下,分別對15 名受試者、22 個角度尺寸、10 組實驗的數(shù)據(jù)進行疊加平均,繪制出了OZ 導(dǎo)聯(lián)處的平均波形和頻譜,如圖3 所示??梢钥闯觯?.5 Hz 和15 Hz 刺激下的SSVEP 信號幅值最高,其次為30 Hz,60 Hz刺激所誘發(fā)的SSVEP 信號最弱。另外,除了60 Hz刺激以外,其余3 個頻率均能夠誘發(fā)出較明顯的諧波成分。
圖3 SSVEP信號平均波形和頻譜圖(由上至下依次為7.5 Hz,15 Hz,30 Hz,60 Hz)Fig.3 Average waveform and spectrogram of SSVEPs(7.5 Hz,15 Hz,30 Hz,60 Hz,top to bottom)
單因素重復(fù)測量方差分析的結(jié)果表明,刺激的角度尺寸對SSVEP 的基波和二次諧波成分具有顯著影響(p<0.001),如表1 所示。圖4、圖5 分別所示的是不同刺激頻率下SSVEP 信號基波與二次諧波變化情況,采用Oz 導(dǎo)聯(lián)處幅值和信噪比、9 導(dǎo)聯(lián)下計算得到的CCA 系數(shù)和TRCA 系數(shù)作為分析參數(shù)。由于60 Hz 刺激下沒有較明顯的二次諧波成分,因此僅分析了該頻率下的基波成分。從圖4、圖5 中可知,隨著刺激角度尺寸的增大,SSVEP 信號基波和二次諧波成分的信噪比、CCA 系數(shù)和TRCA 系數(shù)均呈現(xiàn)出先增大再保持平穩(wěn)的趨勢。圖4(a)和圖5(a)表示的幅值在角度尺寸較大時仍然還有緩慢上升的趨勢,但上升的幅度也逐漸變小。除此之外,由于60 Hz 刺激下SSVEP 信號強度微弱,圖4 中60 Hz 基波變化曲線上下浮動較大,然而趨勢走向也同樣符合上文所述的先上升再平緩趨勢。
圖4 不同頻率刺激下SSVEP信號基波成分的變化趨勢Fig.4 Trend of SSVEP fundamental wave at different stimulus frequencies
圖5 不同頻率刺激下SSVEP信號二次諧波成分的變化趨勢Fig.5 Trend of SSVEP second harmonic at different stimulus frequencies
表1 單因素重復(fù)測量方差分析結(jié)果Tab.1 One-way RMANOVA results
單因素重復(fù)測量方差分析的結(jié)果表明,刺激的角度尺寸對SSVEP 的總體強度具有顯著影響(p<0.05),如表1 所示。圖6 所示的是不同刺激頻率下SSVEP 信號總體強度變化情況,用CCA 系數(shù)和TRCA 系數(shù)作為分析參數(shù),圖中不同顏色的陰影區(qū)代表相應(yīng)曲線的標(biāo)準(zhǔn)差??梢钥闯觯c基波和二次諧波的變化趨勢一致,隨著刺激角度尺寸的增大,SSVEP 信號總體強度同樣呈現(xiàn)出先增大再保持平穩(wěn)的趨勢。
圖6 不同頻率刺激下SSVEP信號的總體變化趨勢Fig.6 Overall trend of SSVEP at different stimulus frequencies
以上結(jié)果均為SSVEP 信號相關(guān)參數(shù)的變化趨勢,而分類結(jié)果能夠直觀反映出不同角度尺寸下系統(tǒng)識別性能的差異。單因素重復(fù)測量方差分析的結(jié)果表明,刺激的角度尺寸對SSVEP 的分類準(zhǔn)確率具有顯著影響(p<0.001),如表1 所示。圖7 繪制了7.5 Hz、15 Hz、30 Hz 和60 Hz 四個類別利用TRCA算法進行分類識別的結(jié)果,不同顏色柱狀圖分別代表了不同的信號時長。所述四個刺激頻率的基波和諧波有重合(例如7.5 Hz 的四次諧波、15 Hz 的二次諧波均與30 Hz 的基波頻率相同),因此未采用CCA 算法進行分類識別。圖7 中結(jié)果表明,當(dāng)刺激角度尺寸增大至3°左右后,分類準(zhǔn)確率的增長開始變緩并保持平穩(wěn),與上文中基波和諧波變化情況、總體強度變化趨勢保持一致。
圖7 不同刺激角度尺寸下分類準(zhǔn)確率變化趨勢Fig.7 Trend of classification accuracy with different angle sizes
本文探究了目標(biāo)刺激的視野面積(即角度尺寸大?。SVEP 信號的影響作用,從基波與諧波、總體強度和分類識別三個角度建立了視野面積與SSVEP 信號強度之間的關(guān)系。結(jié)果表明,無論在低頻、中頻還是高頻刺激下,SSVEP 信號強度最初隨刺激角度尺寸的增大而增大,但在角度尺寸達(dá)到3°左右后增長開始變緩并保持平穩(wěn)。
在視覺產(chǎn)生的中樞機制中,“on型”和“off型”感受野中心區(qū)域和周圍區(qū)域之間的相互作用被稱為中心-周圍拮抗機制,其感知結(jié)果在感覺輸入足夠強時表現(xiàn)為周圍抑制[25]。SSVEP 信號強度隨刺激視野面積增大時呈現(xiàn)出先增大后平緩的趨勢,或是由于在視野面積較大時周邊視野產(chǎn)生了抑制作用。除此之外,分析結(jié)果發(fā)現(xiàn),幅值的變化規(guī)律與其余分析參數(shù)略有不同,在視野面積較大時還有緩慢上升的趨勢??梢哉J(rèn)為,刺激視野面積的增大可能同時誘發(fā)了更加活躍的自發(fā)腦電活動,SSVEP 信號中干擾也隨之變強。因此,即使幅值還在小幅度增大,但是,信噪比等參數(shù)基本不再升高。
刺激視野面積大小是影響SSVEP-BCI 系統(tǒng)性能的一個重要因素,主要體現(xiàn)在兩點:一方面,刺激的視野面積越小,用戶所能感受到的閃爍感越弱,使用更加舒適;另一方面,刺激的視野面積越小,一定尺寸下的刺激裝置上所能呈現(xiàn)的指令數(shù)量越多。從SSVEP-BCI 系統(tǒng)的舒適性和指令數(shù)量兩個指標(biāo)來看,刺激的視野面積應(yīng)越小越好,但較小視野面積的刺激所誘發(fā)的SSVEP 信號強度小、系統(tǒng)的識別準(zhǔn)確率低。因此,綜合本文研究結(jié)果可以認(rèn)為,在保證SSVEP 信號質(zhì)量的情況下,SSVEP-BCI 系統(tǒng)的最佳刺激角度尺寸選擇約為3°。在刺激角度尺寸為3°時,同時考慮SSVEP-BCI 系統(tǒng)中常用的刺激間隙[24],本文中的24英寸顯示器上最多可以呈現(xiàn)排布為6×11 的66 個刺激目標(biāo)。值得注意的是,本文結(jié)論與基于編碼調(diào)制視覺誘發(fā)電位(code modulation visual evoked potentials,cVEP)的BCI系統(tǒng)最佳刺激角度尺寸[22]的研究結(jié)果相似。
本文研究發(fā)現(xiàn),SSVEP 信號強度隨刺激角度尺寸的增大呈現(xiàn)出先增大后平緩的趨勢,SSVEPBCI 系統(tǒng)的刺激角度尺寸約為3°時能夠達(dá)到最佳性能。這一結(jié)論為SSVEP 刺激的視野面積選擇提供了依據(jù),有助于構(gòu)建舒適友好型的SSVEP-BCI系統(tǒng)。此外,該結(jié)論同樣適用于利用SSVEP 信號進行認(rèn)知功能研究(視覺注意、雙目競爭等)、臨床神經(jīng)科學(xué)研究(青光眼、精神分裂癥等)的刺激角度尺寸選擇,可以降低患者長時間注視閃爍刺激的不適感。