安興偉，曹?勇，綦宏志，焦學(xué)軍，明?東1,*

?

語(yǔ)義匹配性及刺激間隔對(duì)視聽雙模態(tài)腦控字符輸入系統(tǒng)的影響

安興偉1+，曹?勇2+，綦宏志3，焦學(xué)軍2*，明?東1,3*

(1. 天津大學(xué)醫(yī)學(xué)工程與轉(zhuǎn)化醫(yī)學(xué)研究院，天津 300072；2. 中國(guó)航天員科研訓(xùn)練中心人因工程國(guó)防科技重點(diǎn)實(shí)驗(yàn)室，北京 100092；3. 天津大學(xué)精密儀器與光電子工程學(xué)院，天津 300072)

近年來(lái)，基于事件相關(guān)電位(ERP)的腦控字符輸入系統(tǒng)的研究越來(lái)越多，視覺與聽覺的多模態(tài)刺激范式作為一種新型的復(fù)合刺激越來(lái)越受到關(guān)注．然而，研究視聽雙模態(tài)刺激的腦控字符輸入系統(tǒng)性能因素的文章卻很少報(bào)道．本研究旨在初步探究視聽覺刺激的語(yǔ)義匹配性以及刺激間隔(SOA)對(duì)視聽雙模態(tài)腦控字符輸入系統(tǒng)的影響．為此，本研究設(shè)計(jì)了語(yǔ)義匹配、語(yǔ)義失配兩種刺激范式，每種范式又設(shè)置兩種不同的刺激間隔(200,ms或400,ms)．10名健康被試參與了本實(shí)驗(yàn)，通過(guò)對(duì)比事件相關(guān)電位特征、可分性及分類正確率發(fā)現(xiàn)視聽覺匹配性、刺激間隔以及兩者交互作用對(duì)非目標(biāo)刺激大腦反應(yīng)、目標(biāo)刺激大腦反應(yīng)及其可分性都有顯著性影響，且視聽覺的匹配性對(duì)視聽聯(lián)合腦控字符輸入系統(tǒng)分類正確率影響顯著，但是不同刺激間隔腦機(jī)接口分類正確率之間并無(wú)顯著性差異．本研究的結(jié)果能夠?yàn)榛陔p模態(tài)刺激腦控字符輸入系統(tǒng)的范式選擇和優(yōu)化提供一定的指導(dǎo)意見．

腦機(jī)接口；事件相關(guān)電位；雙模態(tài)；刺激間隔

近年來(lái)，腦機(jī)接口(brain computer interface，BCI)技術(shù)的迅猛發(fā)展為飽受肌肉癱瘓或者肌萎縮性脊髓側(cè)索硬化癥(amyotrophic lateral sclerosis，ALS)折磨的患者提供了一種創(chuàng)新型與外界環(huán)境交流的方式[1]．確切來(lái)說(shuō)，BCI能夠?qū)⒋竽X活動(dòng)的信號(hào)轉(zhuǎn)變?yōu)榭刂菩盘?hào)，以操作特定的外界設(shè)備，進(jìn)而幫助患者在沒有肌肉參與的情況下實(shí)現(xiàn)與外部環(huán)境的交互[2]．在BCI研究中，事件相關(guān)電位(event related potential，ERP)是一種備受研究者們青睞的腦電信號(hào)．相比于其他常用的基于腦電信號(hào)的BCI而言，如基于穩(wěn)態(tài)視覺誘發(fā)電位(stable state visual elicited potential，SSVEP)的BCI和基于運(yùn)動(dòng)想象(motor imagery，MI)的BCI，基于ERP的腦機(jī)接口系統(tǒng)通常被認(rèn)為更穩(wěn)定和高效[3]．

在基于ERP腦機(jī)接口的相關(guān)研究中，又以腦控字符輸入系統(tǒng)的研究最為廣泛成熟．ERP在20世紀(jì)60年代首次被Walter等[4]檢測(cè)到，是與特定事件的發(fā)生和大腦對(duì)該事件的認(rèn)知加工過(guò)程密切相關(guān)的大腦信號(hào)．P300是ERP中的1個(gè)重要組成成分，是事件發(fā)生后300,ms左右出現(xiàn)的1個(gè)正向峰值電位，通常由OddBall范式[5]誘發(fā)得到．在過(guò)去的幾十年里，BCI研究領(lǐng)域的先驅(qū)者們已開發(fā)了許多非常經(jīng)典的適用于P300腦控字符輸入系統(tǒng)的刺激范式．其中，尤以1988年Farwell等[6]提出的6×6字符矩陣最為經(jīng)典，并被沿用至今．在該范式中，1個(gè)6×6的字符矩陣被呈現(xiàn)在屏幕上，并按照先逐行再逐列順序(或相反)隨機(jī)閃爍．用戶被要求只注意目標(biāo)字符閃爍而忽略其他閃爍，以此來(lái)組成OddBall范式誘發(fā)出P300響應(yīng)．但一些研究者指出，字符矩陣范式的性能在很大程度上依賴于使用者的注視轉(zhuǎn)移能力[7-8]，因此該范式對(duì)眼動(dòng)控制受限患者具有一定的局限性．為解決這一難題，獨(dú)立于眼動(dòng)控制的視覺刺激范式應(yīng)運(yùn)而生[9]．除此之外，一些基于其他感官刺激的單模態(tài)范式，如聽覺和觸覺等也被提出[10-12]．不過(guò)，這些單模態(tài)范式共同的弱點(diǎn)是系統(tǒng)性能表現(xiàn)與視覺刺激范式相比具有明顯不足[13]．

隨著生物醫(yī)學(xué)工程學(xué)科的持續(xù)進(jìn)步，使用者們對(duì)字符輸入系統(tǒng)的表現(xiàn)性能和用戶主觀體驗(yàn)也提出了越來(lái)越高的要求．綜合考慮到眼動(dòng)能力限制等問(wèn)題，結(jié)合視覺聽覺雙重刺激的多模態(tài)BCI范式[14-18]慢慢走向研究者們的視野．2011年，Belitski等[17]開展了1項(xiàng)在線視聽雙模態(tài)刺激實(shí)驗(yàn)，實(shí)驗(yàn)主要為基于聲音刺激的字符輸入系統(tǒng)，采用視覺刺激提供字符所在位置信息進(jìn)而便于受試者了解目標(biāo)刺激與非目標(biāo)刺激，實(shí)驗(yàn)得出具有視覺提示的范式其性能高于僅聽覺刺激性能的結(jié)論．同樣的結(jié)論在Wang等[15]的研究中也被證實(shí)．此外，該研究還發(fā)現(xiàn)多模態(tài)刺激下的大腦活躍度明顯強(qiáng)于單模態(tài)刺激，且視聽聯(lián)合刺激的腦電響應(yīng)與視覺、聽覺刺激的腦電響應(yīng)加和之間也存在顯著性的差異．An等[14]從行為學(xué)和ERP數(shù)據(jù)兩個(gè)角度詳細(xì)探究了獨(dú)立于眼動(dòng)的隱性視聽聯(lián)合范式，其結(jié)果表明行為學(xué)數(shù)據(jù)以及大腦活躍度在雙模態(tài)刺激和單模態(tài)刺激之間都存在顯著性的差異．

在基于ERP的腦機(jī)接口系統(tǒng)中，不同的系統(tǒng)設(shè)置參數(shù)對(duì)系統(tǒng)的性能會(huì)產(chǎn)生較大的影響．然而針對(duì)影響視聽雙模態(tài)刺激腦控字符輸入系統(tǒng)性能影響因素的研究卻鮮有報(bào)道．文獻(xiàn)[19-20]分別探究了刺激閃爍頻率和刺激時(shí)間間隔特征對(duì)系統(tǒng)性能的影響，但該結(jié)果僅在傳統(tǒng)的字符矩陣實(shí)驗(yàn)下得出，在視聽聯(lián)合刺激下是否依然成立仍需實(shí)驗(yàn)論證．文獻(xiàn)[14-15，21]詳細(xì)對(duì)比了視聽聯(lián)合刺激與僅視覺、僅聽覺刺激在系統(tǒng)性能和大腦特性響應(yīng)之間的區(qū)別，但是該實(shí)驗(yàn)并沒有分析影響視聽雙模態(tài)刺激范式性能因素．為此，筆者研究了視聽聯(lián)合刺激視覺與聽覺之間語(yǔ)義匹配性以及相鄰刺激時(shí)間間隔(stimulus-onset asynchrony，SOA)對(duì)腦控字符輸入系統(tǒng)性能和大腦響應(yīng)特性的影響．

1?方法與實(shí)驗(yàn)

1.1?受試者

本研究招募了10名年齡在22～33歲(23.9±1.14歲)之間的健康被試，均是在校大學(xué)生，且所有被試具有正常的聽力和正?；蛘咝Ｕ秸５囊暳Γ畬?shí)驗(yàn)展開之前，所有的被試都提供了書面同意協(xié)議書，志愿無(wú)償參與本次實(shí)驗(yàn)．

1.2?實(shí)驗(yàn)刺激與流程

實(shí)驗(yàn)設(shè)計(jì)了語(yǔ)義匹配和語(yǔ)義失配兩種刺激模式，兩種模式又均設(shè)置兩種不同的刺激時(shí)間間隔SOA(S：200,ms；L：400,ms)，即實(shí)驗(yàn)總共4種刺激范式．將4種范式分別稱為語(yǔ)義匹配長(zhǎng)間隔范式(L-C)、語(yǔ)義匹配短間隔范式(S-C)、語(yǔ)義失配長(zhǎng)間隔范式(L-IC)、語(yǔ)義失配短間隔范式(S-IC)．

本研究4種范式中視覺刺激為4個(gè)不同顏色的小寫字母．視覺刺激呈現(xiàn)在19寸、顯示頻率為60,Hz的顯示屏上；聽覺刺激則為不同的短語(yǔ)音刺激，由分通道呈現(xiàn)的耳機(jī)輸出．

在語(yǔ)義匹配范式中，聽覺刺激是4個(gè)與視覺刺激相對(duì)應(yīng)的字母發(fā)音，即‘ei’、‘bi’、‘si’、‘di’．視覺與聽覺的對(duì)應(yīng)關(guān)系如圖1(a)所示．音節(jié)‘ei’、‘si’在左聲道播放，音節(jié)‘bi’、‘di’在右聲道播放．如當(dāng)前視覺刺激呈現(xiàn)的是字母‘a(chǎn)’，對(duì)應(yīng)的聽覺刺激是短音‘ei’(字母‘a(chǎn)’的發(fā)音)，如圖1(c)所示．

圖1?實(shí)驗(yàn)刺激與流程

語(yǔ)義失配范式中，聽覺刺激是4個(gè)單音節(jié)的短音刺激[22-23]：‘ti’、‘to’、‘it’、‘ot’．其中音節(jié)‘ti’、‘it’在左聲道播放，音節(jié)‘to’，‘ot’在右聲道播放；且每個(gè)聲音刺激的發(fā)音與視覺呈現(xiàn)的字母之間沒有語(yǔ)義上的聯(lián)系，其對(duì)應(yīng)關(guān)系如圖1(b)所示．例如，與視覺刺激字母‘a(chǎn)’呈現(xiàn)時(shí)，對(duì)應(yīng)的聲音刺激是音節(jié)‘ti’．

在各個(gè)范式中，每個(gè)視覺刺激有且只有1個(gè)聲音刺激與之對(duì)應(yīng)，且視覺刺激和對(duì)應(yīng)的聲音刺激同時(shí)呈現(xiàn)．視覺刺激與聽覺刺激的刺激時(shí)間均為130,ms．長(zhǎng)間隔范式的SOA為400,ms，而短間隔范式的相鄰刺激之間SOA為200,ms．實(shí)驗(yàn)范式在e-prime 2.0環(huán)境下編寫完成．

實(shí)驗(yàn)過(guò)程分上、下兩部分．每部分4種范式以隨機(jī)順序進(jìn)行．每種范式包含分別以4個(gè)視聽刺激為目標(biāo)刺激的刺激序列．每個(gè)刺激序列包含提示目標(biāo)刺激、序列呈現(xiàn)兩部分(如圖1(c)、(d)所示)．提示目標(biāo)刺激呈現(xiàn)2,s，序列呈現(xiàn)為10試次的4個(gè)刺激的隨機(jī)呈現(xiàn)．刺激序列間休息2,s．

在實(shí)驗(yàn)過(guò)程中，被試被要求以1個(gè)盡量舒適的坐姿直視刺激呈現(xiàn)屏幕中央?yún)^(qū)域，并盡量減少眼睛和任何其他肢體的移動(dòng)．

1.3?數(shù)據(jù)采集與預(yù)處理

腦電信號(hào)通過(guò)64導(dǎo)聯(lián)的Neuroscan腦電電極帽采集，電極位置參照國(guó)際通用標(biāo)準(zhǔn)10～20系統(tǒng)放置．其中參考電極選擇鼻尖位置，地電極選擇在AFz電極附近．所有電極阻抗都保持在10,kΩ以下．腦電信號(hào)的采集頻率為500,Hz，由Neuroscan NuAmp腦電放大器放大．

實(shí)驗(yàn)數(shù)據(jù)預(yù)處理主要包括變參考電位、ICA去噪、降采樣以及數(shù)據(jù)分段．首先將原信號(hào)以左右乳突的平均值作為參考信號(hào)；其次，對(duì)變參考電位之后的信號(hào)進(jìn)行獨(dú)立成分分析(independent component analysis，ICA)，并根據(jù)分析結(jié)果，手動(dòng)去除眼動(dòng)干擾和運(yùn)動(dòng)偽跡；再次，對(duì)去噪后的信號(hào)進(jìn)行帶通濾波(0.5～40,Hz)，并降采樣到200,Hz；最后，將每個(gè)刺激對(duì)應(yīng)的刺激前200,ms到刺激后800,ms的數(shù)據(jù)進(jìn)行分段．

1.4?可分性與分類算法

為了獲得更好的分類效果，研究分析了每個(gè)通道在任意時(shí)刻目標(biāo)刺激與非目標(biāo)刺激信號(hào)之間的可分性．可分性通常用2來(lái)描述，即

式中：T和N分別為目標(biāo)刺激和非目標(biāo)刺激信號(hào)的樣本大??；T和N分別為目標(biāo)刺激和非目標(biāo)刺激腦電響應(yīng)的特征向量．

通常情況下ERP目標(biāo)刺激與非目標(biāo)刺激的可分性決定了腦控字符輸入系統(tǒng)的分類正確率．因此，對(duì)2值的分析，能夠?yàn)檫x擇恰當(dāng)?shù)姆诸愄卣鼽c(diǎn)提供數(shù)學(xué)理論基礎(chǔ)．本文中用到了2個(gè)最為典型和常用的機(jī)器學(xué)習(xí)算法：支持向量機(jī)(support vector machine，SVM)和逐步線性判別(stepwise linear discriminant analysis，SWLDA)．具體說(shuō)來(lái)，SVM在處理小樣本、非線性以及高維度的模式識(shí)別問(wèn)題上表現(xiàn)出了很多獨(dú)特的優(yōu)勢(shì)．SVM是一種二類分類器，基本模型可以描述為特征空間上間隔最大的線性分類器，它通過(guò)引入1張離2個(gè)模式距離最大的超平面實(shí)現(xiàn)2個(gè)模式的區(qū)分，SVM算法已經(jīng)在LibSVM中實(shí)現(xiàn)[24]. SWLDA是線性判別式(linear discriminant analysis，LDA)的擴(kuò)展算法．相比于LDA算法，SWLDA最主要的區(qū)別就在于它能夠根據(jù)需要挑選出最佳的特征以獲得較好的分類表現(xiàn)性能．

1.5?統(tǒng)計(jì)學(xué)方法

采用基于bootstrapping的統(tǒng)計(jì)學(xué)分析方法，諸如配對(duì)T檢驗(yàn)以及單因素、雙因素方差分析來(lái)刻畫幾種不同范式在系統(tǒng)性能以及大腦響應(yīng)特性上的差異．作為由Efron[25]開發(fā)的一種新的統(tǒng)計(jì)學(xué)分析方法，bootstrapping分析的實(shí)現(xiàn)不依賴于樣本的分布特性，這也是該分析方法相比傳統(tǒng)的配對(duì)檢驗(yàn)和方差分析最大的優(yōu)勢(shì)所在．具體說(shuō)來(lái)，bootstrapping通過(guò)對(duì)已有的原樣本多次進(jìn)行重采樣(通常迭代次數(shù)為1,000次左右)，并以此來(lái)估計(jì)樣本的分布．因此，可根據(jù)所得的分布確定置信區(qū)間，進(jìn)而判斷不同范式下的結(jié)果差異是否顯著．此外，當(dāng)數(shù)據(jù)進(jìn)行多次比較時(shí)，采用FDR校正方式對(duì)結(jié)果進(jìn)行校正．更多有關(guān)bootstrapping分析方法的學(xué)習(xí)資料可以參考文獻(xiàn)[26].

2?結(jié)?果

2.1?事件相關(guān)電位對(duì)比

為了對(duì)比不同刺激配置下大腦響應(yīng)特性之間的差異，研究中采用bootstrapping雙因素方差分析，對(duì)不同范式目標(biāo)和非目標(biāo)事件刺激下的ERP信號(hào)進(jìn)行全時(shí)空對(duì)比，分析結(jié)果經(jīng)過(guò)FDR校正，結(jié)果如圖2所示．圖2(a)上半部分為bootstrapping分析結(jié)果值在所有導(dǎo)聯(lián)以及時(shí)間內(nèi)的時(shí)空分布；下半部分為特定時(shí)刻值在所有導(dǎo)聯(lián)上的空間分布．圖2中所有色塊圖都共享右下方顏色區(qū)間標(biāo)注，深藍(lán)色區(qū)域表示因子對(duì)信號(hào)影響顯著，且≤0.01；淺藍(lán)色區(qū)域表示因子對(duì)信號(hào)影響顯著，且0.01＜≤0.05；白色區(qū)域表明因子對(duì)信號(hào)在該時(shí)刻、該空間無(wú)顯著性影響，＞0.05．從圖2(a)中可以看出，在非目標(biāo)刺激下，SOA 對(duì)被試大腦響應(yīng)特性影響主要集中在200,ms左右的顳葉和枕葉、340,ms左右的額葉和頂葉；視聽覺刺激之間匹配性對(duì)200,ms和340,ms左右的全腦區(qū)的影響都顯著；兩者交互作用影響主要在刺激開始時(shí)刻以及ERP的后期成分(560,ms左右)．SOA對(duì)目標(biāo)刺激的影響主要體現(xiàn)在200,ms和400,ms的頂葉；語(yǔ)義匹配性在200,ms對(duì)全腦區(qū)都有影響，在340,ms和560,ms左右的頂葉也有顯著性影響；SOA和語(yǔ)義匹配性的交互作用影響主要體現(xiàn)在200,ms的額葉和顳葉以及560,ms左右部分頂葉．

圖3顯示了3個(gè)典型導(dǎo)聯(lián)(FC5、CZ、P7)在不同刺激配置下的大腦響應(yīng)ERP．其中綠色曲線S-IC代表短時(shí)間間隔(200,ms)語(yǔ)義失配刺激，藍(lán)色曲線S-C代表短時(shí)間間隔(200,ms)語(yǔ)義匹配刺激，粉色曲線L-IC代表長(zhǎng)時(shí)間間隔(400,ms)語(yǔ)義失配刺激，紅色曲線L-C代表長(zhǎng)時(shí)間間隔(400,ms)語(yǔ)義匹配刺激．

從圖3中可以看出，目標(biāo)刺激和非目標(biāo)刺激所誘發(fā)的腦電信號(hào)明顯不同．目標(biāo)刺激在200,ms附近有1個(gè)明顯的負(fù)電位，通常被稱為N200成分；在200～400,ms之間的正電位通常被稱為P300成分．通過(guò)各個(gè)參數(shù)設(shè)置下非目標(biāo)刺激的波形可看到不同范式在FC5和CZ導(dǎo)聯(lián)處從刺激開始時(shí)刻就表現(xiàn)出較大的差異，長(zhǎng)時(shí)間與短時(shí)間間隔范式在刺激后200,ms處在3個(gè)導(dǎo)聯(lián)均存在差異，且長(zhǎng)時(shí)間間隔范式的幅值(負(fù)向)要大于短時(shí)間間隔范式的幅值．從圖3中給定的3個(gè)導(dǎo)聯(lián)來(lái)看，語(yǔ)義失配刺激誘發(fā)的ERP響應(yīng)幅度大于語(yǔ)義匹配刺激的幅值；短時(shí)間間隔(SOA＝200,ms)刺激誘發(fā)的ERP相應(yīng)幅度較長(zhǎng)時(shí)間間隔(SOA＝400,ms)刺激來(lái)說(shuō)更大．此外，在這4種模式中，P300成分幅值最大的是語(yǔ)義失配短時(shí)間間隔范式．

圖3?不同刺激參數(shù)下ERP波形對(duì)比

從圖3分析的結(jié)果中可以得出：①任務(wù)難度越大，則相對(duì)誘發(fā)出的ERP各個(gè)成分也會(huì)相應(yīng)更大．一般地，從神經(jīng)生理學(xué)角度來(lái)看，刺激間隔越短，被試越需要集中更多的注意力以捕捉到目標(biāo)刺激．同樣地，對(duì)于視聽語(yǔ)義之間的匹配性而言，失配的刺激難度更高，也需要被試投入更多的注意力．而ERP中的P300成分恰好是反映被試注意投入程度的一個(gè)指標(biāo)；且被試越專注于目標(biāo)刺激的出現(xiàn)，則誘發(fā)的事件相關(guān)電位中P300成分強(qiáng)度也越強(qiáng)．這一結(jié)論從一定程度上揭示了上述結(jié)果的產(chǎn)生．②刺激間隔與語(yǔ)義匹配性對(duì)視聽雙模態(tài)非目標(biāo)刺激的影響要大于目標(biāo)刺激．一方面刺激間隔的長(zhǎng)短影響了非目標(biāo)刺激出現(xiàn)的頻率，從而影響了非目標(biāo)刺激的波形特性，而對(duì)目標(biāo)刺激出現(xiàn)頻率的影響并不大；另一方面大腦對(duì)語(yǔ)義匹配和失配刺激的響應(yīng)可能來(lái)源于不同的反應(yīng)機(jī)制，從而導(dǎo)致波形的不同．然而對(duì)于目標(biāo)刺激的響應(yīng)作為選擇性刺激，屬于內(nèi)源性大腦認(rèn)知反應(yīng)，語(yǔ)義匹配性的影響并不大．

2.2?可分性對(duì)比

可分性是描述目標(biāo)刺激與非目標(biāo)刺激大腦響應(yīng)ERP之間差異的一個(gè)變量，通?？捎墒?1)計(jì)算得到．本文計(jì)算了4種刺激配置下全時(shí)空的可分性，并采用bootstrapping雙因素方差分析方法對(duì)比了SOA、語(yǔ)義匹配性以及兩者的交互作用對(duì)ERP信號(hào)可分性的影響，分析結(jié)果經(jīng)FDR校正，如圖4所示.深藍(lán)色區(qū)域表示因子對(duì)信號(hào)影響顯著，且≤0.01；淺藍(lán)色區(qū)域表示因子對(duì)信號(hào)影響顯著，且0.01＜≤0.05；白色區(qū)域表明因子對(duì)信號(hào)無(wú)顯著性影響，＞0.05．由圖4可以看出，SOA的長(zhǎng)短僅在200,ms左右的頂葉對(duì)可分性有顯著性影響．視聽覺之間的匹配性在200,ms附近的額葉、頂葉以及430,ms左右的頂葉和顳葉、枕葉左半部分影響都顯著．除此之外，兩者的交互作用在300,ms左右的前額葉、頂葉對(duì)可分性影響顯著．根據(jù)可分性的分析結(jié)果，最后選取的特征點(diǎn)位于180～280,ms、300～450,ms、480～530,ms 3個(gè)時(shí)間窗內(nèi)，并降采樣到40,Hz．選取的導(dǎo)聯(lián)為在上述3個(gè)特征窗口內(nèi)有著最大可分性的10個(gè)導(dǎo)聯(lián)(CZ、PZ、CPZ、OZ、PO7、PO8、FC1、FC2、FC5、FC6)．因此，每個(gè)事件刺激選取了10×12＝120個(gè)特征點(diǎn)用以分類器的建模識(shí)別．

圖4?不同刺激參數(shù)下可分性對(duì)比

2.3?離線分類正確率

根據(jù)可分性結(jié)果所選擇的信號(hào)特征分別用SWLDA和SVM對(duì)數(shù)據(jù)進(jìn)行分類．圖5顯示了在語(yǔ)義匹配(C)、語(yǔ)義失配(IC)兩種范式下，SOA分別為200,ms和400,ms時(shí)得到的離線分類正確率．圖5橫坐標(biāo)中“S”表示短間隔刺激，SOA為200,ms，“L”表示長(zhǎng)間隔刺激，SOA為400,ms．在SWLDA分類算法下，10名被試S-IC、L-IC、S-C、L-C范式的平均分類正確率分別為70.7%,、73.9%,、68.8%,以及74.8%,．在SVM分類算法下，分類結(jié)果有些許下降，分別為66.4%,、67.3%,、62.7%,和68.1%,．

圖5?不同參數(shù)下單次提取分類正確率

從圖5可以看出：盡管SWLDA和SVM兩種分類算法得到的結(jié)果有所差異，但分類結(jié)果的總體趨勢(shì)顯示，長(zhǎng)間隔范式腦控字符系統(tǒng)分類正確率要高于短間隔范式的分類正確率；此外，語(yǔ)義匹配性對(duì)短間隔范式的分類正確率影響較大，而對(duì)長(zhǎng)間隔范式的分類正確率影響并不大；最后，基于bootstrapping的雙因素方差分析被用以驗(yàn)證語(yǔ)義匹配性和SOA對(duì)分類正確率的影響．

本文主要研究視聽雙模態(tài)刺激語(yǔ)義匹配性及刺激間隔的長(zhǎng)短對(duì)分類正確率的影響．每類都有兩種情況，因此，用雙因素方差分析來(lái)檢驗(yàn)各因素以及因素間的交互作用對(duì)最終分類結(jié)果的影響. Bootstrapping的檢驗(yàn)結(jié)果表明，盡管長(zhǎng)間隔范式得到的分類正確率更高，但SOA對(duì)分類正確率的影響并不顯著?(＞0.05)．語(yǔ)義匹配性對(duì)分類結(jié)果影響顯著：在SWLDA分類算法下，(1，9)＝15.6，＝0.003；在SVM分類算法下，(1，9)＝6.3，＝0.03．兩者的交互作用在SVM分類結(jié)果中影響同樣顯著：(1，9)＝5.0，＝0.05．

分類正確率的高低與可分性大小密不可分．圖4中顯示的不同實(shí)驗(yàn)配置參數(shù)下可分性bootstrapping分析結(jié)果在一定程度上也可以為系統(tǒng)離線分類正確率之間的差異做出解釋．語(yǔ)義匹配性對(duì)分類正確率影響顯著，同樣的語(yǔ)義匹配性對(duì)可分性的影響在選定的導(dǎo)聯(lián)和時(shí)間窗內(nèi)都有顯著性影響.刺激時(shí)間間隔對(duì)分類正確率影響并不顯著，對(duì)應(yīng)地，可分性的對(duì)比結(jié)果也僅在極少數(shù)導(dǎo)聯(lián)處顯示出差異.

3?結(jié)?語(yǔ)

本文設(shè)計(jì)了2(語(yǔ)義匹配、語(yǔ)義失配)×2(SOA 200,ms、SOA 400,ms)＝4種刺激參數(shù)配置實(shí)驗(yàn)范式，初步探究了視、聽覺之間語(yǔ)義匹配性以及SOA對(duì)視聽雙模態(tài)腦控字符輸入系統(tǒng)性能和大腦響應(yīng)特性之間的影響．ERP的分析結(jié)果表明，語(yǔ)義匹配性、刺激時(shí)間間隔對(duì)非目標(biāo)及目標(biāo)刺激下大腦響應(yīng)均存在顯著性差異，且對(duì)非目標(biāo)刺激的影響大于對(duì)目標(biāo)刺激的影響；語(yǔ)義匹配性對(duì)腦控字符輸入系統(tǒng)離線的分類正確率影響顯著，而SOA對(duì)分類正確率并無(wú)顯著性影響；語(yǔ)義匹配并不能帶來(lái)ERP信號(hào)幅值和分類正確率的優(yōu)化，相反，較高難度的任務(wù)即語(yǔ)義失配反而能誘發(fā)高幅值的ERP信號(hào)及高的分類正確率；由于時(shí)間間隔對(duì)分類正確率的影響并不顯著，這就提示在范式設(shè)計(jì)時(shí)，在被試可接受的任務(wù)難度下可選擇語(yǔ)義失配的短時(shí)間間隔范式進(jìn)行實(shí)驗(yàn)．本研究得到的結(jié)果對(duì)后續(xù)視聽相關(guān)的腦控字符輸入系統(tǒng)的范式選擇及優(yōu)化研究具有重要的參考價(jià)值．

［1］ Wolpaw J，Wolpaw E W.：[M]. USA：OUP，2012.

［2］ Wolpaw J R，Birbaumer N，Heetderks W J，et al. Brain-computer interface technology：A review of the first international meeting[J].，2000，8(2)：164-173.

［3］ Mak J N，Wolpaw J R. Clinical applications of brain-computer interfaces：Current state and future prospects [J].，2009，2(1)：187-199.

［4］ Walter W，Cooper R，Aldridge V J，et al. Contingent negative variation：An electric sign of sensori-motor association and expectancy in the human brain[J].，1964，203(4943)：380-384.

［5］ Fabiani Monica，Gratton Gabriele，Karis Demetrios，et al. Definition，identification，and reliability of measurement of the P300 component of the event-related brain potential[J].，1987，2(S1)：1-78.

［6］ Farwell Lawrence Ashley，Donchin Emanuel. Talking off the top of your head：Toward a mental prosthesis utilizing event-related brain potentials[J].，1988，70(6)：510-523.

［7］ Brunner P，Joshi S，Briskin S，et al. Does the P300 speller depend on eye gaze?[J].，2010，7(5)：056013.

［8］ Treder M S，Blankertz B. (C)overt attention and visual speller design in an ERP-based brain-computer interface [J].，2010，6(1)：6-28.

［9］ Treder Matthias Sebastian，Schmidt Nico Maurice，Blankertz Benjamin. Gaze-independent brain-computer interfaces based on covert attention and feature attention [J].，2011，8(6)：066003.

［10］ Guo Jing，Gao Shangkai，Hong Bo. An auditory brain-computer interface using active mental response[J].，2010，18(3)：230-235.

［11］ Brouwer Anne-Marie，van Erp Jan B F. A tactile P300 brain-computer interface[J].，2010，4(19)：1-11.

［12］ Riccio Angela，Mattia Donatella，Simione L，et al. Eye-gaze independent EEG-based brain-computer interfaces for communication[J].，2012，9(4)：045001.

［13］ Aloise F，Lasorsa I，Schettini F，et al. Multimodal stimulation for a P300-based BCI[J].，2007，9(3)：128-130.

［14］ An Xingwei，H?hne Johannes，Ming Dong，et al. Exploring combinations of auditory and visual stimuli for gaze-independent brain-computer interfaces[J].，2014，9(10)：e111070.

［15］ Wang Fei，He Yanbin，Pan Jiahui，et al. A novel audiovisual brain-computer interface and its application in awareness detection[J].，2015，5：9962.

［16］ Chang Moonjeong，Nishikawa Nozomu，Cai Zhenyu，et al. Psychophysical responses comparison in spatial visual，audiovisual，and auditory BCI-spelling paradigms[C]//，. Kobe，Japan，2154-2157.

［17］ Belitski A，F(xiàn)arquhar J，Desain P. P300 audio-visual speller[J].，2011，8(2)：025022.

［18］ Chang M，Nishikawa N，Struzik Z R，et al. Comparison of P300 responses in auditory，visual and audiovisual spatial speller BCI paradigms[J].，2013.

［19］ McFarland D J，Sarnacki W A，Townsend G，et al. The P300-based brain-computer interface(BCI)：Effects of stimulus rate[J].，2011，122(4)：731-737.

［20］ Lu Jessica，Speier William，Hu Xiao，et al. The effects of stimulus timing features on P300 speller performance [J].，2013，124(2)：306-314.

［21］ 安興偉. 基于數(shù)字拼寫的視-聽聯(lián)合刺激誘發(fā) ERP 研究[D]. 天津：天津大學(xué)精密儀器與光電子工程學(xué)院，2010.

An Xingwei. Research on Event-Related Potentials(ERP)Evoked by Visual-Auditory Cross Stimulation Based on Number Speller[D]. Tianjin：School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，2010(in Chinese).

［22］ H?hne Johannes，Krenzlin Konrad，D?hne Sven，et al. Natural stimuli improve auditory BCIs with respect to ergonomics and performance[J].，2012，9(4)：045003.

［23］ An Xingwei，Ming Dong，Sterling Douglas，et al. Optimizing visual-to-auditory delay for multimodal BCI speller[C]//2014 36. Chicago，USA，2014：1226-1229.

［24］ Chang Chih-Chung，Lin Chih-Jen. LIBSVM：A library for support vector machines[J].()，2011，2(3)：1-27.

［25］ Efron Bradley.：[M]. New York，USA：Springer，1992.

［26］ Hesterberg T，Moore D S，Monaghan S，et al. Bootstrap methods and permutation tests[J].，2005，5：1-70.

(責(zé)任編輯：王新英)

Effects of Semantic Congruency and Stimulus-Onset Asynchrony onAudiovisual Bimodal Stimuli Based BCI Speller

An Xingwei1+，Cao Yong2+，Qi Hongzhi3，Jiao Xuejun2*，Ming Dong1, 3*

(1. Academy of Medical Engineering and Translational Medicine，Tianjin University，Tianjin 300072，China；2. National Key Laboratory of Human Factors Engineering，China Astronaut Research and Training Center，Beijing 100092，China；3. School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，Tianjin 300072，China)

In recent years，researches on event-related potential(ERP)-based brain computer interface(BCI)speller have become increasingly popular．Visual and auditory based multimodal stimuli paradigms as new paradigms have attracted more and more attention．Studies on the effect of experimental parameters on system performance of visual-auditory stimuli based BCI speller have rarely been reported．This study aims at investigating the effects of audiovisual semantic congruency and stimulus-onset asynchrony(SOA)on audiovisual bimodal stimuli based BCI speller．Therefore，two audiovisual paradigms(semantic congruent and semantic incongruent)with two different SOAs(200,ms and 400,ms)were adopted，and 10 healthy subjects participated in the experiment．ERP，discrimination of targets and non-targets，and classification accuracy were analyzed．Results indicated that semantic congruency，SOA and the interaction factors have significant effect on the brain response and discrimination of target and non-target stimuli．Semantic congruency also has significant effect on system classification accuracy，whereas no significant difference was found on factor SOA．This study could provide a theoretical guidance for the design of new paradigms on visual and auditory based bimodal BCI speller.

brain-computer interface(BCI)；event-related potential(ERP)；bimodal；stimulus-onset asynchrony (SOA)

10.11784/tdxbz201702038

R318

A

0493-2137(2018)01-0103-08

2017-02-21；

2017-06-06.

+并列第一作者：安興偉(1985—??)，女，博士，anxingwei@tju.edu.cn；曹?勇(1993—??)，男，碩士研究生，caoyong_93@163.com.

明?東，richardming@tju.edu.cn；焦學(xué)軍，jxjisme@sina.com.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61603269，81671861，81630051)；中國(guó)博士后科學(xué)基金資助項(xiàng)目(2017M610162)．

the National Natural Science Foundation of China(No.,61603269，No.,81671861 and No.,81630051)and the China Postdoctoral Science Foundation(No.,2017M610162).