任泓錦， 張 超， 伏云發(fā)

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明650500）

前言

直接腦機(jī)接口/腦機(jī)交互（Brain-computer/machine interaction，BCI/BMI）的概念由維達(dá)爾于1973年首次引入［1-2］，其中基于穩(wěn)態(tài)視覺(jué)誘發(fā)電位（Steady state visual evoked potentials，SSVEP）的BCI系統(tǒng)是根據(jù)人的大腦對(duì)高于6 Hz［3］（或高于4 Hz［4］）頻率調(diào)制視覺(jué)刺激的周期性響應(yīng)，從頭皮記錄與刺激具有相同的基本頻率的接近正弦的振蕩波形得出.現(xiàn)有的SSVEP系統(tǒng)不但可設(shè)置超過(guò)40個(gè)的目標(biāo)數(shù)［5］，而且對(duì)被試的適應(yīng)性訓(xùn)練要求較少［6］.

腦控機(jī)器人（Brain-Controlled-Robot，BCR）作為機(jī)器人控制領(lǐng)域中的一個(gè)重要的應(yīng)用［7-11］，非接觸式控制使得部分殘疾人士可以通過(guò)意念來(lái)對(duì)機(jī)器人或機(jī)械臂進(jìn)行直接控制［12］.與基于運(yùn)動(dòng)想象的腦控機(jī)器人相比，基于SSVEP的BCI系統(tǒng)具有出色的信噪比，具有在對(duì)抗人為干擾時(shí)的魯棒性、控制指令多和控制精度高等優(yōu)點(diǎn).

傳統(tǒng)的SSVEP-BCI系統(tǒng)要求被試雙目必須注視刺激目標(biāo)，因?yàn)殡p眼接受刺激后大腦的左枕葉和右枕葉上的相位活動(dòng)是同步的.文獻(xiàn)［13-14］關(guān)于被試單側(cè)視野接受光刺激的SSVEP研究也指出，當(dāng)單側(cè)眼睛接收到視覺(jué)刺激后會(huì)在對(duì)側(cè)視覺(jué)皮層上產(chǎn)生與該刺激相關(guān)的刺激電位，并通過(guò)胼胝體完成左右枕區(qū)的相位活動(dòng)同步.同時(shí)，Wu［15］通過(guò)比較單眼刺激和同時(shí)雙眼刺激下的SSVEP功率和分布，證明了不同SSVEP神經(jīng)網(wǎng)絡(luò)的分布是相似的，它們之間應(yīng)該存在物理重疊.由此可見(jiàn)，不論單眼或是雙眼注視刺激目標(biāo)最終在腦內(nèi)的神經(jīng)處理是相似的，因而關(guān)于單眼的SSVEP研究甚少.

本研究選取若干名近視且視力具有一定偏差的被試，讓他們?cè)谂宕鹘暢C正眼鏡的情況下分別完成基于單眼和雙眼的SSVEP直接腦控機(jī)器人的協(xié)作任務(wù)，并依照實(shí)驗(yàn)結(jié)果對(duì)近視患者兩眼視力的差異程度對(duì)SSVEP控制準(zhǔn)確率的影響進(jìn)行分析.

1 腦控多機(jī)器人協(xié)作任務(wù)平臺(tái)設(shè)計(jì)

直接腦控多機(jī)器人協(xié)作任務(wù)控制系統(tǒng)是大腦、機(jī)器人/機(jī)械臂和計(jì)算機(jī)之間共同構(gòu)成的一個(gè)閉環(huán)控制系統(tǒng)［16］.本研究搭建的實(shí)際系統(tǒng)如圖1（a）和（b）所示，機(jī)器人/機(jī)械臂與計(jì)算機(jī)通過(guò)藍(lán)牙連接，無(wú)線(xiàn)腦電采集帽通過(guò)TCP/IP協(xié)議與計(jì)算機(jī)相連，根據(jù)腦電信號(hào)計(jì)算出的控制指令通過(guò)UDP協(xié)議發(fā)送到藍(lán)牙發(fā)射器，藍(lán)牙傳遞給機(jī)器人/機(jī)械臂.機(jī)器人/機(jī)械臂的操作結(jié)果通過(guò)安置在適當(dāng)位置的無(wú)線(xiàn)攝像頭傳回給被試，被試可根據(jù)攝像頭傳回的反饋信息對(duì)機(jī)器人/機(jī)械臂下一步的動(dòng)作進(jìn)行調(diào)整.

圖1 直接腦控機(jī)器人系統(tǒng)設(shè)計(jì)圖Fig.1 The figure of direct brain control robot system design

腦控人形機(jī)器人和機(jī)械臂在本研究中共計(jì)使用20個(gè)不同的指令，如表1所示.其中，人形機(jī)器人9個(gè)指令，包含了前進(jìn)后退、左轉(zhuǎn)右轉(zhuǎn)和左移右移6個(gè)基礎(chǔ)移動(dòng)指令，蹲下、起立和彎腰3個(gè)動(dòng)作指令；機(jī)械臂11個(gè)指令，包含了8個(gè)舵機(jī)指令、1個(gè)復(fù)位指令和2個(gè)夾持器指令.

表1 人形機(jī)器人/機(jī)械臂指令Tab.1 Humanoid robot/arm command

2 單/雙眼的SSVEP實(shí)驗(yàn)設(shè)計(jì)和方法

2.1 實(shí)驗(yàn)被試、腦電設(shè)備及參數(shù)設(shè)置Allison等［17］以及Christoph等［18］的研究表明，盡管基于SSVEP的BCI系統(tǒng)的適應(yīng)性很高，且經(jīng)過(guò)少量訓(xùn)練后大部分被試都能滿(mǎn)足實(shí)驗(yàn)需求，但是仍有部分被試由于自身原因?qū)е耂SVEP控制的準(zhǔn)確率較低.因此，為了滿(mǎn)足實(shí)驗(yàn)要求，并減少額外因素的干擾，本次研究選擇了20名被試，對(duì)他們進(jìn)行了預(yù)實(shí)驗(yàn).使用圖2（a）所示的實(shí)驗(yàn)刺激范式，讓被試雙眼注視該刺激范式，每個(gè)數(shù)字看3次，刺激閃爍時(shí)間為2 s，中間休息4 s.依照所有人的測(cè)試結(jié)果，從中選取了8名實(shí)驗(yàn)效果較好且具有代表性的被試（目標(biāo)，S1-S8），其中5名被試為男性，3名被試為女性，年齡在22～26歲之間，健康狀況良好，均無(wú)SSVEP使用的實(shí)驗(yàn)經(jīng)驗(yàn)，均有不同程度的近視情況，且7名被試雙眼的度數(shù)有一定的差異，具體度數(shù)如表2所示.所有被試在實(shí)驗(yàn)時(shí)均佩戴視力矯正眼鏡，對(duì)實(shí)驗(yàn)研究均知情同意.腦電采集設(shè)備為博睿康科技有限公司（Neuracle）的32通道無(wú)線(xiàn)腦電采集系統(tǒng)（包括腦電帽、無(wú)線(xiàn)路由器以及無(wú)線(xiàn)腦電放大器）.用作典型相關(guān)分析（canonical correlation analysis，CCA）的電極為T(mén)5、P3、Pz、P4、T6、PO3、PO4、O1、Oz和O2，參考電極為Cz，接地電極為FPz，導(dǎo)聯(lián)位置符合國(guó)際10—20標(biāo)準(zhǔn)，采樣頻率為250 Hz，實(shí)驗(yàn)中每個(gè)電極的電阻阻抗保持在5 000Ω以下［19］.

表2 被試近視度數(shù)統(tǒng)計(jì)表Tab.2 Subjects myopia statistics table

圖2 SSVEP刺激范式方案Fig.2 SSVEP stimulus target paradigm

本次研究采用3×3（圖2（a））和3×4（圖2（b））共2種布局的刺激范式方案，所有刺激范式方案均由Matlab的Psychtoolbox（PTB）工具箱實(shí)現(xiàn).每個(gè)刺激目標(biāo)對(duì)應(yīng)一個(gè)特定的刺激頻率，在3×3的刺激范式布局中，白色的目標(biāo)方塊從左至右的閃爍頻率依次為8.0、12.0、8.5、9.0 13.0、9.5、10.0、14.0和10.5 Hz，在3×4的刺激范式中為8.0、12.0、8.5、9.0、13.0、9.5、10.0、14.0、10.5、11.0、15.0和11.5 Hz.

2.2 單/雙眼SSVEP訓(xùn)練實(shí)驗(yàn)在進(jìn)行協(xié)作任務(wù)之前，被試需要進(jìn)行適當(dāng)?shù)挠?xùn)練.目的是讓被試熟悉實(shí)驗(yàn)室的環(huán)境，同時(shí)根據(jù)實(shí)驗(yàn)結(jié)果選出每個(gè)被試適合進(jìn)行實(shí)驗(yàn)的單眼.首先，被試需注視3×3的SSVEP刺激范式中的白色目標(biāo)方塊（圖2（a）），進(jìn)行6組訓(xùn)練，其中左眼、右眼和雙眼各占兩組，每組10個(gè)刺激任務(wù)，每個(gè)刺激任務(wù)之間被試的休息時(shí)間Tr為4 s，每個(gè)刺激任務(wù)的閃爍時(shí)間Tf為2 s.要求訓(xùn)練內(nèi)容為：被試需分別用左眼、右眼和雙眼注視該3×3的SSVEP刺激范式目標(biāo)，依照從左至右、從上至下的順序，注視每個(gè)刺激目標(biāo)1次，當(dāng)被試觀察完9個(gè)刺激目標(biāo)后，需要再觀察第一個(gè)刺激目標(biāo)1次，完成一組的訓(xùn)練.在進(jìn)行單眼SSVEP的訓(xùn)練時(shí)，另一只不使用的眼睛會(huì)被一個(gè)黑色不透光的眼罩遮住，以避免實(shí)驗(yàn)結(jié)果受到干擾.在訓(xùn)練結(jié)束后，我們會(huì)對(duì)所有被試進(jìn)行測(cè)試，測(cè)試內(nèi)容與訓(xùn)練內(nèi)容相同.

2.3 基于單眼SSVEP腦控多機(jī)器人協(xié)作控制任務(wù)通過(guò)2.2所示的訓(xùn)練環(huán)節(jié)后，被試已經(jīng)基本熟悉SSVEP的操作方式和技巧，隨后將表1所示的指令表交給被試，待被試記住以后便可進(jìn)行協(xié)作任務(wù)控制.圖3為進(jìn)行基于單眼SSVEP腦控多機(jī)器人協(xié)作任務(wù)的實(shí)際場(chǎng)景布局.圖3（a）為被試實(shí)際操作的畫(huà)面，其中（1）為SSVEP刺激呈現(xiàn)屏幕，（2）為攝像頭圖像反饋顯示屏幕，（3）為被試座椅，（4）為不透光醫(yī)用屏風(fēng)；圖3（b）為機(jī)械臂/機(jī)器人實(shí)驗(yàn)平臺(tái)，其中，（1）為遠(yuǎn)端無(wú)線(xiàn)攝像頭，（2）為主試座椅，（3）為運(yùn)行CCA算法并顯示所得結(jié)果和被試已執(zhí)行步數(shù)的計(jì)算機(jī)，（4）為機(jī)械臂，（5）為人形機(jī)器人.

圖3 實(shí)際實(shí)驗(yàn)場(chǎng)景布局Fig.3 The actual experimental scene layout

被試需要左眼、右眼和雙眼各完成一次協(xié)同任務(wù)控制，考慮到先前實(shí)驗(yàn)中單眼SSVEP準(zhǔn)確率偏低，因此，被試將先用雙眼SSVEP開(kāi)始機(jī)器人間協(xié)同任務(wù)控制實(shí)驗(yàn)，以便熟悉環(huán)境和任務(wù)要求.協(xié)同控制任務(wù)開(kāi)始后，被試打開(kāi)攝像頭圖像反饋顯示屏，并有5 min的時(shí)間根據(jù)攝像頭中傳回的畫(huà)面判斷機(jī)器人和機(jī)械臂的相對(duì)位置，進(jìn)而制定好相應(yīng)的行動(dòng)方案（為使人形機(jī)器人和機(jī)械臂的協(xié)作任務(wù)更偏向于實(shí)際應(yīng)用，在協(xié)作任務(wù)開(kāi)始前，被試對(duì)實(shí)際控制對(duì)象的位置和控制任務(wù)并不知情）.人形機(jī)器人會(huì)隨機(jī)擺放在圖1（b）中a和b的任意一點(diǎn)，另一點(diǎn)則擺放機(jī)械臂.準(zhǔn)備時(shí)間結(jié)束后，主試開(kāi)啟被試的SSVEP刺激顯示屏幕，待被試準(zhǔn)備就緒后啟動(dòng)3×4的SSVEP刺激范式.

在整個(gè)協(xié)同控制任務(wù)中，被試需要操控機(jī)器人走到機(jī)械臂所在的位置，通過(guò)機(jī)械臂夾取彩色小方塊放入機(jī)器人背后的籃子中，并原路返回.被試需要在每個(gè)刺激任務(wù)休息的4 s時(shí)間里根據(jù)攝像頭傳回的畫(huà)面，自行判斷下一步應(yīng)該執(zhí)行的指令.主試對(duì)機(jī)械臂/機(jī)器人實(shí)驗(yàn)平臺(tái)進(jìn)行錄像，當(dāng)機(jī)器人攜帶彩色方塊再次回到啟動(dòng)地點(diǎn)時(shí)，停止錄像并結(jié)束實(shí)驗(yàn).實(shí)驗(yàn)結(jié)束后，被試需觀看自己的操作錄像，指出操作錯(cuò)誤的地方，由主試記錄錯(cuò)誤次數(shù)和錯(cuò)誤原因.被試訓(xùn)練前后的實(shí)驗(yàn)結(jié)果和協(xié)同控制任務(wù)的準(zhǔn)確率如圖4所示.

圖4 單雙眼實(shí)驗(yàn)準(zhǔn)確率統(tǒng)計(jì)圖Fig.4 Monocular and binocular test accuracy charts

2.4 典型相關(guān)分析（CCA） 采用適用于SSVEP解碼的CCA方法，該方法是由Hotelling提出的一種多元數(shù)據(jù)處理方法［20-21］.Lin等［22］首先將CCA應(yīng)用于基于SSVEP的腦-機(jī)交互系統(tǒng)中.

在基于CCA的SSVEP信號(hào)分析中，X為多通道EEG信號(hào)的集合，Y（f）為參考信號(hào)的集合，即

其中，N為統(tǒng)計(jì)到的諧波數(shù)量，f為刺激頻率，fs為采樣頻率.矢量WX執(zhí)行濾波器的功能，WY為參考信號(hào)的權(quán)重.基頻處的參考信號(hào)sin（2πft）和cos（2πft）通過(guò)WY中相應(yīng)元素進(jìn)行加權(quán)和線(xiàn)性組合時(shí)，會(huì)在相同頻率處生成具有非零相位的信號(hào)，WY包含了SSVEP的相位信息.

若有n個(gè)刺激目標(biāo)，閃爍頻率從小到大的順序?yàn)閒1，f2，…，fn，可通過(guò)（1）式計(jì)算得到ρ（f）（f＝f1，f2，…，fn），則目標(biāo)頻率所得fg即是我們所認(rèn)為的目標(biāo)注視頻率.

3 基于SSVEP的腦控多機(jī)器人協(xié)作控制任務(wù)實(shí)驗(yàn)結(jié)果

表3呈現(xiàn)了8名被試在3×3 SSVEP刺激范式測(cè)試結(jié)果和人形機(jī)器人與機(jī)械臂協(xié)同控制任務(wù)的結(jié)果.展示了8名被試實(shí)際操控步數(shù)、錯(cuò)誤步數(shù)和正確率，根據(jù)左右眼平均準(zhǔn)確率大小而得出的優(yōu)勢(shì)眼、相同測(cè)試環(huán)節(jié)中平均準(zhǔn)確率、最小準(zhǔn)確率和最大準(zhǔn)確率.

結(jié)合表3所反映的信息，不難看出，除了S2、S7和S8這3名被試外，其他5名被試在協(xié)同控制任務(wù)中左右眼SSVEP控制的準(zhǔn)確率差值均在4%以下，而S2、S7和S8這3人的準(zhǔn)確率差值則分別為5.31%、17.8%和10.36%，與3人的視力差值成正比.

表3 人形機(jī)器人和機(jī)械臂協(xié)同控制任務(wù)結(jié)果Tab.3 Humanoid robot and arm control mission results

對(duì)本研究的實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)，得到圖4，不論在哪個(gè)階段，雙眼實(shí)驗(yàn)的準(zhǔn)確率都高于單眼.左右眼分別進(jìn)行單眼實(shí)驗(yàn)的控制準(zhǔn)確率，在訓(xùn)練后的幾次實(shí)驗(yàn)中，均是左眼的準(zhǔn)確率高于右眼的準(zhǔn)確率.而相較于訓(xùn)練前，左右眼的控制準(zhǔn)確率都有明顯的提高，雙眼控制的準(zhǔn)確率隨實(shí)驗(yàn)難度增大有所下降.

4 討論

腦機(jī)交互技術(shù)是一種新型的人機(jī)交互技術(shù)，腦控機(jī)器人技術(shù)是該技術(shù)的主要發(fā)展方向之一，其中基于SSVEP的腦控機(jī)器人技術(shù)是該領(lǐng)域中比較熱門(mén)的研究方向.通過(guò)將該技術(shù)應(yīng)用于人類(lèi)實(shí)際生活中，使人腦生物智能和人工機(jī)器智能技術(shù)交匯融合，具有重要的科學(xué)意義和實(shí)用價(jià)值.本文探究雙眼視力差對(duì)被試在進(jìn)行長(zhǎng)時(shí)間單眼SSVEP機(jī)器間協(xié)作控制時(shí)的影響，傳統(tǒng)的腦控機(jī)器人主要是完成一些簡(jiǎn)單的設(shè)定指令，而很少進(jìn)行單被試、多控制對(duì)象協(xié)作任務(wù)的控制.在我們的實(shí)驗(yàn)中，先使用3×3的刺激范式訓(xùn)練被試，使被試進(jìn)一步熟悉SSVEP的控制方法，特別是單眼SSVEP的控制技巧.2次訓(xùn)練結(jié)束之后，詢(xún)問(wèn)了每位被試的感受，并根據(jù)其在第一次訓(xùn)練中的表現(xiàn)，為他們選擇控制效果較好的眼睛.其中，雙眼視力差大于100度的3名被試S2、S7和S8均選擇了自己視力較好的那只眼睛，所有被試的視力情況見(jiàn)表1.實(shí)驗(yàn)結(jié)束后，對(duì)這3名被試進(jìn)行單獨(dú)的調(diào)查問(wèn)卷得到的結(jié)果表明，這3名被試均表示使用自己視力較好的眼睛進(jìn)行單眼SSVEP實(shí)驗(yàn)時(shí)注意力更容易集中，而使用高度數(shù)的眼睛則更容易出現(xiàn)疲勞.由于沒(méi)有找到較多眼部視力差值在100度以上的被試，所以對(duì)此結(jié)果持保留意見(jiàn)，但就已有的雙眼視力差大于100度的被試而言，偏向于使用自己視力較好的眼睛.

與之前研究腦-機(jī)器人接口（Brain-Robot-Interface，BRI）系統(tǒng)的論文相比，本文并沒(méi)有采用自適應(yīng)分層結(jié)構(gòu)體系讓機(jī)器人可以對(duì)執(zhí)行的命令進(jìn)行學(xué)習(xí)［23］，而是采用CCA算法，通過(guò)簡(jiǎn)易界面刺激實(shí)現(xiàn)用單雙眼進(jìn)行SSVEP控制，使機(jī)器人和機(jī)械臂的協(xié)作控制可以取得比較高的準(zhǔn)確率.同時(shí)，本文的研究在多機(jī)器人協(xié)作任務(wù)上并沒(méi)有達(dá)到較大的規(guī)?；刂?，例如文獻(xiàn)［24-25］提出的基于SSVEP的分層結(jié)構(gòu)體系用于控制14個(gè)NAO機(jī)器人進(jìn)行協(xié)作運(yùn)動(dòng)來(lái)完成操作任務(wù)，取得了良好的結(jié)果.前述研究中設(shè)計(jì)的分層結(jié)構(gòu)體系是一種非常高效的控制方法，是日后研究多機(jī)器人協(xié)作配合的一條可行途徑.

本文進(jìn)行的實(shí)驗(yàn)研究意義在于探究?jī)裳劬哂幸欢ㄒ暳Σ町惖慕暬颊邔?duì)單眼和雙眼SSVEP在實(shí)際完成兩臺(tái)機(jī)器之間的協(xié)作任務(wù)時(shí)是否存在一定的影響.本文單雙眼進(jìn)行機(jī)器人控制的平均命令數(shù)為86.67，平均時(shí)長(zhǎng)為701 s，均大于文獻(xiàn)［24-25］所得到的單次刺激任務(wù)的最大平均命令數(shù)（51.8±2.3）和最大平均時(shí)長(zhǎng)（271.2±14.3）s.單眼和雙眼的平均準(zhǔn)確率在最終的實(shí)驗(yàn)中分別達(dá)到了82.74%和86.85，接近于上述研究中所得出的88%準(zhǔn)確率的結(jié)果.雖然我們所設(shè)計(jì)的實(shí)驗(yàn)并沒(méi)有達(dá)到文獻(xiàn)［24-25］研究的那種復(fù)雜性，但就實(shí)驗(yàn)的正確率而言，還是達(dá)到了一個(gè)較滿(mǎn)意的水平.通過(guò)表3的數(shù)據(jù)不難看出，雙眼視力差大于100度的3名被試S2、S7和S8的單眼測(cè)試結(jié)果準(zhǔn)確率高的均為視力較好的眼睛.但他們的雙眼實(shí)驗(yàn)的結(jié)果，除了S7在協(xié)作任務(wù)中表現(xiàn)稍差外，其余均與他人無(wú)異.因此，參照Goto等［14］關(guān)于被試單側(cè)視野接受光刺激的SSVEP研究可以推測(cè)，進(jìn)行雙眼SSVEP實(shí)驗(yàn)，兩只眼睛可以起到一定的互補(bǔ)作用，而在進(jìn)行單眼SSVEP實(shí)驗(yàn)時(shí)，即使佩戴視力矯正眼鏡，被試在用視力較差的眼睛進(jìn)行觀測(cè)時(shí)也容易出現(xiàn)注意力不集中和視覺(jué)疲勞等問(wèn)題，致使實(shí)驗(yàn)結(jié)果存在一定的差異.因此，在日后進(jìn)行單眼SSVEP的可穿戴設(shè)備開(kāi)發(fā)的時(shí)候，建議參照穿戴者雙眼的視力進(jìn)行一定的調(diào)整.

5 結(jié)論

SSVEP的腦機(jī)交互范式測(cè)試了單眼SSVEP進(jìn)行不同機(jī)器協(xié)作控制任務(wù)時(shí)雙眼的視力差對(duì)實(shí)驗(yàn)結(jié)果造成的影響，單眼的SSVEP在機(jī)器人協(xié)作控制中保持了較高的準(zhǔn)確率.在機(jī)器人和機(jī)械臂協(xié)作控制任務(wù)中，通過(guò)典型相關(guān)分析（CCA）完成在線(xiàn)SSVEP系統(tǒng)，經(jīng)過(guò)訓(xùn)練的8名被試均完成了最后的控制任務(wù)，并取得了不錯(cuò)的結(jié)果.結(jié)果表明，雙眼視力差值的大小會(huì)對(duì)單眼SSVEP的使用造成一定程度上的影響，對(duì)于其影響機(jī)制以及具體原因仍需大量的被試進(jìn)行研究，期待后續(xù)能有更完善的結(jié)論.目前單一的控制方式往往具有局限性，基于SSVEP的腦控機(jī)器人可以和P300、MI運(yùn)動(dòng)想象等控制方式相結(jié)合，通過(guò)混合控制提升分類(lèi)準(zhǔn)確性，并降低操作的復(fù)雜性［26-28］.同時(shí)也探究了SSVEP控制可能的改進(jìn)方式，期望能為日后的腦控機(jī)器人的研究和應(yīng)用打下一定的基礎(chǔ).

致謝 昆明理工大學(xué)腦信息處理與腦機(jī)交互融合控制（學(xué)科方向團(tuán)隊(duì)建設(shè)經(jīng)費(fèi)）項(xiàng)目對(duì)本文給予了資助，謹(jǐn)致謝意！