徐森威,曾 虹,孔萬增,2

(1.杭州電子科技大學計算機學院，浙江 杭州 310018;2.浙江省腦機協(xié)同重點實驗室，浙江 杭州 310018)

0 引 言

上肢功能障礙是大部分功能障礙患者面臨的問題，也是康復(fù)研究的重點。傳統(tǒng)的康復(fù)治療方法只依靠專業(yè)人員對患者進行一對一康復(fù)訓(xùn)練，不僅消耗大量的人力，而且因患者缺乏主動參與訓(xùn)練的積極性導(dǎo)致大部分運動神經(jīng)沒有被足夠刺激和反饋[1]。腦-機接口是一種在人腦和計算機或其他電子設(shè)備之間建立不依賴于常規(guī)大腦信息輸出通路的對外信息交流和控制的技術(shù)[2]。腦機接口除了替代病人的缺失功能外，另一個更復(fù)雜的用途是通過促進大腦的重塑來實現(xiàn)功能的代償，是一種新型的神經(jīng)康復(fù)訓(xùn)練方式，在功能障礙患者的神經(jīng)康復(fù)訓(xùn)練中起到積極促進的作用[3]。在神經(jīng)康復(fù)訓(xùn)練中，有效的反饋可以對相應(yīng)的大腦活動進行調(diào)整和改善[4]，所以近幾年來，將BCI與虛擬現(xiàn)實技術(shù)相結(jié)合成為一種新的應(yīng)用形式。在沉浸式虛擬現(xiàn)實環(huán)境下，仿真的感官刺激能對神經(jīng)元起到更加明顯的調(diào)節(jié)作用，提升患者的康復(fù)效果，已有相關(guān)研究證明了BCI-VR康復(fù)模式的有效性[5]。本文利用WebVR技術(shù)構(gòu)建了輕量級BCI-VR系統(tǒng)，在不影響受試者體驗的基礎(chǔ)上，快速構(gòu)建虛擬環(huán)境，并通過健康人群實驗初步驗證了系統(tǒng)應(yīng)用于手功能障礙患者醫(yī)療康復(fù)的可行性。

1 系統(tǒng)設(shè)計與實現(xiàn)

本文設(shè)計的BCI-VR系統(tǒng)由腦機接口(BCI)子系統(tǒng)和虛擬現(xiàn)實(VR)子系統(tǒng)組成，兩者使用同1個局域網(wǎng)內(nèi)2個不同的主機。在BCI子系統(tǒng)中，腦電信號經(jīng)過處理生成控制信號，并通過TCP/IP通信協(xié)議傳遞給VR子系統(tǒng)；VR子系統(tǒng)解析命令后，通過Socket協(xié)議實時控制相應(yīng)的手臂動作。

1.1 VR子系統(tǒng)的設(shè)計

本文設(shè)計的VR子系統(tǒng)由兩部分組成，客戶端用于呈現(xiàn)虛擬現(xiàn)實效果，服務(wù)端用于接收、處理控制信號并控制客戶端的手臂動作，兩者之間通過Socket進行實時交互。Web客戶端以Three.js技術(shù)為基礎(chǔ)，在Web端實現(xiàn)了虛擬現(xiàn)實康復(fù)訓(xùn)練場景，通過頭戴式(Head Mount Display, HMD)設(shè)備可以在沉浸式的虛擬環(huán)境中進行康復(fù)訓(xùn)練。VR子系統(tǒng)主界面如圖1所示。

圖1 VR子系統(tǒng)主界面

VR子系統(tǒng)由Three.js為基礎(chǔ)的WebVR技術(shù)實現(xiàn)。雖然Unity3D開發(fā)引擎實現(xiàn)的虛擬現(xiàn)實環(huán)境具有高渲染度、高性能的特點，支持大型虛擬環(huán)境的構(gòu)建，但是其開發(fā)周期長，且構(gòu)建成本較高。目前大多數(shù)上肢康復(fù)系統(tǒng)對性能的要求很低，只需要完成簡單的動作即可，因此，可以使用輕量級的WebVR技術(shù)代替Unity3D開發(fā)引擎，在不影響受試者體驗的基礎(chǔ)上，大幅度減少開發(fā)成本。

1.2 仿真手臂模型的構(gòu)建

仿真手臂模型通過Blender三維動畫制作軟件構(gòu)建。首先，通過創(chuàng)建骨骼完成手臂骨架制作，并將骨架與手臂3D模型綁定，這是手臂和手指能夠運動的必要條件；其次，為了提高仿真度，使用與真實皮膚相同紋理的蒙皮效果，看起來和人真實的手臂基本相同，很大程度提高了患者在虛擬環(huán)境中的沉浸感。

仿真手臂的動畫效果，例如手臂屈伸，手指抓握等，由Three.js的補間動畫完成。同時為了盡可能實現(xiàn)仿真，手臂的大小和動作幅度都模擬真實的手臂動作實現(xiàn)。

1.3 自定義虛擬現(xiàn)實環(huán)境

在BCI-VR系統(tǒng)中，虛擬環(huán)境的背景圖由Insta360 one X全景相機拍攝。拍攝的全景圖以虛擬背景的形式映射到預(yù)先構(gòu)建的虛擬場景中，并將仿真手臂模型放置在場景中心，按照人的真實感受設(shè)置仿真手臂模型的角度和位置，并根據(jù)視線的移動進行跟蹤移動。

使用全景預(yù)覽圖可以在不影響患者視覺效果的基礎(chǔ)之上，快速構(gòu)建一個仿真的虛擬環(huán)境。同時，系統(tǒng)還提供了可視化接口，允許患者自定義虛擬現(xiàn)實環(huán)境，例如通過替換背景構(gòu)建一個與患者家里環(huán)境相同的虛擬場景。

1.4 訓(xùn)練模式

在初始化時，BCI-VR上肢康復(fù)系統(tǒng)共有2種訓(xùn)練方式和4種訓(xùn)練場景。如圖2所示?；颊咴谑褂脮r可以自由選擇圖2中的病房、輪椅、客廳等訓(xùn)練場景，以及手臂屈伸和手掌抓握等訓(xùn)練方式。訓(xùn)練模式是固定的，訓(xùn)練場景可以根據(jù)系統(tǒng)提供的可視化接口自由擴充。

圖2 BCI-VR訓(xùn)練模式效果圖

由于使用Three.js這種輕量級的開發(fā)方式構(gòu)建WebVR虛擬現(xiàn)實環(huán)境，系統(tǒng)可以在不降低性能的情況下，快速定制患者需要的虛擬現(xiàn)實環(huán)境，同時也不局限于這些場景，相比于傳統(tǒng)的使用Unity 3D構(gòu)建虛擬現(xiàn)實場景的方式，節(jié)約了開發(fā)成本。

2 實驗與分析

2.1 實驗參與者

實驗招募了17名健康的在校大學生，其中5名女生和12名男生。每名參與者都閱讀并簽署知情同意書，并被告知實驗的內(nèi)容及實驗數(shù)據(jù)的用途。

2.2 數(shù)據(jù)獲取

圖3 EEG電極位置分布圖

實驗使用NeuroScan腦電信號采集設(shè)備采集受試者的腦電圖(Electroencephalogram,EEG)信號。按照10/20國際標準系統(tǒng)[6]，將64個電極均勻分布在受試者頭皮的運動皮層周圍，接地電極REF為參考電極，使用的采樣頻率為250 Hz，采集的信號通過生物信號放大器進行放大并保存。EEG電極位置分布如圖3所示。實驗使用了Fz，F(xiàn)C3，F(xiàn)C1，C3，Cz，C4等22個電極，如圖3標注部分。

2.3 離線訓(xùn)練

為了保證受試者有良好的精神狀態(tài)，所有實驗都在上午進行。整個實驗過程中，受試者靜坐在計算機屏幕前的椅子上，頭戴腦電帽和HMD頭顯，2只手臂放在腿上并保持放松，身體平穩(wěn)，休息期間也不能有大幅度的動作。

圖4展示了具有視覺刺激的數(shù)據(jù)采集實驗范式。整個實驗共分為8段，每段時間為5 min，受試者每進行一段實驗休息1 min。每段有30個試次，每個試次持續(xù)10 s。每個試次中，第0～3 s為休息時間，受試者處于放松狀態(tài)；第3～6 s為視覺刺激呈現(xiàn)時間，受試者可以看到虛擬現(xiàn)實中的左手抓握或右手抓握；第6～10 s為運動想象時間，受試者根據(jù)刺激呈現(xiàn)階段看到的動作進行運動想象，想象自己的左手抓握或右手抓握。

圖4 離線訓(xùn)練實驗范式

2.4 在線訓(xùn)練

通過模擬在線訓(xùn)練來驗證BCI-VR系統(tǒng)應(yīng)用于在線康復(fù)訓(xùn)練的可行性。根據(jù)離線訓(xùn)練采集的有效數(shù)據(jù)建立模型，受試者進行在線訓(xùn)練時，訓(xùn)練方式和要求與離線訓(xùn)練一致。由于實驗中使用NeuroScan腦電信號采集設(shè)備，為實現(xiàn)腦電信號實時處理，系統(tǒng)改進了BCILab工具包[7]讀取腦電信號的過程。BCILab讀取腦電信號默認時間間隔為40 ms，實驗過程中每間隔40 ms從NeuroScan讀取一段長度為40 ms的腦電信號。為實現(xiàn)腦電信號拼接，對信號讀取過程進行修改，通過設(shè)置全局緩沖區(qū)來完成運動想象階段多段腦電信號的拼接與緩存，實現(xiàn)了腦電信號的在線處理效果，同時不會出現(xiàn)延遲或遺漏。腦電信號實時讀取與拼接如圖5所示。

圖5 腦電信號實時讀取與拼接

圖6展示了在線訓(xùn)練時數(shù)據(jù)采集的實驗范式。在每個試次中，第0～2.0 s為休息時間，受試者可以進行短暫休息；第2.0～3.5 s虛擬場景中出現(xiàn)英文單詞“Left”或“Right”，提示受試者應(yīng)該想象的動作；第3.5～7.5 s，受試者根據(jù)提示進行運動想象，運動想象結(jié)束之后，對采集的數(shù)據(jù)進行處理并顯示處理結(jié)果；第7.5～12.0 s，通過虛擬現(xiàn)實環(huán)境顯示運動想象的結(jié)果，如果想象成功，可以看到虛擬現(xiàn)實里的左右手抓握，就像控制自己的左右手抓握一樣。由于數(shù)據(jù)處理、數(shù)據(jù)傳輸?shù)倪^程可在1 s內(nèi)完成，所以設(shè)置2 s的閾值，超過這個閾值，表示網(wǎng)絡(luò)錯誤，沒有收到相應(yīng)的處理結(jié)果，直接顯示想象失敗。在線訓(xùn)練的時長沒有限制，受試者可以根據(jù)自己的身體狀態(tài)進行調(diào)整。

圖6 在線訓(xùn)練實驗范式

2.5 實驗結(jié)果分析

參加實驗的17名受試者中，有2名受試者沒有嚴格按照預(yù)先設(shè)定的實驗范式進行實驗，被判定為無效數(shù)據(jù)，最終保留15名受試者的有效數(shù)據(jù)集。

研究表明，共空間模式(Common Spatial Patterns, CSP)算法[8]作為典型的腦電信號特征提取算法，可以有效構(gòu)建最佳空間濾波器區(qū)分多任務(wù)下的EEG信號，并且對于運動想象任務(wù)而言，相對于其他的算法具有更好的分類效果。本文設(shè)計的BCI-VR上肢康復(fù)系統(tǒng)使用CSP算法對采集的離線數(shù)據(jù)進行分析，每次離線數(shù)據(jù)處理過程中，測試集占比總數(shù)據(jù)集的20%，并經(jīng)過十折交叉驗證，左右手運動想象任務(wù)的平均分類準確率達到84.5%。其中有4名受試者達到了90%以上的分類準確率，效果最差的受試者也達到了75%以上的分類準確率。

在線數(shù)據(jù)處理過程中，先使用2次離線采集的數(shù)據(jù)建立模型，再進行分析處理，多名受試者進行在線訓(xùn)練的平均分類準確率為81.9%。受試者在進行主動運動想象的過程中，大部分的控制信號都能被成功分類，初步證明了該BCI-VR系統(tǒng)應(yīng)用于康復(fù)醫(yī)療的可行性。

2.6 VR與3D動畫效果對比實驗

虛擬現(xiàn)實反饋相比于傳統(tǒng)的3D桌面動畫反饋而言，能夠提供更加真實的感官刺激，提高患者的治療積極性。為了分析兩者之間的差異性，本文進行了對比實驗。

實驗招募5名受試者，在同一天上午進行2次不同的實驗。第一部分的實驗，視覺刺激的呈現(xiàn)方式是3D桌面動畫，其余各階段的實驗內(nèi)容都與離線訓(xùn)練實驗范式相同。第一部分實驗結(jié)束之后，為了避免電極位置偏移，受試者不摘下腦電帽，原地休息10～20 min。相對于第一部分而言，第二部分的實驗僅把視覺刺激的呈現(xiàn)方式改成虛擬現(xiàn)實下的感官刺激，并要求受試者帶上HMD頭顯完成這一階段的實驗。整個實驗結(jié)束之后，需要受試者填寫問卷調(diào)查，針對實驗過程中的趣味性、疲勞度等方面進行評價，最后對比分析2次數(shù)據(jù)的分類效果。

圖7 VR與3D動畫效果對比實驗結(jié)果

在每次對比實驗中，都使用同一種算法進行偽跡去除以及數(shù)據(jù)處理。實驗表明，兩者在分類準確率上的表現(xiàn)類似，當切換為VR感官刺激時，并沒有發(fā)現(xiàn)性能的提升，兩者比較的具體結(jié)果如圖7所示。對比分析實驗結(jié)果發(fā)現(xiàn)，VR效果下的性能均比3D效果有所降低，原因可能是HMD頭顯及其他一些設(shè)備對受試者腦電信號產(chǎn)生了干擾。下一步可以設(shè)計針對VR環(huán)境下的偽跡去除算法，例如選用專用濾波器進行信號預(yù)處理以提升分類效果。

通過對受試者問卷調(diào)查分析發(fā)現(xiàn)，沉浸感較強的虛擬現(xiàn)實環(huán)境更能激發(fā)受試者的運動想象積極性，不容易產(chǎn)生疲勞，符合長期康復(fù)訓(xùn)練的要求，更適合臨床的神經(jīng)康復(fù)訓(xùn)練。

3 結(jié)束語

本文設(shè)計了輕量級BCI-VR上肢康復(fù)系統(tǒng)。相比傳統(tǒng)的上肢康復(fù)系統(tǒng)，離線訓(xùn)練與在線訓(xùn)練平均分類準確率均有較大提升。在不降低受試者感官體驗的情況下，實現(xiàn)了虛擬現(xiàn)實環(huán)境的快速構(gòu)建，同時，虛擬現(xiàn)實環(huán)境提供的沉浸式感官刺激有助于提高受試者訓(xùn)練的積極性。但是，由于虛擬現(xiàn)實設(shè)備對腦電信號的干擾，相比3D桌面動畫的實驗環(huán)境，受試者運動想象的分類效果都有不同程度的降低，后續(xù)研究將針對虛擬現(xiàn)實環(huán)境下的干擾信號，設(shè)計更有效的偽跡去除算法以提高最終的康復(fù)訓(xùn)練效果。