李凌，張婷婷，謝珂

電子科技大學(xué)生命科學(xué)與技術(shù)學(xué)院，四川成都610054

前言

生物醫(yī)學(xué)信號處理是生物醫(yī)學(xué)工程專業(yè)的一個重要研究領(lǐng)域，也是近年來臨床應(yīng)用快速發(fā)展的重要組成部分［1-3］。腦電圖技術(shù)擁有毫秒級別的時間分辨率，實時記錄生物體豐富的狀態(tài)和性質(zhì)信息，是癲癇腦網(wǎng)絡(luò)機制、孤獨癥影像學(xué)、交互式腦疾病干預(yù)、腦電信息獲取關(guān)鍵技術(shù)等方面的重要研究手段。例如，在臨床疾病診斷中，常用外界刺激所誘發(fā)的事件相關(guān)電位—P300成分來進行精神分裂癥、抑郁癥等認(rèn)知障礙人群的篩查［4-7］。

腦電圖技術(shù)在科學(xué)研究方面顯得尤為重要，但是該技術(shù)在數(shù)據(jù)采集和分析過程中也存在很多技術(shù)難點。一方面，在數(shù)據(jù)采集過程中，腦電信號強度弱（微伏量級）、高隨機性及非平穩(wěn)性、非線性、背景噪聲復(fù)雜，包括眼動干擾、肌肉活動干擾、50 Hz工頻干擾等特點，使得腦電圖數(shù)據(jù)采集不僅需要高質(zhì)量的放大器和傳感器，還需要受試者清潔頭皮，同時借助導(dǎo)電膏、磨砂膏等輔材降低皮膚阻抗才能達到高信噪比的信號采集目的。另一方面，在生物醫(yī)學(xué)信號處理課程中，針對不同波段的靜息態(tài)腦電數(shù)據(jù)，主要采用功率譜估計方法分析信號的能量特征隨頻率變化關(guān)系。其中，第一種估計方法是周期圖法，是信號相關(guān)函數(shù)的傅里葉變換。因其不是一致估計法，因此就有了改進的Welch法［8］，它采用信號分段、加窗、快速傅里葉變換（Fast Fourier Transform,FFT）、模平方、加權(quán)平均等技術(shù)來估計功率譜。結(jié)果表明，與周期圖法相比，Welch法可以改善功率譜曲線的平滑性，是一致估計。

綜上所述，腦電信號幅度微弱、信噪比低，且極易受到眼動、肌電、工頻等干擾，需要借助精密儀器設(shè)備來采集信號。另外此類實驗設(shè)備昂貴，限制其在大規(guī)模實驗教學(xué)中的應(yīng)用。腦電數(shù)據(jù)采集步驟復(fù)雜，學(xué)生需要重復(fù)練習(xí)方可熟練掌握其基本操作。課上數(shù)據(jù)分析方法繁瑣、實驗機時有限，也使教師和學(xué)生在課下需要花費大量時間充分準(zhǔn)備課程內(nèi)容。

為解決上述問題，擬應(yīng)用不同的現(xiàn)代教學(xué)手段提高教學(xué)質(zhì)量，例如應(yīng)用3D渲染效果和跨平臺性的Unity3D開發(fā)工具來實現(xiàn)課堂教學(xué)［9-13］。通過對教學(xué)實踐的不斷總結(jié)，并結(jié)合本校特點，利用三維虛擬現(xiàn)實開發(fā)技術(shù)（Unity3D），以C#為腳本語言，開發(fā)了一個虛擬仿真可視化實驗平臺。將復(fù)雜的實際腦電數(shù)據(jù)采集過程和實驗課程的數(shù)據(jù)處理方法巧妙的應(yīng)用虛擬仿真技術(shù)形成完整的一套實驗流程。幫助學(xué)生利用該虛擬仿真平臺在線進行操作練習(xí)，有效提高實際操作的學(xué)習(xí)效率。2019年本平臺被評為四川省虛擬仿真實驗項目。

1 虛擬仿真實驗內(nèi)容設(shè)計

本實驗的知識點包括：（1）腦電圖測量原理和操作過程，包括采樣率、濾波器等數(shù)字信號處理的知識和心理學(xué)認(rèn)知任務(wù)設(shè)計等知識；（2）腦電信號的頻域特征分析，包括傅里葉變換、功率譜估計等方法。因此擬設(shè)計兩個實驗：（1）腦電圖檢測虛擬仿真實驗（實驗1）；（2）閉眼和開眼腦電功率譜差異分析（實驗2）。

實驗1擬通過腦電圖檢測所需器材的豐富細(xì)節(jié)展示與用途介紹、交互式的操作流程以及多視角切換的視覺體驗，充分地展示腦電圖檢測的真實場景。通過系統(tǒng)性的學(xué)習(xí)，提高學(xué)生對實驗操作的興趣，同時加深學(xué)生對腦電圖檢測原理的理解與認(rèn)識。為探討不同疾病的臨床腦電圖典型功率譜特性，該實驗擬對4種任務(wù)進行虛擬腦電圖檢測：靜息態(tài)的開眼和閉眼、工作記憶、視覺注意與搜索、目標(biāo)面孔檢測。任務(wù)態(tài)范式如圖1所示［14-16］。

圖1 3種任務(wù)態(tài)的實驗范式示意圖Fig.1 Schematic diagram of 3 kinds of experiment task paradigms

實驗2擬對實驗1采集的靜息態(tài)數(shù)據(jù)進行功率譜分析，著重考察學(xué)生對生物醫(yī)學(xué)信號處理課程中頻域特征分析相關(guān)理論知識的實際運用能力。首先使用周期圖法估計功率譜，比較不同任務(wù)數(shù)據(jù)的功率譜差異，達到疾病檢測的目的；然后采用改進周期圖法估計功率譜，并與周期圖法進行比較，總結(jié)改進算法的優(yōu)缺點［17］。

2 實驗平臺的設(shè)計和功能實現(xiàn)

2.1 總體框架設(shè)計

本實驗平臺設(shè)計的總體框架如圖2所示，完整描述了實驗流程及該平臺所實現(xiàn)的功能，為使用者的實際操作提供理論指導(dǎo)。

2.2 軟件系統(tǒng)的設(shè)計

為了實現(xiàn)圖2的功能，虛擬實驗教學(xué)的軟件系統(tǒng)框架如圖3所示。采用B/S架構(gòu)，通過Unity引擎，以C#為腳本語言，瀏覽器提供訪問H5的WebGL內(nèi)容，實現(xiàn)用戶管理、數(shù)據(jù)處理、場景交互及特效等功能模塊。

圖2 總體實驗框圖Fig.2 Overall experimental framework

圖3 系統(tǒng)構(gòu)架圖Fig.3 System architecture

2.2.1 軟件系統(tǒng)的實現(xiàn)系統(tǒng)的實現(xiàn)如圖4所示，包括三維模型創(chuàng)建、三維動畫制作、用戶界面（User Interface,UI）的設(shè)計與實現(xiàn)、各種交互功能的實現(xiàn)、服務(wù)器發(fā)布測試等多個方面。

圖4 系統(tǒng)實現(xiàn)的流程圖Fig.4 Flowchart of system implementation

2.2.2 三維模型創(chuàng)建、貼圖以及模型的導(dǎo)出（1）三維模型創(chuàng)建。虛擬仿真實驗的目的就是為了克服實際設(shè)備的不足，為學(xué)生提供更多的操作機時，所以需要將實驗中用到的所有設(shè)備模型在3DMax中創(chuàng)建出來。本實驗主要用到的設(shè)備包括：分頻器、腦電帽、放大器、膠帶、心電電極、棉簽、平口注射器、磨砂膏、導(dǎo)電膏和濃鹽水等。為了營造更真實的效果，筆者按照真實的實驗室場景創(chuàng)建了一個布局和真實實驗室一致的虛擬實驗室，這樣學(xué)生在虛擬仿真實驗后，到了真實的實驗室也可以迅速開展實驗。所有這些模型素材都存入模擬實驗素材庫，未來其他模擬實驗就可直接使用。（2）材質(zhì)貼圖。所有創(chuàng)建的模型采用標(biāo)準(zhǔn)的材質(zhì)球。為了使學(xué)生熟悉真實的設(shè)備，從腦電設(shè)備廠商的真實設(shè)備獲取產(chǎn)品的各個參數(shù)素材。將設(shè)備模型UV導(dǎo)出TGA格式，導(dǎo)入Photoshop中根據(jù)UV位置和設(shè)備素材繪制貼圖紋理。（3）模型的導(dǎo)出。將所有設(shè)備的模型單獨導(dǎo)出為FBX格式。分割出來的模型包括顯示器的屏幕（quad）等部分用于后面動態(tài)更新貼圖。

2.2.3 音樂噴泉的3D動畫實現(xiàn)結(jié)果展示的音樂噴泉通過調(diào)節(jié)兩邊變量增量來實現(xiàn)噴泉效果的差異。項目通過讀取文本配置文件來設(shè)置openmax_delta和closemax_delta來調(diào)節(jié)噴泉的速度變量。在3D軟件中，要實現(xiàn)這種動畫效果，需要根據(jù)不同數(shù)據(jù)動態(tài)調(diào)節(jié)展示的效果，這時候需要用到粒子特效系統(tǒng)來實現(xiàn)噴泉的效果。筆者只需要調(diào)節(jié)粒子發(fā)射器的坐標(biāo)位置和噴泉的底座模型結(jié)合在一起，就可以在編輯器中預(yù)覽實現(xiàn)的效果。一般粒子系統(tǒng)是通過CPU計算來進行的，從實時渲染和客戶端瀏覽器運行時的性能考慮，在噴泉的物理模型方面不會涉及到復(fù)雜的數(shù)學(xué)計算。筆者只需要給粒子系統(tǒng)設(shè)置通用的屬性：速度、顏色、形狀、大小和生命周期等參數(shù)，調(diào)節(jié)到一個和噴泉比較接近的效果后，就可以固定其他參數(shù)，只調(diào)節(jié)速度參數(shù)，就可以控制噴泉水柱高度。

為了讓測試看到的畫面更自然，調(diào)用了一款Unity3D插件Realistic Water Fountain（https://assetstore.unity.com/packages/vfx/particles/environment/realistic-waterfountain-65055），來呈現(xiàn)一個令人放松的真實噴泉效果。Unity3D這個平臺的Asset Store資源商店中提供了大量的優(yōu)秀插件來幫助我們實現(xiàn)更好的特效功能，直接應(yīng)用這些插件不僅能夠節(jié)省項目時間，而且可以實現(xiàn)更真實的效果。再配上循環(huán)播放的音樂，就可以呈現(xiàn)一個音樂噴泉3D動畫。

類似于這樣的方式還有很多種，對于機械制圖、數(shù)控操作等課程，教師可以借助展示、比賽等模式，對學(xué)生進行激勵。對于成績比較好的學(xué)生還可以組織他們一同參與省市的競賽。不論遇到怎樣的結(jié)果，這些激勵性的語言對學(xué)生的發(fā)展都有深遠的意義。

2.2.4 交互界面的設(shè)計與實現(xiàn)在Unity3D中自帶UGUI界面系統(tǒng)可以滿足界面操作所需的全部控件。本系統(tǒng)用戶交互設(shè)計時主要考慮的是網(wǎng)站使用，考慮到未來本系統(tǒng)延伸到觸屏平板App操作，主要操作方式是點擊，雖然本系統(tǒng)有少量操作需要使用鍵盤導(dǎo)航（ADWS控制在虛擬實驗室中漫游），但可以用虛擬按鍵替代，所以用到的界面控件包括Button、Text、Image、Canvas和Panel。在交互操作中考慮到觸屏操作，所以在交互設(shè)計中按鍵考慮手指點擊區(qū)域大小避免誤觸。并使用貼圖進行美化，對普通按鈕使用統(tǒng)一的樣式，對記錄、停止等特殊功能按鈕使用綠色和紅色樣式進行區(qū)別。

2.2.5 交互功能的實現(xiàn)本系統(tǒng)的交互功能主要有界面間跳轉(zhuǎn)、文本輸入、對3D模型的控制、通過鼠標(biāo)滾輪對模型進行放大縮小、通過拖動對模型進行旋轉(zhuǎn)、跳轉(zhuǎn)URL、使用鍵盤移動攝像機和碰撞檢測。小的頁面之間切換通過顯示隱藏的方式實現(xiàn)，大功能模塊之間場景切換的方式實現(xiàn)。在實驗儀器介紹中主要通過動態(tài)加載儀器模型，通過監(jiān)聽鼠標(biāo)滾輪事件對模型進行放大縮小，通過監(jiān)聽鼠標(biāo)左鍵拖動事件進行模型的旋轉(zhuǎn)。

在實驗開始后，主要通過點擊事件進行操作的判斷。而顯示器畫面通過改變面片的貼圖方式實現(xiàn)。而“操作顯示器”中的腦電波顯示的效果是將腦電波貼圖圖片里面的WrapMode選項選為Repeat，并且把圖片TextueType設(shè)為defult。將屏幕的shader渲染模式設(shè)置為Unlit/TransParent，然后在屏幕類中的Update函數(shù)中修改Offset x/y的值。Mesh.material.SetTextureOffser().讓圖片在指定的時間完成一次偏移從而實現(xiàn)循環(huán)的背景。在佩戴腦電帽的步驟中，使用監(jiān)聽按鍵事件來移動相機完成對整個實驗室的漫游。在操作佩戴和導(dǎo)電液注射等操作中，主要是通過鼠標(biāo)和目標(biāo)的碰撞檢測來實現(xiàn)操作正確的判斷。

2.3 實驗平臺的功能展示

2.3.1 登錄功能如圖5所示，主要實現(xiàn)平臺系統(tǒng)的注冊、登錄、載入。學(xué)生按要求注冊登錄該課程系統(tǒng)（網(wǎng)址：bms.uestc.edu.cn）。本校學(xué)生可用電子科技大學(xué)統(tǒng)一身份賬號直接登錄平臺，進行學(xué)習(xí)。

圖5 腦電圖檢測與分析虛擬仿真實驗平臺主界面Fig.5 Main interface of the virtual simulation experiment platform for EEG detection and analysis

2.3.2 兩個實驗操作功能（1）實驗1：腦電圖檢測虛擬仿真實驗（2學(xué)時）。核心虛擬仿真度：虛擬實驗平臺可全方位立體放縮展示各個實驗所需器材（圖6）。通過設(shè)定按要求依次打開腦電放大器、采集計算機、刺激計算機、監(jiān)控計算機，進行數(shù)據(jù)采集預(yù)掃描，百分百還原真實腦電數(shù)據(jù)采集平臺及準(zhǔn)備過程（圖7）。仿真操作設(shè)定放大器的采樣率、濾波帶寬參數(shù)及傳感器允許的最小電阻閾值參數(shù)（圖8）。仿真測量受試者頭圍大小，選擇合適的腦電帽，學(xué)習(xí)腦電帽佩戴過程（圖9）。仿真了4種認(rèn)知任務(wù)的腦電圖檢測。

圖6 腦電圖采集平臺的設(shè)備展示界面Fig.6 Equipment display interface of the EEG acquisition platform

圖7 腦電圖采集平臺的仿真構(gòu)建示意圖Fig.7 Schematic diagram of simulation construction of EEG acquisition platform

圖8 腦電圖采集平臺的設(shè)備參數(shù)設(shè)置界面Fig.8 Device parameter setting interface of EEG acquisition platform

圖9 腦電圖檢測過程的仿真構(gòu)建示意圖Fig.9 Schematic diagram of simulation construction of EEG detection process

（2）實驗2：閉眼和開眼腦電功率譜差異分析（2學(xué)時）。核心虛擬仿真度：通過Matlab軟件編寫的可視化GUI界面，進行閉眼和開眼腦電圖的功率譜分析，獲得和比較這兩種狀態(tài)的腦電圖特征和差異（圖10）［18］。通過結(jié)果的仿真比對，可查看開眼和閉眼兩種狀態(tài)下，腦電4個頻率波段的功率譜峰值和均值的大小，同時以表格和音樂噴泉形式更加直觀地展示兩種狀態(tài)的功率譜大小對比結(jié)果（圖11）。

圖10 功率譜分析仿真主界面Fig.10 Main interface of power spectrum analysis simulation

圖11 功率譜大小直觀比對Fig.11 Intuitive comparison of power spectra

3 實驗報告提交和評價功能

4 平臺使用目的

為了克服實驗設(shè)備短缺、操作機時有限等困難，本文在課堂教學(xué)中引入虛擬仿真技術(shù)。通過虛擬仿真實驗?zāi)茉鰪妼W(xué)生學(xué)習(xí)興趣，提高學(xué)生實際腦電數(shù)據(jù)采集動手能力。同時，鍛煉學(xué)生運用醫(yī)學(xué)信號處理知識，提高處理腦電數(shù)據(jù)的能力。讓學(xué)生學(xué)會對腦電圖進行功率譜分析，加強學(xué)生對腦電圖的頻域特征的理解，從而更好地了解臨床診斷的典型腦電圖特征。具體包括：（1）實驗1通過器材的豐富細(xì)節(jié)展示與用途介紹、交互式的操作流程以及多視角切換的視覺體驗，充分地展示了腦電圖檢測的真實場景。通過系統(tǒng)性的學(xué)習(xí)，提高學(xué)生對實驗操作的興趣，同時加深學(xué)生對腦電圖檢測原理的理解與認(rèn)識。（2）為探討不同疾病的臨床腦電圖典型功率譜特性，腦電圖檢測虛擬仿真4種認(rèn)知任務(wù)：開眼和閉眼靜息態(tài)、視覺搜索、目標(biāo)面孔檢測、工作記憶。（3）本項目提供真實數(shù)據(jù)下載功能，實驗2在實驗1采集的靜息態(tài)腦電數(shù)據(jù)基礎(chǔ)上進行功率譜分析：使用周期圖法估計功率譜，比較不同任務(wù)數(shù)據(jù)的功率譜差異，達到疾病檢測的目的；再采用改進周期圖法估計功率譜，總結(jié)改進算法的優(yōu)缺點。著重考察學(xué)生對生物醫(yī)學(xué)信號處理課程中頻域特征分析知識點的運用能力。

5 虛擬實驗教學(xué)特色

本實驗教學(xué)平臺采用虛擬仿真技術(shù)實現(xiàn)了實驗?zāi)康暮驮淼睦碚摻榻B、實驗器材及用途的詳細(xì)展示、實驗操作流程的虛擬仿真、真實腦電數(shù)據(jù)的獲取，以此為基礎(chǔ)進行腦電數(shù)據(jù)的采集、分析和比較。本平臺特色如下。

（1）實驗方案設(shè)計思路。本實驗方案設(shè)計思路為了解決兩個問題：①解決腦電實驗設(shè)備昂貴、本科生缺少腦電實驗數(shù)據(jù)采集訓(xùn)練的現(xiàn)實問題；②學(xué)生分析的腦電信號一般由老師直接給予，缺乏對數(shù)據(jù)來源的理解和認(rèn)識。同時考慮到腦電數(shù)據(jù)采集步驟復(fù)雜、學(xué)生需要重復(fù)練習(xí)方可熟練掌握其基本操作這一現(xiàn)狀。因此，在課堂教學(xué)中引入虛擬仿真技術(shù)可克服實驗設(shè)備短缺、操作機時有限等困難［4-8］。同時，該技術(shù)的交互性和可重復(fù)性有效地保證了腦電數(shù)據(jù)采集流程的規(guī)范性、熟練性和實驗數(shù)據(jù)的可靠性。進一步，學(xué)生利用虛擬仿真實驗下載腦電數(shù)據(jù)，線下進行功率譜分析及事件相關(guān)電位特征分析，使得學(xué)生更加容易熟悉和掌握腦電信號特征。最后，創(chuàng)新性的采用音樂噴泉方式將不同實驗條件的進行結(jié)果展示，使同學(xué)們更直觀更好地對比結(jié)果的差異。

（2）教學(xué)方法創(chuàng)新。①教師統(tǒng)一指導(dǎo)、規(guī)范引導(dǎo)實驗操作過程；②引導(dǎo)學(xué)生獨立完成實驗、自主思考實驗過程并拓展實驗設(shè)計的能力；③互相演練腦電圖采集流程，培養(yǎng)學(xué)生協(xié)同完成實驗的能力。通過三步走的實驗教學(xué)過程，能極大提升學(xué)生的腦電圖檢測和分析的理論能力，同時也能提高實際動手能力，在真實的實驗場景下將迅速掌握儀器使用技術(shù)，很大程度減少腦電儀器訓(xùn)練時間。

（3）評價體系創(chuàng)新。本實驗平臺將根據(jù)實驗操作規(guī)范、數(shù)據(jù)分析結(jié)果和討論及實驗報告來對實驗學(xué)習(xí)過程進行評價，頒發(fā)相應(yīng)的腦電儀合格操作證書。同時根據(jù)學(xué)生和教師的反饋，持續(xù)進行評價機制的改進，制定更加完善的評價體系。大規(guī)模使用后，也將與其他高校進行實驗教學(xué)項目成績互認(rèn)、學(xué)分轉(zhuǎn)換等機制的探討和制定。

（4）對傳統(tǒng)教學(xué)的延伸與拓展。本平臺教學(xué)方式采用網(wǎng)絡(luò)虛擬交互方式，是傳統(tǒng)教學(xué)的延伸和拓展，不受時間、空間、設(shè)備的限制，達到知識的自由廣泛傳播目的。在開放運行中，配合國家資源共享課《生物醫(yī)學(xué)信號處理》網(wǎng)絡(luò)資源，提供給沒有實驗平臺的高校學(xué)生，掌握了實驗設(shè)計和操作分析后，為其將來進一步深造打下基礎(chǔ)。

6 結(jié)束語

通過對基于《生物醫(yī)學(xué)信號處理》課程的虛擬仿真實驗平臺的制作及教學(xué)過程的實踐，充分發(fā)揮了現(xiàn)代教學(xué)手段在提升教學(xué)效果方面的重要作用［19-21］。作為一門重要的生物醫(yī)學(xué)工程學(xué)科專業(yè)課，醫(yī)學(xué)信號處理隨著科學(xué)研究的發(fā)展也在不停的變化和發(fā)展，因此必須把講解經(jīng)典方法和介紹最新發(fā)展動態(tài)結(jié)合起來。將該平臺應(yīng)用于教學(xué)，學(xué)生可自主利用虛擬仿真平臺在線進行操作練習(xí)，有效地提高了實際操作的學(xué)習(xí)效率。與此同時，為學(xué)生打好專業(yè)基礎(chǔ)，更好地理解所學(xué)專業(yè)知識，培養(yǎng)學(xué)生實際動手能力，增強學(xué)生的學(xué)習(xí)興趣，保證了教學(xué)質(zhì)量。

目前，該虛擬仿真實驗已在生物醫(yī)學(xué)工程專業(yè)本科生教學(xué)中推廣使用，并受到腦電設(shè)備代理廠商的好評。該虛擬仿真實驗教學(xué)項目將根據(jù)學(xué)科發(fā)展要求持續(xù)完善與更新，向高校和社會提供實驗教學(xué)服務(wù)，配合《生物醫(yī)學(xué)信號處理》國家精品資源共享課，充分發(fā)揮該實驗項目的交互性、自主性和開放性。