許晨晨,吳偉,江旭,李博,梁振
安徽醫(yī)科大學(xué) 生物醫(yī)學(xué)工程學(xué)院,安徽 合肥 230032
在腦科學(xué)或者視覺科學(xué)實(shí)驗(yàn)中,刺激-響應(yīng)是一種最常見的實(shí)驗(yàn)范式[1],如通過顯示器產(chǎn)生視覺刺激信號(hào),響應(yīng)設(shè)備采集大腦對(duì)該刺激的反應(yīng),以此探索相關(guān)腦區(qū)的功能和機(jī)制[2-6]。響應(yīng)采集設(shè)備通常直接連接到計(jì)算機(jī)串口,視覺刺激呈現(xiàn)時(shí),串口發(fā)出電平信號(hào)并觸發(fā)響應(yīng)采集設(shè)備[7-8]。在腦科學(xué)實(shí)驗(yàn)中,時(shí)序精度尤為重要,越來越多的實(shí)驗(yàn)甚至要求時(shí)序精度達(dá)到亞毫秒級(jí)別,時(shí)序精度不足會(huì)導(dǎo)致部分實(shí)驗(yàn)無法重復(fù)[9-13]。然而經(jīng)過時(shí)序測(cè)量,串口發(fā)出的觸發(fā)信號(hào)和顯示器呈現(xiàn)刺激受計(jì)算機(jī)類型、性能、軟件、硬件多種因素影響,并不總是同步的[14]。根據(jù)VESA標(biāo)準(zhǔn),圖像繪制需要經(jīng)過Sync、Back Porch等多個(gè)時(shí)期,因此顯示器完成刺激繪制要滯后于觸發(fā)信號(hào),滯后時(shí)間約為3~16 ms,而響應(yīng)采集設(shè)備通過串口觸發(fā)后即開始計(jì)時(shí),此時(shí)視覺刺激信號(hào)還未繪制到顯示器上,因此響應(yīng)采集設(shè)備采集到的響應(yīng)時(shí)間多于實(shí)際響應(yīng)時(shí)間。本研究為了實(shí)現(xiàn)高精度的同步視覺刺激和響應(yīng)采集設(shè)備的觸發(fā)信號(hào),研制了視覺刺激同步儀(下文簡(jiǎn)稱:同步儀)。該同步儀采用光敏三極管采集顯示器上的視覺刺激,然后把視覺刺激轉(zhuǎn)化為觸發(fā)信號(hào),同時(shí)觸發(fā)響應(yīng)采集設(shè)備進(jìn)行信號(hào)采集,以此來同步響應(yīng)采集起點(diǎn)與刺激真實(shí)地呈現(xiàn)時(shí)間,從而提高同步精度。
在腦科學(xué)或者視覺科學(xué)實(shí)驗(yàn)中,響應(yīng)采集設(shè)備一般直接連接計(jì)算機(jī)串口,并從串口發(fā)出刺激信號(hào)開始計(jì)時(shí),而實(shí)驗(yàn)的實(shí)際響應(yīng)時(shí)間應(yīng)該以顯示器實(shí)際呈現(xiàn)刺激的時(shí)間點(diǎn)作為計(jì)時(shí)起點(diǎn),串口發(fā)出刺激信號(hào)與顯示器呈現(xiàn)刺激信號(hào)的時(shí)間并不是同步的,所以會(huì)帶來測(cè)量誤差。光信號(hào)是較為容易產(chǎn)生且被試感知的刺激信號(hào),且是人各感官中獲取信息占比最高的部分。PT908(億光電子工業(yè)股份有限公司)是常見的光敏三極管,相對(duì)于光敏電阻有較高的靈敏度,且具有極高的響應(yīng)速度,響應(yīng)時(shí)間為15 μs,因此可以利用PT908采集顯示器呈現(xiàn)刺激信號(hào)的時(shí)間并同步到響應(yīng)采集設(shè)備,以此來減小測(cè)量誤差。
假設(shè)串口輸出信號(hào)的時(shí)間戳為T1,由于同步儀直接連接串口,即同步儀的采集起點(diǎn)等于T1,假設(shè)刺激誘發(fā)的反應(yīng)在T3時(shí)刻發(fā)生(圖1),則反應(yīng)延時(shí)ΔT1如式(1)所示。
圖1 傳統(tǒng)方式的測(cè)量誤差
傳統(tǒng)設(shè)備測(cè)量誤差的產(chǎn)生主要由響應(yīng)采集設(shè)備的采集起點(diǎn)時(shí)間T1與眼睛接收到刺激的時(shí)間(即顯示器呈現(xiàn)刺激的時(shí)間)T2不同步導(dǎo)致的。經(jīng)過測(cè)量,顯示器呈現(xiàn)刺激的時(shí)間會(huì)滯后于串口發(fā)出信號(hào),因此對(duì)于被試而言,真正的反應(yīng)時(shí)ΔT2如式(2)所示。
所以,傳統(tǒng)方式存在測(cè)量誤差ΔT,見式(3)。
為了降低測(cè)量誤差,即減小ΔT的值,應(yīng)盡可能讓響應(yīng)采集設(shè)備的采集起點(diǎn)從T2點(diǎn)開始,因此研制同步儀用于同步顯示器呈現(xiàn)刺激的時(shí)間(圖2)。同步儀一端通過PT908連接到顯示器上采集顯示器出現(xiàn)刺激的時(shí)間點(diǎn),然后將同步信號(hào)從接口輸出,輸出接口再連接響應(yīng)采集設(shè)備,當(dāng)顯示器呈現(xiàn)視覺刺激時(shí)觸發(fā)響應(yīng)采集設(shè)備開始采集信號(hào),即將采集起點(diǎn)從T1移動(dòng)到T2,以此來保證響應(yīng)采集設(shè)備的采集起點(diǎn)可以和顯示器呈現(xiàn)視覺刺激的時(shí)間一致,即可大幅度降低ΔT的值以減少測(cè)量誤差。
圖2 同步儀減小測(cè)量誤差原理
本研究團(tuán)隊(duì)為了實(shí)現(xiàn)圖2所示的時(shí)序同步,研制了一種外接與刺激呈現(xiàn)設(shè)備和響應(yīng)采集設(shè)備之間的同步設(shè)備。同步儀一端通過光敏三極管PT908外接到刺激呈現(xiàn)設(shè)備,將光信號(hào)轉(zhuǎn)變?yōu)殡娦盘?hào)到輸出接口,輸出接口外接到響應(yīng)采集設(shè)備,響應(yīng)采集設(shè)備開始標(biāo)定刺激呈現(xiàn)起始點(diǎn),并以此為基礎(chǔ)來計(jì)算反應(yīng)時(shí)等數(shù)據(jù),以實(shí)現(xiàn)時(shí)序的同步。為了適配不同的設(shè)備,同步儀提供TTL、RS232等多種電平信號(hào)的輸出。同時(shí)為了降低測(cè)量環(huán)境、信號(hào)波動(dòng)等因素的影響,同步儀提供手動(dòng)雙閾值與自動(dòng)雙閾值2種方法設(shè)置閾值。
電路設(shè)計(jì)部分主要包含光信號(hào)收集、數(shù)據(jù)與信號(hào)的分析處理和信號(hào)輸出3個(gè)部分。為了更好地兼容常見的用戶采集設(shè)備,設(shè)備提供TTL、RS232和正負(fù)電平等多種標(biāo)準(zhǔn)以及多種接口輸出。在光信號(hào)的采集過程中,選用高靈敏度、低反應(yīng)時(shí)的光敏三極管PT908,控制器模塊選用體積較小的Arduino 公司Arduino Nano,其核心為Atmel 公司ATmega328。采用了TTL轉(zhuǎn)RS232模塊將TTL電平轉(zhuǎn)變?yōu)镽S232電平,并提供不同的接口形式輸出。最終電路原理圖、電路板圖及實(shí)物圖如圖3所示。
圖3 同步儀
由于使用本產(chǎn)品的環(huán)境不同,會(huì)導(dǎo)致微控制模塊采集到的光信號(hào)受到各種各樣的環(huán)境因素干擾,因此在程序設(shè)計(jì)部分采用了可調(diào)閾值的方式,讓實(shí)驗(yàn)人員可以根據(jù)實(shí)際需求調(diào)節(jié)閾值。為了避免單閾值無法檢測(cè)信號(hào)波動(dòng)的弊端,采用可調(diào)雙閾值的方式來最大限度地減小光信號(hào)波動(dòng)對(duì)采集數(shù)據(jù)的影響。雙閾值設(shè)置分為手動(dòng)設(shè)置和自動(dòng)設(shè)置2種:手動(dòng)設(shè)置閾值,用戶僅需將光信號(hào)探頭貼于顯示器光源處,通過串口設(shè)置或者扭動(dòng)旋鈕并根據(jù)顯示器上的輔助顯示來確定閾值。同時(shí)系統(tǒng)提供更為精確的自動(dòng)設(shè)置閾值的方式,可以根據(jù)信號(hào)的實(shí)際采集情況來自動(dòng)確認(rèn)閾值。如圖4所示,當(dāng)設(shè)備連接就緒后,實(shí)驗(yàn)人員選擇自動(dòng)閾值,需要播放15 s的刺激信號(hào),用以設(shè)備自動(dòng)選取閾值,ADC 采樣率為9.6 kHz。自動(dòng)設(shè)置閾值期間,每次采樣周期為1 s,獲取每個(gè)采樣周期內(nèi)的最大值記作Vt_max,最小值記作Vt_min。連續(xù)采集15次之后去除粗大誤差,取最大值均值Vmax_mean,最小值均值Vmin_mean,得到極差(Diff)和雙閾值(Vmax,Vmin)分別如式(4)~(6)所示。
圖4 自動(dòng)雙閾值法
雙閾值設(shè)置完之后,再將同步儀的輸出端口連接到反應(yīng)時(shí)記錄儀等響應(yīng)采集設(shè)備的輸入端口即可。
利用可以提供亞毫秒精度的PsychToolbox[13]來呈現(xiàn)視覺刺激,采用300×300像素大小的白色方塊和黑色方塊作為刺激,刷新時(shí)間為16幀,顯示器刷新率為60 Hz(即每隔約266.72 ms切換色塊),顯示器其他部位顯示灰色,并將同步儀上的PT908貼于刺激區(qū)域。被測(cè)設(shè)備主機(jī)的CPU型號(hào)為Intel公司 i7-4790,顯卡型號(hào)為AMD公司Radeon R7 200 Series,顯示器為PHILIPS公司322M7C,響應(yīng)時(shí)間為1 ms,分辨率為1920×1080,操作系統(tǒng)為Windows 10 64位專業(yè)版,顯示器刷新率為60 Hz。使用邏輯分析儀同時(shí)采集3個(gè)通道的數(shù)據(jù),分別為串口信號(hào)、顯示器呈現(xiàn)刺激信號(hào)和同步儀輸出信號(hào),測(cè)量方法如圖5所示。邏輯分析儀使用Saleae 公司Saleae Logic 8,采樣率為781.25 kS/s。
圖5 測(cè)量設(shè)備連接示意圖
刺激由串口產(chǎn)生并繪制到顯示器上,實(shí)驗(yàn)所采集的原始數(shù)據(jù)波形圖如圖6所示。刺激信號(hào)的上升沿表示刺激由白色變?yōu)楹谏?,下降沿表示刺激由黑色變?yōu)榘咨?,分別簡(jiǎn)稱為暗化過程與亮化過程。由于計(jì)算機(jī)顯示屏由白色變?yōu)橥耆暮谏哂幸欢ǖ难訒r(shí),取刺激信號(hào)最高電壓的50%作為屏幕亮滅的閾值,所對(duì)應(yīng)時(shí)刻分別設(shè)為暗化時(shí)刻TH、亮化時(shí)刻TL。串口輸出信號(hào)要先于顯示器呈現(xiàn)刺激,記為T1。同考慮到陰極射線管顯示器在市場(chǎng)上越來越少見,研究人員逐步使用液晶顯示器(Liquid Crystal Display,LCD)代替,但是LCD的灰階響應(yīng)時(shí)間的上升部分和下降部分是不同的[15-16],所以,為了驗(yàn)證不同電平和不同觸發(fā)方式的延時(shí),同時(shí)測(cè)量了同步儀輸出TTL電平上升沿觸發(fā)時(shí)間T2、下降沿觸發(fā)時(shí)間T4,RS232電平信號(hào)觸發(fā)時(shí)間T3。在數(shù)據(jù)處理過程中,為了去除測(cè)量過程中的干擾,使用6階巴特沃斯低通濾波器對(duì)刺激信號(hào)進(jìn)行濾波,濾波器截止頻率設(shè)定為3500 Hz。由圖6可計(jì)算串口延時(shí)誤差TA,TTL上升沿誤差TB、下降沿誤差TC、RS232誤差TD,其公式分別如式(7)~(10)所示。
圖6 數(shù)據(jù)采集波形圖
經(jīng)過測(cè)量得到串口發(fā)出信號(hào)與顯示器呈現(xiàn)刺激之間的串口延時(shí)誤差TA為-4.80~-2.98 ms,均值為-4.10 ms。同步儀輸出TTL電平上升沿與顯示器呈現(xiàn)刺激之間的同步誤差TB為0.1278~0.2913 ms,均值為0.2128 ms。同步儀輸出TTL電平下降沿與顯示器呈現(xiàn)刺激之間的同步誤差TC處于0.2061~0.3701 ms,均值為0.2861 ms。同步儀輸出RS232電平與顯示器呈現(xiàn)刺激之間的同步誤差TD處于0.1319~0.2974 ms,均值為0.2194 ms,頻數(shù)分布圖如圖7所示。
圖7 時(shí)間差頻數(shù)分布圖
同步儀作為一個(gè)降低串口延時(shí)測(cè)量誤差的工具,可以被應(yīng)用于各個(gè)利用視覺刺激-響應(yīng)的實(shí)驗(yàn)范式。以測(cè)量腦電為例,通過測(cè)量被試腦電信號(hào)分析被試接受刺激時(shí)腦電信號(hào)活躍的時(shí)間點(diǎn)與刺激出現(xiàn)時(shí)間的時(shí)間差,以此來驗(yàn)證同步儀的實(shí)際使用效果。實(shí)驗(yàn)范式采用簡(jiǎn)單反應(yīng)時(shí)任務(wù),在實(shí)驗(yàn)開始時(shí),屏幕中心出現(xiàn)紅色圓形,被試看到紅色時(shí)迅速用右手食指按下空格鍵,圓形出現(xiàn)時(shí)間間隔為2~5 s隨機(jī),共160個(gè)試次。實(shí)驗(yàn)分為實(shí)驗(yàn)組和對(duì)照組,實(shí)驗(yàn)組使用同步儀,對(duì)照組不使用同步儀,被試數(shù)量8名,每名被試分別進(jìn)行實(shí)驗(yàn)組和對(duì)照組兩組實(shí)驗(yàn)。腦電采集系統(tǒng)使用Compumedics公司SynAmps2以及Curry8,采樣頻率為500 Hz,同步儀使用示意圖如圖8所示。采集腦電信號(hào)后經(jīng)預(yù)處理、基線矯正后時(shí)頻分析結(jié)果如圖9所示。
圖8 同步儀-腦電使用示意圖
圖9 基線矯正后的腦電時(shí)頻圖
分析結(jié)果得,對(duì)照組在154 ms處10 Hz以下頻率段活動(dòng)增加,而實(shí)驗(yàn)組在122 ms處10 Hz以下頻率段活動(dòng)明顯增加,結(jié)果表明同步儀可以被應(yīng)用于腦電實(shí)驗(yàn)并可以有效減小串口延時(shí)帶來的測(cè)量誤差。
為了降低串口延時(shí)導(dǎo)致的響應(yīng)采集設(shè)備的測(cè)量誤差,同步儀利用光敏三極管PT908同步顯示器刺激呈現(xiàn)與響應(yīng)采集設(shè)備的采集起點(diǎn),多種輸出接口及不同觸發(fā)方式的時(shí)序測(cè)量結(jié)果表明,同步誤差時(shí)間分布在0.2~0.5 ms,普遍集中在0.3 ms處,遠(yuǎn)遠(yuǎn)小于行業(yè)標(biāo)準(zhǔn)1 ms,相較于計(jì)算機(jī)串口4.1 ms的平均延時(shí),可以大幅度減小測(cè)量誤差。
為了減小串口延時(shí)導(dǎo)致的測(cè)量誤差,一些學(xué)者也嘗試著從實(shí)驗(yàn)軟件、刺激呈現(xiàn)設(shè)備、測(cè)量輔助設(shè)備、測(cè)量方式等多種角度來進(jìn)行改進(jìn)[17]。Forster等[18]開發(fā)了DMDX刺激呈現(xiàn)軟件系統(tǒng),通過Windows提供的DirectX來提供精確的時(shí)序和視聽覺刺激輸出的同步,但Plant等[19]證實(shí)即使研發(fā)出了一些與顯示器刷新率同步的實(shí)驗(yàn)設(shè)計(jì)軟件,在屏幕呈現(xiàn)刺激時(shí)仍然會(huì)出現(xiàn)延遲。Ohyanagi等[17]利用PSoC和光敏二極管開發(fā)了外接于計(jì)算機(jī)的USB設(shè)備SMART,但是應(yīng)用范圍比較局限,僅可以用來測(cè)量視覺刺激實(shí)驗(yàn)的反應(yīng)時(shí)間。除此之外還有一些價(jià)格非常高昂的商業(yè)設(shè)備用于各個(gè)設(shè)備之間的時(shí)序同步,如Blackbox Toolkit(The Black Box ToolKit Ltd)、Stimrack(Brain Products GmbH)和 TRIGbox(New Biotechnology Ltd)[20-21]。相較于這些方案,本設(shè)備具有低成本、高精度的特征,除此之外,本設(shè)備還可以提供多種電平信號(hào)和輸出接口,在不改變?cè)袑?shí)驗(yàn)設(shè)計(jì)和實(shí)驗(yàn)設(shè)備結(jié)構(gòu)的基礎(chǔ)上,僅僅通過增加此外接設(shè)備即可提升實(shí)驗(yàn)數(shù)據(jù)精度。同時(shí),該外接設(shè)備具有體積小、操作簡(jiǎn)單等優(yōu)點(diǎn),方便實(shí)驗(yàn)人員快速地用于實(shí)驗(yàn)。外接該同步儀可以使響應(yīng)采集設(shè)備在視覺刺激實(shí)驗(yàn)中擁有極低的延時(shí),相較于將測(cè)量設(shè)備直接連接在計(jì)算機(jī)串口的測(cè)量方法,該設(shè)備可以大幅度提升實(shí)驗(yàn)結(jié)果及結(jié)論的準(zhǔn)確性,為腦科學(xué)和視覺科學(xué)實(shí)驗(yàn)?zāi)軌虺晒?fù)制創(chuàng)造了可能,對(duì)腦科學(xué)和視覺科學(xué)等領(lǐng)域的發(fā)展具有重要意義。目前此同步儀實(shí)現(xiàn)了利用光信號(hào)實(shí)現(xiàn)視覺刺激的同步,利用其他刺激信號(hào)如聲音信號(hào)的同步將會(huì)在后續(xù)的工作中繼續(xù)開展。
基于光敏三極管研制的視覺刺激同步儀,經(jīng)過時(shí)序測(cè)量表明誤差時(shí)間分布普遍集中在0.3 ms,可以有效地減小視覺刺激實(shí)驗(yàn)的誤差。同時(shí)該設(shè)備操作簡(jiǎn)單,輸出電平、接口多樣,且設(shè)計(jì)成外接設(shè)備的形式便于直接接入現(xiàn)有實(shí)驗(yàn)系統(tǒng)以提高視覺刺激實(shí)驗(yàn)的準(zhǔn)確性,具有很高的推廣應(yīng)用價(jià)值。