李躍峰，劉洪海

(上海交通大學(xué) 機(jī)械系統(tǒng)與振動(dòng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，上海 200240)

0 引 言

隨著科技的發(fā)展，生活中人與機(jī)器的互動(dòng)和交流越來(lái)越多，人機(jī)交互的方式已經(jīng)成為一個(gè)研究熱點(diǎn)。直接采集肌肉信息讀取人體運(yùn)動(dòng)姿態(tài)信息或者運(yùn)動(dòng)意圖的新型人機(jī)接口正在涌現(xiàn)。這種類型的人機(jī)接口操作非常符合人的直覺，方便實(shí)用，尤其適合用于控制真實(shí)世界或虛擬環(huán)境中的運(yùn)動(dòng)物體，比如假肢手[1]、康復(fù)機(jī)器人[2]和游戲互動(dòng)等。

基于表面肌電人機(jī)接口，最成熟的方式是采集表面肌電信號(hào)(surface electro myogram,sEMG)以讀取肌肉收縮情況，判斷人體動(dòng)作。在該領(lǐng)域已有許多文獻(xiàn)研究[3]，市場(chǎng)上亦有成型產(chǎn)品,但也存在一些根本的問(wèn)題：表面肌電信號(hào)是在皮膚表面采集的，無(wú)法在深度方向上區(qū)分不同層次的肌肉，空間分辨率不高，因此，在識(shí)別精細(xì)的運(yùn)動(dòng)，如手指動(dòng)作時(shí)有所不足[4]。

基于超聲的人機(jī)接口能很好地解決空間分辨率的問(wèn)題，因?yàn)槌暡軌虼┩溉梭w的組織，檢測(cè)不同深度的信息。目前,這方面大部分研究均基于超聲成像技術(shù)的[5～7]。超聲成像技術(shù)能提供清晰的肌肉圖像，但其依賴于B超設(shè)備，成本很高，體積龐大，并且要求很強(qiáng)的數(shù)據(jù)處理能力，難以走出實(shí)驗(yàn)室。

為了解決這些問(wèn)題，本文設(shè)計(jì)了一種基于單振元超聲傳感器的手勢(shì)識(shí)別系統(tǒng)。通過(guò)在前臂放置多個(gè)單振元超聲傳感器，對(duì)肌肉進(jìn)行A超掃描，采集肌肉信息，利用機(jī)器學(xué)習(xí)的方法對(duì)回波數(shù)據(jù)進(jìn)行模式識(shí)別，判斷手勢(shì)動(dòng)作。實(shí)驗(yàn)結(jié)果表明：系統(tǒng)能夠有效判別手指動(dòng)作。

1 肌肉運(yùn)動(dòng)和超聲信號(hào)的關(guān)系

為了獲得前臂肌肉信息，可以將超聲傳感器放置于前臂表面。超聲傳感器向人體組織內(nèi)部發(fā)射超聲波，聲波遇到肌肉—肌肉或肌肉—骨骼等組織界面時(shí)，會(huì)發(fā)生反射，反射波回到超聲探頭，形成超聲回波。通過(guò)判斷回波峰值的位置和大小，即可檢測(cè)組織界面的深度和特性。通過(guò)對(duì)前臂進(jìn)行B超成像，可以看到，在手指動(dòng)作時(shí)，前臂橫截面內(nèi)的各塊肌肉會(huì)有很大程度的形狀、面積和密度的變化。這個(gè)變化體現(xiàn)在A超回波上，即為各個(gè)波峰的位置和幅值的變化。通過(guò)對(duì)這些波峰的變化進(jìn)行分類和識(shí)別，判斷手指的運(yùn)動(dòng)。

2 單振元超聲傳感器設(shè)計(jì)

超聲波傳感器是整個(gè)手勢(shì)識(shí)別系統(tǒng)的最前端，其作用是在激勵(lì)電壓的作用下發(fā)射超聲波，并接收反射的回波信號(hào)，兼具收發(fā)作用，因此，也被稱作換能器。

考慮到成本和整個(gè)系統(tǒng)復(fù)雜度，選擇單振元超聲傳感器。其主要參數(shù)包括直徑、形狀、中心頻率和帶寬等。參考工業(yè)無(wú)損檢測(cè)和醫(yī)學(xué)超聲的案例[8]，最終選擇了直徑10 mm、中心頻率5 MHz的壓電陶瓷。為了更好地適合人體應(yīng)用，自行設(shè)計(jì)了匹配層，并將其與壓電陶瓷進(jìn)行了整體封裝，加工完成的傳感器如圖1所示。

前臂的肌肉非常復(fù)雜，僅僅使用一個(gè)探頭無(wú)法檢測(cè)到所有肌肉的信息，但一味增加探頭數(shù)量又會(huì)增加硬件設(shè)計(jì)和數(shù)據(jù)處理的難度，因此，采用4只超聲傳感器，用一條綁帶以臂帶的形式繞在前臂，起到固定傳感器的作用。

圖1 超聲傳感器

3 手勢(shì)識(shí)別系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)總體結(jié)構(gòu)

除了最前端的傳感器之外，手勢(shì)識(shí)別系統(tǒng)主要包括兩大部分：硬件平臺(tái)和處理算法，如圖2所示。

圖2 手勢(shì)識(shí)別系統(tǒng)框圖

3.2 超聲信號(hào)的獲取與調(diào)理

超聲傳感器需要用高頻的激勵(lì)電壓驅(qū)動(dòng)，另一方面，接收的回波需要進(jìn)行信號(hào)調(diào)理和數(shù)/模轉(zhuǎn)換，兩部分的工作均由一塊超聲發(fā)射/接收板卡ZXUS4完成。

考慮到安全性，探頭的激勵(lì)電壓被限制在40V，脈沖的重復(fù)頻率為20 Hz。采用100 MHz/8 bit的采樣率獲取長(zhǎng)度為8 192個(gè)像素點(diǎn)的信號(hào)。

3.3 超聲信號(hào)的預(yù)處理

采集到的信號(hào)用MATLAB進(jìn)行離線處理。根據(jù)文獻(xiàn)[9]，利用B超成像技術(shù)得到的圖像是在手勢(shì)識(shí)別方面良好的信號(hào)源，因此,本實(shí)驗(yàn)也采用類似于超聲成像技術(shù)[10]中的超聲信號(hào)調(diào)制方法。

具體分為4個(gè)步驟：時(shí)間增益補(bǔ)償(time gain compensation,TGC)、帶通濾波、包絡(luò)檢波和對(duì)數(shù)壓縮。時(shí)間增益補(bǔ)償用于補(bǔ)償超聲波在傳播過(guò)程中由于發(fā)散和阻尼所造成的能量衰減；帶通濾波的環(huán)節(jié)中，采用了中心頻率定位在通帶中心的高斯濾波器，濾除非線性傳播和電路中的噪聲；包絡(luò)檢波的方法對(duì)信號(hào)進(jìn)行Hilbert變換；對(duì)數(shù)壓縮的目的是將時(shí)間增益補(bǔ)償造成的大動(dòng)態(tài)范圍壓縮到較小的空間中，便于后續(xù)的處理。預(yù)處理示意如圖3所示。

圖3 預(yù)處理示意

3.4 特征提取與模式識(shí)別

整個(gè)模式識(shí)別的過(guò)程可以分為2個(gè)步驟:1)對(duì)訓(xùn)練集的數(shù)據(jù)進(jìn)行處理，根據(jù)一定的方法提取特征;2)將特征送入分類器，對(duì)其進(jìn)行訓(xùn)練;3)利用訓(xùn)練完成的分類器，對(duì)測(cè)試集的數(shù)據(jù)進(jìn)行手勢(shì)的判別。

參照文獻(xiàn)[5]，采用類似的特征提取方法。對(duì)經(jīng)過(guò)預(yù)處理得到的每一個(gè)通道的每一幀信號(hào)，將其以120個(gè)像素點(diǎn)為窗長(zhǎng)進(jìn)行分段，對(duì)每一小段進(jìn)行線性回歸，然后將所有線性回歸得到的系數(shù)串聯(lián)起來(lái)，構(gòu)成該幀特征向量。得到的特征向量長(zhǎng)度約800維，為了便于分類器分析，先采用主成分分析(principal component analysis,PCA)的方法對(duì)其進(jìn)行降維，最終選取35維主成分送入常用的線性判別分析(linear discriminant analysis,LDA)分類器，根據(jù)實(shí)驗(yàn)的范式，選用一定量的數(shù)據(jù)作為訓(xùn)練集，使用其余數(shù)據(jù)作為測(cè)試集或者直接進(jìn)行在線測(cè)試。

4 實(shí)驗(yàn)測(cè)試與結(jié)果分析

為了測(cè)試搭建的手勢(shì)識(shí)別系統(tǒng)，進(jìn)行了離線的手勢(shì)識(shí)別實(shí)驗(yàn)，即將采集數(shù)據(jù)和分析數(shù)據(jù)的過(guò)程分開，分析數(shù)據(jù)的過(guò)程在采集完所有數(shù)據(jù)之后進(jìn)行。

4.1 實(shí)驗(yàn)范式

考慮到手指的精細(xì)動(dòng)作識(shí)別是表面肌電等其他人機(jī)接口的難點(diǎn)，因此，采用手指屈的動(dòng)作作為目標(biāo)動(dòng)作。包括5個(gè)手指的屈動(dòng)作和靜息態(tài)共6個(gè)。實(shí)驗(yàn)時(shí)，受試者坐在椅子上，手和前臂水平于椅子的扶手上。調(diào)節(jié)椅子的高度使受試者無(wú)任何不適。將臂帶佩戴在手臂上，并使2只傳感器對(duì)準(zhǔn)內(nèi)側(cè)的尺側(cè)腕伸肌，2只傳感器對(duì)準(zhǔn)外側(cè)的橈側(cè)腕屈肌。放置位置距離腕關(guān)節(jié)大約5 cm。

受試者按照屏幕的指示完成實(shí)驗(yàn)動(dòng)作，分別包括拇指屈、食指屈、中指屈、無(wú)名指屈和小指屈，每個(gè)動(dòng)作維持5 s，動(dòng)作之間插入5 s的休息態(tài)。一組動(dòng)作共同時(shí)50 s，進(jìn)行10組該動(dòng)作，需要500 s的時(shí)間。

將采集到的10組數(shù)據(jù)中的前5組作為訓(xùn)練集，后5組作為測(cè)試集，利用前述模式識(shí)別算法進(jìn)行驗(yàn)證，計(jì)算手勢(shì)識(shí)別的正確率。采用這樣的方式來(lái)決定訓(xùn)練集和測(cè)試集，目的是希望盡可能地模擬在線測(cè)試的情況，即在前半段時(shí)間進(jìn)行分類器的訓(xùn)練，在后半段時(shí)間利用訓(xùn)練的分類器進(jìn)行在線的測(cè)試。

4.2 實(shí)驗(yàn)結(jié)果

分別計(jì)算5位受試者的手勢(shì)識(shí)別率如圖4所示。圖4(a)給出了6個(gè)動(dòng)作((1～6分別對(duì)應(yīng)休息態(tài)、拇指屈、食指屈、中指屈、無(wú)名指屈和小指屈)的識(shí)別率，圖4(b)中給出了5位受試者的手勢(shì)識(shí)別率。游標(biāo)指示了標(biāo)準(zhǔn)差。

可以看出：針對(duì)6個(gè)識(shí)別動(dòng)作的范式，平均識(shí)別率達(dá)到了91.1 %，不同受試者之間手勢(shì)識(shí)別率有一定差異，其標(biāo)準(zhǔn)差約為5 %，最差的受試者(S2)的手勢(shì)識(shí)別率也在85 %以上。針對(duì)不同的動(dòng)作，可以看到其識(shí)別率之間有所差異，其中小拇指和中指的識(shí)別率比較高，而且在不同受試者之間的差異也比較小。

圖4 不同動(dòng)作和受試者的手勢(shì)識(shí)別率

5 結(jié) 論

設(shè)計(jì)并實(shí)現(xiàn)了一種基于多通道單振元超聲傳感器的手勢(shì)識(shí)別系統(tǒng)。應(yīng)用多個(gè)單振元超聲傳感器對(duì)前臂肌肉進(jìn)行A超掃描，獲得肌肉的層次信息，利用模式識(shí)別的算法在超聲信號(hào)和手指動(dòng)作建立映射關(guān)系。實(shí)驗(yàn)表明：手勢(shì)識(shí)別系統(tǒng)具有很高的識(shí)別正確率。

[1] 李天博,陳 玲,陳坤華,等.基于MSP430的肌電假手系統(tǒng)設(shè)計(jì)[J].傳感器與微系統(tǒng),2012,31(4):75-78.

[2] 李慶玲.基于sEMG信號(hào)的外骨骼式機(jī)器人上肢康復(fù)系統(tǒng)研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2009.

[3] 丁其川，熊安斌，趙新剛，等.基于表面肌電的運(yùn)動(dòng)意圖識(shí)別方法研究及應(yīng)用綜述[J].自動(dòng)化學(xué)報(bào)，2016,42(1):13-25.

[4] Fang Y F,Hettiarachch I N,Liu H H,et al.Multi-modal sensing techniques for interfacing hand prostheses:A review[J].IEEE Sensors Journal,2015,15(11):6065-6076．

[5] Castellini C,Passig G,Zarka E,et al.Using ultrasound images of the forearm to predict finger positions[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2012,20(6):788-797.

[6] Shi J,Guo J Y,Hu S X,et al.Recognition of finger flexion motion from ultrasound image:A feasibility study[J].Ultrasound in Medicine & Biology,2012,38(10):1695-1704.

[7] Sikdar S,Rangwala H,Eastlake E B,et al.Novel method for predicting dexterous individual finger movements by imaging muscle activity using a wearable ultrasonic system[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(1):69-76.

[8] 李洪陽(yáng)，李毅彬，李申龍，等.基于A型超聲波傳感器的血壓連續(xù)測(cè)量系統(tǒng)[J].傳感器與微系統(tǒng),2016,35(2):87-90.

[9] Huang Y,Liu H.Performances of surface EMG and ultrasound signals in recognizing finger motion[C]∥International Confe-rence on Human System Interactions,London:IEEE,2016:117-122.

[10] 伍于添. 醫(yī)學(xué)超聲設(shè)備：原理·設(shè)計(jì)·應(yīng)用 [M].北京:科學(xué)技術(shù)文獻(xiàn)出版社,2012.