張學(xué)志，谷亞倫，林 高，張道輝

（1.沈陽化工大學(xué) 信息工程學(xué)院，沈陽 110142；2.中國科學(xué)院 沈陽自動化研究所 機(jī)器人學(xué)國家重點(diǎn)實(shí)驗(yàn)室，沈陽 110016；3.中國科學(xué)院 機(jī)器人與智能制造創(chuàng)新研究院，沈陽 110169）

地球的海洋面積在地球表面上大約占有71%，蘊(yùn)藏著非常寶貴的資源，經(jīng)濟(jì)開發(fā)和科研探索潛力巨大[1]。然而海洋環(huán)境具有危險(xiǎn)性及復(fù)雜性，想要單純地依靠人工進(jìn)行海洋開發(fā)和海洋調(diào)查是不現(xiàn)實(shí)的，水下機(jī)器人成為了完成人類深海作業(yè)的最佳選擇[2]。受限于當(dāng)前機(jī)器人智能水平，相當(dāng)長一段時間內(nèi)，研發(fā)出完全自主的機(jī)器人仍是遙不可及的目標(biāo)，因此遙控水下機(jī)器人（remote operated vehicle，ROV）將在深海環(huán)境作業(yè)中發(fā)揮越來越重要的作用[3]。

人機(jī)交互控制技術(shù)是決定ROV 能否完成水下作業(yè)任務(wù)的關(guān)鍵因素，然而現(xiàn)有的水下機(jī)器人控制方式一般需要多人協(xié)同操作共同完成，不僅消耗操作者很大的精力且效率不高。文獻(xiàn)[4]設(shè)計(jì)了基于腦肌電信號的機(jī)械臂控制，通過6 種手勢動作和左右手運(yùn)動想象產(chǎn)生的原始肌電、腦電信號實(shí)現(xiàn)對機(jī)械臂的運(yùn)動控制；文獻(xiàn)[5]設(shè)計(jì)了一種基于肌電信號控制的上肢假肢系統(tǒng)，通過6 種手勢動作實(shí)現(xiàn)對假肢手臂各關(guān)節(jié)的控制；文獻(xiàn)[6]在復(fù)雜仿人機(jī)器人遠(yuǎn)程操作系統(tǒng)中應(yīng)用了上肢外骨骼裝置，此裝置可跟蹤操作人員運(yùn)動并傳遞信息，實(shí)現(xiàn)運(yùn)動測量并具有力反饋?zhàn)饔?；美國德克薩斯大學(xué)Reneu Robotics Lab實(shí)驗(yàn)室[7]開發(fā)的Harmony 雙臂機(jī)械外骨骼通過對人體上肢的運(yùn)動機(jī)理分析和肩部機(jī)構(gòu)解剖，能夠?yàn)樗嘘P(guān)節(jié)提供無約束的活動特性，該外骨骼設(shè)備在支撐人體上半身的重量的同時還能夠?yàn)榇┐髡咛峁┹o助力量，使其達(dá)到預(yù)期的運(yùn)動；文獻(xiàn)[8]設(shè)計(jì)了基于Myo 臂環(huán)和Kinect 體感設(shè)備的多模態(tài)人機(jī)交互技術(shù)，通過檢測右臂的位置和姿態(tài)信息以及手勢動作產(chǎn)生的肌電信號實(shí)現(xiàn)機(jī)械臂的抓取控制，實(shí)現(xiàn)了較為自然的人機(jī)交互控制效果。目前基于人體生理信息的交互控制研究主要集中于人機(jī)交互過程中的自然交互控制方面，但只能完成一些簡單的運(yùn)動控制，無法適應(yīng)復(fù)雜的水下操作任務(wù)。

本文針對以上問題，提出了一種多模態(tài)融合的人機(jī)交互控制方案，以具有10 自由度的雙臂水下機(jī)器人為研究對象，通過外骨骼和Myo 手環(huán)檢測操作者運(yùn)動意圖。采用網(wǎng)絡(luò)將控制指令發(fā)送到水下機(jī)器人端口，通過操作者上肢的自然運(yùn)動實(shí)現(xiàn)了對水下機(jī)器人的18 種控制指令的映射。最終進(jìn)行多模態(tài)人機(jī)交互控制測試，驗(yàn)證了多模人機(jī)互控制方式的有效性和可行性。

1 系統(tǒng)組成

系統(tǒng)主要采用外骨骼設(shè)備和Myo 手環(huán)獲取操作者控制意圖，利用可穿戴外骨骼檢測操作者手臂各關(guān)節(jié)的運(yùn)動角度，實(shí)現(xiàn)對機(jī)械臂的運(yùn)動控制；利用Myo 手環(huán)檢測操作者手部動作時的肌電信號，實(shí)現(xiàn)對ROV 的運(yùn)動控制以及機(jī)械臂末端夾爪的張合控制。為實(shí)現(xiàn)控制效果的可視化，搭建了水下機(jī)器人仿真環(huán)境，系統(tǒng)框圖如圖1 所示。

圖1 系統(tǒng)框圖Fig.1 System block diagram

可穿戴外骨骼機(jī)器人可以真實(shí)的還原人體動作，直觀地表達(dá)操作者意圖。外骨骼機(jī)器人需要與人體相結(jié)合，實(shí)現(xiàn)檢測人體運(yùn)動狀態(tài)，跟隨穿戴者運(yùn)動并提供輔助[9]。該系統(tǒng)使用的上肢可穿戴外骨骼主要是由14 個角度傳感器構(gòu)成的雙臂和末端手柄組成，單側(cè)手臂的7 個傳感器分別對應(yīng)人體手臂的7 自由度運(yùn)動，末端手柄由5 個按鈕和1 個方向按鍵組成，如圖2 所示。

圖2 上肢可穿戴外骨骼Fig.2 Wearable exoskeleton for upper limb

Myo 手環(huán)佩戴于操作者前臂上，檢測操作者前臂肌肉的表面肌電信號的變化，實(shí)現(xiàn)判斷操作者手部動作的目的。Myo 手環(huán)由8 個通道組成，不同的肌肉群觸發(fā)的肌電信號識別到不同的通道中，如圖3所示。為實(shí)現(xiàn)控制效果的可視化，搭建了水下虛擬仿真環(huán)境，設(shè)計(jì)了10 自由度的雙臂水下機(jī)器人為控制對象。

圖3 Myo 手環(huán)Fig.3 Myo bracelet

2 多模態(tài)融合的人機(jī)交互控制

2.1 肢體動作的控制意圖識別

肢體動作的運(yùn)動意圖檢測是通過對外骨骼檢測的手臂關(guān)節(jié)角度值進(jìn)行分析處理，從而得到操作者手臂的關(guān)節(jié)運(yùn)動狀態(tài)，肢體動作的意圖檢測流程如圖4 所示。

圖4 肢體動作的意圖檢測流程Fig.4 Intention detection of body movements

當(dāng)外骨骼打開電源后，會持續(xù)向外發(fā)送傳感器檢測到的各關(guān)節(jié)角度數(shù)據(jù)，采用UDP 通信的方式接收外骨骼端口發(fā)送的數(shù)據(jù)，并去除傳感器的偏移量等干擾，最終獲取操作者手臂各關(guān)節(jié)運(yùn)動的實(shí)際角度。為了降低手臂運(yùn)動時各關(guān)節(jié)間的聯(lián)動性影響，采用外骨骼末端手柄上的按鈕控制手臂各關(guān)節(jié)的數(shù)據(jù)讀取。經(jīng)過多次調(diào)試，確定各關(guān)節(jié)運(yùn)動時傳感器檢測的數(shù)值區(qū)間范圍，并對其進(jìn)行合理劃分，從而確定相應(yīng)的肢體動作指令。

2.2 肌電信號的控制意圖識別

通過檢測操作者前臂肌肉的表面肌電信號變化，從而識別出操作者的手部動作。操作者佩戴Myo手環(huán)后，根據(jù)提示完成相應(yīng)動作，采集操作者手部動作時的肌電信號。首先對肌電數(shù)據(jù)進(jìn)行去偏置/噪聲的預(yù)處理；對處理后的肌電信號進(jìn)行特征的提??；利用提取的特征樣本訓(xùn)練肌電指令識別模型；最后將實(shí)時采集的肌電信號進(jìn)行預(yù)處理和特征提取操作后，傳入到訓(xùn)練好的指令識別模型中，即可識別出相應(yīng)的手部動作。

首先對采集的肌電數(shù)據(jù)進(jìn)行預(yù)處理操作并完成數(shù)據(jù)歸一化。采用絕對均值（MAV）的方式完成對肌電時域特征的提取，選取一定長度的滑動窗完成對肌電數(shù)據(jù)的劃分，通過計(jì)算每個滑動窗內(nèi)肌電信號幅值的絕對均值，從而獲取肌電信號的平均強(qiáng)度，計(jì)算過程如公式（1）所示：

利用線性判別分析（LDA）設(shè)計(jì)分類器，完成肌電特征的分類識別。肌電信號的控制意圖識別如圖5 所示。

圖5 肌電信號控制意圖識別Fig.5 Emg control intention recognition

2.3 基于肢體和肌電的人機(jī)交互控制

多模人機(jī)交互控制即通過肢體動作和肌電信號共同完成對水下機(jī)器人的運(yùn)動控制。將肢體指令和肌電指令映射為水下機(jī)器人的控制指令，通過UDP 通信將控制指令發(fā)送到虛擬仿真界面，實(shí)現(xiàn)對水下機(jī)器人的運(yùn)動控制，肢體和肌電的指令融合過程如圖6 所示?；谥w動作和肌電信號的動作指令，共實(shí)現(xiàn)了18 種水下機(jī)器人的控制指令，具體的指令映射關(guān)系如表1 所示。

表1 控制指令映射關(guān)系Tab.1 Control instruction mapping relationship

圖6 肢體和肌電信號融合控制Fig.6 Limb and EMG fusion control

3 多模態(tài)人機(jī)交互控制測試

本文提出了一種多模態(tài)人機(jī)交互控制方式，使用上肢可穿戴外骨骼控制機(jī)械臂各關(guān)節(jié)的運(yùn)動；使用Myo 手環(huán)控制機(jī)械臂末端夾爪的張合以及ROV 的移動。操作者穿戴外骨骼和Myo 手環(huán)后，執(zhí)行相應(yīng)的動作控制水下機(jī)器人的運(yùn)動，測試控制指令的識別效果，具體的動作控制指令如圖7 和圖8所示。

圖7 肢體動作控制指令Fig.7 Body movement control instructions

圖8 肌電信號控制指令Fig.8 EMG control instructions

選取4 名操作者分別使用3 種控制方式完成對機(jī)器人的控制，每位操作者分別完成20 次肢體控制指令和肌電控制指令以及40 次肢體和肌電融合控制指令，統(tǒng)計(jì)正確識別指令的次數(shù)，具體實(shí)驗(yàn)結(jié)果如表2 所示。在手勢動作識別的測試中，沒有出現(xiàn)一種動作識別為另一種動作的情況，但在手部放松（不發(fā)布控制指令）狀態(tài)下會存在誤識別為某一動作指令的情況。在肢體動作和手勢動作融合控制的實(shí)驗(yàn)中，當(dāng)手臂進(jìn)行動作時，會導(dǎo)致手部產(chǎn)生細(xì)微運(yùn)動，從而獲得額外的肌電指令。通過記錄的正確識別指令的次數(shù)，統(tǒng)計(jì)指令識別的準(zhǔn)確率，如圖9 所示。

表2 指令測試實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of instruction test

圖9 三種控制方式下指令識別準(zhǔn)確率Fig.9 Accuracy of instruction recognition under three control modes

實(shí)驗(yàn)結(jié)果表明，肢體控制、肌電控制以及肢體和肌電融合控制的指令識別準(zhǔn)確率分別在100%、95%、93%左右。肌電控制與肢體和肌電融合控制的指令識別率相差不大，但多模融合的控制方式，可以大幅增加控制指令的數(shù)量，以適應(yīng)更復(fù)雜的任務(wù)場景。

4 結(jié)語

本文提出了一種多模態(tài)人機(jī)交互控制方案，通過操作者手臂和手部的自然運(yùn)動實(shí)現(xiàn)對水下機(jī)器人的運(yùn)動控制。通過對手臂關(guān)節(jié)運(yùn)動角度的檢測和機(jī)器學(xué)習(xí)算法，完成了對肢體動作和肌電信號的控制意圖識別，并將控制指令發(fā)送到水下機(jī)器人端口，實(shí)現(xiàn)了對水下機(jī)器人的多模人機(jī)交互控制效果。最后，通過多模態(tài)人機(jī)交互控制測試的實(shí)驗(yàn)，驗(yàn)證了多模人機(jī)交互控制方式完成水下作業(yè)任務(wù)的可行性和有效性。

進(jìn)一步的工作可以從降低肢體動作和肌電信號的干擾方面進(jìn)行改進(jìn)，以提高多模態(tài)控制方式的指令識別準(zhǔn)確率。相信未來的多模人機(jī)交互技術(shù)在遙操作、康復(fù)、助力等領(lǐng)域中定會得到廣泛的應(yīng)用。