謝銀波，魏天奇，田 元，嚴(yán)志聰，陳世增

基于人體手臂同步遠(yuǎn)控的智能機(jī)械車研究

謝銀波，魏天奇，田 元，嚴(yán)志聰，陳世增

（武漢大學(xué) 電子信息學(xué)院，湖北 武漢 430072）

設(shè)計(jì)了一種基于人體手臂同步控制的智能機(jī)械車系統(tǒng)。該系統(tǒng)采用低功耗異構(gòu)多處理器、多核機(jī)電系統(tǒng)，通過優(yōu)化的游戲引擎人機(jī)交互圖形控制界面，輔以可穿戴式肌電信號和手臂姿態(tài)傳感器，以手勢及手臂姿態(tài)無線遠(yuǎn)程控制智能車的行進(jìn)、機(jī)械臂的同步伸展和機(jī)械手的抓取等動作，車載高速激光雷達(dá)系統(tǒng)和攝像頭系統(tǒng)實(shí)現(xiàn)，在復(fù)雜未知環(huán)境下，遠(yuǎn)控機(jī)車的定位、二維和三維場景快速重構(gòu)、無縫切換顯示，實(shí)驗(yàn)結(jié)果標(biāo)明，系統(tǒng)魯棒性好、實(shí)時(shí)性能滿足應(yīng)用要求，具有較好的應(yīng)用價(jià)值前景。

智能機(jī)械車；肌電信號；體感控制；實(shí)時(shí)地圖；機(jī)器學(xué)習(xí)

通過在人的肢體上穿戴傳感和智能設(shè)備，利用人體的生物機(jī)能反應(yīng)和肢體動作，可以更直觀、靈活地進(jìn)行信號感知和實(shí)施控制過程。國內(nèi)外的研究者，針對利用穿戴式裝置的控制方法及應(yīng)用，特別是以肌電信號（electro myo gram，EMG）和慣性測量單元（inertial measurement unit，IMU）為基礎(chǔ)，展開了廣泛的研究[1-3]，但鮮見有將EMG與IMU相結(jié)合進(jìn)行相互約束以達(dá)到最優(yōu)解的討論。

為了解決上述問題，本文提出并實(shí)現(xiàn)了一種通過人體手臂對智能車及車載機(jī)械臂進(jìn)行實(shí)時(shí)控制的系統(tǒng)。針對車體及機(jī)械臂設(shè)計(jì)與控制在很多文獻(xiàn)[4-5]中有討論，本文主要從穿戴式人機(jī)交互實(shí)時(shí)控制與基于激光雷達(dá)的場景探測進(jìn)行設(shè)計(jì)與分析。

1 系統(tǒng)結(jié)構(gòu)與功能

通過自定義手勢和穿戴EMG傳感器的手臂可無線遠(yuǎn)程控制智能車的行進(jìn)狀態(tài)。使用穿戴有姿態(tài)傳感器組的手臂[6-7]，直接操控基于Unity3D實(shí)現(xiàn)的友好人機(jī)圖形控制界面[8]，以及在車輛控制界面下控制車載機(jī)械臂的同步伸展和機(jī)械手的抓取等動作。同時(shí)，依靠車載高速激光雷達(dá)系統(tǒng)和攝像頭，可獲得復(fù)雜未知環(huán)境下，實(shí)時(shí)場景原始數(shù)據(jù)，并將數(shù)據(jù)上傳至上位控制系統(tǒng)，上位控制系統(tǒng)對回傳數(shù)據(jù)進(jìn)行處理，完成實(shí)時(shí)機(jī)車定位和遠(yuǎn)程三維場景快速重構(gòu)和顯示，二三維圖像可進(jìn)行無縫切換，協(xié)助人對車的操控過程和機(jī)械臂的抓取。智能機(jī)械車實(shí)物及系統(tǒng)操控主界面見圖1。

圖2為系統(tǒng)工作原理圖。系統(tǒng)由上位控制系統(tǒng)和智能機(jī)械車2大部分組成，考慮到智能車需由電池供電，有低功耗及控制內(nèi)容、種類復(fù)雜等特點(diǎn)，系統(tǒng)采用異構(gòu)多處理器、多核心架構(gòu)。智能機(jī)械車以Intel MinnowBoard嵌入式系統(tǒng)I為車載主控核心，對來自激光雷達(dá)、攝像頭等較大數(shù)據(jù)任務(wù)進(jìn)行處理，并將處理后數(shù)據(jù)通過Wi-Fi信道及時(shí)傳輸?shù)缴衔豢刂葡到y(tǒng)，輔以Intel Genuino 101和ST STM32低功耗控制板，實(shí)現(xiàn)對機(jī)械臂、車底盤運(yùn)動等實(shí)時(shí)性要求較高的控制。上位控制系統(tǒng)由同樣架構(gòu)的嵌入式系統(tǒng)II組成，其對從智能機(jī)械車傳來的擬合地圖數(shù)據(jù)、機(jī)器人位置信息及視頻圖像信息等進(jìn)行融合、重建和生成界面，同時(shí)對手臂姿態(tài)傳感器和肌電傳感器信號進(jìn)行采樣和處理，并通過Wi-Fi信道TCP鏈路將控制指令實(shí)時(shí)發(fā)送到智能機(jī)械車。

圖1 智能機(jī)械車實(shí)物及系統(tǒng)操控主界面

圖2 系統(tǒng)工作原理圖

2 穿戴式人機(jī)交互實(shí)時(shí)控制設(shè)計(jì)

2.1 基于EMG信號的手勢識別

手勢識別組件中包含一個(gè)加拿大Thalmic Labs的MYO EMG采集臂環(huán)，佩戴在胳膊的肘關(guān)節(jié)上方，通過低功率的藍(lán)牙接口與上位控制系統(tǒng)進(jìn)行通信連接。當(dāng)帶動肌肉運(yùn)動的手做出：手指張開A、緊握拳B、手左彎折C、手右彎折D、手松弛E 5種動作時(shí)，可遠(yuǎn)程控制智能車分別完成前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止5種運(yùn)動。

MinnowBoard嵌入式系統(tǒng)II接收到EMG信號后，進(jìn)行預(yù)分類和細(xì)分類的手勢識別過程，流程如圖3所示。

首先從所有手勢中區(qū)分出放松手勢，根據(jù)人體手勢動作時(shí)前臂不同肌肉的差異化用力，利用積分肌電值（IEMG）作為首次分類的特征向量，對表面肌電信號進(jìn)行預(yù)分類。

圖3 手勢識別流程圖

預(yù)分類算法如下：根據(jù)EMG信號通道數(shù)=8，則EMG信號絕對值幅度平均值為

積分肌電值定義式：

式中為總樣本數(shù)。

根據(jù)不同手勢肌電積分值()的分布情況，選擇線性判別函數(shù)：

()將手部動作分為兩大類：（放松）與（緊張），對于有權(quán)矢量，運(yùn)用感知器算法。校正規(guī)則如下式：

線性判別函數(shù)確定后，將測試集特征向量代入()中，可通過公式（5）判別規(guī)則進(jìn)行緊張與放松狀態(tài)的分類識別。

經(jīng)過預(yù)分類后，再對4個(gè)緊張手勢采用一對多支持向量機(jī)（support vector machine，SVM）分類器進(jìn)行細(xì)分類，分別對應(yīng)智能車移動的4個(gè)自由度，最終判定出可區(qū)別的手勢。

2.2 基于手臂姿態(tài)控制的人機(jī)交互控制

手臂姿態(tài)獲取由2組MPU-6050與2組CC2540 BLE模塊為核心的電路構(gòu)成。MPU-6050內(nèi)部集成了3軸陀螺儀[9]和3軸MEMS加速度計(jì)。由于姿態(tài)傳感器組對環(huán)境溫濕度變化和周圍電磁波干擾極為敏感，故需要對原始數(shù)據(jù)進(jìn)行濾波。

通過對于2路陀螺儀數(shù)據(jù)獲取向量，經(jīng)中值濾波等處理，映射為手臂肘部的關(guān)節(jié)夾角，從而形成手臂控制的運(yùn)動姿態(tài)。獲取的加速度值再通過中值濾波和卡爾曼濾波，獲得控制人機(jī)交互圖控界面中上移動激活、下移動激活及旋轉(zhuǎn)手臂確認(rèn)的3個(gè)主要UI控制指令，結(jié)合EMG手勢識別旋轉(zhuǎn)手臂動作，實(shí)現(xiàn)“確認(rèn)”的交互操作。

此外，根據(jù)采集到的手勢和手臂姿態(tài)信息，可對智能車進(jìn)行多自由度控制。通過8路PWM波實(shí)現(xiàn)智能車底座的萬向運(yùn)動，通過6路PWM波實(shí)現(xiàn)機(jī)械臂的6自由度控制，而且6個(gè)機(jī)械臂動力舵機(jī)、2個(gè)機(jī)械臂關(guān)節(jié)上的MPU6050加速度計(jì)及2個(gè)機(jī)械手爪上的壓力傳感器構(gòu)成閉環(huán)負(fù)反饋系統(tǒng)。

3 基于激光雷達(dá)的場景探測

3.1 RPLIDAR激光雷達(dá)

激光雷達(dá)模塊采用SLAMTEC公司的RPLIDAR A1，主要由測距子模塊和機(jī)械運(yùn)行子模塊組成，以雷達(dá)身為中心對范圍場景進(jìn)行激光點(diǎn)云掃描，再通過串行接口將實(shí)時(shí)測距數(shù)據(jù)傳輸給智能機(jī)械車中的MinnowBoard嵌入式系統(tǒng)I中進(jìn)行處理。

同時(shí)，利用車載機(jī)械臂夾手處的高清攝像頭獲取30FPS/1080P視頻流，編碼為H.264碼流[10]，通過RTP協(xié)議實(shí)時(shí)傳輸至上位控制系統(tǒng)，最后與由激光雷達(dá)形成的場景圖耦合的互為參照、可切換式視角界面。

3.2 場景探測算法

場景探測以激光雷達(dá)模塊采集數(shù)據(jù)為基礎(chǔ)，場景探測算法流程如圖4所示。

圖4 場景重構(gòu)程序流程圖

MinnowBoard嵌入式系統(tǒng)I軟件系統(tǒng)搭載Ubuntu14和ROS Indigo[11]，輔助導(dǎo)航程序控制激光雷達(dá)獲取點(diǎn)云數(shù)據(jù)，經(jīng)過濾波和與現(xiàn)場環(huán)境的掃描匹配過程，結(jié)合圖優(yōu)化SLAM算法進(jìn)行全局優(yōu)化[12-13]，場景地圖數(shù)據(jù)為′維矩陣（為場景地圖寬，為高），通過Canny邊緣提取[14]與Hough變換獲取精準(zhǔn)的場景邊界[15]，反復(fù)匹配得到比較精確的重構(gòu)結(jié)果。

4 關(guān)鍵性能測試與分析

針對系統(tǒng)的主要功能，對相關(guān)關(guān)鍵組件，包括手勢識別、機(jī)械臂姿態(tài)控制、場景重構(gòu)進(jìn)行了性能測試與分析。

4.1 手勢識別測試

4.1.1 實(shí)時(shí)性

定義手勢數(shù)據(jù)庫的總樣本數(shù)為。通過更換不同的值，測試手勢識別的時(shí)間。通過記錄手勢判斷的時(shí)間來判斷手勢識別框架的實(shí)時(shí)性，實(shí)驗(yàn)結(jié)果見表1。

表1 手勢識別實(shí)時(shí)性測試

從測試結(jié)果可以看出，當(dāng)樣本集數(shù)量控制在10 000時(shí)，手勢識別都可以在30 ms左右完成，可以達(dá)到較好的實(shí)時(shí)性要求。

4.1.2 準(zhǔn)確性

手勢識別的準(zhǔn)確性決定整個(gè)系統(tǒng)的穩(wěn)定性。分別對5種手勢識別20、40、100次，5種手勢分別標(biāo)記為A、B、C、D和E，識別結(jié)果見表2。

表2 手勢識別準(zhǔn)確性測試

從表2可以看出，代表控制智能車前后行進(jìn)的手勢A和B以及控制右轉(zhuǎn)的手勢D達(dá)到了99%以上的正確率，但是控制智能車左轉(zhuǎn)的手勢C卻只有97%的識別率，這是因?yàn)樽筠D(zhuǎn)手勢較放松，有很小的概率被誤判為無效手勢，但由于手勢控制信號的發(fā)送頻率很高，無效手勢產(chǎn)生概率較低，會在多次取值判斷中被剔除，并不影響實(shí)時(shí)操作。

4.2 機(jī)械臂姿態(tài)控制測試

機(jī)械臂姿態(tài)由方向角、天頂角以及半徑?jīng)Q定，而每個(gè)量都由穿戴式傳感器組的各模塊協(xié)同確定，要求很強(qiáng)的實(shí)時(shí)性和準(zhǔn)確性。

4.2.1 機(jī)械臂實(shí)時(shí)性

機(jī)械臂方向角根據(jù)操作者手臂水平移動情況進(jìn)行同步操作。手臂從–45°水平移動到45°的時(shí)間為(Human)，機(jī)械臂的對應(yīng)移動時(shí)間為(Arm)，D為兩者差值，結(jié)果見表3。

表3 機(jī)械臂方向角實(shí)時(shí)性測試 s

由實(shí)驗(yàn)結(jié)果可以看出，當(dāng)人體手臂進(jìn)行正常速度移動時(shí)，誤差非常小，滿足實(shí)時(shí)控制的要求；但非正常平緩移動時(shí)，時(shí)間差D甚至出現(xiàn)了負(fù)數(shù)，這是由于采用了卡爾曼濾波器的緣故，此外舵機(jī)作為機(jī)械臂的驅(qū)動體有可能提前到達(dá)預(yù)定角度。

4.2.2 機(jī)械臂移動準(zhǔn)確性

讓手臂分別移動9個(gè)角度，再分別測試機(jī)械臂方向角移動的對應(yīng)角度，測試結(jié)果見表4。

從表4可以看出，誤差具有隨機(jī)性，這與每個(gè)人臂部平移習(xí)慣有關(guān)，同樣的移動角度，每一段的移動加速度亦會有差別。

表4 機(jī)械臂方向角準(zhǔn)確性測試 (°)

4.3 場景構(gòu)建測試

對某室內(nèi)規(guī)則區(qū)域進(jìn)行掃描和場景重構(gòu)，測量側(cè)邊6條較明顯邊界的長度，測試結(jié)果見表5。系統(tǒng)可以達(dá)到較好的場景重構(gòu)效果。

表5 場景重構(gòu)精度測試 m

5 結(jié)語

本文提出了一種將手勢操作、體感操作、場景重建、實(shí)時(shí)定位、視頻采集和3D體感交互操作界面相結(jié)合的智能機(jī)械車控制系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)交互性強(qiáng)、手勢及手臂控制實(shí)時(shí)性好、準(zhǔn)確性高、場景構(gòu)建及車定位精度高，可滿足實(shí)驗(yàn)室環(huán)境下實(shí)時(shí)控制的需要，在野外探險(xiǎn)與救援、智能農(nóng)業(yè)、工業(yè)安全生產(chǎn)等領(lǐng)域有著廣闊的應(yīng)用前景。目前，該系統(tǒng)作為我校電子信息類嵌入式系統(tǒng)系列課程設(shè)計(jì)的綜合實(shí)訓(xùn)平臺之一應(yīng)用于教學(xué)。

[1] DU L Z. Coupling analysis of ECG and EMG based on multiscale symbolic transfer entropy[C]//Research institute of management science and industrial engineering. Proceedings of 2017 2nd International Conference on Mechatronics and Information Technology(ICMIT 2017). 2017.

[2] 趙汗青，李海燕，王立新. 表面肌電信號采集綜合實(shí)驗(yàn)項(xiàng)目設(shè)計(jì)[J]. 實(shí)驗(yàn)室研究與探索，2016, 35(6): 52–56.

[3] 晉曉飛，王浩，陳媛，等. 基于手臂表面肌電信號的智能小車控制系統(tǒng)[J]. 生物醫(yī)學(xué)工程研究，2017, 36(4): 301–306, 317.

[4] 王明明，朱瑩瑩，張磊，等. 麥克納姆輪驅(qū)動的移動機(jī)器人自適應(yīng)滑模控制器設(shè)計(jì)[J]. 西北工業(yè)大學(xué)學(xué)報(bào)，2018, 36(4): 627–635.

[5] 鄧曉燕，林燦光，施翔宇，等. 五自由度機(jī)械臂三維建模與仿真實(shí)驗(yàn)平臺的構(gòu)建[J]. 實(shí)驗(yàn)技術(shù)與管理，2018, 35(3): 118–122.

[6] 魯立，劉頌. 非線性SVM融合LDA的sEMG手勢識別應(yīng)用分析[J]. 激光雜志，2014(8): 26–29.

[7] 丁其川，趙新剛，韓建達(dá). 基于肌電信號. 容錯(cuò)分類的手部動作識別[J]. 機(jī)器人，2015, 37(1): 10–16.

[8] 王開宇，李安琪，馬馳，等. 基于仿真技術(shù)的數(shù)字電路3D虛擬實(shí)驗(yàn)室的設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理，2017, 34(2): 11–15.

[9] 董靖川，張朝，溫洋，等. 基于STM32的低碳避障實(shí)驗(yàn)小車電控設(shè)計(jì)[J]. 實(shí)驗(yàn)技術(shù)與管理，2017, 34(12): 45–49.

[10] 張瑒，許林，孫廣毅. 基于RGB-D攝像機(jī)與IMU數(shù)據(jù)融合的動作捕捉系統(tǒng)[J]. 系統(tǒng)仿真學(xué)報(bào)，2015, 27(10): 2582–2588.

[11] 胡春旭，熊梟，任慰，等. 基于嵌入式系統(tǒng)的室內(nèi)移動機(jī)器人定位與導(dǎo)航[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2013, 41(增刊1): 254–257, 266.

[12] 季秀才，鄭志強(qiáng)，張輝. SLAM問題中機(jī)器人定位誤差分析與控制[J]. 自動化學(xué)報(bào)，2008(3): 323–330.

[13] 趙建偉，張宏靜，王洪燕，等. 應(yīng)用激光雷達(dá)構(gòu)建室內(nèi)環(huán)境地圖的研究[J]. 機(jī)械設(shè)計(jì)與制造，2017(5): 135–137.

[14] 王植，賀賽先. 一種基于Canny理論的自適應(yīng)邊緣檢測方法[J]. 中國圖象圖形學(xué)報(bào)，2004(8): 65–70.

[15] 張佳，程宇龍. 基于隨機(jī)Hough變換的圓形目標(biāo)檢測實(shí)驗(yàn)[J]. 實(shí)驗(yàn)室研究與探索，2014, 33(7): 130–133.

Research on intelligent mechanical vehicle based on synchronized remote control of human arm

XIE Yinbo, WEI Tianqi, TIAN Yuan, YAN Zhicong, CHEN Shizeng

(School of Electronic Information, Wuhan University, Wuhan 430072, China)

An intelligent mechanical vehicle system based on synchronous control of human arm is designed. This system uses a low-power heterogeneous multi-processor and multi-core electromechanical system. The system adopts low-power heterogeneous multi-processor and multi-core electromechanical system, and through optimized game engine human-computer interactive graphical control interface, supplemented by wearable EMG signal and arm attitude sensor, it can control the movement of intelligent vehicle, synchronous extension of the arm and grasping of the manipulator by gesture and arm attitude wireless remote control. As a result, the vehicle-borne high-speed lidar system and camera system are realized. In complex and unknown environment, the location of the remote control locomotive, fast reconstruction of two-dimensional and three-dimensional scene, seamless switching display are realized. The experimental results show that the system has good robustness and real-time performance, which meets the application requirements and has good application prospects.

intelligent mechanical vehicle; EMG signal; somatosensory control; real-time map building; machine learning

TP242

A

1002-4956(2019)12-0085-05

10.16791/j.cnki.sjg.2019.12.020

2019-04-04

教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目（201601005066，201701003050）；湖北省科技支柱項(xiàng)目（2017AAA027）

謝銀波（1977—），男，湖北天門，博士，實(shí)驗(yàn)師，研究方向?yàn)榍度胧较到y(tǒng)和無線傳感器網(wǎng)絡(luò)。E-mail: xyb@whu.edu.cn