摘? 要：為正確識(shí)別使用者意圖要做出的手勢(shì)，文章設(shè)計(jì)并制作一種前臂多通道表面肌電信號(hào)采集臂環(huán)，再使用信號(hào)分割算法和神經(jīng)網(wǎng)絡(luò)模型建立深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，再用樹(shù)莓派使用訓(xùn)練好的模型處理肌肉電信號(hào)，使得系統(tǒng)的運(yùn)算速度進(jìn)一步提升。最終實(shí)現(xiàn)通過(guò)識(shí)別用戶(hù)肌電數(shù)據(jù)，判斷用戶(hù)手勢(shì)動(dòng)作，控制各種外部可操作的系統(tǒng)，例如機(jī)械手、虛擬手等，具有一定的社會(huì)價(jià)值與經(jīng)濟(jì)價(jià)值。

關(guān)鍵詞：表面肌電;神經(jīng)網(wǎng)絡(luò);肢體康復(fù)

中圖分類(lèi)號(hào)：TP391.41? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）05-0155-03

Gesture Recognition and External Operating System Based on Deep Learning

GAN Han

（School of Software & Internet of Engineering，Jiangxi University of Finance and Economics，Nanchang? 330013，China）

Abstract：In order to correctly recognize the gesture that the user wants to make，this paper designs and makes a forearm multi-channel surface EMG signal collection arm ring，then uses the signal segmentation algorithm and neural network model to establish the deep learning neural network，and uses the trained model to process the EMG signal by raspberry school，which makes the systems operation speed further improved. Finally，it can recognize the EMG data of users，judge the gestures of users，and control all kinds of external operable systems，such as manipulator， virtual hand，etc.，which have certain social and economic value.

Keywords：surface electromyography;neural network;limb rehabilitation

0? 引? 言

本文是基于本校“多傳感器融合對(duì)肌肉電進(jìn)行手勢(shì)識(shí)別”項(xiàng)目，對(duì)肌肉電處理與手勢(shì)識(shí)別進(jìn)行的研究成果。當(dāng)前手勢(shì)識(shí)別相關(guān)領(lǐng)域的解決方案主要有基于圖像識(shí)別、基于傳感器和基于表面肌電三個(gè)方向，在某些應(yīng)用場(chǎng)景中以上前兩種解決方案可以發(fā)揮其作用，但也受到許多限制，例如易受外界環(huán)境因素影響、使用過(guò)程的不便利性、存在識(shí)別盲區(qū)以及可識(shí)別手勢(shì)的數(shù)量較少等。基于表面肌電的手勢(shì)識(shí)別解決方案的實(shí)現(xiàn)與人體的緊密聯(lián)結(jié)程度最高，可識(shí)別到手指關(guān)節(jié)等運(yùn)動(dòng)的微小細(xì)節(jié)，識(shí)別手勢(shì)的精度最高，因此該種手勢(shì)識(shí)別解決方案相關(guān)課題一直是該領(lǐng)域研究的熱點(diǎn)。

1? 系統(tǒng)的總體思路

系統(tǒng)總體可分為前臂多通道表面肌電信號(hào)采集臂環(huán)、神經(jīng)網(wǎng)絡(luò)算法和相應(yīng)控制實(shí)現(xiàn)三個(gè)部分，按照功能實(shí)現(xiàn)，本系統(tǒng)可劃分為五大部分，分別為信號(hào)源、信號(hào)收集、信號(hào)處理、神經(jīng)網(wǎng)絡(luò)算法和控制實(shí)現(xiàn)，系統(tǒng)實(shí)現(xiàn)框圖如圖1所示。

2? 信號(hào)源的選取

經(jīng)團(tuán)隊(duì)測(cè)試，前臂的表面肌電信號(hào)隨手勢(shì)變化而具有不同的波動(dòng)，因此系統(tǒng)將受試者的前臂肌肉當(dāng)作信號(hào)源。用多個(gè)差分電極以臂環(huán)的形式固定在前臂上采集不同手勢(shì)動(dòng)作的表面肌電信號(hào)，臂環(huán)實(shí)物佩戴圖如圖2所示。

3? 表面肌電信號(hào)采集

使用差分電極電路實(shí)現(xiàn)對(duì)表面肌電信號(hào)離線(xiàn)訓(xùn)練階段的數(shù)據(jù)采集[1]，如圖3所示，左右兩端電極為差分輸入電極，中間電極為公共地。

表面肌電信號(hào)的幅值小且能量微弱，幅值只有μV～mV的數(shù)量級(jí)[2]，因此為有效采集表面肌電信號(hào)，避免外界的工頻干擾及體外的電場(chǎng)、磁場(chǎng)感應(yīng)在人體內(nèi)形成的測(cè)量噪聲干擾和影響表面肌電的檢測(cè)，大多數(shù)研究團(tuán)隊(duì)均會(huì)采取植入式針狀電極或者表面陣列式電極采集。為克服以上問(wèn)題，本系統(tǒng)技術(shù)上使用多通道差分電極采集，解決了表面肌電信號(hào)低信噪比問(wèn)題。

4? 信號(hào)處理

將采集到的表面肌電信號(hào)進(jìn)行信號(hào)處理，信號(hào)處理框圖如圖4所示。

獲取的表面肌電信號(hào)經(jīng)前后兩級(jí)放大，通過(guò)切比雪夫I型帶通濾波器濾波后，再通過(guò)A/D數(shù)模轉(zhuǎn)換器，從模擬信號(hào)得到離散的數(shù)字信號(hào)，并通過(guò)信號(hào)分割算法進(jìn)行信號(hào)分割，獲得有效表面肌電信號(hào)樣本。

5? 神經(jīng)網(wǎng)絡(luò)算法

通過(guò)信號(hào)分割算法進(jìn)行信號(hào)分割獲得有效表面肌電信號(hào)樣本，以此訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型分類(lèi)，該分類(lèi)器包括兩種神經(jīng)網(wǎng)絡(luò)：首先使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別當(dāng)前時(shí)刻前臂神經(jīng)活動(dòng)狀態(tài)。卷積神經(jīng)網(wǎng)絡(luò)具有高效的特征提取能力，在表面肌電信號(hào)快速識(shí)別方面，卷積神經(jīng)網(wǎng)絡(luò)有較好的分類(lèi)性能，已經(jīng)廣泛應(yīng)用于模式識(shí)別領(lǐng)域。之后將上述識(shí)別的完整手勢(shì)動(dòng)作前臂神經(jīng)活動(dòng)狀態(tài)序列使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行手勢(shì)的分類(lèi)[3]。使模型在離線(xiàn)訓(xùn)練階段對(duì)手勢(shì)動(dòng)作識(shí)別的分類(lèi)具有高準(zhǔn)確度。在在線(xiàn)識(shí)別階段，神經(jīng)網(wǎng)絡(luò)模型能夠?qū)?shí)時(shí)傳送的表面肌電信號(hào)進(jìn)行模式識(shí)別，分類(lèi)出準(zhǔn)確的類(lèi)別，并將實(shí)時(shí)識(shí)別結(jié)果轉(zhuǎn)換成相應(yīng)的控制參數(shù)，實(shí)現(xiàn)對(duì)控制對(duì)象的控制。系統(tǒng)算法模塊如圖5所示。

6? 控制實(shí)現(xiàn)

控制器根據(jù)神經(jīng)網(wǎng)絡(luò)模型識(shí)別的結(jié)果，將分類(lèi)結(jié)果轉(zhuǎn)換成相應(yīng)的控制參數(shù)，控制相應(yīng)對(duì)象，驅(qū)動(dòng)虛擬手做出與識(shí)別結(jié)果相對(duì)應(yīng)的手勢(shì)，效果如圖6所示。

7? 實(shí)驗(yàn)測(cè)試

為了檢驗(yàn)系統(tǒng)的可靠性以及實(shí)用性，實(shí)驗(yàn)人員對(duì)肌肉電采集等系統(tǒng)進(jìn)行多次測(cè)試實(shí)驗(yàn)，記錄實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)者進(jìn)行上肢的手勢(shì)運(yùn)動(dòng)，將會(huì)產(chǎn)生對(duì)應(yīng)的不同表面肌肉電信號(hào)，臂環(huán)設(shè)備能夠采集這些數(shù)據(jù)并通過(guò)藍(lán)牙傳輸至PC端做進(jìn)一步處理，從而將數(shù)據(jù)傳輸給機(jī)械手以及虛擬手等外部設(shè)備。

系統(tǒng)適用范圍如下：

（1）可以幫助殘疾患者解決因肢體殘疾導(dǎo)致的生活中的不便;

（2）可以用于康復(fù)醫(yī)學(xué)和臨床醫(yī)學(xué)研究，幫助肢體康復(fù);

（3）可以幫助聾啞人與正常人進(jìn)行雙向交流;

（4）滿(mǎn)足如今虛擬現(xiàn)實(shí)技術(shù)中對(duì)虛擬對(duì)象的操作。

8? 系統(tǒng)優(yōu)勢(shì)

（1）識(shí)別精度高、識(shí)別數(shù)量大。據(jù)調(diào)查，國(guó)內(nèi)一款名為DTing產(chǎn)品的平均識(shí)別率為90%，而本作品的識(shí)別精確度可以達(dá)到99.34%，該精度可以確保能夠識(shí)別到每一根手指的運(yùn)動(dòng)。百度AI手勢(shì)識(shí)別可以識(shí)別24個(gè)手勢(shì)，而本作品可以識(shí)別的手勢(shì)種類(lèi)由于識(shí)別的高精度遠(yuǎn)遠(yuǎn)超過(guò)百度AI手勢(shì)識(shí)別，目前可以識(shí)別100余種手勢(shì)，未來(lái)手勢(shì)識(shí)別種類(lèi)數(shù)將不斷增加。

（2）識(shí)別無(wú)盲區(qū)。國(guó)外研究人員開(kāi)發(fā)的一款名為“E-chat”聾啞人社交手套的作品，應(yīng)用于聾啞人的手勢(shì)識(shí)別過(guò)程中，存在較大的識(shí)別盲區(qū)，某些動(dòng)作由于傳感器的限制無(wú)法識(shí)別。而本作品不存在識(shí)別盲區(qū)的問(wèn)題。本作品緊密跟隨信號(hào)源的變化，表面肌電信號(hào)超前于動(dòng)作發(fā)生大約300 ms，理論上只要是手部能夠做出的動(dòng)作，均能夠識(shí)別出來(lái)。

（3）應(yīng)用領(lǐng)域廣。目前市面上手勢(shì)識(shí)別的解決方案均指向單一問(wèn)題場(chǎng)景，在面對(duì)多任務(wù)需求場(chǎng)景中常顯得應(yīng)接不暇。本作品可用于康復(fù)醫(yī)學(xué)領(lǐng)域、手語(yǔ)翻譯交互以及體感交互體驗(yàn)等多個(gè)領(lǐng)域?？梢詽M(mǎn)足因肢體殘疾而帶來(lái)生活不便的殘疾患者的需求;可以滿(mǎn)足聾啞人群體與肢殘人之間的雙向交流需求;可以滿(mǎn)足如今虛擬現(xiàn)實(shí)技術(shù)中對(duì)虛擬對(duì)象的操作等。

9? 市場(chǎng)分析和經(jīng)濟(jì)效益

根據(jù)我國(guó)第二次全國(guó)殘疾人抽樣調(diào)查數(shù)據(jù)顯示，我國(guó)各類(lèi)殘疾人總數(shù)已經(jīng)達(dá)到了8 296萬(wàn)人，這其中肢體殘疾人數(shù)為2 412萬(wàn)人，占?xì)埣踩丝倲?shù)的29.07%，比重較大，而肢體殘疾者中有226萬(wàn)是肢體截肢者。隨著現(xiàn)代科學(xué)技術(shù)的迅速發(fā)展，社會(huì)對(duì)殘疾人事業(yè)的關(guān)注程度也越來(lái)越高，數(shù)據(jù)顯示，在所有殘疾人當(dāng)中，處在可就業(yè)階段的青壯年殘疾人所占比率遠(yuǎn)遠(yuǎn)不止四分之一。肢體的殘疾給這些人的生活帶來(lái)了很多的不便，嚴(yán)重影響了他們的正常生活。

基于深度學(xué)習(xí)的多傳感器融合手勢(shì)識(shí)別與控制系統(tǒng)能夠有效地解決此類(lèi)社會(huì)熱問(wèn)題。本文設(shè)計(jì)的控制裝置不僅可以提高廣大截肢者的生活品質(zhì)，增加就業(yè)機(jī)會(huì)，也將會(huì)大大地降低國(guó)家、企業(yè)及家庭為他們所付出的服務(wù)成本，因此具有巨大的社會(huì)前景，能夠被社會(huì)公眾接受，具有市場(chǎng)前瞻性，從而產(chǎn)生相應(yīng)的經(jīng)濟(jì)價(jià)值。

10? 結(jié)? 論

本文提出一種基于深度學(xué)習(xí)的多傳感融合手勢(shì)識(shí)別與控制系統(tǒng)，將肌肉電識(shí)別技術(shù)應(yīng)用于手勢(shì)識(shí)別中，運(yùn)用自主設(shè)計(jì)的前臂多通道表面肌電信號(hào)采集臂環(huán)，使用快速有效的信號(hào)分割算法對(duì)多通道表面肌電信號(hào)進(jìn)行采集分割并完成數(shù)據(jù)集的制備，并以此訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。實(shí)時(shí)的表面肌電信號(hào)通過(guò)已訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分類(lèi)，并將分類(lèi)結(jié)果轉(zhuǎn)化為控制信號(hào)，實(shí)現(xiàn)相應(yīng)的控制。本系統(tǒng)可以應(yīng)用于肢體康復(fù)、手語(yǔ)翻譯交互、體感互動(dòng)娛樂(lè)等多個(gè)領(lǐng)域，具有一定的研究?jī)r(jià)值、經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值[4]。

參考文獻(xiàn)：

[1] 何友，王國(guó)宏，陸大金，等.多傳感器信息融合及應(yīng)用 [M].北京：電子工業(yè)出版社，2001.

[2] 李建華，王健.表面肌電圖診斷技術(shù)臨床應(yīng)用 [M].杭州：浙江大學(xué)出版社，2015.

[3] 孫志軍，薛磊，許陽(yáng)明，等.深度學(xué)習(xí)研究綜述 [J].計(jì)算機(jī)應(yīng)用研究，2012，29（8）：2806-2810.

[4] 楊彬.基于多通道肌電信號(hào)的手指康復(fù)動(dòng)作研究 [D].杭州：浙江工業(yè)大學(xué)，2017.

作者簡(jiǎn)介：甘晗（1999-），男，漢族，江西萍鄉(xiāng)人，本科在讀，主要研究方向：深度學(xué)習(xí)及嵌入式控制。