李建興，沈亮，蔡聰，楊睿寧，羅堪

(福建工程學(xué)院電子電氣與物理學(xué)院，福建 福州 350117)

表面肌電信號(surface electromyography,sEMG)被廣泛應(yīng)用于人機(jī)接口的研究[1-2]。但是，目前采用特征工程方法[3-4]對手勢識別準(zhǔn)確率偏低。其原因可能是人工不恰當(dāng)?shù)奶卣髟O(shè)計不僅對模型毫無幫助，甚至降低模型性能[5]。

近年來，隨著計算機(jī)算力的提高，深度學(xué)習(xí)在許多模式識別應(yīng)用中取得了較好的效果[6-7]。深度學(xué)習(xí)方法在解決肌電識別率、普適性等問題上比傳統(tǒng)方法取得了更好的效果[8]。如：Duan等[9]用小波神經(jīng)網(wǎng)絡(luò)識別3路表面肌電信號，6個手部動作平均分類準(zhǔn)確率為94.67%；孫光民等[10]對結(jié)合雙譜變換和概率神經(jīng)網(wǎng)絡(luò)(PNN)對3種手部動作分類的平均準(zhǔn)確率達(dá)95.48%。

受卷積神經(jīng)網(wǎng)絡(luò)自動特征提取能夠提升復(fù)雜動作肌電信號識別準(zhǔn)確率的啟發(fā)，本文提出結(jié)合改進(jìn)頻率小波切片變換和卷積神經(jīng)網(wǎng)絡(luò)的手勢肌電識別方法。由于改進(jìn)頻率切片小波變換具有在時頻域上增強(qiáng)信號時頻成分的優(yōu)點，因此將對采集的肌電信號直接識別轉(zhuǎn)化為對肌電信號時頻譜圖的模式識別；考慮深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中高準(zhǔn)確率，設(shè)計一個18層深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)手放松、手握緊、腕外翻、腕下旋、手張開、腕內(nèi)翻和腕上旋7種手勢動作預(yù)測。最后，通過實驗驗證提出方法的有效性。

1 表面肌電卷積神經(jīng)網(wǎng)絡(luò)識別方案

傳統(tǒng)表面肌電信號分類框架和本文提出的分類框架如圖1所示,其中(a)為傳統(tǒng)方法框架，(b)為本文提出的方法框架。兩者均包含了3個步驟：表面肌電信號的采集、特征提取以及分類。本文提出的新框架與傳統(tǒng)方法不同之處在于：(1)無需傳統(tǒng)的方法中煩瑣的數(shù)據(jù)預(yù)處理；(2)采用卷積神經(jīng)網(wǎng)絡(luò)從MFSWT時頻譜圖中自動提取特征，無需傳統(tǒng)的人工提取特征步驟；(3)采用MFSWT生成時頻譜圖并結(jié)合深度學(xué)習(xí)方法進(jìn)行手勢動作預(yù)測，提高分類準(zhǔn)確率。

圖1 提出框架和傳統(tǒng)方法對比Fig.1 Comparison of the proposed system framework and traditional method

1.1 表面肌電信號采集

本文采用自建表面肌電信號數(shù)據(jù)方式開展研究。8通道手臂表面肌電信號由ADS1299采集模塊以500 Hz采樣率采集并存儲。數(shù)據(jù)采集使用的測量電極為銀-氯化銀電極。電極使用前需用酒精清潔手臂皮膚表面。實驗中信號采集電極布置位置如圖2所示。要求受試者前臂平行于地面，手掌朝上，以肘、腕關(guān)節(jié)為參考點將手臂做3等分，記距離肘關(guān)節(jié)1/3處為N。在N點確定的等分位置處，選擇手臂中線順時針方向8等分布置負(fù)電極；之后在近腕關(guān)節(jié)距離N點3.5 cm處布置正電極，記為P。尺骨莖突處無肌肉，在信號采集中將其設(shè)置為參考電極，記為R。以上描述解剖特征點和標(biāo)記點均在圖2(a)、(b)中標(biāo)出。

(a) 電極布置示意圖 (b) 手臂電極布置位置規(guī)劃俯/仰視圖 (c) 電極粘貼完成后手臂俯/仰視圖

本實驗總共有5名志愿者(4名男性、1名女性)參與，對每名志愿者分別采集2組含有7種手勢動作的表面肌電信號，其中一組作為訓(xùn)練數(shù)據(jù)集，另一組作為測試數(shù)據(jù)集。圖3中給出了7種動作的示例，具體為手放松、手握緊、腕外翻、腕下旋、手張開、腕內(nèi)翻和腕上旋。每組數(shù)據(jù)包含4輪7種手勢動作循環(huán)。

圖3 7種手勢動作示例Fig.3 The examples of seven hand gestures

最后，采集到的8通道表面肌電信號數(shù)據(jù)用260 ms(130個采樣點)滑動窗和10 ms(5個采樣點)增量窗進(jìn)行分割處理，處理過程如圖4所示。分割后信號離線存儲用于模型的訓(xùn)練和測試。信號采集實驗共收集到133 000個有效樣本，7類動作樣本數(shù)量均衡，總樣本中66 500個樣本用于模型訓(xùn)練，另外66 500個樣本用于模型測試。

圖4 肌電信號滑動分割示意圖Fig.4 A example of sEMG segmentation with sliding window

1.2 改進(jìn)頻率切片小波變換

利用卷積神經(jīng)網(wǎng)絡(luò)在圖像識別上具有高準(zhǔn)確率的優(yōu)點，本文采用改進(jìn)頻率切片小波變換[11](modified frequency slice wavelet transform,MFSWT)將表面肌電信號在時間-頻率域上展開。變換能夠?qū)⒁痪S時序信號按時間和頻率展開到二維平面，并通過深度卷積神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)時頻譜圖中信號和手勢動作對應(yīng)的模式規(guī)律。改進(jìn)頻率切片小波變換的數(shù)學(xué)模型為：

(1)

由于q是信號頻率變換的函數(shù)。在肌電信號時頻分析中q函數(shù)形式如下：

(2)

使用改進(jìn)頻率切片小波變換對單一通道表面肌電信號做65個頻率和12個時間尺度映射，可以得到12×65的時頻譜矩陣?？紤]運動造成偽跡以及高頻噪聲對應(yīng)的頻率尺度分別是1和65，因此，刪除矩陣的第1列和最后1列以去除變換后時頻譜圖中無用信號成分。最終通過變換得到12×63的時頻譜矩陣。組合8通道表面肌電信號時頻譜圖可得到一個8×12×63的矩陣，上述采用改進(jìn)頻率切片小波變換對肌電信號生成時頻譜圖過程如圖5所示。

圖5 一個改進(jìn)頻率切片小波變換生成時頻譜圖例子Fig.5 A example of MFSWT Spectrum generation

1.3 卷積神經(jīng)網(wǎng)絡(luò)肌電分類模型

不同于傳統(tǒng)的機(jī)器學(xué)習(xí)分類方法需進(jìn)行復(fù)雜的特征設(shè)計、提取與降維等步驟，采用深度學(xué)習(xí)方法進(jìn)行手勢動作分類模型設(shè)計，特征提取包含在深度卷積神經(jīng)網(wǎng)絡(luò)逐層處理中。采用數(shù)據(jù)驅(qū)動的自動特征提取與模式識別方法避免了強(qiáng)專家經(jīng)驗依賴和不恰當(dāng)特征選擇導(dǎo)致識別率偏低的問題。本文提出的卷積神經(jīng)網(wǎng)絡(luò)肌電分類模型框架如圖6所示。模型結(jié)構(gòu)共18層，包含了信號輸入層、提取特征的卷積神經(jīng)網(wǎng)絡(luò)層、全連接層以及數(shù)據(jù)輸出層。其中第1層與第2層卷積層使用12個特征圖，卷積核為2×2；第3層卷積層使用24個特征圖，卷積核為3×3。通過平鋪層將數(shù)據(jù)轉(zhuǎn)換為一維數(shù)據(jù)輸入至全連接層，最終輸出分類結(jié)果。模型的各層配置如表1所示。

圖6 提出的深度卷積神經(jīng)網(wǎng)絡(luò)模型Fig.6 The model of deep convolution neural network

表1 模型的各層配置Tab.1 Each layer configuration of the model

為了避免模型出現(xiàn)過擬合，模型訓(xùn)練中采用了隨機(jī)失活、批標(biāo)準(zhǔn)化以及數(shù)據(jù)進(jìn)行隨機(jī)打亂處理[12]。

2 實驗結(jié)果分析

為了驗證提出方法和模型的有效性，本文進(jìn)行了包括不同實驗對象，不同溫度環(huán)境以及不同電極測量位置下的手勢肌電信號識別實驗。深度卷積模型基于Anaconda和tensorflow2.0實驗環(huán)境實現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練中反向傳播優(yōu)化算法采用ADAM算法，損失函數(shù)采用類間交叉熵，步長設(shè)置為128，隨機(jī)失活設(shè)置為0.5，學(xué)習(xí)率設(shè)置為0.000 681 8，訓(xùn)練次數(shù)設(shè)置為100。

4個廣泛的指標(biāo)，靈敏度(SE)、特異度(SP)、陽性預(yù)測值(PPV)和準(zhǔn)確度(ACC)，用于評估分類結(jié)果，分別定義如下：

SE，i=TP，i/(TP,i+FN,i)

(3)

SP,i=TN,i/(TN,i+FP,i)

(4)

PPV,i=TP,i/(TP,i+FP,i)

(5)

ACC,i=(TP,i+TN,i)/(TP,i+TN,i+FP,i+FN,i)

(6)

其中:TP,i為正確分類為第i類的數(shù)目；TN,i為不屬于第i類且未分類到第i類的數(shù)目；FP,i為不屬于第i類但錯誤分類到第i類的數(shù)目；FN,i為分類到其他類目的第i類的數(shù)目。上述參數(shù)分別反映了分類器對第i類預(yù)測的敏感性和特異性。

在5個志愿者7種手勢動作識別實驗中，迭代訓(xùn)練100次的準(zhǔn)確率和損失值如圖7所示。實驗結(jié)果顯示在前5次迭代訓(xùn)練中，訓(xùn)練集與測試集的損失值快速下降，準(zhǔn)確率快速上升，5次迭代后損失值和準(zhǔn)確率分別小于0.1和大于96%，模型能夠快速收斂。繼續(xù)迭代訓(xùn)練，準(zhǔn)確率持續(xù)緩慢上升。訓(xùn)練次數(shù)達(dá)到18次后，測試集的準(zhǔn)確率與損失值基本保持穩(wěn)定，損失值和準(zhǔn)確率分別在0.1和98%左右小幅波動。

各含9 500個樣本數(shù)據(jù)的7種手勢動作類別(D1為手放松、D2為手握拳、D3為腕外翻、D4為腕下旋、D5為手張開、D6為腕內(nèi)翻、D7為腕上旋)的總體分類評估如表2所示。正確預(yù)測D1，D2，D3，D4，D5，D6和D7類別的數(shù)目分別為9 490，9 321，9 358，8 802，9 194，9 497和9 467。手勢動作分類的平均準(zhǔn)確率達(dá)到97.94%，靈敏度(SE)平均值達(dá)到97.94%且陽性預(yù)測值(PPV)平均值達(dá)到97.96%。實驗結(jié)果表明所構(gòu)建的模型分類準(zhǔn)確率高。D4動作的靈敏度為92.65%?？紤]D4動作靈敏度稍偏低的原因是部分個體受試者在做“腕下旋”動作容易含有部分“腕外翻”動作，信號的相似性造成模型誤判，導(dǎo)致模型識別靈敏度下降。但考慮整體動作識別率達(dá)到90%以上，提出方法具有實際應(yīng)用的價值。同時在實際使用中，可采取多次檢測少數(shù)服從多數(shù)判定方案，降低誤判風(fēng)險來提高動作識別的準(zhǔn)確度。

迭代次數(shù)(a) 訓(xùn)練集和測試集的損失值

表2 7種手勢動作分類的總體評估Tab.2 Overall evaluation of seven gesture classification

本文提出的方法與已有文獻(xiàn)報道方法相關(guān)結(jié)果見表3。本文提出的模型具有較好的手勢動作分類能力，達(dá)到或者部分超越現(xiàn)有文獻(xiàn)報道的結(jié)果。雖然文獻(xiàn)[13]中提出采用遷移學(xué)習(xí)方法準(zhǔn)確率達(dá)到98.31%，稍領(lǐng)先本文提出的方法，但考慮測試數(shù)據(jù)集間的差異以及訓(xùn)練集和測試集比率劃分等因素的影響，本文提出的方法仍達(dá)到了較先進(jìn)水平，相較于傳統(tǒng)技術(shù)方案，在實際中具有較好的應(yīng)用潛力。

表3 本文提出方法與文獻(xiàn)報道方法比較Tab.3 The method proposed in this paper is compared with the method reported in the literature

為了驗證改進(jìn)頻率切片小波變換在提出方法中的作用。本文同時對比了連續(xù)小波變換、短時傅里葉變換對手勢肌電信號識別結(jié)果的影響，結(jié)果如表4所示。采用改進(jìn)頻率切片小波變換生成時頻譜圖進(jìn)行手勢肌電信號識別方案的準(zhǔn)確率和損失值兩個評價指標(biāo)均優(yōu)于另外兩種方案。表明改進(jìn)頻率切片小波變換對手勢肌電信號識別具有一定的提升作用。

表4 3種方法的對比結(jié)果Tab.4 Comparison results of three methods

考慮實際場景中使用者可能身處不同的環(huán)境溫度中，在空調(diào)室內(nèi)(室溫25.8 ℃)與室外(室溫37.6 ℃)重新采集信號并分別進(jìn)行了手勢肌電信號識別實驗驗證，結(jié)果如表5所示。手勢識別的平均準(zhǔn)確率在25.8 ℃和37.6 ℃實驗溫度下分別為97.93%和97.86%，結(jié)果顯示環(huán)境溫度的變化對提出的方法和模型幾乎沒有影響。

表5 不同環(huán)境溫度下的識別準(zhǔn)確率對比Tab.5 Comparison of recognition accuracy under different ambient temperatures

考慮實際場景中使用者可能存在佩戴不規(guī)范問題，進(jìn)一步討論了肌電測量位置偏移對手勢肌電信號識別準(zhǔn)確率的影響。在標(biāo)準(zhǔn)位置基礎(chǔ)上分別前、后移動1 cm電極測量位置，采集信號后進(jìn)行手勢識別，結(jié)果統(tǒng)計如表6所示。規(guī)定的電極測量位置偏移1 cm時，識別準(zhǔn)確率并未存在明顯變化，仍可保持97%以上。結(jié)果表明提出的方法具有較好的魯棒性。

表6 電極片位置偏移下的識別準(zhǔn)確率對比Tab.6 Comparison of recognition accuracy under electrode position offset

3 結(jié)論

本文提出結(jié)合改進(jìn)頻率切片小波變換和卷積神經(jīng)網(wǎng)絡(luò)的手勢肌電信號識別方法。通過改進(jìn)頻率切片小波變換生成時頻譜圖有效提升了卷積神經(jīng)網(wǎng)絡(luò)手勢肌電信號識別準(zhǔn)確率；采用卷積神經(jīng)網(wǎng)絡(luò)逐層處理方式包含了自動特征提取過程，能夠避免傳統(tǒng)特征工程方法中設(shè)計特征有效性評價的難題，實現(xiàn)了高準(zhǔn)確率表面肌電手勢識別，7種手勢動作的平均準(zhǔn)確率達(dá)到97.94%；提出的方法具有較好的魯棒性，準(zhǔn)確率在不同環(huán)境溫度和小于1cm電極測量位置偏移情況下性能無明顯降低。