張 鵬，張峻霞*

(1.天津市輕工與食品工程機械裝備集成設(shè)計與在線監(jiān)控重點實驗室，天津科技大學，天津 300222；2.天津科技大學機械工程學院，天津 300222)

隨著智能化技術(shù)的不斷發(fā)展，基于深度學習和機器學習的運動意圖檢測與識別方法被廣泛應(yīng)用到可穿戴式設(shè)備、智能制造系統(tǒng)、無人汽車駕駛等領(lǐng)域。許多學者利用機器學習模型已經(jīng)建立了一些有助于人類活動分類或預(yù)測的計算模型[1-3]。但是傳統(tǒng)的機器學習算法可能無法有效地提取多模態(tài)時間序列數(shù)據(jù)中復雜的非線性模式。為了克服這些問題，從信息中提取準確、魯棒的特征，許多研究者開始關(guān)注深度學習方法[4-9]。在一些研究中，CNN被用來提取步態(tài)的特征，避免了手工提取特征的過程中重復操作而造成的人工失誤。Yue等基于人體步態(tài)模式，通過多點布置獲取了高密度sEMG信號，結(jié)合SVM和LDA方法完成了對人體運動意圖的識別，其意圖識別準確率可達91.17%±2.86[10]。

可穿戴式設(shè)備通過安裝傳感器獲取人體運動狀態(tài)數(shù)據(jù)，識別肢體的不同運動模式[11-12]。單功能的傳感器獲得的運動狀態(tài)數(shù)據(jù)不足，且其性能也有局限。因此多傳感器信息融合技術(shù)成為很多研究領(lǐng)域的熱點。浙江大學楊金江等人提出一種基于變增益卡爾曼算法的數(shù)據(jù)融合姿態(tài)角度解算模型，具有通用性高、穩(wěn)定性能優(yōu)良和可靠的特點，并成功應(yīng)用于助力型外骨骼機器人平臺實現(xiàn)姿態(tài)識別[13]。

總之，雖然深度學習在運動意圖識別方面已被廣泛應(yīng)用，但將其與多傳感器信息融合相結(jié)合實現(xiàn)人體運動意圖識別的研究較少。本文基于多層卷積神經(jīng)網(wǎng)絡(luò)CNN，加入埃爾曼神經(jīng)網(wǎng)絡(luò)ENN，設(shè)計一種新型串行混合網(wǎng)絡(luò)模型，結(jié)合多傳感器信息融合技術(shù)，實現(xiàn)對常見的5種步態(tài)模式的精準分類，通過實驗測試驗證了該算法模型的可行性與優(yōu)越性。

1 模型原理與方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)的結(jié)構(gòu)包括輸入層、卷積層、池化層和全連接層。如圖1所示為卷積神經(jīng)網(wǎng)絡(luò)模型，其中包含輸入層，2個卷積層，1個池化層、1個全連接層和輸出層。輸入層為原始數(shù)據(jù)的入口。卷積層是CNN的主要組成部分，用于進行數(shù)據(jù)特征的提取，卷積層中的輸入連接到各層的子區(qū)域，子區(qū)域的輸入具有相同的權(quán)值，因此CNN的輸入可以產(chǎn)生相關(guān)的輸出。相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，每個輸入都有各自的權(quán)值，因此只產(chǎn)生獨立的輸出，隨著輸入維數(shù)的增加，權(quán)值的數(shù)量會相應(yīng)的增加，影響計算速度。池化層將沿著給定輸入的空間維度向下采樣，CNN通過權(quán)值共享和下采樣減少神經(jīng)元之相互連接的個數(shù)，簡化計算量。全連通層試圖從激活中產(chǎn)生預(yù)測，用于分類或回歸。

圖1 CNN模型圖

1.2 埃爾曼神經(jīng)網(wǎng)絡(luò)

ENN最初是由Elman在1990年基于Jordan網(wǎng)絡(luò)開發(fā)的[14]，其網(wǎng)絡(luò)結(jié)構(gòu)由輸入層，隱藏層，連接層和輸出層四部分組成，如圖2所示。輸入層可用于傳輸原始數(shù)據(jù)，通過隱藏層的傳遞函數(shù)，將導入的加權(quán)數(shù)據(jù)進行線性或非線性映射，最后，在輸出層中利用線性加權(quán)方法對數(shù)據(jù)進行處理。但是，結(jié)構(gòu)上與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同，ENN額外添加了連接層來存儲前一刻的輸出信息，并將其反饋到隱藏層的下一刻。因此，相較于傳統(tǒng)網(wǎng)絡(luò)，ENN不僅增強了對歷史數(shù)據(jù)的敏感性，而且增加了動態(tài)信息存儲能力。標準ENN結(jié)構(gòu)的數(shù)學模型可以概括如下:

圖2 ENN模型圖

式中:x(t)，y(t)，xc(t)分別指隱藏層，輸出層和連接層的第t次輸出，u是輸入層的輸入向量，w1，w2和w3分別表示連接層單元到隱藏層，輸入層到隱藏層和隱藏層到輸出層的所占的連接權(quán)重，g(·)和f(·)分別代表輸出層和隱藏層的傳遞函數(shù)。

2 模型構(gòu)建

2.1 CNN-ENN串行混合模型構(gòu)建

本文設(shè)計的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型共有4層，其中:2個卷積層(Conv)，第1個卷積層有20個濾波器，第2個有50個濾波器，卷積核長度為3，步長為1，補零為1；1個池化層(Pooling)；1個全連接層(Full-Connected)。該模型中的卷積層以及全連接層均采用的激活函數(shù)是修正線性神經(jīng)元(ReLU)，ReLU激活函數(shù)是一種非飽和函數(shù)，在訓練中，相較于飽和函數(shù)，非飽和函數(shù)的訓練速度更快，且ReLU除了擁有非線性的表達能力，而且還擁有線性運算的性質(zhì)，當誤差在反向傳播時，不會由于非線性而導致網(wǎng)絡(luò)局部最優(yōu)的問題，有效緩解了梯度消失問題。為避免過擬合的問題，在網(wǎng)絡(luò)模型的全連接層采用棄權(quán)(Dropout)操作，Dropout并不是通過修改代價函數(shù)實現(xiàn)的，而是在Dropout操作中改變網(wǎng)絡(luò)模型本身參數(shù)。ENN網(wǎng)絡(luò)的輸入層、隱藏層和輸出層的權(quán)重分別設(shè)為是30、12和10。

2.2 多傳感器數(shù)據(jù)采集及預(yù)處理

有80名健康志愿者參加了數(shù)據(jù)采集工作，其中女性40名，男性40名，年齡為25±3歲，女性的身高分布在158 cm~170 cm之間，男性的身高在168 cm~185 cm之間。志愿者以自然速度在平地，上樓，下樓，10°上坡道和10°下坡道5種步態(tài)模式下正常行走。表1為所采集的步態(tài)樣本數(shù)據(jù)，每個步態(tài)有20組，每組至少包含5個完整的步態(tài)周期，在每組步態(tài)試驗中引入1 min間隔以減少肌肉疲勞。

表1 步態(tài)數(shù)據(jù)樣本

2.2.1 步態(tài)周期劃分

由于人體的步態(tài)特征就是具有周期性，因此在這里選用基于周期分割的方法對所獲得的信息進行步態(tài)的周期劃分。主要流程如下:

步驟1 對周期長度進行估算，本方案中采集的是單側(cè)腿的數(shù)據(jù)，經(jīng)測量，單腿運動的周期是0.8 s~1.2 s。將傳感器采樣頻率設(shè)定為100 Hz，一個完整的運動周期對應(yīng)80~120個數(shù)據(jù)點；

步驟2 利用局部最小值法對步態(tài)周期進行檢測，將兩個相鄰的最小值點之間的數(shù)據(jù)視為一個周期；

步驟3 通過(1)(2)兩步，獲得劃分出單個步態(tài)周期所對應(yīng)的數(shù)據(jù)組，但是并不是所有的數(shù)據(jù)組都是適合用于特征提取的，所以要對上述步驟所獲得的數(shù)據(jù)組進行篩選。本方案在篩選合適的周期時使用動態(tài)時間規(guī)整方法(DTW)計算相似距離，剔除那些距離相差過大的數(shù)據(jù)組[15]。

本研究中，利用足底壓力傳感器來判斷腳跟和腳尖的著地離地情況，將其也作為一種特征，用于后續(xù)的信息融合。足底壓力傳感器分別安裝在左、右腳的腳后跟和腳尖處，來判斷腳的著地和離地情況。為了去除數(shù)據(jù)中的噪聲和重復信號，選用巴特沃斯濾波器處理壓力信號，低通截止頻率wc設(shè)置為5 Hz。巴特沃思濾波器的傳遞函數(shù)可以表示為:

式中:w是當前頻率，wc是截止頻率，N是濾波器的階數(shù)。

為了實現(xiàn)步態(tài)周期的劃分，只需要區(qū)分腳跟和腳掌分別接觸地面和離開地面，所以對足底壓力數(shù)據(jù)進行二值化處理，實時壓力值設(shè)為S，足底壓力閾值Qt＝0.05*Smax。二值化公式可以表示為:

二值化后，如圖3所示。由圖可以得到，實線代表腳掌，虛線代表足跟，支撐相的著地的順序是腳跟先著地，然后腳前掌再著地。當進入擺動相時，腳跟先離開地面，然后腳前掌離開地面，符合人體正常的行走狀態(tài)。

圖3 步態(tài)周期劃分

2.2.2 數(shù)據(jù)降維

內(nèi)核的尺度參數(shù)σ可以按照Rabin等人的描述進行設(shè)置[16]。

對內(nèi)核W進行歸一化，通過式(7)實現(xiàn)。

然后，對矩陣A進行二次歸一化，得到一個馬爾可夫轉(zhuǎn)移矩陣P。

馬爾可夫矩陣P表示在一個單步時間內(nèi)從點xi移動到點xj的概率，最后，利用譜分解構(gòu)造了DMs，譜分解如式(9)所示。

利用轉(zhuǎn)移矩陣P及其譜分解來定義擴散距離。根據(jù)式(11)對擴散距離進行細化。

式中:分母表示每個節(jié)點的密度。當在點xi和xj之間，馬爾科夫矩陣P中有大量路徑連接時，則擴散距離較小。將式(9)代入表示擴散距離的式(11)中，得到用馬爾可夫矩陣P的特征向量和特征值對距離的描述，如式(12)所示。

因此，由特征值和特征向量組成的DMs嵌入式能夠保持高維數(shù)據(jù)集的幾何特征。由于式(11)中定義的數(shù)據(jù)點之間的擴散距離對應(yīng)于低維空間中兩點之間的歐氏距離，在原始高維空間中彼此接近的點在DMs嵌入空間中將保持緊密。

2.2.3 特征提取

通過特征提取能夠進一步減少數(shù)據(jù)維度，增加數(shù)據(jù)的可識別性，本文利用SIFT算法進行特征提取，每個波形轉(zhuǎn)換成一個二維的時頻矩陣，本文設(shè)置4個固定大小的分析窗口以處理支撐相的數(shù)據(jù)，窗口大小設(shè)置為135ms，信號采集板的采樣頻率設(shè)置為27 Hz，在每個分析窗口中采樣點的個數(shù)為6個。對于每個步態(tài)周期中的四個分析窗口中的所有信號，提取三種類型的時域特征:平均值，標準偏差和方差，因此形成了具有72個維度的特征向量，該特征向量等于4(窗口數(shù))×6(采樣點)×3(時域特征)。

2.3 模型訓練與驗證

本文所介紹的基于集成學習的加權(quán)投票算法模型是本研究前期搭建的運動意圖識別模型，經(jīng)過訓練獲得了良好的運動意圖識別效果，平均識別率是90.3%。為了驗證本研究所提出的串行混合模型CNN-ENN的優(yōu)越性，進行了同一樣本數(shù)據(jù)集下，不同模型識別精度的對比分析，由于CNN模型訓練步驟已在前人的研究中進行詳細介紹[17-18]，這里就不再進行敘述，下面給出本研究所提出的兩種模型訓練測試時的步驟。

①基于集成學習的加權(quán)投票算法模型MFR的運動意圖識別訓練測試步驟如下:

輸入 樣本數(shù)據(jù)訓練集D，總樣本個數(shù)n，分類數(shù)m，分類樣本nh，h＝1，2，…，m；最近鄰參數(shù)K和整數(shù)閾值t；待分類樣本array[]以及數(shù)組array_d[]。

輸出:待分類樣本的分類標簽s，s取Ggnd，Guph，Gdwh，Gups和Gdws。

步驟1 計算待分類樣本與每個訓練樣本的歐氏距離，找出K個距離最小的樣本，存入K維數(shù)組N[]；

步驟2 將K個最小歐氏距離對應(yīng)的樣本存入K維數(shù)組d[]，將對應(yīng)的類標簽存入K維數(shù)組label[]；

步驟3 計算待分類樣本與數(shù)組N[i]的距離d[i]和類平均距離array_ad[label[i]]的差值之比的絕對值ratio[i]；

步驟4 將數(shù)組ratio[]中的最大的t個元素設(shè)為0；

步驟5 計算權(quán)重weight[label[i]]]＝1＋b*ratio[i]，將數(shù)組weight中最大元素對應(yīng)的分類標簽作為待分類樣本的分類結(jié)果s。

②CNN-ENN串行混合網(wǎng)絡(luò)模型的運動意圖識別訓練測試步驟如下:

輸入 經(jīng)過CNN提取多傳感器數(shù)據(jù)的空間局部相關(guān)特征，輸入到ENN進行二次識別分類。輸入的參數(shù)包括數(shù)據(jù)集D，多數(shù)樣本Dmaj，最近鄰數(shù)K，初始欠采樣率M。

輸出 待分類樣本的分類標簽s，s取Ggnd，Guph，Gdwh，Gups和Gdws。

步驟1 初始化欠采樣倍數(shù)M，統(tǒng)計刪除樣本總數(shù)的值Mdel(M*Dmin)設(shè)置為0，遍歷每個主要類樣本Di_maj；

步驟2 將Cdel設(shè)置為0，計算K最近鄰樣本Di_maj，并且將其索引存儲到Dmaj[]；

步驟3 根據(jù)

選取Dmaj[]中最接近Di_maj的三個樣本作為相鄰樣本；

步驟4 將Di_maj的標簽與其相鄰的樣本類進行比較。如果Di_maj的標簽與其兩個以上的相鄰樣本不同，則刪除它；

步驟5Cdel＝Cdel＋1，如果Cdel

步驟6:刪除的樣本從數(shù)據(jù)集D中移除，以獲得新的子數(shù)據(jù)集D′，以此迭代最終得到分類結(jié)果。

2.4 模型測試與評估

對于CNN-ENN串行混合網(wǎng)絡(luò)模型而言，直接將模型訓練過程中已收斂迭代次數(shù)為5 000次所得model文件作為測試樣本，再次在訓練集上對網(wǎng)絡(luò)模型的泛化效果進行確認。從標準樣本數(shù)據(jù)集的各個類別中隨機選取成為測試樣本，利用性能參數(shù)Precision(Pre)，F(xiàn)-measure(F-m)和Accuracy(Acc)表示模型在測試集上的實際分類情況測得值以及分類結(jié)果準確度。

式中:TP為分類正確的正例樣本數(shù)，TN為分類正確的負例樣本數(shù)，F(xiàn)N為正例樣本中被誤分為負例樣本的數(shù)量，F(xiàn)P為負例樣本中被誤分為正例樣本的數(shù)量。

實驗結(jié)果如表3所示，用MFR算法對姿勢數(shù)據(jù)訓練時，得到的平均準確率為78.46%(F-m＝0.791)，但是單獨對關(guān)節(jié)角度和足底壓力數(shù)據(jù)訓練，得到的平均準確率相對較低，尤其是足底壓力，這是由于人體在不同步態(tài)模式下行走足底壓力值的變化差異不大。對于多傳感器融合數(shù)據(jù)，經(jīng)過訓練后，明顯識別的準確率要高于單一傳感器的，準確率達到90.32%(F-m＝0.902 8)。CNN-ENN串行混合網(wǎng)絡(luò)模型在對單一傳感器訓練的得到性能指標上得到明顯的提高，在足底壓力方面得到的準確率是67.36%，比MFR算法提高了30.58%，比CNN提高了27.07%。對多傳感器融合數(shù)據(jù)訓練后，模型的平均準確率達到96.89%(F-m＝0.969)。因此，采用CNN-ENN串行混合網(wǎng)絡(luò)模型結(jié)合多傳感器融合技術(shù)更加能夠精確地識別人體運動意圖。

表3 性能指標分析

然后，隨機選取5名受試者進行測試，三個模型對不同類型傳感器數(shù)據(jù)識別精度如圖4和圖5所示。圖5是驗證各個運動意圖識別模型分別對單一傳感器類型信號和多傳感器融合信號的識別結(jié)果，對任一運動意圖識別模型，對5個受試者的多傳感器融合信息的運動意圖識別精度效果最好，其次是姿態(tài)傳感器數(shù)據(jù)的識別精度，這是由于在不同步態(tài)模式下，人體腿部運動姿勢在5種步態(tài)模式下的差異性最明顯，而基于足底壓力的意圖分類得到的精度最低，這是由

圖4 不同類型傳感器信號的運動意圖識別結(jié)果分析

于在不同步態(tài)模式下的步態(tài)基本都是按照足跟先著地然后足尖著地的運動模式，主要的區(qū)別點在足底壓力的幅值大小，還有可能是足底壓力數(shù)據(jù)采集設(shè)備采用的尺寸較小的薄膜壓力傳感器，導致足底壓力數(shù)據(jù)特征不夠，下一步打算將步長、步頻和步寬考慮進來，以實現(xiàn)更加精確的步態(tài)識別。由圖5所示的整體識別精度分析，相較于傳統(tǒng)的運動意圖分類算法模型，采用基于CNN和ENN的串行混合網(wǎng)絡(luò)模型對5個受試者的多傳感器融合信息的運動意圖識別準確度最好，

圖5 三種模型整體識別精度分布

平均準確率為95.86%，而MFR、CNN的平均識別準確度分別為79.49%和85.65%。因此，通過實驗可以驗證基于多傳感器信息的融合得到更為全面的人體運動數(shù)據(jù)，識別精度高于單一傳感器信號，也驗證了所設(shè)計的基于CNN和ENN的串行混合網(wǎng)絡(luò)模型用于人體運動意圖識別的優(yōu)越性。

3 結(jié)語

本研究將多傳感器信息融合技術(shù)和深度學習技術(shù)應(yīng)用于人體運動意圖識別，通過實驗測試證明了二者結(jié)合使用的優(yōu)勢，結(jié)果表明，相較于單一類型的傳感器數(shù)據(jù)，多傳感器融合數(shù)據(jù)能夠包含更加全面的特征信息，對識別精度的提高有積極作用?；贑NN和ENN的新型串行混合網(wǎng)絡(luò)模型能夠有效地提取多傳感器融合數(shù)據(jù)中的關(guān)鍵特征，并且考慮到運動數(shù)據(jù)的時間序列特性，獲得了優(yōu)于傳統(tǒng)運動意圖識別分類器的識別效果。在未來的工作中，將增加輸入數(shù)據(jù)(生物電信號)的類型并進一步優(yōu)化深度學習算法，以實現(xiàn)更高的識別準確性。同時，本研究所提出的人體意圖識別方法也可以在工業(yè)智能制造、無人駕駛等領(lǐng)域進行應(yīng)用，對推動產(chǎn)業(yè)智能化進程有積極作用。