趙 琰, 郭 明, 孫建強(qiáng), 邱建龍

(臨沂大學(xué)自動(dòng)化與電氣工程學(xué)院,山東臨沂 276005)

1 引言

人體動(dòng)作識(shí)別是通過(guò)各種傳感器設(shè)備對(duì)人體動(dòng)作數(shù)據(jù)進(jìn)行采集和處理,并使用合適的機(jī)器學(xué)習(xí)算法,以實(shí)現(xiàn)自動(dòng)識(shí)別各種人體動(dòng)作類(lèi)型.它在人機(jī)交互[1]、醫(yī)療康復(fù)[2-3]等領(lǐng)域都有廣泛的應(yīng)用.

傳統(tǒng)的人體動(dòng)作識(shí)別多數(shù)使用基于視覺(jué)的方法,主要通過(guò)拍攝身體輪廓和動(dòng)作軌跡,得到相關(guān)運(yùn)動(dòng)特征參數(shù),從而識(shí)別人體動(dòng)作.視覺(jué)技術(shù)可以快速獲取大量信息以便于計(jì)算機(jī)的自動(dòng)處理,但是不適合長(zhǎng)時(shí)間跟蹤記錄.且受光照、遮擋、背景環(huán)境等因素的影響,容易降低圖像分割精度,從而影響最終識(shí)別效果.為了更好地實(shí)現(xiàn)對(duì)人體動(dòng)作的監(jiān)測(cè),各種各樣微型化、低成本、高性能的慣性傳感器被廣泛應(yīng)用.用于人體動(dòng)作識(shí)別的慣性傳感器系統(tǒng)主要利用加速度計(jì)、陀螺儀等多個(gè)慣性傳感器通過(guò)近距離無(wú)線網(wǎng)絡(luò)技術(shù)組網(wǎng),對(duì)人體動(dòng)作進(jìn)行監(jiān)測(cè)[4].例如,在文獻(xiàn)[5]中,使用智能手機(jī)作為數(shù)據(jù)采集平臺(tái),采集靜止、行走、跑步、上樓、下樓和騎行6種運(yùn)動(dòng)狀態(tài)的加速度和角速度數(shù)據(jù),并提出并聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(PCNN)作為分類(lèi)器.在文獻(xiàn)[6]中,使用4個(gè)慣性傳感器測(cè)量下肢截肢患者穿戴假肢行走的角速度信號(hào),通過(guò)比較假肢與完整肢體步幅的相似性,進(jìn)而對(duì)患者作出康復(fù)治療.在文獻(xiàn)[7]中,使用三軸加速度計(jì)、陀螺儀、磁力計(jì)數(shù)據(jù)判斷不同年齡段的成年人在步行時(shí)的表面狀況和年齡差異.在進(jìn)一步研究后,可應(yīng)用于預(yù)防和干預(yù)老年人的跌倒事件.在文獻(xiàn)[8]中,提出一種基于稀疏信號(hào)的方法,使得可穿戴傳感器不必被限制在固定的身體位置,并且對(duì)7個(gè)人體位置和14類(lèi)人體活動(dòng)進(jìn)行測(cè)試和識(shí)別.在文獻(xiàn)[9]中,提出自適應(yīng)貝葉斯推理系統(tǒng),這是一種基于可穿戴傳感器的步行活動(dòng)和步態(tài)事件的識(shí)別和預(yù)測(cè)方法.實(shí)驗(yàn)表明此系統(tǒng)能夠適用于可穿戴傳感器日?；顒?dòng)的智能識(shí)別.

利用慣性傳感器采集人體動(dòng)作數(shù)據(jù)時(shí),用戶通常需要重新穿戴慣性傳感器,卻很難保證每次都將其固定在同一位置.而慣性傳感器測(cè)量的加速度、角速度、角度等數(shù)據(jù)與其固定位置有直接的關(guān)系,當(dāng)固定位置與預(yù)設(shè)位置發(fā)生偏差時(shí),就會(huì)降低動(dòng)作的識(shí)別精度[10].所以如何解決慣性傳感器的位置校正問(wèn)題是值得思考的.在文獻(xiàn)[11]中,提出一種在人體動(dòng)作識(shí)別中提高加速度計(jì)安裝誤差魯棒性的方法,使用Gram-Schmidt正交化計(jì)算變換矩陣,把三軸加速度數(shù)據(jù)轉(zhuǎn)換到空間坐標(biāo)系中,并采用截止頻率為10 Hz 的低通濾波器消除傳感器的方位誤差.不過(guò)該方法計(jì)算量比較大,不適合處理實(shí)時(shí)運(yùn)動(dòng)信號(hào),對(duì)濾波器的選擇也有較高的要求.在文獻(xiàn)[12]中,為消除原始慣性傳感器數(shù)據(jù)中關(guān)于傳感器方向的影響,提出基于啟發(fā)式和基于奇異值分解的兩種變換方式.在預(yù)處理階段把時(shí)域傳感器數(shù)據(jù)進(jìn)行簡(jiǎn)單變換,轉(zhuǎn)換后的數(shù)據(jù)獨(dú)立于多軸傳感器的絕對(duì)方向.雖然該方法取得了很好的分類(lèi)效果,但是轉(zhuǎn)換后數(shù)據(jù)量的倍增加重了數(shù)據(jù)處理的負(fù)擔(dān).為避免校正過(guò)程中計(jì)算量大、變換復(fù)雜的問(wèn)題,本文將矩陣旋轉(zhuǎn)變換原理應(yīng)用到慣性傳感器位置校正中,只需將三維空間坐標(biāo)系進(jìn)行簡(jiǎn)單的旋轉(zhuǎn)變換而非改變?cè)凶鴺?biāo)系類(lèi)型.另外旋轉(zhuǎn)變換矩陣是通過(guò)一小段基準(zhǔn)數(shù)據(jù)得到的,避免使用全部動(dòng)作數(shù)據(jù)進(jìn)行求解.

本文搭建了一個(gè)基于慣性傳感器系統(tǒng)的人體動(dòng)作數(shù)據(jù)采集平臺(tái),通過(guò)綁定在兩側(cè)手腕處的兩個(gè)慣性傳感器采集所規(guī)定的8個(gè)實(shí)驗(yàn)動(dòng)作數(shù)據(jù).針對(duì)每次數(shù)據(jù)采集時(shí)慣性傳感器固定位置發(fā)生變化的情況,提出一種基于旋轉(zhuǎn)矩陣的慣性傳感器位置校正方法對(duì)測(cè)試數(shù)據(jù)進(jìn)行校正,測(cè)試數(shù)據(jù)校正的好壞直接影響最終的識(shí)別精度.接著使用滑動(dòng)窗口對(duì)校正后的數(shù)據(jù)進(jìn)行特征提取后,為了保證實(shí)驗(yàn)動(dòng)作的有效識(shí)別,提出了加權(quán)BP神經(jīng)網(wǎng)絡(luò)模型作為分類(lèi)器對(duì)實(shí)驗(yàn)動(dòng)作進(jìn)行識(shí)別.

2 提出的模型算法

2.1 旋轉(zhuǎn)變換矩陣

在實(shí)際環(huán)境中,利用慣性傳感器監(jiān)測(cè)人體健康時(shí),受用戶身高、體重、穿戴方式等因素的影響,用戶穿戴慣性傳感器時(shí)會(huì)導(dǎo)致傳感器中慣性測(cè)量單元的位置發(fā)生變化,就會(huì)導(dǎo)致所采集的測(cè)試動(dòng)作數(shù)據(jù)與訓(xùn)練動(dòng)作數(shù)據(jù)在方向上存在一定的偏差,進(jìn)而嚴(yán)重影響識(shí)別系統(tǒng)的精度.因此,本文提出了一種基于旋轉(zhuǎn)變換矩陣實(shí)現(xiàn)慣性傳感器位置校正的人體動(dòng)作識(shí)別方法.首先分別采集訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的基準(zhǔn)數(shù)據(jù),然后利用兩組基準(zhǔn)數(shù)據(jù),借助矩陣旋轉(zhuǎn)變換原理求出校正前與校正后數(shù)據(jù)的旋轉(zhuǎn)變換矩陣,實(shí)現(xiàn)測(cè)試數(shù)據(jù)的校正.

假設(shè)在測(cè)試者身上一共綁定了m個(gè)傳感器節(jié)點(diǎn).在采集訓(xùn)練數(shù)據(jù)時(shí),如圖1(a)所示,先令測(cè)試者靜止t秒,此時(shí)傳感器采集的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)的基準(zhǔn)數(shù)據(jù),設(shè)每個(gè)傳感器節(jié)點(diǎn)采集的訓(xùn)練數(shù)據(jù)基準(zhǔn)矩陣為Ai(i=1,2,··· ,m).類(lèi)似地,在采集測(cè)試數(shù)據(jù)時(shí),如圖1(b)所示,也先令測(cè)試者靜止t秒,則此時(shí)傳感器采集的數(shù)據(jù)為測(cè)試數(shù)據(jù)的基準(zhǔn)數(shù)據(jù).設(shè)每個(gè)傳感器采集的測(cè)試數(shù)據(jù)基準(zhǔn)矩陣為Bi(i=1,2,··· ,m).由于佩戴在人體上的m個(gè)傳感器節(jié)點(diǎn)之間是彼此獨(dú)立的,所以訓(xùn)練數(shù)據(jù)基準(zhǔn)矩陣Ai之間是彼此獨(dú)立的,測(cè)試數(shù)據(jù)基準(zhǔn)矩陣Bi之間也都是相互獨(dú)立的.

圖1 固定在手腕上的慣性傳感器Fig.1 Inertia sensors fixed to wrist

根據(jù)機(jī)器人學(xué)相關(guān)理論,對(duì)于每一個(gè)傳感器節(jié)點(diǎn)i(i=1,2,··· ,m),訓(xùn)練數(shù)據(jù)基準(zhǔn)矩陣Ai都可以通過(guò)旋轉(zhuǎn)變換矩陣Ri得到測(cè)試數(shù)據(jù)基準(zhǔn)矩陣Bi.這里假設(shè)傳感器節(jié)點(diǎn)不會(huì)發(fā)生平移(由于一般用以實(shí)現(xiàn)人體動(dòng)作識(shí)別的慣性傳感器節(jié)點(diǎn)測(cè)量精度不高,因此本文忽略位移產(chǎn)生的影響).本文使用內(nèi)旋方法求取相應(yīng)的旋轉(zhuǎn)變換矩陣,內(nèi)旋是指每次旋轉(zhuǎn)圍繞的軸是上次旋轉(zhuǎn)之后坐標(biāo)系的某個(gè)軸,旋轉(zhuǎn)角度的正負(fù)也遵循右手坐標(biāo)系的約定.設(shè)第i個(gè)傳感器的初始坐標(biāo)系如圖2(a)所示.先繞X坐標(biāo)軸旋轉(zhuǎn)a,再繞著Y坐標(biāo)軸旋轉(zhuǎn)b,最后繞著Z坐標(biāo)軸旋轉(zhuǎn)c,得到如圖2(b)所示的傳感器位置.則整個(gè)旋轉(zhuǎn)變換矩陣Ri表示為

圖2 傳感器坐標(biāo)系發(fā)生旋轉(zhuǎn)變化Fig.2 Rotation of sensor coordinate system

其中:x=sina,y=sinb,z=sinc,X=cosa,Y=cosb,Z=cosc.

對(duì)于每一個(gè)傳感器節(jié)點(diǎn)i,所采集的測(cè)試數(shù)據(jù)矩陣Bi和校正后的測(cè)試數(shù)據(jù)矩陣?Bi的關(guān)系可表示為

2.2 加權(quán)BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò),在人體動(dòng)作識(shí)別中應(yīng)用廣泛[13-14].BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、輸出層、隱含層組成,其原理是將預(yù)測(cè)值y和真實(shí)值Z的誤差δ通過(guò)網(wǎng)絡(luò)模型進(jìn)行反向傳播,并且通過(guò)多次迭代,使用梯度下降法不斷地對(duì)網(wǎng)絡(luò)中所有的連接權(quán)重進(jìn)行調(diào)整,直至誤差小于預(yù)設(shè)值,如圖3所示.

圖3 BP神經(jīng)網(wǎng)絡(luò)原理圖Fig.3 Schematic diagram of BP neural network

從訓(xùn)練集中隨機(jī)選擇30%的數(shù)據(jù)作為參數(shù)選擇的訓(xùn)練數(shù)據(jù).采用兩個(gè)常見(jiàn)的激活函數(shù),如sigmoid函數(shù)、tanh函數(shù)以及Relu函數(shù)等分別作為該網(wǎng)絡(luò)的激活函數(shù)進(jìn)行分類(lèi)識(shí)別,令最終識(shí)別準(zhǔn)確率為θi,i=1,2,則式(4)中的權(quán)重可表示為

另外,選擇均方差作為損失函數(shù),訓(xùn)練精度設(shè)置為0.001,初始學(xué)習(xí)率設(shè)置為0.01,這樣既可以保證快速順利找到損失函數(shù)的最小值,又不會(huì)導(dǎo)致反復(fù)震蕩[15].

3 動(dòng)作數(shù)據(jù)采集平臺(tái)

3.1 實(shí)驗(yàn)平臺(tái)

本文搭建實(shí)驗(yàn)平臺(tái)采集人體動(dòng)作數(shù)據(jù),該平臺(tái)由慣性傳感器、藍(lán)牙接收器和上位機(jī)組成.每個(gè)傳感器節(jié)點(diǎn)內(nèi)置一個(gè)MPU9250 三軸加速度計(jì),量程為[?16 g,16 g],精度為0.01 g.將兩個(gè)傳感器分別固定在被測(cè)者的兩側(cè)手腕處,采集的動(dòng)作數(shù)據(jù)通過(guò)無(wú)線傳輸?shù)剿{(lán)牙接收器,電腦讀取接收器中的數(shù)據(jù)并進(jìn)行保存.

3.2 實(shí)驗(yàn)動(dòng)作的數(shù)據(jù)采集

本實(shí)驗(yàn)招募到男女共12名被測(cè)者用于動(dòng)作數(shù)據(jù)采集,年齡在23-25歲且身體健康.在實(shí)驗(yàn)室環(huán)境內(nèi)完成伸出大拇指、招手、雙手交叉、搓手、雙臂交叉、雙手抱頭、雙手叉腰、雙臂張開(kāi)8個(gè)動(dòng)作的數(shù)據(jù)采集,用M1-M8表示,如圖4所示.加速度計(jì)的采樣頻率設(shè)置為50 Hz,并且要求被測(cè)者靜止一段時(shí)間,隨后按照各自的行為習(xí)慣,在兩分鐘內(nèi)重復(fù)完成每個(gè)動(dòng)作.

圖4 實(shí)驗(yàn)動(dòng)作圖例Fig.4 Legend of experimental actions

從招募的12名被測(cè)者中隨機(jī)挑選出10人用于采集訓(xùn)練數(shù)據(jù),慣性傳感器按照標(biāo)準(zhǔn)固定位置固定在被測(cè)者手腕上,如圖5(a)所示.其余2人用于采集測(cè)試數(shù)據(jù),傳感器分別按照?qǐng)D5(b)和圖5(c)兩種固定位置固定在被測(cè)者手腕上,令采集得到的測(cè)試數(shù)據(jù)為Q1,Q2.

圖6是原始動(dòng)作數(shù)據(jù)中傳感器節(jié)點(diǎn)2(固定于左側(cè)手腕)分別按照?qǐng)D5(a)-(c)3種不同固定位置下所采集的M1動(dòng)作的部分三軸加速度數(shù)據(jù),每秒采集50組數(shù)據(jù),橫軸為樣本點(diǎn)數(shù)量,縱軸為加速度計(jì)的輸出值.

圖5 3種慣性傳感器固定位置Fig.5 Three fixed positions of inertial sensors

圖6 校正前的原始加速度數(shù)據(jù)Fig.6 Raw acceleration data before correction

4 實(shí)驗(yàn)結(jié)果與分析

4.1 動(dòng)作數(shù)據(jù)校正

基準(zhǔn)數(shù)據(jù)為被測(cè)者穿戴慣性傳感器保持靜止?fàn)顟B(tài)時(shí)所記錄的動(dòng)作數(shù)據(jù).圖7為被測(cè)者在3種固定位置下兩個(gè)傳感器節(jié)點(diǎn)所采集的基準(zhǔn)數(shù)據(jù)Pij,如P12表示傳感器節(jié)點(diǎn)2按照第1種固定位置(a)的所采集的訓(xùn)練基準(zhǔn)數(shù)據(jù),可以看出不同傳感器固定位置的基準(zhǔn)數(shù)據(jù)的初始值有明顯的差異.通過(guò)旋轉(zhuǎn)矩陣變換原理可以得到4個(gè)三維旋轉(zhuǎn)矩陣(2個(gè)慣性傳感器×2種固定位置),并利用旋轉(zhuǎn)矩陣將測(cè)試數(shù)據(jù)Q1,Q2進(jìn)行校正,得到校正后的動(dòng)作數(shù)據(jù),如圖8所示.

圖7 基準(zhǔn)數(shù)據(jù)Fig.7 Benchmark data

圖8 經(jīng)過(guò)旋轉(zhuǎn)矩陣處理后的加速度數(shù)據(jù)Fig.8 Acceleration data processed by rotation matrix

4.2 動(dòng)作數(shù)據(jù)特征提取

原始數(shù)據(jù)中會(huì)存在許多噪音,而且往往是不可避免的,這會(huì)對(duì)動(dòng)作識(shí)別結(jié)果產(chǎn)生很大的影響.噪音可能是傳感器與身體碰撞造成的,也可能是受到傳輸滯后的影響造成的.本文選用卡爾曼濾波[16]的方法處理異常值.然后使用滑動(dòng)窗口方法把清洗后的數(shù)據(jù)分割成等長(zhǎng)的數(shù)據(jù)窗,這樣可以更好地對(duì)較長(zhǎng)的數(shù)據(jù)進(jìn)行分析.將窗口長(zhǎng)度設(shè)為100個(gè)樣本點(diǎn)(約2 s),為了避免兩個(gè)窗口相鄰處的數(shù)據(jù)丟失,將兩個(gè)相鄰窗口的重復(fù)率設(shè)為50%,即窗口間隔為50個(gè)樣本點(diǎn)(約1 s).對(duì)每個(gè)窗口內(nèi)的數(shù)據(jù)進(jìn)行特征提取,選定時(shí)域、頻域特征共6個(gè),如表1所示.

表1 特征提取Table 1 Feature extraction

4.3 實(shí)驗(yàn)結(jié)果分析

為了確保實(shí)驗(yàn)結(jié)果的有效性,本文采用十折交叉驗(yàn)證的方法對(duì)分類(lèi)模型進(jìn)行訓(xùn)練,將處理完的訓(xùn)練集數(shù)據(jù)隨機(jī)地平均分為10份,將其中9份輪流作為訓(xùn)練數(shù)據(jù),另外的1份作為驗(yàn)證數(shù)據(jù),一共迭代10次,最終識(shí)別結(jié)果為10次迭代結(jié)果的平均值.使用準(zhǔn)確率作為模型的評(píng)價(jià)指標(biāo),可描述為被正確分類(lèi)樣本數(shù)占所有樣本數(shù)的比例.

首先討論不同的傳感器固定位置對(duì)識(shí)別準(zhǔn)確率的影響.將3名被測(cè)者分別按照?qǐng)D9所示的3種傳感器固定位置穿戴傳感器采集的測(cè)試數(shù)據(jù)作為測(cè)試集分別進(jìn)行測(cè)試,其他的識(shí)別步驟保持一致.如圖10所示,當(dāng)傳感器固定位置為(a)時(shí),準(zhǔn)確率為97.16%.當(dāng)傳感器固定位置為(b)時(shí),準(zhǔn)確率為18.09%.固定位置為(c)時(shí),準(zhǔn)確率為31.59%.這說(shuō)明傳感器的固定位置確實(shí)會(huì)影響人體動(dòng)作的識(shí)別效果.

圖9 3種傳感器固定位置對(duì)識(shí)別率的影響Fig.9 The influence of three fixed positions of sensors on accuracy

圖10 特征層融合和傳感器-決策層融合流程圖Fig.10 Flow diagram of feature level fusion and sensor-decision level fusion

同時(shí),本文針對(duì)識(shí)別過(guò)程中不同的數(shù)據(jù)融合方式對(duì)識(shí)別結(jié)果的影響,主要研究了特征層融合和傳感器-決策層融合.特征層融合是對(duì)每個(gè)傳感器采集的動(dòng)作數(shù)據(jù)的多類(lèi)特征進(jìn)行提取,然后聯(lián)合在一起形成一個(gè)統(tǒng)一的特征向量[17],再對(duì)其進(jìn)行特征選擇.傳感器-決策層融合是指每個(gè)傳感器都具有獨(dú)立的數(shù)據(jù)處理能力,包括動(dòng)作數(shù)據(jù)的特征選擇和對(duì)動(dòng)作類(lèi)型的分類(lèi)識(shí)別,然后再對(duì)每個(gè)傳感器的識(shí)別結(jié)果進(jìn)行融合,得到最終預(yù)測(cè)結(jié)果.

接下來(lái)驗(yàn)證旋轉(zhuǎn)變換矩陣的有效性.使用旋轉(zhuǎn)矩陣對(duì)測(cè)試數(shù)據(jù)Q1,Q2進(jìn)行校正,并且討論了傳感器固定位置為(b)(c)兩種情況下,不同數(shù)據(jù)融合方式對(duì)識(shí)別準(zhǔn)確率的影響.

第1種情況為傳感器固定位置為(b)時(shí),8個(gè)動(dòng)作的識(shí)別準(zhǔn)確率如圖11所示.可以看出使用特征層融合時(shí),‘雙手抱頭’的識(shí)別準(zhǔn)確率最高,達(dá)到了100%,其次是‘伸出大拇指’,達(dá)到了98.90%,‘雙手交叉’的識(shí)別準(zhǔn)確率最低,僅為40.00%,平均準(zhǔn)確率為84.25%.在傳感器-決策層融合時(shí),‘雙手抱頭’的識(shí)別準(zhǔn)確率最高為100%,其次是‘伸出大拇指’,識(shí)別率為98.9%,識(shí)別率最低的動(dòng)作是‘雙手交叉’,識(shí)別率為33.75%,另外,‘招手’的識(shí)別率也較差為53.49%,平均準(zhǔn)確率為82.7%.

圖11 傳感器位于固定位置(b)時(shí)兩種數(shù)據(jù)融合方法對(duì)比Fig.11 Comparison of two data fusion methods for sensors in fixed position(b)

對(duì)于整體識(shí)別準(zhǔn)確率高但單一動(dòng)作識(shí)別率低的情況,使用混淆矩陣進(jìn)可以清晰地看出預(yù)測(cè)值和真實(shí)值的分布.它每一行表示樣本的真實(shí)類(lèi)別,每一行的總數(shù)表示該類(lèi)別的實(shí)例樣本的數(shù)量,每一列表示樣本的預(yù)測(cè)類(lèi)別,每一列的總數(shù)表示預(yù)測(cè)為該類(lèi)別的樣本數(shù)量,每一列中的數(shù)值表示實(shí)際樣本被預(yù)測(cè)為該類(lèi)的數(shù)量.圖12給出了固定位置(b)在特征層融合時(shí)的混淆矩陣.通過(guò)混淆矩陣能夠很清楚的看出,‘雙手交叉’的80個(gè)測(cè)試樣本中,有48個(gè)樣本被錯(cuò)誤分類(lèi),其中有27個(gè)樣本被誤分為‘搓手’,有16個(gè)樣本被誤分為‘雙臂交叉’,有5個(gè)樣本被誤分為‘雙手抱頭’.通過(guò)圖13所示的傳感器-決策層融合時(shí)混淆矩陣,‘雙手交叉’被誤分類(lèi)的情況與上述類(lèi)似,另外‘招手’的86個(gè)樣本中的40個(gè)樣本被誤分為‘雙手交叉’.

圖12 傳感器固定方式(b)對(duì)特征層融合的混淆矩陣Fig.12 Confusion matrix of sensor fixed position(b)on feature layer fusion

圖13 傳感器固定方式(b)對(duì)傳感器-決策層融合的混淆矩陣Fig.13 Confusion matrix of sensor fixed position(b)on sensor-decision level fusion

第2種情況為傳感器位置為(c)時(shí),動(dòng)作的識(shí)別準(zhǔn)確率如圖14所示.可以看出在特征層融合時(shí),‘雙臂交叉’、‘雙手叉腰’、‘雙手抱頭’的識(shí)別準(zhǔn)確率都達(dá)到了100%,其次是‘雙臂張開(kāi)’,準(zhǔn)確率為98.59%,‘伸出大拇指’的識(shí)別準(zhǔn)確率最低,僅為41.79%,平均準(zhǔn)確率為85.94%.在傳感器-決策層融合時(shí),‘雙臂交叉’、‘雙手叉腰’、‘雙臂張開(kāi)’的識(shí)別準(zhǔn)確率也為100%,其次是‘雙手叉腰’,識(shí)別率為96.25%,識(shí)別率最低的動(dòng)作是‘雙手交叉’,識(shí)別率為45.00%,另外,‘伸出大拇指’的識(shí)別率也較低,為46.27%,平均準(zhǔn)確率為81.08%.

圖14 傳感器固定位置(c)下兩種數(shù)據(jù)融合方法對(duì)比Fig.14 Comparison of two data fusion methods for sensors in fixed position(c)

圖15給出了固定位置(c)在特征層融合時(shí)的混淆矩陣.可以看出‘伸出大拇指’的67個(gè)測(cè)試樣本中,有39個(gè)樣本被錯(cuò)誤分類(lèi)為‘招手’,‘雙手交叉’中有19個(gè)樣本被誤分為‘雙臂交叉’,有4個(gè)樣本被誤分為‘雙手抱頭’.而通過(guò)圖16的混淆矩陣,‘伸出大拇指’的67個(gè)測(cè)試樣本中,有36個(gè)樣本被錯(cuò)誤分類(lèi)為’招手’,‘雙手交叉’的80個(gè)樣本中有44個(gè)樣本被錯(cuò)誤分類(lèi),其中有36個(gè)樣本被誤分為‘搓手’,有8個(gè)樣本被誤分為‘雙臂交叉’.

圖15 傳感器固定方式(c)下特征層融合的混淆矩陣Fig.15 Confusion matrix of sensor fixed position(c)on feature layer fusion

圖16 傳感器固定方式(c)下傳感器-決策層融合的混淆矩陣Fig.16 Confusion matrix of sensor fixed position(c)on sensor-decision level fusion

通過(guò)對(duì)比兩組實(shí)驗(yàn)可以發(fā)現(xiàn),本文所進(jìn)行的動(dòng)作識(shí)別中特征層融合的整體準(zhǔn)確率是高于傳感器-決策層融合的.其主要原因是在傳感器-決策層融合中,每個(gè)傳感器相互獨(dú)立用于分類(lèi)任務(wù),而忽略了各傳感器數(shù)據(jù)之間的聯(lián)系.不過(guò),這種融合方式可以靈活選取傳感器結(jié)果,提高系統(tǒng)的容錯(cuò)性,并降低了融合信息計(jì)算量.另外對(duì)于實(shí)驗(yàn)中出現(xiàn)了某一動(dòng)作識(shí)別率低但整體識(shí)別率高的情況,通過(guò)混淆矩陣可以看出其主要原因是由動(dòng)作和動(dòng)作之間的相似性造成的,還有可能受到手動(dòng)提取特征的局限性導(dǎo)致固定特征不能充分反映每個(gè)不同的動(dòng)作類(lèi)型.

5 結(jié)論

本文主要研究了人體動(dòng)作識(shí)別中慣性傳感器的位置校正問(wèn)題,通過(guò)建立的實(shí)驗(yàn)平臺(tái)中固定在被測(cè)者兩側(cè)手腕處的慣性傳感器采集人體動(dòng)作數(shù)據(jù),通過(guò)矩陣旋轉(zhuǎn)變換原理校正由不同慣性傳感器固定位置所采集的動(dòng)作數(shù)據(jù),對(duì)校正數(shù)據(jù)提取特征處理后采用加權(quán)BP神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)驗(yàn)動(dòng)作進(jìn)行分類(lèi).從實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn),數(shù)據(jù)校正前后的識(shí)別效果提升明顯.在未來(lái)工作中,將考慮圍繞以下方面進(jìn)行研究.手動(dòng)提取的特征雖然是直觀有效的,但是這可能會(huì)忽略一些有用的特征,可以使用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征;另外,隨著智能手機(jī)計(jì)算能力提升和使用普及,它不僅能集成多種傳感器還擁有較大的存儲(chǔ)量.并且相比于可穿戴慣性傳感器具有不需要增加設(shè)備、不妨礙正?；顒?dòng)的優(yōu)點(diǎn),考慮使用智能手機(jī)或者手環(huán)代替?zhèn)鞲衅魍瓿蓴?shù)據(jù)采集工作.