范琳　王勁松

摘要：針對(duì)不同用戶攜帶手機(jī)的位置和習(xí)慣，分析基于手機(jī)傳感器獲取的三軸加速度信息，分別將三軸加速度和合成加速度繪制曲線圖，將圖片輸入CNN進(jìn)行分類，結(jié)果顯示，三軸加速度曲線能有效的區(qū)分人體日常行為。

關(guān)鍵詞：人體行為識(shí)別；加速度曲線；CNN；手機(jī)位置無(wú)關(guān)；

中圖分類號(hào)：TP274+.2 文獻(xiàn)標(biāo)志碼： A 文章編號(hào)：1009-3044（2018）19-0191-02

隨著人們生活質(zhì)量的提高，工作壓力的增大，越來(lái)越多的人開始尋求健康的生活方式。各種智能手機(jī)、智能手環(huán)和智能穿戴系統(tǒng)興起，能督促用戶每天進(jìn)行適量的運(yùn)動(dòng)。目前的智能手機(jī)APP或智能手環(huán)，能進(jìn)行計(jì)步，或者在用戶告知的情況下記錄用戶的跑步時(shí)間，越來(lái)越多的研究者提倡一種不被察覺的行為識(shí)別，利用智能手機(jī)的感知和計(jì)算能力以及合適的算法來(lái)進(jìn)行移動(dòng)用戶行為識(shí)別。

本文擬采用深度學(xué)習(xí)方法，基于手機(jī)內(nèi)置的加速度計(jì)采集三軸加速度信息，針對(duì)不同用戶攜帶手機(jī)的習(xí)慣，從人體不同位置的獲取加速度數(shù)據(jù)，繪制三軸加速度與合成加速度曲線后，輸入CNN網(wǎng)絡(luò)的卷積層、池化層和soft-max分類器進(jìn)行處理，構(gòu)建一種基于深度學(xué)習(xí)的人體行為識(shí)別模型。

1 已有研究

1.1 基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的人體行為識(shí)別研究

國(guó)內(nèi)外在基于智能終端的人體行為識(shí)別方面已有若干研究，使用智能終端采集加速度、陀螺儀、麥克風(fēng)等信息，基于傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行建模。論文[2-7]分別論述了使用多傳感器及傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行人體行為識(shí)別的研究。

1.2 基于深度學(xué)習(xí)算法的人體行為識(shí)別研究

深度學(xué)習(xí)動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)。隨著深度學(xué)習(xí)的興起，國(guó)內(nèi)外展開了基于深度學(xué)習(xí)的人體行為識(shí)別研究，因?yàn)樯疃葘W(xué)習(xí)對(duì)圖像和聲音的識(shí)別效果非常好，一部分學(xué)者利用深度學(xué)習(xí)中的CNN或DBN算法進(jìn)行圖像、聲音和視頻處理，來(lái)進(jìn)行智能家居中的人體行為識(shí)別。

基于加速度信息的人體行為識(shí)別，其中論文[8]提出一種基于加速度計(jì)的人體行為識(shí)別方法，使用了深度學(xué)習(xí)算法中的卷積神經(jīng)網(wǎng)絡(luò)。構(gòu)建了一種CNN模型，改變了卷積核以適應(yīng)三軸加速度信號(hào)的特點(diǎn)。同時(shí)在同一數(shù)據(jù)集上將廣泛使用的機(jī)器學(xué)習(xí)算法跟深度學(xué)習(xí)比較，包含了8種典型行為，實(shí)驗(yàn)結(jié)果顯示CNN工作良好，不使用特征提取也能達(dá)到平均準(zhǔn)確率93.8%。論文[9]提出一種腕戴式裝置Wristocracy用于感應(yīng)識(shí)別人的用戶（特別是老年人）的行為，用于日常生活行為識(shí)別。從多個(gè)用戶收集詳盡的家庭為基礎(chǔ)的日常生活活動(dòng)和IADLs數(shù)據(jù)，基于深度學(xué)習(xí)的監(jiān)督網(wǎng)絡(luò)進(jìn)行分類。能夠識(shí)別22種的日?；顒?dòng)。

本文擬采用深度學(xué)習(xí)方法，基于手機(jī)內(nèi)置的加速度計(jì)采集三軸加速度信息，構(gòu)建一種基于深度學(xué)習(xí)的人體行為識(shí)別模型，設(shè)計(jì)不同的數(shù)據(jù)組織方式，將人體行為加速度數(shù)據(jù)輸入深度神經(jīng)網(wǎng)絡(luò)，比較在不同數(shù)據(jù)組織方式下的行為識(shí)別率，構(gòu)建最優(yōu)深度行為識(shí)別模型。

2 基于CNN的人體行為識(shí)別模型

課題基于ARM處理器的智能手機(jī)作為嵌入式系統(tǒng)硬件平臺(tái)，基于Android2.3系統(tǒng)，搭建輕量級(jí)行為數(shù)據(jù)采集器，能實(shí)時(shí)采集加速度信息。在不同手機(jī)穿戴位置的情況下，對(duì)不同行為進(jìn)行數(shù)據(jù)采集。實(shí)驗(yàn)設(shè)計(jì)如下：采集15名用戶的行為數(shù)據(jù)，其年齡分布為：20-30歲5人，30-40歲8人，40-50歲2人，基本覆蓋智能手機(jī)用戶群；采集的行為信息分為5種，分別是靜止、走路、跑步、上樓、下樓；針對(duì)每種行為，用戶的手機(jī)穿戴位置細(xì)分為3種，分別是（a）包里、（b）褲兜、（c）手中，其中手機(jī)在包里放置的情況，不區(qū)分圖1中的三種包的情況；每個(gè)用戶針對(duì)每種行為和位置采集10次運(yùn)動(dòng)過(guò)程中的加速度信息，每次采集10秒。課題組采集多人運(yùn)動(dòng)加速度信息，共包含不同行為不同位置的樣本1973份。

手機(jī)被不同的用戶攜帶在不同地方，手機(jī)方位在運(yùn)動(dòng)過(guò)程中是時(shí)刻變化的，由此所采集到的三軸加速度中，三個(gè)方向的加速度中某一個(gè)的變化規(guī)律并不能說(shuō)明人體運(yùn)動(dòng)的規(guī)律。為了消除手機(jī)方位的影響，論文將三軸加速度合成，合成加速度[a]能體現(xiàn)人體運(yùn)動(dòng)的劇烈程度。

卷積神經(jīng)網(wǎng)絡(luò)在圖片識(shí)別領(lǐng)域已經(jīng)獲得了非常好的分類識(shí)別效果。借鑒卷積神經(jīng)網(wǎng)絡(luò)在圖片識(shí)別領(lǐng)域中的應(yīng)用，提出一種基于加速度圖片的數(shù)據(jù)構(gòu)造方式用于卷積神經(jīng)網(wǎng)絡(luò)在人體行為識(shí)別領(lǐng)域中的應(yīng)用。繪制三軸加速度的曲線，并作為圖片輸入CNN。

圖1給出了基于三軸加速度曲線的卷積神經(jīng)網(wǎng)絡(luò)構(gòu)架，網(wǎng)絡(luò)輸入層是經(jīng)過(guò)歸一化處理過(guò)的大小為28×28的三軸加速度圖片，其中三種不同顏色的線條分別代表x、y、z軸的加速度信息。卷積神經(jīng)網(wǎng)絡(luò)中的池化層由前一層中的局部小矩陣與卷積核卷積得到，輸出為下一層的卷積層；卷積層由前一層池化層中的局部小矩陣經(jīng)過(guò)池化過(guò)程得到，輸出為下一層的池化層。通過(guò)局部感知器能夠抽取到信息源中的局部細(xì)微信息，然后將這些局部信息與一個(gè)卷積核作卷積計(jì)算得到一個(gè)特征矩陣，即特征集。在卷積的過(guò)程中可以多設(shè)幾組卷積核，每個(gè)卷積核的權(quán)值各不相同，這樣就可以獲取到多個(gè)特征矩陣，從而能夠通過(guò)平均多個(gè)特征矩陣的方式較為準(zhǔn)確地標(biāo)識(shí)信息源。

3 實(shí)驗(yàn)結(jié)果與分析

采集到的行為信息包括走路、上樓、下樓、靜止和跑步五種行為，合計(jì)為1973個(gè)樣本。分別基于1973個(gè)樣本的三軸加速度計(jì)算合成加速度，按照2：1的比例分配訓(xùn)練集和測(cè)試集，然后將訓(xùn)練集和測(cè)試集對(duì)應(yīng)加速度數(shù)據(jù)與合成加速度數(shù)據(jù)畫成像素大小為48×48的方形圖片；最后獲取方形圖片的像素點(diǎn)信息作卷積神經(jīng)網(wǎng)絡(luò)的輸入項(xiàng)輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試。

對(duì)于區(qū)別度較大的跑步和靜止而言，基于三軸加速度的測(cè)試集分類結(jié)果正確率為85.5和90.1，基于合成加速度的分類結(jié)果正確率為80.6和89.9，而對(duì)于區(qū)別度較小的走路、上樓和下樓分類結(jié)果不太理想。深度學(xué)習(xí)對(duì)數(shù)據(jù)量大的信息，分類效果更好：對(duì)于三軸加速度和合成加速度而言，三軸加速度包含的信息更多，因此分類效果更好；而原始加速度數(shù)據(jù)構(gòu)造的矩陣，其矩陣內(nèi)部都是有效信息值，而繪制成圖片后，在圖片中大量信息為空白，只有中間的曲線包含有效值，為稀疏矩陣，因此識(shí)別準(zhǔn)確率不高。

4 結(jié)論

針對(duì)不同用戶攜帶手機(jī)的位置和習(xí)慣，分析基于手機(jī)傳感器獲取的三軸加速度信息，分別將三軸加速度和合成加速度繪制曲線圖，將圖片輸入CNN進(jìn)行分類，并將原始三軸加速度數(shù)據(jù)構(gòu)造矩陣送入CNN，結(jié)果顯示，三軸加速度數(shù)據(jù)構(gòu)造的矩陣分類效果要優(yōu)于曲線圖，基于三軸加速度構(gòu)建的人體行為識(shí)別模型能有效地區(qū)分五種人體日常行為。

參考文獻(xiàn)：

[1] Hinton，Geoffrey E，Ruslan R.Reducing the Dimensionality of Data with Neural Networks[J].Science，2006，313（5786）：504-507.

[2] Bao L.and Intille S.，Activity recognition from user annotated acceleration data[J].Pervasive Computing.LNCS vol 3001，2004：1-17.

[3] N Ravi，N.Dandekar，P.Mysore，and M.L.Littman. Activity recognition from accelerometer data[C].In Proceedings of AAAI，2005：1541-1546.