衛(wèi)少潔,周永霞

(中國計(jì)量大學(xué) 信息工程學(xué)院,杭州 310018) E-mail:weishaojie01@163.com

1 引 言

聯(lián)合國報(bào)告指出,到2050年65歲以上老人將達(dá)世界總?cè)丝跀?shù)的1/6,老年人的醫(yī)療健康問題引起了全球的普遍關(guān)注.在影響老人身體健康的因素中,摔倒傷害占比最高[1].當(dāng)老人獨(dú)處時(shí)發(fā)生摔倒,及時(shí)的檢測和預(yù)警可以極大縮短獲得醫(yī)療救護(hù)的時(shí)間,盡可能保障人們的生命安全.

目前,人體摔倒檢測主要有基于外部傳感器檢測和基于計(jì)算機(jī)視覺檢測兩種方法.基于外部傳感器檢測法通常將傳感器嵌入手環(huán)、腰帶、衣服等可隨身穿戴的物品或室內(nèi)墻壁、天花板、地毯等外部環(huán)境中,用于采集人體運(yùn)動數(shù)據(jù)[2-5],使用采集得到的數(shù)據(jù)訓(xùn)練MLP[6]、SVM[7]等機(jī)器學(xué)習(xí)算法進(jìn)行人體摔倒檢測.基于計(jì)算機(jī)視覺的摔倒檢測法通常使用圖像處理、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方法對監(jiān)控視頻進(jìn)行特征提取和摔倒檢測.文獻(xiàn)[8]使用自動特征學(xué)習(xí)方法的摔倒檢測框架,通過對不同視角的視頻序列提取人,對PCAnet模型進(jìn)行訓(xùn)練,最后通過SVM分類判斷摔倒;文獻(xiàn)[9]使用Faster-RCNN檢測人體和家具,判斷人體與周圍家具之間的關(guān)系從而判斷人體是否摔倒;文獻(xiàn)[10]使用高斯混合模型檢測人體得到外接輪廓,通過多幀融合得到時(shí)間序列信息,最后用一個淺層CNN判斷摔倒.

基于外部傳感器的摔倒檢測法需要隨身穿戴傳感器等,存在用戶體驗(yàn)不佳、硬件成本高、檢測精度低等問題.現(xiàn)有基于計(jì)算機(jī)視覺的摔倒檢測法存在檢測場景適應(yīng)性差和不同摔倒姿勢誤檢率高等問題.針對上述問題,本文提出了一種基于Alphapose和LSTM的人體摔倒檢測模型.該模型采用Alphapose對視頻中人體進(jìn)行骨骼關(guān)鍵點(diǎn)檢測,將得到的骨骼點(diǎn)坐標(biāo)分為x坐標(biāo)值和y坐標(biāo)值兩類,分別訓(xùn)練兩個LSTM神經(jīng)網(wǎng)絡(luò),將兩個LSTM隱層輸出合并后輸入一個全連接網(wǎng)絡(luò)分類,實(shí)現(xiàn)人體摔倒檢測,避免了場景依賴性,并在公開數(shù)據(jù)集上與多個模型進(jìn)行對比,表明本模型具有更好的性能.

2 模型算法

2.1 Alphapose骨骼檢測模型

Alphapose采用自頂向下的方法,骨骼檢測示意圖如圖1所示.先用目標(biāo)檢測算法檢測人,再用SPPE(single person pose estimation)算法對檢測到的人做姿態(tài)估計(jì).

圖1 骨骼檢測示意圖Fig.1 Detection of skeleton keypoints

已有的骨骼模型主要有兩個問題:定位錯誤和產(chǎn)生冗余檢測結(jié)果.針對這些問題,Alphapose模型添加了三個模塊:對稱空間變換網(wǎng)絡(luò)(Symmetric space transformation network,SSTN)、由姿態(tài)引導(dǎo)的樣本生成器(Pose-guided Proposals Generator,PGPG)和姿態(tài)非極大值抑制器(Parametric Pose Non-Maximum Suppression,PPNMS).SSTN的作用為對人體檢測框進(jìn)行感興趣區(qū)域提取,達(dá)到自動調(diào)整檢測框的目的,通過添加該模塊使圖1 中目標(biāo)檢測結(jié)果更加準(zhǔn)確.PGPG作用為對已有的數(shù)據(jù)進(jìn)行姿態(tài)引導(dǎo)的數(shù)據(jù)擴(kuò)充,增加訓(xùn)練樣本,達(dá)到數(shù)據(jù)增強(qiáng)的目的,作用于目標(biāo)檢測和SPPE的訓(xùn)練.PPNMS是一種參數(shù)化姿態(tài)非極大抑制方法,通過定義姿態(tài)距離計(jì)算姿態(tài)相似度來消除冗余的檢測框,當(dāng)相似度低于某一閾值時(shí)作為冗余框刪除.通過結(jié)合這三個模塊,Alphapose實(shí)現(xiàn)了更精確的骨骼檢測.

文獻(xiàn)[11]在COCO數(shù)據(jù)集和MPII數(shù)據(jù)集上對多種骨骼檢測模型進(jìn)行對比實(shí)驗(yàn),結(jié)果表明Alphapose為目前精度最高的骨骼檢測模型.本文采用Alphapose對人體的18個骨骼關(guān)鍵點(diǎn)進(jìn)行檢測,得到18個骨骼關(guān)鍵點(diǎn)在該幀圖像中的(x,y)坐標(biāo).

2.2 LSTM網(wǎng)絡(luò)模型

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[12]中,每個時(shí)刻網(wǎng)絡(luò)的輸出都可以在下一時(shí)刻直接作用到自身,即當(dāng)前時(shí)刻網(wǎng)絡(luò)的最終結(jié)果是該時(shí)刻的輸入信息和所有歷史信息共同作用的結(jié)果,因此,RNN能夠處理時(shí)間序列信息.但是,隨著網(wǎng)絡(luò)層加深,神經(jīng)元個數(shù)不斷增加,RNN在實(shí)際訓(xùn)練時(shí)常存在梯度消失和梯度爆炸的問題,導(dǎo)致網(wǎng)絡(luò)最終無法正常訓(xùn)練.針對這些問題,Hochreiter & Schmidhuber等人[13]在1997年提出了LSTM(Long Short-Term Memory),通過門控制和更新細(xì)胞狀態(tài)將短期記憶與長期記憶結(jié)合起來,解決了神經(jīng)網(wǎng)絡(luò)中的長期依賴問題,讓網(wǎng)絡(luò)能夠默認(rèn)記憶長期信息.文獻(xiàn)[14-16]均應(yīng)用了LSTM模型及其改進(jìn)方法,取得了不錯的效果.圖2為LSTM神經(jīng)元結(jié)構(gòu)示意圖.

LSTM神經(jīng)單元包含輸入門i、遺忘門f、細(xì)胞狀態(tài)C和輸出門O,通過門和細(xì)胞狀態(tài)來控制長短期記憶.其計(jì)算過程可表示為公式(1)到公式(6).

it=σ(Wi·[ht-1,xt]+bi)

(1)

(2)

ft=σ(Wf·[ht-1,xt]+bf)

(3)

(4)

Ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=Ot*tanh(Ct)

(6)

圖2 LSTM神經(jīng)元結(jié)構(gòu)示意圖Fig.2 Structure of LSTM Cell

3 人體摔倒檢測模型

本文提出的基于Alphapose和LSTM的人體摔倒檢測模型結(jié)構(gòu)如圖3所示,首先將視頻分割成幀,該模型每次讀取視頻的一幀圖像,輸入Alphapose模型檢測得到人體的18個骨骼點(diǎn)坐標(biāo).在運(yùn)動過程中,人體骨骼點(diǎn)x坐標(biāo)變化和y坐標(biāo)變化存在明顯差異,所以本文采用兩個LSTM網(wǎng)絡(luò)分別對其進(jìn)行訓(xùn)練.將得到的18個坐標(biāo)拆分成x坐標(biāo)值(x1,x2,…,x18)和y坐標(biāo)值(y1,y2,…,y18),上述步驟連續(xù)檢測多幀圖像后可以得到x坐標(biāo)值序列和y坐標(biāo)值序列.當(dāng)x坐標(biāo)值序列和y坐標(biāo)值序列的長度滿足設(shè)置的LSTM輸入序列長度size后,將兩種序列分別輸入兩個LSTM進(jìn)行時(shí)序特征提取.之后每檢測到一幀新的圖像骨骼數(shù)據(jù),就將新的x坐標(biāo)值和y坐標(biāo)值加入到序列中,并刪除序列中最舊的坐標(biāo)值,保持x坐標(biāo)值序列和y坐標(biāo)值序列的長度始終為size.LSTM隱層的輸出向量即為提取到的時(shí)序特征,對兩個LSTM的隱層輸出向量進(jìn)行Flatten和Merge操作以滿足全連接層輸入要求.最后,將合并后的時(shí)序信息通過一個全連接層進(jìn)行分類,計(jì)算輸出模型的分類結(jié)果,判斷是否摔倒.

4 數(shù)據(jù)集與數(shù)據(jù)處理

4.1 數(shù)據(jù)集

本文選用MuHAVi-MAS17和Le2i兩個公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).MuHAVi-MAS17[17]數(shù)據(jù)集是一個行為識別數(shù)據(jù)集,包含摔倒、走路、跑步、起身等17種行為,其中ShotGunCollapse數(shù)據(jù)為摔倒行為,該數(shù)據(jù)集由均勻分布在場景周圍的8個攝像頭采集獲得,共包含7個人數(shù)據(jù),每個人包含8個視角,摔倒姿勢為側(cè)后方左摔和側(cè)后方右摔,視頻分辨率為720×576,攝像頭離人體較遠(yuǎn),畫面中人較為模糊.

圖3 模型結(jié)構(gòu)示意圖Fig.3 Structure of Model

Le2i[18]摔倒數(shù)據(jù)集包含Home、Coffee room、Office、Lecture room四個場景,人體行為包含:摔倒、坐下、行走、拿東西、彎腰撿東西、下樓、掃地等,摔倒姿勢包括前摔、側(cè)摔、后側(cè)摔等多種姿勢,視頻分辨率為320×240,攝像頭離人體較近,畫面中人較為清晰.

4.2 數(shù)據(jù)處理

針對樣本中常存在奇異數(shù)據(jù)使網(wǎng)絡(luò)無法收斂,增加網(wǎng)絡(luò)訓(xùn)練時(shí)間,為了避免該問題,同時(shí)增強(qiáng)模型通用性,遂對樣本數(shù)據(jù)做歸一化處理.本文主要對Alphapose模型提取到的骨骼點(diǎn)坐標(biāo)進(jìn)行了歸一化處理,方法如公式(7)所示:

(7)

LSTM訓(xùn)練樣本通過滑窗法獲取.首先設(shè)置樣本大小為size,如圖4所示,size為n的滑動窗口內(nèi)包含的序列為訓(xùn)練輸入樣本,當(dāng)前幀n的標(biāo)簽L(n)為該樣本標(biāo)簽,其中X(n)和Y(n)分別為對應(yīng)幀序的18個骨骼點(diǎn)的x坐標(biāo)和y坐標(biāo)集合,即X(n)={x1,x2,…,x18},Y(n)={y1,y2,…,y18}.窗口沿幀序每次向右滑動一幀來獲取新樣本,即取下一個樣本時(shí),滑動窗口末尾處新增下一幀數(shù)據(jù),窗口起始處刪除起始幀數(shù)據(jù),保持樣本的大小不變,獲取新增幀標(biāo)簽為新樣本標(biāo)簽,據(jù)此,通過窗口不斷滑動得到所有的訓(xùn)練樣本.

圖4 樣本處理示意圖Fig.4 Processing of samples

5 實(shí) 驗(yàn)

本文的實(shí)驗(yàn)執(zhí)行環(huán)境為:windows 10,處理器為 Intel(R)Core(TM)i7-6700 CPU @3.4GHz,內(nèi)存8G,顯卡為 GTX 1060 3GB.編程語言為python3.6,開發(fā)工具為Pycharm 2017,使用Keras框架進(jìn)行網(wǎng)絡(luò)搭建,訓(xùn)練和測試.

5.1 評價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)樣本分為四類,其中真正例TP(True Position)表示正樣本被模型正確分類為正樣本;假正例FP(False Position)表示負(fù)樣本被模型錯誤分類為正樣本;假反例FN(False Negative)表示正樣本被模型錯誤分類為負(fù)樣本;真反例TN(True Negative)表示負(fù)樣本被模型正確分類為負(fù)樣本.

本文選用了摔倒檢測常用的7個評價(jià)標(biāo)準(zhǔn)來評判實(shí)驗(yàn)結(jié)果的可靠性.

精確度(Precision)表示模型正確分類的摔倒樣本占分類為摔倒樣本的比重,如公式(8)所示.

(8)

召回率(Recall)表示模型正確分類的摔倒樣本占實(shí)際摔倒樣本的比重,如公式(9)所示.

(9)

真負(fù)率(True Negative Rate,TNR)表示模型正確分類的非摔倒樣本占實(shí)際非摔倒樣本的比重,如公式(10)所示.

(10)

漏警率(MA)表示模型錯分為非摔倒的摔倒樣本占實(shí)際摔倒樣本總數(shù)的比重,如公式(11)所示.

(11)

虛警率(FA)表示模型錯分為摔倒的非摔倒樣本占所有分類為摔倒樣本的比重,如公式(12)所示.

(12)

準(zhǔn)確率(Accuracy)表示模型分類正確(包括摔倒和非摔倒)的樣本占所有樣本的比重,是評價(jià)模型整體性能的評價(jià)指標(biāo),如公式(13)所示.

(13)

F1-measure(又稱F-score)為分類模型常用的一個綜合性評價(jià)指標(biāo),如公式(14)所示.

(14)

5.2 實(shí)驗(yàn)結(jié)果分析

MuHAVi-MAS17數(shù)據(jù)集中,選取摔倒過程和摔倒后躺下的狀態(tài)為摔倒樣本,其他狀態(tài)行為為非摔倒樣本(如站立,行走,起身等).該數(shù)據(jù)集包含7個人的樣本,本文采用交叉驗(yàn)證的方式進(jìn)行實(shí)驗(yàn),即每次取一個人的數(shù)據(jù)作為測試集,其他六人數(shù)據(jù)為訓(xùn)練集,先求得每個人作為測試集的測試結(jié)果,最后求7次測試結(jié)果的平均值為最終結(jié)果,保證實(shí)驗(yàn)的可靠性.

MuHAVi-MAS17數(shù)據(jù)集在7個評價(jià)標(biāo)準(zhǔn)下的實(shí)驗(yàn)結(jié)果如表1所示,其中表頭第一行的p1-p7表示第1個人到第7個人,Average為7個人測試結(jié)果的平均值.表1實(shí)驗(yàn)結(jié)果表明,本文模型在MuHAVi-MAS17數(shù)據(jù)集上達(dá)到了92%的識別率.

表1 MuHAVi-MAS17數(shù)據(jù)集結(jié)果
Table 1 Performance on MuHAVi-MAS17 dataset

p1p2p3p4p5p6p7AveragePrecision0.89 0.84 0.91 0.99 0.93 0.66 0.67 0.84 Recall0.85 0.80 0.72 0.80 0.83 0.80 0.89 0.81 TNR0.97 0.95 0.97 1.00 0.97 0.94 0.93 0.96 MA0.15 0.20 0.28 0.20 0.17 0.20 0.11 0.19 FA0.11 0.16 0.09 0.01 0.07 0.34 0.33 0.16 F-score0.87 0.82 0.80 0.88 0.88 0.73 0.76 0.82 Accuracy0.95 0.91 0.89 0.94 0.92 0.92 0.92 0.92

為了進(jìn)一步評價(jià)模型性能,本文以Alphapose為骨骼檢測模型,選取了三個分類模型進(jìn)行對比.分別是支持向量機(jī)(Support Vector Machine,SVM)、多層感知器(Multilayer Perceptron,MLP)和隨機(jī)森林(Random Forest,RF).SVM基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論,通過找到幾個支持向量來確定一個超平面使樣本分為兩類,并且間隔最大,算法不容易過擬合,是介于簡單算法和神經(jīng)網(wǎng)絡(luò)算法之間性能極佳的算法.MLP是一種典型的神經(jīng)網(wǎng)絡(luò)模型,采用前向結(jié)構(gòu),每一層之間都進(jìn)行全連接,是單層感知機(jī)的推廣,能夠解決單層感知機(jī)不能解決的非線性問題.RF采用決策樹作為基學(xué)習(xí)器,基于Baggiing思想集成,對于分類回歸、異常點(diǎn)檢測等具有良好的特性.以上三個模型都是分類模型中經(jīng)常使用且性能較好的機(jī)器學(xué)習(xí)方法,因此本文選擇與這些模型進(jìn)行對比.

對比模型在MuHAVi-MAS17數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示,表中分別為3個對比模型和本文模型在7個評價(jià)指標(biāo)下的實(shí)驗(yàn)對比結(jié)果.從表中可以看出,本文提出的模型在多個評價(jià)指標(biāo)上明顯優(yōu)于其他三個模型.

Accuracy是評價(jià)模型整體分類性能的指標(biāo),F-score是分類模型最常用的綜合性評價(jià)指標(biāo),圖5圖6分別為設(shè)置不同樣本大小訓(xùn)練模型得到的4個模型精確度對比折線圖和F-score對比折線圖.從圖中可以看出,本文模型在不同size上基本優(yōu)于其他三個模型,表現(xiàn)出更好的性能.

表2 MuHAVi-MAS17不同模型對比結(jié)果
Table 2 Performance of different models on MuHAVi-MAS17

SVMMLPRFoursPrecision0.78140.74680.81850.8406Recall0.22250.72490.78560.8140TNR0.98230.91980.94920.9596MA0.77750.27510.21440.1860FA0.21860.25320.18150.1594F-score0.33540.70310.7820.8206Accuracy0.79380.86270.90290.9214

Le2i數(shù)據(jù)集中正負(fù)樣本的選取規(guī)則同MuHAVi-MAS17數(shù)據(jù)集,該數(shù)據(jù)集包含4個不同室內(nèi)場景,實(shí)驗(yàn)分別對每個場景進(jìn)行交叉驗(yàn)證得到測試結(jié)果,4個場景測試結(jié)果的平均值作為最終結(jié)果.Le2i數(shù)據(jù)集在7個評價(jià)指標(biāo)下的實(shí)驗(yàn)結(jié)果如表3所示,實(shí)驗(yàn)數(shù)據(jù)表明,本模型在該數(shù)據(jù)集上實(shí)現(xiàn)了99%以上的識別率.

圖5 精確度折線圖Fig.5 Accuracy line chart

圖6 F-score折線圖Fig.6 F-score line chart

表3 Le2i數(shù)據(jù)集結(jié)果
Table 3 Performance on le2i dataset

CoffeeHoomLectureOfficeAveragePrecision0.9988 0.9955 0.9990 1.0000 0.9983 Recall0.9992 0.9968 0.9558 0.9989 0.9877 TNR0.9983 0.9987 0.9992 0.8889 0.9713 MA0.0008 0.0032 0.0442 0.0011 0.0123 FA0.0012 0.0045 0.0010 0.0000 0.0017 F_score0.9990 0.9960 0.9755 0.9994 0.9925 Accuracy0.9987 0.9985 0.9950 0.9991 0.9979

文獻(xiàn)[19]采用雙流卷積神經(jīng)網(wǎng)絡(luò)方法在Le2i數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),該模型方法較新、結(jié)果較好,因此本文選擇跟文獻(xiàn)[19]進(jìn)行對比.本文模型與文獻(xiàn)[19]方法在Le2i數(shù)據(jù)集上的對比結(jié)果如表4所示,表中包含4個場景的識別率和平均識別率,實(shí)驗(yàn)數(shù)據(jù)表明,本文識別率比文獻(xiàn)[19]中3D-CNN方法提高8%,比Two-Stream CNN方法提高3%.

表4 Le2i數(shù)據(jù)集對比結(jié)果
Table 4 Compare on le2i dataset

CoffeeHoomLectureOfficeAverage3D-CNN[19]0.900.930.950.880.915Two-Stream CNN[19]0.94 0.98 0.97 0.95 0.96 ours0.9987 0.9985 0.9950 0.9991 0.9979

6 總 結(jié)

針對現(xiàn)有人體摔倒檢測方法對不同場景的適應(yīng)性低和誤檢率高等問題,本文提出了一種基于Alphapose和LSTM的摔倒檢測模型,該模型使用Alphapose對人體骨骼關(guān)鍵點(diǎn)進(jìn)行檢測,去除不同場景帶來的干擾,使用骨骼關(guān)鍵點(diǎn)數(shù)據(jù)訓(xùn)練LSTM來實(shí)現(xiàn)人體摔倒檢測.本文在MuHAVi-MAS17和Le2i兩個公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),并與多種檢測模型進(jìn)行對比,實(shí)驗(yàn)結(jié)果表明本文模型在不同場景、不同視角和不同摔倒姿勢情況下都有較高的檢測精度.