楊任兵,程文播,錢 慶,章 強,錢 俊,潘宇駿
?
紅外圖像中基于多特征提取的跌倒檢測算法研究
楊任兵1,程文播2,錢 慶2,章 強2,錢 俊2,潘宇駿2
(1. 上海大學(xué) 通信與信息工程學(xué)院,上海 200444;2. 中國科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所,江蘇 蘇州 215163)
研究表明跌倒是我國老年人傷害的主要原因,而且超過一半的跌倒發(fā)生在家中。如果我們能及時發(fā)現(xiàn)老人跌倒并進行有效處理,就會降低跌倒對老人的傷害。因此為了檢測老年人室內(nèi)跌倒行為,本文從低分辨率的紅外圖像中,提取出4種對跌倒敏感的特征,同時使用K近鄰算法進行分類來判斷是否發(fā)生跌倒。另外,本文還設(shè)計了一套基于該算法的老年人跌倒檢測系統(tǒng),它具有保護隱私、準(zhǔn)確度高、安裝方便的優(yōu)點。最后通過實驗測試表明該跌倒檢測算法的準(zhǔn)確率高達91.25%。
跌倒檢測;紅外傳感器;K近鄰算法;多特征提取
我國老齡人口越來越多,老年人的安全也牽系許多普通家庭的心。研究調(diào)查表明,老年人意外傷害的首要原因就是跌倒[1]。60歲以上老人中,34%的人每年至少發(fā)生一次摔倒行為,其中有一半以上的摔倒發(fā)生在家中(64.4%),而且隨著年齡增加,發(fā)生在家中的摔倒傷害病例比例有所增加,80歲以上的調(diào)查病例中71.19%的摔倒發(fā)生在家中[2]。2013年全國疾病監(jiān)測系統(tǒng)死因監(jiān)測結(jié)果顯示,年齡在65歲以上的老年人跌倒死亡率為44.30/10萬,因跌倒而死亡是該人群傷害致死的第一位死因[3]。除導(dǎo)致死亡外,跌倒還能造成老年人活動受限、功能受限、殘疾等非致死性后果。如果能及時地救助跌倒的老年人,將大大降低傷殘率和死亡率。然而現(xiàn)狀是家庭中的子女無法照顧老人,造成空巢老人越來越多[4],使得老年人跌倒后得到及時救助變得愈加艱難。因此研究出一種用于室內(nèi)的老年人跌倒檢測系統(tǒng)顯得尤為必要,系統(tǒng)自動檢測到老年人跌倒后立即發(fā)出報警求助,縮短從跌倒到救治的時間,有效減少由跌倒造成的意外傷害,提高老年人生活品質(zhì),同時也減少了需要花在老年人看護上的人力成本。
目前國內(nèi)外有不少在跌倒檢測系統(tǒng)和算法方面的研究,按照檢測方法可以分為3類:基于穿戴式的跌倒檢測系統(tǒng)、基于聲學(xué)的跌倒檢測系統(tǒng)和基于視頻的跌倒檢測系統(tǒng),它們都有其各自的優(yōu)勢和不足?;诖┐魇降牡箼z測系統(tǒng)是通過在人體手臂、腰部、頭部或者腿部穿戴上安裝有加速度[5]、軀干角速度[6]、壓力等傳感器的專用設(shè)備,提取出軀體位置和運動的關(guān)鍵特征,然后進行模式識別分類來檢測人體跌倒。這類系統(tǒng)具有成本低、安裝簡單、易于操作等優(yōu)點,但是使用者需要將設(shè)備全程穿戴在身體的特定部位,帶給使用者不舒適感,特別是老年群體感受強烈,限制了這類系統(tǒng)的推廣和應(yīng)用。另一類基于聲學(xué)的跌倒檢測系統(tǒng)則是通過分析跌倒時對地面的沖擊狀況,比如跌倒產(chǎn)生的聲音特征[7]、與地板的震動特征[8]等,事實上,日常生活中很多物體發(fā)出的聲響都會成為系統(tǒng)的干擾源,因此系統(tǒng)的特異性有待提高,而無法獲得滿意的準(zhǔn)確度。最后一類基于視頻的跌倒檢測系統(tǒng)是直接分析視頻圖像中人體的輪廓[9]、姿態(tài)[10]以及運動特征[11]來實現(xiàn)的,具有高準(zhǔn)確度、能夠同時檢測多個事件、不影響人們?nèi)粘I畹韧怀鰞?yōu)點,而被越來越多的應(yīng)用在家庭看護中[12]。但是基于視頻的系統(tǒng)所帶有的問題是在光照不足時準(zhǔn)確度會大大降低,并且清晰的視頻圖像暴露了個人的隱私,可能會危及使用者的安全。
為了改善上述問題,有人提出使用人體紅外熱成像的方式來檢測跌倒,因為紅外熱信號反映的是探測范圍內(nèi)溫度分布情況,用這種方式來檢測跌倒,不僅不受環(huán)境光強弱的影響,而且沒有暴露出圖像內(nèi)清晰的細節(jié),還能獲得很高的準(zhǔn)確度。Mastorakis G.等人使用微軟的Kinect紅外攝像頭,獲取紅外圖像中人體姿勢的寬、高、深度信息,通過決策樹算法來判決是否跌倒,最后記錄48次跌倒、112次非跌倒數(shù)據(jù)進行評估實驗,準(zhǔn)確無誤地檢測出里面全部的跌倒數(shù)據(jù)[13]。在本文中使用的紅外陣列傳感器,其價格不足微軟Kinect的1/3,體積只有藥丸大小,具有成本較低、體積小的優(yōu)點,而且獲取的紅外圖像的分辨率僅為8×8像素大小,更好地保護了個人隱私?;谶@些優(yōu)點,本文提出一種新型的跌倒檢測算法,原理是通過從該紅外圖像中提取出4種特征,然后使用K近鄰算法(K-Nearest Neighbor, KNN)進行分類,來判斷是否跌倒,根據(jù)該算法所設(shè)計的系統(tǒng),通過實驗評測表明跌倒檢測的準(zhǔn)確率達到91.25%。
本文使用的是松下半導(dǎo)體公司的一款高精度、低分辨率的Grid-EYE系列紅外線陣列傳感器[14],它在一個8×8網(wǎng)格式布局內(nèi)含有64個熱電堆元件,能夠在不接觸被測物體的前提下探測物體表面的絕對溫度,如圖1所示。由于這款傳感器分辨率低,從溫度分布圖像中無法直接辨別出探測的物體,另外,實際上人體時時刻刻都在向周圍環(huán)境輻射紅外線,即使在黑暗條件下,也絲毫不影響Grid-EYE傳感器獲取到人體的溫度分布圖像。
在性能參數(shù)上,Grid-EYE系列傳感器在60°探測視野角內(nèi),能夠探測最遠為5m的目標(biāo),而且它設(shè)有I2C外部數(shù)字接口,方便將溫度分布數(shù)據(jù)傳輸?shù)诫娔X上,封裝尺寸還非常小。表1中列舉出Grid-EYE傳感器的主要參數(shù)。
圖1 紅外陣列傳感器:(a) 松下Grid-EYE傳感器實物圖;(b) Grid-EYE輸出的溫度分布圖
表1 Grid-EYE傳感器的主要參數(shù)
本文所設(shè)計的跌倒檢測系統(tǒng)如圖2所示,首先需要將Grid-EYE紅外陣列傳感器安裝在房間屋頂上,從上往下采集出傳感器檢測范圍內(nèi)的溫度分布信息,并以I2C的方式將溫度信息發(fā)送到單片機上,這里使用的是TI公司的MSP430F5529單片機,完成信號采集后,單片機通過無線藍牙將信息發(fā)送到電腦監(jiān)控臺,電腦從溫度分布數(shù)據(jù)中提取出4種特征,再與訓(xùn)練數(shù)據(jù)進行對比,最后使用KNN分類器檢測出是否有跌倒行為。
本文提出的跌倒檢測算法流程圖如圖3所示,整個算法可分為3部分:活動人體檢測、特征提取以及KNN分類。電腦上位機軟件收到溫度分布數(shù)據(jù)后,首先計算出最大溫度分布方差,根據(jù)該方差的大小來確定被檢測區(qū)域內(nèi)是否有人活動,如果是處在無人活動狀態(tài),算法自動判斷檢測結(jié)果為無人跌倒,繼續(xù)接收下一幀數(shù)據(jù),否則從中提取出4種對跌倒敏感的特征,再分別求取與訓(xùn)練數(shù)據(jù)之間的歐式距離,最后利用KNN分類器判決出這4種特征屬于跌倒類還是非跌倒類,當(dāng)屬于跌倒類時軟件需要彈出提示信息,并響起警報請求人員迅速前去救助。
一般來說,在檢測區(qū)域沒有人在的情況下,Grid-EYE檢測的是周圍環(huán)境溫度分布,而這種狀態(tài)溫度分布較為均勻,隨時間發(fā)生的變化很小。但當(dāng)有人靠近時,溫度分布就不再均勻變化,因為人體表面的溫度與背景環(huán)境溫度有明顯的溫差存在,此時溫度分布數(shù)據(jù)主要受人體的運動、姿態(tài)變化所影響。
圖2 系統(tǒng)方案設(shè)計
Fig.2 System design diagram
圖3 跌倒檢測算法流程圖
Fig.3 Flowchart of fall detection algorithm
為了研究人體的靠近對紅外線溫度分布數(shù)據(jù)產(chǎn)生的影響,首先定義a表示在第幀時刻,溫度分布數(shù)據(jù)中第行列的像素點的溫度值。因此從Grid-EYE傳感器獲得的每一幀紅外線溫度圖像都可以用數(shù)學(xué)矩陣這樣表示:
跌倒檢測算法中至關(guān)重要的步驟就是從雜亂無序的8×8像素點的溫度分布數(shù)據(jù)中提取出4種對跌倒敏感的特征,這是因為原始的溫度分布數(shù)據(jù)中包含大量與跌倒檢測無關(guān)的信息,也被稱為“噪聲”信息[15]。本文通過特征提取的方式不僅去除掉這些“噪聲”,增強跌倒檢測的敏感性,同時也對原始數(shù)據(jù)進行特征降維,降低了分類時計算的開銷。
mov=end-start+1 (5)
該特征表示的是溫度分布發(fā)生變化的時間長短,檢測區(qū)域內(nèi)沒人的情況下,這個值較小,當(dāng)人在檢測區(qū)域內(nèi)來回走動,這個值會變大,當(dāng)人跌倒時,這個值也會變大,但不高于人在來回走動的情況,如圖4。
最大像素點數(shù)max:指的是在第start幀~end幀之間,每幀中64個單像素點的方差超過閾值最多的像素點數(shù)。這個特征表示的是溫度分布發(fā)生變化的像素點的個數(shù),當(dāng)有人跌倒的時候這個特征會發(fā)生變大,因為跌倒后人體在檢測區(qū)域內(nèi)的表面積變大,從而引起更多的像素點方差發(fā)生變化。
高溫區(qū)域的形態(tài)特征max:如圖5所示,人在站立時,紅外線溫度圖像中形成的是一塊方形區(qū)域,當(dāng)人跌倒后,人體橫躺在地面,在紅外線圖像中形成的則是長條形區(qū)域,并且該區(qū)域的面積大于方形區(qū)域。為了表現(xiàn)人體跌倒前后這一變化,算法從溫度分布數(shù)據(jù)中提取高溫區(qū)域的形態(tài)特征max。
圖4 10s內(nèi)4種特征在不同狀態(tài)下的變化,方差閾值取0.8
圖5 站立和平躺時在紅外線溫度分布圖像中高溫區(qū)域的形狀和面積不一樣
首先特征指的是高溫點集中區(qū)域的面積與長寬比的乘積,其中高溫點是指溫度值大于高溫均值的像素點,這里高溫均值定義如下:
一幀紅外線溫度分布圖像中,64個溫度值中最大值為max,最小值為min,從中計算出一個臨界溫度值th,如圖6所示,方法是把最小值和最大值線段分成左右兩部分,并且左邊占總長的1/3,然后舍棄低于臨界溫度值的像素點,計算其余存留下來的溫度值的平均值,這個平均值就稱為高溫均值,公式計算如下:
然后統(tǒng)計高溫點在8×8像素的圖像中分布位置,并使用bwlabel函數(shù)選取其中最大的4連通區(qū)域,也就是位置相鄰的高溫點數(shù)量最多的區(qū)域,并計算該區(qū)域的面積、長度以及寬度,則計算公式如下:
最后特征max就取在第start幀到end幀之間的最大值。
本系統(tǒng)中使用近鄰分類器進行數(shù)據(jù)分類,它是一種有監(jiān)督的機器學(xué)習(xí)方法,分類原理是在特征空間下,尋找訓(xùn)練樣本里面與待分類樣本距離最近的個近鄰,根據(jù)這個近鄰的類別確定待分類樣本歸屬,這里的距離一般由歐式距離來度量[10]。其中有兩個因素會直接影響KNN分類器的性能,一個是特征空間的選取,另一個是值的選取。由前文特征提取的內(nèi)容以及圖4可以反映出,本文選取的4種特征直接與人體活動變化緊密相關(guān),因此選取合適的值在本文中是影響KNN分類器性能最關(guān)鍵的因素。如果值取得過小,則算法易受噪聲的影響,使分類結(jié)果不穩(wěn)定,值取得過大,則會增加算法的時間復(fù)雜度[16]。本文使用目前常用的交叉驗證的方法來確定合適的值,通過實驗確定“值-準(zhǔn)確率”的變化,選取準(zhǔn)確率最高的情況下的值,本文將在第3章進行詳細介紹。
為了評測跌倒檢測算法的性能,本文利用Grid-EYE傳感器設(shè)計配套的軟硬件系統(tǒng),如圖7所示,右上圖是基于Grid-EYE傳感器的紅外線溫度分布數(shù)據(jù)采集和發(fā)送裝置,該裝置使用3節(jié)5號電池供電,方便安裝,通過搭載MSP430F5529單片機,紅外線溫度分布數(shù)據(jù)可以被讀取并由HC-06藍牙模塊實時發(fā)送到電腦上,用于上位機軟件進行跌倒檢測。右下圖就是使用MATLAB 2013b軟件編寫的上位機操作界面,該界面不僅能夠?qū)崟r顯示采集到的紅外線溫度分布圖像以及所提取的4種特征值,當(dāng)軟件檢測到跌倒時,能夠彈窗提醒給在旁人員前去救助,并發(fā)出報警鈴聲。
本文中的實驗是在圖7左圖所示的環(huán)境下進行,實驗裝置固定在檢測區(qū)域正上方的天花板上,天花板距離地面3.1m,室溫23℃左右。實驗人員需要根據(jù)要求完成指定動作,來對本文所提出的跌倒檢測算法的效果進行評測。
溫度分布方差閾值th直接影響跌倒檢測算法的性能,如果選取過低,不僅會增加算法檢測的計算量,誤判率也會提高,如果選取過高,漏檢率又會上升,因此選取合適的閾值th對整個檢測系統(tǒng)來說至關(guān)重要。
在本文中,閾值th的檢測方法是在檢測區(qū)域沒有人的情況下,整個裝置連續(xù)運行10min,記錄下這段時間內(nèi)的最大溫度分布方差,重復(fù)該過程3次,選取3次實驗中的最大值作為閾值th。通過實驗,本文中選取的閾值th為0.8。
圖6 求取高溫均值時確定臨界溫度值示意圖
圖7 實驗裝置及環(huán)境。左圖為室內(nèi)的實驗環(huán)境,右上圖為基于文中提出的算法設(shè)計的硬件系統(tǒng),右下圖為Matlab編寫的跌倒檢測界面
本文中邀請5名人員(4男1女)進行實驗,以獲得訓(xùn)練數(shù)據(jù)。在實驗過程中,要求實驗人員在檢測區(qū)域內(nèi)完成表2所要求的4種動作,每種動作完成10次,實驗記錄人員保存每次動作完成過程時提取到的4種特征數(shù)據(jù),最后共獲得200組數(shù)據(jù)(非跌倒類100組,跌倒類100組),作為本文中的訓(xùn)練數(shù)據(jù)。
表2 動作要求
本文使用常用的交叉驗證的方法來選取最優(yōu)的值。首先將前面得到的訓(xùn)練數(shù)據(jù)作為數(shù)據(jù)集,按不同比例分成訓(xùn)練集和測試集進行實驗,然后以3為初始值,2為步長選取相應(yīng)的值進行分類,最后計算出每次的分類準(zhǔn)確率,準(zhǔn)確率最高的情況即為最優(yōu)的值。表3顯示的是交叉驗證的結(jié)果,從中可以看出最優(yōu)的值為3。
為了全面評測算法的魯棒性,另外邀請3名人員參與實驗,共8名實驗人員(6男2女),設(shè)定溫度分布方差閾值th為0.8,分類器的值為3,要求實驗人員進行實驗,按照上面一樣動作,每種動作每人完成5次,實驗結(jié)果如表4所示。
表3 交叉驗證結(jié)果
表4 實驗結(jié)果準(zhǔn)確率
由評測結(jié)果我們可以看到,本系統(tǒng)對真實的人體跌倒檢測準(zhǔn)確率比較高,可以達到93.75%,整個系統(tǒng)的準(zhǔn)確率為91.25%,這說明我們從溫度分布數(shù)據(jù)中提取到的特征確實與人體跌倒相關(guān)聯(lián)。但同時也可以看出該系統(tǒng)也有較高的虛警率,其中主要部分是將坐下的動作誤分類成跌倒動作,這是因為坐下和跌倒這兩個動作在最大分布方差和運動幀數(shù)上表現(xiàn)得較為相似,從而造成分類出錯。為了解決這一問題,本文下一步方案計劃增加一個紅外線陣列傳感器,安裝在側(cè)面墻體上,用于檢測跌倒時垂直方向上紅外線溫度分布的變化。
本文采用一款具有低成本、低分辨率特點的紅外線陣列傳感器,提出一套適用于老年人室內(nèi)跌倒檢測的算法,創(chuàng)新地從紅外線溫度分布數(shù)據(jù)中提取出對跌倒敏感的4種特征,并且還設(shè)計出實驗系統(tǒng)對該算法進行性能評估,與基于其他跌倒檢測算法的系統(tǒng)相比,該算法所實現(xiàn)的系統(tǒng)具有保護隱私、準(zhǔn)確度高、安裝方便的優(yōu)點,實驗證明基于本文所提出的4種特征然后進行KNN分類,跌倒檢測的準(zhǔn)確率達到91.25%。從原理上來說,通過增加一個紅外線陣列傳感器,跌倒檢測的準(zhǔn)確率還能進一步提高,有待以后進行實驗驗證。
[1] 耳玉亮, 段蕾蕾, 葉鵬鵬, 等. 2014年全國傷害監(jiān)測系統(tǒng)老年跌倒/墜落病例特征分析[J]. 中華流行病學(xué)雜志, 2016, 37(1): 24-28.
ER Yuliang, DUAN Leilei, YE Pengpeng, et al. Epidemiologic characteristics of fall in old population: Results from national injury surveillance in China, 2014[J]., 2016, 37(1): 24-28.
[2] 朱月妹, 袁浩斌, 陳雷. 老年人跌倒危險因素的調(diào)查[J]. 護理實踐與研究, 2007, 4(10): 5-7.
ZHU Yuemei, YUAN Haobin, CHEN Lei. Investigation the risk factors of fall for the aged[J]., 2007, 4(10): 5-7.
[3] 中國疾病預(yù)防控制中心慢性非傳染性疾病預(yù)防控制中心, 國家衛(wèi)生和計劃生育委員會統(tǒng)計信息中心. 全國疾病監(jiān)測系統(tǒng)死因監(jiān)測數(shù)據(jù)集2013[M]. 北京: 科學(xué)普及出版社, 2015.
National Center for Chronic and Non-communicable Disease Control and Prevention, Chinese Center for Disease Control and Prevention, Statistical Information Center of the National Health and Family Planning Commission.2013 [M]. Beijing: Popular Science Press, 2015.
[4] 劉臘梅, 路麗娜. 城市老年空巢家庭現(xiàn)狀及對策分析[J]. 護士進修雜志, 2011, 26(18): 1707-1709.
LIU Lamei, LU Lina. Analysis on the present situation and countermeasures of urban old-age empty Nest family[J]., 2011, 26(18): 1707-1709.
[5] 劉鵬, 盧潭城, 呂愿愿, 等. 基于MEMS三軸加速度傳感器的摔倒檢測[J]. 傳感技術(shù)學(xué)報, 2014(4): 570-574.
LIU Peng, LU Tancheng, LV Yuanyuan, et al. MEMS tri-axial accelerometer based fall detection [J]., 2014(4): 570-574.
[6] Bourke A K, Lyons G M. A threshold-based fall-detection algorithm using a bi-axial gyroscope sensor[J]., 2008, 30(1): 84-90.
[7] ZHUANG X, HUANG J, Potamianos G, et al. Acoustic fall detection using Gaussian mixture models and GMM super vectors[C]//,,, 2009: 69-72.
[8] Zigel Y, Litvak D, Gannot I, et al. A method for automatic fall detection of elderly people using floor vibrations and sound—proof of concept on human mimicking doll falls[J]., 2009, 56(12): 2858-2867.
[9] Foroughi H, Aski B S, Pourreza H. Intelligent video surveillance for monitoring fall detection of elderly in home environments[C]//, 2008: 219-224.
[10] LIU C L, LEE C H, LIN P M. A fall detection system using k-nearest neighbor classifier[J]., 2010, 37(10): 7174-7181.
[11] FU Z, Culurciello E, Lichtsteiner P, et al. Fall detection using an address-event temporal contrast vision sensor[C]//, 2008: 424-427.
[12] YU X. Approaches and principles of fall detection for elderly and patient[C]//,, 2008: 42-47.
[13] Mastorakis G, Makris D. Fall detection system using Kinect’s infrared sensor[J]., 2014, 9(4): 635-646.
[14] 松下電器機電(中國)有限公司. 紅外線陣列傳感器Grid-EYE [EB/OL]. https://industrial.panasonic.cn/ ea/ products/ sensors/ built- in-sensors/grid-eye.
Panasonic Corporation. Infrared Array Sensor Grid-EYE[EB/OL]. Available: https://industrial.panasonic.com/ea/products/sensors/ built -in-sensors/grid-eye.
[15] 奉國和, 吳敬學(xué). KNN分類算法改進研究進展[J]. 圖書情報工作, 2012, 56(21): 97-100.
FENG Guohe, WU Jingxue. A literature review on the improvement of KNN algorithm[J]., 2012, 56(21): 97-100.
[16] 李洪奇, 楊中國, 朱麗萍, 等. 基于數(shù)據(jù)集特征的KNN最優(yōu)K值預(yù)測方法[J]. 計算機應(yīng)用與軟件, 2016, 33(6): 54-58.
LI Hongqi, YANG Zhongguo, ZHU Liping, et al. Prediction method of optimal k value in KNN based on dataset features[J]., 2016, 33(6): 54-58.
Fall Detection Algorithm Based on Multi Feature Extraction in Infrared Image
YANG Renbing1,CHENG Wenbo2,QIAN Qing2,ZHANG Qiang2,QIAN Jun2,PAN Yujun2
(1.,,200444,;2.,,215163,)
Falling is reported to be the major cause of injury in the elderly population in China. More than half of the falls this population experienced occurred at home. If we can get timely messagesduring the event of a fall, and process these effectively, we can reduce the potential for harm. Therefore, in order to detect indoor falls of the elderly, this study extracts four fall-sensitive featuresin low-resolution infrared images, after which the k-nearest neighbor algorithm is used to determine whether a fallhas occurred or not. Moreover, this paper also designs a complete fall detection system for the elderly based on the proposed algorithm, which offers the advantages of privacy protection, high accuracy, and convenient assembly.Results of experiments show that the accuracy of the fall detection system is as high as 91.25%.
fall detection,infrared sensors,KNN,multi feature extraction
TP391.4
A
1001-8891(2017)12-1131-08
2017-05-15;
2017-06-23.
楊任兵(1993-),男,碩士研究生,研究方向:光電信號和生物醫(yī)學(xué)信號處理。E-mail:yangrenbing2014@163.com。
程文播(1984-),男,副研究員,碩士生導(dǎo)師,主要從事床旁診斷技術(shù)以及微弱光電信號處理方面的研究。E-mail:chengwb@sibet.ac.cn。
江蘇省科技支撐計劃項目(BE2014639);中國科學(xué)院科技服務(wù)網(wǎng)絡(luò)計劃(KFJ-STS-SCYD-007);蘇州市科技計劃項目(SYS201664)。