瞿　暢，孫　杰，王君澤，朱小龍（南通大學機械工程學院，江蘇南通226019）

?

基于Kinect體感傳感器的老年人跌倒自動檢測*

瞿暢*，孫杰，王君澤，朱小龍
（南通大學機械工程學院，江蘇南通226019）

摘要：跌倒是獨居老人最主要的意外風險之一，為快速有效獲取跌倒信息，使老年人得到及時救助，提出一種基于Kinect體感傳感器的人體跌倒自動檢測方法，利用Kinect深度圖像技術(shù)獲取人體深度圖像前景圖，建立前景圖三維包圍盒，通過實時計算的三維包圍盒的長、寬、高數(shù)值以及該數(shù)值的變化速度，判斷人體跌倒是否發(fā)生。利用遮擋融合算法，解決了人體軀干被障礙物部分遮擋時，跌倒事件的檢測和判定。在室內(nèi)居家環(huán)境下進行了26種測試場景實驗，檢測誤報率為2.0%～6.0%，漏報率為0～4.0%。該方法可以較為準確地實現(xiàn)人體跌倒自動檢測。

關(guān)鍵詞：傳感器應(yīng)用；跌倒檢測；深度圖像；三維包圍盒；體感傳感器

項目來源：國家自然科學基金資助項目（61170171）；南通市前沿與關(guān)鍵技術(shù)創(chuàng)新計劃項目（MS22015007）

老年人跌倒發(fā)生率高、后果嚴重，是對老年人健康乃至生命的嚴重威脅。獨居老年人如能在跌倒事件發(fā)生后得到及時的醫(yī)療救助，可有效降低死亡和長期治療風險［1］。因此，對獨居老人意外跌倒事件進行自動檢測并發(fā)出報警信息，具有重要的現(xiàn)實意義。由于人體運動的復(fù)雜性和不確定性，跌倒行為識別和檢測技術(shù)研究涉及到運動生物力學信息獲取、人工智能、人機交互、無線通訊等多學科交叉領(lǐng)域，近幾年，隨著傳感器技術(shù)、圖像采集設(shè)備、計算機技術(shù)的飛速發(fā)展，一種基于深度傳感器的跌倒檢測技術(shù)逐步進入人們的視野，這是繼基于穿戴式傳感器的跌倒檢測［2-4］、基于視頻的跌倒檢測［5，6］、基于聲頻信號的跌倒檢測［7］等技術(shù)之后的一種基于計算機視覺處理的人體跌倒檢測技術(shù)。2010年11月，微軟Kinect深度傳感器的問世，為研究基于深度圖像的跌倒檢測技術(shù)提供了硬件支持。Kinect可以獲取人體骨架信息和場景深度圖像，并具備語音識別功能，為人體跌倒事件的檢測提供了豐富的跌倒識別特征信息源，Kinect深度圖像用黑白光譜的方式來檢測人體，還可以有效保護個人隱私。

目前，研究人員將Kinect應(yīng)用于人體跌倒檢測的方法大致分為兩類，一類是利用Kinect骨架信息進行跌倒檢測，如Kawatsu C［8］、Lee C K［9］及Tran T T H［10］等人的研究工作，他們一般是通過Kinect獲取人體頭部、肩中心、脊柱、髖中心等骨架關(guān)節(jié)點的空間位置，設(shè)計摔倒識別特征，采用閾值法或支持向量機技術(shù)，進行跌倒檢測。利用骨架信息進行跌倒檢測算法簡單，計算量小，但由于Kinect獲取的關(guān)節(jié)點數(shù)據(jù)不穩(wěn)定，當人體被障礙物遮擋時，一些重要的關(guān)節(jié)點會丟失，造成計算錯誤而誤報。另一類是通過Kinect獲取的彩色和深度圖像信息進行跌倒檢測。如Rougier C［11］等人從前景圖中分割出人體圖像，提取質(zhì)心高度，用人體質(zhì)心與地面的距離以及人體質(zhì)心的速度進行跌倒識別，提出的算法能在遮擋場景中識別慢速坐、蹲等活動，但對于速度較快的動作（如快速下蹲檢拾物品，迅速坐下等）易產(chǎn)生誤報。Kepski1 M［12］等將Kinect與加速度傳感器結(jié)合檢測人體跌倒事件，通過對深度圖像的不同處理技術(shù)檢測出前景物體（人），計算人體重心點以及人體重心與地面的高度距離，根據(jù)兩種傳感器獲取的人體狀態(tài)信息和預(yù)定義規(guī)則，綜合評估跌倒事件的發(fā)生。Mastorakis G［13］等通過建立人體3D（高、寬、深）包圍盒，計算包圍盒高度方向和深-寬度方向的速度進行跌倒檢測，對行走過程中的跌倒具有較高檢測準確率。Gaspamini S［14］等通過對彩色深度圖像的開發(fā)，提出了一種在Ki?nect俯視視角下的人體識別與跌倒檢測方法，并可檢測與跟蹤多個人體。

Kinect深度圖像的數(shù)據(jù)較骨架數(shù)據(jù)的置信度更高，能解決遮擋環(huán)境的影響，本文將Kinect深度圖像技術(shù)用于跌倒檢測，通過建立人體前景的動態(tài)三維包圍盒，以三維包圍盒的長、寬、高數(shù)值以及該數(shù)值的變化速度峰值，作為跌倒識別特征，利用遮擋融合算法，避免人體遮擋條件下連續(xù)檢測的缺失，獲得了較高的檢測準確率，并在真實居家環(huán)境下進行了跌倒實驗驗證。

1　 Kinect傳感器及其開發(fā)平臺

微軟開發(fā)的Kinect作為XBOX360的體感外設(shè)，主要用途為構(gòu)建人與虛擬環(huán)境間的自然交互。Kinect體感傳感器中的圖像采集設(shè)備由RGB攝像頭與深度圖像傳感器組成，其中RGB攝像頭負責采集場景彩色圖像，深度圖像傳感器由紅外激光投射器與黑白CMOS傳感器組成，負責采集場景深度圖像，并以每秒30幀的頻率生成景深圖像流。

Kinect提供了Kinect SDK和OpenNI SDK等開發(fā)平臺。OpenNI是一個多語言，跨平臺的框架，定義了程序開發(fā)及實現(xiàn)自然交互的API，搭建了傳感器和中間件之間通信的橋梁。NiTE是PrimeSense公司在OpenNI框架下開發(fā)的中間軟體，作為系統(tǒng)軟件與應(yīng)用軟件的中介，其中包含了用于分析深度圖像數(shù)據(jù)的開發(fā)包，如Simple viewer，Closest point viewer等。因此，系統(tǒng)運行期間，OpenNI在不同物理組件間建立了通信標準，NiTE提供了分析和運用深度圖像數(shù)據(jù)的開發(fā)包，為Kinect應(yīng)用于跌倒檢測領(lǐng)域提供了可能。

2　跌倒自動檢測算法

在居家環(huán)境場景中，檢測系統(tǒng)運行時，Kinect實時獲取檢測場景內(nèi)的深度數(shù)據(jù)信息，并將深度數(shù)據(jù)流傳遞至OpenNI框架下NiTE中的Simple viewer應(yīng)用程序編程接口，對人體深度圖像前景圖進行分割并提取。通過腐蝕膨脹算法對人體深度圖像前景圖的表面和邊緣進行光滑和去噪處理，采用NiTE中的Skeleton wrapped skin算法重構(gòu)人體深度圖像前景圖外包皮膚，在重構(gòu)后的人體外表皮膚上利用NiTE中的Closest point viewer算法追蹤人體前景圖前后左右上下邊界點，過這些邊界點建立與人體冠狀平面，矢狀平面以及水平面平行的平面所圍成的三維包圍盒。并將①實時狀態(tài)下三維包圍盒長、寬、高三個參數(shù)值的大?。虎谝欢芜B續(xù)幀下，三維包圍盒的長、寬、高三個參數(shù)值的增減速度作為判別參數(shù)，同時利用遮擋融合算法，解決人體軀干被障礙物部分遮擋時，跌倒事件的檢測問題，提高檢測準確率。

2.1深度圖像預(yù)處理

一段連續(xù)幀內(nèi)，在NiTE中的Simple viewer應(yīng)用程序編程接口中建立深度圖像像素點的混合高斯模型，模型中把每一個像素點視為一個獨立的隨機變量，并分別進行建模。建模后的深度圖像各像素點分別以K個高斯分布進行描述，預(yù)設(shè)閾值T（最小先驗概率），并以閾值T為分界點，K個高斯分布中的前B個分布定義為背景模型，K-B個分布定義為前景模型，分割生成人體深度圖像前景圖，并進行標注，表示可進行下一步處理。

分割后的人體前景圖圖像邊緣和內(nèi)部存在鋸齒狀噪音和小的空洞，不利于后期利用Closest point viewer算法，穩(wěn)定地獲取人體前景圖像邊界點。因此，需要采用膨脹和腐蝕算子對圖像表面和邊緣進行光滑處理。本檢測方法采用先腐蝕后膨脹的開運算，對目標深度圖像進行去噪處理，減少目標深度圖像的邊緣噪音。

人體深度圖像前景圖經(jīng)平滑處理后，圖像邊界點的穩(wěn)定性依然不夠，這種不穩(wěn)定性會降低跌倒事件檢測的成功率。因此在圖像去噪處理的基礎(chǔ)上，進行人體外表皮膚重構(gòu)，利用NiTE中提供的Skeleton wrapped skin算法，設(shè)定面積S=m且不等形狀的三角覆蓋人體前景圖表面，形成類似人體外表皮膚的結(jié)構(gòu)（圖1），使由不穩(wěn)定的像素點云構(gòu)成的人體深度圖像外表面轉(zhuǎn)化為由穩(wěn)定的三角連接覆蓋而成的人體深度圖像外表皮膚。在重構(gòu)后的人體外表皮膚上再利用NiTE中提供的Closest point viewer算法追蹤人體前景圖前后、左右、上下邊界點，可以獲得穩(wěn)定的數(shù)據(jù)。

圖1　外表皮膚重構(gòu)

2.2無遮擋情況下的跌倒檢測

三維包圍盒是由與人體冠狀面、矢狀面和水平面平行的平面圍成的長方體包圍盒，它將環(huán)境中的人體深度圖像前景圖包圍其中，并根據(jù)人體深度圖像的變化，實時改變其自身的長寬高數(shù)值，始終保持將前景圖包圍其中。人體跌倒過程中，三維包圍盒的高度值逐漸變小，而寬度和長度向量和的模則逐漸變大，如圖2所示。同時，通過實驗可知三維包圍盒長、寬、高數(shù)值的變化速度在跌倒過程中存在峰值。

圖2　三維包圍盒

如圖3，在對人體前景圖外表面進行皮膚重構(gòu)的基礎(chǔ)上，利用OpenNI的Closest point viewer接口，獲取人體深度圖像前景圖前、后、上、下、左、右像素邊界點A、B、C、D、E、F，此像素邊界點即為上述外表皮膚重構(gòu)過程中面積S=m且不等形狀三角形的頂點，最后，以像素邊界點A、B、C、D、E、F為切點，建立包裹人體深度圖像前景圖前、后、上、下、左、右的6個矩形平面STQP、VU?RO、VUTS、ORQP、VSPO、UTQR，通過這6個平面構(gòu)建起三維包圍盒。檢測方法自動獲取三維包圍盒的長、寬、高數(shù)值i、j、k，以及長、寬、高數(shù)值i、j、k在單位幀內(nèi)的變化速度I、J、K，T為跌倒事件發(fā)生后人體保持靜止狀態(tài)的停留時間，設(shè)定為t（實驗中，t預(yù)設(shè)為10 s）。

圖3　三維包圍盒邊界點

根據(jù)老年人人體尺寸［15］以及跌倒實驗，設(shè)定臨界值p1、p2、p3、p4。當人體躺倒并處于側(cè)臥位時，人體的最大厚度為人體的最大肩寬，根據(jù)老年人人體尺寸［15］，取p1為男性第95百分位的最大肩寬，為409 mm；當人體躺倒并處于仰臥位或側(cè)臥位時，人體深度圖像長度和寬度方向的最大值為人體身體高度，取p2為女性第5百分位身高，為1 412 mm。p3和p4為快速跌倒事件和緩慢跌倒事件速度的峰值?？焖俚怪饕l(fā)生在人體突然失去意識（如昏倒等），并且身邊沒有任何支撐物（如椅子，拐杖等）的情況下，緩慢跌倒主要表現(xiàn)為從椅子上傾倒、腿部肌力不足時的跌倒等，往往伴有抓扶等動作。經(jīng)過實驗并參照文獻［9］，根據(jù)速度峰值，將p3定為1.35 m/s，將p4定為0.85 m/s。則：

判定條件3：Th3=(T≥t)，即日常運動過程中，人體深度圖像三維包圍盒的長、寬、高數(shù)值i、j、k保持數(shù)據(jù)不發(fā)生變化的時間T≥t時，Th3≠?，滿足判定條件3；

2.3遮擋情況下的跌倒檢測

人體在居家環(huán)境的日?；顒又?，意外跌倒事件可能會發(fā)生在帶有靠背的椅子后方、沙發(fā)后方、茶幾后方以及書桌后方等，這些易引起遮擋的遮擋物高度一般低于人體肩部。日常生活中，人體運動至與遮擋物接近，如圖4，當人體深度圖像邊界點與遮擋物深度圖像邊界點的最近距離L≤q（q為設(shè)定值，經(jīng)實驗取q=15 cm）時，遮擋融合算法啟動，兩深度圖像開始融合，直至人體深度圖像邊界點與遮擋物深度圖像邊界點的最近距離L>q時，遮擋融合算法關(guān)閉。

圖4　人體深度圖像前景圖與遮擋物深度圖像融合過程

在遮擋融合算法運行期間，人體深度圖像會與遮擋物深度圖像融為一體R，此時跌倒檢測方法建立深度圖像R的三維包圍盒，并獲取此三維包圍盒的長、寬、高數(shù)值i′、j′、k′，以及長、寬、高在單位幀內(nèi)的變化速度I′、J′、K′，設(shè)n為遮擋物深度圖像的高度數(shù)值，T′為k′=n的停留時間，設(shè)定為t′（實驗中，t′預(yù)設(shè)為10 s）：

判定條件4：Th4=(k′=n)，即日常運動過程中，當L≤q時，啟動遮擋融合算法，當融合后的深度圖像R三維包圍盒的k′=n時，Th4≠?，滿足判定條件4；

判定條件5：Th5=(K′>p3)，即日常運動過程中，當L≤q時，啟動遮擋融合算法，當融合后的深度圖像R三維包圍盒的變化速度K′>p3時，Th5≠?，滿足判定條件5；

判定條件6：Th6=(T′≥t′)，即日常運動過程中，當L≤q時，啟動遮擋融合算法，當融合后的深度圖像R三維包圍盒的高度值k′=n保持不變的時間T′≥t′時，Th6≠?，滿足判定條件6。

2.4語音確認

為了確保跌倒報警的準確，系統(tǒng)應(yīng)用語音輸出與識別技術(shù)，進行跌倒確認。語音輸出借助SpeechSDK5.1 Language Pack開發(fā)包，直接向外輸出中文語音提示?；谏疃葓D像的跌倒檢測語音識別采用ICRoute公司的LD3320語音識別芯片進行開發(fā)。結(jié)合STC10L08XE單片機的主控制模塊和語音識別模塊來對Kinect進行控制。當系統(tǒng)檢測到跌倒事件發(fā)生后，系統(tǒng)語音輸出“您是否跌倒？”，并以2 s/次進行持續(xù)播報，系統(tǒng)接收到使用者確定回答（如“YES”等）或在10 s內(nèi)未接收到任何回答，系統(tǒng)將向外發(fā)出報警。跌倒檢測系統(tǒng)的算法流程如圖5所示。

圖5　跌倒檢測算法流程圖

3　實驗

為了驗證跌倒檢測系統(tǒng)的有效性，在居家環(huán)境場景下進行測試實驗。實驗場景為某公寓中的一間書房，面積為12 m2左右，實際可活動面積為7 m2，書房中放置有椅子，書桌，書櫥等日常用品。將Kinect安裝于天花板角落處，距離地面的高度d=2.6 m，Kinect下俯視角為31°，以覆蓋整個居家檢測環(huán)境。26項實驗分別在空曠房間和有書櫥、書桌及沙發(fā)等家具的實際書房內(nèi)進行，每個實驗項目中，實驗者根據(jù)房間內(nèi)部條件各做20次跌倒實驗，實驗結(jié)果如圖6所示?？諘绶块g內(nèi)部的背景圖像較為簡單，在進行跌倒檢測實驗時，可以較好的分離出人體深度圖像前景圖，判別的成功率較高；而在實際的居家環(huán)境下進行實驗，書房內(nèi)有書桌、椅子、書櫥、沙發(fā)等物品，實驗重點考察在測試場景背景較為復(fù)雜的條件下，算法分割背景圖像的能力。此外，每項實驗分為有遮擋和無遮擋兩種情況。無遮擋情況是指系統(tǒng)檢測時，在人體與Kinect之間沒有椅子、沙發(fā)等低于人體身高障礙物的影響；有遮擋情況是指系統(tǒng)檢測時，在人體與Kinect之間放置椅子等低于人體身高的障礙物，以考察人體軀干被障礙物部分遮擋時，跌倒檢測算法的有效性。

圖6　跌倒實驗結(jié)果

實驗結(jié)果表明，在空曠房間內(nèi)：①有遮擋的情況下誤報率為4.0%，漏報率為2.0%；②無遮擋的情況下誤報率為2.0%，漏報率為0%。實際書房內(nèi)：①有遮擋的情況下誤報率為6.0%，漏報率為4.0%；②無遮擋的情況下誤報率為6.0%，漏報率為3.0%。在居家場景中環(huán)境相對復(fù)雜，使深度方向數(shù)據(jù)準確度降低，造成實際居住環(huán)境下的檢測誤報率與漏報率較空曠房間要高。漏報主要原因是由于人體被障礙物大面積遮擋或目標超出Kinect視角范圍，造成跌倒動作未被系統(tǒng)識別。系統(tǒng)檢測準確率依賴于閾值的設(shè)置，對一些符合本文跌倒判定條件的疑似跌倒動作，易造成誤判。

本文跌倒檢測方法可以滿足實時性要求，實現(xiàn)對人體24 h連續(xù)實時檢測。檢測準確率與文獻［9］采用Kinect骨架追蹤方法的成功率90%相比較高，且解決了人體部分遮擋情況下的檢測問題。在有障礙物遮擋情況下，檢測準確率雖比文獻［11］的98.7%的成功率稍低，但本文的實驗全部在真實居家環(huán)境中進行，文獻［11］缺乏對快速蹲下、快速坐下等疑似跌倒動作的實驗驗證。而其它相近檢測方法［13-14］未給出具體實驗驗證結(jié)果。

4　結(jié)論

本文提出了一種基于Kinect體感傳感器的人體跌倒自動檢測方法，利用深度圖像處理技術(shù)，判定跌倒事件的發(fā)生，有效降低了誤判率。利用遮擋融合算法解決了人體在被遮擋情況下的摔倒事件判別問題，降低了漏報率，Kinect深度圖像用黑白光譜的方式來檢測人體，可以有效保護使用者的隱私。

Kinect運行期間不受可見光影響，無需穿戴，適用性和舒適性好，可以實現(xiàn)對人體的24 h連續(xù)實時檢測，提高了檢測的效率，有效降低了老年人夜晚跌倒不易發(fā)現(xiàn)的危險性。考慮到老年群體中較為危險的跌倒事件大都發(fā)生在夜晚，這使得系統(tǒng)更為有效實用。

參考文獻：

［1］Noury N，F(xiàn)leury A，Rumeau P，et al. Fall Detection-principles and Methods［C］//29thAnnual International Conference of the IEEE on Engineering in Medicine and Biology Society，Lyon，F(xiàn)rance，2007：1663-1666.

［2］劉鵬，盧譚成，呂愿愿，等.基于MEMS三軸加速度傳感器的摔倒檢測［J］.傳感技術(shù)學報，2014，27（4）：570-574.

［3］Qiang L，John A，Mark A，et al. Accurate，F(xiàn)ast Fall Detection Us?ing Gyroscopes and Accelerometer- derived Posture Information ［C］//6th International Workshop on Wearable and Implantable Body Sensor Networks，Berkeley，CA，2009：138-143.

［4］羅堅，唐琎，毛芳，等.基于云計算的可穿戴式老齡人異常行為檢測系統(tǒng)研究［J］.傳感技術(shù)學報，2015，28（8）：1108-1114.

［5］Anderson D，Keller J，Skubic M，et al. Recognizing Falls from Sil?houettes［C］//Annual Int.Conf. of the Engineering in Medicine and Biology Society，New York，NY USA，2006：6388-6391.

［6］Cucchiara R，Prati A，Vezzani R. A Multi-camera Vision System for Fall Detection and Alarm Generation［J］. Expert Systems，2007，24（5）：334-345.

［7］Litvak D，Zigel Y，Gannot I. Fall Detection of Elderly Through Floor Vibrations and Sound［C］//30th Annual International Con?ference of the IEEE-Engineering in Medicine and Biology. Van?couver Canada，2008：4632-4635.

［8］Kawatsu C，Jiaxing L，Chung C J. Development of a Fall Detection System with Microsoft Kinect［J］. Robot Intelligence Technology and Applications，2012：623-630.

［9］Lee C K，Lee V Y. Fall Detection System Based on Kinect Sensor Using Novel Detection and Posture Recognition Algorithm［C］// 11th International Conference on Smart Homes and Health Tele?matics（ICOST 2013），Singapore，2013：238-244.

［10］Tran T T H，Le T L，Morel JM. An Analysis on Human Fall Detec?tion Using Skeleton from Microsoft Kinect［C］//IEEE 5th Interna?tional Conference on Communications and Electronics（ICCE），Danang，Vietnam，2014：484-489.

瞿暢（1967-），女，江蘇南通人，南通大學教授，碩士生導師，主要從事工程及計算機圖學、紡織、機械CAD、虛擬現(xiàn)實技術(shù)及應(yīng)用等方面的研究，xu.ch@ntu. edu.cn；

孫杰（1991-），男，江蘇南通人，碩士研究生，主要研究方向為機械CAD、虛擬現(xiàn)實技術(shù)及應(yīng)用，sunjie.jit.327@163.com。

Automatic Fall Detection For the elderly Using Kinect Sensor*

QU Chang*，SUN Jie，WANG Junze，ZHU Xiaolong
（School of Mechanical Engineering，Nantong University，Nantong Jiangsu 226019，China）

Abstract：Falls are one of the major risks for the elderly living alone at home.In order to get information of fall quickly and efficiently，an automatic fall detection method using depth image of human body based on Kinect sensor is put forward. Using depth image technology，the foreground depth image of human body is obtained to build the 3D bounding box of the foreground depth image. By computing the length，width and height value of the 3D bound?ing box and the change speed of these values，the accidental falls can be determined. Meanwhile，when the human body is blocked partly by obstructions，the fall detection and determination are solved by using the fusion algorithm of occluded objects. 26 kinds of test scenarios are arranged in indoor environment，the rate of false positives in the system is 2.0%～6.0%，and the rate of false negatives in the system is 0～4.0%. Expermental results indicate that the proposed method can realize human’s fall detection with much accuracy.

Key words：sensor application；fall detection；depth image；3D boundingbox；somatosensory sensor

doi：EEACC：7230G10.3969/j.issn.1004-1699.2016.03.013

收稿日期：2015-10-15修改日期：2015-12-15

中圖分類號：TP212.9

文獻標識碼：A

文章編號：1004-1699（2016）03-0378-06