孫穎，張吟龍，王鑫，曾子銘

1.中國醫(yī)科大學(xué)附屬第一醫(yī)院重癥醫(yī)學(xué)科，遼寧沈陽110001；2.中國科學(xué)院沈陽自動化研究所，遼寧沈陽110016；3.沈陽建筑大學(xué)信息與控制工程學(xué)院，遼寧沈陽110168；4.深圳職業(yè)技術(shù)學(xué)院汽車與交通學(xué)院，廣東深圳518055

前言

近年來國內(nèi)正面臨著人口老齡化的問題，預(yù)計到2026年，國內(nèi)至少35%的人群將會是老年人群［1］。隨著年齡的增長，老年人身體機能會出現(xiàn)不同程度的退化，意外跌倒不可避免。出于安全性考慮，需要在院內(nèi)重要地點及時監(jiān)控患者（尤其是老年患者）是否有意外跌倒的情況出現(xiàn)，特別是在急診、重癥監(jiān)護室的病床、走廊等場合，患者很大程度上失去了獨立自理能力，意外跌倒的患者如果未能及時發(fā)現(xiàn)，不僅會影響醫(yī)院的正常運轉(zhuǎn)，還會延誤患者救治時間［2］。而現(xiàn)有的醫(yī)護資源難以滿足大范圍意外跌倒檢測的需求，這不僅給醫(yī)護人員造成巨大的工作壓力，也給醫(yī)院患者造成了潛在的安全隱患［3］。

院內(nèi)現(xiàn)有的跌倒檢測方法按照輔助工具，可以分為兩類，一類是可接觸式跌倒檢測，一類是視頻監(jiān)控跌倒檢測?？山佑|式跌倒檢測采用集成有加速度計、陀螺儀和壓力傳感器的智能手機或智能拐杖來完成跌倒檢測的功能［4］，此類方法雖然攜帶方便，但檢測精度低、誤報率高［5］；相比而言，采用視頻監(jiān)控的方法成本低，而且能夠快速、準確地檢測出跌倒情況的出現(xiàn)。在協(xié)助醫(yī)護人員及時發(fā)現(xiàn)突發(fā)情況的同時，也可從某種程度上緩解醫(yī)護人員短缺和工作強度大的現(xiàn)狀，更適合于醫(yī)院內(nèi)監(jiān)控區(qū)域跌倒檢測的需求［6］?，F(xiàn)有的視頻監(jiān)控跌倒檢測方法多數(shù)采用深度學(xué)習(xí)策略，即利用深度神經(jīng)網(wǎng)絡(luò)模型，檢測并跟蹤圖像中出現(xiàn)的患者［7］，提取圖像中患者主要關(guān)節(jié)點的位置，建立人體骨架模型，最后根據(jù)圖像中患者邊框長寬比、患者軀干和腿部與地面夾角作為判別性特征，進而得到是否跌倒的檢測結(jié)果［8］。鑒于此，本文采用視頻監(jiān)控跌倒檢測的方法，以醫(yī)院待就診的患者，患有中風(fēng)、帕金森、狂躁癥等患者為研究對象［9-10］。在醫(yī)院的病房、走廊、休息活動區(qū)等重點區(qū)域布設(shè)視頻監(jiān)控設(shè)備，來監(jiān)控是否有患者出現(xiàn)意外跌倒情況，使病人的意外跌倒情況能及時被醫(yī)護人員發(fā)現(xiàn)，避免延誤病情［11］。

1 研究方法

1.1 患者關(guān)節(jié)點檢測與骨架提取模型

本方法以O(shè)penpose人體姿態(tài)估計方法［12］為基礎(chǔ)，對患者的關(guān)節(jié)點位置進行檢測及完成人體骨架信息的提取，其整體檢測流程如圖1所示。首先將原始圖像輸入到VGG卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中處理［13］，生成特征圖集，每幅圖像大小為h×w。然后，經(jīng)過分支1來預(yù)測關(guān)節(jié)點置信度，關(guān)節(jié)點的置信度公式如下所示：

同時經(jīng)過分支2 來計算各相鄰關(guān)節(jié)點間的親和度向量場，親和度向量場由積分公式描述如下:

式中，ξ1、ξ2代表相鄰關(guān)鍵點代表肢體的長 度如果點Q在肢體上，其中為單位向量，否則，kb(η(λ))=0。最后，通過1×1、3×3、3×1、7 × 7、7 × 1 大小的卷積核來提取種類豐富、形式多樣的關(guān)節(jié)特征，并將上一階段的輸出作為下一階段的輸入，經(jīng)過多階段層層迭代訓(xùn)練以完成人體骨架的正確連接。

圖1中最終輸出圖像得到人體的15個關(guān)節(jié)點，包括鼻子、脖子、左右肩膀、左右肘、左右手腕、重心、左右胯、左右膝蓋、左右腳踝，各關(guān)節(jié)點的編號如表1所示。

表1 各關(guān)節(jié)點編號及身體部位對應(yīng)表Table 1 Body parts and the corresponding joint point numbers

圖1 基于Openpose的人體骨架和關(guān)鍵點檢測模型Figure 1 Openpose-based model for detecting human skeleton and key points

1.2 意外跌倒判斷模型

根據(jù)上述模型提取到的人體關(guān)節(jié)點，本文設(shè)計了跌倒檢測的判別性特征，具體包括人體邊框的長寬比ratio、軀干與X軸夾角θ1、右腿與X軸夾角θ2、左腿與X軸夾角θ3，跌倒檢測的判別性特征示意圖如圖2 所示。圖2 中檢測到的人體邊框X軸方向和Y軸方向的長度分別為Δx和Δy，通過如下公式計算人體邊框長寬比例，其反映了患者身體形態(tài)的變化，故可作為跌倒的一個重要判別特征：

圖2 人體跌倒檢測判別性特征示意圖Figure 2 Schematic diagram of the discriminative features for human fall detection

同時，圖2 中定義左上角為坐標原點，則本算法涉及的各關(guān)節(jié)點坐標可分別表示為：脖子重心(xc,yc)、右胯(xrh,yrh)、左胯(xlh,ylh)、右膝蓋(xrk,yrk)、左膝蓋則圖2 中編號14 和編號1 連線代表的軀干與X軸方向的夾角θ1、編號9 和編號8 連線代表的右腿與X軸方向夾角θ2、編號12 和編號11 連線代表的左腿與X軸方向的夾角θ3可分別用以下公式計算得到：

式中，arctan(·)表示三角函數(shù)的反正切運算，‖·‖表示絕對值運算。因為患者在跌倒過程中身體軀干的傾斜角度θ1、θ2、θ3會由于物理屬性的限制發(fā)生規(guī)律性變化，故可作為跌倒的另一個判別特征。如果判別性特征{ratio,θ1,θ2,θ3}滿足如下條件，則可判定患者處于跌倒狀態(tài)。

式中，τ1、τ2為身體軀干傾角范圍的閾值，τr為人體標定框長寬比的閾值。

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)集

本工作采集了2019年和2020年在中國醫(yī)科大學(xué)附屬第一醫(yī)院監(jiān)護室內(nèi)病床及走廊附近布設(shè)的4個監(jiān)控攝像頭的監(jiān)控視頻數(shù)據(jù)，提取了患者出現(xiàn)跌倒的視頻片段（共113 組，每組時長2 min）作為跌倒樣本，意外跌倒的患者包括中風(fēng)患者（39 例）、帕金森患者（28 例）、躁狂癥患者（27 例）、術(shù)后麻醉中患者（19 例）。其中出現(xiàn)意外跌倒的患者年齡>70 歲為44例，60～70 歲為38 例，40～60 歲為27 例，30～40 歲為4例。此外，本文在監(jiān)控攝像頭數(shù)據(jù)中提取患者正常生活狀態(tài)的視頻片段（共87 組，每組時長2 min），其中包括直立行走狀態(tài)（21例），彎腰行走狀態(tài)（22例），下蹲狀態(tài)（22 例），坐立狀態(tài)（22 例），將200 組視頻片段作為自建數(shù)據(jù)集，并按照10：1 比例隨機分類為訓(xùn)練集和測試集。本文的研究對象均知情同意。

訓(xùn)練過程中發(fā)現(xiàn)，隨著傾角閾值τ1、τ2的不斷變化，所得結(jié)果的準確率也不斷變化，如表2 所示。當(dāng)τ1= 74°、τ2= 106°時，算法準確率達到了99%；當(dāng)τ1= 72°、τ2= 108°時，算法準確率下降到96%，此后隨著角度減小，準確率逐漸降低。因此，本文選取傾角閾值為τ1= 74°、τ2= 106°。同時，從表3 中可以看出閾值由0.8 提高到1.4 的過程中，準確率最高為96%，出現(xiàn)在長寬比例閾值為1.2處，故選取人體標定框長寬比例閾值τr= 1.2。

表2 軀干傾角閾值選定Table 2 Selected trunk inclination thresholds

表3 人體標定框長寬比閾值選定Table 3 Selected threshold values for length-width ratio of human calibration frame

2.2 基于自建數(shù)據(jù)集的同類工作對比實驗分析

由于跌倒問題為二元分類問題，最終結(jié)果為跌倒或非跌倒，故本文引入如下4個通用評價指標來更好地評估實驗結(jié)果，同時便于與其他方法的實驗結(jié)果作對比。評價指標分別是靈敏度、特異度、準確度、錯誤率［14］。為了準確評估本算法的優(yōu)勢，本文選取2種基于卷積神經(jīng)網(wǎng)絡(luò)的同類工作進行對比實驗。各方法在本文數(shù)據(jù)集上的實驗結(jié)果如表4 所示。從表4 中可以看出本文方法的準確率為96%，分別超過文獻［15］和文獻［16］文7%、6%，這是因為文獻［15］僅以人體部分關(guān)節(jié)點的高度變化作為判別特征，無法對下蹲、彎腰等動作做出有效判別導(dǎo)致精度較低。文獻［16］以肩部中心、臀部中心、兩腳踝中心的連線與地面的夾角作為判別特征，但該方法無法有效識別醫(yī)院患者做的一些非跌倒康復(fù)動作，易出現(xiàn)誤判。本方法充分考慮了患者在跌倒時身體所具有的物理屬性，同時將判別特征由原來的單一維度信息（位置），提升到身體軀干所帶有的二維信息（位置、方向），使判別特征具有更好的泛化性，提高方法的準確度。在靈敏度和特異度指標方面，本方法的實驗結(jié)果分別為97.5%和95.0%，表明本文方法具有準確識別跌倒和未跌倒事件的能力，同時錯誤率僅為4%，足以達到醫(yī)院對意外跌倒檢測的要求。

表4 本文方法與其他方法性能比較（%）Table 4 Performance comparison between the proposed method and other methods(%)

2.3 跌倒檢測效果與分析

意外跌倒會對患者身心健康產(chǎn)生傷害，如跌倒后不能被及時發(fā)現(xiàn)，會造成更多二次傷害，甚至危及生命［17-19］。如重癥室內(nèi)的患者，需全天24 h監(jiān)測其行為信息。若稍有疏忽可能會使患者遭受更嚴重的傷害，這對于醫(yī)護人員來說也是一種考驗［20-21］。本方法能通過提取多個判別特征來準確地分析患者是否發(fā)生跌倒，并發(fā)出警報，且算法在處理監(jiān)控視頻數(shù)據(jù)時的運行速度達到25幀/s，滿足醫(yī)院對意外跌倒檢測的實時性、準確性的要求，能有效緩解醫(yī)護人員的工作負擔(dān)。此外，本文方法應(yīng)用場景多樣具有很強的泛化性，圖3為布置在醫(yī)院不同位置的監(jiān)控攝像頭實時畫面。

圖3a 場景為患者中風(fēng)發(fā)作，昏倒在醫(yī)院走廊，可以看出畫面中顯示出患者跌倒字樣，此時患者軀干的傾斜角度分別為θ1= 28°、θ2= 30°、θ3= 32°，并在畫面右上角標出，由判別特征可知滿足跌倒狀態(tài)，算法做出正確判斷結(jié)果并發(fā)出警報。圖3b場景為在醫(yī)院病房中一名帕金森綜合征患者不慎跌落病床，本文視覺監(jiān)控跌倒檢測系統(tǒng)及時、準確地發(fā)現(xiàn)患者跌倒異常行為并發(fā)出警報，醫(yī)護人員立即到達現(xiàn)場進行緊急救援，為防止發(fā)生生命危險贏得了寶貴時間［22-23］。圖3c場景為患者處于術(shù)后麻醉狀態(tài)，因意識沒有完全恢復(fù)，導(dǎo)致在走動過程中跌倒，出現(xiàn)暈厥現(xiàn)象。本系統(tǒng)通過將θ1= 8°、θ2= 10°、θ3= 3°與傾角閾值對比，最終判斷此人處于跌倒狀態(tài)，并立即發(fā)出警報，有效減輕了醫(yī)護人員對術(shù)后患者的行為監(jiān)測工作壓力。圖3d場景為狂躁癥患者病發(fā)失控導(dǎo)致跌倒發(fā)生，從圖中可以看出患者處于倒立狀態(tài)，頭部在下，腿部軀干在上，且場景中包含很多雜物，這無疑會影響檢測結(jié)果的準確性。但本算法依然能計算出此時患者的軀干傾角分別為θ1=56°、θ2=19°、θ3=69°，并標注在畫面右上角，此時系統(tǒng)判斷患者處于跌倒狀態(tài)，隨即發(fā)出警報。該實例表明本算法可在復(fù)雜場景中準確識別患者的跌倒動作。

圖3 不同病患跌倒及救助示例Figure 3 Examples of patient falls and rescues

3 結(jié)論

本文提出一種面向醫(yī)療護理的視覺監(jiān)控醫(yī)院患者跌倒檢測方法，該方法能夠檢測患者的15 個關(guān)節(jié)點和對應(yīng)的骨架，并通過提取的人體邊框長寬比、軀干與地面夾角、腿部與地面夾角作為判別性特征，來實時檢測患者是否出現(xiàn)跌倒情況并發(fā)出警報。本方法在自建數(shù)據(jù)集上的檢測準確率達到96%，且其他方面性能均優(yōu)于傳統(tǒng)方法，驗證本方法的準確性和有效性。對典型的跌倒實例進行實驗結(jié)果分析可知，本方法在復(fù)雜多樣的醫(yī)院環(huán)境下仍具有較好的魯棒性、準確性，對不同類型患者的跌倒情況均能做出準確的判別，不僅能緩解醫(yī)護人員工作壓力，同時能有效實時地對患者的健康與安全狀況進行監(jiān)測，對患者生命安全保障具有重要意義。

為更好地輔助醫(yī)生進行醫(yī)療護理工作，未來研究將從以下幾方面進行：（1）患者身體軀干被遮擋的情況下實現(xiàn)跌倒檢測；（2）改進算法以實現(xiàn)對醫(yī)院患者抽搐、休克等其他異常行為的檢測；（3）對患者的行為信息進行記錄與評估，通過多數(shù)據(jù)比對確定患者術(shù)后康復(fù)程度。