Research progress of fall detection tools for the elderly based on deep learning

ZHANG Jiahui， XIONG Meiling， LI Jiajia， RONG Yule， ZOU Yutong， ZHONG Qin^*

School of Nursing， Jiangxi University of Chinese Medicine， Jiangxi 330004 China

*Corresponding Author "ZHONG Qin，"E?mail： zhongqin1994@126.com

Keywords""deep learning；"neural network；"the elderly；"falling；"review

摘要""闡述了基于深度學(xué)習(xí)的跌倒檢測工具，并將其分為基于循環(huán)神經(jīng)網(wǎng)絡(luò)、基于遞歸神經(jīng)網(wǎng)絡(luò)、基于生成對抗網(wǎng)絡(luò)以及基于卷積神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò)4類，同時(shí)對基于深度學(xué)習(xí)的跌倒檢測工具的發(fā)展進(jìn)行總結(jié)，以期為人工智能在老年護(hù)理中的應(yīng)用提供參考。

關(guān)鍵詞""深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；老年人；跌倒；綜述

doi：10.12102/j.issn.1009-6493.2024.20.011

人口老齡化是全球重要的醫(yī)療和社會人口問題。我國“十四五”時(shí)期，60歲及以上老年人口總量將突破3億人，占總?cè)丝诒戎爻^20%，人口老齡化進(jìn)入中度階段。到2035年前后，我國老年人口總量將占30%以上，增加到4.2億人左右，人口老齡化進(jìn)入重度階段^[1]。人口老齡化加劇了跌倒問題，中國疾病監(jiān)測系統(tǒng)數(shù)據(jù)顯示，跌倒已成為我國65歲以上老年人因傷致死首要原因^[2]，我國每年有4 000多萬老年人至少發(fā)生1次跌倒^[3]。目前，對于老年人跌倒干預(yù)研究主要集中在跌倒預(yù)防和跌倒檢測兩個方面。雖然采取跌倒預(yù)防能夠降低老年人跌倒發(fā)生率，但不能完全避免跌倒發(fā)生，也不能在老年人跌倒發(fā)生后提供及時(shí)救助。因此，跌倒檢測至關(guān)重要。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域一個重要分支，其核心思想是構(gòu)建多層次神經(jīng)網(wǎng)絡(luò)從而實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)的學(xué)習(xí)和分析。通過傳感器收集數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)可以有效識別跌倒，進(jìn)行報(bào)警，為跌倒老年人提供緊急救助，降低跌倒危害程度^[4]。本研究主要在對深度學(xué)習(xí)應(yīng)用于跌倒檢測的相關(guān)研究進(jìn)行綜述，以期為基于深度學(xué)習(xí)的跌倒檢測工具在我國老年人中的應(yīng)用和推廣提供參考。

1 "深度學(xué)習(xí)及跌倒檢測預(yù)防系統(tǒng)概述

1.1 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域重要研究方向，通過自動學(xué)習(xí)輸入數(shù)據(jù)特征做出準(zhǔn)確預(yù)測。深度學(xué)習(xí)模型基本結(jié)構(gòu)中存在著一個輸入層、一個輸出層以及零到數(shù)百個隱藏層^[5]，每個層次之間又包含著數(shù)量不等的節(jié)點(diǎn)，這些節(jié)點(diǎn)之間通過連接來傳遞信號。深度學(xué)習(xí)訓(xùn)練過程主要是通過反向傳播算法，即從輸出層向輸入層反向傳播誤差信號，并通過優(yōu)化算法來更新網(wǎng)絡(luò)參數(shù)，以最小化損失函數(shù)。目前，深度學(xué)習(xí)技術(shù)已用于跌倒檢測，有些系統(tǒng)是使用單一深度學(xué)習(xí)方法，有些系統(tǒng)是結(jié)合不同網(wǎng)絡(luò)模型開發(fā)，以正確實(shí)時(shí)實(shí)現(xiàn)跌倒檢測。通過總結(jié)發(fā)現(xiàn)在跌倒檢測領(lǐng)域運(yùn)用較廣的有循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、遞歸神經(jīng)網(wǎng)絡(luò)（CNN）、生成對抗網(wǎng)絡(luò)（GAN）、卷積神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò)（CNN?LSTM）。

1.2 跌倒檢測系統(tǒng)概述

近年來，開發(fā)跌倒檢測系統(tǒng)一直是研究的熱門課題。根據(jù)傳感器不同，目前常見跌倒檢測系統(tǒng)可以分為基于環(huán)境傳感器系統(tǒng)、基于視頻傳感器系統(tǒng)、基于可穿戴系統(tǒng)3類^[6]，其中基于環(huán)境傳感器系統(tǒng)主要通過放置在周圍環(huán)境中各種傳感器來收集步態(tài)信息，目前運(yùn)用于該系統(tǒng)的技術(shù)有壓力傳感器、麥克風(fēng)、紅外傳感器、雷達(dá)、毫米波雷達(dá)^[7]；視頻傳感系統(tǒng)?；谝曈X傳感器，如攝像機(jī)、深度攝像機(jī)或熱成像攝像機(jī)連續(xù)捕獲圖像信息^[8]；可穿戴系統(tǒng)由連接到人體的傳感器組成，通過將該傳感器組合佩戴在人體，捕捉跌倒多個關(guān)鍵階段人體姿態(tài)變化，提供輸入數(shù)據(jù)^[9]。

2 "基于不同神經(jīng)網(wǎng)絡(luò)的跌倒檢測系統(tǒng)

2.1 基于RNN的跌倒檢測系統(tǒng)

與基礎(chǔ)神經(jīng)網(wǎng)絡(luò)不同，RNN不僅在層與層之間建立連接，在隱藏層節(jié)點(diǎn)之間也建立了連接，這些連接結(jié)構(gòu)使RNN在記憶之前時(shí)刻信息的同時(shí)把信息傳遞到下一時(shí)刻^[10]。目前，RNN常用于處理序列數(shù)據(jù)。

2.1.1 基于長短時(shí)記憶網(wǎng)絡(luò)（LSTM）的跌倒檢測系統(tǒng)

LSTM是一種特殊RNN，由遺忘門、輸入門和輸出門3部分組成。其中遺忘門由Sigmoid激活函數(shù)控制，決定需要遺忘信息比例；輸入門用來更新單元狀態(tài)；輸出門則用于確定當(dāng)前狀態(tài)下輸出比率^[11]。Sadreazami等^[12]提出建立基于堆疊式LSTM?RNN的新框架，使用UWB收發(fā)器在5名受試者身上采集數(shù)據(jù)（共收集206個樣本，包括121次跌倒和85次站起），數(shù)據(jù)經(jīng)過預(yù)處理后輸入神經(jīng)網(wǎng)絡(luò)，結(jié)果顯示，該模型準(zhǔn)確率為89.8%。Andreeva等^[13]提出一種協(xié)同LSTM，通過引入Synergy塊并將其合并到LSTM模型中，以達(dá)到多源數(shù)據(jù)學(xué)習(xí)目的，納入70歲以上老年人數(shù)據(jù)，包括健康訪談數(shù)據(jù)和18個月隨訪期間每次跌倒的情況和后果的跌倒2種數(shù)據(jù)類型，將訓(xùn)練后的模型運(yùn)用于一項(xiàng)跌倒分類和跌倒危險(xiǎn)因素識別任務(wù)中，結(jié)果表明，Synergy LSTM具有學(xué)習(xí)互補(bǔ)性識別跌倒危險(xiǎn)因素的能力。

國內(nèi)熊昕等^[14]提出基于LSTM及變體跌倒檢測及行為識別算法，將訓(xùn)練好的網(wǎng)絡(luò)參數(shù)移植到可穿戴式跌倒檢測設(shè)備，實(shí)現(xiàn)對跌倒和其他行為檢測，將異常行為結(jié)果、生理信息傳輸至監(jiān)護(hù)人手機(jī)微信小程序，從受試者身上采集數(shù)據(jù)（包括跌倒、類跌倒、躺下、下蹲等多類行為）進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)該算法精確度接近"90%。段美玲等^[15]提出基于雙向LSTM可穿戴跌倒檢測算法，使用SisFall（包括15名老年人和23名青年的運(yùn)動數(shù)據(jù)）作為實(shí)驗(yàn)數(shù)據(jù)集，采用加速度計(jì)和滑動窗口機(jī)制提取加速度數(shù)據(jù)，得到4 500組數(shù)據(jù)（包括2 702例非跌倒數(shù)據(jù)和1 798例跌倒數(shù)據(jù)），隨機(jī)將70%數(shù)據(jù)作為訓(xùn)練集，20%數(shù)據(jù)作為驗(yàn)證集，10%數(shù)據(jù)作為測試集，結(jié)果顯示該模型跌倒識別率為99.44%，非跌倒行為識別率為99.26%，準(zhǔn)確率為99.33%，檢測時(shí)間0.12 s。與傳統(tǒng)RNN相同，LSTM擅長處理序列數(shù)據(jù)，同時(shí)由于其特殊結(jié)構(gòu)，在處理長序列數(shù)據(jù)過程中，避免了梯度爆炸和梯度消失。但在實(shí)際使用過程中仍然存在計(jì)算成本高、預(yù)測精度不夠的問題^[16]。

2.1.2 基于門限遞歸單元（GRU）的跌倒檢測系統(tǒng)

2014年，有研究將LSTM中輸入門和遺忘門合并為更新門，提出GRU，改進(jìn)后的GRU由重置門和更新門兩部分組成^[10]。Wu等^[17]將GRU用于跌倒檢測模型，使用MobiAct（包括57名受試者進(jìn)行活動和日常生活能力數(shù)據(jù)）和Smartwatch（包括7名受試者進(jìn)行日常生活能力和跌倒數(shù)據(jù)）對模型進(jìn)行訓(xùn)練和性能評估，結(jié)果顯示，模型準(zhǔn)確率分別為99.95%、90.69%，均優(yōu)于其他模型。與LSTM相比，GRU結(jié)構(gòu)更簡單、速度更快；同時(shí)，GRU本質(zhì)上是帶有遺忘門的LSTM變體，仍具有良好記憶功能，但單個GRU功能不如LSTM強(qiáng)大。

2.2 基于CNN的跌倒檢測系統(tǒng)

CNN是用于處理圖片和視頻數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。卷積網(wǎng)絡(luò)主要包括輸入層、卷積層、池化層、全連接層以及輸出層。以圖片信息為例，輸入層將圖像轉(zhuǎn)化為對應(yīng)像素二維矩陣并存儲；卷積層通過計(jì)算卷積核與二維矩陣乘積值得到一個新二維矩陣（也就是常說的特征圖）提取圖片底層特征；池化層提取代表性特征；全連接層匯總先前卷積層和池化層圖片信息；最后，輸出層在函數(shù)的控制下輸出結(jié)果^[18]。

2.2.1 基于AlexNet的跌倒檢測系統(tǒng)

AlexNet是一個經(jīng)典深度卷積神經(jīng)網(wǎng)絡(luò)模型，由Krizhevsky等^[19]提出，在2012年ImageNet挑戰(zhàn)中展現(xiàn)巨大優(yōu)勢，在圖像分類任務(wù)上性能優(yōu)秀，具有8個學(xué)習(xí)層，包括5個卷積層和3個全連接層，65萬個神經(jīng)元以及6 000萬個可訓(xùn)練參數(shù)。Anishchenko^[20]提出深度學(xué)習(xí)和學(xué)習(xí)遷移技術(shù)跌倒檢測系統(tǒng)，AlexNet結(jié)構(gòu)被調(diào)整為解決跌倒檢測問題作為分類器起點(diǎn)，該方法在由30條記錄組成的數(shù)據(jù)集（包括4名受試者在不同環(huán)境進(jìn)行不同活動）上進(jìn)行測試，每條記錄包含一個跌倒事件，對已知和未知的跌倒、非跌倒Cohen's Kappa達(dá)到0.93和0.60。Alarifi等^[21]建立基于AlexNet跌倒檢測系統(tǒng)，將可穿戴傳感器設(shè)備放置在14名不同年齡、身高、體重、性別的受試者身體6個部位，在2 520次試驗(yàn)中收集16項(xiàng)日常生活活動和20次跌倒數(shù)據(jù)，通過多線性主成分分析導(dǎo)出特征，應(yīng)用AlexNet進(jìn)行跌倒檢測，識別準(zhǔn)確率達(dá)到99.45%。AlexNet采用dropout技術(shù)和數(shù)據(jù)增強(qiáng)來增加訓(xùn)練集，有利于防止過擬合；采用ReLU作為激活函數(shù)，加快模型收斂速度。AlexNet的缺點(diǎn)主要為訓(xùn)練參數(shù)較多、計(jì)算量龐大。

2.2.2 基于YOLO（You Only Look Once）的跌倒檢測系統(tǒng)

YOLO是當(dāng)前流行的實(shí)時(shí)目標(biāo)檢測算法。目前，YOLO已經(jīng)推出YOLOv1、YOLOv2、YOLOv3、YOLOv4、YOLOv5等一系列網(wǎng)絡(luò)^[22]。在跌倒檢測運(yùn)用較多的是YOLOv5，目前僅有代碼，尚未檢索到相關(guān)論文，但結(jié)構(gòu)與YOLOv4相似，均由輸入端、Backbone、Neck、Prediction組成^[23]。

在提升算法精確度方面，武歷展等^[24]提出YOLOv5s?FPD，首先，擴(kuò)充Le2i（包括132個跌倒視頻和59個非跌倒視頻）用于訓(xùn)練模型，特征提取使用MobileNetV3，利用加權(quán)雙向特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)（BiFPN）提高融合速度和效率，使用卷積塊注意力機(jī)制模塊（CBAM）提升模型準(zhǔn)確性，引入Focal Loss用于改善正負(fù)樣本失衡，采用Le2i訓(xùn)練測試驗(yàn)證模型，使用"UR數(shù)據(jù)集（包括30個跌倒視頻和40個日?；顒右曨l）和Multiple數(shù)據(jù)集（包括24個視頻片段、14個跌倒、10個非跌倒）部分?jǐn)?shù)據(jù)作為評估數(shù)據(jù)，結(jié)果顯示，YOLOv5s?FPD比原模型精確度提高2.91%。張振亞等^[25]改進(jìn)YOLOv5模型，通過更換YOLOv5的邊界框損失函數(shù)，引入CBAM，在特征融合層引入BiFPN，最終，改進(jìn)后YOLOv5模型在公開跌倒數(shù)據(jù)集Le2i進(jìn)行訓(xùn)練和評估，檢測精度達(dá)到98.8%，同時(shí)該模型還在實(shí)際老年人跌倒場景進(jìn)行對比實(shí)驗(yàn)，表現(xiàn)的性能均優(yōu)于其他模型。

在滿足實(shí)時(shí)性要求方面，周彤彤等^[26]提出改進(jìn)YOLOv5s跌倒檢測算法，通過改進(jìn)基本殘差塊，添加混合域注意力機(jī)制到主干網(wǎng)絡(luò)，引入雙向特征金字塔結(jié)構(gòu)的方法提升跌倒行為檢測實(shí)時(shí)性以及模型特征提取能力，在對MuHAVi人體行為數(shù)據(jù)集、熱舒夫大學(xué)跌倒檢測數(shù)據(jù)集、CrowdPose數(shù)據(jù)集3個數(shù)據(jù)集進(jìn)行手動篩選跌倒圖片后進(jìn)行實(shí)驗(yàn)，結(jié)果表明，新算法檢測準(zhǔn)確率由94.1%提升到97.0%，精度值由91.2%提升到95.4%，檢測速度最快可達(dá)0.028 s，每秒檢測圖片幀數(shù)可達(dá)36.3。Wang等^[27]提出基于改進(jìn)的YOLOv5s算法的跌倒檢測系統(tǒng)，使用K?means++算法來優(yōu)化預(yù)定義錨點(diǎn)比例，加入輕量級ShuffleNetV2網(wǎng)絡(luò)以取代原本主干網(wǎng)絡(luò)，在骨干末端嵌入SE注意力模塊，引入SIOU損失函數(shù)，在一系列經(jīng)過預(yù)處理的老年人跌倒圖片（包含9 834張圖像，其中7 984張圖像用于訓(xùn)練，1 850張圖像用于測試）上訓(xùn)練評估模型，結(jié)果顯示查準(zhǔn)率達(dá)到96.5%，精度和檢測速度均得到提升。

YOLOv5具有合適移動端部署、模型小、速度快的特點(diǎn)，多次在跌倒檢測中使用。但在使用過程也需要克服依賴大量數(shù)據(jù)、物品尺寸限制以及訓(xùn)練難度大的缺點(diǎn)。

2.2.3 基于ResNet的跌倒檢測系統(tǒng)

ResNet是一種深度卷積神經(jīng)網(wǎng)絡(luò)模型，主要特點(diǎn)是引入殘差連接^[28]，通過跨層連接解決深度網(wǎng)絡(luò)梯度消失和梯度爆炸問題。王新文等^[29]提出基于雙重殘差網(wǎng)絡(luò)跌倒檢測方法，以3D?Resnet模型為基準(zhǔn)通過改變內(nèi)部結(jié)構(gòu)連接方式構(gòu)建D3D模型以緩解模型梯度消失及過擬合問題，在MCFD數(shù)據(jù)集（包括24個包含跌倒等動作的場景視頻）和URFD數(shù)據(jù)上進(jìn)行跌倒識別實(shí)驗(yàn)，得到平均特異性、敏感性、準(zhǔn)確性分別為0.968，0.983，0.974，明顯高于3D?Resnet?18神經(jīng)網(wǎng)絡(luò)。Saeed等^[30]提出基于ResNet的跌倒檢測和日?；顒臃诸愊到y(tǒng)，采用來自雷達(dá)系統(tǒng)的數(shù)據(jù)作為主要數(shù)據(jù)（包括99名21～99歲受試者在5個空間進(jìn)行跌倒、坐著、站立、行走、飲水和彎曲6個動作），使用ResNet對不同人類活動進(jìn)行分類，如果僅使用空間1的數(shù)據(jù)模擬，ResNet檢測跌倒準(zhǔn)確率為100%，總體準(zhǔn)確率為96%；如果合并各種空間數(shù)據(jù)測試ResNet分類器性能，結(jié)果顯示檢測跌倒準(zhǔn)確率為100%，總體準(zhǔn)確率為85%。

ResNet的最大特點(diǎn)是設(shè)計(jì)一條直接將深層轉(zhuǎn)化為前層的shortcut（捷徑）^[31]，這使得ResNet能夠很快地訓(xùn)練更深度的網(wǎng)絡(luò)且不會出現(xiàn)過擬合現(xiàn)象。而ResNet缺點(diǎn)就在于網(wǎng)絡(luò)有效深度不夠，精度無法保證^[32]。

2.2.4 基于VGG?16的跌倒檢測系統(tǒng)

VGG?16是一種經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型，由13個卷積層、5個池化層、3個全連接層和1個softmax層組合而成^[33]。Leite等^[34]提出并評估采用多流方法檢測跌倒事件，光流、顯著性map和RGB數(shù)據(jù)被輸入VGG?16，由SVM對是否跌倒進(jìn)行分類，VGG?16在大型數(shù)據(jù)集ImageNet數(shù)據(jù)集（包括1 000個類別，超過140萬張圖像）上進(jìn)行訓(xùn)練，接著在UCF101數(shù)據(jù)集（包括13 320個從YouTube收集的運(yùn)動視頻）進(jìn)行微調(diào)，采用URFD和FDD（包括191個視頻，其中91個是跌倒視頻）2個數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，準(zhǔn)確率分別為98.84%和99.51%。Wang等^[35]構(gòu)建基于卷積神經(jīng)網(wǎng)絡(luò)意外跌倒檢測系統(tǒng)，運(yùn)用遷移學(xué)習(xí)訓(xùn)練VGG?16，在ImageNet數(shù)據(jù)集中訓(xùn)練原始的VGG?16網(wǎng)絡(luò)，然后在UCF101數(shù)據(jù)集和URFD數(shù)據(jù)集對初步訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行微調(diào)，采用URFD數(shù)據(jù)集和一個新采集數(shù)據(jù)集（包括24個視頻、8 264個畫面）對模型進(jìn)行評估，結(jié)果顯示精確率分別為99.64%、95.52%，召回率分別為94.86%、93.42%。羅海峰等^[36]搭建基于VGG?16跌倒識別系統(tǒng)，使用紅外攝像機(jī)拍攝熱傳感圖像，共收集2 384張人體姿態(tài)圖像（包括訓(xùn)練數(shù)據(jù)集1 590張、驗(yàn)證數(shù)據(jù)集395張、測試數(shù)據(jù)集399張），對數(shù)據(jù)集進(jìn)行預(yù)處理以增加數(shù)據(jù)，最終訓(xùn)練數(shù)據(jù)集模型準(zhǔn)確率為92%，測試數(shù)據(jù)集為90%。VGG?16最大優(yōu)點(diǎn)是結(jié)構(gòu)簡潔，但VGG?16需要內(nèi)存容量大，不易運(yùn)用于移動端。

2.3 基于GAN的跌倒預(yù)防和檢測系統(tǒng)

GAN是由生成器（G）和判別器（D）組成的框架，主要通過G與D相互博弈，使G學(xué)習(xí)數(shù)據(jù)特征，從而達(dá)到目標(biāo)檢測和數(shù)據(jù)生成目的^[37]。Galv?o等^[38]提出僅使用日常生活活動數(shù)據(jù)訓(xùn)練的OneFall?GAN，使用RGB相機(jī)捕獲訓(xùn)練數(shù)據(jù)，由Mask R?CNN對數(shù)據(jù)預(yù)處理后輸入。采用人體動作識別數(shù)據(jù)集（PRECIS HAR）和UP?Fall（由17名受試者進(jìn)行11個包括跌倒在內(nèi)的動作，每個動作3次）兩個數(shù)據(jù)集的模型進(jìn)行評估，結(jié)果顯示，提出的框架在PRECIS HAR上準(zhǔn)確率為99.02%，查準(zhǔn)率為0.97，召回率為1.00，在UP?Fall上準(zhǔn)確率為98.75%，查準(zhǔn)率為0.87，召回率為0.99。Hsu等^[39]提出利用GAN結(jié)構(gòu)檢測老年人跌倒，紅外深度圖像和熱圖像作為輸入源，采用無監(jiān)督學(xué)習(xí)方法進(jìn)行跌倒檢測，通過調(diào)整損失函數(shù)和編碼器去除圖像噪聲，在熱跌倒數(shù)據(jù)集（共44個視頻，包括35個跌倒視頻）和URFD數(shù)據(jù)集上對模型進(jìn)行評估，受試者工作特征曲線下面積分別為0.975，0.953。GAN優(yōu)勢在于避免無監(jiān)督學(xué)習(xí)推斷和歸一化等問題，從而無需標(biāo)注大量數(shù)據(jù)來近似似然，同時(shí)還可以生成數(shù)據(jù)，可用于構(gòu)建生成式模型。然而，GAN也存在可解釋性差、訓(xùn)練不穩(wěn)定、訓(xùn)練難度大等問題。

2.4 基于CNN?LSTM的跌倒檢測系統(tǒng)

CNN適合于處理圖像信息，而人類活動由復(fù)雜運(yùn)動序列構(gòu)成，捕捉這種時(shí)間動力學(xué)是活動識別的基礎(chǔ)。RNN尤其是LSTM擅長處理序列數(shù)據(jù)，兩者共同使用就能將監(jiān)控視頻中跌倒行為的空間和時(shí)序特征有效結(jié)合起來，更好地改善跌倒檢測工具性能。Lu等^[40]提出視覺注意力引導(dǎo)三維CNN模型，通過LSTM將注意力機(jī)制引入三維DNN中進(jìn)行視頻分析，采用沒有跌倒示例的Sports?1M數(shù)據(jù)集訓(xùn)練，再將3D CNN模型與LSTM結(jié)合從跌倒的視頻中提取特征，訓(xùn)練分類器，最終獲得分類準(zhǔn)確率為100%，這是基于多臺相機(jī)跌倒數(shù)據(jù)集跌倒檢測系統(tǒng)有報(bào)告以來最佳結(jié)果。Wu等^[41]提出基于三軸加速度和三軸旋轉(zhuǎn)角速度傳感器CNN?Casual LSTM網(wǎng)絡(luò)跌倒檢測算法，使用SisFall數(shù)據(jù)訓(xùn)練評估算法，將實(shí)驗(yàn)數(shù)據(jù)集分為80%訓(xùn)練集和20%測試集，結(jié)果表明該算法具有99.79%的精度。厙向陽等^[42]將CNN和LSTM結(jié)合進(jìn)行人體跌倒行為識別，采用中國自動化研究所提供的CASIA數(shù)據(jù)集以每5幀為一組輸入到網(wǎng)絡(luò)，利用CNN提取特征，然后將CNN的輸出調(diào)整規(guī)模依次輸入到LSTM獲取時(shí)序特征，計(jì)算各個時(shí)刻LSTM輸出平均值，利用softmax分類器進(jìn)行識別"，系統(tǒng)識別率達(dá)到94.4%。

3 "思考與展望

3.1 著力數(shù)據(jù)收集共享

跌倒檢測算法均需要大量的日?；顒訑?shù)據(jù)（尤其是跌倒數(shù)據(jù)）用于算法的訓(xùn)練和驗(yàn)證，然而目前國內(nèi)并沒有相應(yīng)的公共跌倒數(shù)據(jù)集，國內(nèi)研究者想要獲取充足的跌倒相關(guān)數(shù)據(jù)只能選擇親自采集數(shù)據(jù)或者采用國外公開的跌倒數(shù)據(jù)集，前者會導(dǎo)致高昂的數(shù)據(jù)成本，后者則需考慮所訓(xùn)練算法研發(fā)自主性及適用性，這非常不利于國內(nèi)基于深度學(xué)習(xí)的跌倒檢測工具的開發(fā)。一方面，國產(chǎn)數(shù)據(jù)庫正處于一個快速發(fā)展階段，數(shù)據(jù)庫中數(shù)據(jù)集的類型還有待補(bǔ)充；另一方面，缺乏相應(yīng)制度，多數(shù)研究機(jī)構(gòu)之間存在數(shù)據(jù)壁壘，信息無法共享。因此，推動建立數(shù)量龐大、跨域關(guān)聯(lián)的數(shù)據(jù)庫，打破數(shù)據(jù)壁壘，建立開放關(guān)聯(lián)的跌倒數(shù)據(jù)庫變得至關(guān)重要。

3.2 加強(qiáng)隱私信息安全保護(hù)

在對老年人進(jìn)行實(shí)時(shí)跌倒檢測的過程中，大量的個人運(yùn)動和健康信息被輸入系統(tǒng)，其中包括大量的隱私信息，正確保護(hù)使用者隱私、保障用戶的信息安全是人工智能跌倒檢測領(lǐng)域重要研究方向。為了解決這一問題，研究者在設(shè)計(jì)跌倒檢測系統(tǒng)時(shí)可選擇對隱私侵犯較小的傳感器，如熱成像技術(shù)。同時(shí)，可以通過使用身份驗(yàn)證算法等安全信息通道增強(qiáng)技術(shù)來保護(hù)用戶的信息安全^[43]。從法律層面來說，構(gòu)建保護(hù)個人數(shù)據(jù)安全的法律體系^[44]，規(guī)范跌倒檢測數(shù)據(jù)收集和使用，確保老年人的個人信息不被濫用或泄露，將有利于基于深度學(xué)習(xí)的跌倒檢測的健康發(fā)展。

3.3 解決老年人跌倒數(shù)據(jù)收集困難

目前，基于深度學(xué)習(xí)的跌倒檢測主要針對跌倒行為進(jìn)行建模和檢測，對跌倒數(shù)據(jù)要求較高。然而，由于老年人群體的特殊性以及跌倒的偶發(fā)性，研究者無法直接獲取大量老年人實(shí)際跌倒數(shù)據(jù)，也沒有能夠滿足要求的公開數(shù)據(jù)集，研究多采用年輕志愿者去模擬跌倒或包含老年樣本較少的公開跌倒數(shù)據(jù)集進(jìn)行訓(xùn)練，這在一定程度上會導(dǎo)致跌倒檢測準(zhǔn)確性下降。未來在進(jìn)行相關(guān)研究時(shí)，可考慮改進(jìn)跌倒檢測技術(shù)，用較易獲取的老年人日常行為數(shù)據(jù)^[45]或跌倒后描述文本數(shù)據(jù)^[13]訓(xùn)練模型，提升跌倒檢測的準(zhǔn)確率。

4 "小結(jié)

隨著人口老齡化進(jìn)程的加深和醫(yī)療技術(shù)的進(jìn)步，基于深度學(xué)習(xí)的跌倒檢測在健康監(jiān)測和老年人護(hù)理領(lǐng)域取得了較大的進(jìn)展，為護(hù)理人員對老年人跌倒的有效防控提供了輔助支持。本研究對基于深度學(xué)習(xí)的跌倒檢測工具研究進(jìn)展進(jìn)行了綜述，梳理了基于不同神經(jīng)網(wǎng)絡(luò)的跌倒檢測系統(tǒng)。目前，深度學(xué)習(xí)在跌倒檢測的運(yùn)用方面尚存在數(shù)據(jù)收集和隱私保護(hù)等問題，仍需要進(jìn)一步的研究和探索。

參考文獻(xiàn)：

[1] "國家信息中心經(jīng)濟(jì)預(yù)測部.我國人口老齡化發(fā)展趨勢的綜合影響分析[EB/OL].[2023-11-13].http：//www.sic.gov.cn/News/455/11780.htm.

[2] "中國疾病預(yù)防控制中心.全國疾病監(jiān)測系統(tǒng)死因監(jiān)測數(shù)據(jù)集[M].北京：軍事醫(yī)學(xué)科學(xué)出版社，2012：1.

[3] "中國疾病預(yù)防控制中心慢性非傳染性疾病預(yù)防控制中心，國家衛(wèi)生和計(jì)劃生育委員會統(tǒng)計(jì)信息中心.中國死因監(jiān)測數(shù)據(jù)集[M].北京：中國科學(xué)技術(shù)出版社，2016：1.

[4] "高夢奇，李江嬌，李彬.人員意外跌倒檢測研究方法分析與綜述[J].齊魯工業(yè)大學(xué)學(xué)報(bào)，2021，35（6）：61-68.

[5] "LECUN Y，BENGIO Y，HINTON G.Deep learning[J].Nature，2015，521（7553）：436-444.

[6] "WANG X Y，ELLUL J，AZZOPARDI G.Elderly fall detection systems：a literature survey[J].Frontiers in Robotics and AI，2020，7：71.

[7] "KRISTOFFERSSON A，DU J Y，EHN M.Performance and characteristics of wearable sensor systems discriminating and classifying older adults according to fall risk：a systematic review[J].Sensors，2021，21（17）：5863.

[8] "USMANI S，SABOOR A，HARIS M，et al.Latest research trends in fall detection and prevention using machine learning：a systematic review[J].Sensors，2021，21（15）：5134.

[9] "BEN-SADOUN G，MICHEL E，ANNWEILER C，et al.Human fall detection using passive infrared sensors with low resolution：a systematic review[J].Clinical Interventions in Aging，2022，17：35-53.

[10] "王菲.LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展與應(yīng)用[D].哈爾濱：黑龍江大學(xué)，2021.

[11] "劉建偉，王園方，羅雄麟.深度記憶網(wǎng)絡(luò)研究進(jìn)展[J].計(jì)算機(jī)學(xué)報(bào)，2021，44（8）：1549-1589.

[12] "SADREAZAMI H，BOLIC M，RAJAN S.On the use of ultra wideband radar and stacked LSTM-RNN for at home fall detection[G]//2018 IEEE life sciences conference（LSC）.Montreal：IEEE，2018：255-258.

[13] "ANDREEVA O，DING W，LEVEILLE S G，et al.Fall risk assessment through a synergistic multi-source DNN learning model[J].Artificial Intelligence in Medicine，2022，127：102280.

[14] "熊昕，鄭楊嬌子，張上.基于長短時(shí)記憶網(wǎng)絡(luò)及變體的跌倒檢測和人體行為識別系統(tǒng)[J].信息通信，2020，33（2）：65-67.

[15] "段美玲，潘巨龍.基于雙向LSTM神經(jīng)網(wǎng)絡(luò)可穿戴跌倒檢測研究[J].廣西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，40（3）：141-150.

[16] "王雨嫣，廖柏林，彭晨，等.遞歸神經(jīng)網(wǎng)絡(luò)研究綜述[J].吉首大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，42（1）：41-48.

[17] "WU X D，ZHENG Y M，CHU C H，et al.Applying deep learning technology for automatic fall detection using mobile sensors[J].Biomedical Signal Processing and Control，2022，72：103355.

[18] "張慶輝，萬晨霞.卷積神經(jīng)網(wǎng)絡(luò)綜述[J].中原工學(xué)院學(xué)報(bào)，2017，28（3）：82-86;90.

[19] "KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[20] "ANISHCHENKO L.Machine learning in video surveillance for fall detection[G]//2018 Ural symposium on biomedical engineering，radioelectronics and information technology（USBEREIT）.Yekaterinburg：IEEE，2018：99-102.

[21] "ALARIFI A，ALWADAIN A.Killer heuristic optimized convolution neural network-based fall detection with wearable IoT sensor devices[J].Measurement，2021，167：108258.

[22] "周晉偉，王建平.YOLO物體檢測算法研究綜述[J].常州工學(xué)院學(xué)報(bào)，2023，36（1）：18-23;88.

[23] "劉譜，張興會，張志利，等.從RCNN到Y(jié)OLO的目標(biāo)檢測綜述[G]//第十六屆全國信號和智能信息處理與應(yīng)用學(xué)術(shù)會議論文集.天津：中國高科技產(chǎn)業(yè)化研究會智能信息處理產(chǎn)業(yè)化分會，2022：8.

[24] "武歷展，王夏黎，張倩，等.基于優(yōu)化YOLOv5s的跌倒人物目標(biāo)檢測方法[J].圖學(xué)學(xué)報(bào)，2022，43（5）：791-802.

[25] "張振亞，何明艷，王萍.改進(jìn)后的YOLOv5用于跌倒行為檢測[J].安慶師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，29（1）：72-78.

[26] "周彤彤，彭月平，鄭璐，等.基于YOLOv5s的跌倒行為檢測算法[J].中國科技論文，2023，18（7）：786-792.

[27] "WANG Y P，CHI Z Z，LIU M，et al.High-performance lightweight fall detection with an improved YOLOv5s algorithm[J].Machines，2023，11（8）：818.

[28] "李金玉，陳曉雷，張愛華，等.基于深度學(xué)習(xí)的垃圾分類方法綜述[J].計(jì)算機(jī)工程，2022，48（2）：1-9.

[29] "王新文，謝林柏，彭力.跌倒異常行為的雙重殘差網(wǎng)絡(luò)識別方法[J].計(jì)算機(jī)科學(xué)與探索，2020，14（9）：1580-1589.

[30] "SAEED U，SHAH S Y，SHAH S A，et al.Discrete human activity recognition and fall detection by combining FMCW RADAR data of heterogeneous environments for independent assistive living[J].Electronics，2021，10（18）：2237.

[31] "任萌.圖像視覺識別算法概述[J].智能計(jì)算機(jī)與應(yīng)用，2019，9（3）：294-297.

[32] "DING X H，ZHANG X Y，HAN J G，et al.Scaling up your kernels to 31×31：revisiting large kernel design in CNNs[G]//2022 IEEE/CVF conference on computer vision and pattern recognition（CVPR）.New Orleans：IEEE，2022：11953-11965.

[33] "薛東輝.基于卷積神經(jīng)網(wǎng)絡(luò)的道路風(fēng)險(xiǎn)目標(biāo)檢測模型研究與應(yīng)用[D].南京：南京郵電大學(xué)，2021.

[34] "LEITE G，SILVA G，PEDRINI H.Fall detection in video sequences based on a three-stream convolutional neural network[G]//2019 18th IEEE international conference on machine learning and applications（ICMLA）.Boca Raton：IEEE，2019：191-195.

[35] "WANG H Z，GAO Z C，LIN W B.A fall detection system based on convolutional neural networks[G]//Proceedings of the 2019 international conference on robotics，intelligent control and artificial intelligence.Shanghai：ACM，2019：242-246.

[36] "羅海峰，佐研.基于VGG16Net的人體跌倒識別研究[J].山西電子技術(shù)，2022（2）：68-70.

[37] "陳佛計(jì)，朱楓，吳清瀟，等.生成對抗網(wǎng)絡(luò)及其在圖像生成中的應(yīng)用研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2021，44（2）：347-369.

[38] "GALV?O Y M，PORTELA L，BARROS P，et al.OneFall-GAN：a one-class GAN framework applied to fall detection[J].Engineering Science and Technology，2022，35：101227.

[39] "HSU W W，GUO J M，CHEN C Y，et al.Fall detection with the spatial-temporal correlation encoded by a sequence-to-sequence denoised GAN[J].Sensors，2022，22（11）：4194.

[40] "LU N，WU Y D，F(xiàn)ENG L，et al.Deep learning for fall detection：three-dimensional CNN combined with LSTM on video kinematic data[J].IEEE Journal of Biomedical and Health Informatics，2019，23（1）：314-323.

[41] "WU J，WANG J L，ZHAN A，et al.Fall detection with CNN-casual LSTM network[J].Information，2021，12（10）：403.

[42] "厙向陽，蘇學(xué)威.基于CNN和LSTM混合模型的人體跌倒行為研究[J].計(jì)算機(jī)應(yīng)用研究，2019，36（12）：3857-3859.

[43] "徐雪芬，王紅燕，郭萍萍，等.人工智能在慢性病患者健康管理中的應(yīng)用進(jìn)展[J].中華護(hù)理雜志，2023，58（9）：1063-1067.

[44] "鄭紅穎，楊艷，倪佳琪，等.人工智能臨床應(yīng)用研究進(jìn)展[J].護(hù)理研究，2019，33（3）：454-458.

[45] "熊文滔，鄭建立.基于擴(kuò)展孤立森林的個性化跌倒檢測研究[J].軟件工程，2023，26（4）：5-9.

（收稿日期：2023-11-29；修回日期：2024-10-09）

（本文編輯"蘇琳）