鄭 奇，郭立泉，陳 靜，楊 朝，王曉軍，熊大曦

1(中國(guó)科學(xué)技術(shù)大學(xué) 生物醫(yī)學(xué)工程學(xué)院(蘇州)生命科學(xué)與醫(yī)學(xué)部，合肥 230026)2(中國(guó)科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所，江蘇 蘇州 215163)3(南京醫(yī)科大學(xué)附屬蘇州科技城醫(yī)院 呼吸內(nèi)科，江蘇 蘇州 215153)4(蘇州市相城人民醫(yī)院 神經(jīng)外科，江蘇 蘇州 215131)

1 引 言

隨著社會(huì)發(fā)展，人口老齡化問(wèn)題越來(lái)越突出，老年人口比重迅速增加.老年人由于器官受損或身體機(jī)能衰退，面臨肌肉力量、平衡和活動(dòng)能力等問(wèn)題[1].這些問(wèn)題使老年人難以保持日常生活的獨(dú)立性，進(jìn)而導(dǎo)致他們的焦慮、自卑和生活質(zhì)量下降[2，3]，同時(shí)也給全球醫(yī)療保健系統(tǒng)帶來(lái)巨大壓力[4].因此世界各國(guó)越來(lái)越提倡居家的康復(fù)訓(xùn)練.對(duì)于老人的居家康復(fù)訓(xùn)練，目前常用的方法是醫(yī)生開(kāi)具運(yùn)動(dòng)處方并電話隨訪，老人定期前往醫(yī)院進(jìn)行功能評(píng)估.然而很多老人在家庭康復(fù)中，對(duì)鍛煉方案堅(jiān)持程度較低，導(dǎo)致治療時(shí)間延長(zhǎng)和醫(yī)療費(fèi)用增加[5，6].Miller KK等人[7]指出，有許多不同的因素導(dǎo)致了老人的依從率低，其中主要的兩個(gè)原因是康復(fù)訓(xùn)練的高成本，以及缺乏醫(yī)療專業(yè)人員對(duì)患者鍛煉的評(píng)估和反饋.因此如何降低訓(xùn)練成本并為患者提供及時(shí)準(zhǔn)確的評(píng)估反饋，成為老年人居家康復(fù)訓(xùn)練亟待解決的關(guān)鍵問(wèn)題和研究熱點(diǎn).

2 相關(guān)工作

隨著電子信息和人工智能技術(shù)的發(fā)展，研究人員開(kāi)發(fā)了多種用于居家的身體康復(fù)的工具和設(shè)備.Lin等人[8]開(kāi)發(fā)了一個(gè)基于Kinect的康復(fù)算法，將太極的每種形式分解成4種姿態(tài)，并計(jì)算標(biāo)準(zhǔn)姿態(tài)的骨骼與用戶實(shí)際姿態(tài)的關(guān)節(jié)角度之差，由Kinect傳感器跟蹤.盡管Kinect提取人體姿態(tài)信息很方便，但價(jià)格昂貴，大部分家庭還需額外購(gòu)買高性能電腦和Kinect.文獻(xiàn)[9]通過(guò)可穿戴設(shè)備獲得上肢康復(fù)訓(xùn)練的常見(jiàn)動(dòng)作樣本，提出改進(jìn)的SVM 分類器，實(shí)現(xiàn)對(duì)康復(fù)動(dòng)作的評(píng)分.這些設(shè)備在訓(xùn)練中需要正確的佩戴，佩戴位置或方向出現(xiàn)偏差，均會(huì)導(dǎo)致評(píng)估不準(zhǔn)確，甚至完全錯(cuò)誤.而老年人因認(rèn)知能力不高，通常他們無(wú)法獨(dú)立佩戴，或佩戴不正確容易脫落，導(dǎo)致評(píng)估失敗.T.T.Um[10]等人采用了類似的方法來(lái)評(píng)估帕金森患者的運(yùn)動(dòng)表現(xiàn).他們從傳感器數(shù)據(jù)中提取了多種數(shù)據(jù)特征，通過(guò)對(duì)比這些特征來(lái)評(píng)估患者的運(yùn)動(dòng).這種算法由于簡(jiǎn)化了連續(xù)運(yùn)動(dòng)，只從中提取了幾個(gè)離散特征而易于實(shí)現(xiàn)，但運(yùn)動(dòng)質(zhì)量卻不能得到全面的評(píng)價(jià).這是因?yàn)楹?jiǎn)單化的特征導(dǎo)致了一些信息的丟失，如運(yùn)動(dòng)的連續(xù)性.

針對(duì)上述問(wèn)題，提出一種基于計(jì)算機(jī)視覺(jué)的居家康復(fù)訓(xùn)練評(píng)估算法.采用普通RGB攝像頭獲取老人運(yùn)動(dòng)信息，并通過(guò)優(yōu)化后的姿態(tài)估計(jì)和運(yùn)動(dòng)評(píng)分算法為老人評(píng)分，無(wú)需穿戴，使用方便且成本低廉.提出了特殊的特征提取方法，解決了人體體型差異帶來(lái)的影響.針對(duì)老人動(dòng)作的遲滯性，采用了動(dòng)態(tài)時(shí)間規(guī)整算法計(jì)算老人運(yùn)動(dòng)與標(biāo)準(zhǔn)動(dòng)作之間的相似性.動(dòng)態(tài)時(shí)間規(guī)整算法可以最大限度地減少因速度變化而導(dǎo)致的時(shí)間延遲或失真的影響[11，12]，提高了動(dòng)作評(píng)分的科學(xué)性與準(zhǔn)確性.

3 動(dòng)作評(píng)估算法

動(dòng)作評(píng)估算法主要包括人體姿態(tài)估計(jì)、數(shù)據(jù)濾波、特征提取、分類模型4個(gè)部分，具體算法流程如圖1所示.視頻流信息經(jīng)姿態(tài)估計(jì)算法和數(shù)據(jù)濾波后，得到人體的骨架關(guān)鍵點(diǎn)信息.初步特征提取，計(jì)算肘關(guān)節(jié)和膝關(guān)節(jié)的角度實(shí)時(shí)變換序列.進(jìn)一步地，深度特征提取會(huì)將數(shù)據(jù)經(jīng)創(chuàng)新性的歸一化方法后，計(jì)算老人運(yùn)動(dòng)數(shù)據(jù)序列與標(biāo)準(zhǔn)動(dòng)作序列之間的動(dòng)態(tài)時(shí)間規(guī)整相似度，以及關(guān)鍵點(diǎn)的最大最小值、標(biāo)準(zhǔn)差、中位數(shù)等統(tǒng)計(jì)學(xué)特征.最后根據(jù)淺層特征和深層特征，通過(guò)支持向量機(jī)分類算法，建立與臨床康復(fù)評(píng)估之間的映射模型.

圖1 動(dòng)作評(píng)估算法框架

3.1 人體姿態(tài)估計(jì)算法

3.1.1 姿態(tài)估計(jì)算法OpenPose

人體姿態(tài)估計(jì)算法在基梅隆大學(xué)發(fā)布的開(kāi)源項(xiàng)目OpenPose[13]卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行改進(jìn)和優(yōu)化.該網(wǎng)絡(luò)具有良好的準(zhǔn)確性和魯棒性，在COCO 2016關(guān)鍵點(diǎn)挑戰(zhàn)賽中獲得了冠軍，其網(wǎng)絡(luò)結(jié)構(gòu)主要包含4個(gè)部分.首先是Backbone部分，該部分采用VGG-19[14]卷積網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行特征提取.特征提取后，進(jìn)入初始階段部分，該部分包含兩個(gè)并行的分支，分支一預(yù)測(cè)表示身體關(guān)鍵點(diǎn)位置的置信圖，分支二預(yù)測(cè)表示身體關(guān)鍵點(diǎn)之間關(guān)聯(lián)度的部分親和域，兩個(gè)分支結(jié)構(gòu)相同，均由3個(gè)3×3和2個(gè)1×1的卷積組成.初始化階段后是強(qiáng)化階段，該部分與初始階段類似由兩個(gè)結(jié)構(gòu)相同的分支組成.但為了獲取較大的感受野，該部分使用了3個(gè)7×7的卷積核.強(qiáng)化階段可以重復(fù)多次，以提高兩個(gè)分支預(yù)測(cè)的置信圖與部分親和域的準(zhǔn)確度.最后是數(shù)據(jù)處理部分，該部分主要負(fù)責(zé)從強(qiáng)化階段預(yù)測(cè)的置信圖和部分親和域中解算出人體的關(guān)節(jié)點(diǎn)，并將其分組后連接.

3.1.2 姿態(tài)估計(jì)算法改進(jìn)

OpenPose卷積神經(jīng)網(wǎng)絡(luò)建立的2D人體姿態(tài)模型，包含了人眼、耳、鼻子、肩膀、手肘、髖關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)等共18個(gè)關(guān)節(jié)點(diǎn)的x，y坐標(biāo)信息[15]，且準(zhǔn)確度約為60%.但其龐大的網(wǎng)絡(luò)和數(shù)據(jù)量，在普通電腦上(如NVIDIA GTX 1650平臺(tái))的推理速度緩慢，視頻幀數(shù)約為1～3FPS，無(wú)法在居家康復(fù)中正常使用.為此，本文對(duì)OpenPose進(jìn)行了進(jìn)一步的改進(jìn)和優(yōu)化.

首先將輕量級(jí)OpenPose的Backbone部分的VGG-19網(wǎng)絡(luò)卷積層改為MobileNetV3[16]結(jié)構(gòu).MobileNetV3網(wǎng)絡(luò)在繼承了MobileNetV1的深度可分離卷積和MobileNetV2的具有線性瓶頸的倒殘差結(jié)構(gòu)[17]的基礎(chǔ)上，重新設(shè)計(jì)了耗時(shí)的層，引入輕量級(jí)注意力模型SENet[18]增加了通道的擬合能力，使用新的激活函數(shù)h-swish(x)提高了模型的運(yùn)行速度.MobileNetV3在圖像分類數(shù)據(jù)集ImageNet上實(shí)現(xiàn)了75.2%的準(zhǔn)確度，比VGG-19準(zhǔn)確率提高了2.9%，同時(shí)參數(shù)數(shù)量從140M減少到了5.4M，減少了96%的存儲(chǔ)空間，運(yùn)行速度也大大提高，MobileNetV3的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 MobileNetV3的模塊結(jié)構(gòu)

對(duì)于初始階段和強(qiáng)化階段，本文參考了Intel公司提出的輕量級(jí)Openpose[19]中的方法.在初始階段，共享了除最后兩層之外的所有層，大大減少了模型的參數(shù)數(shù)量，具體方法如圖3(a)所示.在強(qiáng)化階段，用一個(gè)具有相同感受野的卷積塊代替每個(gè)具有7×7內(nèi)核大小的卷積，其具體結(jié)構(gòu)如圖3(b)所示.卷積塊包含1×1、3×3和3×3卷積，最后一個(gè)卷積層使用空洞卷積，膨脹參數(shù)等于2，以保持原始的感受野.因?yàn)榫W(wǎng)絡(luò)變得更深，還為每個(gè)這樣的塊增加了殘差連接.

圖3 初始層和強(qiáng)化層的改進(jìn)

3.2 數(shù)據(jù)濾波處理

改進(jìn)后的姿態(tài)估計(jì)模型大大提高了運(yùn)行速度，但其平均準(zhǔn)確度從60%下降到了39%左右，因此檢測(cè)到的關(guān)鍵點(diǎn)信息存在一定的噪聲信號(hào).另外，當(dāng)用戶彎腰時(shí)，身體的部分關(guān)鍵點(diǎn)可能會(huì)因遮擋而丟失，此時(shí)OpenPose中關(guān)鍵點(diǎn)的位置用(-1，-1)表示，這會(huì)導(dǎo)致關(guān)鍵點(diǎn)數(shù)據(jù)出現(xiàn)抖動(dòng)或畸形突變.為了降低噪聲信號(hào)以及關(guān)節(jié)點(diǎn)遮擋對(duì)最終評(píng)估的影響，需要對(duì)關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行了限幅濾波和中值濾波.

限幅濾波的基本原理是比較相鄰n和n-1時(shí)刻的兩個(gè)采樣值y(n)和y(n-1)，根據(jù)經(jīng)驗(yàn)確定兩次采樣允許的最大偏差.如果兩次采樣值的差值超過(guò)最大偏差范圍，認(rèn)為發(fā)生了隨機(jī)干擾，并認(rèn)為后一次采樣值y(n)為非法值，應(yīng)刪除，刪除y(n)后，可用y(n-1)代替y(n).若未超過(guò)所允許的最大偏差范圍，則認(rèn)為本次采樣值有效.限幅濾波方法可以簡(jiǎn)單且高效的去除掉因關(guān)節(jié)點(diǎn)遮擋造成的影響.

中值濾波是在“最小絕對(duì)誤差”準(zhǔn)則下的最優(yōu)濾波.中值濾波對(duì)噪聲有良好的濾除作用，特別是在濾除噪聲的同時(shí)，能夠保護(hù)信號(hào)的邊緣，使之不被模糊.這些優(yōu)良特性是線性濾波方法所不具有的.而且，中值濾波的算法易于實(shí)現(xiàn)，若窗口尺寸選擇適當(dāng)，其計(jì)算速度也十分快，利于系統(tǒng)實(shí)時(shí)處理數(shù)據(jù).

經(jīng)實(shí)驗(yàn)驗(yàn)證，限幅濾波的閾值設(shè)為30，中值濾波的窗口尺寸選為5時(shí)效果最佳.如圖4所示，左側(cè)圖為關(guān)鍵點(diǎn)左手腕的x，y坐標(biāo)濾波前的實(shí)時(shí)變換曲線，右側(cè)為濾波后的曲線.可以看出濾波算法只刪除了數(shù)據(jù)中所有異常點(diǎn)，并對(duì)數(shù)據(jù)做了較少的平滑處理，數(shù)據(jù)并未因?yàn)V波而產(chǎn)生滯后或過(guò)度平滑，最大程度的保留了數(shù)據(jù)的真實(shí)性.

圖4 數(shù)據(jù)濾波前后對(duì)比

3.3 特征提取

連續(xù)的時(shí)間序列曲線因數(shù)據(jù)點(diǎn)眾多且數(shù)量不一，無(wú)法直接輸入分類模型做預(yù)測(cè)，因此需要提取出能夠代表整個(gè)時(shí)間序列的關(guān)鍵特征，這一過(guò)程就叫做特征提取.特征提取算法的科學(xué)性很大程度上決定了整個(gè)動(dòng)作評(píng)分算法的可信度和準(zhǔn)確性，因此如何進(jìn)行特征提取，是動(dòng)作評(píng)估算法的核心問(wèn)題.

3.3.1 初步特征提取

數(shù)據(jù)濾波后，如果直接用姿態(tài)估計(jì)模型捕捉到的人體骨骼的18個(gè)關(guān)鍵點(diǎn)的坐標(biāo)序列進(jìn)行動(dòng)作相似度評(píng)估，則評(píng)估方法是不科學(xué)的，最終的評(píng)估結(jié)果也是不可靠的.因?yàn)閯?dòng)作評(píng)分的一個(gè)重要問(wèn)題是人體的外觀形態(tài)如身高、胖瘦存在很大差異，不同人做同一個(gè)動(dòng)作，即便很相似，但因體型差異過(guò)大，很有可能讀取到關(guān)鍵點(diǎn)位置差別很大.如抬手動(dòng)作，不同身高的人，將手抬至頭頂處時(shí)，手部的關(guān)鍵點(diǎn)坐標(biāo)位置一定不同.且即便是同一個(gè)人如果距離攝像頭的遠(yuǎn)近不同，采集到的位置信息也不相同.

為了解決此問(wèn)題，將肩膀，手肘，手腕，腰，膝，踝關(guān)節(jié)關(guān)鍵點(diǎn)通過(guò)公式(1)分別計(jì)算左右肘關(guān)節(jié)和左右膝關(guān)節(jié)角度的實(shí)時(shí)變換曲線.

(1)

對(duì)于上肢來(lái)說(shuō)，其中A表示肩膀到手肘的距離，B表示手腕到手肘的距離，C表示肩膀到手腕的距離，結(jié)果αangle表示肘關(guān)節(jié)角度.其中距離可用兩點(diǎn)間的距離公式求出.同理對(duì)于下肢用對(duì)應(yīng)關(guān)鍵點(diǎn)替換，即可計(jì)算膝關(guān)節(jié)角度.

另外本文在實(shí)際測(cè)試中發(fā)現(xiàn)，因背景光線或人的發(fā)型、裝飾不同，比如強(qiáng)背景光、佩戴口罩或帽子時(shí)，系統(tǒng)經(jīng)常無(wú)法準(zhǔn)確檢測(cè)到人眼，耳朵的位置信息.因此系統(tǒng)刪除了左眼、右眼、左耳和右耳的坐標(biāo)信息，僅保留了鼻子的信息用于代表頭部的位置信息.這幾個(gè)關(guān)鍵點(diǎn)的運(yùn)動(dòng)趨勢(shì)幾乎是完全相同的，刪除后并不影響系統(tǒng)對(duì)人體運(yùn)動(dòng)信息的描述，還可以減少參數(shù)數(shù)量，增加運(yùn)行速度.

3.3.2 深層特征提取

3.3.2.1 特殊歸一化

人體肘關(guān)節(jié)和膝關(guān)節(jié)角度的變化曲線，不會(huì)因人體的外觀形態(tài)以及距離攝像頭遠(yuǎn)近的不同而不同，因此很適合作為動(dòng)作評(píng)分的有效特征.不過(guò)，只有角度信息是不夠的，如抬手動(dòng)作，若將手臂伸直但并未放在頭頂，而只是放在身體一側(cè)，則肘關(guān)節(jié)角度也是180°，但動(dòng)作并不標(biāo)準(zhǔn).此時(shí)仍要用手部的關(guān)鍵點(diǎn)位置進(jìn)行判斷，這表明關(guān)鍵點(diǎn)的位置信息并不是完全無(wú)用的.

為了充分表明人體的運(yùn)動(dòng)軌跡，但又不能受人體體型大小的影響，本文提出了一種特殊的歸一化方法，公式如下:

(2)

對(duì)于上肢來(lái)說(shuō)，其中P1代表手腕初始位置，P2代表肩膀初始位置，則‖P1-P2‖表示人的臂長(zhǎng)，x1,t代表手腕在t時(shí)刻的x軸的位置，x2,t代表肩膀在t時(shí)刻的x軸位置.同理對(duì)y軸坐標(biāo)信息做同樣歸一化處理.歸一化后的曲線，可以很好地表現(xiàn)手腕的運(yùn)動(dòng)軌跡，而不再包含具體的位置信息，去除了因人的體型差異而引起的誤差.類似的，對(duì)于腳踝關(guān)鍵點(diǎn)，可以用髖關(guān)節(jié)作為P2來(lái)進(jìn)行歸一化，以表示腳踝的運(yùn)動(dòng)軌跡.對(duì)于鼻子關(guān)鍵點(diǎn)，可以用頸部作為P2，以表示頭部的抬起或旋轉(zhuǎn).注意，角度曲線并未歸一化，因?yàn)榻嵌刃畔⒉⒉淮嬖隗w型差異.

3.3.2.2 動(dòng)態(tài)時(shí)間規(guī)整相似度

老人因運(yùn)動(dòng)功能的衰退，通常無(wú)法很快地跟隨標(biāo)準(zhǔn)視頻運(yùn)動(dòng)，所以總是存在著滯后性問(wèn)題.在這種情況下，使用傳統(tǒng)的歐幾里得距離無(wú)法有效地求解的兩個(gè)時(shí)間序列之間的距離，即相似性.

為了彌補(bǔ)老人與標(biāo)準(zhǔn)動(dòng)作間的遲滯性，使用動(dòng)態(tài)時(shí)間規(guī)整(簡(jiǎn)稱DTW)算法計(jì)算老人運(yùn)動(dòng)曲線與標(biāo)準(zhǔn)動(dòng)作曲線間的相似度.DTW可以輸出兩個(gè)時(shí)間序列之間的最佳對(duì)齊值，即最小匹配成本或累積距離，輸出值越小，兩個(gè)時(shí)間序列越接近，匹配性能越好.它可以自動(dòng)扭曲時(shí)間序列，在時(shí)間軸上進(jìn)行局部的縮放，使得兩個(gè)序列的形態(tài)盡可能的一致，得到最大可能的相似度.

動(dòng)態(tài)時(shí)間規(guī)整算法的具體計(jì)算過(guò)程為：假設(shè)標(biāo)準(zhǔn)動(dòng)作中手腕坐標(biāo)的變化序列為S=(s1,s2,…,sn)，老人訓(xùn)練動(dòng)作中手腕坐標(biāo)的變化序列為T=(t1,t2,…,tm)，其s和t都表示某時(shí)刻手腕的2D坐標(biāo)信息.為了比較序列S和T相似性，DTW需要首先構(gòu)造一n行m列的成本矩陣Cp(S,T)，其定義見(jiàn)公式(3).其中C(sik,tjk)表示第i時(shí)刻的序列S與第j時(shí)刻序列T之間的距離.在成本矩陣中可能有多個(gè)扭曲路徑p.

(3)

DTW的目標(biāo)是從所有路徑中找到累計(jì)距離最小的扭曲路徑D(S,T).具體方法由遞歸方程公式(4)給出：

D(i,j)=min{D(i-1,j-1),D(i-1,j),

D(i,j-1)}+C(si,tj)

(4)

其中1

另外從鼻子坐標(biāo)、左右肘關(guān)節(jié)角度和膝關(guān)節(jié)角度的實(shí)時(shí)變換曲線中提取最大最小值、均值、標(biāo)準(zhǔn)差、中位數(shù)等統(tǒng)計(jì)學(xué)特征，用以更全面地表示運(yùn)動(dòng)信息.

3.4 分類模型

對(duì)于提取到的特征，通過(guò)機(jī)器學(xué)習(xí)分類算法建立與臨床康復(fù)專家評(píng)分之間的映射模型.為了尋求最優(yōu)的分類算法，分別采用了決策樹(shù)、隨機(jī)森林、樸素貝葉斯、K近鄰和支持向量機(jī)算法等進(jìn)行處理，并對(duì)準(zhǔn)確度進(jìn)行對(duì)比，最終選擇了支持向量機(jī)算法，具體過(guò)程和結(jié)果見(jiàn)4.3節(jié)動(dòng)作評(píng)估模型訓(xùn)練.

4 試 驗(yàn)

4.1 姿態(tài)估計(jì)模型訓(xùn)練

使用COCO2017關(guān)鍵點(diǎn)挑戰(zhàn)數(shù)據(jù)[20]訓(xùn)練改進(jìn)后的Openpose模型參數(shù).訓(xùn)練在Intel(R)Core(TM)i7-8700K CPU@3.70GHz，NVIDIA GTX 1080Ti電腦上進(jìn)行，使用標(biāo)準(zhǔn)Pytorch Adam優(yōu)化器訓(xùn)練模型，動(dòng)量為0.9，初始學(xué)習(xí)率為4e-4并逐漸降低到0，批量大小為64，L2正則權(quán)重衰減為1e-5.每幅圖像都經(jīng)過(guò)一系列的數(shù)據(jù)增強(qiáng)操作，包括裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)和縮放，旋轉(zhuǎn)范圍是-40°～+40°，縮放范圍為0.7～1.35.輸入圖像的大小為368×368.

在迭代了38000次后，強(qiáng)化階段的部分親和域損失約為68，關(guān)鍵點(diǎn)熱圖損失穩(wěn)定在18左右，驗(yàn)證集的平均準(zhǔn)確率為39%.準(zhǔn)確率略有降低的主要原因是刪除了原模型強(qiáng)化階段的后兩層，且模型訓(xùn)練迭代次數(shù)不夠多.

經(jīng)測(cè)試，改進(jìn)后的OpenPose在Intel(R)Core(TM)i5-9400 CPU @ 2.90GHz，NVIDIA GTX 1650平臺(tái)上實(shí)現(xiàn)了約30FPS的實(shí)時(shí)2D姿態(tài)估計(jì).表1展示了OpenPose，輕量級(jí)OpenPose以及用本文的方法改進(jìn)后的OpenPose的平均準(zhǔn)確率和速度的對(duì)比.

表1 姿態(tài)估計(jì)模型的性能對(duì)比

圖5顯示了實(shí)際應(yīng)用中，姿態(tài)估計(jì)的效果.可以看出雖然改進(jìn)后的姿態(tài)估計(jì)算法準(zhǔn)確度有所下降，但在實(shí)際使用中仍是比較穩(wěn)定的.主要是因?yàn)镃OCO數(shù)據(jù)集中很多圖片包含多個(gè)人、背景復(fù)雜且存在很多身體遮擋的情況.而在居家康復(fù)訓(xùn)練系統(tǒng)的使用中，通常是在單人站在攝像頭前，且人的身體占據(jù)了整個(gè)圖像的大部分空間，并不存在多人或遮擋的情況.因此實(shí)際使用效果足以滿足居家康復(fù)訓(xùn)練系統(tǒng)的使用.

圖5 姿態(tài)估計(jì)示例

4.2 實(shí)驗(yàn)參與者

為了驗(yàn)證算法的性能，經(jīng)過(guò)倫理委員會(huì)的審批和患者的知情同意，蘇州科技城醫(yī)院和醫(yī)聯(lián)體管理的48名居家老年慢性病患者，參加了臨床應(yīng)用研究.每名受試者在康復(fù)醫(yī)生幫助和指導(dǎo)下，根據(jù)標(biāo)準(zhǔn)訓(xùn)練視頻進(jìn)行康復(fù)訓(xùn)練.每名受試者都進(jìn)行了八段錦訓(xùn)練.八段錦是一種緩慢而溫和的運(yùn)動(dòng)，共8個(gè)動(dòng)作，動(dòng)作簡(jiǎn)單，可以改善老年人身體的靈活度、耐力和運(yùn)動(dòng)功能.隨機(jī)將其中30人的數(shù)據(jù)作為訓(xùn)練集，18人的數(shù)據(jù)作為測(cè)試集.根據(jù)康復(fù)專家意見(jiàn)與國(guó)際功能、殘疾和健康分類ICF[21]，將八段錦的每個(gè)動(dòng)作評(píng)估結(jié)果分為0～2分，其中，0分表示動(dòng)作完成度較低，1分表示動(dòng)作完成度一般，2分表示動(dòng)作完成度良好.

4.3 動(dòng)作評(píng)估模型訓(xùn)練

用訓(xùn)練集視頻經(jīng)姿態(tài)估計(jì)，數(shù)據(jù)濾波以及特征提取后，將提取到的特征分別輸入決策樹(shù)、隨機(jī)森林、樸素貝葉斯、K近鄰和支持向量機(jī)SVM算法對(duì)比各種分類算法的準(zhǔn)確度，選擇準(zhǔn)確度最高的分類模型作為動(dòng)作評(píng)估算法的分類器.表2對(duì)比了每種算法在訓(xùn)練集使用五折交叉驗(yàn)證后得到的平均準(zhǔn)確度，單位為%，加粗部分表示相應(yīng)動(dòng)作對(duì)應(yīng)的最高準(zhǔn)確度.可以看出，用支持向量機(jī)算法作為分類模型時(shí)，動(dòng)作評(píng)估算法的平均準(zhǔn)確度最高.

表2 分類算法準(zhǔn)確度對(duì)比

4.4 結(jié)果與分析

圖5顯示了康復(fù)訓(xùn)練過(guò)程中，姿態(tài)估計(jì)的效果.可以看出因光線或遮擋問(wèn)題，身體的個(gè)別關(guān)鍵點(diǎn)存在檢測(cè)丟失的情況，這表明了數(shù)據(jù)濾波的必要性.另外，在Intel(R)Core(TM)i5-9400 CPU @ 2.90GHz，NVIDIA GTX 1650平臺(tái)上，人體姿態(tài)估計(jì)并繪制人體關(guān)鍵點(diǎn)的平均速度在30FPS左右，保證了老人康復(fù)訓(xùn)練時(shí)動(dòng)作畫面的流暢性和交互反饋的實(shí)時(shí)性.

選定支持向量機(jī)算法作為分類模型后，用測(cè)試集驗(yàn)證整個(gè)動(dòng)作評(píng)估算法的準(zhǔn)確性.表3展示了只使用最大最小值、均值、標(biāo)準(zhǔn)差、中位數(shù)等統(tǒng)計(jì)學(xué)特征和增加動(dòng)態(tài)時(shí)間規(guī)整動(dòng)作相似度特征后的模型準(zhǔn)確度.可以看出，在增加了動(dòng)態(tài)時(shí)間規(guī)整的動(dòng)作相似度特征后，算法評(píng)分的準(zhǔn)確度大約提高了5%，表明用動(dòng)態(tài)時(shí)間規(guī)整算法評(píng)估老人康復(fù)訓(xùn)練運(yùn)動(dòng)的有效性.

表3 動(dòng)作評(píng)分算法準(zhǔn)確度

評(píng)估算法對(duì)測(cè)試集18位老人評(píng)分和專家平均分的對(duì)比結(jié)果如圖6所示.橫坐標(biāo)表示康復(fù)訓(xùn)練評(píng)估算法的分?jǐn)?shù)，縱坐標(biāo)表示康復(fù)專家評(píng)分.每個(gè)動(dòng)作0～2分，共8個(gè)動(dòng)作，最多16分.皮爾遜相關(guān)系數(shù)(r)為0.967(P<0.001)，表明兩種評(píng)估方法具有顯著的相關(guān)性.這表示所設(shè)計(jì)的算法可以有效地應(yīng)用于老年人居家康復(fù)訓(xùn)練和自動(dòng)評(píng)估.

圖6 算法評(píng)分與專家評(píng)分相關(guān)性

5 總 結(jié)

針對(duì)老年人肌肉力量、平衡和活動(dòng)能力等運(yùn)動(dòng)功能受損等問(wèn)題的居家康復(fù)，提出一種基于計(jì)算機(jī)視覺(jué)的老年人居家康復(fù)訓(xùn)練評(píng)估算法.用改進(jìn)的MobileNetV3結(jié)構(gòu)優(yōu)化加速OpenPose姿態(tài)估計(jì)算法，實(shí)現(xiàn)了在普通家庭電腦上的實(shí)時(shí)動(dòng)態(tài)反饋訓(xùn)練.用關(guān)節(jié)角度和創(chuàng)新性的歸一化方法，解決了人體體型差異的問(wèn)題.用動(dòng)態(tài)時(shí)間規(guī)整DTW算法提取連續(xù)變化的人體關(guān)鍵點(diǎn)的序列相似度，并融合最大值、最小值、標(biāo)準(zhǔn)差等多種統(tǒng)計(jì)學(xué)特征，解決了老年人動(dòng)作滯后的問(wèn)題.用支持向量機(jī)算法建立了與臨床康復(fù)評(píng)分相對(duì)應(yīng)的動(dòng)作評(píng)估模型.為驗(yàn)證算法性能，開(kāi)展了48名老年人參與的八段錦康復(fù)訓(xùn)練試驗(yàn)，結(jié)果表明，算法在Intel(R)Core(TM)i5-9400 CPU@2.90GHz，NVIDIA GTX 1650平臺(tái)上實(shí)現(xiàn)了約30FPS的姿態(tài)估計(jì)，且評(píng)分的準(zhǔn)確度為93.8%，皮爾遜相關(guān)系數(shù)(r)為0.967，P<0.01，表明兩種評(píng)估方法沒(méi)有統(tǒng)計(jì)學(xué)差異.未來(lái)將采集更多老年病患者的訓(xùn)練數(shù)據(jù)，并進(jìn)一步優(yōu)化姿態(tài)估計(jì)和機(jī)器學(xué)習(xí)算法，提高老年人居家康復(fù)訓(xùn)練評(píng)估算法的運(yùn)行速度和準(zhǔn)確性.