摘 要：為解決心血管患者日常康復(fù)訓(xùn)練依賴于康復(fù)中心專業(yè)醫(yī)務(wù)人員現(xiàn)場指導(dǎo)的問題，圍繞獲得支撐心血管患者自主康復(fù)訓(xùn)練的動作評估系統(tǒng)，提出了基于人體骨骼關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動作評估方法（ASRT-PHS）。首先，根據(jù)心血管患者的康復(fù)訓(xùn)練動作規(guī)范拍攝構(gòu)建了康復(fù)訓(xùn)練動作數(shù)據(jù)集；然后，引入基于深度學(xué)習(xí)的檢測器和姿態(tài)估計(jì)器采集人體位置信息與人體關(guān)鍵點(diǎn)信息，并將提取結(jié)果輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行動作識別；接著，通過關(guān)節(jié)距離比值計(jì)算、關(guān)節(jié)角度閾值計(jì)算與標(biāo)準(zhǔn)動作判斷，構(gòu)建基于關(guān)節(jié)距離比值的動作切分模型和基于動作關(guān)節(jié)角度閾值的動作評估模型；最后，通過測試ASRT-PHS在不同關(guān)節(jié)角度閾值和不同動作識別方法下的動作切分與評估性能，得出了ASRT-PHS的最優(yōu)工作參數(shù)。測試結(jié)果表明，ASRT-PHS在動作識別、動作切分與動作評估中的準(zhǔn)確率分別達(dá)到92.78%、77.6%和87%。此外，真實(shí)心血管患者案例測試表明，原型系統(tǒng)的動作評估平均準(zhǔn)確率為71.3%，為患者居家自主康復(fù)訓(xùn)練提供了可行的智能輔助系統(tǒng)。

關(guān)鍵詞：人體關(guān)鍵點(diǎn)； 康復(fù)訓(xùn)練； 心血管患者； 動作評估

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2024）08-027-2441-07

doi：10.19734/j.issn.1001-3695.2023.11.0606

Action assessment method of rehabilitation training based onhuman skeleton key points for cardiovascular patients

Zhang Ruize1a， Guo Wei2， Yang Guanci1a，1b， Luo Kexin1c， Li Yang1a， He Ling1a

（1.a.Key Laboratory of Advanced Manufacturing Technology of Ministry of Education， b.State Key Laboratory of Public Big Data， c. School of Mechanical Engineering， Guizhou University， Guiyang 550025， China; 2.Guizhou Provincial Staff & Workers Hospital， Guiyang 550025， China）

Abstract：In order to solve the problem that the daily rehabilitation training of cardiovascular patients depends on directing by health care professions in rehabilitation centre，during assessing and correcting the movements system about cardiovascular patients’ independent rehabilitation training at home， this paper proposed an action assessment method for cardiovascular patients’ rehabilitation training based on key points of the human skeleton（ASRT-PHS）. Firstly， this paper constructed a dataset for rehabilitation training actions using a camera and data augmentation in accordance with the specified rehabilitation trai-ning specification for cardiovascular patients. Secondly， this paper employed a deep learning-based detector and pose estimator to capture human body positions and extract key points of the human skeleton， respectively， and then input the results into a convolutional neural network for action recognition. Thirdly， by calculating joint angle thresholds， joint distance ratio and assessing standard motions， this paper constructed a motion segmentation model based on joint distance ratios and an action assessment model based on action joint angle thresholds. This paper investigated the optimal combination of ASRT-PHS by assessing its performance with various joint angle thresholds and action recognition approaches. The results show that ASRT-PHS achieves an average action recognition， segmentation and assessment accuracy of 92.78%， 77.6% and 87%， respectively. Furthermore， case tests about the true cardiovascular patients show that the average accuracy of the prototype system is 71.3%， which provides a feasible intelligent auxiliary system for patients’ autonomous rehabilitation training at home.

Key words：human key point; rehabilitation training; cardiovascular patient; action assessment

0 引言

據(jù)報(bào)道，全球每年約有1 790萬人死于心血管疾病，中國約有3.3億名心血管疾病患者［1］。心血管疾病導(dǎo)致的癱瘓和傷殘使得老年人面臨身體平衡和日常活動能力方面的挑戰(zhàn)，進(jìn)而影響其獨(dú)立生活的能力?？祻?fù)訓(xùn)練對于提升患者的日常生活能力至關(guān)重要。當(dāng)前，患者的日?？祻?fù)訓(xùn)練依賴于康復(fù)中心專業(yè)醫(yī)務(wù)人員的現(xiàn)場指導(dǎo)，不僅需要患者承擔(dān)高額的醫(yī)療費(fèi)用，還導(dǎo)致醫(yī)療資源緊張。尤其是出院后的家庭康復(fù)訓(xùn)練階段，由于訓(xùn)練質(zhì)量要求較高、家庭鍛煉的堅(jiān)持率較低以及缺乏及時(shí)的評估反饋，康復(fù)訓(xùn)練難以達(dá)到理想效果。研究顯示，2017—2019年參與門診心臟康復(fù)治療的患者中，僅有18.7%的患者完成了24次以上的康復(fù)治療［2］。鑒于此，當(dāng)前亟需采取有效手段，鼓勵患者更主動地參與康復(fù)訓(xùn)練，而研究支撐心血管患者康復(fù)訓(xùn)練動作評估的技術(shù)與康復(fù)訓(xùn)練機(jī)器人引起了學(xué)者的廣泛關(guān)注［3，4］。

基于虛擬現(xiàn)實(shí)技術(shù)的康復(fù)訓(xùn)練方面，Wang等人［5］通過提取腦電信號并分類，設(shè)計(jì)了基于運(yùn)動想象的在線腦機(jī)接口上肢康復(fù)系統(tǒng)，該系統(tǒng)根據(jù)實(shí)驗(yàn)者的腦電信號實(shí)時(shí)控制機(jī)器人手臂，但該研究涉及的數(shù)據(jù)量較小，且未考慮信號采集時(shí)的噪聲處理。文獻(xiàn)［6］將VR和BCI融入手部康復(fù)系統(tǒng)，將傳統(tǒng)的被動康復(fù)轉(zhuǎn)變?yōu)橹鲃涌祻?fù)，該系統(tǒng)能夠提高患者的康復(fù)參與度。Liu等人［7］基于虛擬現(xiàn)實(shí)設(shè)計(jì)了虛擬康復(fù)訓(xùn)練與評估系統(tǒng)，通過康復(fù)訓(xùn)練游戲吸引患者的注意力，從而減輕患者可能因長時(shí)間康復(fù)訓(xùn)練產(chǎn)生的厭倦情緒。Bortone等人［8］提出了用于神經(jīng)運(yùn)動障礙兒童康復(fù)治療的沉浸式虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練系統(tǒng)，通過自定義與虛擬環(huán)境的交互方式，將該系統(tǒng)與可穿戴觸覺設(shè)備結(jié)合，以滿足不同患者的需求。文獻(xiàn)［9］將VR體能訓(xùn)練監(jiān)測與上肢康復(fù)技術(shù)相結(jié)合，通過深度傳感器采集的圖像序列定位人體的關(guān)鍵部位，實(shí)現(xiàn)了實(shí)時(shí)評估患者康復(fù)訓(xùn)練的質(zhì)量并監(jiān)測康復(fù)進(jìn)展，但該系統(tǒng)僅關(guān)注關(guān)鍵部位，沒有考慮整體動作。Zhao等人［10］設(shè)計(jì)了基于智能測控的康復(fù)訓(xùn)練系統(tǒng)，通過康復(fù)專家定制子系統(tǒng)、患者培訓(xùn)子系統(tǒng)、后臺管理子系統(tǒng)構(gòu)建了康復(fù)系統(tǒng)，但該系統(tǒng)主要用于康復(fù)管理，依賴于主動輸入的數(shù)據(jù)。

為了探索機(jī)器人遠(yuǎn)程輔助康復(fù)治療方法，Liu等人［11］設(shè)計(jì)了居家環(huán)境下的遠(yuǎn)程康復(fù)系統(tǒng)。通過觸覺引導(dǎo)訓(xùn)練和基于肌電信號的監(jiān)督訓(xùn)練，患者在治療師的引導(dǎo)下能夠進(jìn)行機(jī)器人輔助的被動康復(fù)或自主康復(fù)訓(xùn)練，該系統(tǒng)依賴可穿戴設(shè)備和治療師的指導(dǎo)。Fan等人［12］提出了用于家庭呼吸康復(fù)鍛煉的非接觸式運(yùn)動監(jiān)測和評估系統(tǒng)。該系統(tǒng)通過多波段微波傳感技術(shù)實(shí)時(shí)監(jiān)控患者的康復(fù)訓(xùn)練情況，訓(xùn)練后基于運(yùn)動信息評估康復(fù)運(yùn)動的質(zhì)量，無法做到實(shí)時(shí)評估。Bai等人［13］運(yùn)用多傳感器融合技術(shù)（包括Kinect和姿態(tài)傳感器）監(jiān)測運(yùn)動軌跡，進(jìn)而研制了上肢康復(fù)訓(xùn)練評估系統(tǒng)。此系統(tǒng)采用Fugl-Meyer運(yùn)動評分表評估康復(fù)動作，但其僅適用于解決上肢動作軌跡不一致的問題。Kim等人［14］通過在天花板安裝軌道平臺和手推車構(gòu)建康復(fù)訓(xùn)練系統(tǒng)，該系統(tǒng)能夠通過檢測運(yùn)動意圖進(jìn)而預(yù)知患者移動方向。

上述研究僅通過虛擬現(xiàn)實(shí)或者機(jī)器人輔助來進(jìn)行康復(fù)訓(xùn)練評估，沒有進(jìn)一步探索與人工智能相結(jié)合的動作評估方法。為了評估太極運(yùn)動，Li等人［15］將評估方法與RGB-D相機(jī)結(jié)合，開發(fā)了實(shí)時(shí)智能動作質(zhì)量分析系統(tǒng)，但該系統(tǒng)僅適用于太極運(yùn)動的動作評估。Parsa等人［16］為在線動作識別提出了一種時(shí)空金字塔圖卷積網(wǎng)絡(luò)，在姿態(tài)估計(jì)任務(wù)中，該方法取得了高準(zhǔn)確率并具備良好的實(shí)時(shí)性。Zhang等人［17］提出了基于時(shí)空特征的動作評估模型，通過捕捉全局時(shí)空特征中的深度依賴性來解決表達(dá)和泛化能力不足的問題。

在康復(fù)訓(xùn)練過程中，由于人體動作與骨骼關(guān)鍵點(diǎn)之間存在十分密切的聯(lián)系，通過人體骨骼關(guān)鍵點(diǎn)的變化可以反映出執(zhí)行動作的姿勢、肢體運(yùn)動路徑等方面的信息，并且隨著人體姿態(tài)估計(jì)算法的發(fā)展，人體骨骼關(guān)鍵點(diǎn)檢測精確度也越來越高。將其應(yīng)用于康復(fù)訓(xùn)練，實(shí)現(xiàn)動作精準(zhǔn)識別的同時(shí)也可以為康復(fù)訓(xùn)練提供更加科學(xué)的評估和指導(dǎo)。面對心血管患者日?？祻?fù)訓(xùn)練中存在的問題，特別是對康復(fù)中心專業(yè)醫(yī)務(wù)人員現(xiàn)場指導(dǎo)的依賴，圍繞獲得支撐心血管患者自主康復(fù)訓(xùn)練的動作評估系統(tǒng)，本文提出基于人體關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動作評估方法。

1 康復(fù)訓(xùn)練動作評估數(shù)據(jù)集構(gòu)建

當(dāng)前，已有由Kinect傳感器采集制作成的康復(fù)運(yùn)動數(shù)據(jù)集UI-PRMD，只支持康復(fù)訓(xùn)練中與鍛煉相關(guān)的常見動作識別，而不適用于心血管患者的康復(fù)訓(xùn)練。另一方面，其數(shù)據(jù)均由人體關(guān)鍵點(diǎn)坐標(biāo)構(gòu)成，無法實(shí)現(xiàn)端到端的動作識別與評估。因此，本文根據(jù)康復(fù)訓(xùn)練動作規(guī)范的指導(dǎo)［18］，構(gòu)建了心血管患者康復(fù)訓(xùn)練數(shù)據(jù)集，以達(dá)到居家環(huán)境心血管患者康復(fù)訓(xùn)練動作評估的目的?？祻?fù)訓(xùn)練動作數(shù)據(jù)集構(gòu)建方案與過程如下：

1）數(shù)據(jù)采集設(shè)備 采用SAMSUNG S21+智能手機(jī)作為數(shù)據(jù)采集設(shè)備。

2）參與人員 邀請課題組內(nèi)五位研究生作為志愿者參與視頻數(shù)據(jù)的采集。五位志愿者體重在60～75 kg，身高在1.60～1.85 m，符合大多數(shù)人的身材比例。

3）動作類型 動作類型分為10類康復(fù)動作及1類日?；顒觿幼?。10類康復(fù)動作分別為：手臂上舉（C1）、雙臂上下擺動（C2）、胸部舒張（C3）、胳膊伸展（C4）、用臂畫圈（C5）、下拉（C6）、抱頭后轉(zhuǎn)（C7）、下蹲（C8）、抬腿（C9）、側(cè)躺伸腿（C10）。1類日?；顒觿幼鳛椴叫校–11）。圖1是不同動作類型示例圖。

4）采集方案

a）訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)的采集。康復(fù)動作數(shù)據(jù)集包含標(biāo)準(zhǔn)（S）動作視頻和非標(biāo)準(zhǔn)（NS）動作視頻。非標(biāo)準(zhǔn)動作是指不符合規(guī)范的動作或者完成度不符合要求的動作，完成度不符合要求是指超過一定閾值的動作（閾值將在3.2節(jié)中進(jìn)行討論）。針對10類康復(fù)動作與1類日常動作，其標(biāo)準(zhǔn)動作視頻由5位實(shí)驗(yàn)人員分別在強(qiáng)光近距離、強(qiáng)光遠(yuǎn)距離、弱光近距離、弱光遠(yuǎn)距離4種不同環(huán)境下拍攝，每類動作完成2～4次，同一類動作完成次數(shù)相同，每種環(huán)境采集1個(gè)樣本，每類動作共采集20個(gè)樣本。為防止后期動作識別網(wǎng)絡(luò)訓(xùn)練過擬合，只在強(qiáng)光近距離環(huán)境下采集10類康復(fù)動作的非標(biāo)準(zhǔn)動作視頻，每類動作采集1個(gè)樣本。采集過程中攝像頭位置固定，近距離與遠(yuǎn)距離代表攝像頭到被測人員的垂直距離，近距離為3.8 m，遠(yuǎn)距離為7.5 m。每個(gè)動作樣本持續(xù)時(shí)間為5～9 s，視頻幀率為30，采集過程中動作連續(xù)進(jìn)行。

b）測試數(shù)據(jù)的采集。本文設(shè)計(jì)了兩類測試數(shù)據(jù)來檢驗(yàn)?zāi)Ｐ偷膭幼髑蟹峙c評估性能。實(shí)驗(yàn)方案設(shè)計(jì)如下：

實(shí)驗(yàn)A 實(shí)驗(yàn)環(huán)境與訓(xùn)練驗(yàn)證數(shù)據(jù)相同，測試人員不同。這一實(shí)驗(yàn)驗(yàn)證在訓(xùn)練數(shù)據(jù)集環(huán)境相同時(shí)，本文康復(fù)訓(xùn)練動作切分與評估方法面向不同被測對象的魯棒性。

實(shí)驗(yàn)B 實(shí)驗(yàn)環(huán)境不同，測試人員相同。這一實(shí)驗(yàn)驗(yàn)證訓(xùn)練數(shù)據(jù)集環(huán)境變化后，本文模型對不同環(huán)境的適應(yīng)能力。

在實(shí)驗(yàn)B中用中等強(qiáng)度光代替弱光，其余采集方案與訓(xùn)練數(shù)據(jù)采集方案相同。每個(gè)測試類別包括40個(gè)標(biāo)準(zhǔn)視頻、10個(gè)非標(biāo)準(zhǔn)視頻和4個(gè)日常動作視頻，因此測試數(shù)據(jù)集共有108個(gè)視頻?？紤]到C9和C10類別的動作特點(diǎn)與Faster R-CNN的算法特點(diǎn)（需要先檢測到視頻中的人體才能進(jìn)行關(guān)鍵點(diǎn)檢測），將實(shí)驗(yàn)A與B中C9和C10類別的視頻分別旋轉(zhuǎn)45°或60°，以提高人體檢測的成功率。

5）數(shù)據(jù)處理 根據(jù)文獻(xiàn)［19］的數(shù)據(jù)增強(qiáng)方法，對上述采集到的訓(xùn)練與驗(yàn)證數(shù)據(jù)通過對稱變換、旋轉(zhuǎn)、添加噪聲等方式進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)擴(kuò)充1倍，得到訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)共有540個(gè)視頻。將這些視頻按照7∶3劃分訓(xùn)練集和驗(yàn)證集，同時(shí)確保每類動作樣本比例均衡。由于測試數(shù)據(jù)包含108個(gè)視頻，所以康復(fù)訓(xùn)練動作評估數(shù)據(jù)集共有648個(gè)視頻，表1是數(shù)據(jù)集的基本信息。對訓(xùn)練集和驗(yàn)證集的每個(gè)視頻分別進(jìn)行分類標(biāo)注，并用Faster R-CNN和HRNet分別對每個(gè)視頻進(jìn)行特征提取，得到每個(gè)樣本對應(yīng)的含有人體位置信息和關(guān)鍵點(diǎn)信息的pkl文件。

2 基于人體關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動作評估算法

為緩解患者日?？祻?fù)訓(xùn)練依賴于康復(fù)中心專業(yè)醫(yī)務(wù)人員現(xiàn)場指導(dǎo)的問題，圍繞獲得支撐心血管患者自主康復(fù)訓(xùn)練的動作評估系統(tǒng)，本章基于人體骨骼關(guān)鍵點(diǎn)提出心血管患者康復(fù)訓(xùn)練動作評估方法（ASRT-PHS）。ASRT-PHS包括動作分類、動作切分與動作評估三個(gè)模塊，其算法流程如下：

輸入：用戶康復(fù)訓(xùn)練的視頻VT；康復(fù)訓(xùn)練動作評估模型Fmodel；康復(fù)訓(xùn)練動作類別集合Flabel={C1，…，C11，CQ1，…，CQ10}；康復(fù)訓(xùn)練動作是否標(biāo)準(zhǔn)的判定閾值區(qū)間集合θ={c1，…，cy，…，c10}；動作切分閾值區(qū)間集合r={d1，…，dy，…，d10}；判定單個(gè)康復(fù)訓(xùn)練動作為標(biāo)準(zhǔn)完整動作的視頻幀比率α。

輸出：動作類別與評分序列對序列W、總動作數(shù)N和標(biāo)準(zhǔn)動作數(shù)ST。

a）初始化參數(shù)及模型。加載模型運(yùn)行所需的相關(guān)參數(shù)，讀取康復(fù)訓(xùn)練動作類別集合Flabel=｛C1，…，C11，CQ1，…， CQ10｝。初始化視頻讀取開始時(shí)間T=0，動作總數(shù)N=0， 康復(fù)訓(xùn)練動作是否標(biāo)準(zhǔn)的判定閾值區(qū)間集合θ=｛c1，…，cy，…，c11｝，判定單個(gè)康復(fù)訓(xùn)練動作為標(biāo)準(zhǔn)完整動作的視頻幀比率α，W=。

b）讀取輸入視頻流VT ={f1…ft…fm }（t=1，2，…，m， m為幀數(shù)）的幀數(shù)；檢測框坐標(biāo)集合PT=，人體關(guān)鍵點(diǎn)信息集合KT=。

c）對于每一幀ft（t=1，2，…，m）∈VT：//人體位置檢測

（a）人體位置信息檢測框坐標(biāo)pt=;

（b）用Faster R-CNN模型［20］檢測人體在視頻幀ft中的位置，獲得視頻幀ft中人體位置信息檢測框坐標(biāo)pt;

（c）PT =PT∪pt。

d）如果PT==，轉(zhuǎn)步驟b）。

e）對于pt（t=1，2，…，m）∈PT∩pt≠：//進(jìn)行姿態(tài)估計(jì)

（a）人體關(guān)鍵點(diǎn)信息序列kt=;

（b）采用HRNet模型獲得pt所對應(yīng)視頻幀ft中的人體關(guān)鍵點(diǎn)信息序列kt=（kt0，…，ktj，…，kt16）；

（c）KT= KT∪kt。

f）如果KT==，轉(zhuǎn)步驟b）。

g）以Fmodel、康復(fù)訓(xùn)練動作類別集合Flabel、PT和KT作為輸入數(shù)據(jù)，采用動作分類模型獲得視頻流VT所屬的分類結(jié)果CT。

h）如果CTFlabel，轉(zhuǎn)步驟b）。

i）初始當(dāng)前視頻VT的標(biāo)準(zhǔn)動作數(shù)ST=0，動作符合要求的幀數(shù)量Stemp=0， 判斷當(dāng)前幀的臨時(shí)變量ftemp=0，VT中單個(gè)動作的開始幀g=0，視頻切分結(jié)果集合ET=。

j）遍歷視頻所有幀，根據(jù)人體關(guān)鍵點(diǎn)序列kt∈KT：得到關(guān)鍵關(guān)節(jié)的向量表示r1 ={r10，…，r1t，…，r1m}和r2 ={r20，…，r2t，…，r2m}。

k）對于當(dāng)前動作的每一幀的人體關(guān)鍵點(diǎn)序列kt∈KT：/*康復(fù)訓(xùn)練動作切分*/

（a）根據(jù)不同關(guān)節(jié)向量r2和r1的比值計(jì)算動作切分閾值r。

（b）如果r處于CT類別對應(yīng)的動作切分閾值dy范圍內(nèi)并且ft-ftemp>30，則ET =ET∪ft，ftemp=ft。

l）對每一個(gè)動作切分結(jié)果lt∈ET：

遍歷從該動作開始幀g到結(jié)束幀lt的所有幀。

m）對于當(dāng)前動作的每一幀的人體關(guān)鍵點(diǎn)序列kt∈KT： /*判定幀動作是否為標(biāo)準(zhǔn)動作并計(jì)數(shù)*/

（a）根據(jù)人體關(guān)鍵點(diǎn)序列kt采用反正切公式計(jì)算關(guān)鍵關(guān)節(jié)角度At。

（b）如果At處于CT類別對應(yīng)的動作評估閾值cy范圍內(nèi)，則Stemp=Stemp+1。

（c）如果α≤動作評分結(jié)果X=Stemp/（lt-g），則記錄標(biāo)準(zhǔn)動作數(shù)ST=ST+1， Stemp=0，g=lt，記錄完整動作數(shù)N=N+1，形成動作評分序列對w （CT，X），且W=W∪w;

n）如果程序終止，則輸出W，總動作數(shù)N和標(biāo)準(zhǔn)動作數(shù)ST，否則轉(zhuǎn)b）。

步驟c）（b）中每個(gè)被檢測目標(biāo)都具有置信度，當(dāng)被檢測目標(biāo)置信度不低于0.95時(shí)判定為檢測成功。步驟e）（b）中HRNet模型需要在MSCOCO數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練［21，22］。

步驟k）（a）中任何一類康復(fù)訓(xùn)練動作在練習(xí)過程中始終存在長度不變的關(guān)節(jié)向量（由位置不變的兩個(gè)關(guān)節(jié)點(diǎn)的橫縱坐標(biāo)差值的絕對值構(gòu)成，記為r1）和長度循環(huán)變化的關(guān)鍵動作關(guān)節(jié)向量（由關(guān)鍵關(guān)節(jié)點(diǎn)的橫縱坐標(biāo)差值的絕對值構(gòu)成，記為r2），因此，可以將r2映射到以r1為x軸的坐標(biāo)系中，通過計(jì)算r2與r1的比值r，當(dāng)r達(dá)到一定閾值則說明一個(gè)動作完成，且r不會隨相機(jī)與受試者的距離變化。例如動作類別arm up，由關(guān)節(jié)（9，11）構(gòu)成的關(guān)鍵關(guān)節(jié)r2與關(guān)節(jié)（11，12）構(gòu)成的長度固定關(guān)節(jié)r1的比值可由式（1）得到。

r=r2r1=y9-y11x11-x12（1）

其中：x11、x12分別為該幀關(guān)節(jié)點(diǎn)11和12的橫坐標(biāo)；y9、y11分別為該幀關(guān)節(jié)點(diǎn)9和11的縱坐標(biāo)。由于比值r是先增大后減小，當(dāng)動作完成時(shí)r接近0，所以可以設(shè)置閾值為r<0.1來切分視頻中的動作。為了排除因相鄰兩幀閾值r相同而導(dǎo)致的切分錯(cuò)誤，設(shè)置了判斷相鄰兩個(gè)r是否超過30的條件以提高動作切分的準(zhǔn)確度。表2是其他動作類別對應(yīng)的用于切分的動作關(guān)節(jié)距離計(jì)算以及切分閾值。

步驟m）（a）根據(jù)文獻(xiàn)［4］得到每類動作的關(guān)鍵關(guān)節(jié)，針對不同動作類別設(shè)置不同角度閾值來判斷動作的標(biāo)準(zhǔn)度。例如動作類別stretch arm（C4），關(guān)鍵動作為“手臂向上伸展的同時(shí)與伸出手臂相反的腳后蹬，同時(shí)另外一只手臂從體側(cè)向后伸展”，其對應(yīng)的關(guān)鍵關(guān)節(jié)點(diǎn)為圖1中的（5，7，9）和（10，8，6）。表3展示了其他動作類別關(guān)鍵動作對應(yīng)的關(guān)鍵關(guān)節(jié)。kt通過反正切函數(shù)來計(jì)算得到不同動作類別關(guān)鍵關(guān)節(jié)對應(yīng)角度。例如關(guān)鍵點(diǎn)（5，7，9）構(gòu)成的關(guān)節(jié)579所對應(yīng)的∠579，角度At可由式（2）得到。

angle579=arctan（y9-y7x9-x7）-arctan（y5-y7x5-x7）（2）

其中：x5、y5分別代表關(guān)節(jié)點(diǎn)5的橫坐標(biāo)和縱坐標(biāo)；x7、y7分別代表關(guān)節(jié)點(diǎn)7的橫坐標(biāo)和縱坐標(biāo)；x9、y9分別代表關(guān)節(jié)點(diǎn)9的橫坐標(biāo)和縱坐標(biāo)。

步驟m）（b）中，實(shí)驗(yàn)人員對每個(gè)康復(fù)訓(xùn)練動作進(jìn)行標(biāo)準(zhǔn)度判斷，然后通過模型獲取每一幀的關(guān)節(jié)角度閾值。具體方法為：對于訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)采集的視頻，測試人員判斷視頻中每個(gè)動作是否標(biāo)準(zhǔn)，同時(shí)利用模型計(jì)算每幀動作的關(guān)鍵關(guān)節(jié)角度，從而得到標(biāo)準(zhǔn)動作的閾值。例如動作類別stretch arm，分別作出：a）右臂向上伸展，同時(shí)伸出左腳后蹬，左臂向后伸展；b）左臂向上伸展，同時(shí)伸出右腳后蹬，右臂向后伸展。當(dāng)左腋下（由關(guān)節(jié)點(diǎn)（7，5，11）構(gòu)成的關(guān)節(jié)）角度小于90時(shí)且當(dāng)右肘（由關(guān)節(jié)點(diǎn)（10，8，6）構(gòu)成的關(guān)節(jié)）角度閾值為［160，240］時(shí)判定該動作標(biāo)準(zhǔn)，當(dāng)右腋下（由關(guān)節(jié)點(diǎn)（8，6，12）構(gòu)成的關(guān)節(jié)）角度小于90時(shí)且當(dāng)左肘（由關(guān)節(jié)點(diǎn)（5，7，9）構(gòu)成的關(guān)節(jié)）角度閾值為［140，220］時(shí)判定該動作標(biāo)準(zhǔn)，否則該動作為非標(biāo)準(zhǔn)。表3中是其他康復(fù)訓(xùn)練動作類別的關(guān)節(jié)角度評估閾值。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)處理器采用 Intel Core i5-10400，內(nèi)存為16 GB，顯卡為 GTX1050 Ti，顯存為4 GB，通過1080P攝像頭采集視頻，操作系統(tǒng)為Ubuntu 20.04，基于PyTorch深度學(xué)習(xí)框架進(jìn)行姿態(tài)估計(jì)模型及動作分類網(wǎng)絡(luò)的搭建，并使用GPU加速姿態(tài)估計(jì)與動作識別模型的識別過程。

3.1 實(shí)驗(yàn)方案和指標(biāo)

采用動作切分的準(zhǔn)確率和動作評估的準(zhǔn)確率、推理速度以及動作識別的top-1準(zhǔn)確率測試方法的性能。針對動作評估的準(zhǔn)確率，每個(gè)視頻的動作評估準(zhǔn)確率Si的計(jì)算方法為

Si=STN（3）

所有視頻測試完成后，該類康復(fù)訓(xùn)練動作的評估準(zhǔn)確率計(jì)算公式為

SA=∑Siq（4）

其中：SA代表該類動作評估準(zhǔn)確率；q代表該類動作視頻數(shù)。

針對動作切分的準(zhǔn)確率，視頻中每個(gè)動作經(jīng)過模型處理后可以得到切分開始幀與切分結(jié)束幀，同時(shí)每個(gè)動作具有實(shí)際的開始幀與結(jié)束幀，則模型正確切分部分計(jì)算公式為

TP=（Os，Oe）∩（Hs，He）（5）

其中：Os和Oe分別表示模型切分得到的動作開始幀與結(jié)束幀；Hs和He表示動作的實(shí)際開始幀與實(shí)際結(jié)束幀。

切分后實(shí)際動作與切分動作所占的總幀數(shù)為

AP=（Os，Oe）∪（Hs，He）（6）

單個(gè)視頻中每個(gè)動作模型切分的準(zhǔn)確率Preseg的計(jì)算公式為

Preseg=TPAP（7）

其中：TP是模型正確切分的動作幀數(shù);AP是模型錯(cuò)誤切分的動作幀數(shù)。每個(gè)視頻的切分準(zhǔn)確率Vpre的計(jì)算公式為

Vpre=∑PresegN（8）

每個(gè)動作類別模型切分的準(zhǔn)確率Cn的計(jì)算公式為

Cn=∑Vpreq n=1，2，…，10（9）

3.2 不同關(guān)節(jié)角度閾值實(shí)驗(yàn)

為了更全面地優(yōu)化模型性能，著重考慮兩個(gè)關(guān)鍵方面：針對不同類別動作關(guān)鍵關(guān)節(jié)的判定準(zhǔn)確率以及模型在應(yīng)對不同受試者時(shí)的適用性。因此，對每個(gè)動作類別分別設(shè)置動作關(guān)鍵關(guān)節(jié)與評估閾值。針對每類動作分別選取不同實(shí)驗(yàn)人員的5個(gè)視頻，通過分析視頻數(shù)據(jù)并與實(shí)驗(yàn)人員討論，得出用于該動作評估的大致閾值。在此基礎(chǔ)上對閾值進(jìn)行微調(diào)，得到3組不同的閾值。通過模型測試與實(shí)驗(yàn)人員驗(yàn)證得出每類動作的5個(gè)視頻中不同閾值評估的準(zhǔn)確率。具體來說，當(dāng)每個(gè)視頻中70%的幀經(jīng)過系統(tǒng)判定為標(biāo)準(zhǔn)并符合實(shí)驗(yàn)人員驗(yàn)證時(shí)，該動作判定為標(biāo)準(zhǔn)，同時(shí)根據(jù)式（3）（4）計(jì)算每類動作在不同閾值下的評估準(zhǔn)確率。觀察表3可知，不同閾值設(shè)置對評估準(zhǔn)確率存在影響，閾值2在動作評估中的準(zhǔn)確率相對于閾值1和3要更高，相同條件下能實(shí)現(xiàn)評估的結(jié)果更加準(zhǔn)確，因此選取該閾值進(jìn)行后續(xù)實(shí)驗(yàn)驗(yàn)證與測試。

3.3 不同動作識別模型與α值實(shí)驗(yàn)

考慮到不同的動作識別模型對算法的性能有影響，因此，本節(jié)選擇代表性動作識別模型進(jìn)行測試，進(jìn)而選擇出最匹配的動作識別模型。表4是所選擇的模型與特點(diǎn)統(tǒng)計(jì)。

為了充分考慮各模型的特征并實(shí)現(xiàn)更高的準(zhǔn)確率，表4中MSSTNet在訓(xùn)練時(shí)的學(xué)習(xí)率設(shè)定為0.001，而其他模型則使用學(xué)習(xí)率為0.1進(jìn)行訓(xùn)練。訓(xùn)練循環(huán)30輪，batch-size為4。表5是不同模型的性能比較結(jié)果。與此同時(shí)，測試了這些方法在訓(xùn)練后的推理速度，結(jié)果也列在了表5中。為了探究不同方法top-1準(zhǔn)確率和模型推理速度之間的關(guān)系，將表5中的數(shù)據(jù)按推理速度升序排列進(jìn)行整理，圖2是不同模型的top-1準(zhǔn)確率與推理速度比較結(jié)果。

由表5可知，在不同模型的效率方面，基于GCN的模型相較于基于CNN的模型表現(xiàn)出更低的GFLOPs和更高的top-1準(zhǔn)確率。以CTR-GCN為例，盡管其GFLOPs和MParams相較于ST-GCN++較高，但卻表現(xiàn)出最高的top-1準(zhǔn)確率，因此適用于對top-1準(zhǔn)確率要求較高的場景。AAGCN在準(zhǔn)確率和推理速度之間取得了平衡。ST-GCN具有最高的推理速度，但top-1準(zhǔn)確率低于其他GCN模型，適用于對推理實(shí)時(shí)性有更高要求的環(huán)境。ST-GCN++具有較高的top-1準(zhǔn)確率、與CTR-GCN相近的推理速度與更低的GFLOPs和MParams，適用于計(jì)算資源有限的環(huán)境。在CNN模型中，Slowonly具有與ST-GCN++相近的top-1準(zhǔn)確率，但推理速度遠(yuǎn)低于STGCN++，且具有更高的GFLOPs，對計(jì)算資源的要求也更高。MSSTNet模型展現(xiàn)出相對較低的模型復(fù)雜度，然而其top-1準(zhǔn)確率較低。相較于GCN模型，MSSTNet并未表現(xiàn)出顯著優(yōu)勢。

觀察圖2可知，隨著模型推理速度的增加，不同模型的top-1準(zhǔn)確率呈現(xiàn)上升或下降的趨勢。雖然STGCN的推理速度最快，但模型的top-1準(zhǔn)確率較低；CTR-GCN的推理速度不如ST-GCN，但top-1準(zhǔn)確率最高。根據(jù)這種規(guī)律可以對這些方法進(jìn)行分類：一類為推理速度慢但top-1準(zhǔn)確率高的模型，如Slowonly、CTR-GCN、ST-GCN++；另一類為推理速度較快但top-1準(zhǔn)確率低的模型，如ST-GCN、AA-GCN、MSSTNet。綜合對比考慮，選擇CTR-GCN作為動作識別模型進(jìn)行后續(xù)實(shí)驗(yàn)。

接下來，將詳細(xì)探討不同α值對動作評估準(zhǔn)確率的影響。如3.2節(jié)所述，當(dāng)每個(gè)視頻中70%的幀經(jīng)系統(tǒng)判定為標(biāo)準(zhǔn)并符合實(shí)驗(yàn)人員驗(yàn)證時(shí)，動作評估判定為正確。為了研究系統(tǒng)所判定的標(biāo)準(zhǔn)幀數(shù)對動作評估準(zhǔn)確度的影響，采用3.2節(jié)中閾值實(shí)驗(yàn)的測試方案，分別測試當(dāng)α為70%、80%、90%時(shí)動作評估的準(zhǔn)確率。在統(tǒng)計(jì)結(jié)果時(shí)排除了所有因分類錯(cuò)誤導(dǎo)致系統(tǒng)判斷錯(cuò)誤的數(shù)據(jù)。表6是動作評估準(zhǔn)確率在不同α值下的測試結(jié)果。

由于同一動作當(dāng)α>70增大時(shí)準(zhǔn)確率下降，綜合對比，當(dāng)α>70時(shí)可以作為通用的動作評估判定標(biāo)準(zhǔn)。與此同時(shí)，根據(jù)用戶動作差異，不同的α取值范圍可以提供不同的動作評估判斷標(biāo)準(zhǔn)。綜上所述，當(dāng)以CTR-GCN為動作識別模型，閾值2為判定閾值，α>70為動作評估判定標(biāo)準(zhǔn)時(shí)，算法具有最佳的性能。因此后續(xù)集成的系統(tǒng)中，選擇上述參數(shù)作為ASRT-PHS默認(rèn)工作參數(shù)。

3.4 算法性能分析

基于上述算法、評價(jià)指標(biāo)與最優(yōu)工作參數(shù)，以及3.1節(jié)所給出的計(jì)算公式計(jì)算每個(gè)動作類別的評估準(zhǔn)確率和切分準(zhǔn)確率。表7是實(shí)驗(yàn)A、B中不同類別的動作切分與評估統(tǒng)計(jì)結(jié)果。

觀察表7可知，在動作切分的準(zhǔn)確率方面，多數(shù)動作類別表現(xiàn)出較高的準(zhǔn)確率，其中實(shí)驗(yàn)A、B的動作切分平均準(zhǔn)確率分別達(dá)到了73.6%和81.5%。XHpS2BMn1j187vpPYEpXkH93PX0Z/A1iOOMNHldh0yU=然而，動作類別C5的準(zhǔn)確率相對較低，這是由于關(guān)鍵點(diǎn)檢測過程中出現(xiàn)抖動，導(dǎo)致部分關(guān)鍵點(diǎn)的丟失，進(jìn)而影響了動作切分的準(zhǔn)確性。對于C9和C10類別的視頻，進(jìn)行了旋轉(zhuǎn)處理，以確保人體檢測的成功率。然而，這一處理導(dǎo)致在部分遠(yuǎn)距離拍攝的視頻中，旋轉(zhuǎn)后的坐標(biāo)點(diǎn)位置相對于原始視頻發(fā)生較大的變化，因此對于相同的閾值r，其準(zhǔn)確率會低于近距離所拍攝視頻。對于C7類別，在實(shí)驗(yàn)A中準(zhǔn)確率為83%，這是由于該類別包含了身體轉(zhuǎn)向的步驟，當(dāng)受試者朝后轉(zhuǎn)向時(shí)存在關(guān)鍵點(diǎn)遮擋，導(dǎo)致部分幀的關(guān)鍵點(diǎn)坐標(biāo)出現(xiàn)錯(cuò)誤?？傮w而言，這些觀察結(jié)果表明，在動作切分過程中需要考慮抖動問題和距離變化對準(zhǔn)確率的影響，以便更有效地處理不同拍攝情境下的視頻數(shù)據(jù)。

由表7中ASRT-PHS動作評估的平均準(zhǔn)確率為87%可知，本文方法在動作評估方面表現(xiàn)出良好的性能。具體而言，實(shí)驗(yàn)A與B的平均準(zhǔn)確率分別達(dá)到84%和90%，表明在不同實(shí)驗(yàn)條件下，多數(shù)動作類別的評估準(zhǔn)確率較高。然而，實(shí)驗(yàn)B在強(qiáng)光下的動作評估結(jié)果準(zhǔn)確率較高，表明環(huán)境光照強(qiáng)度對該類動作評估產(chǎn)生了影響。C2和C3類別在實(shí)驗(yàn)A中的準(zhǔn)確率較低，是由于不同實(shí)驗(yàn)人員雙臂彎曲的程度不同，對于相同評估閾值設(shè)置得到不同評估結(jié)果，進(jìn)而影響了評估的準(zhǔn)確性。針對這種差異性，實(shí)際工作中需要根據(jù)不同受試者的動作特征設(shè)置不同的評估閾值，以提高算法的適應(yīng)性。對于C5和C6類別，由于完成動作時(shí)需要彎腰，不同實(shí)驗(yàn)人員存在運(yùn)動差異，且同一實(shí)驗(yàn)人員每次完成動作也存在細(xì)微差異，導(dǎo)致評估準(zhǔn)確率較低。同時(shí)C6類別的評估準(zhǔn)確率也受到動作識別錯(cuò)誤的影響（動作識別錯(cuò)誤導(dǎo)致用其他類別的閾值來評估），因此在實(shí)際應(yīng)用中需要針對動作特點(diǎn)進(jìn)一步優(yōu)化動作識別模型。C7類別是由于完成動作時(shí)需要轉(zhuǎn)頭至身后，存在部分關(guān)鍵點(diǎn)遮擋，導(dǎo)致無法準(zhǔn)確識別運(yùn)動信息。在實(shí)驗(yàn)B中，C9類別的動作評估準(zhǔn)確率為75%，說明經(jīng)過順時(shí)針45°旋轉(zhuǎn)處理后，視頻的動作識別成功

率提高，但由于旋轉(zhuǎn)后關(guān)鍵點(diǎn)坐標(biāo)位置變化，在相同的閾值條件下，觀察到遠(yuǎn)距離拍攝視頻的準(zhǔn)確率相對較低，所以近距離拍攝條件更適用于實(shí)際工作。同時(shí)，不同實(shí)驗(yàn)人員存在運(yùn)動差異，尤其是抬腿時(shí)的幅度不同，導(dǎo)致C9和C10類別在實(shí)驗(yàn)A和B中的準(zhǔn)確率存在差異。最后，動作類別C3和C6均含有胳膊彎曲和身體轉(zhuǎn)向的動作，導(dǎo)致運(yùn)動過程中存在部分關(guān)鍵點(diǎn)遮擋，因此在實(shí)驗(yàn)A和B中的準(zhǔn)確率較低。這一現(xiàn)象進(jìn)一步表明關(guān)鍵點(diǎn)遮擋對準(zhǔn)確率會產(chǎn)生顯著的負(fù)面影響，在實(shí)際工作中需要根據(jù)患者的運(yùn)動特征調(diào)整閾值以確保判定準(zhǔn)確性。

4 案例分析

根據(jù)上述研究，運(yùn)用ASRT-PHS開發(fā)了康復(fù)訓(xùn)練動作評估系統(tǒng)。系統(tǒng)的總體框架包括前端與后端兩個(gè)部分。以攝像頭采集的實(shí)時(shí)視頻流或錄制視頻數(shù)據(jù)作為輸入，以終端的動作分類和評估結(jié)果作為輸出。為了實(shí)現(xiàn)前后端的有效交互，系統(tǒng)以前后端分離的形式進(jìn)行設(shè)計(jì)，給前端提供API接口，后端采用Flask封裝深度學(xué)習(xí)模塊、登錄模塊和MySQL數(shù)據(jù)庫模塊，前端界面采用Vue構(gòu)建。Axios用于前端和后端交互。系統(tǒng)的運(yùn)行流程如下：通過前端采集康復(fù)訓(xùn)練動作視頻數(shù)據(jù)，由后端服務(wù)器運(yùn)行ASRT-PHS算法對輸入的視頻進(jìn)行相應(yīng)處理，輸出動作類別、動作切分結(jié)果與動作評估結(jié)果，再由前端展示輸出結(jié)果等交互界面。系統(tǒng)具有標(biāo)準(zhǔn)視頻示例、動作評估、實(shí)時(shí)檢測與數(shù)據(jù)統(tǒng)計(jì)四個(gè)功能。圖3為系統(tǒng)工作流程。

當(dāng)前，全國康復(fù)專業(yè)技術(shù)人員相對匱乏，據(jù)統(tǒng)計(jì)數(shù)據(jù)顯示，全國平均每10萬人口有一名康復(fù)治療專業(yè)技術(shù)人員［29］。為此，在貴州省職工醫(yī)院招募了一位心血管患者作為案例測試，驗(yàn)證并探討本文方法對心血管患者的適用性。該患者為男性，年齡50歲，具有大學(xué)文化程度，身高180 cm，體重70 kg，已經(jīng)接受過心血管疾病相關(guān)治療并處于康復(fù)階段。首先，給患者介紹了課題組的概況及相關(guān)研究內(nèi)容，并與患者簽訂了本文研究項(xiàng)目的知情同意書；其次，給患者示范了標(biāo)準(zhǔn)動作并告訴其動作要領(lǐng)；最后，在醫(yī)生的指導(dǎo)與協(xié)助下采集該患者的康復(fù)訓(xùn)練動作數(shù)據(jù)。用攝像頭采集視頻，其高度與3.1節(jié)采集時(shí)相同。讓患者完成10類康復(fù)訓(xùn)練動作，每類動作完成兩次共20個(gè)視頻。最后，將視頻輸入到系統(tǒng)中進(jìn)行處理并分析結(jié)果，考慮到患者與健康受試者的運(yùn)動差異，分別測試在不同閾值下動作切分和評估的準(zhǔn)確率。圖4是患者康復(fù)訓(xùn)練樣本，表8是案例測試結(jié)果。

觀察表8可知，動作切分和評估的平均準(zhǔn)確率為63.6%和71.3%，C2、C4、C8和C9類別動作評估的準(zhǔn)確率達(dá)到100%，表明本文方法對心血管患者的適用性較好。然而，C1和C3類別的動作評估準(zhǔn)確率較低，是由于患者未經(jīng)過康復(fù)動作的相關(guān)練習(xí)，與康復(fù)訓(xùn)練數(shù)據(jù)集中的健康受試者相比，部分動作步驟存在動作差異（例如患者左臂與右臂動作不能同步進(jìn)行）。實(shí)際應(yīng)用中需要根據(jù)不同患者的運(yùn)動情況，進(jìn)行動作切分與動作評估閾值的個(gè)性化設(shè)置。C6類別的準(zhǔn)確率較低，一方面是由于部分視頻動作識別錯(cuò)誤導(dǎo)致用其他的動作類別閾值評估；另一方面是由于患者腰部無法完全彎曲導(dǎo)致關(guān)鍵關(guān)節(jié)角度無法達(dá)到閾值標(biāo)準(zhǔn)。C7類別需要患者身體轉(zhuǎn)向后方，在此過程中會存在部分關(guān)鍵點(diǎn)遮擋，因此準(zhǔn)確率較低。對于經(jīng)過旋轉(zhuǎn)的C9和C10類別視頻，盡管得到了關(guān)鍵點(diǎn)信息，但部分視頻會由于分類錯(cuò)誤導(dǎo)致動作切分與評估錯(cuò)誤，所以針對未檢測成功的樣本需要調(diào)整攝像頭視角以確保完全檢測到人體信息。而動作切分準(zhǔn)確率較低的C1、C5、C7、C10類別，是由于患者的運(yùn)動差異導(dǎo)致動作完成度未達(dá)到切分閾值標(biāo)準(zhǔn)，首個(gè)動作切分誤差引起了后續(xù)動作的切分誤差。綜上所述，ASRT-PHS適用于心血管患者的康復(fù)訓(xùn)練，但仍需要根據(jù)不同患者的運(yùn)動情況對閾值進(jìn)行個(gè)性化調(diào)整。

5 結(jié)束語

合理的動作識別網(wǎng)絡(luò)參數(shù)、動作切分與評估閾值以及實(shí)驗(yàn)環(huán)境可以為心血管患者居家康復(fù)訓(xùn)練提供科學(xué)的指導(dǎo)與及時(shí)的評估反饋。本文通過人體位置檢測、人體關(guān)鍵點(diǎn)檢測、動作識別、基于關(guān)節(jié)距離比值的動作切分方法以及基于關(guān)鍵關(guān)節(jié)角度閾值的動作評估方法實(shí)現(xiàn)了康復(fù)訓(xùn)練動作的識別與評估。通過測試分析不同的動作識別算法、關(guān)鍵動作關(guān)節(jié)角度閾值以及多種實(shí)驗(yàn)環(huán)境下本文方法的性能表現(xiàn)，對康復(fù)系統(tǒng)的性能進(jìn)行了評估。并針對心血管患者進(jìn)行了案例測試與分析，進(jìn)而形成了一套基于人體骨骼關(guān)鍵點(diǎn)的心血管患者康復(fù)訓(xùn)練動作評估方法和系統(tǒng)，為心血管患者居家康復(fù)訓(xùn)練動作評估提供了輔助手段。鑒于人體關(guān)鍵點(diǎn)檢測算法對動作切分與評估結(jié)果有影響，未來將針對該問題展開研究，以提升系統(tǒng)在動作識別、動作評估和動作切分方面的準(zhǔn)確性，并通過考察不同患者的運(yùn)動差異來實(shí)現(xiàn)閾值的動態(tài)調(diào)整，以進(jìn)一步優(yōu)化康復(fù)訓(xùn)練動作評估系統(tǒng)的性能。

參考文獻(xiàn)：

［1］國家心血管病中心.《中國心血管健康與疾病報(bào)告》2020［J］. 心肺血管病雜志， 2021， 40（10）： 1005-1009. （National Center for Cardiovascular Diseases. Annual report on cardiovascular health and diseases in China 2020［J］. Journal of Cardiovascular & Pulmonary Diseases， 2021， 40（10）： 1005-1009.）

［2］王祎， 江露瑩， 吳岳， 等. 心血管疾病患者Ⅱ期心臟康復(fù)完成率及其影響因素分析［J］. 中國循環(huán)雜志， 2021，36（10）： 1003-1008. （Wang Yi， Jiang Luying， Wu Yue， et al. Completion rate and influencing factors of phase Ⅱ cardiac rehabilitation program in patients with cardiovascular disease ［J］. Chinese Circulation Journal， 2021， 36（10）： 1003-1008.）

［3］張延恒， 莫春暉， 張瑩， 等. 移動式康復(fù)訓(xùn)練機(jī)器人及下肢康復(fù)運(yùn)動分析［J］. 華中科技大學(xué)學(xué)報(bào)： 自然科學(xué)版， 2021，49（3）： 6-11. （Zhang Yanheng， Mo Chunhui， Zhang Ying， et al. Design and motion analysis of mobile rehabilitation training robot[J]. Journal Huazhong University of Science & Technology（Natural Science Edition）， 2021， 49（3）： 6-11.）

［4］陳書立， 張景景， 陳海洋， 等. 鏡像上肢康復(fù)機(jī)器人研究［J］. 計(jì)算機(jī)應(yīng)用研究， 2019， 36（2）： 321-326. （Chen Shuli， Zhang Jingjing， Chen Haiyang， et al. Research on mirror rehabilitation robot of upper limbs［J］. Application Research of Computers， 2019，36（2）： 321-326.）

［5］Wang Kaiwei， Wang Zhenghui， Ren Wu， et al. Design of sports rehabilitation training system based on EEMD algorithm［J］. Computational Intelligence and Neuroscience， 2022， 2022： article ID 9987313.

［6］Chen Pengcheng， Gao Nuo. Research of VR-BCI and its application in hand soft rehabilitation system［C］//Proc of the 7th International Conference on Virtual Reality. Piscataway， NJ： IEEE Press， 2021： 254-261.

［7］Liu Siyuan， Meng Deyuan， Cheng Long， et al. A virtual reality based training and assessment system for hand rehabilitation［C］//Proc of the 9th International Conference on Intelligent Control and Information Processing. Piscataway， NJ： IEEE Press， 2018： 33-38.

［8］Bortone I， Leonardis D， Mastronicola N， et al. Wearable haptics and immersive virtual reality rehabilitation training in children with neuromotor impairments［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering， 2018， 26（7）： 1469-1478.

［9］Maskeliūnas R， Damaevicˇius R， Blazˇauskas T， et al. BiomacVR： a virtual reality-based system for precise human posture and motion analysis in rehabilitation exercises using depth sensors［J］. Electro-nics， 2023， 12（2）： 339.

［10］Zhao Nana， Han Xiao， Chen Long. Construction and application of rehabilitation training system based on intelligent measurement and control［J］. Scientific Programming， 2022， 2022： article ID 4442590.

［11］Liu Yi， Guo Shuxiang， Yang Ziyi， et al. A home-based tele-rehabilitation system with enhanced therapist-patient remote interaction： a feasibility study［J］. IEEE Journal of Biomedical and Health Informatics， 2022， 26（8）： 4176-4186.

［12］Fan Dou， Yang Xiaodong， Zhao Nan， et al. Exercise monitoring and assessment system for home-based respiratory rehabilitation［J］. IEEE Sensors Journal， 2022， 22（19）： 18890-18902.

［13］Bai Jing， Song Aiguo. Development of a novel home based multi-scene upper limb rehabilitation training and evaluation system for post-stroke patients［J］. IEEE Access， 2019， 7： 9667-9677.

［14］Kim J N， Shin M Y， Chong W S， et al. Development of rail-based dynamic rehabilitation training system considering user’s movement［J］. Journal of Mechanics in Medicine and Biology， 2022， 22（3）： 2240003.

［15］Li Jianwei， Hu Haiqing， Xing Qingjun， et al. Tai Chi action quality assessment and visual analysis with a consumer RGB-D camera［C］//Proc of the 24th International Workshop on Multimedia Signal Proces-sing. Piscataway， NJ： IEEE Press， 2022： 1-6.

［16］Parsa B， Narayanan A， Dariush B. Spatio-temporal pyramid graph convolutions for human action recognition and postural assessment［C］//Proc of IEEE Winter Conference on Applications of Computer Vision. Piscataway， NJ： IEEE Press， 2020： 1069-1079.

［17］Zhang Zhitao， Wang Zhengyou， Zhuang Shanna， et al. Toward action recognition and assessment using SFAGCN and combinative regression model of spatiotemporal features［J］. Applied Intelligence， 2023， 53（1）： 757-768.

［18］何塞·曼努埃爾·桑斯·門希瓦爾. 人人都能看得懂的運(yùn)動康復(fù)指南： 全彩圖解版［M］. 董艷艷， 譯. 北京： 人民郵電出版社， 2017： 83-87. （José M S M. Guide to sports rehabilitation that everyone can understand： full color graphic［M］. Dong Yanyan， Trans. Beijing： Posts & Telecom Press， 2017： 83-87.）

［19］Papakipos Z， Bitton J. AugLy： data augmentations for adversarial robustness［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 156-162.

［20］Ren Shaoqing， He Kaiming， Girshick R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2017， 39： 1137-1149.

［21］Sun Ke， Xiao Bin， Liu Dong， et al. Deep high-resolution representation learning for human pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2019： 5686-5696.

［22］Luo Kexin， Yang Guanci， Li Yang， et al. Croup and pertussis cough sound classification algorithm based on channel attention and multiscale Mel-spectrogram［J］. Biomedical Signal Processing and Control， 2024， 91： 106073.

［23］Yan Sijie， Xiong Yuanjun， Lin Dahua. Spatial temporal graph convolutional networks for skeleton-based action recognition［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence and 30th Innovative Applications of Artificial Intelligence Conference and 8th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 7444-7452.

［24］Shi Lei， Zhang Yifan， Cheng Jian， et al. Skeleton-based action re-cognition with multi-stream adaptive graph convolutional networks［J］. IEEE Trans on Image Processing， 2020， 29： 9532-9545.

［25］Duan Haodong， Zhao Yue， Chen Kai， et al. Revisiting skeleton-based action recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2022： 2959-2968.

［26］Chen Yuxin， Zhang Ziqi， Yuan Chunfeng， et al. Channel-wise topo-logy refinement graph convolution for skeleton-based action recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway， NJ： IEEE Press， 2021： 13339-13348.

［27］Duan Haodong， Wang Jiaqi， Chen Kai， et al. PYSKL： towards good practices for skeleton action recognition［C］//Proc of the 30th ACM International Conference on Multimedia. New York： ACM Press， 2022： 7351-7354.

［28］Cheng Qin， Cheng Jun， Ren Ziliang， et al. Multi-scale spatial-temporal convolutional neural network for skeleton-based action recognition［J］. Pattern Analysis and Applications， 2023， 26（3）： 1303-1315.

［29］張?jiān)Q飛， 楊延硯， 張娜， 等. 2021年度國家康復(fù)醫(yī)學(xué)專業(yè)醫(yī)療服務(wù)與質(zhì)量安全報(bào)告［J］. 中國康復(fù)理論與實(shí)踐， 2022， 28（12）： 1365-1379. （Zhang Yuanmingfei， Yang Yanyan， Zhang Na， et al. 2021 national report on rehabilitation medicine services， quality and safety in medical care system［J］. Chinese Journal of Rehabilitation Theory and Practice. 2022， 28（12）： 1365-1379.）