秦 靜，馬雪倩，高福杰，季長清，3，汪祖民*

（1.大連大學(xué) 軟件工程學(xué)院，遼寧 大連 116622；2.大連大學(xué) 信息工程學(xué)院，遼寧 大連 116622；3.大連大學(xué) 物理科學(xué)與技術(shù)學(xué)院，遼寧 大連 116622）

0 引言

帕金森?。≒arkinson's Disease，PD）是患者數(shù)量僅次于阿爾茨海默癥（Alzheimer's Disease，AD）的年齡相關(guān)性和神經(jīng)退行性疾病［1］。1817 年，James Parkinson 在他的專著Essay on the Shaking Palsy中描述了PD 的相關(guān)核心臨床特征［2］，PD因此而得名。據(jù)統(tǒng)計，全世界有700 多萬人患有PD［3］。PD在50 歲之前的人群中發(fā)病率較低，但是自60 歲之后，PD 發(fā)病率會增加5～10 倍。預(yù)計2030 年，全球?qū)⒂?00 萬人患有PD［4］。隨著病情的發(fā)展，PD 患者會因為身體機(jī)能喪失和行動受限而產(chǎn)生各種不良的情緒，進(jìn)而影響患者的身體狀況。PD 早期難以發(fā)現(xiàn)，容易被忽視，導(dǎo)致錯過最佳的治療時間，且PD 病程長、致殘率高，目前尚無有效的治療方法，給患者家庭和社會帶來的負(fù)擔(dān)極為沉重。

Niyogi 等［5］最早利用步態(tài)信息作為特征進(jìn)行身份識別，此后，步態(tài)識別得到快速的發(fā)展，并涌現(xiàn)出大量的步態(tài)識別方法［6］。近年來，研究人員逐漸將步態(tài)分析應(yīng)用于PD 的智能診斷。目前，學(xué)術(shù)界已有不少基于步態(tài)分析的PD 診斷相關(guān)綜述文章，但大多數(shù)是對步態(tài)分析方法的某一方面的概述，并沒有進(jìn)行全面系統(tǒng)的歸納。例如，文獻(xiàn)［7-8］中只回顧了可穿戴設(shè)備在評估PD 患者步態(tài)時空參數(shù)的應(yīng)用，歸納了可穿戴設(shè)備在檢測患者步態(tài)凍結(jié)和跌倒的應(yīng)用研究，忽略了非可穿戴設(shè)備在PD 診斷上的應(yīng)用；同時，現(xiàn)有的基于非可穿戴設(shè)備的步態(tài)分析方法的綜述文章較少。為了彌補(bǔ)上述不足，本文總結(jié)了基于步態(tài)分析的PD 輔助診斷方法，對近年關(guān)于步態(tài)分析的文獻(xiàn)進(jìn)行了匯總和分析，討論了PD 的嚴(yán)重性及異常步態(tài)的特征，將基于步態(tài)分析的PD 輔助診斷方法分為基于可穿戴設(shè)備的方法和基于非可穿戴設(shè)備的方法，并且針對現(xiàn)有步態(tài)分析方法存在的問題指明了未來的發(fā)展趨勢。圖1 為本文基于步態(tài)分析的PD 輔助診斷方法的整體框架。

圖1 基于步態(tài)分析的PD輔助診斷方法Fig.1 Auxiliary diagnosis methods of PD based on gait analysis

1 步態(tài)異常與帕金森病

步態(tài)分析是一種有效的生物特征識別方式，它可以通過人體走路的姿勢識別人體身份。正常的步態(tài)具有周期性和節(jié)奏性，而異常步態(tài)特征十分復(fù)雜；研究表明，使用時空、運動學(xué)參數(shù)可以有效識別PD 患者的異常步態(tài)［3］。根據(jù)臨床表現(xiàn)可以將異常步態(tài)分為偏癱步態(tài)、截癱步態(tài)和慌張步態(tài)等，而PD 則會出現(xiàn)慌張步態(tài)的癥狀［9］。PD 患者的運動性障礙主要包含4 種：靜止性震顫、僵硬、運動遲緩和姿勢不穩(wěn)定［7］。與健康對象相比，PD 患者會出現(xiàn)步態(tài)變化，如步幅縮短、行走時速度變慢和步頻加快。隨著疾病的發(fā)展，這些步態(tài)障礙會更加突出，甚至導(dǎo)致患者的跌倒，從而產(chǎn)生較多負(fù)面影響，如受傷、活動能力下降等［10］，嚴(yán)重會導(dǎo)致骨折，甚至威脅生命安全。

傳統(tǒng)的PD 治療方案主要包括手術(shù)、藥物或者是積極的身心鍛煉［11］。在臨床上，專業(yè)醫(yī)生會利用運動康復(fù)評估中常用的評價量表統(tǒng)一帕金森氏病評定量表（Unified Parkinson’s Disease Rating Scale，UPDRS）［12］、步態(tài)凍結(jié)量表（Freezing of Gait Questionnaire，F(xiàn)oG-Q）［13］、新步態(tài)凍結(jié)量表（New FoG-Q，NFoG-Q）［14］、功能性步態(tài)評價（Functional Gait Assessment，F(xiàn)GA）量表［15］、站立行走（Time Up and Go，TUG）測試［16］和H&Y 量表（Hoehn and Yahr scale）［17］等評判PD 患者的運動障礙。整個過程會因醫(yī)生的主觀判斷造成評估結(jié)果差異。

隨著技術(shù)的快速發(fā)展，方便、可穿戴的傳感器已經(jīng)能夠集成到臨床應(yīng)用和日常生活活動中［18］。加速度、陀螺儀和磁強(qiáng)計等傳感器可作為慣性測量單元（Inertial Measurement Unit，IMU）單獨或組合使用，已成為基于室內(nèi)量化步態(tài)模式方法的常見替代方法［19］。此外，基于視覺的步態(tài)識別方法通過PD 患者行走的視頻序列，從視頻中準(zhǔn)確提取患者的步態(tài)特征，評估PD 患者的步態(tài)［20］。圖2 為基于步態(tài)分析的基本步驟。

圖2 步態(tài)分析的基本步驟Fig.2 Basic steps of gait analysis

2 基于可穿戴設(shè)備的步態(tài)分析

可穿戴傳感器由于體積小、功耗低、準(zhǔn)確率高和便于穿戴等特點，可長時間地動態(tài)監(jiān)測PD 患者，在PD 早期診斷、鑒別診斷和病情評估等方面具有重要的意義。

2.1 可穿戴設(shè)備步態(tài)數(shù)據(jù)集

為了驗證和評估各種步態(tài)分析方法的可行性，研究人員搜集了不同的數(shù)據(jù)集，這些數(shù)據(jù)集中涵蓋了各種類型的步態(tài)數(shù)據(jù)，如加速度、角速度和垂直地面反作用力等。表1 整理了目前研究中常用的步態(tài)數(shù)據(jù)集。

表1 可穿戴設(shè)備步態(tài)數(shù)據(jù)集Tab.1 Gait datasets of wearable devices

2.2 智能手機(jī)傳感器設(shè)備

隨著移動互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，智能終端設(shè)備如智能手機(jī)、平板電腦等越來越普及。這些設(shè)備中存在各種內(nèi)置的傳感器，如GPS（Global Positioning System）傳感器、加速度計和陀螺儀等。加速度計傳感器的三維（Three-Dimensional，3D）方向如圖3 所示。這些傳感器可以協(xié)同合作獲取患者在行走時步態(tài)數(shù)據(jù)，從而識別PD 患者的異常步態(tài)。

圖3 智能手機(jī)加速度計的3D方向Fig.3 3D orientations of smartphone accelerometer sensor

文獻(xiàn)［26-28］中開發(fā)并評估了基于智能手機(jī)的步態(tài)凍結(jié)（Freezing of Gait，F(xiàn)oG）檢測系統(tǒng)，利用智能手機(jī)中內(nèi)置的3D加速度計或者陀螺儀，在人體的踝關(guān)節(jié)、腿關(guān)節(jié)和腰部等不同部位搜集PD 患者線速度和角速度，并應(yīng)用機(jī)器學(xué)習(xí)算法檢測FoG 事件和PD 的嚴(yán)重程度。文獻(xiàn)［26］中為了避免手動設(shè)置閾值，引入AdaBoost.M1 算法生成弱學(xué)習(xí)分類器，并使用十倍交叉驗證以評估算法在實踐中的總體性能；文獻(xiàn)［27］中為了能更好地區(qū)分病理步態(tài)和生理步態(tài)，將設(shè)備中的數(shù)據(jù)采集和過濾與數(shù)據(jù)融合和模式識別技術(shù)相結(jié)合，并采用線性判別分析等9 種分類算法進(jìn)行對比分析，實驗結(jié)果顯示，概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Network，PNN）得到最高的準(zhǔn)確率，可遠(yuǎn)程監(jiān)測患者的步態(tài)情況；文獻(xiàn)［28］中開發(fā)了一個應(yīng)用程序“PD Dr”，將采集到的數(shù)據(jù)發(fā)送到云服務(wù)器中存儲和處理，使用支持向量機(jī)（Support Vector Machine，SVM）識別PD 患者的異常步態(tài)，并使用Lasso 回歸算法檢測PD 的嚴(yán)重程度。文獻(xiàn)［29-30］中同樣利用智能手機(jī)內(nèi)置的傳感器，開發(fā)了基于智能手機(jī)的體系框架進(jìn)行步態(tài)分析和檢測FoG 事件。文獻(xiàn)［29］中在采集受試者步態(tài)數(shù)據(jù)的同時，使用視頻記錄TUG 測試，同步視頻和加速度記錄數(shù)據(jù)，使用Moore-Bachlin 算法和添加有關(guān)步長信息的改進(jìn)算法識別FoG 事件，實驗結(jié)果表明，改進(jìn)后的算法性能得到明顯提升；文獻(xiàn)［30］中TUG 通過計算凍結(jié)閾值（FIth）和能量閾值（EIth）確定FoG 的發(fā)生，并將通過智能手機(jī)獲得的步態(tài)分析結(jié)果與現(xiàn)有的慣性儀器獲得的結(jié)果以及將檢測到的FoG 事件與臨床專業(yè)人員的評估進(jìn)行比較分析，驗證FoG 檢測系統(tǒng)的準(zhǔn)確性。表2 匯總了基于智能手機(jī)設(shè)備的步態(tài)分析方法，包含了具體的步態(tài)實驗方法和結(jié)果。其中，健康對照組為陰性（N）組，帕金森組為陽性（P）組，本文指標(biāo)使用以下變量。

表2 基于智能手機(jī)設(shè)備的步態(tài)分析方法Tab.2 Gait analysis methods based on smartphone devices

1）真陽性數(shù)TP（number of True Positive）：PD 患者被正確分類的數(shù)量。

2）真陰性數(shù)TN（number of True Negative）：健康對照者被正確分類的數(shù)量。

3）假陽性數(shù)FP（number of False Positive）：健康對照者被錯誤分類為PD 患者的數(shù)量。

4）假陰性數(shù)FN（number of False Negative）：PD 患者被錯誤分類為健康對照者的數(shù)量。

本文指標(biāo)敏感性（Sensitivity）、特異性（Specificity）和準(zhǔn)確率（Accuracy）的計算方式如下：

2.3 使用可穿戴傳感器

對于不會使用智能手機(jī)的老年人，IMU 是應(yīng)用最廣泛的可穿戴傳感器，小腿和腳是傳感器安放位置的首要選擇［18］。此外，也可以采用基于感知的壓力傳感器，將傳感器安裝在受試者的鞋上，提取患者的足部壓力特征，圖4［8］為帶有IMU的可穿戴傳感器電路板。

圖4 帶有IMU的可穿戴傳感器電路板Fig.4 Wearable sensor circuit board with IMU

2.3.1 四肢可穿戴設(shè)備

文獻(xiàn)［31-33］中提出一種新型的FoG 檢測系統(tǒng)，利用可綁定在人體背部、臀部和腳踝等四肢的三軸加速度計傳感器獲取患者的步態(tài)數(shù)據(jù)作為輸入，從原始數(shù)據(jù)中提取步態(tài)參數(shù)等特征，再使用較優(yōu)的分類算法檢測FoG 事件。文獻(xiàn)［31］中以多通道加速度計信號作為輸入，使用一維深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）自動學(xué)習(xí)特征表示，利用長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)建模特征激活之間的時間依賴關(guān)系，并使用數(shù)據(jù)擴(kuò)充消除不平衡數(shù)據(jù)集對模型訓(xùn)練的影響，可以有效地檢測FoG 事件；文獻(xiàn)［32］中通過數(shù)據(jù)窗口和非線性降維，從原始數(shù)據(jù)中提取步態(tài)特征，再使用K近鄰（K-Nearest Neighbor，KNN）算法將步態(tài)分為pre-FoG、non-FoG 和FoG 這3 類，以減小FoG 發(fā)生的概率；文獻(xiàn)［33］中開發(fā)了一個不依賴于訓(xùn)練集標(biāo)簽的小批量k均值（k-means）聚類算法的可穿戴檢測系統(tǒng)，使用滑動窗口提取加速度計數(shù)據(jù)的熵作為檢測特征，通過k-means 聚類算法實現(xiàn)了在不標(biāo)記訓(xùn)練集的情況下自動生成FoG 和non-FoG聚類。文獻(xiàn)［34-35］中提出了PD 患者可穿戴的無線傳感系統(tǒng)，這些傳感系統(tǒng)均由若干個IMU 組成，用于搜集PD 患者的步態(tài)數(shù)據(jù)，通過步態(tài)分類算法識別被動的FoG 事件，在危險的情況下產(chǎn)生振動刺激的信號或者提供聽覺刺激，防止患者跌倒。文獻(xiàn)［34］中為了解決傳感器和PC 之間通信最大距離的問題，使用便捷式接收器（智能手機(jī)）與無線局域網(wǎng)連接，將數(shù)據(jù)傳輸?shù)絇C 端，對加速度計和陀螺儀信號融合獲得的數(shù)據(jù)進(jìn)行時域分析，將角速度低通濾波后得到指數(shù)K，與校準(zhǔn)后的閾值進(jìn)行比較；文獻(xiàn)［35］中構(gòu)建了一個由IMU 組成的無線傳感系統(tǒng)，將采集的步態(tài)數(shù)據(jù)存儲在處理器中，并通過藍(lán)牙傳輸?shù)街悄苁謾C(jī)中，使用離散小波變換（Discrete Wavelet Transform，DWT）對步態(tài)數(shù)據(jù)進(jìn)行處理以識別FoG事件。文獻(xiàn)［36］中提出了一個基于機(jī)器學(xué)習(xí)的評估步態(tài)特征的方法，使用可穿戴加速度計收集步態(tài)數(shù)據(jù)，根據(jù)評估的步態(tài)將PD 患者從健康老年對照組中分類出來，并使用Tinetti 移動測試（Tinetti Mobility Test，TMT）和3D 運動捕捉系統(tǒng)進(jìn)行驗證?；谌梭w四肢的可穿戴設(shè)備所使用的傳感器、具體的步態(tài)分析方法和實驗結(jié)果如表3 所示，實驗結(jié)果的計算方法同表2。

表3 基于四肢可穿戴設(shè)備的步態(tài)分析方法Tab.3 Gait analysis methods based on limb wearable devices

2.3.2 足部可穿戴設(shè)備

盡管上述傳感器可搜集到較為準(zhǔn)確的步態(tài)數(shù)據(jù)，但將傳感器固定到人體四肢等關(guān)鍵部位，尤其是腿部，會給人造成不舒服的感覺。為此，研究人員提出基于感知的壓力傳感器技術(shù)，這種傳感器靈敏性較高，并通常被認(rèn)為是檢測步態(tài)的標(biāo)準(zhǔn)，圖5［37］為基于加速度計傳感器的足底壓力鞋墊。

圖5 基于加速度計傳感器的足底壓力鞋墊Fig.5 Plantar pressure insole based on accelerometer sensor

文獻(xiàn)［37-38］中開發(fā)了配有3D 加速度計的壓力鞋墊傳感器系統(tǒng)，通過這些設(shè)備獲取加速度計數(shù)據(jù)并分析受試者在行走過程中的足部壓力變化，有效成為PD 患者在日常生活中的步態(tài)檢測系統(tǒng)。文獻(xiàn)［37］中應(yīng)用了兩種能夠自動檢測FoG 事件的算法，一種是時域法［37］，另一種是B?chlin 等［39］的頻域法。在所建議的時域法中，使用1D 垂直加速度信號和3D 信號分別與確定的閾值進(jìn)行比較，確定是否出現(xiàn)FoG 事件；相較于傳統(tǒng)的頻域算法，時域法的計算量明顯減少。文獻(xiàn)［38］中采集了足部壓力分布、加速度和其他測量值等數(shù)據(jù)，使用了OpenGo（由Moticon 公司提供的創(chuàng)新純無線智能鞋墊傳感器和突破性的專業(yè)分析軟件）的一種算法，該算法可以通過壓力和加速度自動檢測各種FoG 的類型，并將采集的經(jīng)過處理的數(shù)據(jù)與臨床醫(yī)生在視頻記錄中標(biāo)記的數(shù)據(jù)進(jìn)行比較，驗證該系統(tǒng)是否有效。不同于文獻(xiàn)［37-38］中是從正常步態(tài)中檢測FoG 事件，文獻(xiàn)［40-41］中開發(fā)并評估了新型的用于預(yù)測FoG 事件的方法，可以在早期預(yù)測跌倒并提前警示PD 患者。文獻(xiàn)［40］中提出并評估了一種利用步態(tài)過程中采集的足底壓力數(shù)據(jù)進(jìn)行FoG 預(yù)測的新方法，將足底壓力數(shù)據(jù)作為二維圖像處理，并使用CNN 將它分類為pre-FoG、FoG 和non-FoG；文獻(xiàn)［41］通過對受試者的行走節(jié)奏、步幅大小和足部壓力分布等步態(tài)行走階段參數(shù)進(jìn)行時域分析，提取主要參數(shù)，分析足部的重量分布，從而檢測步態(tài)模式。表4匯總了足部可穿戴設(shè)備使用的傳感器、具體的步態(tài)分析方法和實驗結(jié)果，實驗結(jié)果計算方法同表2。

表4 基于足部可穿戴設(shè)備的步態(tài)分析方法Tab.4 Gait analysis methods based on foot wearable devices

3 基于非可穿戴設(shè)備的步態(tài)分析

與基于可穿戴設(shè)備的方法相比，基于非可穿戴設(shè)備的方法不需要穿戴額外的設(shè)備，避免了因穿戴設(shè)備而造成的運動限制，同時，基于視頻的步態(tài)分析方法能夠遠(yuǎn)程監(jiān)測PD 患者運動狀況，在PD 患者遠(yuǎn)程診斷評估中有著重大意義［42］。大多數(shù)基于視頻的步態(tài)識別方法都是基于人體輪廓和基于人體關(guān)鍵點的步態(tài)分析方法，基本流程如圖6 所示。

圖6 基于視頻的步態(tài)分析流程Fig.6 Video-based gait analysis flowchart

3.1 非可穿戴步態(tài)數(shù)據(jù)集

基于視頻的步態(tài)分析方法使用的數(shù)據(jù)集涵蓋了不同視角、環(huán)境條件和受試者的外觀條件等參數(shù)，數(shù)據(jù)類型大致可分為RGB（Red Green Blue）圖像、人體輪廓和人體骨骼節(jié)點等，常用的基于視頻的步態(tài)數(shù)據(jù)集如表5。

表5 基于非可穿戴設(shè)備的步態(tài)數(shù)據(jù)集Tab.5 Gait datasets based on non-wearable devices

3.2 基于人體輪廓的步態(tài)分析方法

基于人體輪廓的步態(tài)分析方法主要采用前景、背景差分方法或光流處理方法［48］，即去除圖像背景，提取并分析人物輪廓再進(jìn)行步態(tài)識別。

為了從視頻序列中準(zhǔn)確檢測步態(tài)事件，文獻(xiàn)［49-50］中提出了基于視頻的步態(tài)事件檢測方法。文獻(xiàn)［49］中提出了一種基于單個二維視覺相機(jī)系統(tǒng)的步態(tài)事件檢測方法，從視頻幀中提取多個連續(xù)行人輪廓進(jìn)行組合，不同數(shù)量的連續(xù)行人輪廓產(chǎn)生不同類型的連續(xù)輪廓差分圖（Consecutive Silhouettes Difference maps，CSD-maps），以描述步態(tài)模式，再使用CNN 從CSD-maps 中學(xué)習(xí)特征并檢測出步態(tài)事件；文獻(xiàn)［50］中提出了一種純視頻的方法自動檢測拖曳步態(tài)，將只包含腿和腳的RGB 輪廓輸入特征提取模塊，提取幀序列的多層次時空特征，該時空特征由特征融合模塊聚合，能夠有效識別異常步態(tài)和步態(tài)的嚴(yán)重等級。上述的步態(tài)分析方法易受視角、衣著服飾和遮擋物等因素的影響，為了解決這個問題，文獻(xiàn)［51-53］中提出了不同的步態(tài)分析方法。文獻(xiàn)［51］中提出了一種基于生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的GaitGAN 方法，應(yīng)用PixelDTGAN（Pixel-level Domain Transfer GAN）模型［54］將視覺輸入轉(zhuǎn)換為不同的形式，通過生成的像素級圖像進(jìn)行可視化。不同于傳統(tǒng)GAN，GaitGAN 包含兩種鑒別器：一種用于生成逼真的步態(tài)圖像；另一種用于確保生成的步態(tài)圖像包含人類識別信息。該方法可以將從任何角度獲得的步態(tài)圖像轉(zhuǎn)換為側(cè)視圖，避免了事先估計受試者的視角、服裝和攜帶物等條件帶來的影響。文獻(xiàn)［52］中提出了一種基于視頻傳感器的DeepGait 步態(tài)表示方法，對原始輪廓圖像進(jìn)行歸一化處理，然后將識別出的每個步態(tài)周期輪廓圖像輸入預(yù)先訓(xùn)練的VGG（Visual Geometry Group）-D 網(wǎng)絡(luò)，提取步態(tài)特征，生成一種通用的步態(tài)表示方法，降低了因視角、服裝或者背包帶來的影響。文獻(xiàn)［53］中提出了一種三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN，3D-CNN）多視角步態(tài)識別網(wǎng)絡(luò)，該網(wǎng)絡(luò)是一個二級網(wǎng)絡(luò)，第一級網(wǎng)絡(luò)從視頻中采樣16 個幀作為輸入，識別任何步態(tài)視頻的視角；第二級網(wǎng)絡(luò)針對11 個不同的視角中每個受試者對應(yīng)的角度進(jìn)行訓(xùn)練，實現(xiàn)了從不同的視角識別步態(tài)事件。表6 給出了基于人體輪廓的具體步態(tài)分析方法以及實驗結(jié)果。其中，準(zhǔn)確率的計算方法同表2，精確率（Precision）的計算公式如下：

表6 基于人體輪廓的步態(tài)分析方法Tab.6 Gait analysis methods based on human silhouette

3.3 基于人體關(guān)鍵點的分析方法

基于人體關(guān)鍵點的步態(tài)分析方法，主要是從視頻中提取人體關(guān)鍵點坐標(biāo)數(shù)據(jù)，再從中分析患者的運動特征［48］。該方法可以很好地解決因衣著外觀或者遮擋物等原因造成的識別率較低的問題。

文獻(xiàn)［42，55］中提出了一種用于評估人體運動障礙的時空圖卷積網(wǎng)絡(luò)（Spatial-Temporal Graph Convolution Network，ST-GCN），從視頻中提取受試者的人體骨骼序列，在臨床實踐中實現(xiàn)評估PD 患者的步態(tài)運動障礙。文獻(xiàn)［42］中在ST-GCN 結(jié)構(gòu)的基礎(chǔ)上提出了雙流時空注意圖卷積網(wǎng)絡(luò)（Two-stream Spatial-Temporal Attention Graph Convolutional Network，2s-ST-AGCN）構(gòu)建人體關(guān)節(jié)和骨骼序列的拓?fù)浣Y(jié)構(gòu)，自動捕獲關(guān)節(jié)和骨骼中的靜態(tài)空間信息和動態(tài)時間變化，并引入深度監(jiān)督下的多尺度時空注意感知機(jī)制，提高模型學(xué)習(xí)特征的鑒別能力和魯棒性，有效識別PD 患者的異常步態(tài)；文獻(xiàn)［55］中則將ST-GCN 模型建立在骨架圖之上，構(gòu)建了一個以關(guān)節(jié)為圖節(jié)點、以人體結(jié)構(gòu)中符合關(guān)節(jié)自然連接性的空間邊和在連續(xù)的時間中連接相同關(guān)節(jié)的時間邊為圖邊的時空圖，對輸入數(shù)據(jù)應(yīng)用多層ST-GCN 運算，生成更高級別的特征圖，提高了受試者動作識別的性能。文獻(xiàn)［56-57］中提出了基于圖卷積網(wǎng)絡(luò)（Graph Convolution Network，GCN）的步態(tài)凍結(jié)檢測方法，可以有效地用于FoG 事件檢測的細(xì)粒度人體動作識別等問題。文獻(xiàn)［56］中構(gòu)造了一種新的基于GCN 的網(wǎng)絡(luò)結(jié)構(gòu)，將每個視頻表示為一個有向圖，圖中的頂點表示解剖關(guān)節(jié)，加權(quán)邊表示這些關(guān)節(jié)之間的相互作用，采用弱監(jiān)督學(xué)習(xí)策略處理在頂點層次上的預(yù)測，并提出數(shù)據(jù)驅(qū)動方法獲得可學(xué)習(xí)的加權(quán)鄰接矩陣，消除了昂貴的數(shù)據(jù)標(biāo)注并且降低了模型的復(fù)雜度；文獻(xiàn)［57］中根據(jù)人體姿勢評估的最新進(jìn)展，結(jié)合骨架姿勢和GCN 提出了GaitGraph 方法，使用HRNet（High-Resolution Network）［58］作為人體姿勢估計器，然后將提取的姿勢序列送入ResGCN（Residual GCN）［59］生成特征嵌入，提取步態(tài)信息，有效地解決了輪廓圖像丟失細(xì)粒度空間信息的問題。為了能夠有效提取數(shù)據(jù)中的關(guān)鍵信息，降低無效冗余信息，文獻(xiàn)［60］中提出了一個端到端的STA-LSTM（Spatial-Temporal Attention LSTM）網(wǎng)絡(luò)，并嵌入時空注意力機(jī)制，通過空間注意力模塊自動選擇每個幀中的關(guān)鍵關(guān)節(jié)點，通過時間注意力模塊為不同幀分配不同的重要程度，并引入正則化交叉熵，確保網(wǎng)絡(luò)的有效訓(xùn)練。表7 給出基于人體關(guān)節(jié)的具體步態(tài)分析方法和實驗結(jié)果，實驗結(jié)果計算方法同表2，文獻(xiàn)［42］中的受試者是基于MDS-UPDRS（Movement Disorder Society-Unified Parkinson’s Disease Rating Scale）。

表7 基于人體關(guān)節(jié)的步態(tài)分析方法Tab.7 Gait analysis methods based on human joints

4 存在問題與未來展望

準(zhǔn)確識別異常步態(tài)對PD 患者的診斷具有極大的實際意義，近年來也引起了廣大科研人員的廣泛關(guān)注，針對現(xiàn)有工作中存在的不足，本文作了如下總結(jié)和展望。

1）可穿戴設(shè)備旨在監(jiān)測患者室內(nèi)和室外的步態(tài)參數(shù)，需要PD 患者長時間佩戴傳感器，這就要求可穿戴設(shè)備功耗低、續(xù)航時間長。此外，長時間的佩戴可能會引起患者的不適。因此，為了能夠?qū)崿F(xiàn)長時間監(jiān)測PD 患者步態(tài)狀況，低成本、低功耗、測量數(shù)據(jù)精度高和穿戴舒適的可穿戴設(shè)備仍是研究人員未來的重點研究方向。

2）基于視覺的步態(tài)分析方法易受光照環(huán)境、視角、衣著服飾、背景和遮擋物等協(xié)變量因素的影響，復(fù)雜真實環(huán)境也會對結(jié)果造成影響，導(dǎo)致識別率較低，不能滿足實際應(yīng)用的需要。而人體骨骼關(guān)鍵點的檢測技術(shù)通過抽象人體的姿態(tài)信息，很好地避免了因為服飾、攜帶物和遮擋物帶來的影響。

3）步態(tài)數(shù)據(jù)庫的樣本量較少，存在數(shù)據(jù)樣本不均衡的情況，且數(shù)據(jù)都是在患者已知的情況下采集的，可能會引起患者不自覺的姿態(tài)變化，影響最終數(shù)據(jù)的準(zhǔn)確性。為了解決數(shù)據(jù)樣本較少的問題，研究人員致力于尋找新的方法，例如，通過深度學(xué)習(xí)方法中的GAN，可以生成大量不同的步態(tài)數(shù)據(jù)樣本。因此，獲取行人在自然狀態(tài)下的步態(tài)信息也是未來數(shù)據(jù)采集一個重要發(fā)展方向。

5 結(jié)語

隨著新技術(shù)的發(fā)展，有望實現(xiàn)基于步態(tài)的全自動化、客觀PD 評估方法，以改進(jìn)現(xiàn)有疾病評分方法。本文主要從量表、可穿戴設(shè)備和非可穿戴設(shè)備這3 個方面分析總結(jié)了步態(tài)在PD 診斷上的應(yīng)用，其中：可穿戴設(shè)備的成本和功耗都較低，適合長時間動態(tài)監(jiān)測PD 患者的步態(tài)狀況，但是該方法需要患者在四肢穿戴相應(yīng)的傳感器設(shè)備，在一定程度上影響患者的日常活動；非可穿戴設(shè)備可以全面地獲得患者的步態(tài)信息，無需患者穿戴任何設(shè)備，方便患者日常行動，但是在采集數(shù)據(jù)時，易受光照等外部環(huán)境的干擾，不能長時間對患者進(jìn)行跟蹤識別。盡管人們對步態(tài)分析進(jìn)行了長期的探索，但目前大多數(shù)步態(tài)分析方法還存在一些不足。未來的研究方向?qū)Ｗ⒂诟倪M(jìn)步態(tài)采集方式，提高步態(tài)分析方法的準(zhǔn)確度和模型的泛化性，為PD 輔助診斷提供智能化決策系統(tǒng)。