王全坤 郭冰菁,2* 尤愛民 韓建海,2 劉慶祥

1(河南科技大學機電工程學院 河南 洛陽 471003)

2(河南省機器人與智能系統(tǒng)重點實驗室 河南 洛陽 471003)

3(河南科技大學第一附屬醫(yī)院康復科 河南 洛陽 471003)

0 引 言

步態(tài)識別是如今非接觸式生物特征識別領域的熱門研究方向之一,根據(jù)人在運動時的運動姿態(tài)可用于身份識別、動作識別、體育訓練運動姿態(tài)評估和康復治療步態(tài)診斷等[1]。其中異常步態(tài)的識別作為康復醫(yī)學領域的一個重要組成部分,相比于傳統(tǒng)醫(yī)師診斷具有一致性高、識別速度快、對患者造成的干擾小的特點,很大程度上改善了臨床治療中對患者康復程度的跟蹤手段,加快治療方案調(diào)整過程。

近年來,國內(nèi)外的研究人員研制出的步態(tài)識別系統(tǒng),從步態(tài)數(shù)據(jù)的獲取方式上大體可以分為三類,第一類是通過視覺系統(tǒng)采集圖像數(shù)據(jù),如kinect、英國Vicon公司的光學運動捕捉系統(tǒng)等[2];第二類是通過肌電傳感器獲取電生物信號,如肌電或腦電[3];第三類是通過物理傳感器采集人體運動學和動力學數(shù)據(jù),如慣性測量單元、加速度傳感器、足底壓力傳感器和三維測力平臺電子步道系統(tǒng)等[4]。視覺系統(tǒng)采集圖像數(shù)據(jù)的方式,雖然提取的步態(tài)信息具有全面性,但是價格昂貴、對測試場地的要求高。肌電傳感器獲取電生物信號存在信號微弱、信噪比低、非線性、易受外界干擾等問題,導致分類精度較低,同時傳感器的位置選擇及穿戴過程需要專業(yè)人員輔助,準備時間較長。物理傳感器可采集人體運動過程中肢體的位置、速度、角度、加速度等信息,對場地的要求小,患者穿戴方便。

臨床上對于步態(tài)的分析主要有定性分析、定量分析兩大類[5-7]。步態(tài)的定性分析是評定者以目測觀察患者的行走過程,通過與正常的步態(tài)進行對比并結合病理步態(tài)的特點從而做出步態(tài)分析的定性研究。常用的定性分析法是由評定者對患者進行測試后,根據(jù)定性或半定量量表(如Brunnstrom偏癱步態(tài)分析評定表、美國Rancho Los Amigo醫(yī)院設計的RLA步態(tài)觀察分析表等)進行評分、分析。步態(tài)的定量分析是評定者借助器械或?qū)ｉT設備對步態(tài)進行運動學和動力學的分析,運動學常見的方法有足印法、電子步墊等,動力學常見的方法有測力平臺、表面肌電圖。傳統(tǒng)的步態(tài)評估方式主要是憑借醫(yī)師或醫(yī)護人員多年的臨床經(jīng)驗來判斷,具有主觀性,或是借助專門的器械,給患者造成諸多不便,而且實現(xiàn)起來煩瑣,給醫(yī)護人員增加額外的工作量[8]。綜上所述,偏癱患者異常步態(tài)通常由多關節(jié)運動功能障礙導致,正確識別能夠盡快確定治療方案,多種異常步態(tài)的細分是在當前偏癱步態(tài)研究基礎上應該進一步深入研究的問題。因此能夠?qū)崿F(xiàn)集成步態(tài)數(shù)據(jù)采集、異常步態(tài)識別、虛擬康復訓練、臨床康復輔助診斷于一體的計算機系統(tǒng),將為康復治療過程的動態(tài)監(jiān)控與診療提供自動化模式。

本文提出的基于傳感器網(wǎng)絡的異常步態(tài)識別診斷系統(tǒng),從人體的運動學特點出發(fā),以方便、舒適、非侵擾為設計理念,探索異常步態(tài)細分識別方法?；谶B續(xù)的步態(tài)時空參數(shù)易采集、易處理、信息全面的特點,提出特征提取方法,選擇最優(yōu)化決策融合模型進行正?；颊吆推c患者的區(qū)分,細分出典型的偏癱異常步態(tài),結合臨床康復輔助診斷系統(tǒng),實現(xiàn)偏癱患者步態(tài)的初步診斷,結合基于虛擬現(xiàn)實的康復訓練系統(tǒng),實現(xiàn)康復過程的動態(tài)診斷。

1 步態(tài)監(jiān)測與識別系統(tǒng)

所研發(fā)的臨床康復及診斷系統(tǒng)包括步態(tài)時空參數(shù)檢測模塊、數(shù)據(jù)通信模塊、虛擬康復訓練系統(tǒng)、步態(tài)識別算法及診斷報告系統(tǒng),如圖1所示。

圖1 系統(tǒng)結構框圖

實現(xiàn)異常步態(tài)識別和臨床康復輔助診斷的流程為：患者按照要求穿戴好由IMU(慣性測量單元)傳感器網(wǎng)絡組成的數(shù)據(jù)采集系統(tǒng),在醫(yī)生的指導下完成下肢信息的采集,醫(yī)生可以在虛擬場景實時觀察患者的行走狀態(tài),在數(shù)據(jù)采集完成后由系統(tǒng)內(nèi)置步態(tài)識別算法進行初步的輔助診斷及報告生成。

系統(tǒng)中全身穿戴式設備IMU是由三個單軸的加速度計和三個單軸的陀螺儀組成的,加速度計是檢測物體在載體坐標系下的三軸的加速度信號,陀螺儀是檢測載體相對于導航坐標系的角速度信號,通過多個測點集成測試肢體在三維空間中的角速度和加速度信號,由此解算出下肢姿態(tài),具有體積小、質(zhì)量輕、功耗低、工作頻帶寬的優(yōu)點。下肢運動采集的數(shù)據(jù)傳輸方式是通過2.4 G藍牙無線連接,數(shù)據(jù)刷新率可達到500 Hz,無線傳輸距離可達30 m,具有精準、穩(wěn)定、不受場地限制、低延時、抗干擾能力強等特點。

虛擬現(xiàn)實系統(tǒng)是一種可以創(chuàng)建和體驗虛擬世界的計算機系統(tǒng),通過視、聽、觸等作用于用戶,讓用戶產(chǎn)生身臨其境感覺的交互式視景仿真,是一種多源信息融合的、交互式的三維動態(tài)視景和實體行為的系統(tǒng)[9]。所設計的虛擬現(xiàn)實康復訓練及診斷系統(tǒng)包括康復訓練場景、步態(tài)數(shù)據(jù)動態(tài)采集、診斷報告生成。步態(tài)數(shù)據(jù)動態(tài)采集界面如圖2所示,其中實時步態(tài)動畫基于Unity3D平臺開發(fā),Unity3D是一個可以進行實時3D互動內(nèi)容創(chuàng)作和運營平臺,進行3D模型、游戲制作的專業(yè)游戲引擎[10]。將制作好的人物模型導入到創(chuàng)建好的虛擬場景之中,利用Unity3D中的動畫系統(tǒng)Avatar進行人物的骨骼模型綁定,實現(xiàn)人體動作的實時跟蹤。IMU傳感器所獲取的步態(tài)數(shù)據(jù)為四元數(shù)格式,通過數(shù)據(jù)處理算法轉換為關節(jié)角度數(shù)據(jù),成為步態(tài)特征提取算法的數(shù)據(jù)基礎。

圖2 步態(tài)數(shù)據(jù)動態(tài)采集界面

2 異常步態(tài)識別方法

2.1 特征提取

1) 關節(jié)角度數(shù)據(jù)處理算法。IMU傳感器獲取的數(shù)據(jù)是各個節(jié)點的四元數(shù)數(shù)據(jù),本文采用的是關節(jié)角度數(shù)據(jù),所以需要將四元數(shù)的數(shù)據(jù)變換成歐拉角。

四元數(shù)(Quaternions)有效地用于三維空間中旋轉姿態(tài)的表示。四元數(shù)是簡單的超復數(shù),定義如式(1)所示。

q=w+xi+yj+zk

(1)

式中：w為實部,xi+yj+zk為虛部,w、x、y、z為實數(shù),若x=y=z=0,則q為實數(shù)。

人體下肢髖關節(jié)通常為2個自由度、膝關節(jié)為1個自由度、踝關節(jié)為3個自由度,根據(jù)人體下肢關節(jié)坐標系定義[11]可知,需要將傳感器的四元數(shù)數(shù)據(jù)轉換為矢狀面、冠狀面和垂直面內(nèi)的關節(jié)角度。因此設計數(shù)據(jù)轉換,如式(2)所示,將四元數(shù)數(shù)據(jù)轉換為歐拉角表示,最終提取出人體坐標系中的關節(jié)角度。

四元數(shù)轉換成歐拉角：

(2)

式中：φ、θ、ψ分別表示繞x、y、z軸旋轉角度,對應人體坐標系的橫斷面狀面內(nèi)關節(jié)旋轉角度、矢狀面內(nèi)關節(jié)旋轉角度、水平面內(nèi)關節(jié)旋轉角度。

(3)

以采集的一位身高175 cm、體重80 kg～90 kg左右的健康男性的原始步態(tài)數(shù)據(jù)為例,通過式(3)得到矢狀面內(nèi)左髖和左膝關節(jié)角度數(shù)據(jù),如圖3所示。

圖3 濾波前后步態(tài)數(shù)據(jù)

由圖3可知,滑動均值濾波算法能夠在保證原有數(shù)據(jù)特征的基礎下,提高曲線的平滑度,獲得穩(wěn)定的特征點,便于后續(xù)步態(tài)周期的劃分。

2) 數(shù)據(jù)濾波算法。由圖3中髖、膝關節(jié)原始數(shù)據(jù)曲線可看出,測得的步態(tài)數(shù)據(jù),受到環(huán)境因素、傳感器的性能、電磁干擾、機械振動等各種因素的影響,在下肢關節(jié)運動方向發(fā)生變化時存在有較大的噪聲,故采取了滑動均值濾波的方式進行濾波處理,滑動平均濾波算法中選取隊列長度為20個采樣點。

3) 步態(tài)周期劃分。步態(tài)時空參數(shù)中的步態(tài)周期對于步態(tài)識別非常重要,從連續(xù)運動數(shù)據(jù)中需要準確地確定各患者的步態(tài)周期。步態(tài)劃分常見的有兩種方法分別是基于幀分割和基于周期分割[12]?；趲指钣纸凶骰诠潭ɑ瑒哟翱诘姆指?其基本原理就是按照固定數(shù)據(jù)的長度進行周期的劃分。方法實現(xiàn)簡單,雖然該方法具有很好的實時性,但卻不能很好反映步態(tài)模式引起的時間變化問題?；谥芷诜指畹姆椒ㄊ且圆綉B(tài)周期為基礎,能夠體現(xiàn)出步態(tài)數(shù)據(jù)隱藏生物特征。

從圖3中可以看出,人在正常直立行走的狀態(tài)下,人體下肢髖、膝關節(jié)的運動角度的曲線和周期性變化的正弦曲線相似,左右腿交替向前,其中之間的步態(tài)間隔相差半個步態(tài)周期,膝關節(jié)運動變化是跟隨髖關節(jié)的變化,在同一個步態(tài)周期中的髖膝關節(jié)的運動步調(diào)是一致的,也就是說同一條腿的髖膝關節(jié)步態(tài)周期是相同的。因此可以選擇選取髖關節(jié)的每個步態(tài)周期的極小值點來進行周期的劃分,將選取的極小值點定義為周期的分割點,兩個分割點之間的時間即為一個步態(tài)周期[13]。因此將濾波之后的每個步態(tài)周期的極小值點進行標記,對步態(tài)周期的開始和結束部分可能會產(chǎn)生干擾的點進行剔除,標記后的髖關節(jié)步態(tài)周期的分割點如圖4所示。

圖4 步態(tài)周期劃分

4) 步態(tài)特征提取與歸一化預處理。腦卒中偏癱患者在步行過程中常常會出現(xiàn)髖關節(jié)外展外旋,膝關節(jié)反張,足下垂、內(nèi)翻,劃圈等異常姿勢,臨床上將其稱之為偏癱步態(tài)。正常步態(tài)與偏癱步態(tài)的最直接區(qū)分特征是雙下肢步態(tài)對稱性,偏癱步態(tài)的細分需要考慮典型關節(jié)特征。如劃圈步態(tài)的生理原因是股四頭肌痙攣,膝關節(jié)屈曲困難即膝僵直,支撐相晚期和擺動初期,膝關節(jié)屈曲<40°(正常60°)。因此步態(tài)特征提取需要根據(jù)康復醫(yī)學找出特征[14]。將人體下肢相鄰關節(jié)坐標系的原點連接為向量,可通過對雙側下肢的5個向量的相對姿態(tài)準確刻畫出下肢的步態(tài)特征,如圖5所示。

圖5 下肢步態(tài)特征向量

腦卒中偏癱的發(fā)病機理是由于病人的患肢側臀部擺成半圓,骨盆向上傾斜。由于股四頭肌活動不當,導致膝蓋過度伸展。僵硬的膝蓋會抑制腿部的向前行進,并導致患者在承受身體重量時無法進行減震性的膝關節(jié)屈曲。偏癱患者的代償運動還會導致步行速度降低、站立時間縮短、患肢擺動時間增加。

本文中僅以膝關節(jié)異常為例,定義如下兩個特征值：

(1) 左膝最大角度與右膝最大角度之商：

(2) 右膝最大和最小角度之差：

特征值xi用于對劃圈步態(tài)進行特征識別,特征值yi用于對膝過伸步態(tài)進行特征識別,構建2維特征子空間,由于yi的特征值的值域空間不同,所以需要歸一化處理,將特征值域規(guī)范到0到1之間。歸一化是進行數(shù)據(jù)處理的基礎工作之一,如若未考慮到不同量綱及量綱單位的評價體系,必然會導致數(shù)據(jù)的分析偏離真實的情況。特征的歸一化最主要目的就是消除身高差異對時空參數(shù)造成的影響,使獲取的特征數(shù)據(jù)變成相對值的關系,是一種無量綱的處理手段,能夠簡化計算,縮小量值。標準化的公式是：

2.2 步態(tài)識別算法

在異常步態(tài)識別的過程中,最重要的還是分類模型的創(chuàng)立與選擇。本文選擇三種分類器：支持向量機、K近鄰、線性判別分析。采用模型評估方法,進行分類精度的比較,選出更優(yōu)的分類器。步態(tài)識別算法流程如圖6所示。

圖6中步態(tài)識別算法分別采用了三種分類器進行嘗試,如下：

1) 支持向量機。支持向量機是按照監(jiān)督學習的方式針對二分類的任務設計的一種泛化性能很強的分類器,建立在統(tǒng)計學習理論的VC(Vapnik-Chervonenkis Dimension)(統(tǒng)計學理論上定義有關函數(shù)集學習性能的一個重要指標)維理論和結構風險最小原理基礎上,主要用于解決小樣本、非線性及高維模式識別問題[15]。

由于人在行走時的異常步態(tài)種類繁多,因此對于異常步態(tài)的識別屬于多分類問題。本文采用支持向量機(SVM)的分類方法,對劃圈、膝過伸、正常步態(tài)進行識別,故需要構建三個二類SVM分類器,訓練某種步態(tài)分類器時,將其標識為+1,其余的標記為-1。

對于二分類學習最基本的思想就是基于訓練集D在樣本中間尋找一個“正中間”最優(yōu)劃分的超平面,該超平面對于訓練樣本局部擾動的“容忍性”最好,即該超平面所產(chǎn)生的結果是最魯棒的,對于未見示例的泛化性能最強。

所以定義如下的拉格朗日函數(shù)：

式中：αi>0為拉格朗日系數(shù)。對w和b求拉格朗日函數(shù)的極小值。得到最優(yōu)分類函數(shù)為：

面對線性問題,核函數(shù)K(xi,x)就是兩向量的點積運算;面對非線性情形,需要將樣本的原始空間映射一個高維的,使樣本在這個特征空間內(nèi)線性可分,然后在這個新的特征空間中尋找一個最優(yōu)的劃分超平面,這種非線性變換是通過定義不同的核函數(shù)來實現(xiàn)的。目前常用的核函數(shù)主要有線性核、多項式核、高斯核等。

2) K近鄰(KNN)。K近鄰(KNN)是一種常用的監(jiān)督學習的方法,給定測試樣本,基于某種距離度量找出訓練集中與其最靠近的k個訓練樣本,基于這k個“鄰居”的信息來進行預測[16]。通常在分類中可使用“投票法”,選擇這k個樣本中出現(xiàn)最多的類別標記作為預測的結果。

3) 線性判別分析(LDA)。線性判別分析(LDA)是一種經(jīng)典的線性學習方法,給定訓練樣例集,設法將樣例投影到一條直線上,使同類的樣例投影點盡可能接近、異類樣例的投影點盡可能遠離,對新樣本進行分類時,同樣將其投影到這條直線上,再根據(jù)其投影點的位置再來確定新的樣本的類別。

3 臨床步行對照試驗

3.1 受試者分組

本次臨床試驗一共招募了10位病況病程不同的腦卒中偏癱患者作為研究組,這些患者均來自河南科技大學第一附屬醫(yī)院康復科。同時選擇5名健康志愿者作為對照組。因為要實地進行臨床步行試驗,所以要求每位參加臨床步行試驗受試者具有一定程度的步行運動能力。在試驗之前,已經(jīng)向每位受試者告知了本試驗的研究目的及其測試的步驟,并均已征得了本人的同意,采取自愿參加的形式,試驗全程均在專業(yè)醫(yī)生指導下進行。受試者的入選標準如下：

1) 研究組入選標準。

(1) 一側腦梗死或腦出血,首次發(fā)病,病程大于1個月,經(jīng)顱腦CT或MRI證實為大腦半球病變;(2) 年齡20～75歲;(3) 能獨立行走至少10 m;(4) 聽覺理解能力基本正常,能配合檢查和完成試驗;(5) 無其他已確診的影響步行功能的疾病;(6) 對本試驗知情,并簽署知情同意書。

2) 對照組入選標準。

(1) 身體健康,無肌肉、骨骼疾患,無神經(jīng)疾患;(2) 年齡20～75歲;(3) 對本試驗知情,并簽署知情同意書。

3.2 臨床試驗流程

以支持向量機算法來構建試驗流程如圖7所示,構建的異常步態(tài)分類模型屬于二分類問題,由于要識別三種步態(tài)：兩種異常步態(tài),一種正常步態(tài)。所以需要構建三個分類器,首先進行臨床數(shù)據(jù)的采集,將采集到的數(shù)據(jù)進行整理分析,用選擇好的分類器將步態(tài)進行劃分。

步行試驗流程：

1) 提前將試驗的全部流程告知所有受試者,方便受試者的配合和試驗的進行。

2) 將IMU傳感器按照要求佩戴在受試者的身上,然后調(diào)整好每個綁帶的松緊度和位置,確保各傳感器能處在標準的位置不會脫落;患者穿戴好后,進行姿態(tài)的校準,保證模型精度;校準完成后,在醫(yī)生的監(jiān)督下,開始以自然的步速行走;在走完10 m的步態(tài)分析走道后立刻停止行走,關閉軟件的數(shù)據(jù)采集系統(tǒng)。

3.3 數(shù)據(jù)集評估與劃分

在臨床試驗中,針對每一位受試者,提取出5個包含有完整周期的數(shù)據(jù)樣本。從15位受試者的步行試驗中共提取75組步態(tài)周期的數(shù)據(jù)作為數(shù)據(jù)集?？紤]到當前的醫(yī)療環(huán)境和臨床試驗條件,想要采集到非常充足的數(shù)據(jù)來訓練一個異常步態(tài)分類器,仍然是非常困難的。因此針對有限的小樣本數(shù)據(jù)有效性評估問題,本文采取了支持向量機的異常步態(tài)識別方法。支持向量機算法是一種小樣本機器學習理論與方法,不僅有嚴謹?shù)臄?shù)學理論基礎,而且具有直觀的幾何解釋和數(shù)學形式。采用結構風險最小化的原理,除了與經(jīng)驗風險有關,主要與擬合函數(shù)的復雜度有關,最終決策函數(shù)由少數(shù)的支持向量所確定,計算的復雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災難”,是一種完善的小樣本下數(shù)據(jù)挖掘的工具和方法。此分類方法適用于由于患者行動能力有限而導致的診斷前能獲取的樣本數(shù)量有限的樣本特性。因此,對應提取的75組步態(tài)數(shù)據(jù),將訓練測試比例設置為4∶1,訓練集用于分類器的建立,篩選出最合適的步態(tài)分類器,并采用交叉驗證的方法來進行模型的驗證。

3.4 異常步態(tài)識別結果分析

在訓練集上應用三種分類器：支持向量機、K近鄰、線性判別分析。在測試集上驗證三種分類器的分類精度如圖8所示,平均分類精度如表1所示。

表1 平均分類精度

圖8 分類器分類精度

針對不同的步態(tài),所選三種分類器的分類精度不盡相同,其中平均準確率最高的分類器是多項式核的SVM,SVM是非線性的分類器,在面對采集到的人體下肢復雜非平穩(wěn)信號時,非線性分類器的分類性能往往優(yōu)于線性分類器,如線性判別分析(LDA),但是非線性的分類器也不是在每種異常步態(tài)分類上都能優(yōu)于線性分類器,對于不同異常步態(tài)分類,獲得最佳分類精度的模型也有所不同,如在劃圈步態(tài)上線性判別分析(LDA)還優(yōu)于線性核SVM。由于選擇的代價函數(shù)的相互補償和樣本特性等因素的影響,沒有哪種算法會在所有的數(shù)據(jù)上都獲得最好的分類精度,從目前所采用的多種分類方法中僅基于膝關節(jié)運動的兩個特征值所構成的特征空間,多項式核的SVM分類方法在偏癱患者膝關節(jié)功能異常導致的異常步態(tài)識別中平均分類精度最高,驗證了對偏癱步態(tài)特征提取和異常步態(tài)細分的有效性。由于偏癱患者的患側肢通常存在多關節(jié)運動障礙,導致異常步態(tài)細分存在較大難度,通過增加步態(tài)特征值,提取異常步態(tài)相關性強的特征值,建立更加全面的特征空間,以及核函數(shù)的優(yōu)化將進一步提高識別準確率,為輔助診斷提供科學、準確的依據(jù)。

4 結 語

本文從人體的運動學特點出發(fā),借助傳感器網(wǎng)絡進行人體運動數(shù)據(jù)采集,針對偏癱患者的異常步態(tài)特征提取和分類問題進行深入的研究,提出一種基于多項式核函數(shù)的SVM偏癱患者異常步態(tài)識別方法,實現(xiàn)偏癱患者異常步態(tài)的細分。通過臨床試驗所招募的15位志愿者,采集連續(xù)的步態(tài)時空參數(shù)數(shù)據(jù),依據(jù)所提出的步態(tài)特征向量化描述方法,提取下肢步態(tài)特征,對比多種機器學習方法進行分類模型創(chuàng)建,以膝關節(jié)功能障礙為例,驗證了異常步態(tài)的細分能力,得出臨床康復診斷結果,結合康復訓練虛擬現(xiàn)實系統(tǒng),實現(xiàn)康復過程的動態(tài)診斷。