李文肖 郭冰菁 韓建海 李向攀 毛永飛
關(guān)鍵詞: 虛擬現(xiàn)實; 主動康復(fù); 下肢康復(fù)訓(xùn)練; 傳感系統(tǒng); 活動度; 足底力
中圖分類號: TN915.5?34; TP274 ? ? ? ? ? ? ? 文獻標識碼: A ? ? ? ? ? ? ? ? ? ?文章編號: 1004?373X(2019)04?0061?04
Lower limb active rehabilitation training system based on virtual reality
LI Wenxiao1, GUO Bingjing1,2, HAN Jianhan1,2,3, LI Xiangpan1,2, MAO Yongfei1
(1. School of Mechatronics Engineering, Henan University of Science & Technology, Luoyang 471003, China;
2. Key Laboratory of Robotics and Intelligent Systems of Henan Province, Luoyang 471003, China;
3. Collaborative Innovation Center for Machinery Equipment Advanced Manufacturing of Henan Province, Luoyang 471003, China)
Abstract: In allusion to problems of the low participation degree and gradually?losing active motion intention of patients in the traditional lower limb rehabilitation training, a lower limb active rehabilitation training system based on virtual reality is designed. In the system, the inertial measurement unit (IMU) is adopted to acquire and calculate the activity degrees of lower limb joints, which are taken as the motion control signals in the virtual scene. The wireless Bluetooth communication mechanism is established to realize the combination of the lower limb motions of patients with their motion function rehabilitation training actions. The plantar force parameters of affected limbs are obtained by using the multi?point plantar force sensing resistor (FSR) embedded in a shoe, so as to recognize the gait phase periods, which are taken as the data basis of the rehabilitation assessment. The veracity of the acquired rehabilitation data, the real?time performance of interactive communication, and the fluency of the rehabilitation scene operation were verified in the experiment.
Keywords: virtual reality; active rehabilitation; lower limb rehabilitation training; sensing system; activity degree; plantar force
隨著社會老齡化的加劇,由腦卒中等導(dǎo)致的神經(jīng)損傷引起的下肢功能障礙者逐年增加[1],嚴重影響患者的生活質(zhì)量,給社會和家庭帶來了沉重的負擔(dān)。傳統(tǒng)的康復(fù)治療多采用醫(yī)師手工輔助完成,效率低、康復(fù)過程枯燥,已不能滿足患者的需求[2]。
根據(jù)大腦神經(jīng)可塑性理論、鏡像神經(jīng)元理論和運動康復(fù)理論,豐富的訓(xùn)練環(huán)境可以促進康復(fù)的進程[3],也可以有效地提高患者的訓(xùn)練興趣和積極性,從而提高康復(fù)效率。如德國柏林弗朗霍費爾研究所研制Haptic Walker機器人系統(tǒng)和加拿大蒙特利爾McGill 大學(xué)研究的多自由度反饋的下肢訓(xùn)練器;當(dāng)前的下肢康復(fù)訓(xùn)練設(shè)備多為在醫(yī)療機構(gòu)中使用,價格昂貴[4],同時也需要醫(yī)護人員的協(xié)助,缺乏可供患者使用的家庭便攜式智能康復(fù)訓(xùn)練設(shè)備,不利于患者的自主訓(xùn)練。
針對康復(fù)治療的家庭化與個性化需求,本文設(shè)計一種基于虛擬現(xiàn)實技術(shù)的便攜式下肢主動康復(fù)訓(xùn)練設(shè)備,此訓(xùn)練系統(tǒng)有效地提高了患者在康復(fù)訓(xùn)練中的沉浸感,增加了患者的興趣和主動性。同時在穿戴設(shè)備中內(nèi)置多種傳感器,對康復(fù)數(shù)據(jù)實時檢測、無線傳輸,基于運動康復(fù)數(shù)據(jù)信息完成康復(fù)評估,實時了解康復(fù)訓(xùn)練效果。
此康復(fù)系統(tǒng)基于關(guān)節(jié)矯形器構(gòu)建,包括:嵌入式傳感系統(tǒng)、藍牙無線通信接口及虛擬康復(fù)訓(xùn)練場景設(shè)計。傳感系統(tǒng)由微控制器(Micro Controller Unit,MCU)、慣性測量單元(Inertial Measurement Unit,IMU)和多點足底壓力傳感器(Force Sensing Resistor,F(xiàn)SR)組成,集成嵌入在矯形器中,如圖1所示。
系統(tǒng)采用PC機作為上位機,基于Unity 3D軟件平臺開發(fā)人機互動游戲[5]。為了滿足便攜要求,數(shù)據(jù)通過無線藍牙模塊從下肢康復(fù)設(shè)備傳輸?shù)絇C機,電源模塊采用迷你移動電源對系統(tǒng)供電?;颊咄ㄟ^穿戴該系統(tǒng),利用下肢運動來控制游戲人物的移動、旋轉(zhuǎn)。內(nèi)置的康復(fù)評估系統(tǒng)讓使用者在鍛煉時能實時了解自身步態(tài)參數(shù)的變化,及時保持或調(diào)整步態(tài),以達到最優(yōu)的訓(xùn)練效果。
為了滿足不同康復(fù)患者的需求,開發(fā)了難度不同的虛擬訓(xùn)練場景,包括地形設(shè)計、周圍環(huán)境氛圍設(shè)計、角色控制器以及腳本驅(qū)動等。場景一的行走難度等級低,患者在路面平坦的大自然環(huán)境下進行漫游,此場景具有聽覺反饋,如圖2所示。場景二的行走難度等級高,營造逼真的森林氣氛,在患者前進的道路上會出現(xiàn)山丘、水溝、樹木以及遮擋視線的水草,患者需要避開出現(xiàn)的各種障礙物,場景中伴有鳥叫聲、流水聲、提示音等聽覺反饋,如圖3所示。內(nèi)置評價系統(tǒng)根據(jù)游戲完成時間及各點足底壓力值來評價康復(fù)情況。還具有步態(tài)參數(shù)的顯示,使訓(xùn)練者實時了解自身的步態(tài)情況,及時調(diào)節(jié)糾正,做出準確的康復(fù)動作。虛擬現(xiàn)實康復(fù)場景通過姿態(tài)檢測單元IMU采集患者的下肢姿態(tài)作為反饋參數(shù),控制游戲。
穿戴式傳感系統(tǒng)由MCU,IMU和FSR構(gòu)建,如圖4所示。3個IMU模塊分別安裝在患者側(cè)方下肢的大腿、小腿和踝關(guān)節(jié),用于采集下肢運動姿態(tài)信息[6];4個足底壓力傳感器嵌入在鞋墊內(nèi),采集患肢足底與地面的接觸壓力。通過無線藍牙把以上運動數(shù)據(jù)發(fā)送到虛擬游戲場景中,控制人物運動。
3.1 ?關(guān)節(jié)角度的采集
人在正常行走時,髖關(guān)節(jié)、膝關(guān)節(jié)和踝關(guān)節(jié)的生理活動范圍如表1所示[7]。這是下肢關(guān)節(jié)角度傳感器選型及其虛擬場景規(guī)劃的數(shù)據(jù)基礎(chǔ)。IMU單元選取姿態(tài)傳感器MPU6050和磁力計HMC5883,數(shù)據(jù)融合后采集下肢的關(guān)節(jié)角度。MPU6050傳感器內(nèi)部集成了3個單軸的加速度計和3個單軸的陀螺儀,測量物體在三維空間中的角速度和加速度,并以此解算出物體的姿態(tài)[8]。定義傳感器測得的翻滾角(ROLL)為繞矢狀軸旋轉(zhuǎn);俯仰角(PITCH)為繞額狀軸旋轉(zhuǎn);偏航角(YAW)為繞垂直軸旋轉(zhuǎn)。加速度計檢測的是重力方向的加速度信號,陀螺儀修正ROLL和PITCH姿態(tài)角度。采用磁力計HMC5883,利用不同方向地球磁力的變化修正偏航角。
3.2 ?IMU測量誤差分析
因為IMU本身存在的固有誤差和安裝誤差,需要對其進行標定及誤差補償。實驗時,按照5°的步長變化,對比傳感器實測角度與標準角度。以髖關(guān)節(jié)為例,髖關(guān)節(jié)屈伸范圍為-120°~65°,對應(yīng)髖關(guān)節(jié)處穿戴的IMU單元的俯仰角。兩者由于坐標系方向定義相反,IMU傳感器的俯仰角應(yīng)測范圍為-65°~120°,擴大傳感器俯仰角標定范圍為-90°~180°。按照上述實驗過程,俯仰角的測量值與實際值的誤差值區(qū)間分布見圖5??梢钥闯?,俯仰角在工作范圍在[-90°,180°]內(nèi)誤差范圍為(-3°,2°),達不到康復(fù)訓(xùn)練中關(guān)節(jié)活動度的檢測精度。
3.3 ?誤差補償
為了減小IMU單元的測量誤差,采用多項式擬合方法對系統(tǒng)進行標定與誤差補償。根據(jù)最小二乘法擬合原理,以測量值為自變量,以實際值為因變量進行線性擬合。最小二乘法擬合的線性擬合模型為:
[?(x)=a0+a1x] ?(1)
根據(jù)原始數(shù)據(jù)可形成相應(yīng)的擬合矩陣:
[Ga=y] ? (2)
式中:
[a=(a0,a1)T]; [y=i=0myi,i=0mxiyiT]; [G=m+1i=0mxii=0mxii=0mx2i。]
不同區(qū)間,系統(tǒng)誤差大小不同,分布區(qū)間也不相同,因此按照誤差范圍進行分段擬合,分為7個區(qū)間:
[y=0.994 3x+1.288 6, ? x∈[-90°,-70°]0.992 8x-0.152 4, ? x∈(-70°,-5°]1.036 2x-1.476 2, ? x∈(-5°,10°]1.009 1x+1.325, ? ? ?x∈(10°,60°]0.952 1x+3.302, ? ? x∈(60°,90°]0.989 4x+3.081 2, ?x∈(90°,140°]1.015 7x-3.877 9, ?x∈(140°,180°]]
式中:x為擬合處理前角度;y為擬合處理后角度值,可以直接用于姿態(tài)計算。俯仰角擬合后的角度誤差圖見圖6。俯仰角擬合后的角度誤差控制在-1°~1°之內(nèi)。
足底壓力的大小和分布能夠有效地反映人體步態(tài)的變化[9],從而可獲取人體的某些生理或病理信息。選用Interlink Electronics公司的薄膜式壓力傳感器,采用超薄柔性材料制作,適合平面采集。根據(jù)偏癱患者足底壓力的分布特點,4個傳感器分布在腳底的腳跟后側(cè)、腳跟內(nèi)側(cè)、腳中部、第五跖骨[10],如圖7所示。
穿戴式傳感系統(tǒng)的檢測數(shù)據(jù)較多,如果為有線傳輸方式,患者穿戴后的運動不便,因此采用無線藍牙技術(shù)進行數(shù)據(jù)的傳輸。選用SPP?CA藍牙模塊,且具有串行接口,方便實現(xiàn)與單片機的串行通信連接。上下位機通信使用串口發(fā)送Serial.println( )腳本,腳本中定義了波特率與通信協(xié)議。下位機需要發(fā)送關(guān)節(jié)角度、足底壓力數(shù)據(jù),制定的通信協(xié)議中,數(shù)據(jù)格式如表2所示。
數(shù)據(jù)發(fā)送的開頭使用“!”字符,數(shù)據(jù)間用“#”分開。上位機使用C#編寫的串口通信函數(shù)實現(xiàn)接收,在檢測到開頭標志位“!”后,將數(shù)據(jù)使用“#”符號分割成4個字節(jié),使用Read(buf,0,1)進行4次逐字節(jié)的讀取,之后再將數(shù)據(jù)轉(zhuǎn)換為實測值,以數(shù)組形式對壓力及角度變量保存。
所研發(fā)的實驗樣機還未做臨床研究,因此以健康人為實驗對象,通過實測實驗驗證整個系統(tǒng)設(shè)計的可行性。以康復(fù)游戲運行時患者髖關(guān)節(jié)俯仰角的運動檢測為例,髖關(guān)節(jié)屈伸角度設(shè)定范圍為0°~100°。從圖8可知,IMU獲得的實測運動角度與設(shè)定的活動范圍相對應(yīng),誤差值為-1°~1°,驗證了誤差補償方法的有效性,并確定了運動的步態(tài)周期約為1.2 s。虛擬康復(fù)場景中也能夠準確地提示患者的運動,游戲運動過程連續(xù)流暢和虛擬場景匹配性高。實驗過程中,實驗者的注意力集中于虛擬場景及任務(wù)模式上面,有效地增加了康復(fù)興趣和訓(xùn)練的主動性,驗證了康復(fù)訓(xùn)練虛擬場景設(shè)計的有效性。
在測試髖關(guān)節(jié)活動范圍同時,檢測該受試者的足底壓力。由圖9可以看出支撐相時間約占58%,擺動相約占42%,4個足底壓力傳感器的測試值與人腳行走時的著力點分布對應(yīng),正確地體現(xiàn)出了正常人的步態(tài)[11],步態(tài)周期約為1.2 s,與圖8中觀察到的步態(tài)周期及康復(fù)游戲中的步態(tài)周期值一致。
通過對穿戴式傳感系統(tǒng)的實測,驗證了康復(fù)數(shù)據(jù)采集的精度及對人體康復(fù)過程中步態(tài)參數(shù)檢測的有效性。為進一步臨床康復(fù)治療中對步態(tài)分析提供了支持,利用獲取的步態(tài)曲線及足底壓力曲線分析患者的步態(tài)周期、步態(tài)相的切換、關(guān)節(jié)活動度、行走中的足蹬力等,有效地對患者康復(fù)進行評估。
本文構(gòu)建穿戴式傳感系統(tǒng)和基于虛擬現(xiàn)實的主動康復(fù)系統(tǒng)。利用MCU,IMU和FSR傳感器采集下肢障礙患者的姿態(tài)信息,并把其發(fā)送到PC機的虛擬場景中,與虛擬康復(fù)場景匹配。利用多項式擬合方法對傳感器誤差進行補償,提高了檢測精度。通過關(guān)節(jié)活動度和足底壓力的實時檢測,為步態(tài)分析提供了有效的康復(fù)數(shù)據(jù)依據(jù),實現(xiàn)康復(fù)效果的評估。虛擬現(xiàn)實技術(shù)提供的實時一致反饋對患者產(chǎn)生了良好的激勵作用,使患者的注意力更加集中,增加患者的主動性與積極性。
注:本文通訊作者為郭冰菁。
參考文獻
[1] 劉小龍,趙彥峻,葛文慶,等.醫(yī)療助力下肢外骨骼設(shè)計及動力學(xué)仿真分析[J].工程設(shè)計學(xué)報,2016,23(4):327?332.
LIU Xiaolong, ZHAO Yanjun, GE Wenqing, et al. Design and dynamics simulation analysis of medical disabled lower limb exoskeleton [J]. Chinese journal of engineering design, 2016, 23(4): 327?332.
[2] 徐寶國,彭思,宋愛國.基于運動想象腦電的上肢康復(fù)機器人[J].機器人,2011,33(3):307?313.
XU Baoguo, PENG Si, SONG Aiguo. Upper?limb rehabilitation robot based on motor imagery EEG [J]. Robot, 2011, 33(3): 307?313.
[3] 郭曉輝,王晶,楊揚,等.基于虛擬現(xiàn)實的下肢主被動康復(fù)訓(xùn)練系統(tǒng)研究[J].西安交通大學(xué)學(xué)報,2016,50(2):124?131.
GUO Xiaohui, WANG Jing, YANG Yang, et al. Active and passive training system of lower limb rehabilitation based on virtual reality [J]. Journal of Xian Jiaotong University, 2016, 50(2): 124?131.
[4] 劉瑞素,邢新闖,劉亞男,等.腳踏式下肢康復(fù)訓(xùn)練機器人結(jié)構(gòu)設(shè)計及運動學(xué)仿真[J].中國機械工程,2016,27(20):2722?2727.
LIU Ruisu, XING Xinchuang, LIU Yanan, et al. Design and simulation of a lower limbs rehabilitative robot [J]. China mechanical engineering, 2016, 27(20): 2722?2727.
[5] 歐陽攀,李強,盧秀慧.基于Unity3D的虛擬校園研究開發(fā)與實現(xiàn)[J].現(xiàn)代電子技術(shù),2013,36(4):19?22.
OUYANG Pan, LI Qiang, LU Xiuhui. Research and implementation of virtual campus development based on Unity3D [J]. Modern electronics technique, 2013, 36(4): 19?22.
[6] HASSAN M, KADONE H, SUZUKI K, et al. Wearable gait measurement system with an instrumented cane for exoskeleton control [J]. Sensors, 2014, 14(1): 1705?1722.
[7] 張佳帆.基于柔性外骨骼人機智能系統(tǒng)基礎(chǔ)理論及應(yīng)用技術(shù)研究[D].杭州:浙江大學(xué),2009.
ZHANG Jiafan. Exoskeleton based man?machine intelligent system and its application [D]. Hangzhou: Zhejiang University, 2009.
[8] 李世光,王文文,申夢茜,等.基于STM32的姿態(tài)測量系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù),2016,39(9):12?14.
LI Shiguang, WANG Wenwen, SHEN Mengxi, et al. Design of attitude measurement system based on STM32 [J]. Modern electronics technique, 2016, 39(9): 12?14.
[9] 鄧翔,佃松宜,翁桃.基于FSR的可穿戴式足底壓力檢測系統(tǒng)[J].傳感器與微系統(tǒng),2013,32(2):81?83.
DENG Xiang, DIAN Songyi, WENG Tao. Wearable plantar pressure detecting system based on FSR [J]. Transducer and microsystem technologies, 2013, 32(2): 81?83.
[10] 曹恒,賀成坤,孟憲偉,等.下肢外骨骼服傳感靴的結(jié)構(gòu)優(yōu)化分析[J].工程設(shè)計學(xué)報,2010,17(1):35?39.
CAO Heng, HE Chengkun, MENG Xianwei, et al. Structure optimization analysis for exoskeleton foot [J]. Journal of engineering design, 2010, 17(1): 35?39.
[11] 張今瑜,王嵐,張立勛.基于多傳感器的實時步態(tài)檢測研究[J].哈爾濱工程大學(xué)學(xué)報,2007,28(2):218?221.
ZHANG Jinyu, WANG Lan, ZHANG Lixun. Research on real?time gait phase measuring based on multi?sensor [J]. Journal of Harbin Engineering University, 2007, 28(2): 218?221.