杜 垚，李明澤，盧玉澄，劉晨飛，鮑安琪，王洪葆

(1.西南民族大學(xué)計(jì)算機(jī)系統(tǒng)國家民委重點(diǎn)實(shí)驗(yàn)室，四川 成都610041；2.西南民族大學(xué)數(shù)學(xué)學(xué)院，四川 成都610225；3.西南民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，四川 成都610225；4.西南民族大學(xué)電氣工程學(xué)院，四川 成都610225)

隨著互聯(lián)網(wǎng)時(shí)代的到來，人類與移動(dòng)應(yīng)用的聯(lián)系日益緊密，同時(shí)運(yùn)動(dòng)損傷人員對(duì)于專業(yè)的運(yùn)動(dòng)康復(fù)需求日益增加.堅(jiān)持長期的訓(xùn)練和科學(xué)的理念指導(dǎo)對(duì)于康復(fù)訓(xùn)練是兩個(gè)必不可少的因素，國內(nèi)外的臨床研究發(fā)現(xiàn)，相當(dāng)一部分人因?yàn)闀r(shí)間、空間問題難以長期堅(jiān)持康復(fù)訓(xùn)練；醫(yī)師與治療師缺乏溝通，最終導(dǎo)致患者不能達(dá)到康復(fù)需求.據(jù)統(tǒng)計(jì)，國內(nèi)大約95%的Ⅲ級(jí)及以上膝傷患者會(huì)到醫(yī)院就診，大約15%條件享受診療師的專業(yè)康復(fù)訓(xùn)練，而僅有不足5%的患者能滿足運(yùn)動(dòng)需求.因此為運(yùn)動(dòng)群體在傷病后提供低成本、高質(zhì)量的康復(fù)訓(xùn)練是急需解決的問題.對(duì)于此情況，本研究開發(fā)了一個(gè)具有穿戴功能的智能復(fù)健系統(tǒng)，同時(shí)可通過體感交互的技術(shù)手段，糾正康復(fù)訓(xùn)練姿勢(shì)，從而達(dá)到患者數(shù)據(jù)反饋及時(shí)，診斷與康復(fù)治療效率提高的目的.

平臺(tái)建設(shè)是國內(nèi)康復(fù)訓(xùn)練診療研究的重點(diǎn)，國內(nèi)的陳虹團(tuán)隊(duì)[1]采用機(jī)器視覺識(shí)別技術(shù)，在攝像技術(shù)的支持下，采集并識(shí)別了老年人的動(dòng)作數(shù)據(jù)，以此追蹤老年人復(fù)健的數(shù)據(jù).但是，易受環(huán)境光線的影響是這類復(fù)健系統(tǒng)(基于機(jī)器視覺原理)的短板.其一，該類系統(tǒng)目前能識(shí)別出的動(dòng)作行為，大多是綁定在大型康復(fù)訓(xùn)練器械上，便攜性較低.其二，傳感器記錄數(shù)據(jù)是這類平臺(tái)的數(shù)據(jù)采集主要途徑，根據(jù)處理器運(yùn)算，數(shù)據(jù)庫匹配給出訓(xùn)練建議，最終人為分析得出結(jié)論.其三，這些平臺(tái)通常只能針對(duì)單一器械(動(dòng)作)，平臺(tái)與用戶不能對(duì)多樣化訓(xùn)練動(dòng)作進(jìn)行交互，從而規(guī)范訓(xùn)練者的動(dòng)作，也不能在訓(xùn)練的同時(shí)密切關(guān)注醫(yī)生的醫(yī)囑，起不到高效率、高質(zhì)量康復(fù)訓(xùn)練的作用.為填補(bǔ)現(xiàn)有康復(fù)訓(xùn)練診療平臺(tái)的不足，本文提出一種智能穿戴式復(fù)健數(shù)據(jù)追蹤與輔助診療平臺(tái)，其結(jié)構(gòu)如圖1所示.

圖1 整體結(jié)構(gòu)示意圖Fig.1 Overall structure diagram

硬件模塊:MEMS慣性傳感數(shù)據(jù)采集單元(CC2541單片機(jī)＋mpu6050)用于采集人體的動(dòng)作數(shù)據(jù).數(shù)據(jù)由串口1傳輸至PC端；SEMG采集單元(雙通道)，可同時(shí)以100～1000 HZ的頻率追蹤肌力電信號(hào)，數(shù)據(jù)由串口2傳輸至PC端，存儲(chǔ)數(shù)據(jù)并可視化展示；Intel Minnow Board嵌入式處理單元(MEMS傳感器數(shù)據(jù)＋Kinect V2.0運(yùn)動(dòng)數(shù)據(jù)采集單元<視覺輔助>)、心率傳感器、GPS位置等信息以及云端數(shù)據(jù)，進(jìn)行結(jié)果的比對(duì)判別.

軟件模塊:通過C＃腳本，自串口對(duì)追蹤動(dòng)作數(shù)據(jù)信息進(jìn)行實(shí)施讀取，向Unity 3D游戲引擎?zhèn)鬏?，使模型姿態(tài)改變，完成動(dòng)作模擬，在Kinect V2.0 SDK創(chuàng)建并訓(xùn)練分類的自定義動(dòng)作，使測(cè)試集動(dòng)作能被識(shí)別并與標(biāo)準(zhǔn)動(dòng)作比對(duì).

算法模塊:作為平臺(tái)的核心，保障了動(dòng)作匹配的精確度，首先，在處理數(shù)據(jù)完成之后，將動(dòng)作對(duì)應(yīng)的特征向量提取出來；同時(shí)，通過多次訓(xùn)練的類別劃分模型(Adaboost算法[2])計(jì)算人體動(dòng)作的相似度；然后，采集大量的訓(xùn)練集與測(cè)試集；最后，系統(tǒng)測(cè)試和判斷置信度.

平臺(tái)模塊:患者利用手機(jī)小程序?qū)υ贫诉M(jìn)行訪問，將基礎(chǔ)信息操作完成，包括訓(xùn)練計(jì)劃查詢、注冊(cè)、醫(yī)患在線溝通和訓(xùn)練反饋等，后臺(tái)導(dǎo)入數(shù)據(jù)并完成數(shù)據(jù)比對(duì)、傳輸數(shù)據(jù)的功能；醫(yī)生和診療師可以在WEB端登錄分析患者數(shù)據(jù).同時(shí)交互端經(jīng)由趣味信號(hào)識(shí)別與界面顯示等功能完成實(shí)時(shí)交互.

1 系統(tǒng)設(shè)計(jì)框架

1.1 膝關(guān)節(jié)康復(fù)訓(xùn)練機(jī)理

人體膝關(guān)節(jié)由髕骨、前、后十字交叉韌帶以及半月板組成[3].膝關(guān)節(jié)的彎曲和韌帶的拉伸是同時(shí)發(fā)生的[4].當(dāng)人體在做下蹲動(dòng)作時(shí)，前后十字韌帶的活動(dòng)，韌帶牽動(dòng)股骨頭運(yùn)動(dòng)是膝關(guān)節(jié)的主要變化之一，因此為實(shí)現(xiàn)復(fù)健姿勢(shì)矯正的功能，可以通過監(jiān)測(cè)腿部的動(dòng)態(tài)來觀察人體的運(yùn)動(dòng)角度變化進(jìn)行實(shí)踐[5].

在康復(fù)訓(xùn)練的過程(例如深蹲)中，不良姿態(tài)的標(biāo)準(zhǔn)認(rèn)定為膝關(guān)節(jié)的彎曲角度是否超過90°.

1.2 康復(fù)平臺(tái)用戶研究

康復(fù)訓(xùn)練平臺(tái)的用戶主要包括:被動(dòng)用戶——即有運(yùn)動(dòng)需求的患者；主動(dòng)用戶——即醫(yī)生及診療師；承擔(dān)一定護(hù)理輔助工作的患者家屬.本文以患者、醫(yī)生及診療師為主要用戶研究對(duì)象.

(1)醫(yī)生和診療師實(shí)行康復(fù)治療的操作需求.醫(yī)生診斷身體情況，得出訓(xùn)練醫(yī)囑；診療師參考醫(yī)囑和患者運(yùn)動(dòng)需求，制定訓(xùn)練方案.

(2)患者的醫(yī)療康復(fù)需求.

2 整體結(jié)構(gòu)設(shè)計(jì)

2.1 硬件模塊設(shè)計(jì)

2.1.1 Wearables單元－MEMS慣性傳感數(shù)據(jù)采集單

近年來，人體動(dòng)作捕捉系統(tǒng)中運(yùn)用到了微機(jī)電系統(tǒng)[6](MEMS，Micro－Electro－Mechanical System)，隨著科技的發(fā)展，基于MEMS的傳感器效率和穩(wěn)定性都得到了提高.

本單元涵蓋了服務(wù)器、控制及數(shù)據(jù)采集模塊，下圖2即為邏輯和物理結(jié)構(gòu).

圖2 人體動(dòng)作數(shù)據(jù)采集物理與邏輯結(jié)構(gòu)Fig.2 Physical and logical structure of human motion data acquisition

CC2541片載系統(tǒng):

CC2541片載系統(tǒng)搭建的是OSAL操作系統(tǒng)[7]，具備注冊(cè)任務(wù)、初始化處理、任務(wù)間數(shù)據(jù)交換、任務(wù)同步、時(shí)間管理、中斷處理和內(nèi)存配置管理等功能.

射頻方面:建立了2.4GHz低功耗規(guī)范與私有RF片載系統(tǒng)，可允許不同數(shù)據(jù)速率的傳輸；可以遠(yuǎn)距離藍(lán)牙通訊；可編程輸出功率較高；接收器靈敏度較高.

布局方面:有大量外部接口；體積小，大小只有6mm3.

微控制器方面:代碼預(yù)存取功能性能較高；可編程閃存存儲(chǔ)器內(nèi)存較大；支持?jǐn)U展基帶自動(dòng)化功能:自動(dòng)確認(rèn)、地址解碼.

異步接收發(fā)器UART(不同串行通信協(xié)議)；二十三個(gè)通用1O管腳:IC接口(本設(shè)計(jì)選取模擬IC通信)(電路圖如圖3所示).

圖3 CC2541電路圖Fig.3 CC2541 circuit diagram

CC2541片載系統(tǒng)搭建的是OSAL操作系統(tǒng)，具備注冊(cè)任務(wù)、初始化處理、任務(wù)間數(shù)據(jù)交換、任務(wù)同步、時(shí)間管理、中斷處理和內(nèi)存配置管理等功能.

Mpu6050慣性傳感器:

是第一款將三軸陀螺儀與三軸加速度計(jì)整合在一起的多組件運(yùn)動(dòng)傳感器.

工作原理:為得到加速度計(jì)三個(gè)軸上的及時(shí)加速度，以參考電源為基準(zhǔn)轉(zhuǎn)化并輸出為一個(gè)電壓值，此時(shí)模型動(dòng)作、位置發(fā)生改變，內(nèi)部集成式電容也隨重力場(chǎng)的改變而改變，然后再通過數(shù)字模擬將電壓模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)就得到了及時(shí)加速度.

另外，Mpu6050還擁有以下優(yōu)點(diǎn):

● 安裝簡(jiǎn)單便攜，當(dāng)固定在支具上之后，人體可隨意活動(dòng)，不受干擾.

● 具有較高的采樣頻率，比人體運(yùn)動(dòng)頻率更大，基本不會(huì)出現(xiàn)數(shù)據(jù)失真.

● 價(jià)格便宜，性價(jià)比高.

RS232－USB轉(zhuǎn)換芯片:

轉(zhuǎn)換芯片(USB功能控制器和收發(fā)器＋URAI等通常在數(shù)據(jù)轉(zhuǎn)換＋存儲(chǔ)的重要器件PL230311中使用).全雙工異步串行通信的功能的實(shí)現(xiàn)需要PL2303 USB和RS232，能夠經(jīng)由USB從PC端對(duì)數(shù)據(jù)進(jìn)行接受和儲(chǔ)存，在將其轉(zhuǎn)變成RS232信息流格式之后再進(jìn)行內(nèi)部處理，亦或是將RS232獲取大的數(shù)據(jù)變成USB數(shù)據(jù)格式，向PC端輸送，進(jìn)而進(jìn)行接下來的更加復(fù)雜的操作.

本文采用的RS232－USB轉(zhuǎn)換芯片中結(jié)合了USB收發(fā)器與功能控制器、URAI等存儲(chǔ)或轉(zhuǎn)換數(shù)據(jù)的重要器件PL230311.PL2303能夠使數(shù)據(jù)在RS232和USB間進(jìn)行全雙工異步串行通信.能夠經(jīng)由USB從PC端對(duì)數(shù)據(jù)進(jìn)行接受和儲(chǔ)存，在將其轉(zhuǎn)變成RS232信息流格式之后再進(jìn)行內(nèi)部處理，亦或是將RS232獲取大的數(shù)據(jù)變成USB數(shù)據(jù)格式，向PC端輸送，進(jìn)而進(jìn)行接下來的更加復(fù)雜的操作.

以慣性傳感器為基礎(chǔ)有關(guān)的人體動(dòng)作相似度計(jì)算的研究多是通過傳感器對(duì)人體動(dòng)作數(shù)據(jù)進(jìn)行采集，之后利用姿態(tài)解算，再經(jīng)由PL2303向PC端傳輸過程中使數(shù)據(jù)變成USB格式，最后將動(dòng)作數(shù)據(jù)展開處理及相似度求解.

如圖4為簡(jiǎn)單的屈腿所采集到的數(shù)據(jù)，各組姿態(tài)角間的分割通過“!”完成，不同姿態(tài)角的三維數(shù)據(jù)通過“，”進(jìn)行分割.

圖4 sscom32接收的數(shù)據(jù)Fig.4 Data received by sscom32

2.1.2 Wearables單元－SEMG信號(hào)采集單元

本單元在基于LabVIEW開發(fā)的用戶界面的編程中加入了RS485轉(zhuǎn)USB的通信模塊的基礎(chǔ)是Lab-VIEW迅速建立需要的應(yīng)用工序特點(diǎn)、具備的數(shù)據(jù)采集系統(tǒng)、儀器變成的便捷途徑特點(diǎn).本文選用SICHIRAY科技有限公司推出的BIOFORCEN表面肌電采集系統(tǒng)對(duì)SEMG信號(hào)進(jìn)行獲取，下圖5即為具體信號(hào)圖.

圖5 SEMG肌電信號(hào)波Fig.5 SEMG signal wave

每個(gè)SEMG采集器有2個(gè)信號(hào)通道，單路通道含3個(gè)電極.肌電信號(hào)在配套無線接口器與SEMG采集器一起使用時(shí)不僅可以直接傳輸至PC外，還可以進(jìn)行無線傳輸.這樣SEMG采集器在人體身上佩戴的時(shí)候要與PC端保持一定距離，信號(hào)采集處理之后會(huì)被無線接收器接受，通過接口器處理的數(shù)據(jù)傳輸至PC端.

2.1.3 Wearables單元－Minnow Board嵌入式處理單元

基于Minnow Board的嵌入式處理單元[8]Kinect完成的功能主要是對(duì)體感攝影機(jī)獲取的運(yùn)動(dòng)數(shù)據(jù)、以Genuino為基礎(chǔ)的傳感器節(jié)點(diǎn)單元回轉(zhuǎn)的數(shù)據(jù)與云端數(shù)據(jù)展開人機(jī)交互和處理分析.下圖6即為信號(hào)流圖示.

圖6 Minnow Board系統(tǒng)信號(hào)流圖Fig.6 Minnow Board system signal flow diagram

Minnow Board與Kinect運(yùn)動(dòng)數(shù)據(jù)采集單元相連的接口為高速以太網(wǎng)，將Kinect獲到的手勢(shì)與運(yùn)動(dòng)識(shí)別信息捕獲之后，經(jīng)由SPI接口與NRF24L01無線模塊相連，此外會(huì)在同一時(shí)間五個(gè)Genuino傳感器節(jié)點(diǎn)單元傳回的數(shù)據(jù).通過USB接口接入3.5 mm外置聲卡，將USB信號(hào)轉(zhuǎn)化為音頻信號(hào)輸出，使Minnow Board嵌入式平臺(tái)能實(shí)現(xiàn)語音播報(bào)功能.同時(shí)，通過HDMI接口，Minnow Board嵌入式平臺(tái)接入液晶顯示器后作為圖形界面交互輸出.

2.1.4 Kinece V2.0運(yùn)動(dòng)數(shù)據(jù)采集單元

①設(shè)備概述

2014年11 月，微軟公司開發(fā)了Kinect V2動(dòng)感知輸入設(shè)備，用戶在使用Kinect時(shí)不用再通過硬件設(shè)備，如手柄等進(jìn)行操作，而是可以通過手勢(shì)或者語音指令對(duì)系統(tǒng)界面進(jìn)行操作[9].

Kinect(圖7)為長條形狀，攝像頭有兩組，其中一組為RGB Camera(彩色相機(jī))，用于捕獲普通彩色圖像源數(shù)據(jù)里；其中一組是分別處在左側(cè)與右側(cè)的IR Emitters(紅外發(fā)射器)與Depth Sensor(深度相機(jī)或者稱為紅外相機(jī))組成.我們可以通過對(duì)Kinect進(jìn)行二次開發(fā)使其升級(jí)、完善，在獲取到視野里面用戶對(duì)應(yīng)的深度圖像.

圖7 Kinect V2實(shí)物圖Fig.7 Kinect V2 image

Kinect V2可以同時(shí)識(shí)別六個(gè)人，并檢測(cè)到每個(gè)人身上的26個(gè)關(guān)節(jié)信息[10]，但最大程度上最多能同時(shí)分析兩個(gè)人所提供的骨骼數(shù)據(jù).Kinect V2輸出視頻的幀率為每秒30幀，深度與彩色圖像的像素均為640*480.因?yàn)槔硐霠顟B(tài)下，對(duì)用戶可以進(jìn)行0.8到3米范圍內(nèi)的跟蹤識(shí)別，因此由于 要確保效果，要將距離限定在1.2到3.5米范圍內(nèi).探測(cè)器在水平方向上的視角范圍是43°～57°.

Kinect V2的紅外傳感器會(huì)在一定的視角范圍內(nèi)獲取各點(diǎn)對(duì)應(yīng)的深度信息，同時(shí)解算空間物體的位置所在.此類紅外傳感器經(jīng)由黑白光譜來判斷外界的具體環(huán)境條件.最遠(yuǎn)距離用黑色表示，最近距離用白色表示，黑色和白色間的灰色代表視野里面物體的距離與位置等相關(guān)信息[11].對(duì)獲取的深度信息展開光編碼處理(原理見下圖8)，在將其變成附近環(huán)境的深度圖像之后再按照30幀/s的速度構(gòu)建圖像流，對(duì)周圍環(huán)境進(jìn)行實(shí)施的立體再現(xiàn)(圖9).

圖8 光編碼原理Fig.8 Optical coding principle

圖9 3D深度骨骼定位Fig.93D deep bone localization

②基于Kinect骨骼追蹤的肢體運(yùn)動(dòng)追蹤

在康復(fù)訓(xùn)練時(shí)，除去患者，醫(yī)生與家人同樣會(huì)存在于Kinect視野范圍內(nèi)，因此要利用相應(yīng)的ID對(duì)各組骨骼數(shù)據(jù)展開分析處理，進(jìn)而對(duì)視野范圍內(nèi)的各類人群信息區(qū)分.康復(fù)期的患者能夠直接將Kinect捕捉到的實(shí)時(shí)追蹤圖像獲取到[12]，此圖像是基于深度圖像信息在相應(yīng)的界面區(qū)域?qū)崟r(shí)繪制出來的，這樣就能夠?qū)⒐趋缹?duì)應(yīng)的視覺反饋信息直接得到.

先進(jìn)行初始化處理，之后將骨骼追蹤模式開啟，通過觸發(fā)的方法將SkeletonStream骨骼流里面的骨骼數(shù)據(jù)獲取到[13].SkeletonStream骨骼流產(chǎn)生的所有數(shù)據(jù)均為一個(gè)骨骼對(duì)象的集合，其中涵蓋了一組骨架數(shù)據(jù)結(jié)構(gòu)，各元素均對(duì)應(yīng)這相應(yīng)的骨架追蹤信息，涵蓋了能夠?qū)趋狸P(guān)節(jié)坐標(biāo)及骨骼位置進(jìn)行描述的數(shù)據(jù)[14].

2.2 軟件模塊設(shè)計(jì)

從輔助康復(fù)訓(xùn)練系統(tǒng)的軟件程序設(shè)計(jì)需求上看，需要滿足系統(tǒng)對(duì)安全監(jiān)測(cè)的超曲鎖死、摔倒報(bào)警；自定義訓(xùn)練計(jì)劃生成的功能、人工定制計(jì)劃功能；醫(yī)患對(duì)于患者需求的溝通；康復(fù)師建議、醫(yī)師復(fù)診功能；姿態(tài)監(jiān)測(cè)的數(shù)據(jù)采集處理；肌電傳感監(jiān)測(cè)的量化肌力監(jiān)測(cè)等功能需求作用.通過上述內(nèi)容，此裝置程序?qū)?yīng)的需求分析見下圖10中內(nèi)容.

圖10 復(fù)健監(jiān)測(cè)系統(tǒng)軟件需求分析Fig.10 Software requirement analysis of rehabilitation monitoring system

2.2.1 Kinect V2.0 SDK＋Unity 3D單元

Windows系統(tǒng)為開放的、人際交互界面良好的應(yīng)用軟件開發(fā)系統(tǒng).此系統(tǒng)的編程環(huán)境為Microsoft Visual Studio 2010(windows10)，主要就是為了利用軟件設(shè)計(jì)完成動(dòng)作關(guān)節(jié)角度的求取與數(shù)據(jù)的識(shí)別跟蹤，完成對(duì)于視頻數(shù)據(jù)及游戲結(jié)果的儲(chǔ)存.本章節(jié)的軟件部分就是通過Kinect V2.0 SDK與Microsoft Visual Studio 2010綜合進(jìn)行的編程[15].

Kinect V2.0 SDK＋Unity 3D單元

Unity 3D是集建模與開發(fā)于一身的可視化游戲開發(fā)軟件，具體見下圖11.可在不同的平臺(tái)使用，游戲引擎強(qiáng)大是其最大的優(yōu)點(diǎn)，為開源普及打下了良好的基礎(chǔ).

圖11 Unity 3D系統(tǒng)Fig.11 Unity 3 d system

Unity 3D擁有統(tǒng)一編輯器，支持多平臺(tái)操作.其優(yōu)點(diǎn)之一是:擁有便捷的代碼調(diào)試器，支持多種腳本編程，在模型運(yùn)動(dòng)過程中可以通過設(shè)置斷點(diǎn)實(shí)現(xiàn)單步(step－set)調(diào)試的功能，這對(duì)觀察人體動(dòng)作模擬過程具有重要意義[16].

其優(yōu)點(diǎn)之二是支持從外部導(dǎo)入體貌數(shù)據(jù)不同的模型，不僅節(jié)省了建模的時(shí)間，一定程度上解決因使用者膝關(guān)節(jié)數(shù)據(jù)差異導(dǎo)致的圖像變形，而且兼顧了娛樂.

動(dòng)作模擬主要分為導(dǎo)入模型、添加腳本、模擬動(dòng)作三個(gè)步驟.將3DMAX人體模型導(dǎo)入并在肢體關(guān)節(jié)部分添加初級(jí)腳本，實(shí)時(shí)追蹤串口數(shù)據(jù)并刷新下肢姿態(tài).

2.3 算法模塊設(shè)計(jì)

2.3.1 數(shù)據(jù)預(yù)處理與特征提取的設(shè)計(jì)與實(shí)現(xiàn)

①數(shù)據(jù)處理結(jié)構(gòu)設(shè)計(jì)

要作為分類模型的輸入數(shù)據(jù)，在采集到原始人體動(dòng)作數(shù)據(jù)后，就要將數(shù)據(jù)在PC端進(jìn)一步操作.數(shù)據(jù)處理[17](如圖12所示)是數(shù)據(jù)采集與相似度計(jì)算的中間過程.預(yù)處理與特征提取是數(shù)據(jù)處理的組成部分，在串口數(shù)據(jù)處理過程中，需要依次進(jìn)行數(shù)據(jù)噪音剔除、歸一化處理、數(shù)據(jù)平滑、特征提取及選取等.

圖12 數(shù)據(jù)處理結(jié)構(gòu)圖Fig.12 Data processing structure diagram

數(shù)據(jù)輸入流(采集到的人體動(dòng)作數(shù)據(jù))的預(yù)處理工作包括孤立點(diǎn)處理、多項(xiàng)式擬合以及數(shù)據(jù)歸一化.在出事數(shù)據(jù)的前提下，分別站在微觀和宏觀兩個(gè)層面對(duì)數(shù)據(jù)特征進(jìn)行提取.不但對(duì)數(shù)據(jù)宏觀上具備的特點(diǎn)進(jìn)行關(guān)注，還對(duì)微觀上細(xì)節(jié)改變規(guī)律予以關(guān)注.先對(duì)統(tǒng)計(jì)特征(如:均值、方差、相關(guān)系數(shù)等)和子序列相似度特征進(jìn)行提取，之后通過特征對(duì)輸出動(dòng)作對(duì)應(yīng)的特征向量進(jìn)行選取.

②數(shù)據(jù)預(yù)處理的實(shí)現(xiàn)

原始數(shù)據(jù)獲取之后，因?yàn)閿?shù)據(jù)是不規(guī)則的，存在噪音(傳感器被外界影響、系統(tǒng)本身穩(wěn)定性差和人體的抖動(dòng)均為數(shù)據(jù)噪音產(chǎn)生的原因)，所以需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作.在理想狀態(tài)下，人體動(dòng)作的運(yùn)動(dòng)軌跡是一條平滑的曲線，這里得到的數(shù)據(jù)是一條平滑曲線與少量噪音疊加的結(jié)果.為將動(dòng)作數(shù)據(jù)盡可能還原為運(yùn)動(dòng)軌跡(如圖13所示)，所以需要尋找恰當(dāng)?shù)臄?shù)據(jù)預(yù)處理算法.

圖13 人體動(dòng)作原始數(shù)據(jù)Fig.13 Human motion raw data

對(duì)于數(shù)據(jù)中噪聲的處理可以分為兩種，其一是由于硬件數(shù)據(jù)傳輸期間引起的孤立點(diǎn)(偏離大多數(shù)數(shù)據(jù)點(diǎn)較遠(yuǎn)的點(diǎn))；其二是由于目標(biāo)點(diǎn)抖動(dòng)造成的波動(dòng)數(shù)據(jù)(鋸齒狀).數(shù)據(jù)平滑與多項(xiàng)式擬合的方法能有效去除上述噪音，預(yù)處理流程如下圖14所示:

圖14 數(shù)據(jù)預(yù)處理流程圖Fig.14 Data preprocessing flow chart

A)孤立點(diǎn)處理的算法原理

均值平滑濾波:設(shè)計(jì)固定長度的濾波滑窗，可以從數(shù)據(jù)起始位置一直到結(jié)尾.每次滑動(dòng)均把窗口內(nèi)的數(shù)據(jù)平均大小當(dāng)成處理完成的數(shù)據(jù)下新數(shù)據(jù)序列中輸入，此新序列即為均值平滑濾波處理完成后的有效數(shù)據(jù).

之后，動(dòng)作數(shù)據(jù)序列一般會(huì)處于連續(xù)狀態(tài)[18].不過因?yàn)槿梭w的抖動(dòng)造成數(shù)據(jù)抖動(dòng)、確實(shí)及傳輸失真的原因，要想使人體活動(dòng)軌跡能夠更加精準(zhǔn)的再現(xiàn)，本設(shè)計(jì)通過多項(xiàng)式擬合手段對(duì)數(shù)據(jù)進(jìn)行了深入的處理.

B)數(shù)據(jù)擬合的算法原理

數(shù)據(jù)擬合:通過平滑連續(xù)的曲線盡量對(duì)數(shù)據(jù)序列進(jìn)行無偏差擬合處理，也就是A里面提到的，同時(shí)通過函數(shù)將曲線表示出來.數(shù)據(jù)擬合并非需要曲線和全部數(shù)據(jù)點(diǎn)相符，僅需數(shù)據(jù)點(diǎn)和曲線中數(shù)據(jù)點(diǎn)的總距離數(shù)值最小就可以.

擬合數(shù)據(jù)的過程中，要按照數(shù)據(jù)的實(shí)際情況對(duì)相應(yīng)擬合模型進(jìn)行選取，本設(shè)計(jì)里面獲取的數(shù)據(jù)是由人體肢體運(yùn)動(dòng)姿態(tài)不斷變化產(chǎn)生的，各周期均有不同的相位、頻率及振幅.因此通過多項(xiàng)式函數(shù)與正弦函數(shù)對(duì)人體動(dòng)作數(shù)據(jù)進(jìn)行擬合是最適當(dāng)?shù)?，而多?xiàng)式比正弦函數(shù)在擬合計(jì)算方面更加方便.因此，本文采用多項(xiàng)式函數(shù)來擬合人體動(dòng)作數(shù)據(jù).本文通過最小誤差平方和對(duì)多項(xiàng)式擬合算法擬合人體活動(dòng)數(shù)據(jù)集的最終效果進(jìn)行衡量.

最小誤差絕對(duì)值和:

最小最大絕對(duì)值誤差:

擬合數(shù)據(jù)點(diǎn)到曲線的歐氏距離和的平方降到最小.

誤差平方和最小:

使擬合曲線盡量逼近離散數(shù)據(jù)點(diǎn)是誤差平方和最小準(zhǔn)則的最終目的.

上述多項(xiàng)式擬合算法(基于最小二乘法)，最小乘法的損失函數(shù)就是誤差平方和.最小的乘法的原理是:數(shù)據(jù)點(diǎn)集合D(x i，y i)的和最小在函數(shù)集合P中找到一個(gè)最佳函數(shù)f(x)∈P讓∈D具有最小平方和，具體見下式(4)，而多項(xiàng)式擬合指的就是函數(shù)集合P里面的函數(shù)是多項(xiàng)式函數(shù)，也就是.

如此一來，求解的問題最優(yōu)解即可通過下式得到:

C)數(shù)據(jù)歸一化的算法原理

在人體動(dòng)作相似度計(jì)算方面，采集動(dòng)作數(shù)據(jù)時(shí)間長短不一致，會(huì)造成采集到的數(shù)據(jù)量不一致[19].后續(xù)特征提取、數(shù)據(jù)處理都需要統(tǒng)一數(shù)據(jù)量，故對(duì)數(shù)據(jù)進(jìn)行歸一化處理是非常必要的.

在采集數(shù)據(jù)方面，數(shù)據(jù)總量與動(dòng)作復(fù)雜度呈正相關(guān).為便于數(shù)據(jù)比對(duì)，需要將動(dòng)作數(shù)據(jù)規(guī)范統(tǒng)一量綱.

記L(x)為第i個(gè)動(dòng)作的數(shù)據(jù)序列長度統(tǒng)計(jì)，將代表人體動(dòng)作的擬合函數(shù)表示成f(x)(使f(x)處于標(biāo)準(zhǔn)縮放狀態(tài))，僅需將自變量x與乘以伸縮系數(shù)k，k＝L(x)/80就可以.

D)特征提取的實(shí)現(xiàn)

我們已經(jīng)得到一個(gè)統(tǒng)一量綱下的數(shù)據(jù)集，雖然人體各運(yùn)動(dòng)過程中姿態(tài)的改變能夠表示處理，在兩組動(dòng)作數(shù)據(jù)給定的情況下，按照人體骨骼定位就能夠初步判斷動(dòng)作的相似程度，但是實(shí)際操作中需要可以表征某一類特定動(dòng)作特點(diǎn)的特征向量，更精確地判斷兩組動(dòng)作的相似性，故需要加入特征提取流程(發(fā)現(xiàn)數(shù)據(jù)規(guī)律的過程就是特征提取).特征提取的流程圖如圖15所示.2.3.2 動(dòng)作相似度計(jì)算的設(shè)計(jì)與實(shí)現(xiàn)

圖15 特征提取流程圖Fig.15 Feature Extraction Flow Chart

分類模型(Adaboost)是動(dòng)作相似度計(jì)算的基礎(chǔ)，在經(jīng)過數(shù)據(jù)處理之后將動(dòng)作數(shù)據(jù)對(duì)應(yīng)的特征向量獲取到，能夠建立測(cè)試集和訓(xùn)練集.通過訓(xùn)練集的訓(xùn)練分類模型，選取相應(yīng)的模型參數(shù)將最優(yōu)分類模型得到；在分類模型中輸入測(cè)試集，將預(yù)測(cè)結(jié)果得出，同時(shí)對(duì)結(jié)果進(jìn)行分析.流程如圖16所示.

圖16 分類模型流程圖Fig.16 Flow chart of classification model

2.3.3 模型訓(xùn)練的實(shí)現(xiàn)

1)數(shù)據(jù)集

輸入體感交互設(shè)備和慣性傳感器采集到的數(shù)據(jù)，用特征提取算法，利用卡方檢驗(yàn)方法，將特征從42維/節(jié)點(diǎn)降到30維/節(jié)點(diǎn).

2)訓(xùn)練集

數(shù)據(jù)采集動(dòng)作:初步分為6種，分別為大、小幅度曲腿、大、小幅度蹲、大、小幅度提膝.參與動(dòng)作采集的共有20人.在采集數(shù)據(jù)的時(shí)候:每人將上述動(dòng)作均重復(fù)三次，將原始的360組原始動(dòng)作得到，因?yàn)楸驹O(shè)計(jì)是與人體動(dòng)作相似度計(jì)算相關(guān)的研究，因此動(dòng)作特征是通過數(shù)據(jù)簡(jiǎn)單比較得到的.相似度超過2/3，就標(biāo)記為“動(dòng)作相似”.結(jié)果如下表1所示.

表1 數(shù)據(jù)采集結(jié)果Table 1 Data acquisition results

由于要讓正負(fù)樣本處于數(shù)量上的平衡，本研究在負(fù)樣本里面隨機(jī)抽樣，將正負(fù)樣本的比例調(diào)整到最適，也就是正樣本為全量，負(fù)樣本為隨機(jī)采樣.

3)測(cè)試集

二十人各完成規(guī)定的動(dòng)作(六種動(dòng)作中選一種)，共200組，各組含有兩個(gè)動(dòng)作.本文對(duì)似動(dòng)作要求較為嚴(yán)格，等以下兩種情況均標(biāo)記為“不相似”:其一為不同的動(dòng)作幅度差距較大，其二為同一動(dòng)作但幅度差距較大.

4)分類器分析

經(jīng)測(cè)試，選取弱分類器個(gè)數(shù)為70，決策樹深度設(shè)置為30.

2.4 客戶端設(shè)計(jì)

如下圖17所示，平臺(tái)是介于復(fù)健者與治療師搭建的，基于訓(xùn)練和體感交互數(shù)據(jù)，以Web端和移動(dòng)端呈現(xiàn)，復(fù)健者康復(fù)狀態(tài)能基于數(shù)據(jù)交互被治療師實(shí)時(shí)監(jiān)測(cè)，由治療師更新康復(fù)訓(xùn)練計(jì)劃和訓(xùn)練建議[20].

圖17 數(shù)據(jù)交互示意圖Fig.17 Data interaction diagram

2.4.1 WEB端

通過在原有的框架源碼進(jìn)行修改渲染，制作用戶登錄注冊(cè)界面，注冊(cè)完的用戶信息傳遞到后臺(tái)數(shù)據(jù)庫進(jìn)行數(shù)據(jù)交互，數(shù)據(jù)交互的過程使用java語言，連接到mysql數(shù)據(jù)庫上，通過中間Tomcat服務(wù)器實(shí)現(xiàn)小程序與數(shù)據(jù)庫的交互.

①前端

網(wǎng)頁框架采用LayUi前端框架進(jìn)行渲染，在其源碼的基礎(chǔ)上進(jìn)行修改，PTS可以在web端查看復(fù)健者的康復(fù)狀況，并由此更新康復(fù)計(jì)劃.

②后端服務(wù)器及框架

使用Java語言，基于Spring Tool Suite 4環(huán)境開發(fā)，使用Tomcat服務(wù)器.SpringBoot作為后臺(tái)的開發(fā)集成框架，使用Maven管理項(xiàng)目.

③數(shù)據(jù)庫

使用mysql數(shù)據(jù)庫存儲(chǔ)復(fù)健者與治療師的個(gè)人信息，通過體感穿戴設(shè)備獲取復(fù)健者康復(fù)信息實(shí)時(shí)更新數(shù)據(jù)到數(shù)據(jù)庫中.

④數(shù)據(jù)可視化

前端頁面發(fā)后臺(tái)服務(wù)器送請(qǐng)求，獲取數(shù)據(jù)庫數(shù)據(jù)，再通過調(diào)用腳本對(duì)頁面渲染，生成可視化圖表.

2.4.2 Android程序端

1)用戶注冊(cè)及登錄模塊設(shè)計(jì)

用戶注冊(cè)/登錄界面如圖18所示，對(duì)于首次進(jìn)行康復(fù)訓(xùn)練 的患者需要先進(jìn)行用戶名和密碼的注冊(cè)[21].康復(fù)訓(xùn)練系統(tǒng)會(huì)對(duì) 已注冊(cè)過的用戶進(jìn)行信息錄入.對(duì)于已存檔的患者可以直接輸入用戶名和密碼登錄進(jìn)行康復(fù)訓(xùn)練，這樣可以對(duì)不同的患 者進(jìn)行跟蹤式訓(xùn)練記錄[22].

圖18 用戶登錄/注冊(cè)界面Fig.18 User login/registration interface

2)小程序主界面

小程序主頁主要包括用戶信息記錄，如圖19所示，歷史信息查詢和康復(fù)訓(xùn)練系統(tǒng)鏈接，用于實(shí)現(xiàn)不同的功能，其中康復(fù)訓(xùn)練系統(tǒng)接口與體感交互設(shè)備和藍(lán)牙連接的慣性傳感器配合使用[23].

圖19 小程序界面Fig.19 Applet interface

3)用戶信息記錄界面

用戶信息記錄頁面主要用于記錄階段性康復(fù)信息[24]，具體界面如圖20所示，用于顯示單次康復(fù)信息，查詢個(gè)人信息，歷史信息查詢，用戶信息與反饋，關(guān)于平臺(tái)的信息.

圖20 用戶信息記錄界面Fig.20 User information recording interface

歷史信息查詢主要用查詢本ID歷史上的康復(fù)訓(xùn)練記錄信息，界面如圖21所示.

圖21 歷史信息查詢Fig.21 Historical information query

3 系統(tǒng)測(cè)試

3.1 實(shí)驗(yàn)設(shè)計(jì)

為了對(duì)系統(tǒng)可靠性進(jìn)行驗(yàn)證，挑選健康及有膝關(guān)節(jié)病痛的志愿者共二十位，里面有女性參與者八位及男性參與者十二位，年齡范圍為22到28歲.根據(jù)系統(tǒng)提示，將康復(fù)動(dòng)作完成，各動(dòng)作要重復(fù)三次.和標(biāo)準(zhǔn)數(shù)據(jù)庫數(shù)據(jù)進(jìn)行對(duì)比，下表2中列舉了系統(tǒng)中重要自身的匹配情況，錯(cuò)誤動(dòng)作1指的是僅將動(dòng)作整體的前四各分動(dòng)作完成，錯(cuò)誤動(dòng)作2指的是僅將前三個(gè)分動(dòng)作完成，錯(cuò)誤動(dòng)作3指的是僅將前兩個(gè)分動(dòng)作完成，錯(cuò)誤動(dòng)作4指的是僅將前一個(gè)分動(dòng)作完成.

表2 實(shí)驗(yàn)設(shè)計(jì)表Table 2 Experimental design table

3.2 結(jié)果分析

實(shí)驗(yàn)結(jié)果顯示，判斷關(guān)鍵姿勢(shì)匹配情況是否完成是具備可行性的，此系統(tǒng)可以將動(dòng)作信息精準(zhǔn)反饋出來，使參與者的動(dòng)作完成度能夠被階段性的顯現(xiàn)出來.如果目標(biāo)對(duì)象的動(dòng)作在某階段發(fā)生了錯(cuò)誤，那么對(duì)應(yīng)的關(guān)鍵字是就會(huì)匹配不上，這是，系統(tǒng)可以立即向用戶反饋不標(biāo)準(zhǔn)的數(shù)據(jù)，告知參與者動(dòng)作不符合要求.此系統(tǒng)不但能夠?qū)τ脩魟?dòng)作進(jìn)行監(jiān)視，還能夠指引用戶動(dòng)作，同時(shí)可以對(duì)患者的康復(fù)訓(xùn)練數(shù)據(jù)進(jìn)行記錄，以便醫(yī)生能夠?qū)祻?fù)計(jì)劃進(jìn)行隨時(shí)調(diào)整，對(duì)患者高效、科學(xué)的康復(fù)訓(xùn)練更加有利.

4 結(jié)語

設(shè)計(jì)開發(fā)出了可穿戴使用的智能復(fù)健矯姿系統(tǒng)，通過體感交互與傳感器數(shù)據(jù)采集，將人體姿勢(shì)的檢測(cè)準(zhǔn)確度提升；利用以閾值判定和特征值提取為基礎(chǔ)途徑完成了人體復(fù)健訓(xùn)練姿勢(shì)的矯正.將以復(fù)健平臺(tái)為基礎(chǔ)的系統(tǒng)設(shè)計(jì)統(tǒng)一結(jié)合，是當(dāng)前市場(chǎng)上常見的軟硬件分離問題避免，提高了系統(tǒng)整體的易用性，對(duì)規(guī)范復(fù)健姿勢(shì)，避免二次損傷具有良好的效果.

此系統(tǒng)對(duì)于目前市面上的復(fù)健數(shù)據(jù)監(jiān)測(cè)系統(tǒng)而言，不但佩戴更加舒適，攜帶便捷，能夠完成實(shí)時(shí)監(jiān)測(cè)，還能夠通過配套小程序更加便于系統(tǒng)交互，具備智能性，以便用戶更好的維護(hù)及管理系統(tǒng).