李世杰，夏 斌

(上海海事大學 信息工程學院，上海 201306)

基于Kinect的體感康復游戲系統(tǒng)設計*

李世杰，夏 斌

(上海海事大學 信息工程學院，上海201306)

傳統(tǒng)的康復訓練因理療師和設備緊缺、訓練場地有限、娛樂性差等問題，存在著很大的局限性。構建了基于Kinect與Unity3D的體感康復游戲系統(tǒng)，主要特色包括：虛擬人物與玩家運動同步；通過引導軌跡實現(xiàn)運行引導反饋、卡通目標點設定算法實現(xiàn)游戲的不同難度等。測試結果表明，系統(tǒng)具有很好的實時性、交互性和娛樂性，對類似體感游戲開發(fā)有較好的參考價值。

體感交互技術；Unity3D；Kinect；醫(yī)療康復

0 引言

近年來，運動能力問題成為了人們關注的焦點，越來越多的人群需要進行康復訓練。研究表明，科學的康復訓練可使患者的機體功能得到最大限度的恢復，提高患者生活自理、工作和學習能力[1]。經(jīng)過幾十年的實踐，康復醫(yī)學對運動功能障礙的療效已獲得廣泛的肯定，特別是康復訓練的介入，能有效地增強對肢體的控制力[2-3]。

但是，傳統(tǒng)康復訓練必須在限定的康復場所，而且醫(yī)師在旁進行指導才能進行，有很大的局限性，整個康復訓練過程比較單調、缺乏趣味性。隨著科技的發(fā)展，新型人機交互技術步入人們的視線，越來越多的人使用該技術進行體感康復訓練[4-5]，TAYLOR M J等人率先證實Kinect技術在康復領域的可行性[6-7]，隨后，WANN J P[9]等提出了可視化虛擬康復治療。

上述表明，基于Kinect的康復訓練系統(tǒng)可以用來進行肢體康復訓練[9]，但是目前的康復系統(tǒng)中動作設計復雜，難度不合適，設計形式缺乏趣味性。本研究充分考慮到傳統(tǒng)康復訓練系統(tǒng)的不合理性和單調性問題，使用易于攜帶的Kinect設備，結合Unity3D游戲引擎[10-11]，將康復動作融入到游戲中，對游戲進行系統(tǒng)測試，設計出一款不受地點限制、操作簡單、趣味性強、穩(wěn)定性強的體感游戲康復訓練系統(tǒng)[12]。

1 數(shù)據(jù)獲取與連接實現(xiàn)

Kinect體感器設備共有3個攝像頭，分別為RGB彩色攝像頭、紅外線發(fā)射器和紅外線CMOS攝像頭。通過紅外線發(fā)射器發(fā)射出近紅外線，紅外線CMOS攝像機記錄，對測量空間進行編碼處理，得到3D深度圖像。對3D深度圖像進行再處理，獲取到關鍵關節(jié)點上的三維坐標。在Unity3D與Kinect的連接方面，存在兩種方式，一種是基于C++的頭文件和靜態(tài)鏈接庫的方式，另一種是程序集的方式[13]，這兩種方式在Unity中不可以直接調用，但是在C#平臺中提供與非托管程序的使用方式，導入動態(tài)鏈接庫DLL文件，通過自定義數(shù)據(jù)結構和算法，能夠實現(xiàn)對Kinect中獲得的數(shù)據(jù)重新組織，在Unity[14]中使用，完成連接。

2 體感游戲系統(tǒng)設計與實現(xiàn)

系統(tǒng)框架結構圖如圖1所示，包含兩個部分，一是體感游戲康復系統(tǒng)開發(fā)，二是康復過程評估系統(tǒng)的研究。本文主要側重于體感康復游戲開發(fā)部分，其中包括菜單界面、標定界面、游戲界面和得分界面。菜單界面主要用于配置游戲的參數(shù)，如：訓練手部、動作難度的設置等。標定界面主要用于對人物位置的標定。患者在游戲界面中進行康復游戲訓練。得分界面用于顯示完成不同動作后的得分情況。在游戲設計過程中存在三個難點，包括游戲中人物標定、目標點設定、引導軌跡繪制等。

圖1 系統(tǒng)框架結構圖

2.1人物標定

由于現(xiàn)實中玩家與虛擬人物的坐標系不同，虛擬場景中的目標點位置設定需要根據(jù)虛擬人物的初始位置相應設定，因此需要進行人物標定。通過分析Kinect獲取的人物骨骼數(shù)據(jù)，檢測是否在Kinect的最佳范圍之內(nèi)。系統(tǒng)中是通過移動向量的方式來控制虛擬手部圖標的移動，因此人物標定的另一個目的是確定人物執(zhí)行游戲前所處的位置，以及提醒在游戲過程中要保持位置不發(fā)生移動。當人體偏離最佳位置時，游戲界面中會出現(xiàn)調整提示語，當處于最佳位置時，界面會出現(xiàn)保持當前位置，以提醒在游戲過程中，位置不發(fā)生移動，倒計時顯示，游戲開始。

2.2目標點設定

目標點是指康復動作中，手臂運動完成最終所處的位置。系統(tǒng)中實現(xiàn)了四個康復訓練動作，如圖2所示，觀察四個康復動作可以發(fā)現(xiàn)患者在做四個康復動作時，手部是圍繞著對應的肩做圓周運動。游戲設計中每個動作有三個難度等級，即簡單、一般、困難。

圖2 康復動作

不同難度對應不同的目標點，鑒于此，通過設置圓心角的大小來改變動作難度等級。目標點的位置如圖3所示，其中A點為參考坐標點，坐標表示為(xa,ya,za)，B點即圖中小豬所處的位置為目標點，坐標表示為(xb,yb,zb),C點為起始坐標點，坐標表示為(xc,yc,zc),游戲中的所有元素z值相等，所以在計算時采用二維坐標進行計算 ,θi代表不同難度等級下的圓心角，通過A、C點坐標和θi的值即可求出B點的坐標，完成目標點設定，公式如下

(1)

(2)

其中θi的大小通過康復動作完整角度θ獲得,四個動作的完整角度θ大小如表1所示，因為每個動作有三種難度等級，所以i的取值為1、2、3，公式如下：

(3)

圖3 目標點位置

(°)

2.3引導軌跡線繪制

引導軌跡指的是在游戲執(zhí)行過程中，引導患者進行康復動作的標準軌跡線。在游戲設計中，考慮了兩種制作引導軌跡線的方法，第一種方法為使用Sphere球體進行創(chuàng)建，即在引導軌跡上每隔很小的距離創(chuàng)建一個小球，因為小球的距離很近，在視覺效果上構成了一條引導軌跡線。第二種方法為使用Unity3D游戲引擎中的線渲染器lineRenderer來動態(tài)繪制引導軌跡線。

通過Sphere球體繪制引導軌跡線的方法，雖然在效果上可以實現(xiàn)目的，但是當軌跡線較長、間隔較小時，需要創(chuàng)建很多的Sphere球體，無疑加重了CPU和GPU的負擔，有可能導致游戲出現(xiàn)卡頓現(xiàn)象，最嚴重的可能會導致死機。

使用lineRenderer渲染器進行繪制，在性能方面，Unity對該渲染器進行了性能上的優(yōu)化，CPU和GPU的損耗很小，而且lineRenderer提供了很多繪制軌跡的方法，只需要將引導軌跡上的若干坐標點坐標和坐標點個數(shù)作為參數(shù)傳遞給lineRenderer，就可以繪制出引導軌跡線。坐標點坐標(xj,yj)的計算公式如下：

(4)

(5)

(6)

其中，n為坐標點個數(shù)，θj為坐標點對應的圓心角，xa、ya為圖3中A點坐標，xc、yc為圖3中C點坐標，θi為圖3中動作難度對應的圓心角。

2.4坐標轉換

游戲設計中使用Kinect體感器獲取人體25個關節(jié)點數(shù)據(jù)，將這些數(shù)據(jù)直接傳遞給Unity場景中的物體實現(xiàn)運動同步。如果直接使用Kinect手部坐標數(shù)據(jù)來控制Unity中的虛擬手部圖標的運動，由于Unity中的長度比例和Kinect不一致，導致運動效果不明顯。而且Kinect獲取的坐標數(shù)據(jù)所在的平面與游戲界面不屬于同一個平面， 有可能導致虛擬手部圖標不在攝像機視角范圍內(nèi)，無法正常顯示等問題。

在系統(tǒng)設計過程中，為了解決上述問題，使用移動矢量來控制虛擬手部圖標移動。圖4為控制原理圖。Kinect數(shù)據(jù)直接傳遞給Unity中物體，形成與實際運動同步的虛擬人物。A點代表虛擬人物肩部，坐標為(xA,yA,zA)，B點代表虛擬人物手部，坐標為(xB,yB,zB),從而計算出虛擬人物的手臂長度lAB：

(7)

D點為屏幕中參考點，坐標為(xD,yD,zD)，C點為屏幕中虛擬手部圖標，坐標為(xC,yC,zC)，從而計算出屏幕中C、D兩點間的距離，可以想象成屏幕中虛擬手臂，其長度為lCD：

(8)

(9)

lBB′=(xB-xB′,yB-yB′,zB-zB′)

(10)

(11)

(12)

圖4 控制原理圖

3 系統(tǒng)測試

3.1流程測試

進入游戲，首先進入菜單選擇界面，可進行訓練手部設置、動作難度設置，點擊開始按鈕，進入標定界面。進入標定界面，根據(jù)標定提示語調整到最佳游戲位置，游戲開始，進入游戲界面，用戶根據(jù)引導軌跡線移動手部，碰到敵人或者規(guī)定時間內(nèi)未完成，跳轉到下一個游戲界面，動作執(zhí)行完畢后，跳轉到得分界面。在得分界面中，顯示四個動作得分情況，最后跳轉回菜單界面。測試流程如圖5所示。測試表明，游戲能夠實現(xiàn)所有功能，實時性和交互性較好。

圖5 流程圖

3.2可用性測試

本游戲選取了不同年齡階段不同健康狀況的用戶試玩游戲，最終測試者給出了下列幾點建議：第一，玩家在游戲過程中，位置不能發(fā)生改變，缺乏靈活性；第二，玩家在進行游戲過程中，引導軌跡線沒有動態(tài)效果，引導性較差；第三，年齡較大的用戶、患有肩部疾病的用戶很難完成游戲，難度等級需要調整；第四，虛擬手部圖標可替換成玩家摳圖的形式，這樣參與感更強。

4 結論

本文利用Kinect傳感器和Unity游戲引擎技術，設計出一款用于康復訓練的游戲系統(tǒng)。利用Kinect體感器獲取人體關節(jié)點的實時數(shù)據(jù)，記錄患者的實時動作。利用Unity游戲引擎設計出菜單界面、標定界面、游戲界面和得分界面，將每個模塊實現(xiàn)界面化，患者可以更好、更方便地選擇出最合適自己難度的康復訓練。同時，在游戲執(zhí)行畫面中設置了軌跡提示、敵人不同狀態(tài)的動畫效果，很好地增強了游戲的趣味性，讓患者更好地沉浸于游戲中，達到“快樂的游戲，快樂的康復”。

[1] RIZZO A, KIM G.A SWOT analysis of the field of VR rehabilitation andtherapy[J]. Tele-operators and Virtual Environments, 2005,14(2):119-146.

[2] 丁晨,王君譯,瞿暢,等.Kinect體感交互技術及其在醫(yī)療康復領域的應用[J].中國康復理論與實踐,2013,19(2):136-138.

[3] 王宏圖.虛擬現(xiàn)實技術在腦卒中運動康復中的應用現(xiàn)狀[J]. 中國康復理論與實踐, 2014, 20(10):911-915.

[4] 何曉鵬.基于Kinect的人機體感交互關鍵技術研究[D].廈門:廈門大學,2013.

[5] 周柳,王英華,劉強,等.虛擬現(xiàn)實技術在運動康復中的應用[J].中國組織工程研究與臨床康復,2007，11(5):957-960.

[6] TAYLOR MJ, MCCORMICK D, SHAWIS T, et al. Activity promoting gaming systems in exercise and rehabilitation[J]. Journal of Rehabilitation Research amp; Development, 2011,48(10): 1171- 1186.

[7] 王靜，馬景全，陳長香.體感游戲Kinect改善腦卒中患者執(zhí)行功能的效果研究[J].中國康復醫(yī)學雜志，2014，29(8):748-751.

[8] WANN J P, TURNBULL J D. Motor skill learning in cerebral palsy:movement, action and computer-enhanced therapy[J]. Baillieres Clin Neurol, 1993, 2(1):15-28.

[9] CHANG Y J, Chen Shufang, Huang Junda. A Kinect-based system for physical rehabilitation: a pilot study for young adults with motor disabilities[J]. Research in Developmental Disabilities, 2011, 32(6): 2566-2570.

[10] WACHS J P, KOLSCH M, STERN H,et al. Vision based hand gesture application[J]. Communications of the ACM,2011,54(2): 60-71.

[11] KENN H, MEGEN F V, SUGAR R. A glove-based gesture interface for wearable computing applications[C]. Applied Wearable Computing(IFAWC),2007:1-10.

[12] 張毅,張爍，羅元，等. Kinect 深度圖像信息的手勢軌跡識別及應用[J].計算機應用研究，2012,29(9)：3547-3550.

[13] 鄒曙光. 基于GSM網(wǎng)絡的無線顯示系統(tǒng)設計[J].現(xiàn)代電子技術，2011，34(17):34-36.

[14] 張海程,李效偉,郭瑋瑋,等.基于Unity3D的三維頁游的設計與實現(xiàn)[J].微型機與應用，2016，35(5):53-55.

2017-04-27)

李世杰(1992-)，男，碩士研究生，主要研究方向：Unity3D體感游戲設計與研發(fā)。

夏斌(1975-)，通信作者，男，博士，副教授，碩士生導師，主要研究方向：腦-機接口、云計算及人工智能。E-mail:binxia@shmtu.edu.cn。

Design of a motion rehabilitation game system based on the Kinect

Li Shijie, Xia Bin

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

Traditional rehabilitation training has significant limitations, because the physical therapist and equipment is finite, training field is finite and the training has poor entertainment. The paper sets up a motion rehabilitation game system based on Kinect and Unity3D, and the major contributions are as below: a virtual human has the same action which the people have, the guidance trajectory achieves motion guidance ripping, using the cartoon destination calculation achieves the levels of game difficulty, and so forth. Test results show that this system has good real-time, reciprocity and entertainment. The system has a good reference value for similar development of the rehabilitation game.

gesture-based interactive technique; Unity3D; Kinect; medical rehabilitation

TP302

A

10.19358/j.issn.1674- 7720.2017.22.025

李世杰，夏斌.基于Kinect的體感康復游戲系統(tǒng)設計J.微型機與應用，2017,36(22)：95-98.

國家自然科學基金(61550110252)；上海海事大學基金；同濟大學嵌入式系統(tǒng)與服務計算教育部重點實驗室開放課題資助