劉瑜興，王淑俠，徐光耀，蘭望桂，何衛(wèi)平

基于Leap Motion的三維手勢(shì)交互系統(tǒng)研究

劉瑜興，王淑俠，徐光耀，蘭望桂，何衛(wèi)平

(西北工業(yè)大學(xué)機(jī)電學(xué)院，陜西 西安 710072)

手勢(shì)識(shí)別的快速發(fā)展及體感設(shè)備的不斷更新為三維手勢(shì)交互提供了靈感，基于Leap Motion手勢(shì)識(shí)別和最鄰近算法，建立了一種三維手勢(shì)交互系統(tǒng)。首先對(duì)手勢(shì)設(shè)計(jì)理論和交互手勢(shì)設(shè)計(jì)原則進(jìn)行研究，基于此設(shè)計(jì)手勢(shì)功能和建立手勢(shì)庫(kù)，并將手勢(shì)庫(kù)分為8種手勢(shì)；其次進(jìn)行手勢(shì)特征提取，建立手指關(guān)鍵點(diǎn)模型，獲取手勢(shì)特征的角度特征；然后計(jì)算KNN算法和SVM算法的手勢(shì)識(shí)別效率，KNN改進(jìn)算法取得較好的識(shí)別效率；最后，設(shè)計(jì)三維交互系統(tǒng)，手勢(shì)分類為4個(gè)模塊，每個(gè)模塊有2個(gè)手勢(shì)任務(wù)；20名測(cè)試者中提取1 600組手勢(shì)數(shù)據(jù)，并進(jìn)行總采集樣本關(guān)節(jié)點(diǎn)均值的數(shù)據(jù)分析；設(shè)計(jì)三維交互系統(tǒng)模塊，在Unity3D中創(chuàng)建的三維交互系統(tǒng)中導(dǎo)入1 600組手勢(shì)數(shù)據(jù)，根據(jù)自定義的8種手勢(shì)驅(qū)動(dòng)虛擬手完成交互設(shè)計(jì)過(guò)程，完成用戶體驗(yàn)分析和手勢(shì)識(shí)別效率統(tǒng)計(jì)。通過(guò)研究發(fā)現(xiàn)，基于Leap Motion手勢(shì)識(shí)別具有較高的識(shí)別效率，三維手勢(shì)交互系統(tǒng)富有創(chuàng)新性。

手勢(shì)識(shí)別；最鄰近算法識(shí)別；手勢(shì)交互設(shè)計(jì)；Leap Motion

隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，人機(jī)交互也應(yīng)運(yùn)而生。交互是指借助一定的載體進(jìn)行信息交流，人機(jī)交互技術(shù)(human computer interaction，HCI)[1]指的是人通過(guò)一定的設(shè)備和計(jì)算機(jī)進(jìn)行信息交流，人可以使用輸入設(shè)備給計(jì)算機(jī)輸入文字、語(yǔ)音等來(lái)發(fā)起請(qǐng)求，而計(jì)算機(jī)使用輸出設(shè)備給用戶顯示出信息來(lái)響應(yīng)請(qǐng)求。目前，應(yīng)用最為廣泛、技術(shù)最為成熟的人機(jī)交互方式依然是鍵盤與鼠標(biāo)，其單一性使得人們對(duì)更高層次、更友好的人機(jī)交互方式提出需求?，F(xiàn)階段人機(jī)交互新技術(shù)的研究?jī)?nèi)容主要集中在手勢(shì)識(shí)別、語(yǔ)音識(shí)別、人腦控制等方面。以人的手勢(shì)為研究對(duì)象，研究手勢(shì)交互方式。

手勢(shì)識(shí)別[2-14]是通過(guò)算法來(lái)識(shí)別人類手勢(shì)。手勢(shì)建模[15]對(duì)手勢(shì)識(shí)別也是很關(guān)鍵的，基于3D模型和基于表觀是常用的手勢(shì)建模方法。前者通過(guò)建立當(dāng)前圖像的3D模型輔以相關(guān)參數(shù)來(lái)計(jì)算出手勢(shì)的狀態(tài)信息。

人手的動(dòng)作分為有意識(shí)的和無(wú)意識(shí)的動(dòng)作。手勢(shì)還可以分為操作型和通訊型手勢(shì)。手勢(shì)的分類早在40年代，心理學(xué)家QUEK[16]、PAVLOVIC等[17]從人機(jī)接口角度對(duì)手勢(shì)進(jìn)行研究。在自然人機(jī)交互的領(lǐng)域里，KARAM和SCHRAEFEL[18]提出了手勢(shì)劃分可分為5類，即指示性手勢(shì)、示意性手勢(shì)、操作性手勢(shì)、信號(hào)性手勢(shì)和手語(yǔ)性手勢(shì)。

Leap Motion Controller定位手(hand)、手指(finger)和類似手指的工具(pointable)，精確度達(dá)到0.01 mm。通過(guò)紅外LED對(duì)圖像進(jìn)行光補(bǔ)償，雙高清攝像頭從不同位置拍攝得到高分辨率的立體紅外圖像，模擬人類的雙目立體視覺(jué)[19]進(jìn)行手勢(shì)位置判Leap Motion Controller定位手(hand)、手指(finger)和類似手指的工具(pointable)，使用的測(cè)量方法稱作三角測(cè)量法[20]。Leap Motion拆開(kāi)內(nèi)部構(gòu)件如圖1，圖2為L(zhǎng)eap Motion的工作范圍，呈倒金字塔狀，圖3為L(zhǎng)eap Motion坐標(biāo)系。

圖2 Leap Motion工作范圍

圖3 Leap Motion坐標(biāo)系

1 手勢(shì)設(shè)計(jì)與定義

手勢(shì)設(shè)計(jì)需遵循手語(yǔ)識(shí)別設(shè)計(jì)理論和手勢(shì)設(shè)計(jì)原則。手語(yǔ)識(shí)別主要由數(shù)據(jù)獲取、特征表示和分類識(shí)別構(gòu)成整體流程。常見(jiàn)的特征提取分為軌跡特征和手形特征，軌跡特征主要用來(lái)采集手的角度、加速度、位置等信息，進(jìn)行手勢(shì)特征提取，然后進(jìn)行手勢(shì)識(shí)別。手勢(shì)設(shè)計(jì)原則主要包括用戶方面、交互過(guò)程和交互系統(tǒng)。通過(guò)對(duì)手勢(shì)理論的研究，結(jié)合手勢(shì)設(shè)計(jì)原則，從而進(jìn)行手勢(shì)定義。

1.1 手勢(shì)設(shè)計(jì)

(1) 手勢(shì)設(shè)計(jì)原則[21]。主要體現(xiàn)在用戶方面、交互過(guò)程和交互系統(tǒng)(表1)。①用戶方面，手勢(shì)設(shè)計(jì)的最終目的是為了用戶操作方便，所以，設(shè)計(jì)符合用戶使用的手勢(shì)；以用戶的同理心和用戶行為研究角度出發(fā)，符合用戶認(rèn)知行為，避免過(guò)多的學(xué)習(xí)，應(yīng)增加對(duì)用戶的指導(dǎo)，避免用戶操作失誤；對(duì)于用戶來(lái)說(shuō)，操作簡(jiǎn)單方便、直觀自然，符合用戶常用習(xí)慣；并在手勢(shì)操作中體驗(yàn)快樂(lè)。②交互過(guò)程，保證手勢(shì)設(shè)計(jì)的交互流暢和降低疲勞。③交互系統(tǒng)，簡(jiǎn)化手勢(shì)設(shè)計(jì)和手勢(shì)設(shè)計(jì)的系統(tǒng)性，保證手勢(shì)設(shè)計(jì)風(fēng)格的統(tǒng)一性和功能交叉少。④及時(shí)反饋，在用戶操作的過(guò)程中，計(jì)算機(jī)系統(tǒng)應(yīng)對(duì)用戶的行為及時(shí)進(jìn)行多種反饋提示，這樣方便用戶進(jìn)行操作。

表1 手勢(shì)設(shè)計(jì)原則

(2) 根據(jù)手勢(shì)設(shè)計(jì)原則，進(jìn)行裸手手勢(shì)設(shè)計(jì)。手勢(shì)識(shí)別分為靜態(tài)和動(dòng)態(tài)2類，手勢(shì)識(shí)別主要基于三維人機(jī)交互的情況下進(jìn)行手勢(shì)識(shí)別。本文主要構(gòu)建了8種手勢(shì)(表2)：復(fù)制、選中、移動(dòng)、貼圖、放大、旋轉(zhuǎn)、刪除和完成。

表2 手勢(shì)設(shè)計(jì)類別