林書坦　尹長(zhǎng)青

摘要：虛擬現(xiàn)實(shí)技術(shù)隨著體感交互設(shè)備的不斷更新而取得了快速的發(fā)展。LeapMotion控制器是近兩年新推向市場(chǎng)的專精于捕獲手部信息的高精度體感交互設(shè)備，已經(jīng)被大量應(yīng)用于游戲程序和項(xiàng)目演示領(lǐng)域。中國(guó)特有的數(shù)字手勢(shì)在國(guó)內(nèi)項(xiàng)目演示中可作為控制選項(xiàng)的選擇輸入。通過(guò)分析LeapMotion探測(cè)并建立的手部模型，匹配手勢(shì)的識(shí)別特征來(lái)判定用戶所指示的數(shù)字。實(shí)驗(yàn)結(jié)果證明，提取的特征總體識(shí)別程度高、效果好，但對(duì)于稍復(fù)雜的手勢(shì)識(shí)別度仍有待加強(qiáng)。

關(guān)鍵詞：手勢(shì)識(shí)別；LeapMotion；體感交互

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）35-0108-02

Abstract： With rapid development of human interaction devices， virtual reality technology is rising quickly. LeapMotion controller is launched to the market in last two years specializing in capturing hands information with high precision， which has been applied in computer games and project demonstration areas. China's unique gestures for numbers can be used to choose options in domestic projects. After analyzing the hand model created by LeapMotion controller， it is feasible to recognize the number the model represents by matching certain features. The experimental results show that the extracted features are highly recognizable and effective in general， but the recognition rate is not as expected for complicated gestures.

Key words： gesture recognition； leap motion； human interaction

近年來(lái)，虛擬現(xiàn)實(shí)技術(shù)發(fā)展迅速，這與體感交互設(shè)備的發(fā)展密不可分。目前主流的交互方式還是實(shí)體按鍵（鍵盤鼠標(biāo)、遙控器、游戲手柄）和觸摸（觸摸屏幕、繪圖板）的形式。新出現(xiàn)的可穿戴式交互設(shè)備，如偵測(cè)手臂肌電信號(hào)的Myo智能臂環(huán)，Google眼鏡等大大增加了增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)技術(shù)的影響力[1]。另外，三維體感交互設(shè)備也不斷有突破性產(chǎn)品的出現(xiàn)，微軟最早在2010年推出的Kinect for windows能夠捕捉人體形狀、動(dòng)作，識(shí)別并跟蹤面部，引發(fā)了研究和娛樂(lè)互動(dòng)的一次浪潮；2012年，Leap Motion 公司推出了Leap Motion Controller小型運(yùn)動(dòng)控制系統(tǒng)，能夠捕捉150°視場(chǎng)以及約8平方英尺的交互式空間內(nèi)的多個(gè)物體，并且能夠識(shí)別出手部細(xì)節(jié)與手勢(shì)，又一次帶來(lái)了體感交互的新方式。新的體感交互方式在游戲領(lǐng)域、項(xiàng)目展示領(lǐng)域得到了很好的應(yīng)用。

Leap motion controller作為手部信息捕獲設(shè)備能夠以200幀/秒的速度追蹤雙手，并且達(dá)到0.01mm的識(shí)別精度[2]。Leap motion controller現(xiàn)在最主要的兩個(gè)應(yīng)用方向：一個(gè)是作為游戲交互設(shè)備增強(qiáng)虛擬現(xiàn)實(shí)感受目；另一個(gè)是作為三維演示項(xiàng)目的控制設(shè)備。在項(xiàng)目演示這一應(yīng)用中，有一種實(shí)際場(chǎng)景是，采用手勢(shì)代表數(shù)字完成控制項(xiàng)選擇。數(shù)字手勢(shì)是中國(guó)自古就有的、使用一只手就能表示一到九的數(shù)字的一種方法。因此，在許多國(guó)內(nèi)演示項(xiàng)目中采用這一方式，不僅符合傳統(tǒng)習(xí)慣，又能提高交互效率。

1 LeapMotion技術(shù)介紹

LeapMotion的基礎(chǔ)技術(shù)是飛行時(shí)間（Time of Flight， TOF）技術(shù)，其基本原理是測(cè)量光線的往返時(shí)間判定距離，即掃描時(shí)通過(guò)調(diào)制光脈沖并連續(xù)發(fā)送和捕獲整個(gè)場(chǎng)景的深度[1]。LeapMotion上裝有2個(gè)灰階攝像頭傳感器和3個(gè)紅外線LED光源，能夠一次性感知被測(cè)物體的所有像素，再對(duì)大量的像素?cái)?shù)據(jù)進(jìn)行按預(yù)置算法處理，在三維坐標(biāo)上實(shí)時(shí)輸出手勢(shì)模型，精確地在虛擬環(huán)境中表示出現(xiàn)實(shí)人體運(yùn)動(dòng)情況。LeapMotion可以將手指、手掌或手臂能作為一個(gè)整體對(duì)象來(lái)追蹤捕捉[3]。

LeapMotion將采集到的手掌、手指的位置和其他信息保存在一幀（Frame）當(dāng)中，并分配唯一ID，算法通過(guò)檢測(cè)幀中數(shù)據(jù)的連續(xù)性，生成運(yùn)動(dòng)信息。

2 數(shù)字手勢(shì)識(shí)別

手勢(shì)識(shí)別技術(shù)的關(guān)鍵在于根據(jù)LeapMotion設(shè)備捕捉到的圖像信息，提取出關(guān)鍵特征進(jìn)行識(shí)別。圖1是數(shù)字手勢(shì)的示意圖。圖2展示了由Leap Motion所采集到的數(shù)字1-9的手勢(shì)模型的圖像，可知，不同的數(shù)字手勢(shì)所使用的手指?jìng)€(gè)數(shù)、具體哪只手指都是不同的，可以以此作為手勢(shì)識(shí)別的特征。

具體的特征分析如下：

數(shù)字1，食指伸直，其他手指并攏于掌心；

數(shù)字2，食指與中指伸直，其他手指并攏于掌心；數(shù)字3，中指、無(wú)名指、小指伸直，食指與大拇指相扣成環(huán)；數(shù)字4，大拇指貼于掌心彎曲，其他手指向各自前方伸直；數(shù)字5，各手指向各自指向伸直；數(shù)字6，大拇指與小拇指伸出，其他手指并攏于掌心；數(shù)字7，大拇指、食指、中指緊挨在掌心外一點(diǎn)，其余手指并攏于掌心；數(shù)字8，大拇指與食指伸向各自指向，其他手指并攏于掌心；數(shù)字9，食指伸出并彎曲成勾，其他手指并攏于掌心。定義數(shù)字1、2、3、4、5、6、8的手勢(shì)為簡(jiǎn)單手勢(shì)，數(shù)字7、9為復(fù)雜手勢(shì)。

Leap Motion能夠檢測(cè)到手部手掌、手指、關(guān)節(jié)及其相關(guān)信息，并建立在計(jì)算機(jī)中建立模型，并提供對(duì)象可直接調(diào)用。根據(jù)以下算法進(jìn)行處理：

1）獲取Frame中的手指列表（FingerList），輸入應(yīng)當(dāng)為單一只手操作，在被偵測(cè)到的手指列表中有且僅有5個(gè)手指；

2）分別計(jì)算每個(gè)手指根據(jù)手掌的方向（Direction）與指尖的方向（Direction）之間的夾角和手掌的法向量（PalmNomal）與指尖方向（Direction）指尖的夾角，判定指尖是否為用來(lái)表示數(shù)字的手指，若是，則記為有效手指，并將此手指放入檢索列表中；

3）統(tǒng)計(jì)檢索列表中手指?jìng)€(gè)數(shù)，按表1劃分出5種情況，其中當(dāng)手指?jìng)€(gè)數(shù)為4和5時(shí)，即可判定手勢(shì)對(duì)應(yīng)的指令數(shù)字為4或5，否則進(jìn)入（4）；

4）檢索列表中按照手指類型（FingerType）得到不同的組合：當(dāng)手指?jìng)€(gè)數(shù)為1時(shí)，判斷是否為食指，若為食指，判斷指尖方向（Direction）與掌心方向（Direction）是否接近90°，若是，則判定為數(shù)字1，若不是，則判定為數(shù)字9；當(dāng)手指?jìng)€(gè)數(shù)為2或3時(shí)，判斷手指類型，并根據(jù)表1中的組合得到相應(yīng)的數(shù)字。

本算法的難點(diǎn)在于檢索列表的建立時(shí)，手勢(shì)7和手勢(shì)9的有效手指和對(duì)應(yīng)的無(wú)效手指的區(qū)分。手勢(shì)9雖然僅使用了一根手指，但手指存在彎曲現(xiàn)象；手勢(shì)7中的3個(gè)有效手指都略微彎曲且聚集于一點(diǎn)。而無(wú)效手指均攥緊于掌心，與有效手指相比，其手指指向與手掌指向與手掌法向量差異較大，可先界定無(wú)效手指，將不在無(wú)效角度內(nèi)的手指標(biāo)記為有效。

3 實(shí)驗(yàn)結(jié)果與分析

分別為對(duì)每種手勢(shì)采用正面、傾斜45度的兩組方式采集數(shù)據(jù)，待結(jié)果穩(wěn)定后，記錄一次，每組方式中正確手勢(shì)100次，錯(cuò)誤手勢(shì)100次，統(tǒng)計(jì)程序識(shí)別的準(zhǔn)確率。

實(shí)驗(yàn)結(jié)果表明，對(duì)于簡(jiǎn)單手勢(shì)，識(shí)別正確率能夠達(dá)到90%以上，而對(duì)于復(fù)雜手勢(shì)，識(shí)別正確率偏低，數(shù)字9手勢(shì)達(dá)到85%，而手勢(shì)7只有53%。分析原因，LeapMotion對(duì)于手指重疊下的復(fù)雜情況不能準(zhǔn)確捕獲，建立的模型與實(shí)際情況存在較大偏差?？傮w而言，本文實(shí)現(xiàn)的算法能有效判斷數(shù)字手勢(shì)。

4 總結(jié)與展望

本文結(jié)合目前新型的人體交互設(shè)備LeapMotion，針對(duì)國(guó)內(nèi)項(xiàng)目演示中使用數(shù)字手勢(shì)作為選項(xiàng)控制輸入的特定應(yīng)用場(chǎng)景，提出了一種數(shù)字手勢(shì)識(shí)別算法，該算法通過(guò)分析LeapMotion探測(cè)并建立的手部模型提取特征，判定該手勢(shì)代表的數(shù)字。經(jīng)過(guò)驗(yàn)證，算法的總體識(shí)別準(zhǔn)確率較高，但對(duì)于復(fù)雜的手勢(shì)，如數(shù)字7的手勢(shì)，由于LeapMotion本身的限制識(shí)別率較低，可進(jìn)一步研究提高算法識(shí)別率。

參考文獻(xiàn)：

[1] 周忠，周頤，肖江劍. 虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)綜述[J]. 中國(guó)科學(xué)：信息科學(xué)，2015（2）：157-180.

[2] 朱鴻展，宋漢辰，吳玲達(dá)，等.基于方向鏈碼的書空手勢(shì)識(shí)別[J].中國(guó)科技論文，2014（10）：1155-1159.

[3] 黃俊，景紅. 基于Leap Motion的手勢(shì)控制技術(shù)初探[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用，2015（10）：259-263.