屈燕琴，李 昕，盧夏衍

(上海大學(xué)機電工程與自動化學(xué)院，上海 200072)

基于表觀特征分析的手勢識別及其應(yīng)用*

屈燕琴，李 昕，盧夏衍

(上海大學(xué)機電工程與自動化學(xué)院，上海 200072)

針對復(fù)雜背景下的手勢識別容易受到環(huán)境干擾造成的識別困難問題，通過分析手勢的表觀特征，提出并實現(xiàn)了一種可用于自然人機交互的手勢識別算法。該算法基于Kinect深度圖像實現(xiàn)手勢區(qū)域分割，然后提取手勢手指弧度、指間弧度、手指數(shù)目等具有旋轉(zhuǎn)縮放不變性的表觀特征，運用最小距離法實現(xiàn)快速分類。并將該算法成功運用于實驗室三指靈巧手平臺，達到了理想的控制效果。實驗表明該算法具有良好的魯棒性，針對九種常用手勢，平均識別率達到94.3%。

計算機視覺;深度圖像;手指弧度;表觀特征;手勢識別

1 引言

近年來自然人機交互技術(shù)NHCI(Natural Human Computer Interaction)越來越多地受到人們的重視，取得了快速的發(fā)展進步。相比于傳統(tǒng)的人機交互輸入工具，如鍵盤、鼠標、游戲桿等，人的姿態(tài)、手勢、語音等是更加自然、直觀的交流方式。所以，近年來人臉識別、表情識別、手勢識別以及體勢識別等由于符合人際交流習(xí)慣，均成為NHCI的重要課題并取得重大進展。其中手勢無論是日常生活中還是虛擬現(xiàn)實中，都是一種常用的自然而直觀的交流方式，符合人類交流一般行為習(xí)慣，是很受親睞的交互方式之一。

手勢識別是自然人機交互技術(shù)的一個重要課題，但由于手勢本身的多樣性、多義性以及視覺本身的不確定性，使得基于視覺的手勢識別成為一個極富挑戰(zhàn)的和多學(xué)科交叉的研究課題。一般基于視覺的手勢識別過程可分為三個階段：手勢分割、手勢特征提取和手勢分類。本文按照上述三個階段，提出一種利用深度圖像實現(xiàn)復(fù)雜背景下的手勢識別的方法，具體做法是：首先，在手勢分割階段，設(shè)定動態(tài)分割閾值實現(xiàn)手勢分割，在深度圖像中像素是以物體距離攝像機物理距離為度量的，所以分割時設(shè)定動態(tài)距離作為分割閾值，得到粗略手勢分割圖像；其次，在特征提取階段，利用數(shù)學(xué)形態(tài)學(xué)、邊緣提取算法求得手勢重心和手勢輪廓，計算手指弧度、手指數(shù)目等表觀特征用于識別；然后，在手勢識別階段，利用少量的已有樣本建立樣本庫，利用最小距離法實現(xiàn)快速分類識別。最后，將該手勢識別算法成功地運用于三指靈巧手控制系統(tǒng)。實驗結(jié)果表明，該方法取得了較高的識別率。

2 相關(guān)工作

手勢識別是根據(jù)人手的姿態(tài)及其變化過程來解釋說明其高層次的含義的過程。根據(jù)手勢識別的一般過程，建立一個完整的視覺手勢識別系統(tǒng)需解決手勢識別三個階段分別面臨的問題。由于三個階段面臨的問題各不相同，因此其研究還存在著一定的障礙，具體實現(xiàn)時根據(jù)實際需要進行取舍。

目前，基于視覺的手勢識別研究主要偏重于基于皮膚顏色建模，利用膚色信息和運動信息等分割得到手部區(qū)域，提取圖像屬性參數(shù)如輪廓、圖像矩、區(qū)域直方圖等手勢特征，運用HMM、SVW、BP、DTW等算法進行識別[1～4]。如1991年富士通實驗室完成了46個手勢符號的識別[5]。Lee J和Kunii T L[6]利用攝像機獲得手的運動圖像數(shù)據(jù)來自動分析三維手勢,并提取輪廓邊界特征進行識別, 成功地提取了27 個交互手參數(shù),實現(xiàn)了三維手勢重構(gòu)。任海兵等人[7]利用膚色信息和人手運動信息結(jié)合人手區(qū)域的形狀特征,采用獨立分布的多狀態(tài)高斯概率模型, 實現(xiàn)了12種手勢的識別。Francke H等人[8]運用Boost 分類器和自主學(xué)習(xí)算法搭建一個實時手勢偵測識別系統(tǒng)。楊波等人[9]根據(jù)手勢圖像的區(qū)域形狀特征，經(jīng)過膚色分割，提取包括空間相對密度特征和指節(jié)相對間距特征的手勢空間分布特征, 通過綜合手勢的兩個手勢特征向量計算總的相似性來識別手勢。 Peng Sheng-yu等人[10]運用顏色信息檢測人手，運用Camshift進行人手跟蹤，通過PCA檢測和識別六種手勢。

利用膚色建模的手勢識別方法實現(xiàn)手部有效區(qū)域與環(huán)境無效區(qū)域的分離很困難[11]，光照、人臉膚色區(qū)域、類膚色區(qū)域?qū)κ謩莘指畹挠绊戨y以消除。故實際實現(xiàn)時通常使用加以限定的方式，如強調(diào)前景弱化背景，或要求環(huán)境簡單等。但是，外部環(huán)境不可預(yù)知，加以限制的手勢交互不利于自然的人機交互。針對上述諸多問題，本文提出了一種基于深度圖像表觀特征的手勢識別方法，可以有效地區(qū)分手部與背景，達到有效實時的識別效果，并成功地運用于靈巧手平臺。

3 手勢識別

本文選用微軟公司的Kinect傳感器作為視頻輸入，Kinect共有三個鏡頭，中間的鏡頭是RGB彩色攝像機，左右兩邊鏡頭分別為紅外線發(fā)射器和紅外線CMOS攝像機，共同構(gòu)成3D 深度感應(yīng)器，可以生成具有深度的灰度圖像。其深度圖像像素以物體離傳感器的距離度量，距離越遠像素值越大，黑色代表無窮近，白色代表無窮遠。其實際可探測的距離為0～4 096 mm，其中1 200～3 600 mm誤差較小,為5 mm左右。

3.1 手勢分割

由Kinect采集的深度圖像，當(dāng)采樣大小為640×480時,采樣速度可以達到30 f/s。每一幀深度圖像其像素均為12 bit，0～4 096的數(shù)據(jù)。為更好地分割出手部區(qū)域，本文將圖像逐像素進行灰度直方圖統(tǒng)計，轉(zhuǎn)換為256灰度階，同時可以去除圖像重影。灰度直方圖統(tǒng)計圖像中具有每種灰度級的像素個數(shù)，反映出圖像中每種灰度出現(xiàn)的頻率。

經(jīng)過灰度直方圖量化處理后，通過OpenNI HandDetect得到粗略手部區(qū)域質(zhì)心點PHand Center(x,y,z)。將區(qū)域質(zhì)心PHand Center深度像素值Z轉(zhuǎn)換為空間實際距離dHand Center，以此距離作為手部動態(tài)分割的閾值。分割公式如下:

其中,Dhand(x,y)為分割的手勢區(qū)域，d(x,y)為深度圖像中(x，y)處實際深度值。

以上述方法進行手部區(qū)域分割，得到初步分割二值圖，但該二值圖序列存在明顯的邊緣噪聲及少量非手部區(qū)域噪聲、同距離噪聲等，對其做形態(tài)學(xué)濾波并填充孔洞，同時利用PHand Center(x,y,z)的(x，y)濾除二值圖序列中與手勢區(qū)域不連通區(qū)及小面積區(qū)域,得到精確分割序列。形態(tài)學(xué)濾波流程如圖1所示。

Figure 1 Morphological filtering

實驗所得部分分割結(jié)果如圖2所示。

Figure 2 Part of the segment binary image圖2 部分分割二值圖

3.2 手勢表觀特征分析及提取

3.2.1 手勢表觀特征分析

從手勢識別的建模方法來講，主要有基于3D手(臂)模型的手勢建模和基于表觀的手勢建模。本文采用表觀建模的方式。一般基于圖像表觀的手勢識別方法是直接從圖像中提取表觀特征，如輪廓矩、區(qū)域矩、直方圖等參數(shù)，而人手是一個關(guān)節(jié)式的復(fù)雜變形體, 隨著關(guān)節(jié)的運動,手的形狀不斷變化，所以手勢特征參數(shù)構(gòu)造應(yīng)具有一定的相對不變性，在旋轉(zhuǎn)與縮放情況下要能有效實時識別。

為實現(xiàn)旋轉(zhuǎn)與縮放條件下快速有效識別，本文提取具有旋轉(zhuǎn)縮放不變性的手指弧度、指間弧度和手指弧度數(shù)目分別作為手勢的識別特征。如圖3所示，定義相鄰點A1、A2間弧段對應(yīng)弧度為手指弧度，點A2、A3間弧段對應(yīng)為手指弧度，手指弧段的數(shù)目為手指弧度個數(shù)。

Figure 3 Hierarchical view of gesture finger radians

根據(jù)人手特征，人手為手掌連接五根手指，通過關(guān)節(jié)和手掌的變動產(chǎn)生不同手勢，如圖3為以手勢質(zhì)心A0為圓心，以手勢邊界輪廓距質(zhì)心最大值為半徑將手勢區(qū)域n等分，圖中僅顯示最外四層劃分區(qū)域。通過圖3可知，不同手勢其手指弧度個數(shù)是不同的，且手指弧度和指間弧度也不相同，并且同種手勢在不同層區(qū)域手指弧度的個數(shù)是不同的；同種手勢的手指弧度取決于人的手指粗細，不受其他環(huán)境影響；同種手勢其指間弧度取決于手指分開的角度，但當(dāng)其中某個手指間弧度較大時其他手指間弧度減小，本文均綜合單層手指弧度、指間弧度和弧度個數(shù)的總和予以考慮。

定義特征向量HDR=(α1,α2,…,αn;β1,β2,…,βn;N1,N2,…,Nn)描述手勢，其中，αi表示每一個區(qū)域劃分層上的手指弧度，βi表示每一個區(qū)域劃分層上的指間弧度，Ni表示每一層上手指弧度的個數(shù)。

3.2.2 手勢特征提取

手勢識別中使用何種手勢特征對識別結(jié)果的好壞具有極其重要的影響。本文提取具有旋轉(zhuǎn)、平移、縮放不變性的手指弧度、指間弧度、手指數(shù)目作為識別特征。

手勢特征提取步驟如下：

(1)針對分割的二值圖像，運用cvMoments結(jié)構(gòu)求取距參數(shù)得到手勢重心點。

坐標軸為x、y的二維圖像坐標系中, 區(qū)域D的二維p、q階中心矩M及質(zhì)心坐標如下:

(2)計算手勢邊緣距離手部區(qū)域重心點最大值L，以重心點為圓心,以L值為半徑做外接圓，對當(dāng)前手勢的最大外接圓區(qū)域由內(nèi)而外進行等距離劃分;本文將其10等分，即以d=L/10，以手勢區(qū)域中心為圓心做同心圓，同心圓半徑每次遞加d直到最大圓半徑為L；定義i=1,2,…，10為分層層數(shù)，Oi為第i層的圓軌跡。

(3)計算第i層(5≤i<10)圓軌跡Oi上手指弧度和指間弧度。以人手質(zhì)心為極坐標極點，以極坐標方式遍歷圓軌跡上像素發(fā)生變化的點，分別為白色像素變化為黑色像素的點和黑色像素變化為白色像素的點，記錄像素發(fā)生變化的像素點的角度，進而計算手指弧度和指間弧度。

(4)弧度的數(shù)目即是手指手腕與手掌連接的分支總和，根據(jù)手腕處寬度遠大于手指處寬度，計算各個分支寬度平均值，以寬度最大值對應(yīng)手腕處分支，其他為手指分支，則手指的數(shù)目為N-1。但是，手指長度不一，根據(jù)劃分情況外層的手指數(shù)目將會減少，故分層記錄手指數(shù)目用于識別。

(5)分層記錄統(tǒng)計手指弧度αi,j和指間弧度βi,j、手指弧度數(shù)目Ni，作為特征用于識別。

3.3 分類識別

靜態(tài)手勢識別就是在某特定時刻的輸入圖像中，識別用戶做出的是何種手形，目前有很多手勢識別的分類算法，如HMM分類方法、模板匹配和查表的方法、貝葉斯分類器、神經(jīng)網(wǎng)絡(luò)、支持向量機等。其中模板匹配是圖像識別中最具代表性的方法之一，其算法實現(xiàn)容易、匹配速度快。算法的核心是將從待識別的圖像提取的若干特征量與模板對應(yīng)的特征量進行比較，計算圖像和模板特征量之間的距離，用最小距離法判定所屬類。本文所述即運用最小距離法達到快速識別的目的。常用的九種手勢如圖4所示，每種手勢設(shè)定五個模板建立模板庫。

Figure 4 Nine kinds of commonly used gestures

具體識別過程如下：輸入一幅手勢圖像，運用前述算法提取手勢圖像的特征向量Mx[αi,j,βi,j,Ni]，其中αi,j為手指弧度，βi,j為指間弧度，Ni為弧度個數(shù)(也為單層手指個數(shù))；i為特征提取層，本文為5層,即i≤5;j為單層手指弧度的個數(shù),j≤5。求取待識別手勢特征向量Mx[αi,j,βi,j,Ni]與模板庫標準手勢向量M0[α0(i,j),β0(i,j),N0]的均方誤差(其中隱含關(guān)系Ni=j)：

(β(i,j)-β0(i,j))2];m,n=5

以均方誤差E(Mx,M0)作為識別分類標準，以其最小值作為識別結(jié)果輸出。

4 手勢識別實驗

4.1 旋轉(zhuǎn)不變性驗證

為驗證上述算法所提取的特征具有旋轉(zhuǎn)不變性，邀請實驗者在Kinect前做手勢，識別時并不限定左右手，不限定手勢的方向。實驗識別的Four、Eight圖像如圖5和圖6所示，圖5a、圖5b分別為手勢Four的左右手手勢，圖6a、圖6b分別為手勢Eight的左右手手勢。界面上顯示的圖像左邊為實時采集的深度灰度圖，右邊為手勢分割二值圖，并在二值圖上顯示識別的結(jié)果。

Figure 5 Chinese number gesture for 4 by two hands respectively

Figure 6 Chinese number gesture for 8 by two hands respectively

由圖5a和圖5b可以看出，當(dāng)手勢旋轉(zhuǎn)一定角度時，該識別系統(tǒng)可以完成識別；由圖6a和圖6b可以看出，當(dāng)從左手手勢變換為右手手勢時，該手勢識別系統(tǒng)亦可以完成識別。同時，亦可以看出圖5和圖6變換了四種不同背景，該系統(tǒng)均能完成識別工作。

4.2 實驗結(jié)果

為驗證上述算法實際性能，邀請實驗者在不同背景不同光線下在攝像機前做手勢，對圖4中九種常用手勢每種手勢打100遍，這樣共計采集900幅圖像用于實驗，圖像采樣大小為640×480，采集圖像時并不限定左右手，每個手勢采集樣本時左右手手勢各占一定數(shù)量。這樣組成一共有900幅樣本的手勢樣本庫，實驗結(jié)果如表1所示。

表1顯示出對于九種常用手勢本系統(tǒng)均能達到很好的識別效果，整體上的平均識別率達到94.3%，這驗證了本文算法的有效性和可行性。同時，針對傳統(tǒng)的膚色分割存在人手與人臉重疊而造成的分割難題，本文采用深度圖像分割較好地解決了該難題，即人手與人臉通常處于不同距離區(qū)域，采用動態(tài)距離閾值進行分割，可以完整地提取到手部區(qū)域。同時，本文提取的手指弧度、指間弧度和手指數(shù)目手勢特征用于識別，均具有旋轉(zhuǎn)不變性。實驗表明本文提取的手勢特征可良好地運用于手勢識別。

5 手勢識別系統(tǒng)在三指靈巧手上的應(yīng)用

實驗平臺三指靈巧手模型及結(jié)構(gòu)如圖7所示，

該靈巧手由手掌、一個拇指和兩根食指四個部分組成，每根手指皆可獨立控制。食指和拇指的結(jié)構(gòu)相同，各有三個關(guān)節(jié)，其中拇指多一個關(guān)節(jié)，即向掌心彎曲的關(guān)節(jié)。這樣該靈巧手共10個自由度。使用三個電機和一個舵機來驅(qū)動。舵機用來控制拇指向掌心的轉(zhuǎn)動。當(dāng)要抓取物體時，各手指的彎曲則通過電機正傳拉線牽引的方式來驅(qū)動，當(dāng)要釋放物體時，電機反轉(zhuǎn)配合手指背上的彈簧片將手指繃直。采取這樣的欠驅(qū)動方式以降低控制的復(fù)雜度，并節(jié)約成本。

Figure 7 Platform of three-finger dexterous hand

本文將本手勢識別系統(tǒng)應(yīng)用于該三指靈巧手上，圖8為手勢靈巧手控制系統(tǒng)原理圖。

當(dāng)實驗者對著攝像頭做出手勢時，系統(tǒng)首先利用前述手勢識別方法得到識別結(jié)果，轉(zhuǎn)變?yōu)榭刂浦噶?，通過串口傳遞給下位機，控制靈巧手指做出相應(yīng)動作?？紤]到該靈巧手為三指的限制，設(shè)計九種手勢動作如圖9所示，分別對應(yīng)圖4中的九種手勢。

Table 1 Experimental results

Figure 8 Schematic of dexterous hand gestures control system

Figure 9 Three-finger dexterous hand gestures

實驗時，當(dāng)實驗者在攝像頭之前做出圖4中的手勢時，三指靈巧手相應(yīng)地做出圖9中的手勢，部分實驗結(jié)果如圖10所示，圖10a表示實驗者做出手勢One時，三指靈巧手做出的相應(yīng)手勢動作，圖10b表示實驗者做出手勢Two時，該靈巧手亦能做出對應(yīng)手勢。實驗表明，本文手勢識別方法可良好地應(yīng)用于靈巧手平臺，滿足靈巧手實時控制需求。

Figure 10 Gestures one and gestures two

6 結(jié)束語

本文搭建了一個手勢識別系統(tǒng)，具有系統(tǒng)穩(wěn)定、識別效果好、實時應(yīng)用的特點。結(jié)合Kinect深度圖像提取手勢中具有旋轉(zhuǎn)不變性的角度特征和手指數(shù)目作為手勢特征用于識別。解決了通常手勢識別過程中受環(huán)境背景復(fù)雜、光照強弱、膚色重合等影響造成的分割難題。實驗結(jié)果表明，本文系統(tǒng)穩(wěn)定，實時性好、識別率高。同時，將本文手勢識別方法成功應(yīng)用在三指靈巧手平臺，取到了較好的人機交互效果。

[1] Tang Zhi-yan，F(xiàn)eng Zhe．A gesture recognition system used on robot vision[J]．Computer Engineering and Applications，2005，41(6)：51-54．(in Chinese)

[2] Chen Yi-min, Zhang Yun-hua. Research on human-robot interaction technique based on hand gesture recognition[J]. ROBOT, 2009, 31(4):353-356. (in Chinese)

[3] Tan Chang, Xiao Nan-feng. Static hand gesture recognition based on improved RCE neural network and RBF neural network[J]. Computer Engineering and Applications, 2011, 47(7):172-176. (in Chinese)

[4] Dardas N H，Georganas N D．Real-time hand gesture detection and recognition[J]．Computer Vision and Image Understanding，2011，60(11)：3592-3607．

[5] Takahashi T，Shino F K．Hand gesture coding based on experiments using a hand gesture interface device[J]．SIGCHI Bulletin，1991，23(2)：67-73．

[6] Lee J, Kunii T L. Model based analysis of hand posture[J]. Computer Graphics and Applications, 1995, 5(5):77-86.

[7] Ren Hai-bing，Zhu Yuan-xin，Xu Guang-you, et al．Hand gesture segmentation and recognition with complex backgrounds[J]．ACTA Automatica SINICA，2002，28(2)：118-121．(in Chinese)

[8] Francke H,Ruiz-del-Solar J,Verschae R.Real-time hand gesture detection and recognition using boosted classifiers and active learning[C]∥Proc of PSIVT’07,2007:533-547.

[9] Yang Bo, Song Xiao-na, Feng Zhi-quan, et al. Gesture recognition in complex background based on distribution features of hand[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(10):1841-1848. (in Chinese)

[10] Peng Sheng-yu, Wattanachote K, Lin Hwei-jen, et al. A real-time hand gesture recognition system for daily information retrieval from Internet[C]∥Proc of IEEE the 4th International Conference on Ubi-Media Computing, 2011:146-151.

[11] Chen Duan-sheng,Liu Zheng-kai.A survey of skin color detection[J]. Chinese Journal of Computers, 2006, 29(2):194-207. (in Chinese)

附中文參考文獻：

[1] 湯志彥，馮哲．適用于機器人視覺的手勢識別系統(tǒng)[J]．計算機工程與應(yīng)用，2005，41(16)：51-54．

[2] 陳一民，張云華．基于手勢識別的機器人人機交互技術(shù)研究[J]．機器人，2009，31(4)：353-356．

[3] 譚昶，肖南峰．基于改進的RCE和RBF神經(jīng)網(wǎng)絡(luò)的靜態(tài)手勢識別[J]．計算機工程與應(yīng)用，2011，47(7)：172-176．

[7] 任海兵, 祝遠新, 徐光祐, 等. 復(fù)雜背景下的手勢分割與識別[J]. 自動化學(xué)報, 2002, 28(2):118-121.

[9] 楊波，宋曉娜，馮志全．復(fù)雜背景下基于空間分布特征的手勢識別算法[J]．計算機輔助設(shè)計與圖形學(xué)學(xué)報，2010，22(10)：1841-1848．

[11] 陳鍛生，劉政凱．膚色檢測技術(shù)綜述[J]．計算機學(xué)報，2006，29(2)：194-207．

QU Yan-qin,born in 1989,MS candidate,her research interests include gesture recognition based on vision, image recognition, and human-computer interaction.

李昕(1970-),男，江蘇鹽城人，博士，副研究員，研究方向為語音識別和智能機器人。E-mail:xli@staff.shu.edu.cn

LI Xin,born in 1970,PhD,associate research fellow,his research interests include speech recognition, and intelligent robot.

Hand gesture recognition based on analysis of appearance features and its application

QU Yan-qin，LI Xin，LU Xia-yan

(School of Mechatronic Engineering and Automation，Shanghai University，Shanghai 200072,China)

Hand gesture recognition in complex background is susceptible to environmental interference, thus leading to recognition difficulty. According to this recognition problem, by analyzing the appearance features of hand gesture, a hand gesture recognition algorithm for natural human computer interaction is proposed and implemented. By using depth images which obtain from Kinect, we extract features like gesture finger radians, radians between fingers and the number of fingers, and properly utilize minimum distance algorithm for achieving fast and efficient classification. Experimental results show that the algorithm is robust and real-time with an average recognition rate of 94.3% for nine frequently-used gestures.

computer vision；depth image；finger radian；appearance features；gesture recognition

1007-130X(2015)01-0139-07

2013-04-15;

2013-07-24

TP391.4

A

10.3969/j.issn.1007-130X.2015.01.021

屈燕琴(1989-),女,河南信陽人，碩士生，研究方向為基于視覺的手勢識別、圖像識別與人機交互。E-mail:qyq1212@126.com

通信地址：200072 上海市閘北區(qū)廣延路140號西部自動化樓311

Address:Room 311，West Automation Building,140 Guangyan Rd,Zhabei District,Shanghai 200072,P.R.China