，，

(河南理工大學(xué) 機(jī)械與動(dòng)力工程學(xué)院，河南 焦作 454000)

0 引言

手勢(shì)識(shí)別作為人機(jī)交互中的一項(xiàng)關(guān)鍵技術(shù)，是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。其中的指尖檢測(cè)是該技術(shù)的一個(gè)重要基礎(chǔ)組成部分，已在多個(gè)領(lǐng)域得到廣泛應(yīng)用，如智能家居、人機(jī)協(xié)同、機(jī)器人智能控制等。早期的手勢(shì)識(shí)別技術(shù)多采用普通攝像頭獲取圖像信息，該技術(shù)采集的圖像易受到不同光照條件和復(fù)雜背景的影響，采用光電傳感器等設(shè)備采集圖像成本高、約束條件多[1-2]。傳統(tǒng)的基于數(shù)據(jù)手套的手勢(shì)識(shí)別方法識(shí)別率雖然不受光照和復(fù)雜背景影響，但是需要用戶穿戴復(fù)雜設(shè)備影響交互的自然特性；基于膚色模型在YCrCb或HSV顏色空間的聚類特性分割出手勢(shì)區(qū)域易受光照的影響[3]；Simen Andresen, Stokkeland等人利用HSV顏色閾值分割提取手掌部分，循環(huán)遍歷每一個(gè)像素點(diǎn)的深度值，檢測(cè)矩陣中突變的像素點(diǎn)，但是受復(fù)雜環(huán)境影響較大。針對(duì)上述問題,提出了一種基于Kinect骨骼信息和深度圖像的指尖點(diǎn)檢測(cè)方法，重點(diǎn)研究?jī)?nèi)容如下：

1)在DRVI平臺(tái)創(chuàng)建Kinect接口控件；

2)深度圖像跟蹤手部區(qū)域；

3)對(duì)不同手勢(shì)凸包點(diǎn)進(jìn)行K-曲率計(jì)算，生成相應(yīng)的HOG特征描述子。

1 系統(tǒng)結(jié)構(gòu)及原理

手勢(shì)識(shí)別系統(tǒng)的結(jié)構(gòu)包括圖像的采集、手勢(shì)跟蹤與定位、手勢(shì)分割與預(yù)處理、手勢(shì)特征提取和指尖檢測(cè)五個(gè)部分，其中手勢(shì)特征提取和指尖檢測(cè)是識(shí)別系統(tǒng)的關(guān)鍵，該部分的主要功能是分析設(shè)備采集的圖像，提供原始圖像數(shù)據(jù)，并根據(jù)不同用戶對(duì)輸入?yún)?shù)進(jìn)行實(shí)時(shí)調(diào)整。

目前，國(guó)內(nèi)采集深度圖像的設(shè)備主要有兩種，一種是因特爾的RealSense，具有體積小，方便攜帶但深度圖的質(zhì)量較差，噪聲非常大;另一種是采用PrimeSense公司技術(shù)的體感攝像頭，此攝像頭芯片價(jià)格便宜，能耗低，而且其微小的體型適用于筆記本以及智能手機(jī)等終端。Kinect最初作為XBOX 360主機(jī)的外設(shè)，旨在讓用戶脫離控制器，通過語(yǔ)音或手勢(shì)來操作XBOX的系統(tǒng)界面，是以PrimeSense1080系統(tǒng)級(jí)芯片技術(shù)為核心的圖像采集裝置，由彩色攝像頭、深度攝像頭等部件構(gòu)成，還搭配追焦技術(shù)，底座馬達(dá)會(huì)隨著對(duì)焦物體移動(dòng)跟著轉(zhuǎn)動(dòng)，內(nèi)建陣列式麥克風(fēng)，由四個(gè)麥克風(fēng)同時(shí)收音比對(duì)后消除雜音，并通過其采集聲音進(jìn)行語(yǔ)音識(shí)別和生源定位，如圖1所示。

圖1 Kinect結(jié)構(gòu)

Kinect傳感器的主要功能就是可以產(chǎn)生三維數(shù)據(jù)，獲取深度圖像的方法是將結(jié)構(gòu)光投射至場(chǎng)景，對(duì)獲取的紅外數(shù)據(jù)進(jìn)行計(jì)算處理，并由傳感器捕獲相應(yīng)的帶有結(jié)構(gòu)光的圖案，采集的深度圖像如圖2(a)所示；微軟將偵測(cè)到的3D深度圖像轉(zhuǎn)換到骨架追蹤系統(tǒng)，骨骼追蹤技術(shù)是Kinect的核心技術(shù)，它可以準(zhǔn)確標(biāo)定人體的20個(gè)關(guān)鍵點(diǎn)，并能對(duì)這20個(gè)點(diǎn)的位置進(jìn)行實(shí)時(shí)追蹤。利用這項(xiàng)技術(shù)，可以開發(fā)出各種基于體感人機(jī)交互的有趣應(yīng)用如圖2(b)所示。Kinect捕獲的骨骼數(shù)據(jù)屬于三維空間數(shù)據(jù)，將坐標(biāo)信息映射到所獲取的深度圖像上，關(guān)節(jié)點(diǎn)用圓形顯示，需要采用坐標(biāo)映射的方法將節(jié)點(diǎn)從骨骼數(shù)據(jù)三維空間轉(zhuǎn)換到深度數(shù)據(jù)的二維空間，根據(jù)手掌節(jié)點(diǎn)的坐標(biāo)確定手勢(shì)的大致范圍，如圖2(c)所示。

圖2 Kinect采集的圖像

2 手勢(shì)分割

手勢(shì)分割作為手勢(shì)識(shí)別的前提，手勢(shì)分割的好壞直接影響手勢(shì)識(shí)別的識(shí)別率。一般的分割方法大致分為基于直方圖的分割、 基于局部區(qū)域信息的分割、基于顏色等一些物理特征的分割方法，但這些分割技術(shù)大都需要對(duì)背景、用戶以及視頻采集加以約束，受背景復(fù)雜度和光照變化的影響較大。傳統(tǒng)的視覺的手勢(shì)提取算法主要有基于膚色的手勢(shì)提取、基于運(yùn)動(dòng)的手勢(shì)提取及基于輪廓的手勢(shì)提取等，手部區(qū)域的提取通常包括手勢(shì)分割、手勢(shì)建模、特征匹配等過程[4]。為了更好地檢測(cè)手勢(shì)區(qū)域掌心點(diǎn)和指尖點(diǎn)，首先需要把手掌從復(fù)雜的背景中分離出來，在深度圖中利用骨骼追蹤系統(tǒng)確定手部、腕部坐標(biāo)及灰度值，然后搜索手腕節(jié)點(diǎn)的端點(diǎn)，采用最近鄰法則和閾值法則從深度圖像中分離出手部區(qū)域[5]。Kinect捕獲到的腕坐標(biāo)(Xw,Yw,Zw)和手部關(guān)節(jié)點(diǎn)坐標(biāo)(Xh,Yh,Zh)是骨骼空間數(shù)據(jù)，根據(jù)骨骼空間數(shù)據(jù)計(jì)算手部、腕部在深度圖的坐標(biāo)(Dh,Dh)和(Dw,Dw)，可以得到相應(yīng)的深度值dh、dw，對(duì)深度圖2維數(shù)據(jù)可表示為addr(Mij)=M.data+M.step[0]*i+M.step[1]*j；M.step[]表示元素地址(i0,…iM.dims-1), 其中0?ik

(1)

式中，i表示深度圖像手勢(shì)區(qū)域的行數(shù)，j表示深度圖像手勢(shì)區(qū)域的列數(shù)，maxv表示深度圖中輪廓像素的最大值。

本文在DRVI平臺(tái)上做了XBOX的接口控件，DRVI是采用軟件總線開放結(jié)構(gòu)和COM/DCOM組件的即插即用特性來設(shè)計(jì)的具有計(jì)算機(jī)硬件模塊化組裝特點(diǎn)的面向用戶的可在線編程、調(diào)試和重組的新型虛擬儀器技術(shù)。從深度圖分割出來的手勢(shì)區(qū)域邊緣存在很多圖像缺陷影響手勢(shì)識(shí)別的結(jié)果，需要對(duì)手勢(shì)區(qū)域進(jìn)行高斯濾波處理，如圖3所示。

圖3 高斯濾波處理

圖4(a)中被黑色矩形框圈出來的深度圖像為手部區(qū)域，圖4(b)是用最近鄰法則分離出來的深度手勢(shì)圖像。然后采用形態(tài)學(xué)處理中的開閉運(yùn)算對(duì)其進(jìn)行去除噪聲處理，能有效的消除和抑制噪聲，達(dá)到圖像平滑的效果[6]，經(jīng)過濾波和形態(tài)學(xué)處理后的手勢(shì)圖像邊緣鋸齒狀明顯減少，如圖4(c)所示。

圖4 手部區(qū)域圖

3 手勢(shì)識(shí)別

在計(jì)算機(jī)科學(xué)和人機(jī)交互領(lǐng)域中，手勢(shì)識(shí)別是通過數(shù)學(xué)算法來識(shí)別人類手勢(shì)的一個(gè)議題。手勢(shì)識(shí)別可以來自人的身體各部位的運(yùn)動(dòng)，但是一般是指手的運(yùn)動(dòng)或者手形識(shí)別，根據(jù)交互功能的要求有動(dòng)態(tài)的識(shí)別，比如左右揮手，還有靜態(tài)的手形識(shí)別，比如識(shí)別伸出手指?jìng)€(gè)數(shù)，用戶可以使用簡(jiǎn)單的手勢(shì)來控制或與設(shè)備交互，讓計(jì)算機(jī)理解人的意圖，此手勢(shì)識(shí)別系統(tǒng)主要研究研究靜態(tài)手形的識(shí)別。

在連續(xù)情況下，矩特征主要表現(xiàn)了圖像區(qū)域的幾何特性，具有旋轉(zhuǎn)、平移、尺度等特性的不變特征，可以據(jù)此特征來對(duì)圖像進(jìn)行分類。圖像函數(shù)為f(x,y)，那么圖像的p+q階中心矩和p+q階幾何矩分別定義為：如式(2)所示：

(2)

(3)

利用二階和三階歸一化中心距構(gòu)造了7個(gè)不變矩M1～M7：如式(4)所示：

M1=δ20+δ02

M2=(δ20-δ02)2+4δ112

M3=(δ30-3δ12)2+(3δ21-δ03)2

M4=(δ30+δ12)2+(δ21+δ03)2

M5=(δ30+3δ12)(δ30+δ12)[(δ30+δ12)2-3(δ21+δ03)2]+(3δ21+δ03)(δ21+δ03)[3(δ30+δ12)2-(δ21+δ03)2]

M6=(δ20+δ02)[(δ30+δ12)2-(δ21+δ03)2]+4δ11(δ30+δ12)(δ21+δ03)

M7=(3δ21-δ03)(δ30+δ12)[(δ30+δ12)2-3(δ21+δ03)2]-(δ30-3δ12)(δ21+δ03)[3(δ30+δ12)2-(δ21+δ03)2]

(4)

HOG通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖，如圖5所示。

圖5 標(biāo)準(zhǔn)圖像直方圖

與Hu矩的7個(gè)特征構(gòu)成一組特征向量,每一種手形對(duì)應(yīng)一個(gè)XML文件，生成對(duì)應(yīng)的標(biāo)簽。根據(jù)SVM分類思想訓(xùn)練出一個(gè)分割超平面，即分類的決策邊界，當(dāng)Kinect場(chǎng)景內(nèi)出現(xiàn)與預(yù)定義手形最相近的特征，即被貼上對(duì)應(yīng)的標(biāo)簽，如圖6所示。

圖6 識(shí)別效果圖

4 指尖檢測(cè)

4.1 手部區(qū)域邊緣檢測(cè)

穩(wěn)定的指尖檢測(cè)算法可以應(yīng)用在人機(jī)交互系統(tǒng)中，提升交互技術(shù)的靈活性，用 Graham Scan Algorithm掃描算法尋找邊緣輪廓點(diǎn)中橫坐標(biāo)(縱坐標(biāo))最小的點(diǎn)作為第一個(gè)點(diǎn);

1)其他的點(diǎn)按照極角大小順時(shí)針排列，如果有共線的取最近的那一個(gè)，依次將P0,P1,P2三個(gè)坐標(biāo)壓入棧;

圖7 點(diǎn)集P的凸包

邊緣是指圖像局部強(qiáng)度變化最顯著的部分，邊緣主要存在目標(biāo)與目標(biāo)、目標(biāo)與背景、區(qū)域與區(qū)域之間。多次實(shí)驗(yàn)得閾值為200效果最好,如果T1<200則判定為偽輪廓，本文采用Canny邊緣檢測(cè)算法是對(duì)信噪比和定位之乘積的最優(yōu)化逼近算子，用于手勢(shì)邊緣的雙閾值算法檢測(cè)和連接邊緣[8-9]，如圖8(a)是手部區(qū)域的輪廓圖。為去除手腕信息的干擾，首先用ApproxpolyDP逼近多邊形算法只找到輪廓上的關(guān)鍵點(diǎn)，目的就是縮小指尖點(diǎn)所在輪廓上的范圍，只是此輪廓粗獷一些[10-11]；可以通過掃描圖像法找到手勢(shì)圖像最上面的點(diǎn)top,以top為基點(diǎn)沿逼近多邊形輪廓點(diǎn)順時(shí)針逆時(shí)針各區(qū)30個(gè)像素點(diǎn)，以Ptop、Ptop+30、Ptop-30三點(diǎn)作圓，如圖8(b)所示。從實(shí)驗(yàn)結(jié)果可以看出，這兩種約束條件可以很好的去除冗余的手腕信息。

圖8 手勢(shì)輪廓圖

4.2 計(jì)算手勢(shì)區(qū)域掌心點(diǎn)位置

指尖檢測(cè)的一個(gè)關(guān)鍵問題就是掌心點(diǎn)提取，掌心點(diǎn)包含手勢(shì)許多重要的信息，比如指尖點(diǎn)的位置、方向以及手勢(shì)的種類等。目前，在圖像處理中尋找掌心點(diǎn)有圖像矩和距離變換等兩種常用算法。在圖像處理、計(jì)算機(jī)視覺和相關(guān)領(lǐng)域中，通過圖像矩可以輕易得到圖像質(zhì)心和關(guān)于其方向的信息，圖像矩是沿x、y方向?qū)喞吔缦袼氐姆e分，利用零階矩和一階矩求重心，深度圖中的手部區(qū)域可以用手部節(jié)點(diǎn)粗略表示手勢(shì)位置但不能準(zhǔn)確代表手掌掌心，手勢(shì)骨骼節(jié)點(diǎn)根據(jù)人體姿態(tài)不同發(fā)生抖動(dòng)[12-13];距離變換的基本思想就是計(jì)算圖像中像素點(diǎn)到最近零像素點(diǎn)的距離，象棋格距離(Chessboard Distance)，公式(5)如下：

D=max(|x2-x1|,|y2-y1|

(5)

此距離變換減少了計(jì)算量，將二值化手掌圖像內(nèi)的手掌部分設(shè)為白色，外部區(qū)域設(shè)為黑色，該算法可以精確找到手掌掌心，如圖9所示。

圖9 距離變換掌心圖

計(jì)算一個(gè)圖像中非零像素點(diǎn)到最近的零像素點(diǎn)距離，通過合理的閾值限制可以得到去除手指的圖像，手部質(zhì)心即為該圖像的幾何中心，如圖10所示手勢(shì)的質(zhì)心及坐標(biāo)。

圖10 手勢(shì)質(zhì)心及坐標(biāo)

4.3 指尖點(diǎn)檢測(cè)

指尖檢測(cè)的效果影響交互的豐富度、靈活性。Lee等人通過計(jì)算掌心與輪廓的邊緣距離檢測(cè)單個(gè)指尖的位置實(shí)現(xiàn)虛擬交互[14]。本文采用手勢(shì)輪廓凸包的缺陷和輪廓點(diǎn)曲率結(jié)合的方法檢測(cè)指尖點(diǎn)，計(jì)算不同手勢(shì)指尖點(diǎn)的HOG特征描述子，并識(shí)別0～5的數(shù)字手勢(shì)。利用計(jì)算機(jī)視覺庫(kù)函數(shù)convexityDefects檢測(cè)出手勢(shì)輪廓與逼近多邊形圍成的凹缺陷和凸包，在此創(chuàng)建一個(gè)迭代器對(duì)順序或關(guān)聯(lián)容器類型中的每個(gè)元素進(jìn)行連續(xù)訪問，如圖11所示convexity hull與手掌之間的部分為convexity defects。每個(gè)convexity defect區(qū)域有四個(gè)特征量：起始點(diǎn)(startPoint)，結(jié)束點(diǎn)(endPoint)，距離convexity hull最遠(yuǎn)點(diǎn)(farPoint)，最遠(yuǎn)點(diǎn)到convexity hull的距離(depth)，A～F區(qū)域?yàn)闄z測(cè)出的缺陷，則startPoint、endPoint為指尖候選點(diǎn)?；谇实闹讣鈾z測(cè)法主要依靠計(jì)算手部區(qū)域中類指尖點(diǎn)的近似K曲率，藍(lán)色折線是手指細(xì)化的結(jié)果，目的就是為了讓圖像信息的特征更加突出，細(xì)化算法一定要滿足收斂性、保持原圖的基本形狀及減少筆畫相交處的畸變等，式(6)所示：

y=p0*20+p1*21+p2*22+p3*23+p4*24+…，

(6)

圖11 手勢(shì)缺陷圖

(7)

圖12 K曲率算法

一般在指尖點(diǎn)位置的曲率達(dá)到最大，曲率K的取值范圍(-1,1)，在其范圍中設(shè)定閾值T,K?T此點(diǎn)才可能是類指尖點(diǎn)[15-16]，需要滿足式(8)：

(8)

目前檢測(cè)出來的點(diǎn)稱為“類指尖點(diǎn)”可能是指尖點(diǎn)、手指之間的凹槽點(diǎn)或者手掌末端與手臂連接處的點(diǎn)，需要添加一個(gè)過濾條件排除凹槽點(diǎn)：

1)由圖12所知，以輪廓上任意一點(diǎn)P(i)前后相隔m個(gè)像素點(diǎn)形成的夾角，如果夾角25°<α<35°，則此點(diǎn)為指尖點(diǎn),如果夾角γ接近180°則此點(diǎn)在手指輪廓上;如果夾角β大于50°則判斷為指尖凹槽點(diǎn);

2)如圖13所示可以比較單指尖點(diǎn)到掌心點(diǎn)的距離，如果指尖點(diǎn)的到掌心的距離大于1.5倍相鄰凹槽點(diǎn)到掌心點(diǎn)距離，則此點(diǎn)為指尖點(diǎn)，否則沒有手指伸出，此方法既可以檢測(cè)單指尖又可以檢測(cè)多指尖；

圖13 重心距離法

3)由圖11知凹缺陷深度應(yīng)該大于掌心圓半徑，但小于手部輪廓最小外接圓半徑，經(jīng)過五指伸開近似正方形這一條件過濾掉手腕干擾，如果類指尖點(diǎn)符合公式，則此點(diǎn)為凹槽點(diǎn)，如圖14所示。

(9)

圖14 凹槽點(diǎn)檢測(cè)法

把檢測(cè)到的凸輪廓的凸包點(diǎn)儲(chǔ)存在hullpoint向量容器中，遍歷窗口中所有輪廓，算法中定義ofstream類型,把.txt里面的坐標(biāo)點(diǎn)導(dǎo)入origin數(shù)據(jù)處理軟件中生成散點(diǎn)圖，如圖15(a)所示，在一幅圖像中，HOG利用梯度或邊緣的方向密度分布能夠很好地描述局部目標(biāo)區(qū)域的特征的思想，對(duì)凸包點(diǎn)集的梯度信息作出統(tǒng)計(jì)，生成HOG特征描述，圖像的梯度針對(duì)的是每一個(gè)像素計(jì)算得到，水平邊緣梯度算子：[-1,0,1], 垂直邊緣算子[-1,0,1]T, 圖像中像素點(diǎn)(x,y)的梯度為：

(10)

式中，gx(x,y)，gy(x,y)，h(x,y)分別表示輸入圖像像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。

由式(10)得，類指尖點(diǎn)(x,y)的幅值和梯度方向分別為:

(11)

然后在cell中進(jìn)行方向梯度直方圖的構(gòu)建,統(tǒng)計(jì)局部圖像信息并進(jìn)行編碼，如圖15(b)所示：

圖15 HOG手勢(shì)特征圖

5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文指尖檢測(cè)和手勢(shì)提取算法的可靠性和準(zhǔn)確性，實(shí)驗(yàn)采用微軟Kinect XBOX 360一代攝像頭采集深度圖像和骨骼數(shù)據(jù)，深度圖像分辨率為320×240?；贛icrosoft Visual Studio 2010環(huán)境，通過配置計(jì)算機(jī)開源視覺庫(kù)OpenCV2.4.9、Kinect SDK1.8，DRVI4.5控件接口，用C++進(jìn)行編程。本文對(duì)指尖數(shù)目0～5的6種情況進(jìn)行測(cè)試，識(shí)別效果如圖16所示。

圖16 不同數(shù)目指尖識(shí)別效果

針對(duì)圖16所示的6種數(shù)字手勢(shì)進(jìn)行識(shí)別，識(shí)別邀請(qǐng)5位實(shí)驗(yàn)者進(jìn)行試驗(yàn)測(cè)試，每位實(shí)驗(yàn)者在不同光照下對(duì)每個(gè)手勢(shì)分別做10次，總共采集300張樣本圖像，根據(jù)測(cè)試的結(jié)果每種手勢(shì)的識(shí)別率如表1所示：

表1 6種數(shù)字手勢(shì)檢測(cè)結(jié)果

由圖16和表1可以看出，數(shù)字手勢(shì)0和數(shù)字手勢(shì)5識(shí)別率最高，對(duì)于數(shù)字5五指伸開時(shí)各手指之間間距較大相互不影響，數(shù)字手勢(shì)0無指尖特征；數(shù)字手勢(shì)2只有兩個(gè)缺陷起始點(diǎn)和一個(gè)凹槽點(diǎn)識(shí)別率也比較高；數(shù)字手勢(shì)3和4容易識(shí)別混淆手勢(shì)發(fā)生抖動(dòng)時(shí)檢測(cè)不到指尖點(diǎn)導(dǎo)致錯(cuò)檢漏檢；由于數(shù)字手勢(shì)1無輪廓缺陷點(diǎn)無法使用曲率算法根據(jù)中心距離法求得，所以漏檢率較高。圖17(a)和圖17(b)是在不同光照和復(fù)雜環(huán)境下檢測(cè)的結(jié)果。

圖17 不同光照和復(fù)雜環(huán)境識(shí)別結(jié)果

6 結(jié)語(yǔ)

本文首先分析了手勢(shì)識(shí)別研究的背景和意義，重點(diǎn)對(duì)手勢(shì)分割和指尖檢測(cè)的方法和關(guān)鍵技術(shù)做了深入研究，主要工作為：在靜態(tài)手勢(shì)識(shí)別方面利用Kinect骨骼數(shù)據(jù)快速定位手勢(shì)在深度圖的位置；在DRVI平臺(tái)創(chuàng)建XBOX接口控件快速處理圖像，減小運(yùn)算量，利用設(shè)定閾值去除為輪廓，距離變換處理尋找掌心點(diǎn)；利用凸包和K-曲率結(jié)合方法尋找指尖點(diǎn)，生成相應(yīng)的特征描述算子。本文的研究?jī)?nèi)容可以解決不同光照和復(fù)雜背景下手勢(shì)識(shí)別的難題，避免采用膚色轉(zhuǎn)換算法中的類膚色區(qū)域的干擾。當(dāng)人距離Kinect較遠(yuǎn)或者坐著的時(shí)候手掌節(jié)點(diǎn)發(fā)生抖動(dòng)可能會(huì)導(dǎo)致跟蹤失敗，而且對(duì)預(yù)定義的手勢(shì)種類有限，所以該算法還需進(jìn)一步深入研究。研究成果可以將基于視覺的指尖檢測(cè)這一新型技術(shù)融入到機(jī)器人控制之中，簡(jiǎn)化機(jī)器人控制的復(fù)雜度，提高人與機(jī)器人之間的交互性。