于 蕾

(1.合肥職業(yè)技術(shù)學(xué)院 信息工程與傳媒學(xué)院，安徽 合肥 230011；2.中國(guó)科學(xué)技術(shù)大學(xué)，安徽 合肥 230011)

現(xiàn)如今，人們對(duì)于人機(jī)交互技術(shù)的需求日益提高，手勢(shì)識(shí)別便是人機(jī)交互的重要的手段之一。人機(jī)交互的目標(biāo)是使人機(jī)器即計(jì)算機(jī)的性能與人-人交互相似。手勢(shì)在我們的日常生活中起著重要作用，它們可以幫助人們傳達(dá)信息并表達(dá)自己的感受[1]。從技術(shù)上講，手勢(shì)是時(shí)空模式，可以是靜態(tài)的，動(dòng)態(tài)的或兩者兼而有之的。手勢(shì)識(shí)別技術(shù)可以應(yīng)用于各個(gè)學(xué)科和我們的生活領(lǐng)域中了，如智能家居方向就可以使用這種高效的控制方式實(shí)現(xiàn)對(duì)設(shè)備的操控[2]。手勢(shì)識(shí)別的研究可以分為動(dòng)態(tài)手勢(shì)和靜態(tài)手勢(shì)。其中，靜態(tài)手勢(shì)是利用模版匹配法進(jìn)行手勢(shì)識(shí)別，主要是分析不同特征(HOG特征[3]、Gabor特征[4]、幾何特征[5]、譜圖小波特征[6]以及多特征聯(lián)合[7])信息的識(shí)別效果。而動(dòng)態(tài)手勢(shì)則在靜態(tài)手勢(shì)的基礎(chǔ)上基于狀態(tài)轉(zhuǎn)移的圖模型方法，檢測(cè)和跟蹤手勢(shì)目標(biāo)[8]。例如基于深度卷積網(wǎng)絡(luò)的深度學(xué)習(xí)方法可以通過(guò)SSD模型和微調(diào)網(wǎng)結(jié)構(gòu)實(shí)現(xiàn)目標(biāo)識(shí)別和匹配[9]。本文基于OpenCV(Open Source Computer Vision Library)的進(jìn)行數(shù)字靜態(tài)手勢(shì)的匹配識(shí)別研究。首先，對(duì)手勢(shì)圖像預(yù)處理：對(duì)攝像頭提取到的幀圖片進(jìn)行二值化后，再濾波去噪、開(kāi)運(yùn)算以達(dá)到去除背景的效果；然后進(jìn)行手勢(shì)圖像提?。侯A(yù)處理后的圖像在HSV顏色模型下分離通道進(jìn)行膚色分離處理，歸一化后再次中值濾波去噪后對(duì)手勢(shì)進(jìn)行輪廓提取并過(guò)濾，繪制出手勢(shì)輪廓。最后進(jìn)行手勢(shì)圖像分類(lèi)識(shí)別：采用Hu不變矩進(jìn)行模板匹配從而達(dá)到手勢(shì)識(shí)別的目的。

1 相關(guān)理論和實(shí)現(xiàn)過(guò)程

1.1 HSV顏色模型

HSV(HUE色調(diào)，Saturation飽和度，Value明度)是根據(jù)顏色直觀特性有A.R.Smith在1978年創(chuàng)建的一種顏色空間[10]。H的取值范圍為0°～360°，紅色為0°，按逆時(shí)針開(kāi)始計(jì)算；S的取值越大，顏色越飽和；V的取值范圍為0%～100%，由黑到白。一般情況下，RGB模型面向的是工業(yè)工程，而HSV模型面向的是用戶(hù)。在本文中，HSV顏色模型至關(guān)重要，通過(guò)該模型直接進(jìn)行膚色分割，因?yàn)辄S種人的膚色在HSV顏色模型中各項(xiàng)參數(shù)是由取值范圍的。膚色范圍：H(0-30)，S(30-170)，V(0-200)。

1.2 圖像的獲取

本文所要實(shí)現(xiàn)的是實(shí)時(shí)的手勢(shì)識(shí)別，所以對(duì)于初始的圖像是由視頻中的幀圖像提供的。首先打開(kāi)攝像頭，利用的是VideoCapture來(lái)訪(fǎng)問(wèn)計(jì)算機(jī)的攝像頭，如若訪(fǎng)問(wèn)失敗，便會(huì)輸出攝像頭打開(kāi)失敗的信息，并停止程序。環(huán)境需要光線(xiàn)充足，用戶(hù)必須穿著長(zhǎng)袖衣物以遮擋手腕部分。當(dāng)攝像頭成功打開(kāi)，繼續(xù)執(zhí)行程序，將攝像頭獲取的圖片幀儲(chǔ)存到frame中，如若后續(xù)過(guò)程中攝像頭沒(méi)有接收到圖片，便輸出沒(méi)有獲取圖片并跳出獲取圖片幀的循環(huán)。

1.3 手勢(shì)輪廓提取

1.3.1 H通道分離

為了后續(xù)的膚色分割處理，我們首先將圖片轉(zhuǎn)換為HSV空間，再將其中的H通道圖片分離出來(lái)單獨(dú)處理。

使用到了OpenCV函數(shù)庫(kù)中的cvtColor函數(shù)。cvtColor函數(shù)前兩個(gè)參數(shù)便是輸入與輸出圖片，第三個(gè)參數(shù)CV_RGB2HSV表示將輸入圖片從RGB空間轉(zhuǎn)換為HSV空間。Split函數(shù)的作用是通道分離，將圖像分離為H、S、V三個(gè)通道并存入channels[0]、channels[1]、channels[2]中。RGB轉(zhuǎn)換HSV公式如下：

h=0°，(max=min)；

(1)

(2)

(3)

(4)

(5)

v=max/255；

(6)

1.3.2 膚色分割

通過(guò)上一步對(duì)圖片H通道圖像的提取，可以針對(duì)原圖H的值將用戶(hù)的皮膚提取出來(lái)。使用inRange函數(shù)，第一個(gè)參數(shù)即輸入，后兩個(gè)元素便是篩選的閾值區(qū)間，最后一個(gè)參數(shù)就是輸出的圖片，其中輸出的圖片是一幅二值化后的圖像。

result=minVal≤frameH≤maxVal；

(7)

即如果frameH某一個(gè)像素的灰度值在閾值范圍minVal與maxVal之內(nèi)，便在result圖像中其灰度值表現(xiàn)為255，否則表示為0。

1.3.3 濾波降噪

通過(guò)線(xiàn)性濾波器以減少噪聲，使用中值濾波器來(lái)模糊圖像，此方法相較于使用線(xiàn)性濾波器，處理的圖像細(xì)節(jié)更清晰，圖像的邊緣信息丟失少，但代價(jià)是需要更多的處理時(shí)間。

1.3.4 形態(tài)學(xué)處理

本文調(diào)用morphologyEX函數(shù)對(duì)降噪后的圖片進(jìn)行開(kāi)運(yùn)算處理(對(duì)圖像先膨脹處理再進(jìn)行腐蝕。在刪除圖像中細(xì)小對(duì)象時(shí)很好用，同樣還可以放大低亮度區(qū)域)，從而進(jìn)一步去除大噪聲，突出手勢(shì)對(duì)象以便后續(xù)的手勢(shì)提取。經(jīng)過(guò)多次實(shí)驗(yàn)驗(yàn)證，采用了MORPH_RECT的構(gòu)建方式，即矩形的結(jié)構(gòu)元素，大小選擇的是7×7。

1.3.5 手勢(shì)輪廓提取

手勢(shì)輪廓提取前將上述步驟處理后的圖片所具有的信息進(jìn)行整理，圖片提取出來(lái)，放入一個(gè)大小相同的圖片窗口中，并將其中的點(diǎn)存入被定為二位浮點(diǎn)型向量的mContours中，以便后續(xù)的輪廓查找。采用Canny圖像邊緣檢測(cè)，這是由John.F.Canny開(kāi)發(fā)的，因而以其名稱(chēng)命名。這個(gè)方法錯(cuò)誤率低，僅在存在的邊緣上檢測(cè)；局部化良好，對(duì)于檢測(cè)到的像素邊緣將其處理至最??；反應(yīng)簡(jiǎn)單，每個(gè)邊緣只會(huì)有一個(gè)檢測(cè)結(jié)果。檢測(cè)步驟大致分為三步：1)用濾波器去除噪聲；2)用離散微分的方法尋找圖像傾斜度的強(qiáng)度；3)采用非極大值抑制，從而刪除非邊緣像素，給對(duì)象留下一條細(xì)線(xiàn)畫(huà)出對(duì)象的輪廓。在Canny檢測(cè)中，is_using_canny為1時(shí)調(diào)用Canny輪廓檢測(cè)，為0時(shí)則不調(diào)用；閾值調(diào)節(jié)范圍定在0-120以?xún)?nèi)[11]。輪廓提取效果圖如圖1所示。

圖1 輪廓提取結(jié)果

1.4 手勢(shì)的匹配識(shí)別

1.4.1 手勢(shì)模板制作

本文主要通過(guò)程序識(shí)別手勢(shì)從1到10的數(shù)字表示，將進(jìn)行手勢(shì)的輪廓提取再將處理后的圖片作為識(shí)別模板，結(jié)果如圖2所示。

圖2 數(shù)字手勢(shì)模板圖

本文中手勢(shì)模板由于模板匹配時(shí)采用的是Hu不變矩的方法，匹配時(shí)會(huì)自動(dòng)調(diào)節(jié)大小和方向，所以模板中的手勢(shì)沒(méi)有大小和方向的要求。

1.4.2 Hu不變矩

Hu不變矩實(shí)際上是指圖像的Hu矩具有平移、旋轉(zhuǎn)和縮放不變的性質(zhì)。將每個(gè)圖像看作一個(gè)ρ(x，y)的密度分布函數(shù)，其分布區(qū)間放在[0，255]中。閾值對(duì)應(yīng)的(p+q)階中心矩定義如下[12]：

(8)

平移的不變性：設(shè)新的位置坐標(biāo)為(x1，y1)，其中：x1=x+α，y1=y+β。α、β是常數(shù)，可見(jiàn)中心矩是不變的。

φ1=η20+η02

(9)

(10)

φ3=(η30-3η12)2+(3η21-η03)2

(11)

φ4=(η30+η12)2+(η21+η03)2

(12)

φ5=(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[(η30+η12)2-(η21+η03)2]

(13)

φ6=(η20-η02)[(η30+η12)2-3(η21+η03)2]+4η11(η30+η12)(η21+η03)

(14)

φ7=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]

(15)

1.4.3 匹配識(shí)別

2 結(jié)果分析

2.1 數(shù)據(jù)集來(lái)源

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于5位志愿者在不同背景下的手勢(shì)拍照?qǐng)D像集，共包含10種手勢(shì)，每種手勢(shì)有10張圖，合計(jì)100張手勢(shì)圖。不同手勢(shì)圖像存在脖子、干擾手臂、燈光、景深以及復(fù)雜背景的干擾，部分實(shí)驗(yàn)圖像如圖3所示。將收集到100張圖像隨機(jī)分成訓(xùn)練集和測(cè)試集兩個(gè)部分，訓(xùn)練集和測(cè)試集的比例為7：3。

圖3 部分示例手勢(shì)圖數(shù)據(jù)集

2.2 識(shí)別結(jié)果分析

為了驗(yàn)證基于OpenCV的靜態(tài)手勢(shì)識(shí)別技術(shù)的識(shí)別效果，分別選取30組1-10的手勢(shì)數(shù)據(jù)，通過(guò)已設(shè)定手勢(shì)模板進(jìn)行測(cè)試。輸出結(jié)果中hu的值越小，表示匹配度越高，本文將hu小于0.15的視為匹配成功并輸出。圖4為手勢(shì)數(shù)字識(shí)別結(jié)果，以箱線(xiàn)圖和正態(tài)分布曲線(xiàn)形式表示。其中，箱線(xiàn)圖表示數(shù)據(jù)的分布區(qū)間和均值大小；而正態(tài)分布曲線(xiàn)則表示數(shù)據(jù)結(jié)果的局部分布豐度。從圖1可以看出，各個(gè)數(shù)字識(shí)別的結(jié)果的正態(tài)分布比較均勻，曲線(xiàn)的弧度基本一致。除了數(shù)字2和10的hu不變矩特征值的結(jié)果分布跨度均在0.12左右，其余數(shù)字的hu不變矩特征值的結(jié)果分布跨度均在0.1左右。根據(jù)各數(shù)字的hu不變矩特征值均值結(jié)果按大到小的排列順序?yàn)椋?>5>8>2>6>3>1>10>4>9。

圖4 手勢(shì)數(shù)字識(shí)別結(jié)果

從圖5可以看出，數(shù)字1的識(shí)別共進(jìn)行了30次，成功次數(shù)30，識(shí)別成功率100%。數(shù)字2的識(shí)別共進(jìn)行30次，成功次數(shù)26，失敗次數(shù)4，識(shí)別成功率86.67%。數(shù)字3的識(shí)別共進(jìn)行30次，成功次數(shù)20，失敗次數(shù)10，識(shí)別成功率66.67%。數(shù)字4的識(shí)別共進(jìn)行30次，成功次數(shù)30，識(shí)別成功率100%。數(shù)字5的識(shí)別共進(jìn)行30次，成功次數(shù)26，失敗次數(shù)4，識(shí)別成功率86.67%。數(shù)字6的識(shí)別共進(jìn)行30次，成功次數(shù)28，失敗次數(shù)2，識(shí)別成功率93.33%。數(shù)字7的識(shí)別共進(jìn)行30次，成功次數(shù)30，識(shí)別成功率100%。數(shù)字8的識(shí)別共進(jìn)行30次，成功次數(shù)26，失敗次數(shù)4，識(shí)別成功率86.67%。數(shù)字9的識(shí)別共進(jìn)行30次，成功次數(shù)30，識(shí)別成功率100%。數(shù)字10的識(shí)別共進(jìn)行30次，成功次數(shù)30，識(shí)別成功率100%。本設(shè)計(jì)共實(shí)驗(yàn)300次，成功次數(shù)276，失敗次數(shù)24，識(shí)別成功率92%。

圖5 各個(gè)手勢(shì)的識(shí)別準(zhǔn)確率

3 結(jié)語(yǔ)

本文主要實(shí)現(xiàn)了手勢(shì)圖片的處理提取工作和處理后圖片的匹配識(shí)別工作。在圖像處理工作中主要通過(guò)HSV顏色模型的膚色分割，中值濾波器的降噪操作，形態(tài)學(xué)處理中的開(kāi)運(yùn)算，最后再由OpenCV庫(kù)中的輪廓查找與繪制函數(shù)繪制出初始圖片中的手勢(shì)輪廓；在后續(xù)的手勢(shì)匹配識(shí)別工作中主要利用的是圖像的Hu矩不變性，只要提前按照前序的圖像處理操作制作好手勢(shì)的模板，再將獲取處理后的圖像與模板的圖像做Hu矩的對(duì)比，當(dāng)返回的比較值較低時(shí)，便可認(rèn)為匹配成功。記錄好匹配成功模板的編號(hào)，將其返回到程序之中，由程序?qū)⑵ヅ涑晒Φ男畔⒎答伣o用戶(hù)，從而達(dá)成手勢(shì)識(shí)別的效果。然而，該技術(shù)仍然存在局限性。如若在采集的圖像中存在除手勢(shì)外的人體皮膚，在膚色分割的時(shí)候并不能很好的僅將手勢(shì)圖像提取出來(lái)，這個(gè)處理方法還有提升的空間，或者建議將手勢(shì)的模板圖形數(shù)字化，以尋求手勢(shì)的數(shù)字特征，從而很好的將手勢(shì)識(shí)別做得更精準(zhǔn)迅速。