湯哲君

摘 要：本文主要對靜態(tài)手勢識別的技術存在的各種方法進行了相應的分析與探討，而在這個基礎之上實現(xiàn)與設計了一套先進的靜態(tài)手勢識別系統(tǒng)。而該系統(tǒng)主要分為手勢的分類、圖像的預處理、分類器的設計與樣本的訓練以及特征的提取四個模塊。而該系用在運行時，首先從文件夾中讀取圖像部分，其次在經(jīng)過圖像的預處理模塊得到手勢的輪廓圖像以及二值圖像，最后在對輪廓圖像與二值圖像這兩幅圖對手勢進行相應的特征提取，并且采用貝葉斯分類器對這個手勢進行分類識別。

關鍵詞：計算機視覺 手勢識別 OpenCV 靜態(tài)手勢識別

中圖分類號：TP3 文獻標識碼：A 文章編號：1672-3791（2014）03（c）-0048-02

計算機從問世以來就在逐步改善我們的生活。隨著計算機在各個領域使用的普及化，人機交互技術正在此時引起了世界各國專家們極大的興趣，并對其開始進行深入的研究。近些年來，對于符合人際交流習慣的新型人機交互技術的研究變的相當?shù)幕钴S。而這些研究中主要包含了人的臉部識別、面部表情變化的識別、唇讀、凝視與頭部運動的跟蹤以及手勢識別等方面。而手勢識別則因為更加符合人與人之間的交流習慣，從而成為了一種以人為交互的中心的新型的人機交互技術。因此，手勢識別技術已經(jīng)成為人機交互領域的一大研究熱點，本文主要研究基于視覺的靜態(tài)手勢識別技術。

1 手勢識別技術的分類

近些年，手勢技術已經(jīng)出現(xiàn)了幾種比較完善的理論體系，通過不同的手勢輸入設備可以將手勢的識別主要分為基于視覺的手勢識別和基于數(shù)據(jù)的手勢識別這兩種技術。

1.1 基于數(shù)據(jù)手套的手勢識別

作為一種交互設備的數(shù)據(jù)手套，它在虛擬現(xiàn)實中應用廣泛，有只利用幾個傳感器來測量手勢中手指的彎曲度的簡單的數(shù)據(jù)手套，也有用多個傳感器來測量手勢中的多個信息的復雜的數(shù)據(jù)手套。基于數(shù)據(jù)手套的手勢識別技術是利用數(shù)據(jù)手套和位置跟蹤器測量手勢在空間運動中的軌跡和時序信息。在手勢識別的過程中，被識別人佩戴數(shù)據(jù)手套后建立3D手勢模型，系統(tǒng)可以通過所佩戴數(shù)據(jù)手套上的多個傳感器來采集動態(tài)手勢的運動信息，應用一系列識別算法，達到識別的效果。

1.2 基于視覺的手勢識別

基于視覺的手勢識別技術是通過攝像頭來采集手勢，這里的攝像頭可以是單個或者多個。之后對所采集到的手勢進行相應的特征提取后對特征進行識別，從而達到識別手勢的目的。相比前者，基于視覺的手勢識別技術的優(yōu)勢在于手勢采集設備比較便宜，同時基于視覺的手勢識別技術能夠使人以更自然的方法與機器進行交互。缺點是這種技術實時性較差，受外界因素的影響較大，例如背景、光照等。

2 手勢識別技術在人機交互中的應用

手勢識別作為典型的人機交互技術，主要有以下幾個方面的應用。

（1）主要用于虛擬環(huán)境上的交互。如：虛擬的裝配、虛擬的制造、產(chǎn)品設計等等。虛擬的裝配主要是通過手的動作來控制零件的裝配工作，并且還可以通過語音與手勢之間的合成來定義零件之間的裝配關系，同時還可以將手勢識別用在復雜的設計信息輸入上。

（2）主要用于手語的識別。對于聾啞人來說，手語是他們的語言，也是他們依賴的對象，而手語則是由手型、動作、表情、姿勢等方面所構成的一套手語交流的體系，它主要是依賴視覺與動作的交流。當手勢識別與手語相互結合之后，機器就能看懂聾啞人的語言，故而，形成一套人與機器的手語翻譯系統(tǒng)，這樣就很好地便于聾啞人的交流。

（3）用于機械手的抓取。機械手的自然抓取一直是機器人研究領域的難點。手勢識別，尤其是對于基于數(shù)據(jù)手套的手勢識別技術的研究對克服這個問題有重要的意義，是手勢識別的重要應用領域之一。

3 手勢識別技術的主要識別方法

目前，無論是在基于數(shù)據(jù)手套的手勢識別還是基于視覺的手勢識別技術都有很多的分類識別算法，常用的主要有模板匹配法、神經(jīng)網(wǎng)絡法、隱馬爾科夫模型法（HMM）和支持向量機法等等。

3.1 神經(jīng)網(wǎng)絡方法

神經(jīng)網(wǎng)絡作為一種被廣泛應用的工具，在靜態(tài)手勢識別中也起到很大的作用。神經(jīng)網(wǎng)絡是一種大規(guī)模并行處理網(wǎng)絡。由許多具有非線性映射能力的神經(jīng)元組成，神經(jīng)元之間通過權相連。神經(jīng)網(wǎng)絡作為一種靜態(tài)手勢識別技術，具有自組織和自學習能力，能有效抗噪聲、同時具有很強的容錯性和魯棒性。經(jīng)過多年發(fā)展，人工神經(jīng)網(wǎng)絡已經(jīng)具有很多模型，例如模糊神經(jīng)網(wǎng)絡和BP神經(jīng)網(wǎng)絡。目前應用比較廣泛的是以反向傳播學習算法為基礎的多層神經(jīng)網(wǎng)絡，簡稱為BP神經(jīng)網(wǎng)絡。

3.2 隱馬爾可夫模型（HMM）方法

對于動態(tài)的手勢，可以理解成一個連續(xù)區(qū)間內(nèi)的手勢信號。而對于分析區(qū)間內(nèi)的信號，通常采取HMM方法進行模型化。HMM是在馬兒可夫鏈的基礎之上發(fā)展起來的。由于實際問題比馬兒可夫鏈模型所描述的更為復雜，觀察到的事件并不是與狀態(tài)一一對應的，而是通過一組概率分布相聯(lián)系，這樣的模型就稱為HMM。它是一個雙重隨機過程：一是馬兒可夫鏈，這是基本隨機過程，它描述狀態(tài)的轉移；另一個隨機過程描述狀態(tài)和觀察值之間的統(tǒng)計對應關系。這樣，站在觀察者的角度，只能看到觀察值，不像鏈馬兒可夫模型中的觀察值和狀態(tài)一一對應，因此，不能直接看到狀態(tài)，而是通過一個隨機過程去感知狀態(tài)的存在及其特性。因而稱之為“隱”馬兒可夫模型，即HMM。 然而正是由于HMM拓撲結構的一般性，導致這種模型在分析動態(tài)手勢信號時過于復雜，使HMM訓練和識別計算量過大，尤其是在連續(xù)的HMM中，由于需要計算大量的狀態(tài)概率密度，需要估計的參數(shù)個數(shù)較多，使得訓練及識別的速度相對較慢，因而以往手勢識別系統(tǒng)所采用一般為離散HMM。

3.3 模板匹配方法

這是一種最簡單的識別技術，其核心的思想就是將輸入的原始數(shù)據(jù)與預先存儲的模板進行匹配，通過測量兩個模板之間的相似度來完成識別任務。最常用的匹配方法有加權歐氏距離法，相關系數(shù)法以及對數(shù)距離法。目前，這種方法廣泛用于靜態(tài)手勢識別，具有計算簡單、速度快的特點。endprint

4 本文研究工作

4.1 本報告的研究內(nèi)容

本手勢識別系統(tǒng)的工作原理：在已經(jīng)獲取的手勢照片中，每個手勢選取4張圖片作為模板，提取三個特征值，作為貝葉斯分類器的訓練樣本，訓練完成后，用同樣的方法提取讀入圖片的三個特征值，用貝葉斯分類器對其分類進行預測，從而得到識別結果

系統(tǒng)可以實時的對本文預定義的六個手勢進行識別，六個手勢按照手指數(shù)分別定義為0，1，2，3，4，5。系統(tǒng)由三個模塊所組成，分別為圖像預處理、特征提取以及手勢的分類識別。

（1）手勢圖像預處理：減少圖片的像素值后通過膚色檢測檢測手所在區(qū)域，將圖像二值化，用邊緣檢測方法提取手勢的邊緣圖像。

（2）手勢圖像特征提?。涸诘玫绞謩莸倪吘増D像以及輪廓矩陣之后，按照本文所采用的手勢特征，對手勢進行特征提取，生成手勢的特征向量。

（3）手勢的分類識別：本文采用訓練過的貝葉斯分類器計算后驗概率，選擇最大的后驗概率的類作為該手勢所屬的類別，即得出系統(tǒng)的識別結果。

4.2 圖像處理與特征提取

4.2.1 圖像預處理和膚色區(qū)域提取

對讀入的圖像先進行預處理，將圖片的像素減少以增加運行速度。膚色區(qū)域的提取算法原理如下：膚色在YCbCr空間里的Cb、Cr分量聚集成一個橢圓形狀，KL變換就是將坐標軸按照訓練膚色樣本的分布方差經(jīng)過旋轉平移成一組新的正交坐標軸，然后再這新的坐標系中構建橢圓膚色檢測模型，在本系統(tǒng)中就是把圖像的Y、Cb、Cr三個通道分開，然后用指針分別對這三個通道的每一個像素進行處理。

4.2.2 手勢圖像特征提取

本系統(tǒng)主要提取了手勢的三個特征，提取方法如下：

（1）手勢圖像內(nèi)手所占面積與手區(qū)域外接矩形面積的比值，提取方法為對圖像內(nèi)的像素點進行掃描，得到最靠近圖片四周的白色像素點，經(jīng)過這幾個像素點做圖片邊長的平行線得到該矩形并計算面積，手勢面積是計算提取膚色之后的圖片中白色像素點的數(shù)量來獲得。

（2）手區(qū)域外接矩形的寬與長的比值，矩形的長與寬的獲得方法如上。

（3）手指數(shù)量，用一根水平線對進行過邊緣提取的圖片進行從上到下的掃面，求出出現(xiàn)在該水平線上白色像素點的最大值，記為ymax，手指數(shù)量即為ymax/2。

4.2.3 貝葉斯分類器訓練和識別

本程序中對bayes分類器使用步驟如下：

（1）樣本的選擇。

對每個手勢選取較有代表性的四張圖片，對其三個特征進行提取，并作為訓練樣本對貝葉斯分類器進行訓練。

（2）手勢的識別。

用訓練好的貝葉斯分類器對輸入圖片處理后得到的特征向量進行分類，得到其所屬的類別。

5 實驗結果及總結

5.1 實驗結果

對獲得的130張手勢照片中，識別正確的照片的張數(shù)為94，占總數(shù)的72.3%，對與算法比較簡陋的程序來說識別率還是令人滿意的。

5.2 程序可改進的技術途徑

（1）手勢區(qū)域的提取。

本程序采用膚色檢測來識別手勢區(qū)域，實際使用中效果不佳，任何類膚色區(qū)域都將被識別成手勢區(qū)域，故檢測程序時，采用的是深色背景的手勢圖片，以減少背景被檢測為手勢區(qū)域的可能?？梢妴渭兊哪w色檢測并不能很好的檢測手勢區(qū)域，尤其是復雜背景下的手勢區(qū)域，在膚色檢測的前提下，另外可以通過提取手勢圖像的灰度圖的直方圖，確定閾值來對圖像進行二值化，二者結合使用必定回避單純使用膚色檢測的準確度有所提高。

（2）分類器的設計。

本程序采用的是opencv內(nèi)置的貝葉斯分類器，而且也只是用了三個特征值，如果要進行優(yōu)化，可以增加有效地特征值數(shù)量，來提高識別的準確度。

（3）特征值的提取。

在手勢區(qū)域較好的識別的情況下，面積比和寬長比的獲得較為簡單。手指數(shù)量的提取在實際操作中的效果并不如人意，因為實際檢測中，猶豫膚色檢測本身的缺陷，導致提取出來的手勢區(qū)域存在缺陷，進而導致手指數(shù)量的不準確提取。

參考文獻

[1] 戴丹.基于圖像的靜態(tài)手勢識別及在服務機器人的應用[D].浙江大學本科生畢業(yè)論文，2007.

[2] 于洋.基于手形特征的靜態(tài)手勢識別[D].河北工業(yè)大學碩士畢業(yè)論文，2007.

[3] 高建坡.一種基于KL變換的橢圓模型膚色檢測方法[J].電子與信息學報，2007.endprint