張國家，左敦穩(wěn)，黎向鋒，史晨紅

(南京航空航天大學(xué)機(jī)電學(xué)院，江蘇 南京 210016)

手勢分割技術(shù)作為手勢識別技術(shù)的重要過程，其分割效果直接影響手勢特征提取和識別的精度。目前，手勢分割技術(shù)主要有基于膚色模型、運(yùn)動信息和背景模型的分割等。A.A.Randive[1]等利用膚色模型提取靜態(tài)復(fù)雜背景下的手勢區(qū)域。劉俊梅[2]結(jié)合RGB色彩空間和YUV色彩空間進(jìn)行手勢分割。由于膚色模型技術(shù)受光照影響大，所以單純采用膚色模型技術(shù)，在沒有特殊約束的環(huán)境中不能獲得很好的分割效果。為此，許多學(xué)者將多種分割技術(shù)相結(jié)合進(jìn)行手勢提取。曹昕燕[3]、范保玲[4]等將色彩模型和運(yùn)動信息相結(jié)合取得了較好的分割效果，但對運(yùn)動信息的依賴性約束了其應(yīng)用場合。劉昌盛[5]等結(jié)合YUV色彩模型與背景統(tǒng)計(jì)模型進(jìn)行分割。馬凱[6]等在膚色模型的基礎(chǔ)上通過分析手掌的結(jié)構(gòu)進(jìn)行手勢分割，但該方法約束了可識別手勢的種類。除了上述常見的手勢分割方法，還有一些獨(dú)特的手勢分割思路。Tsung－Han[7]等利用三相模型跟蹤技術(shù)進(jìn)行分割。Daehwan Kim[8]等運(yùn)用向前測點(diǎn)定位技術(shù)提取手勢。史久根[9]等利用運(yùn)動歷史圖像和運(yùn)動輪廓橢圓擬合的方法進(jìn)行手勢提取。目前，手勢分割的難點(diǎn)主要集中在背景和光照變化等方面，眾多的研究也正是為了解決此問題，以增強(qiáng)手勢識別技術(shù)的環(huán)境適應(yīng)能力。針對該技術(shù)難點(diǎn)，本文設(shè)計(jì)并實(shí)現(xiàn)了基于圓形梯度的手勢分割算法。

1 算法流程

本文設(shè)計(jì)的手勢分割算法主要分為以下幾步:(1)建立復(fù)雜動態(tài)背景模型，提取包含人手的前景目標(biāo)。(2)進(jìn)行膚色檢測，去除非手勢區(qū)域。(3)種子點(diǎn)檢測，獲得圓形梯度邊緣探測的中心。(4)利用圓形梯度進(jìn)行手勢邊界探測，填補(bǔ)內(nèi)部空洞和邊緣殘缺。

2 算法理論分析

2.1 建立復(fù)雜動態(tài)背景模型

復(fù)雜動態(tài)背景下的手勢分割技術(shù)受環(huán)境影響大，不管是基于運(yùn)動的分割還是基于膚色模型的分割均會因?yàn)椴豢煽氐谋尘盃顟B(tài)的影響而產(chǎn)生大量的錯(cuò)分割。在沒有去除背景的情況下直接在整幅圖像中尋找手勢區(qū)域，算法的計(jì)算負(fù)擔(dān)比較重，算法的實(shí)時(shí)性難以提高。本文對手勢區(qū)域的分割首先利用背景模型進(jìn)行背景減除，在前景區(qū)域中尋找手勢目標(biāo)，既能降低背景的干擾，又能提高算法的實(shí)時(shí)性，這樣便對背景模型提出了比較高的要求。合適的背景模型在保證前景提取效果的基礎(chǔ)上，還應(yīng)具有較好的實(shí)時(shí)性和較低的空間復(fù)雜度。高斯背景模型檢測的效果較好，但其會將靜止的前景目標(biāo)融入背景;核密度估計(jì)背景模型因?yàn)閷?shí)時(shí)性較低且內(nèi)存消耗較多，兩者均不能滿足本文算法的要求。因此本文采用筆者設(shè)計(jì)的基于色彩相似度聚類分析的動態(tài)背景建模技術(shù)。本文設(shè)計(jì)的背景建模技術(shù)首先在YCrCb色彩空間，建立融合亮度和色差信息的色彩相似度，相似度的計(jì)算式為:

式中:sim為色彩相似度;Y為亮度;cosθ為色差信息;ω和λ均為平衡因子，用于平衡色彩和亮度對相似度的影響。然后利用式(1)對動態(tài)背景進(jìn)行聚類分析，建立背景模型。

分別在室內(nèi)和室外環(huán)境下對本文設(shè)計(jì)的背景模型進(jìn)行了前景檢測測試。測試中采用2G內(nèi)存，2.3GHz主頻的PC機(jī)，測試結(jié)果如圖1所示。圖1(a)為自己采集的室內(nèi)環(huán)境測試視頻，單幀大小為640×480;圖1(b)為IBM人類視覺研究中心提供的視頻PetsD1TeC1，單幀大小為388×286。由圖1可見，本文設(shè)計(jì)的背景模型能夠獲得比較完整的前景檢測效果。另經(jīng)性能測試可知，利用本文設(shè)計(jì)的背景模型進(jìn)行前景檢測時(shí)，室內(nèi)環(huán)境下平均單幀處理時(shí)間為72.7ms，內(nèi)存消耗為76.25MB;室外環(huán)境下平均單幀處理時(shí)間為 90.3ms，內(nèi)存消耗為85.14MB。由此可見，本文設(shè)計(jì)的背景模型在實(shí)時(shí)性和空間復(fù)雜度方面均有較優(yōu)表現(xiàn)。

圖1 背景模型前景檢測結(jié)果

2.2 膚色檢測

膚色檢測就是利用膚色在色彩空間的聚類特性將膚色區(qū)域與其他區(qū)域加以區(qū)分，聚類效果越好的色彩空間越利于膚色檢測。經(jīng)研究[10]，在RGB、YCrCb、HSV等色彩空間中HSV色彩空間最利于膚色檢測。圖2為各色彩空間中膚色檢測結(jié)果比對，圖中白色即為檢測出的膚色區(qū)域。由圖2可知上述結(jié)論的正確性。HSV色彩空間將表示色彩信息的色調(diào)(H)與飽和度(S)、明度(V)分離，減小了光照變化對膚色檢測的影響。正常光照下將RGB色彩空間轉(zhuǎn)換到HSV色彩空間后，如果將色調(diào)值的范圍限定在[0，180]范圍內(nèi)，膚色的色調(diào)值出現(xiàn)在[7，29]范圍內(nèi)。

圖2 各色彩空間膚色檢測結(jié)果

由圖2可見，雖然HSV色彩空間較其他色彩空間在膚色檢測方面有優(yōu)勢，但還會存在膚色區(qū)域的大面積缺失，這是因?yàn)橛脩粼跀[出各種手勢時(shí)，在室內(nèi)環(huán)境下，因?yàn)橛脩舯旧淼鹊恼趽鹾苋菀桩a(chǎn)生陰影，而在晴朗的室外環(huán)境下容易產(chǎn)生高光，即鏡面反射。一定范圍內(nèi)的遮擋和高光對色彩的色調(diào)、飽和度，尤其是亮度均有影響。相應(yīng)區(qū)域的RGB值會產(chǎn)生變化，超出正常光照下的膚色RGB值范圍而產(chǎn)生誤檢測。HSV色彩空間將色調(diào)H分離出來，對光照變化具有一定的抑制作用，并可以通過適當(dāng)?shù)卣{(diào)整H的閾值來適應(yīng)光照變化，但其他非膚色區(qū)域，特別是與膚色相近的區(qū)域，會因?yàn)樯{(diào)閾值的放寬而被誤檢測為膚色區(qū)域。另外，在單目視覺檢測中，因?yàn)槭謩菖c攝像頭不平行的原因，在手勢的邊緣區(qū)域會有明顯的光照變化，從而使檢測到的邊緣不完全，出現(xiàn)明顯的邊緣殘缺現(xiàn)象。所以，單純依靠膚色檢測并不能獲得完整的手勢區(qū)域。為了解決手勢內(nèi)部空洞和邊緣殘缺問題，本文設(shè)計(jì)了基于圓形梯度的手勢邊緣探測算法。

2.3 圓形梯度手勢邊緣探測

2.3.1 邊緣假設(shè)

圖2中的空洞多是由陰影或高光引起的，有學(xué)者通過對亮度歸一化來抑制陰影的影響，但這樣并不能解決大面積手勢區(qū)域的缺失問題。經(jīng)過對HSV色彩空間各通道值的研究，提出如下假設(shè):

假設(shè)1。陰影和高光引起的一定范圍內(nèi)的色彩變化區(qū)域并未與其鄰域形成邊界，只是由于光照的影響而使其色調(diào)超出正常光照的膚色值范圍。

為了驗(yàn)證該假設(shè)的正確性，下面就對圖2中的手勢原圖進(jìn)行Canny邊緣檢測，檢測結(jié)果如圖3所示。

圖3 Canny邊緣檢測結(jié)果

由圖3可以看出，在HSV色彩空間中未通過膚色模型檢測出的膚色區(qū)域并沒有與其鄰域形成邊界，如圖3中的橢圓區(qū)域所示，Canny算子仍然將未檢出的膚色區(qū)域與其鄰近的膚色區(qū)域歸為一類。這既證明了本文提出的假設(shè)的正確性，也說明Canny算子對光照具有較強(qiáng)的抑制作用?；诖?，以Canny算子為基礎(chǔ)，考慮到計(jì)算的復(fù)雜度，設(shè)計(jì)了種子點(diǎn)圓形梯度邊緣探測算法，以填補(bǔ)手勢空洞和邊緣殘缺。

2.3.2 Canny 算子邊緣檢測原理

Canny算子進(jìn)行圖像邊緣檢測主要分為4個(gè)步驟:(1)用高斯濾波器平滑圖像;(2)用一階偏導(dǎo)有限差分計(jì)算梯度幅值和方向;(3)對梯度幅值進(jìn)行非極大值抑制;(4)用雙閾值算法檢測和連接邊緣。

將圖像f(x，y)與Gn作卷積，同時(shí)改變n的方向，Gn*f(x，y)獲得最大值時(shí)的n就是正交于檢測邊緣的方向。高斯濾波后用一階偏導(dǎo)的有限差分來計(jì)算梯度的幅值和方向，實(shí)際中使用2×2一階有限差分近似式來近似計(jì)算x和y方向的偏導(dǎo)數(shù)。計(jì)算像素點(diǎn)(x，y)的一階有限差分時(shí)，所用的近似式為:

近似式中各像素點(diǎn)的位置關(guān)系如圖4所示。利用近似式獲得的梯度幅值為:方 位 角 為 θ[x，y] =arctan(Gx(x，y)/Gy(x，y))。M[x，y]反映了圖像的邊緣強(qiáng)度;θ[x，y]反映了邊緣的方向，使得 M[x，y]獲得最大值的方向角θ[x，y]即為邊緣方向。

圖4 一階有限差分像素點(diǎn)位置關(guān)系

2.3.3 圓形梯度邊緣探測算法

受Canny算子的啟發(fā)，本文設(shè)計(jì)了圓形梯度邊緣探測算法，該算法也是利用像素點(diǎn)的梯度幅度值來判斷該點(diǎn)是否位于邊界。圓形梯度邊緣探測算法主要分為3個(gè)步驟:(1)種子點(diǎn)選取;(2)以種子點(diǎn)為中心，向外搜索邊緣;(3)填補(bǔ)膚色區(qū)域缺失。

種子點(diǎn)是邊緣探測的中心，因?yàn)橹挥腥笔У氖謩輩^(qū)域和邊緣才需要利用邊緣探測來優(yōu)化補(bǔ)全，所以為了減小算法的計(jì)算量，提高算法實(shí)時(shí)性，種子點(diǎn)選取應(yīng)該滿足以下條件:(1)種子點(diǎn)應(yīng)為膚色點(diǎn);(2)種子點(diǎn)應(yīng)位于膚色檢測所獲得區(qū)域的內(nèi)部空洞的邊緣上或者手勢邊緣上。設(shè)(i，j)為像素點(diǎn)位置，如果(i，j)的8鄰域范圍內(nèi)被判為膚色點(diǎn)的像素?cái)?shù)目NUM滿足TH1≤NUM≤TH2，則認(rèn)為(i，j)點(diǎn)為種子點(diǎn)。其中TH1和TH2為信心閾值，一般取TH1=4，TH2=7。針對圖1(a)的測試環(huán)境，進(jìn)行種子點(diǎn)檢測，檢測結(jié)果如圖5所示。圖5(a)為膚色檢測結(jié)果，圖5(b)為膚色檢測后進(jìn)行種子點(diǎn)檢測的結(jié)果，圖中圓圈標(biāo)出的即為檢測出的種子點(diǎn)。由圖5可以看出，檢測出的種子點(diǎn)主要分布在手勢內(nèi)部空洞的邊緣上和手勢邊緣上。

圖5 種子點(diǎn)檢測結(jié)果

種子點(diǎn)提取后，以種子點(diǎn)為中心向外逐像素進(jìn)行邊緣探測，探測過程如圖6所示，圖中箭頭表示邊緣探測方向，圓圈表示提取的種子點(diǎn)，種子點(diǎn)8鄰域內(nèi)的(i－1，j－1)、(i－1，j+1)、(i+1，j－1)、(i+1，j+1)4個(gè)像素點(diǎn)(如圖6中三角形所示)構(gòu)成以種子點(diǎn)為圓心的圓形。因?yàn)橹恍枰袛嘞袼攸c(diǎn)是否在膚色邊緣，不需要判斷邊緣方向，所以這里只定義梯度的幅值，并將其作為判斷邊緣的標(biāo)準(zhǔn)，不定義梯度角。

圖6 種子點(diǎn)圓形梯度像素分布

定義1:HSV色彩空間中種子點(diǎn)的圓形梯度幅值表示為:

因?yàn)檫吘壌嬖谝欢▽挾?，特別是緩變邊緣，如果選用1，2，3，4像素點(diǎn)構(gòu)成的圓來定義邊緣梯度，由于像素點(diǎn)位置緊鄰的原因，計(jì)算的梯度幅值較小，容易產(chǎn)生錯(cuò)分。如果用來定義梯度的像素點(diǎn)距離種子點(diǎn)太遠(yuǎn)，又容易造成漏檢，所以使用圖6中三角形位置的像素點(diǎn)定義梯度較為合理。設(shè)定梯度幅值閾值為TH，如果F(i，j)＞TH即認(rèn)為(i，j)點(diǎn)為邊緣點(diǎn)。試驗(yàn)表明，一般TH在[5，10]范圍比較合適。按圖6中的4個(gè)方向進(jìn)行邊緣搜索，到達(dá)邊緣時(shí)即停止該方向的搜索。在搜索過程中，如果(i，j)點(diǎn)被判斷不在邊緣上，則將1，2，3，4像素點(diǎn)位置標(biāo)記為膚色點(diǎn)。因?yàn)?i，j)點(diǎn)不在邊緣時(shí)，即使1，2，3，4像素點(diǎn)中有被判為邊緣的點(diǎn)，它也仍然包含在膚色區(qū)域內(nèi)，所以如此判斷是合理的。最后還要對邊緣探測后的圖像進(jìn)行適當(dāng)?shù)男螒B(tài)學(xué)操作，以去除孤立點(diǎn)。

3 試驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的性能，選取了日光燈下的室內(nèi)、正常光照下的室內(nèi)以及晴朗的室外等多個(gè)場景進(jìn)行試驗(yàn)研究。試驗(yàn)采用的PC機(jī)與背景模型測試所用的PC機(jī)相同。圖像的大小均為640×480，試驗(yàn)檢測結(jié)果如圖7所示，圖中第一列為原圖，第二列為前景提取圖，第三列為膚色檢測結(jié)果，第四列為種子點(diǎn)檢測結(jié)果，第五列為采用圓形梯度邊緣探測和形態(tài)學(xué)操作后的結(jié)果圖像。圖7(a)為室內(nèi)日光燈條件下的檢測結(jié)果，圖7(b)為室內(nèi)正常光照下的檢測結(jié)果，圖7(c)為晴朗的室外條件下的檢測結(jié)果。比較室內(nèi)日光燈和室內(nèi)正常光照下的檢測結(jié)果可見，前景提取時(shí)，正常光照下的檢測效果比日光燈下好很多;膚色檢測的效果也因受前景檢測的影響，正常光照比日光燈下好很多。因?yàn)槿展鉄粝履w色檢測會出現(xiàn)膚色區(qū)域大面積缺失，所以在手勢區(qū)域的邊緣和內(nèi)部均有大量的種子點(diǎn)，而正常光照下，手勢內(nèi)部區(qū)域缺失少，種子點(diǎn)主要分布在手勢邊緣。經(jīng)圓形梯度邊緣探測后，因?yàn)楣庹盏淖兓?，日光燈下分割的手勢邊緣沒有正常光照下的光滑，但兩種條件下的手勢分割均比較完整，邊緣的少許凸出不影響手勢的特征提取和識別。

由圖7(c)可以看出，室外環(huán)境的檢測結(jié)果與室內(nèi)日光燈下的檢測結(jié)果相似。室外與室內(nèi)相比雖然室外環(huán)境復(fù)雜，干擾比較多，會影響檢測效果，但室外光照均勻，有利于手勢的檢測。雖然室外環(huán)境下膚色檢測時(shí)出現(xiàn)了較大面積的缺失，但以眾多種子點(diǎn)為中心進(jìn)行圓形梯度探測后獲得了相對完整的手勢輪廓，說明本文算法對室外環(huán)境也具有較強(qiáng)的適應(yīng)能力。

試驗(yàn)中對室內(nèi)日光燈、室內(nèi)正常光照和室外場景進(jìn)行了實(shí)時(shí)性和空間復(fù)雜度測試，測試結(jié)果見表1(環(huán)境復(fù)雜程度升序排列)。由表1可以看出，單幀處理時(shí)間和內(nèi)存消耗均隨環(huán)境復(fù)雜程度的升高而增加，這是因?yàn)楸疚乃惴ㄖ械谋尘澳Ｐ椭械臓顟B(tài)數(shù)、種子點(diǎn)數(shù)以及圓形梯度邊緣探測的次數(shù)均會因環(huán)境復(fù)雜程度的升高而增加，從而增加算法的時(shí)間，增多內(nèi)存消耗。但由表1可以發(fā)現(xiàn)，隨環(huán)境復(fù)雜度的升高，內(nèi)存消耗和單幀處理時(shí)間并沒有產(chǎn)生大幅階躍，其變化幅度比較小，說明本文算法在實(shí)時(shí)性和空間復(fù)雜度方面也有不錯(cuò)的表現(xiàn)。

表1 不同環(huán)境下算法性能測試

4 結(jié)束語

本文設(shè)計(jì)了一種結(jié)合背景模型、膚色檢測和圓形梯度邊緣探測的手勢分割算法。該算法以背景模型為基礎(chǔ)進(jìn)行手勢分割，可以極大地抑制背景的影響，加快算法速度。在本文算法中提出并證實(shí)了邊緣假設(shè)，設(shè)計(jì)了圓形梯度算法，為手勢分割中的大面積缺失和邊緣殘缺問題提供了一種新的解決思路。本文還證實(shí)了HSV色彩空間在進(jìn)行膚色檢測時(shí)的優(yōu)勢。多場景試驗(yàn)表明，本文算法環(huán)境適應(yīng)能力強(qiáng)，分割準(zhǔn)確，實(shí)時(shí)性較好。

[1] Randive A A，Mali H B，Lokhand S D.Hand gesture segmentation[J].International Journal of Computer Technology and Electronics Engineering，2012，2(3):125－129.

[2] 劉俊梅，阮秋琦.一種復(fù)雜背景下的手勢分割新方法[J].北京電子科技學(xué)院學(xué)報(bào)，2006，14(2):23－27.

[3] 曹昕燕，趙繼印，李敏.基于膚色和運(yùn)動檢測技術(shù)的單目視覺手勢分割[J].湖南大學(xué)學(xué)報(bào):自然科學(xué)版，2011，38(1):78－83.

[4] 范保玲，王民，董穎娣.基于膚色檢測技術(shù)的手勢分割[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008，18(3):105－108.

[5] 劉昌盛，厲樹忠，趙姝穎，等.一種復(fù)雜背景下的手部圖像分割方法[J].河北科技師范學(xué)院學(xué)報(bào)，2007，21(3):46－49.

[6] 馬凱，張崎.基于結(jié)構(gòu)分析的手勢識別算法研究[J].信息技術(shù)，2012(4):81－83.

[7] Tsung－Han Tsai，Chung－Yuan Lin.Visual hand gesture segmentation using three－phase model tracking technique for real-time gesture interpretation system[J].Journal of Information Hiding and Multimedia Signal Processing，2012，3(2):122－134.

[8] Daehwan Kim，Jinyoung Song，Daijin Kim.Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs[J].Pattern Recognition，2007，40(11):3012－3026.

[9] 史久根，陳志輝.基于運(yùn)動歷史圖像和橢圓擬合的手勢分割[J/OL].(2013－03－15)[2013－05－10].http://www.cnki.net/kcms/detail/11.2127.TP.20130313.0955.025.html.

[10] 董靜遠(yuǎn).復(fù)雜背景下的手勢分割方法研究[D].廣州:華南理工大學(xué)，2011.