基于膚色模型和背景差分的手指區(qū)域分割方法

陳俊彥a，王勇a，張紅梅b，李鵬飛b

(桂林電子科技大學(xué) a.CSIP廣西平臺(tái)；b.信息與通信學(xué)院，廣西 桂林 541004)

摘要：為了提高基于計(jì)算機(jī)視覺的人機(jī)交互系統(tǒng)中觸控手指區(qū)域分割的性能和精度，提出了一種基于膚色模型和背景差分的手指區(qū)域分割方法。首先，根據(jù)膚色的聚類特征，在YCbCr色彩空間上建立膚色模型，對(duì)手指區(qū)域進(jìn)行膚色分割；隨后加入自適應(yīng)更新的背景差分法摒除圖像中光照度和背景顏色的干擾。實(shí)驗(yàn)結(jié)果證明:該算法在復(fù)雜背景下分割手指區(qū)域具有較高的準(zhǔn)確性和實(shí)時(shí)性，能應(yīng)用在嵌入式環(huán)境中。

關(guān)鍵詞：YCbCr；膚色模型；背景差分

基金項(xiàng)目：國家科技支撐計(jì)劃基金項(xiàng)目(2012BAH18F00)

作者簡(jiǎn)介：陳俊彥(1985-),男,廣西梧州人,助教,碩士,主要研究方向?yàn)閳D像處理、嵌入式系統(tǒng).

收稿日期：2014-05-13

文章編號(hào)：1672-6871(2015)01-0039-04

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

0引言

基于計(jì)算機(jī)視覺的觸摸屏技術(shù)作為一種理想的人機(jī)交互模式，已經(jīng)成為當(dāng)前人機(jī)交互研究的熱點(diǎn)。在早期的一些計(jì)算機(jī)視覺人機(jī)交互系統(tǒng)中，需對(duì)背景或人手做出種種限制才能實(shí)現(xiàn)[1-2]。隨著發(fā)展更自然的交互系統(tǒng)的需要，限制各種觸摸條件的計(jì)算機(jī)視覺人機(jī)交互系統(tǒng)已經(jīng)不再適用，人們需要在復(fù)雜的背景下使用手指進(jìn)行自然的人機(jī)交互[3-4]。其中，觸控手指區(qū)域的有效分割是實(shí)現(xiàn)該技術(shù)的關(guān)鍵，分割效果將直接影響指尖提取的準(zhǔn)確率。文獻(xiàn)[5]采用背景差分的方法分割動(dòng)態(tài)前景的人手區(qū)域，這種方法雖然能非常好地檢測(cè)出靜止背景中的人手信息，但對(duì)于復(fù)雜背景中的人手檢測(cè)就顯得無能為力了；文獻(xiàn)[6]在高速數(shù)字信號(hào)處理器(DSP)設(shè)備上對(duì)人手進(jìn)行基于膚色模型的人手分割，該方法實(shí)時(shí)性好，運(yùn)算開銷低，但檢測(cè)效果會(huì)受到背景顏色和照明因素的影響，分割效果不好；文獻(xiàn)[7]采用一種閾值結(jié)合混合多高斯的背景差分算法得到人手的區(qū)域，該方法能有效實(shí)現(xiàn)手指區(qū)域分割，但需要耗費(fèi)大量計(jì)算，并不適用于計(jì)算能力較差的嵌入式環(huán)境，應(yīng)用環(huán)境局限較大；文獻(xiàn)[8]針對(duì)圖片不同光照環(huán)境采用不同的膚色分割方法，并提出一種基于類間方差和類內(nèi)離散度相結(jié)合的動(dòng)態(tài)閾值方法來確定分割閾值，該方法可有效降低光照環(huán)境對(duì)膚色檢測(cè)的影響，但無法分割膚色較相近的背景顏色。

針對(duì)上述問題，本文提出一種能應(yīng)用在嵌入式環(huán)境的手指區(qū)域分割方法。首先，根據(jù)膚色的聚類特征，建立合適的手指區(qū)域膚色模型；隨后，采用背景差分法對(duì)前景的手指區(qū)域進(jìn)行粗略提取，去除背景中與膚色相近顏色的干擾；最后使用膚色分割法對(duì)手指區(qū)域進(jìn)一步分割。實(shí)驗(yàn)結(jié)果證明：該方法可在復(fù)雜背景下實(shí)現(xiàn)手指區(qū)域的有效分割，實(shí)時(shí)性好，能應(yīng)用在嵌入式環(huán)境中。

1膚色建模

如何將視頻或圖片中包含的人體相關(guān)信息提取出來，一直是機(jī)器視覺識(shí)別課題中的難題。文獻(xiàn)[9]在實(shí)驗(yàn)中證明：除了白化病人膚色比較特殊外，所有人都有相同的色度，出現(xiàn)膚色差異只是因?yàn)槟w色飽和度不同。同時(shí)，圖像中膚色還會(huì)受亮度信號(hào)影響。因此，根據(jù)膚色的聚類特征，建立合適的膚色模型，能夠理想地將人手區(qū)域從背景中分割出來。同時(shí)，膚色在各個(gè)色彩空間中的分布特征區(qū)別較大，選擇不同的色彩空間將對(duì)膚色建模有著顯著的影響，因此，選取合適的色彩空間進(jìn)行建模是人手區(qū)域分割的關(guān)鍵。

膚色建模常用的色彩空間有RGB空間[10]、HSV空間[6,11-12]和YCbCr空間[13-14]。為了考查膚色在常用色彩空間(RGB、HSV和YCbCr)下的分布特征，本文選取了2 000張?zhí)幱诓煌庹障?、尺寸?0×30像素的人手膚色圖像，共計(jì)約1 800 000個(gè)人手膚色像素點(diǎn)進(jìn)行實(shí)驗(yàn)測(cè)試。實(shí)驗(yàn)統(tǒng)計(jì)了人手膚色像素點(diǎn)在每個(gè)色彩空間中各分量值的分布情況，如圖1所示。

圖1　膚色在RGB、HSV、YCbCr下的分布特征

由圖1可知：RGB色彩空間的R、G、B這3個(gè)分量受亮度影響較大，分量值分布廣泛，膚色在色彩空間RGB中沒有聚類特征，不易對(duì)膚色進(jìn)行分割，如圖1a所示。但由于圖像多以RGB色彩空間保存，因此，使用RGB色彩空間進(jìn)行膚色分割可節(jié)省膚色空間轉(zhuǎn)換時(shí)間[10]。在HSV色彩空間中，色度信號(hào)和亮度信號(hào)是分離的，色度信號(hào)不會(huì)受亮度信號(hào)的影響，膚色基本集中在色調(diào)分量H的歸一化值0～0.1范圍內(nèi)，聚類特征比較明顯，如圖1b所示。但飽和度分量S和亮度分量V的值則跨度很大，沒有明顯的聚類特征，僅用色調(diào)分量H建模會(huì)出現(xiàn)較大誤差[11-12]。在色彩空間YCbCr中，Cr和Cb分量值在亮度分量Y∈[50，150]內(nèi)基本保持恒定，同樣具有較好的聚類情況，膚色基本集中在Cb分量的90～125值和Cr分量的130～170值，如圖1c所示。同時(shí)，由于YCbCr色彩空間的Y亮度分量值與色彩圖像的灰度轉(zhuǎn)換值相等[13]，可為后續(xù)算法節(jié)省灰度值轉(zhuǎn)換的額外開銷。

從綜合膚色分割效果和算法時(shí)間開銷等因素考慮，本文選擇在YCbCr色彩空間上建立合適的膚色模型，對(duì)手指區(qū)域進(jìn)行膚色分割。由于Cr和Cb分量值在亮度分量Y∈[50，150]內(nèi)基本保持恒定，且數(shù)值分布曲線形狀相近，因此得出膚色在YCbCr色彩空間的參數(shù)模型為：

(1)

該膚色檢測(cè)模型通過設(shè)定Cr和Cb比值絕對(duì)值的最大和最小閾值來判定膚色區(qū)域。當(dāng)result為1時(shí)，表示該像素點(diǎn)為膚色區(qū)域；為0時(shí)，表示為非膚色區(qū)域。

2基于背景差分與YCbCr膚色模型的手指區(qū)域分割

雖然在YCbCr空間中亮度和色度的分離度較大，但在實(shí)際的操作中色度值對(duì)亮度值總是存在著一定的非線性的依賴關(guān)系，容易受到照明因素影響。同時(shí)，當(dāng)背景中出現(xiàn)大面值與膚色相近的顏色時(shí)，也會(huì)對(duì)分割造成嚴(yán)重的干擾，難以根據(jù)二值圖像判斷人手區(qū)域的位置。

針對(duì)上述問題，本文提出一種先使用背景差分法對(duì)前景的手指區(qū)域進(jìn)行粗略提取，去除背景中顏色與膚色相近的像素點(diǎn)，隨后再使用膚色分割法對(duì)手指區(qū)域進(jìn)一步分割的改進(jìn)方法。同時(shí)，背景將根據(jù)前景圖像的變化進(jìn)行自動(dòng)更新，最大限度地降低因背景更改或光照變化而產(chǎn)生的影響。

2.1　背景差分算法

在手指進(jìn)入攝像區(qū)域前，先存儲(chǔ)若干圖片并做灰度轉(zhuǎn)換，隨后計(jì)算其均值作為背景灰度圖像：

(2)

式中：Gi為存儲(chǔ)的第i張圖片；n為存儲(chǔ)的圖片數(shù)量；Gbkimg為得到的背景灰度圖像。

對(duì)前景圖像作YCbCr色彩空間轉(zhuǎn)換后，由于Y亮度分量值與色彩圖像的灰度轉(zhuǎn)換值相等，可直接利用Y分量與式(2)得到的背景灰度圖像作差，通過閾值判斷像素點(diǎn)是否為背景。

D(x,y)=abs(Yftimg(x,y)-Gbkimg(x,y))；

(3)

(4)

式中：Yftimg為前景圖像的Y分量；Iftimg為前景圖像；R為進(jìn)行背景差分計(jì)算后的結(jié)果圖像。若D(x,y)大于設(shè)定的閾值T，則保留前景圖像的值；若小于閾值T，則將該像素點(diǎn)的值置為0。

因此，可將式(1)的模型改進(jìn)為：

(5)

式中：D為背景差分值；常數(shù)T為背景差分閾值。

2.2　背景自動(dòng)更新

在人機(jī)交互過程中，背景會(huì)因?yàn)榄h(huán)境因素(顯示屏亮度、外部光照)或顯示屏圖形用戶界面(GUI)的變化而發(fā)生改變。若用于差分算法的背景圖像數(shù)據(jù)不會(huì)自動(dòng)更新，當(dāng)背景改變時(shí)，則會(huì)嚴(yán)重影響對(duì)前景目標(biāo)的分割效果，因此需要對(duì)背景實(shí)現(xiàn)自動(dòng)更新。

根據(jù)背景變化的原因，背景更新可分為以下兩種情況：

(Ⅰ)若系統(tǒng)產(chǎn)生了觸摸操作，顯示屏的圖形用戶界面會(huì)相應(yīng)地改變，因此需要重新設(shè)定背景圖像。在判斷手指離開屏幕后，系統(tǒng)重新存儲(chǔ)若干圖片并做灰度轉(zhuǎn)換，根據(jù)式(2)計(jì)算其均值作為新的背景灰度圖像。

(Ⅱ)若系統(tǒng)未產(chǎn)生觸摸操作，為了防止因環(huán)境因素的變化使背景產(chǎn)生改變，可根據(jù)式(6)更新背景圖像數(shù)據(jù)：

Ga(x,y)=(1-α)×Ga-1(x,y)+α×Yftimg(x,y)，

(6)

式中：Ga-1為更新前的背景灰度圖像；Ga為更新后的背景灰度圖像；Yftimg為前景圖像的Y分量值；α為更新常系數(shù)，α值越大，背景更新速度越快，但也越容易將前景目標(biāo)更新到背景中，降低分割的準(zhǔn)確性。通過多次實(shí)驗(yàn)測(cè)試，α取值0.03時(shí)更新效果最好。

3實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證手指區(qū)域分割的準(zhǔn)確性和算法的實(shí)時(shí)性，本文在桂林電子科技大學(xué)云計(jì)算與復(fù)雜系統(tǒng)重點(diǎn)實(shí)驗(yàn)室研制的GUET-GW嵌入式平臺(tái)上進(jìn)行測(cè)試。該平臺(tái)采用龍芯2H處理器，主頻1 GHz，同時(shí)配置了2 GB DDR3內(nèi)存和32 GB固態(tài)硬盤。

實(shí)驗(yàn)首先測(cè)試式(1)提出的YCbCr色彩空間膚色模型的分割效果，本文選取了多張包含人手的圖像進(jìn)行測(cè)試，圖像分辨率均為320×240像素。同時(shí)與文獻(xiàn)[10]提出的HSV膚色模型和文獻(xiàn)[11]提出的改進(jìn)的HSV膚色模型進(jìn)行比較。其中，式(1)膚色參數(shù)模型中取值Min=1.15，Max=2.25。本文選取較為典型的圖片顯示測(cè)試效果，如圖2所示。

圖2　不同的膚色模型分割測(cè)試結(jié)果

由圖2可知：HSV膚色參數(shù)模型對(duì)膚色像素點(diǎn)的要求最為嚴(yán)格，可濾除背景中與膚色較為接近的顏色，但由于該模型將亮度V的閾值設(shè)定為固定值，因此對(duì)圖像亮度十分敏感，圖像中某些亮度不高的膚色像素點(diǎn)也被濾除，得到的手型輪廓并不完整。改進(jìn)的HSV膚色參數(shù)模型在亮度V的閾值選取中，通過掃描整個(gè)膚色區(qū)域的所有亮度值V計(jì)算出最小閾值和最大閾值，減少了圖像亮度對(duì)分割的影響，因此，對(duì)人手區(qū)域的分割效果比HSV膚色參數(shù)模型要好，但也更容易受到背景中膚色相近顏色的干擾。當(dāng)屏幕背景為亮度較高時(shí)，膚色的飽和度值較高，HSV膚色模型和改進(jìn)的HSV膚色模型均分割不出人手區(qū)域。本文提出的YCbCr膚色參數(shù)模型在不同的背景下都能完整地分割出人手區(qū)域，且輪廓曲線平滑，沒有出現(xiàn)斷裂或邊緣呈鋸齒狀的情況。同時(shí)，通過實(shí)驗(yàn)結(jié)果可看出：無論哪種膚色模型都難以摒除背景的干擾，圖片亮度值越高，背景帶來的干擾越大。

隨后測(cè)試式(5)提出的基于背景差分和YCbCr膚色參數(shù)模型的手指區(qū)域分割算法，如圖3所示。其中，式(5)中背景差分閾值T=20。

圖3　手指區(qū)域分割結(jié)果

由圖3可知：在背景中手指上方區(qū)域的顏色與膚色類似，若僅采用式(1)提出的YCbCr膚色模型進(jìn)行手指區(qū)域分割，會(huì)受到極大的干擾，得到錯(cuò)誤的輪廓，如圖3a所示。當(dāng)加入背景差分法對(duì)前景的手指區(qū)域進(jìn)行粗略提取后，可去除背景中大部分顏色與膚色相近的像素點(diǎn)；隨后再使用膚色分割法對(duì)手指區(qū)域進(jìn)一步分割，得到了完整的手指區(qū)域二值圖像，如圖3b所示。

為了測(cè)試本文算法的性能，實(shí)驗(yàn)選取了一段包含手指運(yùn)動(dòng)的視頻，測(cè)試本文算法對(duì)每幀圖像進(jìn)行手指區(qū)域分割的平均消耗時(shí)間，同時(shí)提取分割出的圖像中輪廓面積最大的區(qū)域作為手指區(qū)域。視頻的分辨率為320×240像素，時(shí)長(zhǎng)10 s，共250幀圖像。表1記錄了本文算法對(duì)每幀圖像進(jìn)行手指區(qū)域分割過程中的平均消耗時(shí)間。表2記錄了本文算法與文獻(xiàn)[11]提出的HSV膚色模型和文獻(xiàn)[12]提出的改進(jìn)的HSV膚色模型的總耗時(shí)比較，并統(tǒng)計(jì)了出現(xiàn)手指區(qū)域判斷錯(cuò)誤的幀數(shù)。

表1　手指區(qū)域分割過程的平均消耗時(shí)間　 ms

表2　不同手指區(qū)域分割算法的誤差和耗時(shí)比較

上述實(shí)驗(yàn)結(jié)果表明:本文提出的算法可對(duì)手指區(qū)域進(jìn)行有效的分割，總耗時(shí)為16.7 ms，能滿足實(shí)時(shí)的要求。雖然耗時(shí)比起另外兩種算法稍長(zhǎng)，但誤差卻大大降低，僅在視頻開始階段背景灰度數(shù)值不穩(wěn)定時(shí)出現(xiàn)2幀圖像的錯(cuò)誤，準(zhǔn)確率高達(dá)99%以上。

4結(jié)論

本文根據(jù)便攜式設(shè)備人機(jī)交互實(shí)時(shí)性好、可靠性高的要求，提出了基于背景差分與YCbCr膚色模型的手指區(qū)域分割方法。文中選擇在YCbCr色彩空間上建立合適的膚色模型進(jìn)行膚色分割提取人手區(qū)域，并加入背景差分法消除背景相似顏色的干擾，得到了較好的分割效果，同時(shí)也能滿足算法實(shí)時(shí)的要求，可運(yùn)行在嵌入式設(shè)備上。

目前，本文實(shí)現(xiàn)的功能主要是手指區(qū)域的分割，后續(xù)將在嵌入式平臺(tái)上對(duì)指尖定位、人機(jī)交互和復(fù)雜手勢(shì)識(shí)別等方面進(jìn)行研究，構(gòu)建智能化、人性化和高效的嵌入式人機(jī)交互系統(tǒng)。

參考文獻(xiàn)：

[1]Starner T,Weaver J,Pentland A.Real-time American Sign Language Recognition Using Desk and Wearable Computer Based Video[J].IEEE Transations on Pattern Analysis and Machine Intelligence(S0162-8828),1998,20(12):1371-1375.

[2]孫倩倩.光學(xué)觸摸屏及其配套的觸摸筆:中國,CN101504580A[P].2009-08-12.

[3]萇道方,鐘悅.考慮行為和眼動(dòng)跟蹤的用戶興趣模型[J].河南科技大學(xué)學(xué)報(bào):自然科學(xué)版,2014,35(1):49-52.

[4]高攀,郭理,汪傳建.特征集和分類器融合技術(shù)在表情識(shí)別中的應(yīng)用[J].河南科技大學(xué)學(xué)報(bào):自然科學(xué)版,2014,35(2):48-54.

[5]Song P,Winkler S,Gilani S O,et al.Vision-based Projected Tabletop Interface for Finger Interactions[J].Lecture Notes in Computer Science,2007,4796:49-58.

[6]向守兵,蘇光大,任小龍,等.實(shí)時(shí)手指交互系統(tǒng)的嵌入式實(shí)現(xiàn)[J].光學(xué)精密工程,2011,19(8):1911-1920.

[7]郭康德,張明敏,孫超.基于視覺技術(shù)的三維指尖跟蹤算法[J].計(jì)算機(jī)研究與發(fā)展,2010,47(6):1013-1019.

[8]熊霞,桑慶兵.光照自適應(yīng)的膚色檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用,2011,31(5):1233-1236.

[9]Bradski G R.Computer Vision Face Tracking as a Component of a Perceptual User Interface[C]//Proc Fourth IEEE Workshop Applications of Computer Vision (WACV’98).Berlin,Germany,1998:214-219.

[10]于蘊(yùn)杰,管業(yè)鵬,熊會(huì)軍.指勢(shì)識(shí)別的實(shí)時(shí)指尖提取[J].計(jì)算機(jī)工程與應(yīng)用,2011,47(6):219-222.

[11]游亞平,袁保宗.復(fù)雜背景下人臉檢測(cè)的數(shù)字形態(tài)學(xué)運(yùn)算方法[J].電子與信息學(xué)報(bào),2004,26(12):1863-1870.

[12]肖明坤.復(fù)雜背景下基于膚色分割的人臉檢測(cè)[D].南京:南京郵電大學(xué),2006:23-26.

[13]湯勇,顧宏斌,周來.交互系統(tǒng)中實(shí)時(shí)手勢(shì)分割及指尖檢測(cè)方法[J].光電工程,2010,37(7):145-150.

[14]張繼濤,王偉,高君林.基于膚色分割和模板匹配的人臉檢測(cè)技術(shù)研究與實(shí)現(xiàn)[J].河南科技大學(xué)學(xué)報(bào):自然科學(xué)版,2009,30(1):41-44.