曹昕燕,趙繼印,李 敏

(1.吉林大學(xué)通信工程學(xué)院,吉林長(zhǎng)春 130022;2.長(zhǎng)春大學(xué)電子信息工程學(xué)院,吉林長(zhǎng)春 130022; 3.大連民族學(xué)院機(jī)電信息工程學(xué)院,遼寧大連 116600)

基于膚色和運(yùn)動(dòng)檢測(cè)技術(shù)的單目視覺手勢(shì)分割*

曹昕燕1,2,趙繼印1?,李 敏3

(1.吉林大學(xué)通信工程學(xué)院,吉林長(zhǎng)春 130022;2.長(zhǎng)春大學(xué)電子信息工程學(xué)院,吉林長(zhǎng)春 130022; 3.大連民族學(xué)院機(jī)電信息工程學(xué)院,遼寧大連 116600)

在分析膚色的信息特征和手勢(shì)的運(yùn)動(dòng)特性基礎(chǔ)上,構(gòu)建了一種基于單目視覺的手勢(shì)分割方法,可從視頻圖像序列中獲取有意義的手勢(shì)區(qū)域.針對(duì)確定的背景圖像,以10幀的采樣間隔采集手勢(shì)圖像,通過膚色信息特征來獲得手勢(shì)的膚色區(qū)域,同時(shí)通過差分法獲得手勢(shì)的運(yùn)動(dòng)區(qū)域,再將膚色區(qū)域與運(yùn)動(dòng)區(qū)域進(jìn)行融合處理獲得初始的手勢(shì)區(qū)域,在此基礎(chǔ)上,進(jìn)一步研究了數(shù)學(xué)形態(tài)學(xué)的腐蝕和膨脹算法,實(shí)現(xiàn)了視頻圖像序列中的手勢(shì)分割與定位.實(shí)驗(yàn)結(jié)果表明,該方法具有較好的手勢(shì)分割效果和較高的定位準(zhǔn)確度.

單目視覺;手勢(shì)分割;運(yùn)動(dòng)檢測(cè);膚色檢測(cè);數(shù)學(xué)形態(tài)學(xué)

手語(yǔ)是一種聾人使用的人體運(yùn)動(dòng)語(yǔ)言,由手形、手臂動(dòng)作輔之以表情、唇動(dòng)以及其他體勢(shì)來表達(dá)思想,是一種靠動(dòng)作和視覺交際的特殊語(yǔ)言,是聾人間進(jìn)行信息交流最自然的方式.但是,現(xiàn)實(shí)生活中大部分健全人看不懂手語(yǔ),研究手語(yǔ)識(shí)別的目的就是要提供一種有效準(zhǔn)確的機(jī)制將手語(yǔ)翻譯成文本或語(yǔ)音,使得聾人和健全人之間的交流變得更加方便和快捷.此外,隨著計(jì)算機(jī)對(duì)現(xiàn)代生活影響的日益廣泛,人們渴求一種更加直接、和諧、自然的人機(jī)交互方式,因此手語(yǔ)識(shí)別作為智能人機(jī)交互領(lǐng)域中的一個(gè)重要組成部分已成為備受關(guān)注的研究熱點(diǎn).手語(yǔ)識(shí)別研究涉及機(jī)器人學(xué)、空間幾何學(xué)、人工智能、模式識(shí)別、計(jì)算語(yǔ)言學(xué)、計(jì)算機(jī)視覺等多個(gè)學(xué)科領(lǐng)域,手語(yǔ)識(shí)別問題的解決對(duì)于表情識(shí)別、唇讀、步態(tài)識(shí)別、視覺導(dǎo)航、視頻檢索等問題的研究具有積極的借鑒意義.因此,手語(yǔ)識(shí)別的研究和實(shí)現(xiàn)具有重要的學(xué)術(shù)價(jià)值和廣闊的應(yīng)用前景.手語(yǔ)識(shí)別主要包括手勢(shì)的分割、特征提取、跟蹤和識(shí)別4個(gè)方面,其中手勢(shì)分割是手語(yǔ)識(shí)別過程中極為關(guān)鍵的技術(shù)問題,也是提高手語(yǔ)識(shí)別率的瓶頸問題,手勢(shì)分割的好壞直接影響后續(xù)的手勢(shì)特征提取、跟蹤和識(shí)別的精度和準(zhǔn)確度.

在手勢(shì)分割的研究中,近年來國(guó)內(nèi)外許多研究人員提出了多種方法,主要包括約束限制法、模板匹配法、膚色分割法和圖像差分法等.約束限制法是通過佩戴不同顏色的手套,或通過增加手部與背景的對(duì)比來強(qiáng)調(diào)前景與背景區(qū)別,以簡(jiǎn)化手勢(shì)區(qū)域與背景區(qū)域的劃分,但這些人為的約束限制了手勢(shì)交流的自由性[1-4].模板匹配法是利用手形數(shù)據(jù)庫(kù)將手勢(shì)圖像與手形數(shù)據(jù)庫(kù)中的模板進(jìn)行比對(duì),這種方法是建立在大量的手形數(shù)據(jù)庫(kù)的基礎(chǔ)上,加之手是一個(gè)不確定的非剛體,因此比對(duì)起來比較困難,計(jì)算量也較大,無法滿足實(shí)時(shí)性要求[5].膚色分割法是根據(jù)膚色在不同顏色空間中的分布特點(diǎn)和膚色的聚類特性來進(jìn)行手勢(shì)分割,這種方法會(huì)因?yàn)槭植坎煌课幌鄬?duì)光源的角度不同而使膚色受到較大影響[6-10].圖像差分法是將運(yùn)動(dòng)的手勢(shì)圖像與靜止的背景圖像相減來獲得手勢(shì)圖像,這種方法如果不能保證背景圖像和手勢(shì)圖像的對(duì)應(yīng)像點(diǎn)在空間上位于同一目標(biāo)點(diǎn)上時(shí)將產(chǎn)生很大誤差[11-12].單獨(dú)使用這些方法對(duì)于要求快捷、方便、實(shí)用的基于視覺的手語(yǔ)識(shí)別都具有一定的局限性,都無法精確地描述手勢(shì),嚴(yán)重影響了手勢(shì)分割的效果.因此本文提出了一種將膚色信息與運(yùn)動(dòng)信息相融合的單目視覺手勢(shì)分割方法,實(shí)驗(yàn)結(jié)果表明,該方法能夠準(zhǔn)確有效地進(jìn)行手勢(shì)分割與定位.

1 手勢(shì)分割原理

1.1 膚色檢測(cè)

1.1.1顏色空間

膚色是人體表面最為顯著的特征之一,是人臉部及手部區(qū)別于其他部分的重要特征,所以常將人體的膚色信息應(yīng)用于人臉檢測(cè)、手勢(shì)識(shí)別等研究中.研究表明影響膚色變化的最主要因素是亮度,雖然不同人的膚色相差較大,但在去除亮度的顏色空間中膚色具有良好的聚類性[13].因此,為了減少膚色受亮度信息的影響,通常先將顏色空間從RGB顏色空間轉(zhuǎn)換到某個(gè)亮度與色度分離的顏色空間,主要有HSV顏色空間、YUV顏色空間、YCbCr顏色空間、歸一化的RGB顏色空間和CIELab顏色空間等,然后放棄亮度分量,在雙色差平面上將膚色與背景區(qū)分開來[6-10].在這些亮度與色度分離的顏色空間中,YCbCr顏色空間具有與人的視覺感知一致性,在數(shù)字視頻中獲得成功應(yīng)用,且在Cb-Cr平面上具有較好的聚類性[14],所以本文選擇YCbCr顏色空間.

在YCbCr顏色空間中,亮度信息用單個(gè)分量Y表示,彩色信息用兩個(gè)色差分量Cb和Cr來存儲(chǔ),其中Cb分量表示藍(lán)色分量和一個(gè)參考值的差,Cr分量表示紅色分量和一個(gè)參考值的差.彩色分量Y, Cb,Cr可以由R,G,B三基色經(jīng)過線性變換得到,轉(zhuǎn)換公式為:

1.1.2 膚色模型

膚色模型按像素級(jí)進(jìn)行分類可分為閾值化模型、參數(shù)模型和非參數(shù)模型.由于參數(shù)模型能夠通過內(nèi)插來擴(kuò)大不完全的訓(xùn)練數(shù)據(jù),適合樣本容量較小的訓(xùn)練和測(cè)試數(shù)據(jù)集,本研究根據(jù)膚色樣本容量的特點(diǎn),對(duì)膚色的描述選擇高斯混合參數(shù)模型,其參數(shù)模型表示為[15]:其中:k為高斯密度函數(shù)的個(gè)數(shù);權(quán)值wi為各個(gè)高斯密度函數(shù)對(duì)混合模型的貢獻(xiàn)大小;μi為均值向量;Ci為協(xié)方差矩陣;x為膚色像素在YCbCr顏色空間中Cb分量與Cr分量的值.表達(dá)式分別為:

1.1.3 膚色判決

膚色判決可采用2種不同的決策方式,一是僅基于膚色模型的決策,二是同時(shí)使用膚色和非膚色模型的決策.第2種分類器性能要優(yōu)于第1種分類器性能.本文采用最小總錯(cuò)誤概率準(zhǔn)則來進(jìn)行膚色的判決,其屬于第2種決策方式.

設(shè)總錯(cuò)誤概率為:

其中:η為判決門限;Pα(η)為虛警概率;Pβ(η)為漏報(bào)概率.

1.2 運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)的關(guān)鍵是順序從視頻圖像序列的各幀圖像中將變化的運(yùn)動(dòng)區(qū)域從背景圖像中提取出來.常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法有光流法、幀間差分法和背景差分法等,光流法是利用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性來有效地提取和跟蹤運(yùn)動(dòng)目標(biāo),但是光流法要求相鄰圖像之間的時(shí)間間隔非常小,兩幅相鄰圖像之間不發(fā)生顯著變化,而且光流法的計(jì)算量非常大,不適合實(shí)時(shí)的手勢(shì)分割.幀間差分法是利用圖像序列中前后幾個(gè)相鄰幀之間的差分來提取出圖像中的運(yùn)動(dòng)區(qū)域,由于用來差分的圖像時(shí)間間隔很短,所以幀間差分法比較適用于存在多個(gè)運(yùn)動(dòng)目標(biāo)和攝像機(jī)移動(dòng)的情況,但它不能夠完整地分割出運(yùn)動(dòng)目標(biāo),而且在運(yùn)動(dòng)物體內(nèi)部容易產(chǎn)生空洞現(xiàn)象,不利于后期的目標(biāo)分析與識(shí)別.背景差分法是在攝像機(jī)靜止的條件下的一種運(yùn)動(dòng)檢測(cè)技術(shù),它能夠提供較完全的特征數(shù)據(jù),并取得比較好的分割效果,綜合性能較好.本文針對(duì)室內(nèi)固定攝像機(jī)和背景相對(duì)靜止的特點(diǎn),采用背景差分法,即通過當(dāng)前手勢(shì)圖像與背景圖像相減來獲得手勢(shì)運(yùn)動(dòng)區(qū)域,從而實(shí)現(xiàn)手勢(shì)的運(yùn)動(dòng)目標(biāo)檢測(cè).

設(shè)f0(x,y)為背景圖像在(x,y)處的灰度值, f1(x,y)為采集到的當(dāng)前手勢(shì)圖像在(x,y)處的灰度值,則差分后圖像d(x,y)在(x,y)處的灰度值可表示為:

其中:T為閾值.閾值的選取與圖像分割的質(zhì)量有直接關(guān)系,如果閾值選取得過低,會(huì)導(dǎo)致背景像素能夠越過閾值而被判為運(yùn)動(dòng)目標(biāo);如果閾值取得過高,也會(huì)導(dǎo)致本來屬于前景的運(yùn)動(dòng)目標(biāo)被判為背景像素,使得運(yùn)動(dòng)目標(biāo)出現(xiàn)丟失情況.

設(shè)初始閾值為T0,取差分后圖像d(x,y)中灰度值最大的像素點(diǎn)和灰度值最小的像素點(diǎn),分別記作dmax(x,y)和dmin(x,y),令

根據(jù)公式(8)確定初始閾值T0,依據(jù)初始閾值T0差分后圖像d(x,y)被分割成2個(gè)區(qū)域,分別計(jì)算這兩部分區(qū)域的像素灰度均值μ1和μ2,則閾值為:

2 手勢(shì)分割算法

本文中的手語(yǔ)識(shí)別主要用于特殊教育的手語(yǔ)教學(xué)中聾啞學(xué)生與正常教師之間的交流,對(duì)此應(yīng)用,特做如下假定和限制:1)攝像機(jī)靜止;2)背景圖像無變化;3)運(yùn)動(dòng)目標(biāo)不被遮擋.根據(jù)膚色的信息特性和手勢(shì)的運(yùn)動(dòng)特性,本文將手部的膚色信息和運(yùn)動(dòng)信息相融合,提出了一種新的手勢(shì)分割方法,具體實(shí)現(xiàn)如圖1所示.首先確定初始背景并提取相關(guān)的手勢(shì)圖像,然后分別進(jìn)行膚色分割和運(yùn)動(dòng)目標(biāo)分割,再將兩個(gè)分割結(jié)果進(jìn)行融合,最后利用形態(tài)學(xué)處理方法將手勢(shì)完整地分割出來并定位.

圖1 基于單目視覺的手勢(shì)分割過程Fig.1 Process of gesture segmentation based on monocular vision

2.1 確定初始背景與提取相關(guān)手勢(shì)

首先將攝像機(jī)位置固定,在開始檢測(cè)前,先對(duì)包含無運(yùn)動(dòng)的目標(biāo)人在內(nèi)的背景圖像持續(xù)拍攝一段時(shí)間,建立初始背景環(huán)境.然后進(jìn)行連續(xù)的手語(yǔ)拍攝,根據(jù)手語(yǔ)的動(dòng)作頻率,設(shè)定采樣間隔為10幀,將相關(guān)幀的手勢(shì)圖像從視頻圖像序列中采集出來.

2.2 手勢(shì)圖像分割方法

2.2.1 膚色分割方法

根據(jù)膚色在YCbCr顏色空間的聚類特性,以及膚色在Cb-Cr平面上的分布特點(diǎn),通過手工采集得到各種包括不同光照、性別、年齡和人種的膚色樣本和非膚色樣本作為訓(xùn)練和檢驗(yàn)樣本,利用這些樣本值來訓(xùn)練和檢驗(yàn)?zāi)w色和非膚色高斯混合參數(shù)模型,然后采用最小總錯(cuò)誤概率進(jìn)行膚色判決,最后得到手勢(shì)的膚色二值圖像.膚色和非膚色高斯混合參數(shù)模型中包含16個(gè)高斯密度函數(shù),采用極大似然估計(jì)對(duì)均值向量μi和協(xié)方差矩陣Ci進(jìn)行估計(jì),分別得到膚色和非膚色高斯混合參數(shù)模型的均值向量μi和協(xié)方差矩陣C i的估計(jì)值,見表1和表2.

表1 膚色高斯混合參數(shù)模型的參數(shù)估計(jì)值表Tab.1 Parameter estimates tab le of color Gaussian m ix turemodel

表2 非膚色高斯混合參數(shù)模型的參數(shù)估計(jì)值表Tab.2 Parameter estimates tab le of non-color Gaussian m ix turemodel

根據(jù)最小總錯(cuò)誤概率準(zhǔn)則進(jìn)行膚色的判決,式 (6)中似然概率P(x|skin)和的分布由膚色和非膚色樣本的高斯混合模型確定,先驗(yàn)概率P(skin)和由訓(xùn)練樣本中膚色和非膚色像素?cái)?shù)目比確定:

2.2.2 運(yùn)動(dòng)目標(biāo)分割方法

首先將初始的背景圖像與提取的手勢(shì)圖像分別轉(zhuǎn)換成灰度圖像,然后再將手勢(shì)圖像和背景圖像做減法運(yùn)算,最后得到手勢(shì)的運(yùn)動(dòng)二值圖像.相減的結(jié)果中每個(gè)像素的值和一個(gè)預(yù)先設(shè)定的閾值相比較,若該像素的值大于給定的閾值,則認(rèn)為當(dāng)前手勢(shì)圖像在該像素點(diǎn)1處有運(yùn)動(dòng)變化;若該像素的值小于給定的閾值,則認(rèn)為在該像素點(diǎn)處沒有變化,從而把視頻圖像序列中發(fā)生運(yùn)動(dòng)的部分從圖像序列中分割出來.本文采用迭代法來選取閾值,先根據(jù)公式(8)確定初始閾值T0,再按照初始閾值T0將圖像分割成兩個(gè)區(qū)域,分別計(jì)算這兩部分區(qū)域的灰度均值μ1和μ2,然后按照公式(9)對(duì)閾值進(jìn)行迭代,重復(fù)此步驟,直到Ti=Ti+1,即得到所選閾值.

2.3 手勢(shì)分割及定位

將分別得到的膚色二值圖像和運(yùn)動(dòng)二值圖像相融合,得到二值膚色運(yùn)動(dòng)手勢(shì)圖像.由于手勢(shì)本身存在指間間隙,以及圖像噪聲等干擾,分割后的手勢(shì)圖像存在孔洞或孤立的小目標(biāo)等,并且分割后的圖像邊界也不夠光滑,這對(duì)于后續(xù)的手勢(shì)特征值的提取會(huì)帶來一定的偏差.本文采用形態(tài)學(xué)處理方法來消除這些干擾,以及平滑邊界,從而得到最終的手勢(shì)圖像.首先在二值膚色運(yùn)動(dòng)手勢(shì)圖像中提取連通區(qū)域,然后統(tǒng)計(jì)出各連通區(qū)域的大小,對(duì)于較小的孤立目標(biāo)通過閾值門限來去除,而對(duì)于手勢(shì)圖像內(nèi)部的孔洞則采用形態(tài)學(xué)中的閉運(yùn)算來消除,最后對(duì)圖像進(jìn)行定位,為后續(xù)手勢(shì)特征量提取做準(zhǔn)備.

3 仿真實(shí)驗(yàn)及結(jié)果分析

本文是基于單目正面視覺,手語(yǔ)視頻來源于互聯(lián)網(wǎng)上的《大家學(xué)手語(yǔ)》視頻錄像[16],圖像大小為352×288,實(shí)驗(yàn)硬件測(cè)試平臺(tái)為英特爾奔騰雙核處理器,主頻2.0GH z,內(nèi)存2GB DDR2的PC機(jī).根據(jù)手語(yǔ)的動(dòng)作頻率,設(shè)定采樣間隔為10幀,圖2為從視頻流中提取出的手勢(shì)圖像,分別為視頻流的第27,37,47,57,67,77,87,97,107幀.

圖2 從視頻圖像序列中提取出的手勢(shì)圖像Fig.2 Gesture images are ex trac ted from the video image sequence

圖3為手勢(shì)分割圖像,其中圖3(a)為初始背景圖像,圖3(b)是第57幀手勢(shì)圖像的膚色二值圖像,圖3(c)～圖3(e)分別是第57幀手勢(shì)圖像在不同閾值下獲得的手勢(shì)運(yùn)動(dòng)二值圖像,從圖中可以看出,閾值T的選取對(duì)分割效果具有直接影響,當(dāng)T過小時(shí),如圖3(c)T=4,在提取手勢(shì)運(yùn)動(dòng)區(qū)域的同時(shí)還提取了部分背景區(qū)域;當(dāng)T較大時(shí),如圖3(e)T= 12,使提取的運(yùn)動(dòng)區(qū)域不完整.實(shí)驗(yàn)表明,當(dāng)閾值T的范圍在(6,10)內(nèi)取值時(shí),圖像分割的效果都比較理想,因此在算法編程實(shí)現(xiàn)時(shí),選用T=8,如圖3 (d)所示.圖3(f)為經(jīng)過形態(tài)學(xué)處理后的最終手勢(shì)分割與定位圖像.實(shí)驗(yàn)結(jié)果表明,采用本文的方法能有效準(zhǔn)確地將視頻圖像中的手勢(shì)區(qū)域分割出來.

圖3 手勢(shì)分割圖像Fig.3 Gestures segmentation images

4 結(jié) 論

本文針對(duì)單目視覺的手勢(shì)分割,在分析膚色信息特征和手勢(shì)運(yùn)動(dòng)特性的基礎(chǔ)上,提出了一種準(zhǔn)確的單目視覺手勢(shì)分割方法.通過分析膚色在YCbCr顏色空間的亮度與色度分離的特點(diǎn)和Cb-Cr平面的聚類特性,構(gòu)建了高斯混合模型,提出了最小總錯(cuò)誤準(zhǔn)則的膚色決策算法,獲得了手勢(shì)的膚色區(qū)域.研究了背景圖像與當(dāng)前手勢(shì)圖像的差分特性,采用迭代法獲取手勢(shì)分割閾值,得到了手勢(shì)的運(yùn)動(dòng)區(qū)域.分析了形態(tài)學(xué)的腐蝕與膨脹方法,針對(duì)手勢(shì)分割中產(chǎn)生的孔洞和孤立小目標(biāo)構(gòu)建了剔除算法,從而實(shí)現(xiàn)了視頻圖像序列中手勢(shì)圖像的精確分割與準(zhǔn)確定位,為后續(xù)高精度手勢(shì)特征提取、手勢(shì)跟蹤與手勢(shì)識(shí)別提供了有力保證.同時(shí),基于單目視覺的手勢(shì)分割方法對(duì)人臉檢測(cè)、步態(tài)識(shí)別、人體運(yùn)動(dòng)目標(biāo)檢測(cè)等領(lǐng)域的研究也具有重要的實(shí)際應(yīng)用價(jià)值.

[1] W ANG Qi,CHEN X i-lin,ZHANG Liang-guo,et a l.Viewpoin tinvariant sign language recognition[J].Computer Vision and Image Understanding,2007,108(1/2):87-97.

[2] DENG JW,TSUI H T.A tw o-step approach based on PaHMM for the recognition of ASL[C]//The Fifth Asian Con feren ce on Computer V ision.M elbou rne,Victoria,Australia:ACCV,2002:126-131.

[3] STARNER T,WEAVER J,PENTLAND A.Real-time A-merican sign language recognition using desk and wearable computer based video[J].IEEE Transations on Pattern Analysisand Machine In telligence,1998,20(12):1371-1375.

[4] H EAP T,HOGG D.Wormholes in shape space:tracking th rough discontinuous changes in shape[C]//Proceedings of the IEEE Com puter Society Conference on Compu ter Vision and Pattern Recognition.Bombay,India:IEEE,1998:344-349.

[5] CUI Yun-tao,JONE JW.V iew-based hand segmentation and hand-sequen ce recognition w ith com plex backgrounds[C]// Proceedings of the IEEE International Conference on Pattern Recognition.Vienna,Austria:IEEE,1996:617-621.

[6] 路凱,李小堅(jiān),周金祥.基于膚色和邊緣輪廓檢測(cè)的手勢(shì)識(shí)別[J].北方工業(yè)大學(xué)學(xué)報(bào),2006,18(3):12-15.

LU Kai,LI Xiao-jian,ZHOU Jin-xiang.H and signal recognition based on skin color and edge outline exam ination[J]. Journal of North China University of Technology,2006,18 (3):12-15.(In Chinese)

[7] 姜威,陳援非,孔勇,等.一種在復(fù)雜背景彩色圖像中劃分手部圖像的方法[J].山東大學(xué)學(xué)報(bào):工學(xué)版,2003,33(4):410-412.

JIANG W ei,CHEN Yuan-fei,KONG Yong,et al.A new method for dividing hand image from com plex background[J]. Jou rnal of Shandong University of Technology:Engineering Science,2003,33(4):410-412.(In Chinese)

[8] HABILIN,LIM C C.H and and face segm entation using m otion and color cues in digital im age sequences[C]//P roceedings of IEEE InternationalConference on M ultimedia and Expo.Tokyo,Japan:IEEE Computer Society,2001:377-380.

[9] DU W ei,LI Hua.Vision based gestu re recognition system w ith single camera[C]//5 th In ternational Conference on Signal Processing Proceedings.Beijing,China:IEEE,2000: 1351-1357.

[10]陶霖密,徐光祐.機(jī)器視覺中的顏色問題及應(yīng)用[J].科學(xué)通報(bào), 2001,46(3):178-190.

TAO Lin-m i,XU Guang-you.Color problemsand applications in machine vision[J].Chinese Science Bulletin,2001,46(3): 178-190.(In Chinese)

[11]JULIEN L,FRANCOISB.Visual tracking of bare fingers for interactive surface[C]//Proceedings of the 17th Annual ACM Symposium on User Interface Software and Technology.Santa Fe,NM,USA:ACM Press,2004:119-112.

[12]VON HARDENBERG Christian,BERA RD Francois.Barehand human-computer interaction[C]//P roceedings of the 2001W orkshop on Perceptive User Interfaces.O rlando,Florida,USA:ACM Press,2001:1-8.

[13]YANG Jie,ALEXW.A real-time face tracker[C]//P roceedings of the 3rd IEEEW orkshop on Applications of Computer V ision.Sarasota,Floreda:IEEE,1996:142-147.

[14]CHA ID,NGAN K N.Face segm entation using skin-color map in videophone applications[J].IEEE Transactions on Circuitsand Systems for Video Technology,1999,9(4):551 -564.

[15]陳鍛生,劉政凱.膚色檢測(cè)技術(shù)綜述[J].計(jì)算機(jī)學(xué)報(bào),2006,29 (2):194-207.

CHEN Duan-sheng,LIU Zheng-kai.A su rvey of skin color detection[J].Chinese Journalof Computers,2006,29(2):194 -207.(In Chinese)

[16]葛玉紅.《大家學(xué)手語(yǔ)》第7課致謝[EB/OL].(2009-12-23) [2010-01-04].http://www.verycd.com/topics/2788773/.

Monocu lar Vision Gesture Segmentation Based on Skin Color and M otion Detection

CAO Xin-yan1,2,ZHAO Ji-yin1?,LIM in3

(1.Schoo l o f Communication Engineering,Jilin Univ,Changchun,Jilin 130022,China;
2.Schoolo f Electronic and In formation Engineering,Changchun Univ,Changchun,Jilin 130022,China;
3.College of Electromechanicaland Information Engineering,Dalian Nationalities Univ,Dalian,Liaoning 116600,China)

A kind of gesture segmentation method based onmonocular visionwas built for the analysis of the skin color information characteristics and gesturemovements features,w ith which ameaningfulgesture region cou ld beobtained from the video image sequence.For the identified background image,the skin color region of gestureswas captured through the analysisof the skin color information characteristicsw ith a sam pling intervalof 10 frames.A t the same time,themovement region of gestureswas captured through the differencemethod,and then the initialgesture region could be obtained after the fusion of the skin color region and themovement region.The erosion and dilation algorithm ofm athematicalmorphology were further studied,and the gestures segmentation and positioning o f the video image sequence were realized. Theexperiment results have shown that themethod hasagood gesture segmentation results and higher positioning accuracy.

monocu lar vision;gesture segmentation;motion detection;skin color detection;m athematicalmorphology

TP391.41

A

1674-2974(2011)01-0078-06 *

2010-06-03

吉林省科技廳發(fā)展計(jì)劃資助項(xiàng)目(20090511);大連民族學(xué)院人才引進(jìn)科技基金資助項(xiàng)目(20086201)

曹昕燕(1973-),女,吉林長(zhǎng)春人,長(zhǎng)春大學(xué)副教授,博士研究生

?通訊聯(lián)系人,E-mail:zhaojiyin2000@163.com