許天然 吳垚 蘇紅旗

摘 要:文中使用圖像輪廓填充圖形作為手語(yǔ)手勢(shì)的特征參數(shù)進(jìn)行靜態(tài)手語(yǔ)識(shí)別。關(guān)鍵是提取出圖像邊緣輪廓,并做出輪廓填充圖形,根據(jù)這個(gè)特征參數(shù)對(duì)待測(cè)圖像進(jìn)行手語(yǔ)手勢(shì)的特征匹配。該方法對(duì)圖像亮度、縮放、平移、旋轉(zhuǎn)具有不變性,而且該方法計(jì)算簡(jiǎn)單、快速,可以用于基于移動(dòng)終端(Android手機(jī)操作系統(tǒng)平臺(tái)下)的手語(yǔ)識(shí)別系統(tǒng)。

關(guān)鍵詞:手語(yǔ)識(shí)別圖像輪廓匹配移動(dòng)終端

中圖分類號(hào):TP391.4 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-3791(2012)07(a)-0024-02

隨著計(jì)算機(jī)技術(shù)和通信技術(shù)的迅速發(fā)展,多模式人機(jī)交互技術(shù)研究也有很大進(jìn)展。手語(yǔ)識(shí)別作為多模式人機(jī)交互技術(shù)的重要研究方向,其主要目標(biāo)是使特殊用戶(例如聾啞人)可以用更加方便、自然和符合其生理特點(diǎn)的方式來使用計(jì)算機(jī)、手機(jī)等現(xiàn)代化信息設(shè)備?？傊?手語(yǔ)識(shí)別的研究和實(shí)現(xiàn)不僅是一門有價(jià)值的研究課題,而且具有更加廣泛的社會(huì)意義和實(shí)際應(yīng)用前景。

目前這種方法對(duì)圖像的亮度、縮放、平移、旋轉(zhuǎn)具有不變性,具有很高的識(shí)別率,而且識(shí)別快速、方便。其缺點(diǎn)在于只能處理靜態(tài)的單個(gè)的手語(yǔ)圖像。但相比以前的電腦平臺(tái)下的手語(yǔ)識(shí)別,這種方法更加的方便,用很廣闊的前景。

據(jù)國(guó)外媒體報(bào)道,美國(guó)華盛頓大學(xué)的工程師正在測(cè)試一款名為MobileASL的工具,這款工具能利用運(yùn)動(dòng)感知技術(shù)去識(shí)別美國(guó)手語(yǔ),并通過手機(jī)發(fā)送圖像。這是目前唯一可查的研究手語(yǔ)識(shí)別技術(shù)在移動(dòng)終端應(yīng)用的項(xiàng)目。

1手語(yǔ)識(shí)別建模與實(shí)現(xiàn)

通過移動(dòng)終端(這里主要指手機(jī))獲取一幅待測(cè)圖片,經(jīng)過預(yù)處理后提取圖像輪廓填充圖形作為特征參數(shù),將特征參數(shù)與標(biāo)準(zhǔn)庫(kù)進(jìn)行對(duì)比,從而識(shí)別出改圖片對(duì)應(yīng)的手語(yǔ)含義。原理與模型如圖1所示。

通過手機(jī)獲取26張“A-Z”標(biāo)準(zhǔn)手語(yǔ)手勢(shì)的圖片,針對(duì)每張圖片我們采取以下處理步驟,以建立標(biāo)準(zhǔn)庫(kù):獲取圖片→灰度處理→圖像裁剪。

本文采用canny算子進(jìn)行邊緣提取。Canny算子是一個(gè)具有濾波、增強(qiáng)、檢測(cè)的多階段的優(yōu)化算子,在進(jìn)行處理前,Canny算子先利用高斯平滑濾波器來平滑圖像以除去噪聲,Canny分割算法采用一階偏導(dǎo)的有限差分來計(jì)算梯度幅值和方向,在處理過程中,Canny算子還將經(jīng)過一個(gè)非極大值抑制的過程,最后Canny算子還采用兩個(gè)閾值來連接邊緣。

對(duì)提取的圖像邊緣進(jìn)行填充,得到圖像邊緣輪廓填充圖形。將待測(cè)圖像的填充圖形在旋轉(zhuǎn)-15°～+15°條件下與標(biāo)準(zhǔn)庫(kù)參數(shù)進(jìn)行對(duì)比,以得到的相關(guān)系數(shù)最大的角度下的圖像作為識(shí)別結(jié)果。這樣就能解決因圖像旋轉(zhuǎn)而造成的識(shí)別錯(cuò)誤的問題。彌補(bǔ)了邊緣方向角直方圖參對(duì)數(shù)旋轉(zhuǎn)敏感的不足。

2仿真實(shí)驗(yàn)結(jié)果與分析

根據(jù)上面所述方法,文中采用如圖所示的手語(yǔ)識(shí)別系統(tǒng)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)以白色為背景,用數(shù)碼相機(jī)采集手語(yǔ)的手勢(shì)圖片, 采用不同的光照,拍攝了26種不同手勢(shì), 將待識(shí)別的手語(yǔ)圖片建立了一個(gè)小型的靜態(tài)手語(yǔ)庫(kù),圖像大小歸一化為512×512,其中一部分作為訓(xùn)練使用。

通過以上的實(shí)驗(yàn)我們得出,在手機(jī)環(huán)境下手語(yǔ)的識(shí)別是可以實(shí)現(xiàn)的。在對(duì)26個(gè)英文字母的手勢(shì)的測(cè)驗(yàn)中,19張手語(yǔ)手勢(shì)可以識(shí)別為最相似目標(biāo),5張手語(yǔ)手勢(shì)可以識(shí)別為次相似目標(biāo),2張手語(yǔ)手勢(shì)不可以識(shí)別,識(shí)別率為92.31%。與以往的手語(yǔ)識(shí)別方法相比較,這種方法更加的方便,簡(jiǎn)單。但與此同時(shí),這種方法也有其自身的缺點(diǎn),它只適用于靜態(tài)的,單個(gè)的手語(yǔ)手勢(shì)。

3結(jié)語(yǔ)

文中的創(chuàng)新點(diǎn)是結(jié)合采用圖像邊緣輪廓圖形這個(gè)特征參數(shù)進(jìn)行靜態(tài)手語(yǔ)識(shí)別。圖像邊緣輪廓圖形的特點(diǎn)是對(duì)圖像旋轉(zhuǎn)不敏感。該方法計(jì)算簡(jiǎn)單、快速、識(shí)別率高。本文的另一個(gè)創(chuàng)新點(diǎn)是基于移動(dòng)終端的手語(yǔ)識(shí)別。充分利用了3G手機(jī)的極高的數(shù)據(jù)傳輸速率的特點(diǎn),以及支持多媒體通信的優(yōu)勢(shì),因而該技術(shù)具有潛在的巨大的現(xiàn)實(shí)意義。

參考文獻(xiàn)

[1] 郭彩龍.中國(guó)靜態(tài)手語(yǔ)識(shí)別的研究[D].碩士論文,西安建筑科技大學(xué),2009.

[2] 翟俊海,趙文秀,王熙照.圖像特征提取研究[D].河北大學(xué),2009,1.

[3] Von Agris U,Zieren J,Canzler U, etal.Recent developments in visual sign language recognition[J].Universal Access in the Information Society,2008,6(4):323～362.

[4] 胡友樹.手勢(shì)識(shí)別技術(shù)綜述[J].中國(guó)科技信息,2005(2):42.

[5] 張良國(guó),高文,陳熙霖,等.面向中等詞匯量的中國(guó)手語(yǔ)視覺識(shí)別系統(tǒng)[J].計(jì)算機(jī)研究與發(fā)展,2006,43(3):476-482.

[6] Yiqiang Chen,Wen Gao,Changshui Yang,Dalong Jiang,Multi-Model Behavior Synchronizing Prosody Model in Sign Language Synthesis.Chinese Journal of Computers,2006(5).

[7] Desmond E.van Wyk,James Connan. High Quality Flexible H-Anim Hands for Sign Language Visualisation[J].

[8] 姜華強(qiáng),潘紅.基于關(guān)鍵幀的多級(jí)分類手語(yǔ)識(shí)別研究[J].計(jì)算機(jī)應(yīng)用研究, Jan.2010,27(2):491-493.