黎 璞，劉勇奎，王 巍，胡楊成琳

（大連民族學(xué)院 計(jì)算機(jī)學(xué)院，遼寧 大連 116600）

舌控鼠標(biāo)系統(tǒng)的算法研究

黎 璞，劉勇奎，王 巍，胡楊成琳

（大連民族學(xué)院 計(jì)算機(jī)學(xué)院，遼寧 大連 116600）

介紹通過(guò)視頻實(shí)時(shí)采集圖像和行為識(shí)別來(lái)實(shí)現(xiàn)舌控鼠標(biāo)系統(tǒng)。首先利用Adaboost和Lucas-Kanade算法實(shí)現(xiàn)實(shí)時(shí)人臉的識(shí)別與跟蹤，然后提出了臉部器官定位的算法。通過(guò)舌頭的行為識(shí)別來(lái)控制鼠標(biāo)系統(tǒng)。實(shí)驗(yàn)表明該系統(tǒng)能較好完成鼠標(biāo)操作基本功能，具備實(shí)時(shí)性和穩(wěn)定性。

Adaboost算法；Lucas-Kanade算法；行為識(shí)別；器官定位

隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)的應(yīng)用范圍也日益廣泛，越來(lái)越多人的工作、學(xué)習(xí)和生活中將與計(jì)算機(jī)發(fā)生直接或間接地聯(lián)系。但對(duì)于失去雙手的殘疾人使用電腦非常困難，從而計(jì)算機(jī)這種我們?nèi)粘Ｉ钪蟹浅７奖愕墓ぞ吲c他們絕緣。

對(duì)于殘疾人應(yīng)用鼠標(biāo)研究，國(guó)內(nèi)外都有相關(guān)的報(bào)道。國(guó)內(nèi)近幾年對(duì)該問(wèn)題已有較多研究，主要包括“頭控”、“腳控”及“眼控”等三方面，這些研究基本代表這一領(lǐng)域的發(fā)展方向。如2013年4月重慶市科學(xué)技術(shù)研究院申請(qǐng)的專(zhuān)利[1]，是利用視線與屏幕的映射關(guān)系控制鼠標(biāo)的運(yùn)動(dòng)。2009年韓國(guó)HANKYONG產(chǎn)學(xué)研合作機(jī)構(gòu)申請(qǐng)的“頭控”鼠標(biāo)[2]，這一專(zhuān)利也是利用頭部的運(yùn)動(dòng)與屏幕的映射關(guān)系來(lái)控制鼠標(biāo)的動(dòng)作。

文中介紹了一種“舌控”鼠標(biāo)系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)，實(shí)現(xiàn)“無(wú)接觸式”鼠標(biāo)從“穿戴式”邁向“非穿戴式”，通過(guò)移動(dòng)嘴部位置和向左向右伸舌頭的動(dòng)作，來(lái)實(shí)現(xiàn)鼠標(biāo)移動(dòng)及左右鍵單擊操作。本系統(tǒng)設(shè)計(jì)主要在MFC圖形界面下，運(yùn)用C++編程語(yǔ)言，并調(diào)用 OpenCV庫(kù)函數(shù)，使用了 Adaboost、Lucas-Kanade等算法，實(shí)現(xiàn)人臉檢測(cè)、定位以及跟蹤等技術(shù)。

1 主要算法介紹

本設(shè)計(jì)系統(tǒng)主要從視覺(jué)內(nèi)容分析角度，結(jié)合具體應(yīng)用進(jìn)行開(kāi)發(fā)和設(shè)計(jì)，綜合運(yùn)用多種技術(shù)和算法，具體算法鼠標(biāo)行為識(shí)別流程圖如圖1所示。

圖1 鼠標(biāo)行為識(shí)別流程圖Fig.1 The flow chart of mouse behavior recognition

1.1 人臉檢測(cè)技術(shù)

1.1.1 視頻圖像采集

在舌控鼠標(biāo)系統(tǒng)設(shè)計(jì)中，進(jìn)行人臉檢測(cè)和行為識(shí)別的圖像來(lái)自于使用者頭部的實(shí)時(shí)動(dòng)作視頻，這要求運(yùn)行設(shè)備自帶或外接攝像設(shè)備。在圖像采集時(shí)，使用了DirectShow流媒體處理開(kāi)發(fā)包，該開(kāi)發(fā)包主要針對(duì)各種格式媒體文件的應(yīng)用，其包含在DirectX中，DirectX采用了COM標(biāo)準(zhǔn)，DirectShow是一套完全基于COM的應(yīng)用系統(tǒng)，任何第三方開(kāi)發(fā)的符合COM組件的組件對(duì)象都可以提供對(duì)視頻操作的支持。DirectShow系統(tǒng)位于應(yīng)用層中，它使用一種叫Filter Graph的模型來(lái)管理整個(gè)數(shù)據(jù)流的處理過(guò)程，可很方便地從支持WDM驅(qū)動(dòng)模型的采集卡上捕獲數(shù)據(jù)，并儲(chǔ)存到相應(yīng)的文件中。

本設(shè)計(jì)中，通過(guò)創(chuàng)建Camerads代碼類(lèi)，實(shí)現(xiàn)對(duì)攝像頭進(jìn)行初始化和定義，并根據(jù)需要選取適當(dāng)?shù)腇ilter，從而獲取視頻。并使用OpenCV庫(kù)函數(shù)對(duì)視頻圖像進(jìn)行采集。

1.1.2 人臉檢測(cè)

人臉檢測(cè)是指對(duì)于任意一幅給定的圖像，采用一定的策略對(duì)其進(jìn)行搜索以確定其中是否含有人臉。當(dāng)前人臉檢測(cè)的算法可以簡(jiǎn)單的分為兩類(lèi)：基于特征的和基于圖像的?；谔卣鞯姆椒ㄖ敢阅撤N特征為最小處理單元的方法；基于圖像的方法指以圖像中的像素為處理單元的方法。Rowley等人在1996年提出采用局部連接的神經(jīng)網(wǎng)絡(luò)[3]的人臉檢測(cè)方法，將每個(gè)區(qū)域劃分成多個(gè)方形或矩形的子區(qū)域以便更好地描述人臉的局部特征，每個(gè)區(qū)域?qū)?yīng)一個(gè)神經(jīng)網(wǎng)絡(luò)隱含單元。對(duì)神經(jīng)網(wǎng)絡(luò)在多個(gè)分級(jí)上的輸出進(jìn)行判決以降低誤檢率。用神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉檢測(cè)的優(yōu)勢(shì)是很容易訓(xùn)練一個(gè)用于檢測(cè)人臉模式的系統(tǒng)。但是，缺點(diǎn)是網(wǎng)絡(luò)結(jié)構(gòu)需要大范圍的調(diào)整（層數(shù)、結(jié)點(diǎn)數(shù)、學(xué)習(xí)速率等）才能獲得期望的性能。

1.1.3 AdaBoost算法

基于Adaboost[4]的人臉檢測(cè)算法是現(xiàn)有的同類(lèi)算法中性能相對(duì)較好的一種。AdaBoost算法全稱(chēng)為Adaptive Boosting。AdaBoost是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類(lèi)器（弱分類(lèi)器），然后把這些弱分類(lèi)器集合起來(lái)，構(gòu)成一個(gè)更強(qiáng)的最終分類(lèi)器（強(qiáng)分類(lèi)器）。其算法本身是通過(guò)改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類(lèi)是否正確，以及上次的總體分類(lèi)的準(zhǔn)確率，來(lái)確定每個(gè)樣本的權(quán)值。將修改過(guò)權(quán)值的新數(shù)據(jù)集送給下層分類(lèi)器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類(lèi)器最后融合起來(lái)，作為最后的決策分類(lèi)器。使用AdaBoost分類(lèi)器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特征，并將關(guān)鍵放在訓(xùn)練數(shù)據(jù)上面。AdaBoost算法提出后在機(jī)器學(xué)習(xí)領(lǐng)域受到了極大的關(guān)注，實(shí)驗(yàn)結(jié)果顯示無(wú)論是應(yīng)用于人造數(shù)據(jù)還是真實(shí)數(shù)據(jù)，AdaBoost都能顯著提高學(xué)習(xí)精度。

在舌控鼠標(biāo)系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)中，檢測(cè)人臉時(shí)使用了AdaBoost算法。該方法是通過(guò)提取樣本圖像的Haar特征訓(xùn)練出一組強(qiáng)分類(lèi)器，并挑選出一些分類(lèi)能力較強(qiáng)的分類(lèi)器，將這些強(qiáng)分類(lèi)器串聯(lián)成一個(gè)層疊分類(lèi)器。本設(shè)計(jì)中使用了OpenCV自帶的分類(lèi)器，首先使用cvLoad（）加載正面人臉識(shí)別效果最好的模型文件haarcascade_frontalface_alt2.xml，再通過(guò)cvHaarDetectObjects（）找到與訓(xùn)練目標(biāo)相似的物體，便得到了檢測(cè)結(jié)果。

1.2 人臉跟蹤技術(shù)

1.2.1 人臉跟蹤

跟蹤問(wèn)題主要解決連續(xù)的圖像幀間的基于位置、速度、形狀等有關(guān)特征的對(duì)應(yīng)匹配問(wèn)題，是要對(duì)分割出的目標(biāo)的運(yùn)動(dòng)軌跡和輪廓的變化進(jìn)行持續(xù)的檢測(cè)。文獻(xiàn)[5]中提出利用粒子濾波方法實(shí)現(xiàn)足球機(jī)器人的跟蹤。人臉跟蹤的可利用信息很多，目前常見(jiàn)的人臉跟蹤算法[6]有4種思路:利用運(yùn)動(dòng)信息跟蹤，利用彩色信息跟蹤，利用參數(shù)模型或模板對(duì)整個(gè)人臉進(jìn)行相似跟蹤和利用人臉的局部特征進(jìn)行跟蹤。蔡燦輝[7]等人利用均值移動(dòng)和貪婪算法實(shí)現(xiàn)了多人臉跟蹤。李培華提出一種改進(jìn)的Mean Shift跟蹤算法[8]。

1.2.2 Lucas-Kanade算法

Lucas-Kanade光流算法（LK）[9]是當(dāng)前最流行的一種稀疏跟蹤方法，起初是用于求稠密光流的，由于算法易于應(yīng)用在輸入圖像中的一組點(diǎn)上，后來(lái)成為求稀疏光流的一種重要方法。使用小窗口的LK算法存在不足之處，較大的運(yùn)動(dòng)會(huì)將點(diǎn)移出這個(gè)小窗口，從而造成算法無(wú)法再找到這些點(diǎn)。金字塔的LK算法[10]可以解決這個(gè)問(wèn)題，即從金字塔的最高層開(kāi)始向金字塔低層進(jìn)行跟蹤。跟蹤圖像金字塔允許小窗口捕獲較大的運(yùn)動(dòng)。

在舌控鼠標(biāo)系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)中，為了實(shí)現(xiàn)對(duì)人臉的實(shí)時(shí)跟蹤，我們采用了光流法，首先通過(guò)cvGoodFeaturesToTrack（）函數(shù)在圖像中捕獲“特征點(diǎn)（角點(diǎn)）”，經(jīng)過(guò)處理，去除臉部意外的角點(diǎn)，并在捕捉到50個(gè)以上角點(diǎn)的時(shí)候才可以鎖定人臉。然后使用LK算法跟蹤上一幀圖像記錄的這些點(diǎn)，并返回們每個(gè)點(diǎn)被跟蹤的情況，以此來(lái)實(shí)現(xiàn)人臉的跟蹤技術(shù)。

1.3 臉部器官定位技術(shù)

目前對(duì)臉部器官定位的研究比較少，文獻(xiàn)[11]利用數(shù)學(xué)形態(tài)學(xué)和分水嶺算法對(duì)膚色模板進(jìn)行亮度融合，從而定位眼睛，但算法魯棒性不高。

根據(jù)“三庭五眼”的說(shuō)法可知，嘴在人臉器官的布局中位于下1/3。嘴的寬度占人臉的1/2，根據(jù)實(shí)驗(yàn)結(jié)果和數(shù)據(jù)分析，在我們的算法中，采用如下算法對(duì)嘴部進(jìn)行定位。

首先根據(jù)1.1中的算法檢測(cè)出人臉，并用矩形標(biāo)識(shí)。由于嘴部左右基本對(duì)稱(chēng)，則定位該感興趣區(qū)域時(shí)，在上下布局上取下1/3區(qū)域，在左右布局上，取中間1/2，左右各剩1/4的區(qū)域。由此確定嘴的大概位置，然后畫(huà)出目標(biāo)區(qū)域，并判斷該區(qū)域是否合理，然后對(duì)其合理區(qū)域進(jìn)行其他處理。

1.4 行為識(shí)別

行為識(shí)別是行為理解的基礎(chǔ)，在智能監(jiān)控、人機(jī)交互、虛擬現(xiàn)實(shí)和基于內(nèi)容的視頻檢索等方面有著廣泛的應(yīng)用前景，更是成為了未來(lái)研究的前瞻性方向之一。目前，行為識(shí)別方法一般可以分成靜態(tài)識(shí)別和動(dòng)態(tài)識(shí)別。靜態(tài)識(shí)別方法是把行為看作由一組按時(shí)間順序串連起來(lái)的靜態(tài)圖像序列，其常用的方法有模板匹配方法；動(dòng)態(tài)識(shí)別方法是定義每個(gè)靜態(tài)姿勢(shì)作為圖模型上的一個(gè)節(jié)點(diǎn)或狀態(tài)，這些節(jié)點(diǎn)或狀態(tài)之間通過(guò)某種關(guān)系如概率聯(lián)系起來(lái)。任何運(yùn)動(dòng)序列可以看作這些靜態(tài)姿勢(shì)的不同狀態(tài)之間的一次遍歷過(guò)程。

本系統(tǒng)在對(duì)嘴的行為動(dòng)作進(jìn)行識(shí)別時(shí)，首先需要檢測(cè)嘴，如1.3中所提到的，在已經(jīng)畫(huà)出的人臉矩形上，用白色矩形將嘴部標(biāo)記出來(lái)，然后將該目標(biāo)區(qū)域平分為左右兩個(gè)區(qū)域分別進(jìn)行處理，具體處理方法如下：

1）設(shè)置標(biāo)記區(qū)域的感興趣區(qū)域（標(biāo)記區(qū)域的左右2部分）。2）將感興趣區(qū)域灰度化，并對(duì)圖像進(jìn)行閾值操作，得到二值圖像。

3）創(chuàng)建并動(dòng)態(tài)顯示直方圖，計(jì)算直方圖的高度。

4）以直方圖的高度值作為判斷量，當(dāng)左直方圖高度值大于40時(shí)，激發(fā)鼠標(biāo)左鍵單擊操作，當(dāng)右直方圖高度值大于40時(shí)，激發(fā)鼠標(biāo)右鍵單擊操作。

當(dāng)人臉在平移時(shí)，嘴部的相對(duì)位置不變，且嘴部形狀及大小基本不變，而伸出舌頭時(shí)，嘴部深色區(qū)域增大，二值化圖像發(fā)生明顯變化，于是直方圖的高度增加，便可以此判斷是否激發(fā)鼠標(biāo)操作。在該設(shè)計(jì)中，嘴部動(dòng)作的識(shí)別以及算法精準(zhǔn)度對(duì)該系統(tǒng)的操作穩(wěn)定性起關(guān)鍵性的作用。

2 設(shè)計(jì)界面及實(shí)驗(yàn)結(jié)果

系統(tǒng)界面主要由3部分組成：參數(shù)設(shè)置、視頻顯示及啟停操作。

參數(shù)設(shè)置：用戶(hù)可以對(duì)選擇使用運(yùn)行環(huán)境中檢測(cè)到的任一攝像頭，并可以根據(jù)運(yùn)行環(huán)境，在Win7和WinXP之間進(jìn)行選擇調(diào)用攝像頭適用的操作系統(tǒng)。該系統(tǒng)設(shè)計(jì)了聲音控制和舌頭控制兩種方式，可根據(jù)使用人群的不同，選擇不同的控制方式。此外，還可以對(duì)鼠標(biāo)的響應(yīng)速度進(jìn)行調(diào)節(jié)，可以設(shè)置是否開(kāi)機(jī)啟動(dòng)等。

圖2 操作界面Fig.2 Interface

視頻顯示：如圖2中所示，在窗口的右上角的空白處顯示從攝像頭獲取到的視頻，并顯示檢測(cè)到人臉的結(jié)果。

啟停操作：主要是對(duì)操作界面的啟動(dòng)、停止、最小化到托盤(pán)及退出操作界面等進(jìn)行操作。

結(jié)合圖3可知該系統(tǒng)的具體操作步驟，按圖中順序依次選定合適的參數(shù)，如攝像頭、使用系統(tǒng)、控制類(lèi)型以及鼠標(biāo)速度等，然后點(diǎn)擊“開(kāi)始”按鈕，移動(dòng)頭部至合適位置，當(dāng)舌頭向右伸時(shí)實(shí)驗(yàn)效果如圖3所示。

3 結(jié) 論

舌控鼠標(biāo)系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)涉及了人臉檢測(cè)、跟蹤技術(shù)、器官定位及行為識(shí)別等多方面的問(wèn)題，實(shí)現(xiàn)了舌頭對(duì)鼠標(biāo)行為動(dòng)作的模擬。使用了一些相對(duì)較成熟的算法，如AdaBoost算法、金字塔Lucas-Kanade算法等，這些算法在人臉識(shí)別和跟蹤領(lǐng)域都很有說(shuō)服力。未來(lái)的主要工作將會(huì)圍繞特征提取算法選擇展開(kāi)，以期達(dá)到更加理想的效果。

[1]重慶市科學(xué)技術(shù)研究院.一種眼控鼠標(biāo)實(shí)現(xiàn)方法及系統(tǒng)[P].中國(guó)：201310130392.9，2013/06/26.

[2]Hankyong Industry Academic Cooperationct，Hankyong Industry Academic Cooperation Center.Head Mouse[P].Korea:KR20090071335A，2009/08/03.

[3]Ebied H M，Revett K，Tolba M F.Evaluation of unsupervised feature extraction neural networks for face recognition[J].Neural Computing and Applications，2013，22（6）:1211-1222.

[4]WANG Lin-ping，WANG Zu-feng.Application of agpso-based adaboost algorithm in human face detection[J].Energy Procedia，2012，13:1221-1230.

[5]ANDRE T，ANDREAS Z.Real-time object tracking for soccer-robots without color information[J].Robotics and Autonomous Systems，2004，48（1）:41-48.

[6]Endang S D，Alexandre D W.Face recognition and tracking using unconstrained non-linear correlation filters[J].Procedia Engineering，2012，35（2012）:192-201.

[7]蔡燦輝，劉強(qiáng).基于均值移動(dòng)與貪婪算法的多人臉跟蹤[J].中國(guó)圖象圖形學(xué)報(bào)，2009，14（12）:2611-2614.

CAI Can-hui，LIU Qing.Multiple face tracking using mean shift and greedy algorithm[J].Journal of Image and Graphics，2009，14（12）:2611-2614.

[8]李培華.一種改進(jìn)的Mean Shift跟蹤算法[J].自動(dòng)化學(xué)報(bào)，2007，33（4）:347-354.

LI Pei-Hua.An improved mean shift algorithm for object tracking[J].Acta Automatica Sinica，2007，33（4）:347-354.

[9]David Schreiber.Generalizing the Lucas-Kanade algorithm for histogram-based tracking[J].Pattern Recognition Letters，2008，29（7）:852-861.

[10]Gary Bradski，Adrian Kaehler.Learning OpenCV[M].Sebastopol，USA:O'Reilly Media，2008.

[11]賈宏，彭嘉雄.視頻序列中人臉眼嘴特征定位[J].華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2004（2）：17-19.

JIA Hong，PENG Jia-xiong.Location of the feature of human eyes and mouth in video sequences[J].Huazhong Univ.of Sci.&Tech.：Nature Science Edition，2004（2）：17-19.

Research on the algorithm of tongue controlled mouse system

LI Pu， LIU Yong-kui， WANG Wei， HU Yang-cheng-lin
（Computer School， Dalian Nationalities University， Dalian 116600， China）

This paper introduces a tongue controlled mouse system implemented by real-time image acquisition and behavior identity.FirstlytheAdaboost algorithm and Lucas-Kanade algorithm are used for real-time face recognition and tracking，and then an algorithm for face organ location is presented.The mouse system is controlled by identifying behaviors of tongue.The experimentalresultsshow thatthesystem canaccomplishthebasicfunctionsofthemouseoperationwithtimelinessandstability.

Adaboost algorithm；Lucas-Kanade algorithm；behavior recognition；orgon location

10.14022/j.cnki.dzsjgc.2014.16.049

TP37

A

1674-6236（2014）16-0167-04

2013-10-22 稿件編號(hào)：201310146

中央高校基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金資助 （DC12010107）；大連民族學(xué)院2013年碩士專(zhuān)業(yè)學(xué)位研究生創(chuàng)新基金項(xiàng)目（YCX2013006）

黎 璞（1987—），男，湖南慈利人，碩士研究生。研究方向：多媒體信息處理技術(shù)。