邢延超 張傳強(qiáng) 孫恩情

摘 要：當(dāng)前隱馬爾科夫模型表情識(shí)別中一般采用固定狀態(tài)數(shù)及間隔，與真實(shí)表情狀態(tài)之間往往是失配的，無法適應(yīng)不同時(shí)間尺度上的表情。文章分析面部運(yùn)動(dòng)自動(dòng)確定表情的起止幀，自動(dòng)提取有代表性幀作為HMM的狀態(tài)，使不同節(jié)奏的表情狀態(tài)都能準(zhǔn)確定位到對(duì)應(yīng)的圖像幀，提高了模型的有效性。試驗(yàn)結(jié)果表明，該方法獲得的HMM模型狀態(tài)更符合主觀認(rèn)識(shí)，識(shí)別速度有所提高，識(shí)別準(zhǔn)確性也有明顯提高。

關(guān)鍵詞：表情識(shí)別；表情邊界檢測(cè)；表情狀態(tài)幀；隱馬爾可夫模型

1 概述

人臉表情識(shí)別方法可以分為兩大類：一是靜態(tài)表情識(shí)別方法，一是基于動(dòng)態(tài)視頻序列的表情識(shí)別。兩種識(shí)別方法都必須經(jīng)過三個(gè)過程，即人臉檢測(cè)，特征提取，表情識(shí)別。人臉檢測(cè)技術(shù)已基本成熟，如基于哈爾特征檢測(cè)[1]的方法。隱形馬爾科夫（HMM）[2]因具有時(shí)空域動(dòng)態(tài)性被廣泛認(rèn)可。用HMM識(shí)別要確定狀態(tài)數(shù)，并將圖像序列與狀態(tài)數(shù)對(duì)應(yīng)。傳統(tǒng)方法采取平均方式，輸入視頻按時(shí)間順序均分成N個(gè)序列，按時(shí)間序列與狀態(tài)對(duì)應(yīng)。由于表情時(shí)間上尺度差異明顯，因而不能體現(xiàn)出表情階段的不同特征。文章根據(jù)面部運(yùn)動(dòng)能量變化確定表情起止幀，即表情變化區(qū)間。再通過變化規(guī)律統(tǒng)計(jì)分析確定表情對(duì)應(yīng)的不同狀態(tài)，建立更加符合真實(shí)表情的HMM模型。

2 系統(tǒng)設(shè)計(jì)

首先要確定每種表情對(duì)應(yīng)的狀態(tài)數(shù)；然后確定每種狀態(tài)對(duì)應(yīng)于視頻序列的哪一幀或哪幾幀圖像，即圖像序列中狀態(tài)點(diǎn)的確定；三是選擇什么樣的屬性作為狀態(tài)的特征向量。另外，還要確定每個(gè)表情開始和結(jié)束時(shí)間。圍繞這幾個(gè)問題，整個(gè)識(shí)別系統(tǒng)設(shè)計(jì)如下。首先，采用自適應(yīng)布斯特算法實(shí)現(xiàn)人臉檢測(cè)。接著利用Haar濾波器確定眼睛位置，并用特征投影法確定眉毛和嘴巴區(qū)域，再利用角點(diǎn)檢測(cè)方法確定最重要特征點(diǎn)。這些特征點(diǎn)能反映表情變化強(qiáng)度，又易于跟蹤。特征點(diǎn)運(yùn)動(dòng)情況反映表情變化程度，分析特征點(diǎn)運(yùn)動(dòng)能量變化曲線，可確定表情狀態(tài)數(shù)、每表情起止幀及每表情狀態(tài)對(duì)應(yīng)圖像幀。最后對(duì)每個(gè)表情狀態(tài)提取幾何特征進(jìn)行HMM模型的訓(xùn)練與識(shí)別。

3 運(yùn)動(dòng)能量曲線

檢測(cè)出眼睛中心點(diǎn)的位置坐標(biāo)，進(jìn)行圖像抖動(dòng)對(duì)光流矢量的誤差矯正。確定臉部表情變化關(guān)鍵點(diǎn)，得到坐標(biāo)變化，計(jì)算出運(yùn)動(dòng)能量變化，將所有特征點(diǎn)的運(yùn)動(dòng)能量做加權(quán)平均，得到運(yùn)動(dòng)能量曲線。通過分析該曲線，就可以定位表情狀態(tài)及其對(duì)應(yīng)的圖像幀，如圖1所示。

從圖1中可以看出表情變化趨勢(shì)，有的在前半階段發(fā)生明顯改變，足夠判斷表情類別；有的則在后半段發(fā)生明顯變化；大多數(shù)則發(fā)生在中間。

4 狀態(tài)數(shù)及狀態(tài)圖像幀的提取

接下來再分別對(duì)眉毛和嘴巴附近的特征角點(diǎn)，分別作能量圖，和圖1類似，以觀察眉毛及嘴巴附近特征角點(diǎn)變化情況。通過分析角點(diǎn)能量圖可得知：表情從中性逐漸發(fā)生變化時(shí)，最先開始的人臉部位是嘴巴附近，其次眉毛等部位緊隨其后開始發(fā)生形變，直至表情達(dá)到最飽滿時(shí)刻。根據(jù)分析將表情變化過程分為五個(gè)階段：中性表情、嘴巴變化、整體變化、眉毛變化、表情最大化。通過對(duì)角點(diǎn)能量曲線的分析，提取曲線峰、谷對(duì)應(yīng)的位置，即可確定HMM模型的五個(gè)表情狀態(tài)對(duì)應(yīng)的圖像幀。以高興表情為例，視頻總共28幀，其中5個(gè)狀態(tài)幀分別是2、6、8、10、20。

5 模型訓(xùn)練與表情識(shí)別

共選用5個(gè)參數(shù)：D1～D5是雙眼、嘴角之間的距離，此外還有左、下嘴角角度，以及嘴巴寬度高比。過程如下：（1）樣本歸一化，得特征向量Oi= ，1？燮i？燮5。（2）初始化HMM參數(shù)？姿，求Oi均值uj和方差矩陣？撞j。（3）用前向后向算法得到模型概率P（O|？姿）。（4）重估HMM參數(shù)，及新模型下的概率P（O|？姿'）。P（O| ）收斂時(shí)停止。（5）將新測(cè)試序列輸入系統(tǒng)，求出每種模型的概率，概率最大對(duì)應(yīng)模型對(duì)應(yīng)識(shí)別出的人臉表情。

6 實(shí)驗(yàn)結(jié)果

采用USTC-NVIE數(shù)據(jù)庫(kù)，其自發(fā)表情是通過視頻誘發(fā)的方式采集的，更加接近自然表情，數(shù)據(jù)庫(kù)中含有佩戴眼鏡和無眼鏡兩種，這里選擇不佩戴眼鏡的視頻作為訓(xùn)練樣本和測(cè)試樣本。本實(shí)驗(yàn)中一共采用了42個(gè)視頻作為訓(xùn)練樣本。文章方法比傳統(tǒng)HMM方法對(duì)驚奇、悲傷、恐懼、厭惡、憤怒、高興的識(shí)別準(zhǔn)確率分別提高了13.2%、6.67%、21%、8.7%、6.67%和9.43%。

參考文獻(xiàn)

[1]D. H. Kim， S. U. Jung and M. J. Chung，"Extension of cascaded simple feature based face detection to facial expression recognition，"Pattern Recognition Letters，vol.29，pp. 1621-1631，August 2008.

[2]Otsuka T，Ohya J. Recognizing multiple persons' facial expressions using HMM based on automatic extraction of significant frames from image sequences [C] // Proc. Int. Conf. on Image Processing （ICIP-97），p546-549， Sabta BarbaramCA，USA，1997：26-29.

[3]張發(fā)光，趙暉.基于擴(kuò)展C型HMM人臉表情識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件，2011，4：60-62.