師亞亭，李衛(wèi)軍，寧欣，董肖莉，張麗萍

(中國科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實驗室，北京 100083)

?

基于嘴巴狀態(tài)約束的人臉特征點定位算法

師亞亭，李衛(wèi)軍，寧欣，董肖莉，張麗萍

(中國科學(xué)院半導(dǎo)體研究所 高速電路與神經(jīng)網(wǎng)絡(luò)實驗室，北京 100083)

嘴巴區(qū)域特征點的精確定位對于特征匹配、表情分析、唇形識別、駕駛行為分析等應(yīng)用具有極其關(guān)鍵的作用。然而，用現(xiàn)有的人臉特征點定位算法進行人臉形狀估計時，嘴巴區(qū)域特征點的定位誤差相對較大。針對這一問題，提出了基于HSV顏色空間和基于卷積神經(jīng)網(wǎng)絡(luò)的兩種嘴巴狀態(tài)分類器以及一種基于局部特征點位置關(guān)系的強形狀約束策略，并在此基礎(chǔ)上提出了基于嘴巴狀態(tài)約束的人臉特征點定位算法，根據(jù)嘴巴狀態(tài)標(biāo)簽對顯式形狀回歸ESR算法的估計結(jié)果進行約束以獲得更加準(zhǔn)確的特征的位置。相比傳統(tǒng)的ESR算法，該方法在保障人臉形狀定位魯棒性的同時，在Helen數(shù)據(jù)庫和LFPW數(shù)據(jù)庫上的嘴巴特征點定位準(zhǔn)確度均明顯提高。

人臉特征點定位；ESR；嘴巴狀態(tài)分類器；強形狀約束；HSV顏色空間；卷積神經(jīng)網(wǎng)絡(luò)

隨著個人照片在移動設(shè)備和互聯(lián)網(wǎng)上的方便呈現(xiàn)及傳播，人臉對齊算法的應(yīng)用也越來越廣泛。對于特征匹配、表情分析及變換、唇形識別以及疲勞駕駛檢測等人臉對齊算法的應(yīng)用，嘴巴區(qū)域特征點的精確定位十分重要。在實際生活中，嘴巴形狀的預(yù)測會受到光照、遮擋、噪聲以及個人唇色(膚色以及妝容)的影響。此外，同一個人的嘴巴形狀也因為講話、表情的變化以及姿態(tài)的不同而不同。這些因素都可能引起在人臉形狀向量估計過程中嘴巴特征點的定位錯誤。為了解決這一問題，本文提出了一種基于嘴巴狀態(tài)約束的人臉特征點定位算法，使得預(yù)測人臉形狀中嘴巴區(qū)域的特征點位置更加接近真實情況。

1 相關(guān)算法

人臉特征點定位算法是一項很有挑戰(zhàn)性并且值得深入研究的工作。主動形狀模型(active shape model，ASM)[1]和主動表觀模型(active appearance model，AAM)[2]是最經(jīng)典并被廣泛使用的人臉對齊算法，主要通過調(diào)整模型的參數(shù)來不斷優(yōu)化誤差函數(shù)，進而進行形狀估計。近年來，基于回歸的算法[3-6]取得了令人滿意的定位效果。他們通過大批量的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)一個級聯(lián)回歸模型，將圖像特征直接映射為最終的人臉形狀。相比經(jīng)典的ASM和AAM，基于回歸的人臉特征點算法對初始化依賴較小，并且具有定位速度快、定位準(zhǔn)確度高的優(yōu)點。

無論是ASM、AAM及其相關(guān)的改進算法[7-9]，還是成為研究熱點的回歸算法，在人臉對齊過程中，特征點的更新都依賴于特征點周圍圖像的灰度梯度特征。人臉特征點定位算法的目標(biāo)是達到估計形狀與人臉真實形狀的誤差最小，而并不保障每一個特征點的精確定位。對于灰度梯度特征不明顯或者可能性較多的區(qū)域(如輪廓、嘴巴)，局部區(qū)域的定位誤差相對較大(如圖1)。

圖1 不同部位人臉特征點誤差

許多局部特征點的定位優(yōu)化都是基于人臉形狀的估計結(jié)果，進行進一步的修正以達到精確化的目標(biāo)。文獻[10]在用人臉對齊算法得到人臉輪廓后，又通過啟發(fā)式的邊界響應(yīng)來移動組成輪廓的特征點位置。文獻[11]通過融合AAM和在線膚色紋理特征實現(xiàn)低分辨率圖像中眼睛區(qū)域的精確定位。文獻[12]在檢測出特征區(qū)域后，用外包點集進行曲線擬合來調(diào)整邊緣點。此外，文獻[9]提出將局部ASM與全局ASM結(jié)合的多模板ASM方法以提高單一模型對局部區(qū)域特征點定位的準(zhǔn)確度。然而，這些算法都沒有針對性的解決嘴巴特征點定位錯誤的情況。

本文從消除嘴巴特征點定位錯誤的角度出發(fā)，基于計算簡單、定位速度快、準(zhǔn)確度高且無參的顯示形狀回歸算法(explicit shape regression, ESR)，通過嘴巴狀態(tài)分類器獲取嘴巴狀態(tài)標(biāo)簽，并在ESR定位回歸過程中對每次回歸的結(jié)果進行強形狀約束，達到人臉形狀估計中嘴巴特征點的精確定位。

2 算法流程

2.1 算法框架

本文算法框架如圖2所示。輸入一副人臉圖像，1)通過一個定位7個關(guān)鍵角點的ESR人臉對齊算法找出嘴角點，以嘴角點橫向距離的1.3倍為寬，截取1:2高寬比的嘴巴矩形區(qū)域送入嘴巴狀態(tài)分類器；2)嘴巴狀態(tài)分類器將送入的嘴巴區(qū)域圖像分為不同的狀態(tài)。其中，基于HSV的嘴巴狀態(tài)分類器將嘴巴分為張開與非張開；基于卷積神經(jīng)網(wǎng)絡(luò)的分類器將嘴巴分為張開、閉合與微張；3)根據(jù)獲取的嘴巴狀態(tài)標(biāo)簽，結(jié)合輸入的人臉圖像，在訓(xùn)練好的定位68個點的ESR人臉對齊算法模型回歸過程中，加入與獲取嘴巴狀態(tài)標(biāo)簽對應(yīng)的嘴巴特征點強形狀約束，得到最終的人臉形狀。接下來介紹與本文方法相關(guān)的ESR人臉對齊算法、嘴巴狀態(tài)分類器以及強形狀約束策略的應(yīng)用細(xì)節(jié)。

圖2 本文算法流程

2.2 ESR人臉對齊算法

ESR人臉對齊算法是一個雙層級聯(lián)的 booste-d(增強)回歸模型，由級聯(lián)姿態(tài)回歸算法(cascaded pose regression，CPR)[6]發(fā)展而來。ESR模型的學(xué)習(xí)與人臉灰度圖像、初始化形狀以及真實人臉形狀直接相關(guān)。ESR算法結(jié)構(gòu)如圖3所示，模型第一層以逐層添加的形式將T個回歸器(R1,R2,…,RT)連接，每一個回歸器Rt由K個弱回歸器(r1,r2,…，rK)連接而成，組成模型的第2層。在每個第1層回歸器中，隨機選擇P個候選特征點，并將其位置用局部坐標(biāo)[3]表示，然后將候選特征點的灰度值兩兩相減組成P2灰度差分特征送入第2層弱回歸器。每個第2層弱回歸器根據(jù)選中的F個特征和閾值將特征空間(所有訓(xùn)練樣本)劃分到2F個容器中，由每個容器輸出更新形狀δS，計算方法如公式(1)、(2)所示。

圖3 ESR算法結(jié)構(gòu)示意圖

在測試過程中，ESR算法隨機為測試樣本選擇M個初始形狀，并取M個預(yù)測結(jié)果的平均值作為最終的人臉預(yù)測形狀Spredict，如式(4):

2.3 嘴巴狀態(tài)分類器

2.3.1 嘴巴區(qū)域提取

ESR的特征點位置預(yù)測時間主要與候選特征點個數(shù)以及回歸層數(shù)有關(guān)[3]，其定位精度由粗到細(xì)。圖4為當(dāng)?shù)?層回歸器個數(shù)T=10時，ESR算法在定位進行到不同階數(shù)的第1層回歸器時得到的誤差統(tǒng)計結(jié)果。可以看出，在第3層回歸時特征點位置已經(jīng)基本確定，之后的回歸誤差下降已經(jīng)不多，主要是特征點位置的微調(diào)(圖5)。因此，本文在提取嘴巴區(qū)域時僅將回歸進行到T=3。由于劃定區(qū)域并不需要細(xì)節(jié)特征點，我們預(yù)先訓(xùn)練一個包含7個關(guān)鍵角點(圖2)的ESR定位模型找出嘴角位置，然后按照2.1中的方法獲取嘴巴區(qū)域圖像，送入嘴巴狀態(tài)分類器中。

圖4 ESR定位過程誤差

圖5 ESR回歸過程特征點位置

2.3.2 基于HSV顏色空間的嘴巴狀態(tài)分類器

牙齒區(qū)域與周圍像素的顏色有著明顯的區(qū)別，主要呈現(xiàn)為白色。在實際中，很大一部分嘴巴張開的情況下是露出牙齒的，因此可以通過在顏色空間中區(qū)分白色區(qū)域確定一部分嘴巴張開的情況。在圖像顏色空間中，HSV顏色空間[13]最能反應(yīng)眼睛對顏色的感知，相比紅綠藍(red green blue，RGB)這種不均勻的顏色空間而言，更適用于基于顏色的圖像分割，相比其他的圖像分割算法也具有簡單、快速的特點。

HSV顏色空間模型如圖6所示，可以看作是一個倒置圓錐體，其中，H表示色調(diào)，S表示飽和度，V表示亮度。根據(jù)Androutsos等[14]對HSV顏色空間的劃分，亮度大于75%并且飽和度小于20%為白色區(qū)域。在本文中將飽和度和亮度均轉(zhuǎn)換到[0,255]，并將飽和度范圍在[0,35]、亮度區(qū)間為[200,255]的像素點劃定為白色點。在HSV顏色空間中遍歷嘴巴區(qū)域的色彩信息，計算白色像素點的累計值，當(dāng)累計值大于閾值μ時，將嘴巴判定為張開的狀態(tài)；否則，嘴巴狀態(tài)標(biāo)簽為非張開。

圖6 HSV顏色空間

2.3.3 基于CNN的嘴巴狀態(tài)分類器

使用HSV顏色空間進行判別具有計算簡單、直接的特點，但因為拍照環(huán)境的影響，牙齒可能存在偏彩色的現(xiàn)象，僅僅以牙齒露出時呈現(xiàn)白色這一先驗信息作為分析并不完備。近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)在目標(biāo)識別、圖像分類等圖像處理領(lǐng)域取得了十分顯著的效果，有著越來越深入的研究和應(yīng)用。相對SVM等傳統(tǒng)的分類方法，卷積神經(jīng)網(wǎng)絡(luò)是一種端到端的模型，即直接將最初的數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，通過網(wǎng)絡(luò)自構(gòu)建的復(fù)雜函數(shù)進行特征提取、分類、回歸等操作。

本文設(shè)計了一個基于CNN的嘴巴狀態(tài)分類器。將訓(xùn)練樣本中的嘴巴分為張開、閉合和微張3種狀態(tài)，分類標(biāo)準(zhǔn)為嘴巴對稱線上真實特征點的垂直距離。如圖7所示，對于長矩形框內(nèi)的4個關(guān)鍵點，令小圓圈內(nèi)的兩個外邊緣特征點的垂直距離為Dou，小方框內(nèi)兩個內(nèi)邊緣特征點的垂直距離為Din。當(dāng)Din與Dou比值大于0.35時，將嘴巴標(biāo)定為張開；小于0.1時標(biāo)定為閉合；否則標(biāo)定為微張。由于問題并不復(fù)雜且輸入圖像不大，參考LeNet-5[15]架構(gòu)設(shè)計網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如表1所示，使用ReLU(rectified linear units)[16]函數(shù)作為激活函數(shù)，除最后一個全連接層fc2外，卷積層conv1、conv2和全連接層fc1都接有激活函數(shù)。對于訓(xùn)練樣本(嘴巴圖像)，使用平移和旋轉(zhuǎn)實現(xiàn)簡單的對齊，然后將尺寸調(diào)整為16×32并將像素值歸一化到[0,1]。訓(xùn)練數(shù)據(jù)按9:1劃分為訓(xùn)練集和驗證集，使用隨機梯度下降法訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率為0.01，隨著迭代次數(shù)的增加按比例衰減，當(dāng)網(wǎng)絡(luò)在驗證集上的分類準(zhǔn)確率不再上升時停止訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練完成后，輸入嘴巴圖像，在網(wǎng)絡(luò)中進行一次前傳獲取嘴巴狀態(tài)標(biāo)簽。該嘴巴狀態(tài)分類器的具體設(shè)計參數(shù)以及數(shù)據(jù)流(每個層的輸出)均在表1中展示。

圖7 嘴巴特征點示意圖

表1 基于CNN的嘴巴狀態(tài)分類器

2.4 強形狀約束定位

在人臉對齊算法中，不同部位人臉特征點之間的位置關(guān)系(形狀約束)作為一個隱含的先驗用于特征點的估計中。這種形狀約束是人臉固有的特征，如眼睛位置應(yīng)在眉毛的下方，鼻子應(yīng)在嘴巴上方，這里，稱其為弱形狀約束。然而，對于具體的狀態(tài)細(xì)節(jié)，例如眼睛睜閉、嘴巴張閉時，局部區(qū)域特征點之間的位置應(yīng)滿足怎樣的距離關(guān)系，弱形狀約束并未涉及。在2.3節(jié)中使用嘴巴狀態(tài)分類器得到了嘴巴狀態(tài)標(biāo)簽，針對不同的嘴巴狀態(tài)，可以在人臉形狀估計過程中對嘴巴區(qū)域特征點進行強形狀約束。算法流程如圖8所示。

將測試圖像以及嘴巴狀態(tài)標(biāo)簽作為輸入，并加載訓(xùn)練好的模型，然后在形狀回歸估計過程中為每一個回歸器的形狀更新添加如式(5)所示的強形狀約束:

式中:Din、Dout分別表示上下嘴唇內(nèi)邊緣特征點對之間的垂直距離和外邊緣特征點對之間的垂直距離。如圖9所示，點51和59、52和58、53和57 為3組外邊緣特征點對，分別與點62和68、63和67、64和66這三組內(nèi)邊緣特征點對相對應(yīng)，圖7為圖9嘴巴區(qū)域的放大圖，更直觀地表示了特征點對的對應(yīng)關(guān)系。

圖8 形狀預(yù)測流程圖

圖9 68特征點位置示意

與2.3.3中的嘴巴分類標(biāo)準(zhǔn)一致，在形狀約束更新時，選取嘴巴閉合時對應(yīng)的λc為0.1，嘴巴張開時對應(yīng)的λo為0.35。由于非張開和微張這兩種嘴巴狀態(tài)很難進行基于距離的強形狀約束，因此，本文只是對嘴巴張開、閉合狀態(tài)進行強形狀約束，對于基于HSV的嘴巴狀態(tài)分類器預(yù)測的非張開狀態(tài)和基于CNN的嘴巴狀態(tài)分類器預(yù)測的微張狀態(tài)，在人臉特征點定位時則不進行強形狀約束。

3 實驗分析

3.1 數(shù)據(jù)集

在模型訓(xùn)練和測試過程中，我們共使用到3個數(shù)據(jù)庫，即LFPW數(shù)據(jù)集、Helen數(shù)據(jù)集以及w-300中的標(biāo)記自然人臉庫(annotated faces in the wild，AFW)。這些數(shù)據(jù)集中的人臉圖像包含豐富的外貌特征和人臉形狀(姿態(tài)、表情)，具有一定的挑戰(zhàn)性，在近些年的人臉識別等研究領(lǐng)域中經(jīng)常使用。LFPW數(shù)據(jù)庫中的圖像全部通過web獲取，目前可獲得的數(shù)據(jù)包含811個訓(xùn)練樣本以及224個測試樣本；Helen數(shù)據(jù)庫中的人臉圖像為分辨率較高的網(wǎng)絡(luò)圖像，有利于精確的人臉特征點定位研究，該數(shù)據(jù)庫包含330個測試樣本以及2 000個訓(xùn)練樣本；AFW數(shù)據(jù)庫共包含337副圖像。在本文的實驗中，訓(xùn)練數(shù)據(jù)(以下稱本文訓(xùn)練集)由AFW數(shù)據(jù)庫以及Helen、LFPW數(shù)據(jù)庫的訓(xùn)練集組成，大小為3 148;測試數(shù)據(jù)(以下稱本文測試集)由LFPW、Helen數(shù)據(jù)庫的測試集組成，大小為554。本文方法對每個特征點定位誤差Ei的評價指標(biāo)為預(yù)測位置與真正位置的歐式距離和雙眼中心真實歐式距離的比例，如式(8)所示

3.2 實驗結(jié)果

除了已經(jīng)在算法流程部分交代過的，本文實驗的一些其他的參數(shù)選取如下：在基于HSV顏色空間的嘴巴狀態(tài)分類器中，選擇閾值μ為15；本文方法共需訓(xùn)練2個ESR模型，即僅定位7個關(guān)鍵角點的(圖2)用于嘴巴位置初選取的ESR模型和包含68個特征點(圖9)用于人臉形狀估計的ESR模型。前者的訓(xùn)練過程包含第1個回歸器個數(shù)T=10，第2層回歸器個數(shù)K= 100，候選特征點個數(shù)P=100，并僅將形狀預(yù)測過程進行到T=3；后者的訓(xùn)練過程采用文獻[3]中給出的最佳參數(shù)，即第1個回歸器個數(shù)T=10，第2層回歸器個數(shù)K=500，候選特征點個數(shù)P=400，測試過程則按照圖8進行。

圖10為本文方法的部分實驗結(jié)果。(a)表示直接用訓(xùn)練好的ESR模型獲取的嘴巴特征點定位結(jié)果?？梢钥闯?，嘴唇內(nèi)邊緣特征點的定位存在明顯錯誤；(b)表示本文方法的定位結(jié)果；(c)表示手工標(biāo)定的嘴巴特征點位置?？梢钥闯觯?jīng)過強形狀約束，本文方法得到的嘴唇內(nèi)邊緣特征定位幾乎完全符合真實情況，錯誤情況得到極大改善。

(a)未加強形狀約束的原始ESR

(b)加強形狀約束的ESR

(c)手工標(biāo)定

表2 內(nèi)邊緣特征點定位準(zhǔn)確度

表3 內(nèi)邊緣特征點在測試集上的平均誤差

表4 分類正確時內(nèi)邊緣特征點在測試集上的平均誤差

圖11 不同方法人臉特征點定位誤差比較圖

可以看出，當(dāng)使用與測試數(shù)據(jù)對應(yīng)的訓(xùn)練數(shù)據(jù)訓(xùn)練模型時(SESR)，模型僅僅提高了嘴角的特征點定位準(zhǔn)確度(如圖虛線矩形框所示)，而其他部位特征點的定位誤差反而增大，模型泛化能力和魯棒性明顯下降；而本文方法(CESR)不僅明顯降低嘴唇特征點定位誤差(如圖實線矩形框所示)，而且與OESR定位曲線幾乎完全重合，完全不對其他區(qū)域的特征點定位結(jié)果造成影響。本文方法在保證特征點定位模型魯棒性的同時，提高了嘴唇內(nèi)邊緣特征點的定位精度。這對于唇型識別、表情識別、追蹤、圖像匹配等都具有非常重要的意義。此外，本文提出的強形狀約束思想也可以根據(jù)具體情況應(yīng)用于其他部位(如眼睛)特征點定位精確上。

4 結(jié)束語

本文針對人臉對齊算法中嘴巴區(qū)域特征點的定位錯誤，基于具有定位速度和精度優(yōu)勢的ESR算法，提出了一種基于嘴巴狀態(tài)約束的改進的人臉特征點定位算法。在不影響其他特征點定位精度的情況下，本文算法大大改善了在嘴巴張開和閉合情況下嘴唇內(nèi)邊緣特征點的定位錯誤情況，顯著提高了嘴唇內(nèi)邊緣特征點的定位準(zhǔn)確度，具有很好魯棒性。此外，本文提出了嘴巴狀態(tài)分類器這一人臉局部狀態(tài)分類的概念，在人臉對齊過程增加了先驗信息，為局部特征點定位精確化提供了一種可行的思路。

由于本文算法主要針對嘴巴狀態(tài)進行嘴巴區(qū)域的約束調(diào)優(yōu)，因此對嘴巴狀態(tài)分類器的定位精度要求很高。雖然我們的算法可以有效地提高嘴巴特征點的定位精度，但嘴巴狀態(tài)分類器的分類準(zhǔn)確率還有很大的提升空間。因此，研究更加準(zhǔn)確且魯棒的嘴巴狀態(tài)分類器將是我們下一步的重點。

[1]COOTES T F, TAYLOR C J, COOPER D H, et al. Active shape models-their training and application[J]. Computer vision and image understanding, 1995, 61(1): 38-59.

[2]COOTES T F, EDWARDS G J, TAYLOR C J. Active appearance models[M]//BURKHARDT H, NEUMANN B. Computer Vision-ECCV’98. Berlin Heidelberg: Springer, 1998: 484-498.

[3]CAO Xudong, WEI Yichen, WEN Fang, et al. Face alignment by explicit shape regression[J]. International journal of computer vision, 2014, 107(2): 177-190.

[4]REN Shaoqing, CAO Xudong, WEI Yichen, et al. Face alignment at 3000 FPS via regressing local binary features[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, OH, USA, 2014: 1685-1692.

[5]BURGOS-ARTIZZU X P, PERONA P, DOLLR P. Robust face landmark estimation under occlusion[C]//Proceedings of 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, VIC, 2013: 1513-1520.

[7]CRISTINACCE D, COOTES T F. Boosted regression active shape models[C]//Proceedings of the British Machine Vision Conference 2007. Warwick, UK, 2007: 2.

[8]SAUER P, COOTES T F, TAYLOR C J. Accurate regression procedures for active appearance models[C]//Proceedings of the British Machine Vision Conference 2011. Dundee, 2011: 681-685.

[9]李英, 賴劍煌, 阮邦志. 多模板ASM方法及其在人臉特征點檢測中的應(yīng)用[J]. 計算機研究與發(fā)展, 2007, 44(1): 133-140. LI Ying, LAI Jianhuang, YUEN Pongchi. Multi-template ASM and its application in facial feature points detection[J]. Journal of computer research and development, 2007, 44(1): 133-140.

[10]ZENG A, BODDETI V N, KITANI K M, et al. Face alignment refinement[C]//Proceedings of 2015 IEEE Winter Conference on Applications of Computer Vision. Waikoloa, HI, USA, 2015: 162-169.

[11]徐國慶. 低分辨圖像眼睛精確定位方法[J]. 計算機應(yīng)用研究, 2015, 32(11): 3501-3503, 3512. XU Guoqing. Precise eye location in low resolution image[J]. Application research of computers, 2015, 32(11): 3501-3503, 3512.

[12]雷林華, 朱虹, 涂善彬, 等. 一種人臉網(wǎng)格模型的特征區(qū)域細(xì)節(jié)調(diào)整方法[J]. 計算機工程與應(yīng)用, 2006, 44(16): 194-196. LEI Linhua, ZHU Hong, TU Shanbin, et al. Adaptation method to adjust characteristic region of facial wire frame model in detail[J]. Computer engineering and applications, 2006, 44(16): 194-196.

[13]張國權(quán), 李戰(zhàn)明, 李向偉, 等. HSV空間中彩色圖像分割研究[J]. 計算機工程與應(yīng)用, 2010, 46(26): 179-181. ZHANG Guoquan, LI Zhanming, LI Xiangwei, et al. Research on color image segmentation in HSV space[J]. Computer engineering and applications, 2010, 46(26): 179-181.

[14]ANDROUTSOS D, PLATANIOTIS K N, VENETSANOPOULOS A N. A novel vector-based approach to color image retrieval using a vector angular-based distance measure[J]. Computer vision and image understanding, 1999, 75(1/2): 46-58.

[15]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[16]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems 25: 26th Annual Conference on Neural Information Processing Systems. Lake Tahoe, Nevada, USA, 2012: 1097-1105.

師亞亭，女，1991年生，碩士研究生，主要研究方向為機器視覺。參與國家自然科學(xué)基金項目1項，企業(yè)合作項目1項。

李衛(wèi)軍，男，1975年生，研究員，博士生導(dǎo)師，主要研究方向為機器視覺、模式識別與智能系統(tǒng)、高維計算、近紅外定性分析技術(shù)。主持國家自然科學(xué)基金項目2項，企業(yè)合作研究項目3項，發(fā)表學(xué)術(shù)論文30余篇。

A facial feature point locating algorithm based on mouth-state constraints

SHI Yating, LI Weijun, NING Xin, DONG Xiaoli, ZHANG Liping

(Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China)

The precise locations of the feature points of the mouth critically influence applications which use feature matching, expression analysis, lip recognition and driving behavior analysis, etc. However, when estimating facial shapes using current facial landmarks detecting methods, the locating error of feature points around the mouth region is relatively large. In order to solve this problem, two kinds of ‘mouth-state’ classifiers were proposed, one was based on HSV color space and the other on a convolutional neural network, with a strong shape constraint strategy focusing on the spatial relationship between local facial landmarks. Furthermore a facial feature point locating method was presented based on the mouth-state constraint, which constrains the predicted explicit shape regression (ESR) result and is more accurate as regards locating facial landmarks. Compared with the original ESR algorithm, this method significantly improves the accuracy of locating landmarks for the mouth for both the Helen and LFPW datasets, and has no impact on the robustness of facial shape prediction.

facial feature points location; ESR; mouth-state classifier; strong shape constraint; HSV color space; convolutional neural network

2016-02-06.

日期：2016-07-18.

國家自然科學(xué)基金項目(61572458).

李衛(wèi)軍.E-mail：wjli@semi.ac.cn.

TP183

A

1673-4785(2016)05-0578-08

10.11992/tis.201602006

http://www.cnki.net/kcms/detail/23.1538.TP.20160718.1522.010.html

師亞亭，李衛(wèi)軍，寧欣，等.基于嘴巴狀態(tài)約束的人臉特征點定位算法[J]. 智能系統(tǒng)學(xué)報， 2016, 11(5): 578-585.

英文引用格式：SHI Yating,LI Weijun, NING Xin,et al. A facial feature point locating algorithm based on mouth-state constraints[J]. CAAI transactions on intelligent systems, 2016,11(5):578-585.