楊洋 王正群 徐春林 嚴(yán)陳 鞠玲

摘 要：針對(duì)顯式形狀回歸（ESR）對(duì)于一些面部遮擋、面部表情過(guò)大樣本定位精度低的問(wèn)題，提出一種自適應(yīng)窗回歸方法。首先，應(yīng)用先驗(yàn)信息為每張圖片生成精確的人臉框，用人臉框的中心點(diǎn)對(duì)人臉進(jìn)行特征映射，并進(jìn)行相似變換得到多個(gè)初始形狀;其次，提出一種自適應(yīng)窗口調(diào)整策略，基于先前回歸的均方誤差自適應(yīng)地調(diào)整特征窗口大小;最后，基于互信息（MI）的特征選擇策略，提出新的相關(guān)性計(jì)算方法，在候選像素集中選出最相關(guān)的特征。在三個(gè)公開(kāi)數(shù)據(jù)集LFPW、HELEN、COFW上，相較于ESR算法，所提方法的定位精度分別提升7.52%、5.72%和5.89%。實(shí)驗(yàn)結(jié)果表明，自適應(yīng)窗回歸方法可以有效提高人臉特征點(diǎn)定位精度。

關(guān)鍵詞：顯式形狀回歸;人臉特征點(diǎn)定位;相似人臉變換;自適應(yīng)窗回歸;互信息

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)的運(yùn)行環(huán)境為：Windows10 64位操作系統(tǒng)，8GB內(nèi)存，Intel Core i74700MQ 2.4GHz中央處理器，Matlab R2016a工作站。實(shí)驗(yàn)數(shù)據(jù)選用人臉特征點(diǎn)定位領(lǐng)域三大通用數(shù)據(jù)集：LFPW[18]、HELEN[19]、COFW[11]。LFPW是一個(gè)輕量級(jí)的圖片庫(kù)，圖片全部來(lái)源于網(wǎng)絡(luò)，包含各種姿態(tài)以及不同室外環(huán)境下的人臉圖片，共有1035張圖片。本文選擇其中811張圖片作為訓(xùn)練集，224張圖片作為測(cè)試集，每張圖片上面標(biāo)記了68個(gè)特征點(diǎn)坐標(biāo)。HELEN圖片庫(kù)共有2330張圖片，同樣來(lái)源于網(wǎng)絡(luò)。本文選取2000張作為訓(xùn)練圖片，其余330張作為測(cè)試圖片，每張圖片標(biāo)注68個(gè)特征點(diǎn)。COFW數(shù)據(jù)集是一個(gè)高遮擋且大姿態(tài)的數(shù)據(jù)集，由現(xiàn)實(shí)世界中有挑戰(zhàn)性的幾類圖片組成，例如：戴墨鏡的圖片、戴帽子的圖片、夸張表情的圖片以及大角度的側(cè)臉圖片等。該數(shù)據(jù)集可用來(lái)測(cè)試算法的魯棒性，共有1852張圖片，本文選擇1345張圖片作為訓(xùn)練集，剩余507張圖片作為測(cè)試集，每張圖片標(biāo)記29個(gè)特征點(diǎn)坐標(biāo)。

3.2 實(shí)驗(yàn)細(xì)節(jié)

參數(shù)設(shè)置 人臉初始化形狀個(gè)數(shù)M設(shè)為10，初始特征選擇窗口的長(zhǎng)度為0.3倍雙眼距離，第一級(jí)級(jí)聯(lián)回歸器的個(gè)數(shù)K設(shè)為10，第二級(jí)回歸器的個(gè)數(shù)L設(shè)為500，每次級(jí)聯(lián)回歸在人臉框范圍內(nèi)選擇的候選像素點(diǎn)個(gè)數(shù)N1設(shè)為500，在候選像素點(diǎn)中選出最相關(guān)的像素差個(gè)數(shù)N2設(shè)為5，式（5）中的β設(shè)為1000，式（12）中的θ設(shè)為0.025。

衡量指標(biāo) 為了衡量不同人臉定位的誤差，采用了一種對(duì)于不同尺寸人臉均適用的誤差評(píng)價(jià)指標(biāo)：

3.3 實(shí)驗(yàn)結(jié)果

3.3.1 與現(xiàn)存方法對(duì)比

為了驗(yàn)證本文提出的改進(jìn)算法是有效的，本文分別在LFPW、HELEN、COFW數(shù)據(jù)集上與ESR算法進(jìn)行對(duì)比。為了綜合衡量本算法的效果，本文還選擇了當(dāng)前特征點(diǎn)定位領(lǐng)域最先進(jìn)的三個(gè)算法：RCPR算法、SDM算法、LBF算法進(jìn)行對(duì)比。由表1可知：本文算法在LFPW和HELEN數(shù)據(jù)集上面的定位誤差都要小于上述四個(gè)算法，在COFW數(shù)據(jù)庫(kù)上面的定位誤差略大于RCPR算法。這是由于RCPR算法針對(duì)大面積遮擋與豐富面部表情的數(shù)據(jù)樣本進(jìn)行算法優(yōu)化，引入了樣本特征點(diǎn)是否遮擋這一先驗(yàn)信息，而COFW數(shù)據(jù)集上面大多數(shù)都是帶有遮擋的樣本，故RCPR算法在COFW數(shù)據(jù)集上面效果很好。本文算法通過(guò)相似變換的人臉初始化，可以有效減小面部尺度大小、面部偏轉(zhuǎn)角度以及面部表情帶來(lái)的誤差;通過(guò)自適應(yīng)由粗到細(xì)的窗口調(diào)節(jié)方法與基于互信息的特征選擇方法，可以有效地提取出面部最有代表性的特征，也可以在一定程度上對(duì)面部遮擋區(qū)域進(jìn)行過(guò)濾，減少遮擋區(qū)域特征的提取，提高遮擋樣本的定位精度。

4 結(jié)語(yǔ)

本文對(duì)ESR算法進(jìn)行了以下改進(jìn)：首先，應(yīng)用先驗(yàn)信息為每張圖片生成人臉框，然后進(jìn)行特征映射，再進(jìn)行相似變換得到多個(gè)初始形狀;其次，提出一種自適應(yīng)由粗到細(xì)的特征選擇方法，基于先前回歸的均方誤差自適應(yīng)地調(diào)整特征窗口大小;最后，改進(jìn)了相關(guān)性公式，使用基于互信息的特征選擇方法，在候選像素集中選出最相關(guān)的特征。在三個(gè)公開(kāi)數(shù)據(jù)集LFPW、HELEN、COFW上的實(shí)驗(yàn)結(jié)果表明，本文的改進(jìn)算法相較于ESR算法定位精度有較大提升。

然而，本文算法對(duì)于大面積遮擋樣本的定位并不是十分精準(zhǔn)，存在細(xì)小的誤差，并且，根據(jù)表1中的結(jié)果，本文算法的定位誤差在LFPW、HELEN、COFW數(shù)據(jù)集上是遞增的。這是因?yàn)槿齻€(gè)數(shù)據(jù)集中遮擋樣本所占比例依次遞增。由此可見(jiàn)，本文算法對(duì)于遮擋樣本的定位能力還有提升空間。未來(lái)工作，將集中在提升遮擋樣本的定位精度上，設(shè)計(jì)一種方法，可以在不使用遮擋信息的情況下，提高定位精度。

參考文獻(xiàn) （References）

[1] ??? VIOLA P， JONES M. Rapid object detection using a boosted cascade of simple features[C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2001： 511.

[2] ??? 陳凱星， 劉赟， 王金海，等. 基于遺傳機(jī)制和高斯變差的自動(dòng)前景提取方法[J]. 計(jì)算機(jī)應(yīng)用， 2017， 37（11）： 3231-3237.（CHEN K X，LIU Y， WANG J H， et al. Foreground extraction with genetic and difference of Guassian[J]. Journal of Computer Applications， 2017， 37（11）： 3231-3237.）

[3] ??? 張歡歡， 洪敏， 袁玉波. 基于極端學(xué)習(xí)機(jī)的人臉特征深度稀疏自編碼方法[J]. 計(jì)算機(jī)應(yīng)用，2018， 38（11）： 3193-3198.（ZHANG H H， HONG M， YUAN Y B. Deep sparse autoencoder using extreme learning machine for facial feature[J]. Journal of Computer Applications， 2018， 38（11）： 3193-3198.）

[4] ??? COOTES T F， TAYLOR C J， COOPER D H， et al. Active shape modelstheir training and application[J]. Computer Vision & Image Understanding， 1995， 61（1）： 38-59.

[5] ??? COOTES T F， EDWARDS G J， TAYLOR C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23（6）： 681-685.

[6] ??? KAZEMI V， SULLIVAN J. One millisecond face alignment with an ensemble of regression trees[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1867-1874.

[7] ??? DOLLAR P， WELINDER P， PERONA P. Cascaded pose regression[C]// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 1078-1085.

[8] ??? OZUYSAL M， CALONDER M， LEPETIT V， et al. Fast keypoint recognition using random ferns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）： 448-461.

[9] ??? CAO X， WEI Y， WEN F， et al. Face alignment by explicit shape regression[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2012： 2887-2894.

[10] ?? REN S， CAO X， WEI Y， et al. Face alignment at 3000 fps via regressing local binary features[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1685-1692.

[11] ?? BURGOSARTIZZU X P， PERONA P， DOLLAR P. Robust face landmark estimation under occlusion[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2014： 1513-1520.

[12] ?? XIONG X， TORRE F D L. Supervised descent method and its applications to face alignment[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 532-539.

[13] ?? SUN Y， WANG X， TANG X. Deep convolutional network cascade for facial point detection[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 3476-3483.

[14] ?? ZHOU E， FAN H， CAO Z， et al. Extensive facial landmark localization with coarsetofine convolutional network cascade[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops. Washington， DC： IEEE Computer Society， 2013： 386-391.

[15] ?? 賈項(xiàng)南， 于鳳芹， 陳瑩. 改進(jìn)的顯式形狀回歸人臉特征點(diǎn)定位算法[J]. 計(jì)算機(jī)應(yīng)用， 2018， 38（5）： 1289-1293. （JIA X N， YU F Q， CHEN Y. Improved explicit shape regression for face alignment algorithm[J]. Journal of Computer Applications， 2018， 38（5）： 1289-1293.）

[16] ?? YU L， LIU H. Efficient feature selection via analysis of relevance and redundancy[J]. Journal of Machine Learning Research， 2004， 5（12）： 1205-1224.

[17] ?? 黃玉琴， 潘華偉. 基于分類外形搜索的人臉特征點(diǎn)定位[J/OL]. 計(jì)算機(jī)應(yīng)用研究， 2019， 36（5） [2018-09-20]. http：//www.arocmag.com/article/02201905056.html.（HUANG Y Q， PAN H W. Face alignment based on classified shape searching[J/OL]. Application Research of Computers， 2019， 36（5） [2018-09-20]. http：//www.arocmag.com/article/02201905056.html.）

[18] ?? BELHUMEUR P N， JACOBS D W， KRIEGMAN D J， et al. Localizing parts of faces using a consensus of exemplars[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2930-2940.

[19] ?? LE V， BRANDT J， LIN Z， et al. Interactive facial feature localization[C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： SpringerVerlag， 2012： 679-692.