李遠(yuǎn)豪，甘俊英

?

深度自編碼器用于人臉美麗吸引力預(yù)測(cè)的研究

李遠(yuǎn)豪，甘俊英

（五邑大學(xué) 信息工程學(xué)院，廣東 江門(mén) 529020）

為了挖掘人臉美麗的內(nèi)在本質(zhì)，本文提出了基于深度自編碼器的人臉美麗吸引力預(yù)測(cè)模型：首先利用大量無(wú)標(biāo)簽人臉圖像數(shù)據(jù)對(duì)深度自編碼器進(jìn)行預(yù)訓(xùn)練，然后結(jié)合Polak-Ribiere- Polyak共軛梯度反向傳播算法對(duì)深度自編碼器的權(quán)值進(jìn)行微調(diào)，從而建立深度自編碼器的人臉美麗特征提取模型. 最后經(jīng)過(guò)支持向量機(jī)（SVM）分類(lèi)器對(duì)人臉圖像進(jìn)行美麗預(yù)測(cè). 實(shí)驗(yàn)結(jié)果顯示SVM分類(lèi)器預(yù)測(cè)的平均識(shí)別率為77.3%，表明深度自編碼器用于人臉美麗吸引力預(yù)測(cè)是有效的.

人臉美麗吸引力；預(yù)測(cè)模型；深度自編碼器

人臉美最易感知卻很難定義，近年來(lái)，人臉美麗吸引力預(yù)測(cè)成了人工智能機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)[1-5]，其成果將在美容整形、智能感知和人臉圖像處理等領(lǐng)域有廣闊的應(yīng)用前景. 人臉美麗吸引力預(yù)測(cè)模型主要分為兩個(gè)部分：美麗特征提取和機(jī)器學(xué)習(xí)預(yù)測(cè)[6]. 目前，人臉美麗吸引力預(yù)測(cè)所采用的美麗特征大多是幾何特征[7,8]，在人臉圖像上標(biāo)注一些特征點(diǎn)，依據(jù)描述人臉和諧比例的經(jīng)典準(zhǔn)則（如近古典規(guī)則、黃金比例等），將美麗的人臉特征點(diǎn)提取出來(lái). 但是，標(biāo)注這些人臉特征點(diǎn)不僅需要大量人工，而且還需要較強(qiáng)的專(zhuān)業(yè)知識(shí)，既費(fèi)時(shí)又費(fèi)力. 預(yù)測(cè)人臉美麗吸引力所采用的另一種特征是紋理特征[9]. 如文獻(xiàn)[10,11]使用特征臉（Eigenface)來(lái)進(jìn)行人臉美麗預(yù)測(cè)，特征臉是在原始灰度人臉圖像上進(jìn)行主成分分析（Principal Component Analysis，PCA），得到以某種特定模式排列的光區(qū)與暗區(qū)，其中的圖像即反映了人臉的特征信息，它不需要人工標(biāo)注人臉特征點(diǎn).

本文提出一種基于深度自編碼器的人臉美麗特征提取模型. 采用的自編碼器（Autoencoder)與PCA算法類(lèi)似，可將高維數(shù)據(jù)轉(zhuǎn)化為低維數(shù)據(jù)，且比PCA擁有更強(qiáng)的表達(dá)能力，是非線性的；同時(shí)，不需要人工標(biāo)注人臉特征點(diǎn)就能提取人臉的紋理特征并讓自編碼器學(xué)習(xí)人臉的美麗特征，從而讓機(jī)器自動(dòng)感知美麗特征. 在機(jī)器學(xué)習(xí)預(yù)測(cè)階段采用了SVM分類(lèi)器進(jìn)行預(yù)測(cè).

1 相關(guān)概念

1.1 單層隱藏層的自編碼器

單層隱藏層的自編碼器是含有一層隱藏層的前饋神經(jīng)網(wǎng)絡(luò)，該自編碼器主要是在輸出層重構(gòu)出原始輸入數(shù)據(jù)的. 與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的主要區(qū)別是自編碼器的輸出層含有的神經(jīng)元數(shù)目跟輸入層所含有的神經(jīng)元數(shù)目一樣；而對(duì)于含有多層隱藏層的自編碼器，最深的隱藏層的神經(jīng)元數(shù)目總是小于輸入層和輸出層.

圖1 單層隱藏層自編碼器的結(jié)構(gòu)

1.2 局限玻爾茲曼機(jī)

RBM是兩層的神經(jīng)網(wǎng)絡(luò)，連接特征檢測(cè)器的像素能量函數(shù)[12]505為

權(quán)值增量[12]506為

2 深度自編碼器人臉美麗吸引力預(yù)測(cè)模型

圖2 深度自編碼器建立過(guò)程

本文的人臉美麗吸引力預(yù)測(cè)模型如圖3所示. 在特征提取階段，人臉圖像先要進(jìn)行均衡化、歸一化等預(yù)處理，預(yù)處理后的人臉圖像作為已經(jīng)訓(xùn)練好的深度自編碼器編碼網(wǎng)絡(luò)輸入，進(jìn)行人臉美麗特征提取. 在預(yù)測(cè)階段，把提取的人臉美麗特征作為已經(jīng)訓(xùn)練好SVM分類(lèi)器輸入并進(jìn)行預(yù)測(cè)，最終得到人臉美麗吸引力的預(yù)測(cè)結(jié)果.

圖3 人臉美麗吸引力預(yù)測(cè)模型

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)對(duì)象

圖4 人臉圖像對(duì)應(yīng)的美麗分類(lèi)

3.2 實(shí)驗(yàn)結(jié)果與分析

表1 各類(lèi)別的實(shí)驗(yàn)數(shù)據(jù)

圖5顯示了深度自編碼器第1隱藏層所學(xué)到的部分特征圖像. 可以看出，第1層隱藏層學(xué)到的權(quán)值圖像感觀上都是人臉圖像，這主要是因?yàn)樯窠?jīng)元學(xué)到人臉圖像擁有共同的特征. 有的權(quán)值圖像甚至能辨別人臉的瞳孔、鼻孔和嘴唇的中間橫線，而這些特征與人臉美麗特征相關(guān). 由此可以看出，第1層隱藏層可學(xué)到一些人臉美麗特征.

圖5 深度自編碼器第1隱藏層的部分權(quán)值圖像

圖6顯示了特征維數(shù)與預(yù)測(cè)準(zhǔn)確率之間的關(guān)系. 預(yù)測(cè)準(zhǔn)確率是SVM分類(lèi)器正確預(yù)測(cè)人臉圖像幅數(shù)與測(cè)試人臉圖像總數(shù)之比，即識(shí)別率. 特征維數(shù)從15維開(kāi)始，每次增加5維，直至45維. 從圖6可以看出，在15維到30維這個(gè)階段，隨著特征維數(shù)的增加預(yù)測(cè)準(zhǔn)確率增高. 在30維處，預(yù)測(cè)準(zhǔn)確率最高，為77.3%. 在30維到45維這個(gè)階段，隨著特征維數(shù)的增加預(yù)測(cè)準(zhǔn)確率降低. 由此看出，30維特征為最佳維數(shù)，預(yù)測(cè)的效果最好.

圖6 特征維數(shù)與預(yù)測(cè)準(zhǔn)確率關(guān)系圖

表2是特征維數(shù)為30時(shí)各類(lèi)美麗預(yù)測(cè)的實(shí)驗(yàn)結(jié)果. 從表2中可以看出，對(duì)于150幅的測(cè)試人臉數(shù)據(jù)，識(shí)別率最高的是類(lèi)別1（美）達(dá)到81.1%；其次是類(lèi)別3（丑），識(shí)別率為76.0%；效果最差的是類(lèi)別2（一般），識(shí)別率為74.5%；平均識(shí)別率達(dá)到77.3%. 由此可知，深度自編碼器編碼網(wǎng)絡(luò)提取的人臉美麗特征用于人臉美麗吸引力預(yù)測(cè)是可行的.

表2 特征維數(shù)為30時(shí)的實(shí)驗(yàn)結(jié)果

4 總結(jié)與展望

本文采用深度自編碼器編碼網(wǎng)絡(luò)提取人臉美麗特征，并用SVM分類(lèi)器分類(lèi)預(yù)測(cè)，預(yù)測(cè)的平均識(shí)別率為77.3%. 可以看到，運(yùn)用深度自編碼器編碼網(wǎng)絡(luò)提取的特征作為人臉美麗特征是可行的，取得了較好的預(yù)測(cè)效果. 自編碼器訓(xùn)練學(xué)習(xí)是一個(gè)復(fù)雜過(guò)程，本文研究結(jié)果所學(xué)到的特征魯棒性仍不太高，這也有待于后續(xù)深入研究.

[1] MAO Huiyun, JIN Lianwen, DU Minghui. Automatic classification of Chinese female facial beauty using support vector machine [C]//Proceedings of the 2009 IEEE International Conference on Systems, Man, and Cybernetics, [s.l.]: SMC, 2009: 4842-4846.

[2] SUTIC D, BRESKOVIC I, HUIC R, et al. Automatic evaluation of facial attractiveness [J]. MIPRO, 2010, 24(28): 1339-1342.

[3] GRAY D, YU Kai, XU Wei, et al. Predicting Facial Beauty without Landmarks [C]//Proceedings of the 11th European Conference on Computer Vision, [S.I.]: Springer Berlin Heidelberg, 2010:434-447.

[4] CHEN Yili, MAO Huiyun, JIN Lianwen. A novel method for evaluating facial attractiveness [C]//Proceedings of the International Conference on Audio Language and Image Processing, [S.I.]:IEEE, 2010: 1382-1386.

[5] KAGIAN A, DROR G, LEYVAND T, et al. A machine learning predictor of facial attractiveness revealing human-like psychophysical biases [J]. Vision Research, 2008(48): 235-243.

[6] 毛慧蕓，金連文，杜明輝. 基于幾何特征及C4.5的人臉美麗分類(lèi)方法[J]. 模式識(shí)別與人工智能，2010, 23(6): 809-814.

[7] KAGIAN A, DROR G, LEYVAND T, et al. A humanlike predictor of facial attractiveness [J]. Advances in Neural Information Processing Systems, 2006: 649-656.

[8] GUNES H, PICCARDI M. Assessing facial beauty through proportion analysis by image processing and supervised learning [J]. Human-Computer Studies, 2006(64): 1184-1199.

[9] FAN Jintu, CHAU K P, WAN Xianfu, et al. Prediction of facial attractiveness from facial proportions [J]. Pattern Recognition, 2012, 45(6): 2326-2334.

[10] EISENTHAL Y, DROR G, RUPPIN E. Facial attractiveness: beauty and the machine [J]. Neural Computation, 2006, 18(1): 119-142.

[11] 毛慧蕓. 人臉美麗吸引力的特征分析與機(jī)器學(xué)習(xí)[D]. 廣州：華南理工大學(xué)，2011.

[12] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 313(5786): 504-507.

[13] SALAKHUTDINOV R, MNIH A, HINTON G. Restricted Boltzmann machines for collaborative filtering [C]//Proceedings of the 24th International Conference on Machine Learning, University of Toronto, Toronto: ACM, 2007:791-798.

[14] THE Y W, HINTON G E. Rate-coded restricted Boltzmann machines for face recognition [J]. Advances in Neural Information Processing Systems, 2001: 908-914.

[責(zé)任編輯：韋 韜]

A Study of Facial Beauty Attractiveness Prediction Based on the Deep Autoencoder

LIYuan-hao, GANJun-ying

(School of Information Engineering, Wuyi University, Jiangmen 529020, China)

To explore the inner essence of facial beauty, this paper proposes a facial beauty attractiveness prediction model based on Deep Autoencoder. This study pretrains the Deep Autoencoder with a great deal of unlabeled facial image data, then fine-tunes the Deep Autoencoder with some labeled facial image data in the light of the Polak Ribiere Polyak Conjugate Gradient Backpropagation, builds up a facial feature extraction model for the Deep Autoencoder, and finally predicts the beauty attractiveness of human facial images with a SVM classifier. Experimental results show that the average recognition rate of the SVM classifier is 77.3%, indicating that the Deep Autoenceder is effective for predicting human facial attractiveness.

facial beauty attractiveness; prediction models; Deep Autoenceder

1006-7302（2014）04-0049-06

TP391.41

A

2014-03-26

國(guó)家自然科學(xué)基金資助項(xiàng)目（61072127，61372193，61070167）；廣東省自然科學(xué)基金資助項(xiàng)目（S2013010013311，10152902001000002，S2011010001085，S2011040004211）；廣東省高等學(xué)校高層次人才項(xiàng)目（粵教師函[2010]79號(hào)）

李遠(yuǎn)豪（1985—），男，廣西南寧人，在讀碩士生，研究方向?yàn)閳D像處理、模式識(shí)別；甘俊英，教授，博士，碩士生導(dǎo)師，通信作者，研究方向?yàn)閳D像信息處理、人機(jī)交互、圖像識(shí)別.