李向宇, 李慧盈,2

(1. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長春 130012；2. 吉林大學(xué) 符號計(jì)算與知識工程教育部重點(diǎn)實(shí)驗(yàn)室, 長春 130012)

隨著科技的發(fā)展和社會的進(jìn)步, 面部識別、 表情分析以及面部追蹤等面部應(yīng)用場景的需求越來越廣泛, 而面部對齊和面部配準(zhǔn)是這些應(yīng)用場景的關(guān)鍵技術(shù), 關(guān)鍵點(diǎn)檢測則是面部對齊和面部配準(zhǔn)的前提. 目前, 人臉關(guān)鍵點(diǎn)識別技術(shù)已經(jīng)成熟, 面部對齊和面部配準(zhǔn)的技術(shù)應(yīng)用也趨于完備[1-5], 但對于動物特征點(diǎn)識別的研究相對較少. 動物面部識別在農(nóng)業(yè)有廣泛需求, 而豬作為目前養(yǎng)殖最廣泛的動物, 對其進(jìn)行面部識別已成為該領(lǐng)域的研究熱點(diǎn). 豬臉的整體相似度較高, 且由于豬臉長期不清洗, 其面部特征也會受影響, 因此, 在動物臉部的識別中, 豬臉是較難識別的問題. 文獻(xiàn)[6]基于神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行了豬臉識別的研究, 但研究的數(shù)據(jù)集只包含10頭豬, 無法確認(rèn)該方法的泛化性. 在人臉識別領(lǐng)域, 通常以特征點(diǎn)識別的前提進(jìn)行大量數(shù)據(jù)的識別. 因此, 在豬臉識別領(lǐng)域, 同樣需要關(guān)鍵點(diǎn)識別的必要前提.

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中的一個研究方向, 其學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次, 在學(xué)習(xí)過程中獲得的信息對諸如文字、 圖像和聲音等數(shù)據(jù)的解釋有較大幫助[7]. 卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)是深度學(xué)習(xí)的一個重要分支, 卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò), 具有表征學(xué)習(xí)能力, 能按其階層結(jié)構(gòu)對輸入信息進(jìn)行平移不變分類, 因此也被稱為平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)[8-9]. 卷積神經(jīng)網(wǎng)絡(luò)常用于解決圖像問題. 卷積神經(jīng)網(wǎng)絡(luò)在人臉面部特征點(diǎn)識別方面應(yīng)用廣泛[10-19], 因此本文使用卷積神經(jīng)網(wǎng)絡(luò)解決豬臉特征點(diǎn)的檢測問題.

目前, 對于動物面部關(guān)鍵點(diǎn)檢測的研究報(bào)道較少, 而關(guān)于豬臉特征點(diǎn)檢測的方法尚未見文獻(xiàn)報(bào)道. 文獻(xiàn)[20]提出了一種綿羊關(guān)鍵點(diǎn)檢測算法, 應(yīng)用了級聯(lián)網(wǎng)絡(luò), 需大量的手工標(biāo)注數(shù)據(jù)； 文獻(xiàn)[21-23]研究了鳥類的特征點(diǎn)檢測, 但并未側(cè)重于面部關(guān)鍵點(diǎn)檢測； 文獻(xiàn)[24]提出了一種解決馬和羊面部關(guān)鍵點(diǎn)檢測的算法, 通過與人臉進(jìn)行結(jié)構(gòu)匹配實(shí)現(xiàn)特征點(diǎn)識別, 本文基于該方法, 提出一種豬臉關(guān)鍵點(diǎn)檢測的算法. 豬臉特征點(diǎn)識別的難點(diǎn)是數(shù)據(jù)集問題和特征點(diǎn)選擇問題. 目前有很多人類面部關(guān)鍵點(diǎn)數(shù)據(jù)集, 如AFLW數(shù)據(jù)集、 XM2VTS數(shù)據(jù)集、 FRGCV2數(shù)據(jù)集等， 但沒有可用的豬臉特征點(diǎn)數(shù)據(jù)集； 在采集豬臉過程中, 豬臉的嘴部通常會被鼻子遮住, 不能很好地進(jìn)行特征點(diǎn)標(biāo)注, 因此本文在文獻(xiàn)[24]方法的基礎(chǔ)上采用新的特征點(diǎn)標(biāo)注方法.

1 算法設(shè)計(jì)

1.1 算法結(jié)構(gòu)

本文算法的結(jié)構(gòu)基于文獻(xiàn)[24]的方法. 首先對豬臉的特征點(diǎn)進(jìn)行結(jié)構(gòu)計(jì)算, 與人臉數(shù)據(jù)集進(jìn)行匹配, 找出相似的人臉, 構(gòu)建匹配數(shù)據(jù)集, 對于形變神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練, 生成形變模型； 然后利用形變模型生成形變后的豬臉圖像, 對于人臉關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)進(jìn)行微調(diào)(fine-tuning), 生成豬臉關(guān)鍵點(diǎn)檢測模型. 算法整體思路如圖1所示.

圖1 算法整體思路Fig.1 Overall idea of algorithm

1.2 人臉匹配算法

人臉匹配算法首先要進(jìn)行特征點(diǎn)結(jié)構(gòu)計(jì)算, 對于豬臉匹配相似度最高的5張人臉圖像, 相似度的計(jì)算公式為

S=

(1)

(2)

其中xle和yle分別表示左眼的橫坐標(biāo)和縱坐標(biāo),xre和yre分別表示右眼的橫坐標(biāo)和縱坐標(biāo),xn和yn分別表示鼻尖的橫坐標(biāo)和縱坐標(biāo),xlm和ylm分別表示左嘴角的橫坐標(biāo)和縱坐標(biāo),xrm和yrm分別表示右嘴角的橫坐標(biāo)和縱坐標(biāo).有時(shí)由于面部姿態(tài)的原因, 可能缺失某只眼睛的特征點(diǎn), 當(dāng)左眼可見時(shí),l=1, 否則l=0； 當(dāng)右眼可見時(shí),r=1, 否則r=0.

豬臉與人臉的相似度通過夾角判斷.當(dāng)左右眼皆可見時(shí), 如圖2所示, 考慮通過雙眼連線中點(diǎn)的垂線與左嘴角和雙眼連線中點(diǎn)的連線的夾角, 利用這兩條邊的向量計(jì)算夾角的正弦值； 當(dāng)僅有左(右)眼可見時(shí), 如圖3所示, 考慮左(右)眼和鼻尖的連線與左(右)嘴角和鼻尖的連線的夾角, 利用這兩條邊的向量計(jì)算夾角的余弦值.

圖2 豬雙眼都可見時(shí)的匹配方法Fig.2 Matching method when both eyes of pig are visible

圖3 豬某只眼睛不可見時(shí)的匹配方法Fig.3 Matching method when one eye of pig is invisible

1.3 形變神經(jīng)網(wǎng)絡(luò)

微調(diào)是在其他預(yù)訓(xùn)練網(wǎng)絡(luò)的基礎(chǔ)上, 將輸入層和全連接層按需要改變, 在預(yù)訓(xùn)練權(quán)重的基礎(chǔ)上進(jìn)行訓(xùn)練的過程.其是遷移學(xué)習(xí)的一種實(shí)現(xiàn)方式, 可以將某類型所學(xué)習(xí)到的信息轉(zhuǎn)移到其他類型上, 適用于那些數(shù)據(jù)集相對較少, 且其相似類型有較大數(shù)據(jù)量的類型.對于豬臉特征點(diǎn)識別, 人臉特征點(diǎn)有較大的數(shù)據(jù)量, 且相對于人臉特征點(diǎn)數(shù)據(jù)集, 豬臉特征點(diǎn)數(shù)據(jù)集相對較少, 因此可以應(yīng)用微調(diào)完成豬臉特征點(diǎn)識別.豬臉和人臉在結(jié)構(gòu)上存在差異, 因此如果直接使用人臉特征點(diǎn)識別模型進(jìn)行微調(diào)并不能達(dá)到較好效果, 本文算法將豬臉形變?yōu)榻Y(jié)構(gòu)相似的人臉, 調(diào)整特征點(diǎn)網(wǎng)絡(luò)的輸入, 使輸入適配預(yù)訓(xùn)練的模型, 從而提高微調(diào)的作用.

薄板樣條插值(thin plate spline, TPS)[25]是一種常用的2D插值方法, 在兩張圖像中找出若干匹配的特征點(diǎn), TPS可以根據(jù)對應(yīng)的特征點(diǎn), 生成原圖像其他點(diǎn)的變化(即插值). 本文應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行豬臉形變, 網(wǎng)絡(luò)的輸入為豬臉圖像, 通過TPS對圖像進(jìn)行扭曲, 并通過監(jiān)督學(xué)習(xí)的方法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練. 使用所得到的豬臉人臉匹配, 計(jì)算TPS變換, 并利用真實(shí)的變換和預(yù)測的變換得到損失函數(shù), 訓(xùn)練網(wǎng)絡(luò). 形變卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示.

圖4 形變卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of deformed convolutional network

1.4 特征點(diǎn)檢測網(wǎng)絡(luò)

特征點(diǎn)檢測網(wǎng)絡(luò)使用Tweaked CNN(TCNN)[26], TCNN在TCDCN(tasks-constrained deep convolutional network)[27]的基礎(chǔ)上, 調(diào)整了網(wǎng)絡(luò)的全連接層, 使具有相似特征的圖像訓(xùn)練對應(yīng)的回歸器, 從而提高了識別效率和精度, 同時(shí)采用alignment-sensitive方法進(jìn)行數(shù)據(jù)增強(qiáng), 提高了網(wǎng)絡(luò)的泛化性. 本文網(wǎng)絡(luò)在TCNN的基礎(chǔ)上添加了額外的卷積層和池化層以適應(yīng)更大的圖像, 網(wǎng)絡(luò)已經(jīng)在AFLW數(shù)據(jù)集[28]和文獻(xiàn)[29]中的數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練, 輸入形變后的豬臉數(shù)據(jù)即可進(jìn)行微調(diào). 網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示.

圖5 特征點(diǎn)檢測卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Convolutional network structure of feature point detection

網(wǎng)絡(luò)使用文獻(xiàn)[30]中的平滑L1損失函數(shù)：

(3)

其中x為特征點(diǎn)的預(yù)測值與實(shí)際值的差值.由于豬臉的姿態(tài)可能會出現(xiàn)少量的異常值, 因此網(wǎng)絡(luò)使用文獻(xiàn)[30]中的損失函數(shù), 該損失函數(shù)不會對少量的異常值產(chǎn)生較大波動.

2 實(shí) 驗(yàn)

2.1 豬臉特征點(diǎn)數(shù)據(jù)集

本文利用手機(jī)采集限位欄內(nèi)的豬臉圖像, 采集時(shí)間和豬臉姿態(tài)隨機(jī), 因此數(shù)據(jù)集包含了不同的光照條件和姿態(tài).豬樣本共206頭, 篩選出包含完整豬臉的圖像生成數(shù)據(jù)集, 數(shù)據(jù)集的分辨率為224×224.通常情況下, 人臉的5個關(guān)鍵點(diǎn)為左眼、 右眼、 鼻尖、 左嘴角和右嘴角, 如圖6所示.由于豬臉部的特點(diǎn), 其嘴角通常會被鼻子遮擋, 如圖7所示, 因此本文利用新的采集方式, 將左嘴角和右嘴角換為鼻左翼和鼻右翼, 最終的采集實(shí)例如圖8所示.

圖6 人臉特征點(diǎn)采集方法Fig.6 Collection method of human facial feature point

圖7 豬臉圖像實(shí)例Fig.7 Example of pig face images

圖8 豬臉特征點(diǎn)采集方法Fig.8 Feature point collection method of pig face

最終標(biāo)注的數(shù)據(jù)集為6 099張樣本圖像, 將數(shù)據(jù)集按豬編號隨機(jī)劃分為各自包含不同豬樣本的訓(xùn)練集、 驗(yàn)證集和測試集, 各數(shù)據(jù)集分布列于表1.

表1 數(shù)據(jù)集分布

2.2 實(shí)驗(yàn)結(jié)果及分析

豬臉與人臉匹配的過程中, 選用數(shù)據(jù)集為AFLW數(shù)據(jù)集[28]和文獻(xiàn)[29]中的數(shù)據(jù)集(31 524張圖像), 文獻(xiàn)[29]中的數(shù)據(jù)集包括LFW數(shù)據(jù)集[31](5 590張圖像)和部分網(wǎng)絡(luò)圖像(7 876張), 特征點(diǎn)檢測網(wǎng)絡(luò)也使用這些數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練. 實(shí)驗(yàn)選用的評估標(biāo)準(zhǔn)與文獻(xiàn)[21]相同, 如果關(guān)鍵點(diǎn)的預(yù)測位置與實(shí)際位置的歐氏距離不超過邊界框的10%, 則視為預(yù)測成功, 否則視為失敗. 將平均失敗率計(jì)算為失敗測試關(guān)鍵點(diǎn)的百分?jǐn)?shù).

豬臉特征點(diǎn)識別實(shí)驗(yàn)結(jié)果列于表2, 最終結(jié)果以錯誤率衡量. 由表2可見, 在豬臉特征點(diǎn)識別較難的情況下, 5個部位的特征點(diǎn)預(yù)測結(jié)果及總體的預(yù)測結(jié)果仍較理想, 表明本文的特征點(diǎn)采集方法及使用的算法有效. 文獻(xiàn)[24]中馬臉的特征點(diǎn)識別總體錯誤率為8.36%, 羊臉的特征點(diǎn)識別總體錯誤率為0.87%. 與文獻(xiàn)[24]的結(jié)果相比, 本文的豬臉特征點(diǎn)識別結(jié)果比馬臉特征點(diǎn)識別的結(jié)果更好, 比羊臉特征點(diǎn)識別結(jié)果差, 但文獻(xiàn)[24]中方法泛化性較差. 由于在本文構(gòu)建的豬臉部特征點(diǎn)數(shù)據(jù)集中, 訓(xùn)練集、 驗(yàn)證集和測試集都來自不同的豬樣本, 包含了不同的隨機(jī)角度、 姿勢及光照條件, 因此得到的結(jié)果可說明該模型有良好的魯棒性和泛化性, 適用于大型、 復(fù)雜的豬臉數(shù)據(jù). 圖9為部分豬臉特征點(diǎn)預(yù)測的實(shí)例.

表2 豬臉特征點(diǎn)識別實(shí)驗(yàn)結(jié)果

綜上所述, 本文針對豬臉特征點(diǎn)的預(yù)測問題, 采集了豬臉部的數(shù)據(jù), 提出了一種新的特征點(diǎn)采集方法以解決豬口部的遮擋問題, 標(biāo)注并構(gòu)建了豬臉部特征點(diǎn)數(shù)據(jù)集, 使用深度學(xué)習(xí)的方法, 通過豬臉人臉匹配公式及形變卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建豬臉形變數(shù)據(jù)集, 使豬臉數(shù)據(jù)與人臉數(shù)據(jù)適配, 最后使用形變后的豬臉特征點(diǎn)數(shù)據(jù)集對人臉特征點(diǎn)檢測卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微調(diào), 得到豬臉特征點(diǎn)檢測模型, 實(shí)現(xiàn)了豬臉特征點(diǎn)檢測.