葉繼華， 郭祺玥， 江愛文， 黎 欣

(江西師范大學 計算機信息工程學院,江西 南昌 330022)

0 引言

跨年齡人臉識別問題作為人臉識別的一個分支，是對同一人在不同年齡下的人臉進行識別，受到年齡因素的影響，通常存在較大的類內(nèi)差異和較高的類間相似性[1]，這極大地增加了識別難度。隨著時代的發(fā)展，跨年齡人臉識別的應用場景變得越來越廣，例如將多年前失蹤的兒童找回等。因此，研究跨年齡人臉識別問題有著巨大的理論價值和重要的實際意義。針對這一問題，近幾年學術界提出了兩類方法，即生成類方法和判別類方法。生成類方法通過仿真機制對目標對象人臉骨骼的幾何形狀和人臉紋理進行建模，從而生成該特定年齡的人臉[1-2]，之后在此基礎上進行人臉識別任務。這類方法的不足在于需要很強的參數(shù)假設與巨大的計算成本[3]，因此在實際應用中仍然具有很大的局限性。與之相比，學術界將越來越多的重心放在基于判別的方法上。對于判別類方法，尤為重要的一個步驟即人臉特征的提取[4]，其核心是將人臉特征中混合在一起的身份相關成分和年齡相關成分最大限度地分離，以便于提取出與年齡無關的、對年齡變化具有魯棒性的身份特征。許多基于深度卷積神經(jīng)網(wǎng)絡的判別方法被提出并取得了顯著的成果[3,5-7]。但這些方法很難將年齡成分徹底從身份相關成分中剔除，因此還有需要改進之處。

為了獲得對身份更具有判別性的年齡無關特征，筆者在同時進行人臉身份識別和年齡分類這兩個任務的多任務卷積神經(jīng)網(wǎng)絡的基礎上引入子空間的直和，提出特征子空間直和的多任務卷積神經(jīng)網(wǎng)絡(feature subspace with direct sum CNN, FSDS-CNN)。實驗結(jié)果驗證了筆者提出的模型在跨年齡人臉識別任務中的有效性和優(yōu)越性。

1 FSDS-CNN模型

筆者提出的FSDS-CNN模型分別由3部分組成：提取深度人臉特征的卷積單元、學習身份相關特征和年齡相關特征并執(zhí)行分類任務的2個子網(wǎng)，以及1個用于減少身份相關特征和年齡相關特征之間冗余成分的直和模塊。FSDS-CNN的整體框架如圖1所示。

圖1 FSDS-CNN整體框架Figure 1 Overall framework of the FSDS-CNN

FSDS-CNN中的卷積單元由典型的CNN結(jié)構組成，即交替堆疊卷積層、激活層和池化層。在經(jīng)過卷積單元F(·)的編碼后，我們可從輸入的人臉圖像p中得到同時包含身份信息和年齡信息的深度人臉特征x(即x=F(p))，此時x不具備年齡無關的特性，需要再做進一步處理。

深度特征在經(jīng)過第1層的全連接層之后，被傳給2個并行的判別性子網(wǎng)，分別是身份和年齡2個子網(wǎng)，可以同時進行身份識別和年齡分類。全連接層和子網(wǎng)對應的判別器組成子網(wǎng)，2個全連接層分別負責提取出身份相關特征xid和年齡相關特征xage：

xid=Widx+bid；

xage=Wagex+bage。

(1)

式中：Wid、Wage、bid、bage分別為2個全連接層的權重和偏置，通過SGD自動學習得到。之后將得到的xid、xage分別傳給直和模塊和相應的判別器進行多任務分類。其中xid將作為跨年齡人臉識別任務中的最終特征。有關2個判別器和網(wǎng)絡結(jié)構的具體細節(jié)將分別在1.2節(jié)和2.1.1節(jié)進行詳細介紹。下面先介紹筆者提出的直和模塊。

1.1 直和模塊

在提取出xid和xage后，如何保證xid在保持身份信息的前提下確保對年齡變化的魯棒性至關重要。此時xid和xage之間的較多冗余部分導致了兩者之間有著較強的潛在關聯(lián)性，從而導致跨年齡人臉識別模型的性能下降。提出加入直和模塊以對xid和xage所在空間的特征子空間施加直和約束，通過盡可能減少兩者之間的冗余來盡量消除xid中的年齡成分，以此降低兩者之間的相關性。

記VI和VA分別表示xid和xage所在特征空間，XID={xid1，xid2，…,xidN}和XAge={xage1，xage2，…,xageN}分別表示所有xid和xage構成的矩陣。分別記XID和XAge協(xié)方差矩陣的前K個最大特征值所對應的特征向量vID1,vID2,…,vIDK和vAge1,vAge2,…,vAgeK構成的特征子空間為VII和VAA，則vID1,vID2,…,vIDK和vAge1,vAge2,…,vAgeK分別構成VII和VAA的一組基[8]。由于在基于子空間的基的形式下，兩個子空間直和的充要條件是兩個子空間的一組基線性無關[9]。因此，要實現(xiàn)特征子空間VII和VAA之間為直和，即VII⊕VAA，則必須要vID1,vID2,…,vIDK,vAge1,vAge2,…,vAgeK滿足線性無關，故定義以下直和損失：

(2)

通過訓練直和損失將最終收斂，此時有VII⊕VAA。算法1展示了直和計算具體過程。通過添加到最終目標函數(shù)中，以上直和損失將參與聯(lián)合監(jiān)督訓練。

算法1：特征子空間VII和VAA的直和計算。

輸入：跨年齡人臉訓練數(shù)據(jù)集

T={Ii|i=1，2，…，N};

需要的正交特征向量個數(shù)K;

步驟：

(1)p←0;

(2)隨機初始化神經(jīng)網(wǎng)絡參數(shù)W(0);

(5)通過式(2)計算直和損失LDS;

(6)更新神經(jīng)網(wǎng)絡參數(shù)W(p);

(7)p←p+1；

(8)返回第(3)步直到LDS收斂;

輸出：VII⊕VAA。

1.2 多任務訓練

1.2.1 身份判別器

為確保學到的特征對身份具有較強判別性，遵循Wang 等[7]的設置使用 CosFace損失對xid的學習進行監(jiān)督。CosFace損失可表示為下式：

(3)

1.2.2 年齡判別器

由于年齡標簽是粗略的且在實際應用中存在不確定的噪聲，對于年齡信息的學習，在年齡分類時遵循Li等[6]的協(xié)議把年齡標簽分割為多個無重復的年齡組。筆者使用Softmax函數(shù)作為年齡判別器的損失函數(shù)，用下式表示：

(4)

式中：n為年齡組個數(shù)；ci為第i個樣本所對應的年齡組標簽；Vj和αj分別為年齡分類器的第j個權重向量和其對應的偏置。

綜上，F(xiàn)SDS-CNN的訓練由如下多任務目標函數(shù)聯(lián)合監(jiān)督：

L=LID(xid)+λ1LAge(xage)+λ2LDS(xid,xage)。

(5)

式中：λ1和λ2為權重超參數(shù)，用來平衡這3個損失。

2 實驗和分析

2.1 模型實現(xiàn)細節(jié)

2.1.1 網(wǎng)絡結(jié)構

①卷積單元：卷積單元由5個卷積塊組成，多個卷積層組成卷積塊，采用3×3、步幅為1的卷積核，之后接上批歸一化使模型快速收斂，PReLU作為激活函數(shù)，以上5個卷積塊輸出的特征圖個數(shù)分別為64、128、256、512、1 024。 ②判別性子網(wǎng)：深度特征x經(jīng)過全連接層后的輸出是1 024維的特征，之后分別傳給2個判別性子網(wǎng)的全連接層以輸出1 024維的xid和xage，在xid和xage上分別進行PReLU和批歸一化操作后再傳給相應的判別器進行分類任務。

2.1.2 數(shù)據(jù)預處理

使用MTCNN[10]檢測人臉，之后根據(jù)人臉關鍵點通過相似度變換將人臉圖像尺寸裁剪為112×96。對裁剪后的人臉圖像的每個像素進行歸一化。

2.1.3 訓練細節(jié)

預訓練階段使用的訓練數(shù)據(jù)集為只包含身份信息的CASIA-WebFace[11]，大約包含49萬張人臉樣本，整個預訓練階段直和模塊和年齡子網(wǎng)不參與訓練，并在數(shù)據(jù)集上進行大約14輪，批尺寸大小設置為128。式(5)和式(3)中的超參數(shù)按照文獻[7]設置為λ1=0.1，m=0.35，s=64；另外，式(5)和式(2)中的λ2和K分別設置為10和25，具體設置細節(jié)將在2.2節(jié)中詳細介紹。

2.1.4 模型測試細節(jié)

在著名的公開領域的跨年齡人臉數(shù)據(jù)集Morph Album 2[12]和CACD-VS[13]上進行了人臉識別和驗證實驗來評估本模型的性能，并在數(shù)據(jù)集Cross-Age LFW[14]上進一步評估了本模型的泛化能力。在測試過程中，為了增強數(shù)據(jù)的特征，將原始圖像與翻轉(zhuǎn)圖像的xid進行級聯(lián)作為最終特征，再計算每對特征的余弦相似度作為配對得分。

2.2 在Morph Album 2數(shù)據(jù)集上的實驗

Morph Album 2是一個由13 000個個體的55 000張人臉圖片組成的跨年齡人臉數(shù)據(jù)集。遵循文獻[6]的設置將整個數(shù)據(jù)集劃分為訓練集和測試集，訓練集和測試集的樣本身份無重合。

筆者對直和模塊的特征向量個數(shù)K和直和損失權重λ2這兩個重要超參數(shù)的設置進行了探索實驗。當λ2=1，K取不同的值時，模型的識別性能如圖2所示。

圖2 Morph Album 2上不同K下的識別率Figure 2 Rank1 identification rate changes with different K on Morph Album 2

從圖2中看出，當K取前7個值時模型的識別率快速增長，因為此時直和模塊對xid和xage中在跨年齡人臉識別中起主要作用的主成分特征如五官形狀特征被直和約束，兩者的相關性被有效減少，其中xid的年齡無關性被提高。識別率隨著K的增加逐漸上升，在K=25時識別率升至最高值98.35%。之后在K為25～34時識別率不變，在K升至34時識別率開始下降，根據(jù)式(2)，此時xid和xage中的一些在跨年齡人臉識別中的次要成分特征向量作為噪音被加入，這不利于主要成分特征向量之間的正交關系，降低了模型的識別性能。因此，在實驗中設置K的值為25。

當K=25，λ2取0.001、0.01、0.1、1、10、100時實驗效果如圖3所示。可以看出，當λ2很小時，模型的識別率較低，由式(5)可知，直和約束因為直和損失的權重偏小而作用不明顯。之后模型的識別率隨著λ2取值增大而逐漸增大，當λ2為10時識別率達到最高值98.41%。但當λ2取值過大時識別率開始下降，原因為直和約束的作用過于明顯，從而降低了身份損失和年齡損失的重要性，導致xid和xage的學習優(yōu)先級降低從而不能很好地進行學習。因此，之后實驗λ2取10。

圖3 Morph Album 2上不同λ2下的識別率Figure 3 Rank1 identification rate changes with different λ2 on Morph Album 2

確定了兩個超參數(shù)分別為λ2=10、K=25后，在Morph Album 2的測試集上進行了人臉識別實驗并與近年來的一些主流方法進行對比，實驗結(jié)果如表1所示。

表1 在Morph Album 2數(shù)據(jù)集上的評估結(jié)果Table 1 Evaluation results on the Morph Album 2 dataset

本實驗使用Rank1作為評價指標。從表1中可知，筆者提出的FSDS-CNN模型具有顯著的優(yōu)勢，但是與OE-CNNs和DAL相比存在一定的差距，這是因為本模型和以上兩個模型所用的訓練集數(shù)量(分別為53萬和170萬)差距過大所致。另外，筆者實驗中batch-size取值為128，而OE-CNNs和DAL則為512。為了驗證直和模塊的作用，進行有無直和模塊情況的模型的實驗。從表1中看出，CNN-baseline在只用CASIA-WebFace一個數(shù)據(jù)集進行預訓練時識別率只達到91.83%，相較于CARC和 MEFA略低；用Morph Album 2進行微調(diào)后，CNN-baseline+Age的識別率增高到96.52%，這是因為身份特征和年齡特征因年齡子網(wǎng)的加入而被分離，但是因為身份特征與年齡特征并沒有約束的存在，模型的性能相比于LF-CNNs和AE-CNN略差。FSDS-CNN在以上基礎上加入了直和模塊用來對身份特征和年齡特征所在空間的子空間施加直和約束，將模型的識別性能提升至98.41%，證實了直和模塊的顯著效果。

2.3 在CACD-VS數(shù)據(jù)集上的實驗

CACD數(shù)據(jù)集作為公開領域的基準老化數(shù)據(jù)集常被用于年齡不變?nèi)四樧R別，該數(shù)據(jù)集包含2 000個名人的具有年齡變化的163 446張人臉圖片，在本實驗中作為訓練集對模型進行微調(diào)。遵循文獻[3]和文獻[6]實驗設置，在CACD的子集CACD-VS上進行了測試。在本實驗中，筆者將CACD-VS中的所有樣本從訓練集中剔除。

表2列出了本模型在CACD-VS數(shù)據(jù)集上與其他最新的年齡不變?nèi)四樧R別方法的評估結(jié)果。本實驗使用人臉識別中常用的精確度和AUC這2個評價指標。從表2可知，除了DAL, FSDS-CNN的精確度均不小于其他模型，AUC則均優(yōu)于其他模型，圖4顯示了多種方法的ROC曲線圖。在反映模型性能的真實性和穩(wěn)健性方面，AUC通常優(yōu)于精確度[19]，進一步證實了本模型的優(yōu)越性。

表2 在CACD-VS數(shù)據(jù)集上的評估結(jié)果Table 2 Evaluation results on the CACD-VS dataset

圖4 不同方法在CACD-VS上的ROC曲線Figure 4 ROC curves of different methods on CACD-VS

2.4 在Cross-Age LFW數(shù)據(jù)集上的實驗

筆者同樣在Cross-Age LFW[14](CALFW)數(shù)據(jù)集上進行了驗證實驗以表明本模型的泛化能力。CALFW數(shù)據(jù)集包含4 025個人，每個人有2、3或4張圖片。因為CACD數(shù)據(jù)集中有噪音的存在，故使用Morph Album 2作為訓練集對模型進行微調(diào)。由于該實驗在訓練和微調(diào)階段均無CALFW的參與，故能有效驗證模型的泛化能力。

表3列出了本模型在CALFW數(shù)據(jù)集上與其他方法相比的驗證性能。本實驗采用的評價指標是EER和錯誤匹配率(FMR)為0.1時的錯誤非匹配率(FNMR)。從實驗結(jié)果可知，本模型與其他模型相比具有明顯的優(yōu)良性，尤其是在較小的訓練集上，仍然有較好的性能，充分證實了本模型泛化能力的強大。

表3 在CALFW數(shù)據(jù)集上的評估結(jié)果Table 3 Evaluation results on the CALFW dataset

3 結(jié)論

提出了一種新穎網(wǎng)絡稱為特征子空間直和的多任務卷積神經(jīng)網(wǎng)絡(FSDS-CNN)用來處理跨年齡的人臉識別問題，并在Morph Album 2、CACD-VS和CALFW這3個基準老化數(shù)據(jù)集上進行了跨年齡的人臉識別與驗證實驗。通過和近幾年的多種具有代表性的方法進行對比，本模型在評價指標AUC上取得了最優(yōu)值99.7%，在EER和錯誤匹配率(FMR)為0.1時的錯誤非匹配率(FNMR)上分別取得了最優(yōu)值10.1%和10.2%。實驗結(jié)果驗證了直和模塊的有效性，表明了本模型相比于其他年齡不變?nèi)四樧R別方法具有明顯的優(yōu)越性。