范文豪，吳曉富，張索非

(1.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003；2.南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003)

0 引 言

近年來，人臉識別[1]問題引起了越來越多研究人員的關(guān)注。在具有一定約束環(huán)境下的人臉識別問題， 它們的識別精度已經(jīng)取得了極大的提高。然而，低分辨率人臉識別問題在人臉識別領(lǐng)域仍然具有挑戰(zhàn)性。在人口較稠密的公共場所[2-3]，例如購物商場和游樂園，通常需要通過從監(jiān)控視頻中獲得的圖像來尋找具有特殊身份的人。但是，由于行人與監(jiān)控?cái)z像頭之間距離較遠(yuǎn)以及攝像頭的分辨率有限，通常只能夠獲得較低分辨率的人臉圖像。在這種情況下捕獲的人臉經(jīng)常是模糊的、光照不均勻的或人臉姿勢[4]不正確的，這些干擾因素使得基于深度模型和預(yù)處理的技術(shù)(例如人臉正面化和人臉對齊)，不能直接應(yīng)用于低分辨率的人臉圖像[5]。

對于人臉識別中的低分辨率問題，已經(jīng)有了許多解決方法。這些方法大多數(shù)基于超分辨率(super resolution，SR)技術(shù)[6-7]來嘗試提高圖像的質(zhì)量，將復(fù)原后的較高分辨率圖像用于人臉識別。盡管基于深度學(xué)習(xí)的SR技術(shù)使得重建后的圖像在主觀圖像質(zhì)量評價(jià)指標(biāo)上取得了較好的評分，但重建后的圖像通常過于平滑，會丟失高頻細(xì)節(jié)信息。當(dāng)圖像的分辨率非常低時(shí)，通常會出現(xiàn)上述情況，導(dǎo)致恢復(fù)的高分辨率圖像和低分辨率圖像差異明顯，識別性能顯著下降。

為了提高低分辨率人臉識別的準(zhǔn)確率，該文針對低分辨率人臉識別問題對CentreFace方法進(jìn)行了改進(jìn)。主要的改進(jìn)包括以下三個(gè)方面：(1)提出新的模損失函數(shù)與原來的損失函數(shù)進(jìn)行聯(lián)合訓(xùn)練，以學(xué)習(xí)在類內(nèi)距離不變的情況下，具有更大類間距離的人臉識別模型；(2)在訓(xùn)練過程中，隨機(jī)更改輸入圖像的亮度，以進(jìn)行數(shù)據(jù)增強(qiáng)；(3)改進(jìn)了傳統(tǒng)CentreFace中模型的訓(xùn)練方法，能夠使模型收斂的效果更好。實(shí)驗(yàn)結(jié)果證明，改進(jìn)方案可以有效地解決CentreFace方法中的不足，使得在低分辨率人臉識別問題中具有更好的識別精度。

1 相關(guān)工作

低分辨率人臉識別是一種特殊的人臉識別問題，用于解決這類的方法可以大致概括為兩種：一種是圖像的超分辨率技術(shù)，另一種是圖像分辨率不變的學(xué)習(xí)方法。第一種方法主要采用超分辨率和去模糊技術(shù)，將輸入的低分辨率人臉圖像轉(zhuǎn)換為對應(yīng)的高分辨率人臉圖像，從而可以采用高分辨率人臉識別(HRFR)技術(shù)。第二種方法旨在學(xué)習(xí)分辨率不變圖像的人臉特征。在許多論文中都對第一種方法進(jìn)行了嘗試，但是從結(jié)果來看使用這種方法對識別精度的提升并不明顯。

為了獲得具有高度區(qū)分性的人臉特征，近年來提出了一系列新的深度學(xué)習(xí)人臉識別方法，例如DeepID2[8]、FaceNet[9]、CentreFace[1]、SphereFace[10]和ArcFace[11]等，這些方法在解決高分辨率人臉識別問題時(shí)通常能夠表現(xiàn)出良好的性能。2014年提出的DeepFace和DeepID系列主要是先訓(xùn)練Softmax多分類器；然后抽取特征層，用特征再訓(xùn)練另一個(gè)神經(jīng)網(wǎng)絡(luò)、孿生網(wǎng)絡(luò)或組合貝葉斯等人臉驗(yàn)證框架。2015年FaceNet提出了一個(gè)絕大部分人臉問題的統(tǒng)一解決框架，直接學(xué)習(xí)嵌入特征，然后人臉識別、人臉驗(yàn)證和人臉聚類等都基于這個(gè)特征來做。FaceNet在DeepID2的基礎(chǔ)上，拋棄了分類層，再將Contrastive Loss改進(jìn)為Triplet Loss，獲得更好的類內(nèi)緊湊和類間差異。但人臉三元組的數(shù)量出現(xiàn)爆炸式增長，特別是對于大型數(shù)據(jù)集，迭代次數(shù)顯著增加；導(dǎo)致樣本挖掘方法使得很難有效地進(jìn)行模型的訓(xùn)練。2016年提出的Center Loss為每個(gè)類別學(xué)習(xí)一個(gè)中心，并將每個(gè)類別的所有特征向量拉向?qū)?yīng)類別中心，根據(jù)每個(gè)特征向量與其類別中心之間的歐幾里得距離，以獲得類內(nèi)緊湊度；而類間分散則由Softmax Loss的聯(lián)合訓(xùn)練來保證。然而，在訓(xùn)練期間更新實(shí)際類別中心非常困難，因?yàn)榭晒┯?xùn)練的人臉類別數(shù)量急劇增加。2017年SphereFace提出A-Softmax，是L-Softmax的改進(jìn)，提出了角度間隔損失，又歸一化了權(quán)值W，讓訓(xùn)練更加集中在優(yōu)化深度特征映射和特征向量角度上，降低樣本數(shù)量不均衡問題。2018年ArcFace提出加性角度間隔損失，θ+m，還歸一化特征向量和權(quán)重，幾何上有恒定的線性角度margin。直接優(yōu)化弧度，為了模型性能的穩(wěn)定，ArcFace不需要與其他損失函數(shù)聯(lián)合監(jiān)督。

在QMUL_SurvFace論文中，采用了五種不同的人臉識別方法實(shí)現(xiàn)監(jiān)控下低分辨率人臉識別挑戰(zhàn)。但是僅使用論文中提出的QMUL_SurvFace數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，并不是所有的FR模型都可以達(dá)到收斂。然而，五種不同的FR模型都可以在CASIA數(shù)據(jù)上成功訓(xùn)練并收斂。在所有這些FR方法中，使用CASIA和QMUL_SurvFace數(shù)據(jù)集進(jìn)行訓(xùn)練的CentreFace模型，可以在QMUL_SurvFace基準(zhǔn)測試上得到最佳Rank1識別率為25.8%。因此，該文針對低分辨率人臉識別問題對CentreFace方法進(jìn)行一系列改進(jìn)。同時(shí)，還與其他較好的FR方法進(jìn)行了比較。

2 CentreFace方法介紹及改進(jìn)

2.1 CentreFace介紹

在本節(jié)中，首先簡單介紹一下CentreFace方法，然后指出CentreFace在用于低分辨率人臉識別問題時(shí)的一些缺陷，接著對CentreFace方法提出一系列的改進(jìn)。

通常，CentreFace采用尺寸為112×112的RGB圖像作為輸入，并將輸入圖像像素大小壓縮至[-1,1]。將參數(shù)N設(shè)置為模型訓(xùn)練時(shí)輸入的batch大小，然后使用具有不同結(jié)構(gòu)的CNN模型作為骨干網(wǎng)絡(luò)從人臉圖像中提取深度特征進(jìn)行分類。模型的輸出是尺寸為d的臉部特征向量，可以使用xn表示。為了對特征向量進(jìn)行分類，在網(wǎng)絡(luò)的最后添加了一個(gè)全連接層用于計(jì)算logits。全連接層中參數(shù)W的尺寸為d×M，M為訓(xùn)練集中類別數(shù)量。

在訓(xùn)練過程中，采用Softmax損失函數(shù)來監(jiān)督類間特征向量進(jìn)行分離，可表示為：

其中，xn表示第n個(gè)特征向量[12-13]，yn是對應(yīng)于xn的類別，Wm表示最后全連接層權(quán)重W的第m列，b是偏差(可省略)，N是batch大小，M是訓(xùn)練集種類個(gè)數(shù)。Softmax損失函數(shù)確?？梢酝ㄟ^決策邊界來區(qū)分學(xué)習(xí)到的不同類別的深度特征。

如果僅使用Softmax損失函數(shù)進(jìn)行訓(xùn)練，雖然可以在訓(xùn)練過程中很好地區(qū)分不同類別的特征向量，但最終的測試結(jié)果會很差，因?yàn)轭愰g不夠緊湊。所以加入中心損失函數(shù)來減少類內(nèi)距離，可表示如下：

其中，cyn表示yn類的中心特征向量，它應(yīng)隨著訓(xùn)練數(shù)據(jù)的不斷更新而變化。在對cyn進(jìn)行更新時(shí)，有兩點(diǎn)需要注意。首先，每次更新cyn時(shí)不是基于整個(gè)數(shù)據(jù)集而是基于當(dāng)前的小批量訓(xùn)練集進(jìn)行更新。在迭代過程中，每個(gè)類中心點(diǎn)的變化取決于這個(gè)batch中相應(yīng)類的特征向量的均值。在這種情況下，每次進(jìn)行迭代時(shí)，并不是所有中心點(diǎn)都會進(jìn)行更新，因?yàn)槊總€(gè)batch中經(jīng)常不能包含所有的類。其次，為了避免由少量錯(cuò)誤標(biāo)記的樣本引起的大擾動，需要使用一個(gè)小的常量來控制中心向量的學(xué)習(xí)率。要對cyn進(jìn)行更新，需要計(jì)算LC相對于xn的梯度，cyn的更新步驟如下：

中心損失函數(shù)可以在保持不同類的特征可分離的情況下，最大程度地減少特征的類內(nèi)距離。在算法描述中，總結(jié)了聯(lián)合監(jiān)督[14]下CentreFace訓(xùn)練步驟和細(xì)節(jié)。

2.2 CentreFace缺陷及改進(jìn)

在本節(jié)中，將會指出CentreFace應(yīng)用于低分辨率人臉識別問題時(shí)的兩個(gè)缺點(diǎn)，并針對這兩個(gè)問題加以改善。首先，如果僅使用Softmax損失函數(shù)和中心損失函數(shù)來訓(xùn)練模型，會發(fā)現(xiàn)中心損失函數(shù)的值在訓(xùn)練過程中會不斷減小，但是各類的中心點(diǎn)到原點(diǎn)的距離也在不斷減小，這意味著類內(nèi)和類間距離都減小了，這種現(xiàn)象并不能證明中心損失函數(shù)的減少對于分類效果是有利的。更加直觀的解釋可以參考圖1(a)，在這種情況下，類內(nèi)距離的減少對于分類是沒有作用的。為了改進(jìn)CentreFace這一缺點(diǎn)，在Softmax損失函數(shù)和中心損失函數(shù)的基礎(chǔ)上又添加了一個(gè)模損失函數(shù)，在保持類內(nèi)距離的情況下，增加類間距離。提出的模損失函數(shù)表示如下：

其中，LN損失表示每個(gè)類中心點(diǎn)到原點(diǎn)O的平均距離。在總的損失函數(shù)中加入LN是為了防止在訓(xùn)練期間隨著類內(nèi)距離的減少，類間距離也隨之減少。模損失函數(shù)的影響如圖1(b)所示。采用Softmax損失、中心損失和模損失的聯(lián)合監(jiān)督來訓(xùn)練判別特征學(xué)習(xí)模型?？偟膿p失函數(shù)如下：

L=LS+λ1LC+λ2LN

圖1 特征分布

參數(shù)初始化和訓(xùn)練方法:參數(shù):首先初始化卷積層中的參數(shù)θC,全連接層中的參數(shù)W,和每個(gè)類的中心點(diǎn){cmm=1,2,…,M},設(shè)置超參數(shù)λ1,λ2,α和學(xué)習(xí)率μt,迭代次數(shù)t←0。訓(xùn)練步驟:1:while not converge do2:t←t+13:計(jì)算總的損失函數(shù)Lt=LtS+λ1LtC+λ2LtN4:計(jì)算反向傳播梯度:?Lt?xtn=?LtS?xtn+λ1?LtC?xtn+λ2?LtN?xtn5:更新參數(shù)W:Wt+1=Wt-μt·?Lt?Wt=Wt-μt·?LtS?Wt 6:更新參數(shù)cm:ct+1m=ctm-αΔctm 7:更新參數(shù)θC:θt+1C=θtC-μt∑Nn?Lt?xtn·?xtn?θtC 8:end while

3 實(shí)驗(yàn)與分析

在本節(jié)中，首先介紹作為低分辨率人臉識別問題的基準(zhǔn)數(shù)據(jù)集QMUL_SurvFace。然后，在該數(shù)據(jù)集上進(jìn)行四組對比實(shí)驗(yàn)。通過實(shí)驗(yàn)結(jié)果證明對CentreFace方法進(jìn)行改進(jìn)的有效性。

3.1 數(shù)據(jù)集介紹

為了能促進(jìn)更多的研究人員來開發(fā)有效且魯棒的人臉識別方法來解決低分辨率人臉識別問題，一個(gè)新的監(jiān)控下人臉識別挑戰(zhàn)在論文中有所介紹，該挑戰(zhàn)稱為QMUL_SurvFace。這一新挑戰(zhàn)是目前最大的且唯一一個(gè)真實(shí)的監(jiān)控下人臉識別問題。在該挑戰(zhàn)中，低分辨率人臉圖像是由監(jiān)控?cái)z像頭拍攝得到，而不是通過對高分辨率圖像的人工下采樣來合成的。數(shù)據(jù)分布可見表1。QMUL_SurvFace數(shù)據(jù)集包含463 507張低分辨率面部圖像，這些圖像來自于15 573個(gè)不同的人。在數(shù)據(jù)集中，人臉圖像有著不同的姿勢、遮擋、背景、亮度，且伴隨著一些運(yùn)動造成的模糊和其他干擾因素。其中有10 638(68.3%)個(gè)人有兩張以上的人臉圖像。10 638個(gè)人分為兩部分：其中一半(5 319)作為訓(xùn)練數(shù)據(jù)，另一半(5 319)加上剩余的4 935(總計(jì)10 254)作為測試數(shù)據(jù)。QMUL-SurvFace數(shù)據(jù)集中人臉圖像的分辨率非常低，這使得監(jiān)控下的人臉識別任務(wù)非常具有挑戰(zhàn)性。面部的空間分辨率的長度/寬度范圍為6/5至124/106像素，平均值為24/20。由于分辨率太低，導(dǎo)致人臉檢測操作不能檢測出QMUL_SurvFace數(shù)據(jù)集中所有圖像中的人臉，人臉對齊[15-16]操作也就無法進(jìn)行。

表1 QMUL_SURFFACE挑戰(zhàn)數(shù)據(jù)集劃分

3.2 網(wǎng)絡(luò)模型

文中使用的網(wǎng)絡(luò)模型以34層和50層的ResNet為主，具體參見表2。fc1層的輸出是輸入人臉圖像所提取到的特征向量。fc2層的輸出向量的維數(shù)為訓(xùn)練數(shù)據(jù)集種類數(shù)，以QMUL_SurvFace數(shù)據(jù)集為例，網(wǎng)絡(luò)模型輸出維數(shù)為5 319，網(wǎng)絡(luò)輸入圖像的尺寸為112×112。為了分析提取到的特征維度對結(jié)果的影響，對比實(shí)驗(yàn)中分別提取人臉圖像的256維和350維的特征向量進(jìn)行對比。對于數(shù)據(jù)預(yù)處理部分，會將所有面部圖像的大小調(diào)整為112。即使圖像的大小發(fā)生了改變但基本分辨率改變不大，因此仍將這些調(diào)整大小后的圖像視為低分辨率圖像。通過觀察QMUL_SurvFace數(shù)據(jù)集，發(fā)現(xiàn)來自同一身份的人臉圖像的亮度經(jīng)常變化很大。因此在數(shù)據(jù)預(yù)處理期間，會隨機(jī)改變面部圖像的亮度以作為數(shù)據(jù)增強(qiáng)。

表2 34層和50層ResNet網(wǎng)絡(luò)結(jié)構(gòu)

3.3 對比實(shí)驗(yàn)和結(jié)果分析

在所有實(shí)驗(yàn)中，會將QMUL-SurvFace數(shù)據(jù)集中的所有人臉圖像調(diào)整為所需的大小112，然后對圖像中每個(gè)像素減去127.5除以128，從而將像素值壓縮至[-1,1]。在CentreFace算法中，設(shè)置參數(shù)λ1=0.005，λ2=0.2，α=0.5。為了對closed-sets數(shù)據(jù)集識別的性能進(jìn)行評估，選擇廣泛使用的度量：累積匹配特征(cumulative matching characteristic，CMC)曲線。receiver operating characteristic(ROC)曲線同CMC一樣，是模式識別系統(tǒng)，如人臉、指紋、虹膜等的重要評價(jià)指標(biāo)，尤其是在生物特征識別系統(tǒng)中，一般同ROC曲線一起給出，能夠綜合評價(jià)出算法的好壞。CMC曲線綜合反映了分類器的性能，它評價(jià)的指標(biāo)與深度學(xué)習(xí)當(dāng)中常用的top1 err和top5 err評價(jià)指標(biāo)意思一樣，不同的是橫坐標(biāo)的Rank表示正確率而不是錯(cuò)誤率。其中Rank-1的比率是最常見的評價(jià)指標(biāo)。Rank-r的CMC定義如下：

其中，Nmate(i)表示匹配在Rank-i處的probe圖像數(shù)量，N表示probe中的類別數(shù)。在以下實(shí)驗(yàn)中，使用Rank-1作為評價(jià)指標(biāo)[17]。

不同訓(xùn)練方法：在第一組對比實(shí)驗(yàn)中，網(wǎng)絡(luò)模型采用34層ResNet，提取到的人臉特征向量維數(shù)為256。分別采用文中提出的改進(jìn)后和改進(jìn)前的訓(xùn)練方法[9]進(jìn)行訓(xùn)練，可以獲得兩條損失函數(shù)曲線。損失函數(shù)曲線如圖2，Rank-1識別率可見表3。比較兩條曲線可以發(fā)現(xiàn)，圖2(a)的loss函數(shù)曲線收斂于值1.45，圖2(b)的loss函數(shù)曲線收斂于值1.3，說明改進(jìn)后的訓(xùn)練方法有助于以更快的速度收斂且收斂后的中心損失更小。

不同網(wǎng)絡(luò)和特征維度的影響：在第二組對比實(shí)驗(yàn)中，分別采用34層ResNet和50層ResNet的網(wǎng)絡(luò)模型，且提取了不同維度的特征向量。實(shí)驗(yàn)結(jié)果見表4，從中可以發(fā)現(xiàn)，當(dāng)網(wǎng)絡(luò)模型為50層ResNet，特征向量維數(shù)為350時(shí)可以獲得最佳結(jié)果。

預(yù)處理加入數(shù)據(jù)增強(qiáng)：在第三組對比實(shí)驗(yàn)中，在數(shù)據(jù)預(yù)處理期間隨機(jī)更改人臉圖像的亮度。仍然使用34層ResNet和50層ResNet，提取到的特征向量維度是350。實(shí)驗(yàn)結(jié)果見表5，可以發(fā)現(xiàn)，數(shù)據(jù)預(yù)處理階段采用數(shù)據(jù)增強(qiáng)可以極大地提高人臉的識別性能。

模損失函數(shù)聯(lián)合監(jiān)督：在第四組對比實(shí)驗(yàn)中，根據(jù)上述對比實(shí)驗(yàn)中的最佳結(jié)果進(jìn)行了進(jìn)一步的實(shí)驗(yàn)。將模損失函數(shù)添加到總的損失函數(shù)中，將三個(gè)損失函數(shù)結(jié)合起來進(jìn)行聯(lián)合訓(xùn)練。首先，計(jì)算每個(gè)類別中的點(diǎn)到該類別的中心點(diǎn)的距離，以及從所有類別的中心點(diǎn)到原點(diǎn)O的距離。距離分布如圖3所示。發(fā)現(xiàn)在加上模損失函數(shù)后，各類中心點(diǎn)到原點(diǎn)O的距離大約增加了一倍，但是每個(gè)類中的點(diǎn)到中心點(diǎn)的距離分布和未添加之前相當(dāng)接近。從圖中可以看出，模損失可以在保持類內(nèi)距離的同時(shí)增加類間距離。從表6中可以看出，提出的模損失函數(shù)給Rank-1的識別率帶來了進(jìn)一步的提高。

表3 不同訓(xùn)練方法下的Rank-1識別率 %

表4 不同網(wǎng)絡(luò)結(jié)構(gòu)和特征維度下的Rank-1識別率 %

表5 數(shù)據(jù)增強(qiáng)對Rank-1識別率的影響 %

表6 添加模損失函數(shù)對Rank-1識別率的影響 %

在以上四組實(shí)驗(yàn)中，僅使用QMUL_SurvFace數(shù)據(jù)集來訓(xùn)練模型，最佳的Rank-1識別率為30.403%。與文中使用CASIA和QMUL_SurvFace圖像訓(xùn)練模型的最佳Rank-1識別率相比，實(shí)驗(yàn)結(jié)果中的最佳Rank-1識別率更高。這意味著改進(jìn)后的CentreFace比原始的CentreFace效果更好。此外，還在QMUL_SurvFace數(shù)據(jù)集中測試了最新的ArcFace方法的性能。為了便于進(jìn)行比較，實(shí)驗(yàn)中仍然使用50層的ResNet，提取的特征向量維度為350。將ArcFace中尺度因子s設(shè)置為64，參數(shù)m設(shè)置為0.5。在實(shí)驗(yàn)中也僅使用QMUL-SurvFace數(shù)據(jù)集來訓(xùn)練所構(gòu)建的模型， 但得到的Rank-

表7 不同F(xiàn)R方法的Rank-1識別率

(a)訓(xùn)練方法改進(jìn)前中心損失函數(shù)曲線

(b)訓(xùn)練方法改進(jìn)后中心損失函數(shù)曲線

(a)兩種情況下各類中心點(diǎn)到原點(diǎn)O的距離的分布圖

(b)未添加模損失情況下各類中的點(diǎn)到中心點(diǎn)的距離的分布圖

(c)添加模損失后各類中的點(diǎn)到中心點(diǎn)的距離的分布圖

1識別率僅為24.987%。在表7中，對原始CentreFace，改進(jìn)后的CentreFace，SphereFace和ArcFace的實(shí)驗(yàn)結(jié)果進(jìn)行了比較。

4 結(jié)束語

提出了一種模損失函數(shù)并將該損失與Softmax損失和中心損失相加，三種損失函數(shù)聯(lián)合監(jiān)督進(jìn)行訓(xùn)練。相比于僅使用Softmax損失和中心損失，加入的模損失函數(shù)可以在保持特征類內(nèi)距離不變的情況下，增大類間距離，從而增強(qiáng)網(wǎng)絡(luò)模型對特征的判別能力。此外，還對CentreFace的訓(xùn)練方法做了一些改進(jìn)，通過調(diào)整訓(xùn)練步驟來更好地進(jìn)行參數(shù)更新優(yōu)化，最終中心損失函數(shù)值可以收斂得更好。在基準(zhǔn)人臉數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，改進(jìn)的CentreFace在低分辨率人臉識別任務(wù)上的識別精度要優(yōu)于之前的CentreFace以及其他先進(jìn)的人臉識別方法。