霍西寶，曹 林+，郭亞男，杜康寧

(1.北京信息科技大學(xué) 光電測(cè)試技術(shù)及儀器教育部重點(diǎn)實(shí)驗(yàn)室，北京 100101； 2.北京信息科技大學(xué) 信息與通信工程學(xué)院，北京 100101)

0 引 言

近年來，人臉識(shí)別作為快速身份驗(yàn)證的重要形式已廣泛應(yīng)用于視頻監(jiān)控[1]、智能門禁[2]、金融支付[3]等民生領(lǐng)域。素描人臉識(shí)別[4]作為人臉識(shí)別的重要分支主要應(yīng)用于刑偵追捕、安全保衛(wèi)等領(lǐng)域，畫師根據(jù)目擊證人的口頭描述，勾勒出嫌疑人的素描人臉圖像。

目前針對(duì)素描人臉識(shí)別的方法主要分為兩類：模態(tài)內(nèi)算法和模態(tài)間算法。模態(tài)間算法旨在提取出人臉圖像中能夠保留對(duì)象身份信息的關(guān)鍵特征，最大限度區(qū)分不同對(duì)象身份。但由于素描圖像和可見光圖像數(shù)據(jù)來源不同導(dǎo)致二者存在較大模態(tài)差異，該方法并沒有考慮圖像間模態(tài)差異問題，因此直接使用模態(tài)間算法進(jìn)行素描人臉識(shí)別并不能取得理想的結(jié)果。模態(tài)內(nèi)算法將不同模態(tài)域的圖像轉(zhuǎn)換到同一模態(tài)，在同一模態(tài)域中完成人臉的特征提取、識(shí)別工作。這一方法有效減少了不同模態(tài)域圖像間的差異，通過將數(shù)據(jù)集中的圖像統(tǒng)一到同一模態(tài)域進(jìn)行識(shí)別，使得不同域的圖像具有可比性。但由于現(xiàn)有的模態(tài)內(nèi)算法生成器和分類器分開進(jìn)行訓(xùn)練，生成網(wǎng)絡(luò)合成的圖像并不能保證是對(duì)提升識(shí)別精度最有利的，因此輔助提升識(shí)別性能的幫助有限。

針對(duì)上述問題，本文提出了一種基于轉(zhuǎn)換生成網(wǎng)絡(luò)的素描人臉識(shí)別方法，該網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)跨模態(tài)圖像生成和人臉識(shí)別的任務(wù)。利用該網(wǎng)絡(luò)生成素描圖像對(duì)應(yīng)的可見光域圖像，轉(zhuǎn)換到同一模態(tài)并加入到訓(xùn)練集樣本圖像，充分補(bǔ)充模態(tài)信息，豐富同一對(duì)象的特征信息，有效提升素描人臉識(shí)別性能。

1 相關(guān)工作

素描人臉識(shí)別因其在案件偵破、公共安全領(lǐng)域的重要地位，正受到越來越多的國(guó)內(nèi)外研究工作者的關(guān)注。素描人臉識(shí)別的研究方法主要分為兩類：模態(tài)內(nèi)算法和模態(tài)間算法。

模態(tài)間算法旨在提取出區(qū)分不同對(duì)象身份的關(guān)鍵人臉特征，例如：人臉中眼部區(qū)域?qū)θ四樧R(shí)別貢獻(xiàn)最大，提取特征時(shí)，應(yīng)重點(diǎn)保留眼睛所包含的判別性特征。Lu等[5]提出了一種無監(jiān)督的用于異質(zhì)人臉識(shí)別的特征學(xué)習(xí)和編碼(SLBFLE)方法。不同于LBP，SLBFLE僅使用一階段特征學(xué)習(xí)和編碼過程，便可以從不同人臉圖像中獲取判別信息。Wan等[6]提出了一種基于轉(zhuǎn)移學(xué)習(xí)的素描人臉識(shí)別方法。該方法設(shè)計(jì)了一種三通道卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，以提取判別性的人臉特征，來自同一對(duì)象的數(shù)字照片和素描圖像面部特征更加接近，如果數(shù)字照片和素描圖像來自不同的身份，則相反。

模態(tài)內(nèi)算法將數(shù)據(jù)集中的圖像轉(zhuǎn)換到同一模式圖像，減少模態(tài)差異，在同一模態(tài)域完成人臉識(shí)別任務(wù)。Wang等[7]提出了一種用于人臉?biāo)孛韬铣傻呢惾~斯框架，考慮了相鄰圖像塊之間的空間相鄰約束，而現(xiàn)有方法則忽略了相鄰選擇模型或權(quán)重中的約束，大量實(shí)驗(yàn)結(jié)果表明，所提出的貝葉斯方法可以取得更好的性能。Zhang等[8]提出的合成方法結(jié)合了不同圖像塊之間的相似性和先驗(yàn)知識(shí)，將給定測(cè)試照片分成重疊的小塊，通過學(xué)習(xí)詞典獲得其稀疏系數(shù)，使用最近鄰算法匹配不同的模塊，最終將具有高頻信息的馬爾可夫網(wǎng)絡(luò)應(yīng)用于人臉?biāo)孛鑸D像的合成。

近年來，對(duì)抗學(xué)習(xí)理論得到快速發(fā)展，基于生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GANs)[9]的深度學(xué)習(xí)模型廣泛應(yīng)用于圖像合成領(lǐng)域。Yi等[10]提出了APDra-wingGAN，采用全局網(wǎng)絡(luò)(用于整體圖像)和局部網(wǎng)絡(luò)(用于個(gè)人面部區(qū)域)相結(jié)合的方法，使得合成的人臉圖像更清晰、細(xì)節(jié)更完整。

2 本文方法

由于素描圖像和可見光圖像之間存在模態(tài)差異，因此素描人臉識(shí)別仍是一項(xiàng)極具挑戰(zhàn)的任務(wù)。針對(duì)上述問題，本文提出了基于轉(zhuǎn)換生成網(wǎng)絡(luò)的素描人臉識(shí)別方法。轉(zhuǎn)換生成網(wǎng)絡(luò)采用端到端的訓(xùn)練方式優(yōu)化模型參數(shù)，同時(shí)實(shí)現(xiàn)生成跨模態(tài)圖像和識(shí)別。在模型訓(xùn)練過程中，生成網(wǎng)絡(luò)和識(shí)別網(wǎng)絡(luò)相輔相成，彼此促進(jìn)，通過使用識(shí)別損失約束項(xiàng)指導(dǎo)生成更好的跨模態(tài)圖像，通過生成的跨模態(tài)圖像減少模態(tài)差異帶來的識(shí)別精度損失。本節(jié)主要從網(wǎng)絡(luò)模型框架和損失函數(shù)介紹所提出的方法。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)

2.1 生成器

對(duì)輸入的素描圖像，使用生成器合成其對(duì)應(yīng)的可見光域跨模態(tài)人臉圖像，加入到訓(xùn)練集樣本，補(bǔ)充模態(tài)信息，輔助提升識(shí)別精度。

生成器網(wǎng)絡(luò)主要由下采樣層、殘差模塊、上采樣層構(gòu)成。輸入圖像首先經(jīng)由下采樣層網(wǎng)絡(luò)提取特征，減少網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù)數(shù)量，保留需要的特征參數(shù)。下采樣網(wǎng)絡(luò)結(jié)構(gòu)如圖2(a)所示，原始人臉圖像首先由卷積層提取特征，卷積結(jié)束后對(duì)特征圖進(jìn)行實(shí)例歸一化(instance normalization,instance norm)[11]處理，減小特征圖中不同通道的均值和方差對(duì)圖像風(fēng)格的影響，保持每個(gè)圖像實(shí)例之間的獨(dú)立。使用線性整流函數(shù)(rectified linear unit，ReLU)作為激活函數(shù)，緩解模型出現(xiàn)過擬合問題。為了防止隨著網(wǎng)絡(luò)越來越深，出現(xiàn)性能退化問題，在下采樣結(jié)束后，在模型中引入殘差模塊，如圖2(b)所示。最后，由上采樣層對(duì)提取的人臉特征放大、還原，生成跨模態(tài)的人臉圖像。

2.2 判別器

使用判別器網(wǎng)絡(luò)對(duì)輸入的圖像進(jìn)行真?zhèn)闻袆e，通過與生成器形成對(duì)抗學(xué)習(xí)的方式，使得生成圖像具備兩種模態(tài)信息，提升人臉識(shí)別精度。將原始域和生成域的目標(biāo)圖像作為判別器的輸入，經(jīng)過判別器網(wǎng)絡(luò)的處理，提取判別性的人臉特征，鑒別圖像的真?zhèn)巍Ｍㄟ^在判別器網(wǎng)絡(luò)中引入批量歸一化操作(batch normalization, batch norm)[12]，把每層神經(jīng)元的輸入值拉回到標(biāo)準(zhǔn)正態(tài)分布，防止隨著網(wǎng)絡(luò)深度的增加，其分布發(fā)生偏移，降低網(wǎng)絡(luò)的訓(xùn)練速度和泛化能力。使用LeakyRELU作為網(wǎng)絡(luò)的激活函數(shù)，判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖2 生成器網(wǎng)絡(luò)主要模塊網(wǎng)絡(luò)結(jié)構(gòu)

圖3 判別器網(wǎng)絡(luò)結(jié)構(gòu)

為了合成與原始域盡可能逼真的圖像，補(bǔ)充模態(tài)信息，輔助提升識(shí)別精度，本文引入了對(duì)抗損失函數(shù)。生成器根據(jù)判別器的反饋，不斷調(diào)整模型訓(xùn)練參數(shù)，提升合成圖像的質(zhì)量

(1)

2.3 特征轉(zhuǎn)換網(wǎng)絡(luò)

xsm,xsn∈Sd，G(xsm) 是xsm對(duì)應(yīng)可見光域Pd中的表示，在不引入額外約束條件下，素描域Sd的任一圖像可映射為可見光域Pd的任意成員來滿足其目標(biāo)，可能造成生成的圖像都映射到目標(biāo)域的同一對(duì)象。為了避免這一現(xiàn)象的發(fā)生，使用特征轉(zhuǎn)換網(wǎng)絡(luò)(S網(wǎng)絡(luò))將圖像映射到某個(gè)空間，在該空間中，原始圖像之間的關(guān)系與其在目標(biāo)域中生成圖像之間的關(guān)系相同，完成生成圖像的單一映射。

S網(wǎng)絡(luò)作為特征提取模型[13]，主要用于學(xué)習(xí)輸入圖像的高級(jí)語義特征，輔助生成圖像和人臉識(shí)別。生成器和判別器采用對(duì)抗學(xué)習(xí)的方式訓(xùn)練，生成器根據(jù)判別器的反饋，不斷調(diào)整模型訓(xùn)練參數(shù)，生成更逼真的圖像，直到生成的圖像達(dá)到以假亂真。而S網(wǎng)絡(luò)和生成器采樣合作的方式訓(xùn)練，促使原始圖像之間的關(guān)系與生成的版本之間保持一致，生成更真實(shí)的人臉圖像。S網(wǎng)絡(luò)結(jié)構(gòu)使用預(yù)訓(xùn)練的resnet18網(wǎng)絡(luò)[14]，主要由4層基本殘差模塊構(gòu)成?；镜臍埐钅K結(jié)構(gòu)如圖4所示，圖中虛線框?yàn)橄虏蓸舆^程，將提取的特征進(jìn)一步壓縮、降維，降低計(jì)算復(fù)雜度。其中第一層殘差模塊不包含下采樣過程。

圖4 殘差模塊結(jié)構(gòu)

為了生成和原始圖像具有相同語義信息的跨模態(tài)圖像，生成器必須學(xué)習(xí)一個(gè)映射，使得S(xsm)-S(xsn)=S(G(xsm))-S(G(xsn))。 如式(2)～式(4)所示

vmn=S(xsm)-S(xsn)

(2)

(3)

(4)

其中，Dist是距離度量標(biāo)準(zhǔn)，例如余弦相似度。

在訓(xùn)練過程中，為了避免經(jīng)過S網(wǎng)絡(luò)處理后，輸出始終為零，增加約束條件，使每個(gè)點(diǎn)與空間中的其它點(diǎn)至少相距δ(默認(rèn)為10)，如式(5)所示

(5)

2.4 分類器

為了判別不同對(duì)象所屬的類別，本文將S網(wǎng)絡(luò)所提取的特征信息輸入到分類器，預(yù)測(cè)其所對(duì)應(yīng)的標(biāo)簽，實(shí)現(xiàn)素描人臉識(shí)別。分類器由兩個(gè)全連接層構(gòu)成，在第一個(gè)全連接層后加入批量歸一化操作，使得每一層神經(jīng)網(wǎng)絡(luò)的輸入保持相同分布。為了防止模型出現(xiàn)過擬合現(xiàn)象，在第一個(gè)全連接層中使用Dropout衰減函數(shù)。第二個(gè)全連接層的輸出為訓(xùn)練樣本集的圖像類別數(shù)。分類損失使用交叉熵?fù)p失，如式(6)所示

(6)

其中，xi為輸入素描、可見光和生成人臉圖像，p(yi|C(S(xi))) 表示某一輸入樣本圖像xi通過模型預(yù)測(cè)出其屬于樣本標(biāo)簽為yi的概率。

總生成損失如式(7)所示

Ltotal=λadvLadv+λtravelLtravel+λmarginLmargin+λclsLcls

(7)

其中，λadv，λtravel，λmargin，λcls分別為生成對(duì)抗損失(Ladv)、轉(zhuǎn)換損失(Ltravel)、邊沿?fù)p失(Lmargin)、識(shí)別損失(Lcls)等控制相關(guān)損失項(xiàng)重要性的權(quán)重參數(shù)。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

為了驗(yàn)證本文方法的識(shí)別性能，在S1(UoM-SGFSv2 SetA)、S2(UoM-SGFSv2 SetB)[11]、S3(e-PRIP)[15]等3個(gè)數(shù)據(jù)集上進(jìn)行識(shí)別率的評(píng)估。UoM-SGFSv2包括UoM-SGFSv2 SetA和UoM-SGFSv2 SetB，它是最大的軟件生成的素描數(shù)據(jù)集，也是唯一一個(gè)以全彩色表示所有素描圖像的數(shù)據(jù)集。UoM-SGFSv2 SetA包含600對(duì)可見光-素描人臉圖像，其素描圖像由EFIT-V創(chuàng)建。圖5展示了部分UoM-SGFSv2 SetA數(shù)據(jù)集原始樣本對(duì)圖像，包括人的上半身圖像和背景信息。

圖5 原始UoM-SGFSv2 SetA數(shù)據(jù)集樣本對(duì)圖像

使用圖像編輯程序?qū)oM-SGFSv2 SetA中的素描進(jìn)行稍微改動(dòng)，以使素描更真實(shí)(模擬執(zhí)法機(jī)構(gòu)在現(xiàn)實(shí)生活中執(zhí)行的過程)，構(gòu)成了UoM-SGFSv2 SetB。e-PRIP包含AR數(shù)據(jù)庫中的123個(gè)人的可見光圖像和對(duì)應(yīng)的合成素描。本文實(shí)驗(yàn)數(shù)據(jù)集設(shè)置見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)集設(shè)置

其中，S1、S2、S3數(shù)據(jù)集均由兩種模態(tài)的人臉圖像構(gòu)成：可見光圖像、素描圖像，每個(gè)數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集圖像主要用來擬合模型，確定模型參數(shù)，測(cè)試集用來評(píng)估訓(xùn)練模型的性能和分類能力。

為了評(píng)估本文方法與現(xiàn)有算法的識(shí)別性能，保證實(shí)驗(yàn)的公平性，對(duì)于UoM-SGFSv2數(shù)據(jù)集，前兩個(gè)實(shí)驗(yàn)設(shè)置(S1設(shè)置和S2設(shè)置)與DEEPS[16]保持一致。具體劃分如下：隨機(jī)從UoM-SGFSv2 SetA抽取450對(duì)可見光-素描人臉圖像作為S1訓(xùn)練集圖像。S1測(cè)試集由Probe和Gallery組成，Probe為UoM-SGFSv2 SetA中剩余150對(duì)人臉數(shù)據(jù)集中的素描圖像，Gallery由UoM-SGFSv2 SetA中剩余150對(duì)人臉圖像中的可見光圖像和擴(kuò)充的1521張可見光照片構(gòu)成。擴(kuò)充的1521可見光照片包括來自MEDS-Ⅱ數(shù)據(jù)庫的509張照片、來自FEI數(shù)據(jù)庫的199張照片以及來自LFW數(shù)據(jù)庫中的813張照片。S2數(shù)據(jù)集具體設(shè)置同S1一致，只是將隨機(jī)抽取的數(shù)據(jù)集更換為UoM-SGFSv2 SetB，其它保持不變。對(duì)于e-PRIP數(shù)據(jù)集，實(shí)驗(yàn)設(shè)置(S3設(shè)置)與Deep Network[17]保持一致。隨機(jī)從e-PRIP數(shù)據(jù)集抽取的48對(duì)配對(duì)的人臉圖像作為S3訓(xùn)練集圖像。S3測(cè)試集Probe和Gallery分別包含e-PRIP剩余75個(gè)人的素描圖像、可見光圖像。

3.2 實(shí)驗(yàn)設(shè)置

本文的訓(xùn)練模型采用Pytorch框架搭建而成。訓(xùn)練過程中，采用隨機(jī)加載的方式訓(xùn)練模型，每次隨機(jī)載入的樣本對(duì)數(shù)設(shè)置為16。使用Adam優(yōu)化器迭代更新模型的訓(xùn)練參數(shù)，將Adam優(yōu)化器的學(xué)習(xí)率設(shè)置為0.0002。總損失函數(shù)中各部分權(quán)重分別設(shè)置為：λadv=0.01，λtravel=0.1，λmargin=0.1，λcls=10。

在模型開始訓(xùn)練前，首先使用MTCNN[18]對(duì)現(xiàn)有的數(shù)據(jù)集進(jìn)行人臉檢測(cè)，獲得僅包括面部的人臉輸出圖像。使用MTCNN對(duì)UoM-SGFSv2數(shù)據(jù)集和e-PRIP數(shù)據(jù)集中的人臉圖像進(jìn)行檢測(cè)、對(duì)齊，保留有利于識(shí)別的人臉關(guān)鍵點(diǎn)信息，獲得同一尺度的人臉輸出圖像。經(jīng)過MTCNN處理后的UoM-SGFSv2數(shù)據(jù)集部分人臉圖像如圖6所示，其中第一列為可見光圖像，第二列為UoM-SGFSv2 SetA數(shù)據(jù)集中的素描人臉圖像，第三列為處理后的UoM-SGFSv2 SetB數(shù)據(jù)集中的素描人臉圖像。

圖6 UoM-SGFSv2數(shù)據(jù)集樣本對(duì)圖像

部分裁剪后的e-PRIP數(shù)據(jù)集中的人臉圖像如圖7所示。

圖7 e-PRIP數(shù)據(jù)集樣本對(duì)圖像

在對(duì)數(shù)據(jù)集人臉樣本處理完畢后，使用自定義的數(shù)據(jù)加載器將樣本圖像載入模型進(jìn)行訓(xùn)練。數(shù)據(jù)加載過程中對(duì)本文使用的數(shù)據(jù)集進(jìn)行以下預(yù)處理：包括人臉圖像的裁剪(將輸入的人臉圖像裁剪到同一尺度進(jìn)行處理)、圖像填充(圖像上下左右填充10個(gè)像素點(diǎn))、圖像隨機(jī)裁剪(裁剪尺寸為256*256)、圖像水平翻轉(zhuǎn)操作(默認(rèn)概率值大小為0.5)、歸一化處理(經(jīng)過歸一化處理后，可加快模型的收斂速度)。

為了減少因?qū)嶒?yàn)波動(dòng)帶來的識(shí)別精度誤差，本文訓(xùn)練采用五重隨機(jī)交叉驗(yàn)證的方式。將每個(gè)數(shù)據(jù)集隨機(jī)抽取5次，分別統(tǒng)計(jì)在這5個(gè)數(shù)據(jù)集上的識(shí)別率，最終識(shí)別率取5個(gè)值的均值。

3.3 實(shí)驗(yàn)結(jié)果與分析

3.3.1 合成結(jié)果定性分析

如圖8展示了本文方法生成的部分人臉圖像。生成的跨模態(tài)圖像五官細(xì)節(jié)更加銳利、突出，可以有效補(bǔ)充模態(tài)信息，與原始數(shù)據(jù)集人臉圖像一起輸入到識(shí)別網(wǎng)絡(luò)，不斷更新、優(yōu)化模型參數(shù)，極大豐富了同一對(duì)象的特征信息，有效提升素描人臉識(shí)別性能。

圖8 本文方法合成人臉結(jié)果

圖8從第一行至第三行依次為：原始可見光人臉圖像、本文方法合成的人臉圖像、原始素描人臉圖像。

3.3.2 識(shí)別性能消融研究

為了驗(yàn)證本文方法的有效性，在本節(jié)進(jìn)行識(shí)別性能消融研究。消融實(shí)驗(yàn)分別設(shè)置為：去掉生成器和判別器，直接對(duì)原始數(shù)據(jù)集進(jìn)行素描人臉識(shí)別(Baseline)、合成和識(shí)別階段分開進(jìn)行(w/o SPT)，查看各項(xiàng)因素對(duì)識(shí)別性能的影響。其中，Baseline為模態(tài)間方法，直接使用識(shí)別網(wǎng)絡(luò)判別素描圖像、可見光圖像所在的類別，統(tǒng)計(jì)在3個(gè)數(shù)據(jù)集上的識(shí)別率結(jié)果。w/o SPT實(shí)驗(yàn)生成和識(shí)別階段分開進(jìn)行，用于驗(yàn)證端對(duì)端訓(xùn)練對(duì)識(shí)別性能的影響。

Baseline網(wǎng)絡(luò)模型結(jié)構(gòu)由特征提取器、分類器兩部分構(gòu)成，其中特征提取器采用預(yù)訓(xùn)練的resnet18網(wǎng)絡(luò)。原始成對(duì)的素描、可見光人臉圖像經(jīng)過預(yù)處理后作為resnet18網(wǎng)絡(luò)的輸入，由該網(wǎng)絡(luò)完成對(duì)人臉圖像的特征提取任務(wù)，輸出的特征作為分類器的輸入，完成人臉圖像的配對(duì)、識(shí)別工作。

為了驗(yàn)證本文提出的端對(duì)端訓(xùn)練方法是否能帶來識(shí)別性能的提升，本文進(jìn)行了w/o SPT消融實(shí)驗(yàn)。其中w/o SPT為分開訓(xùn)練合成、識(shí)別模型，先生成后識(shí)別，加載已訓(xùn)練完畢的生成模型處理原始數(shù)據(jù)集，生成的輔助圖像加入到識(shí)別的訓(xùn)練樣本中，然后利用識(shí)別模型完成對(duì)人臉的識(shí)別任務(wù)。消融研究識(shí)別率結(jié)果見表2。

表2 識(shí)別性能消融研究結(jié)果

表2中，S1/S2數(shù)據(jù)集上統(tǒng)計(jì)Rank1識(shí)別率，S3數(shù)據(jù)集上統(tǒng)計(jì)Rank10識(shí)別率。

從表2識(shí)別率結(jié)果可發(fā)現(xiàn)，由于可見光人臉圖像和素描人臉圖像存在模態(tài)差異，直接對(duì)原始數(shù)據(jù)域人臉圖像識(shí)別效果不佳，如表2中Baseline數(shù)據(jù)行所示。為了驗(yàn)證端對(duì)端訓(xùn)練對(duì)識(shí)別性能是否帶來增益，本文將合成和識(shí)別模型的訓(xùn)練分開進(jìn)行，通過實(shí)驗(yàn)發(fā)現(xiàn)，不采用端對(duì)端訓(xùn)練的方法在3個(gè)數(shù)據(jù)集上的識(shí)別率明顯低于本文方法，如表2 中w/o SPT數(shù)據(jù)行所示。本文提出了基于轉(zhuǎn)換生成網(wǎng)絡(luò)的素描人臉識(shí)別方法通過引入識(shí)別損失約束項(xiàng)指導(dǎo)生成更好的跨模態(tài)圖像，而且生成的跨模態(tài)圖像有效減少了模態(tài)差異帶來的識(shí)別精度損失，顯著提升了模型的識(shí)別率，如表2中Proposed數(shù)據(jù)行所示。

圖9、圖10繪制了在S1、S2數(shù)據(jù)集上的CMC曲線，圖中橫坐標(biāo)1～10表示Rank1～Rank10。通過觀察曲線，不難發(fā)現(xiàn)，本文方法對(duì)識(shí)別率的提升貢獻(xiàn)最大。

圖9 S1數(shù)據(jù)集消融實(shí)驗(yàn)

圖10 S2數(shù)據(jù)集消融實(shí)驗(yàn)

在S3數(shù)據(jù)集上的消融實(shí)驗(yàn)如圖11所示。由于S3數(shù)據(jù)集僅包括123個(gè)人的素描、可見光圖像對(duì)，數(shù)據(jù)量少，因此Rank1識(shí)別率比較低。

圖11 S3消融實(shí)驗(yàn)

3.4 對(duì)比實(shí)驗(yàn)

為了評(píng)估本文方法的識(shí)別性能，在S1、S2、S3等3個(gè)數(shù)據(jù)集上與現(xiàn)有方法進(jìn)行比較。其中，S1、S2數(shù)據(jù)集主要統(tǒng)計(jì)Rank-1、Rank-10、Rank-50識(shí)別率，S3數(shù)據(jù)集由于數(shù)據(jù)量少，主要記錄Rank-10識(shí)別率。

本文方法與現(xiàn)有方法在S1數(shù)據(jù)集上識(shí)別率結(jié)果見表3。其中EP(+PCA)[19]為模態(tài)內(nèi)方法，即將圖像轉(zhuǎn)換到同一模態(tài)域內(nèi)進(jìn)行識(shí)別；LGMS[17]、DEEPS[16]、VGG-Face[20]

表3 S1數(shù)據(jù)集識(shí)別率結(jié)果

為模態(tài)間方法，通過提取出數(shù)據(jù)集圖像中能夠保留對(duì)象信息的關(guān)鍵特征來判別其身份。

表3中R-1，R-10，R-50分別表示Rank-1、Rank-10、Rank-50識(shí)別率。

通過表3可以發(fā)現(xiàn)，在S1數(shù)據(jù)集上，所有對(duì)比算法的性能均較低，因?yàn)樵摂?shù)據(jù)集模仿了現(xiàn)實(shí)世界中的法醫(yī)繪制的素描人臉圖像。本文提出的基于轉(zhuǎn)換生成網(wǎng)絡(luò)的素描人臉識(shí)別方法使用端對(duì)端訓(xùn)練來更新模型參數(shù)，同時(shí)實(shí)現(xiàn)生成跨模態(tài)圖像和識(shí)別，識(shí)別性能明顯優(yōu)于其它對(duì)比算法。

為了直觀展示不同算法的識(shí)別性能，圖12繪制了本文方法與現(xiàn)有方法在S1數(shù)據(jù)集上的識(shí)別率柱狀圖。

圖12 S1數(shù)據(jù)集對(duì)比實(shí)驗(yàn)

本文方法與現(xiàn)有方法在S2數(shù)據(jù)集上識(shí)別率結(jié)果見表4。

表4 S2數(shù)據(jù)集識(shí)別率結(jié)果

相比于S1數(shù)據(jù)集，S2數(shù)據(jù)集對(duì)素描人臉圖像經(jīng)過稍微改動(dòng)，所有算法的性能均得到有效提升。

圖13繪制了本文方法與現(xiàn)有方法在S2數(shù)據(jù)集上的識(shí)別率柱狀圖。通過柱狀圖可以明顯發(fā)現(xiàn)本文方法的優(yōu)越性。

圖13 S2數(shù)據(jù)集對(duì)比實(shí)驗(yàn)

針對(duì)S3數(shù)據(jù)集，表5記錄了本文方法與現(xiàn)有方法的識(shí)別率統(tǒng)計(jì)結(jié)果。其中DEEPS擴(kuò)充了訓(xùn)練集樣本數(shù)，采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行素描人臉識(shí)別。CNN和Deep Network均采用了遷移學(xué)習(xí)的方式，將從大型人臉照片數(shù)據(jù)庫學(xué)習(xí)到的人臉表示應(yīng)用到素描數(shù)據(jù)集。

表5 S3數(shù)據(jù)集識(shí)別率結(jié)果

4 結(jié)束語

素描圖像和可見光圖像之間存在模態(tài)差異，直接進(jìn)行素描人臉識(shí)別效果不佳，本文提出了基于轉(zhuǎn)換生成網(wǎng)絡(luò)的素描人臉識(shí)別方法，該網(wǎng)絡(luò)由生成模塊和識(shí)別模塊組成，使用端對(duì)端訓(xùn)練來更新模型參數(shù)，生成和識(shí)別部分同時(shí)進(jìn)行，彼此促進(jìn)。通過生成跨模態(tài)圖像、補(bǔ)充模態(tài)信息來輔助提升識(shí)別精度，通過引入識(shí)別損失約束項(xiàng)指導(dǎo)生成更好的跨模態(tài)圖像。為了充分利用數(shù)據(jù)集的人臉圖像，擴(kuò)充同一對(duì)象的特征信息，分別提取原始素描圖像、原始可見光圖像、合成的可見光圖像的人臉特征信息輸入到分類器中進(jìn)行識(shí)別，不斷更新、優(yōu)化模型參數(shù)，極大豐富了同一對(duì)象的特征信息，有效提升素描人臉識(shí)別性能。

在UoM-SGFSv2、e-PRIP等數(shù)據(jù)集上驗(yàn)證本文方法的識(shí)別性能，識(shí)別率相對(duì)現(xiàn)有方法顯著提升，尤其在UoM-SGFSv2 Set A數(shù)據(jù)集上效果最為明顯，與現(xiàn)有識(shí)別性能最好的DEEPS相比，Rank-1識(shí)別率提升了約30%。