胡 佩 陳冠豪

1(重慶工程職業(yè)技術(shù)學院信息工程學院 重慶 402260)2(重慶大學通信工程學院 重慶 400044)

0 引 言

在現(xiàn)有的人臉識別算法的研究與應(yīng)用中，人臉驗證或人臉鑒定采用的相似臨近搜索技術(shù)成為影響算法速度的重要因素之一，如何進一步提高相似臨近搜索技術(shù)的速度已成為研究的重中之重。

研究者們提出了兩種思路來解決這個問題，一是在原始的特征表示上使用降維的方法來得到較短的特征表示，例如主成份分析PCA(Principal Component Analysis)[1]方法；二是如文獻[2]中所述的方法將特征表示轉(zhuǎn)換為二進制特征表示；更有將兩者進行結(jié)合的方法，例如迭代量化方法ITQ(Iterative Quantization)[3]這些方法中，哈希算法在近幾年受到廣泛關(guān)注。哈希算法能在保持圖像特征相似性的前提下，將圖像特征映射為二進制編碼，其在存儲和在相似度計算上具有優(yōu)勢。近年來，基于監(jiān)督的哈希算法越來越被引起重視，它們通過學習訓練樣本的關(guān)系來構(gòu)建哈希函數(shù)，比傳統(tǒng)的與數(shù)據(jù)無關(guān)的哈希算法更有效。但目前很多帶監(jiān)督的哈希方法[4-5]通常采用圖像對或者圖像三元組的方式進行訓練，它使得訓練階段需要大量的計算代價和存儲代價，最終使得模型訓練幾乎不可能實現(xiàn)。近幾年，深度學習在圖像分類、目標檢測等多個領(lǐng)域都取得了較大的進展。從 NIN(Network In Network)[6]網(wǎng)絡(luò)結(jié)構(gòu)的提出到 Inception 結(jié)構(gòu)的網(wǎng)絡(luò)[7]在各方面取得較大提升，再到殘差網(wǎng)絡(luò)[8]在各種比賽中取得絕佳的效果等這一系列新的突破都說明了卷積神經(jīng)網(wǎng)絡(luò)學習圖像特征表示上的能力。

根據(jù)深度卷積神經(jīng)網(wǎng)絡(luò)和哈希算法的優(yōu)勢，本文結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)與二進制哈希函數(shù)的編碼方法構(gòu)建名為深度二進制哈希的算法，將學習得到的二進制哈希碼用于大規(guī)模的人臉識別當中。并針對哈希算法精度輕微下降的問題，通過聯(lián)合級聯(lián)結(jié)構(gòu)進行人臉識別，通過層層篩選的方式在保持速度的前提下有效提升特征表達的準確率，最終在保證算法準確率的情況下，較大縮減計算時間。

1 深度二進制人臉哈希

1.1 定 義

深度二進制人臉哈希的基本思想為在卷積神經(jīng)網(wǎng)絡(luò)中構(gòu)建哈希層，在學習特征表示的同時學習它對應(yīng)的哈希函數(shù)，使得提取到的特征從浮點型的特征轉(zhuǎn)換為二進制的特征。深度二進制人臉哈希的示意圖如圖1所示，網(wǎng)絡(luò)前向傳播后哈希層的激活值就是潛在的屬性，也就是二進制特征。針對人臉這個場景，通過對哈希損失函數(shù)的優(yōu)化來學習人臉專用的哈希函數(shù)，實現(xiàn)比傳統(tǒng)哈希算法更好的特征二進制化。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的二進制人臉哈希示意圖

深度二進制哈希算法與其他哈希算法的區(qū)別包括：

① 在原有的卷積神經(jīng)網(wǎng)絡(luò)中構(gòu)建哈希層，將哈希層得到的編碼輸入分類器進行分類，Softmax分類損失函數(shù)作為優(yōu)化目標之一。

② 通過圖像的標簽信息在學習分類的基礎(chǔ)上還同時學習二進制編碼對應(yīng)的哈希函數(shù)。

③ 不僅僅考慮分類函數(shù)的誤差，還考慮將浮點型連續(xù)值量化為二進制哈希碼時產(chǎn)生的誤差，使得哈希函數(shù)滿足獨立性和量化誤差最小的約束，從而得到表達能力更強的哈希碼。

④ 直接進行學習，不需要構(gòu)建圖像對或者三元組。

1.2 哈希層及二進制編碼

假設(shè)圖像集合表示為X={In}N，其中每個圖像In∈Rd，N代表圖像集合的大??；圖像集合對應(yīng)的標簽集合為Y={yn}N×M，其中M為圖像集合中類別的數(shù)量，每行為圖像通過一位有效編碼(One-Hot Encoding)后的結(jié)果，圖像標簽yn對應(yīng)的列值為1，余下的值填充0。深度哈希算法的目的為學習一個映射，這個映射可以表示為：

H:X→{0,1}N×K

(1)

式中：X為K維度的輸入特征；X代表映射；輸入特征通過映射后得到的輸出可以表示為K維的二進制編B={bn}∈{0,1}N×K。同時，該映射除了進行特征的二進制編碼以外，它還需要保持著不同圖像之間的相似性信息。

在如圖1所示的基于卷積神經(jīng)網(wǎng)絡(luò)的二進制人臉哈希示意圖中，特征提取層及其前面的所有層的前向傳播操作共同組成上述映射，哈希層為Tanh激活函數(shù)，哈希層輸出的激活值通過量化編碼后就是二進制特征。

(2)

(3)

(4)

式中：sign(z)函數(shù)表示當z>0的時候為1,否則為0。對于矩陣類型的參數(shù)將對每個元素進行單獨計算。因為Tanh激活后得到的范圍為(-1, 1)，故該公式通過取中間值 0 將松弛的“二值碼”量化為二進制特征。

1.3 哈希損失函數(shù)及算法求解

同哈希算法構(gòu)造的哈希函數(shù)差別巨大，最終的效果也是千差萬別，但是有一點是相同的，那就是在保持數(shù)據(jù)的相似性的前提下使得二進制編碼盡可能緊致。為了評判不同哈希函數(shù)的好壞，譜哈希SH(Spectral Hashing)[9]給出了對哈希函數(shù)的三個評價標準，本文對其進行了調(diào)整和修改：

① 它能夠有效地創(chuàng)建并維持二進制編碼之間的關(guān)系，學習得到的二進制編碼能夠保持圖像類別之間的相似度關(guān)系，直接表現(xiàn)為同一類別的圖像被映射到十分相似或者相同的二進制編碼。

② 學習得到的二進制編碼應(yīng)該有區(qū)分性并且每位應(yīng)該帶盡可能多的信息，表現(xiàn)為更短的編碼具有更好的效果。

③ 學習得到的二進制編碼的每位獨立并且均勻分布，表現(xiàn)為編碼的每位出現(xiàn)-1或者1的概率都為 50%，即二進制編碼的平均值為 0。

參考譜哈希的優(yōu)化目標函數(shù)[9]，為了平衡多個樣本之間的關(guān)系，采用雙通道網(wǎng)絡(luò)結(jié)構(gòu)來實現(xiàn)深度二進制哈希。在給定一個圖像對(Ii,Ij)，假設(shè)圖像對應(yīng)的特征為xi和xj，特征為輸入圖像在Rd維度下的表示，在這個維度下面特征之間的關(guān)系可以用歐式距離來代替相似度的關(guān)系。最終采用高斯核度量相似度G，相應(yīng)的表達式為：

(5)

假設(shè)二進制哈希特征每位是相互獨立的，相應(yīng)的優(yōu)化公式可以表示：

(6)

然而，這個方程存在一系列的問題，使得它沒辦法應(yīng)用在神經(jīng)網(wǎng)絡(luò)當中，因此，將式(5)轉(zhuǎn)化為采用多任務(wù)聯(lián)合監(jiān)督學習的方式進行優(yōu)化。同時，因為將特征提取與哈希學習是結(jié)合在一起的，故只需要保證特征能實現(xiàn)正確分類，并保證特征哈希化正確即可。也就是說，通過Softmax分類損失函數(shù)和設(shè)計的哈希損失函數(shù)即可實現(xiàn)二進制特征的提取，相應(yīng)的目標函數(shù)為：

(7)

式中：W代表神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)；λ代表正則項系數(shù)；LS代表Softmax分類損失函數(shù)；LH代表哈希損失函數(shù)，其由兩部分構(gòu)成，表達式為：

LH=αLHB+βLHC

(8)

式中：α和β為超參，用于平衡多個任務(wù)的權(quán)重，表示不同任務(wù)的重要性。LHC為哈希緊湊損失函數(shù)，其表達式為：

(9)

然而，如果單純地使用緊湊損失函數(shù)，學習得到最優(yōu)特征表示為所有的特征都為0。為解決這個問題，并將特征的數(shù)值盡可能拉開。故在卷積神經(jīng)網(wǎng)絡(luò)中，構(gòu)建哈希二進制損失函數(shù)LHB，可以表示為：

(10)

通過哈希二進制損失函數(shù)，學習得到的二進制特征將盡可能地拉大與0 的距離。

2 聯(lián)合級聯(lián)結(jié)構(gòu)的人臉識別

2.1 定 義

通過前一節(jié)的深度二進制人臉哈希，學習得到的二進制特征能有效地提高人臉識別搜索的速度。二進制特征的優(yōu)點是提取特征和匹配速度快，但漢明距離不能完整地反映特征間的關(guān)系和未對姿態(tài)進行感知與學習等多個因素共同造成。所以，算法如何在保持速度的基礎(chǔ)上進一步提高結(jié)果的準確率成為重要問題。

對于準確率和速度的矛盾，本文采用聯(lián)合級聯(lián)結(jié)構(gòu)[10-12]進行結(jié)合，其中深度二進制哈希學習起到特征選擇的作用。通過二進制特征來實現(xiàn)樣本快速選擇，經(jīng)過選擇后的樣本使用高準確率并且抗姿態(tài)變化的人臉特征進行“精細”識別，最終實現(xiàn)在高精度下的高速識別。

2.2 識別流程

通過聯(lián)合級聯(lián)結(jié)構(gòu)結(jié)合深度二進制人臉哈希與深度特征變換[13]的人臉識別,過程如圖2所示。整個聯(lián)合級聯(lián)結(jié)構(gòu)的人臉識別跟標準人臉識別算法的最大區(qū)別在于樣本選擇和有針對性的使用特征，最終實現(xiàn)層層遞進地篩選匹配的樣本，通過多種特征與多種度量的多次選擇，匹配出最佳的目標作為結(jié)果。通過層層遞進的選擇過程在保持高準確性的基礎(chǔ)上，還避免了直接使用高精度模型的高復雜度。

圖2 基于聯(lián)合級聯(lián)結(jié)構(gòu)的人臉識別示意圖

這個過程中算法的基礎(chǔ)組成和變化的步驟如下：

① 預處理 采用文獻[13]的方式對目標圖像中的人臉進行檢測并對齊，得到對齊后的標準人臉圖像I。

② 特征提取 通過隨機梯度下降的方式訓練并得到算法的模型，將標準人臉圖像I作為輸入，并行地輸入文獻[13]所述的卷積神經(jīng)網(wǎng)絡(luò)和論文所述的深度二進制哈希學習所示的卷積神經(jīng)網(wǎng)絡(luò)中，前向傳播并提取相應(yīng)的深度特征fP和深度二進制特征fB。

③ 樣本選擇 從人臉數(shù)據(jù)庫中讀取可能與輸入樣本有關(guān)的深度二值特征，計算標準人臉圖像的深度二進制特征與它們的漢明距，并將結(jié)果的漢明距離作升序排序。考慮到漢明距離越小代表兩者更加相似，故選取前K個對象作為樣本選擇的結(jié)果，將選擇出來的樣本編碼輸入到下一級的高精度人臉識別。

④ 高精度人臉識別 從人臉數(shù)據(jù)庫中讀取樣本選擇得到的K個對象的深度特征，計算標準人臉圖像的深度特征與它們的余弦相似度并作升序排序?？紤]到弦相似度越大代表兩者更加相似，基于最近鄰算法將相似度最大的樣本作為識別的結(jié)果。

2.3 偽代碼

人臉識別算法在測試階段的偽代碼如下：

算法: 基于二進制特征與聯(lián)合層疊結(jié)構(gòu)的人臉識別輸入:對齊后的人臉圖像集合I;人臉圖像的關(guān)鍵點K;人臉數(shù)據(jù)庫標簽Y及對應(yīng)的抗姿態(tài)變化特征fp和深度二進制特征fB;人臉圖像集合的大小B;人臉數(shù)據(jù)庫的大小D;預先定義的參數(shù)K;人臉識別最低閾值T輸出:人臉識別標簽集合Y⌒。1 for i=1…B do2 將對齊后的人臉圖像Ii輸入論文所述網(wǎng)絡(luò)3 前向傳播并提取深度二進制特征fiB4 for j=1…D do5 計算深度二進制特征fiB與fjB的漢明距離Hj6 end for7 根據(jù)漢明距離矩陣H對人臉數(shù)據(jù)庫從小到大進行排序8 選取人臉數(shù)據(jù)庫中漢明距離最小的前K條記錄集合RK9 根據(jù)人臉圖像的關(guān)鍵點Ki進行姿態(tài)估計,得到姿態(tài)角度YAWi10 對姿態(tài)角度YAWi進行分類,得到姿態(tài)類別Ci11 將對齊后的人臉圖像Ii和姿態(tài)類別Ci輸入文獻[13]所述的網(wǎng)絡(luò)12 向前傳播文獻[13]所述網(wǎng)絡(luò)并提取深度抗姿態(tài)變化的特征fiP13 for j=1,…,K do14 計算深度抗姿態(tài)變化特征fiB與fRjKB的余弦相似度Sj15 end for16 根據(jù)余弦相似度矩陣S對人臉數(shù)據(jù)庫從小到大進行排序17 if余弦相似度矩陣S的最大值小于閾值T then18 人臉圖像Ii不存在于人臉數(shù)據(jù)庫中19 continue20 end if21 選取余弦相似度最高的記錄標簽作為識別結(jié)果Y⌒22 end for

上述算法為基本的聯(lián)合層疊結(jié)構(gòu)的人臉識別的偽代碼，并未包含主成份分析、三元組嵌入層[14]等多個實際場景中常常用來適配場景的步驟。

3 算法性能對比及實驗分析

3.1 測試人臉數(shù)據(jù)集及測試子集

為了保證指標細節(jié)的可對比性和結(jié)果的可靠性，采用Facescrub[15]人臉數(shù)據(jù)集進行驗證。Facescrub人臉數(shù)據(jù)集中包含106.9千張來自530位被采集者在非可控條件下采集到的照片。同時，因為仿真使用的計算機配置十分有限，而數(shù)據(jù)集中樣本圖像比較多，故本文算法通過隨機下采樣的方式從這個數(shù)據(jù)集中獲取一個3萬張圖像的子集，總共300個個體，每個人包含100張圖像。

3.2 平臺及參數(shù)設(shè)置

圖3為深度二進制人臉哈希的網(wǎng)絡(luò)結(jié)構(gòu)示意圖。其中，卷積層均采用參數(shù)為3 × 3的卷積核，步長1，邊緣填充1；子采樣層均采用采樣2 × 2的區(qū)域，步長為2，采樣方式為最大值，采用漢明距離來度量特征之間的相似性。

圖3 深度二進制人臉哈希的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

3.3 性能指標評估及結(jié)果分析

本文算法針對的是人臉識別這類索引問題，為了評價算法的好壞，本文采用準確率(Precision)、召回率(Recall)對人臉識別的效果進行評價。與目前主流的哈希算法進行比較，包括迭代量化方法ITQ(Iterative Quantization)[16]、基于主成分分析的哈希算法PCAH(Principle Component Analysis Hashing)[17]、基于循環(huán)二進制嵌入的哈希算法CBE(Circulant Binary Embedding)[18]、帶監(jiān)督的快速離散哈希FSDH(Fast Supervised Discrete Hashing)[19]、球哈希SpH(Spherical Hashing)[20]、譜哈希算法SH(Spectral Hashing)[9]。不同算法在不同編碼長度下的準確率曲線如圖4所示。

(a) 256位

(b) 512位圖4 不同特征編碼下算法的準確率曲線

圖4為不同特征編碼長度下本文所述算法和常見哈希算法的準確率-檢索的樣本數(shù)量變換曲線，該曲線反映算法搜索結(jié)果排序的準確率。隨著檢索樣本的增加，因為總的樣本數(shù)量是有限的，對應(yīng)的精度是不斷下降的，本文所設(shè)定的單人圖像數(shù)量是100張，故在檢索的樣本數(shù)量超過100張后曲線的下降趨勢變快較多。從圖中不難發(fā)現(xiàn)，本文所述的基于聯(lián)合級聯(lián)機構(gòu)的人臉識別算法在精度指標上取得了較好的效果，其次是本文所述的深度二進制人臉哈希(DeepHash)。同時，隨著編碼長度的增加，如圖4(a)和圖4(b)分別所示，可以發(fā)現(xiàn)聯(lián)合級聯(lián)結(jié)構(gòu)的人臉識別曲線沒有較大提升，而深度二進制哈希學習對應(yīng)的曲線不斷得到提升，最終只是略遜于層疊級聯(lián)結(jié)構(gòu)的人臉識別。主要在于隨著編碼長度的增加，單位攜帶信息能力比較弱的二進制特征能攜帶更多的信息量，故表現(xiàn)出一定程度的增加。而層疊結(jié)構(gòu)的人臉識別第二階段采用的特征在較低編碼長度下已經(jīng)攜帶足夠信息(每個特征攜帶的信息為二進制特征的32倍)，這使得特征編碼長度的變化對于精準度的提升表現(xiàn)不明顯。接下來，對不同算法在不同編碼長度下召回率曲線進行評估，結(jié)果如圖5所示。

(a) 256位

(b) 512位圖5 不同特征編碼下算法的召回率曲線

圖5為不同特征編碼長度下本文所述算法和常見哈希算法的召回率-檢索的樣本數(shù)量變化曲線，該曲線反映算法搜索結(jié)果中出現(xiàn)的目標在總目標數(shù)中的比例。因為總的目標數(shù)量是有限的，故隨著檢索樣本的增加，對應(yīng)的召回率是不斷上升的。不同算法的召回率性能它的準確率類似，表現(xiàn)為聯(lián)合層疊結(jié)構(gòu)的算法召回率最高，其次就是深度二進制哈希學習的召回率比較好。隨著編碼長度的增加，層疊級聯(lián)結(jié)構(gòu)的人臉識別曲線沒有較大提升，而深度二進制哈希學習對應(yīng)的曲線同樣不斷得到提升，具體的原因前面已經(jīng)分析過，這里不再贅述。從召回率這個指標上，也說明了本文所述算法在召回率上較高的表現(xiàn)。

3.4 算法時間評估及分析

本文通過哈希的方式對特征進行二值化來提高系統(tǒng)運算速度，故算法的運行時間是評價的指標之一。

本次實驗選取的人臉數(shù)據(jù)集為CASIA-WebFace[21]，樣本為250×250 大小的彩色人臉圖像。人臉識別的全過程包含人臉與關(guān)鍵點檢測、人臉姿態(tài)估計與分類、人臉對齊、特征提取以及利用相似度來搜索人臉圖像的人臉識別階段。

提取特征后，因不同協(xié)議有著不同的流程和時間復雜度，故接下來對不同的協(xié)議進行單獨分析。對于人臉驗證(1:1)協(xié)議，假設(shè)人臉圖像對的數(shù)量為N，單次相似度計算需要的時間為T，顯而易見人臉驗證(1:1)需要的時間為：

Tv=N×T

(11)

對于人臉鑒別(1:N)協(xié)議，假設(shè)要搜索的圖像數(shù)量為S，人臉數(shù)據(jù)庫的大小為N，單次相似度計算需要的時間為T，則人臉鑒別(1:N)需要的時間為：

Ti=S×N×T

(12)

因論文對于時間復雜度的改進主要在最后的相似度計算上，因此，接下來在三種不同平臺上對不同的相似度計算方法的性能進行仿真實驗，相應(yīng)的結(jié)果如表1所示。

表1 不同相似度計算方法千次計算所需要的時間

在表1中，不同的相似度計算方法都隨著編碼長度的增加而需要更長的時間；不同語言在速度上也存在差別，C++在常見語言中花費的時間是最小的，MATLAB和Python語言與C++相比花費的時間要長很多,主要原因是C++編寫更加底層和存在編譯器優(yōu)化，而MATLAB和Python語言存在較大的IO開銷和數(shù)學庫優(yōu)化的差異。仿真結(jié)果表明在三種編譯環(huán)境中，本文所用的非緊湊漢明距離在時間性能上遠優(yōu)于其他兩種相似度的計算方式。

因此，本文所述算法具有十分重要的意義。例如在MATLAB環(huán)境中，采用本文所述的二進制特征來計算相似度時，對于人臉驗證，假設(shè)人臉圖像對的數(shù)量N為1 000張，特征編碼長度為1 024 bits，則根據(jù)表1可以計算得到基于非緊湊漢明距離的人臉驗證消耗的時間為5.5毫秒，遠小于余弦相似度和歐幾里德距離所用時間。對于人臉鑒別，假設(shè)要搜索的圖像數(shù)量為10，人臉數(shù)據(jù)庫的大小為10 000，故可以看出識別出10張人臉的身份只需要550 ms，時間屬于可以接受的范圍。

通過聯(lián)合層疊的方式進行人臉識別，根據(jù)式(12),它對應(yīng)的時間為：

TC=S×(N×TH+K×TE)

(13)

式中：S代表要搜索的圖像數(shù)量；N代表人臉數(shù)據(jù)庫的大??；TH代表計算單次漢明距離需要的時間；TE代表計算單次計算歐幾里德距離需要的時間；K代表排序重選的樣本數(shù)量。式(13)相對于式(12)，多出的時間為：

(14)

TC=S×(N×TH+K×TE)

(15)

4 結(jié) 語

本文針對人臉識別這個場景，通過構(gòu)建哈希層、哈希損失函數(shù)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合來直接提取二進制特征，將人臉哈希算法通常采用的特征提取后，再獨立地將哈希二進制化的流程簡化為直接提取二進制哈希特征。同時，最終提取到的二進制特征能有效地提高計算速度并節(jié)約需求的存儲空間，這對于移動端、嵌入式等計算能力比較弱的場合具有巨大的意義。

針對哈希后算法精度輕微下降的問題，通過聯(lián)合級聯(lián)結(jié)構(gòu)進行人臉識別，這種方式通過層層篩選的方式在保持速度的前提下有效提升特征表達的準確率，最終實現(xiàn)算法在準確率幾乎不下降的情況下，計算時間較大縮減。針對手機等嵌入式設(shè)備上計算能力比較弱并且存儲空間代價比較高昂的場景，可以單純采用基礎(chǔ)的二進制特征進行計算；針對需要高精度的場合，可以采用聯(lián)合層疊結(jié)構(gòu)進行識別，實現(xiàn)在保持高精度下的高速識別。最后，論文通過在FaceScrub人臉數(shù)據(jù)集上做人臉識別仿真來評估算法的效果。