靳曉緣，徐望明，伍世虔

(1.武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北 武漢，430081；2.武漢科技大學(xué)冶金自動化與檢測技術(shù)教育部工程研究中心，湖北 武漢，430081；3.武漢科技大學(xué)機(jī)器人與智能系統(tǒng)研究院，湖北 武漢，430081)

近年來人臉識別技術(shù)在可控條件下取得了不錯的應(yīng)用效果，出現(xiàn)了許多成熟的人臉識別算法和系統(tǒng)。但是在實(shí)際使用中也發(fā)現(xiàn)，由于受光照、表情、姿態(tài)等不可控因素的影響，同一人臉的圖像在不同環(huán)境下變化很大，其中光照條件對人臉識別性能的影響最為明顯，大大制約了人臉識別的應(yīng)用場合。

為了提高復(fù)雜光照條件下的人臉識別性能，國內(nèi)外研究者設(shè)計(jì)出多種方法，主要分為三類：一是光照預(yù)處理，即通過基本的圖像處理技術(shù)對人臉圖像進(jìn)行光照調(diào)整或補(bǔ)償，如采用伽瑪校正(Gamma Correction，GC)[1]或直方圖均衡化(Histogram Equalization，HE)[2]的方法；二是對人臉圖像進(jìn)行光照歸一化處理，有采用Lambert光照模型估計(jì)人臉圖像中與光照無關(guān)的反射分量的方法，如基于Retinex的算法[3]、自商圖(Self Quotient Image, SQI)算法[4]等，還有運(yùn)用濾波原理的方法，如基于高斯差分(Difference of Gaussian, DoG)濾波的可增強(qiáng)局部紋理的光照歸一化算法(Tan and Triggs Normalization, TT)[5]、基于高斯濾波的韋伯臉計(jì)算方法 (Weber-face，WEB)[6]、基于微分濾波的梯度臉計(jì)算方法(Gradientfaces)[7]；三是提取對于光照具有不變性的人臉特征，如基于局部二值模式(LBP)、局部三值模式(LTP)、Gabor特征及其變種算法等構(gòu)建穩(wěn)定的人臉特征表示[8-11]。這三類方法是從不同角度來改善光照變化對人臉識別的影響，還有一些研究者通過組合處理方法來達(dá)到更好的人臉識別效果[12-13]。

光照歸一化方法或光照不變特征提取方法使得人臉圖像的表示在大部分光照下顯現(xiàn)出穩(wěn)定性，但在人臉圖像過亮、過暗、不均勻等極端情況下，仍難以獲得較理想的特征表示和識別效果，因而通過特定光照預(yù)處理算法改善人臉光照水平，再與光照歸一化方法以及合適的人臉特征提取算法相結(jié)合，對提高復(fù)雜光照條件下的人臉識別效果具有積極意義。

本文針對人臉識別場合中可能存在的光照過亮、過暗和光照不均勻的情形，提出一種光照自適應(yīng)的圖像增強(qiáng)方法(Illumination-Adaptive Image Enhancement，IAIE)。對于不同光照條件下獲取的人臉圖像，首先計(jì)算其平均亮度，并與通過統(tǒng)計(jì)學(xué)習(xí)得到的正常光照人臉圖像的亮度區(qū)間進(jìn)行比較，判定其光照水平，分為低光照、高光照和正常光照三種情況，然后對低光照和高光照人臉圖像運(yùn)用相機(jī)響應(yīng)模型(Camera Response Model，CRM)產(chǎn)生相應(yīng)虛擬的曝光良好的圖像，再進(jìn)行圖像融合以達(dá)到光照增強(qiáng)的目的，此過程循環(huán)迭代，最終使得人臉圖像平均亮度達(dá)到正常水平。這種光照自適應(yīng)增強(qiáng)后的人臉圖像可無縫接入現(xiàn)有的人臉識別算法(包括基于深度學(xué)習(xí)的人臉識別算法)作為輸入圖像，從而改善人臉識別系統(tǒng)的性能。本文最后采用Extended Yale B和CMU_PIE人臉數(shù)據(jù)庫中的圖像來驗(yàn)證該方法的有效性。

1 光照自適應(yīng)的人臉圖像增強(qiáng)方法

1.1 基本流程

如圖1所示，對于輸入的人臉圖像，本文方法先計(jì)算其平均亮度，再以事先通過統(tǒng)計(jì)學(xué)習(xí)得到的正常光照亮度區(qū)間為參考，判斷該圖像的光照水平。對于低光照和高光照圖像，分別采取低光照和高光照圖像增強(qiáng)方法進(jìn)行處理；對于正常光照圖像，不需要處理，直接輸出。每一次光照增強(qiáng)處理后，再次計(jì)算其平均亮度并衡量光照水平。迭代以上圖像增強(qiáng)處理過程，直到最終輸出正常光照水平的人臉圖像為止。這種光照自適應(yīng)增強(qiáng)后的人臉圖像可作為現(xiàn)有人臉識別系統(tǒng)中人臉光照歸一化模塊或人臉特征提取模塊的輸入。

圖1 光照自適應(yīng)的人臉圖像增強(qiáng)方法流程

Fig.1 Flow chart of illumination-adaptive face image enhancement method

1.2 圖像平均亮度的計(jì)算及正常光照亮度區(qū)間估計(jì)

在實(shí)際部署的人臉識別系統(tǒng)中，注冊的人臉樣本一般是在正常光照條件下采集的，并作為人臉識別時的比對樣本；而在識別具體的人臉時，光照條件可能比較復(fù)雜，存在低光照、高光照或不均勻光照等情況。為了解決這一問題，本文根據(jù)輸入人臉圖像的平均亮度評價圖像光照水平，從而進(jìn)行有針對性的光照增強(qiáng)處理，使得最終輸送給人臉識別系統(tǒng)后續(xù)處理環(huán)節(jié)的圖像處于正常光照水平。

具體而言，對于任意輸入的人臉圖像：若為灰度圖像，則直接計(jì)算其平均灰度值作為平均亮度；若為彩色圖像，則先轉(zhuǎn)換為灰度圖像或直接計(jì)算其亮度分量通道圖像，再求平均亮度。

為了評價圖像光照水平，本文采用統(tǒng)計(jì)學(xué)習(xí)方法確定一個處于正常光照水平的圖像的平均亮度分布區(qū)間。從已有的人臉圖像數(shù)據(jù)庫中選擇那些在正常光照條件下采集的人臉樣本，首先計(jì)算每個樣本自身的平均亮度，記為mi，i=1,2,…,n，n表示樣本總數(shù)，然后求所有樣本的亮度平均值μ和標(biāo)準(zhǔn)差σ。

假設(shè)圖像灰度值均歸一化到區(qū)間[0,1]，在理想情況下，正常光照圖像的平均亮度值應(yīng)該在0.5左右，所以期望估計(jì)的正常光照區(qū)間是一個包含0.5的區(qū)間。但由于存在人臉膚色、圖像背景噪聲等因素的影響，樣本均值μ可能不滿足期望。通過實(shí)驗(yàn)研究，本文采取如下調(diào)整策略進(jìn)行區(qū)間表示：

[imin,imax]=

(1)

式中：[imin,imax]為正常光照亮度區(qū)間；λ為可調(diào)系數(shù)；ε取為0.05。

設(shè)所輸入人臉圖像的平均亮度為m，通過與正常光照亮度區(qū)間的上下限進(jìn)行比較，可將輸入圖像分為3類：

(1)當(dāng)m

(2)當(dāng)m>imax時，該圖像屬于高光照圖像，將進(jìn)行高光照圖像增強(qiáng)；

(3)當(dāng)m∈[imin,imax]時，該圖像屬于正常光照圖像，不處理，直接作為后續(xù)算法的輸入。

可調(diào)系數(shù)λ決定了正常光照亮度區(qū)間的長度，考慮用于統(tǒng)計(jì)分析的部分樣本可能含有噪聲，為了確定合適的系數(shù)λ，定義樣本率：

(2)

式中：N為訓(xùn)練集的樣本總數(shù)：M為平均亮度位于區(qū)間[imin,imax]上的訓(xùn)練集樣本數(shù)。

當(dāng)|μ-0.5|≤ε時，本文設(shè)定η≥85%，求取此條件下的最小λ值，這樣能使最終確定的正常光照亮度區(qū)間盡量緊湊且同時能包含至少85%的訓(xùn)練樣本；當(dāng)|μ-0.5|>ε時，η閾值減半，即設(shè)定η≥42.5%。

1.3 低光照及高光照圖像增強(qiáng)

對于低光照或高光照人臉圖像，本文使用圖像增強(qiáng)技術(shù)進(jìn)行處理，使其平均亮度最終能處于正常光照水平。伽瑪校正 (GC)是一種常用的圖像處理方法，其通過非線性變換，對過暗或過亮圖像進(jìn)行亮度調(diào)節(jié)。但由于伽瑪校正是對圖像所有像素進(jìn)行處理，在改善了過暗或過亮區(qū)域的同時，也使得原本曝光良好的區(qū)域過度增強(qiáng)或?qū)Ρ榷炔蛔?，同時，合適的校正系數(shù)也難以確定。因此，本文在Ying等[14-15]提出的基于相機(jī)響應(yīng)模型和曝光融合框架的圖像增強(qiáng)算法的基礎(chǔ)上進(jìn)行改進(jìn)，有選擇性地處理圖像中的過暗和過亮區(qū)域，以達(dá)到更好的復(fù)雜光照下人臉圖像增強(qiáng)效果。

針對低光照情況，首先利用文獻(xiàn)[14-15]中的相機(jī)響應(yīng)模型對原始低光照圖像P0進(jìn)行曝光增強(qiáng)，即生成一張?zhí)摂M曝光圖像P1,然后設(shè)計(jì)合適的權(quán)重矩陣W，將這兩幅圖像進(jìn)行融合：

R=W°P0+(1-W)°P1

(3)

式中：運(yùn)算符“°”表示具有相同行數(shù)和列數(shù)的矩陣對應(yīng)位置元素相乘。

所使用的相機(jī)響應(yīng)模型為:

P1=g(P0,k)=βP0γ=eb(1-ka)P0ka

(4)

式中：g為反映相機(jī)響應(yīng)的亮度映射函數(shù)；a和b為相機(jī)參數(shù)；k為曝光率。設(shè)置不同的k值，可生成不同曝光率的虛擬圖像。由于相機(jī)的信息未知，采用固定的相機(jī)參數(shù)a=-0.3293和b=1.1258，使這個模型能夠適應(yīng)大部分相機(jī)。

為了找到最佳曝光率k，使虛擬曝光圖像P1在原始圖像P0曝光不足的位置變得曝光良好，先利用式(5)排除P0中曝光良好的像素，獲得曝光不足的像素點(diǎn)集Q：

Q={P0(x)|T(x)<τ}

(5)

式中：τ=0.5；T為原始圖像P0的光照分量，基于Retinex理論估計(jì)T的方法可參考文獻(xiàn)[14-15]。

由于不同曝光率下的圖像亮度顯著變化，而顏色基本相同，故只考慮使用Q中所有像素的亮度矩陣B來估計(jì)曝光率。曝光不足的像素點(diǎn)的亮度矩陣B的信息熵為：

(6)

式中：pi代表在亮度矩陣B中每個灰度等級i出現(xiàn)的概率。

將曝光不足的像素點(diǎn)轉(zhuǎn)化為曝光良好的像素點(diǎn)有助于圖像可見度提升、信息量增大，因此使用“圖像熵最大化”的原則來求解最佳曝光率：

(7)

另外，對于式(3)中曝光融合時權(quán)重矩陣W的設(shè)計(jì)也很重要，一般考慮為曝光良好的像素分配較大的權(quán)重值。權(quán)重矩陣與場景照明正相關(guān)，計(jì)算公式為：

W=Tξ

(8)

式中：T為前述能反映場景照明程度的光照分量；ξ為控制增強(qiáng)度的參數(shù)，這里取ξ=0.5。

與伽瑪校正方法相比，這種基于虛擬曝光融合的圖像增強(qiáng)方法利用相機(jī)響應(yīng)模型、Retinex亮度分量估計(jì)和圖像熵最大化方法自適應(yīng)地求得曝光率k和圖像融合權(quán)重矩陣W，使得算法對于不同程度的低光照圖像均能取得較好的增強(qiáng)效果。

圖2所示為輸入人臉圖像與1次曝光增強(qiáng)后的虛擬圖像按照式(3)進(jìn)行融合后的結(jié)果，由圖可見，低光照區(qū)域取得了一定的對比度增強(qiáng)效果，但高光照區(qū)域的對比度依然較低。這是由于文獻(xiàn)[14-15]中的方法是針對低光照圖像，因此還需要處理實(shí)際人臉識別場景中可能出現(xiàn)的高光照情況。

圖2 人臉圖像的虛擬曝光融合

Fig.2 Virtual exposure fusion for face image

對于高光照圖像增強(qiáng)，本文先將所輸入的高光照人臉圖像P0的灰度值進(jìn)行反轉(zhuǎn)：

P′0=1-P0

(9)

這樣P′0就成為了低光照圖像，同樣可用上述方法對其進(jìn)行虛擬曝光圖像融合處理，最后再通過1次灰度值反轉(zhuǎn)操作，輸出結(jié)果中對應(yīng)于原高光區(qū)域的對比度將得以改善。

1.4 迭代式光照自適應(yīng)圖像增強(qiáng)

一些在極端光照條件下采集的圖像，按上述操作經(jīng)過1次虛擬曝光融合處理之后，還是無法達(dá)到較好的效果，本文方法繼續(xù)評價增強(qiáng)后人臉圖像的光照水平，視情況進(jìn)行迭代式增強(qiáng)處理。通常設(shè)置一個最大增強(qiáng)迭代次數(shù)itermax，在保證大多數(shù)圖像的光照水平在迭代次數(shù)內(nèi)能達(dá)到要求的同時，為了提高計(jì)算效率，itermax也要盡量小，一般取3～4比較合適。

圖3給出不同光照條件下的原始圖像以及分別采用伽瑪校正和本文方法的處理效果對比，由圖可見，當(dāng)光照變化較大時，本文方法取得的效果比伽瑪校正要好，起到了增強(qiáng)人臉圖像中低光或高光區(qū)域?qū)Ρ榷鹊淖饔谩?/p>

圖3 人臉圖像光照處理效果對比

Fig.3 Comparison of illumination processing effect for face images

2 人臉識別實(shí)驗(yàn)與結(jié)果分析

本文提出的人臉圖像光照增強(qiáng)方法可以無縫接入現(xiàn)有的人臉識別系統(tǒng)。為了驗(yàn)證本文方法(IAIE)的有效性，采用Extended Yale B和CMU-PIE兩個人臉圖像數(shù)據(jù)庫進(jìn)行識別實(shí)驗(yàn)，在采用相同的人臉特征提取方法和分類器的前提下，與伽瑪校正(GC)方法進(jìn)行對比研究，同時也將IAIE與光照歸一化方法TT[5]、WEB方法[6]相結(jié)合進(jìn)行對比研究。

Extended Yale B數(shù)據(jù)庫包含38人、每人64幅在不同光照條件下的正面人臉圖像，共2432幅。其中，每個人的圖像又因光照方向的不同分為5個子集：子集1(0°～12°)、子集2(13°～25°)、子集3(26°～50°)、子集4(51°～77°)和子集5(>77°)，每人在每個子集中的人臉圖像數(shù)依次為7、12、12、14 和19。部分樣例如圖4所示。

子集1可以作為正常光照條件下采集的圖像樣本，因此選取子集1為訓(xùn)練集，其它4個子集分別作為測試集進(jìn)行人臉識別實(shí)驗(yàn)。按照本文方法可以計(jì)算得到，訓(xùn)練集圖像平均亮度的均值為0.42，標(biāo)準(zhǔn)差為0.086，系數(shù)λ為1.4，則正常光照亮度區(qū)間為[0.42,0.54]，迭代次數(shù)itermax可設(shè)為3。

圖4 Extended Yale B數(shù)據(jù)庫人臉圖像樣例

Fig.4 Face image examples in Extended Yale B database

首先應(yīng)用不同的光照處理方法進(jìn)行圖像增強(qiáng)，然后提取人臉Gabor特征并進(jìn)行PCA降維[16]，再用最近鄰分類器進(jìn)行人臉識別，并統(tǒng)計(jì)人臉識別率。表1列出了以子集1作為訓(xùn)練樣本時采用不同光照處理方法對子集2～子集5的識別率。

表1 Extended Yale B數(shù)據(jù)庫中子集1為訓(xùn)練樣本時對其它各子集的人臉識別率

Table 1 Face recognition accuracy of other subsets with Subset 1 in Extended Yale B database as training samples

分組光照處理方法識別率/%子集2子集3子集4子集51不處理10085.4125.007.73GC10086.3625.6618.42IAIE10091.1533.3319.082TT10094.6280.9288.49IAIE+TT10094.7483.1194.413WEB10096.4176.7589.31IAIE+WEB10096.8984.5695.07

表1分三組顯示實(shí)驗(yàn)結(jié)果。第1組比較了不進(jìn)行光照處理、分別使用GC和IAIE方法進(jìn)行處理后的人臉識別精度，結(jié)果表明，隨著光照變化增大，各子集識別率下降比較明顯，但相對而言IAIE處理能起到提升識別率的作用。第2組、第3組分別比較了將IAIE與TT、WEB方法進(jìn)行組合處理前后的人臉識別精度，結(jié)果表明，組合后的識別率均有所提升，表明IAIE方法改善了人臉光照水平，提高了采用TT和WEB方法進(jìn)行光照歸一化后的圖像效果。

另外，仍然采用由子集1確定的IAIE參數(shù)，從Extended Yale B數(shù)據(jù)庫中每個人的每一個光照子集中隨機(jī)選取約1/3的人臉圖像(即依次隨機(jī)選取2、4、4、5、6幅圖像)作為訓(xùn)練集進(jìn)行特征比對，因此一共有21×38=798個訓(xùn)練樣本，再將剩余的1634幅圖像全部作為測試樣本進(jìn)行人臉識別實(shí)驗(yàn)。同樣提取人臉Gabor特征并進(jìn)行PCA降維，再用最近鄰分類器進(jìn)行人臉識別。其它參數(shù)設(shè)置不變，重復(fù)實(shí)驗(yàn)5次，計(jì)算平均識別率，結(jié)果如表2所示。

表2 Extended Yale B數(shù)據(jù)庫的整體人臉識別率

Table 2 Face recognition accuracy of all samples in Extended Yale B database

分組光照處理方法識別率/%1不處理82.59GC88.61IAIE90.302TT98.30IAIE+TT99.123WEB98.81IAIE+WEB99.36

這三組實(shí)驗(yàn)結(jié)果同樣表明，應(yīng)用IAIE方法對不同光照條件下的人臉圖像進(jìn)行增強(qiáng)處理后的識別率較GC方法有所提高，而且IAIE與TT或WEB組合后的人臉識別率也得到提升，進(jìn)一步驗(yàn)證了本文方法對于增強(qiáng)人臉圖像光照質(zhì)量的有效性。

同樣的實(shí)驗(yàn)效果也在CMU_PIE人臉圖像數(shù)據(jù)庫上得到體現(xiàn)。CMU_PIE數(shù)據(jù)庫包含68人、每人24幅在不同光照條件下的正面人臉圖像，共1632幅。挑選每人2幅能夠代表正常光照下的人臉圖像，按本文方法估計(jì)出正常光照亮度區(qū)間為[0.44,0.54]。迭代次數(shù)itermax同樣設(shè)為3。在進(jìn)行人臉識別時，每人隨機(jī)選取1/3的圖像作為訓(xùn)練集進(jìn)行特征比對，因此一共有8×68=544個訓(xùn)練樣本，再將剩余1088幅圖像全部作為測試樣本。提取人臉Gabor特征并進(jìn)行PCA降維，再用SVM分類器進(jìn)行人臉識別，重復(fù)實(shí)驗(yàn)5次，計(jì)算平均識別率，實(shí)驗(yàn)結(jié)果如表3所示。

表3 CMU_PIE數(shù)據(jù)庫的整體人臉識別率

Table 3 Face recognition accuracy of all samples in CMU_PIE database

分組光照處理方法識別率/%1不處理91.44GC92.49IAIE93.722TT96.08IAIE+TT97.733WEB97.11IAIE+WEB97.88

近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法的興起，基于深度特征的人臉識別方法的性能相比于傳統(tǒng)方法得到了很大提升，但深度學(xué)習(xí)方法的局限性在于對訓(xùn)練樣本的依賴性較強(qiáng)，尤其在光照不可控的條件下，當(dāng)識別那些與訓(xùn)練樣本光照差異較大的人臉圖像時可能出現(xiàn)錯誤。本文方法同樣可以無縫接入基于深度特征的人臉識別方法中，通過光照自適應(yīng)的圖像增強(qiáng)，改善不可控光照條件下的人臉識別性能。

為了說明本文方法對于基于深度特征的人臉識別同樣有效，這里利用Google公司通過百萬數(shù)量級人臉圖像數(shù)據(jù)訓(xùn)練出的深度卷積神經(jīng)網(wǎng)絡(luò)FaceNet[17]提取的128維特征替代前述PCA降維后的Gabor特征進(jìn)行實(shí)驗(yàn)。由于光照歸一化方法TT和WEB處理后的人臉圖像不適合用深度學(xué)習(xí)的人臉識別網(wǎng)絡(luò)提取特征，故下面只對表1～表3中第一組實(shí)驗(yàn)利用FaceNet提取的深度特征進(jìn)行處理，人臉識別結(jié)果如表4和表5所示。

表4 使用深度特征時Extended Yale B數(shù)據(jù)庫各子集的人臉識別率

Table 4 Face recognition accuracy of subsets in Extended Yale B database when using deep features

光照處理方法識別率/%子集2子集3子集4子集5不處理99.7898.0876.0944.24GC99.7898.5687.2884.21IAIE99.7898.8092.1096.05

表5 使用深度特征時Extended Yale B和CMU_PIE數(shù)據(jù)庫的整體人臉識別率

Table 5 Face recognition accuracy of all samples in Extended Yale B and CMU_PIE databases when using deep features

光照處理方法識別率/%Extended Yale BCMU_PIE不處理85.3299.32GC98.3099.42IAIE99.4799.46

由表4可見：與表1中第一組實(shí)驗(yàn)結(jié)果相比，基于深度特征的人臉識別方法確實(shí)大幅提高了復(fù)雜光照條件下的人臉識別性能，但對于子集4和子集5中包含的光照差異較大的人臉圖像，不進(jìn)行光照處理時識別率仍然比較低；而使用GC和IAIE方法進(jìn)行圖像增強(qiáng)處理后的人臉識別率得到了明顯提升。這表明光照增強(qiáng)對基于深度特征的人臉識別方法是有幫助的，尤其是本文IAIE方法與基于深度特征的人臉識別方法相結(jié)合取得了更好的效果。

同樣，將表5中的結(jié)果與表2和表3中第一組實(shí)驗(yàn)結(jié)果對比可知，基于深度特征的人臉識別方法也明顯提升了對兩個數(shù)據(jù)庫的整體識別率，同時，使用GC和IAIE方法進(jìn)行圖像增強(qiáng)處理后的人臉識別率得以進(jìn)一步提升，而且本文方法與基于深度特征的人臉識別方法相結(jié)合時表現(xiàn)最優(yōu)。由于CMU_PIE數(shù)據(jù)庫中人臉圖像的光照復(fù)雜性不如Extended Yale B，故圖像增強(qiáng)對Extended Yale B數(shù)據(jù)庫整體識別率的提升效果更明顯，這恰好也說明了本文方法有利于復(fù)雜光照條件下的人臉圖像識別。

3 結(jié)語

光照變化是影響人臉識別性能的關(guān)鍵因素，為了提高復(fù)雜光照條件下人臉識別的準(zhǔn)確率，本文提出一種基于虛擬曝光融合的光照自適應(yīng)人臉圖像增強(qiáng)方法。該方法通過估計(jì)輸入人臉圖像以及增強(qiáng)后的人臉圖像的光照水平并進(jìn)行分類別、有針對性的迭代式處理，利用相機(jī)響應(yīng)模型和圖像熵最大化方法自適應(yīng)地求取用于生成虛擬曝光圖像的最優(yōu)曝光率，使得算法能盡快收斂，且對于不同程度的低光照和高光照圖像均能取得較好的增強(qiáng)效果。針對Extended Yale B和CMU_PIE數(shù)據(jù)庫的基于傳統(tǒng)特征和基于深度特征的人臉識別實(shí)驗(yàn)都驗(yàn)證了本文方法的有效性。