張智斌，賴劍煌，謝曉華，鄭偉詩

(1.中山大學(xué)數(shù)學(xué)與計算科學(xué)學(xué)院，廣東 廣州 510275；2.華南理工大學(xué)數(shù)學(xué)系，廣東 廣州 510641；3.中山大學(xué)信息科學(xué)與技術(shù)學(xué)院，廣東 廣州 510275；4.中國科學(xué)院深圳先進(jìn)技術(shù)研究院，廣東 深圳 518055)

人臉識別技術(shù)在安檢、智能監(jiān)控等多個領(lǐng)域具有廣泛的應(yīng)用。在眾多人臉識別應(yīng)用中，光照變化問題是其中一項最具挑戰(zhàn)性的難題。Adini[1]指出在人臉識別中，同一對象人臉上光照變化對識別的影響比不同對象之間本質(zhì)差別對識別的影響更大。FRVT2002[2]和FRVT2006[3]中的人臉識別方法測試都表明，光照的劇烈變化會嚴(yán)重影響到人臉識別方法的性能。很多現(xiàn)有的人臉識別方法，如PCA、ICA和LDA等，都對光照變化具有敏感性。因此，臉部光照正則化是人臉識別和人臉圖像處理中有待解決的核心問題。

現(xiàn)有的光照正則化方法大致可以分成兩大類：提取對光照不敏感的光照不變特征的方法，以及重建人臉在正面均勻光照條件下的人臉圖像的方法。

提取光照不變特征的方法：在較早期的文獻(xiàn)，研究者提出用簡單的描述子去進(jìn)行人臉識別，例如對數(shù)變換、邊緣圖像、圖像梯度等。這些算法易于執(zhí)行，但是在提升識別率方面空間非常有限。近年，Zhang[4]梯度臉方法從梯度域提取光照不敏感度量?；跁r頻分析的研究，很多研究者提出在頻率域上提取光照不變特征。通常高頻成分被用作識別特征，因為高頻成分對光照變化不敏感。具有代表性的研究包括：基于小波變換的Waveletface方法[5]、提取Gabor特征的方法[6]、基于離散余弦轉(zhuǎn)換的方法[7]、基于離散傅里葉變換的Spectroface方法以及基于二元樹復(fù)小波變換的方法[8-9]。

在圖像空間中，一個固定姿勢的對象在任意光照方向下的所有圖像的集合構(gòu)成一個光照錐[10]。一個凸的蘭伯特對象的光照錐可被一個低維線性子空間逼近。因此，很多基于子空間的方法相繼提出，例如商圖像[11]、球諧函數(shù)表示的方法[12]、拉普拉斯算子特征臉[13]?；谧涌臻g的方法可以有效地應(yīng)用到處理光照變化問題上，但是這些方法通常需要大量的訓(xùn)練樣本。

人臉圖像的小尺度特征被認(rèn)為是對光照變化不敏感的光照不變特征。對于人臉圖像，我們將其小的本質(zhì)結(jié)構(gòu)稱為小尺度特征，例如人臉、眼睛、鼻子等的輪廓，小尺度特征表示的是人臉的高頻成分，并將大的本質(zhì)結(jié)構(gòu)例如光照和人臉區(qū)域的陰影稱為大尺度特征，大尺度特征表示的是人臉的低頻成分。許多現(xiàn)有的方法僅僅將人臉的高頻成分小尺度特征提取來用于人臉識別，以此來避免光照變化。這些方法主要包括Land[14]的Retinex模型及其改進(jìn)?；赗etinex理論，人臉圖像可以分解成其平滑部分和光照不變特征部分。分別使用全變分模型、高斯濾波、加權(quán)高斯濾波和小波變換等技術(shù)可得到基于Retinex理論的不同分解結(jié)果。相關(guān)的主要方法有對數(shù)全變分模型(LTV)[15]、本質(zhì)圖像方法(IntrinsicImage)[16]、自商圖像(SQI)[17]和對數(shù)小波變換方法(LWT)[18]。在提取光照不變特征的方法中，基于Retinex理論的方法通常比其他方法效果更好。然而，這些方法都舍棄了人臉圖像的大尺度特征，人臉的低頻成分大尺度特征往往包含著大量有用信息。此外，缺少了人臉的低頻成分大尺度特征，也很難生成有良好視覺效果的正面光照圖像。

重建人臉在正面均勻光照條件下的人臉圖像的方法：另外一些方法目標(biāo)在于重建在正面均勻光照下的人臉圖像，這些方法往往直接在原始圖像上進(jìn)行光照修正。最早的方法對人臉圖像做簡單的灰度值調(diào)整，例如Gamma校正的方法，直方圖均衡化方法(HE)和直方圖匹配方法(HM)。這些算法中并未考慮到獲得人臉圖像時的光照條件，因此很難用其取得滿意效果。與之相反，有研究者研究人臉在不同光照條件下獲得的人臉圖像之間的關(guān)系，而這些關(guān)系被運(yùn)用到一些后期的方法中，用于做人臉光照正則化。典型的方法包括形變臉(Morphing Face)[19]、由人臉區(qū)域陰影恢復(fù)人臉形狀的方法SFS[20]、基于線性光照模型的光照補(bǔ)償方法[21]、陰影補(bǔ)償方法[22]和通過在對數(shù)域截斷DCT低頻系數(shù)的光照補(bǔ)償方法[23]。這些方法可以獲得良好的人臉光照恢復(fù)結(jié)果，但這些方法都需要事先對人臉圖像做好嚴(yán)格的對齊，但是在不同光照條件下的人臉圖像之間做到嚴(yán)格的對齊是極具挑戰(zhàn)性的?；诠庹兆涌臻g理論，相關(guān)研究提出了很多光照重建方法，例如基于商圖像的光照重建方法[11]、基于球諧函數(shù)的形變模型(SHBMM)[24]、張量臉(TensorFace)[25]、雙線性光照模型[26]、諧波光照重建[27]以及基于像素相關(guān)性的光照重建模型[28]。通過這些光照重建方法，可以生成人臉在任意光照條件下的圖像。

本文提出的方法是一種基于人臉圖像高頻成分和低頻成分重建的方法。LTV方法和SQI等方法可獲得人臉圖像的高頻成分和低頻成分，高頻成分描述了人臉圖像細(xì)節(jié)成分，高頻成分可作為光照不變特征進(jìn)行人臉識別，低頻成分描述的是人臉圖像光照成分。在正面均勻光照射下的人臉圖像得到的高頻成分人臉細(xì)節(jié)信息清晰可見，低頻成分描述均勻的光照成分；但在非正面均勻光照射下的人臉圖像，人臉區(qū)域會分為光照明亮區(qū)域和光照陰影區(qū)域，光照陰影區(qū)域內(nèi)的高頻成分會被破壞，不能清晰地得到陰影區(qū)域內(nèi)的人臉細(xì)節(jié)信息，低頻成分內(nèi)會有明顯的光照陰影成分。Xie[29]指出丟棄低頻成分，只使用高頻成分作為光照不變特征做人臉識別會導(dǎo)致用于識別的信息不足。高頻成分主要描述的是人臉各部分的細(xì)節(jié)例如輪廓，高頻成分細(xì)微的變化都會影響特征的對準(zhǔn)從而影響識別率，而低頻成分描述的光照信息變化是緩慢的，低頻成分對人臉特征對齊具有一定的魯棒性。本文對在非正面均勻光照射下的人臉圖像，使用LTV獲得人臉圖像的高頻成分和低頻成分，本文的方法利用人臉光照明亮區(qū)域的高頻成分重建人臉陰影被破壞的高頻成分，利用局部的明亮區(qū)域的光照成分重建全局的人臉在正面均勻光照射下的光照成分，最后高頻成分和低頻成分進(jìn)行融合得到人臉在正面均勻光照下的人臉圖像，去除原圖像光照陰影區(qū)域的影響，實現(xiàn)人臉光照恢復(fù)。

1 人臉圖像高頻、低頻成分分解

本文的方法使用LTV方法得到人臉圖像中描述人臉細(xì)節(jié)信息的高頻成分和描述光照成分的低頻信息。對于在任意光照環(huán)境下獲得的人臉圖像F(x,y)，根據(jù)Lambertian反射原理，F(xiàn)(x,y)可以分解為

F(x,y)=ρ(x,y)S(x,y)

其中ρ(x,y)是反射圖像，描述的是人臉表面的反射率，S(x,y)是光照圖像，描述的是獲得人臉圖像的光照環(huán)境，ρ(x,y)與S(x,y)互相獨立。ρ(x,y)表述的是人臉圖像內(nèi)在的本質(zhì)特征，可以作為光照不變特征進(jìn)行人臉識別，但是對于單一圖像F(x,y)根據(jù)Lambertian反射原理求解ρ(x,y)是一個病態(tài)問題，難以實現(xiàn)。Chen等[16]在Lambertian反射原理的基礎(chǔ)上提出了LTV方法。

F(x,y)=ρ(x,y)S(x,y)=(ρ(x,y)/ρl(x,y))·

(ρl(x,y)S(x,y))=ρ′(x,y)S′(x,y)

其中ρl(x,y)是人臉平滑區(qū)域和背景區(qū)域的反射率。ρ′(x,y)=ρ(x,y)/ρl(x,y)描述的是人臉細(xì)節(jié)信息，是人臉圖像的高頻成分，S′(x,y)=ρl(x,y)S(x,y)描述的是人臉圖像的光照信息，是人臉圖像的低頻信息。

對人臉圖像F做對數(shù)變換得到

f=log(F)=log(ρ′)+log(S′)=v+u

本文實驗中選取LTV算法的參數(shù)λ=0.4。圖1中a)是在正面光均勻照射下的人臉圖像，b)，c)是a)通過LTV算法提取的高頻成分和低頻成分，可見在正面光均勻照射下的人臉圖像，高頻成分中人臉的細(xì)節(jié)信息(輪廓信息等)清晰可見，低頻成分描述了正面光照射的光照信息。

圖1 正面均勻光照照射下的人臉圖像Fig.1 Frontal illuminated face image

圖2中a)是在任意非正面均勻光照射下的人臉圖像，b)，c)是a)的高頻成分和低頻成分，可見在任意光照條件下的人臉圖像，人臉區(qū)域分成光照明亮區(qū)域和光照陰影區(qū)域，在光照陰影區(qū)域中，高頻成分人臉的細(xì)節(jié)信息被損壞，低頻成分內(nèi)會有明顯的光照陰影信息。

圖2 非正面均勻光照照射下的人臉圖像Fig.2 Non-frontal illuminated face image

2 人臉圖像陰影區(qū)域高頻、低頻成分的重建、融合

本文的方法利用人臉光照明亮區(qū)域的高頻成分，使用最小二乘法估計出光照陰影區(qū)域高頻成分最優(yōu)的重建系數(shù)，從而重建光照陰影區(qū)域內(nèi)被破壞的高頻成分。用同樣的方法利用局部的明亮區(qū)域的光照成分重建全局的人臉在正面均勻光照射下的光照成分。重建后的高頻人臉細(xì)節(jié)信息和低頻光照成分進(jìn)行融合得到人臉在正面均勻光照下的人臉圖像，去除原圖像光照陰影區(qū)域的影響，實現(xiàn)人臉光照恢復(fù)。Hwang[30]提出基于Morphable Face Model的方法根據(jù)人臉沒被損壞區(qū)域的輪廓、紋理重建人臉被損壞區(qū)域的輪廓和紋理。本文將Hwang的方法推廣應(yīng)用在高頻、低頻成分重建。

在任意光照條件下的待光照恢復(fù)的正臉圖像記為F，選擇m張在正面光均勻照射的正臉圖像作為訓(xùn)練圖像分別記為Ti,i=1,…,m，圖像的尺寸均為M×N。

使用LTV方法得到圖像F的高頻成分V，低頻成分U，得到訓(xùn)練圖像Ti,i=1,2,…,m的高頻成分Vi，低頻成分Ui。將圖像V，U，Vi,Ui,i=1,2…m的像素按列排序得到各自的列向量仍然用符號V，U，Vi,Ui,i=1,…,m表示。

根據(jù)PCA待光照恢復(fù)的人臉圖像F的高頻成分的列向量V可以表示為

(1)

待光照恢復(fù)的人臉圖像F的像素點可分為兩個集合：光照明亮區(qū)域的像素點集合X={x1,…,xn}和光照陰影區(qū)域的像素點集合Y={y1,…,yk}，n+k=M×N。本文的方法就是通過集合X上的高頻成分來估計式(1)最優(yōu)的系數(shù)α=(α1,…,αm)′，再由式(1)根據(jù)最優(yōu)系數(shù)α=(α1,…,αm)′重建集合Y上的高頻成分。

所求的最優(yōu)系數(shù)α=(α1,…,αm)′要滿足

(2)

其中xj∈X,j=1,…,n，可以假設(shè)n遠(yuǎn)大于m，式(2)是一矛盾方程組。一般不能找到合適的系數(shù)α=(α1,…,αm)′剛好滿足式(2)，我們選擇α*滿足最小平方誤差，即

根據(jù)最小二乘法可求得最優(yōu)系數(shù)α*，得到α*后根據(jù)式(1)可以重建光照陰影區(qū)域的高頻成分。

其中yj∈Y,j=1,…,k。

用同樣的方法可根據(jù)光照明亮區(qū)域的低頻成分重建光照陰影區(qū)域的低頻成分。

重建后的高頻成分記為V*，重建后的低頻成分記為U*。重建后的高頻人臉細(xì)節(jié)信息和低頻光照成分進(jìn)行融合得到人臉在正面均勻光照下的人臉圖像F*

F*=exp(a×V*+(1-a)×U*)

融合系數(shù)a,0≤a≤1,實驗中選取a=0.7。

圖3中a)為待光照恢復(fù)人臉圖像F，b)為F的高頻成分V，c)為重建后的高頻成分V*，d)為F的低頻成分U，e)為重建后的低頻成分U*，f)為V*和U*融合得到的光照恢復(fù)人臉圖像F*。

圖3 人臉圖像高頻、低頻成分重建、融合Fig.3 The reconstruction and fusion of high-frequency components and low-frequency components

3 人臉光照陰影區(qū)域的估計

本文的人臉圖像高頻、低頻成分重建方法需要預(yù)先把人臉圖像F的像素點分為兩個集合：光照明亮區(qū)域的像素點集合X={x1,…,xn}和光照陰影區(qū)域的像素點集合Y={y1,…,yk}。本文的實驗圖像是灰度圖像，可通過人臉圖像像素點的灰度值大致判斷是否屬于光照明亮區(qū)域。

本文實驗中選擇的經(jīng)驗閾值δ范圍為50≤δ≤120，特別地指出，本文的方法并不需要精準(zhǔn)地判斷人臉的光照明亮區(qū)域，只需大致地判斷出光照明亮區(qū)域就可使得方程組式(2)的方程數(shù)目n遠(yuǎn)大于未知量的數(shù)目m，使得方程組式(2)是矛盾方程，通過最小二乘法可求得方程組式(2)滿足最小平方誤差的解α*=(α1,…,αm)′。

4 實 驗

實驗中使用的正臉人臉圖像來自Yale B人臉數(shù)據(jù)庫。Yale B數(shù)據(jù)庫包括10個人，9種姿勢在65種光照條件下的人臉圖像，實驗使用的是正臉人臉圖像。Yale B數(shù)據(jù)庫根據(jù)采集時光源與攝像頭方向的夾角大小，Yale B數(shù)據(jù)庫被分為Set1到Set5五個子集，Set1中的人臉圖像基本上可看做是正面光均勻照射，從Set1到Set5人臉圖像的光照環(huán)境逐漸惡劣，Set5中的人臉圖像上有大范圍的陰影區(qū)域。

實驗中對Yale B正臉人臉圖像，和使用本文方法光照恢復(fù)后的人臉圖像，分別使用梯度臉(GF)，PCA，LDA隨機(jī)49次選取訓(xùn)練樣本做識別，49次的平均識別率見圖4-圖6。在光照環(huán)境惡劣的三個子集Set3、Set4、Set5使用本文的方法做光照恢復(fù)后的識別率比未做光照恢復(fù)前有顯著提高。本文方法得到的光照恢復(fù)圖像上的人臉細(xì)節(jié)信息比未做恢復(fù)前的人臉細(xì)節(jié)信息豐富，光照恢復(fù)圖像中的光照環(huán)境比未做恢復(fù)前有明顯的改善，光照恢復(fù)圖像結(jié)合了改善后的人臉細(xì)節(jié)信息和光照信息，豐富的識別信息更有利于提高識別率，圖4中可見選用梯度臉的方法就可達(dá)到最佳的識別結(jié)果。

5 結(jié) 論

本文提出了一種人臉圖像光照恢復(fù)方法，利用人臉光照明亮區(qū)域的人臉細(xì)節(jié)信息、光照信息重建人臉光照陰影區(qū)域內(nèi)的人臉細(xì)節(jié)信息和光照信息，然后融合重建后的人臉細(xì)節(jié)信息和光照信息，去除原圖像光照陰影的影響，實現(xiàn)人臉光照恢復(fù)。實驗結(jié)果表明本文的人臉光照恢復(fù)方法具有良好的視覺效果和識別結(jié)果。

圖4 原圖，恢復(fù)圖像GF識別率Fig.4 Recognition rates of GF using original and restored face images

圖5 原圖，恢復(fù)圖像PCA識別率Fig.5 Recognition rates of PCA using original and restored face images

圖6 原圖，恢復(fù)圖像LDA識別率Fig.6 Recognition rates of LDA using original and restored face images

參考文獻(xiàn)：

[1] ADINI Y, MOSES Y, ULLMAN S. Face recognition: The problem of compensating for changes in illumination direction [J]. IEEE Trans Pattern Anal Mach Intell, 1997, 19(7): 721-732.

[2] PHILLIPS P J, GROTHER P, MICHEALS R J, et al. FRVT 2002: Evaluation Report Mar. 2003[R/OL]//[2003-03-15]. http://www.frvt.org/FRVT2002/.

[3] PHILLIPS P J, SCRUGGS W T, TOOLE A J O, et al. FRVT 2006 and ICE 2006 large-scale results [R]//In National Institute of Standards and Technology, NISTIR, 2007, 7408.

[4] ZHANG T, TANG Y Y, FANG B, et al. Face recognition under varying illumination using gradientfaces [J]. IEEE Trans Image Process, 2009, 18(11): 2599-2606.

[5] GARCIA C, ZIKOS G, TZIRITAS G. A wavelet-based framework for face recognition [C]// Eur Conf Comput Vis, Freiburg, 1998: 84-92.

[6] OKADA K, STEFFENS J, MAURER T, et al. The bochum/USC face recognition system [C]// In Face Recognition: From Theory to Applications. Berlin: Springer-Verlag, 1998:186-205.

[7] HAFED Z, LEVINE M. Face recognition using the discrete cosine transform [J]. Int J Comput Vis, 2001, 43(3): 167-188.

[8] LAI J, YUEN P C, FENG G. Face recognition using holistic Fourier invariant features [J].Pattern Recognit, 2001, 34: 95-109.

[9] LIU C C, DAI D Q. Face recognition using dual-tree complex wavelet features [J]. IEEE Trans Image Process, 2009, 18(11): 2593-2599.

[10] GEORGHIADES A, BELHUMEUR P, KRIEGMAN D. From few to many: Illumination cone models for face recognition under variable lighting and pose [J]. IEEE Trans Pattern Anal Mach Intell, 2001, 23(6): 643-660.

[11] SHASHUA A, RIKLIN-RAVIV T. The quotient image: Class-based re-rendering and recognition with varying illuminations [J]. IEEE Trans Pattern Anal Mach Intell, 2001, 23(2): 129-139.

[12] BASRI R, JACOBS D. Lambertian reflectance and linear subspaces [J]. IEEE Trans Pattern Anal Mach Intell, 2003, 25(2): 218-233.

[13] HE X, YAN S, HU Y, et al. Face recognition using laplacianfaces [J]. IEEE Trans Pattern Anal Mach Intell, 2005, 27(3): 328-340.

[14] LAND E H, MCCANN J J. Lightness and retinex theory [J]. J Pot Soc Amer, 1971, 61(1): 1-11.

[15] CHEN T, YIN W, Zhou X S, et al. Total variation models for variable lighting face recognition [J]. IEEE Trans Pattern Anal Mach Intell, 2006, 28(9): 1519-1524.

[16] CHEN C P, CHEN C S. Lighting normalization with generic intrinsic illumination subspace for face recognition [C]//IEEE Int Conf Comput Vis, Beijing, China, 2005: 1089-1096.

[17] WANG H, LI S Z, WANG Y. Face recognition under varying lighting conditions suing self quotient image [C]//Conf Autom Face Gesture Recognit, Seoul, 2004: 819-824.

[18] ZHANG T, GANG B, YUAN Y, et al. Multiscale facial structure representation for face recognition under varying illumination [J]. Pattern Recognit, 2009, 42(2): 251-258.

[19] BLANZ V, VETTER T. Face recognition based on fitting a 3D morphable model [J]. IEEE Trans Pattern Anal Mach Intell, 2003, 25(9): 1063-1074.

[20] ZHAO W, CHELLAPPA R. Symmetric shape-from-shading using self-ratio image [C]// IEEE Int Conf Comput Vis, Vancouver, BC, 2001: 55-75.

[21] XIE X, LAM K. Face recognition under varying illumination based on a 2D face shape model [J]. Pattern Recognit, 2005, 38(2): 221-230.

[22] CHOI S, KIM C, CHOI C H. Shadow compensation in 2D images for face recognition [J].Pattern Recognit, 2007, 40: 2118-2125.

[23] CHEN W, MER, WU S. Illumination compensation and normalization for robust face recognition using discrete cosine transform in logarithm domain [J]. IEEE Trans Syst, Man,Cybern B,Cybern,2006,36(2):458-466.

[24] ZHANG L, Wang S, SAMARAS D. Face synthesis and recognition under arbitrary unknown lighting using a spherical harmonic basis morphable model [C]//IEEE Int Conf Comput Vis Pattern Recognit, San Diego, CA, 2005, II: 209-216.

[25] VASILESCU M A O, TERZOPOULOS D. Multilinear analysis of image ensembles: Tensorfaces [C]//IEEE Eur Conf Comput Vis, Copenhagen, Denmark, 2002: 447-460.

[26] LEE J, MOGHADDAM B, PFISTER H, et al. A bilinear illumination model for robust face recognition [C]//IEEE Int Conf Comput Vis, Beijing, China, 2005: 1177-1184.

[27] QING L, SHAN S, GAO W, et al. Face recognition under generic illumination based on harmonic relighting [J]. Int J Pattern Recognit Artif Intell, 2005, 19(4): 513-531.

[28] SHIM H, LUO J, CHEN T. A subspace model-based approach to face relighting under unknown lighting and poses [J]. IEEE Trans Image Process, 2008, 17(8): 1331-1341.

[29] XIE X H, ZHENG W S, LAI J H, et al. Normalization of face illumination based on large-and small-scale features [J]. IEEE Trans Image Process, 2011, 20(7): 1807-1821.

[30] HWANG B W, LEE S W. Reconstruction of partially damaged face images based on a morphable face model [J]. IEEE Trans Pattern Anal Mach Intell, 2003, 25(3): 365-372.