張妍琰， 段 娜

(河南城建學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院，河南 平頂山 467036)

基于局部相位量化與多通道顏色的魯棒人臉識(shí)別*

張妍琰， 段 娜

(河南城建學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院，河南 平頂山 467036)

針對(duì)非可控條件下的人臉識(shí)別問(wèn)題，提出了一種新的融合多顏色通道的局部相位量化方法。首先，在不同顏色空間的各顏色通道圖像上計(jì)算局部相位量化響應(yīng)圖,然后對(duì)每幅響應(yīng)圖分塊計(jì)算統(tǒng)計(jì)直方圖，最后將特定顏色通道的相似度進(jìn)行融合。該方法充分利用了圖像不同顏色通道間的互補(bǔ)特性。實(shí)驗(yàn)結(jié)果表明，該方法實(shí)用性好，魯棒性強(qiáng)，在大規(guī)模非可控人臉數(shù)據(jù)庫(kù)上取得了較好的結(jié)果。

人臉識(shí)別；局部相位量化；顏色空間

人臉識(shí)別研究試圖賦予計(jì)算機(jī)根據(jù)面孔辨別人物身份的能力。該研究具有重要的科學(xué)意義和巨大的應(yīng)用價(jià)值。目前主流的特征描述子有Gabor描述子[1]、SIFT (Scale-Invariant Feature Transform)描述子[2]、HOG (Histograms of Oriented Gradients)描述子[3]以及局部二值模式描述子[4]。Gabor描述子在計(jì)算上只利用了其傅里葉變換后的幅值信息且二維圖像卷積操作計(jì)算量極大，不適用于對(duì)實(shí)時(shí)性要求很高的人臉識(shí)別系統(tǒng)，而SIFT與HOG描述子表示人臉的能力遠(yuǎn)不及表示物體或行人，因而這兩種描述子更多地被應(yīng)用于物體檢測(cè)或行人檢測(cè)，局部二值模式描述子雖然計(jì)算量較小，但是表示能力有限。在上述描述子的實(shí)際使用中，往往只利用圖像的灰度信息[5]而摒棄了信息量豐富的顏色信息。本文提出了一種新的融合多顏色通道的局部相位量化方法。其主要特點(diǎn)包括：(1)利用圖像傅里葉變換后的相位信息提取高效的、具有判別性的人臉特征；(2)充分利用不同的顏色空間；(3)在FRGC人臉數(shù)據(jù)庫(kù)上達(dá)到了較好的性能。

1 局部相位量化

局部相位量化(Local Phase Quantization,簡(jiǎn)稱(chēng)LPQ)最早用于圖像的紋理分類(lèi)問(wèn)題[6]。它利用傅里葉變換相位的模糊不變性，提高了對(duì)模糊圖像識(shí)別的魯棒性。該描述子在圖像中每個(gè)像素點(diǎn)的鄰域內(nèi)計(jì)算傅里葉變換后的相位信息，并在四組低頻分量上進(jìn)行量化進(jìn)而形成直方圖。該方法形式上有些類(lèi)似局部二值模式[4]。

在數(shù)字圖像處理領(lǐng)域，對(duì)原始圖像進(jìn)行空間不變的模糊可以用卷積的形式來(lái)表示，用f(x)表示原始圖像，g(x)表示卷積后的圖像，則模糊模型可以表示為

g(x)=(f*h)(x)，

式中：h(x)是描述模糊的點(diǎn)擴(kuò)散方程(PointSpreadFunction，簡(jiǎn)稱(chēng)PSF);*表示空間內(nèi)的二維卷積操作；x是坐標(biāo)向量[x,y]T。模糊模型在傅里葉頻域內(nèi)對(duì)應(yīng)于

G(u)=F(u)·H(u)，

式中：G(u)、F(u)和H(u)分別是模糊后圖像g(x)、原始圖像f(x)以及模糊的點(diǎn)擴(kuò)散方程h(x)的離散傅里葉變換后的結(jié)果；u為頻域內(nèi)的坐標(biāo)向量[u,v]T。將幅值和相位信息分開(kāi)，則幅值部分可以表示為

而相位部分可以表示為

angle(G(u))=angle(F(u))+angle(H(u))。

如果假設(shè)模糊的點(diǎn)擴(kuò)散方程(PSF)中h(x)是中心對(duì)稱(chēng)的，即h(x)=h(-x)，那么h(x)的傅里葉變換總是實(shí)數(shù)，并且它的相位部分只是一個(gè)二值函數(shù)

這就意味著

angle(G(u))=angle (F(u)), for all H(u)≥0。

(1)

在H(u)為正的頻率下，模糊后圖像的相位angle(G(u))對(duì)于具有中心對(duì)稱(chēng)性質(zhì)的模糊具有不變性。在理想的由運(yùn)動(dòng)造成的模糊和由失焦造成的模糊情形下，h(x)的剖面圖是矩形[7]，這就導(dǎo)致了該剖面圖下的頻譜H(u)是一個(gè)同樣包含負(fù)值的辛格函數(shù)(sincfunction)。在滿足條件的頻率(blurlength/samplingfrequency)下，H(u)的值也總是正的。在點(diǎn)擴(kuò)散方程(PSF)是高斯的情況下(模擬大氣紊流造成的模糊)，H(u)也是一個(gè)只有正值的高斯分布，并且總是滿足式1。

在實(shí)踐中，由于最終觀察到的模糊后圖像的大小是有限的，所以不可能完全達(dá)到模糊不變性。由于對(duì)理想圖像用模糊核(PSF)進(jìn)行卷積后的圖像超出了原始圖像的邊緣，而超出邊緣的那部分信息則丟失了，所以當(dāng)模糊的寬度相比于圖像大小足夠大時(shí)，邊緣信息丟失的現(xiàn)象就會(huì)變得非常明顯。

2 用于紋理分類(lèi)的局部相位量化

2.1 短時(shí)傅里葉變換

局部相位量化這個(gè)方法是基于傅里葉相位譜對(duì)模糊的不變性設(shè)計(jì)出來(lái)的。它對(duì)通過(guò)二維離散傅里葉變換提取的局部相位信息進(jìn)行量化，更精確地講，是在圖像f(x)的每一個(gè)像素點(diǎn)x周?chē)鶰乘M的鄰域x內(nèi)計(jì)算短時(shí)傅里葉變換，可以將上述描述定義為：

(2)

式中：Wu是二維離散傅里葉變換在頻率u下的基向量；fx為x區(qū)域的所有M2個(gè)采樣像素點(diǎn)。從式2可以看出，一個(gè)高效的計(jì)算短時(shí)傅里葉變換的方式就是對(duì)所有u進(jìn)行二維卷積操作f(x)*e-2πjuTx。由于基函數(shù)是分開(kāi)的，所以可以分別對(duì)行和列進(jìn)行一維卷積計(jì)算。在局部量化方法中，只考慮4個(gè)復(fù)數(shù)系數(shù)，它們對(duì)應(yīng)于二維頻率下的u1=[a,0]T、u2=[0,a]T、u3=[a,a]T和u4=[a,-a]T，其中a是低于滿足式1的H(u)的第一個(gè)過(guò)零點(diǎn)的標(biāo)量頻率值，則

其中符號(hào)Re{·}和Im{·}分別表示復(fù)數(shù)值的實(shí)部和虛部。對(duì)應(yīng)這4個(gè)參數(shù)下的8乘M2的轉(zhuǎn)移矩陣為

W=[Re{wu1,wu2,wu3,wu4},Im{wu1,wu2,wu3,wu4}]T

進(jìn)而有

Fx=Wfx。

2.2 對(duì)系數(shù)的統(tǒng)計(jì)學(xué)分析

因此，轉(zhuǎn)換系數(shù)向量Fx的協(xié)方差矩陣為

D=WCWT

當(dāng)ρ>0時(shí)D不是一個(gè)對(duì)角矩陣，這意味著系數(shù)之間存在著相關(guān)性，而信息只有在各系數(shù)統(tǒng)計(jì)獨(dú)立的情況下才能最大范圍地被保留，故在真正量化之前，需要對(duì)系數(shù)進(jìn)行去相關(guān)操作。這里用高斯分布作為假設(shè)，獨(dú)立性可以通過(guò)白化過(guò)程獲得，即

Gx=VTFx

其中V是對(duì)矩陣D進(jìn)行奇異值分解(SVD)后的正交矩陣

D=USVT

這里V在已知ρ的情況下可以提前計(jì)算獲得。在所有圖像的像素點(diǎn)上計(jì)算Gx，x∈{x1,x2,…,xN}，最終的結(jié)果使用一個(gè)簡(jiǎn)單的標(biāo)量量化子進(jìn)行量化

其中g(shù)j是Gx的第j個(gè)元素。使用二進(jìn)制編碼對(duì)量化后的系數(shù)進(jìn)行編碼，編碼的結(jié)果為十進(jìn)制整數(shù)。最終，可以在任何圖像區(qū)域內(nèi)提取統(tǒng)計(jì)直方圖(256維)并用于后續(xù)的分類(lèi)問(wèn)題

3 跨顏色空間的通道組合

圖1 橙子RGB圖像、NTSC圖像 與YIQ各分量圖像

人臉識(shí)別領(lǐng)域中，許多方法只是利用圖像的灰度信息，也有少部分利用了圖像的彩色信息，本文提出了一種新的利用顏色信息的方法，即融合不同顏色空間的不同通道，進(jìn)而更加高效地描述人臉信息。例如，實(shí)驗(yàn)中既在RGB顏色空間的R、G、B三個(gè)通道圖像上進(jìn)行特征抽取(以本文為例，提取局部相位量化特征)，也在YIQ、YCbCr顏色空間的相應(yīng)通道上進(jìn)行特征抽取，最后從每個(gè)顏色空間中選取性能最好的通道進(jìn)行相似度級(jí)別的融合。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)一

Face Recognition Grand Challenge (簡(jiǎn)稱(chēng)FRGC) 2.0人臉數(shù)據(jù)庫(kù)是一個(gè)由美國(guó)政府出資贊助并在圣母諾特丹大學(xué)采集的大規(guī)模人臉數(shù)據(jù)集。FRGC 2.0人臉數(shù)據(jù)庫(kù)是目前已公開(kāi)的最大規(guī)模的人臉數(shù)據(jù)庫(kù)，包含了在可控與非可控條件下采集的三維掃描圖像和高分辨率的二維圖像，圖像數(shù)目超過(guò)50 000幅。FRGC 2.0數(shù)據(jù)分為訓(xùn)練集和校驗(yàn)集兩個(gè)部分。訓(xùn)練集是在2002—2003年之間采集的，包括兩部分：一部分是大規(guī)模靜態(tài)圖像訓(xùn)練集，包含了222個(gè)對(duì)象的12 776幅圖像(可控條件下6 388幅圖像與非可控條件下6 388幅圖像)；另一部分是三維圖像訓(xùn)練集，包括三維掃描圖像和來(lái)自943個(gè)時(shí)期的可控與非可控條件下采集的圖像。校驗(yàn)集是在2003—2004年之間采集的，包含了466個(gè)對(duì)象、來(lái)自4 007個(gè)時(shí)期的圖像。

FRGC 2.0測(cè)試協(xié)議中提供了6個(gè)實(shí)驗(yàn)：實(shí)驗(yàn)1、2、4是針對(duì)二維圖像上識(shí)別算法的評(píng)測(cè)，實(shí)驗(yàn)3、5、6是針對(duì)三維圖像上識(shí)別算法的評(píng)測(cè)。在每個(gè)實(shí)驗(yàn)中，算法的輸入包括兩個(gè)集合：目標(biāo)集和查詢(xún)集。其中，目標(biāo)集中的圖像身份是已知的，查詢(xún)集中的圖像身份是未知的。識(shí)別算法的輸出是一個(gè)相似度矩陣，該矩陣包含了查詢(xún)集與目標(biāo)集中的所有圖像對(duì)。

圖2 FRGC數(shù)據(jù)集樣例(其中第一行 為目標(biāo)集，第二行、第三行為查詢(xún)集)

4.2 實(shí)驗(yàn)數(shù)據(jù)庫(kù)二

FERET人臉識(shí)別數(shù)據(jù)庫(kù)是由美國(guó)國(guó)防部通過(guò)DARPA(Defense Advanced Research Products Agency)資助的FERET計(jì)劃構(gòu)建，用來(lái)測(cè)試不同識(shí)別方法的性能[14]。該人臉識(shí)別庫(kù)總共包含了14 051幅多姿態(tài)的人臉圖像。1998年到2001年間發(fā)布的數(shù)據(jù)包含了3 737幅圖像，也被稱(chēng)為訓(xùn)練圖像。該數(shù)據(jù)庫(kù)嚴(yán)格劃分了人臉的注冊(cè)圖像集合和測(cè)試圖像集合。圖3給出了FERET人臉數(shù)據(jù)庫(kù)的部分示例圖像。

4.3 實(shí)驗(yàn)設(shè)置

圖3 FERET人臉庫(kù)的示例

實(shí)驗(yàn)中使用的局部相位量化描述子窗口半徑為3個(gè)像素，每個(gè)子塊大小為8×8個(gè)像素，在每個(gè)子塊提取統(tǒng)計(jì)直方圖，并將各子塊直方圖串接起來(lái)進(jìn)行主成分分析(Principal Component Analysis，簡(jiǎn)稱(chēng)PCA)和線性判別分析(Linear Discriminant Analysis，簡(jiǎn)稱(chēng)LDA)。PCA保留的維數(shù)依據(jù)能量準(zhǔn)則(保持95%的能量)，LDA降維后的特征維數(shù)統(tǒng)一設(shè)置為300，其后特征向量之間的距離度量采用向量間的余弦?jiàn)A角。最后，進(jìn)行人臉確認(rèn)實(shí)驗(yàn)時(shí)需對(duì)計(jì)算出來(lái)的相似度矩陣按列進(jìn)行零均值一方差的歸一化操作，進(jìn)而計(jì)算在錯(cuò)誤接受率為千分之一(FAR=0.1%)情形下的驗(yàn)證率，人臉識(shí)別實(shí)驗(yàn)采用的分類(lèi)器為最近鄰分類(lèi)器。

4.4 實(shí)驗(yàn)結(jié)果及分析

表1、2列出了FRGC數(shù)據(jù)庫(kù)和FERET數(shù)據(jù)庫(kù)上各個(gè)方法的性能匯總，可以看到本文方法達(dá)到了目前已知的最好效果。即使只是用單個(gè)顏色通道，局部相位量化描述子也可以達(dá)到與表1、表2中最佳性能比的效果，一旦融合多個(gè)顏色空間性能將進(jìn)一步提升，這也表明按照本文方法選擇的顏色通道具有很好的互補(bǔ)性能。

表1 FRGC數(shù)據(jù)庫(kù)實(shí)驗(yàn)四方法性能匯總

表2 FERET數(shù)據(jù)庫(kù)方法性能匯總

5 結(jié)束語(yǔ)

本文提出了一種基于局部相位量化與跨顏色空間的多通道顏色相結(jié)合的魯棒人臉識(shí)別算法，該算法充分利用了人臉圖像的顏色信息及傅里葉變換后的相位信息，從而在人臉區(qū)域提取了有效的判別性信息，最終在大規(guī)模非可控人臉數(shù)據(jù)庫(kù)上達(dá)到目前最好的結(jié)果。

[1] Liu Chengjun, Wechsler H. Independent component analysis of Gabor features for face recognition[J]. Neural Networks,2003,14(4):919- 928.

[2] Lowe D G. Object recognition from local scale-invariant features: Computer vision[C]// The proceedings of the seventh IEEE international conference, 1999: 1150-1157.

[3] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego: USA(IEEE), 2005:886-893.

[4] Ahonen T, Hadid A, Pietikainen M. Face recognition with local binary patterns: Computer Vision[C]//ECCV 2004. Springer Berlin Heidelberg, 2004: 469-481.

[5] Brunelli R, Poggio T. Face recognition: features versus templates[J]. Pattern Analysis and Machine Intelligence, 1993, 15(10):1042-1052.

[6] Ojansivu V, Heikkil J. Blur insensitive texture classification using local phase quantization[C]//Image and Signal Processing.France: Springer Berlin Heidelberg,2008:236-243.

[7] Banham M R, Katsaggelos A K. Digital image restoration[J]. IEEE Signal Processing,1997,14(2): 24-41.

[8] Phillips P, Flynn P, Scruggs T, et al. Overview of the face recognition grand challenge[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego：IEEE, 2005:947-954.

[9] Liu Chengjun. The bayes decision rule induced similarity measures[J].Pattern Analysis and Machine Intelligence, 2007,29(6):1086-1090.

[10]Yang J, Liu C. Color image discriminant models and algorithms for face recognition[J]. Neural Networks,2008,19(12):2088-2098.

[11]Hwang W, Park G, Lee J, et al. Multiple face model of hybrid fourier feature for large face image set[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2006: 1574-1581.

[12]Liu C. Capitalize on dimensionality increasing techniques for improving face recognition grand challenge performance[J]. Pattern Analysis and Machine Intelligence,2006,28(5):725-737.

[13]Yang J, Liu C. Horizontal and vertical 2dpca-based discriminant analysis for face verification on a large-scale database[J]. Information Forensics and Security,2007,2(4):781-792.

[14]Phillips P J, Moon H, Rizvi S A,et al. The FERET Evaluation Methodology for Face-Recognition Algorithms[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence.USA：IEEE，2000：1090-1104.

Local phase quantization and multi-color channel based robust face recognition

ZHANG Yan-yan, DUAN Na

(1.DepartmentofComputerScienceandEngineering,HenanUniversityofUrbanConstruction,Pingdingshan467036,China)

In order to solve the problems that exist in uncontrolled condition face recognition, a variational method based on fusion of local phase quantization information with multi-color channel was proposed. First，compute the local phase quantization image on every color channel of different color spaces. Then，extract the statistic histograms on the local phase quantization images. And finally, fuse the similarity scores from different color channels. The proposed method utilizes the complementarity of different color channels. The experimental results show that the proposed method has effectiveness and better robustness, and it achieves state-of-the-art performance on large scale uncontrolled condition face database (FRGC).

face recognition; local phase quantization; color space

河南省教育廳科學(xué)技術(shù)研究重點(diǎn)項(xiàng)目(12A520006)。

2013-10-12

張妍琰(1981-),女,河南平頂山人,碩士,河南城建學(xué)院計(jì)算機(jī)科學(xué)與工程學(xué)院講師。

1674-7046(2014)01-0067-06

TP391.41

A