邵珠宏 歐陽(yáng)軍林 廖 帆 舒華忠

(東南大學(xué)影像科學(xué)與技術(shù)實(shí)驗(yàn)室,南京210096)

基于局部特征和集成學(xué)習(xí)的魯棒彩色人臉識(shí)別算法

邵珠宏 歐陽(yáng)軍林 廖 帆 舒華忠

(東南大學(xué)影像科學(xué)與技術(shù)實(shí)驗(yàn)室,南京210096)

為了充分利用人臉圖像的局部信息、改善現(xiàn)有基于整體特征的彩色人臉識(shí)別算法的識(shí)別率,提出了一種基于局部特征和集成學(xué)習(xí)分類器的魯棒彩色人臉識(shí)別算法.在特征提取階段,使用自適應(yīng)四元數(shù)pseudo-Zernike矩(AQPZMs)來(lái)描述圖像子塊的特征.對(duì)于具有較大熵的圖像子塊使用較高階次的四元數(shù)pseudo-Zernike矩(QPZMs)提取特征,反之則使用較低階次的QPZMs.在匹配識(shí)別階段,使用集成學(xué)習(xí)分類器進(jìn)行判別.針對(duì)不同彩色人臉圖像庫(kù)的測(cè)試結(jié)果表明,當(dāng)人臉圖像受到光照、表情等因素影響時(shí),與采用QPZMs或者四元數(shù)二維主成分分析(Q2DPCA)進(jìn)行整體特征提取的識(shí)別算法相比,所提算法的識(shí)別率更高.

彩色人臉識(shí)別;局部特征;四元數(shù)pseudo-Zernike矩;集成學(xué)習(xí)

在計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域,人臉識(shí)別算法引起了廣泛關(guān)注.一般而言,人臉識(shí)別的過(guò)程包括特征提取和匹配識(shí)別.在灰度人臉識(shí)別的問(wèn)題中,基于主成分分析的識(shí)別算法[1-2]備受關(guān)注,例如基于向量形式的主成分分析和基于矩陣形式的二維主成分分析、雙向主成分分析等.但是,當(dāng)人臉圖像受到表情、光照等因素影響時(shí),使用主成分分析提取特征的識(shí)別算法無(wú)法獲得理想的識(shí)別率.實(shí)際上,在判斷人臉類別的過(guò)程中,根據(jù)局部信息便能實(shí)現(xiàn)匹配.基于此,學(xué)者們提出了基于局部特征的人臉識(shí)別算法[3-9].根據(jù)總體散度矩陣的數(shù)量,可將算法大致分為2類:① 基于整體特征的算法,即將人臉圖像中不同位置的子塊投影到共同的特征空間上,利用所有訓(xùn)練樣本的子塊來(lái)計(jì)算平均臉,以得到總體散度矩陣[3, 7];② 基于局部特征的算法,即將人臉圖像中每個(gè)位置的子塊投影到各自的特征空間上,對(duì)不同位置的子塊分別計(jì)算平均臉和總體散度矩陣[4, 8].后者的識(shí)別率優(yōu)于前者.對(duì)于單訓(xùn)練樣本下灰度人臉表情的識(shí)別問(wèn)題,Kanan等[10]提出了一種采用pseudo-Zernike矩提取局部特征的識(shí)別算法.

相對(duì)于灰度圖像,彩色圖像可以提供豐富的視覺(jué)感受.隨著圖像采集設(shè)備的不斷發(fā)展,彩色圖像的獲取變得容易,彩色人臉識(shí)別問(wèn)題成為近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn).文獻(xiàn)[11-13]表明,與將彩色人臉圖像進(jìn)行灰度化的預(yù)處理方法相比,采用四元數(shù)矩陣表示的識(shí)別算法的識(shí)別率更高.但是,這類算法中計(jì)算的特征均是針對(duì)整幅人臉圖像的,算法的魯棒性較差.為了充分利用人臉圖像的局部信息,本文提出了一種基于局部特征的彩色人臉識(shí)別算法.

1 局部特征算法描述

1.1 圖像表示

對(duì)于任意一幅RGB彩色圖像f(x,y),將3個(gè)顏色通道分量作為四元數(shù)的虛部,則

f′(x,y)=ifR(x,y)+jfG(x,y)+kfB(x,y)

(1)

式中,fR(x,y),fG(x,y),fB(x,y)分別表示彩色圖像的紅、綠、藍(lán)分量.

1.2 特征提取

考慮到人臉圖像不同區(qū)域的識(shí)別能力不同,結(jié)合人臉圖像子塊的平均熵,提出了一種基于自適應(yīng)四元數(shù)pseudo-Zernike矩(AQPZMs)的局部特征表示方法.如果某個(gè)圖像子塊具有較大的熵,則使用較高階次的四元數(shù)pseudo-Zernike矩(QPZMs)描述其特征;反之,則使用較低階次的QPZMs.

1.2.1 彩色圖像的熵

對(duì)于一幅離散化的灰度圖像,熵定義為

(2)

式中,pi表示第i個(gè)灰度級(jí)出現(xiàn)的概率;s表示灰度級(jí)的數(shù)目,此處取s=256.

RGB彩色圖像由紅、綠、藍(lán)3個(gè)顏色分量構(gòu)成,那么RGB彩色圖像的熵H′可定義為顏色通道分量圖像熵的平均值,即

(3)

式中,HR,HG,HB分別表示紅、綠、藍(lán)顏色分量的熵.

1.2.2 局部QPZMs

對(duì)于圖像子塊fp, q(a,b),階次為n、重復(fù)度為m的四元數(shù)pseudo-Zernike矩[13]為

式中

Rn,m(r)=

(5)

1.2.3 局部特征提取

使用QPZMs提取人臉圖像子塊特征時(shí),需建立圖像子塊平均熵與QPZMs階次之間的關(guān)系.

首先,根據(jù)訓(xùn)練樣本中的部分或者全部人臉圖像,計(jì)算得到平均人臉圖像.然后,根據(jù)平均人臉圖像熵,得到與圖像具有相同尺寸的熵圖像E(x,y),其計(jì)算式為

E(x,y)=H′(FS(x,y))

(6)

式中,FS(x,y)表示經(jīng)過(guò)(x,y)處像素點(diǎn)的窗口.

基于不同鄰域尺寸得到的歸一化熵圖像見(jiàn)圖1.圖中,S為鄰域尺寸.

(a)原圖像

(b) S=3×3像素

(c) S=5×5像素

(d) S=7×7像素

(e) S=9×9像素

圖1 歸一化熵圖像

將歸一化熵圖像分塊,(p,q)處圖像子塊的平均熵為

W2(q-1)+yb)

(7)

描述圖像子塊的特征時(shí),根據(jù)子塊平均熵的大小,使用不同階次的QPZMs提取特征,其流程圖見(jiàn)圖2.

圖2 局部特征提取流程圖

2 分類器選擇

2.1 最近鄰分類器

在匹配識(shí)別階段,人臉圖像識(shí)別算法主要采用基于歐式距離的最近鄰分類器.對(duì)于2個(gè)維度均為n1的四元數(shù)特征向量v1,v2,其間距為

(8)

對(duì)于待識(shí)別的人臉圖像,分別計(jì)算其特征向量與所有訓(xùn)練樣本特征向量之間的距離,將最小距離所對(duì)應(yīng)的訓(xùn)練樣本類別作為待測(cè)樣本類別.

2.2 集成學(xué)習(xí)分類器

假設(shè)圖像劃分的子塊數(shù)量為Nb,將每個(gè)子塊作為單獨(dú)的分類器,則共計(jì)Nb個(gè)分類器.對(duì)于類別總數(shù)為L(zhǎng)的識(shí)別問(wèn)題,每個(gè)分類器生成L個(gè)置信度.

令Cl,k表示第k個(gè)圖像子塊屬于類別l的置信度,即

(9)

式中,α為歸一化系數(shù);σ為Dl,k對(duì)置信度的影響參數(shù);Dl,k為圖像子塊特征vk與類別l中樣本特征vc之間的最小F-范數(shù)距離,即

Dl,k=min(‖vk-vc‖F(xiàn))

(10)

對(duì)一幅圖像中所有子塊的置信度求和,從而得到待識(shí)別樣本屬于每個(gè)類別的總體置信度Cl,即

(11)

將最大總體置信度所屬的類別作為待測(cè)樣本的類別.當(dāng)存在多個(gè)最大總體置信度時(shí),可以將其隨機(jī)地歸類于最大置信度所屬的類別.

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提算法的性能,選擇不同的彩色人臉圖像庫(kù)進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)中所選用的Aberdeen人臉圖像庫(kù)[14]共計(jì)377幅圖像,包括29個(gè)不同類別,每個(gè)類別包含13幅不同光照、表情下的正面圖像,部分圖像見(jiàn)圖3(a).所選用的GT人臉圖像庫(kù)[15]中共計(jì)750幅圖像,包括50個(gè)人,每個(gè)人包含15幅不同光照、表情下的正面圖像,部分圖像見(jiàn)圖3(b).

(a) Aberdeen

(b) GT

根據(jù)眼睛的位置對(duì)人臉圖像進(jìn)行裁剪,將其尺寸調(diào)整為160×128像素.對(duì)于2個(gè)圖像庫(kù),均選取前10幅圖像作為訓(xùn)練集,其余圖像作為測(cè)試集.對(duì)人臉圖像按照W1×W2=160×64,80×128,80×64,53×128,53×64,53×42,40×128,40×64,40×42,40×32像素進(jìn)行分塊.實(shí)驗(yàn)中集成學(xué)習(xí)分類器參數(shù)σ的取值范圍為1～100.

3.1 基于AQPZMs的彩色人臉識(shí)別

使用AQPZMs提取人臉圖像子塊的特征時(shí),需要考慮以下2個(gè)因素:① 熵圖像鄰域的尺寸;② 圖像子塊的平均熵與QPZMs階次之間的關(guān)系.計(jì)算歸一化熵圖像時(shí),首先根據(jù)訓(xùn)練樣本中每個(gè)類別的第1幅人臉圖像,得到平均人臉圖像,再根據(jù)彩色圖像熵的定義,采用不同的鄰域尺寸得到歸一化熵圖像.對(duì)于Aberdeen人臉圖像庫(kù)的熵圖像(S=5×5像素),不同分塊時(shí)的子塊平均熵見(jiàn)圖4.圖中,區(qū)域顏色越深表示子塊的平均熵?cái)?shù)值越小.

(a) W1×W2=160×64像素

(b) W1×W2=80×128像素

(c) W1×W2=80×64像素

(d) W1×W2=53×128像素

(e) W1×W2=53×64像素

(f) W1×W2=53×42像素

(g) W1×W2=40×128像素

(h) W1×W2=40×64像素

(i) W1×W2=40×42像素

(j) W1×W2=40×32像素

結(jié)合采用QPZMs提取整體特征進(jìn)行識(shí)別時(shí)階次對(duì)識(shí)別率的影響和對(duì)人臉圖像進(jìn)行不同分塊時(shí)子塊平均熵的變化情況,根據(jù)實(shí)驗(yàn)中平均熵與QPZMs階次的關(guān)系(見(jiàn)表1),提取人臉圖像子塊的特征.首先,利用最近鄰分類器,采用AQPZMs提取特征，對(duì)不同鄰域尺寸、分塊時(shí)的識(shí)別率進(jìn)行統(tǒng)計(jì)，結(jié)果見(jiàn)表2.由表可知，當(dāng)圖像分塊固定時(shí),隨鄰域尺寸變化,識(shí)別率變化較平穩(wěn).GT人臉圖像庫(kù)上的結(jié)果與此類似.

利用集成學(xué)習(xí)分類器進(jìn)行判別,得到參數(shù)σ變化時(shí)2個(gè)圖像庫(kù)的識(shí)別率(見(jiàn)圖5).由圖可知,對(duì)于Aberdeen人臉圖像庫(kù),最高識(shí)別率為94.25%;對(duì)于GT人臉圖像庫(kù),最高識(shí)別率為89.60%.

表1 熵與QPZMs階次的關(guān)系

表2 Aberdeen人臉圖像庫(kù)的識(shí)別率 %

圖5 σ變化時(shí)2個(gè)圖像庫(kù)的識(shí)別率(S=5×5像素)

3.2 算法比較

為進(jìn)一步評(píng)估采用局部特征和集成學(xué)習(xí)分類器進(jìn)行人臉識(shí)別的優(yōu)勢(shì),考察了基于不同特征、選用不同分類器所得的最高識(shí)別率,結(jié)果見(jiàn)表3.由表可知,與使用QPZMs,Q2DPCA提取整體特征的識(shí)別算法相比,采用AQPZMs進(jìn)行局部特征提取的識(shí)別算法的識(shí)別率更高.當(dāng)人臉圖像未分塊時(shí),使用2種分類器得到的識(shí)別率一致;但在分塊情況下,使用集成學(xué)習(xí)分類器可以進(jìn)一步提高識(shí)別率.

表3 不同識(shí)別算法的最高識(shí)別率比較 %

4 結(jié)語(yǔ)

針對(duì)不同光照、表情等復(fù)雜條件下的彩色人臉識(shí)別問(wèn)題,提出了一種基于局部特征和集成學(xué)習(xí)分類器的魯棒識(shí)別算法.首先,根據(jù)熵圖像的平均區(qū)域熵,使用不同階次的QPZMs提取人臉圖像子塊的特征;然后,利用集成學(xué)習(xí)分類器進(jìn)行匹配識(shí)別.實(shí)驗(yàn)結(jié)果表明,與采用QPZMs或者Q2DPCA進(jìn)行整體特征提取的識(shí)別算法相比,所提算法的識(shí)別率更高.下一步的研究工作將考慮使用加權(quán)的局部特征進(jìn)行識(shí)別.

References)

[1]Yang J, Zhang D, Frangi A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognition [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2004, 26(1): 131-137.

[2]Zuo W M, Zhang D, Wang K Q. Bidirectional PCA with assembled matrix distance metric for image recognition [J].IEEETransactionsonSystems,ManandCybernetics:PartB:Cybernetics, 2006, 36(4): 863-872.

[3]Gottumukkal R, Asari V K. An improved face recognition technique based on modular PCA approach [J].PatternRecognitionLetters, 2004, 25(4): 429-436.

[4]Hsieh P C, Tung P C. A novel hybrid approach based on sub-pattern technique and whitened PCA for face recognition [J].PatternRecognition, 2009, 42(5): 978-984.

[5]Eftekhari A, Forouzanfar M, Abrishami M H, et al. Block-wise 2D kernel PCA/LDA for face recognition [J].InformationProcessingLetters, 2010, 110(17): 761-766.

[6]Wang H X. Block principal component analysis with L1-norm for image analysis [J].PatternRecognitionLetters, 2012, 33(5): 537-542.

[7]Cavalcanti G D C, Ren T I, Pereira J F. Weighted modular image principal component analysis for face recognition [J].ExpertSystemswithApplications, 2013, 40(12): 4971-4977.

[8]Mashhoori A, Jahromi M Z. Block-wise two-directional 2DPCA with ensemble learning for face recognition [J].Neurocomputing, 2013, 108: 111-117.

[9]Yan L, Pan J S, Chu S C, et al. Adaptively weighted sub-directional two-dimensional linear discriminant analysis for face recognition [J].FutureGenerationComputerSystems, 2012, 28(1): 232-235.

[10]Kanan H R, Faez K, Gao Y. Face recognition using adaptively weighted patch PZM array from a single exemplar image per person [J].PatternRecognition, 2008, 41(12): 3799-3812.

[11]Sun Y, Chen S, Yin B. Color face recognition based on quaternion matrix representation [J].PatternRecognitionLetters, 2011, 32(4): 597-605.

[12]Xu Y. Quaternion-based discriminant analysis method for color face recognition [J].PloSONE, 2012, 7(8): e43493-1-e43493-4.

[13]陳北京, 孫星明, 王定成, 等. 基于彩色圖像四元數(shù)表示的彩色人臉識(shí)別[J]. 自動(dòng)化學(xué)報(bào), 2012, 38(11): 1815-1823. Chen Beijing, Sun Xingming, Wang Dingcheng, et al. Color face recognition using quaternion representation of color image [J].ActaAutomaticaSinica, 2012, 38(11): 1815-1823. (in Chinese)

[14]2D face sets[EB/OL].[2014-08-25]. http://pics.stir.ac.uk/2D_face_sets.htm.

[15]Nefian A V. GT face database [EB/OL]. [2014-08-25]. http://www.anefian.com/research/face_reco.htm.

Robust color face recognition algorithm based on local features and ensemble learning

Shao Zhuhong Ouyang Junlin Liao Fan Shu Huazhong

(Laboratory of Image Sciences and Technology, Southeast University, Nanjing 210096, China)

To make full use of local information of face images and improve the recognition rate of the existing color face recognition algorithm based on global features, a robust color face recognition algorithm based on local features and ensemble learning classifier is proposed. In the feature extraction stage, the adaptive quaternion pseudo-Zernike moments (AQPZMs) are used to describe the features of image blocks. The features of image blocks with larger entropy are described by quaternion pseudo-Zernike moments (QPZMs) with higher order. On the contrary, the QPZMs with lower order are used to describe the features of image blocks with smaller entropy. In the classification stage, the ensemble learning classifier is used for identification. The experimental results of different color face datasets show that compared with the recognition algorithms exploiting QPZMs or quaternion two-dimensional principal component analysis (Q2DPCA) to extract global features, the proposed algorithm can achieve higher accuracy when the face images are affected by the factors such as illumination, facial expression and so on.

color face recognition;local feature;quaternion pseudo-Zernike moment;ensemble learning

10.3969/j.issn.1001-0505.2015.02.010

2014-10-15. 作者簡(jiǎn)介: 邵珠宏(1986—),男,博士生;舒華忠(聯(lián)系人),男,博士,教授,博士生導(dǎo)師,shu.list@seu.edu.cn.

國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973計(jì)劃)資助項(xiàng)目(2011CB707904)、國(guó)家自然科學(xué)基金資助項(xiàng)目(61073138,6110314,61201344,61271312).

邵珠宏， 歐陽(yáng)軍林，廖帆，等.基于局部特征和集成學(xué)習(xí)的魯棒彩色人臉識(shí)別算法[J].東南大學(xué)學(xué)報(bào):自然科學(xué)版,2015,45(2):251-255.

10.3969/j.issn.1001-0505.2015.02.010

TP391

A

1001-0505(2015)02-0251-05