孫 玉，劉貴全

（1.安徽職業(yè)技術(shù)學(xué)院信息工程系，合肥230051；2.中國科學(xué)技術(shù)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，合肥230011）

基于HOG與LBP特征的人臉識別方法

孫 玉1，劉貴全2

（1.安徽職業(yè)技術(shù)學(xué)院信息工程系，合肥230051；2.中國科學(xué)技術(shù)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，合肥230011）

針對人臉識別方法在復(fù)雜環(huán)境下識別性能下降、單一特征表述能力有限的問題，基于梯度方向直方圖（HOG）和局部二值模式（LBP）特征，提出一種人臉識別方法。通過提取人臉的HOG特征和LBP特征，利用主成分分析和線性判別分析方法進行線性降維，給出基于加權(quán)的特征融合策略。在環(huán)境復(fù)雜的人臉數(shù)據(jù)庫上進行實驗，結(jié)果表明，相比于單一的局部特征，該特征融合方法能提高人臉識別的精度與速度。

人臉識別；梯度方向直方圖特征；局部二值模式特征；特征融合；識別率

1 概述

人臉識別是一種主要的生物特征識別技術(shù)，應(yīng)用前景廣泛，可用于公共安全、企業(yè)、教育、金融等領(lǐng)域。隨著人臉識別研究的深入和技術(shù)的進步，近年來，已有很多產(chǎn)品成功地應(yīng)用到實際生活中。然而，人臉識別的研究和應(yīng)用面臨了諸多挑戰(zhàn)，人臉識別的性能受到各種因素的影響，如圖像分辨率低、模態(tài)多樣性、光照姿態(tài)遮擋等。

傳統(tǒng)的人臉識別方法主要采用特征提取和分類器的結(jié)構(gòu)，并且取得成功應(yīng)用。經(jīng)典的人臉識別方法采用主成分分析（Principal Com ponent Analysis，PCA）［1］和線性判別分析（Linear Discrim inant Analysis，LDA）［2］進行人臉識別。另外，特征提取方面包括全局特征和局部特征。針對不同特征，學(xué)者提出各種特征表示方法，如Gabor特征［3］、LBP特征［4］、尺度不變特征轉(zhuǎn)換（Scale-invariant Feature Transform，SIFT）特征［5］、HOG特征［6］等。HOG特征最早被Navneet DA lal等［7］提出并應(yīng)用于行人檢測，隨后在靜態(tài)圖像的目標(biāo)識別中取得廣泛應(yīng)用。HOG特征與SIFT特征具有很多相似之處，不同在于HOG特征在一個大小統(tǒng)一的細胞單元上計算，具有更快的計算速度，且具有良好的檢測性能。同時，各種分類器被使用，如貝葉斯方法［8］、AdaBoost方法［9］、線性支持向量機（Support Vector Machine，SVM）［10］等。

基于多特征及特征融合方面的考慮，文獻［11］將LBP特征和Gabor特征相結(jié)合并在表情識別上取得較優(yōu)的識別性能。文獻［12］提出一種利用串并行結(jié)合的方式將全局特征和局部特征進行集成，在大規(guī)模人臉庫上驗證其精度和速度。文獻［13］提出一種基于特征采樣和特征融合的子圖像人臉識別方法，在多個人臉數(shù)據(jù)集上的測試結(jié)果表明該方法是單純的特征融合方法和特征采樣方法。文獻［14］提出基于子模式的Gabor特征融合方法，對單樣本人臉識別具有較優(yōu)的性能。文獻［15］將Gabor-like復(fù)數(shù)小波變換和原始圖像進行特征融合，進一步提高人臉識別的識別率。

HOG特征在目標(biāo)檢測和跟蹤領(lǐng)域用于描述物體的關(guān)鍵點特征，而LBP特征在紋理分析領(lǐng)域也取得成功應(yīng)用，這2種特征的表述能力都很強，但不能適用較多復(fù)雜的人臉環(huán)境。在復(fù)雜的人臉環(huán)境中，單一特征的表述能力有限，因此需要多個不同的特征進行融合，期望得到準(zhǔn)確的人臉特征表示。

針對上述問題，本文提出基于HOG和LBP特征融合的人臉識別方法。首先分別提取HOG特征和LBP特征，然后利用PCA和LDA方法進行降維，最終采用特征融合策略進行識別，并在標(biāo)準(zhǔn)人臉庫LFW和FRET上進行實驗。

2 人臉識別方法

2.1 特征表示

2.1.1 HOG特征

梯度直方圖特征在模式識別領(lǐng)域得到成功應(yīng)用，如人臉識別、行人檢測、目標(biāo)跟蹤等。HOG特征與SIFT特征類似，其計算量較小。另外，HOG特征的計算是基于一致空間的密度矩陣來提高準(zhǔn)確率。HOG的核心思想是所檢測的局部物體外形能夠被光強梯度或邊緣方向的分布所描述。HOG特征主要包括圖像歸一化、計算梯度、基于梯度幅度的方向權(quán)重投影、特征向量歸一化等幾個部分，具體計算過程如下：

（1）假定人臉圖片的大小為80×64，設(shè)置block塊的大小8×8，則人臉圖片共包含80個不重疊的block。

（2）在每個block上計算其梯度方向和幅值。本文采用簡單的中心對稱算子［-1，0，1］計算梯度，如下式所示：

其中，I（χ，y）是圖片（χ，y）的像素值；θ（χ，y）為該點的梯度方向；m（χ，y）對應(yīng)為該點的幅度值。

（3）設(shè)置cell大小為4×4，在每個block內(nèi)按cell大小統(tǒng)計梯度直方圖，應(yīng)用梯度的幅值進行規(guī)定權(quán)重投影。

（4）對于每個重疊block內(nèi)的cell進行對比度歸一化，以消除光照的影響。

（5）將所有block內(nèi)的直方圖向量組合得到最終的HOG特征向量。

通常HOG結(jié)構(gòu)包括矩形HOG、圓形HOG和中心環(huán)繞HOG。通過實驗得出矩形HOG的檢測結(jié)果更好，故本文采用矩形HOG結(jié)構(gòu)。對于梯度模板，采用一階模板計算梯度和方向，優(yōu)點是計算速度快且不會削弱人臉的邊緣特征。

HOG特征表示的是邊緣結(jié)構(gòu)特征，能夠有效表述目標(biāo)的局部信息，屬于局部特征范疇。HOG特征對圖像幾何和光學(xué)的形變都能保持很好的不變性。另外，在局部區(qū)域進行歸一化直方圖，具有光照不變性。

2.1.2 LBP特征

LBP算子最初用來描述紋理特征，其基本思想是根據(jù)中心像素點與其圓形領(lǐng)域內(nèi)的像素點比較得到的二進制碼來描述局部紋理特征。LBP算子具有高鑒別性、復(fù)雜度低、旋轉(zhuǎn)不變性和灰度不變性等顯著特點。LBP算子通常由（P，R）來表示，其中，P表示領(lǐng)域內(nèi)包含的像素個數(shù)；R表示領(lǐng)域半徑?；镜腖BP算子是（8，1）領(lǐng)域。將3×3領(lǐng)域像素值Pi（i=1，2，…，8）與中心像素值P0進行比較，進行閾值化處理，其計算公式為：

將bi（i=1，2，…，8）按順時針方向排列得到一個8位的二進制編碼，再轉(zhuǎn)換為十進制數(shù)，則得到LBP算子對中心像素計算得到后的結(jié)果。人臉圖像經(jīng)過LBP算子運算后，對其做直方圖統(tǒng)計，得到直方圖特征向量，具體可以定義為：

其中，n為LBP算子產(chǎn)生不同標(biāo)記的數(shù)據(jù)。本文采用人臉識別大多文獻采用的3×3領(lǐng)域的一致模式算子，即n=256。另外，當(dāng)χ為真時，I（χ）=1；當(dāng)χ為真時，I（χ）=0。

為了更好地表示人臉特征，保留人臉的空間結(jié)構(gòu)信息，將圖像分為區(qū)域R0，R1，…，Rm-1，各個區(qū)域的直方圖可定義為：

將這些子區(qū)域直方圖連接起來構(gòu)成最終的人臉特征向量，采用χ2統(tǒng)計來度量LBP特征之間的距離。

2.2 降維方法

2.2.1 PCA方法

PCA方法的基本思想是從人臉圖像中找出最能代表人臉的特征空間，去除一些不能代表人臉特征的屬性。假定有N個人臉樣本｛χ1，χ2，…，χN｝屬于c個類別｛X1，X2，…，Xc｝，每個樣本的圖像規(guī)格為w ×h，則每個樣本圖像的維數(shù)為n=w×h。這樣得到所有人臉樣本的N個n維列向量，對訓(xùn)練樣本求協(xié)方差矩陣得到：

PCA的目的是尋找一個最優(yōu)投影矩陣Wopt，使得：

其中，wi是散度矩陣ST的特征向量，特征值從大到小排列，取前m個最大特征值對應(yīng)的特征向量來近似表示原來的數(shù)據(jù)。這樣，人臉樣本經(jīng)過投影后得到了線性降維，即從n維降到m維，且滿足m＜＜n。

2.2.2 LDA方法

PCA方法是以樣本的最小重建誤差來提取人臉最優(yōu)特征表示，而LDA方法是以樣本類別可分性來提取人臉最優(yōu)特征。

LDA方法主要考慮類間散度矩陣和類內(nèi)散度矩陣。根據(jù)2.2.1節(jié)的定義，類間散度矩陣和類內(nèi)散度矩陣的公式分別如下：

其中，μ是樣本的均值。

其中，μi是第i類的均值；Ni是類Xi的樣本數(shù)。如果Sw非奇異，可以得到最優(yōu)正交矩陣，使得投影后的類間散度矩陣和類內(nèi)散度矩陣之比最大，即：

式（10）可以用下式來計算：

其中，i=1，2，…，m；wi是矩陣SWSb從大到小排列的特征值λi對應(yīng)的特征向量。

2.3 特征融合

由于單一特征表述能力有限，因此采用加權(quán)的方式進行特征融合，融合公式如下：

其中，m表示分類器的數(shù)目；wi和ci分別表示第i個分類器的權(quán)重和輸出分?jǐn)?shù)；f（C）為特征融合后輸出的分?jǐn)?shù)。權(quán)重計算公式如下：

其中，Ei為第i個分類器的等錯誤率。

假定有m個不同的分類器，其人臉圖像特征為χ，在對真實分類判別函數(shù)進行估計時，有m個不同的判別函數(shù)：

其中，h（χ）表示真實的分類判別函數(shù)；gi（χ）表示第i個分類器的判別函數(shù)；而εi（χ）則表示為gi（χ）與真實函數(shù)之間的誤差函數(shù)。

在進行特征融合之后，整個特征融合系統(tǒng)的均方差可以表示為：

加權(quán)系數(shù)滿足αi＞0

2.4 融合框架

上文分別給出了HOG特征、LBP特征和特征融合的具體過程，本文所提方法的框架如圖1所示。

圖1 基于HOG和LBP特征的融合

從圖1可以看出，融合后的特征可以保留原有特征的優(yōu)點，人臉的結(jié)構(gòu)信息和關(guān)鍵部位可以得到很好的表征。為了加快計算速度，采用經(jīng)典的PCA和LDA方法進行降維，最終進行特征融合。因此，本文方法充分考慮不同特征之間的特點，利用特征融合策略，且計算速度高效。

3 仿真實驗與分析

3.1 LFW數(shù)據(jù)集

LFW數(shù)據(jù)庫［16］是一個最接近真實的大型人臉數(shù)據(jù)庫，由5 749個人的13 233幅圖像組成。其中，1 680人有2幅及以上的圖像，4 069人只有1幅圖像。圖像大小為250×250，絕大多數(shù)為彩色圖，少數(shù)為灰度圖。圖2給出LFW人臉庫的人臉示例。

圖2 LFW人臉庫示例

表1給出不同特征在LFW數(shù)據(jù)集上的識別率，從表中可以看出經(jīng)過LBP和HOG融合以后的特征識別率有了較大的提升。另外，由于融合特征前進行了降維，因此融合特征的時間性能與單一特征基本一致。

表1 LFW數(shù)據(jù)集上不同特征的性能比較%

3.2 FRET數(shù)據(jù)集

FRET人臉數(shù)據(jù)庫包括14 051個不同光照、姿態(tài)、表情、攝像機下的灰度人臉圖片，分為訓(xùn)練集fa和測試集（fb，fc，dup1，dup2），具體的圖片參數(shù)如表2所示。圖3給出FRET人臉庫的人臉示例。

表2 FRET數(shù)據(jù)庫參數(shù)識別說明

圖3 FRET人臉庫圖片

為了驗證本文所提方法的有效性，給出HOG特征［6］、LBP特征［4］和融合特征在FRET測試集上的識別性能，如表3所示，其中，HOG特征和LBP特征的具體參數(shù)與相應(yīng)的參考文獻一致。從表3可以看出，雖然HOG特征和LBP特征適用于不同的測試集合，但融合特征兼顧2種特征的優(yōu)點，在4個測試集上均取得較優(yōu)的結(jié)果，且明顯優(yōu)于單一特征。

表3 FRET數(shù)據(jù)集上不同特征的識別性能比較%

表4給出LBP、HOG、融合特征的特征提取時間性能對比，圖像分辨率為80×64。從表中可以看出，LBP和HOG的特征提取時間基本在相同量級，但是融合特征經(jīng)過PCA和LDA降維以后，計算復(fù)雜度下降，時間性能也略微提升。

表4 FRET數(shù)據(jù)集上的時間性能對比m s

4 結(jié)束語

本文提出基于HOG和LBP特征融合的人臉識別方法，給出了2種特征提取方法及特征融合策略，充分考慮了不同特征之間的特點，計算速度較快。經(jīng)降維后，計算復(fù)雜度下降，時間性能也有所提升，2個大規(guī)模人臉數(shù)據(jù)集上取得了良好的識別性能。后續(xù)工作將考慮更多的特征融合，以改進融合策略，并更好地應(yīng)用于復(fù)雜人臉識別問題上。

［1］ Mohammed A A，Minhas R，Wu J，et al.Hum an Face Recognition Based on Multidimensional PCA and Extrem e Learning Machine［J］.Pattern Recognition，2011，44（10）：2588-2597.

［2］ Lu Guifu，Zou Jian，Wang Yong.Incremental Complete LDA for Face Recognition［J］.Pattern Recognition，2012，45（7）：2510-2521.

［3］ Perez C A，Cament L A，Castillo L E.Methodological Improvement on Local Gabor Face Recognition Based on Feature Selection and Enhanced Borda Count［J］.Pattern Recognition，2011，44（4）：951-963.

［4］ Ahonen T，Hadid A，Pietik?inen M.Face Recognition with Local Binary Patterns［M］.Berlin，Germany：Springer，2004：469-481.

［5］ Krizˇaj J，Sˇtruc V，Pavesˇic′N.Adaptation of SIFT Features for Robust Face Recognition［C］//Proceedings of the 7th International Conference on Image Analysis and Recognition.Berlin，Germany：Springer，2010：394-404.

［6］ M eyers E，W olf L.Using Biologically Inspired Features for Face Processing［J］.International Journal of Computer Vision，2008，76（1）：93-104.

［7］ Dalal N，Triggs B.Histograms of Oriented Gradients for Human Detection［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition. Washington D.C.，USA：IEEE Press，2005：886-893.

［8］ Chen Dong，Cao Xudong，W ang Liwei，et al.Bayesian Face Revisited：A Joint Formulation［C］//Proceedings of European Conference on Computer Vision.Berlin，Germ any：Springer，2012：566-579.

［9］ Martínez-Contreras F，Orrite-Urun～uela C，Martínez-del-Rincón J.Adaboost Multiple Feature Selection and Combination for Face Recognition［C］//Proceedings of the 4th Iberian Conference on Pattern Recognition and Im age Analysis.Berlin，Germany：Springer，2009：338-345.

［10］ Wolf L，Hassner T，Taigman Y.Similarity Scores Based on Background Sam p les［C］//Proceedings of Asian Conference on Computer Vision.Berlin，Germany：Springer，2010：88-97.

［11］ Zhao Quanyou，Pan Baochang，Pan Jianjian，et al.Facial Expression Recognition Based on Fusion of Gabor and LBP Features［C］//Proceedings of International Conference on Wavelet Analysis and Pattern Recognition.Washington D.C.，USA：IEEE Press，2008：362-367.

［12］ 蘇 煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識別［J］.軟件學(xué)報，2010，21（8）：1849-1862.

［13］ 朱玉蓮，陳松燦.特征采樣和特征融合的子圖像人臉識別方法［J］.軟件學(xué)報，2012，23（12）：3209-3220.

［14］ 王科俊，鄒國鋒.基于子模式的Gabor特征融合的單樣本人臉識別［J］.模式識別與人工智能，2013，26（1）：50-56.

［15］ 張 強，戚 春，蔡云澤.基于判別改進局部切空間排列特征融合的人臉識別方法［J］.電子與信息學(xué)報，2012，34（10）：2396-2401.

［16］ Cao Zhim in，Yin Qi，Tang Xiaoou，et al.Face Recognition with Learning-based Descriptor［C］//Proceedings of International Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2010：2707-2714.

編輯 顧逸斐

Face Recognition Method Based on HOG and LBP Feature

SUN Yu1，LIU Guiquan2
（1.Department of Inform ation Engineering，Anhui Vocational and Technical College，Hefei 230051，China；2.College of Computer Science and Technology，University of Science and Technology of China，Hefei230011，China）

Due to complex environment of face recognition and limited express ability of single feature，a face recognition method based on Histogram of Oriented Gradient（HOG）and Local Binary Pattern（LBP）feature fusion is proposed.HOG and LBP features are extracted，and Principal Component Analysis（PCA）and Linear Discriminant Analysis（LDA）method is used to dimensionality reduction.Detection results are captured by feature fusion strategies. Experimental results on the face database show that the feature fusion method can not only get better recognition performance but also im prove recognition speed compared with single feature.

face recognition；Histogram of Oriented Gradient（HOG）feature；Local Binary Pattern（LBP）feature；feature fusion；recognition rate

孫 玉，劉貴全.基于HOG與LBP特征的人臉識別方法［J］.計算機工程，2015，41（9）：205-208，214.

英文引用格式：Sun Yu，Liu Guiquan.Face Recognition Method Based on HOG and LBP Feature［J］.Computer Engineering，2015，41（9）：205-208，214.

1000-3428（2015）09-0205-04

A

TP391.41

10.3969/j.issn.1000-3428.2015.09.038

國家自然科學(xué)基金資助項目（61073110）；安徽省教育廳重點教研基金資助項目（2012 jyxm722）。

孫 玉（1984-），男，副教授、碩士，主研方向：數(shù)據(jù)挖掘，人工智能；劉貴全，副教授、博士研究生。

2014-09-23

2014-10-22 E-m ail：sunyu127@163.com