云楠+馮志勇

摘 要： 局部二值模式（LBP）作為經(jīng)典的紋理特征描述方法廣泛應用于紋理分類和人臉識別等領域。然而現(xiàn)有相關算法僅利用周圍一個圓形鄰域的信息，沒有充分利用周圍鄰域的信息。為此，提出一種利用不同圓形鄰域之間的微分結構信息進行聯(lián)合描述的特征描述子，從而能夠更加充分地利用鄰域信息。由于所提方法在圓形鄰域上每個坐標處有4種不同可能的取值情況，因此將這種模型稱為局部四值模式（LQP）。在通用的人臉識別數(shù)據(jù)庫FERET上的大量實驗證明了所提算法的有效性。

關鍵詞： 局部二值模式； 人臉識別； 紋理特征； 空域信息

中圖分類號： TN919?34 文獻標識碼： A 文章編號： 1004?373X（2014）22?0030?04

Face recognition based on local quaternize pattern

YUN Nan， FENG Zhi?yong

（Tianjin University， Tianjin 300072， China）

Abstract： As a classic description method of texture features， local binary pattern （LBP） has been widely used in fields of texture classification and face recognition. However， the existing algorithms do not make full use of the surrounding spatial information but only exploit a circular neighborhood. To overcome the disadvantage， a novel descriptor which applies differential structure information between different circular neighborhoods to do joint description is proposed. It has four possible values at each coordinate in the circular neighborhood. Thus the model is called local quaternize pattern （LQP）. Extensive experiment results on a popular face recognition dataset FERET show the effectiveness of the proposed method.

Keywords： local binary pattern； face recognition； texture feature； spatial information

0 引 言

局部二值模式（LBP）作為經(jīng)典的紋理特征描述方法廣泛應用于紋理分類[1?3]和人臉識別[4?5]等領域。該特征算子不僅簡單高效，而且對圖像整體灰度單調變化具有魯棒性。其原因在于LBP并非從單一像素點的角度來描述紋理，而是用一個局部區(qū)域的模式來進行描述圖像的微觀結構，例如微點、微線、微斑點、微折線等。由于這種微結構很好地刻畫了圖像中的微紋理，因而具有較強的判別和區(qū)分能力。

近年來，大量的針對LBP局部微觀結構改進的算法被提出。例如，Liao等人通過實驗統(tǒng)計來選擇局部微結構中的主要結構，從而提出了主要局部二值模式（Dominant LBP）算子[6]。Zhang等人提出了局部衍生模式（Local Derivative Pattern， LDP），使用多種形狀的微結構模板來提取高階的LBP信息[7]。這樣，LBP實際上就是LDP的局部一階偏導模式。Tan和Triggs通過設定閾值將鄰域與中心相似的狀態(tài)作為一種中間態(tài)[8]，擴展局部鄰域關系為三種狀態(tài)，并提出了局部三值模式（Local Ternary Patterns，LTP），對光照變化有較好的魯棒性。Guo等人深入地分析了LBP中局部鄰域點與中心點灰度差值的計算過程，指出LBP方法表示的局部二值關系對應著差值的符號信息[3]。通過分別利用差值的符號信息和幅值信息計算局部二值模式，提出了一套新的完整的圖像描述模型（Completed Modeling of Local Binary Pattern，CLBP）。在CLBP中，圖像的局部區(qū)域由局部差分符號?幅度變換（LDSMT）來表示。為了使符號部分和幅度部分那部分信息更能夠表征局部差分值，將局部差分值由符號部分和幅度部分分別進行重建。

在人臉識別方面，LBP算子也表現(xiàn)出了不錯的性能。例如，Ahonen等人將人臉圖像劃分為幾個互不重疊的區(qū)域，并分別求取其LBP直方圖，然后將各區(qū)域直方圖連接起來作為人臉的特征[4]。張文超等人將LBP與Gabor小波相結合，提出了基于Gabor直方圖序列的人臉識別方法[5]。Zhang等人提出了一種級聯(lián)LBP人臉識別方法，通過改變局部區(qū)域的位置和窗口大小提取LBP特征集，并采用AdaBoost級聯(lián)學習的方法選擇LBP特征[9]。Jin等人提出了一種改進的LBP算子，該算子將局部形狀和紋理信息相結合，并采用多元高斯混合模型建立人臉模型，用貝葉斯分類器進行人臉識別[10]。

1 局部二值模式介紹

對于一幅給定的圖像，定義紋理描述符號T為紋理圖像中某一像素點[gc]與周圍鄰域的[P]個像素點之間的聯(lián)合分布：

[T=t（gc，g0，...，gP-1） ] （1）

式中：[gc]是鄰域中心像素點的灰度值，[gp（p=0，1，2，…，P-1）]是以中心像素點為圓心，[R（R>0）]為半徑的圓形鄰域上均勻分布的[P]個坐標點處的灰度值，[gp]的坐標為[（-Rsin（2πpP），Rcos（2πpP））]。

假設圖像的差值[gp-gc]獨立于[gc]，則可以將紋理描述符T表示為：

[T≈t（gc）t（g0-gc，g1-gc，...，gP-1-gc） ] （2）

為了使圖像描述子具有圖像灰度值平移不變性，只考慮局部圓形鄰域的像素的灰度值與中心像素的灰度值之間差值的符號部分，此時紋理描述符號T可以近似等于：

[T≈t（s（g0-gc），s（g1-gc），…，s（gP-1-gc）），s（x）=1， x≥00， x<0] （3）

當為每個[s（gp-gc）]分配一個系數(shù)[2p]時，式（3）可以變成一個刻畫圖像局部紋理空間結構的局部二值模型：

[LBPP，R=p=0P-1s（gp-gc）2p ] （4）

從式（4）中可以看出：局部二值模型反映了局部鄰域的像素的灰度值被中心像素點的灰度值二值化。在得到圖像每個像素點的LBP之后，可以計算該圖像的LBP特征直方圖，其公式如下：

[H（k）=i=1Ij=1Jf（LBPP，R（i，j），k）， k∈[0，K] ，f（x，y）=1， x=y0， otherwise ] （5）

式中[K]表示LBP模型的最大值。

當圖像旋轉時，p坐標點的灰度值[gp]將在以[gc]為圓心，R為半徑的圓周上移動。然而，[g0]總是對應著以[gc]像素為中心，坐標為[（0，R）]的位置，因此，當旋轉圖像時，[g0]的值將會發(fā)生改變，[LBPP，R]將會隨之發(fā)生改變。為了消除旋轉的影響，Ojala等人對[LBPP，R]進行了改進[2]，定義一種具有旋轉不變性的LBP，即[LBPriP，R]：

[LBPriP，R=min{ROR（LBPiP，R）i=0，1，2，…，P-1} ] （6）

式中：[ROR（x，i）]表示將[x]循環(huán)右移i比特位。可知當P=8時，[LBPri8，R]共有36個不同的取值，即有36種基本模型。在基本LBP模型中，一些特定的二進制模型是基本LBP模型的基礎，起主導作用。通過實驗發(fā)現(xiàn)，這些特定的LBP模型相比其他的LBP模型出現(xiàn)的幾率要高，有時甚至高達90%，這些基礎的LBP模型稱作均勻模型。這些均勻模型有一個共同的特性，這個特性就是其二進制編碼的空間跳變次數(shù)較少。

2 所提出的局部四值模式

通過上面的分析，不難發(fā)現(xiàn)現(xiàn)有LBP特征描述子僅利用周圍一個圓形鄰域的信息，并沒有充分利用到周圍鄰域的信息?；诖藛栴}，本文提出了一種更加充分地利用圓形鄰域周圍信息，區(qū)分力更強的圖像描述子。基本思想是針對現(xiàn)有LBP僅僅使用圖像中某一像素點與其圓形鄰域的微分信息的不足，在其基礎上進一步利用不同圓形鄰域之間的微分信息，然后將兩種微分信息進行聯(lián)合，從而得到更具有區(qū)分力的特征描述子。

對于圖像中某一個像素點，取其兩個半徑不同的圓形鄰域，其半徑分別設為RS和RB，圓形鄰域上P個均勻分布的點。當P=8時，兩個半徑不同的圓形鄰域的情況如圖1所示。

圖1 不同半徑的圓形鄰域

首先，求出中心像素點與圓形鄰域RS之間的差值。同LBP一樣，只取符號部分，則圓形鄰域RS上每個坐標點位置處對應的二元取值可以表示為：

[BSC（p）=sgSp-gp， s（x）=1， x≥00， x<0] （7）

然后，將圓形鄰域RS和圓形鄰域RB之間的灰度信息進行比較，以便得到鄰域間相關位置處對應的二元取值，結果表示如下：

[BBS（p）=sgBp-gSp， s（x）=1， x≥00， x<0] （8）

接著將[BSC（p）]和[BBS（p）]聯(lián)合在一起，形成一種對局部紋理描述更深刻的描述子[LQP]：[LQPP，R=p=0P-12BSC（p）+BBS（p）2p =p=0P-12s（gSp-gc）+s（gBp-gSp）2p， s（x）=1， x≥00， x<0] （9）

從式（9）中可以看出中心像素點的圓形鄰域上每個坐標點取值有四種可能，即00，01，10，11，如圖2所示。圖中四種不同顏色表示4種不同的取值情況。由于該模型圓形鄰域上每個坐標處有4種不同可能的取值情況，因此將這種模型稱為局部四值模式（Local Quaternize Pattern，LQP）。

圖2 LQP模型

由于LQP的比特位數(shù)是LBP的比特位數(shù)的兩倍，如果直接使用LBP相同的方式建立相關的查找表，其輸出值的個數(shù)將會很大，從而導致形成的圖像特征直方圖的維度較高。同時，對于LQP中兩種微分信息而言，中心像素與較小鄰域間的差分信息比較大鄰域與較小鄰域間的差分信息更重要?；谏鲜鰞煞N原因，使用以下方法建立LQP的特征直方圖。

首先，根據(jù)圓形鄰域RS的LBP劃分方法將[BSC（p）]形成的P比特二進制數(shù)[BSC]劃分成N1個bins，其中N1-1個bins為歸一化的bins。按照相同的方法，將[BBS（p）]形成的P比特二進制數(shù)[BBS]劃分成N2個bins，同樣，其中N2-1個bins為歸一化的bins。然后，對于[BSC]屬于歸一化的情況，將它與[BBS]進行異或運算形成一個新的P比特的二進制數(shù)[BBSC]；對于[BSC]不屬于歸一化的情況，不管[BBS]取何值，都將這些情況歸為一類情況。

接著，定義一個變量[U（BBSC）]，它表示[BBSC]的空間跳變次數(shù)。當[BBS]屬于N2-1個歸一化的情況時，將[U（BBSC）≤2]的情況歸為一類，將[U（BBSC）>2]的歸為一類；當[BBS]不屬于N2-1個歸一化情況時，將[U（BBSC）=2]的情況歸為一類，將[U（BBSC）≠2]的情況歸為一類。這樣，[BSC]中的N1-1個歸一化情況的每種情況將會擴展為4種，總共有[4（N1-1）]種情況。最后，將得到LQP的2P比特組成的二進制數(shù)的查找表，這個查找表共有[4（N1-1）+1]個輸出值。利用這個查找表，便可以得到圖像的LQP描述子的圖像直方圖。

使用LGP進行圖像模式分類的過程如圖3所示。算法分為訓練部分和測試部分。訓練部分的主要目的是為了得到大量有關樣本的相關特征，以便與測試樣本的相關特征進行對比，進而將測試樣本劃歸到與它相似度最高的樣本所屬的類中去。具體地，對于一個測試圖像樣本，首先從圖像中提取特征。然后計算特征的直方圖。將該直方圖與訓練樣本中的直方圖特征進行對比，得到訓練訓練樣本特征和測試樣本特征之間的相似度度量值。根據(jù)度量值的大小，利用最近鄰分類原則，將測試樣本分類為對應的類別并輸出該類別的類別標簽。在相似度測量上，本文使用基于卡方距離的相似度測量的方法。

圖3 基于LGP的圖像模式分類框架圖

3 人臉識別實驗

實驗采用FERET數(shù)據(jù)庫[11]進行人臉識別性能的測試，該數(shù)據(jù)庫是目前世界上最權威的人臉數(shù)據(jù)庫，是由美國國防部項目支持的。它是一個使用十分廣泛的被用來評估人臉識別算法的數(shù)據(jù)庫，該數(shù)據(jù)庫包含1 199個人的14 051幅在不同的光照條件、表情、姿態(tài)以及不同時期的人的人臉圖像。該人臉數(shù)據(jù)庫分為訓練集、原型圖像集和不同的測試集，其訓練集分別為fa（正常的人臉表情）和fb（變化的人臉表情）；原型圖像集則包含1 196個人的正面圖像；測試集分為4個，分別為fb、fc、DupI和DupII?？偟膩砜?，F(xiàn)ERET數(shù)據(jù)庫包含下面5個子集：

fa子集：用作字典集，它包含了1 196個人的正面圖像；

fb子集（1 195張圖像）：相對于fa子集而言，該子集存在一定的表情變化；

fc子集（194張圖像）：相對于fa子集而言，該子集存在一定的光照變化；

Dup I子集（722張圖像）：該子集的圖像是在fa子集的圖像拍攝一定時間后進行拍攝的；

DupⅡ子集（234張圖像）：DupI的子集，該子集的圖像的拍攝時間相對于fa子集中的其他圖像的拍攝時間至少晚1年。實驗中將fa作為字典集，其余4個子集作為測試集，以測試描述子在不同條件下人臉識別的性能。由于FERET的圖像是人的上半身照片，需要將它進行裁剪以得到只包含人臉部分的圖像。在實驗中對圖像進行歸一化，統(tǒng)一裁剪成大小為128×128的圖像。

為了驗證所提方法的有效性，將所提LQP算法與文章[4]提出的使用LBP的方法進行對比。同文獻[4]中對人臉進行分塊計算特征一樣，本文也將使用這種方法計算人臉的特征。在人臉識別的過程中，將人臉圖像分成[R1，R2，…，Rm]個子區(qū)域，以便增加圖像的空間信息，使識別的準確率更高。圖4給出了人臉圖像被分別分成[7×7，5×5，3×3]個子矩形區(qū)域的示意圖。首先，分別計算每個子區(qū)域的描述子特征直方圖；然后，將這些直方圖連接在一起，形成描述子關于人臉圖像的特征直方圖。

圖4 人臉圖像分解成[7×7，5×5，3×3]個子矩形區(qū)域

在實驗過程中，改變子矩形區(qū)域的個數(shù)，LQP的兩個圓形鄰域半徑RS和RB的大小以及圓形鄰域上像素點的個數(shù)，觀察描述子的相關規(guī)律。

表1為LQP和LBP在FERET人臉數(shù)據(jù)庫上的實驗數(shù)據(jù)。在表1中，（8，2），（8，3）分別表示中心像素點圓形鄰域S的半徑為2、圓周上取8個坐標點，中心像素點圓形鄰域B的半徑為3、圓周上去8個坐標點；LBP表示[LBPu28，2]，即歸一化的LBP；LBP2表示[LBPu28，2]和[LBPu28，3]的直方圖連接在一起；[（n×n），n=4，5，…，9]表示將大小為128×128的人臉圖像分成[n×n]個子區(qū)域，分別求出每個子區(qū)域的直方圖，然后連接它們。在表1中，加入了圖像描述子LBP2的主要目的是觀察當原始LBP描述子利用與LQP描述子相同的鄰域信息時，LBP2的性能與LQP的性能誰更好，以更有效地證明LQP描述子的正確性。從表1中，可以得出以下結論：

（1） 總體來看，LQP描述子人臉識別的正確率相對于LBP和LBP2的人臉識別的正確率要高。但是在不同的情況下，LQP性能的提升不同，例如，對于探測集fb而言，LQP性能的提高不如其他探測集，這可能是因為LQP的區(qū)分力更強，它在一定程度上會將表情的變化當做干擾因素。但是，從整體上看，LQP描述相對于LBP描述子具有更好的人臉識別性能。

（2） 當人臉被劃分成[n×n]個子區(qū)域時，由于增加了圖像的空間信息，相關圖像描述的人臉識別性能得到大幅提升。但是，隨著n的進一步增大，由于子區(qū)域過小，不同圖像對應的相同子區(qū)域所含的相同信息過少，其性能將會逐漸變差。由表1可以看出當n取8時，LQP描述子的性能基本達到最優(yōu)。

4 結 語

針對現(xiàn)有LBP特征算子沒有充分利用周圍鄰域的信息的不足，提出一種利用不同圓形鄰域之間的微分信息進行聯(lián)合描述的特征描述子，稱為局部四值模式（Local Quaternize Pattern，LQP）。LQP通過在LBP的基礎上引入二階信息和鄰域多值信息增強了鄰域信息的利用能力。通過在人臉識別數(shù)據(jù)庫FERET上的大量實驗，證明了所提算法的有效性。LQP的不足之處在于不能夠應對人臉光照、表情等因素的劇烈變化等情況，這也是人臉識別中的挑戰(zhàn)性問題。因此，未來工作將集中于如何設計對光照等更加魯棒的LQP特征算子。

參考文獻

[1] OJALA T， PIETIK?INEN M， M?ENP?? T. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（7）： 971?987.

[2] OJALA T， PIETIK?INEN M， HARWOOD D. A comparative study of texture measures with classification based on featured distributions [J]. Pattern Recognition， 1996， 29（1）： 51?59.

[3] GUO Z， ZHANG L， ZHANG D. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing， 2010， 19（6）： 1657?1663.

[4] AHONEN T， HADID A， PIETIK?INEN M. Face recognition with local binary patterns： application to face recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（12）： 2037? 2041.

[5] 張文超，山世光，張洪明，等.基于局部Gabor變化直方圖序列的人臉描述與識別[J].軟件學報，2006，17（12）：2508?2517.

[6] LIAO S， LAW M， CHUNG A. Dominant local binary patterns for texture classification [J]. IEEE Transactions on Image Processing， 2009， 18（5）： 1107?1118.

[7] ZHANG Bao?chang. GAO Yong?sheng， ZHAO San?qiang， et al. Local derivative pattern versus local binary pattern： face recognition with high?order local pattern descriptor [J]. IEEE Transactions on Image Processing， 2010， 19（2）： 533?544.

[8] TAN X， TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing， 2010， 19（6）：1635?1650.

[9] ZHANG G， HUANG X， LI S， et al. Boosting local binary pattern （LBP）?based face recognition[C]// Proceedings of Advances in Biometric Person Authentication： 5th Chinese Conference on Biometric Recognition. Cuangzhou， China： [s.n.]， 2004： 179?186.

[10] JIN H， LIU Q， LU H， et al. Face detection using improved LBP under Bayesian framework [C]// Proceedings of Third International Conference on Image and Graphics. Hong Kong， China： [sn.]， 2004： 306?309.

[11] PHILLIPS P J， MOON H， RIZVI S A. The FERET evaluation methodology for face recognition algorithms [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（10）： 1090?1104.

[2] OJALA T， PIETIK?INEN M， HARWOOD D. A comparative study of texture measures with classification based on featured distributions [J]. Pattern Recognition， 1996， 29（1）： 51?59.

[3] GUO Z， ZHANG L， ZHANG D. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing， 2010， 19（6）： 1657?1663.

[4] AHONEN T， HADID A， PIETIK?INEN M. Face recognition with local binary patterns： application to face recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（12）： 2037? 2041.

[5] 張文超，山世光，張洪明，等.基于局部Gabor變化直方圖序列的人臉描述與識別[J].軟件學報，2006，17（12）：2508?2517.

[6] LIAO S， LAW M， CHUNG A. Dominant local binary patterns for texture classification [J]. IEEE Transactions on Image Processing， 2009， 18（5）： 1107?1118.

[7] ZHANG Bao?chang. GAO Yong?sheng， ZHAO San?qiang， et al. Local derivative pattern versus local binary pattern： face recognition with high?order local pattern descriptor [J]. IEEE Transactions on Image Processing， 2010， 19（2）： 533?544.

[8] TAN X， TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing， 2010， 19（6）：1635?1650.

[9] ZHANG G， HUANG X， LI S， et al. Boosting local binary pattern （LBP）?based face recognition[C]// Proceedings of Advances in Biometric Person Authentication： 5th Chinese Conference on Biometric Recognition. Cuangzhou， China： [s.n.]， 2004： 179?186.

[10] JIN H， LIU Q， LU H， et al. Face detection using improved LBP under Bayesian framework [C]// Proceedings of Third International Conference on Image and Graphics. Hong Kong， China： [sn.]， 2004： 306?309.

[11] PHILLIPS P J， MOON H， RIZVI S A. The FERET evaluation methodology for face recognition algorithms [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（10）： 1090?1104.

[2] OJALA T， PIETIK?INEN M， HARWOOD D. A comparative study of texture measures with classification based on featured distributions [J]. Pattern Recognition， 1996， 29（1）： 51?59.

[3] GUO Z， ZHANG L， ZHANG D. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing， 2010， 19（6）： 1657?1663.

[4] AHONEN T， HADID A， PIETIK?INEN M. Face recognition with local binary patterns： application to face recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（12）： 2037? 2041.

[5] 張文超，山世光，張洪明，等.基于局部Gabor變化直方圖序列的人臉描述與識別[J].軟件學報，2006，17（12）：2508?2517.

[6] LIAO S， LAW M， CHUNG A. Dominant local binary patterns for texture classification [J]. IEEE Transactions on Image Processing， 2009， 18（5）： 1107?1118.

[7] ZHANG Bao?chang. GAO Yong?sheng， ZHAO San?qiang， et al. Local derivative pattern versus local binary pattern： face recognition with high?order local pattern descriptor [J]. IEEE Transactions on Image Processing， 2010， 19（2）： 533?544.

[8] TAN X， TRIGGS B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing， 2010， 19（6）：1635?1650.

[9] ZHANG G， HUANG X， LI S， et al. Boosting local binary pattern （LBP）?based face recognition[C]// Proceedings of Advances in Biometric Person Authentication： 5th Chinese Conference on Biometric Recognition. Cuangzhou， China： [s.n.]， 2004： 179?186.

[10] JIN H， LIU Q， LU H， et al. Face detection using improved LBP under Bayesian framework [C]// Proceedings of Third International Conference on Image and Graphics. Hong Kong， China： [sn.]， 2004： 306?309.

[11] PHILLIPS P J， MOON H， RIZVI S A. The FERET evaluation methodology for face recognition algorithms [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（10）： 1090?1104.