邢玲，臧婷，穆國旺

（河北工業(yè)大學(xué)理學(xué)院，天津300401）

基于高維LPQ特征與聯(lián)合貝葉斯的人臉識(shí)別

邢玲，臧婷，穆國旺

（河北工業(yè)大學(xué)理學(xué)院，天津300401）

針對(duì)Sun Jian等人提出的構(gòu)造高維特征的方法，提出一種新的構(gòu)建高維特征的方法，并且將新的方法推廣到建立高維局部相位量化（Local Phase Quantization，LPQ）特征.在此基礎(chǔ)上，提出了一種新的人臉識(shí)別方法，首先提取圖像的高維LPQ特征，然后利用主成份分析（principal component analysis，PCA）方法對(duì)提取到的高維特征進(jìn)行降維，最后利用聯(lián)合貝葉斯（Joint Bayesian）方法進(jìn)行人臉認(rèn)證.該方法增加了圖像特征的有效性，在LFW人臉庫上的實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的高維局部相位量化特征具有較高的識(shí)別率.

人臉識(shí)別；局部相位量化；高維特征；主成份分析；聯(lián)合貝葉斯分類

0 引言

人臉識(shí)別作為一種生物特征識(shí)別技術(shù)，是近年來模式識(shí)別、圖像處理、機(jī)器視覺、神經(jīng)網(wǎng)絡(luò)以及認(rèn)知科學(xué)等領(lǐng)域研究的熱點(diǎn)課題之一.同時(shí)人臉識(shí)別作為一種高穩(wěn)定性、難以復(fù)制、精度高、易于被人接受的生物特征識(shí)別技術(shù)，具有廣闊的應(yīng)用前景.目前，人臉識(shí)別已經(jīng)被廣泛應(yīng)用于軍事安全領(lǐng)域、公共安全領(lǐng)域、國家安全領(lǐng)域、智能門禁系統(tǒng)、智能視頻監(jiān)控系統(tǒng)、海關(guān)身份驗(yàn)證以及司機(jī)駕照驗(yàn)證等方面.然而由于人臉自身及所處環(huán)境的復(fù)雜性，如表情、姿態(tài)、圖像的環(huán)境、光照強(qiáng)度等條件的變化以及人臉上的遮擋物等，都會(huì)使人臉識(shí)別方法的魯棒性受到很大的影響.因此，目前人臉識(shí)別依然是一個(gè)具有挑戰(zhàn)性的問題.

在人臉識(shí)別過程中，特征提取是最為關(guān)鍵的一步，對(duì)人臉識(shí)別的準(zhǔn)確率具有重要影響.傳統(tǒng)的人臉特征大致可以分為全局特征和局部特征兩類.全局特征提取方法主要有基于模板的特征提取算法，基于面部器官的特征提取算法以及基于經(jīng)典的統(tǒng)計(jì)分析的方法，比如：主成份分析方法（PCA）[1-2]，線性判別分析（LDA）[3]，獨(dú)立成份分析（ICA）[4]以及它們的改進(jìn)算法等.另外，還有一些基于頻域的全局信息提取算法，如離散傅里葉變換（DFT）和離散余弦變換（DCT），它們通過提取圖像的頻域信息而獲得圖像的全局表達(dá).由于這些算法不需要訓(xùn)練，而且可以通過FFT等快速算法實(shí)現(xiàn)而頗受歡迎.

由于全局特征提取方法不能很好地反映人臉圖像局部的形狀或紋理等特性，因此，人們又提出了基于局部特征的人臉表示方法.例如局部二值模式（LBP）特征[5]，SIFT特征[6]，HOG特征[7]，Gabor特征[8]，LPQ特征[9-10]等.

傳統(tǒng)上，在人臉識(shí)別中所有用到的特征維數(shù)一般在1萬（10 k）維左右.2013年Sun Jian等人[11]提出了利用關(guān)鍵特征點(diǎn)以及多尺度構(gòu)建高維LBP特征，稱為High-Dimensional LBP特征，對(duì)于1幅300×300的圖像，特征維數(shù)達(dá)到了10萬（100 k）的量級(jí).他們的實(shí)驗(yàn)表明，采用高維LBP特征作為原始特征然后再進(jìn)行降維處理用于人臉識(shí)別比采用傳統(tǒng)的LBP特征識(shí)別率有明顯的提高.

人臉識(shí)別中常用的分類器有最近鄰分類器，貝葉斯分類器，支持向量機(jī)，神經(jīng)網(wǎng)絡(luò)等.在目前的各種方法中，基于深度學(xué)習(xí)的方法具有最高的識(shí)別率.一些最新的文獻(xiàn)表明，在傳統(tǒng)的人臉識(shí)別方法中，基于High-Dimensional LBP和Joint Bayesian的方法是目前識(shí)別率最高的方法之一.

本文對(duì)Sun Jian等人構(gòu)造高維LBP特征的方法進(jìn)行改進(jìn)，在此基礎(chǔ)上提出了高維LPQ特征，并進(jìn)一步提出了基于高維LPQ特征和Joint Bayesian的人臉識(shí)別方法，并利用LFW數(shù)據(jù)集[12]對(duì)所提出的方法進(jìn)行了測試，通過實(shí)驗(yàn)證明了該方法的有效性.

1 LPQ特征

局部相位量化（LPQ）特征[9-10]基于離散的短時(shí)傅立葉變換（或局部離散傅里葉變換）.給定圖像f（x），在像素點(diǎn)x，取其M×M鄰域Nx，對(duì)鄰域Nx中的局部圖像做二維離散傅里葉變換得

式中，u表示頻率.取F（u，x）在4個(gè)頻點(diǎn)u1=[a，0]T，u2=[0，a]T，u2=[a，a]T，u4=[a，-a]T，的值，其中a= 1/M.對(duì)于每個(gè)像素位置，可以得到向量

令G（x）=[Re（F（x）），Im（F（x））]，則G（x）是長度為8的向量.令

其中，gj是向量G（x）=[Re（F（x）），Im（F（x））]的第j個(gè)分量，則得到G（x）的量化表示

稱為像素x處的LPQ編碼.和LBP特征類似，為了提取圖像的LPQ特征，一般首先將圖像分割成8×8的一些塊，在每個(gè)塊上，計(jì)算每個(gè)像素的LPQ編碼，然后再在每個(gè)塊上生成LPQ編碼的直方圖，最后將所有塊的LPQ直方圖向量串接起來，得到圖像的LPQ特征.

2 改進(jìn)的高維特征

特征表達(dá)對(duì)于人臉識(shí)別率的高低有著重要影響，為了能夠充分描述人臉特征，2013年Sun Jian等人[11]提出了構(gòu)建高維特征，提出了高維LBP特征、高維Gabor、高維HOG特征和高維SIFT特征.他們首先檢測包括兩眼位置在內(nèi)的若干關(guān)鍵特征點(diǎn)，并將人臉圖像歸一化為300×300的圖像，然后，再縮小圖像，得到不同尺度的圖像.對(duì)于每個(gè)尺度的圖像，在每個(gè)關(guān)鍵點(diǎn)附近，取以關(guān)鍵點(diǎn)為中心的40×40的子塊，每個(gè)子塊又分成4×4=16個(gè)單元（cell），在每個(gè)cell中提取特征，并將16個(gè)單元的特征串接起來，得到某個(gè)尺度一個(gè)特征點(diǎn)相關(guān)的特征.再將所有尺度、所有特征點(diǎn)的特征串接起來，就得到最終的高維特征.在Sun Jian等人的方案中，在一個(gè)特征點(diǎn)處的特征表示是由16個(gè)單元的特征向量組成，但是，每個(gè)單元都不以該特征點(diǎn)為中心（如圖1a））.為此，本文對(duì)Sun Jian等人的方案進(jìn)行了改進(jìn)：在處理每個(gè)特征點(diǎn)時(shí)，除了考慮以上16個(gè)單元外，再增加一個(gè)以該特征點(diǎn)為中心的11×11的單元（如圖1b）），從而使所提取的特征信息更為全面.然后對(duì)于每個(gè)尺度按照改進(jìn)的方案提取特征（如圖2），最后將每個(gè)尺度的特征串接起來，最終形成改進(jìn)的高維特征.

在LFW數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，對(duì)比Sun Jian等人提出的高維LBP特征和本文提出的改進(jìn)的高維LBP特征的識(shí)別率，發(fā)現(xiàn)改進(jìn)的高維LBP特征識(shí)別率有所提高，實(shí)驗(yàn)結(jié)果如表1.

3 高維LPQ特征

在SunJian的論文中，并未提出高維LPQ特征.本文，將Sun Jian等人的思想用于LPQ特征，因而提出了高維LPQ特征的概念及其提取方法.本文首先利用Face++對(duì)人臉進(jìn)行檢測，并檢測包含眼睛在內(nèi)的25個(gè)特征點(diǎn)的位置，然后通過兩眼對(duì)齊方式對(duì)圖像進(jìn)行歸一化操作，將圖像歸一化為300× 300的大小.

對(duì)于標(biāo)準(zhǔn)化后的圖像，通過圖像縮小，得到五個(gè)不同尺度的圖像，本文用到的5個(gè)尺度的大小分別為300×300，212×212，150×150，106×106，75×75.對(duì)于每個(gè)尺度的圖像，按照第3節(jié)中提到的改進(jìn)高維特征的提取方法，在每個(gè)關(guān)鍵點(diǎn)附近，取40×40的子圖以及17個(gè)單元，在每個(gè)單元中提取LPQ特征，最后，將所有尺度，所有特征點(diǎn)、所有單元的LPQ特征串接起來得到高維LPQ特征.

圖2 不同尺度的圖像Fig.2 Image of different scales

表1 識(shí)別率結(jié)果對(duì)比圖Tab.1 Comparison of recognition rate results

4 聯(lián)合貝葉斯分類

本文采用高維LPQ特征和聯(lián)合Bayesian方法進(jìn)行人臉識(shí)別.以下對(duì)聯(lián)合Bayesian方法[13]進(jìn)行簡單敘述.給定兩種人臉的特征向量x1和x2，傳統(tǒng)的Bayesian方法是比較條件概率密度函數(shù)p（x1-x2│Ω1）和p（x1-x2│Ω2），其中，Ω1表示x1和x2來自同一個(gè)人，Ω2表示x1和x2來自不同的人.如果前者大于后者，則認(rèn)為x1和x2屬于同一個(gè)人，否則認(rèn)為x1和x2不屬于同一個(gè)人.而聯(lián)合貝葉斯方法則直接考慮聯(lián)合概率密度函數(shù)p（x1，x2│Ω1）和p（x1，x2│Ω2）.對(duì)人臉圖像特征先進(jìn)行零均質(zhì)化處理（即，將每幅圖像特征減去所有圖像特征的均值），并且，假定人臉圖像的特征向量是2個(gè)獨(dú)立隨機(jī)變量的和：

其中：x表示某個(gè)人某幅圖像的特征向量；μ表示某個(gè)人所有圖像的均值向量；ε表示同一個(gè)人由于光照、表情、姿態(tài)等不同產(chǎn)生的差異.并且，假定μ和ε分別服從兩個(gè)正態(tài)分布N（0，Sμ）和N（0，Sε）.這里，Sμ和Sε是2個(gè)未知的協(xié)方差矩陣.

在x1和x2來自同一個(gè)人的條件下，μ1，μ2是相等的，ε1，ε2是相互獨(dú)立的，聯(lián)合分布p（x1，x2│Ω1）的協(xié)方差矩陣可以如下表示[13]：

在x1和x2來自不同人的條件下，μ1與μ2，ε1與ε2分別是獨(dú)立的，因此，聯(lián)合分布p（x1，x2│Ω2）的協(xié)方差矩陣可以如下表示[13]：

在以上假設(shè)下，對(duì)數(shù)似然比r（x1，x2）可以表示為：

這里

利用EM算法估計(jì)Sμ和Sε[13]，然后按照式（9）至式（10）即得到r（x1，x2）.在本文的人臉識(shí)別方法中，首先提取高維LPQ特征，然后利用PCA方法對(duì)其降維，最后以

作為特征向量x1和x2的距離度量來進(jìn)行人臉識(shí)別.

5 實(shí)驗(yàn)結(jié)果與分析

本文采用LFW（Labeled Faces in the Wild）人臉庫[12]進(jìn)行實(shí)驗(yàn).由于早期的人臉數(shù)據(jù)庫，例如Yale，ORL，AR等人臉庫，或者圖像數(shù)量太少，或者是在可控的實(shí)驗(yàn)室環(huán)境采集，光照、表情、姿勢變換不大，隨著人臉識(shí)別算法的成熟，在這些庫上識(shí)別率已經(jīng)很高.人臉識(shí)別的挑戰(zhàn)主要是當(dāng)光照、表情、姿勢、年齡變換比較大時(shí)，識(shí)別率還不是很理想.為此，近些年人們將研究的重點(diǎn)轉(zhuǎn)向了非約束的自然環(huán)境下人臉識(shí)別的研究.另外，近年來國內(nèi)外研究者提出了很多人臉識(shí)別算法.為了研究在自然環(huán)境下拍攝得到的人臉圖像的識(shí)別問題，并且對(duì)各種不同的人臉識(shí)別算法進(jìn)行比較，馬薩諸塞大學(xué)（University of Massachusetts）計(jì)算機(jī)視覺組采集了一個(gè)用于人臉識(shí)別的數(shù)據(jù)庫——LFW人臉數(shù)據(jù)庫[12].該數(shù)據(jù)庫包含了從網(wǎng)絡(luò)上收集得到的5 749個(gè)人的13 000多幅圖像，其中，1 680人有2張以上的圖片.LFW包括2個(gè)視圖，視圖A用于算法設(shè)計(jì)階段，視圖B用于算法的評(píng)估.其中，視圖B由100個(gè)子集構(gòu)成，每個(gè)子集包含600對(duì)人臉圖像，其中300對(duì)屬于正樣本（每一對(duì)圖像來自同一個(gè)人），另外300對(duì)屬于負(fù)樣本（每一對(duì)圖像來自不同的人）.

圖3給出了經(jīng)過歸一化后的部分LFW圖像示例.

圖3 歸一化后的LFW圖像示例Fig.3 An example of a normalized LFW image

基于LFW的人臉識(shí)別實(shí)驗(yàn)有多種協(xié)議，包括無監(jiān)督（unsupervised）方式，限制（Restricted）的方式，和非限制（Unrestricted）方式等.本文采用非限制方式等，即：在訓(xùn)練樣本中，假設(shè)圖像對(duì)（A，B）和（B，C）都是正樣本，則可以將（A，C）作為正樣本添加到訓(xùn)練集中.和所有LFW的實(shí)驗(yàn)相同，本文采用10折交叉驗(yàn)證的方法.即：首先提取所有圖像的高維LPQ特征，然后，每次用視圖B中的9個(gè)子集作為訓(xùn)練樣本進(jìn)行基于PCA的子空間學(xué)習(xí)和Joint Bayesian訓(xùn)練，并確定最佳的距離閾值，用剩下的一個(gè)子集進(jìn)行測試，重復(fù)10次，最后計(jì)算10次的正確識(shí)別率，用于對(duì)算法進(jìn)行評(píng)價(jià).實(shí)驗(yàn)結(jié)果如表2.

在表2中還給出了LBP、HOG、Gabor、SIFT、LPQ、BIF特征在LFW人臉庫上實(shí)驗(yàn)的結(jié)果.

通過表2可以發(fā)現(xiàn)，本文提出的高維LPQ特征相比于其他特征，識(shí)別率有了很大程度的提高，充分說明改進(jìn)的高維LPQ特征更加有效的表達(dá)了圖像特征.

另外，將本文提出的高維LPQ特征同高維LBP特征，高維Gabor特征，高維HOG特征，高維SIFT特征在LFW人臉庫上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示.

通過表3可以發(fā)現(xiàn)，本文提出的高維LPQ特征具有較高的識(shí)別率，說明將改進(jìn)后的提取高維特征的方法推廣到LPQ特征是有意義的.

6 結(jié)束語

本文首先對(duì)Sun Jian等人提出的建立高維特征的方法進(jìn)行改進(jìn)，然后將改進(jìn)后的建立高維特征的方法推廣到了LPQ特征上，提取了高維LPQ特征，在此基礎(chǔ)上提出了基于高維LPQ特征和Joint Bayesian的人臉識(shí)別方法，最后在LFW人臉庫上進(jìn)行了實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，和LBP、HOG、Gabor、SIFT、LPQ、BIF等特征以及相應(yīng)的高維特征相比，本文提出的人臉識(shí)別方法具有更高的識(shí)別率.

表2 高維LPQ與普通特征識(shí)別率對(duì)比表Tab.2 Comparison of high-dimensional LPQ and common feature recognition rate

表3 高維LPQ與其他高維特征識(shí)別率對(duì)比表Tab.3 High-dimensional LPQ and other high-dimensional feature recognition rate comparison table

[1]Perlibakas V.Distance measures for PCA-based face recognition[J]. Pattern Recognition Letters，2004，25（6）：711-724.

[2]Yang J，Zhang D，F(xiàn)rangi A F，et al.Two-dimensional PCA:a new approach to appearance-based face representation and recognition. [J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2004，26（1）：131-137.

[3]Xie Yong lin.LDA and Its Application in Face Recognition[J].Computer Engineering and Application，2010，46（19）：189-192.

[4]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces vs.Fisherfaces:Recognition using class specific linear projection[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，1997，19（7）：711-720.

[5]Ahonen T，Hadid A，Pietik?inen M.Face Recognition with Local Binary Patterns[C]//Computer Vision-ECCV2004，European Conference on Computer Vision，Prague，Czech Republic，May 11-14，2004.Proceedings.2014：469-481.

[6]Bicego M，Lagorio A，Grosso E，et al.On the Use of SIFT Features for Face Authentication[C]//Computer Vision and Pattern Recognition Workshop，2006.CVPRW'06.Conference on.2006：35.

[7]AlbiolA，SastreJ，AlbiolA.HOG-EBGMVS.GABOR-EBGM[C]//Image Processing，2008.ICIP 2008.15th IEEE International Conference on.IEEE，2008：1636-1639.

[8]Gabor D.Theory of communication.IEEE[J].Journal of the Institute of Electrical Engineers of Japan，1946，93：429-457.

[9]Ahonen T，Rahtu E，Ojansivu V，et al.Recognition of blurred faces using Local Phase Quantization[C]//International Conference on Pattern Recognition.IEEE，2008:1-4.

[10]李嵐，師飛龍，徐楠楠.自適應(yīng)加權(quán)局部相位量化的人臉識(shí)別[J].光電工程，2012，39（12）：138-142.

[11]Wen Fang,Cao Xudong,Chen Dong,et al.Blessing of dimensionality:high-dimensional feature and its efficient compression for face verification[C]// 2013 IEEE Conference on Computer Vision and Patttern Recognition.2013：3025-3032.

[12]Huang G B，Ramesh M，Berg T，et al.Labeled faces in the wild:A database for studying face recognition in unconstrained environments[R].Technical Report 07-49，Amherst：University of Massachusetts，2007.

[13]Chen D，Cao X，Wang L，et al.Bayesian Face Revisited:A Joint Formulation[C]//Computer Vision-ECCV 2012.Springer Berlin Heidelberg，2012: 566-579.

[責(zé)任編輯 楊屹]

Face recognition with high-dimensional LPQ feature and Joint Bayesian method

XING Ling，ZANG Ting，MU Guowang
（School of Science,Hebei University of Technology,Tianjin 300401,China）

The method for construction of high-dimensional feature proposed by Sun Jian etc was improved and a modified high-dimensional feature was constructed,the method was extended to local phase quantization(LPQ)feature,and high-dimensional LPQ feature was presented.A new method for face recognition was proposed.Firstly,the high-dimensional LPQ features of facial images was extracted,then the dimension was reduced by principal component analysis(PCA) method,finally,the Joint Bayesian method was used for face authentication.The method increases the effectiveness of image features.Experimental results on LFW face database show that our method has a high recognition rate.

face recognition;Local Phase Quantization(LPQ);high-dimensional feature;Principal Component Analysis (PCA);Joint Bayesian classification

TP387

A

1007-2373（2017）03-0063-05

10.14081/j.cnki.hgdxb.2017.03.011

2016-12-11

河北省自然科學(xué)基金（E2014202124）

邢玲（1990-），女，碩士研究生．通訊作者：穆國旺（1970-），男，教授，muguow@hebut.edu.cn．