劉凱

摘要：針對(duì)人臉識(shí)別應(yīng)用中的特征抽取問題，對(duì)經(jīng)典的Fisher判別分析和局部保持投影算法進(jìn)行了相應(yīng)研究，提出了一種核局部Fisher鑒別分析算法（Kernel Local Fisher Discriminant Analysis， KLFDA）。該算法利用核方法提取高維數(shù)據(jù)圖像中的非線性鑒別信息，并將其投影到一個(gè)高維特征空間；通過類別標(biāo)簽所含信息計(jì)算局部類間散度矩陣和類內(nèi)散度矩陣，不僅有效的描述了樣本的類間分離性和類內(nèi)緊湊性，還保持了樣本的局部幾何特征。在AR、YALE和ORL人臉庫(kù)上的仿真實(shí)驗(yàn)表明提出的算法具有較好的分類和識(shí)別性能。

關(guān)鍵詞：Fisher判別分析；核方法；特征抽?。蝗四樧R(shí)別

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）27-0152-04

Abstract： Aiming at the feature extraction problem in face recognition， a new Fisher Fisher Fisher Analysis Discriminant （Local） algorithm is proposed. The algorithm using kernel methods extract nonlinear discriminant information from the high dimensional image data and its projection to a high dimensional feature space； through the class label information contained in local between class scatter matrix and the within class scatter matrix calculation， not only effectively describe the sample class separability and compactness in， but also to maintain the local geometry of sample. Simulation experiments on AR， YALE and ORL face database show that the proposed algorithm has better classification and recognition performance.

Key words： Fisher discriminant analysis； kernel method； feature extraction； face recognition

特征抽取是人工智能、機(jī)器學(xué)習(xí)以及模式識(shí)別領(lǐng)研究的重要內(nèi)容[[1-2]，其主要降維算法有兩種：線性算法和非線性算法。線性算法中Fisher判別分析[3]（Fisher Discriminant Analysis， FDA）是最為流行的降維算法，其實(shí)質(zhì)是在高維特征空間中尋找一個(gè)最優(yōu)投影，將新的測(cè)試樣本映射此投影上，使得屬于同一個(gè)類別的樣本盡可能靠近，不同類別的樣本最大限度的分開。為了有效地保持?jǐn)?shù)據(jù)間的局部結(jié)構(gòu)，文獻(xiàn)[4-5]提出了局部Fisher判別分析（Local Fisher Discriminant Analysis， LFDA），其思想是在降維過程中結(jié)合FDA和局部保持投影[6]（locality preserving projection， LPP）各自的優(yōu)點(diǎn)，使得屬于不同類別的樣本在投影空間內(nèi)具有更好的可分離性。最近，Xu等[7]將FDA和稀疏保持投影相結(jié)合，對(duì)圖像進(jìn)行分類和識(shí)別，取得了較好的效果。一般認(rèn)為，人臉圖像處在高維非線性流形上，上述線性降維算法不能夠有效地挖掘人臉圖像中的非線性變化（如光照、姿態(tài)、表情等），也無法抽取樣本的非線性鑒別信息。

近年來，為探索流形上的非線性結(jié)構(gòu)，人們提出了許多非線性的數(shù)據(jù)處理方法。其中以核方法[8-10]和流行學(xué)習(xí)方法[11]最具有代表性。但是，流行學(xué)習(xí)算法應(yīng)用于人臉識(shí)別時(shí)會(huì)遇到Out-of-sample問題[12]。隨著核函數(shù)學(xué)習(xí)方法在支持向量機(jī)中的成功應(yīng)用，解決了廣義線性鑒別函數(shù)中存在所謂的“維數(shù)災(zāi)難”問題。核化的方法可以很好地抽取高維圖像的非線性結(jié)構(gòu)特征。

綜合上述分析，本文提出了一種核局部Fisher鑒別分析人臉識(shí)別算法。算法融合了核方法和局部領(lǐng)域結(jié)構(gòu)的思想來改進(jìn)原始算法存在的缺陷。該算法在降維過程中，首先利用核技巧抽取人臉圖像中的非線性結(jié)構(gòu)特征，并將其投影到一個(gè)高維非線性空間；然后，通過構(gòu)造局部類內(nèi)散度矩陣和局部類間散度矩陣來保持?jǐn)?shù)據(jù)的局部幾何結(jié)構(gòu)。YAR、YALE和ORL人臉庫(kù)上的仿真實(shí)驗(yàn)表明提出的算法具有較好的分類和識(shí)別性能。

1 局部Fisher判別分析（LFDA）

2.2 算法概述

步驟1 選擇非線性映射，核矩陣元素定義為[Kij=（xi）， ?（xj）=?T（xi）?（xj）]，特征空間[Η]上兩點(diǎn)[?（xi） ，?（xj）]之間的距離采用歐式距離計(jì)算。

步驟2 根據(jù)式（3）和式（4）計(jì)算出[Wb?ij]，[Wt?ij]，進(jìn)而得到對(duì)角矩陣[D?b]，[D?t]，再計(jì)算出拉普拉斯矩陣[L?b]，[L?t]。

步驟3 根據(jù)式（17）計(jì)算出特征空間上的核局部類間散度矩陣[Kb]，式（18）計(jì)算核混合散度矩陣[Kt]。

步驟4 求解特征方程[Kba=λKta]，取前d個(gè)最大特征值所對(duì)應(yīng)的特征向量作為最優(yōu)投影。

步驟5 根據(jù)式（20）將特征空間中新的測(cè)試樣本[?（z）]映射到該最優(yōu)投影上，根據(jù)最近鄰分類器分類。

3 實(shí)驗(yàn)仿真與分析

為了驗(yàn)證文中提出算法的合理性，在YALE、ORL和AR人臉數(shù)據(jù)庫(kù)上進(jìn)行仿真，將仿真結(jié)果和LDA，LPP，LFDA進(jìn)行對(duì)比。實(shí)驗(yàn)中，采用高斯核函數(shù)[K（X，Y）=exp（-X-Y2/σ）]，（本文[σ=1.5e+8]）。

3.1 實(shí)驗(yàn)1與分析

實(shí)驗(yàn)1在ORL人臉庫(kù)上進(jìn)行實(shí)驗(yàn)仿真，ORL人臉庫(kù)包含400張分辨率為112×92像素的圖像（400張圖像中包含40個(gè)不同的人，每個(gè)人10張圖像），人臉庫(kù)中的圖像在人臉的面部姿態(tài)和表情方面有不同程度的變化。

在進(jìn)行實(shí)驗(yàn)時(shí)，選擇了每個(gè)人的前5張圖像作為訓(xùn)練樣本，測(cè)試樣本由剩余的5幅組成。我們比較了四種算法的識(shí)別效果，取10次實(shí)驗(yàn)的平均值作為仿真結(jié)果。圖1給出了ORL庫(kù)中一個(gè)人的10張圖像，圖2中的仿真結(jié)果描述了5張圖像作為訓(xùn)練樣本4種算法的性能比較，表1列出4種算法的最高識(shí)別率及相應(yīng)的投影軸維數(shù)。

從圖2和表1中可以明顯地看出，在五個(gè)訓(xùn)練樣本情況下，算法KLFDA在最近鄰分類器下的識(shí)別性能優(yōu)于LDA，LPP及LFDA。KLFDA算法可以把識(shí)別率的值從12.00%提高到90.00%，隨著投影軸維數(shù)增加，識(shí)別率平穩(wěn)上升，當(dāng)投影軸維數(shù)為47時(shí)，該算法可使識(shí)別率的值達(dá)到90.00%。同時(shí)，文中所提出的算法最大識(shí)別率達(dá)到了90.00%，比另外三種算法的最低識(shí)別率高12%、最高識(shí)別率高5%。該實(shí)驗(yàn)結(jié)果說明本文算法在抽取鑒別信息時(shí)具有良好的穩(wěn)定性和魯棒性。

3.2 實(shí)驗(yàn)2與分析

實(shí)驗(yàn)2在YALE人臉庫(kù)上進(jìn)行實(shí)驗(yàn)仿真，YALE人臉庫(kù)包含165張分辨率為100×80像素的圖像（165張圖像中包含15個(gè)不同的人，每個(gè)人11張圖像），庫(kù)中的圖像受光照條件下的影響較大，細(xì)節(jié)（戴或不戴眼鏡）和面部表情（驚訝、傷心正常、開心、眨眼等）也有比較顯著的差異。

在進(jìn)行實(shí)驗(yàn)仿真時(shí)，從人臉庫(kù)中隨機(jī)選擇每類人臉的5幅圖像作為訓(xùn)練樣本，剩余的6幅作為測(cè)試樣本。我們比較了四種算法的識(shí)別效果，以10次實(shí)驗(yàn)的平均值作為仿真結(jié)果。圖3給出了YALE人臉庫(kù)的某一個(gè)人的11張圖像，圖4描述了4種算法的識(shí)別率曲線與維數(shù)，表2列出了4種算法的最大識(shí)別率和相應(yīng)的投影軸維數(shù)。

從圖4和表2中很容易看出，本文所提出的算法KLFDA在最近鄰分類器下，識(shí)別性能遠(yuǎn)優(yōu)于另外三種算法。僅當(dāng)投影軸維數(shù)達(dá)到14時(shí)，該算法可使識(shí)別率達(dá)到最大值98.89%，且投影軸維數(shù)到14以后，逐漸趨于穩(wěn)定。LDA，LPP和LFDA算法的最高識(shí)別率分別為78.89%，94.44%，95.56%，它們?nèi)〉米罡咦R(shí)別率的投影軸維數(shù)分別為14，38，18。該實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法KLFDA在引入核技巧同時(shí)考慮樣本在特征空間的局部結(jié)構(gòu)，能夠更好地抽取人臉圖像的非線性結(jié)構(gòu)，因而具有好的分類和識(shí)別性能。

3.3 實(shí)驗(yàn)3與分析

本實(shí)驗(yàn)采用AR人臉庫(kù)，AR人臉庫(kù)包含3120張分辨率為40×50像素的圖像（包含120個(gè)不同的人，每個(gè)人26張圖像），這些圖片受光照、表情。姿勢(shì)以及遮擋的影響。在進(jìn)行實(shí)驗(yàn)仿真時(shí)，選擇前7幅圖像（沒有遮擋，只有表情變化）作為訓(xùn)練樣本，剩余的7幅（大部分均為有遮擋）作為測(cè)試樣本。以10次實(shí)驗(yàn)的平均值作為仿真結(jié)果。圖5給出了AR人臉庫(kù)中一個(gè)人的部分圖像示例，圖6描述了各種算法的識(shí)別率曲線與維數(shù)的關(guān)系，表3列出了4種算法的最大識(shí)別率和相應(yīng)的維數(shù)。

從圖6和表3中不難看出，在七個(gè)訓(xùn)練樣本情況下，本文算法KLFDA的識(shí)別性能明顯優(yōu)于另外三種算法。僅當(dāng)投影軸維數(shù)達(dá)到25時(shí)，識(shí)別率最大值達(dá)到68.33%，當(dāng)投影軸維數(shù)大于25時(shí)，本文算法識(shí)別率基本趨于穩(wěn)定。LDA，LPP和LFDA算法的最高識(shí)別率分別為54.05%，62.02%，65.24%，它們?nèi)〉米罡咦R(shí)別率的投影軸維數(shù)均達(dá)到95。這也說明將維后的特征空間能更好地描述原來的特征空間。

4 結(jié)束語(yǔ)

基于核的特征抽取算法能夠有效地抽取樣本的非線性鑒別信息，本文算法結(jié)合了核技術(shù)和Fisher判別分析的優(yōu)點(diǎn)，在特征抽取時(shí)一方面能夠使比較復(fù)雜和非線性的原始數(shù)據(jù)線性化、簡(jiǎn)單化，另一方面考慮了數(shù)據(jù)的局部領(lǐng)域結(jié)構(gòu)，從而能夠有效消除數(shù)據(jù)特征之間的信息冗余。然而，本文所提出的算法是一種有監(jiān)督的學(xué)習(xí)方法，如何將其發(fā)展為半監(jiān)督學(xué)習(xí)，并提高分類和識(shí)別性能，這仍然值得探索和研究。

參考文獻(xiàn)：

[1] Belhumeur P N. Eigenfaces vs. Fisherfaces： Recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：711-720.

[2] Zhao W， Chellappa R， Phillips P J， Rosenfeld A. Face recognition ： A literature survey[J].ACM Computing Surveys， 2003，35（4）： 399-458.

[3] Fisher R A. The use of multiple measurements in taxonomic problems[J].Annals of Eugenics，1936，7（2）： 179-188.

[4] Sugiyama M. Local Fisher discriminant analysis for supervised dimensionality reduction[C]// Proceedings of the 23rd International Conference on Machine Learning， Pittsburgh， Pennsylvania， 2006： 905-912.

[5] Sugiyama M， Ide T， Nakajima S， et al. Semi-supervised local Fisher discriminant analysis for dimensionality reduction[J]. Machine Learning， 2008，78（1/2）：35-61.

[6] 許淑華， 齊鳴鳴. 稀疏局部Fisher判別分析[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（4）：173-175.

[7] He Xiaofei， Niyogi P. Locality preserving projections [C]//proceedings of the Conference on Advances in Neural Information Processing Systems. Cambridge： MIT Press， 2003： 153-160.

[8] Lu J， Plataniotis K N， Venetsanopoulos A N. Face recognition using kernel direct discriminant analysis algorithms [J]. IEEE Trans Neural Network， 2003，14（1）：117-126.

[9] Yang J， Jin Z， Yang J Y. Essence of kernel Fisher discriminant： KPCA plus LDA [J].Pattern Recognition， 2004，37（10）： 2097-2100.

[10] 高秀梅， 楊靜宇， 楊健. 一種最優(yōu)的核Fisher鑒別分析與人臉識(shí)別[J].系統(tǒng)仿真學(xué)報(bào)，2009，16（12）：2864-2868.

[11] Seung H S， Lee D D. The manifold ways of perception [J]. Science，2000，290（22）：2268-2269.

[12] Bengio Y， Palement J， Vincent P， et al. Out-of-sample extensions for LLE， isomap， MDS， eigenmaps， and spectral clustering [J]. Neural Computation， 2004， 16（10）： 2179-2219.