翟俊海，趙文秀，2，李塔

（1.河北大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，河北省機(jī)器學(xué)習(xí)與計(jì)算智能重點(diǎn)實(shí)驗(yàn)室，河北保定071002；2.中國(guó)氣象局氣象干部培訓(xùn)學(xué)院河北分院教務(wù)科，河北保定071000）

人臉識(shí)別也稱自動(dòng)人臉識(shí)別，是一個(gè)近年得到廣泛關(guān)注的研究熱點(diǎn)［1］.人臉識(shí)別的方法大致可分為2類：基于外觀的方法和基于特征的方法.基于外觀的方法將待識(shí)別的對(duì)象看作圖像空間中的一個(gè)點(diǎn)，利用統(tǒng)計(jì)方法得到其分布，然后利用該分布進(jìn)行人臉識(shí)別.在協(xié)方差矩陣、特征值和特征向量概念的基礎(chǔ)上，Turk等人［2］提出了著名的特征臉?lè)椒?，也稱為主成分分析（PCA）方法.PCA方法沒(méi)有考慮類別屬性對(duì)識(shí)別的貢獻(xiàn)，針對(duì)這一問(wèn)題，Belhumeur等人［3］提出了費(fèi)舍爾臉?lè)椒?，也稱為線性判別分析（LDA）方法.PCA方法和LDA方法都需要對(duì)圖像數(shù)據(jù)向量化，而向量化后的數(shù)據(jù)維數(shù)非常高，會(huì)出現(xiàn)小樣本問(wèn)題.另外，求高階協(xié)方差矩陣的特征值和特征向量非常耗費(fèi)時(shí)間.Yang等人［4］提出的2DPCA和Li等人［5］提出的2DLDA可以有效解決上述問(wèn)題.2DPCA和2DLDA直接從圖像數(shù)據(jù)構(gòu)造圖像協(xié)方差矩陣和圖像散度矩陣，不需要向量化的過(guò)程，這樣降低了PCA和LDA的計(jì)算時(shí)間復(fù)雜度.但2DPCA和2DLDA對(duì)原圖像只沿水平方向進(jìn)行投影，與PCA和LDA相比，需要更多的存儲(chǔ)空間，為克服這一缺點(diǎn)，ZHANG等人［6］提出了雙向二維主成分分析（（2D）2PCA）方法，Noushanth等人［7］提出了雙向二維線性判別分析（（2D）2LDA）方法.楊萬(wàn)扣等人［8］提出了基于對(duì)稱二維主成分分析的人臉識(shí)別方法.王科俊等人［9］提出了基于子模式的完全二維主成分分析方法.基于特征的方法主要利用人臉圖像的幾何特征（如眼睛、眉毛、鼻子等）以及它們之間的幾何關(guān)系進(jìn)行人臉識(shí)別［1］.Wiskptt等人［10］提出的圖匹配方法和Samaria等人［11］提出的隱馬爾科夫模型（HMM）方法是這類方法的杰出代表.目前，基于外觀的人臉識(shí)別方法是研究的熱點(diǎn).

在基于外觀的方法中，近幾年研究人員提出了許多基于小波變換的方法，如Lai等人［12］將小波變換和傅里葉變換結(jié)合起來(lái)，提出的人臉識(shí)別方法可以很好地解決不變性問(wèn)題.而Dai等人［13］將小波變換與線性判別分析結(jié)合起來(lái)，提出的人臉識(shí)別方法可以解決小樣本問(wèn)題.另外，Kwak等人［14］提出了基于小波變換和模糊積分相結(jié)合的人臉識(shí)別方法.鄒建法等人［15］提出了基于增強(qiáng)Gabor特征和直接分步線性判別分析的人臉識(shí)別方法.Ergun等人［16］對(duì)基于小波變換和PCA的人臉識(shí)別方法進(jìn)行了分析比較.Mohammed等人［17］提出了基于小波變換和極端學(xué)習(xí)機(jī)的人臉識(shí)別方法，該方法分為3步，首先對(duì)人臉圖像做小波變換，然后用雙向二維主成分分析進(jìn)行特征提取，最后用極端學(xué)習(xí)機(jī)進(jìn)行分類識(shí)別.但實(shí)驗(yàn)研究發(fā)現(xiàn)，用小波變換的低頻子圖直接作為極端學(xué)習(xí)機(jī)的輸入，就可以達(dá)到非常好的識(shí)別效果，換句話說(shuō)，第2步的特征提取是沒(méi)有必要的.在3個(gè)人臉數(shù)據(jù)庫(kù)上與Mohammed等人［17］提出的方法進(jìn)行了實(shí)驗(yàn)比較，實(shí)驗(yàn)結(jié)果顯示與文獻(xiàn)［17］中的方法相比，本文提出的方法更簡(jiǎn)單有效.

1 小波變換

在此簡(jiǎn)要介紹將要用到的小波變換［18］的基礎(chǔ)知識(shí).

設(shè)f（x，y）是一幅人臉圖像，f（x，y）的小波變換如圖1所示.包括沿水平方向和垂直方向的濾波及降2采樣.沿水平方向的低通濾波是通過(guò)濾波器L實(shí)現(xiàn)的，而高通濾波是通過(guò)濾波器H實(shí)現(xiàn)的.沿垂直方向的濾波和沿水平方向的濾波類似.

圖1中，fLL表示沿水平和垂直2個(gè)方向的低頻成分；fLH表示水平方向的低頻成分和垂直方向的高頻成分；fHL表示水平方向的高頻成分和垂直方向的低頻成分；fHH表示沿水平和垂直2個(gè)方向的高頻成分.人臉圖像的識(shí)別信息主要包含在低頻子圖中，高頻子圖包含的是人臉圖像的邊界輪廓信息.對(duì)一層小波分解得到的低頻子圖重復(fù)進(jìn)行小波變換可得二層小波變換.重復(fù)此過(guò)程得到多層小波變換，因?yàn)樾〔ㄗ儞Q具有降2采樣的特性，所以一幅圖像經(jīng)過(guò)幾層小波變換后，低頻子圖維數(shù)就會(huì)變得很小.如256×256的圖像，經(jīng)5層小波變換后，低頻子圖變?yōu)榇笮?×8的圖像.

2 基于小波變換和極端學(xué)習(xí)機(jī)的人臉識(shí)別方法

極端學(xué)習(xí)機(jī)（ELM：Extreme Learning Machine）是Huang等人［19］提出的用于訓(xùn)練單隱含層前饋神經(jīng)網(wǎng)絡(luò)（圖2）的學(xué)習(xí)算法.ELM算法要求該網(wǎng)絡(luò)的隱含層激活函數(shù)是Sigmoidal函數(shù)，輸入層和輸出層激活函數(shù)為線性函數(shù).ELM不需要迭代調(diào)整權(quán)參數(shù)，而是隨機(jī)地產(chǎn)生輸入層到隱含層的權(quán)值和隱含層結(jié)點(diǎn)的偏置，然后用分析的方法確定隱含層到輸出層的權(quán)值，具有學(xué)習(xí)速度快、泛化能力強(qiáng)等特點(diǎn).

圖1 圖像的小波變換示意Fig.1 Flowchart of image wavelet transforms

圖2 單隱含層前饋神經(jīng)網(wǎng)絡(luò)Fig.2 Single－h(huán)idden layer feed－forward neural networks

其中，wi＝（w1i，w2i，…，wni），βi＝（βi1，βi2，…，βiK），i＝1，2，…，N，（1）式的矩陣表示為Hβ＝Y(jié)，其中，

ELM算法描述如下.

輸入：訓(xùn)練集D＝，j＝1，2，…，M｝，隱含層結(jié)點(diǎn)個(gè)數(shù)N和隱含層激活函數(shù)g（x）；

輸出：隱含層權(quán)矩陣β.

算法步驟

Step1.隨機(jī)指定輸入層權(quán)值wi和隱含層偏置bi（i＝1，2，…，N）；

Step2.計(jì)算隱含層輸出矩陣H；

Step3.計(jì)算輸出層權(quán)矩陣β＝H＋T，其中H＋是H的廣義逆矩陣.

ELM在應(yīng)用中取得了非常好的效果，即ELM具有非常好的泛化能力，但其理論依據(jù)尚不清楚，目前依然是ELM研究領(lǐng)域的公開(kāi)問(wèn)題.從ELM的實(shí)驗(yàn)研究可得出結(jié)論［20］：對(duì)于分類問(wèn)題，當(dāng)ELM網(wǎng)絡(luò)的隱含層結(jié)點(diǎn)個(gè)數(shù)達(dá)到一定值時(shí)（一般情況下，這個(gè)值都高于輸入層結(jié)點(diǎn)個(gè)數(shù)，即輸入層到隱含層的映射是一個(gè)升維映射），分類測(cè)試精度都能達(dá)到非常理想的結(jié)果.對(duì)于基于小波變換和ELM的人臉識(shí)別，實(shí)驗(yàn)研究發(fā)現(xiàn)，用文獻(xiàn)［20］中的方法確定隱含層結(jié)點(diǎn)個(gè)數(shù)后，把人臉圖像經(jīng)小波變換后的低頻子圖直接作為ELM網(wǎng)絡(luò)的輸入，就能得到非常好的識(shí)別效果，而不需要像文獻(xiàn)［17］中那樣，再?gòu)男〔ㄗ訄D中用投影子空間方法（如雙向二維主成分分析）進(jìn)行特征提取.與文獻(xiàn)［17］中的方法相比，本文方法的分類識(shí)別精度（測(cè)試精度）和文獻(xiàn)［17］中方法的識(shí)別精度相當(dāng)，但所用CPU時(shí)間要少很多.本文方法分為訓(xùn)練和測(cè)試2步.

訓(xùn)練算法

輸入：人臉數(shù)據(jù)庫(kù)，小波變換的層數(shù)L，隱含層結(jié)點(diǎn)個(gè)數(shù)N和隱含層激活函數(shù)g（x）；

輸出：隱含層輸出矩陣

Step1.對(duì)人臉數(shù)據(jù)庫(kù)中的每一幅人臉圖像做L層小波變換，得到第L層的小波低頻子圖；

Step2.隨機(jī)指定輸入層權(quán)值wi和隱含層偏置bi（i＝1，2，…，N）；

Step3.輸入訓(xùn)練集中向量化后的小波低頻子圖，計(jì)算隱含層輸出矩陣H；

Step4.計(jì)算輸出層權(quán)矩陣β＝H＋T，其中H＋是H的廣義逆矩陣.

Step5.得到訓(xùn)練好的ELM網(wǎng)絡(luò).

測(cè)試算法

Step1.對(duì)每一幅測(cè)試人臉圖像，做L層小波變換，得到第L層的小波低頻子圖；Step2.向量化小波低頻子圖，并輸入訓(xùn)練好的ELM網(wǎng)絡(luò)，計(jì)算其對(duì)應(yīng)的輸出值；Step3.根據(jù)輸出值，確定其類別.

3 實(shí)驗(yàn)結(jié)果

用ORL，JAFFE和FERET 3個(gè)人臉數(shù)據(jù)庫(kù)與文獻(xiàn)［17］中的方法進(jìn)行了實(shí)驗(yàn)比較.ORL人臉數(shù)據(jù)庫(kù)中包括40個(gè)人的人臉圖像.這些人臉圖像是在不同的時(shí)間、不同光照、不同的表情等條件下拍攝的.JAFFE人臉數(shù)據(jù)庫(kù)中包括10個(gè)人的213幅不同表情的圖像.FERET人臉數(shù)據(jù)庫(kù)中包括20個(gè)人的641幅不同姿勢(shì)的圖像.實(shí)驗(yàn)環(huán)境是PC機(jī)，雙核1.86GCPU，2G內(nèi)存，Windows XP操作系統(tǒng)，Matlab 7.1實(shí)驗(yàn)平臺(tái).

實(shí)驗(yàn)1 小波基函數(shù)的選擇

人臉圖像的小波變換本質(zhì)上是將人臉圖像（函數(shù)）表示為一系列不同尺度的小波基函數(shù)的疊加，小波變換的性能與小波基函數(shù)的性質(zhì)緊密相關(guān)，這些性質(zhì)包括對(duì)稱性、正交性、緊支撐、消失矩，理論上已經(jīng)證明了同時(shí)滿足這些性質(zhì)的小波基函數(shù)是不存在的.實(shí)際應(yīng)用中一般要求小波基函數(shù)具有正交性或雙正交性，這樣可使冗余達(dá)到最小.筆者實(shí)驗(yàn)研究了選用不同的正交小波和雙正交小波對(duì)識(shí)別精度的影響.對(duì)于正交小波，實(shí)驗(yàn)比較了dbN（N＝1，2，…，10），symN（N＝2，3，…，8）和coifN（N＝1，2，…，5）小波族選不同的N（即選不同的正交小波）對(duì)識(shí)別精度的影響.對(duì)于雙正交小波，實(shí)驗(yàn)比較了biorNr.Nd（Nr.Nd＝1.1，1.3，1.5；2.2，2.4，2.6，2.8；3.1，3.3，3.5，3.7，3.9；4.4；5.5；6.8）和rbioNr.Nd（Nr.Nd＝1.1，1.3，1.5；2.2，2.4，2.6，2.8；3.1，3.3，3.5，3.7，3.9；4.4；5.5；6.8）雙正交小波族選不同的Nr.Nd（即選不同的雙正交小波）對(duì)識(shí)別精度的影響.為了獲得不同的小波在不同的數(shù)據(jù)集上最優(yōu)的N或Nr.Nd，首先通過(guò)具有不同的N或Nr.Nd的每類小波對(duì)每個(gè)數(shù)據(jù)集進(jìn)行了小波變換，選低頻子圖構(gòu)造數(shù)據(jù)集，然后使用十折交叉驗(yàn)證法得到了ELM網(wǎng)絡(luò)在每個(gè)子集上的測(cè)試精度.圖3a－e是在ORL數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果，由于篇幅所限，在其他2個(gè)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果沒(méi)有列出，結(jié)果是類似的.

表1 在不同人臉數(shù)據(jù)庫(kù)上的最優(yōu)小波基函數(shù)Tab.1 Optimal wavelet basic functions in different face databases

實(shí)驗(yàn)2 與文獻(xiàn)［17］中方法的性能比較

根據(jù)上表確定的最優(yōu)小波基函數(shù)，對(duì)3個(gè)人臉數(shù)據(jù)庫(kù)進(jìn)行了不同層次的小波變換.其中維數(shù)較小的ORL變換到第5層，而維數(shù)較大的JAFFE和FERET數(shù)據(jù)集變換到第6層.然后用低頻子圖直接作為ELM網(wǎng)絡(luò)的輸入進(jìn)行人臉識(shí)別，與文獻(xiàn)［17］中的方法從測(cè)試精度和所用的CPU時(shí)間2個(gè)方面進(jìn)行了比較，在3個(gè)人臉數(shù)據(jù)庫(kù)的實(shí)驗(yàn)比較結(jié)果列于表2.表2的實(shí)驗(yàn)結(jié)果可看出，測(cè)試精度和文獻(xiàn)［17］中方法的測(cè)試精度大體相同，但所用的CPU時(shí)間本文方法要少得多.主要原因：1）是ELM不需要迭代調(diào)整輸入層權(quán)值和隱含層偏置，而是隨機(jī)指定這些參數(shù)，然后用分析的方法確定輸出層的權(quán)值.ELM的學(xué)習(xí)速度非?？欤揖哂蟹浅：玫姆夯芰?；2）是本文方法是兩階段方法，而文獻(xiàn)［17］中的方法是三階段方法.本文方法小波變換后不用計(jì)算低頻子圖的雙向主成分，直接輸入到ELM網(wǎng)絡(luò)進(jìn)行分類識(shí)別，因?yàn)榍箅p向二維主成分的過(guò)程實(shí)際上是求圖像協(xié)方差矩陣的特征值和特征向量的過(guò)程，而計(jì)算矩陣的特征值和特征向量非常耗費(fèi)時(shí)間，所以本文方法所用的CPU時(shí)間要比文獻(xiàn)［17］中的方法少很多.實(shí)驗(yàn)結(jié)果顯示，與文獻(xiàn)［17］中的方法相比，本文提出的方法更簡(jiǎn)單有效.

表2 本文方法與文獻(xiàn)［17］中方法實(shí)驗(yàn)比較的結(jié)果Tab.2 Comparative results between the proposed method and the one in［17］

4 結(jié)論

文獻(xiàn)［17］中的人臉識(shí)別方法對(duì)人臉圖像做小波變換后，再用雙向二維主成分分析進(jìn)行特征提取，最后用ELM網(wǎng)絡(luò)進(jìn)行分類識(shí)別.實(shí)驗(yàn)研究發(fā)現(xiàn)，人臉圖像做小波變換后的低頻子圖直接作為ELM網(wǎng)絡(luò)的輸入，而不用進(jìn)行雙向二維主成分分析進(jìn)行特征提取，依然可以得到非常好的分類識(shí)別效果，而且所用的CPU時(shí)間可以大幅度地降低.實(shí)驗(yàn)研究了小波基函數(shù)的選擇對(duì)分類識(shí)別精度的影響，并與文獻(xiàn)［17］中的方法從測(cè)試精度和所用的CPU時(shí)間兩方面進(jìn)行了實(shí)驗(yàn)比較，實(shí)驗(yàn)結(jié)果顯示，與文獻(xiàn)［17］中的方法相比，本文提出的方法更簡(jiǎn)單有效.另外，對(duì)于不同的人臉數(shù)據(jù)庫(kù)得到了最優(yōu)的小波基函數(shù)，可為相關(guān)研究提供實(shí)驗(yàn)參考.

［1] 章毓晉，賈彗星，李樂(lè)，等.基于子空間的人臉識(shí)別方法［M］.北京：清華大學(xué)出版社，2009.

［2] TURK M，PENTLAND A.Eigen－faces for recognition［J］.Journal of cognitive neuroscience，1991，3（1）：71－86.

［3] BELHUMEUR P N，HESPANHA J P，KRIEGMAN D J.Eigenfaces vs.Fisherfaces：recognition using class specific linear projection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：711－720.

［4] YANG Jian，ZHANG David.Two－dimensional PCA：A new approach to appearance－based face representation and recognition［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，2004，26（1）：131－137.

［5] LI Ming，YUAN Baozong.2D－LDA：A novel statistical linear discriminant analysis for image matrix［J］.Pattern Recognition Letter，2005，26（5）：527－532.

［6] ZHANG Daoqiang，ZHOU Zhihua.（2D）2PCA：Two－directional two－dimensional PCA for efficient face representation and recognition［J］.Neurocomputing，2005，69（1－3）：224－231.

［7] NOUSHATH S，KUMAR G H，SHIVAKUMAR P.（2D）2LDA：An efficient approach for face recognition［J］.Pattern Recognition，2006，39（7）：1396－1400.

［8] 楊萬(wàn)扣，任明武，楊靜宇.基于對(duì)稱二維主成分分析的人臉識(shí)別［J］.模式識(shí)別與人工智能，2008，21（3）：326－331.YANG Wankou，REN Mingwu，YANG Jingyu.Face recognition based on symmetrical 2DPCA［J］.Pattern Recognition and Artificial Intelligence，2008，21（3）：326－331.

［9] 王科俊，賁晛燁，劉麗麗，等.基于子模式的完全二維主成分分析的步態(tài)識(shí)別算法［J］.模式識(shí)別與人工智能，2009，

22（6）：854－861.

WANG Kejun，BEN Xianye，LIU Lili，et al.Subpattern－based complete two dimensional principal component analysis for gait recognition［J］.Pattern Recognition and Artificial Intelligence，2009，22（6）：854－861.

［10] WISKPTT L，F(xiàn)ELLOUS J M，MALSBURG C V.Face recognition by elastic bunch graph matching［J］.Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：775－779.

［11] SAMARIA F，YOUNG S.HMM based architecture for face identification［J］.Image Vision Computing，1994，12（8）：537－583.

［12] LAI Jianhuang，YUEN P C，F(xiàn)ENG Guocan.Face recognition using holistic Fourier invariant features［J］.Pattern Recognition，2001，34（1）：95－109.

［13] DAI Daoqing，YUEN P C.Wavelet based discriminant analysis for face recognition［J］.Applied Mathematics and Computation，2006，175（1）：307－318.

［14] KWAK K C，PEDRYCZ W.Face recognition using fuzzy integral and wavelet decomposition method［J］.IEEE Transactions on Systems，Man，and Cybernetics－Part B，2004，34（4）：1666－1675.

［15] 鄒建法，王國(guó)胤，龔勛.基于增強(qiáng)Gabor特征和直接分步線性判別分析的人臉識(shí)別［J］.模式識(shí)別與人工智能，2010，23（4）：477－482.ZOU Jianfa，WANG Guoyin，GONG Xun.Face recognition based on enhanced gabor feature and direct fractional－step linear discriminant analysis［J］.Pattern Recognition and Artificial Intelligence，2010，23（4）：477－482.

［16] ERGUN G，NIYAZI K，AHMET S，et al.Evaluation of face recognition techniques using PCA，wavelets and SVM［J］.Expert Systems with Applications，2010，37（9）：6404－6408.

［17] MOHAMMED A A，MINHAS R，WU Q M J，et al.Human face recognition based on multidimensional PCA and extreme learning machine［J］.Pattern Recognition，2011，44（10－11）：2588－2597.

［18] MALLAT S G.A theory for multiresolution signal decomposition：the wavelet representation［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11（1）：674－693.

［19] HUANG Guangbin，ZHU Qinyu，SIEW C K.Extreme learning machine：theory and applications［J］.Neurocomputing，2006，70（1－3）：489－501.

［20] 翟俊海，李塔，翟夢(mèng)堯，等.ELM中隨機(jī)映射作用的實(shí)驗(yàn)研究［J］.計(jì)算機(jī)工程，2012，38（20）：164－168.ZHAI Junhai，LI Ta，ZHAI Mengyao，et al.Experimental research on random mapping functions in ELM［J］.Computer Engineering，2012，38（20）：164－168.