張明 黃炳家 鄭秋梅

關(guān)鍵詞： 融合識別; 核稀疏表示; 特征提取; 加權(quán)串聯(lián)融合; 正交匹配追蹤算法; 魯棒性

中圖分類號： TN820.4?34; TP391 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）04?0080?05

Research on fusion recognition of human face and ear based on

kernel?sparse representation

ZHANG Ming， HUANG Bingjia， ZHENG Qiumei

（China University of Petroleum （East China）， Qingdao 266580， China）

Abstract： Since the human face and ear fusion recognition algorithm has weak robustness in variations of image illumination， facial expression and shooting angle， the kernel?sparse representation theory is introduced into the human face and ear fusion recognition， and a human face and ear fusion recognition algorithm based on kernel?sparse representation is proposed. The PCA feature extraction algorithm that can effectively reduce sample dimensions is adopted in the algorithm. The feature?level fusion that can not only realize effective compression of redundant information， but also make the best use of the distinguishability of biological features in different modes is selected for the feature fusion level of human faces and ears. The weighted series fusion method is used for the algorithm considering that different modes of biological features may have different contributions to the final recognition. The orthogonal matching pursuit algorithm with fast iteration speed is used to solve the sparse representation coefficient of tested samples in training samples. In comparison with other recognition algorithms， the algorithm has a much better recognition performance， and stronger robustness in variations of human face and ear images.

Keywords： fusion recognition; kernel?sparse representation; feature extraction; weighted series fusion; orthogonal matching pursuit algorithm; robustness

0 ?引 ?言

隨著信息技術(shù)的飛速發(fā)展，以生物特征為依據(jù)的個(gè)人身份識別成為研究熱點(diǎn)[1]。目前，單模生物特征識別如人臉、指紋、虹膜等已在部分領(lǐng)域應(yīng)用，例如火車站驗(yàn)票系統(tǒng)、圖書館門禁系統(tǒng)等。但在一些高安全應(yīng)用領(lǐng)域，由于單模生物識別在噪聲干擾、非普遍性和防欺騙能力等方面有明顯的不足，綜合多種生物特征的識別技術(shù)應(yīng)運(yùn)而生[2]。相比單模識別，多模生物識別不僅提高了可靠性，增強(qiáng)了防偽性，同時(shí)增加了應(yīng)用廣泛性。因此綜合多種生物特征進(jìn)行身份識別的多模生物識別技術(shù)受到廣泛關(guān)注。

隨著壓縮感知理論的提出，基于稀疏表示理論的生物特征識別技術(shù)成為國內(nèi)外學(xué)者的研究熱點(diǎn)，特別是基于稀疏表示的單模生物識別研究相對較多，李懿等人結(jié)合模糊集合理論提出一種新的模糊稀疏表示人臉識別算法[3]，田瑩等人提出一種稀疏表示的多姿態(tài)人耳識別方法[4]。這兩種方法都是在單模生物特征方面根據(jù)稀疏表示方法分別對人臉和人耳進(jìn)行的識別，識別率和穩(wěn)定性有了部分提高，但是相對于多模生物識別技術(shù)，識別率依舊不夠高。而在多模生物識別研究中，袁立等人利用Fisher鑒別分析方法提出基于人臉和人耳的多模態(tài)生物特征識別方法[5];Amirthalingam G等人提出一種基于PCA和LLE特征提取的人臉人耳融合識別算法[6]。這兩種算法識別率相對于單模的人臉人耳識別有了進(jìn)一步提高，但是對圖像光照變化、表情變化、拍攝角度變化等魯棒性不強(qiáng)。為解決上述出現(xiàn)的問題，提出基于核稀疏表示的人臉人耳識別算法。將樣本特征向量投影到易實(shí)現(xiàn)線性可分的高維核空間，在核空間內(nèi)求解測試樣本在過完備字典中的稀疏表示系數(shù)，最終通過最小重構(gòu)殘差來實(shí)現(xiàn)分類識別。相對于其他人臉人耳識別算法，本文提出的算法具有防偽性高、識別性能強(qiáng)、對人臉人耳圖像變化不敏感等優(yōu)點(diǎn)。

1 ?核稀疏表示原理

基于稀疏表示[7]的識別算法的基本思想是測試樣本位可以由其所在類別中訓(xùn)練樣本的線性組合來近似表示。然而，當(dāng)人臉或人耳圖像的光照、表情、姿態(tài)等變化比較明顯時(shí)，測試樣本極有可能位于由訓(xùn)練樣本構(gòu)成的非線性子空間內(nèi)。此時(shí)，由該測試樣本所在類別中的訓(xùn)練樣本的線性組合并不能很好地表示該測試樣本;采用基于稀疏表示的分類方法并不能取得很好的識別效果。本文將核方法引入非線性映射，將許多非線性問題巧妙地轉(zhuǎn)化為線性問題，它能夠高效解決圖像空間中的非線性可分問題，其對非線性問題的高效分析能力可與線性問題相媲美。

設(shè)有K類訓(xùn)練樣本，其中，第i類的訓(xùn)練樣本集為[Ai=[ai1，ai2，…，aink]∈Rm×nk]，[Ai]共包含[nk]個(gè)樣本，每個(gè)樣本向量都屬于[Rm]。由所有類別的訓(xùn)練樣本共同構(gòu)成一個(gè)過完備字典：[A=[A1，A2，…，Ak]∈Rm×n]。設(shè)[φ]為由低維到高維的非線性映射，映射[φ]能將原始數(shù)據(jù)從樣本空間映射到高維核空間[H]，把過完備字典矩陣[A]由[φ]映射到高維核空間得到新的過完備字典：

[B=φ（A）=[φ（a1，1），φ（a1，2），…，φ（ak，nk）]] ? ?（1）

同時(shí)，將測試樣本[y]也用[φ]映射到核空間，[y→φ（y）]。因此可將稀疏表示方程[y=Ax]轉(zhuǎn)化為核空間中的方程[φ（y）=Bα]，求解測試樣本[φ（y）]在基空間[B]中的稀疏表示系數(shù)可轉(zhuǎn)化為[l0]范數(shù)上的最優(yōu)化問題。

[α～=argminα0 s.t. ? ?φ（y）=Bα] （2）

有關(guān)理論已經(jīng)證明s范數(shù)上的最優(yōu)化問題為NP?hard問題，該問題可轉(zhuǎn)化為[l1]范數(shù)上的最優(yōu)化問題進(jìn)行求解。

[α～=argminα1 s.t. ? ?φ（y）=Bα] （3）

求解稀疏表示系數(shù)允許存在一定的誤差，則有：[α～=argminα1 s.t. ? Bα-φ（y）2≤θ] ? ? ?（4）

已知存在定理：如果存在[θ≥0]，使得不等式成立，則可以找到[δ≥0]，使得不等式[BTBα-BTφ（y）2≤δ]成立。

故式（4）可轉(zhuǎn)化為：

[α～=argminα1 s.t. ?BTBα-BTφ（y）2≤δ] ? （5）

設(shè)函數(shù)[K（x，y）=φ（x）Tφ（y）]為核函數(shù)，引入函數(shù)[K（x，y）]，則有：

[BTB=[φ（a1，1），φ（a1，2），…，φ（ak，nk）]T·[φ（a1，1），…，φ（ak，nk）]][ ?=K（a1，1，a1，1）K（a1，1，a1，2）…K（a1，1，ak，nk）K（a1，2，a1，1）K（a1，2，a1，2）…K（a1，2，ak，nk）????K（ak，nk，a1，1）K（ak，nk，a1，2）…K（ak，nk，ak，nk）] ? ? ? ? ?（6）

[BTφ（y）=[φ（a1，1），φ（a1，2），…，φ（ak，nk）]Tφ（y） ? ? ? ? ? ? ? ?=K（a1，1，y）K（a1，2，y） ? ? ? ?K（ak，nk，y）] （7）

當(dāng)核函數(shù)[K（x，y）]確定，[BTB]和[BTφ（y）]可通過式（6）和式（7）計(jì)算得到，則核稀疏表示方程式（5）可以用稀疏表示方程的求解方法進(jìn)行直接求解。

2 ?基于核稀疏表示的人臉人耳融合識別算法

基于核稀疏表示的人臉人耳融合識別算法是在基于稀疏表示算法的基礎(chǔ)上引入核方法得到，本文采用的核函數(shù)為多項(xiàng)式核函數(shù)，其表達(dá)式為：[Kx，y=1+xTyd]，具體實(shí)驗(yàn)時(shí)參數(shù)d一般取1。

2.1 ?特征提取

稀疏表示理論指出特征提取重要的是特征的數(shù)量，只要特征數(shù)量大，都可以利用稀疏向量近似精確地重構(gòu)原始信號。但是，相比于傳統(tǒng)的分類識別算法基于稀疏表示的分類識別算法（SRC）計(jì)算量更大，為了節(jié)省計(jì)算耗時(shí)，本文使用簡單高效的PCA[8]算法進(jìn)行人臉和人耳的特征提取。

2.2 ?特征融合

本文的人臉人耳融合層次采用特征級融合[9]，因?yàn)樘卣骷壢诤霞饶軐?shí)現(xiàn)冗余信息的有效壓縮，又能充分利用不同模態(tài)生物特征的可區(qū)分性。同時(shí)特征融合方法采用的是串聯(lián)融合法。因?yàn)榇?lián)融合法簡單高效，更容易擴(kuò)展到超過兩種模態(tài)的多模生物融合，并且當(dāng)一種或多種模態(tài)的生物信息無法獲取時(shí)，串聯(lián)融合方法更容易調(diào)整特征融合模型的數(shù)據(jù)集，用可獲取的生物模態(tài)信息來進(jìn)行識別?？紤]到不同模態(tài)的生物特征信息對身份識別可能有不同的鑒別能力，故本文在進(jìn)行特征向量的串聯(lián)融合時(shí)加入了權(quán)重系數(shù)，以此來充分利用不同模態(tài)生物特征信息對身份識別的影響能力。特征融合具體過程如下。

2.2.1 ?特征向量的歸一化表示

為了中和不同生物特征向量的量綱效應(yīng)，使每種模態(tài)的生物特征向量都具有同等的表現(xiàn)力，故在特征向量融合之前，需要對人臉、人耳的特征向量進(jìn)行歸一化處理[10]。經(jīng)過歸一化處理后的所有人臉和人耳樣本特征向量的均值為0，方差為1。

2.2.2 ?特征向量加權(quán)串聯(lián)融合

設(shè)D為人臉人耳測試樣本的特征向量融合之后的特征矩陣，[di，j]為D中第i個(gè)類別中的第j個(gè)樣本融合后的特征向量，人臉人耳特征向量的加權(quán)融合方法如下：

[di，j=αdfi，jβdei，j ， ? i=1，2，…，c; j=1，2，…，m] （8）

式中，[α]和[β]要滿足約束條件[α+β=1]。

2.3 ?稀疏表示系數(shù)求解

本文的稀疏表示系數(shù)的求解算法采用的是正交匹配追蹤算法[11]。因?yàn)檎黄ヅ渥粉櫵惴ㄊ諗克俣容^快、對目標(biāo)向量的分解較為稀疏。

在獲得人臉、人耳特征融合后的訓(xùn)練樣本矩陣D，測試樣本對應(yīng)的人臉、人耳特征融合后的向量為z，由正交匹配追蹤算法可求得測試向量z在訓(xùn)練樣本構(gòu)成的字典矩陣D上的稀疏表示系數(shù)[x]，[x]為[n （n=c×m）]維空間中的向量，稀疏表示系數(shù)[x]要滿足條件[Dx-z22≤φ]，其中，[φ]為迭代閾值范圍。

2.4 ?分類識別

本文最終的分類識別算法是通過最小殘差法[12]分類得到。設(shè)[xi（i=1，2，…，m）∈Rn]為稀疏表示系數(shù)[x]中第i個(gè)類別對應(yīng)的系數(shù)，其余類別對應(yīng)的系數(shù)全為0。故通過稀疏系數(shù)[xi]可得到由第i類別訓(xùn)練樣本重構(gòu)的測試樣本，[zi=Dxi]，其中[zi]為第i類別訓(xùn)練樣本重構(gòu)的測試樣本向量。第i類別訓(xùn)練樣本的重構(gòu)殘差為[ri=zi-z22]，其中重構(gòu)殘差最小的類別即為測試樣本所在的類別，故可以判定測試樣本z所在的類別為：[identity（z）=mini=1，2，…，cri]。

綜上所述，基于核稀疏表示的人臉人耳多模識別算法過程具體如下：

1） 輸入：分別包含c個(gè)類別的人臉訓(xùn)練樣本矩陣[Af=[Af1，Af2，…，Afc]]和人耳訓(xùn)練樣本矩陣[Ae=[Ae1，Ae2，…，Aec]]，其中[Ai=[ai，1，ai，2，…，ai，m] （i=1，2，…，c）]代表第i個(gè)類別的m個(gè)測試樣本，人臉測試樣本為[yf]，人耳測試樣本為[ye]，核函數(shù)為[K（x，y）=（1+xTy）]。

2） 對人臉人耳字典樣本矩陣分別進(jìn)行PCA特征提取，[Df=（Pf）TAf]，[De=（Pe）TAe]，其中[Pf，Pe]分別為人臉人耳的投影觀測矩陣。然后，對人臉人耳測試樣本進(jìn)行PCA特征提取，[zf=（Pf）Tyf]，[ze=（Pe）Tye]。

3） 將經(jīng)過特征提取后的訓(xùn)練樣本矩陣和測試樣本向量分別進(jìn)行歸一化處理，用向量[dfi，j]來代表人臉訓(xùn)練樣本中第i個(gè)類別的第j個(gè)向量，則[dfi，j=（dfi，j-μf）σf]，其中[μf]為[Df]中所有列向量的均值向量，[σf]為[Df]中所有列向量的方差向量。同理，用相同方法對經(jīng)過核映射后的人耳訓(xùn)練矩陣進(jìn)行歸一化處理，[dei，j=（dei，j-μe）σe]。然后，對特征提取后的測試向量進(jìn)行歸一化處理：[zf=（zf-μf）σf]，[ze=（ze-μe）σe]。

4） 將經(jīng)過核映射后的人臉人耳訓(xùn)練樣本對應(yīng)的特征向量矩陣進(jìn)行加權(quán)融合，[di，j=αdfi，jβdei，j ，（i=1，2，…，c;j=1，2，…，m）]，同時(shí)，將人臉人耳測試樣本核向量進(jìn)行融合，[z=αzfβze]。

5） 根據(jù)式（6）分別計(jì)算訓(xùn)練樣本核映射矩陣[H=（D）TD]，其中，[H]表示核映射后的人臉人耳融合樣本矩陣。然后根據(jù)式（7）計(jì)算測試樣本向量的核映射向量[u=（D）Tφ（z）]。

6） 用正交匹配追蹤OMP算法求解測試樣本向量[u]在字典樣本矩陣[H]中的稀疏表示系數(shù)[x]，即用OMP算法求解最小化問題[argminx1，s.t. Hx-u22≤φ]，其中[φ]為允許最小的迭代誤差。

7）計(jì)算每個(gè)類別的重構(gòu)殘差[ri=Hxi-u22，i=1，2，…，c]，其中向量[xi]表示第i個(gè)類別的稀疏表示系數(shù)，其他類別的稀疏表示系數(shù)為0。

8） 輸出[identity（u）=mini=1，2，…，cri]。

3 ?實(shí)驗(yàn)仿真及分析

本文選用的人臉數(shù)據(jù)庫是英國劍橋大學(xué)拍攝制作的ORL標(biāo)準(zhǔn)人臉庫。圖1為ORL人臉庫中的每個(gè)類別對象具有豐富的拍攝角度變化、拍攝時(shí)間變化、人臉表情變化及不同的臉部細(xì)節(jié)。

本文選用的人耳數(shù)據(jù)庫總共采集30個(gè)人的人耳圖像，其中每個(gè)人包含11張不同的人耳圖像，人耳數(shù)據(jù)庫總共圖片數(shù)為330張。因?yàn)槿硕锾卣骶哂袆傂蕴攸c(diǎn)，人耳圖片不會因表情或姿態(tài)變化而有所不同，拍攝的人耳庫主要包含光照和拍攝角度變化，其中拍攝角度主要包含正面、左面、右面、上面和下面，其角度變化在[5°～15°]范圍內(nèi)。圖2展示了人耳庫中部分類別的人耳圖像。

在具體實(shí)驗(yàn)時(shí)，取ORL人臉庫中的前30個(gè)類別的人臉圖像與人耳庫中的30個(gè)類別的人耳圖像進(jìn)行搭配實(shí)驗(yàn)。其中，每個(gè)類別的人臉和人耳圖像各選取10張進(jìn)行實(shí)驗(yàn)。

3.1 ?人臉人耳特征融合權(quán)重系數(shù)對識別率的影響

為了確定最佳的人臉人耳特征融合權(quán)重系數(shù)[α，β]，充分利用不同模態(tài)生物特征的辨識能力。本文進(jìn)行實(shí)驗(yàn)來尋求最佳權(quán)重系數(shù)[α，β]，將權(quán)重系數(shù)[α]從0.1開始以0.1為步長逐步調(diào)整到0.9，對應(yīng)的權(quán)重系數(shù)[β=1-α]，統(tǒng)計(jì)每次權(quán)重系數(shù)對應(yīng)的識別率。統(tǒng)計(jì)結(jié)果如圖3所示。

從圖3可以看出，隨著權(quán)重系數(shù)[α]的增大識別率先增后減，當(dāng)權(quán)重系數(shù)[α]為0.3時(shí)，識別率達(dá)到最大值，此時(shí)對應(yīng)的權(quán)重系數(shù)[β]為0.7。從權(quán)重系數(shù)可以看出，人耳生物特征對最終識別結(jié)果的影響更大，究其原因，本文實(shí)驗(yàn)用的人臉數(shù)據(jù)庫光照、表情和姿態(tài)變化更加豐富，而人耳數(shù)據(jù)庫相對人臉數(shù)據(jù)庫來說變化較弱，故人耳生物特征對識別結(jié)果具有更大的貢獻(xiàn)。因此，在本文的算法中，權(quán)重系數(shù)[α]定為0.3，權(quán)重系數(shù)[β]定為0.7。需要注意的是，此系數(shù)不是一成不變的，在實(shí)際應(yīng)用中，權(quán)重系數(shù)應(yīng)根據(jù)應(yīng)用環(huán)境和背景訓(xùn)練產(chǎn)生。

3.2 ?基于核稀疏表示的人臉人耳融合識別與人臉人耳單模識別的比較

實(shí)驗(yàn)中分別將人臉和人耳數(shù)據(jù)庫中每個(gè)類別的 7張圖像用作訓(xùn)練樣本，其余3張用作測試樣本。在實(shí)驗(yàn)前首先對人臉人耳圖像進(jìn)行預(yù)處理，人臉圖像都統(tǒng)一處理成為100×100像素大小的圖像，人耳圖像都統(tǒng)一處理成為100×70像素大小的圖像，用PCA進(jìn)行特征提取后，人臉圖像和人耳圖像分別降為64維，42維特征向量。本文分別在單模生物識別和本文算法識別上進(jìn)行了實(shí)驗(yàn)。其識別結(jié)果如表1所示。

從表1中可以看出，本文提出的算法識別率要明顯高于人臉或人耳單模生物識別的識別率，這充分說明了多模生物識別技術(shù)比單模生物識別技術(shù)在識別性能上表現(xiàn)更優(yōu)。

3.3 ?MKSRC算法與其他人臉人耳融合識別算法對比

從表2可以看出，相比于文獻(xiàn)[6]提出的PLR人臉人耳融合識別算法，本文提出的基于核稀疏表示的人臉人耳識別算法在識別性能上表現(xiàn)更優(yōu)。即使實(shí)驗(yàn)用的數(shù)據(jù)庫包含豐富的光照、表情、姿態(tài)及拍攝角度變化，本文的算法仍能取得比較滿意的識別率，很好地解決了訓(xùn)練樣本與測試樣本的非線性可分問題。該算法對光照及表情變化等表現(xiàn)出了較強(qiáng)的魯棒性。

4 ?結(jié) ?語

本文將核稀疏表示理論應(yīng)用于人臉人耳多模融合識別的研究中，提出基于核稀疏表示的人臉人耳融合識別算法。與單模人臉人耳融合識別算法相比，所提算法識別率大大提高，同時(shí)與文獻(xiàn)[6]提出的PLR識別算法相比，該算法不僅解決了基于稀疏表示的人臉人耳融合識別中的非線性可分問題，對人臉人耳圖像光照變化、表情變化、拍攝角度變化等識別表現(xiàn)出了更強(qiáng)的魯棒性。

參考文獻(xiàn)

[1] SCHEIRER W J， WILBER M J， ECKMANN M， et al. Good recognition is non?metric [J]. Pattern recognition， 2015， 47（8）： 2721?2731.

[2] 崔言偉.基于人耳和側(cè)面人臉的身份識別[D].北京：北方工業(yè)大學(xué)，2013.

CUI Yanwei. Human identification based on the ear and profile face [D]. Beijing： North China University of Technology， 2013.

[3] 李懿，劉曉東.一種新的模糊稀疏表示人臉識別算法[J].大連理工大學(xué)學(xué)報(bào)，2017，57（2）：189?194.

LI YI， LIU Xiaodong. A new fuzzy sparse representation algorithm for face recognition [J]. Journal of Dalian University of Technology， 2017， 57（2）： 189?194.

[4] 田瑩，張德斌，馬浩迪.一種稀疏表示的多姿態(tài)人耳識別方法[J].系統(tǒng)仿真學(xué)報(bào)，2014，26（9）：2126?2129.

TIAN Ying， ZHANG Debin， MA Haodi. Muli?pose ear recognition using sparse [J]. Journal of system simulation， 2014， 26（9）： 2126?2129.

[5] 袁立，李文明，穆志純.人臉人耳多模態(tài)生物特征模板保護(hù)方法研究[J].儀器儀表學(xué)報(bào)，2012，33（12）：2767?2773.

YUAN Li， LI Wenming， MU Zhichun. Face and ear multimodal biometric template protection [J]. Chinese journal of scientific instrument， 2012， 33（12）： 2767?2773.

[6] AMIRTHALINGAM G. Face and ear biometric recognition using PCA and LLE algorithm [J]. International journal of information science and intelligent system， 2014， 3（2）： 47?54.

[7] YANG M， ZHANG L. Gabor feature based sparse representation for face recognition with Gabor occlusion dictionary [C]// Proceedings of 11th European Conference on Computer Vision. Berlin： Springer， 2010： 448?461.

[8] BENGIO Y， DELALLEAU O， ROUX N L， et al. Learning eigenfunctions links spectral embedding and kernel PCA [J]. Neural computation， 2014， 16（10）： 2197?2219.

[9] 王科俊，閻濤，呂卓紋.基于耦合度量學(xué)習(xí)的特征級融合方法及在步態(tài)識別中的應(yīng)用[J].東南大學(xué)學(xué)報(bào)（自然科學(xué)版），2013，43（z1）：7?11.

WANG Kejun， YAN Tao， L? Zhuowen. Feature level fusion method based on the coupled metric learning and its application in gait recognition [J]. Journal of Southeast University （Natural science edition）， 2013， 43（S1）： 7?11.

[10] ZHANG B， YANG H， YIN Z. A region?based normalized cross correlation algorithm for the vision?based positioning of elongated IC chips [J]. IEEE transactions on semiconductor manufacturing， 2015， 28（3）： 345?352.

[11] 孫子璇，易榮華.基于小波變換的正交匹配追蹤算法及其應(yīng)用[J].計(jì)算機(jī)科學(xué)，2012，39（z3）：273?275.

SUN Zixuan， YI Ronghua. wavelet transform?based orthorgonal matching pursuit algorithm and its application [J]. Computer science， 2012， 39（S3）： 273?275.

[12] SARMADI H， KARAMODIN A， ENTEZAMI A. A new iterative model updating technique based on least squares minimal residual method using measured modal data [J]. Applied mathematical modelling， 2016， 40（23）： 10323?10341.