国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

臉耳多模態(tài)稀疏表示融合識別方法比較

2016-09-23 10:20:56黃增喜李明欣
關鍵詞:訓練樣本人臉模態(tài)

黃增喜,于 春,李明欣

(1.西華大學計算機與軟件工程學院,四川 成都 610039;2.成都航空職業(yè)技術學院計算機工程系,四川 成都 610100)

?

·計算機軟件理論、技術與應用·

臉耳多模態(tài)稀疏表示融合識別方法比較

黃增喜1,于春1,李明欣2

(1.西華大學計算機與軟件工程學院,四川 成都610039;2.成都航空職業(yè)技術學院計算機工程系,四川 成都610100)

將稀疏表示應用于臉耳多模態(tài)身份辨識,比較和分析采用不同融合方法的多模態(tài)稀疏表示識別算法的準確性和魯棒性,為多模態(tài)稀疏表示融合識別算法設計提供理論和方法指導。結合多模態(tài)融合層次理論與稀疏表示分類的技術特點,提出3種多模態(tài)稀疏表示識別方法:直接特征融合法、間接特征融合法和匹配層融合法。從多模態(tài)融合角度看,3種方法的不同在于融合層次或融合策略不同;從稀疏表示角度看,它們的主要區(qū)別在于稀疏表示時臉和耳特征耦合的程度不同。在3個多模態(tài)數(shù)據(jù)庫上的實驗結果表明:所提3種方法在識別準確率和魯棒性上遠優(yōu)于采用NN、NFL和SVM等分類器的融合識別方法;當臉耳圖像中噪聲不顯著時,3種方法性能相當,當噪聲嚴重時,匹配層融合識別方法優(yōu)于特征層融合方法。

多模態(tài)識別; 稀疏表示; 人臉識別; 人耳識別

在眾多生物特征識別技術中,人臉識別因其獨特的應用優(yōu)勢而被視為最具發(fā)展前景的生物特征識別技術之一[1-3]。人臉識別使用非接觸式數(shù)據(jù)采集,無需特殊裝置,成本低,與指紋、虹膜識別等相比更易被用戶接受。其識別更符合人類“以貌識人”的視覺習慣,識別距離較遠,可隱蔽操作,操作簡單,結果直觀,尤其適用于安防、罪犯檢測與監(jiān)控、工業(yè)生產(chǎn)和家庭娛樂等領域。現(xiàn)有的人臉識別系統(tǒng)在用戶配合、采集條件較理想的情況下可以取得很好的識別結果;但由于人臉特征易受光照、表情、化妝、姿態(tài)和飾物遮擋等影響,因此,在采集條件不理想、用戶配合程度低的情況下,人臉識別準確性仍難以讓人滿意。

人耳識別是利用人耳3D結構中包含的豐富鑒別信息進行身份識別。人耳識別使用普通圖像采集設備,也具有非接觸、可識別距離較遠的優(yōu)勢,因此,人耳識別具有與人臉識別相似的應用特點。另一方面與人臉識別相比,人耳識別幾乎不受表情、化妝、胡須和年齡等變化的影響。人臉識別和人耳識別有非常好的兼容性,很多特征提取和模式分類方法同時適用于兩者;因此,融合人臉和人耳特征進行多模態(tài)身份識別是可行的,有望提高生物特征識別的準確性和可靠性[4-5]。

盡管如此,在諸如視頻監(jiān)控等需要遠距離身份識別的應用場合中,由于難以得到用戶的配合,系統(tǒng)采集到的人臉和人耳圖像常受到光照、表情、頭發(fā)或飾物遮擋,以及拍攝角度等因素的影響,因此其質(zhì)量不高。如何提高多模態(tài)識別魯棒性是一個亟待解決的問題。

近年來,稀疏表示分類方法被廣泛應用于各種類型的目標識別中,具有識別精度高、魯棒性強的優(yōu)勢[4-5],但其在多模態(tài)生物特征識別[6-7]上的應用和研究尚不多見。鑒于此,本文將稀疏表示應用于臉耳多模態(tài)身份辨識,比較和分析采用不同層次融合方法的多模態(tài)稀疏表示識別算法,探索多模態(tài)稀疏表示識別性能,以及稀疏表示識別框架下融合層次與識別性能之間的規(guī)律。首先,結合多模態(tài)融合層次理論與稀疏表示分類的技術特點,提出3種多模態(tài)稀疏表示識別方法;然后,以常用的臉、耳圖像庫構建臉耳多模態(tài)數(shù)據(jù)庫,對3種方法進行測試和分析;最后,總結稀疏表示識別框架下融合層次與識別性能之間的一般規(guī)律,為多模態(tài)稀疏表示融合識別算法設計提供理論和方法指導。

1 稀疏表示分類

稀疏表示的基本思想是在超完備字典中尋找盡可能少的字典基原子,使它們的線性組合能夠精確描述原信號,簡言之就是要使稀疏表示向量中非零元素盡可能的少。Wright等[4]首次提出基于稀疏表示的分類方法(sparse representation-based classification,SRC),并成功應用于人臉識別。該方法使用每個類的訓練樣本(可以是原始數(shù)據(jù)或特征)構建超完備字典,將待識別樣本描述成少數(shù)訓練樣本的線性組合,當每一類的訓練樣本“足夠充分”時,待識別樣本在字典上的稀疏表示只和其所屬類的訓練樣本有關,最后根據(jù)每一類的獨立稀疏重構誤差(ndividual sparse reconstruction error,ISRE)進行分類。圖1描述了稀疏表示分類過程。

假設有c類訓練樣本,每類的訓練樣本數(shù)為m,訓練樣本為N維的列向量,那么第i類訓練樣本子集可表示為Ai=[ai,1,ai,2,…,ai,m]。將所有類訓練樣本組合構成的超完備訓練字典A=[A1,A2,…,Ac]∈RN×mc(N?mc)。令y為待識別樣本,那么SRC的分類識別過程可分為如下3步。

1)使用字典A對待識別樣本y進行稀疏表示,即要求解式(1)所示的L1范數(shù)優(yōu)化問題。

(1)

(2)

圖1 基于SRC人臉識別過程

2 臉耳多模態(tài)稀疏表示識別

根據(jù)融合的信息類型,多模態(tài)生物特征融合方法通??煞譃?類:數(shù)據(jù)層融合、特征層融合、匹配層融合和決策層融合。數(shù)據(jù)層融合和特征層融合屬于匹配前融合;匹配層融合和決策層融合屬于匹配后融合。從可用信息的角度看,數(shù)據(jù)層融合能利用的信息最豐富,特征層融合次之,決策層最少。數(shù)據(jù)層信息包含噪聲、冗余信息,且維數(shù)高;決策層雖簡單,但可融合信息少:因此,數(shù)據(jù)層和決策層融合方法最不常用。匹配層融合法融合不同生物特征的匹配分數(shù),算法簡單,可靠性高,最常用于多模態(tài)識別。特征層融合法在減少冗余信息、降低融合數(shù)據(jù)維數(shù)的同時,能夠保留更多的生物特征信息,因此,在當前匹配層融合法潛能已得到充分挖掘的情況下,特征層融合識別成為多模態(tài)生物特征融合識別探索的主要方向。

與多數(shù)傳統(tǒng)分類方法不同,稀疏表示分類在每一次分類識別過程中都需要求解稀疏優(yōu)化問題,計算復雜度較高。稀疏優(yōu)化計算的復雜度與樣本維數(shù)和字典中訓練樣本的規(guī)模相關。鑒于數(shù)據(jù)層具有生物特征維數(shù)高且包含噪聲、冗余信息等缺陷,本文在多模態(tài)識別中,在維數(shù)較低的特征空間運用稀疏表示技術,進而根據(jù)稀疏表示結果對多模態(tài)樣本進行分類。

本文選擇主成分分析法(principalcomponentanalysis,PCA)作為人臉和人耳特征提取方法,是基于以下考慮: 1)本文主要關注稀疏表示分類框架下人臉與人耳的特征融合及分類識別問題; 2)稀疏表示分類方法計算復雜度較高,特征提取方法宜盡可能簡單快速; 3)在稀疏表示分類框架下,相對于特征維數(shù)、訓練樣本分布和稀疏優(yōu)化方法,不同的全局特征提取方法對識別性能的影響不大[4]。與其他特征提取方法相比,PCA方法更具有代表性,基于它的多模態(tài)識別研究更具說服力和可推廣性。

2.1直接特征融合法

在采用直接特征融合法的多模態(tài)稀疏表示識別(multimodal SRC with explicit feature fusion,MSRCef)中,首先融合人臉和人耳特征得到唯一的多模態(tài)特征向量,然后使用多模態(tài)超完備字典對該向量進行稀疏表示,最后根據(jù)多模態(tài)稀疏表示誤差進行分類識別。MSRCef的系統(tǒng)框圖如圖2所示。

圖2 MSRCef系統(tǒng)框圖

常用的特征層融合方法有: 1)串行級聯(lián),將不同模態(tài)特征首尾相連串聯(lián)成新的特征向量;2)并行融合,利用復向量將2組特征向量進行并聯(lián)表示, 將特征空間從實向量空間擴展到復向量空間; 3)相關性分析法,使用CCA等相關性分析法提取不同模態(tài)生物特征間的相關特征。并行融合法只能融合2類生物特征。在進行多模態(tài)識別時,當用戶的某一種生物特征缺失或無法獲取時,相關性分析法可能會無效。相比于后2種方法,串行級聯(lián)更簡單靈活,更具推廣性,因此,在MSRCef中采用串行級聯(lián)方式融合人臉和人耳PCA特征。待識別樣本的多模態(tài)特征可表示為z=[zf;ze],多模態(tài)超完備特征字典為D=[Df;De]。

在MSRCef中,須求解的多模態(tài)稀疏表示問題可表示為

(3)

分類規(guī)則與單模態(tài)SRC類似,

(4)

2.2間接特征融合法

間接特征融合法并不直接融合不同類型生物特征,而是將臉和耳特征作為聯(lián)合稀疏表示模塊的輸入,在聯(lián)合稀疏表示過程中二者將相互影響和促進,最后得到各自的稀疏表示結果。本文將這種多模態(tài)稀疏表示識別方法簡記為MSRCif(multimodal SRC with implicit feature fusion),其系統(tǒng)框圖如圖3所示。MSRCif對人臉特征zf和人耳特征ze進行聯(lián)合稀疏表示,根據(jù)每類的多模態(tài)重構誤差進行分類識別。

圖3 MSRCif系統(tǒng)框圖

(5)

MSRCif的多模態(tài)分類規(guī)則可描述為

(6)

2.3匹配層融合法

SRC將每一類得到的獨立稀疏重構誤差(ISRE)看成是待識別樣本與訓練樣本類間的距離度量,某一類的ISRE越小,表示樣本與該類越相似。在基于匹配層融合的多模態(tài)稀疏表示識別方法(multimodal SRC at score level,MSRCs)中,將ISRE作為生物特征匹配分數(shù),分別對人臉特征和人耳特征進行稀疏表示并在獲取2種生物特征的ISRE后,使用Sum-rule融合得到多模態(tài)ISRE匹配分數(shù)。MSRCs是一個典型的多模態(tài)匹配層融合方法,其系統(tǒng)框圖如圖4所示。MSRCs中的人臉和人耳特征稀疏表示問題描述如下:

(7)

(8)

MSRCs與MSRCif的多模態(tài)分類規(guī)則一致。

圖4 MSRCs系統(tǒng)框圖

3 臉耳多模態(tài)數(shù)據(jù)庫

臉耳多模態(tài)生物特征識別是一種新興的生物特征識別研究分支。目前,主要通過將不同人臉庫和人耳庫中的對象進行隨機配對以獲得同時含有臉和耳圖像的虛擬人,構成虛擬臉耳多模態(tài)數(shù)據(jù)庫。稀疏表示分類理論是建立在待識別樣本要落在超完備字典所有基原子所張成子空間的假設之上,因此通常要求每個對象(或類)的訓練樣本“足夠充分”。例如在文獻[4,8]中的稀疏表示分類方法在AR[9]和YaleB[10]人臉庫上分別使用每個對象的7幅和32幅人臉圖像作為訓練樣本。本文選用北京科技大學人耳實驗室的人耳圖像庫USTBⅢ[11]。該人耳庫有79個對象,每個對象有20幅人耳圖像。20幅人耳圖像的差異主要是拍攝角度不同,帶有紅色矩形框標識的7幅人耳作為訓練樣本,其余13幅作為測試樣本,如圖5 (d) 所示。人臉庫選用YaleB、GeorgiaTech(GT,含50人)[12]和AR(前79人)人臉庫,圖5給出了各人臉庫的圖像示例,其中(a)為YaleB(子集1、2、3、4、5),(b)為GT,(c)為AR的第1期、第2期,(d)為USTBIII的頭部向左和向右轉。本文將所有人臉和人耳圖像規(guī)范化到50×40像素。

圖5 人臉和人耳圖像示例

分別將YaleB、GT和AR人臉庫與USTBIII人耳庫結合,構建出3個虛擬多模態(tài)數(shù)據(jù)庫,分別命名為multimodaldatabaseI、II和III(簡稱為MDI、II、和III)。其中,MDI和MDII分別使用USTBIII人耳庫的前38和50個對象。對于每個虛擬對象,將7個人臉訓練樣本與7個人耳訓練樣本進行一一配對,獲得7個多模態(tài)訓練樣本。為獲得更多多模態(tài)測試樣本,將每一個人臉測試樣本跟所有人耳測試樣本進行配對。比如在MDII中,每個虛擬對象有8個人臉測試樣本和13個人耳測試樣本,則每個虛擬對象可得到8×13=105個多模態(tài)測試樣本。表1給出了這3個虛擬多模態(tài)數(shù)據(jù)庫的詳細構成,及相應的人臉庫和人耳庫信息。每個多模態(tài)庫中,構成多模態(tài)訓練樣本的人臉和人耳圖像在單模態(tài)實驗中也將作為訓練樣本,測試樣本也是如此。

4 測試與分析

本文中MSRCif采用文獻[13]中的MTJSRC方法求解式(4)的聯(lián)合稀疏表示問題,其他L1范數(shù)優(yōu)化問題均采用l1-ls算法[14]來求解。在實驗中,MDI的測試集僅包含子集1、2和3,相應地,單模態(tài)識別實驗中YaleB人臉庫測試集只包含子集2、3和4。MDI、II和III上的人臉和人耳PCA特征向量維數(shù)分別為120、150和200。

為說明所提3種多模態(tài)稀疏表示識別方法的有效性,首先給出單模態(tài)實驗結果作為比較依據(jù)。在單模態(tài)實驗中,將SRC和最近鄰法(NN)、最近特征線法(NFL)、支持向量機(SVM)(使用核函數(shù):

表1 臉耳多模態(tài)數(shù)據(jù)庫MD I、II和 III的組成

表2 MD I、II和 III上的單模態(tài)識別準確率 %

K(x,x′)=(0.05〈x,x′〉+1)3)進行比較。接著,在多模態(tài)實驗中,將所提MSRCef、MSRCif、MSRCs與這些分類方法的多模態(tài)擴展MNN(MultimodalNN)、MNFL(MultimodalNFL)、和MSVM(MultimodalSVM)進行比較。MNN、MNFL和MSVM都采用串行級聯(lián)的特征融合方法。本文實驗使用的計算機配置為英特爾奔騰系列2.8GHz雙核處理器、4GRAM,所有方法均在Matlab2010b平臺上進行測試。

4.1單模態(tài)識別

首先給出人臉與人耳單模態(tài)識別方法的實驗結果,作為多模態(tài)識別性能的參考。這些方法包括SRC、NN、NFL、和SVM。從表2中,可以看到,在所有人臉和人耳庫上SRC的識別率都遠高于其他方法,說明SRC分類方法具有更優(yōu)異的分類判別能力。

4.2多模態(tài)識別

多模態(tài)識別實驗包括2部分:常規(guī)測試(測試樣本無明顯噪聲);遮擋測試(人臉受到太陽鏡或圍巾遮擋)。

1)常規(guī)測試。

常規(guī)測試中MD I的測試集包括測試子集1、2和3,總共1萬8 772個多模態(tài)測試樣本,MD III的測試集為測試子集1,含有7 189個樣本。從圖5中可看到所有多模態(tài)測試樣本中的人臉與人耳圖像無嚴重污染的情況,但均受一定程度的光照、角度或面部表情變化的影響,這與實際應用環(huán)境中生物特征圖像采集情況頗為相似,具有一定的識別難度。

表3列出了所有比較方法在3個多模態(tài)數(shù)據(jù)庫上的實驗結果??傮w上,基于稀疏表示分類的方法識別精度遠高于其他方法。在MD I上,MSRCs得到最高識別率,為97.001%,MSRCif與MSRCs相當。與此二者相比,MSRCef劣勢顯著,但其對于大多數(shù)傳統(tǒng)方法的優(yōu)勢仍然十分明顯,如識別率比MNN提高了約20%。在MD II和MD III上,MSRCif和MSRCs分別獲得最高識別率。盡管如此,3種多模態(tài)稀疏表示識別方法之間的識別性能差異非常微小。在MD II中,它們的識別率均比MNN的高約12%,比傳統(tǒng)方法中表現(xiàn)最好的MSVM也要高出7%。以上實驗結果充分說明了本文所提多模態(tài)稀疏表示融合識別方法的識別準確性較高。

表3 常規(guī)測試中的多模態(tài)識別準確率 %

表4 多模態(tài)與單模態(tài)識別準確率比較 %

表5 人臉遮擋條件下的多模態(tài)識別準確率 %

為探索多模態(tài)融合的作用,對采用相同分類方法的多模態(tài)和人臉人耳單模態(tài)方法進行比較,得到如表4所示結果。結果為負數(shù)說明該多模態(tài)方法識別準確性差于使用相同分類方法的最好單模態(tài)識別(人臉識別或人耳識別),或者說多模態(tài)識別比單模態(tài)識別差。比如在MD I中,MNN的識別率為72.059 %,而基于NN的最好單模態(tài)識別結果為人耳識別的81.846 %;因此MNN的比較結果為72.059 %-81.846 %=-9.787 %,明顯差于人耳識別。

表4的結果表明:相較于單模態(tài)識別,大多數(shù)多模態(tài)融合方法,尤其是基于稀疏表示分類的方法能夠顯著提高識別精度;但是,MNN、MNFL和MSVM等多模態(tài)融合識別方法在不少情況下并未能提高識別準確性,這說明這些傳統(tǒng)方法在無顯著噪聲影響下未必優(yōu)于單模態(tài)識別。

2)遮擋測試。

MDIII的測試子集2中,人臉受到黑色太陽鏡的遮擋。雖然受遮擋像素只有約20 %,但是受遮擋的卻是包含人臉判別信息最豐富的眼睛區(qū)域。測試子集3中,人臉圖像被圍巾遮擋的像素比例約為30 %。表5給出多模態(tài)識別方法在這2個測試集上的識別結果。在子集2上,MSRCs得到最高的識別率,為93.411 %,其次為MSRCif的89.776 %。在子集3上,MSRCs依然顯著好于其他方法,獲得96.284%,比排第二的MSRCif提高了約3 %,而傳統(tǒng)方法中表現(xiàn)最好的MSVM僅得到59.964 %的識別結果。

在2個子集的測試中,除了MSVM在子集2上能夠利用被遮擋人臉的判別信息而獲得略高于單獨使用人耳圖像進行識別的結果,其他所有基于傳統(tǒng)分類方法的多模態(tài)識別均比人耳單模態(tài)識別差。與此形成鮮明對比,多模態(tài)稀疏表示識別方法魯棒性更好,MSRCs和MSRCif在2個子集上均顯著優(yōu)于基于SRC的單模態(tài)人耳識別。這說明此2種方法不但能較好地降低人臉圖像中太陽鏡和圍巾遮擋帶來的不利影響,還能在一定程度上利用人臉圖像中未受遮擋部分的有利判別信息。

從上述實驗中,可以看到在常規(guī)測試中MSRCef、MSRCif 和MSRCs的性能非常接近,但在人臉遮擋實驗中MSRCef明顯差于后2種方法,MSRCs最優(yōu)。通過本文實驗發(fā)現(xiàn):在稀疏表示分類框架下,當人臉和人耳圖像無顯著噪聲影響時,特征層融合方法和匹配層融合方法的識別精度相當;當噪聲較大時,匹配層融合法要優(yōu)于特征層融合法。

5 結論

本文結合多模態(tài)融合層次理論與稀疏表示分類的技術特點,提出3種臉耳多模態(tài)稀疏表示識別方法。從多模態(tài)融合的角度上看,3種方法的不同在于融合層次或融合策略不同;而從稀疏表示的角度上看,3種方法的主要區(qū)別在于稀疏表示時臉和耳特征耦合的程度不同。為檢驗和探索多模態(tài)稀疏表示識別的性能,及稀疏表示識別框架下融合層次與識別性能間的一般規(guī)律,以常用臉、耳圖像庫構建臉耳多模態(tài)數(shù)據(jù)庫,進行實驗,其結果表明,基于稀疏表示分類的人臉與人耳多模態(tài)融合識別方法在識別準確性和魯棒性上都遠優(yōu)于如MSVM、MNN和MNFL等常見融合識別方法。在多模態(tài)稀疏表示識別方法中,當臉、耳圖像中噪聲較低時,3類方法的識別性能相當,當噪聲嚴重時,匹配層融合識別方法顯著優(yōu)于特征層融合方法;因此,采用

弱耦合多模態(tài)稀疏表示可提高多模態(tài)識別的魯棒性。同時,實驗結果還發(fā)現(xiàn),在噪聲影響下,多模態(tài)融合識別并不一定優(yōu)于單模態(tài)識別,進一步的工作是研究如何提高多模態(tài)識別的自適應融合能力以擺脫這種窘境。

[1]Jain A K, Li S Z. Handbook of Face Recognition[M]. New York: Springer, 2005.

[2]楊軍, 劉妍麗. 基于圖像的單樣本人臉識別研究進展[J]. 西華大學學報(自然科學版), 2014, 33(4):1.

[3]趙成芳, 李兆延. 基于縮放因子的人臉直方圖特征距離度量方法[J]. 西華大學學報(自然科學版), 2013,32(5):8.

[4]Wright J, Yang A Y, Ganesh A, et al. Robust Face Recognition via Sparse Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210.

[5]夏凌, 李光瑞. 基于壓縮感知和圖像分塊的遮擋人臉識別[J]. 西華大學學報(自然科學版), 2015, 34(3):13.

[6]Huang Z, Liu Y, Li C,et al. A Robust Face and Ear based Multimodal Biometric System using Sparse Representation[J]. Pattern Recognition, 2013, 46(8): 2156.

[7]Huang Z, Liu Y, Huang R,et al. Frameworks for Multimodal Biometric using Sparse Coding[J]. Lecture Notes in Computer Science, 2013, 7751: 433.

[8]Yang M, Zhang D, Yang J. Robust Sparse Coding for Face Recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI:IEEE, 2011: 625-632.

[9]Martinez A M. The AR Face Database[J]. CVC Technical Report, 1998,6: 24.

[10]Lee K C, Ho J,Kriegman D. Acquiring Linear Subspaces for Face Recognition under Variable Lighting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5): 684.

[11]北京科技大學人耳識別實驗室.開放式人耳圖像庫[EB/OL].[2016-01-02].http://www1.ustb.edu.cn/resb/.

[12]Georgia Tech Face Database[EB/OL].[2016-01-02].http://www.anefian.com/research/face_reco.

[13]Yuan X T, Liu X, Yan S. Visual Classification with Multitask Joint Sparse Representation[J]. IEEE Transactions on Image Processing, 2012, 21(10): 4349.

[14]Koh K, Kim S J, Boyd S. An Interior-Point Method for Large-Scale1-Regularized Logistic Regression[J]. Journal of Machine Learning Research, 2007, 1(4): 606.

(編校:饒莉)

Comparison of Face and Ear Based on Multimodal Biometric Identification with Sparse Representation

HUANG Zengxi1, YU Chun1, LI Mingxin2

(1.SchoolofComputerandSoftwareEngineering,XihuaUniversity,Chengdu610039China;2.DepartmentofComputerEngineering,ChengduAeronauticPolytechnic,Chengdu610100China)

This paper proposes to employ sparse representation (SR) in multimodal biometric identification of face and ear, and focuses on performance comparison among the presented approaches with different fusion schemes seeking to find guideline for designing mulitimodal biometric recognition systems with sparse representation. In this paper, three multimodal methods are introduced based on the hierarchical multimodal fusion theory and SR’s operating mechanism. These methods are MSRCef (multimodal SRC with explicit feature fusion), MSRCif (multimodal SRC with implicit feature fusion), and MSRCs (multimodal SRC at score level). From the viewpoint of multimodal fusion, they adopt different fusion strategies, on the other hand, their major difference lies on the constraint imposed on the sparse representation of face and ear features. Experimental results on three multimodal databases demonstrate that all the three proposed multimodal approaches perform significantly better than those using NN, NFL, SVM, etc. Besides, the proposed multimodal methods are generally comparable, however the method with score level fusion scheme is obviously superior to the others with feature level fusion when the face and/or ear images confront heavy corruption.

multimodal biometric; sparse representation; face recognition; ear recognition

2016-05-08

西華大學校自然科學重點基金項目(zl422618);國家自然科學基金項目(61271413, 61472329、 61532009); 教育部春暉計劃項目(Z2015101); 四川省教育廳項目(15ZB0130);西華大學計算機與軟件工程學院杰出青年學者培育項目。

黃增喜(1985—),男,講師,博士,主要研究方向為圖像處理與模式識別。E-mail:luomu117@sina.com

TP391.41

A

1673-159X(2016)04-0017-6

10.3969/j.issn.1673-159X.2016.04.004

猜你喜歡
訓練樣本人臉模態(tài)
有特點的人臉
人工智能
三國漫——人臉解鎖
動漫星空(2018年9期)2018-10-26 01:17:14
寬帶光譜成像系統(tǒng)最優(yōu)訓練樣本選擇方法研究
融合原始樣本和虛擬樣本的人臉識別算法
電視技術(2016年9期)2016-10-17 09:13:41
基于稀疏重構的機載雷達訓練樣本挑選方法
國內(nèi)多模態(tài)教學研究回顧與展望
基于HHT和Prony算法的電力系統(tǒng)低頻振蕩模態(tài)識別
馬面部與人臉相似度驚人
長得象人臉的十種動物
奇聞怪事(2014年5期)2014-05-13 21:43:01
宜章县| 阿合奇县| 义乌市| 昌图县| 翁牛特旗| 通辽市| 麻江县| 修武县| 赫章县| 伊川县| 习水县| 平凉市| 舞钢市| 南充市| 中西区| 阜城县| 江西省| 黄石市| 长白| 垣曲县| 青阳县| 双牌县| 日照市| 大洼县| 留坝县| 东明县| 都安| 尼玛县| 凤阳县| 左贡县| 湖口县| 霍林郭勒市| 偏关县| 芦山县| 台安县| 太保市| 普兰县| 离岛区| 本溪| 印江| 崇信县|