朱俊勇，逯 峰

(1. 中山大學(xué)數(shù)據(jù)科學(xué)與計算機(jī)學(xué)院, 廣東 廣州 510006；2. 廣州市刑事科學(xué)技術(shù)研究所，廣東 廣州510050)

基于稀疏子空間聚類的跨域人臉遷移學(xué)習(xí)方法

朱俊勇1,2，逯 峰2

(1. 中山大學(xué)數(shù)據(jù)科學(xué)與計算機(jī)學(xué)院, 廣東 廣州 510006；2. 廣州市刑事科學(xué)技術(shù)研究所，廣東 廣州510050)

人臉識別的效果很大程度上依賴于已標(biāo)定的訓(xùn)練數(shù)據(jù)的規(guī)模，當(dāng)訓(xùn)練樣本嚴(yán)重不足時類內(nèi)及類間分布的估計將會出現(xiàn)嚴(yán)重偏差。考慮到人工標(biāo)定的成本過高，如果能對與目標(biāo)問題相關(guān)的一些已有數(shù)據(jù)加以利用，以此來取代人工標(biāo)定數(shù)據(jù)或減少人工標(biāo)定的數(shù)據(jù)量，將為訓(xùn)練樣本不足的人臉識別問題提供一套可行的解決方案。為此，擬針對這一問題發(fā)展出一種基于稀疏子空間聚類和魯棒主成分分析的人臉遷移學(xué)習(xí)方法，在輔助數(shù)據(jù)滿足多線性子空間假設(shè)下，能從無類標(biāo)的異源輔助數(shù)據(jù)中實現(xiàn)信息遷移，挖掘?qū)δ繕?biāo)分類問題有益的成分。

稀疏子空間聚類；低秩矩陣分解；魯棒主成分分析；跨域人臉遷移學(xué)習(xí)

最近幾年，隨著機(jī)器學(xué)習(xí)的快速推廣和海量視頻數(shù)據(jù)的日益劇增，計算機(jī)視覺領(lǐng)域的多個關(guān)鍵研究方向諸如人臉識別、物體檢測、車輛分析等等取得了重大突破[1-2]。但是，目前主流的學(xué)習(xí)方法受限于大量的標(biāo)記樣本，當(dāng)已標(biāo)記的訓(xùn)練數(shù)據(jù)嚴(yán)重不足時，計算機(jī)在學(xué)習(xí)過程中往往會出現(xiàn)過擬合現(xiàn)象，使得學(xué)習(xí)得到的模型在測試過程中無法獲得應(yīng)有的效果。本文主要研究在有限標(biāo)定樣本的情況下，如何從未標(biāo)定的異源輔助數(shù)據(jù)中挖掘?qū)θ四樧R別有益的可遷移成分。這一問題的研究對于許多應(yīng)用而言具有非常實際的意義，譬如，護(hù)照或身份證件上通常附帶了一張“標(biāo)準(zhǔn)”照片，所謂“標(biāo)準(zhǔn)”是指人臉拍攝的環(huán)境是相對理想的，如人臉正面朝向攝像機(jī)、均勻光照環(huán)境、中性表情等等，而在實際應(yīng)用中，實時采集的人臉圖像往往處于非可控的環(huán)境當(dāng)中，容易受到光照、姿勢、表情等因素的干擾，在缺少先驗信息的情況下要實現(xiàn)兩者的匹配將相當(dāng)困難[3]。因此，假如能對非目標(biāo)個體在不同環(huán)境下的人臉輔助數(shù)據(jù)加以利用，將有可能為先驗信息缺乏的人臉識別問題提供一種可行的解決思路。考慮到大規(guī)模人臉系統(tǒng)的樣本標(biāo)定工作非常耗時，并且目標(biāo)個體的訓(xùn)練樣本在某些情況下很難得到，發(fā)展一種基于無類標(biāo)輔助數(shù)據(jù)的人臉識別方法顯得非常有必要。

遷移學(xué)習(xí)通過從已有模型或數(shù)據(jù)中提取對目標(biāo)問題有用的輔助信息[4-5]，已逐漸成為學(xué)術(shù)界關(guān)注的焦點。遷移學(xué)習(xí)的總體目標(biāo)是在目標(biāo)域樣本不足的情況下最大化利用與目標(biāo)域相關(guān)的異源輔助數(shù)據(jù)，從中挖掘?qū)δ繕?biāo)分類問題有用的信息。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法(如有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí))不同，遷移學(xué)習(xí)方法涉及的源域及目標(biāo)域樣本并不一定要滿足獨立同分布假設(shè)，甚至可以是來自于不同(但相關(guān))的類別。然而，要采用怎樣的基準(zhǔn)，使用哪種量化方式去衡量源域及目標(biāo)域數(shù)據(jù)的相關(guān)性，遷移哪些相關(guān)特征，一直都是困擾遷移學(xué)習(xí)的關(guān)鍵問題。

雖然，傳統(tǒng)的無監(jiān)督和半監(jiān)督學(xué)習(xí)方法，如主成分分析(PCA)[6-7]、無監(jiān)督鑒別投影 (UDP)[8]、半監(jiān)督線性鑒別分析(SDA)等[9]，均可利用未標(biāo)識或部分標(biāo)識的輔助數(shù)據(jù)進(jìn)行信息遷移，但是，這些方法基于數(shù)據(jù)同源假設(shè)，對遷移學(xué)習(xí)中目標(biāo)域數(shù)據(jù)與源輔助數(shù)據(jù)來自不同類別的情況并不一定適用。

目前，現(xiàn)有的遷移學(xué)習(xí)方法主要集中研究輔助數(shù)據(jù)帶有類標(biāo)的情形，并且，源域與目標(biāo)域之間的關(guān)系往往已知[10]。然而，要確定目標(biāo)域與源域樣本之間的關(guān)系已是非常困難的事情，在某些情況下這種關(guān)聯(lián)無法得到精確表達(dá)，很難分辨出輔助數(shù)據(jù)中的哪一部分的信息可能有利于目標(biāo)域的分類問題。最近提出的研究工作表明，目標(biāo)域與源域之間關(guān)聯(lián)性可在一定程度上適當(dāng)放松[5]，但這種方法的代價是要知道所有輔助數(shù)據(jù)的類標(biāo)信息，以全監(jiān)督的形式對輔助數(shù)據(jù)加以利用。考慮到樣本的標(biāo)定工作非常消耗人力和時間，對于大規(guī)模輔助數(shù)據(jù)的情況并不適用。

為此，本文擬發(fā)展一種遷移學(xué)習(xí)模型，通過稀疏子空間聚類和魯棒主成分分析，從無類標(biāo)輔助數(shù)據(jù)中挖掘可遷移成分。與本研究更為相關(guān)的是，Raina等[11]提出的自學(xué)習(xí)方法(Self-taught Learning, STL)，該方法利用大量無類標(biāo)的輔助數(shù)據(jù)建構(gòu)特征詞典，并通過稀疏編碼得到目標(biāo)樣本在該詞典下的表達(dá)作為分類特征。然而，自學(xué)習(xí)方法不加篩選地使用所有輔助數(shù)據(jù)，并且詞典的學(xué)習(xí)過程只關(guān)注表達(dá)誤差而忽略鑒別特性的提取，對目標(biāo)分類問題并不一定能帶來積極的效用。與自學(xué)習(xí)方法相比，本文的方法屬于鑒別學(xué)習(xí)模型，以目標(biāo)域的樣本分類為最終目標(biāo)。

此外，Wolf 等[12]提出了一種使用目標(biāo)類別信息的遷移學(xué)習(xí)方法——基于單樣本的相似性核學(xué)習(xí)(One-shot Similar Kernel, OSSK)。該方法事先定義一個特殊的負(fù)樣本集，并根據(jù)兩個樣本與該集合的關(guān)系來確定樣本間的單樣本相似度(one-shot similarity)，從而間接地得到兩者的關(guān)系。Dai等[13]也提出了一種基于無類標(biāo)輔助數(shù)據(jù)的遷移學(xué)習(xí)方法，該方法通過圖模型來刻畫目標(biāo)數(shù)據(jù)與源數(shù)據(jù)的相互關(guān)系，采用的是直推式學(xué)習(xí)框架，在學(xué)習(xí)的同時需要用到所有測試樣本，對實際應(yīng)用有一定的限制。

為了克服現(xiàn)有模型的以上缺點，本文提出一種基于稀疏子空間聚類的遷移學(xué)習(xí)方法。得益于稀疏子空間聚類方法的自表達(dá)特性[14]，該方法能從大量無類標(biāo)輔助數(shù)據(jù)中自動發(fā)現(xiàn)具有相近子空間表達(dá)的樣本子集，進(jìn)而通過魯棒主成分分析分解出低秩的人員成分和稀疏的噪聲成分[15]，結(jié)合目標(biāo)域的鑒別信息加以利用，一方面能夠擴(kuò)寬目標(biāo)域的人員鑒別能力，另一方面減少目標(biāo)域受到同類噪聲的影響。同時，通過引入正交匹配追蹤(Orthogonal Matching Pursuit, OMP)[14]以及快速主成分追蹤(Fast Principal Component Pursuit, FPCP)[16]等加速技術(shù)，本文方法能處理大規(guī)模數(shù)據(jù)并有效減少時間開銷。

1 相關(guān)工作

本文方法通過稀疏子空間聚類以及魯棒主成分分析對無類標(biāo)輔助數(shù)據(jù)進(jìn)行分析和挖掘，本節(jié)將圍繞稀疏子空間聚類以及魯棒成分分析兩種方法進(jìn)行簡要介紹。

1.1 稀疏子空間聚類

(1)

其中Aj∈RD×dj為線性子空間Φj的一組基，sk∈Rdk為非零向量，其余{sj∈Rdj}j≠k均為零向量。特別地，若每一個線性子空間Φj的樣本足夠多(樣本數(shù)遠(yuǎn)大于內(nèi)蘊(yùn)維數(shù))且能張成整個子空間Φj，而Φj中的任意一個樣本x均能表達(dá)為X/{x}的線性組合，則稱樣本集X具有自表達(dá)特性[14]。基于該假設(shè)，稀疏子空間聚類問題可歸結(jié)為以下優(yōu)化問題：

s.t.X=XC, diag (C) = 0

(2)

求得稀疏表達(dá)的系數(shù)矩陣C*后，通常取G=|C*|+|C*T|構(gòu)建聯(lián)姻矩陣，進(jìn)而使用譜聚類[]即可得到稀疏子空間聚類的最終結(jié)果。

一般地，以上優(yōu)化問題的復(fù)雜度隨著X規(guī)模的增大會急劇增長，Pati等[17]通過引入正交匹配追蹤技術(shù)(OMP)將該問題近似為基追蹤問題，通過貪心策略依次從樣本集中選取“最優(yōu)表達(dá)”的樣本，從而快速估算出每個樣本在該樣本集下的自表達(dá)系數(shù)。該方法大大提升了稀疏子空間聚類的運算能力，使其能夠快速處理10萬量級的樣本集。

1.2 魯棒主成分分析

鑒于傳統(tǒng)主成分分析問題容易受到干擾噪聲、缺失數(shù)據(jù)等影響，魯棒主成分分析基于原始數(shù)據(jù)的低秩假設(shè)，通過將帶噪觀測數(shù)據(jù)分解成低秩成分和稀疏噪聲成分，估計出原始數(shù)據(jù)的近似表達(dá)，在視頻背景建模[15]、圖像魯棒特征提取及圖像對齊[18]方面有著廣泛應(yīng)用。

具體而言，給定觀測樣本集Z∈Rd×N,魯棒主成分分析的目標(biāo)是要求解以下問題：

s.t.Z=L+S

(3)

其中L為低秩成分，S為稀疏成分，‖·‖*為核范數(shù)，λ為平衡系數(shù)。

針對以上問題，學(xué)術(shù)界提出了大量高效實用的求解方法，典型方法包括奇異值收縮[18]、增廣拉格朗日乘子法(ALM)[19]、非精確ALM[20]、快速主成分追蹤(FPCP)[16]等。其中快速主成分追蹤法在同類測試中表現(xiàn)優(yōu)異[21]，適合處理大規(guī)模數(shù)據(jù)。

快速主成分追蹤法仍是以觀測數(shù)據(jù)的低秩估計為目的，將原問題(3)轉(zhuǎn)化為等價問題：

s.t. rank(L)=t

(4)

進(jìn)而采用交替優(yōu)化的準(zhǔn)則求解轉(zhuǎn)化后的目標(biāo)函數(shù)：

s.t. rank(L)=t

(5)

(6)

其中子問題(5)可通過基于Lanczos的局部奇異值分解[20]進(jìn)行快速求解，而子問題(6)則可經(jīng)由樣本屬性值收縮(element-wiseshrinkage)進(jìn)行快速估算[16]。

2 模型建立

本節(jié)將針對目標(biāo)域標(biāo)定數(shù)據(jù)嚴(yán)重不足的情況，研究如何利用相關(guān)的異源無類標(biāo)輔助數(shù)據(jù)實現(xiàn)人臉信息遷移。以下內(nèi)容將著重介紹基于稀疏子空間聚類及魯棒主成分分析的異源人臉信息挖掘技術(shù)，在此基礎(chǔ)上發(fā)展出一種易于表達(dá)的子空間人臉遷移學(xué)習(xí)方法。

給定少量的目標(biāo)域樣本，我們希望通過利用大量未標(biāo)定的異源數(shù)據(jù)來輔助得到適用于目標(biāo)分類的鑒別子空間學(xué)習(xí)模型。盡管目標(biāo)域數(shù)據(jù)和輔助數(shù)據(jù)并不一定來自同一組個體并且大多數(shù)輔助數(shù)據(jù)均不含類標(biāo)信息，我們?nèi)韵Ｍㄟ^某些策略挖掘出其中有利于目標(biāo)分類問題有用的信息。

2.1 異源無類標(biāo)輔助數(shù)據(jù)子空間聚類

雖然目標(biāo)域人臉數(shù)據(jù)和輔助人臉數(shù)據(jù)來源不同，且圖像之間存在較大差異，但兩者也存在著相似的結(jié)構(gòu)、邊緣或輪廓，在不受外界因素影響的狀態(tài)下所有人的正臉圖像近似滿足正態(tài)分布[22]，人臉數(shù)據(jù)之間存在某些隱含的關(guān)聯(lián)信息。

一般地，我們很容易通過搜索引擎或社交網(wǎng)絡(luò)收集到部分人在不同狀態(tài)下的人臉數(shù)據(jù)，但這些人臉圖像可能存在光照、姿態(tài)、遮掩等影響。為此，我們假設(shè)輔助數(shù)據(jù)來源于多個人在不同環(huán)境下的成像，我們的思路是通過稀疏子空間聚類對無類標(biāo)人臉數(shù)據(jù)作預(yù)處理，挖掘出輔助數(shù)據(jù)中潛在的多子空間結(jié)構(gòu)，進(jìn)而采用魯棒主成分分析對同一子空間內(nèi)的多張人臉圖像進(jìn)行低秩分解，分離出與人員身份相關(guān)的低秩成分以及稀疏的噪聲成分。下面將詳細(xì)介紹異源無類標(biāo)輔助數(shù)據(jù)信息挖掘的具體方法。

OMP算法[13]：c*=OMP(A,b)

輸入：A=[a1,…,aM],b,kmax,ε

1: 初始化k=0,q0=x,T0=?

2:whilekεdo

4:qk+1=(I-PTk+1)b,PTk+1是由{aj}j∈Tk + 1引導(dǎo)間的投影映射

5:k←k+1

6:endwhile

圖1 稀疏子空間聚類實例Fig.1 An example of sparse subspace clustering

2.2 異源無類標(biāo)輔助數(shù)據(jù)魯棒主成分分析

在2.1我們對無類標(biāo)的輔助數(shù)據(jù)賦予了虛擬的類標(biāo)，同類的樣本張成了一個低維的子空間，因此，由同類的樣本集組成的樣本矩陣具有天然的低秩特性?？紤]到人臉圖像可能受到光照、姿態(tài)、遮掩等影響，對其進(jìn)行魯棒特征提取能有效地分離出與人員身分相關(guān)的低秩成分以及與噪聲相關(guān)的稀疏成分。為此，下文將針對2.1節(jié)得到的稀疏子空間聚類的結(jié)果，在每個聚類中應(yīng)用快速主成分追蹤方法進(jìn)行魯棒特征的提取。

不妨記Zj為第j個聚類，根據(jù)低秩假設(shè)，樣本集Zj可分解成Lj+Sj，其中Lj為低秩成分，Sj為稀疏成分，Lj和Sj的求解可通過快速主成分追蹤實現(xiàn)，即求解以下優(yōu)化問題：

s.t. rank(Lj)=t

(7)

其中t一般取較小的值，譬如t=1。

由此，我們從無類標(biāo)輔助數(shù)據(jù)中分離出魯棒的人員低秩成分和稀疏噪聲成分(如圖2所示)，在下一節(jié)我們將結(jié)合目標(biāo)域的數(shù)據(jù)，對輔助數(shù)據(jù)中的低秩成分和噪聲成分加以利用。

圖2 魯棒主成分分析實例Fig.2 An example of robust principal component analysis

2.3 基于異源輔助數(shù)據(jù)的人臉子空間遷移學(xué)習(xí)

在人臉識別的許多現(xiàn)實應(yīng)用中，用于注冊的人臉圖像往往只有單張或少數(shù)幾張，而且均為“理想狀態(tài)”下的成像，這在一定程度上影響了注冊人員人臉模型的完備性，使得在人臉識別過程中當(dāng)存在外界環(huán)境干擾時容易出現(xiàn)錯誤識別。為了克服該問題，一般的做法是標(biāo)定一個龐大的人臉數(shù)據(jù)庫，涵蓋不同環(huán)境下同一組人員的各種人臉變化。但數(shù)據(jù)標(biāo)記的成本非常的高，實施較為困難。另一種可行的思路是引入與問題相關(guān)的無類標(biāo)異源輔助數(shù)據(jù)，通過對數(shù)據(jù)進(jìn)行預(yù)處理挖掘出可能對目標(biāo)問題有利的信息。

在本節(jié)，我們將從兩方面探索信息遷移的策略。根據(jù)人臉分布的高斯假設(shè)[22]，不同個體的人像近似滿足高斯分布，且相同個體的所有人像也能近似看成高斯分布。因此，為了提高人臉識別的能力，一方面可以通過增加不同個體的人臉圖像來逼近類間分布，另一方面則可盡量減小相同個體不同人像間的類內(nèi)差異。在無任何先驗條件的情況下，增加個體的數(shù)目能豐富人臉總體分布的采樣，有可能更好地描述總體高斯分布，同時也為類間的鑒別信息提供了更多依據(jù)；而在減小類內(nèi)差異方面，則可通過分析相關(guān)輔助數(shù)據(jù)的內(nèi)部差異，尋找減小該類差異的方法并將其應(yīng)用到目標(biāo)問題中。

s.t. WTW=I

(8)

特別地，當(dāng)目標(biāo)人員只有單張訓(xùn)練圖像時，Sw為零，目標(biāo)函數(shù)(8)仍可通過求解廣義特征值問題得到。

3 模型實驗與驗證

3.1 實驗設(shè)置

考慮到本文的方法主要是在目標(biāo)域訓(xùn)練樣本不足的情況下從大量無類標(biāo)異源輔助數(shù)據(jù)中挖掘可遷移信息，為了驗證其在人臉識別問題中的有效性，該實驗選用了6個人臉數(shù)據(jù)庫并將其分成目標(biāo)數(shù)據(jù)庫以及輔助數(shù)據(jù)庫兩組，其中目標(biāo)數(shù)據(jù)庫包含CMU-PIE正面人臉圖像子集[23]、AR數(shù)據(jù)庫[24]以及ORL數(shù)據(jù)庫；而輔助數(shù)據(jù)則來源于ExtendedYaleB數(shù)據(jù)庫[25]、JAFFE數(shù)據(jù)庫[26]以及UMIST數(shù)據(jù)庫[27]。由于CMU以及YaleB數(shù)據(jù)庫主要用于研究光照影響，AR和JAFFE均有表情因素，而ORL以及UMIST數(shù)據(jù)庫主要涉及姿勢變化，我們將其分成相應(yīng)的三組，采用“YALEB-CMU”的形式來標(biāo)記使用YaleB作為輔助數(shù)據(jù)時CMU庫上的識別情況。對于每一個目標(biāo)數(shù)據(jù)庫，我們只選取一張正常狀態(tài)下的人臉圖像(正面光照、中性表情、正面拍攝圖像)作為訓(xùn)練樣本，其余用作測試樣本。人臉圖像均使用分塊局部二值模式[28]進(jìn)行特征編碼。

本節(jié)比較了多種遷移學(xué)習(xí)以及相關(guān)的子空間學(xué)習(xí)方法，包括OSSK[12]，STL[11]，PCA[6]，UDP[8]以及SDA[9]，相關(guān)參數(shù)均使用原文的推薦值。

3.2 實驗結(jié)果及分析

考慮到本文的方法基于無類標(biāo)的輔助數(shù)據(jù)，我們與相關(guān)的無監(jiān)督遷移學(xué)習(xí)方法作了相應(yīng)比較。自學(xué)習(xí)方法(STL)是無監(jiān)督遷移學(xué)習(xí)的典型代表，能從大量無類標(biāo)數(shù)據(jù)中挖掘可遷移信息。然而相比之下，STL方法側(cè)重于源輔助數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的統(tǒng)一表達(dá)，而本文的方法則更關(guān)注如何使用輔助數(shù)據(jù)來增強(qiáng)目標(biāo)域的分類性能。如圖3所示，由于本文的方法基于鑒別成分分析，其識別效果普遍要比STL方法高10%到20%。另外，我們還與單樣本相似核學(xué)習(xí)方法(OSSK)進(jìn)行了橫向比較，盡管該方法也能使用無類標(biāo)輔助數(shù)據(jù)對目標(biāo)分類的邊界進(jìn)行修正，但效果要稍遜于本文提出的基于稀疏子空間聚類的人臉遷移學(xué)習(xí)方法，與之相比本文方法對輔助數(shù)據(jù)的可遷移信息挖掘更加的全面，在總體識別率上獲得10%的提升。

此外，實驗部分還比較了半監(jiān)督鑒別子空間學(xué)習(xí)方法(SDA)。作為經(jīng)典的半監(jiān)督特征子空間提取模型，SDA在流形學(xué)習(xí)的理論框架下有效地對線性鑒別分析方法(LDA)進(jìn)行擴(kuò)展，使之適用于只有部分樣本標(biāo)定的情況。在SDA方法的模型背景下，通常要求無類標(biāo)的輔助數(shù)據(jù)樣本與帶類標(biāo)的目標(biāo)問題樣本具有相同的分布特性，當(dāng)帶類標(biāo)的訓(xùn)練樣本嚴(yán)重不足時即可通過輔助數(shù)據(jù)的流型結(jié)構(gòu)來刻畫目標(biāo)域的潛在樣本分布。從圖3的結(jié)果來看，SDA的性能與STL方法相當(dāng)，但與本文的方法相比總體上存在一定差距。其原因可能是SDA的同源假設(shè)，當(dāng)輔助數(shù)據(jù)與目標(biāo)域數(shù)據(jù)差異較大且無類標(biāo)的輔助數(shù)據(jù)遠(yuǎn)遠(yuǎn)多于帶類標(biāo)的訓(xùn)練樣本時，輔助數(shù)據(jù)的流形結(jié)構(gòu)刻畫未必與目標(biāo)域的分類問題有直接關(guān)系。反觀本文提出的方法，從異源無類標(biāo)輔助數(shù)據(jù)中分離出鑒別成分和噪聲成分進(jìn)而與目標(biāo)分類問題有效結(jié)合，更可能篩選出對目標(biāo)問題有價值的信息。

最后，本節(jié)還與主流的一些無監(jiān)督子空間學(xué)習(xí)方法，如主成分分析(PCA)和無監(jiān)督鑒別投影(UDP)作了橫向比較。對于這些方法，我們將目標(biāo)域中帶類標(biāo)的訓(xùn)練樣本以及所有無類標(biāo)的輔助數(shù)據(jù)作為訓(xùn)練集，學(xué)習(xí)出相應(yīng)的投影矩陣，再根據(jù)測試樣本的投影結(jié)果進(jìn)行后續(xù)比對。從圖3的結(jié)果可以發(fā)現(xiàn)，UDP的識別結(jié)果不太理想，其原因與半監(jiān)督學(xué)習(xí)方法的情況相似，由于UDP方法的目標(biāo)是要保持原始數(shù)據(jù)的局部結(jié)構(gòu)，當(dāng)輔助數(shù)據(jù)的數(shù)量遠(yuǎn)遠(yuǎn)超過目標(biāo)域數(shù)據(jù)時這些方法學(xué)習(xí)到的模型將會偏向于保持輔助數(shù)據(jù)的潛在流形結(jié)構(gòu)而與目標(biāo)分類問題沒有直接的關(guān)系。而PCA的性能則相對穩(wěn)定,由于PCA的目標(biāo)是最大化地保留樣本總體方差，當(dāng)目標(biāo)域每類個體只有單個樣本時，樣本的總體方差與類間方差是一致的。

3.3 模型魯棒性分析

圖3 各種算法在三組數(shù)據(jù)集下的實驗結(jié)果Fig.3 Results of all algorithms on three data settings

由表1可以發(fā)現(xiàn)，取定相同聚類個數(shù)的前提下，稀疏子空間聚類算法的隨機(jī)優(yōu)化策略對聚類的結(jié)果影響不大，識別結(jié)果的最小值與最大值非常接近，因此可認(rèn)為基于正交匹配追蹤的稀疏子空間聚類方法的隨機(jī)優(yōu)化策略未對本方法造成顯著的影響。而從聚類個數(shù)的設(shè)定來看，其取值并不限于真實的類別數(shù)，盡管不同的設(shè)定會造成1%～2%的偏差，但最終結(jié)果仍相對穩(wěn)定，在實際應(yīng)用中可根據(jù)情況取定一個常值。

4 結(jié) 論

本文提出了基于稀疏子空間聚類的跨域人臉遷移學(xué)習(xí)方法，在人臉輔助數(shù)據(jù)的多線性子空間前提假設(shè)下，通過稀疏子空間聚類的正交匹配追蹤方法以及魯棒主成分分析方法對異源輔助數(shù)據(jù)進(jìn)行信息挖掘，剝離出鑒別成分和噪聲成分，進(jìn)而在Fisher準(zhǔn)則的基礎(chǔ)上對目標(biāo)分類問題進(jìn)行修正。該方法繼承了正交匹配追蹤、快速主成分追蹤等方法的特性，能夠快速有效地處理大規(guī)模無類標(biāo)數(shù)據(jù)，對無監(jiān)督遷移學(xué)習(xí)提供了一種可行的思路。

表1 不同參數(shù)下本文方法的識別結(jié)果Table 1 Results of proposed method under different parameters %

[1]SUNY,LIANGD,WANGXG,etal.DeepID3:facerecognitionwithverydeepneuralnetworks[J/OL].ComputerScience, 2015[2015-02-03].http:∥arxiv.org/abs/1502.00873.

[2]HEKM,ZHANGXY,RENSQ,etal.Delvingdeepintorectifiers:surpassinghuman-levelperformanceonimagenetclassification[J/OL].ComputerScience2015. [2015-02-06].http:∥arxiv.org/abs/1502.01852.

[3] 張智斌，賴劍煌，謝曉華，等. 基于高低頻分量融合的人臉識別方法[J]. 中山大學(xué)學(xué)報(自然科學(xué)版), 2013, 52(4): 1-6.

[4]STARKM,GOESELEM,SCHIELEB.Ashape-basedobjectclassmodelforknowledgetransfer[C].InternationalConferenceonComputerVision, 2009: 373-380.

[5]LIFF,FERGUSR,PERONAP.One-shotlearningofobjectcategories[J].IEEETPAMI, 2006, 28(4): 594-611.

[6]TURKM,PENTLANDA.Eigenfacesforrecognition[J].JournalofCognitiveNeuroscience, 1991, 3(1): 71-86,.

[7] 左軍, 周靈, 孫亞民. 基于RBF神經(jīng)網(wǎng)絡(luò)PCA變換的識別技術(shù)[J]. 中山大學(xué)學(xué)報(自然科學(xué)版), 2014, 53(6):135-139.

[8]YANGJ,ZHANGD,YANGJY,etal.Globallymaximizing,locallyminimizing:unsuperviseddiscriminantprojectionwithapplicationstofaceandpalmbiometrics[J].IEEETPAMI, 2007, 29(4): 650-664.

[9]CAID,HEX,HANJ.Semi-superviseddiscriminantanalysis[C].InternationalConferenceonComputerVision, 2007: 1-7.

[10]PANSJ,TSANGIW,KWOKJT,etal.Domainadaptationviatransfercomponentanalysis[J].IEEETNN, 2011, 22(2): 199-210.

[11]RAINAR,BATTLEA,LEEH,etal.Self-taughtlearning:transferlearningfromunlabeleddata[C].ICML, 2007: 759-766.

[12]WOLFL,HASSNERT,TAIGMANY.Theone-shotsimilaritykernel[C].ICCV, 2009: 897-902.

[13]DAIW,JINO,XUEGR,etal.Eigentransfer:aunifiedframeworkfortransferlearning[C].ICML, 2009, 193-200.

[14]CHONGY,DANIELPR,RENéV,etal.Scalablesparsesubspaceclusteringbyorthogonalmatchingpursuit[C/OL].CVPR, 2016[2016-05-05].http:∥arxiv.org/abs/1507.01238.

[15]CANDéSEJ,LIX,MAY,etal.Robustprincipalcomponentanalysis[J].JournaloftheACM,2000, 1(1): 1-73.

[16]RODRIGUEZP,WOHLBERGB.Fastprincipalcomponentpursuitviaalternatingminimization[C].ICIP, 2013: 69-73.

[17]PATIYC,REZAIIFARR,KRISHNAPRASADP.Orthogonalmatchingpursuit:recursivefunctionapproximationwithapplicationtowaveletdecomposition[C].ConferenceonSignals,IEEE, 1995: 1-3.

[18]PENGY,GANESHA,WRIGHTJ,etal.RASL:robustalignmentbysparseandlow-rankdecompositionforlinearlycorrelatedimages[J].IEEETSE, 2012, 34(11): 2233-2246.

[19]LIUG,LINZ,YUY.Robustsubspacesegmentationbylow-rankrepresentation[C].ICML, 2010: 663-670.

[20]LINZ,CHENM,MAY.TheaugmentedLagrangemultipliermethodforexactrecoveryofcorruptedlow-rankmatrices[J].EprintArxiv, 2010, 9.

[21]SOBRALA,BOUWMANST,ZAHZAHEH.LRSLibrary:low-rankandsparsetoolsforbackgroundmodelingandsubtractioninvideos[M]∥Robustlow-rankandsparsematrixdecomposition:Applicationsinlmageandvideoprocessing, 2016.

[22]CHEND,CAOX,WANGL,etal.Bayesianfacerevisited:ajointformulation[C].ECCV, 2012, 566-579.

[23]SIMT,BAKERS,BSATM.TheCMUpose,illumination,andexpressiondatabase[J].PatternAnalysis&MachineIntelligence,IEEE, 2010, 25(12): 1615-1618.

[24]MARTNEZAM,KAKAC.Pcaversuslda[J].IEEETPAMI, 2001, 23(2): 228-233.

[25]GEORGHIADESAS,BELHUMEURPN,KRIEGMAND.Fromfewtomany:Illuminationconemodelsforfacerecognitionundervariablelightingandpose[J].IEEETPAMI, 2001, 23(6): 643-660.

[26]LYONSMJ,BUDYNEKJ,AKAMATSUS.Automaticclassificationofsinglefacialimages[J].IEEETPAMI, 1999, 21(12): 1357-1362.

[27]GRAHAMDB,ALLINSONNM.Characterisingvirtualeigensignaturesforgeneralpurposefacerecognition[J].ComputerandSystemSciences, 1998, 163:446-456.

[28]AHONENT,HADIDA,PIETIKAINENM.Facedescriptionwithlocalbinarypatterns:applicationtofacerecognition[J].IEEETPAMI, 2006, 28(12): 2037-2041.

Cross-domain face transfer learning based on sparse subspace clustering

ZHU Junyong1,2, LU Feng2

(1.School of Data and Computer Science, Sun Yat-sen University, Guangzhou 510006, China；2. Insititute of Criminal Science and Technology, Guangzhou 510050, China)

The quality of a face recognition system heavily depends on the amount of labeled training data. Bias would probably exist in both in-class and between-class scatter when there is few labeled data. Considering the cost of manual labeling is too high, an alternative choice is to make use of existing data which is related to the objective problem. In this way, it is able to alleviate the dependence of manual labeling via exploring numerous related data, offering a feasible solution to the case of lacking sufficient labeled training samples. To this end, a face transfer learning approach based on the sparse subspace clustering and robust principal component analysis is proposed, which allows employing unlabeled source data under the multi subspace assumption and mining useful information for the objective problem.

sparse subspace clustering; low rank matrix decomposition; robust principal component analysis; cross-domain face transfer learning

10.13471/j.cnki.acta.snus.2016.05.001

2016-05-18

中國博士后科學(xué)基金資助項目(2015M582469)；國家自然科學(xué)基金資助項目(61573387)

朱俊勇(1986年生)，男；研究方向：人臉識別、遷移學(xué)習(xí)；通訊作者：逯峰；E-mail: lfgdga@163.com

TP391.4

A

0529-6579(2016)05-0001-07