洪嵐，魏萊

基于核方法的相關(guān)自適應(yīng)子空間分割

洪嵐，魏萊

（上海海事大學(xué)信息工程學(xué)院，上海 201306）

人臉識(shí)別是模式識(shí)別研究的熱門課題，有很重要的應(yīng)用價(jià)值。針對(duì)在高維非線性人臉數(shù)據(jù)集的識(shí)別困難問題，提出一種基于核方法的相關(guān)自適應(yīng)子空間分割方法（KCASS）。將相關(guān)自適應(yīng)子空間分割（CASS）與核方法相結(jié)合，構(gòu)成Kernel CASS方法。實(shí)驗(yàn)證明，該方法在效率上和識(shí)別效果上較之前的分類方法有進(jìn)一步改善。

人臉識(shí)別；核方法；子空間分割

0 引言

人臉識(shí)別[1]是近年來模式識(shí)別的研究熱點(diǎn)，有著廣泛的應(yīng)用。但人臉圖像是非線性數(shù)據(jù)集，而且還是高維度小樣本問題，再加上光照、表情、姿態(tài)、遮擋、化妝、發(fā)型等等的變化都使識(shí)別增加了難度。人臉識(shí)別有很多方法：稀疏表示、協(xié)同表示等。這些方法取得了很好的識(shí)別效果。本文在研究它的基礎(chǔ)之上，發(fā)現(xiàn)稀疏表示的表示系數(shù)過于稀疏，協(xié)同表示的表示系數(shù)過于稠密。導(dǎo)致它們的識(shí)別率不最佳。CASS方法可以改進(jìn)它們的缺點(diǎn)，CASS的表示系數(shù)兼具二者的特點(diǎn)。但是CASS只能用于數(shù)據(jù)集是線性分類的情況，不能作非線性分類。人臉圖像是高維非線性數(shù)據(jù)集，CASS無法直接處理。核方法解決了這一個(gè)難題，本文將CASS與核方法相結(jié)合，構(gòu)成Kernel CASS方法。在非線性人臉數(shù)據(jù)集的識(shí)別上取得了良好的效果。

1 相關(guān)研究

目標(biāo)識(shí)別問題是給定一個(gè)訓(xùn)練樣本集和測(cè)試樣本，從給定的類別中判別測(cè)試樣本的類別。這里介紹三個(gè)經(jīng)典的算法：稀疏表示、協(xié)同表示、相關(guān)自適應(yīng)子空間分割。

1.1 稀疏表示（Sparse Representation，SR）

稀疏表示[2]是用少數(shù)的基向量線性組合表示測(cè)試樣本。稀疏表示的目標(biāo)函數(shù)為：

x是測(cè)試樣本，X 是訓(xùn)練集，X=[X1,…,Xk]∈Rd×n，Xi表示第i個(gè)人臉圖像。訓(xùn)練集共有n個(gè)樣本，都是d維的。w是系數(shù)向量，我們希望w中除了與測(cè)試樣本x同類的系數(shù)外，其余系數(shù)都是0。||w||0是l0范數(shù)，但最小化l0范數(shù)是NP難的，如果系數(shù)向量w足夠稀疏，最小化l0范數(shù)和最小化l1范數(shù)是等價(jià)的。所以，目標(biāo)函數(shù)改為：

加上噪聲ξ，SR的目標(biāo)函數(shù)如下：

或者寫成Lasso形式：

λ是正則化參數(shù)，用來平衡上式中的兩項(xiàng)。

得到w后，對(duì)每一個(gè)類別的系數(shù)向量與訓(xùn)練集X線性組合重構(gòu)出測(cè)試樣本，它們的殘差用ri()x表示。令殘差最小的類別就判別為測(cè)試樣本的類別。從而得出人臉圖像的識(shí)別結(jié)果。

其中：

SR比之前的分類方法在效果上有了進(jìn)一步提升，在人臉識(shí)別問題上有不錯(cuò)的表現(xiàn)，但也有它的局限性。當(dāng)每個(gè)類的訓(xùn)練樣本數(shù)量偏少時(shí)，SR的誤差會(huì)比較大，增加樣本數(shù)量可以解決此問題，但得到足夠的樣本是很困難的。CR更適合解決小樣本問題。

1.2 協(xié)同表示（Collaborative Representation,CR）

CR[3]用所有類的訓(xùn)練樣本來表示測(cè)試樣本。加上噪聲ξ，CR的目標(biāo)函數(shù)如下：

1.3 采用跡套索的相關(guān)自適應(yīng)方法（Correlation Adaptive Subspace Segmentation by Trace Lasso,CASS）

相關(guān)自適應(yīng)方法CASS[4]使用跡套索||XDiag(ω)||*作為正則化參數(shù)，得到的相似度矩陣是稀疏的,也會(huì)有好的分組效應(yīng)。CASS和SR、CR比，不會(huì)過分稀疏或稠密，也優(yōu)于 SR、CR。

CASS目標(biāo)函數(shù)為：

考慮噪聲的情況下，寫為：

數(shù)據(jù)不相關(guān)或高度相關(guān)時(shí)，跡套索分別會(huì)等價(jià)于l1范數(shù)或l2范數(shù)。

2 基于核方法[5]的分類方法

輸入空間的數(shù)據(jù)可以通過核方法映射到高維或無限維特征空間，用于處理非線性數(shù)據(jù)集分類。人臉數(shù)據(jù)集是高維度小樣本的非線性數(shù)據(jù)集，所以引入核方法和之前的方法相結(jié)合，會(huì)有更好的識(shí)別效果。

3 基于核方法的相關(guān)自適應(yīng)子空間分割KCASS

受文獻(xiàn)[6]的啟發(fā)，在各種光照、表情、姿態(tài)、遮擋的人臉識(shí)別問題上，將CASS與核方法相結(jié)合，通過核方法把樣本集投影到高維核特征空間，在高維核特征空間中形成新的字典，用核函數(shù)代替復(fù)雜的內(nèi)積運(yùn)算，達(dá)到提高人臉識(shí)別的效果。

CASS方法有效改進(jìn)了SR和CR方法的不足，得到的系數(shù)矩陣既不會(huì)過分稀疏也不會(huì)過分稠密，該方法在線性數(shù)據(jù)集上取得了很好的效果。但人臉圖像都是高維非線性的，CASS并不能對(duì)人臉圖像有很好的識(shí)別。所以引進(jìn)了核方法應(yīng)用到CASS上。假設(shè)有一個(gè)人臉數(shù)據(jù)集X，已知有c個(gè)類別，共有n個(gè)訓(xùn)練樣本。目標(biāo)是給定一張人臉圖像，需要判別出該圖像屬于哪一個(gè)人臉。

把測(cè)試人臉圖像和整個(gè)人臉數(shù)據(jù)集通過非線性映射Φ映射到高維特征空間F上。

F是D維的。測(cè)試樣本x可以由訓(xùn)練樣本Φ(xi)來線性表示：

式（12）中的w=[w1,w2,…,wn]T是系數(shù)向量

CASS可以寫為：

我們要通過引入核函數(shù)來解決非線性人臉識(shí)別問題，目標(biāo)是解出系數(shù)向量w

設(shè)有變換矩陣P∈RD×d,可得：

式（14）改為：

投影矩陣P應(yīng)該與Φ有關(guān),P可表示為：

即：

代入（18）到（16），得：

映射Φ的具體形式不必知道，由于核函數(shù)K的計(jì)算比映射Φ容易。有如下基于核函數(shù)的降維方法：

令：

K滿足Mercer定理的條件，K可以作為核函數(shù)。

由式（20）（21）得：

上式中K和K（?,x)都是可以計(jì)算出來的，要求w得問題轉(zhuǎn)化為求B。

Φ(X)的協(xié)方差矩陣為：

其中xˉ是 Φ(xu)的均值

λ和v分別是矩陣Ck的特征值和特征向量

由再生核理論可得：

定義核函數(shù)為：

由上面幾個(gè)式子可得：

解出K的特征值和特征向量并分別按從大到小排序。對(duì)特征向量做歸一化。

將大于提取效率p的特征向量取出構(gòu)成

如果Φ(xu)開始的時(shí)候沒有中心化，那么先對(duì)Φ(xu)做中心化處理。并對(duì)核矩陣做下列處理：

求出B后，通過BTK（?,x)=BTKw可求出系數(shù)向量w。

4 實(shí)驗(yàn)

本節(jié)中，通過對(duì)本文提出的KCASS方法與KSR、KCR在人臉數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)來證明該方法的有效性。選用常用的ORL人臉數(shù)據(jù)庫(kù)和YALE B人臉數(shù)據(jù)庫(kù)來完成。實(shí)驗(yàn)環(huán)境為Win7系統(tǒng)，MATLAB R2015b，CPU：i5-5200U，內(nèi)存：4G的筆記本電腦上運(yùn)行。SR、CR、核函數(shù)（高斯核函數(shù)）、KPCA等都使用了已公開的代碼。實(shí)驗(yàn)的系數(shù)不是固定不變的，根據(jù)人臉庫(kù)的情況調(diào)整所得。

4.1 Yale B人臉數(shù)據(jù)庫(kù)

Yale B數(shù)據(jù)庫(kù)包含有2414幅共38名志愿者的人臉圖像。每人約64張。主要考慮到多種光照的情況來采集圖像。部分人臉圖像見圖1。在實(shí)驗(yàn)降維維度進(jìn)行多個(gè)參數(shù)嘗試。測(cè)試樣本和訓(xùn)練樣本各32張圖像。實(shí)驗(yàn)運(yùn)行10次。

圖1

表1

圖2

4.2 ORL人臉數(shù)據(jù)庫(kù)

ORL收集了40個(gè)志愿者從不同角度、姿勢(shì)共400張人臉圖像。選擇5張做測(cè)試樣本，5張是訓(xùn)練樣本。參數(shù)λ=0.001。

表2

圖3

4.3 實(shí)驗(yàn)結(jié)果分析

從在兩個(gè)人臉庫(kù)的實(shí)驗(yàn)可看出：KCASS由于兼顧了稀疏性和分組效應(yīng)，它的識(shí)別性能大部分略高于KSR，同時(shí)KCASS和KSR都是明顯高于KCR的。KCASS對(duì)不同光照、不同角度的識(shí)別能力較強(qiáng)。

5 結(jié)語(yǔ)

基于核方法的相關(guān)自適應(yīng)子空間分割能夠有效解決非線性空間下的判別分類問題。相關(guān)自適應(yīng)子空間分割采用了跡套索，能夠在稀疏性和分組效應(yīng)上做出平衡，更有效地做子空間分割。而核方法在解決非線性空間的問題中發(fā)揮出色。把核方法和相關(guān)自適應(yīng)子空間分割相結(jié)合，在非線性數(shù)據(jù)集中的判別分類問題上有進(jìn)一步優(yōu)化的表現(xiàn)。

[1]Zhao W，Chellappa R，Phillips P，et al．Face Recognition：A Literature Survey．ACM Computing Surveys（CSUR），2003，35（4）：399-458．

[2]J.Wright,Y.I.Ma,J.Mairal,G.Sapiro,T.S.Huang,Shuicheng Yan,Sparse Representation for Computer Vision and Pattern Recognition,in:Proceedings of the IEEE，98（6），2010：1031-1104.

[3]Yang W k,Wan Z Y,Sun C Y,A Collaborative Representation Based Projections Method for Feature Extraction,Pattern Recognition 48（2015）：20-27.

[4]LU C Y,FENG J S,LIN Z C,et al.Correlation Adaptive Subspace Segmentation by Trace Lasso[C].IEEE International Conference on Computer Vision.[S.l.]:IEEE,2013:1345-1352.

[5]李航.統(tǒng)計(jì)學(xué)習(xí)方法[M].北京：清華大學(xué)出版社，2012（3）：115-123.

[6]L Zhang,W D Zhou,P C Chang,et al.Kernel Sparse Representation-Based Classifier.IEEE Transaction on Signal Processing.4-APRIL 2012.

Adaptive Subspace Segmentation Based on Kernel Method

HONG Lan,WEI Lai
（College of Information Engineering,Shanghai Maritime University,Shanghai 201306）

Face recognition is a hot topic in pattern recognition,and it has important application value.In order to solve the problem of high dimen?sional nonlinear face recognition,proposes an adaptive subspace segmentation method based on kernel method(KCASS).CASS and kernel method are combined to form the Kernel CASS method.The experimental results show that the proposed method is more efficient and effec?tive than the previous classification methods.

Face Recognition;Kernel Method;Subspace Segmentation

1007-1423（2017）24-0035-05

10.3969/j.issn.1007-1423.2017.24.008

洪嵐（1984-），女，碩士研究生，研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)

魏萊（1980-），男，副教授，博士，研究方向?yàn)槟Ｊ阶R(shí)別、機(jī)器學(xué)習(xí)等

2017-05-08

2017-08-01