劉 勇，楊園園，茍建平，劉志鋒

(1.四川輕化工大學(xué) 人工智能四川省重點(diǎn)實(shí)驗(yàn)室，四川 自貢 643002；2.江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇 鎮(zhèn)江 212013)

近年來，快速發(fā)展的智能傳感信息技術(shù)產(chǎn)生了大量視覺圖像數(shù)據(jù).由于這些圖像通常分布在高維空間，其內(nèi)在結(jié)構(gòu)特征在信息處理與分析過程中難以發(fā)掘，其算法學(xué)習(xí)過程中容易形成“維度災(zāi)難”，因此有必要對圖像進(jìn)行降維處理.在機(jī)器學(xué)習(xí)領(lǐng)域中，絕大多數(shù)降維方法是線性的，且大都可以統(tǒng)一到圖嵌入框架中[1].

在線性降維技術(shù)中，主成分分析(principle correlation analysis，PCA)、線性可鑒別分析(linear discriminant analysis，LDA)和局部保持投影(locality preserving projections，LPP)[2]是圖嵌入框架下的3種經(jīng)典方法.PCA主要通過最大化協(xié)方差矩陣來尋找最優(yōu)投影矩陣，是一種無監(jiān)督方法.LDA是一種有監(jiān)督方法，通過最大化類間離散度與最小化類內(nèi)離散度來學(xué)習(xí)最優(yōu)投影矩陣.PCA沒有利用標(biāo)簽信息，不能較好用于分類，而LDA考慮標(biāo)簽信息卻導(dǎo)致小樣本問題.PCA和LDA僅強(qiáng)調(diào)數(shù)據(jù)的全局結(jié)構(gòu)而忽視了數(shù)據(jù)的局部結(jié)構(gòu).為了利用數(shù)據(jù)的局部結(jié)構(gòu)信息，局部保持投影(LPP)是一種典型的保持高維數(shù)據(jù)局部流形結(jié)構(gòu)特征的線性方法.基于LPP的思想和優(yōu)點(diǎn)，近年來提出很多基于LPP的擴(kuò)展新方法[3-5].文獻(xiàn)[3]提出了快速正交保局投影(fast and orthogonal locality preserving projections，F(xiàn)OLPP)，在正交約束下，最大化全局最小化局部，快速學(xué)習(xí)正交投影矩陣.文獻(xiàn)[4]提出了保持局部相似性的可鑒別(local similarity preserving discriminant，LSPD)投影降維方法，且其擴(kuò)展方法(LSPD+)在保持樣本局部相似性的同時(shí)，還保持?jǐn)?shù)據(jù)的幾何結(jié)構(gòu)信息.文獻(xiàn)[5]提出了穩(wěn)定正交局部判別嵌入(stable orthogonal local discriminant embedding using trace ra-tio，SOLDE-TR)，構(gòu)造數(shù)據(jù)結(jié)構(gòu)的3個(gè)鄰接圖，并使用跡比準(zhǔn)則求解最優(yōu)投影矩陣.

線性表示學(xué)習(xí)在模式分類中取得了顯著的分類效果.在降維技術(shù)中，利用數(shù)據(jù)表示隱含潛在的數(shù)據(jù)幾何和判別信息，提出了一些基于表示學(xué)習(xí)的圖嵌入新方法.文獻(xiàn)[6]采用稀疏表示自動(dòng)構(gòu)圖，稀疏系數(shù)作為圖的邊權(quán)重，提出稀疏保持投影(sparsity preserving projections，SPP)的降維方法.鑒于SPP良好的降維效果，文獻(xiàn)[7]提出稀疏與幾何保持圖嵌入(sparsity and geometry preserving graph embedding，SGPGE)方法，其使用稀疏表示重構(gòu)樣本，并設(shè)計(jì)反映數(shù)據(jù)幾何分布和判別信息的構(gòu)圖方式.文獻(xiàn)[8]提出基于協(xié)作表示的投影(collaborative representation based projections，CRP)的方法，其采用協(xié)作表示構(gòu)圖，協(xié)作表示系數(shù)作為圖的邊權(quán)重.鑒于CRP是一種無監(jiān)督的方法，文獻(xiàn)[9]提出的可鑒別協(xié)作表示圖嵌入(collaborative representation discri-minant embedding，CRDE)，在表示構(gòu)圖中充分利用類別標(biāo)簽信息.

盡管數(shù)據(jù)表示重構(gòu)樣本可以在一定程度上捕獲數(shù)據(jù)的一些本質(zhì)特征，但是樣本的可鑒別信息和幾何分布信息沒有被充分考慮，導(dǎo)致高維數(shù)據(jù)在子空間中分類效果不好.為了提高高維數(shù)據(jù)在低維空間中的表示和識(shí)別能力，文中提出一種基于概率協(xié)作表示的幾何保持圖嵌入(probabilistic collaborative representation geometry preserving graph embedding，PCRGPGE)方法.PCRGPGE采用概率協(xié)作表示重構(gòu)樣本[10]來充分捕獲數(shù)據(jù)的本質(zhì)特征信息，并采用考慮內(nèi)類和類間樣本點(diǎn)的幾何分布的可鑒別構(gòu)圖方式.通過將所提PCRGPGE與相關(guān)的經(jīng)典和新的圖嵌入方法在高維人臉數(shù)據(jù)集上進(jìn)行對比試驗(yàn).

1 相關(guān)投影方法

首先設(shè)X=[X1,X2,…,XC]=[x1,x2,…,xn]∈Rd×n表示一個(gè)高維數(shù)據(jù)集，Y=[y1,y2,…,yn]∈Rr×n表示X從原始高維空間投影到低維子空間所對應(yīng)的集合，Xi是第i類的樣本集.其中，d和r分別是原始高維空間和低維子空間的特征維度，n是樣本總個(gè)數(shù)，每個(gè)樣本xi對應(yīng)的類標(biāo)簽是ci∈{1,2,…,C}，C是類別個(gè)數(shù).

1.1 局部保持投影(LPP)

局部保持投影方法[2]是一種典型的基于流形學(xué)習(xí)的圖嵌入降維方法，其采用近鄰構(gòu)圖方式構(gòu)造高維數(shù)據(jù)鄰接圖來反映原始高維數(shù)據(jù)的局部流形結(jié)構(gòu).LPP使得原始高維空間中的相似樣本在低維子空間中也保持相似.在近鄰構(gòu)圖的鄰接矩陣W中，樣本xi與xj之間權(quán)重的wij計(jì)算式為

(1)

式中：N(xj)為樣本xj的k個(gè)近鄰集合；t為正的可調(diào)整因子.基于近鄰構(gòu)圖方式，LPP目標(biāo)函數(shù)定義如下：

(2)

式中：p為投影矩陣P的任意一個(gè)投影向量.式(2)經(jīng)過簡單計(jì)算轉(zhuǎn)化成一般特征值求解問題，如下：

XLXTp=λXDXTp,

(3)

1.2 基于協(xié)作表示的投影(CRP)

基于協(xié)作表示的投影[9]采用協(xié)作表示自動(dòng)構(gòu)圖來反映數(shù)據(jù)的結(jié)構(gòu)特征，其協(xié)作表示系數(shù)作為圖的邊權(quán)重.協(xié)作表示構(gòu)圖模型如下：

(4)

式中：wi=[wi1,wi2,…,wii,…,win]T∈Rn，其中wii=0表明去除X中的樣本xi，即xi在數(shù)據(jù)表示中不參與表達(dá)自身，wij(i≠j)表示每一個(gè)xj對于重構(gòu)xi的貢獻(xiàn)，在協(xié)作表示構(gòu)圖中定義為xj到xi的邊權(quán)重；λ為調(diào)整因子.

利用協(xié)作表示構(gòu)圖，定義局部緊致離散度如下：

(5)

式中：SL=X(I-W-WT+WWT)XT是局部離散矩陣，且W=[w1,w2,…,wn]T為協(xié)作表示構(gòu)圖的鄰接矩陣.同時(shí)，定義全局分離離散度如下：

(6)

CRP的目標(biāo)函數(shù)定義如下：

(7)

經(jīng)過簡單計(jì)算，式(7)轉(zhuǎn)化成如下一般特征值求解問題：

STP=λSLP.

(8)

CRP的最優(yōu)投影矩陣P由式(8)的前r個(gè)最大特征值對應(yīng)的特征向量組成.

2 基于概率協(xié)作表示的幾何保持圖嵌入

2.1 基本思想

為了充分獲取高維數(shù)據(jù)的結(jié)構(gòu)信息并保持在子空間中，增強(qiáng)數(shù)據(jù)的模式判別能力，基于概率協(xié)作表示的幾何保持圖嵌入(PCRGPGE)利用概率協(xié)作表示重構(gòu)高維數(shù)據(jù)樣本，獲取數(shù)據(jù)的自然判別信息和數(shù)據(jù)結(jié)構(gòu)信息.而且，PCRGPGE采用一種新的可鑒別構(gòu)圖方式，考慮類內(nèi)和類間數(shù)據(jù)點(diǎn)的幾何分布信息，構(gòu)建類內(nèi)和類間的鄰接圖，進(jìn)一步增強(qiáng)類內(nèi)的緊致和類間的分離度.在PCRGPGE中，假定相似的高維樣本所對應(yīng)的概率協(xié)作表示重構(gòu)樣本也相似，其重構(gòu)樣本在低維空間中也保持相似，反之亦然，從而建立圖嵌入目標(biāo)函數(shù)，求解高維數(shù)據(jù)向低維子空間轉(zhuǎn)化的投影矩陣，增強(qiáng)高維數(shù)據(jù)在低維子空間中的表示和判別能力.PCRGPGE的基本思想框架如圖1所示.

圖1 PCRGPGE基本思想框架

2.2 概率協(xié)作表示構(gòu)圖

根據(jù)概率協(xié)作表示的原理[10]，xi的概率協(xié)作表示模型定義如下：

(9)

式中：si=[si1,si2,…,sii,…,sin]T∈Rn，其中sii=0表明從X去除樣本xi，sij(i≠j)表示每一個(gè)樣本xj對于重構(gòu)樣本xi的貢獻(xiàn)大?。籫a和ka為調(diào)整因子.通過求解式(9)，得到

(10)

2.3 類內(nèi)與類間構(gòu)圖

為了充分反映高維數(shù)據(jù)的幾何結(jié)構(gòu)信息和判別信息，PCRGPGE采用文獻(xiàn)[11]的類內(nèi)和類間構(gòu)圖方式.

(11)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

(19)

(20)

2.4 類內(nèi)與類間幾何保持離散度

在PCRGPGE中，假定原始空間中類別相同的2個(gè)樣本xi與xj相似，則其概率協(xié)作表示重構(gòu)Xsi與Xsj也相似，其重構(gòu)樣本在低維子空間中也應(yīng)該保持相似.根據(jù)假定，為了保持類內(nèi)樣本的相似性和增強(qiáng)緊致度，定義圖嵌入子空間中的類內(nèi)幾何保持離散度為

(21)

Xsj)T]=XSL+STXT，

(22)

同樣在PCRGPGE中，也假定原始空間中類別不同的2個(gè)樣本xi與xj不相似，則其概率協(xié)作表示重構(gòu)Xsi與Xsj也不相似，其重構(gòu)樣本在低維子空間中也應(yīng)該保持不相似.根據(jù)該假定，為了保持類間樣本的幾何信息和增強(qiáng)區(qū)別，定義圖嵌入子空間中的類間幾何保持離散度為

(23)

是類間幾何保持離散度矩陣，且經(jīng)過簡單運(yùn)算可以轉(zhuǎn)化為

Xsj)T]=XSL-STXT，

(24)

2.5 目標(biāo)函數(shù)

PCRGPGE采用最大化類間幾何保持離散度JB(p)和最小化類內(nèi)幾何保持離散度JW(p)，并在投影向量正交約束下，其目標(biāo)函數(shù)定義如下：

(25)

式(25)經(jīng)過拉格朗日乘數(shù)法，轉(zhuǎn)化為如下一般特征值求解問題：

XS(L--L+)STXTp=λp.

(26)

通過計(jì)算式(26)最大特征問題，最優(yōu)投影矩陣P由前r個(gè)最大特征值所對應(yīng)的特征向量組成，即：P=[p1,p2,…,pr].綜上，PCRGPGE方法的輸入：使用PCA對輸入訓(xùn)練樣本X預(yù)處理；其輸出：最優(yōu)投影矩陣P.方法流程如下：① 根據(jù)式(10)計(jì)算概率協(xié)作表重構(gòu)X的表示系數(shù)矩陣S；② 構(gòu)造類內(nèi)與類間鄰接圖，根據(jù)式(15)和(20)計(jì)算權(quán)重矩陣W+和W-；③ 根據(jù)式(22)和(24)計(jì)算基于概率協(xié)作表示的類內(nèi)與類間拉普拉斯矩陣L+、SW和L-、SB；④ 根據(jù)式(26)，計(jì)算投影轉(zhuǎn)化矩陣.

3 試 驗(yàn)

為了驗(yàn)證PCRGPGE的有效性，在2個(gè)經(jīng)典的人臉圖像數(shù)據(jù)集上，將其與PCA、LDA、LPP、FOLPP、SPP、CRP、CRDE、LSPD+、SOLDE-TR和SGPGE進(jìn)行對比試驗(yàn).在所有對比方法所學(xué)習(xí)的低維子空間中，采用簡單的近鄰方法作為分類器，測試高維數(shù)據(jù)在低維空間的識(shí)別能力.

3.1 數(shù)據(jù)集

將本方法分別在PIE29和IMM數(shù)據(jù)集上進(jìn)行驗(yàn)證.人臉數(shù)據(jù)集PIE29共有1 632張圖片，68個(gè)類別，每類有24張圖片；人臉數(shù)據(jù)集IMM包含240張圖片，共40類，每類有6張圖片.在試驗(yàn)中，每張圖片都采樣成32×32的像素大小并拉伸成2 014維，并灰度量綱一化到0～1區(qū)間.分別來自PIE29和IMM數(shù)據(jù)集上某一類圖像樣本示例如圖2所示.

圖2 2個(gè)數(shù)據(jù)集的樣本示例

3.2 參數(shù)選擇

在PCRGPGE方法中，涉及到式(10)中概率協(xié)作表示重構(gòu)的2個(gè)參數(shù)ka和ga和類間與類內(nèi)構(gòu)圖的參數(shù)q.為了使得高維數(shù)據(jù)在低維空間的表達(dá)和識(shí)別能力達(dá)到最佳效果，試驗(yàn)中q的取值范圍是1.0到3.0，步長是0.5；ka與ga的取值范圍是0.1到1.0，步長是0.1.在試驗(yàn)中，隨機(jī)選取每類中的l個(gè)樣本作為訓(xùn)練樣本，剩余作為測試樣本.每個(gè)數(shù)據(jù)集隨機(jī)這樣劃分30次，這30次試驗(yàn)的平均值作為最后的試驗(yàn)結(jié)果.PIE29每類訓(xùn)練樣本l選取為8，IMM每類訓(xùn)練樣本l選取為2.

根據(jù)文獻(xiàn)[7]、[11]研究結(jié)果和文中的試驗(yàn)可知，所提出方法所采取的構(gòu)圖方式，其參數(shù)q取值1.5時(shí)，低維空間的識(shí)別效果最好.在此，當(dāng)q=1.5時(shí)，給出所提出方法的識(shí)別精度隨參數(shù)ka和ga變化的試驗(yàn)結(jié)果，如圖3所示.

圖3 PCRGPGE的識(shí)別率隨參數(shù)的變化

由圖3可見，參數(shù)ka對分類結(jié)果的影響相對比較小，而參數(shù)ga的影響很大.試驗(yàn)結(jié)果表明，概率協(xié)作表示重構(gòu)樣本能明顯提高圖嵌入子空間的模式判別能力.因此，在后續(xù)試驗(yàn)中，在數(shù)據(jù)集上的參數(shù)設(shè)置如下：在PIE29集上q=1.5，ka=0.1，ga=0.4；在IMM數(shù)據(jù)集上q=1.5，ka=0.5，ga=1.0.

3.3 試驗(yàn)結(jié)果

采用3.2節(jié)的參數(shù)設(shè)置，將PCRGPGE與其他圖嵌入方法進(jìn)行對比.試驗(yàn)主要對比各方法的識(shí)別結(jié)果隨子空間維度的變化和各方法在子空間中獲得的最好識(shí)別結(jié)果.

首先給出各對比方法在2個(gè)人臉數(shù)據(jù)集上的識(shí)別結(jié)果隨維度變化的結(jié)果，如圖4所示.需要強(qiáng)調(diào)的是，圖4只列出了子空間維度在1～45的變化，且能說明各對比方法的變化趨勢.由圖4可見，各方法的識(shí)別率在維度空間較小時(shí)迅速提高，隨著維度的增大，各方法的識(shí)別精度增長緩慢或者保持穩(wěn)定.而且，圖4試驗(yàn)結(jié)果驗(yàn)證PCRGPGE方法較其他對比方法，在維度變化過程中都取得較好的分類結(jié)果.

根據(jù)圖4各方法的識(shí)別結(jié)果隨維度變化，給出各方法在子空間維度變化中取得的最好識(shí)別結(jié)果及其偏差，如表1所示.

圖4 各對比方法的識(shí)別率隨維度的變化

表1 各對比方法的識(shí)別率及其偏差 %

由表1可見，在所有對比方法中，PCRGPGE方法取得了最好的識(shí)別結(jié)果.通過以上結(jié)果分析可見，PCRGPGE方法在低維子空間中具有較好模式表達(dá)和判別能力，可以較好地保持高維數(shù)據(jù)的結(jié)構(gòu)特征和判別信息，是一種較好的圖嵌入降維技術(shù).

4 結(jié) 論

文中提出基于概率協(xié)作表示的幾何保持圖嵌入降維新方法，通過概率協(xié)作表示重構(gòu)和類內(nèi)與類間的構(gòu)圖方式，將高維數(shù)據(jù)的幾何結(jié)構(gòu)和判別信息保持在低維子空間中.通過在人臉數(shù)據(jù)集上與相關(guān)圖嵌入方法進(jìn)行對比試驗(yàn)，結(jié)果表明所提出方法增強(qiáng)了高維數(shù)據(jù)在低維子空間中的有效特征表達(dá)和模式判別能力，是一種有效的圖嵌入降維方法.在此后的研究工作中，將進(jìn)一步研究協(xié)作表示與圖嵌入的同步學(xué)習(xí)過程.