趙春暉,崔曉辰,齊 濱

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院,黑龍江 哈爾濱 150001)

高光譜技術(shù)是遙感領(lǐng)域近年來(lái)興起的新技術(shù),在諸多領(lǐng)域獲得了廣泛應(yīng)用.高光譜圖像的光譜波段數(shù)多達(dá)幾百個(gè),在對(duì)高光譜數(shù)據(jù)分類(lèi)時(shí),常常會(huì)引起Hughes現(xiàn)象,特征提取是消除Hughes現(xiàn)象的重要手段之一.用于高光譜圖像特征提取的傳統(tǒng)算法包括無(wú)監(jiān)督學(xué)習(xí):主成分分析(principle component analysis,PCA)和利用圖來(lái)逼近數(shù)據(jù)間局部流形的降維算法,如近鄰保持嵌入(neighborhood preserving embedding,NPE)[1]、鄰域保持投影(locality preserving projection,LPP)[2]、線性局部切空間排列(linear local tangent space alignment,LLTSA)[3]等算法;有監(jiān)督學(xué)習(xí)有線性鑒別分析(linear discriminant analysis,LDA)算法.然而在實(shí)際應(yīng)用中,只有少量的數(shù)據(jù)有標(biāo)簽信息,而獲取有用的監(jiān)督信息需要大量的人力和時(shí)間.因此,人們提出了能夠同時(shí)運(yùn)用無(wú)標(biāo)簽數(shù)據(jù)和有標(biāo)簽數(shù)據(jù)的半監(jiān)督學(xué)習(xí),能夠得到相對(duì)較好的學(xué)習(xí)精度.半監(jiān)督鑒別分析(semisupervised discriminant analysis,SDA)[4]算法是在LDA[5]目標(biāo)函數(shù)中加入一個(gè)正則項(xiàng),從而保持?jǐn)?shù)據(jù)的內(nèi)在關(guān)系.半監(jiān)督局部費(fèi)希爾鑒別分析(semisupervised local fisher discriminant analysis,SELF)[6]利用一個(gè)權(quán)衡參數(shù)將無(wú)監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)結(jié)合起來(lái),然而還沒(méi)有標(biāo)準(zhǔn)來(lái)確定權(quán)衡參數(shù)的最優(yōu)值.為了解決傳統(tǒng)算法尋找最優(yōu)參數(shù)的問(wèn)題,最近,Liao等人提出一種無(wú)需調(diào)整參數(shù)的半監(jiān)督局部鑒別分析(semisupervised local discriminant analysis,SELD)[7]算法,目標(biāo)是尋找一種能夠保持?jǐn)?shù)據(jù)局部信息和最大化類(lèi)間鑒別信息的投影方向.然而,流形學(xué)習(xí)算法在構(gòu)造近鄰圖時(shí),不可避免的要考慮參數(shù)的設(shè)置.其次LDA作為一種全局特征提取算法,無(wú)法獲取數(shù)據(jù)的局部鑒別信息.本文提出一種半監(jiān)督局部稀疏嵌入算法(semisupervised local sparse embedding,SELSE).利用稀疏表示系數(shù)[8]作為樣本間相似度構(gòu)建稀疏圖,保持無(wú)標(biāo)簽數(shù)據(jù)在高維和低維空間的稀疏重構(gòu)關(guān)系,最后通過(guò)求解廣義特征值問(wèn)題得到最佳投影,有效地實(shí)現(xiàn)了高光譜圖像的特征提取.

1 半監(jiān)督局部稀疏嵌入降維算法

1.1 問(wèn)題描述

令X={x1,x2,…,xN}∈RD表示一個(gè)高維高光譜數(shù)據(jù)樣本集,Z={z1,z2,…,zN}∈Rd是其低維子集,其中d≤D,D是高光譜數(shù)據(jù)的波段數(shù),d是低維子空間的維數(shù).目標(biāo)是尋找一種映射,可以盡可能保持原始數(shù)據(jù)的信息,即

zi=f(xi)=WTxi.

(1)

其中投影矩陣W=[w1,w2,…,wd]∈RD×d.在特征提取算法中,投影矩陣W可以通過(guò)求解下式的最優(yōu)問(wèn)題獲得,即

(2)

為了解決高光譜數(shù)據(jù)的半監(jiān)督降維問(wèn)題,本文算法需要利用基于稀疏表示系數(shù)構(gòu)造圖的無(wú)監(jiān)督算法處理高光譜數(shù)據(jù)集中大量的無(wú)標(biāo)簽數(shù)據(jù),同時(shí)利用基于局部幾何關(guān)系的有監(jiān)督降維算法處理高光譜數(shù)據(jù)集中少量的有標(biāo)簽數(shù)據(jù),最后通過(guò)線性方法將兩部分?jǐn)?shù)據(jù)組合起來(lái),確定投影矩陣,最終實(shí)現(xiàn)降維處理.

1.2 基于稀疏圖的無(wú)監(jiān)督算法

在基于流形學(xué)習(xí)的降維算法[9]中,圖構(gòu)造[10]一般采用K近鄰算法[11].圖中每個(gè)頂點(diǎn)只與自己在某種距離(如歐幾里得距離)測(cè)度下的k個(gè)近鄰相連接.這樣得到的圖是有向圖,而很多基于圖的半監(jiān)督學(xué)習(xí)算法所用的是無(wú)向圖,這樣必須對(duì)圖的邊緣進(jìn)行處理,需要引入近鄰參數(shù)和熱核參數(shù).通常特征提取算法自動(dòng)選擇最優(yōu)參數(shù)是十分困難的,而且沒(méi)有唯一的標(biāo)準(zhǔn).為了解決上述問(wèn)題,采用基于稀疏表示的圖構(gòu)造策略,將高維數(shù)據(jù)集看作一個(gè)字典,求得每一個(gè)樣本點(diǎn)在該數(shù)據(jù)集的稀疏表示向量,將得到的稀疏系數(shù)作為圖連接結(jié)構(gòu).求解式(3)L0范數(shù)優(yōu)化問(wèn)題

min‖hi‖0,

s.t.xi=Xhi.

(3)

式中,‖·‖0為L(zhǎng)0范數(shù)算子,hi是關(guān)于樣本xi的稀疏重構(gòu)系數(shù)向量.然而式(3)是一個(gè)NP-hard的非凸組合優(yōu)化問(wèn)題.在解足夠稀疏的情況下,可以采用求解L1范數(shù)代替求解L0范數(shù)問(wèn)題.

min‖hi‖1,

s.t.xi=Xhi;1=1Thi.

(4)

式中,‖·‖1為L(zhǎng)1范數(shù)算子.問(wèn)題的目標(biāo)函數(shù)定義為

s.t.WTXXTW=I.

(5)

構(gòu)建稀疏表示模型后,需要構(gòu)建訓(xùn)練字典以及通過(guò)稀疏重構(gòu)優(yōu)化算法得到稀疏表示系數(shù).可以通過(guò)貪婪尋蹤算法得到近似結(jié)果,通過(guò)OMP(正交匹配追蹤)和SP(子空間追蹤)算法進(jìn)行稀疏重構(gòu),得到稀疏系數(shù).上述問(wèn)題等價(jià)于求解最優(yōu)化問(wèn)題

wsparse=argmaxtr(WTXSsXTW),

s.t.WTXXTW=I.

(6)

1.3 基于局部幾何關(guān)系的有監(jiān)督算法

傳統(tǒng)的LDA算法是全局算法,基于全局二階統(tǒng)計(jì)量的,要求樣本為高斯分布,以類(lèi)中心來(lái)表示該類(lèi)樣本.因此算法容易被原始空間中本來(lái)就相距較遠(yuǎn)的樣本主導(dǎo),并且沒(méi)有考慮到局部的數(shù)據(jù)分布.通過(guò)鄰域內(nèi)構(gòu)造吸引圖表達(dá),拉近同類(lèi)數(shù)據(jù)點(diǎn),即

argmaxtr(WTX(DI-RI)XTW),

(7)

argmaxtr(WTX(DP-RP)XTW)

(8)

(9)

在LDA算法中如果在同類(lèi)數(shù)據(jù)中存在少數(shù)相距較遠(yuǎn)的樣本時(shí),會(huì)造成鑒別準(zhǔn)則因類(lèi)內(nèi)散布矩陣奇異而無(wú)法求解,使得算法性能下降.本節(jié)算法在一定程度上克服了LDA無(wú)法解決的樣本多模分布問(wèn)題,并且獲得的投影向量比LDA多,且對(duì)數(shù)據(jù)的分布不作預(yù)先的假設(shè),類(lèi)間間隔能夠更好地用于分類(lèi),缺點(diǎn)是需要調(diào)整的參數(shù)較多.

1.4 算法描述

同樣地,利用稀疏表示構(gòu)造圖對(duì)大量無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行降維

(11)

對(duì)兩類(lèi)數(shù)據(jù)分別降維后,需要將結(jié)果整合得到,

問(wèn)題等價(jià)于求解

S1W=λS2W

(13)

最大的d個(gè)特征值對(duì)應(yīng)的特征向量.

2 算法步驟及流程圖

2.1 算法步驟描述

輸入 高光譜數(shù)據(jù)樣本集X={x1,x2,…,xN}∈RD;

步驟1 將原始數(shù)據(jù)集分為兩部分,Xlabel,Xunlabel,X={Xlabel,Xunlabel}={x1,x2,…,xN};

步驟2 根據(jù)式(6)得到無(wú)標(biāo)簽數(shù)據(jù)的稀疏重構(gòu)權(quán)重矩陣;

步驟3 根據(jù)式(9)得到有標(biāo)簽數(shù)據(jù)的權(quán)值矩陣;

步驟5 求得高維數(shù)據(jù)的低維嵌入坐標(biāo),Z=

WTX;輸出:降維后高光譜數(shù)據(jù)Z={z1,z2,…,zN}∈Rd.

2.2 算法流程圖

圖1是求解稀疏表示系數(shù)的算法流程圖.

圖1 求解稀疏表示系數(shù)算法流程圖Fig.1 Solving sparse representation coefficients algorithm flowchart

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)和高光譜圖像數(shù)據(jù)

實(shí)驗(yàn)所用計(jì)算機(jī)為64-bits,主頻3.5 GHz Intel i7 4770K CPU,內(nèi)存16 G,三級(jí)緩存8 MB.本文實(shí)驗(yàn)采用的AVIRIS高光譜遙感圖像,Indian Pine數(shù)據(jù)集取自1992年6月拍攝的美國(guó)印第安納州西北部印第安遙感試驗(yàn)區(qū)的一部分,圖像大小為145×145像素,共包含220個(gè)波段,像素深度16 bits,波長(zhǎng)范圍從400到2 500 nm,包含16類(lèi)確定類(lèi)別的地物.本文實(shí)驗(yàn)從中選取類(lèi)間相關(guān)度較小的8類(lèi)地物,真實(shí)的地物分類(lèi)圖和每一類(lèi)的樣本個(gè)數(shù)如圖2和表1所示.實(shí)驗(yàn)數(shù)據(jù)樣本X包括有標(biāo)簽樣本Xlabel和無(wú)標(biāo)簽樣本Xunlabel.從標(biāo)簽樣本中隨機(jī)選出7%作為有標(biāo)簽樣本,剩下的93%作為無(wú)標(biāo)簽樣本.再?gòu)挠袠?biāo)簽樣本中隨機(jī)選出80%用來(lái)訓(xùn)練SVM分類(lèi)器.圖2為高光譜數(shù)據(jù)的灰度圖及類(lèi)別標(biāo)記圖,表1為所選數(shù)據(jù)類(lèi)別.

圖2 高光譜數(shù)據(jù)的灰度圖及類(lèi)別標(biāo)記圖Fig.2 Grayscale map and labeled graph of hyperspectral data(a)—高光譜數(shù)據(jù)的灰度圖;(b)—類(lèi)別標(biāo)記圖.

表1 所選數(shù)據(jù)類(lèi)別Table 1 The selected data categories

3.2 降維與分類(lèi)結(jié)果分析

本實(shí)驗(yàn)SVM分類(lèi)器使用RBF kernels(徑向基核函數(shù)).每個(gè)實(shí)驗(yàn)做10次,取平均值.隨機(jī)從各類(lèi)地物樣本中選擇20%作為訓(xùn)練樣本.利用(overall classification accuracy,OCA)總體分類(lèi)精度和KAPPA系數(shù)來(lái)評(píng)估特征提取的結(jié)果.將本文提出的算法和已有的算法進(jìn)行比較.圖3給出了高光譜數(shù)據(jù)的總體分類(lèi)精度與低維嵌入空間的維數(shù)之間的關(guān)系.

由圖3中可以看出:

隨著低維嵌入空間維數(shù)的增加,各算法的總體分類(lèi)精度增加并逐漸收斂.

圖3 不同特征提取算法對(duì)應(yīng)的分類(lèi)總體精度Fig.3 The overall classification accuracy of different feature extraction algorithms

與無(wú)監(jiān)督算法SPP比較,充分利用了高光譜數(shù)據(jù)少量先驗(yàn)類(lèi)別信息的SELD算法,獲得了更高的總體分類(lèi)精度.相比其他基于流形學(xué)習(xí)的降維算法,由于不用考慮參數(shù)的影響,曲線平滑上升.而對(duì)參數(shù)敏感的流形算法在一些特定的維數(shù)總體分類(lèi)精度會(huì)不穩(wěn)定.

本文提出的算法并不是在所有波段都表現(xiàn)良好,例如在維數(shù)7到11維,總體分類(lèi)精度小于LLTSA算法.在維數(shù)大于14時(shí),總體分類(lèi)精度是所有算法中最高的,原因是考慮到數(shù)據(jù)集局部的幾何關(guān)系,效果好于全局算法.

表2給出了最高總體分類(lèi)精度對(duì)應(yīng)的各類(lèi)別分類(lèi)精度,圖4給出了不同特征提取算法對(duì)應(yīng)的最高總體分類(lèi)精度的分類(lèi)圖.由表2和圖4可以看出,各算法對(duì)干草和小麥的分類(lèi)精度明顯優(yōu)于其他類(lèi)別;本文提出的算法在3個(gè)類(lèi)別的分類(lèi)精度達(dá)到較好效果.

表2 最高總體分類(lèi)精度對(duì)應(yīng)的各類(lèi)別分類(lèi)精度(每類(lèi)別最高用黑體表示)Table 2 Highest overall classification accuracy of classification accuracy corresponding to each category (the highest of each category represented in bold)

3.3 計(jì)算復(fù)雜度分析

本文算法的計(jì)算復(fù)雜度主要包括稀疏系數(shù)求解和廣義特征值求解[12],與樣本個(gè)數(shù)N和維數(shù)D有關(guān),計(jì)算復(fù)雜度為4D2/3+DN+o(N)+o(D3),而SELD算法的計(jì)算復(fù)雜度主要包括尋找近鄰圖,計(jì)算復(fù)雜度為o(DN2),當(dāng)N?D時(shí),本文算法可以較節(jié)省時(shí)間.表3給出了不同特征提取算法降維和分類(lèi)的平均運(yùn)算時(shí)間.

圖4 不同特征提取算法對(duì)應(yīng)的最高總體分類(lèi)精度的分類(lèi)圖Fig.4 The classification map of different feature extraction algorithms corresponding highest overall classification accuracy(a)—PCA;(b)—LDA;(c)—MFA;(d)—NPE;(e)—LLTSA;(f)—SPP;(g)—SELDNPE;(h)—SELDLLTSA;(i)—SELSE.

表3 不同特征提取算法降維和分類(lèi)的平均運(yùn)算時(shí)間Table 3 The average operation time of different feature extraction algorithm for dimensionality reduction and classification

4 結(jié) 論

高光譜圖像數(shù)據(jù)具有維數(shù)高,信息量大以及信息相關(guān)性強(qiáng)等特點(diǎn),若不進(jìn)行處理直接分類(lèi),不僅會(huì)影響整體分類(lèi)精度,而且增加計(jì)算復(fù)雜度.本文提出了一種半監(jiān)督局部稀疏嵌入降維算法,利用少量的有標(biāo)簽樣本最大化類(lèi)間鑒別信息,并且通過(guò)求解范數(shù)優(yōu)化問(wèn)題獲得稀疏系數(shù)向量構(gòu)圖,無(wú)需考慮近鄰參數(shù)選擇的問(wèn)題,在樣本點(diǎn)數(shù)遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)維數(shù)的情況下,計(jì)算復(fù)雜度會(huì)有所減少.在Indian Pine高光譜數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文提出的算法能夠有效提升分類(lèi)性能,并且不會(huì)以犧牲計(jì)算復(fù)雜度作為代價(jià).

參考文獻(xiàn):

[1] He X F,Cai D,Yan S C,et al.Neighborhood Preserving Embedding[C].Tenth IEEE International Conference on Computer Vision,Volume 2,2005:1208-1213.

[2] He X F,Niyogi P.Locality Preserving Projections[C].Proceedings of Neural Information Processing Systems.Cambridge,Mass: MIT Press,2004:153-160.

[3] Zhang T,Yang J,Zhao D,et al.Linear Local Tangent Space Alignment and Application to Face Recognition[J].Neurocomput,2007,70(7/8/9):1547-1553.

[4] Cai D,He X F,Han J W.Semi-Supervised Discriminant Analysis[C].IEEE 11th International Conference on Computer Vision,2007:1-7.

[5] Du Q.Modified Fisher’s Linear Discriminant Analysis for Hyperspectral Imagery[J].IEEE Geoscience and Remote Sensing Letters,2007,4(4):503-507.

[6] Sugiyama M,Ide T,Nakajima S,Sese J.Semisupervised Local Fisher Discriminant Analysis for Dimensionality Reduction[J].Machine Learning,2010,78(2):35-61.

[7] Liao W Z,Pizurica A,Scheunders P.Semisupervised Local Discriminant Analysis for Feature Extraction in Hyperspectral Images[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(1):184-198.

[8] Yi Chen,Nasrabadi N M,Tran T D.Hyperspectral Image Classification Using Dictionary-Based Sparse Representation [J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(10):3973-3985.

[9] Bachmann C M,Ainsworth T L,Fusina R A.Exploiting Manifold Geometry in Hyperspectral Imagery[J].IEEE Transactions on Geoscience and Remote Sensing,2005,43(3):441-454.

[10] Ma L,Crawford M M,Tian J.Local Manifold Learning-Based K-Nearest-Neighbor for Hyperspectral Image Classification[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(11):4099-4109.

[11] Camps-Valls G,Bandos T,Zhou D.Semisupervised Graph-Based Hyperspectral Image Classification[J].IEEE Transactions on Geoscience and Remote Sensing,2007,45(10):3044-3054.

[12] Belkin M,Niyogi P.Laplacia Eigenmaps and Spectral Techniques for Embedding and Clustering[C].Proceedings of Neural Information Processing Systems.Vancouver,BC,Canada,2002:585-591.