何艷萍,陳天偉,鄭旭東,沈宇臻

(桂林理工大學(xué) a.測(cè)繪地理信息學(xué)院;b.廣西空間信息與測(cè)繪重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541006)

0 引 言

高光譜遙感影像分類(lèi)是高光譜遙感影像實(shí)際應(yīng)用中的重要組成部分,同時(shí)也是技術(shù)難點(diǎn)之一。目前,國(guó)內(nèi)外學(xué)者對(duì)高光譜遙感影像分類(lèi)進(jìn)行了大量研究,但分類(lèi)算法有效性、分類(lèi)方法穩(wěn)定性等仍亟待提高。雖然高光譜圖像(hyperspectral image,HSI)中可用的豐富光譜信息使得在相似的材料物質(zhì)之間進(jìn)行分類(lèi)成為可能[1],但是由于訓(xùn)練樣本的缺乏及高光譜影像的多維性[2],使得高光譜圖像分類(lèi)精度相對(duì)較低。 為了解決上述問(wèn)題,眾多算法被研究應(yīng)用于高光譜遙感影像分類(lèi),如: 多核分類(lèi)(multi-kernel classification,MKC)、支持向量機(jī)(support vector machine,SVM)、低秩表示(low-rank representation,LRR)、極限學(xué)習(xí)機(jī)(extreme learning machine,ELM)及稀疏多項(xiàng)邏輯回歸(sparse multinomial logistic regression,SMLR)[3-8]等。 此外,在針對(duì)高光譜遙感影像的多維特征時(shí),也誕生了許多用于降維和特征提取的方法,主要包括分段自動(dòng)編碼器(segmented stacked auto-encoder,SSAE) 及線性判決分析(linear discriminate analysis,LDA)[9-10]等。在上述方法中,稀疏多項(xiàng)邏輯回歸因其良好的穩(wěn)定性和有效性,取得了較為廣泛的應(yīng)用[11-12]。但由于稀疏多項(xiàng)式邏輯回歸在處理高維度的特征時(shí)僅利用原始的光譜信息,不具備良好的特征投影性能,且其初始回歸值需要人工設(shè)定,使得其在針對(duì)高光譜遙感影像分類(lèi)時(shí)具有較大的局限性。為了解決這兩個(gè)缺點(diǎn),文獻(xiàn)[8]提出了一種超限稀疏多項(xiàng)邏輯回歸(extreme sparse multinomial logistic regression,ESMLR)算法。超限稀疏多項(xiàng)邏輯回歸可以將高光譜數(shù)據(jù)集投射到具有隨機(jī)生成的權(quán)重和偏差的新特征空間且通過(guò)拉格朗日乘數(shù)法和對(duì)偶原理建立的優(yōu)化模型,再通過(guò)最小化訓(xùn)練誤差和自動(dòng)確定回歸量的條件為稀疏多項(xiàng)邏輯回歸得到一個(gè)良好的初始回歸量。因此，超限稀疏多項(xiàng)邏輯回歸在針對(duì)高光譜遙感影像分類(lèi)中相比于稀疏多項(xiàng)式邏輯回歸更具適用性。

但在高光譜影像中,由于受影像成像時(shí)周?chē)h(huán)境和傳感器本身的影響,使得影像存在較多的“同物異譜、同譜異物”的現(xiàn)象,進(jìn)一步增加了分類(lèi)的難度[13]。 傳統(tǒng)的超限稀疏多項(xiàng)邏輯回歸算法不具備良好的圖像內(nèi)在結(jié)構(gòu)分析性能,且由于超限稀疏多項(xiàng)邏輯回歸在處理數(shù)據(jù)方面僅對(duì)影像進(jìn)行了特征投影變換,故也不具備內(nèi)在特征分析性能,從而使該算法在針對(duì)具有多維、海量數(shù)據(jù)特征的高光譜遙感影像分類(lèi)時(shí),還存在一定的不足。

為了解決上述問(wèn)題,本文提出了一種基于超限稀疏多項(xiàng)邏輯回歸和奇異譜分析(singular spectrum analysis,SSA)的高光譜遙感影像分類(lèi)方法。奇異譜分析是一種時(shí)間序列分析和預(yù)測(cè)技術(shù)[14],其主要目標(biāo)是將原始系列分解為若干獨(dú)立子系列[15]。這些子系列是可解釋的,即它們可以主要被識(shí)別為變化的趨勢(shì)——振蕩或噪聲。奇異譜分析的主要功能可歸納為[15-16]:1)分析復(fù)雜的趨勢(shì)和不同幅度的周期; 2)對(duì)信號(hào)的趨勢(shì)、周期性成分進(jìn)行提取和平滑; 3)對(duì)振蕩信號(hào)的包絡(luò)分析。因此,結(jié)合超限稀疏多項(xiàng)邏輯回歸和奇異譜分析將會(huì)進(jìn)一步提高超限稀疏多項(xiàng)邏輯回歸用于高光譜圖像分類(lèi)的精度。本文方法首先利用奇異譜分析對(duì)歸一化處理后的高光譜遙感影像數(shù)據(jù)原始系列分解為若干獨(dú)立的子系列,然后進(jìn)行重構(gòu),以達(dá)到去除噪聲信息及提取有效信息的目的,隨后聯(lián)合具有良好性能的超限稀疏多項(xiàng)邏輯回歸算法實(shí)現(xiàn)對(duì)高光譜遙感影像分類(lèi)。

1 超限稀疏多項(xiàng)邏輯回歸

設(shè)定有n個(gè)訓(xùn)練樣本x=[x1,x2,…,xn]∈Rd×n和相應(yīng)的標(biāo)簽Y=[y1,y2,…,yn]∈RM×n,其中d為高光譜圖像的層數(shù),M為高光譜圖像的總類(lèi)別個(gè)數(shù)。超限稀疏多項(xiàng)邏輯回歸用于高光譜圖像分類(lèi)建模[8]:

(1)

(2)

其中,h(xi)是多項(xiàng)邏輯回歸的輸入特征且h(xi)=[xi1,…,xid]T,w=[w(1),…,w(M-1)]T∈R(M-1)×d表示回歸量。由于式(1)、(2)的密度不依賴(lài)于回歸量的平移,所以wM設(shè)置為0[7]。

可通過(guò)優(yōu)化以下方案來(lái)解決稀疏多項(xiàng)式邏輯回歸的初始回歸值問(wèn)題。

Minimize‖wH-Y‖2and ‖w‖2,

(3)

其中,Y=[y1,y2,…,yn]∈R(M-1)×N;

(4)

其中:C為正則化參數(shù);ξi為樣本的訓(xùn)練誤差。

基于Karush Kuhn Tucker最優(yōu)性條件和拉格朗日乘子法[16],可得

(5)

其中,aij為拉格朗日乘子。

因此,通過(guò)解決式(5)可得超限稀疏多項(xiàng)邏輯回歸的初始回歸值為

(6)

基于超限稀疏多項(xiàng)邏輯回歸的算法原理,在第k次迭代中提出的超限稀疏多項(xiàng)邏輯回歸的回歸量w可以通過(guò)最大后驗(yàn)估計(jì)來(lái)計(jì)算

(7)

其中,p(wk-1)∝exp(-λ‖wk-1‖1)和λ是用于控制稀疏度的正則化參數(shù),k=1,2,…,n。

2 本文方法

假設(shè)一個(gè)高光譜圖像像素點(diǎn)X=[X1,X2,…,XN]∈RN的向量陣列x中有1個(gè)一維信號(hào),首先將高光譜圖像數(shù)據(jù)歸一化,然后采用奇異譜分析對(duì)數(shù)據(jù)進(jìn)行處理。奇異譜分析算法可分為嵌入、奇異值分解、分組及對(duì)角平均和投影4部分。

2.1 嵌入

定義一個(gè)窗口大小L∈Z滿足L∈(1,N),矢量x的軌跡矩陣X可以被表示為[14]

(8)

式中:X,CK的每一列是一個(gè)滯后向量,可以表示為CK=[XK,XK+1,…XK+L-1]T∈RL,其中k∈[1,K],而K=N-L+1。值得注意的是沿著矩陣X的反對(duì)角線有相同的值。因此,其實(shí)質(zhì)上為一個(gè)漢克爾矩陣[15]。

2.2 奇異值分解

首先,由軌跡矩陣X可得到矩陣S，因?yàn)镾=XXT,S的特征值及其各自對(duì)應(yīng)的特征向量可分別用(λ1≥λ2≥…≥λL)和(U1,U2,…,UL)表示。對(duì)于軌跡矩陣X,令d等于X的秩,為簡(jiǎn)便,可令d=L。例如:

X=X1+X2+…+Xd。

(9)

可以看出,軌跡矩陣X實(shí)際上是由幾個(gè)矩陣相加得到。每個(gè)矩陣Xi|i∈[1,L]稱(chēng)為初等矩陣,對(duì)應(yīng)于其各自的特征值被下式所定義

(10)

其中,Vi被定義為

(11)

U=(U1,U2,…,UL)∈RL×L,

V=(V1,V2,…,VL)∈RL×L。

(12)

2.3 分組

在此步驟中,L分量的總集合被分為M個(gè)不相交的集合,I1,I2,…,IM,其中∑|Im|=L,而m∈[1,M]。設(shè)I=[i1,i2,…,ip]表示分割組中的一個(gè),與組I相關(guān)的矩陣XI被定義為XI=Xi1+Xi2+…+Xip。最后,軌跡矩陣X被表示為

X=XI1+XI2+…+XIm。

(13)

為簡(jiǎn)單起見(jiàn),典型的分組是m=L,即p=1,并且為了方便,本文中只考慮p=1的情況。這是指每個(gè)集合僅由一個(gè)部分組成的情況。一般來(lái)說(shuō),每個(gè)矩陣XI對(duì)SVD中的軌跡矩陣X的貢獻(xiàn)與其特征值緊密相關(guān),因此可以得到[12]

(14)

2.4 對(duì)角平均和投影

通過(guò)之前的分組獲得的矩陣XIm(m∈[1,M])不一定為原始軌跡矩陣中的漢克爾矩陣類(lèi)型。但是,為了將這些矩陣投影至一維信號(hào),需對(duì)其進(jìn)行約束，可以通過(guò)獲得XIm的所有反對(duì)角線的平均值來(lái)實(shí)現(xiàn),因?yàn)檫@些用于平均值的值對(duì)導(dǎo)出的一維向量陣列中的相同元素貢獻(xiàn)一致。

設(shè)Zm=[Zm1,Zm2,…,Zmn]∈RN表示從XIm投射的一維信號(hào),其可通過(guò)對(duì)角線平均獲得,即

(15)

其中：j,n-j+1指的是XIm的元素,由此得到Zm。最后原始的一維信號(hào)可以被重建為

(16)

(17)

訓(xùn)練完成則可用剩余樣本或者整個(gè)高光譜數(shù)據(jù)集進(jìn)行分類(lèi)測(cè)試

(18)

3 實(shí)驗(yàn)部分

3.1 實(shí)驗(yàn)數(shù)據(jù)

采用Indian Pines[8]和Pavia University[19]標(biāo)準(zhǔn)數(shù)據(jù)集對(duì)本文方法的有效性進(jìn)行實(shí)驗(yàn)論證,Indian Pines數(shù)據(jù)集由AVIRIS傳感器于1992年6月拍攝,數(shù)據(jù)集大小為145×145×220,移除20個(gè)水污染的波段后,此數(shù)據(jù)集的大小為145×145×200,共有10 366個(gè)樣本,16個(gè)類(lèi)別,具體類(lèi)別名稱(chēng)及各類(lèi)樣本數(shù)見(jiàn)表1。

Pavia University高光譜標(biāo)準(zhǔn)數(shù)據(jù)集為光譜成像儀ROSIS于2003年對(duì)意大利帕維亞城成像結(jié)果提取的帕維亞大學(xué)部分,空間分辨率1.3 m,數(shù)據(jù)大小為610×340×103,成像波長(zhǎng)范圍0.43～0.86 μm,數(shù)據(jù)共含有9個(gè)地物類(lèi)別,具體類(lèi)別名稱(chēng)及各類(lèi)樣本數(shù)見(jiàn)表2。

為了對(duì)比本文提出方法的有效性,本文利用ESMLR[8]、ELM[20]及ESMLR-AP進(jìn)行對(duì)比論證,其中ESMLR-AP方法是利用屬性剖面(attribute profile,AP)[21]代替SSA進(jìn)行影像噪聲處理并利用ESMLR進(jìn)行分類(lèi)的一種方法。訓(xùn)練樣本數(shù)量采用每類(lèi)5、10、15、20、25、30個(gè),另外,為證明本文方法的穩(wěn)定性,另取每類(lèi)1%的數(shù)據(jù)作為訓(xùn)練樣本進(jìn)行實(shí)驗(yàn)(考慮篇幅問(wèn)題,對(duì)Pavia University數(shù)據(jù)集實(shí)驗(yàn)中僅采用每類(lèi)5、10個(gè)像元作為訓(xùn)練樣本)。 采用總體精度(overall accuracies,OA)、平均精度(average accuracies,AA)、Kappa系數(shù)以及這3個(gè)指標(biāo)的標(biāo)準(zhǔn)差對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行精度分析,為保證實(shí)驗(yàn)的有效性及合理性,所有訓(xùn)練樣本都為隨機(jī)抽取,且所有實(shí)驗(yàn)結(jié)果都為10次平均值。

表1 Indian Pines的各類(lèi)樣本數(shù)Table 1 Numbers of Indian Pines samples

表2 Pavia University的各類(lèi)樣本數(shù)Table 2 Numbers of Pavia University samples

為了測(cè)試奇異譜分析算法中參數(shù)L的大小對(duì)實(shí)驗(yàn)結(jié)果的影響,利用不同尺度的L對(duì)Indian Pines高光譜圖像進(jìn)行處理,參數(shù)分析實(shí)驗(yàn)中,對(duì)高光譜圖像均隨機(jī)選取每類(lèi)30個(gè)訓(xùn)練樣本(當(dāng)數(shù)據(jù)集中的某一類(lèi)樣本個(gè)數(shù)不足30個(gè),則最多采用該類(lèi)別總樣本數(shù)的一半),隨后通過(guò)超限稀疏多項(xiàng)邏輯回歸進(jìn)行測(cè)試來(lái)分析L的大小對(duì)分類(lèi)精度的影響,結(jié)果如圖1所示。

圖1 參數(shù)L對(duì)分類(lèi)精度的影響Fig.1 Effect of parameter L on classification accuracy

可以看出,當(dāng)參數(shù)L不斷增大時(shí),分類(lèi)精度增加,但是當(dāng)L持續(xù)增大超過(guò)某值時(shí),則分類(lèi)精度逐漸下降。故為了實(shí)驗(yàn)結(jié)果最優(yōu)化,使L=5。

3.2 實(shí)驗(yàn)結(jié)果及對(duì)比分析

采用不同個(gè)數(shù)的訓(xùn)練樣本進(jìn)行實(shí)驗(yàn),設(shè)Q為高光譜數(shù)據(jù)集中每類(lèi)采用的訓(xùn)練樣本數(shù)(當(dāng)某個(gè)類(lèi)別樣本少于Q個(gè),則最多采用該類(lèi)別樣本總數(shù)的一半用作訓(xùn)練)。本文僅展示當(dāng)訓(xùn)練樣本為5時(shí)的各方法分類(lèi)結(jié)果圖,如圖2所示。

表3、4分別給出了Indian Pines數(shù)據(jù)集分類(lèi)實(shí)驗(yàn)及Pavia University數(shù)據(jù)集分類(lèi)實(shí)驗(yàn)中ELM、ESMLR、ESMLR-AP和本文方法的分類(lèi)結(jié)果數(shù)據(jù)及1%訓(xùn)練樣本時(shí)4種算法的運(yùn)行耗時(shí)可知,在對(duì)2個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行分類(lèi)所得分類(lèi)精度相比于ELM、ESMLR、ESMLR-AP三種對(duì)比算法皆有較好的提高,因此,本文方法相對(duì)于ELM及ESMLR具有一定的有效性及魯棒性,能較好地適用于高光譜遙感影像的分類(lèi)。

4 結(jié) 論

超限稀疏多項(xiàng)邏輯回歸雖然解決了稀疏多項(xiàng)邏輯回歸存在的兩個(gè)問(wèn)題,具有良好的特征投影功能和通過(guò)解決一個(gè)凸優(yōu)化問(wèn)題可以設(shè)置良好的初始回歸值,但超限稀疏多項(xiàng)邏輯回歸不具備分析高光譜圖像內(nèi)在結(jié)構(gòu)的功能。由于高光譜影像存在大量的噪聲,為了解決超限稀疏多項(xiàng)邏輯回歸這個(gè)缺陷,以提高影像分類(lèi)精度。本文提出了一種基于超限稀疏多項(xiàng)邏輯回歸和奇異譜分析的高光譜遙感影像分類(lèi)方法,實(shí)驗(yàn)結(jié)果證明,本文方法相對(duì)于ELM、ESMLR、ESMLR-AP三種常用算法具有一定的有效性和魯棒性。

圖2 不同算法下每類(lèi)取5個(gè)訓(xùn)練樣本下的分類(lèi)效果Fig.2 Classification results of different algorithms from five training samples of each class with different algorithms

表3 在Indian Pines數(shù)據(jù)集中不同訓(xùn)練樣本數(shù)下各算法分類(lèi)結(jié)果Table 3 Classification results of different algorithms from different training samples in Indian Pines dataset

表4 在Pavia University數(shù)據(jù)集中不同訓(xùn)練樣本數(shù)下各算法分類(lèi)結(jié)果Table 4 Classification results of different algorithms from different training samples in Pavia Univerisity dataset

在以后的研究工作中,將致力于通過(guò)引入高光譜圖像的坐標(biāo)信息進(jìn)一步提高超限稀疏多項(xiàng)邏輯回歸在高光譜圖像當(dāng)中的分類(lèi)結(jié)果。此外,將通過(guò)對(duì)奇異譜分析進(jìn)行理論優(yōu)化,如引入圖論、低秩表示來(lái)減少其損耗的時(shí)間。