張海濤，柴思敏

遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島125105

高光譜遙感有效結(jié)合了成像技術(shù)和光譜技術(shù)，并成為一種流行的多維信息采集技術(shù)。和傳統(tǒng)遙感影像、自然圖像相比，高光譜圖像（hyperspectral image，HSI）憑借更加豐富的光譜和空間信息來(lái)描述目標(biāo)表面。它通常由大量的光譜通道構(gòu)成，并且被廣泛應(yīng)用在礦物勘探、土壤測(cè)試和環(huán)境監(jiān)測(cè)等領(lǐng)域。高光譜圖像分類旨在根據(jù)其空間-光譜信息自動(dòng)將特定的語(yǔ)義標(biāo)簽分配給每個(gè)像素。正是因?yàn)镠SI比多光譜圖像能夠提供更多細(xì)節(jié)信息和光譜信息，所以更適合實(shí)現(xiàn)分類任務(wù)。盡管如此，由于HSI具有更高的結(jié)構(gòu)復(fù)雜度，其質(zhì)量受天氣、光照等因素影響，以及標(biāo)記訓(xùn)練樣本消耗大量時(shí)間并需要足夠的先驗(yàn)知識(shí)，高光譜圖像分類任務(wù)仍然面臨極大的挑戰(zhàn)。

考慮到以上問(wèn)題，研究者已經(jīng)提出了許多新的方法來(lái)對(duì)高光譜圖像分類，包括基于光譜和基于光譜-空間的方法。先前，有傳統(tǒng)監(jiān)督機(jī)器學(xué)習(xí)的支持向量機(jī)（support vector machine，SVM）、隨機(jī)森林（random forest，RF）、稀疏表示分類器和均值聚類算法（-means clustering，-means）的基于光譜信息的提取方法來(lái)對(duì)高光譜數(shù)據(jù)集分類，但這些方法存在可用標(biāo)簽數(shù)據(jù)量過(guò)小以及對(duì)重要特征提取不充分的問(wèn)題。

為了更加充分地提取圖像中的光譜空間聯(lián)合特征，研究者將深度學(xué)習(xí)技術(shù)應(yīng)用到HSI 分類任務(wù)中。因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)由較多的網(wǎng)絡(luò)層構(gòu)成，所以它擁有從低層到高層的強(qiáng)大特征提取能力，一定程度上解決了傳統(tǒng)機(jī)器學(xué)習(xí)方法提取特征不夠充分的問(wèn)題。Chen等首次提出用于HSI 分類的深度學(xué)習(xí)方法，隨后提出基于深度信念網(wǎng)絡(luò)的方法進(jìn)行高光譜數(shù)據(jù)分析。

1 網(wǎng)絡(luò)模型

1.1 相關(guān)卷積神經(jīng)網(wǎng)絡(luò)方法

深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）作為最具代表性的深度學(xué)習(xí)方法，被廣泛應(yīng)用于提取HSI 的光譜空間聯(lián)合特征，主要包含3D CNN直接作用于HSI 和使用1D CNN 與2D CNN 分別提取光譜信息和空間信息兩種方式。Makantasis等使用CNN 對(duì)高光譜輸入圖像樣本點(diǎn)的光譜和空間信息進(jìn)行編碼，最終使用多層感知機(jī)對(duì)其分類。CNN能夠得到良好的表現(xiàn)，很大程度上歸因于3D CNN能夠更加充分地提取高光譜數(shù)據(jù)中的光譜-空間信息。然而由于HSI 的結(jié)構(gòu)復(fù)雜性，基于3D 卷積的方法極其依賴復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，為模型的訓(xùn)練帶來(lái)不可避免的壓力。針對(duì)維度災(zāi)難現(xiàn)象，佘海龍等將HSI進(jìn)行降維后使用優(yōu)化的3D CNN 對(duì)其分類，降低了網(wǎng)絡(luò)的計(jì)算復(fù)雜度。復(fù)雜的數(shù)據(jù)往往包含著大量多尺度的信息，為有效利用這些信息并應(yīng)用于HSI 領(lǐng)域，一些基于多尺度的并行多分支卷積神經(jīng)網(wǎng)絡(luò)被提出。Xu等提出一個(gè)新穎的CNN 算法處理多源遙感圖像數(shù)據(jù)，用一個(gè)空間光譜特征提取器和一個(gè)空間提取器分別提取輸入圖像的信息，最終將多尺度特征融合得到分類結(jié)果。此外，與并行卷積不同，小規(guī)模樣本下的空-譜卷積稠密網(wǎng)絡(luò)算法（spectralspatial convolutional dense network，SSCDenseNet）采取空譜分離卷積的方式，將光譜一維卷積與空間二維卷積串聯(lián)來(lái)提取光譜-空間信息。這種提取多尺度特征來(lái)優(yōu)化分類性能的方法取得了成功。然而，這種出色的處理特征方式仍然沒(méi)有從基礎(chǔ)架構(gòu)上解決CNN 本身所存在的問(wèn)題。一方面，由于卷積的參數(shù)共享和池化層的局部效應(yīng)，CNN 具有平移不變性，這意味著在預(yù)測(cè)過(guò)程中，當(dāng)同一實(shí)體發(fā)生位置、方向等變化，對(duì)原實(shí)體表現(xiàn)活躍的神經(jīng)元將不會(huì)被激活。另一方面，池化層導(dǎo)致空間信息被大量破壞。雖然數(shù)據(jù)增強(qiáng)可以緩解上述問(wèn)題，但大量的高光譜圖像數(shù)據(jù)對(duì)模型帶來(lái)更大的訓(xùn)練壓力。顯然，在多分支卷積神經(jīng)網(wǎng)絡(luò)的機(jī)制下，訓(xùn)練過(guò)程將為大樣本數(shù)據(jù)集付出更高的代價(jià)。

針對(duì)之前所述的問(wèn)題，一個(gè)新的網(wǎng)絡(luò)結(jié)構(gòu)被Sabour等提出，即膠囊神經(jīng)網(wǎng)絡(luò)（capsule neural network，CapsNet）。其主要貢獻(xiàn)是取代了CNN 的池化層，進(jìn)而保留了輸入數(shù)據(jù)的空間信息，并且在MNIST數(shù)據(jù)集的測(cè)試錯(cuò)誤率僅為0.25%。Jiang等結(jié)合多尺度提取特征與膠囊網(wǎng)絡(luò)結(jié)構(gòu)，提出一個(gè)雙通道膠囊神經(jīng)網(wǎng)絡(luò)（dual-channel capsule networks，DCCaps-Net）用于HSI 分類。隨后結(jié)合CapsNet 與MRF（Markov random field）提出Caps-MRF 方法。但由于膠囊網(wǎng)絡(luò)在實(shí)際訓(xùn)練時(shí)動(dòng)態(tài)路由產(chǎn)生大量參數(shù)，導(dǎo)致訓(xùn)練時(shí)間過(guò)于緩慢。

1.2 本文提出的方法

基于此，本文提出1D 與2D 約束窗口（1D-Conv-Caps、2D-ConvCaps）來(lái)降低膠囊網(wǎng)絡(luò)的參數(shù)量，并分別用1D 卷積核與2D 卷積核來(lái)提取HSI 的光譜信息與空間信息且結(jié)合MRF 來(lái)計(jì)算細(xì)分標(biāo)簽形成新的架構(gòu)DuB-ConvCapsNet-MRF。對(duì)比兩個(gè)公開的HSI數(shù)據(jù)集的分類性能和評(píng)價(jià)指標(biāo)并進(jìn)行相應(yīng)的消融實(shí)驗(yàn)，所提出方法優(yōu)于一些傳統(tǒng)方法和主流的深度學(xué)習(xí)方法，且參數(shù)優(yōu)化效果在提取特征數(shù)較小的情況下更加明顯。

本文提出的網(wǎng)絡(luò)架構(gòu)如圖1 所示。該架構(gòu)使用兩條分支分別提取HSI 的空間信息和光譜信息。提取信息的方式為經(jīng)典的膠囊神經(jīng)網(wǎng)絡(luò)CapsNet。為防止數(shù)據(jù)集過(guò)大，實(shí)驗(yàn)中為兩條分支做了相應(yīng)的預(yù)處理。使用所提出的1D-ConvCaps、2D-ConvCaps 以及對(duì)應(yīng)的1D 與2D 約束窗口得到更少的膠囊數(shù)來(lái)降低動(dòng)態(tài)路由過(guò)程中的訓(xùn)練壓力。最終通過(guò)級(jí)聯(lián)MRF來(lái)計(jì)算細(xì)分標(biāo)簽。

圖1 DuB-ConvCapsNet-MRF 網(wǎng)絡(luò)架構(gòu)Fig.1 Network architecture of DuB-ConvCapsNet-MRF

2 所使用方法

2.1 膠囊神經(jīng)網(wǎng)絡(luò)

capsule 的輸入輸出向量表示特定實(shí)體類型的實(shí)例化參數(shù)，向量的方向代表實(shí)體的某些屬性，向量的長(zhǎng)度代表實(shí)體存在的概率。同一層的capsule 通過(guò)某變換矩陣對(duì)下一層的capsule 的實(shí)例化參數(shù)進(jìn)行預(yù)測(cè)。此外，對(duì)預(yù)測(cè)有關(guān)鍵作用的動(dòng)態(tài)路由會(huì)使該層的多個(gè)預(yù)測(cè)一致，下一層的capsule 將變得活躍。為了實(shí)現(xiàn)將向量的長(zhǎng)度壓縮為0 到1 之間的概率值，進(jìn)而保證capsule 層級(jí)的激活功能的完成，通常使用一個(gè)被稱為squashing 的非線性函數(shù)：

其中，v為capsule的輸出向量，s為上一層所有capsule 輸出到當(dāng)前層的向量加權(quán)和，即capsule的輸入向量。該非線性函數(shù)既保留了向量的原始方向，即保持實(shí)例化參數(shù)的屬性不變，又將向量的長(zhǎng)度壓縮到[0,1)區(qū)間內(nèi)。輸入向量的計(jì)算分為兩個(gè)過(guò)程，即線性組合和Routing，可以表示為：

圖2 動(dòng)態(tài)路由的執(zhí)行過(guò)程Fig.2 Execution process of dynamic routing

2.2 預(yù)處理

以高光譜圖像立方體整體作為特征提取器的輸入的做法會(huì)為網(wǎng)絡(luò)帶來(lái)大量的參數(shù)進(jìn)而導(dǎo)致過(guò)擬合，同時(shí)為訓(xùn)練過(guò)程帶來(lái)極大的代價(jià)。為提出一個(gè)輕量級(jí)的高光譜圖像分類方法，實(shí)驗(yàn)中對(duì)輸入數(shù)據(jù)進(jìn)行了預(yù)處理。如圖1，記原始HSI 數(shù)據(jù)塊為∈R，其包含個(gè)大小為×的基于不同光譜的圖像，其中第行、第列的像素記為x。一方面，首先網(wǎng)絡(luò)中空間特征提取分支不需要關(guān)注圖像的光譜信息，故利用PCA 對(duì)數(shù)據(jù)塊進(jìn)行降維處理，具體降維得到5 個(gè)通道數(shù)據(jù)，不僅降低了輸入數(shù)據(jù)的維數(shù)，而且避免了光譜特征的冗余。其次提取某一像素x周圍大小為7×7×5 的數(shù)據(jù)塊（patch），作為空間特征提取器的輸入。另一方面，提取同一像素x處大小為1×1×的光譜張量，這個(gè)1D 向量會(huì)被用來(lái)提取該像素處豐富的光譜信息。

2.3 2D-ConvCaps

為了減輕膠囊神經(jīng)網(wǎng)絡(luò)的訓(xùn)練壓力，提出了該自定義網(wǎng)絡(luò)層。CapsNet 使用動(dòng)態(tài)路由來(lái)代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層，這為網(wǎng)絡(luò)帶來(lái)了強(qiáng)大的解釋能力的同時(shí)，由于其本身屬于全連接層以及復(fù)雜的向量運(yùn)算，為訓(xùn)練過(guò)程帶來(lái)大量的參數(shù)和高額的運(yùn)行時(shí)間成本。因此，降低網(wǎng)絡(luò)的參數(shù)量的關(guān)鍵在于降低全連接層的壓力，即在向量長(zhǎng)度一定的情況下，減少該層輸入的向量的個(gè)數(shù)。針對(duì)以上問(wèn)題，提出了2D 約束窗口，它在能夠適應(yīng)所提出的新型網(wǎng)絡(luò)結(jié)構(gòu)的前提下，運(yùn)用一個(gè)局部信息提取的策略來(lái)減少輸入向量的數(shù)量，進(jìn)而減少全連接層在動(dòng)態(tài)路由過(guò)程中的壓力。2D-ConvCaps的結(jié)構(gòu)如圖3。該結(jié)構(gòu)接受一切封裝成向量數(shù)組的特征圖作為輸入，不僅可用于圖1 中2D 膠囊網(wǎng)絡(luò)分支的PrimaryCaps 層與DigitCaps 層的中間，也可用于任何被重構(gòu)為×××大小的特征圖，其中為一個(gè)膠囊的長(zhǎng)度，為膠囊向量組的個(gè)數(shù)，×為一個(gè)膠囊數(shù)組中向量的個(gè)數(shù)。

圖3 所提出的降低參數(shù)方法2D-ConvCapsFig.3 Proposed parameter reduction method,2D-ConvCaps

2.4 1D-ConvCaps

圖4 所提出的降低參數(shù)方法1D-ConvCapsFig.4 Proposed parameter reduction method,1D-ConvCaps

2.5 馬爾可夫隨機(jī)場(chǎng)

馬爾可夫隨機(jī)場(chǎng)（MRF）是具有無(wú)向圖描述的馬爾可夫性質(zhì)的隨機(jī)變量集合，也是無(wú)向圖的概率表示。在計(jì)算機(jī)視覺任務(wù)中，它能夠解決標(biāo)識(shí)標(biāo)簽的問(wèn)題，具有強(qiáng)大的空間約束性和更少參數(shù)量，因此MRF 更適合應(yīng)用在HSI 分類任務(wù)中。此外，MRF 是事件的集合，在這個(gè)集合中任意一個(gè)事件的當(dāng)前狀態(tài)只與它之前幾個(gè)狀態(tài)有關(guān)，而與其他狀態(tài)無(wú)關(guān)。對(duì)于高光譜圖像分類，圖像中每個(gè)像素的標(biāo)簽僅與其所在鄰域標(biāo)簽有關(guān)，與其他位置標(biāo)簽無(wú)關(guān)。以上關(guān)系如式（6）：

其中，y和y分別代表第個(gè)像素和第個(gè)像素所對(duì)應(yīng)的標(biāo)簽，δ代表第個(gè)像素鄰域的所有像素集合。MRF 對(duì)應(yīng)一個(gè)無(wú)向圖，無(wú)向圖的節(jié)點(diǎn)代表任意一個(gè)HSI 像素，邊由像素與像素之間的相鄰關(guān)系決定。MRF 在本質(zhì)上反映了哪些像素間有依賴關(guān)系需要被考慮。

2.6 損失函數(shù)

與卷積神經(jīng)網(wǎng)絡(luò)不同，由于膠囊網(wǎng)絡(luò)輸出的概率值無(wú)法實(shí)現(xiàn)歸一，允許多個(gè)分類同時(shí)存在，所提出網(wǎng)絡(luò)無(wú)法直接使用傳統(tǒng)的多分類損失函數(shù)。在CapsNet中表現(xiàn)良好的margin loss定義如式（7）：

其中，T是分類的指示函數(shù)（當(dāng)分類存在即為1，否則為0），||v||是輸出向量的模長(zhǎng)，是上懲罰因子，懲罰未預(yù)測(cè)到存在的分類的情況，即對(duì)||v||大于的正確預(yù)測(cè)記為損失0；是下懲罰因子，懲罰預(yù)測(cè)到不存在的分類的情況，即對(duì)||v||小于的錯(cuò)誤預(yù)測(cè)記為損失0；是比例系數(shù)，調(diào)節(jié)兩種情況的比重；Loss為所有分類對(duì)應(yīng)的L的總和。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)主要基于python3.7.1 和keras2.2.4，在帶有CPU 型號(hào)為IntelCorei5-9300H 的Windows 10 操作系統(tǒng)上，為使反向傳播過(guò)程中的損失函數(shù)快速達(dá)到收斂效果，使用型號(hào)為NVIDIA GTX 1650 的圖形處理器（GPU）在系統(tǒng)內(nèi)存為16 GB 環(huán)境下加速訓(xùn)練過(guò)程。所采用的數(shù)據(jù)集為兩個(gè)經(jīng)典高光譜圖像數(shù)據(jù)集，分別為IP（Indian Pines）數(shù)據(jù)集和UP（University of Pavia）數(shù)據(jù)集。IP 數(shù)據(jù)集包含145×145 個(gè)像素、200 個(gè)光譜帶以及20 m 的空間分辨率，由AVIRIS 傳感器在印第安納州拍攝，產(chǎn)生的波長(zhǎng)范圍為400 nm到2 500 nm。如圖5 所示，其提供16 個(gè)互斥的真實(shí)標(biāo)簽類，如街道、農(nóng)田等數(shù)據(jù)。UP 數(shù)據(jù)集包含610 ×340 個(gè)像素和103 個(gè)光譜帶以及1.3 m 的空間分辨率，由ROSIS 在意大利北部的帕維亞大學(xué)拍攝，產(chǎn)生的波長(zhǎng)范圍為0.43 μm 到0.86 μm。如圖6 所示，其提供9 個(gè)互斥的真實(shí)標(biāo)簽類。

圖5 Indian Pines數(shù)據(jù)集Fig.5 Indian Pines datasets

圖6 University of Pavia 數(shù)據(jù)集Fig.6 University of Pavia datasets

選用兩個(gè)標(biāo)準(zhǔn)高光譜數(shù)據(jù)集（Indian Pines 和University of Pavia）來(lái)驗(yàn)證所提出網(wǎng)絡(luò)的分類性能，以下是選擇這兩個(gè)數(shù)據(jù)集的幾個(gè)重要原因：

（1）圖像信息覆蓋了多個(gè)不同性質(zhì)的區(qū)域，為分類提供了更多的訓(xùn)練和測(cè)試數(shù)據(jù)。

（2）二者的空間分辨率具有一定的差異，方便對(duì)模型的泛化性進(jìn)行更嚴(yán)格的驗(yàn)證。

（3）二者包含的光譜波段數(shù)不相同。

（4）兩個(gè)數(shù)據(jù)集圖像中不同類地物的樣本數(shù)量分布復(fù)雜，且不相同。

3.2 參數(shù)設(shè)置

為避免在實(shí)驗(yàn)中訓(xùn)練模型時(shí)發(fā)生梯度爆炸，在網(wǎng)絡(luò)層中增加批歸一化層和dropout層。此外批歸一化還能加大探索步長(zhǎng)，加快收斂速度，破壞原來(lái)的數(shù)據(jù)分布并在一定程度上防止過(guò)擬合。同樣地，在每個(gè)訓(xùn)練批次中，使用dropout 的層忽略一部分的特征檢測(cè)器，減少特征檢測(cè)器間的相互作用，可一定程度上防止過(guò)擬合。訓(xùn)練所有方法的超參數(shù)均如表1所示。

用于訓(xùn)練所提出的DuB-ConvCapsNet-MRF 的超參數(shù)見表1，指明了所使用的訓(xùn)練優(yōu)化器及初始學(xué)習(xí)率大小、學(xué)習(xí)衰減率、Dropout 系數(shù)、損失函數(shù)參數(shù)以及主成分分析（principal components analysis，PCA）降維保留的通道數(shù)。為分析PCA 降維對(duì)有效信息完整性影響，在Indian Pines 數(shù)據(jù)集上對(duì)不同降維程度進(jìn)行測(cè)試。實(shí)際PCA 降維所保留的通道數(shù)對(duì)分類性能的影響如圖7。可以看出降維后保留5 個(gè)波段信息時(shí)的分類性能總體更優(yōu)。

圖7 PCA 降維保留的通道數(shù)對(duì)分類性能的影響Fig.7 Impact of the number of channels reserved by PCA on classification performance

表1 用于訓(xùn)練所提出的DuB-ConvCapsNet-MRF的超參數(shù)Table 1 Hyper-parameters used for training proposed DuB-ConvCapsNet-MRF

3.3 實(shí)驗(yàn)結(jié)果與分析

為保證分類的準(zhǔn)確性，將采樣得到的20%獲得標(biāo)簽的像素作為訓(xùn)練集，10%獲得標(biāo)簽的像素作為驗(yàn)證集，70%作為測(cè)試集。實(shí)驗(yàn)也對(duì)數(shù)據(jù)集中每一類別數(shù)據(jù)的訓(xùn)練集所占比率對(duì)分類性能的影響進(jìn)行比較。此外，為得出降參優(yōu)化效果與所提出約束窗口提取的特征通道數(shù)間的關(guān)系，以所提出結(jié)構(gòu)較復(fù)雜的2D-ConvCaps 所包含的參數(shù)量為評(píng)價(jià)指標(biāo)進(jìn)行分析。

實(shí)驗(yàn)對(duì)一些相關(guān)主流的算法進(jìn)行測(cè)試評(píng)估并進(jìn)行對(duì)比，包括SVM、2D-CNN、3D-CNN、DCDCNN、CNN-MRF、Caps-MRF。

采用總體分類精度（overall accuracy，OA)、平均分類精度（average accuracy，AA）和Kappa 系數(shù)對(duì)高光譜分類準(zhǔn)確性進(jìn)行評(píng)估。其中，OA 代表正確分類的像素個(gè)數(shù)與所有類別總像素個(gè)數(shù)的比率；AA 代表計(jì)算每個(gè)類別分類準(zhǔn)確率后得到的平均準(zhǔn)確度；Kappa 系數(shù)用來(lái)衡量模型預(yù)測(cè)結(jié)果與實(shí)際標(biāo)簽的一致性，其取值范圍為[-1,1]，通常大于0。所有評(píng)估結(jié)果越接近1，表明模型的分類性能越高。

相關(guān)的方法在IP 數(shù)據(jù)集上的分類準(zhǔn)確率、OA、AA、Kappa 系數(shù)結(jié)果如表2 所示。從表2 可看出，基于機(jī)器學(xué)習(xí)的SVM 在評(píng)估準(zhǔn)確率方面表現(xiàn)最差，但所需時(shí)間最少。所提出方法在OA 精度上比未級(jí)聯(lián)MRF的2D-CNN和DCD-CNN分別高出3.79%、0.38%，比3D-CNN 僅高出0.29%，但由于3D 卷積核帶來(lái)的參數(shù)過(guò)多，導(dǎo)致其所需訓(xùn)練時(shí)間最高，訓(xùn)練代價(jià)最大。同樣級(jí)聯(lián)了MRF 的方法中，所提出方法在OA精度上比CNN-MRF 和Caps-MRF 分別高出1.64%、0.21%，且在所需訓(xùn)練時(shí)間上比Caps-MRF 減少了38.77%，在各方面精度和訓(xùn)練代價(jià)上都優(yōu)于其他方法。為判斷所使用的MRF 后處理方法、所提出的降參優(yōu)化方法和PCA 降維的有效性，進(jìn)行針對(duì)這些單元的消融實(shí)驗(yàn)得到的分類準(zhǔn)確性見表3，可看出結(jié)合了所有單元的方法得到的分類準(zhǔn)確率更高。

表2 不同方法在IP 數(shù)據(jù)集上的分類結(jié)果Table 2 Classification results of different methods on IP dataset 單位：%

表3 不同情況下的模型在IP 數(shù)據(jù)集的分類準(zhǔn)確性Table 3 Classification accuracy of models in different situations on IP dataset

IP 數(shù)據(jù)集中每一類別數(shù)據(jù)的不同比率訓(xùn)練集得到的分類準(zhǔn)確性如圖8，因此所提出方法取每一類別樣本的20%左右作為訓(xùn)練集可以得到最理想的分類性能。

圖8 IP 數(shù)據(jù)集中不同比率訓(xùn)練樣本的分類準(zhǔn)確性Fig.8 Classification accuracy of different ratios of training samples in IP dataset

圖9 從視覺角度來(lái)比較不同方法的分類準(zhǔn)確性。基于降參優(yōu)化后的雙分支膠囊神經(jīng)網(wǎng)絡(luò)結(jié)合MRF 的方法的結(jié)果圖明顯更接近真實(shí)圖。此外，直接比較基于MRF 的方法和非基于MRF 的方法發(fā)現(xiàn)，所提出方法和Caps-MRF 的分類表現(xiàn)高于3D-CNN、DCD-CNN，且CNN-MRF 的分類表現(xiàn)高于2D-CNN?？梢缘贸鼋Y(jié)論，MRF 提高了所提出雙分支膠囊神經(jīng)網(wǎng)絡(luò)的分類表現(xiàn)。

圖9 不同方法在IP 數(shù)據(jù)集的分類圖Fig.9 Classification maps of different methods on IP dataset

不同情況下的模型在UP 數(shù)據(jù)集的分類準(zhǔn)確性見表4，主要對(duì)模型中的MRF 結(jié)構(gòu)、降參優(yōu)化網(wǎng)絡(luò)層（2D-ConvCaps/1D-ConvCaps）以及PCA 降維的有效性進(jìn)行驗(yàn)證。UP 數(shù)據(jù)集中每一類別數(shù)據(jù)的不同比率訓(xùn)練集得到的分類準(zhǔn)確性如圖10。相關(guān)的方法在UP 數(shù)據(jù)集上的分類準(zhǔn)確率、OA、AA、Kappa 系數(shù)結(jié)果如表5 所示。所提出方法在OA 精度上比未級(jí)聯(lián)MRF的2D-CNN、DCD-CNN 分別高出13.89%、0.04%，比3D-CNN 僅高出0.71%，同樣由于3D 卷積核產(chǎn)生的參數(shù)過(guò)大，導(dǎo)致其所需訓(xùn)練時(shí)間最高。對(duì)比基于MRF 的方法，所提出方法在OA 精度上比CNN-MRF和Caps-MRF 分別高出3.59%、0.37%，且在所需訓(xùn)練時(shí)間上比Caps-MRF 減少了37.53%，在各方面精度和訓(xùn)練代價(jià)上都優(yōu)于其他方法。

表4 不同情況下的模型在UP 數(shù)據(jù)集的分類準(zhǔn)確性Table 4 Classification accuracy of models in different situations on UP dataset

圖10 UP 數(shù)據(jù)集中不同比率訓(xùn)練樣本的分類準(zhǔn)確性Fig.10 Classification accuracy of different ratios of training samples in UP dataset

表5 不同方法在UP 數(shù)據(jù)集上的分類結(jié)果Table 5 Classification results of different methods on UP dataset 單位：%

所提出的2D-ConvCaps 取不同輸入向量組個(gè)數(shù)（如圖3的）與該層提取特征向量組個(gè)數(shù)（如圖3的）來(lái)比較優(yōu)化效果。不同輸入通道數(shù)和特征提取通道數(shù)對(duì)應(yīng)的2D-ConvCaps 層與動(dòng)態(tài)路由包含的可訓(xùn)練總參數(shù)量見表6?？煽闯霎?dāng)所提出的降參網(wǎng)絡(luò)層提取特征通道數(shù)過(guò)大時(shí)，總參數(shù)量反而高于未降參優(yōu)化時(shí)的動(dòng)態(tài)路由參數(shù)量。因此，在實(shí)際工程應(yīng)用時(shí)，所提出方法提取特征通道數(shù)量不應(yīng)大于輸入特征圖的通道數(shù)量。為同時(shí)保證分類性能，建議選取為輸入通道數(shù)的1/2 或1/4，也可以根據(jù)實(shí)際需要疊加使用兩層2D-ConvCaps 層來(lái)降低動(dòng)態(tài)路由過(guò)程的壓力，同時(shí)能夠增加模型的非線性擬合能力。所提出的1D-ConvCaps 的使用建議與2D-Conv-Caps層類似。

表6 輸入和特征提取的不同向量組個(gè)數(shù)帶來(lái)的參數(shù)量Table 6 Amount of parameters brought by different number of vector groups for input and feature extraction

4 結(jié)束語(yǔ)

為進(jìn)一步提升高光譜圖像分類性能以及彌補(bǔ)膠囊網(wǎng)絡(luò)參數(shù)量過(guò)大的缺陷，利用雙分支膠囊神經(jīng)網(wǎng)絡(luò)能夠同時(shí)提取圖像的光譜特征和空間特征的優(yōu)勢(shì)，對(duì)其進(jìn)行參數(shù)優(yōu)化并結(jié)合MRF，首次使用新的架構(gòu)（DuB-ConvCapsNet-MRF）對(duì)HSI 圖像進(jìn)行精確細(xì)分。從實(shí)驗(yàn)結(jié)果來(lái)看，通過(guò)所提出的方法得到的精確細(xì)分結(jié)果優(yōu)于傳統(tǒng)的雙分支卷積神經(jīng)網(wǎng)絡(luò)、單一分支的CNN、單一分支的capsule 網(wǎng)絡(luò)以及未優(yōu)化的雙分支膠囊神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)表明網(wǎng)絡(luò)提取的特征通道數(shù)越少，1D 和2D 約束窗口降低參數(shù)的效果越明顯，這是運(yùn)用該方法的一個(gè)技巧。但圖像預(yù)處理中對(duì)HSI 進(jìn)行大量采樣，導(dǎo)致訓(xùn)練數(shù)據(jù)比原數(shù)據(jù)量更大，對(duì)訓(xùn)練過(guò)程帶來(lái)了額外的壓力。因此在今后的工作中，將基于現(xiàn)有工作更加注重模型輸出的表達(dá)，真正實(shí)現(xiàn)具有更優(yōu)效果的“端到端”模型。