楊星，池越，周亞同，王楊

河北工業(yè)大學(xué) 電子與信息工程學(xué)院,天津 300401

1 引言

隨著遙感技術(shù)的快速發(fā)展，高光譜成像技術(shù)圖像同時具有豐富光譜信息和詳細的空間結(jié)構(gòu)，高光譜圖像每個像素包含數(shù)百個連續(xù)光譜帶，其波長范圍跨越可見光和紅外波段。相較于其他遙感圖像，高光譜圖像HSI（Hyper Spectral Image）由于其豐富的信息量，對于目標物理、化學(xué)等特性有更好的表征能力（Li 等，2016），高光譜圖像被廣泛應(yīng)用于環(huán)境管理（Chen 等，2019）、農(nóng)業(yè)和資源管理（Murphy等，2018）、城市開發(fā)（Ghamisi等，2015）、海洋觀測（曹引 等，2019）、軍事（Shimoni 等，2019）等多種領(lǐng)域。高光譜圖像分類HSIC（Hyper Spectral Image Classification）是HSI 處理與應(yīng)用中最為基礎(chǔ)也是最為重要的一環(huán)，為遙感數(shù)據(jù)的后續(xù)研究提供了科學(xué)依據(jù)。HSIC 的目的是將HSI 中每一個像素分類到給定的地物類別中，如植被和農(nóng)作物。

在HSIC 研究早期，由于HSI 光譜反射曲線良好的判別性，不同地物類別的光譜曲線不相同。研究者將傳統(tǒng)機器學(xué)習(xí)方法加以改進并用于HSIC，包括支持向量機SVM（Support Vector Machine）（Melgani 和Bruzzone，2004）、K 均值聚類（Ma 等，2010）、隨機森林（Ham 等，2005）、極限學(xué)習(xí)機（Zhou 等，2015）等。這些傳統(tǒng)方法利用光譜曲線構(gòu)造特征提取模型，提取判別性特征。然而不同波段之間具有較強的相關(guān)性且存在大量的冗余信息，過高的光譜分辨率所帶來的更多計算量，都可能導(dǎo)致維數(shù)災(zāi)難，使得這些傳統(tǒng)方法存在一些局限性。為了避免維數(shù)災(zāi)難，常采用特征選擇和特征提取兩個方法對光譜波段進行降維。特征選擇是選擇一部分對結(jié)果更有效的光譜波段。Sun 和Du（2018，2019）提出了一些波段選擇方法來減少波段之間的冗余。然而，對于不同類別的像素，每個光譜波段有不同的貢獻，每個類都有它的最優(yōu)分類光譜波段子集，而這些子集對不同的類可能是不相同的。例如波段1，6，10，…，對類別1是有用的，而波段2，7，9，…，對類別2 是有用的。特征提取是通過線性或者非線性變換將這些光譜波段結(jié)合在一起。主成分分析（PCA）（Rodarmel 和Shan，2002）、獨立成分分析（ICA）（Wang 和Chang，2006）和Fisher線性判別分析（LDA）（Luo 等，2015）等是最常用的幾種降維方法。主成分分析的方法是提取出前k個主成分作為光譜特征。但參數(shù)k需要通過專家經(jīng)驗手動設(shè)置，合適的k會將所有有用的特征保存，不合適的參數(shù)可能會丟失一些有用信息或者保留較多的冗余信息。傳統(tǒng)的特征提取方法的缺點是需要手工制作特征，依賴于設(shè)計者或領(lǐng)域?qū)＜业南闰炐畔?，對于不同的?shù)據(jù)集適應(yīng)和泛化能力較差，無法處理復(fù)雜和新的情況。

由于深度學(xué)習(xí)可以提取更高層次和更抽象的特征，研究者們開始研究如何利用深度學(xué)習(xí)解決HSIC。這些方法包括堆疊自編碼器SAEs（Stacked Autoencoders）（Deng 等，2019；Mei 等，2019a）、深度信念網(wǎng)絡(luò)DBNs（Deep Belief Networks）（Chen等，2015）、卷積神經(jīng)網(wǎng)絡(luò)CNNs（Convolution Neural Networks）（Zhong等，2018；Wang等，2018；Mei等，2019b）、循環(huán)神經(jīng)網(wǎng)絡(luò)RNNs（Recurrent Neural Networks）（Zhang 等，2018；Mou 等，2017）和生成對抗網(wǎng)絡(luò)GAN（Generative Adversarial Networks）（Zhu等，2018）。Chen等（2014）等首次使用多層SAE為HSI提取深度特征，在深度網(wǎng)絡(luò)最后一層加入logistic 回歸分類器，利用標記樣本對整個網(wǎng)絡(luò)進行微調(diào)。Li（2015）等使用單一限制玻爾茲曼機和多層DBN 為HSI 提取頻譜空間特征。基于SAE和DBN 的方法主要問題是將圖像平展成向量，無法在空間特征提取階段考慮空間信息。而CNN 可以很好的緩解上述問題，因此將CNN 引入HSIC。Zhang 等（2018）等提出一種光譜—空間殘差網(wǎng)絡(luò)（SSRN），該網(wǎng)絡(luò)使用光譜和空間殘差塊，從HSI學(xué)習(xí)深度判別特征。然而其使用原始HSI三維塊作為輸入，不加任何處理，導(dǎo)致計算量巨大，迭代速度較慢。而其他一些CNN 的方法則是使用降維之后的三維塊，丟失一部分光譜信息。同時這些CNN 對每個像素和光譜進行相同的處理，而由于混合像素問題和冗余波段問題，使得這樣的處理方法同樣具有局限性。

由于注意力機制可以自適應(yīng)的抑制或者增強輸入信息，已經(jīng)廣泛應(yīng)用于圖像處理（Vaswani 等，2017），很多學(xué)者都嘗試在HSIC中結(jié)合注意力機制來關(guān)注更為重要的特征。Li（2020）等設(shè)計DBDA（Double-Branch Dual-Attention Mechanism）兩個分支，以通過不同注意力結(jié)構(gòu)提取HSI中大量光譜和空間特征，然而其復(fù)雜的結(jié)構(gòu)導(dǎo)致需要更多的訓(xùn)練時間。Roy 等（2020）結(jié)合SENet（Squeeze and Excitation Network）和殘差網(wǎng)絡(luò)（ResNet）提出FuSENet（Fused Squeeze-and-Excitation Network），其通過SENet壓縮和激發(fā)得到通道的權(quán)重值，提取出每個特征圖的重要性。Das 等（2020）設(shè)計一個Multi-Receptive Lightweight Residual 模塊（GhoMR），并提出GhoMR-Net。GhoMR 模塊通殘差結(jié)構(gòu)提取特征，多接受域提取其權(quán)重，以分層的方式提取更為重要的特征。這些注意力機制多關(guān)注于光譜或空間信息，不能很好地體現(xiàn)HSI 光譜合一的特點。

雖然已經(jīng)有許多基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類模型被提出，但仍然存在一些問題。

（1）如何自適應(yīng)的強調(diào)對分類有效的光譜信息和空間信息；

（2）如何充分提取HSI不同層次的特征，并且從不同層次特征中提取出判別性特征；

（3）如何設(shè)計一個端到端的網(wǎng)絡(luò)，在保證分類精度的同時，有效加快網(wǎng)絡(luò)訓(xùn)練速度。

針對這些問題，我們借鑒注意力機制，提出一種用于HSIC 的端到端的空間光譜注意力雙邊網(wǎng)絡(luò)SSABN（Spectral-Spatial Attention Bilateral Network）。通過光譜注意力模塊自適應(yīng)的學(xué)習(xí)不同原始輸入數(shù)據(jù)中每個光譜波段的權(quán)值，將特征選擇隱式的應(yīng)用于光譜向量上。在空間特征方面，由于與中心像素相同類別的周圍像素對分類貢獻大，不同類別的周圍像素貢獻小，空間注意力模塊將根據(jù)像素對中心像素分類的貢獻，自適應(yīng)的學(xué)習(xí)其重要性，提高相同類別的周圍像素權(quán)重，削弱不同類別的周圍像素權(quán)重。雙邊網(wǎng)絡(luò)通過不同的卷積結(jié)構(gòu)，提取不同層次的特征，通過特征融合模塊將不同層次特征融合得到判別性的特征。

2 光譜空間注意力雙邊網(wǎng)絡(luò)

本文提出一種光譜空間注意力雙邊網(wǎng)絡(luò)模型用于高光譜圖像分類。本節(jié)首先介紹提出的高光譜圖像分類模型。其次介紹所提出雙邊網(wǎng)絡(luò)中的特征融合模塊，并詳細說明了光譜空間注意力模塊。最后給出了該模型的損失函數(shù)及其優(yōu)化方法。

2.1 提出模型概述

設(shè)高光譜數(shù)據(jù)集H∈Rh×w×d，其中空間維度的高度和寬度用h，w表示，光譜帶的數(shù)量用d表示。假設(shè)數(shù)據(jù)集H包含N個標記像素U={u1，u2，…，un}∈R1×1×d，每個標記像素由d個光譜波段構(gòu)成，其對應(yīng)的獨熱編碼標簽向量為V={v1，v2，…，vn}∈R1×1×k，其中k是類別數(shù)。為了充分利用數(shù)據(jù)中的原始信息，以標記像素U為中心的相鄰立方體組成一組新的三維塊W={w1，w1，…，wn}。在本文中，我們將每個W中的wi輸入到所提出的模型中，對其中心對應(yīng)像素ui進行分類。

對高光譜數(shù)據(jù)標記后，首先將所有可用的標記數(shù)據(jù)隨機分為訓(xùn)練、驗證和測試數(shù)據(jù)集，分別用wtrain、wval、wtest表示，對應(yīng)的標簽集為vtrain、vval、vtest。然后使用wtrain、wval優(yōu)化和測試模型，通過交叉驗證找到模型的最佳參數(shù)。最后通過wtest對所有像素進行分類，得到性能評價指標，形成分類圖。

圖1給出了所提出模型的框架。該模型主要有4個模塊。其中圖1（A）表示光譜空間注意力模塊用于尋找有效的光譜和空間部分。空間路徑上下文路徑為雙邊網(wǎng)絡(luò)模型兩條不同CNN 路徑，分別由圖1（B）和圖1（C）所示。圖1（D）所示的特征融合模塊用于融合雙邊網(wǎng)絡(luò)不同路徑的輸出特征。

空間路徑共有3層，每層均由二維卷積層、批歸一化和Relu 激活函數(shù)組成。每一層的卷積核大小為，步長均為2，因此輸出特征圖大小均為輸入特征圖大小的1/2。已有研究表明（Luo等，2017），空間信息和感受野是獲得高精度的關(guān)鍵，該路徑提取的輸出特征圖尺寸為原始圖像的1/8，能編碼豐富的空間信息。

常用的增大感受野的方法，如更大的卷積核、金字塔池化模塊或者空間金字塔池化，這些方法同時也帶來大量的計算量和內(nèi)存消耗，導(dǎo)致較慢的迭代速度。本文中上下文路徑采用一種類似VGG 網(wǎng)絡(luò)結(jié)構(gòu)，將其4倍下采樣和8倍下采樣結(jié)果通過注意力精煉模塊（圖2）提取特征。注意力精煉模塊通過全局池化，1×1 卷積，Batch Norm 和Sigmoid 激活函數(shù)，提取通道權(quán)重，可以增強下采樣中更有效的特征。最后，將兩條路徑輸出特征通過特征融合模塊提取判別性特征，通過全連接層輸出像素類別。

圖2 注意力精煉模塊Fig.2 Attention refinement module

2.2 光譜空間注意力

光譜空間注意力如圖1（A）所示，分為光譜注意力和空間注意力，目的是強調(diào)有助于最終分類的信息，光譜注意力強調(diào)光譜波段即什么樣的光譜是有意義的，空間注意力則強調(diào)空間信息即在分類像素周圍哪里的特征是有意義的。

光譜注意力模塊輸入是原始高光譜數(shù)據(jù)，大小為w×h×d。使用全局平均池化和最大池化兩種方式提取互補的光譜全局特征，得到兩個1×1×d的光譜特征，再將提取到的特征通過同一個多層感知機MLP（Multi-Layer Perceptron）提取權(quán)重信息，將得到兩個特征經(jīng)過Sigmoid 激活函數(shù)即可得到光譜權(quán)重系數(shù)MSe，大小為1×1×d。通過權(quán)重系數(shù)對原始HSI 進行加權(quán)即可得到光譜加權(quán)HSI 特征F′。光譜注意力計算可概括為

式中，HSI 指原始高光譜圖像，σ指Sigmoid 激活函數(shù)，MSe指權(quán)重系數(shù)。

空間注意力模塊輸入是HSI進行光譜加權(quán)的結(jié)果，大小為w×h×d。與光譜注意力相似，空間注意力在通道維度分別進行全局平均池化和最大池化，并將得到大小為w×h×1 結(jié)果進行拼接。然后經(jīng)過一個7×7 的卷積層，同樣最后通過Sigmoid 激活函數(shù)得到空間權(quán)重系數(shù)MSa，空間權(quán)重系數(shù)MSa與光譜加權(quán)特征F′相乘即可得到新特征。空間注意力計算可概括為

式中，F(xiàn)′指原始高光譜圖像光譜加權(quán)的結(jié)果，σ指Sigmoid 激活函數(shù)，f7×7指卷積濾波器大小為7×7的卷積層。

通過光譜空間注意力模塊，可以將與待分類像素類別相同的更多信息進行增強，抑制對分類無效的信息，使得最終判別像素正確類別概率提高。

2.3 特征融合模塊

雙邊網(wǎng)絡(luò)不同路徑由于結(jié)構(gòu)不同，產(chǎn)生不同層次上特征，空間路徑由于使用卷積加Relu 函數(shù)，得到的特征大多是豐富的細節(jié)信息；上下文路徑通過多次下采樣捕獲更多的上下文信息。兩種路徑輸出不同層次的特征，如果簡單的進行拼接，無法得到更有效的特征，因此提出一個特征融合模塊（圖3）來解決特征融合問題。

圖3 特征融合模塊Fig.3 Feature fusion module

對于兩條不同路徑的輸出，將其串聯(lián)起來，通過批歸一化能平衡不同層次特征的尺度。然后將連接的特征通過一種與SENet類似的結(jié)構(gòu)計算出一個權(quán)重向量，通過權(quán)重向量與原始特征向量相乘可將原始特征進行重新賦權(quán)，即完成了不同層次特征的選擇和組合。類SENet結(jié)構(gòu)由兩條相似路徑組成，為了充分利用特征信息，將特征通過最大池化和平均池化，然后通過2 個1×1 卷積限制模型復(fù)雜度，并在兩個卷積中加入Relu 函數(shù)增加其非線性，最后通過sigmoid 函數(shù)得到權(quán)重向量。具體結(jié)構(gòu)設(shè)計細節(jié)如圖3。

2.4 損失函數(shù)和優(yōu)化器

卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化模型首先需要合適的目標函數(shù)，我們使用分類中最常用的交叉熵函數(shù)作為SSABN的損失函數(shù)，交叉熵的損失函數(shù)如下：

式中，y和為真實和預(yù)測標簽，C是類別的數(shù)量，M是樣本數(shù)量。模型中參數(shù)的更新則使用隨機梯度下降。

3 HSI分類實驗

在本節(jié)，首先介紹本文實驗中使用的HSI數(shù)據(jù)集。然后對影響模型性能的一些超參數(shù)進行試驗分析，之后由消融實驗分析光譜空間注意力模塊與特征融合模塊的作用。最后將提出模型與和其他現(xiàn)有模型進行比較，分析討論實驗結(jié)果。

3.1 數(shù)據(jù)集介紹

我們在實驗中使用3個公開HSI數(shù)據(jù)IPs（Indian Pine），PU（Pavia University），SA（Salinas）來驗證提出模型的有效性（表1）。

表1 本文所使用的3個數(shù)據(jù)集Table 1 Three data sets used in this article

（1）IP（Indian Pines）：這組數(shù)據(jù)拍攝時間為1992 年6 月，由機載可見光/紅外成像分光計（AVIRIS）傳感器在印第安納州西北部的印第安松實驗地點上空收集，該數(shù)據(jù)集像素大小為145×145，可用光譜波段數(shù)為200。該圖像三分之一區(qū)域為森林或其他天然植物；接近三分之二的區(qū)域為農(nóng)業(yè)作物，圖中有一些農(nóng)作物（玉米、大豆）覆蓋率不足5%，是由于該圖像拍攝時間為6 月，這些農(nóng)作物還處于生長初期；除此之外主要為高速公路和鐵路線?，F(xiàn)有的圖像被標記為16 個不同類別。表2列出了每個類的訓(xùn)練、驗證和測試樣本的數(shù)量。

表2 India Pine數(shù)據(jù)集的類名和每個類樣本數(shù)Table 2 Class name and sample number of each class for IP dataset

（2）PU（Pavia University）：這組數(shù)據(jù)拍攝時間為2002 年7 月，由意大利北部帕維亞大學(xué)的反射光學(xué)系統(tǒng)成像儀（ROSIS）采集，該數(shù)據(jù)集像素大小為610×340，可用光譜波段數(shù)為103?，F(xiàn)有的圖像被標記為9 個不同類別。表3 列出了每個類的訓(xùn)練、驗證和測試樣本的數(shù)量。

表3 Pavia University數(shù)據(jù)集的類名和每個類樣本數(shù)Table 3 Class name and sample number of each class for PU dataset

（3）SA（Salinas）：這組數(shù)據(jù)由AVIRIS 傳感器于1998 年在Salinas 山谷收集，該數(shù)據(jù)集像素大小為512×217，可用光譜波段數(shù)為224?，F(xiàn)有地物大多為農(nóng)作物，被分為16 個地物類別。表4 列出了每個類的訓(xùn)練、驗證和測試樣本的數(shù)量。

表4 Salinas 數(shù)據(jù)集的類名和每個類樣本數(shù)Table 4 Class name and sample number of each class for SA dataset

3 個數(shù)據(jù)集有不同的可用標記樣本數(shù)量。IP 數(shù)據(jù)集有10249 個標記樣本，PU 數(shù)據(jù)集有42766 個標記樣本，而SA 數(shù)據(jù)集有54129 個標記樣本。對于3 個數(shù)據(jù)集，我們隨機選取20%，10%，70%的標記樣本分別作為訓(xùn)練樣本，驗證樣本和測試樣本，詳細數(shù)據(jù)如表2—4所示。

3.2 實驗環(huán)境配置

為了評估SSABN 模型的性能，實驗在CPU 為Intel Core i7-9750H 2.60 GHz*12，RAM 為16 GB，GPU為NVIDIA GeForce 2060，RAM為6 GB的個人計算機上進行。軟件環(huán)境的系統(tǒng)為Windows 10家庭版，python版本為3.7.6，深度學(xué)習(xí)框架為PYTorch，版本為1.4.0。

實驗的定量評估方法使用總體精度OA（Overall Accuracy），平均精度AA（Average Accuracy）和Kappa系數(shù)（K）作為評價指標。

3.3 超參數(shù)設(shè)置

我們分析了影響訓(xùn)練進度和分類性能的一些因素即超參數(shù)，如批量大小，卷積濾波器核數(shù)，空間輸入大小和訓(xùn)練樣本比例，選取其在驗證數(shù)據(jù)集上分類性能最優(yōu)的參數(shù)，作為最終的實驗結(jié)果比較。在接下來的實驗中，每個實驗進行200個epoch。

3.3.1 批量大小

神經(jīng)網(wǎng)絡(luò)的收斂速度和收斂性由學(xué)習(xí)率和批量大小決定，學(xué)習(xí)率控制著訓(xùn)練過程中梯度下降的步長，批量大小控制訓(xùn)練過程中每一個epoch 中梯度下降的次數(shù)。我們使用多步下降策略控制學(xué)習(xí)率，對于批量大小則考慮以下集合｛8，16，32，64，128，256｝。結(jié)果如圖4 所示，在IP 數(shù)據(jù)集上最佳批量大小為32，而在PU 和SA 數(shù)據(jù)集上則為64。與IP 數(shù)據(jù)集相比，PU 和SA 數(shù)據(jù)集需要更大的批量大小，這是由于在相同學(xué)習(xí)率下，PU 和SA數(shù)據(jù)集訓(xùn)練樣本數(shù)更大。

圖4 不同批量大小下的準確度Fig.4 Accuracy with different batch size

3.3.2 卷積濾波器核數(shù)

在雙邊網(wǎng)絡(luò)中，上下文路徑和空間路徑的卷積濾波器的核數(shù)決定了其表示能力和計算消耗，設(shè)空間路徑每層的核數(shù)均為ks，上下文路徑第一層同樣為ks，之后每次下采樣將卷積濾波器的核數(shù)翻倍。為尋找SSABN 模型最優(yōu)濾波器核數(shù)ks，我們考慮以下ks集合｛8，16，24，32｝。如圖5所示，卷積濾波器核數(shù)越大，在數(shù)據(jù)集IP 上有更好的準確度，而在數(shù)據(jù)集PU 和SA 上，卷積濾波器數(shù)量為24，模型達到最佳性能。

圖5 不同卷積濾波器核數(shù)下的準確度Fig.5 Accuracy with different kernel numbers of convolutional filters

3.3.3 空間輸入大小

空間輸入大小決定了有多少空間信息用于分類。隨著空間輸入大小的增加，可用的空間信息逐漸增加，同時也增加了一定的冗余信息。為評估空間輸入大小對SSABN 分類效果的影響，考慮｛5，7，9，11，13，15，17，19，21｝ 的空間輸入大小集合。如圖6 所示，對于3 個不同的數(shù)據(jù)集，當(dāng)空間輸入大小大于或等于9 × 9 時，SSABN表現(xiàn)穩(wěn)健。

圖6 不同空間輸入大小的SSABN的準確度Fig.6 Accuracy with different spatial input sizes

雙邊網(wǎng)絡(luò)結(jié)構(gòu)提取兩種不同層次特征，其空間路徑提取特征具有豐富的空間信息，上下文路徑通過多次下采樣提取全局特征。只有當(dāng)兩種不同層次特征有足夠區(qū)分度時，經(jīng)過特征融合模塊的輸出結(jié)果才具有足夠的判別性和抽象性。由于上下文路徑的最大下采樣倍數(shù)為8，當(dāng)空間輸入小于8時，4倍下采樣與8倍下采的空間特征相似。所以當(dāng)空間輸入大小大于9×9時，SSABN表現(xiàn)穩(wěn)健。

3.3.4 訓(xùn)練樣本比例

卷積神經(jīng)網(wǎng)絡(luò)由于其結(jié)構(gòu)，相較于傳統(tǒng)方法有更強的擬合能力，當(dāng)訓(xùn)練樣本數(shù)量較少時更容易產(chǎn)生過擬合。考慮分別使用1%，5%，10%，15%和20%的標記像素作為訓(xùn)練集來訓(xùn)練SSABN。如圖7 所示，隨著訓(xùn)練樣本數(shù)量比例增加到15%，SSABN在3個數(shù)據(jù)集上有更高的整體準確度。當(dāng)訓(xùn)練樣本比例為1%和5%時，SSABN 在IP 數(shù)據(jù)集上略低于SSRN 和FDSSC，但隨著訓(xùn)練樣本的增加，SSABN 準確度略高于其他方法。這是由于IP 數(shù)據(jù)集本身數(shù)據(jù)量較小，且部分類別樣本數(shù)過小導(dǎo)致。

圖7 模型在不同訓(xùn)練樣本比例的IP，PU，SA數(shù)據(jù)集上的準確度Fig.7 The accuracy of the algorithm on the IP，PU，and SA datasets of different training sample proportions

3.4 消融實驗

3.4.1 光譜空間注意力

我們將SSABN 與第一層沒有光譜空間注意力模塊的雙邊網(wǎng)絡(luò)進行比較，結(jié)果如表5。在3 個數(shù)據(jù)集上，SSABN 分類準確度上均優(yōu)于沒有第一層注意力模塊的雙邊網(wǎng)絡(luò)。這些結(jié)果表明，第一層光譜空間注意力模塊能有效選擇有用的原始HSI數(shù)據(jù)進行后續(xù)的特征學(xué)習(xí)。

表5 有/無光譜空間注意力模塊的OATable 5 OA of with/without spectral-spatial attention module

我們將光譜—空間注意力模塊與其他常用注意力模塊：通道注意力，空間注意力，SENet進行比較。結(jié)果如表6 所示，除了PU 數(shù)據(jù)集，光譜—空間注意力在3 個數(shù)據(jù)集上，比其他3 個注意力模塊都有更高的OA。而由于PU數(shù)據(jù)集具有1.3 m/pix的像素分辨率，這使得相鄰像素對中心像素分類有更大影響，所以空間注意力比光譜空間注意力有更高的OA。

表6 不同注意力模塊的OATable 6 OA of different attention module

3.4.2 特征融合模塊

我們將SSABN 與沒有特征融合模塊的雙邊網(wǎng)絡(luò)進行比較，結(jié)果如表7。在3 個數(shù)據(jù)集中，含有特征融合模塊分類準確度高于不含特征融合的網(wǎng)絡(luò)，這說明特征融合模塊能有效融合兩條路徑不同輸出，產(chǎn)生更具判別性特征。

表7 特征融合模塊對OA影響Table 7 The influence of feature fusion module on OA

3.5 HSI分類實驗

在本節(jié)中，我們將提出的SSABN 與一種傳統(tǒng)機器學(xué)習(xí)方法：SVM（Melgani和Bruzzone，2004），以及3 種基于深度學(xué)習(xí)的方法：3D-CNN，F(xiàn)DSSC（Wang 等，2018），SSRN（Zhong 等，2017），HYBridSN（Roy等，2020）以及GhostNet（Das等，2020）進行對比。我們進行10 次重復(fù)實驗，實驗結(jié)果以平均值±標準偏差表示。

（1）定量分析。不同方法的定量度量見表5—8。由表5—7 可以看出，與傳統(tǒng)算法相比，深度學(xué)習(xí)方法能在3 個公開數(shù)據(jù)集上取得更好的性能。這是由于它們可以學(xué)習(xí)更多抽象的高級特性，而SVM 僅僅使用原始數(shù)據(jù)的光譜特性進行分類。此外，光譜空間注意力模塊能有效地提取光譜和空間信息，雙邊網(wǎng)絡(luò)結(jié)構(gòu)能有效地利用多尺度特征，使得SSABN 的分類準確度優(yōu)于其他幾種深度學(xué)習(xí)方法。

上述實驗證明，我們提出的方法在同等條件下可以達到較高的準確度，而一個好的方法應(yīng)該平衡準確度和效率。在每個數(shù)據(jù)集中隨機選取20%標記像素作為訓(xùn)練樣本驗證，其他參數(shù)選取算法的最優(yōu)參數(shù)。由表8可以看到，SSABN相比其他大部分深度學(xué)習(xí)方法有更快的迭代速度，這是由于光譜空間注意力模塊是簡單的輕量級模塊，上下文路徑模塊由于下采樣有快速的計算速度，而空間路徑本身2D卷積結(jié)構(gòu)計算量小于SSRN的3D卷積結(jié)構(gòu)，使得SSABN擁有更快的計算效率和迭代速度。所提出SSABN訓(xùn)練時間略高于HYBridSN，這是由于HYBridSN對原始HIS進行PCA降維，大大減少了計算量。

表8 不同模型在IP數(shù)據(jù)集上分類準確度Table 8 Accuracy of different models on the IP dataset

表9 不同模型在PU數(shù)據(jù)集上分類準確度Table 9 Accuracy of different models on the PU dataset

表10 不同模型在SA數(shù)據(jù)集上分類準確度Table 10 Accuracy of different models on the SA dataset

以上實驗證明，我們提出的SSABN 不僅在有較高的準確的的同時，有效減少了訓(xùn)練時間，能很好地提高準確度和效率，是一個較為優(yōu)質(zhì)的解決方案。

（2）定性分析。圖8—10 是原始圖像的groundtruth圖和不同方法在3個數(shù)據(jù)集上的分類結(jié)果可視化。從3個數(shù)據(jù)集的分類圖可以看到，SSABN有誤分點，生成的分類圖最為準確，特別是在兩類的分界線上，同時在沒有標記類別的區(qū)域有更精細的分辨率。這是因為該模型利用空間信息來學(xué)習(xí)中心像素與周圍像素的關(guān)系，所以能產(chǎn)生更為平滑的邊界。

圖8 使用不同模型的IP數(shù)據(jù)分類圖Fig.8 Classification maps for the IP dataset

圖9 使用不同模型的PU數(shù)據(jù)分類圖Fig.9 Classification maps for the PU dataset

圖10 使用不同模型的SA數(shù)據(jù)分類圖Fig.10 Classification maps for the SA dataset

4 結(jié)論

本文中提出一種用于HSIC 的SSABN 模型，該模型用雙邊網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)光譜和空間特征，用光譜—空間注意力來進行光譜波段和空間信息的選擇和增強，最后由特征融合模塊進行特征融合輸出判別性特征。

首先，原始的HSI 塊直接作為模型的輸入，這是一個端到端的二維CNN 網(wǎng)絡(luò)框架，不用依靠領(lǐng)域知識和專家經(jīng)驗。其次，利用光譜注意力和空間注意力模塊來增強和提取有效的波段和像素。消融實驗表明，光譜空間注意力模塊能有效地提取抽象性特征，增加分類精度。雙邊網(wǎng)絡(luò)提取豐富信息后由特征融合模塊提取判別性特征，并通過全連接層輸出預(yù)測類別，通過熔斷實驗證明了特征融合模塊的有效性。最后，在3 個公開數(shù)據(jù)集上進行對比實驗，由定量分析可以看出，SSABN 網(wǎng)絡(luò)模型均取得了更加好的分類精度同時也降低了計算消耗時間，結(jié)果可視化也表明，SSABN 網(wǎng)絡(luò)能有效地劃分邊界，且分類精度高于其他模型。