周 子 涵，倪 歡，馬 林 飛

(南京信息工程大學遙感與測繪工程學院，江蘇 南京 210044)

0 引言

高光譜遙感圖像分類旨在利用其豐富的空—譜信息為每個像元分配一個地表覆被類型[1]，可為自然資源調(diào)查提供支撐[2]。但由于高維度特征和訓(xùn)練樣本匱乏問題，使高光譜圖像分類仍存在局限[3,4]。傳統(tǒng)高光譜圖像分類研究引入經(jīng)典機器學習方法[5](如支持向量機[6]和隨機森林[7]等)，但這種依賴于人工設(shè)計特征的分類方法很難取得較高的分類精度[8,9]，且難以應(yīng)對少量樣本支持下的高維度特征[10,11]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[12]可實現(xiàn)特征維度的快速變換，并有效改善高層次語義的表達能力[13]，已應(yīng)用于高光譜遙感圖像分類研究[14]中。其中，DFFN(Deep Feature Fusion Network)[15]和MSKNet(Multibranch Selective Kernel Networks)[16]等二維CNN框架僅挖掘了高光譜圖像的光譜特征，未能充分利用其中蘊含的空—譜信息。近年提出了各具特色的三維CNN網(wǎng)絡(luò)結(jié)構(gòu)[17]以解決上述問題，如SSRN(Supervised Spectral-spatial Residual Network)[18]、FDSSC(Fast Dense Spectral-Spatial Convolution)[19]、DPyResNet(Deep Pyramidal Residual Network)[20]和A2S2K-ResNet(Attention-Based Adaptive Spectral-Spatial Kernel ResNet)[21]。其中，具有代表性的A2S2K-ResNet采用卷積核選擇思想[22]，詳細探討卷積核尺寸對特征表達的重要性,通過設(shè)計一種為波段間關(guān)系建模的模塊EFR(Efficient Feature Recalibration)，充分發(fā)揮高光譜圖像的高維度優(yōu)勢，對基于三維CNN的殘差網(wǎng)絡(luò)(ResNet)[23]進行改進，以增強空—譜聯(lián)合特征的提取能力。A2S2K-ResNet的精度雖然較高，但其引入的卷積核選擇思想類似于不同預(yù)設(shè)卷積核特征的加權(quán)求和，在訓(xùn)練過程中不能完全自適應(yīng)選擇卷積核，且該過程預(yù)先定義的兩個卷積核尺寸(3×3×7和1×1×7)，并未充分增大或細化CNN的感受野；其次，雖然該過程引入注意力機制輔助概括語義，但其采用均值池化方式提取一維注意力向量，再經(jīng)過卷積變換形成權(quán)值以增強卷積特征，不足以充分表達圖像空間依賴關(guān)系，導(dǎo)致分類結(jié)果存在噪聲。鑒于此，本文提出一種連續(xù)空間依賴增強(Continuously Spatial Dependency Enhancement,CSDE)模塊，替代A2S2K-ResNet中的卷積核選擇過程，以彌補A2S2K-ResNet在以上理論方面的不足，并改善分類結(jié)果。

1 研究方法

1.1 A2S2K-ResNet

A2S2K-ResNet[21]的整體網(wǎng)絡(luò)框架由1個基于注意力機制的自適應(yīng)空—譜核模塊(A2S2K)和4個嵌入EFR的三維ResNet模塊(EFR-ResNet)構(gòu)成，利用1個由池化層和全連接層相結(jié)合的預(yù)測層，實現(xiàn)從特征到類別的預(yù)測。

(1)

(2)

[za,zb]=softmax([za,zb])

(3)

(4)

三維ResNet多用于高光譜圖像處理，其經(jīng)過多組卷積層、歸一化層、ReLU激活層處理后，通過殘差連接的方式增強輸入特征的表達能力[24]。EFR-ResNet將EFR過程融入三維ResNet中，利用3組卷積層(圖1)使三維ResNet更有效地建立波段相關(guān)性。假設(shè)EFR的輸入是F∈RB×Cin×S×S×C，則EFR用于捕捉F在Cin維度各波段間的相關(guān)性。EFR首先通過三維均值池化操作壓縮F，生成s∈RB×Cin×1×1×1，然后在Cin維度對s的各波段進行線性變換(式(5))，最后將ω與F進行逐像素相乘，以增強F的波段相關(guān)性。在兩個ERF-ResNet執(zhí)行完成后，引入兩個三維卷積層，在不同維度上實現(xiàn)卷積，以增強卷積特征的表達能力。

圖1 EFR-ResNet框架示意Fig.1 Framework of EFR-ResNet

(5)

1.2 連續(xù)空間依賴增強(CSDE)模塊

當前A2S2K使用的自適應(yīng)加權(quán)機制(式(4))是對兩個卷積特征圖譜進行整體加權(quán)，對感受野的擴充作用有限。為增大CNN的感受野并顧及細節(jié)特征，本文提出CSDE模塊(圖2)以替換A2S2K模塊，該模塊采用自注意力矩陣為圖像塊整體空間依賴關(guān)系建模，并進行逐像素加權(quán)。

圖2 面向高光譜遙感圖像的連續(xù)空間依賴增強(CSDE)模塊Fig.2 Continuously spatial dependency enhancement (CSDE) module for hyperspectral imagery

(6)

(7)

(8)

(9)

式中：Conv3×3×7(·)和Conv1×1×7(·)分別為具有3×3×7和1×1×7卷積核的三維CNN層；EFR(·)為式(5)所示的EFR；Conv3×3為具有3×3卷積核的二維CNN層。

(10)

(11)

(12)

1.3 本文方法網(wǎng)絡(luò)結(jié)構(gòu)

圖3 本文方法整體網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.3 Overall network architecture of the proposed method

表1 本文方法各卷積層、池化層、全連接層參數(shù)和結(jié)構(gòu)詳情Table 1 Parameters and structure information of the convolutional,pooling and fully-connected layers in the proposed method

2 實驗

本文方法采用Python語言并結(jié)合PyTorch，引入高光譜研究領(lǐng)域廣泛使用的4組標準測試數(shù)據(jù)集(Indian Pines(IP)、Salinas、Pavia University(PU)和Pavia Centre(PC))對本文方法和A2S2K-ResNet進行性能評估，并采用整體精度(OA)、平均精度(AA)和Kappa系數(shù)(K)對兩種方法進行精度對比。其中，OA表示全部正確分類的像素比例，AA表示各類別正確分類像素比例的平均值。

2.1 實驗配置

本文方法與A2S2K-ResNet方法的實驗配置[21]相同：在訓(xùn)練過程中采用Adam優(yōu)化方法，學習率初始值設(shè)置為0.01，衰減策略采用文獻[25]方法，Batch大小設(shè)置為16；為分析模型穩(wěn)定性，在每組數(shù)據(jù)集上訓(xùn)練5次，根據(jù)每次訓(xùn)練完成得到的模型獲取分類結(jié)果，并統(tǒng)計分類結(jié)果精度的標準差。

為充分驗證本文方法性能，將整體樣本劃分為互不相交的訓(xùn)練集、驗證集和測試集，并設(shè)置訓(xùn)練集和驗證集樣本數(shù)量相等。其中，訓(xùn)練集用于模型訓(xùn)練，測試集用于測試模型分類精度，驗證集在訓(xùn)練過程中實時計算當前模型的損失函數(shù)和驗證精度，以選擇模型。因訓(xùn)練樣本數(shù)量直接影響模型的預(yù)測精度，本文限定訓(xùn)練樣本數(shù)量占比分別為0.5%、1%、2%和4%，進而確定4組數(shù)據(jù)集訓(xùn)練集、驗證集和測試集樣本數(shù)量(表2)。訓(xùn)練集樣本和測試集樣本數(shù)量均以像素為單位，以當前像素為中心在9×9窗口內(nèi)的像素值參與當前訓(xùn)練樣本的特征計算，不參與損失函數(shù)計算、后向傳播和模型參數(shù)優(yōu)化過程；在預(yù)測過程中，同樣以每個待預(yù)測的像素為中心，將其9×9窗口內(nèi)的像素值輸入訓(xùn)練好的模型中進行特征計算(窗口內(nèi)的所有像素均不包含類別信息)，再根據(jù)深度學習模型的預(yù)測層實現(xiàn)該像素類別的預(yù)測。

表2 4組數(shù)據(jù)集訓(xùn)練集、驗證集和測試集樣本數(shù)量Table 2 Details of the training,validation and testing samples for the four datasets

2.2 模型訓(xùn)練

為檢驗本文實驗訓(xùn)練過程的有效性，計算訓(xùn)練集和驗證集隨循環(huán)訓(xùn)練不斷推進的訓(xùn)練損失、驗證損失和精度(OA、AA和K)(圖4)，訓(xùn)練過程的循環(huán)次數(shù)限定為200次，圖4中每點均對應(yīng)每次循環(huán)后整個訓(xùn)練集的損失和精度，以及當前模型作用于驗證集上的損失和精度。限于篇幅，這里僅列舉IP數(shù)據(jù)集取4%訓(xùn)練樣本時的情況。

圖4 模型訓(xùn)練過程的損失、訓(xùn)練精度和驗證精度Fig.4 Loss,training and validation accuracy values in the training procedure of the proposed method

由圖4a可知，驗證集和訓(xùn)練集的損失變化規(guī)律類似，即前幾次訓(xùn)練循環(huán)大幅減小了損失值，當循環(huán)次數(shù)達到30次時，損失趨于平穩(wěn)，在后續(xù)循環(huán)中，訓(xùn)練損失和驗證損失緩慢減小。由圖4b-圖4d可知，訓(xùn)練精度和驗證精度的變化趨勢相同，雖然驗證精度略低于訓(xùn)練精度，但二者均超過0.95，因此，該訓(xùn)練過程不存在訓(xùn)練精度高而驗證精度未達到任務(wù)需求的過擬合問題，模型訓(xùn)練有效。

3 實驗結(jié)果分析

3.1 可視化分析

考慮到分類結(jié)果規(guī)律相同，本文只列舉2%訓(xùn)練樣本情況下的分類結(jié)果(圖5-圖7彩圖見附錄1，圖8彩圖見附錄2)?？梢钥闯?，IP數(shù)據(jù)集分辨率較低，類別多(16個)，類間樣本數(shù)量差異大，在2%訓(xùn)練樣本下，其包含的9個類別的訓(xùn)練樣本量極少，導(dǎo)致A2S2K-ResNet分類結(jié)果存在大量噪聲(圖5c)，而本文方法增強了空間依賴信息，有效抑制了噪聲(圖5d)；與IP數(shù)據(jù)集類似，在Salinas數(shù)據(jù)集上本文方法也有效抑制了噪聲，且比A2S2K-ResNet的誤判現(xiàn)象少(圖6d左上角)；PU和PC數(shù)據(jù)集樣本數(shù)量較多、類別較少(9個)，兩種方法分類結(jié)果接近，但A2S2K-ResNet方法誤分類現(xiàn)象更多，如在圖8e和圖8f標記區(qū)域，其分類結(jié)果存在單個像素形式的誤判點，本文方法則不存在該問題。整體而言，本文方法優(yōu)于A2S2K-ResNet。

圖5 數(shù)據(jù)集IP的實驗結(jié)果及可視化對比Fig.5 Experimental results and visual comparison of the IP dataset

圖6 數(shù)據(jù)集Salinas的實驗結(jié)果及可視化對比Fig.6 Experimental results and visual comparison of the Salinas dataset

圖7 數(shù)據(jù)集PU的實驗結(jié)果及可視化對比Fig.7 Experimental results and visual comparison of the PU dataset

圖8 數(shù)據(jù)集PC的實驗結(jié)果及可視化對比Fig.8 Experimental results and visual comparison of the PC dataset

3.2 定量化分析

由表3可知，在取0.5%、1%、2%和4%訓(xùn)練樣本情況下，本文方法于4組數(shù)據(jù)集上均取得了比A2S2K-ResNet更高的分類精度和較低的分類精度標準差，表明本文方法性能較穩(wěn)定。如圖9所示，隨著訓(xùn)練樣本數(shù)量增加，兩種方法的OA、AA、K值均呈上升趨勢且逐漸接近，在訓(xùn)練樣本占比達到4%時，兩種方法的分類精度均較高，在數(shù)據(jù)集Salinas、PU和PC上，OA、AA、K值均超過0.99，但在數(shù)據(jù)集IP上，精度偏低，這與圖5中的可視化結(jié)果相吻合。當訓(xùn)練樣本數(shù)量極少時(0.5%)，兩種方法的分類精度下降明顯，尤其是在數(shù)據(jù)集IP上，A2S2K-ResNet的K值低于0.6，而本文方法降幅較小，優(yōu)于A2S2K-ResNet。

表3 4組數(shù)據(jù)集測試精度(精度均值±標準差)對比分析Table 3 Comparison analysis on the testing accuracy (mean value±standard deviation) of the four datasets

3.3 空間一致性后處理的影響分析

本文采用3×3窗口對兩種方法的分類結(jié)果進行空間一致性后處理(圖10)，以消除分類結(jié)果中的噪聲。對比圖9的初始分類結(jié)果可以看出，空間一致性后處理均提高了兩種方法的分類精度，但兩種方法的精度差異未發(fā)生明顯變化，本文方法分類結(jié)果依然更佳，進一步證實了本文方法的優(yōu)越性。

圖9 分類結(jié)果精度對比Fig.9 Comparison of the accuracy values of classification results

圖10 分類結(jié)果經(jīng)空間一致性處理后的精度對比分析Fig.10 Comparison analysis on the accuracy of results processed by the spatial consistency post-processing

3.4 綜合性能評價

FLOPs(the number of floating-point operations)是衡量深度學習模型計算復(fù)雜度的指標，其值越大，說明模型計算復(fù)雜度越高。對兩種方法的參數(shù)量和計算復(fù)雜度進行統(tǒng)計：本文方法的參數(shù)量為0.371 M，與A2S2K-ResNet并無差別；但在并行輸入16個大小為9×9×204的圖像塊(窗口)時，A2S2K-ResNet的FLOPs值為2.807 G，本文方法的FLOPs值為2.768 G，在不斷擴大輸入圖像塊大小時，該差異更突出。因此，相比A2S2K-ResNet，本文方法在未增加參數(shù)量的前提下可提高分類精度，降低計算復(fù)雜度。

4 結(jié)論

A2S2K-ResNet作為一種面向高光譜遙感圖像的深度學習分類方法，具有精度高、速度快等優(yōu)點，但其A2S2K不能有效優(yōu)化CNN感受野，進而影響分類結(jié)果。本文提出的面向高光譜圖像的連續(xù)空間依賴增強(CSDE)模塊，可有效建立圖像空間依賴關(guān)系，消除人為選定預(yù)設(shè)感受野尺寸帶來的不確定因素。引入4組高光譜遙感圖像標準分類測試數(shù)據(jù)集進行實驗，并結(jié)合國際通用的3種精度評價指標進行方法驗證和對比分析?？梢暬瘜Ρ确治霰砻鳎疚姆椒ㄓ行б种屏薃2S2K-ResNet分類結(jié)果中存在的噪聲，減少了分類誤判現(xiàn)象；定量化對比分析表明，本文方法的分類性能更穩(wěn)定，且隨著訓(xùn)練樣本數(shù)量遞減，優(yōu)勢逐漸增大。此外，兩種方法參數(shù)量和計算復(fù)雜度的統(tǒng)計結(jié)果顯示，相比A2S2K-ResNet，本文方法在未增加參數(shù)量的前提下降低了模型計算復(fù)雜度。

本文方法雖然解決了A2S2K-ResNet潛在的部分問題，但仍具備改進空間，如CSDE模塊僅考慮了當前像素周圍鄰近區(qū)域的連續(xù)空間依賴關(guān)系，未能將其拓展到整個圖像空間，未來將在不增加計算復(fù)雜度的前提下解決該問題；同時，將聚焦極少訓(xùn)練樣本支持下的高光譜圖像分類任務(wù)，以全面提升高光譜圖像分類模型的實用性。