朱新忠，彭 娜，張 寧，曹李莉，彭 勛，劉麗芹，史振威

（1.上海航天電子技術(shù)研究所，上海 201109；2.北京航空航天大學(xué) 宇航學(xué)院，北京 100191）

0 引言

隨著高光譜成像技術(shù)的發(fā)展，遙感高光譜圖像（Hyperspectral Image，HSI）憑借其豐富的光譜信息被廣泛地應(yīng)用于壞境、農(nóng)業(yè)、氣象、地質(zhì)、軍事等領(lǐng)域［1-4］。然而，遙感高光譜面臨圖像成本高、傳輸難等問題。另外，相對(duì)于多光譜圖像，HSI的空間分辨率通常更低，這些問題的存在限制了HSI的應(yīng)用范圍，光譜超分辨（Spectral Super-Resolution，SSR）圖像如圖1所示。

圖1 SSR 圖像Fig.1 SSR images

相較于HSI，多光譜圖像空間分辨率更高，成像范圍更廣，成像成本更低。因此，研究人員提出利用多光譜圖像生成高光譜圖像解決HSI 成像成本高、傳輸難等問題。

2008 年，PARMAR 等［5］提出通過稀疏恢復(fù)的技術(shù)從RGB 圖像生成高光譜圖像，對(duì)高光譜數(shù)據(jù)進(jìn)行降維找到一組有代表性的特征，然后采用線性求解的方式從RGB 圖像生成高光譜圖像。2016 年，ARAD 等［6］提出了采用字典翻譯的稀疏恢復(fù)方法，證明在特定的環(huán)境中，從RGB 圖像生成高光譜圖像有較好的效果。卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)為SSR 問題提供了新的解決方案。2017 年，GALLIANI 等［7］使用DenseNet 網(wǎng)絡(luò)實(shí)現(xiàn)了從RGB 圖像到高光譜圖像的映射。其主要思想是通過DenseNet 實(shí)現(xiàn)多尺度的特征提取，通過深層網(wǎng)絡(luò)實(shí)現(xiàn)復(fù)雜映射關(guān)系。2018 年，CAN 等［8］使用一個(gè)僅包含9 個(gè)卷積層的殘差結(jié)構(gòu)網(wǎng)絡(luò)實(shí)現(xiàn)了較好的SSR 效果。2017 年，ALVAREZ-GILA 等［9］通過UNet 解決SSR 問題［10］，并首次在這類問題中引入條件生成對(duì)抗［11-12］的思想優(yōu)化網(wǎng)絡(luò)參數(shù)。2020 年，ZHANG 等［13］提出了一個(gè)基于像素感知的深度卷積網(wǎng)絡(luò)解決SSR 問題。2021 年，HE 等［14］提出了一個(gè)光譜響應(yīng)函數(shù)引導(dǎo)的卷積網(wǎng)絡(luò)，引入通道注意力機(jī)制［15］解決SSR 問題。但這些方法對(duì)輸入RGB 或多光譜圖像中的空間光譜先驗(yàn)利用不足，同時(shí)很少關(guān)注高光譜波段間的信息，因此SSR 的效果有限。

本文實(shí)現(xiàn)了一種基于SSR 的高光譜圖像生成方法，僅借助輸入的RGB 圖像信息生成空間像素對(duì)應(yīng)的高光譜圖像。由于RGB 圖像每個(gè)像素的值可能對(duì)應(yīng)多條光譜曲線，這類SSR 問題實(shí)際上是約束嚴(yán)重不足的欠定求解問題。本文采用ResUNet 結(jié)構(gòu)提取圖像的空譜特征，建立空譜先驗(yàn)。另外，通過對(duì)大量光譜曲線的分析發(fā)現(xiàn)高光譜圖像相鄰波段間相關(guān)度較高，因此在本文中使用組歸一化（Group Normalization，GN）方法［16-17］更好地關(guān)注相鄰光譜之間的相關(guān)性。為了更好地優(yōu)化網(wǎng)絡(luò)參數(shù)，提升生成高光譜圖像的真實(shí)性，還引入了條件生成對(duì)抗訓(xùn)練方式。通過該方法，可以實(shí)現(xiàn)更加逼真和精確的高光譜圖像生成。

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 生成網(wǎng)絡(luò)

該網(wǎng)絡(luò)用于學(xué)習(xí)輸入RGB 圖像到輸出高光譜圖像的映射，由于問題的約束、不確定性高等問題，因此需要充分挖掘RGB 圖像中的空間和光譜特征，以建立空譜先驗(yàn)，實(shí)現(xiàn)高光譜圖像的高質(zhì)量生成。為挖掘RGB 圖像中的各層語義特征，設(shè)計(jì)了基于ResUNet 的生成器。該生成器沿用語義分割領(lǐng)域的經(jīng)典工作UNet［10］，充分挖掘各語義抽象程度的特征，融合包含語義類別信息的深層特征和邊緣細(xì)節(jié)信息的淺層特征，實(shí)現(xiàn)對(duì)RGB 圖像中特征的充分挖掘。為解決多次卷積操作會(huì)造成圖像模糊、空間細(xì)節(jié)信息有多丟失的問題，在UNet 中引入殘差塊，通過殘差塊的shortcut 連接，使UNet 的特征提取能力進(jìn)一步增強(qiáng)，同時(shí)可以使輸入圖像的空譜特征較好地保留圖像的細(xì)節(jié)，便于后續(xù)高光譜圖像的生成。該設(shè)計(jì)方案與ResUNet［16］設(shè)計(jì)思路一致。

通過分析大量高光譜圖像的光譜曲線，發(fā)現(xiàn)高光譜圖像的波段間具有很強(qiáng)的相關(guān)性，而這種相關(guān)性可以進(jìn)一步縮小生成高光譜圖像的優(yōu)化范圍，實(shí)現(xiàn)更真實(shí)的高光譜生成。文中應(yīng)用了一系列通道注意力機(jī)制處理光譜之間的相關(guān)性。通道注意力機(jī)制是在獲取特征圖全局信息的前提下，對(duì)每個(gè)通道的特征進(jìn)行相同權(quán)重的調(diào)整。經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，這種方式對(duì)于某些局部特征來說并不適合，甚至可能弱化某些重要特征的權(quán)重。因此，采用GN 方法的方式，對(duì)網(wǎng)絡(luò)中不同維度特征進(jìn)行分組歸一化，使其對(duì)應(yīng)高光譜圖像中某些波段之間的高相關(guān)性，而弱化與其他相關(guān)性低的波段的關(guān)聯(lián)。GN 符合高光譜圖像相鄰光譜波段相關(guān)度高的事實(shí)，通過對(duì)特征進(jìn)行分組歸一化，同組的特征有相同的歸一化與縮放操作。該方式可以實(shí)現(xiàn)類似光譜波段分組生成的效果，同時(shí)又不會(huì)破壞每個(gè)像素處光譜曲線的整體特征，可以實(shí)現(xiàn)較好的波段間相關(guān)性關(guān)注。GN 的另一個(gè)優(yōu)勢(shì)在于在每批訓(xùn)練數(shù)據(jù)較少的情況下，通過特征分組，獲得了更多數(shù)據(jù)的統(tǒng)計(jì)信息，避免了數(shù)據(jù)量不足導(dǎo)致的統(tǒng)計(jì)信息偏差較大的問題。

本文提出的高光譜圖像生成網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，RGB 圖像輸入后，經(jīng)過五層編碼，逐步實(shí)現(xiàn)語義的抽象，然后在解碼部分再重用編碼器對(duì)應(yīng)語義抽象程度的信息，實(shí)現(xiàn)深淺層特征的高度融合。深淺層融合特征與輸入圖像經(jīng)過一層卷積shortcut 的特征相接，實(shí)現(xiàn)原分辨率特征的利用，保留更多對(duì)恢復(fù)高光譜圖像邊緣有利的信息。

圖2 基于ResUNet 的高光譜圖像生成網(wǎng)絡(luò)Fig.2 HSI generation network based on ResUNet

每次特征的編碼均由殘差模塊進(jìn)行，圖2 中殘差模塊如圖3所示。生成網(wǎng)絡(luò)為每個(gè)特征圖設(shè)置組數(shù)為16 的GN 方案，實(shí)驗(yàn)發(fā)現(xiàn)，在圖2 的特征維度條件下，組數(shù)為16能夠達(dá)到最優(yōu)的高光譜圖像生成效果。

圖3 殘差模塊Fig.3 Schematic diagram of the residual module

1.2 判別網(wǎng)絡(luò)

為了更好地判斷輸入高光譜圖像的真假，本文使用了“Patch GAN”結(jié)構(gòu)［17］。判別器的輸入為成對(duì)的RGB 和高光譜圖像，輸出為通道為1 的一組判別數(shù)據(jù)，表示輸入高光譜圖像真假的概率。由于同時(shí)輸入了RGB 圖像和高光譜圖像，判別器的設(shè)計(jì)應(yīng)該滿足以下兩個(gè)條件：1）關(guān)注RGB 圖像與高光譜圖像的空間與光譜對(duì)應(yīng)關(guān)系；2）關(guān)注高光譜圖像光譜之間的相關(guān)性。本文采用判別器網(wǎng)絡(luò)結(jié)構(gòu)，如圖4所示，由于需要獲取更多的信息，因此判別器特征維度較生成網(wǎng)絡(luò)有所上升。另外，實(shí)驗(yàn)中仍采用了GN 的方式，但其目的是防止每批訓(xùn)練數(shù)據(jù)過少統(tǒng)計(jì)信息偏差較大，導(dǎo)致判別網(wǎng)絡(luò)區(qū)分能力差。實(shí)驗(yàn)中，特征圖分組歸一化的組數(shù)設(shè)置為48 組。

圖4 判別器網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of the discriminator network

1.3 網(wǎng)絡(luò)優(yōu)化

網(wǎng)絡(luò)的損失函數(shù)包含L1 損失函數(shù)和生成對(duì)抗損失兩部分。實(shí)驗(yàn)所用的DFC2018 Houston 數(shù)據(jù)集高光譜數(shù)據(jù)進(jìn)行歸一化后，平均值較小，使用L2損失函數(shù)無法獲得較好的優(yōu)化結(jié)果，本文放棄使用L2 損失函數(shù)而采用L1 損失。

另外，在訓(xùn)練過程中，生成網(wǎng)絡(luò)生成的高光譜圖像是逐漸趨于真實(shí)值的。在訓(xùn)練初期，判別器可能得到不合適的特征區(qū)分真假高光譜圖像。所以本文僅在L1 損失無法繼續(xù)優(yōu)化生成網(wǎng)絡(luò)時(shí)，才使用生成對(duì)抗損失。

式中：Loss為訓(xùn)練初期的損失函數(shù)。

式中：Loss1為L(zhǎng)1 損失無法繼續(xù)優(yōu)化后的損失函數(shù)。

提取空譜特征時(shí)，存在類別不平衡的問題，某些地物出現(xiàn)的頻率高，而有些地物可能僅存在于幾個(gè)小場(chǎng)景中。但由于缺少標(biāo)注，在訓(xùn)練過程中，無法發(fā)現(xiàn)是哪類地物出現(xiàn)的頻率更低，因此本文采用了難樣本挖掘的方式，通過對(duì)高損失的樣本進(jìn)行重復(fù)訓(xùn)練的方式，實(shí)現(xiàn)對(duì)頻率低的地物的重點(diǎn)關(guān)注，在一定程度上，優(yōu)化了高光譜圖像的生成效果。

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)集

DFC2018 Houston 數(shù)據(jù)集是美國(guó)休斯頓大學(xué)的高光譜圖像分析實(shí)驗(yàn)室和國(guó)家機(jī)載激光測(cè)繪中心（National Center for Airborne Laser Mapping，NCALM）為2018 年IEEE GRSS 數(shù)據(jù)融合大賽發(fā)布的多傳感器數(shù)據(jù)。該數(shù)據(jù)集包含：分辨率為0.5 m 的多光譜激光雷達(dá)數(shù)據(jù)；分辨率為1.0 m，光譜范圍在380～1 050 nm，48 個(gè)波段的高光譜數(shù)據(jù)；分辨率為0.05 m 的高分辨率RGB 圖像數(shù)據(jù)。這些數(shù)據(jù)是由NCALM 于2017 年2 月16 日格林威治時(shí)間16∶31 至18∶18 期間在休斯頓大學(xué)校園附近獲取的。實(shí)驗(yàn)選用該數(shù)據(jù)集中的高光譜數(shù)據(jù)，其全景圖像如圖5 所示。實(shí)驗(yàn)中，訓(xùn)練集與測(cè)試集比例是6∶1。

圖5 DFC2018 Houston 數(shù)據(jù)集高光譜圖像全景Fig.5 HSI panorama of the DFC2018 Houston dataset

2.2 生成高光譜圖像評(píng)價(jià)指標(biāo)

對(duì)于生成的高光譜圖像，本文所采用的評(píng)價(jià)指標(biāo)有平均絕對(duì)誤差（Mean Absolute Error，MAE）、均方根誤差（Root Mean Square Error，RMSE）、平均峰值信噪比（Mean Peak Signal to Noise Ratio，MPSNR）、平均結(jié)構(gòu)相似度（Mean Structural Similarity，MSSIM）、光譜角度制圖［18］（Spectral Angle Mapping，SAM）。

2.3 實(shí)驗(yàn)結(jié)果對(duì)比

本部分主要驗(yàn)證本文采用的網(wǎng)絡(luò)結(jié)構(gòu)生成的高光譜圖像在5 個(gè)評(píng)價(jià)指標(biāo)上的結(jié)果，并展示了不同網(wǎng)絡(luò)生成結(jié)果在不同波段上與真實(shí)值的偏差。本文選用了當(dāng)前先進(jìn)的6 種主流方法進(jìn)行重建結(jié)果對(duì)比，對(duì)比結(jié)果見表1。其中，BN 為Batch Normalization［19］，IN 為Instance Normalization［20］，GN 為 組歸一化。

表1 生成高光譜圖像評(píng)價(jià)指標(biāo)Tab.1 Generated HSI evaluation indices

對(duì)比結(jié)果顯示：本文提出方法生成的高光譜圖像較CanNet，均方根誤差下降了48.3%，平均峰值信噪比上升了20.7%。高光譜圖像生成結(jié)果不同波段與真實(shí)值的相對(duì)偏差與所有波段相對(duì)偏差的平均值分別如圖6 和圖7 所示，測(cè)試圖像不同點(diǎn)生成的光譜曲線與真實(shí)值光譜曲線如圖8 所示，計(jì)算相對(duì)偏差y1和平均相對(duì)偏差y2的公式如下：

圖6 高光譜圖像生成結(jié)果不同波段與真實(shí)值的相對(duì)偏差Fig.6 Relative deviation of HSIs generated in different bands from the real value

圖7 高光譜圖像生成結(jié)果不同波段與真實(shí)值的平均相對(duì)偏差Fig.7 Average relative deviation of HSIs generated in different bands from the real value

圖8 生成高光譜圖像與真實(shí)高光譜圖像光譜曲線對(duì)比Fig.8 Spectral curves of the generated HSIs and the real HSIs

式中：xfake為生成光譜曲線；xreal為真實(shí)光譜曲線。

3 結(jié)束語

本文提出了一種基于SSR 的高光譜圖像生成方法，實(shí)現(xiàn)輸入RGB 圖像，輸出對(duì)應(yīng)分辨率的高光譜圖像，可以克服高光譜成像成本高、成像范圍有限等問題。具體地，設(shè)計(jì)了基于ResUNet 的圖像空譜先驗(yàn)提取方法，充分挖掘輸入RGB 圖像中的地物類別等信息，同時(shí)設(shè)計(jì)組歸一化方案，實(shí)現(xiàn)高光譜波段相關(guān)性的關(guān)注。

為增強(qiáng)生成光譜的真實(shí)性，設(shè)計(jì)了條件GAN的生成框架和難樣本挖掘的訓(xùn)練方案，實(shí)驗(yàn)證明，所提出的高光譜生成方法可以實(shí)現(xiàn)優(yōu)于其他先進(jìn)方法的高光譜圖像生成。