李 正，劉 薇，張凱兵

西安工程大學(xué) 電子信息學(xué)院，西安710048

目前，遙感成像技術(shù)已廣泛應(yīng)用于目標(biāo)匹配與檢測、土地覆蓋分類、超分辨土地覆蓋制圖、城市經(jīng)濟(jì)水平評價、資源勘查等方面[1]。然而，由于遙感圖像的拍攝往往覆蓋廣闊的空間面積，即使圖像整體具有高的空間分辨率，分配到單個空間景物的分辨率仍難以將其清晰呈現(xiàn)，導(dǎo)致目標(biāo)測量及識別時的誤差，這也成為限制其應(yīng)用的關(guān)鍵瓶頸之一[1-2]。

提高遙感圖像的空間分辨率需要面對實(shí)現(xiàn)和價格兩方面的困難[3]。因此，通過軟件算法將已有低分辨率遙感圖像重建成高分辨率遙感圖像[2-4]，成為解決該問題的另一可行出路，代表為超分辨率圖像重建技術(shù)。

超分辨（Super-Resolution，SR）的思想是20 世紀(jì)60年代提出的[5]。超分辨重建的一般思路是模擬退化過程，重建求解HR（High Resolution）圖像為退化模的逆過程。圖像退化的公式可表示為：

其中，g代表LR 圖像，H表示退化矩陣，H由下采樣矩陣、模糊矩陣、運(yùn)動扭曲矩陣共同構(gòu)成，z表示原始HR圖像，n代表著隨機(jī)高斯白噪聲。

早期的針對遙感圖像的SR 方法可大致分為：基于插值、基于重建和基于學(xué)習(xí)的方法。基于插值的方法[6-8]是非迭代的空域超分辨率重建方法，其核心是先將LR遙感圖像配準(zhǔn)到HR圖像的網(wǎng)格上，然后運(yùn)用非均勻插值得到HR遙感圖像每一個像素的值?；谥亟ǖ倪b感SR方法[9-10]通常是需要將HR圖像退化處理為LR圖像，研究HR細(xì)節(jié)在低分辨下的表現(xiàn)，建立對應(yīng)關(guān)系，最后構(gòu)建模型來反應(yīng)這種關(guān)系。典型的遙感SR重建算法是Li等[11]建立的小波域內(nèi)的隱馬爾可夫鏈模型。由于相較于自然圖像，LR遙感圖像嚴(yán)重缺乏高頻細(xì)節(jié)信息，采用基于重建的方法僅能提升小的放大倍數(shù)[12]。

基于學(xué)習(xí)的SR方法[13]近年來發(fā)展迅速，其基于HR遙感圖像數(shù)據(jù)集，通過構(gòu)建學(xué)習(xí)模型獲得先驗(yàn)知識，從而重建HR遙感圖像。目前，基于學(xué)習(xí)的遙感SR方法主要為基于稀疏表示的方法和基于深度學(xué)習(xí)的方法兩類。基于稀疏表示的方法通過構(gòu)建HR 和LR 字典，利用學(xué)到的字典和稀疏系數(shù)來重建HR遙感圖像[14]。深度學(xué)習(xí)領(lǐng)域有關(guān)算法，主要是通過卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）直接學(xué)習(xí)高低分辨率遙感圖像之間的映射關(guān)系，在定量和定性上都取得了顯著的改進(jìn)。

目前遙感圖像的SR 重建仍然存在著以下挑戰(zhàn)[15]：遙感圖像難以配準(zhǔn)；低頻信號模糊；模擬退化與實(shí)際不符合等等。本文主要對基于稀疏表示和基于深度學(xué)習(xí)的遙感圖像SR方法進(jìn)行綜述。

1 基于稀疏表示的遙感SR方法

基于稀疏表示的方法認(rèn)為高分辨圖像可以由學(xué)習(xí)到的字典進(jìn)行稀疏表示而獲得。Yang 等[16]首次提出了基于稀疏表示的SR重建方法。該方法建立高低分辨率圖像塊的過完備字典，再求解L1范數(shù)稀疏正則化問題建立LR與HR之間的關(guān)系，測試階段利用LR圖像求得的稀疏系數(shù)α和HR 字典合成HR 圖像特征，具體過程如圖1所示。

圖1 稀疏表示超分辨框架

1.1 基于聯(lián)合字典學(xué)習(xí)的遙感SR方法

Zheng等[17]首先將稀疏表示超分辨的方法應(yīng)用到遙感圖像的超分辨重建中，并利用正交匹配追蹤（Orthogonal Matching Pursuit，OMP）[18]求解稀疏系數(shù)的同時抑制了噪聲。字典學(xué)習(xí)劃分圖像塊時會產(chǎn)生重疊區(qū)域?qū)е耂R 結(jié)果也產(chǎn)生了重疊，文獻(xiàn)[17]利用HR 和LR 遙感圖像的殘差圖像取得了一個新的約束，通過求解帶有重疊區(qū)域限制的高分辨字典，以此避免重建后像素估計(jì)不準(zhǔn)確的問題。

稀疏表示方法需要建立退化模型來訓(xùn)練圖像字典對，但是在對高分辨遙感圖像進(jìn)行退化處理的過程中會丟失很多的信息。對此，Hou等[19]提出了基于稀疏表示和全局聯(lián)合字典模型（Global Joint Dictionary Model，GJDM）。通過細(xì)節(jié)圖像字典構(gòu)建局部約束模型，用局部約束模型得到初始重建的SR 遙感圖像之后，結(jié)合相容項(xiàng)[20]和非局部自相似性[21]得到全局約束，增強(qiáng)了圖像塊之間的內(nèi)在聯(lián)系，提高了模型的SR性能，并采用快速自適應(yīng)收縮閾值算法解決了GJDM中的凸優(yōu)化問題。

基于聯(lián)合字典的超分辨方法以圖像的稀疏性為基礎(chǔ)，利用字典學(xué)習(xí)的方式獲取高、低分辨率圖像之間共同的先驗(yàn)信息，但高低分辨率字典共享稀疏系數(shù)，算法很難擬合LR和HR特征空間和系數(shù)[14]。

1.2 基于殘差字典學(xué)習(xí)的遙感SR方法

Zhang 等[22]認(rèn)為經(jīng)過訓(xùn)練的字典是非結(jié)構(gòu)化的，可能在某些結(jié)果圖像中產(chǎn)生振鈴效應(yīng)。對此，其提出了針對遙感圖像的稀疏殘差字典學(xué)習(xí)方法。該方法認(rèn)為可以用更基礎(chǔ)的字典，通過構(gòu)建結(jié)構(gòu)化的稀疏字典來減緩振鈴效應(yīng)，并且通過學(xué)習(xí)原始高分辨遙感圖像與重建的高分辨遙感圖像的殘差字典，來重建殘差圖像補(bǔ)充圖像的細(xì)節(jié)信息。

由于成像的局限性，遙感圖像的HR 實(shí)例往往很難獲得，Gou 等[23]提出了一種只在LR 遙感圖像訓(xùn)練字典對的方法。該方法利用圖像塊的結(jié)構(gòu)相似性對特征圖像塊進(jìn)行聚類，通過非局部均值濾波找到每個特征圖像塊的相似塊，加權(quán)得到估計(jì)圖像塊，并計(jì)算所有相似塊與其估計(jì)塊的得到殘差，從相似塊和其殘差部分訓(xùn)練得到估計(jì)字典和殘差字典。最后，將改進(jìn)后的圖像局部和非局部先驗(yàn)作為約束正則化項(xiàng)，將光度信息、幾何信息和特征信息統(tǒng)一到重建框架中。

通過殘差圖像構(gòu)建的殘差字典，使得先驗(yàn)信息更加的精確，但殘差字典中的先驗(yàn)信息相較于高低分辨字典更少，降低了超分辨的精確性。

1.3 基于單字典和多字典的遙感SR方法

Yang等[24]把壓縮感知理論和稀疏表示結(jié)合起來，將LR 圖像視為HR 圖像的壓縮文件，SR 過程視為解壓縮的過程，簡化了雙字典學(xué)習(xí)的方法提出了一種單字典學(xué)習(xí)的超分辨方法。該方法無需學(xué)習(xí)LR 字典，其要點(diǎn)在于通過LR 圖像求解稀疏系數(shù)，利用K-SVD（K-Singular Value Decomposition）[25]算法解出HR字典后，利用基追蹤算法（Basis Pursuit，BP）[26]求解帶有L1范數(shù)稀疏正則化的表示系數(shù)，最終通過表示系數(shù)和HR 字典重建SR圖像。

針對單一類型特征字典重建遙感圖像導(dǎo)致的偽影，Wu等[27]提出了一種學(xué)習(xí)多種類型特征的字典來表達(dá)圖像基本結(jié)構(gòu)的SR 方法。該方法通過提取不同的特征，學(xué)習(xí)多個LR遙感圖像字典，通過這些字典重建LR圖像的誤差來指導(dǎo)其表示系數(shù)在重建HR 圖像時的貢獻(xiàn)權(quán)重，最終的HR圖像由HR特征圖疊加生成。

基于單字典的方法對于紋理簡單的圖像十分有效，但在紋理復(fù)雜的遙感圖像上具有一定的局限性，多字典的方法雖然能夠生成更精確的結(jié)果，但增加了計(jì)算量。

針對遙感圖像的基于稀疏表示的方法可以通過調(diào)整重構(gòu)誤差項(xiàng)中的正則化系數(shù)來控制重構(gòu)精度和抑制噪聲的能力，因此具有較高的靈活性和魯棒性。上述方法都需要學(xué)習(xí)特征字典，當(dāng)圖像結(jié)構(gòu)復(fù)雜需要較大的數(shù)據(jù)集時，此類方法要求的計(jì)算時間復(fù)雜度較高，且重建的質(zhì)量與學(xué)習(xí)的字典的質(zhì)量相關(guān)，面對結(jié)構(gòu)復(fù)雜、缺少大量細(xì)節(jié)的遙感圖像，重建質(zhì)量和SR 效率距離實(shí)際應(yīng)用仍然有很大的差距。

2 基于深度學(xué)習(xí)的遙感圖像SR方法

2.1 有監(jiān)督的深度學(xué)習(xí)遙感SR方法

2.1.1 基于CNN的遙感SR方法

2015年，Dong等[28]首次使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行超分辨率重建。深度卷積神經(jīng)網(wǎng)絡(luò)因其實(shí)現(xiàn)端對端的全局最優(yōu)求解以及優(yōu)越的性能表現(xiàn)，被廣泛使用在SR領(lǐng)域。

Liebe[29]將SRCNN（Super Resolution Convlution Neural Network）[28]引入了遙感圖像的超分辨中。因?yàn)榈孛娌蓸娱g隔大，遙感圖像SR 不能直接使用自然圖像高低分辨率之間的映射關(guān)系，因此作者利用SENTINEL-2 圖像（含有13 個頻帶，可達(dá)10 m）制作了遙感數(shù)據(jù)集，使用此數(shù)據(jù)集對SRCNN 重新進(jìn)行了訓(xùn)練，使其能夠?qū)W習(xí)到遙感圖像高低分辨率圖像之間的關(guān)系，得到了具有處理高輻射分辨率的多光譜衛(wèi)星圖像的能力的網(wǎng)絡(luò)模型msiSRCNN（multispectral satellite images SRCNN）。

由于遙感圖像局部細(xì)節(jié)信息缺失嚴(yán)重，而普通的CNN超分辨方法往往只使用感受野較大的深層的特征進(jìn)行SR 重建，忽略了局部信息，Lei 等[30]針對此問題設(shè)計(jì)了一種“分支”結(jié)構(gòu)的網(wǎng)絡(luò)（Local-Global Combined Network，LGCnet），來學(xué)習(xí)遙感圖像的多尺度表示，利用CNN 隨著網(wǎng)絡(luò)深度加深感受野隨之?dāng)U大的特點(diǎn)，通過級聯(lián)淺層和深層的特征映射來實(shí)現(xiàn)局部與全局信息的結(jié)合，從而更好地指導(dǎo)遙感超分辨重建。

LGCnet 級聯(lián)了深度不同的卷積層，但并未改變卷積核的大小，Qin等[31]鑒于GoogLeNet[32]提出了級聯(lián)不同卷積核的多尺度卷積網(wǎng)絡(luò)（Multi-Scale Convolutional Neural Network，MSCNN）。在特征提取階段同時利用不同大小的卷積核多尺度提取圖像不同角度的特征，將提取到的特征進(jìn)行通道拼接之后，利用深層次卷積將這些特征進(jìn)行融合，得到更加全面的深度特征從而提高模型的SR效果。

上述兩種方法雖然都對遙感圖像局部信息缺失的特點(diǎn)的問題進(jìn)行了研究，但兩者為了保證特征圖像能夠融合，都在卷積時對特征圖進(jìn)行了填充，至此特征圖像含有較多的噪聲信號，導(dǎo)致模型訓(xùn)練難度增加，且不利于最終SR圖像的重建。另外，上述方法網(wǎng)絡(luò)層數(shù)少，而遙感圖像結(jié)構(gòu)復(fù)雜的同時信息量較大，因而網(wǎng)絡(luò)不能很好的擬合遙感圖像的高低分辨率之間的關(guān)系，影響SR結(jié)果的精確性。

2.1.2 基于殘差學(xué)習(xí)的遙感SR方法

為了解決網(wǎng)絡(luò)層數(shù)的加深，導(dǎo)致梯度爆炸和梯度消失的問題，He等[33]提出了殘差網(wǎng)絡(luò)。Pan等[34]受到Haris等提出的深度反投影網(wǎng)絡(luò)（Dense Back-Projection Networks，DBPN）[35]的啟發(fā)，提出了一種基于殘差稠密網(wǎng)絡(luò)的方法（Residual DBPN，RDBPN）。該方法在DBPN投影單元的基礎(chǔ)上添加了稠密的跳躍連接，從而構(gòu)建了全局和局部殘差，并通過特征的復(fù)用為高倍放大提供了信息，因此使其在高倍放大時顯示出較好的性能。

針對大尺度超分辨需要大量的特征信息，文獻(xiàn)[34]利用了稠密殘差鏈接來實(shí)現(xiàn)特征的復(fù)用，Dong 等人[36]認(rèn)為僅利用網(wǎng)絡(luò)末端的特征，限制了SR重建的效果，設(shè)計(jì)了稠密采樣機(jī)制（Dense Sampling Super Resolution，DDSR），將網(wǎng)絡(luò)不同深度的特征都傳遞到最終的上采樣模塊中進(jìn)行最終的重建。該方法為了充分利用不同的特征，在網(wǎng)絡(luò)殘差塊中拓寬了通道注意力機(jī)制的輸入，并采用了鏈?zhǔn)接?xùn)練策略，以小比例因子的模型作為大比例超分辨的初始化參數(shù)以簡化訓(xùn)練，提高性能。該方法對于大比例放大具有明顯的優(yōu)勢。

針對遙感高分辨圖像數(shù)據(jù)缺乏的問題，為了不增加參數(shù)且保持模型性能，Haut等[37]把視覺注意力機(jī)制融入到基于殘差的網(wǎng)絡(luò)設(shè)計(jì)中（Remote Sensing Residual Channel Attention Network，RSRCAN），該機(jī)制可以引導(dǎo)網(wǎng)絡(luò)訓(xùn)練過程朝向信息量最大的特征。注意力模塊通過增強(qiáng)圖像高頻信息，抑制低頻信息，從而讓模型的去更多學(xué)習(xí)高頻分量之間的映射關(guān)系，集中在需要更精細(xì)HR細(xì)節(jié)相關(guān)的地表特征上。

考慮到注意力機(jī)制能夠挖掘遙感圖像的高頻信息，Zhang 等[38]提出了高階混合注意力機(jī)制（Mixed High-Order Attention Network，MHAN）。在特征提取階段通過核為1的卷積給不同層次的卷積施加權(quán)重，保留了更重要的信息。在特征細(xì)化階段增加了頻率感知鏈接，通過高階注意力模塊將不同深度的特征進(jìn)行融合提煉，以生成更豐富的高階特征。

針對遙感圖像場景差異大，且目標(biāo)物尺寸差異大的問題，Zhang等[39]用遷移學(xué)習(xí)的方法對不同場景的HR和LR 遙感圖像進(jìn)行建模（Multiscale Attention Network，MASN）。通過AID 數(shù)據(jù)集訓(xùn)練好基準(zhǔn)模型后，對30 個場景下的映射關(guān)系進(jìn)行模型微調(diào)，最終獲得30個模型，對不同場景的遙感圖像能夠自適應(yīng)的分配模型進(jìn)行超分辨重建。該方法針對目標(biāo)物尺寸差異大提出了多級激活特征融合模塊，采用了不同大小的卷積核提取不同尺度的特征，并利用通道注意力機(jī)制對不同尺度的特征進(jìn)行了融合。此方法雖然取得了不錯的效果，但模型數(shù)量和參數(shù)量增加。

雖然網(wǎng)絡(luò)加深能夠提取到更抽象的特征，但目前大多數(shù)方法缺乏對淺層特征的利用。為了充分利用不同層次特征，Li 等[40]提出了群組并行鏈接模塊（Parallel-Connected Residual Channel Attention Network，PCRCAN）。在主干分支以外增加數(shù)個子分支進(jìn)行特征提取，如此對相同的特征進(jìn)行了多方面的提取，提高了信息利用的效率。

上述方法中的注意力機(jī)制雖然能夠加強(qiáng)網(wǎng)絡(luò)對重要特征的學(xué)習(xí)，但缺乏對同一特征不同空間區(qū)域的判別性學(xué)習(xí)能力。Lei等[41]提出了利用Iception模塊[32]提取不同尺度特征，結(jié)合通道注意力和空間注意力機(jī)制，學(xué)習(xí)區(qū)分重要特征的網(wǎng)絡(luò)（Inception Residual Attention Network，IRAN），再對每個特征圖的不同區(qū)域進(jìn)行注意力分配。該方法能夠較為全面的對遙感特征進(jìn)行判別性的學(xué)習(xí)，但增加了模型復(fù)雜度。

上述基于深度學(xué)習(xí)的方法都是在空間域進(jìn)行重建的，并致力于學(xué)習(xí)LR 與HR 圖像中對應(yīng)像素之間的關(guān)系，很少有研究將頻域的方法應(yīng)用到深度學(xué)習(xí)當(dāng)中。對此，Ma 等[42]將小波變換引入基于深度學(xué)習(xí)的遙感超分辨中，提出了結(jié)合小波變換的殘差遞歸網(wǎng)絡(luò)（Wavelet Transform Combined with Recursive Res-net，WTCRR）。該模型通過刪除DRRN（Deep Recursive Residual Network）[43]網(wǎng)絡(luò)的BN 層[44]得到。該方法利用小波變換對圖像在頻域進(jìn)行分解，將小波分解得到的高頻分量和原始圖像一起作為網(wǎng)絡(luò)的輸入進(jìn)行SR 映射。根據(jù)WTCRR中跳躍鏈接的方式，網(wǎng)絡(luò)中每個模塊都能夠使用原始特征，網(wǎng)絡(luò)末端能夠得到更加全面的深度特征來進(jìn)行最終的小波逆變換SR重建。

基于殘差學(xué)習(xí)的超分辨方法雖然能夠有效提升SR結(jié)果的精確性，但網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，訓(xùn)練時間較長，對數(shù)據(jù)的依賴性較高，在缺乏數(shù)據(jù)的情況下難以實(shí)現(xiàn)較好的結(jié)果。

2.1.3 基于生成對抗網(wǎng)絡(luò)（GAN）的有監(jiān)督遙感SR方法

SRGAN[45]是設(shè)計(jì)專用于超分辨的GAN（Generative Adversarial Network），SRGAN能夠利用感知損失將SR結(jié)果推送到自然圖像的流形上，以得到更符合人類視覺感知的圖像，借助GAN的訓(xùn)練策略能夠使SR生成器生成更加符合人的感知的圖像。鑒于SRGAN取得的優(yōu)異效果，以下方法利用GAN的思想，使遙感圖像超分辨效果更符合人眼的觀測效果。

遙感圖像的退化過程受到很多因素的影響，往往包含較多的噪聲，而基于GAN 的原始方法對噪聲較為敏感，會產(chǎn)生與輸入圖像無關(guān)的高頻噪聲。在土地覆蓋分類，地面目標(biāo)識別等高級計(jì)算機(jī)視覺任務(wù)中，該問題會降低準(zhǔn)確性[46]。對此，Jiang 等[47]從邊緣增強(qiáng)的角度，提出了EEGAN（Edge-Enhanced GAN）。首先使用改良的稠密殘差塊組成生成網(wǎng)絡(luò)；生成SR 基準(zhǔn)圖像后；通過Laplacian 算子構(gòu)建的邊緣增強(qiáng)網(wǎng)絡(luò)，提取SR 基準(zhǔn)圖像的邊緣并對其增強(qiáng)；得到增強(qiáng)的邊緣后于SR 基準(zhǔn)圖像融合生成邊緣清晰的HR遙感圖像，以此緩解遙感圖像目標(biāo)地物邊緣模糊的問題。

與自然圖像相比，遙感圖像有更多的平坦區(qū)域和更多的低頻圖像成分，使用GAN 對遙感圖像進(jìn)行SR 時，判別器很難判斷這些圖像區(qū)域是從真實(shí)的HR遙感圖像生成還是采樣得到的（分辨模糊問題），導(dǎo)致生成HR遙感圖像質(zhì)量受到影響。對此Lei 等[48]設(shè)計(jì)了一種新的GAN網(wǎng)絡(luò)：耦合鑒別GAN（Coupled-Discriminate GAN，CDGAN）網(wǎng)絡(luò)；通過構(gòu)建雙通道網(wǎng)絡(luò)將真實(shí)HR圖像和SR 圖像同時輸入判別器，將雙通道網(wǎng)絡(luò)提取到的特征進(jìn)行拼接輸入后續(xù)層中，并構(gòu)建了專用的耦合損失函數(shù)來更新網(wǎng)絡(luò)參數(shù)，該模型增強(qiáng)了對遙感圖像低頻區(qū)域的鑒別力，改善了基于GAN的圖像SR方法在處理低頻圖像區(qū)域時分辨模糊的現(xiàn)象。

Yu 等[49]以DBPN[35]為基礎(chǔ)構(gòu)建了生成器網(wǎng)絡(luò)E-DBPN（Enhanced-DBPN），并在其中加入了改進(jìn)的殘差通道注意力機(jī)制，以促進(jìn)網(wǎng)絡(luò)擁有對特征的判別性學(xué)習(xí)能力，從而保持對SR更有貢獻(xiàn)的特征。同時，設(shè)計(jì)了順序特征融合模塊，以漸進(jìn)融合的形式處理上投影單元的特征映射。該方法利用了DBPN 的誤差反饋機(jī)制對LR和HR的深層關(guān)系進(jìn)行了探索，以對抗生成策略加強(qiáng)了模型的SR性能。

基于GAN 的有監(jiān)督學(xué)習(xí)方法，能夠有效提高生成的HR圖像的感知質(zhì)量，但需要借助判別器網(wǎng)絡(luò)，增加了訓(xùn)練的難度。在上述方法中EEGAN[47]對遙感圖像中地物的邊緣采取了強(qiáng)化，忽略了平坦區(qū)域的信息，CDGAN[48]對遙感圖像中較為平坦的區(qū)域進(jìn)行增強(qiáng)，忽略了邊緣信息，而E-DBPN 缺乏對遙感圖像空間信息的判別性處理，對遙感圖像中微小細(xì)節(jié)的恢復(fù)能力不足。上述3種方法都只對遙感圖像中的一項(xiàng)特征進(jìn)行增強(qiáng)，在實(shí)際應(yīng)用時，有一定的局限性。

2.1.4 有監(jiān)督深度學(xué)習(xí)遙感SR方法的分析對比

表1將有監(jiān)督的深度學(xué)習(xí)遙感SR網(wǎng)絡(luò)模型的原理進(jìn)行了解析，將每個模型的優(yōu)點(diǎn)和不足進(jìn)行了對比。

表1 有監(jiān)督深度學(xué)習(xí)遙感SR方法對比

2.2 基于深度學(xué)習(xí)的遙感SR無監(jiān)督方法

有監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)了從LR 圖像到HR 圖像的映射，但高分辨遙感圖像通常難以獲取，且退化得到的圖像與實(shí)際的低分辨遙感圖像仍存在差異，而無監(jiān)督的方法能夠在不使用任何其他外部數(shù)據(jù)的情況下對每個特定的LR 輸入圖像進(jìn)行超分辨率處理，Haut 等[50]從無監(jiān)督的角度對遙感數(shù)據(jù)進(jìn)行SR重建，構(gòu)建了SR遙感圖像的生成網(wǎng)絡(luò)模型（A New Deep Generative Network，ANDGN）。該方法首先將隨機(jī)噪聲擴(kuò)張到目標(biāo)HR維度，通過生成網(wǎng)絡(luò)補(bǔ)充圖像信息，利用網(wǎng)絡(luò)生成的HR 結(jié)果下采樣之后和原始LR 遙感圖像構(gòu)建了迭代的損失函數(shù)以確保生成HR 圖像與LR 圖像相對應(yīng)，在之后的迭代中將生成的圖像作為網(wǎng)絡(luò)輸入，通過反復(fù)的迭代直至生成最終需要的HR遙感圖像。

Wang等[51]基于CycleGAN[52]提出了一種用于遙感圖像SR的無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)CycleCNN，該網(wǎng)絡(luò)包含圖像退化網(wǎng)絡(luò)和圖像超分辨網(wǎng)絡(luò)。在退化網(wǎng)絡(luò)中用GaoFen-2中GSD為1 m/pixel的全色圖像作為HR進(jìn)行退化；在超分辨網(wǎng)絡(luò)中，將GSD為4 m/pixel的多光譜（MS）中的前3個波段轉(zhuǎn)換到Y(jié)CbCr顏色空間，用作LR進(jìn)行超分辨重建。將退化和超分辨網(wǎng)絡(luò)得到圖像又分別輸入超分辨和退化網(wǎng)絡(luò)中，構(gòu)建循環(huán)損失函數(shù)，從而使退化網(wǎng)絡(luò)能夠退化出更真實(shí)的低分辨圖像，提高超分辨網(wǎng)絡(luò)的性能。

在文獻(xiàn)[50]的啟發(fā)下，Zhang 等[53]提出了一種基于GAN的無監(jiān)督遙感圖像超分辨網(wǎng)絡(luò)模型（Unsupervised GAN，UGAN）。該網(wǎng)絡(luò)直接用LR遙感圖像作為生成網(wǎng)絡(luò)的輸入，采用核尺寸逐漸減小的卷積層提取不同尺度的特征，為無監(jiān)督的SR保留了更多的信息，并通過計(jì)算每幅圖像及其高層特征的L1損失和SSIM損失，改進(jìn)了損失函數(shù)。

在上述方法中，文獻(xiàn)[51]用不同的采樣間隔的數(shù)據(jù)集作為生成器和退化模型的輸入以模擬HR 和LR 圖像，與真實(shí)數(shù)據(jù)仍有一定的差距。而文獻(xiàn)[53]中采用平均池化，雖然能夠提高退化模型的泛化能力，但影響遙感圖像退化的因素眾多，池化不能完全表示退化模型。針對遙感圖像復(fù)雜的退化情況，Zhang 等[54]提出先用大量的合成退化的數(shù)據(jù)集來訓(xùn)練一個退化模型，而后設(shè)計(jì)了生成器模型將原始遙感圖像先進(jìn)行SR 再進(jìn)行退化，以退化結(jié)果和原始LR的遙感圖像做差形成損失函數(shù)優(yōu)化網(wǎng)絡(luò)。該網(wǎng)絡(luò)（Multi-Degradation GAN，MDGAN）能夠較為真實(shí)的模擬出退化過程，但遙感圖像退化與自然圖像退化仍有較大的差別，模擬遙感圖像退化需要考慮成像、大氣等因素，建模較自然圖像更為困難。

基于深度學(xué)習(xí)的遙感SR 方法能夠直接學(xué)習(xí)到LR遙感和HR 遙感圖像之間的關(guān)系。但在有監(jiān)督的遙感SR 方法中，模型訓(xùn)練需要對原始圖像進(jìn)行人工下采樣得到訓(xùn)練數(shù)據(jù)，人工下采樣得到的數(shù)據(jù)進(jìn)行SR 之后和原始遙感圖像做差建立損失函數(shù)。這樣構(gòu)建的模型是不合理的，現(xiàn)實(shí)中存在的LR 遙感圖像與HR 遙感圖像之間的關(guān)系復(fù)雜，只用人工下采樣來模擬，SR 效果有限。而基于深度學(xué)習(xí)的無監(jiān)督的遙感SR方法性能并不顯著，與有監(jiān)督的方法相比存在較大效果差異。

表2將無監(jiān)督的深度學(xué)習(xí)遙感SR網(wǎng)絡(luò)模型的原理進(jìn)行了解析，將每個模型的優(yōu)點(diǎn)和不足進(jìn)行了比對。

表2 無監(jiān)督深度學(xué)習(xí)遙感SR方法對比

3 衡量算法性能的指標(biāo)

峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）[55]，是一個表示最大信號功率和影響它的背景破壞性噪聲功率的比值，PSNR基于對應(yīng)像素點(diǎn)間的誤差，即基于誤差敏感的圖像質(zhì)量評價。PSNR越大表示重建圖像的質(zhì)量越高，通常將其作為衡量SR重建性能的重要指標(biāo)。

結(jié)構(gòu)相似性指數(shù)（Structural Similarity index，SSIM）[56]從圖像組成的角度將結(jié)構(gòu)信息定義為獨(dú)立于亮度、對比度的反映場景中物體結(jié)構(gòu)的屬性，并將失真建模為亮度、對比度和結(jié)構(gòu)3個不同因素的組合。用均值作為亮度的估計(jì)，標(biāo)準(zhǔn)差作為對比度的估計(jì)，協(xié)方差作為結(jié)構(gòu)相似程度的度量。

其中，μXμX0表示原始圖像X和生成圖像X0的均值，σX和σX0分別表示其標(biāo)準(zhǔn)差σXX0為兩個圖像間的協(xié)方差，c1和c2是為了避免分母為0維持穩(wěn)定的常數(shù)。

3.1 性能指標(biāo)對比

表3將本文出現(xiàn)的基于深度學(xué)習(xí)的遙感SR共用的性能指標(biāo)進(jìn)行了對比。

表3 深度學(xué)習(xí)遙感SR方法性能指標(biāo)對比

LGCnet[30]和MSCNN[32]，兩者網(wǎng)絡(luò)結(jié)構(gòu)簡單計(jì)算效率高，綜合模型復(fù)雜度和SR效果比較，其模型更有可能在實(shí)際中應(yīng)用。在大尺度因子的放大比較中，RDBPN[35]在×8比例SR遙感圖像中表現(xiàn)尚可，但在×4比例放大中并無明顯提升。MHAN[38]在×4和×8比例下性能優(yōu)越，但在×2的效果略遜于DDSR[36]。在上述有監(jiān)督的方法中，效果較好的是EEGAN[47]和IRAN[41]，EEGAN在比例因子為×2、×3、×4的情況下都表現(xiàn)出顯著的優(yōu)勢，證明了邊緣增強(qiáng)策略的有效性。IRAN 在×2、×3 上效果顯著，驗(yàn)證了不同尺度特征對遙感圖像的SR重建的積極貢獻(xiàn)。無監(jiān)督的方法中，PSNR和SSIM展現(xiàn)出的結(jié)果并不同步，PSNR最高的是ANDGN[50]，而SSIM最高的是UGAN[53]，但兩者并未出現(xiàn)明顯的優(yōu)勢，證實(shí)了無監(jiān)督的方法對于重建遙感圖像仍然存在較大的困難，但相比于有監(jiān)督方法對已知的退化模型進(jìn)行建模，無監(jiān)督的方法更加適用于實(shí)際應(yīng)用。

4 結(jié)束語

本文對基于機(jī)器學(xué)習(xí)的遙感圖像超分辨方法進(jìn)行了綜述，將機(jī)器學(xué)習(xí)領(lǐng)域遙感超分辨的主流方法分為兩類：基于稀疏表示的遙感圖像SR 方法和基于深度學(xué)習(xí)的遙感圖像SR方法。對每個方法所針對的核心問題和解決方案進(jìn)行了分析和總結(jié)。對基于稀疏表示的遙感SR 方法來說，字典特征的提取方式以及訓(xùn)練字典的約束條件是其關(guān)鍵。針對遙感圖像的結(jié)構(gòu)特點(diǎn)，可以通過學(xué)習(xí)與之相關(guān)的字典以及添加相關(guān)的正則項(xiàng)約束來優(yōu)化算法，缺點(diǎn)是其重建效率會受到稀疏編碼計(jì)算效率的影響?；谏疃葘W(xué)習(xí)的遙感SR 方法，其網(wǎng)絡(luò)結(jié)構(gòu)以及損失函數(shù)的設(shè)置往往決定了SR的性能。此類方法利用卷積層提取深度特征，針對遙感圖像的特點(diǎn)可采用不同的特征提取策略來優(yōu)化網(wǎng)絡(luò)的SR 性能，缺點(diǎn)是模型可解釋性弱，對數(shù)據(jù)的依賴度高。

這兩類方法的共同之處在于都在學(xué)習(xí)LR遙感圖像和HR遙感圖像之間的映射關(guān)系，優(yōu)化遙感圖像特征的提取方式都能夠?qū)R效果產(chǎn)生一定的提升?；谏疃葘W(xué)習(xí)的遙感SR 方法通過深度特征能夠直接構(gòu)建LR 圖像和HR圖像之間的關(guān)系，而基于稀疏表示的方法則需要建立字典之間的關(guān)系，間接的表達(dá)高低分辨率圖像之間的關(guān)系。與基于稀疏表示的方法相比，基于深度學(xué)習(xí)的方法能更直接的表達(dá)高低分辨率之間的關(guān)系，且深度學(xué)習(xí)模塊靈活性高，訓(xùn)練好的模型可以很快投入使用，因此該方法更容易推廣到實(shí)際應(yīng)用當(dāng)中。

綜上所述，基于機(jī)器學(xué)習(xí)的遙感圖像超分辨重建技術(shù)仍不夠成熟，依然存在許多亟待解決的關(guān)鍵問題，主要包括：

（1）原始HR遙感圖像難以獲取的問題。SR任務(wù)需要從LR 圖像重建HR 圖像，目前方法多利用標(biāo)準(zhǔn)數(shù)據(jù)集提供的HR-LR 對進(jìn)行訓(xùn)練和性能測試。然而，由于遙感圖像采集過程中大氣擾動、噪聲和運(yùn)動等影響，真實(shí)的HR圖像難以獲得。因此，目前的方法距離實(shí)際使用還有一定的距離。

目前，基于GAN 網(wǎng)絡(luò)的方法試圖利用生成器克服這一困難，一些無監(jiān)督的方法試圖通過學(xué)習(xí)退化過程得到HR圖像?？紤]到遷移學(xué)習(xí)能夠從其他樣本中學(xué)得先驗(yàn)，并在目標(biāo)域中優(yōu)化，可以從遷移學(xué)習(xí)和零樣本學(xué)習(xí)的方法中借鑒思路解決這一問題。

（2）遙感圖像較自然圖像，細(xì)節(jié)丟失更為嚴(yán)重。通常，遙感圖像單個像素所代表的實(shí)際距離超過5 m，導(dǎo)致圖像中細(xì)節(jié)損失，重建困難。對此，現(xiàn)有方法分別從局部-全局聯(lián)合特征提取、注意力機(jī)制、結(jié)合小波變換、邊緣增強(qiáng)等策略出發(fā)，試圖重建出更為豐富的細(xì)節(jié)信息?？梢詤⒖嘉⑿∧繕?biāo)檢測的方法，對遙感圖像中的細(xì)微目標(biāo)地物進(jìn)行提取和增強(qiáng)，以緩解細(xì)節(jié)缺失的問題。

（3）遙感圖像場景內(nèi)容差異較大。遙感拍攝往往涉及到多種地貌，因此會拍攝到多種場景內(nèi)容，導(dǎo)致樣本的多樣性。因此，遙感數(shù)據(jù)集對于單個場景的貢獻(xiàn)也被削弱。這就要求所設(shè)計(jì)的方法對樣本的包容性更強(qiáng)，學(xué)習(xí)能力更強(qiáng)，即通過一個模型來描述不同場景下目標(biāo)的HR與LR之間的關(guān)系。針對此問題，文獻(xiàn)[39]對30個不同的遙感場景進(jìn)行了超分辨建模，但需要付出較大的計(jì)算和存儲代價。遙感SR模型的輕量化對于多場景建模具有重要意義。

（4）遙感圖像同一場景下，目標(biāo)物空間大小差異較大。在一副遙感圖像中往往包含多個目標(biāo)，且這些目標(biāo)物的尺寸大小都不相同，如在街道場景中車輛可能只占了幾個像素，房屋占了幾百個像素，在卷積的過程中，可能丟失小目標(biāo)的特征，從而影響SR 結(jié)果的精確性。因而，多級特征提取及特征融合在遙感SR 領(lǐng)域仍有重要的研究意義。