張震洲 高昆* 李維 王俊偉 陳卓一 吳穹 蘇云

光學遙感圖像的超分辨率處理技術綜述

張震洲1高昆1*李維2王俊偉1陳卓一3吳穹1蘇云2

（1 北京理工大學光電成像技術與系統(tǒng)教育部重點實驗室，北京 100081）（2 北京空間機電研究所，北京 100094）（3 中國空間技術研究院總體部，北京 100094）

光電成像系統(tǒng)探測器的欠采樣效應、光學系統(tǒng)的衍射極限等諸多降晰因素影響著光學對地觀測系統(tǒng)的分辨力。超分辨率處理技術利用信號處理的手段重建成像系統(tǒng)截止頻率之外的信息，可以在不改變硬件設備的前提下，獲得高于成像系統(tǒng)分辨率的圖像，對于光學遙感器的設計和應用有著重要意義。文章結合了光學遙感圖像退化模型和圖像超分辨率處理的技術實施途徑，按照基于圖像重建的方法，基于學習的方法和重建與學習混合的方法進行了分類綜述，對比了各種主要算法的基本特點，并對未來的發(fā)展方向進行了展望。

遙感圖像 退化模型 超分辨率處理方法 評價指標 航天遙感

0 引言

自1972年第一顆地球觀測衛(wèi)星——陸地衛(wèi)星（Landsat-1）被美國國家航空和航天局（NASA）發(fā)射升空起，對地觀測技術在軍事偵察，環(huán)境監(jiān)測，地圖繪制，全球變化分析等方面發(fā)揮著重要作用。當下，高分辨對地觀測已經成為各航天大國空間技術競爭的熱點，如美國“鎖眼”（Keyhole，KH）系列間諜衛(wèi)星，其KH-12的地面分辨率達0.1m，瞬時幅寬達40~50km[1]。然而，傳輸型衛(wèi)星受限于成像傳感器的欠采樣效應與成像鏈路中諸多退化因素，通過在硬件水平上減小像元尺寸、改進采樣模式、降低軌道高度、增大光學系統(tǒng)焦距等方法來提升分辨率的成本和風險都相當大[2]，因此，如何在不改變硬件的前提下獲得高分辨率圖像，對于遙感器的設計和應用意義重大。

超分辨率（Super-Resolution，SR）圖像處理技術（簡稱“超分”）指在原有成像系統(tǒng)基礎上，通過算法從單張或多張退化的低分辨率（Low Resolution，LR）圖像中生成高分辨率（High Resolution，HR）圖像，旨在恢復成像系統(tǒng)截止頻率之外的信息，突破分辨率的限制。超分可分為針對欠采樣效應的超分辨率重建技術（簡稱“超分重建”）和針對圖像退化的超分辨率復原技術（簡稱“超分復原”）。

文獻[3-4]在20世紀60年代最先提出超分的概念，從單張LR圖像中重建HR圖像。在此基礎上，根據(jù)局部鄰域相似性的多幀圖像超分重建隨后被提出[5]。最早的技術大多利用簡單的插值，如鄰近插值、雙二次插值、雙三次插值等。之后的研究者逐漸把超分辨率處理當成一種不適定（Ill-posed）問題，嘗試通過建模求解圖像采樣退化的逆過程，主要在成像分析和幾何分析的角度尋找解決方案。此后，結合反向傳播的誤差衰減方法出現(xiàn)[6]，為基于神經網(wǎng)絡的方法進行了鋪墊。進入90年代，基于亞像素位移的多幀超分[7]和基于多傳感器圖像融合[8]等開創(chuàng)性方法也被提出來，超分技術便開始快速發(fā)展，從單級特征增強逐漸過渡到多級特征增強。此時該領域的主要理論模型有：概率論模型、插值模型、變換域模型、機器學習和人工神經網(wǎng)絡模型，以及一些混合模型等。2000年以后，基于深度學習（Deep Learning）的方法因具有強大的多層特征學習和表達能力而得到廣泛關注，并演化出了卷積神經網(wǎng)絡（Convolutional Neural Network，CNN）、自編碼器（Autoencoder，AE）和生成對抗網(wǎng)絡（Generative Adversarial Network，GAN）等模型。

本文將主要分析光學遙感圖像的退化模型和超分辨率處理面臨的挑戰(zhàn)，分類探討主流的算法及其對比，介紹衡量處理結果的指標，最后總結該項技術并做出展望。

1 光學遙感圖像的退化模型與超分辨率處理面臨的挑戰(zhàn)

超分來源于對自然圖像的研究，后被推廣至遙感圖像。但遙感圖像包含豐富的地物類型，成像鏈路上存在的采樣、形變、降晰、噪聲等諸多退化因素以及云層、地形起伏、霧霾等光照變化導致的地面?zhèn)斡暗?，使得遙感影像的語義信息比自然圖像復雜得多，因此遙感圖像的超分難度更大。

1.1 光學遙感圖像的退化模型

遙感系統(tǒng)獲取光學圖像的過程可以看作是連續(xù)地物輻射信息被成像系統(tǒng)量化輸出圖像的過程。這其中輻射信息會經歷一系列退化而導致圖像降質，一般可歸結為四個過程[9]：

1）形變過程：包含幾何層面的平移、旋轉、尺度變化等。光學系統(tǒng)產生的畸變和在成像傳感器光電轉換和信號掃描讀出過程中，遙感平臺相對地物場景的運動是導致形變的主要原因；

2）模糊過程：主要指成像模糊，可當作一個對于連續(xù)場景的低通濾波器，一般用點擴散函數(shù)（Point Spread Function，PSF）或模糊核（Blurring Kernel）描述。遙感系統(tǒng)成像時，探測器接收到的輻射受到大氣影響，會包含地表直接反射的輻射、大氣向下散射后經地表二次反射的輻射和太陽輻射向上散射的部分；此外，遙感平臺振動會造成運動模糊、光學系統(tǒng)存在散焦模糊等，綜合導致了遙感圖像的模糊；

3）采樣過程：包括空間和灰度級的量化，是傳感器將連續(xù)景物映射到圖像網(wǎng)格和灰度級分辨單元的過程。通常遙感圖像信息量巨大，單個特征占用像素數(shù)有限，所以欠采樣造成的混疊（Aliasing）效應更加明顯。沒有達到遙感系統(tǒng)最小地面分辨單元尺度的特征，會被包含在對應像素所記錄的所有特征的平均亮度中無法分辨[10]；

4）噪聲影響過程：遙感系統(tǒng)中，噪聲主要由電路在轉化，存儲和傳輸信號時引入，一般用高斯噪聲來表示。

上述過程如圖1所示，可以表示為：

式中h和1分別表示原始HR圖像和退化圖像；、和分別表示采樣過程、模糊過程和形變過程；表示噪聲影響。式（1）可簡化為式（2），其中為形變、模糊和采樣的綜合。

圖1 HR圖像到LR圖像的退化過程

超分辨率處理便是求解圖像降質的逆過程。由于不同HR圖像采樣退化后可能得到同一張LR圖像，所以超分辨率處理是一個不適定問題[11]。綜合來看，遙感圖像比自然圖像情況更復雜，但二者超分辨率處理的基本問題是相同的，所以有時會將研究自然圖像的下采樣退化方法遷移來應用于遙感領域[12]。

1.2 光學遙感領域中超分辨率處理面臨的挑戰(zhàn)

遙感圖像的超分辨率處理主要面臨以下挑戰(zhàn)：

1）遙感成像全鏈路上的退化因素很多，PSF類型復雜，使得建立模型、確定先驗和學習映射關系的難度增加；

2）遙感圖像中光照和陰影情況復雜，語義信息豐富，針對自然圖像的算法未必在遙感圖像上有同樣效果，特別是多幀超分中的配準和插值會受到嚴重影響；

3）星上應用時需要處理過程高速，輸出具有時效性，這對算法的時間和空間復雜度、魯棒性等有特別要求；

4）現(xiàn)有基于統(tǒng)計的圖像質量（quality，全文同）評價指標沒有很好的權衡人眼的主觀感受。

2 光學遙感圖像的超分辨率處理方法

超分的實現(xiàn)思路主要有根據(jù)采樣退化模型與先驗約束重建HR圖像和學習LR與HR圖像間的映射關系兩類。本文根據(jù)算法思路和發(fā)展脈絡，分類為基于圖像重建的方法，基于學習的方法和重建與學習混合的方法。

2.1 基于圖像重建的方法

基于圖像重建的方法通過提取LR圖像中的特征并將其映射到HR圖像中來避免分辨率提升后產生的模糊與混疊，最終在HR尺度上獲得同LR圖像一樣的感知屬性，大致可分為基于插值的衍生方法、概率論方法和變換域方法。

（1）基于插值的衍生方法

插值衍生的方法建立在簡單插值方法基礎上。先配準圖像，再把LR圖像插值到標定好的HR網(wǎng)格中進行重建，最后通過去模糊和降噪提升圖像質量。

迭代反向投影（Iterative Back-Projection，IBP）最初用于多幀超分重建[13]，現(xiàn)也可用于單幀重建。該方法先由真實LR圖像猜想一個HR圖像，再將估計HR圖像采樣退化得到估計LR圖像，計算兩個LR圖像之間的重建誤差并將其反向投影來循環(huán)優(yōu)化初始猜想，直到滿足收斂條件得到最終的HR圖像。第次重建誤差由式（3）給出：

PSF反卷積方法是站在圖像復原角度的方法。其理論認為形變和模糊過程都可以歸結為成像系統(tǒng)的PSF退化，LR圖像由HR圖像與PSF卷積后再采樣并添加噪聲得到。過程由式（5）表示：

（2）基于概率模型的方法

針對超分辨率處理的不適定性，通過先驗條件和正則化約束將其轉換為適定問題的基于概率模型的方法就成為一種直觀的解決思路。

貝葉斯理論是結合了數(shù)據(jù)信息和先驗信息的預測方法，在超分領域有廣泛的應用。最大后驗概率估計（Maximum A Posteriori Probability，MAP）是典型基于貝葉斯理論，把HR和LR圖像當作兩個隨機過程來在已知LR圖像的基礎上估計HR圖像的方法。h的概率表示為：

有學者提出基于全局隱馬爾可夫樹（Universal Hidden Markov Tree, Universal HMT）的最大后驗概率方法來實現(xiàn)遙感圖像超分辨率重建[18]，其通過在小波域的隱馬爾可夫樹理論為多幀LR圖像超分提供先驗，仿真結果在Landsat-7衛(wèi)星的全色圖片上驗證了算法的有效性。還有學者提出了基于最大后驗概率估計的迭代優(yōu)化方法進行遙感全色圖像的超分辨率處理[19]，該方法參考一個HR全色圖像信息來通過灰度級映射更好地利用高頻細節(jié)，同時還保持了圖像的光譜特性；該方法在實現(xiàn)了良好效果的同時只損失了很小一部分光譜信息。

正則化約束可選擇全變分正則化、Tikhonov正則化、變指數(shù)正則化等[20]。Tikhonov正則化可以較好地去除噪聲，但容易過渡平滑邊界信息；全變分正則化能很好的保留圖像中的邊界信息，但可能產生偽邊界；變指數(shù)正則化兼有上述兩者的優(yōu)勢，但計算過程更復雜[21]。此外還可以對上述方法做簡單的改進，如針對遙感圖像處理的區(qū)域自適應全變分正則化[22]方法能在一定程度上緩解偽邊界的問題。

（3）基于變換域的方法

在頻率域角度具有對圖像進行像素變化分析的優(yōu)勢，能在相對簡單的計算復雜度下控制圖像不同頻率分量，特別是增強圖像高頻分量?；谧儞Q域的方法可分為四步：圖像配準、域變換操作、圖像重建和逆變換到空間域。該方法要求域變換操作盡量避免光譜混疊，但也難免在逆變換時丟失一些信息。主要的域變換方法有傅里葉變換和小波變換。超分中該方法常與其他方法結合使用，如文獻[17-18]。有學者用基于離散小波變換后圖像和輸入圖像插值的方法實現(xiàn)超分辨率處理，其中以穩(wěn)定小波變換作為中間步驟增強變換域高頻分量[23]。還有學者利用兩階段的離散小波變換并結合亞像素平移技術通過多幀全色LR遙感圖像得到具有清晰細節(jié)的HR遙感圖像[24]。

2.2 基于學習的方法

基于學習的方法可以擬合復雜的數(shù)學模型來近似圖像塊之間的映射關系，可根據(jù)其發(fā)展分為基于傳統(tǒng)機器學習的方法和基于深度學習的方法。

（1）基于傳統(tǒng)機器學習的方法

傳統(tǒng)學習方法也稱淺層學習方法，學習得到的映射關系往往是卷積核，對照表或圖像塊間的簡單映射。主要步驟有數(shù)據(jù)集建立、樣本學習和HR圖像生成[25]。傳統(tǒng)學習方法主要有鄰域嵌入（Neighbor Embedding）、稀疏表示（Sparse Representation）和映射回歸（Mapping & Regression）等。

鄰域嵌入方法建立于流形學習（Manifold Learning）的基礎上。其假設對應的LR與HR圖像塊在各自特征空間有相同的流形結構，用某一圖像塊的特征向量在多大程度上可以被其特征空間的鄰域表示來描述。當樣本足夠多時，便可以先在LR樣本集中找到目標LR圖像塊的鄰近樣本，學習近鄰關系，再將這種關系遷移到HR樣本集中，最后目標HR圖像塊根據(jù)其近鄰樣本生成。有學者在基礎方法上添加HR圖像的局部相容性和平滑性約束[26]。還有學者將其與稀疏編碼，回歸等方法結合引出更先進的方法[27]。

稀疏表示方法利用圖像內在的稀疏性，通過學習HR圖像塊集合與LR圖像塊集合的字典，編碼已知的LR圖像，再將編碼用于HR圖像塊字典中生成HR圖像。除上述標準步驟外，往往還需后續(xù)的全局約束，如利用重建誤差等。此外，還可以改進訓練數(shù)據(jù)預處理方法以及在圖像生成階段施加正則化約束[28]。文獻[29]采用引入了分類字典概念的字典學習提升最終效果；文獻[30]用稀疏字典和殘差字典共同學習，前者幫助重建初始HR圖像，后者修補前者損失的信息。

映射回歸方法把超分當作HR和LR空間的回歸問題，目的在于直接學習LR圖像到HR圖像的映射來實現(xiàn)超分。不過該方法容易陷入過擬合的情況，一般要通過正則項約束。典型應用有利用核脊回歸（Kernel Ridge Regression，KRR)[31]和支持向量回歸（Support Vector Regression，SVR）的方法。有學者用SVR方法學習遙感圖像中高頻分量的先驗知識，用Landsat ETM+衛(wèi)星圖像生成ASTER衛(wèi)星圖像，該方法在較少樣本數(shù)的情況下依然能實現(xiàn)良好的效果[32]。

（2）基于深度學習的方法

深度學習方法是基于人工神經網(wǎng)絡的新興方法，也是現(xiàn)在超分辨率處理的主要研究方向。深度神經網(wǎng)絡可以學習大量數(shù)據(jù)的分層表示，能提取有效的高層特征擬合復雜的數(shù)學模型來實現(xiàn)LR圖像空間到HR圖像空間的復雜映射。其通過優(yōu)化函數(shù)利用被反向傳播到各層處的誤差來優(yōu)化各層參數(shù)，從而不斷提升映射的準確性。相比傳統(tǒng)算法，深度學習方法在量化指標和感知指標上都有更好的提升，但是對計算機算力和存儲資源要求較高，本文將深度神經網(wǎng)絡分為卷積神經網(wǎng)絡CNN，生成對抗網(wǎng)絡GAN和自編碼器AE來介紹。

卷積神經網(wǎng)絡由卷積層搭建而成，卷積層以卷積操作為基本運算函數(shù)，另外CNN還利用激活函數(shù)、池化層、正則化層等增強網(wǎng)絡性能并加快網(wǎng)絡收斂速度。用神經網(wǎng)絡進行圖像超分辨率處理的先例超分辨CNN（Super-Resolution Convolutional Neural Network，SRCNN）[33]是一個簡單的三層卷積神經網(wǎng)絡，先對輸入LR圖像提取特征，再通過非線性映射得到HR圖像特征，最后重建HR圖像（如圖2所示），首次基于神經網(wǎng)絡實現(xiàn)了端到端映射的超分辨率處理。在此基礎上，快速SRCNN（Fast SRCNN，F(xiàn)SRCNN）[34]被提出來，其利用反卷積層提升分辨率來避免一些直接插值的副作用。亞像素卷積神經網(wǎng)絡（Efficient Sub-Pixel Convolutional Neural Network，ESPCN）[35]則采用多層特征提取和亞像元卷積提升分辨率，可在減小運算量的同時提升上采樣效果。之后，深度超分辨網(wǎng)絡（Very Deep Super Resolution Network，VDSR）[36]證明了網(wǎng)絡深度越深，學習高維特征的能力越強，超分能力也越強。不過更深的網(wǎng)絡訓練起來更加困難，所以需要一些技巧來促進網(wǎng)絡的收斂，如利用殘差結構，循環(huán)結構等。從此基于深度學習的超分辨率處理迎來了爆發(fā)式發(fā)展，各式各樣的網(wǎng)絡被提出來，同時應用也由自然圖像發(fā)展至遙感圖像。針對遙感圖像的深度殘差網(wǎng)絡（ResNet-Deep Residual Network，RS-DRL）[37]就是基于SRCNN網(wǎng)絡來提取特征，并取得了比VDSR更好的效果。此后，為了進一步增強網(wǎng)絡針對遙感圖像的處理能力，具有各種特殊結構的網(wǎng)絡涌現(xiàn)出來，如具有自適應多尺度特征融合結構的網(wǎng)絡[12]，具有局部和全局特征聯(lián)合結構的網(wǎng)絡[38]，具有混合高階注意力結構的網(wǎng)絡[39]和具有深度循環(huán)結構的網(wǎng)絡[40]等等。這些方法都在特定的數(shù)據(jù)集上取得了很好的效果。

圖2 SRCNN結構圖

生成對抗網(wǎng)絡是基于生成網(wǎng)絡發(fā)展而來的非監(jiān)督學習方法[41]。由兩部分構成：生成網(wǎng)絡和判別網(wǎng)絡，應用于超分領域時，前者以LR圖像作為輸入，輸出模仿真實HR圖像的樣本，而后者接受生成的樣本和真實的樣本，并將它們盡可能分辨開，兩個網(wǎng)絡相互博弈對抗，共同訓練最后達到平衡。最初采用該方法的超分辨GAN（Super-Resolution GAN，SRGAN）[42]，便遷移了原始的生成對抗原理，通過GAN訓練出強大的生成器，結構如圖3所示。在此基礎上，針對遙感圖像邊界信息增強的GAN被提出來[43]，該網(wǎng)絡對輪廓處的噪聲魯棒性很強，能生成增強了輪廓信息的HR圖像，其結果優(yōu)于SRCNN和SRGAN。此后，多種借鑒了自然圖像超分的GAN被用于遙感領域[44]。但遙感圖像中的低頻信息顯著多于自然圖像，所以直接遷移用于自然圖像的GAN容易造成判別器迷惑，對此有學者提出聯(lián)合式對抗訓練來解決上述問題[45]?？傮w來看，GAN優(yōu)勢在于生成高頻細節(jié)的能力更強，但是訓練更加困難且不穩(wěn)定，另外有時生成的細節(jié)會偏離真實性，這在遙感領域是要避免的。

圖3 SRGAN網(wǎng)絡結構[33]

自編碼器結構類似普通的神經網(wǎng)絡，但是要求輸入層與輸出層的神經元數(shù)量相等，并且在中間神經元較少的隱藏層部分提取高維特征，結構如圖4所示。通過AE將LR圖像和HR圖像分別編碼，得到各自的高維特征并建立二者的映射關系，最后便可通過：LR圖像→LR圖像高維特征→HR圖像高維特征→HR圖像的步驟實現(xiàn)超分辨率處理?；贏E的方法在超分領域應用相對較少。有學者提出基于獨立堆疊AE的兩段式神經網(wǎng)絡來實現(xiàn)多分辨率分析[46]：第一階段通過兩個AE借助真實HR圖像構建全色LR圖像，其中第二個AE的訓練特征來自于前一個AE的輸出；第二階段再通過圖像間的關系和LR圖像生成HR多光譜圖像。由于稀疏編碼算法在減輕網(wǎng)絡模型和緩解訓練壓力的問題上有優(yōu)越性，結合了深度網(wǎng)絡的稀疏編碼器突出了提取深層特征的能力，故在遙感領域表現(xiàn)好于淺層稀疏編碼，如全局聯(lián)合字典模型[47]和聯(lián)合稀疏自編碼器[48]等。

圖4 自編碼器網(wǎng)絡結構[42]

2.3 重建和學習的混合方法

混合方法兼有圖像重建方法和學習方法的特征，目的在于互補兩者的缺點[11]：基于圖像重建的算法將LR圖像插值到HR圖像的分辨率不能生成缺少的高頻細節(jié)，而且會不可避免地產生模糊；基于學習的算法能生成缺失的高頻細節(jié)，但是需要大量的圖像數(shù)據(jù)且效果非常依賴于訓練數(shù)據(jù)集的質量?？傮w上混合方法是這兩者的一種權衡。

基于圖像重建和傳統(tǒng)機器學習的混合方法大多探索圖像內容的冗余信息，如相同或不同尺度上的重復紋理結構等[11]，生成模型利用冗余信息重建HR圖像[49-50]，區(qū)別大多在于信息的搜索和利用方法上。也有一些混合方法結合了多類方法，如利用最大后驗概率-馬爾可夫隨機場（Markov Random Field, MRF）模型來緩解不適定性、混疊、噪聲、模糊等問題[51]：先訓練得到HR圖像的近似，進而估計一個離散馬爾可夫隨機場并以此作為先驗，再通過粒子群優(yōu)化算法優(yōu)化上述模型來生成HR圖像。前文所述方法[18]也有類似的特性。

深度學習在混合方法中應用較少，大多與變換域方法結合。如利用小波變換并訓練多個頻率段的CNN來實現(xiàn)超分辨率處理[52]，類似還有利用小波變換和局部與全局殘差結合的CNN生成HR圖像[53]?？偨Y大致過程為：小波變換分解LR圖像為不同頻率分量，利用神經網(wǎng)絡預測高頻分量，通過逆小波變換得到HR圖像。

2.4 超分辨率處理方法對比分析

基于圖像重建的方法在特定采樣退化情況下可以實現(xiàn)很好的效果，特別在緩解模糊和增強圖像邊界信息的層面上。這類方法通過數(shù)學模型分析圖像退化過程，需要先驗知識作為約束。但弊端也很明顯：遙感圖像的退化過程非常復雜，很難用數(shù)學模型來模擬，而且復雜的模型求解十分困難。在大尺度超分辨率處理時，由于先驗條件不足，效果會很差。此外，這類方法無法生成原本沒有的高頻細節(jié)，只適合簡單特定的應用場景?；趥鹘y(tǒng)學習的方法通過學習淺層映射關系，一定程度上避免了建立數(shù)學模型的困難，在特定領域的小數(shù)據(jù)集上可以實現(xiàn)很好的效果，而且能生成缺失的細節(jié)信息。但缺點是習得的映射關系基于淺層特征，往往需要專業(yè)知識人為設計特征，此外還傾向于過擬合訓練數(shù)據(jù)，不適合將學習結果直接應用到多樣的圖像數(shù)據(jù)中。這種方法適用于有一定訓練數(shù)據(jù)的特定類型場景?；谏疃葘W習的方法可以提取圖像多層次的特征并在更高層次學習圖像特征間的映射關系，從而得到表征能力強的映射。這種方法效果最好，同時對圖像類型泛化能力強，且適用于多尺度的超分辨率處理。特別是CNN和GAN，前者在統(tǒng)計量化指標上表現(xiàn)突出，后者在感知指標上表現(xiàn)突出。但這種方法對數(shù)據(jù)集的要求非常高，表現(xiàn)強烈依賴于數(shù)據(jù)集質量，對系統(tǒng)算力和存儲量的要求也很高，且網(wǎng)絡的設計和訓練難度較大。這種方法適用于對處理效果要求較高的場景。雖然如此，深度學習的突出優(yōu)勢使得其已經成為當前研究的主流方向?；旌戏椒ㄖ饕越Y合傳統(tǒng)學習方法為主，其綜合了圖像退化建模和學習映射的優(yōu)勢，權衡了圖像重建產生模糊和學習方法依賴數(shù)據(jù)集的問題，在特定類型的圖像數(shù)據(jù)上進一步提升效果。但這種方法依然對退化及圖像類型有依賴性，泛化能力不強。結合了深度學習的混合方法表現(xiàn)趨近于深度學習的效果。

總結各類方法如表1，混合方法隨具體算法不同，指標變化較大，表中不做說明。

表1 基于圖像重建的方法與基于學習的方法對比

3 超分辨率處理結果的評價方法

超分辨率處理結果的評價方法有主觀和客觀兩類。主觀評價方法依據(jù)人眼主觀感知評價圖像，如平均意見得分測試。客觀評價方法利用基于數(shù)學統(tǒng)計的量化指標給圖像打分?？陀^評價方法又可根據(jù)是否需要參考圖像分為有參評價方法和無參評價方法。所有評價方法中，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似度（Structural SIMilarity，SSIM）是使用最廣泛的方法。

3.1 有參評價方法

（1）峰值信噪比PSNR

由像素值可能的動態(tài)范圍和均方誤差來定義，公式如下：

式中 MSE為均方誤差，公式為：

（2）結構相似度SSIM

式中1=0.01，2=0.03。SSIM越高，結果越好。

（3）特征相似性（Feature SIMilarity，F(xiàn)SIM）

FSIM考慮到人眼依賴中低級特征信息理解圖像，衡量與結構信息有關的一致性[55]。公式為：

（4）全局圖像質量評價（Q-index）

Q-index基于圖像的相關性，亮度和對比度進行評價[56]，分別對應公式右端三個部分：值越高，結果越好。

3.2 無參評價方法

無參評價方法分為基于退化的方法和基于訓練的方法，前者需事先確定退化模型，后者需事先訓練得到HR圖像的統(tǒng)計信息。一般基于訓練的方法更符合人的主觀判斷[57]。

（1）盲/無參考圖像質量評估（Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE）

BRISQUE[58]基于圖像亮度符合高斯分布這一假設。首先提取規(guī)定化圖像的像素統(tǒng)計特性，再用高斯分布擬合，得到大量圖像統(tǒng)計特性的特征向量，最后用習得的特征向量預測圖像得分。得分越高，圖像質量越好。原論文作者用支持向量機（Support Vector Machines，SVM）實現(xiàn)。

（2）基于感知特征的無參考圖像質量評價（Perception based Image Quality Evaluator，PIQE）

PIQE[59]先分塊圖像，用其中像素變化較大的塊進行畸變角度和噪聲角度的評估，將存在失真的塊分為畸變塊和噪聲塊，再分別用畸變評價標準和噪聲評價標準評判，最后綜合衡量圖像的退化水平并得出結果。PIQE越低，圖像質量越好。

（3）自然圖像質量評價模型（Natural Image Quality Evaluator，NIQE）

NIQE[60]使用無畸變訓練集，提取像素統(tǒng)計特性擬合一個多變量高斯分布，再用這種分布和輸入圖像統(tǒng)計特征的距離作為評價得分。NIQE越低，圖像質量越好。

4 結束語

超分辨率處理一直以來是圖像處理領域的一大熱點，特別在遙感領域有非常重要的應用價值。本文綜述了遙感領域圖像超分辨率處理技術，將其歸類為基于圖像重建的方法，基于學習的方法和重建與學習混合的方法。目前，基于圖像重建的方法相對成熟，基于學習的方法的視覺效果較好，但距離實用還有較大差距。筆者認為光學遙感圖像超分辨率處理方法主要有如下幾個發(fā)展方向：

1）尋求更準確和全面的遙感全鏈路圖像退化模型（如考慮了空間移變效應的退化模型）。這不僅利于估計點擴散函數(shù)和噪聲，也使結果更符合實際；

2）壓縮域的超分辨率重建。受限于天–地數(shù)據(jù)傳輸?shù)膸?，原始遙感圖像數(shù)據(jù)需經過有損壓縮后傳輸?shù)降孛?，很多圖像細節(jié)信息因此丟失；而未來以壓縮感知（Compressed Sensing，CS）為代表的壓縮采樣技術如果能應用在遙感成像，就意味著超分辨率處理算法需要綜合考慮成像模型和壓縮算法帶來的圖像降質、運動補償、編碼傳輸機制等來實現(xiàn)壓縮域的圖像處理；

3）設計面向復雜場景的深度網(wǎng)絡模型及建立高質量數(shù)據(jù)集。遙感圖像在較小視域內壓縮了大量的地理信息且場景富于變化，因此復雜場景下描述遙感圖像語義特征非常困難。目前基于深度學習的超分算法效果強烈依賴于訓練數(shù)據(jù)集的規(guī)模和質量，對于數(shù)據(jù)集以外的場景難以取得理想效果，或者雖能生成符合人眼感官的清晰細節(jié)，但與真實地物細節(jié)有較大差異。因此設計高性能的深度學習網(wǎng)絡，特別是研究面向乏樣本的少量學習（Few-shot Learning）網(wǎng)絡，解決超分問題的不適定性，實現(xiàn)對復雜遙感圖像端對端的準確映射，是未來學習類算法研究的重要內容；

4）效率和魯棒性問題。目前效果較好的算法往往計算復雜度較高，不利于快速處理。如何減少計算量，提高算法速度，實現(xiàn)星上處理等問題非常值得研究。此外，很多算法做了各種假設，如照度不變等，這在實際成像中難以滿足，因此算法的魯棒性也需要深入研究；

5）超分算法評價指標的研究。主流的PSNR、SSIM等指標并不能與人主觀感受一致，這對結果評判帶來很大的困擾，因而適用于超分辨率處理的圖像質量評價標準仍然需要進一步研究。

[1] 宋宏偉, 鄭團結. 新型衛(wèi)星成像系統(tǒng)的進展與思考[J]. 影像技術, 2011, 23(1): 40-44.SONG Hongwei, ZHENG Tuanjie. Advancement and Consideration of Novel Satellite Imaging Systems[J]. Image Technology, 2011, 23(1): 40-44. (in Chinese)

[2] 孫濤, 林立宇, 孫夫雄, 等. 光學遙感影像復原與超分辨重建[M]. 北京: 國防工業(yè)出版社, 2012: 55-63.SUN Tao, LIN Liyu, SUN Fuxiong, et al. Optical Remote Sensing Image Restoration and Super-resolution Reconstruction[M]. Beijing: National Defense Industry Press, 2012: 55-63. (in Chinese)

[3] HARRIS J L. Diffraction and Resolving Power[J]. Journal of the Optical Society of America, 1964, 54(7): 931-933.

[4] GOODMAN J W. Introduction to Fourier optics[M]. Roberts & Company Publishers, 2004.

[5] TSAI R, HUANG T. Multiframe Image Restoration and Registration[J]. Advances in Computer Vision and Image Processing, 1984, 1(2): 317-339.

[6] RUMELHART D E, HINTON G E, WILLIAMS R J. Learning Representations by Back-propagating Errors[J]. Nature, 1986: 533-536, 323.

[7] PELEG S, KEREN D, SCHWEITZER L. Improving Image Resolution Using Subpixel Motion[J]. Pattern Recognition Letters, 1987, 5(3): 223-226.

[8] NGUYEN N, MILANFAR P, GOLUB G. A Computationally Efficient Superresolution Image Reconstruction Algorithm[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2001, 10(4): 573-583.

[9] PAPATHANASSIOU C, PETROU M. Super Resolution: An Overview[C]// 2005 IEEE International Geoscience & Remote Sensing Symposium, July 25-29, 2005, Seoul, South Korea. IEEE, 2005.

[10] ROHITH G, KUMAR L S. Paradigm Shifts in Super-resolution Techniques for Remote Sensing Applications[J]. The Visual Computer, 2020(9). DOI:https://doi.org/10.1007/s00371-020-01957-8.

[11] FERNANDEZ-BELTRAN R, LATORRE-CARMONA P, PLA F. Single-frame Super-resolution in Remote Sensing: A Practical Overview[J]. International Journal of Remote Sensing, 2017, 38(1/2): 314-354.

[12] WANG X, WU Y, MING Y, et al. Remote Sensing Imagery Super Resolution Based on Adaptive Multi-scale Feature Fusion Network[J]. Sensors (Basel, Switzerland), 2020, 20(4): 1919-1922.

[13] IRANI M, PELEG S. Improving Resolution by Image Registration[J]. GVGIP: Graphical Models and Image Processing, 1991, 53(3): 231-239.

[14] LI F, DONALD F, JIA X. Improved IBP for Super-resolving Remote Sensing Images[J]. Geographic Information Sciences, 2006, 12(2): 106-111.

[15] OSKOUI-FARD P, STARK H. Tomographic Image Reconstruction Using the Theory of Convex Projections[J]. IEEE Transactions on Medical Imaging, 2002, 7(1): 45-58.

[16] AGUENA, MLS, MASCARENHAS, NDA. Multispectral Image Data Fusion Using POCS and Super-resolution[J]. Computer Vision & Image Understanding, 2006, 102(2): 178-187.

[17] ZHAO N, WEI Q, BASARAB A, et al. Fast Single Image Super-resolution[EB/OL].[2020-20-20]. https://www.researchgate. net/publication/282402920_Fast_Single_Image_Super-Resolution.

[18] LI Feng, JIA Xiuping, FRASER D. Universal HMT Based Super Resolution for Remote Sensing Images[C]// Proceedings - International Conference on Image Processing, October 12-15, 2008, San Diego, 2008. IEEE, 2008.

[19] WANG S, ZHUO L, LI X. Spectral Imagery Super Resolution by Using of a High Resolution Panchromatic Image[C]//2010 3rd International Conference on Computer Science and Information Technology, July 9-11, 2010, Chengdu, China. IEEE, 2010. DOI:10.1109/ICCSIT.2010.5565205.

[20] TIKHONOV A N. Regularization of Incorrectly Posed Problems[J]. Soviet Mathematics Doklady, 1963, 4(6): 1624-1627.

[21] GAO K, ZHU Z, DOU Z, et al. Variable Exponent Regularization Approach for Blur Kernel Estimation of Remote Sensing Image Blind Restoration[J]. IEEE Access, 2018, 6(1): 4352-4374.

[22] YUAN Q, YAN L, LI J, et al. Remote Sensing Image Super-resolution via Regional Spatially Adaptive Total Variation Model[C]// IGARSS 2014–2014 IEEE International Geoscience and Remote Sensing Symposium, July 13-18, 2014, Quebec City, Canada. IEEE, 2014. DOI:10.1109/IGARSS.2014.6947126.

[23] DEMIREL H, ANBARJAFARI G. IMAGE Resolution Enhancement by Using Discrete and Stationary Wavelet Decomposition[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society, 2011, 20(5): 1458-1460.

[24] ROHITH G, VASUKI A. A Novel Approach to Super Resolution Image Reconstruction Algorithm from Low Resolution Panchromatic Images[C]//2015 3rd International Conference on Signal Processing, Communication and Networking (ICSCN), March 26-28, 2015, Chennai, India. IEEE, 2015.

[25] 謝海平, 謝凱利, 楊海濤. 圖像超分辨率方法研究進展[J]. 計算機工程與應用, 2020, 56(19): 34-41.XIE Haiping, XIE Kaili, YANG Haitao. Research Progress of Image Super-resolution Methods[J]. Computer Engineering and Applications. 2020, 56(19): 34-41. (in Chinese)

[26] CHANG H, YEUNG D Y, XIONG Y. Super-resolution Through Neighbor Embedding[EB/OL]. [2020-10-20]. https://www. researchgate.net/publication/4082219_Super-resolution_through_neighbor_embedding.

[27] TIMOFTE R, DE V, GOOL L V. Anchored Neighborhood Regression for Fast Example-based Super-resolution[C]// IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. IEEE, 2014.

[28] DONG W, ZHANG L, SHI G, et al. Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization[J]. IEEE Transactions on Image Processing, 2011, 20(7): 1838-1857.

[29] 王超,孫權森, 劉亞洲, 等. 基于分類字典學習的遙感圖像超分辨率方法[J]. 航天返回與遙感, 2015, 36(6): 72-79.WANG Chao, SUN Quansen, LIU Yazhou, et al. Remote-sensing Image Super-resolution Algorithm Based on Classified Dictionary Learning[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(6): 72-79. (in Chinese)

[30] ZHANG Y, WU W, DAI Y, et al. Remote Sensing Images Super-resolution Based on Sparse Dictionaries and Residual Dictionaries[C]// 2013 IEEE International Conference on Dependable, December 21-22, 2013, Chengdu, China. IEEE, 2014.

[31] KIM K I, KWON Y H. Single-image Super-resolution Using Sparse Regression and Natural Image Prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(6): 1127-1133.

[32] ZHANG H, HUANG B. Scale Conversion of Multi Sensor Remote Sensing Image Using Single Frame Super Resolution Technology[C]// 2011 19th International Conference on Geoinformatics, June 24-26, 2011, Shanghai, China. IEEE, 2011.

[33] DONG C, LOY C C, HE K, et al. Image Super-resolution Using Deep Convolutional Networks[J]. IEEE Transactions on Pattern Analysis Machine Intelligence, 2016, 38(2): 295-307.

[34] DONG C, LOY C C, TANG X. Accelerating the Super-resolution Convolutional Neural Network[EB/OL].[2020-10-20]. https://link.springer.com/chapter/10.1007/978-3-319-46475-6_25.

[35] SHI W, CABALLERO J, FERENC HUSZAR, et al. Real-time Single Image and Video Super-resolution Using an Efficient Sub-pixel Convolutional Neural Network[J]. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1874-1883.

[36] KIM J, LEE J K, LEE K M. Accurate Image Super-resolution Using Very Deep Convolutional Networks[J]. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1646-1654.

[37] HUANG N, YANG Y, LIU J, et al. Single-image Super-resolution for Remote Sensing Data Using Deep Residual-learning Neural Network[C]// 24th International Conference on Neural Information Processing, October 10-26, 2017 Guangzhou, China. Springer, 2017.

[38] LEI S, SHI Z, ZOU Z. Super-resolution for Remote Sensing Images via Local-global Combined Network[J]. IEEE Geoscience & Remote Sensing Letters, 2017(8): 1-5.

[39] ZHANG Dongyang, SHAO Jie, LI Xinyao, et al. Remote Sensing Image Super-resolution via Mixed High-order Attention Network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020: 1-14. DOI: 10.1109/TGRS.2020.3009918.

[40] JIANG K, WANG Z, YI P, et al. Deep Distillation Recursive Network for Remote Sensing Imagery Super-resolution[J]. Remote Sensing, 2018, 10(11): 1700.

[41] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative Adversarial Networks[EB/OL]. [2020-10-20]. https://www.researchgate.net/publication/263012109_Generative_Adversarial_Networks.

[42] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic Single Image Super-resolution Using a Generative Adversarial Network[EB/OL]. [2020-10-20]. https://www.researchgate.net/publication/308152499_Photo-Realistic_Single_Image_Super- Resolution_Using_a_Generative_Adversarial_Network.

[43] JIANG K, WANG Z, YI P, et al. Edge-enhanced GAN for Remote Sensing Image Superresolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019: 5799-5812.

[44] MA W, PAN Z, GUO J AND LEI B, Super-resolution of Remote Sensing Images Based on Transferred Generative Adversarial Network[C]// 2018 IEEE International Geoscience and Remote Sensing Symposium, November 5, 2018,Valencia, Spain. IEEE, 2018: 1148-1151.

[45] LEI S, SHI Z, ZOU Z. Coupled Adversarial Training for Remote Sensing Image Super-resolution[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 58(5): 3633-3643.

[46] AZARANG A, GHASSEMIAN H. A New Pansharpening Method Using Multi Resolution Analysis Framework and Deep Neural Networks[C]// 2017 3rd International Conference on Pattern Recognition & Image Analysis, April 19-20, 2017, Shahrekord, Iran. IEEE, 2017.

[47] HOU B, ZHOU K, JIAO L. Adaptive Super-resolution for Remote Sensing Images Based on Sparse Representation with Global Joint Dictionary Model[J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 56(4): 2312-2327. DOI: 10.1109/TGRS.2017.2778191.

[48] SHAO Z, WANG L, WANG Z, et al. Remote Sensing Image Super-resolution Using Sparse Representation and Coupled Sparse Autoencoder[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(8): 2663-2674.

[49] GLASNER D, BAGON S, IRANI M. Super-resolution from a Single Image[C]// 2009 IEEE International Conference on Computer Vision, September 29-October 2, Kyoto, Japan. IEEE, 2009.

[50] HUANG J B, SINGH A, AHUJA N. Single Image Super-resolution from Transformed Self-exemplars[C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition, June 7-12, 2015, Boston, MA, USA. IEEE, 2015.

[51] GAJJAR P P, JOSHI M V. Zoom Based Super-resolution: A Fast Approach Using Particle Swarm Optimization[C]// 4th International Conference on Image and Signal Processing, ICISP, 2010, Trois-rivières, Qc, Canada. Berlin: Springer-Verlag, 2010.

[52] WANG T, SUN W, QI H, et al. Aerial Image Super Resolution via Wavelet Multiscale Convolutional Neural Network[EB/OL]. [2020-10-20].https://www.researchgate.net/publication/323791121_Aerial_Image_Super_Resolution_via_Wavelet_Multiscale_ Convolutional_Neural_Networks.

[53] MA W, PAN Z, GUO J, et al. Achieving Super-resolution Remote Sensing Images via the Wavelet Transform Combined with the Recursive Res-net[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(6): 3512-3527.

[54] WANG Z, BOVIK A C, SHEIKH H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 1-14.

[55] ZHANG L, ZHANG L, MOU X, et al. FSIM: A Feature Similarity Index for Image Quality Assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386.

[56] WANG Z, BOVIK A C. A Universal Image Quality Index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84.

[57] BOVIK A C. Perceptual Video Processing: Seeing the Future [J]. Proceedings of the IEEE, 2010, 98(11): 1799-1803.

[58] MITTAL A, MOORTHY A K, Fellow, et al. No-reference Image Quality Assessment in the Spatial Domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[59] VENKATANATH N, PRANEETH D, MARUTHI C B, et al. Blind Image Quality Evaluation Using Perception Based Features[C]// 2015 Twenty First National Conference on Communications (NCC), February 27-March 1, 2015, Mumbai, India. IEEE, 2015.

[60] MITTAL A. Making a Completely Blind Image Quality Analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

A Survey on the Optical Remote Sensing Image Super-resolution Technology

ZHANG Zhenzhou1GAO Kun1*LI Wei2WANG Junwei1CHEN Zhuoyi3WU Qiong1SU Yun2

（1 Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education, Beijing Institute of Technology, Beijing 100081, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Institute of Spacecraft System Engineering, CAST, Beijing 100094, China）

The under-sampling effect of detectors in the photoelectric imaging system, the diffraction limit of the optical system, and many other degradation factors affect the resolving power of the optical earth observation system. The super-resolution technology can reconstruct the information beyond the cut-off frequency of the imaging system through signal processing, and can obtain images with higher resolution without changing the hardware, which is of great significance to the design and application of optical remote sensors. Combining the optical remote sensing image degradation model and the implementation method of the super-resolution technology，the basic characteristics of the various super-resolution algorithms are summarized and compared according to the classification method based on image reconstruction, the learning-based method and hybrid methods. Also, a prospect for the future development direction is given.

remote sensing image; degradation model; super-resolution method; evaluation metric; space remote sensing

P407.8

A

1009-8518(2020)06-0021-13

10.3969/j.issn.1009-8518.2020.06.003

2020-10-25

國家自然科學基金（61875013）；裝備預研航天科技聯(lián)合基金（6141B061004）

張震洲, 高昆, 李維, 等. 光學遙感圖像的超分辨率處理技術綜述[J]. 航天返回與遙感, 2020, 41(6): 21-33.

ZHANG Zhenzhou, GAO Kun, LI Wei, et al. A Survey on the Optical Remote Sensing Image Super-resolution Technology[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(6): 21-33. (in Chinese)

張震洲，男，1996年生，現(xiàn)在北京理工大學光電學院光學工程專業(yè)攻讀碩士學位。研究方向為遙感圖像處理。E-mail：zhangzz@bit.edu.cn。

（編輯：毛建杰）