謝海平，謝凱利，楊海濤

1.航天工程大學 研究生院，北京101416

2.航天工程大學 航天信息學院，北京101416

1 引言

近年來，隨著人們對高質量圖像的需求日益迫切，如何獲取高分辨率（High Resolution，HR）的圖像越來越受到人們的關注。圖像在形成過程中，其成像分辨率直接受到成像系統(tǒng)固有物理性能的限制，同時由于存在大氣擾動、場景變化等因素影響，成像結果面臨欠采樣、光學模糊、運動模糊和噪聲的干擾，最終形成質量較差、分辨率較低的圖像或圖像序列，給后續(xù)的圖像處理、分析和理解帶來諸多困難[1-2]。一般來說，通過對硬件進行升級改造可以提升成像系統(tǒng)性能，提高圖像分辨率，通常有以下三種途徑[3]：

（1）減小像素傳感器的尺寸，即增大成像裝置中單位面積傳感器上的像素數目。然而，隨著傳感器尺寸的減小，單位像素上的有效光強也隨之減弱，導致圖像形成噪點。

（2）增大芯片尺寸，可以實現像素數目的增大，但芯片尺寸增大的同時會導致電容的增加，影響電荷傳輸速率。

（3）通過提高相機的焦距來增強圖像的空間分辨率，然而該方法會帶來成像設備體積與重量增加，光學部件尺寸增大等負面影響，大大提高了光學材料的制造加工難度以及使用成本。

綜上，由于受到工藝水平、成本等因素的影響，單純依靠硬件上的改善來獲取高質量高分辨率圖像，往往并不現實。由于從硬件上提升圖像分辨率的限制，人們考慮通過圖像處理技術的軟方法來重構原始圖像，以獲得具有更好分辨率的圖像，這就是圖像超分辨率（Super-Resolution，SR）技術[4-5]。

超分辨率技術通常定義如下：給定某個場景的單張或者序列低分辨率（Low Resolution，LR）圖像，結合一定的先驗信息以后，利用一定的圖像處理方法，重構得到該場景的HR圖像[6]。超分辨率技術為提供了一種新的提升圖像質量的辦法，其發(fā)展路線大致可以分成三個階段：20世紀60年代，Harris和Goodman[7-8]提出了“圖像超分辨率”的想法，并希望找到實現這一過程的方法，其研究還停留在理論探索階段；1984年，Tsai等人[9]使用傅里葉變換域法融合了多幀低分辨率圖像后，獲得了一張分辨率增大的圖像，證明了通過配準和融合多個圖像來增強圖像分辨率的可行性，自此以后，超分辨率研究越來越受到國內外學者的關注；2014年，Dong 等人[10]利用卷積神經網絡構建了SRCNN（Super Resolution Convolutional Neural Network）網絡，拓寬了深度學習技術的應用范圍，為構建更好的超分辨率模型提供了思路。

圖像超分辨率屬于欠定問題。根據輸入圖像數目，分為單圖像超分辨率和序列圖像超分辨率。序列圖像超分辨率通過增加觀測數據的數目，使數理方程的求解滿足正定或者超定的條件，進而求解[11]。相比于序列圖像超分辨率，單圖像超分辨率的優(yōu)勢在于避免重復獲取圖像，且無須配準操作，流程更加簡單。同時考慮到圖像豐富的紋理特征及其內在的自相關性，單圖像超分辨率模型對于同一場景下的低分辨率圖像均可以使用，增強了重構模型的適用性[12]。

根據實現手段，圖像超分辨率方法可分為三種：基于插值、基于重構、基于學習[13]。近年來，隨著有效數據的不斷增加、高計算能力的實現以及訓練方法的日益完善，深度學習在圖像處理領域占據極為重要的地位，深度學習方法也已經成為超分辨率領域的一個重要分支，日益占據更加重要的地位。本文對圖像超分辨率方法的分類如圖1所示。

圖1 圖像超分辨率方法的分類

2 傳統(tǒng)超分辨率方法

2.1 基于插值的方法

插值法主要通過基函數或者插值核，利用鄰近像素的值來逼近損失的圖像信息，實現圖像分辨率的放大。常見方法如最近鄰插值法、雙線性插值法、雙三次插值法、樣條插值法、高斯插值法等。其中，雙線性插值法通過4 個鄰近像素點的值來確定待插值像素點的值，插值效果比最近鄰插值法好得多，但是也帶來了計算量的增大。雙三次插值法使用16個鄰近像素點的值來確定待插值像素點的值，在保持細節(jié)方面通常比雙線性插值法更好，是部分商業(yè)圖像編輯程序如Adobe Photoshop的標準插值方法。對于普通的數字圖像處理而言，雙線性插值法和雙三次插值法是人們選擇較多的插值方法。

插值法確定插值函數后，就可以通過已知數據值來確定待插值像素的值，簡單易行，能夠快速地實現圖像分辨率變換。然而，插值過程并沒有引入任何新的外部信息，因此無法恢復圖像退化過程中損失的高頻細節(jié)，重建圖像通常存在明顯的模糊區(qū)和成塊聚集區(qū)[14]。同時，插值過程也會帶來誤差，影響重構效果。因此，在圖像超分辨率的研究中，由于插值法自身的局限性，通常被用作其他方法的預處理步驟。

為了提高插值法的重構效果，有學者結合圖像特征理論，提出了基于梯度特征的插值法[15]、基于幾何特征的插值法[16]等。近年來，由于卷積神經網絡在圖像處理領域表現出良好的性能，機器學習技術不斷取得新的突破，基于機器學習的核回歸插值方法相繼提出。Tomasi等人[17]提出的基于雙邊濾波器的插值法，引入雙邊濾波器作為約束項，改善了重建圖像的邊緣效果。Hiroyuki等人[18]提出自適應局部結構的可控核回歸方法，提升了重建圖像的局部結構效果。由于這些方法更多地考慮了圖像的邊緣細節(jié)與局部結構，相比于一般的插值方法可以更好地重構出圖像的邊緣和紋理[19]。

本文中，考慮到圖像插值不僅是很多其他超分辨率方法所必須的步驟，同時由于已有學者[16]將特征理論和插值理論結合，實現了引入圖像先驗信息的插值超分辨率，因此，將圖像插值方法也歸為超分辨率方法的一種。

2.2 基于重構的方法

圖像超分辨率技術的理想目標是利用退化的圖像中重構出退化前的圖像，這在數學上屬于高度欠定問題[20]。重構法的主要思路是通過逆推圖像的成像過程，建立的LR 圖像和HR 圖像之間的觀測模型，并引入圖像的局部或全局先驗模型，最終建立數據保真項和圖像先驗正則化的優(yōu)化模型進行求解[21]。其中最關鍵的地方在于圖像先驗建模[22]，不僅可以是正則性先驗，還可以是稀疏性先驗或者馬爾科夫隨機場等先驗模型，通過圖像先驗信息對重構結果進行約束，求解出盡可能接近原始圖像的重構結果。優(yōu)化模型可以在確定性模型和統(tǒng)計性模型兩類模型中進行選取，這兩類模型之間也有很多相似性。相對來說，統(tǒng)計性模型比確定性模型包含圖像先驗的能力更強，同時統(tǒng)計推理也更為復雜[23]。

重構法比插值法更加關注圖像的退化過程本身，通過人為建立的數據觀測模型能夠縮小候選解的范圍，并提高圖像幾何結構和紋理的保持能力，獲得了比插值法更好的重構效果。然而由于圖像在成像過程中面臨的退化因素十分復雜，人工建模無法完備地建立這一過程，因此這種方法只適用于少部分場景[24]。

在基于學習的超分辨率方法出現之前，基于重構的方法是圖像超分辨率研究的主要方向，出現了迭代反向投影法、凸集投影法、最大后驗概率法等代表性方法。

其中，迭代反向投影法[25]的主要思想是將重建圖像的退化圖像與真實低分辨率圖像之間的誤差進行反向投影并用于修正當前重建圖像，逐步迭代以獲得更好的重建效果，是早期圖像超分辨率的代表性算法之一。

凸集投影[26]是基于集合理論提出的，首先為超分辨率的圖像解空間定義一組凸約束集，通過逐步迭代投影的方式搜索到一個滿足所有凸約束集的解空間從而完成圖像重建。

最大后驗概率法[27]是基于概率統(tǒng)計的理論提出的一種方法，其主要思想是通過設計合理的統(tǒng)計先驗模型，使重建圖像后驗概率達到最大。其中統(tǒng)計先驗模型設計的合理性直接決定著圖像的重建效果。

這些方法都是以一定的先驗知識來約束重構過程，在一定程度上緩解了插值方法所帶來的模糊效應，但其缺點同樣明顯?；谥貥嫷膱D像超分辨率方法的關鍵在于圖像退化數學模型，面臨很大的計算量，計算過程耗時長，求解困難，且放大倍數較大時，由于無法獲得足夠多的先驗知識，重構效果往往不太理想[28]。

2.3 基于學習的方法

學習法的提出得益于機器學習技術的發(fā)展，鑒于機器學習在圖像分類、目標檢測等圖像處理任務中的優(yōu)異表現，許多學者開始嘗試使用機器學習技術進行圖像超分辨率[29]。

自然界圖像的構成總有聯(lián)系，學習法的基本思想是通過從高/低分辨率圖像塊之間的對應關系中，學習到圖像之間的映射關系，從而利用相似性快的互補信息，達到補償細節(jié)和提升清晰度的作用[30]，主要包括建立訓練樣本庫（特征提取）、樣本學習（搜索）、圖像重構三個階段。

學習法可以分為兩類：基于淺層學習的方法和基于深度學習的方法[31]。淺層學習法是由傳統(tǒng)的機器學習算法發(fā)展而來的。傳統(tǒng)機器學習方法通過復雜的特征工程確定特征，通常采用人工或者半人工的方法設計特征并調參，這個過程并不容易，十分依賴該領域專家的經驗知識和長期積累的訓練技巧。優(yōu)點是對于小型數據集表現出較好的適應性，計算成本相對較低，且當一個好的特征被確定時，學習的準確率和速度都會有驚人的提升，因此傳統(tǒng)的機器學習方法在一些領域已經得到了推廣應用[32]。從現有研究成果來看，基于淺層學習的超分辨率方法在對人臉、文本等特定對象進行重構時表現出較好的效果[33]。目前，淺層學習法主要有領域嵌入、流形學習、稀疏表示等方法[34]。

領域嵌入法[35]通過對圖像進行分塊，建立高分辨率圖像塊與其對應的低分辨率圖像塊、高分辨率圖像塊與其近鄰圖像塊之間的關系，進而使用低分辨率圖像數據估計出重建圖像。

流形學習法[36]是基于高分辨率圖像塊與低分辨率圖像塊具有一致的流形結構提出的。對于給定的待重建低分辨率圖像塊，首先在低分辨率圖像塊樣本集中找到近鄰的圖像樣本，建立近鄰關系，并與對應的高分辨率圖像塊樣本完成替換，從而實現圖像重構。

稀疏表示法[37-38]不直接采用高-低分辨率圖像塊作為字典，而是通過稀疏編碼算法學習更為緊湊的圖像塊對，進而通過高分辨率字典和低分辨率字典中的稀疏表示系數重建圖像塊，最后進行全局聚合，完成圖像重建。

深度學習是機器學習發(fā)展出的一個分支，是人工智能研究的一個熱門方向。近年來，深度學習特別是卷積神經網絡在目標分類、識別、語義分割等領域取得了較好的效果，受其啟發(fā)，許多學者的開始研究基于深度學習的超分辨率方法[39]。本文中，考慮到深度學習方法在研究理念、實施方法上與傳統(tǒng)方法存在較大差別，將這一部分放在下一節(jié)進行介紹。

2.4 小結

本節(jié)對圖像超分辨率方法進行了分類，并對插值法、重構法和學習法進行了介紹。表1中對這幾類方法的核心思想、技術特點和應用范圍進行了比較。圖像超分辨率屬于數學問題中的欠定問題，理論上來說存在無窮多解。傳統(tǒng)方法綜合考慮圖像成像過程中的諸如運動變形、光學模糊、低采樣率、隨機噪聲等多種退化因素，對圖像超分辨率的降質過程展開研究，在變形模型、模糊模型、采樣模型、噪聲模型等方面都取得了一定的進展[29]。然而，由于圖像的退化過程的求解極為復雜，現有技術手段只能簡單地進行模擬，尚無法建立起完備的退化模型。在超分辨率圖像退化建模取得實質性突破之前，傳統(tǒng)方法的重構效果仍然很難滿足實際使用的需要[40]。

表1 圖像超分辨率方法比較

3 基于深度學習的方法

基于深度學習的超分辨率方法以常見的卷積神經網絡（Convolutional Neural Network，CNN）、生成對抗網絡（Generative Adversarial Networks，GAN）[41]以及其他網絡結構為基礎（如圖2），針對圖像超分辨率的具體需求，發(fā)展出一系列各具特色的超分辨率網絡模型[42]。

圖2 基于深度學習的超分辨率方法

3.1 基于CNN的超分辨率網絡

（1）SRCNN

2014 年，香港中文大學的Dong 等人[10]提出了首個用于超分辨率的深度學習網絡SRCNN，利用三層神經網絡，模擬出傳統(tǒng)超分辨率過程。首先是特征提取層，將輸入的插值后的LR圖像中的n1個特征提取出來，實現圖像特征提??；其次是非線性映射層，將n1個LR 圖像特征映射到n2個HR圖像特征的映射空間；最后通過重構層利用n2個特征重構得到SR圖像。SRCNN網絡結構較為簡單，作者通過與當時流行的稀疏表示方法進行對比，發(fā)現在峰值信噪比（Peak Signal-To-Noise Ratio，PSNR）和結構相似度（Structural Similarity，SSIM）兩個評價指標上[43]，SRCNN均取得了更好的效果。

SRCNN的提出可以視為基于深度學習的超分辨率方法的里程碑。它的模型簡單，效果優(yōu)于傳統(tǒng)方法，但是仍然存在不足。由于輸入圖像需要經過插值，增大了計算量，同時，插值過程引入的誤差也會影響重構效果，此外，該模型收斂速度較慢，訓練耗時較長。

在此之后，雖然研究者們又提出了很多新的網絡模型，但是SRCNN仍舊作為一個基準實驗，用于評估其他網絡模型的有效性。

Dong 等人[44]對SRCNN 進行適當的改進，提出了Fast-SRCNN（FSRCNN）模型。FSRCNN 首先引入解卷積層，以解決SRCNN 輸入經過插值的LR 圖像的問題，減少了計算量和輸入誤差且能夠通過改變解卷積層實現不同尺度放大；同時改變了卷積核大小和網絡深度。最終，FSRCNN 獲得了更高的訓練速度和更好的重構效果。

（2）ESPCN

2016 年，Shi 等人[45]提出了一種基于像素重排的ESPCN（Efficient Sub-Pixel Convolutional Neural Network）網絡模型，通過直接在LR圖像上實施卷積操作以提取LR圖像的特征，再通過亞像素卷積層將LR空間中的特征擴充到HR空間，將卷積后得到的特征進行像素排列，得到重構圖像。該模型提出的像素重排策略可以看作是一種新的插值策略，通過卷積神經網絡學習低-高分辨率圖像之間的插值函數。由于該方法并不是簡單地利用相鄰像素來計算待插值像素值，因此重構效果遠優(yōu)于插值法。同時，該方法可以通過靈活調整特征通道的數目快速地實現不同倍數的放大，為實現不同倍數的圖像超分辨率提供了一種新的策略。

（3）VDSR

2016年，Kim等人[46]率先將殘差結構引入超分辨率方法中，構建了網絡層數深達20層的VDSR（Very Deep convolutional networks for Super-Resolution）模型。VDSR通過采用多層小卷積核進行深層次卷積，既減少了參數量，又增大了深層次網絡的感受野，能夠學習更好的特征，取得了比SRCNN 更好的效果。引入殘差結構有兩方面的原因：首先是網絡加深存在網絡退化問題，而學習殘差能夠減輕深度網絡訓練中此類問題的影響；另外，由于高低分辨率圖像之間具有大量相似的低頻信息，使用殘差結構能夠避免重復學習相似的低頻信息，加快網絡收斂速度，節(jié)省運算時間[47]。然而，由于該網絡只引入了一個跳躍連接，梯度消失問題沒有得到較好的緩解。作者還使用了自適應梯度裁剪策略用于解決梯度消失/爆炸問題。

（4）EDSR

2017 年，韓國首爾大學的SNU CV Lab 團隊提出了EDSR（Enhanced Deep residual networks for Super-Resolution）網絡模型[48]。它在深度殘差網絡的基礎上改變了網絡結構，去掉了批歸一化（Batch Normalization，BN）層，不僅節(jié)省了的內存，還大大加快了計算速度。此外，EDSR 還使用了一種數據增強策略（Geometric Self-ensemble），對每張LR 圖像要進行多次幾何變換，獲得對應的HR圖像，再將所有結果取平均，得到最終的重構圖像，增強了網絡的穩(wěn)定性。

（5）RCAN

2018年，Zhang等人[49]將信號處理中的通道注意力機制引入到超分辨率中，構建了RCAN（Residual Channel Attention Networks）網絡模型。他們指出，在圖像超分辨率過程中，不同卷積核所提取的特征對于最終結果的貢獻應該是不同的，因此各通道特征也該賦予不同的權重，以此來增強不同通道之間的差異性。通道注意機制的引入提升了網絡對有用信道的關注度，增強了網絡的辨別學習能力。

3.2 基于GAN的超分辨率網絡

（1）SRGAN

對于圖像超分辨率任務來說，重構丟失了大量細節(jié)信息的LR 圖像無異于是一種圖像細節(jié)生成技術。Ledig 等人[50]將GAN 引入圖像超分辨率領域，提出了SRGAN網絡模型。該模型包括生成器與判別器兩個部分，生成器負責合成高分辨率圖像，判別器則負責鑒別輸入圖像是來自于生成數據還是真實數據，當判別器無法再鑒別輸入圖像是來自于生成數據集還是真實數據集時，就可以認為生成器在該判別器下具有了合成高分辨率圖像的能力。

SRGAN使用主觀評價體系對重構結果進行打分評估，盡管重構圖像在PSNR 值上沒有明顯的提升，但是通過對抗訓練，獲得更加符合人類視覺感知的圖像，為生成更豐富的重構圖像細節(jié)信息帶來了新的思路，

（2）雙GAN模型

英國諾丁漢大學的Bulat等人[51]還提出了利用兩個GAN 模型來進行人臉圖像超分辨率?？紤]到現有的LR 圖像都是由人為進行下采樣獲得的，而實際場景圖像的退化過程極其復雜，因此該模型首先利用一個GAN 網絡來學習HR 圖像到LR 圖像的退化過程，將生成的LR 圖像與原HR 圖像構成圖像對，再使用另一個GAN網絡進行超分辨率重構。

該網絡有針對性地研究了圖像的退化過程，將實驗研究與實際應用結合起來，提升了圖像超分辨率的應用價值。

3.3 基于其他網絡模型的超分辨率網絡

（1）SRDenseNet

密集連接卷積神經網絡（Dense Convolutional Network，DenseNet）是Huang 等人[52]提出的一種模型，其基本思路與ResNet 一致，但是它建立的是前面所有層和后面層的密集連接。Tong 等人[53]在密集連接網絡的基礎上加入跳躍連接，構建了SRDenseNet。通過大量的稠密連接，SRDenseNet 使每一層的特征能夠實現串聯(lián)而不是像殘差結構那樣直接相加，在參數量和計算成本更少的情況下實現更好的性能。他們指出，受益于底層特征和高層特征的組合，超分辨率的性能得到了提升，且在實驗中發(fā)現當所有深度層的特征都串聯(lián)起來時，得到了最佳的重構效果，說明不同深度層之間包含的信息是互補的。

（2）DBPN

2018年，Harris等人[54]以迭代反投影法為基礎，構建了DBPN（Deep Back Projection Networks）網絡模型。作者借鑒了迭代反投影的思想，設計了一種不斷迭代地進行增采樣和降采樣的網絡，為每個階段提供錯誤反饋機制，并提取圖像的細節(jié)信息用于重構。DBPN網絡中的反復迭代使得神經網絡能夠更好地受到特征的約束，更貼近地擬合出高低分辨率之間的關系，在高倍數下也能表現出較好的重構效果。

（3）SR-RAW

2019 年，Zhang 等人[55]使用全景相機不同焦距下的圖像用于圖像超分辨率，其認為，對高分辨率圖像進行降采樣來制作低分辨率圖像并不滿足真實的低分辨率圖像分布，因此這樣訓練出來的模型在標準數據集上表現效果較好，然而在真實應用時，效果很差。他們提出使用單反相機在不同焦距下進行拍攝，制作真實場景下的高低分辨率數據集，在實際使用中獲得了較好的效果。

3.4 小結

近年來，深度學習技術蓬勃發(fā)展，圖像超分辨率的研究熱點逐漸轉移到深度學習上，發(fā)展出一系列以CNN 和GAN 為基礎的網絡模型，本節(jié)給出了基于深度學習的超分辨率方法的分類，并介紹了其中的主要方法。從理論上來說，神經網絡從數據中學習先驗知識與超分辨率先驗建模的思想不謀而合；從使用效果來說，使用深度學習方法進行超分辨率在各項評價指標均顯著優(yōu)于傳統(tǒng)方法。因此，基于深度學習的超分辨率重構方法已經成為單圖像超分辨率的主流方法，并且在解決實際問題中得到了應用。然而，基于深度學習的超分辨率模型的發(fā)展仍然有以下幾個方面的問題需要解決：

（1）訓練數據的問題。超分辨率的學習和訓練需要有對應的高低分辨率圖像對，由于圖像配準和對齊十分困難，目前大多數實驗采用的低分辨率圖像都是通過高分辨率圖像插值而來的，并不符合真實的圖像退化過程。部分學者使用相機拍攝raw 格式的高低分辨率圖像，獲得了符合真實退化過程的訓練數據。然而，這樣操作費時費力，也只能獲得有限的數據，不利于神經網絡的訓練。因此如何更準確高效地獲得更貼近圖像真實退化過程的高低分辨率圖像對，是一個亟待解決的問題。

（2）網絡結構設計和參數調整問題。深度學習在提取圖像特征方面具有天然的優(yōu)勢，然而由于深度學習理論的不可解釋性，網絡結構設計和參數調整往往依靠人為來控制，對于設計者的知識和經驗要求較高。目前，以EDSR 為代表的深度殘差網絡能夠獲得較高的重構效果，同時計算量也較大?；贕AN 的模型有較強的細節(jié)生成能力，然而生成細節(jié)的可控性較差[56]。同時，超分辨率任務面臨不同的應用場景，在航天遙感、醫(yī)學圖像重建、電視電影等領域的需求是不同的，如何設計一個符合應用場景需求，同時兼具速度與效果佳的網絡模型依然未來的研究重點。

（3）網絡訓練和優(yōu)化問題。通過拓展神經網絡深度和寬度，往往能夠取得更好的訓練效果。然而，隨著網絡層次加深，網絡面臨退化問題，訓練難度不斷增大。殘差網絡、密集連接網絡的引入，緩解了深度網絡的退化問題。同時，一些訓練策略如采用小卷積核、通道注意機制、分組卷積、去批歸一化層等的采用，提升了重構效果，減少了網絡的計算量。目前來說，網絡訓練和優(yōu)化策略有了一定的發(fā)展，但是仍然存在很多可以改進提升的地方。

（4）模型評價問題。在超分辨率重建中，評價指標的選取直接影響著模型優(yōu)化改進的方向。目前通常采用PSNR 和SSIM 作為客觀評價重構結果的指標，計算簡單方便，卻與人類視覺的一致性較弱。主觀評價指標需要大量的人力物力投入，在實際使用中存在較大的局限。因此，針對不同重建方法本身的特點和不同場景的使用需求，設計合適的評價指標，對于提升超分辨率的使用價值具有重要意義。

總的來說，深度學習在圖像超分辨率領域表現出巨大的潛力，但是以上問題仍需探索完善，繼續(xù)開展基于深度學習的圖像超分辨率的研究工作，具有重要的理論意義和實用價值。

4 總結和展望

圖像超分辨率技術通過軟件處理的方法實現圖像分辨率提升，在無需改變硬件的情況下，突破了固有成像設備的限制。本文較為全面地介紹了現有的超分辨率方法。傳統(tǒng)超分辨率方法通過手工或半手工的方式設計特征，從圖像退化過程出發(fā)，模擬圖像退化的各個環(huán)節(jié)，通過逆運算重建圖像，取得了一定的重構效果。基于深度學習的超分辨率方法能夠自動提取圖像特征，從海量訓練數據中獲取先驗知識并儲存于神經網絡中，在較好的訓練模型和有效訓練數據的支持下，重建圖像在各項評價指標上都有良好表現，已成為超分辨率研究領域的最熱門研究方向。

目前，超分辨率的研究工作主要還集中在實驗室研究階段，僅在部分應用領域中得到使用，但其使用價值已經受到了很多專業(yè)人員的關注。展望未來，超分辨率的研究可以從以下幾個方面開展：

（1）全面提升圖像超分辨率網絡的性能。提升圖像的重構效果一直是研究者十分關注的，但對于不同的使用需求，對超分辨率網絡的性能要求也不同。例如，醫(yī)學圖像重建中，需要重建圖像具有豐富明顯的細節(jié)，同時保證真實可靠；影視節(jié)目中，需要重建圖像視覺質量好，重建效率高。因此，從提升重建效率、獲得更好的視覺效果、更豐富明顯的細節(jié)、更高的放大倍數等方面繼續(xù)提升超分辨率網絡的性能，是未來的研究重點。

（2）圖像超分辨率在各個領域的應用。超分辨率在醫(yī)學圖像、航天遙感、人臉識別、電視電影等方面有很高的應用價值，針對不同場景的使用需求，結合該場景的先驗信息進行網絡結構設計、模型訓練、效果評價，實現該場景下重構效果最優(yōu)化，對于提升超分辨率的應用范圍和使用價值具有重要意義。

（3）圖像超分辨率與圖像分類、識別、目標檢測等任務的聯(lián)合問題。超分辨率是前端視覺信息處理的一個重要任務，它可以為圖像后續(xù)處理中的提供了高質量空間分辨率的圖像?，F階段超分辨率的主要研究目標是獲得更接近與原圖像的重構效果，較少考慮超分辨率對于圖像后續(xù)處理中的分類、識別等任務的影響。因此，開展這方面的研究，對于拓展超分辨率圖像的使用范圍，提升超分辨率的實用價值具有重要意義。