張東曉，唐 妮

(集美大學(xué)理學(xué)院，福建 廈門361021)

0 引言

圖像超分辨率重建(super-resolution reconstruction，SR)是指從一張或多張低分辨率(low-resolution，LR)圖像重建出高分辨率(high-resolution，HR)圖像的過程[1]，是一類典型的不適定性問題，也是計(jì)算機(jī)視覺和圖像處理領(lǐng)域中重要的研究方向。圖像SR在實(shí)際生活中有著豐富的應(yīng)用，如智能安防[2]、醫(yī)學(xué)影像[3]、無人機(jī)偵察[4]、大氣遙感[5]等。

圖像SR可分為多幀圖像超分辨率重建(multiple image super-resolution reconstruction，MISR)和單幀圖像超分辨率重建(single image super-resolution reconstruction，SISR)兩大類。MISR[6-9]通常針對同一場景不同角度、不同方位的圖像序列，利用這些序列之間存在的互補(bǔ)信息進(jìn)行重建。但在某些場景中MISR并不適用，如在提升老舊照片分辨率時(shí)，對同一場景往往無法再次成像，所以無法獲得存在互補(bǔ)信息的LR圖像序列，此時(shí)MISR通常會失效。針對這種只有單張LR圖像的情形，SISR通常通過學(xué)習(xí)的方法來重建出HR圖像。本文主要關(guān)注SISR方面的進(jìn)展。

在經(jīng)典的SISR方法中，基于圖像自相似的方法[10]和基于稀疏表示的方法[11]均取得過優(yōu)異的重建效果。近年來，由于深度學(xué)習(xí)具有強(qiáng)大的特征表達(dá)能力，基于深度學(xué)習(xí)的圖像SR勝過了經(jīng)典SISR方法，成為了研究的熱點(diǎn)。該方法通過神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)LR圖像到HR圖像即端到端的映射，從而重建出HR圖像。

自從Dong等[12]首次將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)用于圖像超分辨率重建以來，基于深度學(xué)習(xí)的圖像SR得到快速發(fā)展，不斷涌現(xiàn)出新的網(wǎng)絡(luò)結(jié)構(gòu)，重建效果也是逐步提升。如基于SRCNN(super-resolution CNN)[12]的改進(jìn)算法[13-14]、基于殘差網(wǎng)絡(luò)的重建方法[15-17]、基于密集連接的重建方法[18-20]等。

近期，在SISR的研究中，一部分學(xué)者繼續(xù)關(guān)注設(shè)計(jì)更好的網(wǎng)絡(luò)結(jié)構(gòu)、更優(yōu)秀的損失函數(shù)；另一部分學(xué)者則開始關(guān)注SISR的新思路：將已有的HR圖像作為參考，利用參考圖中豐富的紋理來補(bǔ)償LR圖像缺失的細(xì)節(jié)信息，從而緩解圖像SR的不適定性。這種基于參考圖的超分辨率重建(reference-based super-resolution reconstruction，RefSR)，其重建過程如圖1所示。與普通的SISR不同，RefSR的輸入除LR圖像外，還需額外輸入一張或多張與LR圖像內(nèi)容或紋理相似的HR參考圖像。眾多實(shí)驗(yàn)結(jié)果表明，在Ref圖像的幫助下，RefSR能夠重建出更多真實(shí)的細(xì)節(jié)和紋理信息，其結(jié)果優(yōu)于SISR。

盡管RefSR的相關(guān)研究開展時(shí)間較短，但也涌現(xiàn)出了很多先進(jìn)的重建思想和算法，因此急需對此做一個(gè)全面的梳理。在現(xiàn)有SISR的綜述性論文中，鮮有專門介紹RefSR。如Wang等[21]從有監(jiān)督、無監(jiān)督和典型應(yīng)用領(lǐng)域三個(gè)方面，全面闡述了基于深度學(xué)習(xí)的SISR技術(shù)；唐艷秋等[22]從模型類型、網(wǎng)絡(luò)結(jié)構(gòu)、信息傳遞方式等方面對SISR方法中各種算法進(jìn)行了詳細(xì)評述；曲延云等[23]將基于深度學(xué)習(xí)的SISR方法劃分為有監(jiān)督SISR方法和不成對SISR方法，并進(jìn)行了深入分析等。這些關(guān)于超分辨率重建的綜述性論文均未曾提及RefSR方法，更未對其進(jìn)行詳細(xì)闡述。因此，本文在分析和借鑒了若干圖像RefSR研究成果的基礎(chǔ)上，從基于圖像對齊的方法和基于圖像塊匹配的方法入手，對近年來的RefSR方法進(jìn)行綜述性的介紹，以期拋磚引玉，為該領(lǐng)域的后續(xù)研究提供有益參考。

1 RefSR的主要方法

在RefSR算法設(shè)計(jì)過程中，需要考慮如何更好地使用Ref圖像。通用的做法是在Ref圖像中尋找LR圖像對應(yīng)的高頻信息，盡可能利用Ref圖像的紋理和細(xì)節(jié)信息來幫助LR圖像重建。如圖2所示，依據(jù)Ref圖像與LR圖像的對應(yīng)方式，可以將RefSR分為兩大類：基于圖像對齊的方法和基于圖像塊匹配的方法?；趫D像對齊的RefSR方法是利用光流、可變形卷積等模型將輸入的LR圖像與Ref圖像進(jìn)行全局配準(zhǔn)，再將對齊后的Ref圖像的紋理用于LR圖像重建，其代表模型有SSEN、CrossNet。而基于圖像塊匹配的RefSR方法則是將輸入圖像分割為若干個(gè)塊，對每個(gè)塊進(jìn)行相似度匹配，再利用匹配后的LR/Ref圖像進(jìn)行重建。該方法代表模型有SRNTT、TTSR、MASA等。

在Ref圖像和LR圖像是同一個(gè)場景的情況下，基于圖像對齊的方法能夠取得優(yōu)異的重建效果，但是當(dāng)它們的場景不相同時(shí)，基于圖像對齊方法的重建效果則不理想。相較而言，基于圖像塊匹配的方法對參考圖像要求不是很高，因此成為了目前該領(lǐng)域的研究熱點(diǎn)。

1.1 基于圖像對齊的RefSR方法

由于Ref圖像與LR圖像存在差異，若直接將Ref圖像中的紋理信息融入到LR圖像中，則重建出的HR圖像的效果不佳，所以將兩幅圖像對齊顯得尤為重要。這種基于圖像對齊的RefSR方法的核心是圖像對齊操作，其框架如圖3所示。

1.1.1 CrossNet

基于圖像對齊方法的代表是Zheng等[24]的研究，他們提出了一個(gè)跨尺度端到端的圖像SR網(wǎng)絡(luò)(CrossNet)，其中圖像對齊使用了光流法。該網(wǎng)絡(luò)利用SISR方法對LR圖像進(jìn)行上采樣，得到與Ref圖像相同大小的上采樣圖，再分別提取出上采樣圖和Ref圖像的多尺度特征；然后，利用改進(jìn)的FlowNetS模型[25]學(xué)習(xí)不同尺度LR/Ref圖像特征的光流信息來更新Ref圖像，從而實(shí)現(xiàn)圖像對齊操作；最后，通過融合操作重建出HR圖像。該方法假設(shè)兩幅圖像具有較強(qiáng)的相似性，所以當(dāng)LR/Ref圖像相關(guān)性不強(qiáng)時(shí)，效果會有所下降。

1.1.2 SSEN

由于CrossNet中光流對齊的成本高，且使用其他預(yù)訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行光流估計(jì)是不準(zhǔn)確的，所以Shim等[26]提出了基于可變形卷積的網(wǎng)絡(luò)結(jié)構(gòu)SSEN(similarity search and extraction network，SSEN)。SSEN利用可變形卷積來尋找LR/Ref圖像的對應(yīng)關(guān)系，且用動態(tài)偏移估計(jì)器對可變形卷積的偏移量進(jìn)行估計(jì)。同時(shí)，為了捕獲特征內(nèi)部和特征之間的全局相關(guān)性，Shim等[26]在動態(tài)偏移估計(jì)器中加入了非局部塊。該方法能夠處理非剛性變換的圖像，計(jì)算量較小，但是無法解決長距離對應(yīng)問題。

1.2 基于圖像塊匹配的RefSR方法

由于對圖像進(jìn)行全局配準(zhǔn)要求圖像具有較強(qiáng)的相似性，當(dāng)Ref圖像與LR圖像只是紋理相似或者內(nèi)容相似時(shí)，基于對齊的RefSR方法的效果將直線下降。針對以上問題，一些學(xué)者開始研究用圖像塊匹配的方式來尋找Ref圖像與LR圖像的對應(yīng)關(guān)系。這種基于圖像塊匹配的RefSR方法的核心是圖像塊匹配模型的構(gòu)建以及如何處理好匹配后的不對齊問題，其框架如圖4所示，其中圖4a為LR/Ref圖像塊匹配示意圖，圖4b為基于圖像塊匹配的RefSR方法的流程圖。

1.2.1 圖像塊匹配

基于圖像塊匹配的方法可以追溯到Boominathan等[27]的研究。他們在提高光場(light field，LF)成像的分辨率和景深時(shí)，將單反數(shù)碼相機(jī)捕獲的HR圖像作為Ref圖像，指導(dǎo)LF圖像的恢復(fù)。其算法核心是Ref圖像的使用方式：Ref圖像下采樣后，計(jì)算其一階、二階梯度，利用歐式距離在梯度特征圖中尋找與LR圖像最相鄰的9個(gè)塊，然后加權(quán)平均得到融合結(jié)果。在后續(xù)研究中，該方法常被稱作塊匹配(patch match)，它的匹配過程是在原始像素空間上進(jìn)行的，操作簡單，但匹配過程中沒有充分利用高頻信息，在融合階段也只是簡單地加權(quán)平均，導(dǎo)致高頻信息沒有得到很好地融合。

1.2.2 CC-Net+SS-Net

針對圖像塊匹配方法的問題，Zheng等[28]使用CC-Net(cross-scale correspondence network)模塊，通過卷積神經(jīng)網(wǎng)絡(luò)提取LR/Ref圖像特征，利用內(nèi)積計(jì)算相似度，選擇相似度最高的圖像塊作為匹配對，然后，將匹配好的圖像塊送入到SS-Net(super-resolution synthesis network)模塊進(jìn)行多尺度融合，最后得到SR圖像。相對于圖像塊匹配方法中的梯度特征，該方法使用CNN提取的特征進(jìn)行匹配，其準(zhǔn)確度更高；但是在融合階段是對每個(gè)圖像塊單獨(dú)進(jìn)行重建，所以該方法容易產(chǎn)生塊狀效應(yīng)。

1.2.3 SRNTT

受圖像風(fēng)格遷移的啟發(fā)，Zhang等[29]將RefSR作為紋理遷移問題，設(shè)計(jì)了一個(gè)端到端的SRNTT(super-resolution by neural texture transfer)模型：首先，對提取的圖像特征進(jìn)行密集塊匹配，然后將匹配后的Ref圖像進(jìn)行紋理遷移，從而使得重建的SR圖像擁有豐富的紋理信息。與圖像塊匹配方法不同，SRNTT方法是在特征空間進(jìn)行匹配，雖然該方法促進(jìn)了多尺度的紋理遷移，允許模型從語義相關(guān)的角度實(shí)現(xiàn)圖像塊匹配，但是其計(jì)算量大，不利于實(shí)際應(yīng)用。

1.2.4 TTSR

Yang等[30]指出SRNTT忽略了全局信息，這使得現(xiàn)有方法對某類LR圖像重建效果不佳。針對此問題，他們提出了一個(gè)包含注意力機(jī)制的SR網(wǎng)絡(luò)架構(gòu)TTSR(texture transformer network for image super-resolution)。該網(wǎng)絡(luò)通過使用注意力機(jī)制挖掘深層次的特征對應(yīng)關(guān)系，再將匹配好的特征送入跨尺度融合模塊，最后得到SR圖像。TTSR的特征匹配由4個(gè)模塊組成，包括紋理特征提取模塊、相關(guān)性嵌入模塊、用于紋理遷移的硬注意力模塊和用于紋理合成的軟注意力模塊。而在相關(guān)性嵌入模塊，他們將LR圖像中提取的特征作為轉(zhuǎn)換器中的查詢(query)，將Ref圖像中提取的特征作為轉(zhuǎn)換器中的鍵(key)，以獲得硬注意力矩陣和軟注意力矩陣。由于作為鍵的Ref圖像是經(jīng)過下采樣后再上采樣的圖像，該操作無法避免信息丟失，從而導(dǎo)致匹配精確度下降，特別是在細(xì)節(jié)區(qū)域下降得較為明顯。

1.2.5 MASA

目前，雖然密集圖像塊匹配方法的效果最好，但其計(jì)算量巨大且耗費(fèi)存儲空間；所以，Lu等[31]提出了一個(gè)粗-細(xì)對應(yīng)匹配方案，稱為MASA(matching acceleration and spatial adaptation for RefSR)：首先對LR/Ref圖像進(jìn)行一個(gè)大尺度的圖像塊匹配，再利用圖像的局部相似性，對大尺度圖形塊分塊進(jìn)行小尺度匹配。該方法可以大幅減少計(jì)算量。同時(shí)，雖然Ref圖像與LR圖像具有相似的內(nèi)容或紋理，但其顏色和亮度可能不一樣，若直接進(jìn)行融合操作則效果不佳。所以他們在進(jìn)行特征融合之前，加入了空間自適應(yīng)模塊，對得到的Ref特征圖重新映射，使得模型對顏色和亮度更具有魯棒性。

1.2.6 AMSA

雖然MASA方法的計(jì)算量有所下降，但是其計(jì)算復(fù)雜度仍是圖像尺寸的平方級；所以，Xia等[32]對2009年Barnes等[33]提出的圖像塊匹配方法進(jìn)行了改進(jìn)，提出了CFE-PatchMatch(coarse-to-fine embedded patch match)快速匹配方法，并將其應(yīng)用于RefSR中，使LR/Ref圖像的匹配計(jì)算量從平方級降到了接近線性級。為了避免尺度不對齊問題，Xia等[32]提出了AMSA(accelerated multi-scale aggregation network)模型。其中，針對小規(guī)模的不對齊問題，提出了動態(tài)融合模塊；針對大尺度不對齊問題，提出了多規(guī)模融合模塊。這兩個(gè)融合模塊相互配合，產(chǎn)生了很好的融合效果。

1.2.7 C2-Matching

Jiang等[34]認(rèn)為由于在輸入LR圖像與Ref圖像之間存在兩個(gè)差距——變換差距(如旋轉(zhuǎn)、縮放等)和分辨率差距，使得執(zhí)行局部遷移變得較為困難。針對這些問題，他們提出了C2-Matching(cross transformation and cross resolution matching)技術(shù)，用于跨變換和跨分辨率的關(guān)系匹配。對于變換差距，利用對比網(wǎng)絡(luò)拉近匹配對之間的距離，疏遠(yuǎn)不匹配對之間的距離；對于分辨率差距，提出教師-學(xué)生關(guān)系蒸餾網(wǎng)絡(luò)，與傳統(tǒng)的知識蒸餾網(wǎng)絡(luò)不同，此網(wǎng)絡(luò)用HR-HR匹配來指導(dǎo)相對困難的LR-HR匹配。然后，通過設(shè)計(jì)的動態(tài)融合模塊來解決潛在的錯(cuò)位問題。該技術(shù)在目前常用的數(shù)據(jù)集中，都顯現(xiàn)出了極強(qiáng)的泛化能力，以及對大尺度和旋轉(zhuǎn)變換的魯棒性。

2 損失函數(shù)、數(shù)據(jù)集與評價(jià)標(biāo)準(zhǔn)

2.1 損失函數(shù)

損失函數(shù)在提升模型性能方面起著關(guān)鍵作用，常用于計(jì)算模型生成的HR圖像與原始基準(zhǔn)圖像的差異，從而引導(dǎo)RefSR網(wǎng)絡(luò)重建出更好的HR圖像。損失函數(shù)的選擇也尤為重要，一個(gè)好的損失函數(shù)能夠幫助模型更優(yōu)和更快地收斂，同時(shí)得到具有高精度，且與真實(shí)HR圖像接近的HR圖像。在RefSR方法中常用的損失函數(shù)主要有以下幾種：

1)重建損失(reconstruction loss) 重建損失是圖像SR中最常用的損失函數(shù)，一般可分為L1損失和L2損失，其表達(dá)式分別為：

其中：h，w和c分別表示圖像的長、寬和通道數(shù)；ISR表示生成的HR圖像；I表示真實(shí)圖像。

2)感知損失(perceptual loss) 感知損失已被證明可用于提升視覺質(zhì)量，并在圖像SR中廣泛應(yīng)用。感知損失的核心思想是增強(qiáng)預(yù)測圖像和目標(biāo)圖像在特征空間中的相似性，其公式為：

Lper=||φi(ISR)-φi(I)||2。

其中：φi表示某種特征提取網(wǎng)絡(luò)的第i層。

3)對抗損失(adversarial loss) 在圖像SR領(lǐng)域中，只需將SR模型作為一個(gè)生成器，再定義一個(gè)鑒別器來判斷輸入圖像是否由生成器產(chǎn)生，就可以構(gòu)造出一個(gè)對抗學(xué)習(xí)網(wǎng)絡(luò)。而對抗損失能夠有效地使模型產(chǎn)生更加真實(shí)的圖像，其具體表達(dá)式為：

Lgan_ce_g=-lgD(ISR)

，

Lgan_ce_d=-lgD(I)-lg(1-D(ISR))。

其中：D(·)表示判別器；Lgan_ce_d是鑒別器的對抗損失；Lgan_ce_g是SR模型生成器的對抗損失。

4)紋理損失(texture loss) Zhang等[29]將紋理損失引入到RefSR方法中，來減少參考圖像與生成圖像的紋理差異，其表達(dá)式為：

2.2 數(shù)據(jù)集

在RefSR研究中，最常用的數(shù)據(jù)集為CUFED5，該數(shù)據(jù)集是Zhang等[24]創(chuàng)建的，包含1個(gè)訓(xùn)練集(11 871個(gè)160 px×160 px的圖像對)和1個(gè)測試集(126組圖像)。在測試集中，每組圖像包含1張HR圖像和5個(gè)不同相似度的參考圖像，如圖5所示。

由于CUFED5數(shù)據(jù)集中占比最重的為室內(nèi)、人、室外類型的圖像，其他類型的圖像較少，最近Jiang等[34]給出了一個(gè)新的數(shù)據(jù)集WR-SR，該數(shù)據(jù)集包含了80個(gè)圖像對。相比于CUFED5數(shù)據(jù)集，WR-SR數(shù)據(jù)集還包含了動物、地標(biāo)、建筑等圖像類，其內(nèi)容更加豐富，如圖6所示。除此之外，常用的測試集還有Sun80[35](80張自然圖像且有一些參考圖像)、Urban100[36](100張建筑圖像，無參考圖像但圖像有自相似性)、Manga109[37](109張漫畫，無參考圖像)。

2.3 評價(jià)標(biāo)準(zhǔn)

圖像質(zhì)量評價(jià)主要包括主觀評價(jià)和客觀評價(jià)兩類。在RefSR研究中，常用的客觀評價(jià)指標(biāo)有峰值信噪比(peak signal to noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity index，SSIM)[38]；主觀評價(jià)一般采用主觀質(zhì)量評分法(mean opinion score，MOS)[39]。在圖像SR中，使用對抗損失、感知損失等會獲得更好的視覺效果，但是客觀指標(biāo)PSNR和SSIM會有所下降；所以，在使用PSNR/SSIM評價(jià)RefSR方法時(shí)，不僅要考慮基于所有損失(感知損失、對抗損失、重建損失等)的模型評價(jià)，還要單獨(dú)評價(jià)只由重建損失訓(xùn)練的模型。

3 幾種SR方法對比

自從卷積神經(jīng)網(wǎng)絡(luò)被引入圖像SR以來，各種基于深度學(xué)習(xí)的圖像SR方法不斷涌現(xiàn)。近年來，RefSR方向吸引了大批學(xué)者，他們基于深度神經(jīng)網(wǎng)絡(luò)開展了很多卓有成效的研究。本文通過比較總結(jié)上述具有代表性的RefSR方法，概括了不同RefSR方法的網(wǎng)絡(luò)特點(diǎn)及算法優(yōu)點(diǎn)，詳情如表1所示。

表1 RefSR方法對比

續(xù)表

如前所述，不管是基于圖像對齊的RefSR方法，還是基于圖像塊匹配的方法，都關(guān)注著LR圖像與Ref圖像的對應(yīng)問題；但是它們又各有側(cè)重，如表1所示，這些方法各具特色，各有優(yōu)點(diǎn)。具體歸納如下：

1)在方法的選擇上，基于圖像塊匹配的方法是RefSR中的主流方法，其對圖像的相關(guān)性要求沒有基于圖像對齊的方法高。此外，現(xiàn)有部分學(xué)者也開始研究多參考圖的圖像SR方法，如Yan等[40]提出的CIMR-SR模型等。

2)在參考圖像的選擇上，參考圖像與LR圖像內(nèi)容越相似，RefSR方法重建出的HR圖像效果越好。表2為不同方法在不同相似度的參考圖像的幫助下，重建出的HR圖像的PSNR和SSIM。其中：L1到L4表示輸入相似度依次遞減的參考圖像，即L1是與LR圖像相似度最高的HR圖像，L4為相似度最低的HR圖像；LR表示用LR圖像作為輸入的參考圖像。由表2可以看到，算法的重建效果與參考圖像的選擇是有關(guān)系的，參考圖像與LR圖像相似度越高，重建效果越好。圖7為圖5展示的兩幅CUFED5測試集圖像基于不同相似度參考圖像的細(xì)節(jié)重建結(jié)果，GT表示真實(shí)HR圖像，可以看到，參考圖像與LR圖像相似度越高，重建出的HR圖像的細(xì)節(jié)恢復(fù)得越好，這也證明了參考圖像對RefSR重建的結(jié)果有一定的影響。

表2 不同相似度的參考圖像對PSNR和SSIM的影響

3)從客觀評價(jià)標(biāo)準(zhǔn)來看，RefSR方法的效果要優(yōu)于現(xiàn)有的SISR方法。表3為不同的圖像SR方法在CUFED5、Sun80、Urban100、Manga109測試集上的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)結(jié)果均取自相關(guān)文獻(xiàn)。這里除了比較RefSR不同算法的效果，也比較了主流的SISR算法。RefSR方法不僅比較了原始模型的PSNR和SSIM，還對比了只采用重建損失訓(xùn)練模型(用-rec表示)的PSNR和SSIM。由結(jié)果可見，與現(xiàn)有的SISR方法相比，RefSR方法的結(jié)果有大幅提升。

表3 不同SR方法的PSNR和SSIM

4)從視覺效果上看，在RefSR方法中，Ref圖像為LR圖像提供了更多的細(xì)節(jié)紋理信息。圖8為目前效果最好的幾種圖像SR方法的效果(實(shí)驗(yàn)結(jié)果均取自相關(guān)文獻(xiàn))，并展示了每張圖像的低分辨率圖及其參考圖像，以及兩種SISR方法(ESRGAN和BankSRGAN)和三種RefSR方法(MASA、C2-Matching、AMSA)對某個(gè)細(xì)節(jié)的重建效果。從圖8可以看到，RefSR方法在人臉、字母等細(xì)節(jié)信息的恢復(fù)上效果更好，恢復(fù)出的細(xì)節(jié)信息更真實(shí)，其中AMSA模型效果是5種方法中最好的。

5)在RefSR方法中，模型中加入注意力機(jī)制、非局部塊等，能大幅提升圖像SR的效果。復(fù)雜的網(wǎng)絡(luò)帶來了好的重建效果，但也出現(xiàn)了計(jì)算量大、存儲空間不足等問題。針對這些問題，研究者們對網(wǎng)絡(luò)的設(shè)計(jì)不僅會考慮圖像重建效果，還會考慮模型的計(jì)算量、參數(shù)量，使得模型更有利于實(shí)際應(yīng)用。表4列出現(xiàn)有模型的參數(shù)量、計(jì)算量，可以看到AMSA模型的計(jì)算量是最小的，且其效果也是目前最好的。

表4 RefSR中各模型參數(shù)量和計(jì)算量

4 未來研究展望

圖像SR作為計(jì)算機(jī)視覺領(lǐng)域底層視覺部分的經(jīng)典問題，一直以來受到人們的廣泛關(guān)注。目前，基于深度學(xué)習(xí)的RefSR方法取得了不錯(cuò)的效果。盡管如此，但仍存在一些問題有待解決：

1)現(xiàn)有的RefSR方法中，LR圖像通常是由HR圖像下采樣得到的，以此模擬自然情況下圖像退化過程，而在實(shí)際應(yīng)用中圖像的退化過程還包括噪聲、模糊、壓縮等。如何學(xué)習(xí)得到可以處理復(fù)雜退化圖像的網(wǎng)絡(luò)還有待探討。

2)輕量化的RefSR方法。受算力的限制，現(xiàn)有RefSR方法無法在手機(jī)、平板等移動設(shè)備上直接使用，所以，如何將現(xiàn)有的RefSR方法輕量化，在保證效果的同時(shí)，降低參數(shù)量和模型復(fù)雜度是RefSR研究的熱點(diǎn)。

3)在SISR方法中，現(xiàn)有的網(wǎng)絡(luò)模塊(如遞歸學(xué)習(xí)、密集連接等)和學(xué)習(xí)機(jī)制(如多路徑學(xué)習(xí)、非局部相似性等)對SISR精度有很好的提升。在RefSR方法中，能否運(yùn)用這些模塊來進(jìn)一步提升算法的性能，值得進(jìn)一步去探討。