歐陽寧 梁婷 林樂平

摘 要：針對圖像超分辨率重建中紋理細(xì)節(jié)等高頻信息恢復(fù)的問題，提出一種基于自注意力網(wǎng)絡(luò)的圖像超分辨率重建方法。該網(wǎng)絡(luò)框架利用兩個(gè)重建階段逐步地將圖像的精確度從粗到細(xì)進(jìn)行恢復(fù)。在第一階段中，首先將低分辨率（LR）圖像作為輸入通過一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN），并輸出一個(gè)粗精度的高分辨率 （HR）圖像;然后將粗精度圖像作為輸入并產(chǎn)生更加精細(xì)的高分辨率圖像。在第二階段中，使用自注意力模塊計(jì)算特征之間所有位置的關(guān)聯(lián)性，通過捕捉特征的全局依賴關(guān)系來提高紋理細(xì)節(jié)的恢復(fù)能力。

在基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有基于深度神經(jīng)網(wǎng)路的超分辨率重建算法相比，所提算法不僅圖像視覺效果最好，而且在數(shù)據(jù)集Set5和BDSD100上的峰值信噪比（PSNR）平均提高了0.1dB、0.15dB，表明該網(wǎng)絡(luò)可以通過增強(qiáng)特征的全局表達(dá)能力來重建出高質(zhì)量圖像。

關(guān)鍵詞：深度卷積神經(jīng)網(wǎng)絡(luò);從粗到細(xì);自注意力;全局依賴關(guān)系;超分辨率

中圖分類號： ?TP391.41

文獻(xiàn)標(biāo)志碼：A

Self-attention network based image super-resolution

OUYANG Ning1，2， LIANG Ting2， LIN Leping1，2*

1.Key Laboratory of Cognitive Radio and Information Processing of Ministry of Education （Guilin University of Electronic Technology）， Guilin Guangxi 541004， China ;

2.School of Information and Communication， Guilin University of Electronic Technology， Guilin Guangxi 541004， China

Abstract：?Concerning the recovery problem of high-frequency information like texture details in image super-resolution reconstruction， an image super-resolution reconstruction method based on self-attention network was proposed. Two reconstruction stages were used to gradually restore the image accuracy from-coarse-to-fine. In the first stage， firstly， a Low-Resolution （LR） image was taken as the input through a Convolutional Neural Network （CNN）， and a High-Resolution （HR） image was output with coarse precision; then， the coarse HR image was used as the input and a finer HR image was produced. In the second stage， the correlation of all positions between features was calculate by the self-attention module， and the global dependencies of features were captured to enhance texture details. Experimental results on the benchmark datasets show that， compared with the state-of-the-art deep neural networks based super-resolution algorithms， the proposed algorithm not only has the best visual effect， but also has the Peak Signal-to-Noise Ratio （PSNR） improved averagely by 0.1dB and 0.15dB on Set5 and BDSD100. It indicates that the network can enhance the global representation ability of features to reconstruct high quality images.

Key words：?deep convolutional neural network; from-coarse-to-fine; self-attention; global dependency; super-resolution

0 引言

近來，深度學(xué)習(xí)在計(jì)算機(jī)視覺[1-3]方面的重大進(jìn)展已經(jīng)影響到超分辨率領(lǐng)域中[4-9]。單幅圖超分辨率[10]是一個(gè)不適定的逆問題，旨在從低分辨率（Low-Resolution， LR）圖像中恢復(fù)出一個(gè)高分辨率（High-Resolution， HR）圖像。目前典型的方法是通過學(xué)習(xí)LR-to-HR的非線性映射來構(gòu)造高分辨率圖像。Dong等[4]首先引入了一個(gè)三層的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）用于圖像的超分辨率，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建（Super-Resolution using Convolutional Neural Network， SRCNN）方法，以端對端的方法學(xué)習(xí)LR到HR之間的非線性映射關(guān)系。得益于殘差網(wǎng)絡(luò)[4]的出現(xiàn)解決了訓(xùn)練深度網(wǎng)絡(luò)的梯度爆炸/梯度消失等關(guān)鍵問題，應(yīng)用于SR的網(wǎng)絡(luò)也往更深更寬的趨勢發(fā)展。Kim等[6]受深度神經(jīng)網(wǎng)絡(luò)（Very deep convolutional networks for large-scale image recognition， VGG）[11]啟發(fā)提出了一種非常深的卷積網(wǎng)絡(luò)重建精準(zhǔn)的超分辨率（accurate image Super- Resolution using Very Deep convolutional networks，VDSR），該網(wǎng)絡(luò)達(dá)到20層，為了提高收斂速度，使用非常高的學(xué)習(xí)率，運(yùn)用殘差學(xué)習(xí)與梯度裁剪來解決梯度爆炸問題;Ren等[7]提出了融合多個(gè)神經(jīng)網(wǎng)絡(luò)用于圖像的超分辨率重建（image super resolution based on Fusing multiple Convolution neural Networks， CNF），由于各個(gè)網(wǎng)絡(luò)的輸出特征映射具有不同的上下文特征，將其融合來提升整體網(wǎng)絡(luò)的精度。此外，Lai等[8]利用金字塔的結(jié)構(gòu)提出了深度拉普拉斯網(wǎng)絡(luò)來實(shí)現(xiàn)快速準(zhǔn)確的超分辨率（deep Laplacian pyramid Networks for fast and accurate Super-Resolution， LapSRN），將LR圖像作為輸入來減少計(jì)算量，采用從粗到細(xì)的方式逐步預(yù)測子帶的殘差圖。該方法在超分辨率中利用從粗到細(xì)的逐步優(yōu)化方法，能更好地去尖銳和模糊。

將深度學(xué)習(xí)應(yīng)用于超分辨率領(lǐng)域中，隨著網(wǎng)絡(luò)的加深，其感受野變得越來越大，使得網(wǎng)絡(luò)不僅具備局部特征，且能捕捉到更加全局的特征，而全局特征的加入又更有利于超分辨率紋理細(xì)節(jié)的恢復(fù)。但一味地增加深度會(huì)帶來巨大的計(jì)算量，甚至導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練等問題。而且在層層卷積的網(wǎng)絡(luò)中只能根據(jù)低分辨率特征圖的空間局部點(diǎn)生成高分辨率細(xì)節(jié)，沒能充分利用特征之間的全局依賴關(guān)系進(jìn)行建模。另一方面，自注意力機(jī)制[12-13]在建模全局依賴關(guān)系以及計(jì)算效率上表現(xiàn)出良好的性能。Zhang等[13]對自注意機(jī)制捕捉模型內(nèi)部的全局依賴關(guān)系進(jìn)行了研究，可以使用來自所有特征位置的關(guān)聯(lián)生成細(xì)節(jié)信息。自注意力機(jī)制的出現(xiàn)為超分辨率重建獲取全局特征來恢復(fù)紋理細(xì)節(jié)提供了新思路。

本文提出一種基于自注意力網(wǎng)絡(luò)的圖像超分辨率（Self-Attention Network for images Super-Resolution， SASR-Net）重建方法，以獲取全局特征及豐富的語義信息來恢復(fù)更多的高頻細(xì)節(jié)?；趶拇值郊?xì)的思想，本文的網(wǎng)絡(luò)結(jié)構(gòu)分為兩個(gè)階段來逐步提高高分辨率圖像的精確度。

第一階段，本文先用一個(gè)由殘差單元組成的CNN來提取特征，以原始LR圖像作為輸入減少計(jì)算量，恢復(fù)出一個(gè)粗精度的HR圖像。

第二階段，為了獲取更加全局的特征來進(jìn)一步細(xì)化所獲得的粗精度HR圖像，設(shè)計(jì)了自注意力模塊來探索任意兩點(diǎn)特征之間的全局依賴關(guān)系，增強(qiáng)特征的表達(dá)能力，有助于恢復(fù)圖像的紋理細(xì)節(jié)。本文的自注意力模塊由自注意力支路和主干支路組成：主干支路利用卷積操作對特征進(jìn)行提取，獲取更高層的特征;自注意力支路被設(shè)計(jì)為明確地學(xué)習(xí)一個(gè)像素與所有位置之間的關(guān)系，使得相似的特征相互關(guān)聯(lián)，有效地抓取特征的全局依賴關(guān)系。最后，將兩個(gè)支路的特征進(jìn)行相加融合，輸出最終的細(xì)精度高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，與SRCNN[4]、VDSR[6]、LapSRN[8]、CNF[7]等相比，本文所提出的網(wǎng)絡(luò)超分辨率重建效果不管是客觀評價(jià)標(biāo)準(zhǔn)還是主觀視覺效果上都要更好。

1 基于自注意力網(wǎng)絡(luò)的超分辨率重建模型

本文所設(shè)計(jì)的模型是基于一種從粗到細(xì)的逐步優(yōu)化圖像精度的方法，使得圖像的質(zhì)量可以更好地重建邊緣和紋理。本文的網(wǎng)絡(luò)結(jié)構(gòu)由兩個(gè)重建階段組成，如圖1所示。第一階段以原始的低分辨率圖像作為輸入，經(jīng)過一個(gè)由殘差單元構(gòu)成的CNN進(jìn)行初始預(yù)測，經(jīng)過上采樣操作輸出一個(gè)粗精度的HR圖像。

第二階段以第一階段的輸出作為自注意力模塊的輸入，逐漸細(xì)化圖像質(zhì)量。其中，輸入的圖像分別進(jìn)入到自注意力模塊中的主干支路和自注意力支路，通過相加對兩條支路進(jìn)行融合，從而得到最終的細(xì)精度HR圖像。

在第一階段中，直接以LR圖像作為輸入，不需要插值放大的預(yù)處理過程，能減少計(jì)算量。CNN包含10個(gè)殘差單元，每個(gè)殘差單元包括2個(gè)卷積核大小為3×3的卷積層，每個(gè)卷積層產(chǎn)生64個(gè)特征圖，然后緊接著修正線性單元（Rectified Linear Unit，ReLU）激活函數(shù)。采用反卷積層來實(shí)現(xiàn)上采樣操作，反卷積層的核大小為5×5，通過設(shè)置不同的步長來實(shí)現(xiàn)不同尺度大小的上采樣。

在第二階段中，主干支路也由幾個(gè)殘差單元組成，以提取高層次的特征。自注意力支路首先應(yīng)用卷積層來獲得降維的特征，然后生成自注意力矩陣，該矩陣模擬特征的任意兩個(gè)像素之間的依賴關(guān)系;接下來，在注意力矩陣和原始特征之間執(zhí)行乘法運(yùn)算，以獲得反映全局背景的最終表示;最后，融合兩支路的高層特征和自注意力特征，以獲得恢復(fù)更多高頻細(xì)節(jié)的重建圖像。

2 自注意力模塊設(shè)計(jì)

自注意力模塊由自注意力支路、主干支路和特征融合組成。自注意力支路旨在探索特征之間的全局依賴關(guān)系，主干支路則提取更深層次的特征，然后將二者特征進(jìn)行融合來增強(qiáng)特征的表達(dá)能力，實(shí)現(xiàn)圖像高質(zhì)量的紋理細(xì)節(jié)恢復(fù)。

2.1 自注意力支路

恢復(fù)出邊緣和紋理等高頻信息對超分辨率重建是至關(guān)重要的問題，旨在捕捉更加全局的特征。在特征表示中為了模擬豐富的上下文依賴關(guān)系，本文引入了自注意力機(jī)制[13]。自注意力支路將廣泛的上下文信息編碼為局部特征，使其更具全局性，從而增強(qiáng)特征的表達(dá)能力。因此，將自注意力模塊引入網(wǎng)絡(luò)中有望更好地恢復(fù)紋理等細(xì)節(jié)。

本文的自注意力支路的結(jié)構(gòu)如圖2所示。特征 F （x）∈ R C×H×W來自于第一階段的輸出，首先將其送入伴隨著激活函數(shù)ReLU的1×1卷積層，分別生成三個(gè)新的特征圖 A （x）、 B （x）和 C （x）。然后將通過一個(gè)轉(zhuǎn)置矩陣的 A （x）與 B （x）進(jìn)行矩陣乘法操作，并且應(yīng)用一個(gè)softmax層來計(jì)算注意力特征 S （x）：

Sj，i=exp（Ai，Bj） / ∑ N i=1 exp（Ai，Bj）

（1）

其中：N為整個(gè)位置空間，Sj，i表示第i個(gè)位置對第j個(gè)位置的影響。兩個(gè)位置的特征之間越相似，其響應(yīng)值越大，它們之間的關(guān)聯(lián)性就越大。在此之后，將特征 C （x）與轉(zhuǎn)置后的注意力特征 S （x）執(zhí)行一個(gè)矩陣乘法操作，得到最終自注意力支路的輸出 H （x）∈ R C×H×W：

H （x）= C （x） S （x）

（2）

從式（2）中可以知道，自注意力特征 H （x）表示所有位置的特征，因此，它具有全局上下文信息，當(dāng)與主干支路輸出的高層特征融合時(shí)，可以根據(jù)自注意力特征選擇性地聚集上下文信息。總的來說，自注意力模塊通過學(xué)習(xí)所有位置的特征之間的聯(lián)系使得相似的特征相互關(guān)聯(lián)，可以輕松捕捉到更加全局的特征，全局特征的加入能幫助恢復(fù)更多的紋理細(xì)節(jié)。

2.2 殘差單元

本文所使用的殘差單元結(jié)構(gòu)，如圖3所示。

該殘差單元包括兩個(gè)ReLU和兩個(gè)核大小為3×3的卷積層，具有預(yù)激活結(jié)構(gòu)的殘差單元可以表示為：

x u= F （ x u-1， W u）+ x u-1

（3）

其中：u（u=1，2，…，U）是殘差單元的數(shù)量， x u-1和 x u分別是第u個(gè)殘差單元的輸入和輸出， W 代表著權(quán)重， F 表示殘差映射。預(yù)激活結(jié)構(gòu)[14]在卷積層之前執(zhí)行激活函數(shù)，預(yù)激活版本比激活后版本更容易訓(xùn)練并產(chǎn)生更好的性能。此外，不同于原始的殘差網(wǎng)絡(luò)中的殘差單元，本文將批量歸一化層移除[15]，目的是為了保持網(wǎng)絡(luò)之間的靈活性，避免得到的圖像過于平滑。因此，所設(shè)計(jì)的殘差單元有利于學(xué)習(xí)高度復(fù)雜的特征，并且在訓(xùn)練期間有助于進(jìn)行梯度反向傳播，不易產(chǎn)生過擬合。本文的殘差單元隨著網(wǎng)絡(luò)層數(shù)的增加來提升性能，且與沒有殘差連接的網(wǎng)絡(luò)相比更容易收斂。同時(shí)殘差單元的設(shè)計(jì)也緩解了梯度爆炸/梯度消失等問題。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)使用DIV2K數(shù)據(jù)集[16]作為訓(xùn)練集，它是一種新提出的高質(zhì)量數(shù)據(jù)集。DIV2K數(shù)據(jù)集由800個(gè)訓(xùn)練圖像組成，包括100個(gè)驗(yàn)證圖像和100個(gè)測試圖像。訓(xùn)練圖像被分成41×41大小的子圖像，步長為41。為了方便與其他算法比較，本文的測試集由Set5、Set14和BSDS100組成，分別有5、14、100張圖片。

本文實(shí)驗(yàn)通過Adam優(yōu)化方法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。利用“步長”（step）策略調(diào)整學(xué)習(xí)率，初始學(xué)習(xí)率權(quán)重base_lr為lE-5，調(diào)整系數(shù)gamma為0.5，最大迭代次數(shù)為1000000。此外，本文設(shè)置動(dòng)量參數(shù)為0.9和權(quán)重衰退為lE-4。網(wǎng)絡(luò)訓(xùn)練在雙顯卡為P4000 8GB的計(jì)算機(jī)上。

為了探究自注意力對SASR-Net網(wǎng)絡(luò)的影響，本部分將與移除了自注意力支路的超分辨率網(wǎng)絡(luò)（Network for images Super-Resolution， SR-Net）網(wǎng)絡(luò)進(jìn)行比較，實(shí)驗(yàn)結(jié)果如圖4、5所示。圖4是兩個(gè)網(wǎng)絡(luò)在重建倍數(shù)為3

的Set5數(shù)據(jù)集上的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）比較，可以看出這兩個(gè)網(wǎng)絡(luò)都較快收斂，SASR-Net的峰值信噪比SR-Net大約高0.3dB。在圖5中，SASR-Net和SR-Net的圖像視覺效果比其他方法更清晰，而且SASR-Net的PSNR比VDSR高出0.16dB。從圖5（h）中可以看出，與其他算法相比，SASR-Net在蝴蝶翅膀紋理上的處理更好，重建出更多符合原始圖像圖5（b）的細(xì)節(jié)。這也就說明了自注意力可以增強(qiáng)特征的表達(dá)能力，捕捉到更為全局的特征，恢復(fù)出更多的高頻細(xì)節(jié)信息。

將本文提出的SASR-Net與現(xiàn)有的五種超分辨率方法如Bicubic[17]、SRCNN[4]、VDSR[6]、CNF[7]和LapSRN[8]進(jìn)行對比，并利用峰值信噪比（PSNR）和結(jié)構(gòu)相似度（Structual Similarity， SSIM）兩種廣泛使用的圖像質(zhì)量指標(biāo)對重建結(jié)果進(jìn)行評估，同時(shí)比較重建倍數(shù)分別為2、3、4等不同尺度的性能，結(jié)果如表1所示。從表1可以看出，SASR-Net在Set5和BSDS100上的PSNR、SSIM均超過了其他超分辨率方法;雖然CNF在Set14上PSNR的值比SASR-Net略高，但在SSIM上SASR-Net都比其他超分辨率方法高;而且從圖6（e）中可以看出，與圖6（d）的視覺效果相比，本文方法的整體視覺效果更好，花瓣上的點(diǎn)恢復(fù)得更為清晰。圖7所示為BSDS100上重建倍數(shù)為4的視覺效果圖，與其他算法相比，不僅PSNR提高了0.05～1.2dB，SSIM也提高了0.006～0.116;而且從圖7（e）和圖7（f）中可以看出，VDSR以及LapSRN重建結(jié)果過于模糊和平滑，與其他超分辨率方法相比，SASR-Net重建木橋上的條紋更為清晰。大尺度重建質(zhì)量不佳，也是由于高頻信息的不足引起的，而通過本文方法可以增強(qiáng)特征之間的全局依賴關(guān)系，恢復(fù)出更多紋理細(xì)節(jié)豐富的高質(zhì)量圖像。

4 結(jié)語

本文提出了基于自注意力網(wǎng)絡(luò)的圖像超分辨率重建方法，將圖像精確度從粗到細(xì)逐步地恢復(fù)出高分辨率圖像。第一階段利用殘差單元構(gòu)建的CNN來提升網(wǎng)絡(luò)性能，獲取到粗精度的高分辨率圖像;第二階段利用自注意力模型抓取任意兩點(diǎn)特征之間的關(guān)聯(lián)來增強(qiáng)特征的表達(dá)能力，恢復(fù)出更多的紋理細(xì)節(jié)來進(jìn)一步細(xì)化粗精度的高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，自注意力能有效地捕捉特征之間的全局依賴關(guān)系，重建出更多的高頻信息。與其他超分辨率算法相比，本文方法不論是在主觀重建效果還是客觀評價(jià)標(biāo)準(zhǔn)上都有所提高的，重建出的圖像具有更高的質(zhì)量并顯示更精細(xì)的細(xì)節(jié)。

參考文獻(xiàn)

[1]?DENTON E L， CHINTALA S， SZLAM A， et al. Deep generative image models using a Laplacian pyramid of adversarial networks [C]// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2015： 1486-1494.?[J]. Advances in Neural Information Processing Systems， 2015， 1（3）： 1486-1494.

[2]?ILG E， MAYER N， SAIKIA T， et al. FlowNet 2.0： Evolution of optical flow estimation with deep networks[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017： 1647-1655.

[3]?HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 770-778.

[4]?DONG C， LOY C， HE K， at al. Image super-resolution using deep convolutional networks [J]// IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.

[5]?DONG C， LOY C C， TANG X. Accelerating the super-resolution convolutional neural network [C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 391-407.

[6]?KIM J， LEE J K， and LEE K M. Accurate image super-resolution using very deep convolutional networks [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 1646-1654.

[7]?REN H， EL-KHAMY M， LEE J. Image super resolution based on fusing multiple convolution neural networks [C]// Proceedings of the 2017 IEEE Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2017： 1050-1057.

[8]?LAI W， HUANG J， AHUJA N， et al. Deep Laplacian pyramid networks for fast and accurate super-resolution [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 5835-5843.

[9]?ZHOU L， WANG Z， WANG S， et al. Coarse-to-fine image super-resolution using convolutional neural networks [C]// Proceedings of the 2018 International Conference on Multimedia Modeling， LNCS 10705. Cham： Springer， 2018： 73-81.

[10]??GLASNER D， BAGON S， IRANI M. Super-resolution from a single image [C]// Proceedings of the IEEE 12th Intermational Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 349-356.

[11]?SIMONYAN K， ZISSEMAN A. Very deep convolutional networks for large-scale image recognition [J]. arXiv E-print， 2015： arXiv：1409.1556.?[2018-02-11]. https：//arxiv.org/pdf/1409.1556.pdf.

[12]?VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need [C]// Proceedings of the 31st Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2017： 6000-6010.?[J]. Advances in Neural Information Processing Systems， 2017， 30（1）： 6000-6010.

[13]?ZHANG H， GOODFELLOW I.， METAXAS D， et al. Self-attention generative adversarial networks [J]. arXiv E-print， 2019： arXiv：1805.08318.?[EB/OL]. [2018-02-11]. https：//arxiv.org/pdf/1805.08318.pdf.

[14]?HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks [C]// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9908. Cham： Springer， 2016： 630-645.

[15]?NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 257-265.

[16]?AGUSTSSON E， TIMOFTE R. NTIRE 2017 challenge on single image super-resolution： dataset and study [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2017： 1122-1131.

[17]?KEYS R. Cubic convolution interpolation for digital image processing [J]. IEEE Transactions on Acoustics， Speech， and Signal Processing， 1981， 29（6）： 1153-1160.

[18]?孫旭，李曉光，李嘉鋒，等.基于深度學(xué)習(xí)的圖像超分辨率復(fù)原研究進(jìn)展[J].自動(dòng)化學(xué)報(bào)，2017，43（5）：697-709. （SUN X， LI X G， LI J F， et al. Review on deep learning based image super-resolution restoration algorithms [J]. Acta Automatica Sinica， 2017， 43（5）： 697-709.）