陳清江，尹樂璇，邵羅仡

（西安建筑科技大學(xué) 理學(xué)院，陜西 西安 710055）

引言

圖像超分辨率重建(super-resolution reconstruction，SR)是指將給定的低分辨率(low resolution，LR)圖像通過特定的算法重建得到高分辨率(high resolution，HR)圖像的過程。其在醫(yī)學(xué)影像、安全監(jiān)控和遙感圖像處理等諸多領(lǐng)域都有著極為重要的應(yīng)用[1]。隨著SR 技術(shù)的發(fā)展，圖像超分辨率重建已經(jīng)成為計算機視覺領(lǐng)域中的研究熱點。目前，SR 算法可以分為三大類，分別是基于插值、基于重構(gòu)和基于學(xué)習(xí)的重建算法[2]。其中，基于學(xué)習(xí)的重建方法是當前比較主流的方法，尤其是深度學(xué)習(xí)。研究表明，在圖像超分辨率重建領(lǐng)域中，利用深度學(xué)習(xí)可以取得較好的重建效果。2014年，DONG C 等人首次將深度學(xué)習(xí)引入到圖像超分辨率重建領(lǐng)域中，提出超分辨率卷積神經(jīng)網(wǎng)絡(luò)(SRCNN)[3]，該網(wǎng)絡(luò)僅由3 個卷積層構(gòu)成，在圖像輸入前，首先對其進行了預(yù)處理操作，這是第一個基于深度學(xué)習(xí)的圖像超分辨率重建算法。此后，DONG C 等人在SRCNN 的基礎(chǔ)上進行了一定的改進，提出快速超分辨率卷積神經(jīng)網(wǎng)絡(luò) (FSRCNN)[4]，該網(wǎng)絡(luò)引入轉(zhuǎn)置卷積進行上采樣，代替了SRCNN 中的雙三次插值操作，使網(wǎng)絡(luò)直接在LR 圖像上進行訓(xùn)練。SHI W 等人提出高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)(ESPCN)[5]，該網(wǎng)絡(luò)采用亞像素卷積層來對圖像進行上采樣，去掉了預(yù)處理部分，網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練直接在LR 圖像上進行，淺層網(wǎng)絡(luò)模型的接受野一般較小，對圖像重建有一定的影響，但是深層網(wǎng)絡(luò)模型的訓(xùn)練難度一般較大[6]。由于LR 圖像和HR 圖像之間具有一定的相似性，故而在深層網(wǎng)絡(luò)中加入殘差學(xué)習(xí)[7]，學(xué)習(xí)LR 圖像和HR 圖像之間的殘差映射關(guān)系，可在一定程度上降低網(wǎng)絡(luò)模型的復(fù)雜度和訓(xùn)練難度。KIM J 等人提出非常深的超分辨率網(wǎng)絡(luò) (VDSR)[8]和深度遞歸卷積網(wǎng)絡(luò) (DRCN)[9]，VDSR 是首次將VGG(visual geometry group)[10]網(wǎng)絡(luò)應(yīng)用在圖像超分辨率重建領(lǐng)域中的網(wǎng)絡(luò)，該網(wǎng)絡(luò)加入了全局殘差學(xué)習(xí)，將LR 圖像直接加在網(wǎng)絡(luò)的輸出中。在不損失VDSR 重建質(zhì)量的前提下，周登文等人對VDSR 進行了改進，提出了遞歸殘差網(wǎng)絡(luò)(RRSR)[11]，該網(wǎng)絡(luò)采用局部殘差學(xué)習(xí)進行訓(xùn)練，并且在殘差塊中引入遞歸學(xué)習(xí)，減少深層網(wǎng)絡(luò)的計算參數(shù)。郭繼昌等人利用全局和局部殘差連接對卷積網(wǎng)絡(luò)進行改進，減少了網(wǎng)絡(luò)的冗余[12]。LIM B 等人利用殘差塊構(gòu)建出增強的深度超分辨率網(wǎng)絡(luò)(EDSR)[13]，該網(wǎng)絡(luò)去掉了殘差塊中的BN(batch normalization)層，簡化了殘差塊。張敏等人在FSRCNN 和VDSR 的基礎(chǔ)上提出了基于殘差學(xué)習(xí)的超分辨率網(wǎng)絡(luò)[14]，采用了EDSR 中簡化后的殘差塊，提高了重建性能。張健等人針對SRCNN 存在的問題，將CNN 和殘差塊相結(jié)合提出了新的重建算法[15]，提高網(wǎng)絡(luò)的運行時間和重建性能。此外，ZHANG Y 等人也將殘差學(xué)習(xí)和密集跳躍連接結(jié)合起來使用，提出殘差密集網(wǎng)絡(luò)(RDN)[16]，保證特征信息的有效利用。隨著對SR 算法的深入研究，研究人員也將注意力機制引入到了圖像超分辨率重建領(lǐng)域中。如，ZHANG Y 等人提出的深度殘差通道注意力網(wǎng)絡(luò)(RCAN)[17]，魏靜波提出的殘差密集蒸餾注意力網(wǎng)絡(luò)(RDDAN)[18]，DAI T等人提出的二階注意力網(wǎng)絡(luò)(SAN)[19]，NIU B 等人提出的整體注意力網(wǎng)絡(luò)(HAN)[20]以及李滔等人提出的深監(jiān)督跨尺度注意力網(wǎng)絡(luò)[21]等。

雖然已有的網(wǎng)絡(luò)模型均取得了較好的重建效果，但是依然存在著一定的局限性。如，網(wǎng)絡(luò)模型的卷積核大小均采取單一的尺寸，網(wǎng)絡(luò)模型僅關(guān)注通道之間的關(guān)系以及重建圖像依然存在模糊現(xiàn)象等。為解決上述所提到的問題，本文提出了一個新的端到端的網(wǎng)絡(luò)，即多尺度雙階段重建網(wǎng)絡(luò)（multi-scale two-stage reconstruction network，MSTSRN），該網(wǎng)絡(luò)以多尺度卷積層作為大體框架，且采用亞像素卷積層對圖像進行上采樣操作。具體所做工作闡述如下：首先，本文以單尺度網(wǎng)絡(luò)信息提取利用不完全的問題為設(shè)計出發(fā)點，提出了新的以多尺度卷積層作為大體框架的端到端的網(wǎng)絡(luò)模型，即MSTSRN。該網(wǎng)絡(luò)可分為兩個階段，共包含四個部分，分別是淺層特征提取、深層特征提取、重建和特征細化，其中：深層特征提取部分由新提出的殘差組合塊(residual combination block,RCB)和深度特征提取 塊(depth feature extraction block，DFEB)所構(gòu)成，用來對特征信息進行深層提??；特征細化部分由新提出的特征細化模塊(feature refinement module，F(xiàn)RM)所構(gòu)成，用來對超分辨率圖像進行特征提取和細化。其次，關(guān)于損失函數(shù)部分，以L2損失和SSIM 損失的加權(quán)和作為總體損失函數(shù)，用來最小化高分辨率圖像和超分辨率圖像的像素和結(jié)構(gòu)之間的差異，改善重建后圖像的效果。最后，針對所提出的新的模塊，做了一系列的消融實驗，以驗證模塊的有效性。采用Set5、Set14、BSDS100、Manga109 和Urban100 作為實驗的測試集。同時，采用峰值信噪比(peak signal-tonoise ratio，PSNR)[22]和結(jié)構(gòu)相似度 (structural similarity，SSIM)[23]作為圖像質(zhì)量的評價指標，并以表格形式給出定量的結(jié)果。

本文的創(chuàng)新點可分為三部分，分別是：由于網(wǎng)絡(luò)模型結(jié)構(gòu)的不同，LR 圖像的重建效果也大不相同，因此構(gòu)造了新的網(wǎng)絡(luò)模塊，用來改善網(wǎng)絡(luò)進行特征提取的能力；多尺度卷積層作為一種常見的大體框架，主要對單一卷積層所提取到的信息進行補充說明，但是重建后的圖像依然與HR 圖像存在一定的差距，故而在整體網(wǎng)絡(luò)中對不同分支的卷積層進行不同的重點處理，并且加入了特征細化部分，對SR 圖像進行進一步的細節(jié)性補充；L2損失為常用的損失函數(shù)，可以有效提高PSNR 的結(jié)果，而SSIM 損失則更符合人眼的觀察情況，故而將二者結(jié)合起來共同作為本文的損失函數(shù)。

1 網(wǎng)絡(luò)模型

1.1 網(wǎng)絡(luò)整體流程

本文整體網(wǎng)絡(luò)模型可分為兩個階段，一共包含四個部分，分別是淺層特征提取、深層特征提取、重建和特征細化。整體網(wǎng)絡(luò)流程框圖如圖1 所示。

圖1 網(wǎng)絡(luò)流程Fig.1 Network process

本文將網(wǎng)絡(luò)模型分為重建前和重建后兩個階段，第一階段用于對輸入的低分辨率圖像進行特征提取和重建，第二階段用于對重建后的圖像進行特征提取和細化以改善最終的圖像重建效果。其中，第一階段包含淺層特征提取、深層特征提取和重建三部分，第二階段為特征細化部分。

1.2 網(wǎng)絡(luò)整體結(jié)構(gòu)

本文網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計以多尺度卷積層[24]為出發(fā)點構(gòu)建新的網(wǎng)絡(luò)模型，為了充分利用輸入層的圖像信息，每個分支采用不同尺寸的卷積核，以較為充分地獲取圖像特征信息并進行融合。其中，多尺度卷積層主要由3 個不同尺寸的卷積核并行構(gòu)成，分別是 3×3、5×5和 7×7大小的卷積核，具體圖示如圖2 所示，圖中的多尺度卷積層是由文獻[24]中的網(wǎng)絡(luò)整體框架簡化、改進而來。

圖2 多尺度卷積層Fig.2 Multiscale convolution layer

本文整體網(wǎng)絡(luò)如圖3 所示。

圖3 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.3 Overall network structure

淺層特征提取部分：這一部分由不同尺寸的卷積核并行構(gòu)成，分別對輸入的低分辨率圖像進行特征提取，分別采用了兩個 3×3、5×5和 7×7的卷積層進行淺層特征提取得到F0、F1和F2，其具體表達如式(1)～式(3)所示。激活函數(shù)采用ReLU 激活函數(shù)。

式中：ILR表示輸入圖像；Cm表示m×m大小的卷積運算(m=1,3,5,7)；σ表示ReLU 激活函數(shù)。

深層特征提取部分：由于注意力機制在圖像超分辨率重建中的成功應(yīng)用，故而在這一部分中引入了融合注意力模塊（CBAM）[25]，以便對所提取到的特征信息進行有效聚合。該模塊由通道注意力和空間注意力2 個基本注意力模塊串聯(lián)而成，從而使得網(wǎng)絡(luò)訓(xùn)練對圖像的高頻信息分配較大的權(quán)重參數(shù)，對低頻信息分配較小的權(quán)重參數(shù)。這一部分另可具體劃分為3 個分支：第1 分支為 3×3和5×5卷 積分支的深層特征提取，第2 分支為 7×7卷積分支的深層特征提取，第3 分支由一個1×1卷積和長跳躍連接所構(gòu)成。

第1 分支：該分支首先對 3×3和 5×5卷積分支進行特征提取并將融合后的結(jié)果利用卷積層進行一次特征再提取，隨后加入CBAM，使得網(wǎng)絡(luò)模型訓(xùn)練的關(guān)注點更加有針對性，且經(jīng)過CBAM 后得到F3；其次，經(jīng)過多個殘差組合塊，使得網(wǎng)絡(luò)模型對F3更進一步進行特征提取得到F4；最后，對經(jīng)特征提取后的結(jié)果利用1×1的卷積進行降維得到該分支最終的提取結(jié)果F5。F3、F4和F5的具體表達式分別如式(4)～式(6)所示。

式中：?表示點乘運算；A(?)表示CBAM 操作；Cat(?)表示Concat 連接操作；Ri(?)表 示經(jīng)過i個 RCB 操作(i=1,2,···,n)。

第2 分支：該分支主要運用深度特征提取塊對7×7卷積分支提取后的特征信息進行深層特征提取得到F6，具體表示如式(7)所示。

式中：Gdfeb(?)表示DFEB 操作。

第3 分支：該分支僅由一個1×1卷積層和長跳躍連接構(gòu)成，在這一分支中為了防止特征信息隨著網(wǎng)絡(luò)層數(shù)的增加而出現(xiàn)丟失的現(xiàn)象以及梯度消失和梯度爆炸問題的出現(xiàn)，故而特意從輸入的低分辨率圖像處引入長跳躍連接，中間經(jīng)過1×1卷積進行改變通道數(shù)得到F7的結(jié)果。

最后，整個深層特征提取部分的結(jié)果為F8，即為將上述三部分所得到的結(jié)果進行像素點相加得到。

重建部分：該部分為整體網(wǎng)絡(luò)的重建部分，也稱上采樣。整個部分僅包含一個亞像素卷積層和一個 5×5大小的卷積核，此處卷積核的尺寸隨著不同上采樣的倍數(shù)而改變。該部分重建結(jié)果記為F9。

式中Up(?)表示亞像素卷積操作。

特征細化部分：該部分是整體網(wǎng)絡(luò)的第二階段，主要由級聯(lián)的FRM 和短跳躍連接所構(gòu)成，并由一個1×1卷積層對特征信息進行融合。這一部分旨在對重建后的圖像進行細節(jié)上的優(yōu)化與處理，從而改善重建后的圖像效果，得到最終的重建圖像ISR。

式中GFRB(?)表示FRB 的操作運算。

1.3 殘差組合塊

本文基于殘差塊[7]，提出了一個由多個殘差塊所組合而成的新模塊-殘差組合塊(residual combination block,RCB)。設(shè)計該模塊主要用于加深網(wǎng)絡(luò)層數(shù)，進行深層特征提取，同時還關(guān)注了層與層之間的相互關(guān)系并進行融合。該模塊引入了多個短跳躍連接，將前一層的輸出經(jīng)過跳躍連接，作為相隔一層的輸入，可以有效緩解由于網(wǎng)絡(luò)模型過深所帶來的梯度消失或梯度爆炸問題。并且基于此連接，保證了特征信息的有效利用。具體的RCB 如圖4 所示，圖中RBi參照文獻[7]中的殘差網(wǎng)絡(luò)進行簡化而來。

圖4 殘差組合塊Fig.4 Residual combination block

在本文網(wǎng)絡(luò)模型的設(shè)計中，RCB 用于 3×3和5×5卷積分支，進行加深網(wǎng)絡(luò)層數(shù)以及深層特征提取。在整體網(wǎng)絡(luò)中，由于RCB 數(shù)量設(shè)置的不同，最終重建圖像的效果也不盡相同。且經(jīng)由實驗對比可知，當RCB 的數(shù)量設(shè)置為6時，最終的重建圖像效果較好。

1.4 深度特征提取塊

本文針對 7×7卷積分支設(shè)計了一個新的模塊進行深層特征提取-深度特征提取塊（depth feature extraction block，DFEB）。該模塊延續(xù)了多尺度卷積層的思想并對其進行了簡化，具體結(jié)構(gòu)如圖5 所示，分別采用2 個 3×3和 5×5卷積作為DFEB 的兩個并行分支，還引入了CBAM[25]，以有效聚合特征信息。同時，為了在不大量增加參數(shù)的情況下提高該模塊的有效性，引入了一個混洗單元（shuffle unit，SU），進行更進一步的特征提取。該混洗單元主要依據(jù)ShuffleNet 中的基本塊而來，包含組卷積、通道混洗、深度可分離卷積以及ReLU 激活函數(shù)，具體結(jié)構(gòu)如圖6 所示。在模塊參數(shù)量較少以及重建效果較好的情況下，經(jīng)由實驗得到DFEB 和SU 的數(shù)量均設(shè)置為6 較為合適。

圖5 深度特征提取塊Fig.5 Depth feature extraction block

圖6 混洗單元Fig.6 Shuffle unit

1.5 特征細化模塊

本文在設(shè)計整體網(wǎng)絡(luò)時，考慮了重建后圖像的效果，并且針對此設(shè)計了一個特征細化模塊（feature refinement module，F(xiàn)RM）。由于整體網(wǎng)絡(luò)分為重建前和重建后兩個階段，因此，將重建后的這一階段也可看作是一種簡單的特征提取網(wǎng)絡(luò)，主要由FRM 和短跳躍連接所構(gòu)成。其中，F(xiàn)RM 的主要作用是將重建后的圖像進行更進一步的特征提取，以更加全面地恢復(fù)圖像的細節(jié)信息。該模塊設(shè)計在重建后這一階段，主要是為了在不改變分辨率的情況下提取圖像的特征信息，避免圖像信息出現(xiàn)過多的丟失，因而稱之為特征細化模塊。

FRM 同樣延續(xù)了多尺度卷積層的思想并對其進行了一定改進。具體表現(xiàn)為：將3 層卷積改變?yōu)? 層卷積，并且均以空洞卷積所代替，擴張率分別設(shè)置為1、2、3、4。由于該模塊的設(shè)計主要用作特征提取，故而我們采用空洞卷積以便在不增加參數(shù)量的同時有效擴大感受野，最終達到參數(shù)量少但是重建效果較好的目的。

最終在訓(xùn)練整體網(wǎng)絡(luò)模型時，發(fā)現(xiàn)將FRM 的數(shù)量設(shè)置為6時，整體網(wǎng)絡(luò)的重建圖像效果較好。具體的FRM 結(jié)構(gòu)如圖7 所示。

圖7 特征細化模塊Fig.7 Feature refinement module（FRM）

2 損失函數(shù)

由于常用的L1和L2損失函數(shù)或多或少存在一定不足，因此本文引入SSIM 損失函數(shù)，并且以L2和SSIM 的加權(quán)和作為本文最終的損失函數(shù)。

L2損失函數(shù)的表達式為

式中：m表示圖像的數(shù)量；yi表 示HR 圖像；xi表示LR 圖像；f(xi)表示SR 圖像。

SSIM 損失函數(shù)的表達式為

式中：μx和 μy分 別表示x和y的平均值；σx和 σy分別表示x和y的標準差；σxy為x和y的協(xié)方差；C1和C2均為常數(shù)。

因而，本文所采用的損失函數(shù)可表示為

經(jīng)實驗，α取0.5 較為合適。

3 實驗

3.1 實驗環(huán)境及設(shè)置

本實驗采用DIV2K 數(shù)據(jù)集作為實驗的訓(xùn)練集，并對該數(shù)據(jù)集進行隨機翻轉(zhuǎn)和裁剪操作。DIV2K 數(shù)據(jù)集包含900 張圖片，800 張用于訓(xùn)練，100 張用于驗證。在訓(xùn)練時將圖片裁剪為 64×64像素大小的圖像塊來進行訓(xùn)練。采用基準數(shù)據(jù)集Set5、Set14、Urban100、BSDS100 和Manga109 作為網(wǎng)絡(luò)的測試集，以驗證最終的重建效果。其中，基準數(shù)據(jù)集Set5 包含5 張圖片，Set14 包含14 張圖片，Urban100 和BSDS100 均包含100 張圖片，Manga109 包含109 張圖片。

本實驗在計算機配置為Windows11，Inter Core i7-12700H，16.0 GB RAM，2.30 GHz，Nvidia GeForce RTX 3060 GPU，利用Pytorch 深度學(xué)習(xí)框架進行訓(xùn)練，采用Adam 優(yōu)化算法[26]來對網(wǎng)絡(luò)的收斂進行優(yōu)化，初始學(xué)習(xí)率設(shè)置為1e-4。迭代次數(shù)設(shè)置為1 000，批大小設(shè)置為4。實驗的運行時間大約為34 h 左右。最終在二倍放大因子下網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)曲線圖如圖8 所示。

圖8 二倍放大因子下的損失函數(shù)曲線圖Fig.8 Loss function curve under double magnification factor

3.2 評價指標

為了定量地對本文所提算法進行重建后的圖像效果進行衡量，本文采用PSNR 和SSIM 作為圖像的評價指標。PSNR 基于像素來計算高分辨率圖像和超分辨率圖像之間的差異性；SSIM 從圖像的亮度、對比度和結(jié)構(gòu)3 個方面衡量高分辨率圖像和超分辨率圖像之間的相似性。PSNR 和SSIM的效果表現(xiàn)在：數(shù)值越大，重建效果越好，越接近原圖。一般情況下，當PSNR 達到30 dB 以上時，說明重建圖像效果較好；SSIM 取值范圍在0 至1 之間，故當SSIM 取值越接近1時，說明重建后的圖像越接近原圖。

本文網(wǎng)絡(luò)模型在YCrCb 空間上進行訓(xùn)練，且所求的PSNR 值均為在Y 通道上計算所得的結(jié)果。

4 實驗結(jié)果

4.1 不同超分辨率算法結(jié)果對比

本實驗采用基準數(shù)據(jù)集Set5、Set14、Urban100、BSDS100 和Manga109 作為測試集，同時將本文方法與圖像超分辨率重建中幾種經(jīng)典的算法Bicubic、SRCNN、FSRCNN、ESPCN、VDSR 和SRResnet 進行對比，以驗證本文算法的有效性。

表1 給出了本文算法與其他經(jīng)典算法在測試集×2、×3 和×4 上的PSNR 和SSIM值，其中本文結(jié)果均加粗顯示，且在圖9 處給出了不同算法的運行時間的比較。觀察表中數(shù)據(jù)可以發(fā)現(xiàn)，本文所提算法的PSNR 和SSIM 值在測試集Set5、Set14、Urban100、BSDS100 和Manga109 上均有了明顯的提升。由此可見，在客觀評價上，本文算法相比經(jīng)典的算法有了一定的提高。因此，本文所提算法的實驗結(jié)果較好。

表1 不同算法的PSNR 和SSIM 值對比Table 1 Comparison of PSNR and SSIM values of different algorithms

圖9 不同算法訓(xùn)練時間的比較Fig.9 Comparison of training time for different algorithms

表1 中：“時間/s”列為不同算法在測試集Set5 上的平均運行時間，由于運行設(shè)備以及公開框架的不同，運行時間可能與官方所提供的時間有所出入。

圖10 給出了不同算法的重建效果圖。重建圖像選取測試集中的任意圖像，以Set5 中的“bird”、BSDS100 中的“3096”和“8023”以及Urban100 中的“img001”和“img002”為例，并且將圖像進行裁剪和放大以進行直觀的比較。經(jīng)過觀察，發(fā)現(xiàn)本文所提方法的重建圖像在細節(jié)信息方面恢復(fù)較為全面。因而在主觀視覺上，本文算法相比經(jīng)典算法有了一定的改善，本文所提算法的重建效果較好。

圖10 放大因子為2 時不同算法的視覺效果圖Fig.10 Visual effect pictures of different algorithms when magnification factor is 2

4.2 在真實數(shù)據(jù)集上的實驗結(jié)果與分析

本小節(jié)給出了在真實數(shù)據(jù)集RealSR 上的定性結(jié)果，并對其中效果不理想的圖片進行了簡要分析。數(shù)據(jù)集RealSR 為Jianrui Cai 等人所構(gòu)建的一種模擬相機的數(shù)據(jù)，提供了Canon 與Nikon 兩種相機所采集的數(shù)據(jù)。

在這一部分，分別提供了Canon 與Nikon 所采集到的兩張圖片，用作不同方法的實驗效果的定性比較，如圖11 所示。在已有的較為經(jīng)典的方法中，本文所提方法明顯重建效果較好，雖然與HR 圖像仍然具有一定的差距，但是在恢復(fù)圖像細節(jié)上具有明顯的優(yōu)勢。故而認為，本文所提出的方法在真實數(shù)據(jù)集上也取得了較好的結(jié)果。

圖11 數(shù)據(jù)集RealSR 上的不同算法對比效果圖Fig.11 Comparison effect of different algorithms on dataset RealSR

但是，本文方法也具有一定的局限性，在同樣都是上采樣為二倍的情況下，與HR 圖像相比，圖像 “Nikon_003”的重建效果較差，SR 圖像明顯存在模糊現(xiàn)象，圖像不真實；圖像“Nikon_005”重建后整體效果明顯偏暗，如圖12 所示。

4.3 消融實驗

4.3.1 損失函數(shù)的消融實驗

為驗證本實驗所采用 α值的有效性，以測試集Set5 以及放大因子2 為代表，分別給出了在保持其他設(shè)置不變的情況下，給定不同參數(shù)值，分別對應(yīng)得到的PSNR 和SSIM值，如表2 所示。圖13 以“baby”圖片為例，給出了不同參數(shù)值即不同損失函數(shù)的重建效果圖，可以發(fā)現(xiàn)，雖然L2損失函數(shù)，即當 α取零時，所取得的PSNR 值與本文所采用的當α取0.5 時所取得的PSNR 值僅僅相差0.03 dB，但是L2損失函數(shù)的重建圖像過于平滑，主觀視覺效果不好。因此，采用L2+0.5×(1-LSSIM)作為本實驗的損失函數(shù)。

表2 不同損失函數(shù)在Set5 上的PSNR 和SSIM值Table 2 PSNR and SSIM values of different loss functions on Set5

圖13 不同損失函數(shù)的視覺效果圖Fig.13 Visual renderings of different loss functions

4.3.2 模塊的消融實驗

為驗證本文所提出模塊的有效性，本文具體作了如下的實驗：1）去掉整體網(wǎng)絡(luò)中的RCB（MSTSRNRCB），以驗證RCB 的有效性；2）去掉整體網(wǎng)絡(luò)中的DFEB（MSTSRN-DFEB），以驗證DFEB 的有效性；3）去掉整體網(wǎng)絡(luò)中的FRM（MSTSRN-FRM），以驗證FRM 或者說整體網(wǎng)絡(luò)中第二階段的有效性。各個實驗均以×2 后的重建結(jié)果為例，且測試集僅選用Set5 為代表，表3 給出了消融實驗結(jié)果的具體的PSNR 和SSIM 值以及在相同條件下去除個別模塊后的模型訓(xùn)練時間。

表3 Set5 上的PSNR 和SSIM值Table 3 PSNR and SSIM values on Set5 h

5 結(jié)論

本文提出了一個多尺度雙階段重建網(wǎng)絡(luò)用于單幅圖像超分辨率重建。首先引入了多尺度卷積層作為網(wǎng)絡(luò)模型的整體框架，以彌補單尺度信息提取利用不完全的問題；其次，考慮到重建后圖像的細節(jié)信息恢復(fù)情況，將整體網(wǎng)絡(luò)分為重建前和重建后兩個階段，進一步改善圖像的重建效果；最后，提出了3 個新的模塊，來對低分辨率的圖像進行特征信息的深層提取和重建。將本文與其他經(jīng)典的單幅圖像超分辨率重建算法進行了比較，結(jié)果表明，在客觀評價上，本文算法得到的PSNR 值較高；在主觀視覺上，重建圖像細節(jié)信息恢復(fù)得較好。當然，該算法還有一定的不足，依然存在部分圖像重建效果不好的情況，下一步將針對這一情況進行更深層次的研究，以期得到更好的結(jié)果。

附錄 部分核心源代碼