劉樹東，王曉敏，張 艷

(天津城建大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，天津 300384)

圖像超分辨率(Super-Resolution，SR)重建是圖像復(fù)原中的一個(gè)重要分支[1]，是一種由低分辨率圖像恢復(fù)對應(yīng)高分辨率圖像的方法。隨著圖像超分辨率在衛(wèi)星成像[2]、醫(yī)學(xué)成像[3]、安全和監(jiān)視[4]、圖像生成[5]等計(jì)算機(jī)視覺任務(wù)和圖像處理領(lǐng)域取得的突出成就，利用超分辨率技術(shù)重建出更高分辨率、更清晰的圖像成為目前圖像復(fù)原領(lǐng)域的研究熱點(diǎn)。

圖像超分辨率重建最早是由文獻(xiàn)[6]在20世紀(jì)60年代提出的。隨著超分辨率技術(shù)的廣泛應(yīng)用，越來越多的學(xué)者開始對其進(jìn)行探究。圖像超分辨率重建方法主要有3種：基于插值的方法[7]、基于重建的方法[8]和基于學(xué)習(xí)的方法[9-10]。基于差值的超分辨率重建方法計(jì)算簡單，容易實(shí)現(xiàn)，但對自然圖像的先驗(yàn)知識具有較大的依賴性，對圖像細(xì)節(jié)恢復(fù)效果較差，容易出現(xiàn)邊緣效應(yīng)?；谥亟ǖ姆椒ǜ鶕?jù)已知的退化模型得到低分辨率圖像，通過提取低分辨率圖像中關(guān)鍵的像素點(diǎn)信息對高分辨率圖像的生成進(jìn)行約束，結(jié)合高分辨率圖像中的先驗(yàn)知識得到相應(yīng)的重建結(jié)果。但由于獲得的先驗(yàn)知識有限，因此對于復(fù)雜的圖像無法恢復(fù)出更多細(xì)節(jié)信息，重建性能有限?；趯W(xué)習(xí)的方法通過建立高、低分辨率圖像兩者之間的映射關(guān)系，然后利用學(xué)習(xí)獲得的先驗(yàn)知識來完成高分辨率圖像的重建。與其他重建方法相比，基于學(xué)習(xí)的圖像超分辨率方法可以從訓(xùn)練樣本中學(xué)習(xí)到所需的細(xì)節(jié)信息，并對測試樣本進(jìn)行估計(jì)，可獲得相對較好的重建效果。目前基于學(xué)習(xí)的方法主要有基于稀疏表示、近鄰嵌入和深度學(xué)習(xí)的方法。文獻(xiàn)[11-12]提出一種基于稀疏表示和字典學(xué)習(xí)的方法，通過學(xué)習(xí)低分辨率圖像塊和對應(yīng)高分辨率圖像塊的超完備字典進(jìn)行圖像重建。但由于對超完備字典的學(xué)習(xí)要求較高，實(shí)用性較差，文獻(xiàn)[13-14]將稀疏字典和領(lǐng)域嵌入進(jìn)行結(jié)合，提出了錨定領(lǐng)域回歸算法和改進(jìn)后的錨定領(lǐng)域回歸(A+)算法，計(jì)算效率得到了提高，但圖像細(xì)節(jié)恢復(fù)效果較差。

隨著深度學(xué)習(xí)的飛速發(fā)展，基于深度學(xué)習(xí)的方法與傳統(tǒng)方法[15-16]相比有顯著的優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)作為深度學(xué)習(xí)的代表性算法之一，由于其高效的學(xué)習(xí)能力，在超分辨率領(lǐng)域得到了廣泛的應(yīng)用[17-18]。文獻(xiàn)[9]采用3層卷積神經(jīng)網(wǎng)絡(luò)(Super-Resolution Convolutional Neural Network，SRCNN)進(jìn)行圖像超分辨率重建。該網(wǎng)絡(luò)結(jié)構(gòu)簡單，容易實(shí)現(xiàn)，但由于卷積層數(shù)少、感受野小以及泛化能力差等缺陷，無法提取到圖像深層次的特征，導(dǎo)致重建性能有限。文獻(xiàn)[19]提出的卷積網(wǎng)絡(luò)將網(wǎng)絡(luò)深度提升到了20層，并引入了殘差學(xué)習(xí)，提高了特征提取能力。同時(shí)，文獻(xiàn)[20]還提出了深度遞歸卷積網(wǎng)絡(luò)，采用遞歸學(xué)習(xí)實(shí)現(xiàn)了深度網(wǎng)絡(luò)的參數(shù)共享，降低網(wǎng)絡(luò)的訓(xùn)練難度。雖然文獻(xiàn)[19-20]提出的兩種方法取得了較好的重建性能，但是隨著網(wǎng)絡(luò)的加深，梯度消失和網(wǎng)絡(luò)退化也會越明顯。文獻(xiàn)[21]提出了深度拉普拉斯金字塔網(wǎng)絡(luò)，采用級聯(lián)結(jié)構(gòu)逐步學(xué)習(xí)，逐步優(yōu)化，取得了很好的重建效果。文獻(xiàn)[22]提出了一種深度殘差遞歸網(wǎng)絡(luò)，通過循環(huán)殘差的方式減少訓(xùn)練參數(shù)，降低網(wǎng)絡(luò)訓(xùn)練難度，有效緩解了梯度消失現(xiàn)象。文獻(xiàn)[23]提出的深度殘差編碼解碼網(wǎng)絡(luò)，采用對稱方式跳躍連接卷積與反卷積層，使訓(xùn)練收斂速度更快，達(dá)到更高質(zhì)量的局部最優(yōu)，但隨著網(wǎng)絡(luò)深度的增加，梯度消失或網(wǎng)絡(luò)退化現(xiàn)象仍然存在。

筆者針對上述方法的不足，將對稱跳躍連接引入到卷積神經(jīng)網(wǎng)絡(luò)，提出了一種基于對稱殘差的卷積神經(jīng)網(wǎng)絡(luò)模型，以進(jìn)一步提高圖像重建的質(zhì)量。通過在殘差塊內(nèi)建立對稱短跳連接，實(shí)現(xiàn)塊內(nèi)信息充分利用，提取更豐富的局部特征，同時(shí)，在殘差塊外建立長跳連接，實(shí)現(xiàn)全局特征融合，以彌補(bǔ)深度網(wǎng)絡(luò)圖像細(xì)節(jié)信息退化嚴(yán)重的損失。針對損失函數(shù)的選擇，采用處理異常點(diǎn)更穩(wěn)定的平均絕對值誤差(Mean Absolute Error，MAE)函數(shù)進(jìn)行訓(xùn)練。

1 相關(guān)工作

圖1 殘差結(jié)構(gòu)圖

文獻(xiàn)[23]提出的深度殘差編碼解碼網(wǎng)絡(luò)是一種對稱網(wǎng)絡(luò)結(jié)構(gòu)，將卷積神經(jīng)網(wǎng)絡(luò)中的卷積和反卷積操作運(yùn)用于圖像復(fù)原。首先，對稱跳躍連接有助于圖像信息直接反向傳播，從而緩解了梯度消失的現(xiàn)象，使深度網(wǎng)絡(luò)訓(xùn)練更加容易，提高了網(wǎng)絡(luò)的恢復(fù)性能。隨著卷積神經(jīng)網(wǎng)絡(luò)深度的增加，殘差網(wǎng)絡(luò)中的殘差結(jié)構(gòu)可以有效緩解深度網(wǎng)絡(luò)引起的梯度消失和網(wǎng)絡(luò)退化現(xiàn)象，網(wǎng)絡(luò)架構(gòu)越深，其豐富抽象特征的提取和網(wǎng)絡(luò)性能越好。

文獻(xiàn)[24]提出的152層深度殘差網(wǎng)絡(luò)(Residual Network，ResNet)利用非線性網(wǎng)絡(luò)可以擬合任意函數(shù)的特性，使用包含少數(shù)隱層的淺層網(wǎng)絡(luò)擬合自定義的殘差函數(shù)F(x):=H(x)-x，殘差函數(shù)再與恒等映射x相加，x表示網(wǎng)語的輸入，構(gòu)成基本的殘差單元，實(shí)現(xiàn)期望的特征映射關(guān)系H(x)[25]。研究表明，這種方式更易于優(yōu)化[6,26-30]。如圖1所示，殘差結(jié)構(gòu)在解決梯度消失問題的同時(shí)，避免了因網(wǎng)絡(luò)加深而導(dǎo)致的額外參數(shù)引入，在深層網(wǎng)絡(luò)中使用跳躍連接的方式將卷積層連接，實(shí)現(xiàn)了不同卷積層中特征的重復(fù)利用，大大降低了訓(xùn)練時(shí)的計(jì)算量[31]。文獻(xiàn)[18]在輸入數(shù)據(jù)和最后重建層之間采用跳躍連接進(jìn)行信息傳遞。研究表明，在各層之間建立多個(gè)跳躍連接可以有效地訓(xùn)練深度網(wǎng)絡(luò)[21]。

由于網(wǎng)絡(luò)深度的不斷增加，該方法將殘差網(wǎng)絡(luò)引入圖像超分辨率以解決深度網(wǎng)絡(luò)訓(xùn)練難度大的問題；將一種對稱長短跳躍連接引入卷積神經(jīng)網(wǎng)絡(luò)，通過在網(wǎng)絡(luò)中設(shè)置帶泄漏線性整流(Leaky Recitified Linear Unit，LReLU)函數(shù)作為激活函數(shù)，使網(wǎng)絡(luò)訓(xùn)練更穩(wěn)定，并以原始低分辨率圖像作為輸入，減少圖像經(jīng)預(yù)處理后導(dǎo)致高頻信息丟失的現(xiàn)象，進(jìn)一步提高了網(wǎng)絡(luò)的特征提取能力。

2 對稱殘差卷積神經(jīng)網(wǎng)絡(luò)模型

2.1 對稱殘差卷積網(wǎng)絡(luò)結(jié)構(gòu)

基于對稱殘差的卷積網(wǎng)絡(luò)(Symmetric Residual Convolution Neural，SymRCN)模型主要由特征提取、特征融合和重建3部分構(gòu)成，共包含31層卷積層。該網(wǎng)絡(luò)模型包括4個(gè)殘差塊，采用對稱長短跳躍連接實(shí)現(xiàn)全局與局部特征融合，實(shí)現(xiàn)網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性和特征提取的高效性。在殘差塊內(nèi)采用對稱殘差的方式提取更豐富的特征，殘差塊外通過長跳連接實(shí)現(xiàn)全局特征融合，有效緩解了由簡單堆疊多個(gè)殘差塊而導(dǎo)致特征提取不充分、梯度消失和網(wǎng)絡(luò)退化問題。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中，x和y分別表示網(wǎng)絡(luò)的輸入和輸出。

圖2 對稱殘差卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

對稱殘差卷積神經(jīng)網(wǎng)絡(luò)模型建立時(shí)的具體實(shí)現(xiàn)步驟有3個(gè)：①特征提取。主要完成提取不同條件下的細(xì)節(jié)特征，將獲得的低分辨率圖像的穩(wěn)定特征作為特征融合模塊的輸入數(shù)據(jù)；②特征融合。利用殘差塊內(nèi)多個(gè)對稱殘差的卷積層和非線性映射函數(shù)的復(fù)合實(shí)現(xiàn)網(wǎng)絡(luò)中不同特征圖的提取；通過在殘差塊外建立長跳連接來完成各個(gè)殘差塊間特征的融合，并作為重建模塊的輸入數(shù)據(jù)；③重建。利用預(yù)測的殘差圖像重建出最終的高分辨率圖像。

特征提取部分由兩層卷積層構(gòu)成，為了降低網(wǎng)絡(luò)參數(shù)數(shù)量和計(jì)算復(fù)雜度，每層卷積層均使用64個(gè)大小為3×3的卷積核對原始低分辨率圖像進(jìn)行卷積，提取特征圖。特征B0提取過程可以表示為

B0=f(x) ,

(1)

其中，f表示特征提取函數(shù)，x并作為下面殘差塊的輸入。

特征融合部分由4個(gè)殘差塊組成，每個(gè)殘差塊由一個(gè)增強(qiáng)單元和一個(gè)壓縮單元構(gòu)成，這個(gè)過程可以表示為

Bm=Fm(Bm-1)，m=1,2,…,n,

(2)

其中，F(xiàn)m表示第m個(gè)殘差塊對應(yīng)的函數(shù)，Bm-1和Bm分別表示第m個(gè)殘差塊的輸入和輸出。

重建部分使用一層無激活函數(shù)的反卷積層實(shí)現(xiàn)最終圖像重建，該層的功能相當(dāng)于上采樣操作。在反卷積過程中，當(dāng)步長s大于1時(shí)，反卷積操作被視為上采樣，且網(wǎng)絡(luò)的整體復(fù)雜度會降低s2，但步長不宜過大，因?yàn)檫^大的步長會導(dǎo)致重建質(zhì)量的下降。根據(jù)采樣因子的不同，相應(yīng)調(diào)整步長大小，但步長始終大于1。重建過程中反卷積層對特征圖進(jìn)行上采樣操作，將最終殘差塊的輸出特征組合起來生成殘差圖像，其中，反卷積層的偏置項(xiàng)能夠自動調(diào)整殘差圖像數(shù)據(jù)分布的中心值，使之接近原始圖像。由于輸入的原始低分辨率圖像與高分辨率圖像間存在極大的相似性，因而兩者間殘差圖像的像素信息多數(shù)情況趨近于零。使用輸入的低分辨率圖像、原始高分辨率圖像和生成的殘差圖像共同完成高分辨率圖像的重建，進(jìn)一步提高了圖像的重建質(zhì)量。網(wǎng)絡(luò)的輸出y可表示為

y=R(Fn(Bn-1))+U(x) ，

(3)

其中，R和U分別表示重建和雙三次插值函數(shù)。

(4)

2.2 特征融合

特征融合是本網(wǎng)絡(luò)的核心部分，由增強(qiáng)單元和壓縮單元組成，Conv+LReLU(k,n)中k代表卷積核大小，n代表卷積核個(gè)數(shù)，并使用帶泄漏線性整流函數(shù)作為激活函數(shù)。其中增強(qiáng)單元包含6層結(jié)構(gòu)相同的卷積層，通過對稱殘差實(shí)現(xiàn)淺層與深層信息的恒等映射，融合網(wǎng)絡(luò)上下文信息，提取更豐富的特征。壓縮單元由1層1×1的卷積層構(gòu)成，為后續(xù)網(wǎng)絡(luò)提取關(guān)鍵信息。殘差塊內(nèi)增強(qiáng)與壓縮單元框架如圖3所示。當(dāng)前殘差塊的輸出Bm-1可表示為

(5)

圖3 殘差塊內(nèi)增強(qiáng)與壓縮單元框架圖

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集預(yù)處理

使用文獻(xiàn)[12]的91張圖像和文獻(xiàn)[32]中的200張圖像作為訓(xùn)練樣本。為了充分利用訓(xùn)練數(shù)據(jù)，通過對291張圖像進(jìn)行90°、180°、270°旋轉(zhuǎn),水平翻轉(zhuǎn),并以因子0.9、0.8、0.7、0.6的順序縮小，對訓(xùn)練圖像進(jìn)行數(shù)據(jù)增強(qiáng)處理后獲得訓(xùn)練圖像11 640張。為了進(jìn)一步證明提出方法的有效性，選擇應(yīng)用廣泛的標(biāo)準(zhǔn)數(shù)據(jù)集Set5、Set14、BSD100進(jìn)行測試，數(shù)據(jù)集中包含了豐富的自然場景，可以有效地測試網(wǎng)絡(luò)的性能。

利用雙三次插值法以因子k(k=2,3,4)對原始圖像進(jìn)行下采樣，生成相應(yīng)的低分辨率圖像，將低分辨率訓(xùn)練圖像裁剪為一組lsub×lsub的子圖，相應(yīng)的高分辨率訓(xùn)練圖像被裁剪為klsub×klsub的子圖。由于網(wǎng)絡(luò)使用Caffe深度學(xué)習(xí)框架進(jìn)行訓(xùn)練[33]，所以將反卷積核產(chǎn)生的輸出大小設(shè)置為(klsub-k+1)2，而非(klsub)2，因此，高分辨率子圖的像素邊界應(yīng)裁剪(k-1)。同時(shí)，使用Caffe框架訓(xùn)練時(shí)，若擁有較大學(xué)習(xí)率的訓(xùn)練樣本尺寸越大，則訓(xùn)練過程越不穩(wěn)定。由于裁剪圖像塊時(shí)無重疊部分，為了充分利用291張圖像，當(dāng)采樣因子增大時(shí)，子圖像采樣步長相應(yīng)縮小，裁剪后的訓(xùn)練子圖尺寸相應(yīng)變小，以便得到更多邊緣的圖像塊。以采樣因子k=3為例，根據(jù)數(shù)據(jù)集中最小圖像的尺寸，將低分辨率子圖像采樣步長設(shè)置為15，低分辨率圖像裁剪為15×15(152)的訓(xùn)練子圖，對應(yīng)的高分辨率圖像裁剪為43×43(432，其中高分辨率子圖尺寸通過15×3-3+1獲得)的訓(xùn)練子圖，故訓(xùn)練階段使用大小為152/432的訓(xùn)練對進(jìn)行訓(xùn)練。初始學(xué)習(xí)率設(shè)為10-4，訓(xùn)練過程中,每250 000次學(xué)習(xí)率下降10-1，總的訓(xùn)練次數(shù)為600 000次。訓(xùn)練樣本尺寸如表1所示。

表1 不同采樣因子的訓(xùn)練子圖尺寸

對于原始彩色圖像，將每張彩色圖像從RGB顏色空間轉(zhuǎn)換為YCbCr彩色空間。由于人眼視覺相比于顏色對圖像亮度更加敏感[34]，在SRCNN中已經(jīng)證明僅在Y通道進(jìn)行映射關(guān)系不會影響圖像的重建質(zhì)量[9]，所以僅對Y通道即亮度通道做訓(xùn)練從而得到對應(yīng)的映射關(guān)系，對Cb、Cr顏色分量進(jìn)行簡單的插值放大，這樣可以減輕計(jì)算的開銷，同時(shí)保證了圖像的重建質(zhì)量[35]。

網(wǎng)絡(luò)中，所有采樣因子的上采樣核均為17×17，帶泄漏線性整流函數(shù)的負(fù)斜率設(shè)置為0.05，使用文獻(xiàn)[36]提出的方法初始化權(quán)重，偏置設(shè)為零，網(wǎng)絡(luò)使用Adam進(jìn)行優(yōu)化。

3.2 實(shí)驗(yàn)分析

實(shí)驗(yàn)硬件配置為Intel(R)Xeon(R)CPU E5-1650 v4 @3.60GHz×12處理器，Tesla K20c顯卡，64GB內(nèi)存，平臺為Matlab R2016a軟件和caffe深度學(xué)習(xí)框架以及用于調(diào)用GPU的開發(fā)包CUDA8.0。首先針對在殘差塊內(nèi)使用和不使用對稱短跳連接兩種情況，采用兩種不同的網(wǎng)絡(luò)模型進(jìn)行峰值信噪比(PSNR)的測試實(shí)驗(yàn)，然后使用標(biāo)準(zhǔn)測試集Set5、Set14、BSD100進(jìn)行測試，將SymRCN方法與Bicubic、A+[13]、SRCNN[9]、VDSR[14]、DRCN[15]和LapSRN[16]6種典型方法的重建結(jié)果進(jìn)行比較，使用峰值信噪比和結(jié)構(gòu)相似度(SSIM)作為衡量圖像重建質(zhì)量的指標(biāo)。

圖4統(tǒng)計(jì)了殘差塊內(nèi)是否使用對稱，并經(jīng)過600 000次迭代后，在Set5測試集上重建結(jié)果的平均峰值信噪比曲線圖。從圖4中可以看出，使用對稱的網(wǎng)絡(luò)模型，峰值信噪比值有明顯提高，充分證明了使用對稱可以有效改善網(wǎng)絡(luò)加深帶來的梯度消失現(xiàn)象。

圖4 在Set5測試集上兩種方法的峰值信噪經(jīng)收斂曲線

圖5～圖7展示了當(dāng)采樣因子為2倍、3倍和4倍時(shí)，在Set5和Set14測試集上使用對稱殘差卷積網(wǎng)絡(luò)方法和其他6種方法進(jìn)行重建后的圖像對比，從主觀角度對圖像的重建效果進(jìn)行了展示?？梢钥闯觯珺icubic和A+兩種方法所重建的圖像比較模糊，鋸齒狀較為明顯，重建效果較差。SRCNN、VDSR、DRCN和LapSRN相較于前兩種方法的重建效果較好，但重建圖像仍然存在細(xì)節(jié)不完整，清晰度不夠高的問題。在不同采樣因子下，使用對稱殘差卷積網(wǎng)絡(luò)方法重建Set5中butterfly_GT圖像后的蝴蝶翅膀紋理更加清晰，細(xì)節(jié)更豐富，結(jié)構(gòu)相似度更高；重建Set5數(shù)據(jù)集中的bird_GT圖像后的小鳥身體各部位細(xì)節(jié)信息提取更充分，邊緣更清晰，辨識度更高；重建Set14中zebra圖像的峰值信噪比和結(jié)構(gòu)相似度雖略低于LapSRN，但重建的圖像與LapSRN算法重建的圖像視覺感官上十分接近。同時(shí)，相較于其他5種方法，該方法重建圖像更清晰，整體視覺效果更好。

圖5 Set5中的butterfly_GT采樣2倍的重建對比圖

圖6 Set5中的bird_GT采樣3倍的重建對比圖

表2在Set5、Set14和BSD100數(shù)據(jù)集上不同超分辨率重建方法的平均PSNR/SSIM

數(shù)據(jù)集采樣因子Bicubic(PSNR/SSIM)A+(PSNR/SSIM)SRCNN(PSNR/SSIM)VDSR(PSNR/SSIM)DRCN(PSNR/SSIM)LapSRN(PSNR/SSIM)SymRCN(PSNR/SSIM)Set5×233.66/0.929 936.54/0.954 436.66/0.954 237.53/0.958 737.63/0.958 837.52/0.959 137.83/0.9598×330.39/0.868 232.58/0.908 832.75/0.909 033.66/0.921 333.82/0.922 633.81/0.922 034.00/0.924 6×428.42/0.810 430.28/0.860 330.48/0.862 831.35/0.883 831.53/0.885 431.54/0.885 231.53/0.885 5Set14×230.24/0.868 832.28/0.905 632.42/0.906 333.03/0.912 433.04/0.911 832.99/0.912 433.22/0.913 7×327.55/0.774 229.13/0.818 829.28/0.820 929.77/0.831 429.76/0.831 129.79/0.832 529.88/0.833 8×426.00/0.702 727.32/0.749 127.49/0.750 328.01/0.767 428.02/0.767 028.09/0.770 028.05/0.768 8BSD100×229.56/0.843 131.21/0.886 331.36/0.887 931.90/0.896 031.85/0.894 231.80/0.895 232.01/0.897 4×327.21/0.738 528.29/0.783 528.41/0.786 328.82/0.797 628.80/0.796 328.82/0.798 028.87/0.799 6×425.96/0.667 526.82/0.708 726.90/0.710 127.29/0.725 127.23/0.723 327.32/0.727 527.24/0.724 7平均值28.78/0.800 430.50/0.841 730.64/0.843 131.26/0.854 931.30/0.854 531.30/0.855 831.40/0.867 5

注：粗體標(biāo)記數(shù)字表示最佳效果。

表3 在Set5、Set14和BSD100數(shù)據(jù)集上不同超分辨率重建方法的平均測試時(shí)間 s

注：粗體標(biāo)記數(shù)字表示最佳效果。

不同圖像超分辨率重建方法在Set5、Set14和BSD100數(shù)據(jù)集上進(jìn)行測試的PSNR和SSIM結(jié)果如表2所示，從客觀角度評價(jià)了圖像的重建效果。可以看出，VDSR、DRCN和LapSRN這3種方法比Bicubic、A+和SRCNN這3種方法的峰值信噪比和結(jié)構(gòu)相似度值均有提高；由于SymRCN方法將對稱殘差引入到了卷積神經(jīng)網(wǎng)絡(luò)中，實(shí)現(xiàn)了局部和全局特征融合，SymRCN方法較VDSR、DRCN和LapSRN這3種方法的平均峰值信噪比值分別提高了0.14 dB、0.1 dB和0.1 dB，平均結(jié)構(gòu)相似度值分別提高了0.012 6、0.013 0和0.011 7，充分證明了該方法的有效性和重建圖像質(zhì)量的可靠性。除了圖像質(zhì)量評價(jià)外，測試時(shí)間也是評價(jià)超分辨率重建質(zhì)量的一項(xiàng)重要指標(biāo)，不同方法在Set5、Set14和BSD100數(shù)據(jù)集上測試的時(shí)間結(jié)果如表3所示。從表3中可以看出，SymRCN方法的測試時(shí)間雖略高于LapRCN方法的，但綜合峰值信噪比和結(jié)構(gòu)相似度兩種評價(jià)指標(biāo)，SymRCN方法的整體重建效果更好，效率更高，同時(shí)相較于其他5種比較方法所用平均測試時(shí)間較短，實(shí)際應(yīng)用中實(shí)時(shí)性較好。

4 結(jié)束語

文中方法將跳躍連接引入圖像超分辨率重建，設(shè)計(jì)了一種長短跳躍連接網(wǎng)絡(luò)，提出了基于對稱殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建方法。采用對稱殘差學(xué)習(xí)以提升收斂速度，采用長短跳躍連接融合全局與局部分級特征，從而保證網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。實(shí)現(xiàn)了殘差塊內(nèi)局部信息的充分利用，有效改善了由網(wǎng)絡(luò)深度帶來的梯度消失；同時(shí)實(shí)現(xiàn)了殘差塊外全局特征的融合以彌補(bǔ)網(wǎng)絡(luò)加深丟失的高頻細(xì)節(jié)。實(shí)驗(yàn)結(jié)果表明，對稱殘差卷積神經(jīng)網(wǎng)絡(luò)方法的重建效果較傳統(tǒng)方法有明顯的優(yōu)勢，重建圖像的視覺效果更貼近人眼感官要求，充分證明了該方法的有效性和實(shí)用性。在后續(xù)的研究中，將嘗試?yán)^續(xù)拓寬網(wǎng)絡(luò)寬度和深度以進(jìn)一步改進(jìn)網(wǎng)絡(luò)，尋求其他優(yōu)化方法以進(jìn)一步提高重建質(zhì)量。