李 嵐,張 云,杜 佳，尹 喆

(蘭州文理學(xué)院 數(shù)字媒體學(xué)院，甘肅 蘭州 730010)

0 引言

圖像超分辨率重建(Image Super-resolution Reconstruction，SR)算法的基本思想是利用數(shù)字圖像處理、計(jì)算機(jī)視覺等領(lǐng)域的相關(guān)知識，借由特定的算法和處理流程，從給定的低分辨率(Low Resolution，LR)圖像中重建出高分辨率(High Resolution，HR)圖像的過程，其目的是克服或補(bǔ)償由于圖像采集系統(tǒng)或采集環(huán)境本身的限制,導(dǎo)致的成像圖像模糊、質(zhì)量低下、感興趣區(qū)域不顯著等問題.該技術(shù)對硬件要求較低，不受環(huán)境影響，在衛(wèi)星遙感、醫(yī)學(xué)成像、公共安全、軍事等領(lǐng)域應(yīng)用廣泛[1-2].隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，促使深度學(xué)習(xí)的圖像超分辨率重建技術(shù)受到廣泛關(guān)注，并取得了良好的重建效果.Dong等[3]在傳統(tǒng)方法的基礎(chǔ)上，首次提出將卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方法用于圖像重建，借助了神經(jīng)網(wǎng)絡(luò)的強(qiáng)大學(xué)習(xí)功能.該方法結(jié)構(gòu)簡單，易于實(shí)現(xiàn)，但因?qū)訑?shù)較少，網(wǎng)絡(luò)訓(xùn)練能力較弱，導(dǎo)致重建性能較差.文獻(xiàn)[4]在殘差網(wǎng)絡(luò)的啟發(fā)下，將網(wǎng)絡(luò)卷積層的深度提升到了20層，增加了卷積層的感受野，提高了網(wǎng)絡(luò)的收斂速度.文獻(xiàn)[5]采用深度遞歸卷積網(wǎng)絡(luò)，實(shí)現(xiàn)網(wǎng)絡(luò)參數(shù)共享，降低了訓(xùn)練難度.文獻(xiàn)[4-5]方法取得了較好的重建效果，其缺點(diǎn)是隨著網(wǎng)絡(luò)層數(shù)的增加，存在梯度消失和網(wǎng)絡(luò)訓(xùn)練難以收斂.Dong等[6]提出的FSRCNN算法在初始階段采用雙三次插值法進(jìn)行圖像放大，破壞了圖像原有的細(xì)節(jié)信息.Shi等[7]提出的亞像素卷積方法(ESPCN)主要通過對低分辨率圖像進(jìn)行特征提取，在網(wǎng)絡(luò)末端應(yīng)用亞像素卷積操作，對特征圖像重新排列，達(dá)到提高圖像質(zhì)量的目的.

上述方法在網(wǎng)絡(luò)中主要采用單個尺度的卷積核對LR圖像進(jìn)行特征提取時沒有充分利用原始LR圖像信息，存在網(wǎng)絡(luò)感受野小以及在增加網(wǎng)絡(luò)深度的同時導(dǎo)致梯度彌散或者梯度爆炸等問題.針對上述問題，本文提出了一種多尺度融合卷積與空洞殘差相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò).首先在特征提取階段采用多尺度融合卷積操作,獲取原始圖像中更有用的信息；然后，采用空洞殘差單元代替原始?xì)埐罹W(wǎng)絡(luò)進(jìn)行特征映射，擴(kuò)大特征圖像的感受野，避免梯度消失，將底層提取的特征圖像作為殘差模塊的輸入；最后將LR特征信息與殘差模塊輸出的特征圖像進(jìn)行重建，得到最終的HR圖像.

1 相關(guān)工作

1.1 空洞殘差網(wǎng)絡(luò)

空洞卷積(擴(kuò)張卷積)在擴(kuò)大卷積網(wǎng)絡(luò)感受野范圍的同時不降低圖像尺寸，從而保留更多的圖像細(xì)節(jié)信息，不需要引入額外的計(jì)算量，就能達(dá)到提升網(wǎng)絡(luò)性能的目的，許多學(xué)者在研究中應(yīng)用了不同方式的空洞卷積[8-9].普通卷積和空洞卷積擴(kuò)張率為2的結(jié)構(gòu)如圖1所示.

圖1 普通卷積和空洞卷積示意圖

根據(jù)上圖所示，對于一個3×3的卷積核來說，當(dāng)擴(kuò)張率d=1時，網(wǎng)絡(luò)感受野為3×3，相當(dāng)于不擴(kuò)張；當(dāng)擴(kuò)張率d=2時，網(wǎng)絡(luò)感受野大小為7×7；當(dāng)擴(kuò)張率為d=3時，網(wǎng)絡(luò)感受野為13×13，感受野計(jì)算公式如下：

v=2(d-1)×(k-1)+k，

(1)

其中:v表示當(dāng)前層的感受野，d表示擴(kuò)張率;k表示卷積核大小.可以看出空洞卷積在不引入額外參數(shù)的情況下擴(kuò)大感受野，同時保持特征圖像分辨率不變，從而可以在網(wǎng)絡(luò)訓(xùn)練中傳遞更多的細(xì)節(jié)信息.

1.2 深度殘差網(wǎng)絡(luò)

ResNet(Deep Residual Network, ResNet)[10]相對于傳統(tǒng)網(wǎng)絡(luò)而言，引入了跳躍連接，即在卷積網(wǎng)絡(luò)上每間隔2到3層增加一個跳躍連接，這樣就產(chǎn)生一個殘差單元，該結(jié)構(gòu)使用3×3和1×1的小卷積核，使得網(wǎng)絡(luò)更深.通過殘差網(wǎng)絡(luò)可以避免簡單堆疊的卷積神經(jīng)網(wǎng)絡(luò)梯度消失或爆炸以及精度退化問題.因?yàn)橹粚W(xué)習(xí)圖像的高頻信息，所以學(xué)習(xí)量小，有利于網(wǎng)絡(luò)性能提升，殘差單元結(jié)構(gòu)如圖2所示.

假設(shè)存在一個恒等映射X，一般卷積網(wǎng)絡(luò)直接擬合所需函數(shù)H(X)=X，在ResNet中，激活函數(shù)采用ReLU，將H(X)假設(shè)為由幾個堆疊層(殘差網(wǎng)絡(luò)采用3個堆疊層)匹配的基礎(chǔ)映射，用X表示第一層的輸入，將原始所需函數(shù)H(X)轉(zhuǎn)換成F(X)+X.即輸出

H(X)=X+F(X).

(2)

如圖2所示，如果前面層達(dá)到最優(yōu)值時，后面層的操作就可以簡化或者去掉，通過這種跳躍結(jié)構(gòu)，將優(yōu)化目標(biāo)從一個恒等映射變?yōu)楸平悖@樣就可以解決深層網(wǎng)絡(luò)難以訓(xùn)練的問題.

圖2 殘差單元結(jié)構(gòu)

2 改進(jìn)的空洞殘差卷積網(wǎng)絡(luò)

根據(jù)以上分析，本文在VDSR網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合ResNet思想，構(gòu)建一個包含20層的網(wǎng)絡(luò)框架，整個網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，主要包括3部分.第1部分為改進(jìn)后的多尺度特征融合卷積層，應(yīng)用不同大小的卷積核進(jìn)行LR圖像特征提取，獲得更多的高頻有用信息；第2部分為6個串聯(lián)的空洞卷積殘差塊，實(shí)現(xiàn)對特征圖像的訓(xùn)練；第3部分是圖像重建，將學(xué)習(xí)到的圖像高頻信息與初始LR圖像結(jié)合，重建HR圖像.

首先，對LR圖像進(jìn)行多尺度融合卷積特征提取.其次，網(wǎng)絡(luò)結(jié)構(gòu)中間由6個空洞殘差塊組成，每個空洞殘差塊對原始ResNet殘差塊進(jìn)行改進(jìn)，移除了BN(Batch Normalization，BN)層，有助于網(wǎng)絡(luò)的穩(wěn)定性，該殘差塊分別由擴(kuò)張率為1、2、3的殘差單元串聯(lián)組成， 經(jīng)過一個空洞殘差塊之后，每個像素的感受野為13×13，由于使用了不同的擴(kuò)張率，可以避免單一擴(kuò)張率帶來的“網(wǎng)格”化現(xiàn)象導(dǎo)致圖像信息不連續(xù)的問題.最后，將殘差塊輸出的特征圖像與一個3×3的卷積核進(jìn)行卷積，得到一個與輸入圖像大小相同的高頻殘差圖像，與輸入圖像殘差融合，重建HR圖像.

圖3 本文網(wǎng)絡(luò)結(jié)構(gòu)

2.1 多尺度融合特征提取

不同于SRCNN網(wǎng)絡(luò)的初始插值操作，而是直接將從LR圖像進(jìn)行子塊特征提取.特征融合方式分為相加(add)和拼接(concat)兩種，因?yàn)楹笳咴诓煌卣魍ǖ乐芯哂休^好的靈活性，所以本文選擇拼接方式.在網(wǎng)絡(luò)初始階段應(yīng)用3個不同大小的卷積核結(jié)合跳躍連接構(gòu)建一種多尺度融合結(jié)構(gòu)(如圖4所示)，實(shí)現(xiàn)對輸入圖像的特征提取，從而獲取更多的原始圖像邊緣輪廓和細(xì)節(jié)特征.

圖4 多尺度特征提取模塊

第1個通道為56個1×1大小的卷積核，第2通道和第3通道分別應(yīng)用28個5×5和3×3大小的卷積核進(jìn)行特征提取，具體計(jì)算公式為：

F1j(Y)=W1j*ILR+B1j，

(3)

其中：F1j(Y)表示第j通道卷積層輸出的特征圖，j=1,2,3;W1j表示第j通道權(quán)重; * 表示卷積操作；B1j表示第j通道偏置項(xiàng).

將第2通道與第3通道卷積特征信息通過拼接操作，并與第1通道特征數(shù)據(jù)進(jìn)行跳躍連接，具體公式如下：

F23(Y)=
F12(Y)+F13(Y)，

(4)

F1(Y)=
W14*(F12(Y)+F13(Y))+B1，

(5)

其中:F23(Y)表示第2通道和第3通道連接后的特征圖;F1(Y)表示融合后的特征圖;W14表示融合層的權(quán)重;B1表示該層的偏置項(xiàng).

2.2 空洞殘差模塊

整個特征訓(xùn)練過程由6個空洞殘差卷積塊完成，每個殘差塊由擴(kuò)張率分別為1、2、3的卷積核且大小為3×3的卷積層串聯(lián)而成.擴(kuò)張系數(shù)為1時與普通卷積相同，擴(kuò)張系數(shù)為2和3時，表示相鄰卷積核的權(quán)值之間分別有1個和2個“補(bǔ)0”像素值，本文設(shè)計(jì)的空洞殘差塊如圖5所示.

圖5 本文空洞殘差卷積塊

2.3 圖像重建

HR圖像包含高頻信息和低頻信息，而低頻信息均存在于LR圖像和HR圖像中，所以只需要預(yù)測圖像的高頻信息，即HR圖像與LR圖像的殘差圖像，本文圖像創(chuàng)建的損失函數(shù)表示為：

(6)

卷積操作中使用的函數(shù)為帶參數(shù)的PReLU[11],能夠取到負(fù)值，可以避免ReLU函數(shù)中出現(xiàn)梯度為0的缺點(diǎn)，從而提高網(wǎng)絡(luò)訓(xùn)練的精度，PReLU激活函數(shù)表達(dá)式為：

(7)

其中:xi表示PReLU函數(shù)的輸入;f(xi)表示PReLU函數(shù)的輸出;λ為參數(shù).

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的硬件平臺處理器為Intel(R) Core(TM)i7-1065G7，顯卡為11G GTX1080Ti，內(nèi)存為32 G，GPU為NVIDIA Titan CUDA .軟件平臺為Windows10操作系統(tǒng)、Python 3.7.0，深度學(xué)習(xí)框架為Pytorch 1.2.在學(xué)習(xí)率設(shè)置上，本文采用學(xué)習(xí)率衰減的方法防止訓(xùn)練時間過長.

3.2 實(shí)驗(yàn)數(shù)據(jù)

本文借鑒VDSR網(wǎng)路，超分辨率輸入圖像大小為56×56，在訓(xùn)練放大4倍后，與之對應(yīng)的HR圖像大小為224×224.訓(xùn)練集采用總量為800張圖像的DIV2K數(shù)據(jù)集，在每一張圖片上連續(xù)截取56×56的圖像作為輸入.該數(shù)據(jù)集圖像的細(xì)節(jié)部分清晰，包括高分辨率的原始圖像和對應(yīng)的縮放尺度為2、3、4和8的圖像，該操作使得數(shù)據(jù)擴(kuò)充數(shù)倍，可以有效避免過擬合，本文優(yōu)化算法采用 Adam來優(yōu)化損失函數(shù), 學(xué)習(xí)率設(shè)置為 10-4, batchsize設(shè)置為 16, 訓(xùn)練迭代次數(shù)設(shè)置為 20 次.

3.3 實(shí)驗(yàn)結(jié)果分析

使用3個標(biāo)準(zhǔn)測試集Set5、Set14和BSD100進(jìn)行定量和定性比較.用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似比(Structural Similarity Index，SSIM)衡量算法的定量結(jié)果[12].為了驗(yàn)證本文算法的有效性，當(dāng)尺度因子為×2倍、×3倍和×4倍時與雙三次插值(Bicubic)、FSRCNN、VDSR、ResNet18算法進(jìn)行比較，結(jié)果如表1所列.

由表1可知，通過客觀評價標(biāo)準(zhǔn)對比不同算法，本文算法的重建質(zhì)量優(yōu)于其他幾種算法.相較于VDSR算法，在Set5數(shù)據(jù)集上進(jìn)行測試，當(dāng)放大因子為×2、×3和×4 時,PSNR 值分別提高了0.50 dB、0.28 dB和 0.17 dB；在 Set14測試集上PSNR 值分別提高了 0.47 dB、0.26 dB和0.20 dB；在BSD100測試集上PSNR 值分別提高了0.16 dB、0.12 dB和0.23 dB.在 Set5 測試集上，當(dāng)放大因子為×2、×3和×4 時，SSIM 值分別提高了0.0 022、0.0 101 和 0.0 050；在 Set14 測試集上，SSIM 值分別提高了0.0 024、0.0 184和0.0 194；在BSD100測試集上，SSIM 值分別提高了0.009、0.0 099和0.0 446.

為了分析不同殘差網(wǎng)絡(luò)下模型的特征學(xué)習(xí)能力，在相同的訓(xùn)練集和參數(shù)條件下，采用不同殘差結(jié)構(gòu)進(jìn)行訓(xùn)練.實(shí)驗(yàn)中，兩種方法均采用6個殘差塊在Set14測試集上尺度因子為×3的測試結(jié)果.將本文方法與VDSR方法在不同迭代次數(shù)對應(yīng)的PSNR值對比，結(jié)果如圖6所示.

表1 不同方法的PSNR和SSIM測試結(jié)果(采樣因子=2、3、4)

圖6 Set14測試集上不同方法的PSNR收斂曲線

由圖6可以看出，經(jīng)過40萬次訓(xùn)練后，Set14上本文方法的PSNR值更大，表示重建效果更好，并且收斂曲線在10×104次迭代后波動較小，更趨于穩(wěn)定.

主觀評價標(biāo)準(zhǔn)下當(dāng)尺度因子為×2倍和×3倍時，在Set5和Set14測試集上使用3種經(jīng)典方法和本文方法的重建圖像結(jié)果對比，對比結(jié)果如圖7、圖8所示.

通過圖7、圖8可以看出，本文方法重建后的圖像紋理更清晰，細(xì)節(jié)更豐富，整體視覺效果更好.Bicbuic算法、FSRCNN算法和VDSR算法在特征提取時采用單一尺度，獲得圖像紋理信息較少，網(wǎng)絡(luò)感受野較小，獲得的局部信息過多，導(dǎo)致全局信息的丟失，重建圖像仍然存在邊緣清晰度差的缺點(diǎn).本文算法相比前3種算法在區(qū)分圖像邊緣和改善紋理細(xì)節(jié)中有較好的效果.

4 結(jié)語

本文受FSRCNN和ResNet網(wǎng)絡(luò)啟發(fā)，在 VDSR 的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一種改進(jìn)的空洞殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建算法，為了獲得初始圖像的更多信息，在算法的特征提取階段, 設(shè)計(jì)了多通道多尺度特征提取結(jié)構(gòu)，分別使用不同大小的卷積核，對圖像的不同特征運(yùn)用不同尺寸的卷積操作；在網(wǎng)絡(luò)的非線性映射階段，采用不同擴(kuò)張率的空洞殘差塊，擴(kuò)大網(wǎng)絡(luò)感受野的同時避免單一擴(kuò)張率的“網(wǎng)格”化現(xiàn)象.與3種典型算法相比，本文方法結(jié)果在峰值信噪比、結(jié)構(gòu)相似性指標(biāo)上都有提高，在視覺效果上圖像重建質(zhì)量更好.下一步將研究使用更多高分辨率圖像中的高頻信息和嘗試更多樣的擴(kuò)張系數(shù)及組合，將其應(yīng)用到更多的網(wǎng)絡(luò)框架中，提升圖像重建效果.

圖7 不同算法在Set5測試集上的重建結(jié)果

圖8 不同算法在Set14測試集上的重建結(jié)果