喬昕 魏延

摘? 要： 現(xiàn)存的圖像超分辨率重建算法存在模型訓(xùn)練不穩(wěn)定、參數(shù)量多、模型收斂速度慢等缺點(diǎn)。在生成對(duì)抗網(wǎng)絡(luò)的超分辨率算法（SRGAN）基礎(chǔ)上，將輕量化的密集連接網(wǎng)絡(luò)（DenseNet）作為生成對(duì)抗網(wǎng)絡(luò)的生成器，使用WGan對(duì)判別器進(jìn)行優(yōu)化，利用Wasserstein代替SRGAN的JS散度，使其能夠在網(wǎng)絡(luò)參數(shù)更少、計(jì)算量更小的基礎(chǔ)上實(shí)現(xiàn)更優(yōu)的性能。實(shí)驗(yàn)結(jié)果表明，在四個(gè)公開(kāi)的數(shù)據(jù)集上，所提出的模型比較主流重建模型在圖像重建質(zhì)量的峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）兩個(gè)客觀指標(biāo)和主觀視覺(jué)效果上都有所提高。

關(guān)鍵詞： 圖像重建; 輕量化; 密集連接網(wǎng)絡(luò); 生成對(duì)抗網(wǎng)絡(luò)

中圖分類號(hào)：TP183;TP391.41????????? 文獻(xiàn)標(biāo)識(shí)碼：A???? 文章編號(hào)：1006-8228（2021）01-72-04

Research on the algorithm of image super-resolution reconstruction with improved SRGAN

Qiao Xin， Wei Yan

（Chongqing Normal University College of Computer and Information Science， Chongqing 401331， China）

Abstract： The existing image super-resolution reconstruction algorithms have the disadvantages of model training instability， large parameter stakes and slow model convergence speed. On the basis of the Super-Resolution Generative Adversarial Networks （SRGAN）， the lightweight Densely Connected Convolutional Networks （DenseNet） is used as the generator to generate the GAN， WGan is used to optimize the distinguisher， and the Wasserstein is used instead of JS dispersion of SRGAN， so that it can realize better performance with fewer network parameters and less computation. The experimental results show that， on the four exposed data sets， the proposed model improved the two objective indicators and subjective visual effects of the Peak Signal-to-Noise Ratio （PSNR） and Structural Similarity （SSIM） of image reconstruction quality compared with the mainstream reconstruction models.

Key words： image reconstruction; lightweight; Densely Connected Convolutional Networks; Generative Adversarial Networks

0 引言

現(xiàn)如今，圖像作為一種極其重要的信息載體，在醫(yī)學(xué)、軍民衛(wèi)星圖像和安保視頻檢測(cè)監(jiān)控等應(yīng)用領(lǐng)域中對(duì)其質(zhì)量的要求越來(lái)越嚴(yán)格，但是圖像會(huì)由于氣象環(huán)境和采集設(shè)備的影響，易導(dǎo)致采集的圖像出現(xiàn)質(zhì)量低或者細(xì)節(jié)的紋理信息缺乏等問(wèn)題。圖像超分辨率重建[1]（Super-Resolution，SR）就是將低分辨率圖像重建為對(duì)應(yīng)的高分辨率圖像。如今，圖像超分辨率技術(shù)也逐漸成為計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn)。

最近，隨著深度學(xué)習(xí)的迅猛發(fā)展，深度學(xué)習(xí)模型開(kāi)始被應(yīng)用于圖像重建這一領(lǐng)域。如：Dong等人在2014年成功提出了的一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法模型SRCNN[1]（Super-Resolution using Convolutional Neural Networks）。2016年，又繼續(xù)對(duì)SRCNN進(jìn)行了改進(jìn)，提出FSRCNN[2]（Fast Super-Resolution Convolutional Neural Networks），不需要在網(wǎng)絡(luò)外進(jìn)行放大圖像尺寸，用小卷積代替大卷積，在訓(xùn)練速度和圖像質(zhì)量上均有所提高。同年，有其他學(xué)者提出VDSR[3]（Very Deep Super-Resolution），該模型發(fā)現(xiàn)，隨著增加卷積層數(shù)的提高，重建之后的圖像質(zhì)量也隨之提高。隨之而來(lái)就有學(xué)者提出了如ResNet、DenseNet這些深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，希望以此來(lái)提高超分辨率重建的性能。同時(shí)，又因?yàn)樯蓪?duì)抗網(wǎng)絡(luò)GAN（Generative Adversarial Networks）在圖像生成方面的性能較為優(yōu)越，在隨之到來(lái)的2017年，又有Leding率先在超分辨重建領(lǐng)域中使用了生成對(duì)抗思想，提出一種基于生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建算模型SRGAN[4]（Super-Resolution Generative Adversarial Networks），解決了圖像經(jīng)常丟失高頻細(xì)節(jié)這一缺點(diǎn)。

本文在SRGAN的基礎(chǔ)上進(jìn)行改進(jìn)，將SRGAN的生成器模型改為DenseNet，用WGAN[5]來(lái)構(gòu)造判別器;本文采用深度可分離卷積的思想來(lái)改進(jìn)生成器，減少模型結(jié)構(gòu)的計(jì)算量。

1 相關(guān)工作

1.1 SRGAN

2014年，Goodfellow首次提出了一種新的網(wǎng)絡(luò)結(jié)構(gòu)，即生成對(duì)抗網(wǎng)絡(luò)，這種網(wǎng)絡(luò)結(jié)構(gòu)，顧名思義，通過(guò)對(duì)抗的方法，去產(chǎn)生想要的結(jié)果。它分為生成器和判別器。所謂的對(duì)抗，也就是生成器和判別器之間的對(duì)抗。生成器盡量生成逼真的樣本，判別器則盡可能去判斷生成器生成的樣本是否真實(shí)。GAN在圖像超分辨率重建中應(yīng)用的流程結(jié)構(gòu)如圖1所示。

但是由于傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)處理超分辨重建一般都是處理較小的方法倍數(shù)，而當(dāng)倍數(shù)被放大4倍以上時(shí)，會(huì)導(dǎo)致得到的結(jié)果很容易顯得過(guò)于平滑，從而缺少圖像細(xì)節(jié)上的真實(shí)感。因此，Leding在2017年提出了SRGAN，該模型由生成器和判別器組成。模型中的生成器結(jié)構(gòu)是由殘差塊、跳躍層和卷積層組成。如圖2所示。

1.2 DenseNet

2017年有研究者在CVPR提出了密集連接結(jié)構(gòu)（Dense Block），相比于2016年被提出的ResNet，DneseNet繼承了ResNet模型的抗過(guò)擬合效果并且能夠減輕梯度消失的問(wèn)題（vanishing-gradient），而網(wǎng)絡(luò)的計(jì)算量和參數(shù)量相比于ResNet來(lái)說(shuō)卻是減少了一半。雖然說(shuō)DenseNet是借鑒了ResNet的思想，但是DenseNet卻是一種全新的網(wǎng)絡(luò)結(jié)構(gòu)。其最直觀的區(qū)別就是每個(gè)網(wǎng)絡(luò)模塊之間傳遞參數(shù)的函數(shù)不同。

對(duì)于ResNet，L層輸入是L-1層的輸出再加上對(duì)L-1層輸出的非線性變換，如式⑴：

[xl=Hl（xl-1）+xl-1] ⑴

而對(duì)于DenseNet而言，[[x0，x1，x2...xl-1]]表示0到l-1層的輸出特征圖作通道的合并，就如同Inception網(wǎng)絡(luò)那樣，Resnet是值的相加，通道數(shù)不變。如式⑵：

[xl=Hl（[x0，x1，x2...xl-1]）] ⑵

1.3 深度可分離卷積

深度可分離卷積[7]（Depthwise Separable Convolution）的卷積過(guò)程就是先進(jìn)行深度卷積然后使用1*1的濾波器進(jìn)行點(diǎn)卷積。這樣就可以大大減少參數(shù)的計(jì)算量，從而達(dá)到優(yōu)化網(wǎng)絡(luò)的目的。若正常的卷積神經(jīng)網(wǎng)絡(luò)的輸入特征圖的尺寸大小為[Dk×Dk×M]，其中M為特征圖的數(shù)量，[Dk]為特征圖的尺寸。輸出特征圖尺寸為[DF×DF×N]，其中N為輸出特征特征圖的數(shù)量，[DF]為輸出特征圖的尺寸。這樣計(jì)算出標(biāo)準(zhǔn)卷積的總體計(jì)算量為：

[C1=（Dk×Dk×M）×DF×DF×N] ⑶

經(jīng)過(guò)深度卷積和點(diǎn)卷積兩部分操作之后，總計(jì)算量為：

[C2=DK×DK×M×DF×DF+M×N×DF×DF] ⑷

與標(biāo)準(zhǔn)卷積相比，計(jì)算比例為：

[γ=C2C1=DK×DK×M×DF×DF+M×N×DF×DF（Dk×Dk×M）×DF×DF×N=1N+1D2k????????????????????????????????????????????????????????????????????? ⑸]

1.4 WGAN

傳統(tǒng)GAN是基于JS散度進(jìn)行優(yōu)化的，這種優(yōu)化方法會(huì)導(dǎo)致GAN模型的訓(xùn)練過(guò)程不穩(wěn)定。針對(duì)這一問(wèn)題，本文使用一種基于Wasserstein距離[6]優(yōu)化判別器的GAN（WGAN），WGAN可以使用wasserstein距離衡量出真實(shí)圖片和生成圖片之間的距離，使WGAN在訓(xùn)練過(guò)程中效果更穩(wěn)定。Wasserstein距離又叫Earth-Mover（EM）距離，公式如下：

[WPr，Pg=infγ～∏Pr，PgEx，y～γ[||x-y||]] ⑹

其中[Pr]是樣本分布，[Pg]是生成器生成分布，[∏（Pr，Pg）]是[Pr]和[Pg]所有可能的分布的集合;x是真實(shí)數(shù)據(jù)，y是生成的數(shù)據(jù)，x和y都能從分布[γ]中采樣得到。

2 本文網(wǎng)絡(luò)模型

2.1 生成器

本文模型的生成器采用的是DenseNet，其結(jié)構(gòu)為DenseNet-121結(jié)構(gòu)，同時(shí)，為了進(jìn)一步減少計(jì)算量，采用深度可分離卷積的思想，將Dense Block中的3*3的卷積替換為1*3和3*1的卷積。

2.2 判別器

SRGAN模型中的判別器采用的是：將Sigmoid作為其損失函數(shù)，但是因?yàn)镾igmoid一般用于處理二分類問(wèn)題，而這里的損失函數(shù)的作用應(yīng)該是用來(lái)評(píng)價(jià)生成器生成的高分辨圖像具體的情況，不只是單獨(dú)的分類。所以本模型的判別器將采用WGAN的思想，將SRGAN模型中判別器的最后一層的Sigmoid刪除，采用Wasserstein距離最小化損失函數(shù)。本文模型的判別器結(jié)構(gòu)如圖3所示。

2.3 損失函數(shù)

Wasserstein距離是為所有可能的聯(lián)合分布的集合[∏（Pr，Pg）]中期望值x和y的距離期望值的下限值，與JS散度相比較，無(wú)論樣本分布和生成分布有沒(méi)有重疊部分，Wasserstein距離都能夠很好地反映出這兩種樣本的相似性。但是由于在公式⑹中的下確界無(wú)法求解，于是通過(guò)Lipschitz連續(xù)將Wasserstein距離變換為：

[W（Pr，Pg）≈maxθ：||fθ||L≤1Ex～pr[fθ（x）]-Ex～pg[fθ（x）]] ⑺

由于在WGAN中，Wasserstein已經(jīng)由原來(lái)的二分類任務(wù)，轉(zhuǎn)換成了回歸任務(wù)，因此Wasserstein距離的求解已經(jīng)轉(zhuǎn)變?yōu)槭故舰巳〉米畲笾?，也就是取[fθL=1]時(shí)，L表示真實(shí)分布和樣本分布之間的Wasserstein距離。

[L=Ex～pr[fθ（x）]-Ex～pg[fθ（x）]] ⑻

進(jìn)而分別可以得到生成器和判別器的損失函數(shù)，如公式⑼、公式⑽：

[L（G）=-Ex～pg[fθ（x）]] ⑼

[L（D）=Ex～pr[fθ（x）]-Ex～pg[fθ（x）]] ⑽

本文模型的損失函數(shù)方法，由內(nèi)容損失和對(duì)抗損失的加權(quán)和組成。其公式定義為：

[lSR=lSRX+10-3lSRGen] ⑾

其中內(nèi)容損失中，基于像素的MSE損失被定義為：

[lSRMSE=1r2WHx=1rWy=1rH（IHRx，y-GθG（ILR）x，y）2] ⑿

生成對(duì)抗損失，就是為了生成讓判別器識(shí)別不了的圖像，對(duì)抗損失的公式定義為：

[lSRGen=n=1N-logDθD（GθG（ILR））] ⒀

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文模型的實(shí)驗(yàn)所使用的實(shí)驗(yàn)環(huán)境：硬件環(huán)境配置是顯卡GTX1080Ti，處理器為i5-9600K，運(yùn)行內(nèi)存32G。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本文選用了DIV2K的800個(gè)高清圖像作為訓(xùn)練數(shù)據(jù)，測(cè)試數(shù)據(jù)采用了Set5，Set14，BSD100和Urban100四個(gè)主流數(shù)據(jù)集。訓(xùn)練時(shí)所需要的低分辨率圖像是由DIV2K數(shù)據(jù)集中的高分辨圖像進(jìn)行雙三次插值的四倍降質(zhì)處理得到。

3.3 實(shí)驗(yàn)參數(shù)

本文模型的訓(xùn)練過(guò)程中將Batch_size設(shè)置為16;迭代次數(shù)為5000次;每迭代500次，就保存一次模型訓(xùn)練結(jié)果，同時(shí)學(xué)習(xí)率就衰減一半;初始化學(xué)習(xí)率為0.0001。

3.4 實(shí)驗(yàn)結(jié)果與評(píng)價(jià)

3.4.1 客觀量化評(píng)價(jià)

本文在四個(gè)公開(kāi)數(shù)據(jù)集上測(cè)試了Bicubic、SRCNN、VDSR、FSRCNN、SRGAN以及本文的方法。分別計(jì)算在不同數(shù)據(jù)集上采用不同算法進(jìn)行上采樣4倍時(shí)峰值信噪比（Peak Singal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similrity index，SSIM）值，結(jié)果表1所示。

實(shí)驗(yàn)結(jié)果表明，本文提出的算法模型相比于幾種用于測(cè)試的主流圖像重建模型，其PSNR和SSIM值均有所提升。

3.4.2 主觀評(píng)價(jià)

本文在Set5數(shù)據(jù)集中選取一張嬰兒高分辨率圖像，為了更好地從主觀上區(qū)分出本文算法模型和其他測(cè)試算法模型的優(yōu)劣，本文將選取的高分辨率圖像的嬰兒右眼部分進(jìn)行放大對(duì)比，如圖4所示。

從圖4不難發(fā)現(xiàn)，本文算法不僅從整體的清晰程度，還是眉毛處紋理細(xì)節(jié)特征，都比其他算法模型更接近于原始數(shù)據(jù)集中的高分辨率圖像。

4 結(jié)束語(yǔ)

在之前的圖像超分辨率重建的方法中，基于深度學(xué)習(xí)的重建方法又要明顯優(yōu)于其他方法。但是深度學(xué)習(xí)方法會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加，出現(xiàn)訓(xùn)練網(wǎng)絡(luò)模型的過(guò)程不穩(wěn)定、梯度消失、參數(shù)量和計(jì)算量大等缺點(diǎn)。

本文在原有SRGAN模型的基礎(chǔ)上將DenseNet和WGAN都結(jié)合到SRGAN模型中去，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，加快模型收斂。同時(shí)，引入深度可分離卷積思想對(duì)生成器進(jìn)行輕量化，減少生成器的參數(shù)量和計(jì)算量。實(shí)驗(yàn)的結(jié)果表明，本文提出的算法在四個(gè)圖像超分辨率領(lǐng)域的公開(kāi)數(shù)據(jù)集上得到的評(píng)價(jià)指標(biāo)結(jié)果和主觀視覺(jué)效果，相比于其他重建方法均有所提高。

參考文獻(xiàn)（References）：

[1] Dong C，Chen C L，He K，et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2016.38（2）：295-307

[2] Dong C， Chen C L， Tang X. Accelerating the Super-Resolution Convolutional Neural Network[C]//European Conference on Computer Vision. Springer，Cham，2016：391-407

[3] Kim J， Kwon Lee J， Mu Lee K. Accurate image super-resolution using very deepconvolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2016：1646-1654

[4] Ledig Christian， Theis Lucas， Huszar Ferenc， et al. Photo-realistic single image super-resolution using a generative adversarial network[J].ResearchGate，2016：105-114

[5] Arjovsky， Martin， Chintala， Soumith， Bottou， Léon.Wasserstein GAN [J]. Computer Vision and Pattern Recognition，2017.12.

[6] 曾慶亮，南方哲，尚迪雅，孫華.基于ResNeXt和WGAN網(wǎng)絡(luò)的單圖像超分辨率重建[J].計(jì)算機(jī)應(yīng)用研究，2020.8：1-5

[7] 袁哲明，袁鴻杰，言雨璇，劉雙清，譚泗橋.輕量化深度學(xué)習(xí)模

型的田間昆蟲(chóng)自動(dòng)識(shí)別與分類算法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2020.8：1-12

收稿日期：2020-08-21

作者簡(jiǎn)介：?jiǎn)剃浚?996-），男，江蘇連云港人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺(jué)。

通訊作者：魏延（1970-），男，四川瀘縣人，博士研究生，教授，主要研究方向：機(jī)器學(xué)習(xí)，云計(jì)算等。