劉 穎，朱 麗，林慶帆

(1.西安郵電大學(xué) 電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；2.西安郵電大學(xué) 陜西省無線通信與信息處理技術(shù)國際合作研究中心，陜西 西安 710121；3.西安郵電大學(xué) 圖像與信息處理研究所，陜西 西安 710121； 4.新加坡Silicon Vision有限公司，新加坡 787820)

圖像超分辨率(super-resolution,SR)是計(jì)算機(jī)視覺和圖像處理的重要技術(shù)之一[1-2]。利用算法將圖像從低分辨率(low resolution,LR)恢復(fù)到高分辨率(high resolution,HR)，不僅可以提高圖像感知質(zhì)量，還有助于改進(jìn)其他計(jì)算機(jī)視覺任務(wù)，已廣泛應(yīng)用在醫(yī)學(xué)成像[3]、監(jiān)控視頻與安全[4]，圖像檢索[5]和圖像分割等[6]方面。近年來，隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展，基于深度學(xué)習(xí)網(wǎng)絡(luò)模型已被應(yīng)用于解決圖像超分辨率問題。如基于卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural networks,CNN)的圖像超分辨率方法[7-8]和利用生成對抗網(wǎng) (generative adversarial networks,GAN)的圖像超分辨率方法[9]?；谏蓪咕W(wǎng)絡(luò)的圖像超分辨率[10](super-resolution generative adversarial network,SRGAN)首次將GAN應(yīng)用到圖像超分辨率重建領(lǐng)域，通過生成器與鑒別器兩者相互迭代訓(xùn)練達(dá)到納什均衡，最后實(shí)現(xiàn)生成器模型能夠重建出以假亂真的高分辨率圖像。但是，深度網(wǎng)絡(luò)訓(xùn)練依賴于大量高質(zhì)量的訓(xùn)練圖像，網(wǎng)絡(luò)在訓(xùn)練過程中易受到圖片數(shù)據(jù)空間多樣性的影響，導(dǎo)致訓(xùn)練網(wǎng)絡(luò)模型性能無法達(dá)到最優(yōu)，而空間變換網(wǎng)絡(luò)[11](spatial transform network,STN)可改善這個問題。STN通過變換輸入圖像，降低訓(xùn)練數(shù)據(jù)受空間上多樣性的影響，從而提高卷積網(wǎng)絡(luò)模型的魯棒性。STN不需要額外的監(jiān)督，允許神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何在輸入圖像上執(zhí)行空間變換，實(shí)現(xiàn)在訓(xùn)練過程中自動選擇感興趣的區(qū)域特征，在對樣本內(nèi)容作微小的移動之后不會改變其原本的輸出。

因此，擬提出一種基于空間變換網(wǎng)絡(luò)的圖像超分辨率重建算法。將空間變換層加入輸入圖像與超分辨率重建層之間，通過空間變換網(wǎng)絡(luò)使神經(jīng)網(wǎng)絡(luò)在空間上轉(zhuǎn)換特征映射，最后利用生成對抗網(wǎng)絡(luò)對空間映射后圖像進(jìn)行超分辨率重建。

1 算法原理

所提算法通過級聯(lián)空間變換網(wǎng)絡(luò)與超分辨率重建網(wǎng)絡(luò)實(shí)現(xiàn)高分辨率圖像的重建。HR圖像通過STN得到預(yù)處理的HR圖像，將預(yù)處理的HR圖像與其下采樣的LR圖像作為輸入圖像，輸入超分辨率網(wǎng)絡(luò)訓(xùn)練得到重建圖像的網(wǎng)絡(luò)模型，然后利用生成對抗網(wǎng)絡(luò)進(jìn)行超分辨率圖像重建。算法網(wǎng)絡(luò)結(jié)構(gòu)概圖如圖1所示。

圖1 算法網(wǎng)絡(luò)結(jié)構(gòu)概圖

1.1 空間變換網(wǎng)絡(luò)

空間變換網(wǎng)絡(luò)允許在網(wǎng)絡(luò)中對數(shù)據(jù)進(jìn)行空間變換操作，該網(wǎng)絡(luò)模塊可以插入到現(xiàn)有的卷積架構(gòu)中，使神經(jīng)網(wǎng)絡(luò)能夠主動地在空間上轉(zhuǎn)換特征映射，在特征映射本身上實(shí)現(xiàn)，而不需要對優(yōu)化過程進(jìn)行額外的訓(xùn)練監(jiān)督或修改?？臻g變換網(wǎng)絡(luò)可以分為本地網(wǎng)絡(luò)、網(wǎng)格生成器和采樣器等3個部分。

本地網(wǎng)絡(luò)floc主要用來回歸變換參數(shù)θij，i,j分別表示圖像中各個像素點(diǎn)的橫縱坐標(biāo)值。特征圖像U為網(wǎng)絡(luò)輸入，經(jīng)過一系列的隱藏網(wǎng)絡(luò)層(全連接或者卷積網(wǎng)，再加一個回歸層)輸出空間變換參數(shù)，變換公式可表示為

θi,j=floc(U)。

(1)

網(wǎng)格生成器依據(jù)本地網(wǎng)絡(luò)預(yù)測的變換參數(shù)構(gòu)建采樣網(wǎng)格，輸入圖像通過網(wǎng)格生成器得到二維仿射變換函數(shù)Tθi,j。假設(shè)特征圖像U的每個像素坐標(biāo)為(xs,ys)，s表示空間變換；目標(biāo)圖片V的每個像素坐標(biāo)為(xt,yt)，t表示輸出目標(biāo)，則(xs,ys)和(xt,yt)的對應(yīng)關(guān)系可表示為

(2)

其中：Aθi,j為仿射關(guān)系；G為輸出目標(biāo)圖片像素點(diǎn)位置。

采樣器利用采樣網(wǎng)格和輸入的特征圖同時作為輸入產(chǎn)生，經(jīng)過變換之后的特征圖結(jié)果，可表示為

(3)

1.2 基于生成對抗網(wǎng)絡(luò)的圖像超分辨率重建

經(jīng)過空間變換網(wǎng)絡(luò)得到處理后的HR圖像，輸入生成對抗網(wǎng)絡(luò)進(jìn)行圖像超分辨率重建。SRGAN在殘差網(wǎng)(residual networks,ResNet)[12]上加入GAN模塊并設(shè)計(jì)新的損失函數(shù)，使得重建后圖像更具真實(shí)感。網(wǎng)絡(luò)中包含1個生成器和1個判別器，生成器模型根據(jù)輸入的低分辨率圖像生成其對應(yīng)的高分辨率圖像，而鑒別器用于判斷圖像屬于重建生成的高分辨率圖還是真實(shí)的高分辨率圖像，兩者相互迭代訓(xùn)練，直到鑒別器無法分辨出輸入的圖像是生成的圖像還是真實(shí)的圖像，則認(rèn)為兩者達(dá)到了納什均衡，最后生成器模型能夠生成出以假亂真的高分辨率圖像。其中，判別器的主體使用視覺幾何組(visual geometry group,VGG)19[13]，ResNet實(shí)現(xiàn)GAN中的生成器，由一連串的殘差塊連接，借鑒亞像素卷積網(wǎng)絡(luò)[14]的思想，在網(wǎng)絡(luò)模型后部加入了亞像素卷積模塊，使得圖片在最后的網(wǎng)絡(luò)層才增加分辨率，保證提升分辨率的同時減少計(jì)算資源消耗。SRGAN網(wǎng)絡(luò)模型如圖2所示。

圖2 SRGAN網(wǎng)絡(luò)模型

訓(xùn)練網(wǎng)絡(luò)使用均方誤差(mean square error,MSE)損失能夠獲得較高的峰值信噪比(peak signal to noise ratio,PSNR)，但是恢復(fù)出來的圖像丟失其高頻細(xì)節(jié)信息，在視覺上缺乏真實(shí)感[15]。而先用VGG提取高級特征表示，再對網(wǎng)絡(luò)層特征使用MSE損失，則可以獲取更好的不變性特征。重建后的SRGAN的感知損失lSR包括內(nèi)容損失lX和對抗損失lGen，可表示為

lSR=lX+10-3lGen，

(4)

式中，lX用于衡量圖像像素空間相似度。感知損失優(yōu)化超分辨率模型的特征空間，利用CNN提取的特征，通過比較生成圖片和目標(biāo)圖片經(jīng)過CNN后的特征差別，使得生成的圖片和目標(biāo)圖片在語義上更加相似。結(jié)合lMSE損失函數(shù)和衡量圖像特征空間相似度的感知損失函數(shù)lVGG，使網(wǎng)絡(luò)在注重圖像像素信息重建的同時，兼顧圖像的特征信息。lMSE函數(shù)計(jì)算逐個像素空間的最小均方誤差，衡量重建圖像ISR和參考圖像IHR特征表示的歐氏距離，具體可表示為

(5)

式中：IHR表示原始的高分辨率圖像；ILR表示經(jīng)過下采樣的低分辨率圖像；W、H分別表示圖像的寬和高；r為下采樣因子；GθG為生成器，θG={W1,L;H1,L}，W1,L和H1,L分別表示第L層神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置；x和y分別表示不同圖像中各個像素點(diǎn)的橫縱坐標(biāo)值。

此外，除使用上述基于逐個像素空間的最小均方誤差以外，還使用了基于特征空間的最小均方誤差。通過計(jì)算重建圖像特征圖與HR圖像特征圖之間的歐氏距離得到其VGG損失，計(jì)算表達(dá)式為

(6)

式中：Wp,q和Hp,q為VGG網(wǎng)絡(luò)內(nèi)第q層卷積的第p個最大池化層各個特征圖的尺寸；φp,q表示從VGG19網(wǎng)絡(luò)的q層卷積的第p個最大池化層之前獲取的特征圖。對抗損失lGen的計(jì)算表達(dá)式為

(7)

式中：DθD為判別器；DθD[GθG(ILR)]是重建后圖像被判別器判別為真實(shí)圖像的概率，GθG(ILR)為生成器輸出的重建后圖像。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)環(huán)境為Ubuntu 16.04、python 3.7.3、PyTorch 1.0.1.post 2和opencv-python 4.1.0.25，CPU為Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10 GHz，顯卡型號為NVIDIA TITAN Xp，顯卡內(nèi)存為12 G。

2.2 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)集采用MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫，圖片大小為28×28的灰度圖像，包含60 000張訓(xùn)練圖像和10 000張測試圖像。將原始的HR圖像進(jìn)行4倍降采樣得到原始HR圖像1/4大小的LR圖像，再通過神經(jīng)網(wǎng)絡(luò)的最近鄰域插值將其提升到原始分辨率得到生成訓(xùn)練及測試的LR圖像，其目的是為了有足夠大的空間支持卷積操作，其中神經(jīng)網(wǎng)絡(luò)插值沒有帶來任何新的信息。

對于每個LR圖像，減去其均值并對其幅值進(jìn)行歸一化，在訓(xùn)練中加入加性高斯噪聲(σ=0.05)作為默認(rèn)數(shù)據(jù)增強(qiáng)。雖然HR圖像在測試時是不可用的，但可以作為訓(xùn)練的輔助信息獲得增強(qiáng)的特征。將HR圖像與原始LR圖像相混合，作為預(yù)訓(xùn)練SR的數(shù)據(jù)增強(qiáng)方法。

2.3 實(shí)驗(yàn)評價(jià)指標(biāo)

采用PSNR和結(jié)構(gòu)相似性(structural similarity,SSIM)兩種客觀評價(jià)指標(biāo)[16]對實(shí)驗(yàn)圖像進(jìn)行精度評定。PSNR基于兩張圖像的均方誤差計(jì)算相似度，PSNR的值越接近1，則說明超分辨率的圖像失真越少，效果越好。SSIM通過結(jié)合圖像的結(jié)構(gòu)信息、亮度信息和對比度信息估計(jì)原始圖像和失真圖像之間的相似度。SSIM值越大，效果越好。

將重建后高分辨率圖像進(jìn)行分類測試，通過網(wǎng)絡(luò)的前1個分類正確率Top1(%)對重建圖像進(jìn)行質(zhì)量評價(jià)。整個網(wǎng)絡(luò)作為預(yù)訓(xùn)練網(wǎng)絡(luò)模塊，把生成器重建后的HR圖像輸入包括2個全連接層和1個Softmax分類器的全連接識別子網(wǎng)[15]，通過分類測試精度驗(yàn)證重建圖像質(zhì)量。

2.4 實(shí)驗(yàn)結(jié)果

SRGAN以ResNet為基準(zhǔn)網(wǎng)絡(luò)加入對抗網(wǎng)絡(luò)模型進(jìn)行生成對抗訓(xùn)練，SRGAN與基于殘差網(wǎng)絡(luò)的圖像超分辨率(super-resolution residual networks,SRResNet)相比，PSNR和SSIM值雖然有所缺失，但視覺感官均有所提高。分別對比基于空間變換網(wǎng)絡(luò)的圖像超分辨率重建(image super-resolution reconstruction using spatial transformation network,SRGAN_STN)和基于殘差網(wǎng)絡(luò)的圖像超分辨率重建(image super-resolution reconstruction using residual network,SRResNet_STN)與SRGAN和 SRResNet的精度，結(jié)果如表1所示。不同算法的效果對比如圖3所示。

表1 不同算法在MNIST數(shù)據(jù)集的精度對比

圖3 不同算法在MNIST數(shù)據(jù)集的實(shí)驗(yàn)效果對比

由表1和圖3結(jié)果可以看出，重建后的算法在PSNR和SSIM評價(jià)指標(biāo)上比SRGAN和 SRResNet平均提高約2.8 dB和0.04，分類精確度提高約4%，且重建后圖像有較好的視覺效果，更具有辨識性。

3 結(jié)語

結(jié)合空間變換網(wǎng)絡(luò)與生成對抗網(wǎng)絡(luò)進(jìn)行超分辨率重建，將空間變換網(wǎng)絡(luò)作為前饋網(wǎng)絡(luò)的運(yùn)用，使得超分辨率網(wǎng)絡(luò)模型對變化的輸入具有較強(qiáng)的魯棒性，從而克服空間多樣性對網(wǎng)絡(luò)模型訓(xùn)練的影響，達(dá)到更優(yōu)的性能。實(shí)驗(yàn)結(jié)果表明，基于空間變換網(wǎng)絡(luò)的圖像超分辨率重建算法的評價(jià)指數(shù)均有所提高，且重建后圖像有較好的視覺效果，更具有辨識性。