陳富成 陳華華

摘 要：針對運動圖像盲去模糊問題，基于生成對抗網(wǎng)絡(luò)，提出利用一種端對端方式恢復(fù)模糊圖像算法。運用生成對抗神經(jīng)網(wǎng)絡(luò)方法對運動模糊圖像直接復(fù)原，跳過估計模糊核過程，增加感知損失作為損失項，使圖片內(nèi)容和全局結(jié)構(gòu)接近。此外，增加結(jié)構(gòu)相似性損失函數(shù)作為約束項，進一步提升生成圖片與清晰圖片的相似性。實驗結(jié)果表明，新算法可有效去除運動圖像模糊。與其它算法相比，所提算法獲得的圖像更加清晰。

關(guān)鍵詞：生成對抗網(wǎng)絡(luò);去運動模糊;感知損失;結(jié)構(gòu)相似性損失

DOI：10. 11907/rjdk. 182666 開放科學(xué)（資源服務(wù)）標識碼（OSID）：

中圖分類號：TP317.4 文獻標識碼：A 文章編號：1672-7800（2019）008-0208-04

Image Blind Motion Deblur Algorithm Based on Generative Adversarial Network

CHEN Fu-cheng，CHEN Hua-hua

（School of Communication Engineering， Hangzhou Dianzi University， Hangzhou 310018，China）

Abstract： Non-uniform blind deblurring of motion scenes has been a challenging problem in the field of image processing. Aiming at the blind deblurring problem of moving images， we propose a neural network based on conditional generation confrontation to recover the motion blur algorithm caused by motion in an end-to-end manner. The method of generative adversarial network is used to directly recover the motion blurred image， and the process of estimating the blur kernel is skipped. Increasing the perceptual loss as a loss term makes the content of the picture close to the global structure. In addition， the structural similarity loss function is added as a constraint term to further constrain and enhance the similarity between the generated image and the clear picture. The experimental results verify that the proposed new algorithm can effectively remove the blur of moving images. Compared with other algorithms， the proposed algorithm can obtain clearer images.

Key Words： generative adversarial network; motion deblur; perceptual loss; structural similarity loss

作者簡介：陳富成（1993-），男，杭州電子科技大學(xué)通信工程學(xué)院碩士研究生，研究方向為圖像處理;陳華華（1976-），杭州電子科技大學(xué)通信工程學(xué)院副教授，研究方向為圖像處理、計算機視覺、模式識別。本文通訊作者：陳華華。

0 引言

在醫(yī)學(xué)成像[1-2]、交通安全[3-4]、攝影學(xué)[5-6]、目標識別與追蹤[7-8]、天文探測[9-10]等領(lǐng)域，獲得一幅清晰圖像尤為重要。但在圖像成像過程中，拍攝設(shè)備與成像物體之間很難保持相對靜止狀態(tài)，會造成圖像模糊。運動圖像的模糊過程可看作是清晰圖像和一個二維線性函數(shù)卷積運算后，受到加性噪聲污染得到的。該線性函數(shù)稱為點擴散函數(shù)[11]或卷積核，包含圖像的模糊信息。圖像的盲去模糊指在模糊方式未知（即模糊核未知）的情況下，僅依靠模糊圖像本身信息還原出原始清晰圖像。

針對圖像盲去模糊問題，文獻[12]基于自然圖像梯度服從重尾效應(yīng)的統(tǒng)計規(guī)律，推演出模糊核;文獻[13]根據(jù)模糊圖像的突出邊緣與低秩先驗，為模糊核估計提供可靠的邊緣信息，低秩先驗為中間圖像提供數(shù)據(jù)可靠的先驗。但這些方法對模糊核的估計仍然不準確，尤其是在運動遮擋或不連續(xù)情況下，這種不準確的核估計會導(dǎo)致振鈴效應(yīng)。

傳統(tǒng)方法在解決函數(shù)逼近問題時存在不足，導(dǎo)致圖像去模糊效果不理想。大數(shù)據(jù)時代，深度學(xué)習(xí)得到了迅猛發(fā)展，其在圖像盲去運動模糊中的應(yīng)用越來越廣泛。文獻[14]提出了一種準確估計模糊核算法：首先訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)，把模糊圖像恢復(fù)成中間圖像，然后結(jié)合模糊圖像與中間圖像準確估計單個全局模糊核;文獻[15]提出一種連續(xù)去模糊方法，通過似然項和平滑先驗優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)得到模糊核。以上方法都需要結(jié)合傳統(tǒng)的優(yōu)化方法進行，所以需要精確的核估計步驟;文獻[16]采用條件對抗網(wǎng)絡(luò)，以端到端方式直接生成清晰圖像，其在損失函數(shù)中加入感知損失以提高生成圖像與輸入圖像在內(nèi)容和全局結(jié)構(gòu)上的相似性。

理想情況下，該輸出目標應(yīng)該與輸入樣本相似，但是生成對抗網(wǎng)絡(luò)[17]并不會限制生成器輸出，這就造成很多時候生成器的輸出不穩(wěn)定。本文在文獻[16]的基礎(chǔ)上引入結(jié)構(gòu)相似性作為生成器約束項，以限制生成器輸出。將訓(xùn)練好的模型在幾個不同的運動模糊場景中測試，結(jié)果表明該模型能高效恢復(fù)模糊圖像。

1 盲去運動模糊模型

生成對抗網(wǎng)絡(luò)模型基本框架如圖1所示，將由運動造成的模糊圖像B輸入到生成器G得到生成圖像G（B），生成圖像G（B）與清晰圖像S一同輸入判別器D中，分別將其映射為一個判別器，以判別為真的概率值。生成對抗網(wǎng)絡(luò)是一個互相博弈的過程，生成器依據(jù)判別器的判別結(jié)果進行優(yōu)化，而判別器則努力去判別清晰圖像與生成圖像，直到判別器無法區(qū)分清晰圖像與生成圖像為止，此時生成器的去模糊效果達到最好。

圖1 生成對抗網(wǎng)絡(luò)GAN的基本模型

本文在生成對抗網(wǎng)絡(luò)的圖像盲去運動模糊模型中，訓(xùn)練一個CNN作為生成器G， 判別器由卷積層、全連接層和激活層構(gòu)成，對抗網(wǎng)絡(luò)的目標函數(shù)為：

式（1）中，[S～psharp（S）]表示清晰圖像S取自真實清晰圖像集，[B～pblurry（B）]表示模糊圖像，B取自模糊圖像集，E表示期望，D表示判別器對輸入圖像為真的概率。該損失函數(shù)存在判別器越好生成器梯度消失越嚴重的問題，故采用WGAN[18]方法，將損失函數(shù)改為：

[l=n=1N-DθD（GθD（IB））] （2）

為提高生成圖像、輸入圖像內(nèi)容與全局結(jié)構(gòu)的相似性，引入感知損失函數(shù)[19]。為限制生成器輸出，引入結(jié)構(gòu)相似性函數(shù)作為生成器G的約束項。

1.1 總損失函數(shù)

總損失函數(shù)由對抗損失、感知損失、結(jié)構(gòu)相似性損失組合而成。

[L=lGAN+λ？lX+κ？LSSIM（P）]? （3）

1.2 感知損失函數(shù)

理論上生成圖像I與清晰圖像S在內(nèi)容及全局結(jié)構(gòu)上的相似性應(yīng)盡可能接近，故以感知損失函數(shù)表示生成圖像I與清晰圖像S之間的差異。

[lX=1Wi，jHi，jx=1Wi，jy=1Hi，j（φi，j（S）x，y-φi，j（I）x，y）2]? （4）

式（4）中，[φi，j]是在VGG19[20]網(wǎng)絡(luò)下第i層最大池化之前通過第j層卷積層獲得的特征映射，[Wi，j]和[Hi，j]是特征映射的寬度和高度。

1.3 結(jié)構(gòu)相似性（SSIM）損失函數(shù)

原始GAN在生成圖像時是沒有約束的，故生成器很容易失去訓(xùn)練方向，導(dǎo)致訓(xùn)練不穩(wěn)定、梯度消失和模式崩潰問題，故引入圖像結(jié)構(gòu)相似性損失函數(shù)[21]作為約束項，約束生成器的訓(xùn)練。結(jié)構(gòu)相似性定義為：

[SSIM（p）=2μxμy+c1μx2+μy2+c1？2σxy+c2σ2x+σ2y+c2]? （5）

式（5）中，[μx]、[μy]是圖像塊像素的平均值，[σx]、[σy]是圖像像素值的標準差，[σxy]是兩個圖像像素的協(xié)方差，[c1]、[c2]為常數(shù)。

SSIM越大越好，所以把損失函數(shù)改寫成：

[LSSIM（P）=1Np∈P1-SSIM（P）] （6）

即求[LSSIM]的最小值。但是這樣無法解決圖像像素的邊界問題，所以重寫損失函數(shù)如下：

[LSSIM（P）=1-SSIM（p）] （7）

[p]表示像素塊的中間像素值。

2 網(wǎng)絡(luò)模型

2.1 生成器網(wǎng)絡(luò)

生成器網(wǎng)絡(luò)模型如圖2所示。生成器網(wǎng)絡(luò)共由14塊組成，其中每一塊里面包含了卷積層、Instance歸一化層、Relu激活函數(shù)層。在每個殘差塊的第一個卷積層后面添加概率為0.5的Dropout正則化。第一塊卷積層為3通道，卷積核大小為7×7，步長為1。第二塊與第三塊的卷積核大小為3×3，步長為2，補零寬度為1。后面接入9個卷積核大小為3×3、步長為2、padding為2的殘差塊。最后是兩個卷積核為3×3、步長為2、padding為1、output_padding為1的反卷積塊。第一層卷積核大小為4×4×3，步長為2，共有128個卷積核生成128張輸出;第二層卷積核大小為3×3×128，卷積步長為2，共有512個卷積核生成512張輸出;第三層卷積核大小為3×3×512，卷積步長為2，共有1 024個卷積核生成1 024張輸出;接著連接一個1 024維輸出的全連接層，再連接一個一維的全連接層和sigmoid函數(shù)得到輸出。此外，引入全局跳躍連接使生成器可從模糊圖像學(xué)習(xí)到殘差校正。

2.2 判別器網(wǎng)絡(luò)

判別器是在生成器訓(xùn)練完畢后對生成器生成的圖像判定為真的概率。當概率大于0.5時，將輸入圖像判為清晰圖像，反之將其判定為生成圖像。判別器網(wǎng)絡(luò)前面由4個卷積塊組成，其中每塊包含卷積塊、Instance歸一化層和LeakyReLU激活層。第一層卷積核大小為4×4×3，步長為2，共有128個卷積核生成128張輸出;第二層卷積核大小為3×3×128，卷積步長為2，共有512個卷積核生成512張輸出;第三層卷積核大小為3×3×512，卷積步長為2，共有1 024個卷積核生成1 024張輸出;接著連接一個1 024維輸出的全連接層，再連接一個一維全連接層和sigmoid得到輸出。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

該模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。將模糊圖像B作為生成器輸入，并輸出恢復(fù)的模糊圖像G（B）。在生成器訓(xùn)練期間，恢復(fù)圖像G（B）和清晰圖像S作為輸入并估計它們之間的結(jié)構(gòu)相似性差異與特征差異。完整的損失函數(shù)有對抗損失、結(jié)構(gòu)相似性損失和感知損失。

圖3 算法模型

3 實驗結(jié)果分析

3.1 實驗設(shè)計

本實驗在Linux操作系統(tǒng)下基于PyTorch深度學(xué)習(xí)框架實現(xiàn)。計算機配置參數(shù)如下：3.4GHz的i3處理器臺式機，NVIDA GTX1060顯卡，16GB RAM。模型在隨機剪裁的256×256像素的GoPro數(shù)據(jù)集上訓(xùn)練。因為該模型是全卷積，又是在剪裁的圖像塊上訓(xùn)練，故可應(yīng)用在任意大小的圖像中。將生成器和判別器的學(xué)習(xí)速率設(shè)置為1×10-4效果最好。經(jīng)過150次迭代后，后150次迭代的學(xué)習(xí)速率呈線性衰減。本模型參數(shù)經(jīng)過多次實驗調(diào)整，將[λ]設(shè)置為100，[κ]設(shè)置為0.84，[C1]、[C2]分別設(shè)置為2.55、 6.75。經(jīng)過實驗優(yōu)化，選擇自適應(yīng)矩估計優(yōu)化策略。驗證表明，將batch size設(shè)置為1時效果最好。

3.2 數(shù)據(jù)集預(yù)處理

GoPro數(shù)據(jù)集分訓(xùn)練集和測試集。該數(shù)據(jù)集內(nèi)含有車輛、行人等多個運動場景造成的圖像模糊，所以在運動去模糊領(lǐng)域應(yīng)用較為廣泛。訓(xùn)練集含有2 103張運動模糊圖片和與之相對應(yīng)的清晰圖片，測試集內(nèi)含有1 000張運動模糊圖像和與之對應(yīng)的清晰圖像。將訓(xùn)練集尺寸隨機剪裁為256×256，把模糊圖像與對應(yīng)的清晰圖像相匹配同時作為生成器的輸入。

3.3 實驗結(jié)果

該模型在GoPro數(shù)據(jù)集上訓(xùn)練迭代60萬次后達到收斂狀態(tài)。在不同的運動模糊場景中進行測試，本文模型的輸出結(jié)果與文獻[16]模型的輸出結(jié)果對比見圖4。

圖4 原模糊圖像與各類算法去模糊結(jié)果

結(jié)果表明，本文算法模型的去模糊效果比文獻[16]在細節(jié)方面有明顯提升，該模型可解決由拍攝設(shè)備與物體間相對運動造成的模糊，而不僅僅是人為的模糊。表1列出了幾種算法比較，可以看出，平均PSNR與SSIM表現(xiàn)得更為突出。

表1 GoPro測試集下的平均值

實驗結(jié)果表明，本文模型對運動模糊圖像有較好的去模糊效果，但是圖像細節(jié)部分依然存在模糊現(xiàn)象。由于圖像運動是一個連續(xù)的過程，而圖像的成像是在曝光時間內(nèi)所有影像的集合。所以，硬件設(shè)備越差，成像過程丟失的信息就越多，這對去運動圖像模糊來說是個很大的難題。若要降低圖像成像過程中信息丟失對圖像去模糊的不利影響，可采用高幀數(shù)拍攝設(shè)備。

4 結(jié)語

本文提出的圖像盲去運動模糊算法，針對GAN網(wǎng)絡(luò)模型訓(xùn)練不穩(wěn)定問題，引入結(jié)構(gòu)相似性損失函數(shù)作為約束項進行創(chuàng)新。實驗證明本文方法優(yōu)于其它算法，提高了圖像去模糊效果。但是本文提出的算法訓(xùn)練參數(shù)過多，增加了訓(xùn)練復(fù)雜度，而且在實際處理運動模糊圖像時仍存在不足，下一步將重點研究如何在去模糊效果不降低的情況下減少訓(xùn)練參數(shù)、降低訓(xùn)練復(fù)雜度。因為真實運動模糊圖像一般都具有多種模糊情況，所以要考慮適當增加卷積核的感受野大小。

參考文獻：

[1] MICHAILOVICH O V， ADAM D. A novel approach to the 2-D blind deconvolution problem in medical ultrasound[J]. IEEE Transactions on Medical Imaging， 2005， 24（1）：86-87.

[2] MICHAILOVICH O， TANNENBAUM A. Blind deconvolution of medical ultrasound images： a parametric inverse filtering approach.[J]. IEEE Transactions on Image Processing， 2007， 16（12）：3005-3019.

[3] 隋曄，馬鉞. 交通監(jiān)控系統(tǒng)中運動目標分類和跟蹤研究[J]. 信息與控制， 2003， 32（1）：61-64.

[4] 張敏. 視頻監(jiān)控中運動目標檢測與清晰化方法的研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2010.

[5] YOU Y L， KAVEH M. A regularization approach to joint blur identification and image restoration[M]. Piscataway：IEEE Press， 1996.

[6] SROUBEK F，F(xiàn)LUSSER J. Multichannel blind deconvolution of spatially misaligned images[J]. IEEE Transactions on Image Processing，2005，14（7）：874-875.

[7] WU Y. Blurred target tracking by blur-driven tracker[C]. IEEE International Conference on Computer Vision. IEEE， 2011：1100-1107.

[8] DAI S， YANG M， WU Y， et al. Tracking motion-blurred targets in video[C].IEEE International Conference on Image Processing， 2006：2389-2392.

[9] SCHULZ T J. Multiframe blind deconvolution of astronomical images[J]. Journal of the Optical Society of America A， 1993， 10（5）：1064 - 1073.

[10] HANISCH R J， JACOBY G H. Astronomical data analysis software and systems x[J]. Publications of the Astronomical Society of the Pacific， 2001， 113（784）：772-773.

[11] 郎銳. 數(shù)字圖像處理學(xué)[M]. 北京：希望電子出版社， 2002.

[12] FERGUS R， SINGH B， HERTZMANN A， et al. Removing camera shake from a single photograph [J]. ACM Transactions on Graphics， 2006， 25（3）：787-794.

[13] PAN J， LIU R， SU Z， et al. Motion blur kernel estimation via salient edges and low rank prior[C].IEEE International Conference on Multimedia and Expo， 2014：1-6.

[14] CHAKRABARTI A. A neural approach to blind motion deblurring[C]. European Conference on Computer Vision. Springer， Cham， 2016：221-235.

[15] SUN J， CAO W， XU Z， et al. Learning a convolutional neural network for non-uniform motion blur removal[C].IEEE Conference on Computer Vision and Pattern Recognition，2015：769-777.

[16] KUPYN O，BUDZAN V，MYKHAILYCH M，et al. Deblurgan： blind motion deblurring using conditional adversarial networks[EB/OL]. https：//cloud.tencent.com/developer/article/1096122

[17] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets[C]. International Conference on Neural Information Processing Systems，2014：2672-2680.

[18] ARJOVSKY M， CHINTALA S， BOTTOU L. Wasserstein gan[J].? arXiv preprint，2017（3）：1701-1711 .

[19] JUSTIN JOHNSON，ALEXANDRE ALAHI，LI F F. Perceptual losses for real-time style transfer and super-resolution[EB/OL]. https：//github.com/jcjohnson/fast-neural-style.

[20] KAREN SIMONYAN，ANDREW ZISSERMAN.Very deep convolutional networks for large-scale image recognition[EB/OL]. https：//arxiv.org/abs/1409.1556.

[21] ZHAO H，GALLO O，F(xiàn)ROSIO I，et al. Loss functions for neural networks for image processing[J]. Computer Science，2015（3）：2411-2419.

[22] NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring[DB/OL]. https：//arxiv.ogr/abs/1612.02177.

[23] KIM T H，LEE K M. Segmentation-free dynamic scene deblurring[C]. Columbus：IEEE Conference on Computer Vision and Pattern Recognition， 2014.

（責(zé)任編輯：杜能鋼）