黃彥寧 李偉紅 崔金凱 龔衛(wèi)國

模糊圖像盲復原用于彌補由于硬件設備缺陷造成的圖像模糊,被廣泛應用于太空探索、人臉識別、視頻監(jiān)控、醫(yī)學影像識別等諸多領域.運動模糊是一種典型的圖像模糊類型,主要是由于相機抖動和被拍攝物體間相對運動造成的.圖像模糊模型一般可由式(1)描述.

其中,x為清晰圖像,*為卷積運算,k為模糊核,n為噪聲,y為模糊圖像.

實際中模糊核k通常是未知的,模糊圖像復原過程是一個嚴重的病態(tài)問題,即盲復原.當一幅圖像中各個區(qū)域被同一個均勻的運動模糊核污染,為均勻運動模糊圖像,如圖1 (a),1 (b)所示.當一幅圖像的不同區(qū)域被不同程度的運動模糊核污染時,則為非均勻運動模糊圖像,如圖1 (c),1 (d)所示.

圖1 均勻運動模糊圖像和非均勻運動模糊圖像及其模糊核示意圖Fig.1 Uniform and non-uniform motion blurry image and their blur kernel diagram

均勻運動模糊圖像復原方法的基本思路是將病態(tài)問題轉(zhuǎn)化為良態(tài)來解決,大致分為兩類,一類是先驗辨識法,即通過人工挖掘圖像和模糊核的先驗知識,估計出精確的模糊核,再采用非盲復原方法復原出清晰圖像.另一類是聯(lián)合辨識法,即估計模糊核的同時復原出清晰圖像.前期我們開展的研究工作主要針對均勻模糊圖像盲復原[1?5],其中文獻[4]采用先驗辨識法,提出根據(jù)圖像的先驗信息在頻域估計出模糊核,并將估計出的模糊核用于均勻運動模糊圖像復原,該方法對模糊核尺寸較小的均勻運動模糊圖像復原效果較好.文獻[5]采用聯(lián)合辨識法,通過對模糊核正則項的約束,得到潛在清晰圖像.該方法可以較好地復原均勻運動模糊圖像,也可用于背景單一、細節(jié)不豐富的非均勻運動模糊圖像.但該方法正則化參數(shù)較多、復原時間較長.對于非均勻運動模糊圖像的復原,人們也展開了針對性的研究工作,其基本方法是將圖像分塊進行模糊核估計,再通過估計出的不同模糊核對不同圖像塊進行復原.不過目前的方法均存在各種局限性,比如對運動模糊核的運動方向、模糊核的種類等有所限制.Shen 等[6]使用一種模糊核映射正則化方法來解決非均勻運動模糊圖像復原問題,該方法考慮了圖像塊之間具有的一致性,從而提高了圖像塊模糊核估計的精度.但是該方法對于圖像細節(jié)恢復效果差,模糊程度的不同也會使算法失效,因此在非均勻模糊圖像復原上仍不能達到較好的效果.近年來,深度學習的快速發(fā)展,使基于卷積神經(jīng)網(wǎng)絡的模糊圖像復原取得較大的進展.Chakrabarti[7]利用卷積神經(jīng)網(wǎng)絡在頻域預測模糊核的傅里葉系數(shù),由此估計出模糊核.再采用傳統(tǒng)非盲復原方法復原圖像.該方法在均勻運動模糊圖像復原上效果較好,但復原時間非常長.Xu 等[8]提出利用卷積神經(jīng)網(wǎng)絡在梯度域提取模糊圖像的邊緣信息,通過邊緣信息補充圖像模糊核的先驗信息,提高模糊核估計的準確性,進而提高復原效果.該方法可以較好地復原均勻運動模糊圖像,但由于非均勻模糊圖像邊緣特征不明顯,在圖像黑暗處,該方法無法提取到圖像邊緣信息,估計出的模糊核不準確,復原效果較差.Xu 等[9]提出端到端的卷積神經(jīng)網(wǎng)絡實現(xiàn)模糊圖像盲復原,該方法的優(yōu)點是不需要估計模糊核,直接輸出潛在清晰圖像,主要用于散焦模糊圖像的復原.Tao 等[10]設計了一個多尺度卷積神經(jīng)網(wǎng)絡(Scale-recurrent network,SRN)用于模糊圖像復原,它可在同一幅模糊圖像的3 個尺度上提取模糊特征.由于卷積神經(jīng)網(wǎng)絡具有強大的自動學習特征的能力,該網(wǎng)絡可以較好地復原非均勻運動模糊圖像,不足的是對模糊圖像中的明顯邊緣復原效果不理想.2014 年,生成對抗網(wǎng)絡(Generative adversarial net,GAN)[11]被提出,它可以令端到端圖像處理網(wǎng)絡生成更加細膩的圖像.吳夢婷等[12]基于GAN 提出了一種雙框架端到端模糊圖像復原方法,該方法可以復原模糊尺度較小的均勻模糊圖像,但該方法只是在模糊圖像復原領域基于GAN 的嘗試,并沒有很好的魯棒性,對非均勻運動模糊圖像的復原效果較差.Kupyn等[13]基于GAN,提出一種端對端的模糊圖像復原方法-DeblurGAN.該方法可以較好地復原出模糊尺度較小的均勻和非均勻運動模糊圖像.但由于設計的卷積神經(jīng)網(wǎng)絡結(jié)構比較單一,使網(wǎng)絡的感受野較小,不能較好地復原模糊尺度較大的非均勻模糊圖像.

從上述分析可見,由于非均勻運動模糊圖像的模糊核不確定、模糊程度不均勻,且邊緣信息損失嚴重,使非均勻運動模糊圖像的復原成為目前極具挑戰(zhàn)的課題.在現(xiàn)有研究方法中,端到端的圖像復原方法雖然方便有效,但是在圖像復原過程中始終是在輸入圖像和輸出圖像之間建立網(wǎng)絡映射,在有限的訓練集下完成對輸入和標簽的未知轉(zhuǎn)換,網(wǎng)絡的特征提取能力和去模糊學習過程局限在了輸入到網(wǎng)絡的這些圖像對中,無法得到更多有助于圖像復原的信息,這種映射通常是不確定的,需要大量經(jīng)驗進行調(diào)參才能將網(wǎng)絡參數(shù)約束到一個較理想的范圍內(nèi),難以保證網(wǎng)絡有方向性地 “學習” 到真正的去模糊功能,這也導致了現(xiàn)有方法魯棒性通常較差,因此不容易在此基礎上取得更大突破.而在傳統(tǒng)方法中,我們可以使用很多數(shù)字圖像處理工具來得到有關于一幅圖像的更多先驗信息,甚至可以在處理圖像的過程中不僅僅局限于空間域,這些處理方法的綜合使用使圖像處理領域日新月異.那么在深度學習領域,我們?nèi)钥梢岳脗鹘y(tǒng)方法的優(yōu)勢來提升圖像復原的效果.圖像的強邊緣是圖像的邊緣中能夠描述圖像輪廓的部分,邊緣包含大量使人們獲得清晰圖像的重要信息,經(jīng)過主觀觀察,對模糊圖像強邊緣的恢復效果實際上直接影響復原圖像的主觀效果.

基于此,本文提出一種基于強邊緣提取的非均勻運動模糊圖像復原網(wǎng)絡,用于非均勻運動模糊圖像復原.其中核心部分是設計的強邊緣提取網(wǎng)絡,它用于提取非均勻運動模糊圖像的強邊緣特征,利用提取到的強邊緣特征圖與對應網(wǎng)絡層的特征圖融合,這些強邊緣特征將作為圖像復原網(wǎng)絡訓練的 “先驗知識” 和約束條件,在圖像復原網(wǎng)絡訓練中約束網(wǎng)絡特征提取和反向傳播優(yōu)化過程,使網(wǎng)絡參數(shù)的解空間縮小到 “去模糊” 范圍內(nèi),最終得到真正用于去模糊的網(wǎng)絡映射參數(shù).結(jié)合卷積神經(jīng)網(wǎng)絡強大的特征自動學習能力,本文的方法能夠加強網(wǎng)絡對不同類型、不同模糊程度的非均勻運動模糊圖像的自適應復原能力.最后,本文在GoPro數(shù)據(jù)集上進行了相應的實驗,驗證了提出方法的有效性.

1 提出的非均勻運動模糊圖像復原網(wǎng)絡

本文提出的非均勻運動模糊圖像復原網(wǎng)絡如圖2 所示,該網(wǎng)絡以GAN 為基礎,由生成網(wǎng)絡和判別網(wǎng)絡組成.

圖2 提出的非均勻運動模糊圖像復原網(wǎng)絡結(jié)構圖Fig.2 Proposed network structure for the non-uniform motion blurry image deblurring

生成網(wǎng)絡包括:模糊特征提取網(wǎng)絡(Features extract net,FEN),用于提高網(wǎng)絡的感受野,使其在較大的感受野下有效提取模糊圖像的模糊特征.強邊緣提取網(wǎng)絡(Strong-edge extraction network,SEEN) 是本文的核心,包括子網(wǎng)絡SEEN-1 和SEEN-2,用于在梯度域濾除模糊圖像細節(jié)信息,提取非均勻運動模糊圖像的強邊緣特征圖.特征融合網(wǎng)絡(Features mix net,FMN),用于融合FEN 提取的特征圖和SEEN 提取的強邊緣特征圖.

判別網(wǎng)絡[13]由4 個基本的卷積層組成,使用LeakyReLU 作為激活函數(shù),通過卷積層不斷降維,最后輸出0 或1 來對輸入的圖像進行判別,判定生成網(wǎng)絡復原的潛在清晰圖像與輸入的真實清晰圖像的接近程度.判別網(wǎng)絡要盡可能準確識別出輸入的圖像是否為生成網(wǎng)絡所生成,從而約束生成網(wǎng)絡的訓練過程,使生成網(wǎng)絡盡可能生成使判別網(wǎng)絡判別結(jié)果接近于真的圖像,通過不斷的對抗訓練,提高生成網(wǎng)絡復原圖像的效果.

1.1 強邊緣提取網(wǎng)絡(SEEN)

圖像強邊緣指圖像中主要組成部分的邊緣輪廓,是獲取清晰圖像的重要信息,非均勻運動模糊圖像中模糊核的多樣性,使圖像的強邊緣被不同方式和程度退化,無法像均勻運動模糊圖像一樣通過構建相同的先驗信息,完成對模糊圖像邊緣的復原,這也是造成非均勻運動模糊圖像難以復原出高質(zhì)量清晰圖像的原因.

圖像梯度是獲得圖像邊緣最有效的方法,但通常情況下,模糊圖像的邊緣細節(jié)信息損失嚴重,通過計算圖像梯度,無法得到明顯的邊緣信息,并且模糊的邊緣細節(jié)會導致梯度圖像產(chǎn)生大量與邊緣信息無關的內(nèi)容.為此,本文提出的圖像強邊緣提取方法,其基本原理為:首先使用雙邊平滑濾波器[14]濾除模糊圖像中的細節(jié)信息,保留圖像的邊緣信息.然后使用L0范數(shù)梯度最小化平滑濾波器[15]增強模糊圖像的邊緣信息[8].圖3 為提取到的模糊圖像的強邊緣實例,圖3 (c)和3 (e)分別是模糊圖像的雙邊濾波圖像及其梯度圖.可以看到它得到了濾除與邊緣無關的細節(jié)后模糊圖像的梯度特征.圖3 (d)和3 (f)分別是模糊圖像的L0濾波圖像及其梯度,可以看到模糊圖像的強邊緣被較好地提取出來.

圖3 模糊圖像強邊緣提取原理示意圖Fig.3 Diagram of strong edge extraction of blurred image

根據(jù)上述基本原理,本文設計了強邊緣提取網(wǎng)絡(SEEN),用于提取非均勻運動模糊圖像強邊緣信息,如圖4 所示.該網(wǎng)絡中SEEN-1 子網(wǎng)絡實現(xiàn)雙邊濾波器的功能,用于提取濾除了細節(jié)信息后的圖像邊緣.SEEN-2 實現(xiàn)L0平滑濾波器的功能,用于增強邊緣信息并得到模糊圖像的強邊緣.SEEN-1 的輸出將做為SEEN-2 的輸入.

圖4 強邊緣提取網(wǎng)絡結(jié)構示意圖Fig.4 Structure diagram of strong edge extraction network

SEEN-1 使用編碼器?解碼器網(wǎng)絡結(jié)構,主要由下卷積、特征提取和上卷積三部分組成.SEEN-2在SEEN-1 的基礎上增加了用于疊加SEEN-1 中對應特征圖的特征融合層,特征融合層一共有三處,分別位于下卷積、特征提取和上卷積部分,如圖4中SEEN-1 和SEEN-2 間使用直線箭頭的連接處所示,它們可以通過權重共享提升SEEN 的訓練效果.

SEEN-1 的卷積層計算如式(2)所示.

其中,inputi為特征圖中的每個像素點,outi為激活函數(shù)的輸出值,通過將負數(shù)軸斜率設置為0.2,避免傳統(tǒng)ReLU 激活函數(shù)容易導致神經(jīng)元梯度為0而無法繼續(xù)訓練的問題.

網(wǎng)絡的最終輸出使用tanh 作為激活函數(shù),如式(4)所示.

其中,inputi為特征圖中的每個像素點,outi為激活函數(shù)的輸出值,使用tanh 作為最后輸出層的激活函數(shù)可以使網(wǎng)絡輸出的圖像具有較好的可視化效果.

SEEN-2 中的卷積層計算方法與SEEN-1 相同,但是在下卷積部分、特征提取部分和上卷積部分會使用特征圖疊加的方式進行權重共享,如圖4 中直線箭頭所示,特征疊加公式如式(5)所示.

其中,outj為SEEN-2 第j層的所有特征圖,outSEEN?1為SEEN-1 中對應層特征圖,concat 為特征層疊加操作.

SEEN-1 和SEEN-2 中對應疊加的特征層的特征圖數(shù)量是相同的.SEEN-1 與SEEN-2 對應疊加的特征層權重共享,在疊加操作之后會使用式(2)和(3)的卷積過程進行特征提取和降維.使用疊加的方式進行特征融合可以提高網(wǎng)絡對邊緣的提取能力[16],同時增強網(wǎng)絡的學習能力.通過卷積神經(jīng)網(wǎng)絡強大的自動特征提取能力,本文設計的強邊緣提取網(wǎng)絡可以對不同模糊程度、不同模糊類型的非均勻模糊圖像的強邊緣特征進行自動分析,自適應、有效地提取模糊圖像的強邊緣.

在模糊圖像輸入SEEN 前,本文對原始模糊圖像進行梯度化預處理,目的是使網(wǎng)絡能夠快速有效地提取模糊圖像的強邊緣,而不用浪費多余的網(wǎng)絡參數(shù)來對模糊圖像進行梯度化處理.由于圖像的梯度計算具有方向性,不同方向的梯度圖像提取的強邊緣僅包含該方向上有用的邊緣信息,如果使用單一方向的梯度提取圖像強邊緣,會損失較多其他方向的邊緣信息,如圖5 (b)所示.因此,本文提出一種可以融合相互垂直方向梯度信息的雙方向融合梯度計算方法,計算公式如式(6)所示.

其中,?yh是圖像的橫向梯度,?yv是圖像的縱向梯度,對每個方向梯度取絕對值,并在每個像素點取兩個方向梯度的最大值得到最終的梯度圖像?y.

圖5 為模糊圖像雙方向融合梯度圖像實例.從圖5 可以看到,圖5(b)中的梯度圖只提取到了縱向邊緣,橫向邊緣全部丟失.圖5(c)中的梯度圖則保留了所有有效的邊緣信息.而且通過梯度化預處理可以消除模糊圖像一些非邊緣細節(jié)信息的干擾,并得到一部分不明顯的邊緣信息,有利于提升強邊緣提取網(wǎng)絡對邊緣的提取效果.

圖5 本文提出的雙方向融合梯度計算方法示意圖Fig.5 Diagram of gradient calculation method of two-directions fusion proposed in this paper

1.2 模糊特征提取網(wǎng)絡(FEN) 和特征融合網(wǎng)絡(FMN)

模糊特征提取網(wǎng)絡(FEN)主要用于在模糊圖像中提取模糊特征從而建立模糊圖像到清晰圖像的網(wǎng)絡映射.殘差模塊(Residual block)是目前最常用的特征提取模塊,其結(jié)構如圖6 (a)所示,它能夠降低網(wǎng)絡復雜度,加速網(wǎng)絡訓練過程,經(jīng)常被用于分類任務中,但是在圖像處理任務中,由于其感受野較小,容易導致特征提取不充分.而另一種常用的特征提取模塊Inception block 則可以通過增加網(wǎng)絡寬度而提高特征提取的多樣性[17].受此啟發(fā),本文設計了一種新的交叉特征提取殘差模塊(Cross residual block),如圖6 (b)所示.該模塊的卷積層設計為大小分別為3 和5 的濾波器,通過這兩個濾波器大小不同的通道分別提取模糊圖像的特征圖,并在特征疊加層進行特征圖疊加和權重交換,將新的特征圖再使用濾波器大小為3 和5 的兩個卷積層通道進行特征提取,最終得到模塊的輸出特征圖,我們設計的交叉特征提取殘差模塊可以保持輸出的特征圖與輸入的特征圖在維度和分辨率上一致.

圖6 改進殘差模塊Fig.6 Improvement of residual block

本文設計的交叉特征提取殘差模塊的主要作用是增大特征提取網(wǎng)絡的感受野,提高網(wǎng)絡的特征提取能力.圖7 是濾波器大小分別為3、5、7 的卷積層感受野示意圖.殘差模塊所使用的濾波器大小為3,如圖7 (a)所示,其感受野較小.在圖像處理任務中,較小的感受野通常會導致模糊圖像特征提取網(wǎng)絡在提取非均勻運動模糊圖像特征時,無法獲取圖像目標像素周圍更多的信息.而圖7 (b)所示的大小為5 的濾波器的感受野,可以明顯看出它獲取到了目標區(qū)域的邊緣信息,因此在濾波器大小為5 的卷積層中,它可以提取到與邊緣更加相關的特征.圖7 (c)所示的是大小為7 的濾波器的感受野,它同樣可以獲取到目標區(qū)域的邊緣信息,但是通過實驗發(fā)現(xiàn),使用濾波器大小為7 的卷積層并不會明顯提高復原效果,反而由于濾波器過大,導致網(wǎng)絡參數(shù)過多,從而使網(wǎng)絡的訓練和測試時間都非常長.因此本文使用濾波器大小為3 和5 的卷積層,設計了交叉特征提取殘差模塊.

圖7 不同大小濾波器的感受野Fig.7 Receptive field of different size filters

特征融合網(wǎng)絡(FMN)主要用于將模糊特征提取網(wǎng)絡和強邊緣提取網(wǎng)絡所提取到的特征圖進行融合,其主要由下卷積部分、融合特征提取部分、上卷積部分和輸出部分組成.特征疊加層也分別位于這幾個部分.下卷積部分將SEEN-2 和FEN 的下卷積對應層特征圖進行疊加,進行融合特征提取前的預處理,使各個子網(wǎng)絡的特征圖成為FMN 的輸入.融合特征提取部分將SEEN-2 和FEN 特征提取部分的對應層疊加,這時各網(wǎng)絡特征圖已經(jīng)過初步處理,疊加后便于融合特征提取.在特征融合提取過程中,強邊緣特征圖將會作為圖像強邊緣位置的權重矩陣對圖像復原網(wǎng)絡的前向傳播過程進行引導,使圖像復原網(wǎng)絡加強對圖像強邊緣位置的特征提取和模糊復原,進而約束網(wǎng)絡在反向傳播過程中的參數(shù)優(yōu)化過程,增強模糊圖像中強邊緣的復原效果,從而提升圖像復原的主觀效果.為使整個網(wǎng)絡能夠更全面地利用模糊特征和強邊緣特征,在上卷積部分再將SEEN-2 和FEN 的對應層特征圖進行疊加,指導上卷積過程,得到可以用于輸出清晰圖像的大量特征圖,最終輸出復原后的清晰圖像.

1.3 損失函數(shù)

本文在訓練強邊緣提取網(wǎng)絡中SEEN-1 和SEEN-2 時,均使用L1損失和TV 正則化損失[8],如式(7),(8)所示.由兩式對圖像中每個像素進行計算并相加作為損失函數(shù)值.

其中,O1(?b) 是SEEN-1 的輸出,O2(?b) 是SEEN-2 的輸出,λ是TV 正則化系數(shù),?LB(y) 是清晰標簽圖像雙邊濾波后的梯度圖像,?L0(y) 是清晰標簽圖像雙邊濾波后的L0濾波圖像的梯度圖像.

當SEEN 訓練完成后,再與FEN 和FMN 一起,在生成對抗網(wǎng)絡框架下進行訓練,生成對抗網(wǎng)絡損失函數(shù)采用內(nèi)容損失LGAN和對抗損失LX的結(jié)合[13],如式(9)～ (11)所示.

其中,λ取值為100,IL是清晰標簽圖像,IB是模糊圖像,φi,j是在ImageNet[18]上進行預訓練得到的VGG-19 網(wǎng)絡中第i個最大池化層前的第j個卷積層的輸出特征圖,Wi,j和Hi,j是特征層的維度.

1.4 網(wǎng)絡訓練

本文提出的非均勻模糊圖像復原網(wǎng)絡在訓練時分為兩部分,首先對強邊緣提取網(wǎng)絡進行訓練,再結(jié)合模糊特征提取網(wǎng)絡和特征融合網(wǎng)絡,在GAN框架下進行訓練.網(wǎng)絡訓練流程如 “網(wǎng)絡訓練流程1” 所示.

網(wǎng)絡訓練流程1.

經(jīng)過多次實驗總結(jié),為得到最優(yōu)的實驗結(jié)果,本文在訓練過程中使用的批大小(BatchSize)為1,優(yōu)化器為Adam,學習率和迭代次數(shù)的調(diào)整細節(jié)如下:

1) 在單獨訓練SEEN 時,共進行500 輪訓練,學習率的初始值設置為0.0002,并依次遞減為0.0001、0.00005、0.00002、0.00001,對應的訓練輪數(shù)為150 輪、150 輪、100 輪、50 輪、50 輪.

2) 在與FMN 和FEN 共同訓練時,網(wǎng)絡學習率和對應訓練輪數(shù)的設置與單獨訓練SEEN 時相同.

2 實驗結(jié)果與分析

2.1 實驗數(shù)據(jù)集

本文采用在非均勻運動模糊圖像復原研究領域廣泛使用的GoPro 數(shù)據(jù)集[19]進行網(wǎng)絡的訓練和測試,該數(shù)據(jù)集包括2103 對訓練圖像和1111 對測試圖像,每對訓練和測試圖像都包含相應的清晰圖像和模糊圖像.分辨率均為1280×720,其中的模糊圖像均為非均勻運動模糊圖像.如圖8 所示,其中8 (a)是訓練集的模糊圖像,8 (b)是訓練集的清晰圖像.

圖8 數(shù)據(jù)集示例圖像Fig.8 Sample images of dataset

為了開展相應的驗證實驗,我們制作四個圖像子集.清晰圖像和模糊圖像來自GoPro 數(shù)據(jù)集中的圖像對;清晰圖像雙邊濾波梯度圖像子集使用文獻[14]的方法計算得到.清晰圖像的L0濾波梯度圖像子集使用文獻[15]的方法計算得到.

我們隨機裁剪出四個圖像子集中相同區(qū)域256 ×256 像素的圖像小塊作為訓練網(wǎng)絡時的輸入和標簽.在單獨訓練強邊緣提取網(wǎng)絡時,我們使用清晰圖像的雙邊濾波梯度圖像和L0濾波梯度圖像,分別作為SEEN-1 和SEEN-2 的標簽,即第1.4 節(jié)訓練流程中的標簽?LB(y)和?L0(y) .而SEEN 的輸入是模糊圖像小塊,即訓練流程中的輸入b.在訓練特征融合網(wǎng)絡時,清晰圖像小塊作為訓練時的標簽,即訓練流程中的標簽y.模糊圖像小塊同樣作為訓練時的輸入,即訓練流程中的輸入b.

實驗評價指標為結(jié)構相似性(Structural similarity index,SSIM) 和峰值信噪比(Peak signal to noise ratio,PSNR),其計算方法如式(12)和(13).

其中,x,y為兩幅輸入圖像,μx是x的平均值,μy是y的平均值,是x的方差,是y的方差,σxy是x和y的協(xié)方差.c1=(k1L)2,c2=(k2L)2是用來維持穩(wěn)定的常數(shù).L是像素值的動態(tài)范圍.為了避免計算公式的分母為0 并保持計算穩(wěn)定性,通常取k1=0.01 ,k2=0.03 .

其中,MSE是清晰圖像和模糊圖像之間的均方誤差.

本文在PyTorch[20]深度學習框架下實現(xiàn)網(wǎng)絡的訓練.網(wǎng)絡訓練和測試在一塊Nvidia GTX 1080Ti顯卡上進行.

2.2 強邊緣提取網(wǎng)絡有效性驗證實驗

圖9 為強邊緣提取網(wǎng)絡有效性驗證實驗結(jié)果,圖9 (e)組圖像為未使用強邊緣提取網(wǎng)絡的復原圖像,圖9 (f)組圖像為加入本文設計的強邊緣提取網(wǎng)絡得到的復原圖像.與 圖9 (g)組清晰圖像進行對比,可以看出,圖9 (e)組圖像有一定的復原效果,但邊緣并不清晰,圖9 (f)組圖像則邊緣非常清晰.可見,增加了強邊緣提取網(wǎng)絡,使模糊圖像的強邊緣信息被有效利用,復原出的圖像主觀效果較好.

圖9 有無強邊緣提取網(wǎng)絡的非均勻模糊圖像復原結(jié)果比較實例 ((a) 模糊圖像;(b) 模糊圖像梯度圖;(c) SEEN-1 輸出;(d) SEEN-2 輸出 (強邊緣);(e) 無強邊緣提取網(wǎng)絡的復原結(jié)果;(f) 有強邊緣提取網(wǎng)絡的復原結(jié)果;(g) 清晰圖像)Fig.9 Comparison of restoration results of non-uniform motion blurry image with or without edge extraction network((a) Blurry image;(b) Gradient of blurry image;(c) Output of SEEN-1;(d) Edge of SEEN-2 (Strong edge);(e) Restoration results of network without strong edge extraction network;(f) Restoration results of network with strong edge extraction network;(g) Clear image)

圖10 為強邊緣提取網(wǎng)絡在邊緣提取各階段的結(jié)果,圖10 (b)組為模糊圖像的梯度圖像,可以看到模糊圖像的梯度圖像邊緣并不清楚,并且明顯包含較多與邊緣無關的雜點,圖10 (c)組是SEEN-1的輸出,相當于雙邊濾波后的梯度圖像,可以看到模糊圖像梯度圖清晰的邊緣,同時與邊緣無關的雜點也被濾除,圖10 (d)組是SEEN-2 的輸出,相當于L0濾波后的梯度圖像,可以看到模糊圖像的強邊緣被有效地提取出來.對比SEEN-1 的輸出,圖像邊緣得到明顯增強,為了證明了這一點,本文也對SEEN-1 和SEEN-2 的輸出進行了客觀指標的分析,如圖11 所示.

圖10 強邊緣提取網(wǎng)絡中間結(jié)果分析Fig.10 The intermediate results analysis of strong edge extraction network

圖11 為3 幅模糊圖像對應的梯度圖和網(wǎng)絡SEEN-1、SEEN-2 輸出的邊緣圖像塊實例.第一組圖像中,左側(cè)為非均勻模糊圖像實例,本文從中提取了一個圖像小塊,并得到了梯度圖像(ii),可以看到邊緣信息無法辨別;(iii) 為強邊緣提取網(wǎng)絡中SEEN-1 的輸出,可見通過SEEN-1 后模糊圖像小塊的邊緣已經(jīng)被基本提取出來;(iv)是SEEN-2 的輸出,模糊圖像小塊的邊緣在(iii) 的基礎上更加清晰.同樣,我們可以看到第2 幅和第3 幅模糊圖像對應結(jié)果可以得出相同的結(jié)論:SEEN-1 濾除模糊圖像中無關的梯度值,保留了對復原有用的邊緣梯度信息.SEEN-2 對SEEN-1 輸出的邊緣進行了進一步的提取和增強,使提取的強邊緣更加清晰.

圖11 (v)為灰度分布圖,圖11 (vi)為列灰度值加和曲線圖,本文同時繪制了模糊圖像小塊梯度圖、SEEN-1 輸出、SEEN-2 輸出圖像的灰度分布圖和列灰度值加和曲線圖來客觀分析強邊緣提取網(wǎng)絡的邊緣提取效果.從圖11 (v)進行觀察和分析,模糊圖像的梯度像素值分布比較平均,也就是說由于圖像的模糊,邊緣信息損失的比較嚴重,邊緣兩側(cè)像素灰度值差距已經(jīng)不明顯,而通過SEEN-1 后,位于非邊緣的像素和位于邊緣的像素灰度值被明顯分開,絕大部分非邊緣像素被濾除,占據(jù)比重較少的邊緣像素點被提取出來,而通過SEEN-2 后,位于邊緣的像素的灰度值得到進一步增強.從圖11 (vi)所示曲線圖進行觀察和分析,模糊圖像的梯度圖由于邊緣模糊導致的信息丟失,對于存在邊緣和不存在邊緣的列區(qū)域,其灰度值差別很小,無法明顯尋找出邊緣存在的區(qū)域,而對于SEEN-1 的結(jié)果,我們可以明顯地尋找到邊緣所在的列區(qū)域(曲線的波峰波谷處),對于SEEN-2 的結(jié)果,其存在邊緣的列區(qū)域灰度值峰值比SEEN-1 的結(jié)果有明顯提升.這說明本文設計的強邊緣提取網(wǎng)絡的兩個子網(wǎng)絡分別完成了第1.1 節(jié)中強邊緣提取方法兩個步驟的功能,提取并得到了模糊圖像的強邊緣信息.

圖11 強邊緣提取網(wǎng)絡效果分析 ((i)模糊圖像小塊(30×30);(ii)模糊圖像小塊邊緣(30×30);(iii) SEEN-1 輸出;(iv) SEEN-2 輸出;(v)灰度分布圖;(vi)列灰度值加和曲線圖)Fig.11 Effect analysis of strong edge extraction network ((i) Blurry image patch (30×30);(ii) Edge of blurry image patch (30×30);(iii) Output of SEEN-1;(iv) Output of SEEN-2;(v) Gray value distribution;(vi) Column gray value addition)

2.3 交叉特征提取殘差模塊有效性驗證實驗

本文在模糊特征提取子網(wǎng)絡中使用了交叉特征提取殘差模塊,目的是提升模糊特征提取時網(wǎng)絡的感受野,提高模糊特征提取能力.本文使用對比實驗的方法對交叉特征提取殘差模塊的有效性進行了驗證.

為保證對比實驗的準確性和有效性,用于對比實驗的網(wǎng)絡結(jié)構僅將整個網(wǎng)絡中的交叉特征提取殘差模塊替換為普通的殘差模塊.網(wǎng)絡的其他部分結(jié)構、實驗的超參數(shù)設置及訓練流程均不改變.

在GoPro 數(shù)據(jù)集上的實驗結(jié)果如表1 所示.

表1 交叉特征提取殘差模塊有效性驗證實驗結(jié)果(GoPro 數(shù)據(jù)集)Table 1 Validation experiment results of cross-resnet block (GoPro dataset)

由表1 可以看到,使用交叉特征提取殘差模塊的網(wǎng)絡復原效果要明顯優(yōu)于使用普通殘差模塊的網(wǎng)絡.

2.4 非均勻運動模糊圖像復原對比實驗

本節(jié)將本文提出的方法與5 種非均勻圖像復原方法進行了對比實驗,實驗結(jié)果實例如圖12 所示.

可以看到,文獻[13]的方法對明顯的邊緣復原效果較好,如圖12 (iv)所示的窗戶邊緣.但是對于細節(jié)的復原效果極差,如圖12 (i)所示的文字.文獻[7]的方法和文獻[21]的方法對非均勻運動模糊圖像的整體復原效果較差,對強邊緣和圖像細節(jié)均無法有效復原,而且復原圖像容易產(chǎn)生波紋現(xiàn)象,如圖12 (ii)所示,嚴重影響復原效果.文獻[4]的方法可以通過參數(shù)的調(diào)整對部分模糊情況不復雜的非均勻運動模糊圖像得到較好的復原效果,如圖12 (iii)所示,其文字復原效果比較清晰.但是如果復原參數(shù)不合適或者復原模糊情況較復雜,該方法就會失效,不僅得不到應有的復原圖像,還會產(chǎn)生嚴重的波紋現(xiàn)象,如圖12 (ii)和12 (iv)所示,影響復原效果.文獻[10]的方法在復原非均勻運動模糊圖像上的效果相對較好,但是邊緣的復原效果并不銳利,如圖12 (ii)中的車燈邊緣和12 (iv)中的窗戶邊緣,導致主觀效果有所下降.本文方法則不需要對復原過程進行參數(shù)調(diào)整,無論非均勻運動模糊圖像的模糊過程復雜與否,均可以自適應地進行復原,并得到較好的復原效果.通過對比實驗結(jié)果可見本文的方法在主觀復原效果上是非常好的,對于圖像中的細節(jié)信息(如文字等)可以有效地復原出清晰的結(jié)果,而且使復原出的圖像中強邊緣更加銳利清晰,達到了本文研究的目的.

圖12 對比實驗結(jié)果Fig.12 Results of comparative experiments

從表2、表3 和圖13 所示的對比實驗圖像的客觀指標中可以看出,本文方法的客觀指標在幾組實驗中處于領先水平.表4 為7 種不同方法在GoPro數(shù)據(jù)集測試集上復原結(jié)果的平均PSNR 和SSIM值.從表4 可以看到,本文方法的平均PSNR 值為30.2227,平均SSIM 值為0.8944,在幾組對比實驗中也均處于領先水平.

表4 復原圖像的平均PSNR 值和平均SSIM 值(GoPro 數(shù)據(jù)集)Table 4 Average value of PSNR and SSIM of restored images (GoPro dataset)

圖13 對比實驗圖像的PSNR 和SSIM 指標值柱狀圖Fig.13 Histogram of PSNR and SSIM values of comparative experimental images

表2 對比實驗圖像的PSNR 值比較Table 2 PSNR value comparison of comparative experimental images

表3 對比實驗圖像的SSIM 值比較Table 3 SSIM value comparison of comparative experimental images

3 總結(jié)

本文以非均勻運動模糊圖像復原為研究對象.提出了一種用于非均勻運動模糊圖像盲復原的強邊緣提取網(wǎng)絡,該網(wǎng)絡在梯度域提取模糊圖像的強邊緣,并將強邊緣特征與模糊圖像模糊特征融合,將強邊緣特征作為 “先驗知識” 約束網(wǎng)絡的前向傳播及反向傳播參數(shù)優(yōu)化過程,縮小了網(wǎng)絡映射參數(shù)的解空間,結(jié)合卷積神經(jīng)網(wǎng)絡自動學習特征的能力,增強了非均勻模糊圖像復原過程中對邊緣的恢復效果,解決了其他圖像復原方法無法有針對性地對非均勻模糊圖像邊緣進行有效復原的缺陷,較好地復原出清晰的圖像.同時也為基于深度學習的非均勻運動模糊圖像盲復原研究提供了新穎的研究思路.大量實驗結(jié)果表明,本文設計的強邊緣提取網(wǎng)絡可以有效地應用在非均勻運動模糊圖像的復原中,獲得清晰的復原圖像并提升模糊圖像邊緣恢復效果.