王 楊,張 鑫,許閃閃,童珺儀,張衛(wèi)東

(安徽師范大學(xué) 計算機與信息學(xué)院,241000)

1 引言

由于拍攝目標(biāo)物的不穩(wěn)定性以及光線疊加作用,使得模糊圖像的復(fù)原成為圖片處理領(lǐng)域的一個重要方向.恰當(dāng)?shù)奶幚韺τ诜缸铿F(xiàn)場的取證、大氣氣候的勘察與界定以及交通監(jiān)控超速車輛車牌等有著重要意義.

人類的眼球存在視覺暫留效應(yīng),當(dāng)人類看運動的物體時,看到的每一幀畫面都是一個時間長度大約為1/24 秒的運動過程.動態(tài)的畫面每一幀都是模糊的.當(dāng)我們得到一張動態(tài)模糊的圖片時,由于圖片模糊,我們很難看清圖片中的

文字、場景等具體細(xì)節(jié).此時需要設(shè)計一個合理的數(shù)學(xué)模型,使模型能夠?qū)D像進行處理,以達(dá)到當(dāng)?shù)玫揭粡垊討B(tài)模糊的圖片時,能夠盡可能地得到清晰的畫面,并能識別圖片中的文字、場景的目的.為了便于考慮和建模,論文中假設(shè)圖片的模糊是由于攝像機的運動導(dǎo)致的,即圖中的全部畫面都以一個相同的速度運動.

圖像復(fù)原領(lǐng)域的傳統(tǒng)方式包括：(1)頻域法,包括逆濾波法、小波變換法等.其中徐大宏[1]主要采用基于正則化的處理方法,圍繞圖像去噪、圖像去模糊兩個方面進行構(gòu)造正則項和模型求解.高如新等人[2]提出一種基于雙邊濾波的去高光方法,能夠有效去除圖像的多區(qū)域局部高光,完成圖像復(fù)原.黃文輝等人[3]在圖像客觀測試峰值信噪比的基礎(chǔ)上,對測試模糊及方塊效應(yīng)等算法進行改進.金飛等人[4]提出改進的維納濾波圖像復(fù)原算法,對退化圖像進行二次維納濾波.(2)非線性代數(shù)復(fù)原法,包括最大熵復(fù)原法、神經(jīng)網(wǎng)絡(luò)法等,其中唐賢倫[5]通過建立條件深度卷積生成對抗網(wǎng)絡(luò)模型提高圖像的識別準(zhǔn)確率.徐一峰[6]對深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)的各種模型和應(yīng)用進行總結(jié)和討論.蘭妙萍等人[7]將卷積神經(jīng)網(wǎng)絡(luò)和BP 神經(jīng)網(wǎng)絡(luò)相結(jié)合,解決了傳統(tǒng)圖像復(fù)原對先驗知識具有依賴性的問題.(3)線性代數(shù)復(fù)原法,包括有約束復(fù)原法、無約束復(fù)原法、奇異矩陣分解(SVD)法等,梁曉萍[8]主要研究了運動圖像去模糊等算法,對于有無噪聲和實拍情景均有一定效果.吳秋峰[9]主要圍繞散焦圖像的圖像去模糊和深度估計進行研究.張玉葉[10]等人利用多個點擴散函數(shù)(PSF)具有聯(lián)合可逆性的特點,對多點擴散函數(shù)聯(lián)合進行圖像復(fù)原.Zikmund T 等人[11]提出的算法使用加權(quán)最小二乘曲面識別并分割相位圖像中.(4)頻譜外推法等,包括外推法、能量連續(xù)降減法等.在應(yīng)用領(lǐng)域Chaira T 等人[12]主要研究模糊集理論,并將其應(yīng)用到圖像閾值化,分割,邊緣檢測,增強等工作中.袁飛等人[13]對當(dāng)前多種網(wǎng)絡(luò)上的視頻質(zhì)量客觀評價算法進行研究.Zhou W 等人[14]針對網(wǎng)絡(luò)傳輸視頻過程中的失真問題,對客觀圖像和視頻質(zhì)量的評估展開研究.

本文提出一種基于維納濾波器和生成對抗網(wǎng)絡(luò)的動態(tài)模糊圖像處理方法.維納濾波用來去除含有噪聲的模糊圖像,其目標(biāo)是找到未污染圖像的一個估計,使它們之間的均方差最小,可以去除噪聲,同時清晰化模糊圖像.不同圖像由于拍攝設(shè)備的移動不同,預(yù)測很難通過單一方式找到對于所有圖片的普適性還原模型,因而嘗試選擇了自由性強、不受預(yù)定條件分布的生成對抗網(wǎng)絡(luò)處理圖像.

2 相關(guān)算法及方法

2.1 維納濾波去模糊算法

基于濾波的去模糊是通過一些濾波估計器,從觀察到的模糊圖像u0中估計出理想的清晰圖像s,w為相應(yīng)的濾波器,如式(1)表示：

對于沒有受模糊影響的噪聲圖像的純?nèi)ピ脒^程,線性濾波可認(rèn)為是一個自然的通過卷積來抑制噪聲的工具,對于去模糊,可認(rèn)為是通過另一個卷積操作來去除某一個卷積操作影響的嘗試.例如在不考慮噪聲的情況下,可通過傅里葉頻域的形式(式(2))表示,其中傅里葉變換為已知,頻域量記為ω =(ω1,ω2)：

為了解決復(fù)原過程中這一不穩(wěn)定因素,改進上式為：

其中,*表示復(fù)數(shù)的共軛,并嘗試通過加上一個正數(shù)因子r=r(ω)來正則化分母在高頻部分時的不穩(wěn)定因素：

假設(shè)估計的結(jié)果記為u?r,則

或者在傅里葉頻域中：

在r＜＜|K|2的低頻部分,圖像的復(fù)原近似等同于預(yù)期；在r＞＞|K|2時,由于k幾乎消失的緣故,高頻部分嚴(yán)重扭曲.因此正則化因子r相當(dāng)于一個閾值的作用.

由于圖像噪聲會對去模糊產(chǎn)生影響,所以選取一個最優(yōu)的正則化因子尤為重要,為此我們采用維納最小均方誤差原來實現(xiàn).

2.2 生成對抗網(wǎng)絡(luò)模型(GAN)

生成對抗網(wǎng)絡(luò)(GAN)是于2014年新型提出的,啟發(fā)于博弈論中的二人零和博弈,其中包含了一個類生成器和一個類判別器.類生成器根據(jù)輸入噪聲信號生成“看上去和真實樣本差不多的”樣本,類判別器用來區(qū)分類生成器生成的樣本和真實樣本.以生成照片為例進行說明(G為類生成器,D為類判別器)：

(1)G接收一個隨機的噪聲x,通過這個噪聲生成照片,記作G(x).

(2)D(y)判別這個照片是不是“真實的”.它的輸入?yún)?shù)為y,y代表一張照片,輸出結(jié)果為D(y)代表y是真實照片的概率,如果是1,代表是真實照片,而輸出0,代表不是真實照片.

(3)在整個訓(xùn)練過程中,類生成器盡量生成真實照片欺騙類判別器.而類判別器盡量把真實照片和類生成器生成照片區(qū)分開來.這樣就實現(xiàn)了一個動態(tài)的“博弈過程”.

作為最新形式下的機器學(xué)習(xí),生成對抗網(wǎng)絡(luò)相比于一般神經(jīng)網(wǎng)絡(luò),具有輸出圖像高清、高銳以及對生成器和判別器普適性的優(yōu)點；相比于其他生成式模型,GAN 不再需要一個預(yù)先設(shè)定的數(shù)據(jù)分布,具有擬合的最大自由性.

3 基于維納濾波器和GAN 的動態(tài)模糊圖像處理

3.1 維納濾波算法的設(shè)計

維納濾波器w(x)是使得均方估計誤差

達(dá)到最小的最優(yōu)濾波器：

其產(chǎn)生正交條件：

按相關(guān)函數(shù)可變換為：

從而得到最優(yōu)維納濾波器的顯式形式：

針對模糊圖形u0=k×u+n,有：

其中,正則化因子r=snn/suu是噪聲信號比的平方.

圖1 維納濾波圖像處理效果對比圖

3.2 生成對抗網(wǎng)絡(luò)模型的設(shè)計

具體過程如下：

(1)輸入樣本：輸入數(shù)據(jù)集r(x),設(shè)定其為真實數(shù)據(jù)樣本.

(2)隨機生成：通過隨機輸入數(shù)y,生成參考是數(shù)據(jù)樣本s(y).

(3)鑒定：在鑒別網(wǎng)絡(luò)中,接收來自參考數(shù)據(jù)樣本s(y).和真實數(shù)據(jù)樣本r(x),開始鑒定過程.

(4)學(xué)習(xí)訓(xùn)練：

① 訓(xùn)練判別器,在不干涉生成器的情況下,使得參考數(shù)據(jù)樣本s(y)和真實數(shù)據(jù)樣本r(x)的差別盡可能小.

② 訓(xùn)練生成器,在不干涉判別器的情況下,使得參考數(shù)據(jù)樣本s(y)和真實數(shù)據(jù)樣本r(x)的差別盡可能大.

(5)判斷：利用Sigmoid 函數(shù),當(dāng)對s(y)返回1,而r(x)返回0 時,重復(fù)進行(4),直至分類器對兩者都判為真.

(6)驗證：當(dāng)訓(xùn)練結(jié)束后,觀察輸出結(jié)果,驗證是否具有一定的迷惑性.

用數(shù)學(xué)表達(dá)式表示為：

圖2 生成對抗網(wǎng)絡(luò)(GAN)模型圖

4 實驗及結(jié)果分析

在上述濾波實驗后,我們發(fā)現(xiàn)單純使用傳統(tǒng)方式處理模糊圖像,并未得到較清晰的效果,考慮到可能是由于無法判定拍攝裝置的移動方位,使得圖片的還原不夠精準(zhǔn),故使用生成對抗網(wǎng)絡(luò)模型(GAN),通過類生成器和類判別器得到在原圖像上由于位移的影響重疊和損失的有效點,并由此得到更加清晰的圖像.對于本題圖像去模糊的流程如圖3.

圖3 圖像去模糊效果圖

利用這種方式可以在一定程度上解決了圖像在限定條件下,無法判斷模糊緣由導(dǎo)致的濾波誤差,在這種近似“機器學(xué)習(xí)”的基礎(chǔ)上,通過“點找點”的方式較好的還原了模糊的圖像.將這種模糊軌跡定義為“模糊核”,這使得每一幅圖像按照各自定義的特殊模糊核進行還原,因而具有可識別性以及較高的還原度,如圖4.

圖4 “模糊核”圖像處理圖

從圖4(a)可以看出在帆船周邊和山體的軌跡不一致,通過做出“模糊核”的軌跡,再進行復(fù)原得到圖4(b),此時盡管由于復(fù)原后仍存在一定程度的邊緣模糊情況,但圖像清晰度明顯得到改進.我們再通過選擇其他數(shù)據(jù)集,利用指標(biāo)對于復(fù)原后的一些圖像進行對比,用三個評價指標(biāo)對這些圖像進行客觀評價——峰值性噪比PSNR、模糊系數(shù)KBlur、質(zhì)量因素Q,下面分別給出三個評價指標(biāo)的定義：

峰值性噪比PSNR,MSE為原圖像與處理圖像的均方誤差,假設(shè)圖像大小為W×H.

模糊系數(shù)KBlur：

質(zhì)量因素Q：

對roma,outdoor,lion,girl,flower,building,boat 等7 組圖片進行處理,每組中選出三個樣本,選取其中比較清晰的圖片作為參照,通過MATLAB 程序計算其余各圖片的PSNR,KBlur,Q指標(biāo),得到以下結(jié)果：

表1 指標(biāo)對比圖

在上述圖表中可以看出,通過生成對抗網(wǎng)絡(luò)(GAN)的還原,圖片的PSNR,Q指標(biāo)上升,Kblur指標(biāo)下降,因而得出圖像還原較為成功的結(jié)論.

5 結(jié)束語

在科技進步的時代背景下,人們對于清晰照片的渴望日益增強,本文提出了一種基于維納濾波器和生成對抗網(wǎng)絡(luò)的動態(tài)模糊圖像處理方式,通過選取最優(yōu)正則化因子以及類生成器模擬數(shù)據(jù)樣本從而對模糊圖像進行復(fù)原,并對評定圖像清晰度的影響因素指標(biāo)進行測量,進而得到圖像復(fù)原較為成功的結(jié)論.由于模糊圖像的復(fù)原涉及到很多不可定因素的影響,故本文限制前提條件為：圖像的模糊是由于拍攝設(shè)備移動因素造成的.然而實際生活中,因受所拍物體移動的影響,導(dǎo)致圖像中的全部物體并非按照同一頻率、同一方向模糊,此時可以對各類影響因素之間的協(xié)同變化做進一步研究.

圖5 實驗對比圖