李一兵,付 強,張 靜
(哈爾濱工程大學(xué) 信息與通信工程學(xué)院,哈爾濱 150001)
水下圖像在海洋探測中具有重要意義,通過對直觀圖像的研究可以獲得各種未知環(huán)境的信息。由于水下復(fù)雜環(huán)境的不確定性以及各類噪聲干擾的影響,水下圖像處理中存在著分辨率低、邊緣模糊等諸多問題,這也對進(jìn)一步的判斷處理帶來很多困難,各種圖像復(fù)原方法也一直是研究的熱點[1-3]。
水下模糊圖像可以視為點擴展函數(shù)(Point spread function,PSF)和原始清晰圖像卷積的結(jié)果,因而復(fù)原方法主要分為兩種:一種是預(yù)先知道點擴展函數(shù)的先驗知識,可以直接對模糊圖像進(jìn)行解卷積逆運算;另一種則是點擴展函數(shù)未知,即不具備圖像先驗知識的條件下,通過參數(shù)估計的方法實現(xiàn)圖像的盲復(fù)原。實際情況中退化圖像的點擴展函數(shù)參數(shù)難以獲取,只能在有限的先驗知識條件下估計原始圖像,即圖像盲復(fù)原,文獻(xiàn)[4]提出了一種基于K-L信息的圖像盲復(fù)原方法。解卷積(逆濾波)是被廣泛采用的具有代表性的方法,文獻(xiàn)[5]提出了一種結(jié)合時域空域特性去除運動模糊的逆濾波方法,其他方法包括全變分法[6]、最大熵法、ARMA參數(shù)估計法、以快速傅里葉變換為基礎(chǔ)的迭代盲反卷積算法(IBD)、模擬退火法等,但這些方法存在著收斂性不好、計算量大[7-8]等問題。針對上述問題,拉東變換可以計算圖像投影,對于平移運動中的角度和位移檢測有較好的效果[9],可以應(yīng)用于圖像模糊參數(shù)估計和復(fù)原。
本文首先介紹圖像的退化模型,分析常見的模糊類型以及解卷積的復(fù)原方法,然后針對不同的運動模糊類型采用適宜的參數(shù)估計解卷積方法完成圖像復(fù)原。
在加性噪聲n (x,y)的影響下,輸入原始圖像f (x,y),經(jīng)過退化算子H (x,y)后產(chǎn)生的退化圖像g (x,y)可以表示為[10-11]:
通常原始圖像f(x,y)可以表示為
后續(xù)介紹的模糊模型均具有上述表示,所作的研究也是對線性圖像恢復(fù)的研究。
常見的模糊退化模型有運動模糊(機械性模糊)、高斯模糊和離焦模糊(光學(xué)性模糊)。運動模糊主要是由于成像系統(tǒng)與目標(biāo)的相對運動,導(dǎo)致成像在某個方向上形成模糊。任意方向的運動模糊可以視為在該方向上的水平運動。以偏移旋轉(zhuǎn)角度α和移動像素數(shù)d為例,點擴展函數(shù)可以表示為
高斯模糊可以認(rèn)為是人為引入的模糊,點擴展函數(shù)可以表示為
式中:σ為高斯模糊的標(biāo)準(zhǔn)差。
離焦模糊主要是由成像時偏離正確聚焦點而造成的,點擴展函數(shù)為
式中:R為模糊半徑。
若能預(yù)先識別出圖像的模糊類型,則可以對PSF形式做出較為準(zhǔn)確的估計,提高復(fù)原的精度。但對于獲取的模糊圖像而言,單從直觀的視覺效果上未必能很準(zhǔn)確地判斷出造成模糊的原因所在,所以鑒別模糊圖像的類型是十分必要的。文獻(xiàn)[12-13]提出了利用神經(jīng)網(wǎng)絡(luò)進(jìn)行模糊類型判斷的方法,這種方法判斷的準(zhǔn)確性較高,但對于前期的學(xué)習(xí)訓(xùn)練要求也較高,復(fù)雜度較大。鑒于一幅圖像因不同模糊類型會導(dǎo)致頻譜中不同頻率成分的丟失,在頻域上呈現(xiàn)出不同性質(zhì),故依據(jù)不同的頻譜特點可以鑒別圖像的模糊類型。在實際處理中,通過對模糊圖像加以頻譜分析可以區(qū)分出模糊類型。該方法簡單易行,無需復(fù)雜計算,也適于進(jìn)一步采取不同的處理方法。如圖1所示,第一行從左至右分別顯示不同退化模糊的圖像,第二行依次顯示各圖像對應(yīng)的二維傅里葉變換,從頻譜的特征差異可以顯著區(qū)分出不同的模糊類型:運動模糊的頻譜呈現(xiàn)出平行柵狀,高斯模糊頻譜呈現(xiàn)為網(wǎng)格棋盤狀,而離焦模糊的頻譜則呈現(xiàn)同心圓環(huán)狀。
圖1 不同模糊效果對比Fig.1 Comparison of different blur effect
通過前面的圖像退化模型的推導(dǎo)可知,利用反卷積可以實現(xiàn)圖像的復(fù)原,其核心是點擴散函數(shù)PSF的確定。常用的反卷積復(fù)原方法有維納濾波、最小二乘濾波和L-R算法。
維納濾波嘗試尋找一個使統(tǒng)計誤差函數(shù)最小的估計,但系統(tǒng)被假設(shè)為線性的,而實際圖像的記錄和評價圖像的人類視覺系統(tǒng)往往都是非線性的。且基于最小均方誤差的準(zhǔn)則與人類視覺判決準(zhǔn)則并不吻合,實際得到的結(jié)果只能是平均意義上的最優(yōu)解。最為關(guān)鍵的是:維納濾波需要了解真實圖像以及噪聲的大量先驗知識,這在實際中是不可獲得的。
約束最小二乘方(正則)濾波的提出可在一定程度上解決上述問題:正則濾波只需要噪聲的方差均值,且對所處理的每幅圖像均可達(dá)到最有效果。
Lucy-Richardson(L-R)算法來源于最大似然公式,在該方法中圖像用泊松統(tǒng)計加以模型化,實際中采取迭代收斂的辦法得到模型的最大似然函數(shù)。
由以上的分析可知:圖像復(fù)原的難易程度主要取決于對退化過程的先驗知識掌握的精確程度。若對退化的類型、機制十分清楚,那么就可以根據(jù)圖像退化的先驗知識建立退化模型,采用各種反卷積處理方法對圖像進(jìn)行復(fù)原處理。然而,實際圖像處理時,許多先驗知識(包括圖像及成像系統(tǒng))往往并不具備。某些情況下,要得到圖像的先驗知識需要付出很大的代價,甚至有些是不可實現(xiàn)的。針對基于點擴散函數(shù)的參數(shù)難以把握和預(yù)知,提出了圖像盲復(fù)原技術(shù)這一課題。實際情況下,必須在沒有退化先驗知識或者只有少量先驗知識的情況下,從模糊圖像中估計真實圖像和退化函數(shù),這種方法就是圖像盲復(fù)原。針對以上分析的不同模糊模型和反卷積復(fù)原方法,實驗結(jié)果表明對于運動模糊和高斯模糊,維納濾波和正則濾波的效果較好,而L-R算法則更適合于高斯模糊和離焦模糊。
Radon變換是計算圖像在某一指定角度射線方向上投影的變換方法。二維函數(shù)f (x,y)的投影就是其在指定方向上的線積分,即f (x,y)的Radon變換為:
所得線積分的結(jié)果為沿條紋方向的投影變換,在中心位置的積分值最大,運動模糊可以看作原始圖像像素沿模糊角度的方向上產(chǎn)生了大小等于模糊長度的位移,因而利用Radon變換可以較準(zhǔn)確地檢測運動模糊[14]。在估計模糊角度時首先計算模糊圖像的二維傅里葉變換,為了增強條紋效果,對變換后的頻譜進(jìn)行取模和對數(shù)運算,再利用循環(huán)移位使低頻成分位于頻譜中心,利用Radon變換得到投影,投影值中最大值所對應(yīng)的列即為模糊的角度。具體步驟如下:
(1)對模糊圖像做二維傅立葉變換,即B=fft2(Blurred)。
(2)增強頻譜的條紋效果,C=lg(1+abs(B))。
(3)將低頻成分移位至頻譜中心,D=fftshift(C)。
(4)對頻譜進(jìn)行拉東變換[R,xp]=radon(D,θ)。
(5)求取投影最大值對應(yīng)的角度(即為模糊角度b=max(R))。
仿真實驗中模糊角度的范圍為0°~180°,如圖2中實線所示,估計角度如虛線所示??梢钥闯龉烙嫿嵌扰c真實角度十分接近,實測結(jié)果最大偏差為3°。
圖2 模糊角度的估計Fig.2 Estimation of motion angle
在運動模糊中,模糊尺度參數(shù)是指原始圖像中點目標(biāo)在運動模糊后形成模糊帶的寬度。常用的確定模糊尺度的方法有模糊圖像的二維頻譜沿著運動模糊方向作Radon變換投影,利用退化算子求取微分及自相關(guān)函數(shù),并搜索各列取和后最小和所在的列[15]。
該方法存在的問題是計算復(fù)雜,極小值點的確定不易精確求得,而且在有噪聲干擾的情況下檢測效果會受到較大影響。基于以上考慮本文做出的改進(jìn)檢測方法如下:
(1)求退化圖像g離散傅立葉變換如下:
可以利用快速傅立葉變換近似得到。
(3)對于s取對數(shù)后各列求和,得到一個行矩陣S。
(4)繪制出S的曲線,依據(jù)尖峰個數(shù)判斷出模糊尺度。
通過仿真實驗對模糊圖像進(jìn)行長度估計,分別以模糊長度7、10、15、20進(jìn)行測試,從變換后的求和曲線(見圖3)尖峰的個數(shù)N(分別為7、10、15、20)可以準(zhǔn)確得到模糊長度L,二者具有一一對應(yīng)的關(guān)系。實驗結(jié)果表明,本方法對于模糊長度可以做到檢測準(zhǔn)確度高、且計算復(fù)雜度低。
圖3 模糊長度的估計Fig.3 Estimation of motion length
高斯模糊的點擴展函數(shù)關(guān)鍵在于模糊方差的估計。常用的估計方法有如下幾種[16-18]:
(1)多尺度小波變換參數(shù)估計,對圖像進(jìn)行不同尺度小波變換,分別計算小波模極大值,并依據(jù)李氏級數(shù)得到高斯模糊方差。
(2)圖像多項式變換的邊緣檢測。
(3)基于局部方差的邊緣檢測模糊估計。
離焦模糊圖像復(fù)原中常把點擴散函數(shù)近似為圓柱形函數(shù),因而若能有效估計圓柱形的半徑,則等價于求出了離焦模糊點擴散函數(shù)。以往復(fù)原的方法有:基于倒譜分析的離焦模糊識別,但對于較大和較小的模糊半徑效果不好?;谛〔ǖ拿?fù)原計算量大且受噪聲影響大。利用Hough變換檢測頻譜圖像半徑后采用拉格朗日內(nèi)插曲線擬合的方法計算復(fù)雜度高,參數(shù)估計不夠準(zhǔn)確。利用八領(lǐng)域拉普拉斯算子對離焦圖像進(jìn)行無方向性的二階微分,然后求取微分圖像的自相關(guān),通過三維顯示觀察環(huán)形槽的位置,槽底位置連成鑒別圓。該鑒別圓的直徑等于離焦點擴散函數(shù)圓柱直徑的兩倍。
需要指出的是,由于水下噪聲的影響即使點擴散函數(shù)已知,反卷積問題由于其自身的病態(tài)性(ill-posed)也不是一個簡單的問題。此時的圖像退化方程為第一類Fredholm方程,其求解是一個不適定問題,表現(xiàn)為方程的解不連續(xù)、依賴于觀測數(shù)據(jù),即圖像中的噪聲影響以及觀測數(shù)據(jù)的微小變動都可能導(dǎo)致方程最終求解的極大變動,而且會造成復(fù)原算法計算量大,結(jié)果質(zhì)量難以保證,因此對于水下圖像中噪聲的預(yù)處理就顯得更有實際意義。圖像的噪聲主要來源于圖像的獲取和傳輸過程,水下環(huán)境中的光照和污染是噪聲產(chǎn)生的最主要原因,在處理時一般將其看作脈沖椒鹽噪聲和高斯噪聲的混合。
鑒于噪聲對于后續(xù)的參數(shù)估計及反卷積復(fù)原有著較大影響,因而對于圖像去噪預(yù)處理就顯得非常重要。本文采取中值濾波和小波閾值去噪的方法去除混雜在圖像中的椒鹽和高斯噪聲,將噪聲的影響降到最低。
如圖4的流程圖所示,首先對含有噪聲的模糊圖像進(jìn)行去噪預(yù)處理,然后利用傅立葉變換獲得圖像的頻譜信息,依據(jù)不同的頻譜特征確定圖像的模糊類型,然后應(yīng)用不同的退化模型做出相應(yīng)的估計復(fù)原。對于運動模糊,重點是估計偏移的模糊角度和移動的模糊長度;對于高斯模糊和離焦模糊則分別估計噪聲方差和離焦半徑。得到參數(shù)的估計值后,采取合適的反卷積方法進(jìn)行解卷積,可以得到最終的復(fù)原圖像。
圖4 圖像去噪分類復(fù)原流程圖Fig.4 Flow chart of image restoration method
具體實施步驟為:
(1)獲取原始含噪聲模糊圖像,利用中值濾波和小波閾值去噪對圖像進(jìn)行預(yù)處理。
(2)求得圖像的傅立葉頻譜,對圖像的模糊類型做出判斷。
(3)對于不同的模糊類型采取不同參數(shù)估計方法,得到點擴展函數(shù)的參數(shù)估計。
(4)采取合適的解卷積方法完成圖像復(fù)原。
為了檢驗復(fù)原方法效果,對比實驗以256×256像素的水下圖像在三種運動模糊情況下進(jìn)行復(fù)原,三種情況分別是模糊角度30°,模糊長度5;模糊角度30°,模糊長度10;模糊角度45°,模糊長度10。對原始圖像先去噪,然后去模糊,結(jié)果如圖5~圖7所示。
圖5 模糊角度30°,模糊長度5Fig.5 Case of motion angle 30°with motion length 5
圖6 模糊角度30°,模糊長度10Fig.6 Case of motion angle 30°with motion length 10
圖7 模糊角度45°,模糊長度10Fig.7 Case of motion angle 45°with motion length 10
圖5~圖7顯示的結(jié)果可以看出噪聲去除對于復(fù)原的影響。采取去噪預(yù)處理的圖像去除了圖像中的斑點和高斯噪聲,目標(biāo)圖像可以被較清晰地恢復(fù)出來,通過增強前后對于目標(biāo)的邊緣提取效果也可以看出,去除模糊提高了圖像的清晰度和分辨率,如圖8所示。在噪聲環(huán)境下由于噪聲點的干擾而無法提取目標(biāo),經(jīng)去噪、去模糊后可以準(zhǔn)確檢測到目標(biāo)邊緣。
圖8 利用Sobel算子進(jìn)行邊緣檢測Fig.8 Edge detection by Sobel operator
從表1所示圖像在不同模糊條件下增強后峰值信噪比(PSNR)的結(jié)果可以看出:經(jīng)過去噪處理后的增強結(jié)果相比于原始模糊圖像能提高5 dB的峰值信噪比。
表1 不同模糊下增強圖像峰值信噪比(PSNR)(單位:dB)Table 1 Comparison of PSNR among enhanced images
論述了對不同模糊類型的水下圖像的復(fù)原方法。首先對模糊圖像進(jìn)行去噪預(yù)處理,通過對傅立葉頻譜的分析判定模糊類型,通過不同的參數(shù)估計得到復(fù)原所需的信息,然后采用合適的反卷積方法得到最終的復(fù)原圖像。相比于其他圖像復(fù)原算法,在運動模糊的估計上提出了基于拉東變換改進(jìn)方法,在降低復(fù)雜度的同時提高了準(zhǔn)確度,同時進(jìn)行了去噪預(yù)處理以及模糊類型的區(qū)分,在復(fù)原中取得了較好的效果。在成像條件復(fù)雜、環(huán)境惡劣、圖像質(zhì)量低等場合具有實際應(yīng)用的潛力。但本文討論的情況只限于單一模糊情況,對于混合模糊噪聲模型的研究將是下一步的重點。
[1]Raimondo Schettini,Silvia Corchs.Underwater image processing:state of art of restoration and image enhancement methods[C]∥EURASIP Journal on Advances in Signal Processing,2010:1-14.
[2]朱殿堯,卞紅雨.側(cè)掃聲納目標(biāo)自動探測研究[J].吉林大學(xué)學(xué)報:信息科學(xué)版,2008,26(6):627-631.Zhu Dian-yao,Bian Hong-yu.Image research of sidescan sonar target auto detection[J].Journal of Jilin University(Information Science Edition),2008,26(6):627-631.
[3]趙春暉,李譽斐.基于改進(jìn)直方圖不變矩的聲吶圖像識別方法[J].應(yīng)用科技,2007,34(11):19-24.Zhao Chun-h(huán)ui,Li Yu-fei.Recognition for sonar image based on improved histogram invariant moments[J].Applied Science and Technology,2007,34(11):19-24.
[4]Abd-Krim Segouane.A Kullback-Leibler divergence approach to blind image restoration[J].IEEE Transaction on Image Processing,2011,20(7):2078-2083.
[5]Hiloyuki Takeda,Peyman Milanfar.Removing motion blur with space-ime processing [J].IEEE Transaction on Image Processing,2011,20(10):2990-3000.
[6]Michailovich Oleg V.An iterative shrinkage approach to total-variation image restoration[J].IEEE Transaction on Image Processing,2011,20(5):1281-1299.
[7]Deepa Kundur,Dimitrios Hatzinakos.Blind image deconvolution[J].IEEE Signal Processing Magazine,1996(5):43-64.
[8]Anat Levin,Yair Weiss,F(xiàn)redo Durand,et al.Understanding blind deconvolution algorithms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2354-2367.
[9]Peyman Milanfar.A model of the effect of image motion in the Radon transform domain[J].IEEE Transactions on Image Processing,1999,8(9):1276-1281.
[10]Liu Xian-ming,Zhao De-bin,Xiong Rui-qin.Image interpolation via regularized local linear regression[J].IEEE Transactions on Image Processing,2011,20(12):3455-3469.
[11]Gonzales Rafael C,Woods Richard E.數(shù)字圖像處理[M].(3版)阮秋琦,阮宇智譯.北京:電子工業(yè)出版社,2011:218-224.
[12]尹兵,王延斌,劉威.用神經(jīng)網(wǎng)絡(luò)鑒別退化圖像的模糊類型[J].光學(xué)技術(shù),2006,32(1):138-140.Yin Bing,Wang Yan-bin,Liu Wei.Blur identification of the degraded images by neural network[J].Optical Technique,2006,32(1):138-140.
[13]Li Da-long,Mersereau Russell M,Simske Steven.Blind image deconvolution through support vector regression[J].IEEE Transactions on Neutral Networks,2007,18(3):931-935.
[14]王婷.退化圖像的復(fù)原改進(jìn)算法研究與實現(xiàn)[D].哈爾濱:哈爾濱工程大學(xué),2007.Wang Ting.The study and realization about the improved restoration algorithm of degraded image[D].Harbin:University of Harbin Engineering,2007.
[15]彭青建.運動模糊圖像復(fù)原算法研究[D].西安:電子科技大學(xué),2010.Peng Qing-jian.Motion-blur image restoration algorithm research[D].Xi'an:University of ESTC,2010.
[16]陶青川,鄧宏彬.基于小波變換的高斯點擴展函數(shù)估計[J].光學(xué)技術(shù),2004,30(3):284-288.Tao Qing-chuan,Deng Hong-bin.Wavelet transform based Gaussian point spread function estimation[J].Optical Technique,2004,30(3):284-288.
[17]呂成淮,何小海,陶青川,等.圖像復(fù)原中高斯點擴展函數(shù)參數(shù)估計算法研究[J].計算機工程與應(yīng)用,2007,43(10):31-34.Lyu Cheng-h(huán)uai,He Xiao-h(huán)ai,Tao Qing-chuan,et al.Research on estimation algorithms for Gaussian point spread function parameter in image restoration[J].Computer Engineering and Applications,2007,43(10):31-34.
[18]Fu Qiang,Li Yi-bing,Liu Yue.Improving image quality in poor visibility with retinex-based adaptive image eenhancement method[J].International Journal of Digital Content Technology and Its Applications,2011,5(10):296-301.