王偉,鄭津津,劉星,周洪軍,沈連婠
(1.中國(guó)科學(xué)技術(shù)大學(xué)精密機(jī)械與精密儀器系,安徽合肥 230027;2.中國(guó)科學(xué)技術(shù)大學(xué)國(guó)家同步輻射實(shí)驗(yàn)室,安徽合肥 230029)
運(yùn)動(dòng)模糊大多數(shù)情況下是由相機(jī)抖動(dòng)造成的,很多情況下沒(méi)有足夠的光照來(lái)避免使用長(zhǎng)曝光時(shí)間,不可避免地得到拍攝結(jié)果不滿(mǎn)意的模糊圖像.從單獨(dú)一張運(yùn)動(dòng)模糊圖像恢復(fù)出一張非模糊圖像在數(shù)字圖像處理領(lǐng)域一直是個(gè)基礎(chǔ)性研究問(wèn)題.如果模糊核(或者叫點(diǎn)擴(kuò)散函數(shù))是線性移不變的話,問(wèn)題就簡(jiǎn)化成了圖像去卷積.圖像去卷積又可以分成盲恢復(fù)和非盲恢復(fù).在非盲恢復(fù)的情況下,運(yùn)動(dòng)模糊核認(rèn)為是已知或者已經(jīng)計(jì)算得到的,剩下的任務(wù)就是估計(jì)出原始圖像.傳統(tǒng)方法有維納提出的維納濾波[1]、Richardson 和 Lucy共同提出的 Lucy-Richardson濾波[2],它們雖然年代久遠(yuǎn),但是由于簡(jiǎn)單實(shí)用,仍然在圖像恢復(fù)中廣泛運(yùn)用.盲恢復(fù)情況下,問(wèn)題變得更加病態(tài)化,因?yàn)槟:撕驮紙D像都是未知的.自然圖像的結(jié)構(gòu)和模糊核形狀的多樣性使得先驗(yàn)分布很容易就過(guò)擬合或者欠擬合.盲去卷積是個(gè)更具挑戰(zhàn)性和病態(tài)的難題,因?yàn)槟:宋粗?一些技術(shù)利用額外的輸入能夠使問(wèn)題更易處理,比如多幅圖像.Rav-Acha利用2幅運(yùn)動(dòng)模糊圖像的信息[3],Yuan用一副含噪和一副模糊圖像來(lái)優(yōu)化低光照條件下的拍攝效果;其他去模糊系統(tǒng)充分利用了額外特定的硬件設(shè)備[4],Ben-Ezra和Nyar通過(guò)一個(gè)低分辨率的相機(jī)和一個(gè)高分辨率的相機(jī)來(lái)估計(jì)模糊核[5];Rasker拍動(dòng)相機(jī)的快門(mén),使其在曝光時(shí)一會(huì)兒開(kāi)一會(huì)兒關(guān),來(lái)使高空間和高頻率的信息損失減少[6].這些方法中,目標(biāo)的運(yùn)動(dòng)路徑必須由用戶(hù)指定.
在直線運(yùn)動(dòng)模糊圖像參數(shù)確定上,目前主要分為頻域法和空域法兩大類(lèi).頻域法中主要方法是由Canon提出的檢測(cè)模糊圖像頻譜圖中黑色條紋個(gè)數(shù)的方法[7];空域法中較有影響力的是Yitzhaky提出的計(jì)算模糊圖像的自相關(guān)函數(shù)法[8].本文所做工作就是估計(jì)出運(yùn)動(dòng)模糊參數(shù),使盲恢復(fù)問(wèn)題轉(zhuǎn)化為非盲恢復(fù)來(lái)解決.
在旋轉(zhuǎn)運(yùn)動(dòng)模糊參數(shù)的確定上,國(guó)內(nèi)外的研究并不多,一般是事先默認(rèn)已獲得了退化參數(shù),然后利用bresenham畫(huà)圓算法提取像素點(diǎn)并進(jìn)行重排列[9],再運(yùn)用直線運(yùn)動(dòng)模糊的參數(shù)估計(jì)方式進(jìn)行處理.
本文在分析運(yùn)動(dòng)模糊特性的基礎(chǔ)上,針對(duì)不同運(yùn)動(dòng)模糊方式,提出了由粗及精的自適應(yīng)參數(shù)估計(jì)方法,為后續(xù)圖像復(fù)原工作提供模糊參數(shù).
對(duì)于運(yùn)動(dòng)模糊圖像來(lái)說(shuō),它每一點(diǎn)的灰度值是在運(yùn)動(dòng)參數(shù)所確定的路徑上各景物點(diǎn)灰度值的線性迭加.根據(jù)運(yùn)動(dòng)模糊降值的特點(diǎn),通過(guò)一定算法構(gòu)造出與退化原理相似的恢復(fù)模型,使得模糊圖像盡量清晰,還原出那些被模糊掉的有用信息,無(wú)論在航空航天、道路交通、醫(yī)學(xué)圖像、工業(yè)控制等領(lǐng)域都是有重要意義的.首先要分析的是圖像降值退化的過(guò)程,圖1為圖像退化過(guò)程的示意圖.
圖1 圖像退化過(guò)程模型Fig.1 Model of image degrading
假定成像系統(tǒng)是線性位移不變系統(tǒng),則獲取的圖像g(x,y)表示為
式中:f(x,y)表示理想沒(méi)有退化的圖像,g(x,y)表示退化后的圖像,h(x,y)表示系統(tǒng)退化核函數(shù)(點(diǎn)擴(kuò)散函數(shù)),*表示卷積,n(x,y)表示加性噪聲.
對(duì)式(1)兩邊進(jìn)行傅里葉變換,得
式中:H(u,v)稱(chēng)為系統(tǒng)的傳遞函數(shù),從頻率域角度看,它使圖像退化,因而反映了成像系統(tǒng)的性能.
先討論直線運(yùn)動(dòng)模糊狀況:設(shè)圖像f(x,y)在平面上相對(duì)運(yùn)動(dòng),x0(t)、y0(t)分別是物體在x、y方向上的運(yùn)動(dòng)分量,t是運(yùn)動(dòng)時(shí)間,T是曝光時(shí)間,則退化圖像g(x,y)是T時(shí)間內(nèi)的積分:
為方便討論,假設(shè)僅是x方向的運(yùn)動(dòng),且令曝光時(shí)間T內(nèi)的總移動(dòng)量為a,則
所以有
相應(yīng)的系統(tǒng)退化函數(shù)為
這表明,系統(tǒng)退化函數(shù)在運(yùn)動(dòng)方向上為sinc函數(shù),具有帶狀調(diào)制的外觀,h(x)和H(u)的函數(shù)圖像如圖2所示.
圖2 勻速直線運(yùn)動(dòng)模糊點(diǎn)擴(kuò)散函數(shù)和傳遞函數(shù)Fig.2 PSF and transfer function of line motion blur
由圖2可以看出,運(yùn)動(dòng)模糊的傳遞函數(shù)H(u)在u=n/a處為零,其中n為整數(shù).
再來(lái)分析一下旋轉(zhuǎn)運(yùn)動(dòng)模糊的退化機(jī)理.若只考慮某一條圓弧上的圖像像素模糊退化模型,該圓弧即為一模糊路徑,若該圓弧半徑為r,曝光時(shí)間為T(mén),旋轉(zhuǎn)角速度為ω,則模糊角度θ=ωT,則退化圖像g(x,y)是T時(shí)間內(nèi)的積分:
表示為極坐標(biāo)形式為
式中:x0(t)=rcos(ωt),y0(t)=rsin(ωt).
令 l=rθ,s=rωt,并將 r表示為下標(biāo)形式,則有
整理得
令 ar=2πT,則
這就是旋轉(zhuǎn)模糊運(yùn)動(dòng)的數(shù)學(xué)模型.
運(yùn)動(dòng)模糊參數(shù)估計(jì)的關(guān)鍵是建立正確的模糊系統(tǒng)模型.
模糊方向和模糊尺度是直線運(yùn)動(dòng)模糊的2個(gè)重要參數(shù).
由于傳輸函數(shù)零點(diǎn)的存在,可推知模糊圖像的頻譜上有一系列的平行暗條紋,并且條紋的位置一一對(duì)應(yīng)于各零點(diǎn).由圖像的運(yùn)動(dòng)分析可知運(yùn)動(dòng)方向垂直于這些暗條紋.Paul Hough于1962年提出的Hough變換屬于特征提取技術(shù),最初只是用于二值圖像直線檢測(cè),后來(lái)擴(kuò)展到圓等任意形狀的檢測(cè).Hough變換的基本原理在于利用點(diǎn)與線的對(duì)偶性,將原始圖像空間中的給定曲線變?yōu)閰?shù)空間的一個(gè)點(diǎn).這樣就將原始圖像中給定曲線的檢測(cè)問(wèn)題轉(zhuǎn)化為尋找參數(shù)空間中的峰值問(wèn)題[10].
運(yùn)用邊緣檢測(cè)算子可以檢測(cè)出灰度或者二值圖像的邊界,在經(jīng)過(guò)實(shí)驗(yàn)比較以后,發(fā)現(xiàn)canny算子能夠很好地檢測(cè)出運(yùn)動(dòng)模糊頻譜的邊緣,它檢測(cè)的方法是使用2個(gè)閾值來(lái)尋找圖像梯度的局部最大值[11].
基于上述分析,對(duì)原圖像進(jìn)行傅里葉變換所得的圖像,取其模值的對(duì)數(shù).由于傅里葉變換的疊加性,同樣可見(jiàn)在垂直于θ的方向有2條亮線,對(duì)圖像進(jìn)行canny算子邊緣提取,得到二值化的2條直線如圖3所示.再利用Hough變換檢測(cè)直線的方向即可得運(yùn)動(dòng)模糊圖像的相對(duì)運(yùn)動(dòng)方向θ,兩直線間的距離即為2倍的模糊尺度 s.求得的點(diǎn)擴(kuò)散函數(shù)h(x,y)如圖4 所示.
圖3 Canny算子邊緣提取結(jié)果Fig.3 Edge extracted by canny operator
圖4 直線運(yùn)動(dòng)模糊的點(diǎn)擴(kuò)散函數(shù)Fig.4 PSF path of linear motion blur parameter
鄒謀炎在文獻(xiàn)[12]中提出誤差-參數(shù)分析法,當(dāng)參數(shù)從大到小變化時(shí),誤差參數(shù)曲線在真正參數(shù)附近的變化率顯著變小,據(jù)此可得參數(shù)的估計(jì)值.
根據(jù)上述2種思想,可以根據(jù)Hough變換的方法來(lái)確定退化參數(shù)的大概范圍,然后再利用誤差-參數(shù)法來(lái)進(jìn)一步確定,根據(jù)圖像恢復(fù)質(zhì)量的優(yōu)劣來(lái)確定最優(yōu)解,以下是程序算法步驟:
1)首先對(duì)直線運(yùn)動(dòng)模糊圖像進(jìn)行對(duì)數(shù)傅里葉變換得到G1;
2)用canny算子提取G1邊緣得到G2,通過(guò)Hough變換檢測(cè)G2圖中直線的方向,即為模糊方向θ;
3)對(duì)G2進(jìn)行θ角度旋轉(zhuǎn),然后將所有像素向水平軸上投影,得到曲線相鄰極小值之間的距離即為條紋寬度s;
4)將s±5作為搜索范圍,選定迭代步長(zhǎng).for i=1:10
由參數(shù)α產(chǎn)生點(diǎn)擴(kuò)散函數(shù)h,用維納濾波復(fù)原算法,由h和觀測(cè)圖像y確定圖像x,
5)作出E-α曲線,由此判定實(shí)際點(diǎn)擴(kuò)散函數(shù)的參數(shù)值α,進(jìn)而獲得實(shí)際的點(diǎn)擴(kuò)散函數(shù).
旋轉(zhuǎn)運(yùn)動(dòng)模糊的2個(gè)參數(shù)為旋轉(zhuǎn)運(yùn)動(dòng)中心和旋轉(zhuǎn)運(yùn)動(dòng)角度.同樣地,根據(jù)邊緣提取的方法,提取旋轉(zhuǎn)運(yùn)動(dòng)模糊的模糊圓弧,然后根據(jù)3種不同的方法[13]來(lái)找圓弧,估計(jì)出旋轉(zhuǎn)運(yùn)動(dòng)的圓心,并用聚類(lèi)方法確定最后的估計(jì)結(jié)果,最后根據(jù)bresenham畫(huà)圓結(jié)合極坐標(biāo)轉(zhuǎn)換方法算出旋轉(zhuǎn)運(yùn)動(dòng)角度,從而確定退化模糊參數(shù).
具體操作如下:
1)首先對(duì)旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像進(jìn)行邊緣提取.
2)挑出規(guī)則的候選圓弧段,用三點(diǎn)找圓心法、Hough變換法和最小二乘擬合3種方法.分別對(duì)每一段候選圓弧進(jìn)行擬合并求出圓心參數(shù),最后對(duì)所有得到的參數(shù)進(jìn)行聚類(lèi)并用類(lèi)心作為旋轉(zhuǎn)中心的估計(jì)結(jié)果.
3)將圖像由極坐標(biāo)系轉(zhuǎn)換為直角坐標(biāo)系,利用bresenham畫(huà)圓算法提取像素點(diǎn),對(duì)每行相對(duì)空間不變模糊的情況下進(jìn)行直線運(yùn)動(dòng)模糊估計(jì)確定s,s/r作為θ的初始值,根據(jù)θ來(lái)確定退化的點(diǎn)擴(kuò)散函數(shù).
4)將θ±5作為搜索范圍,選定迭代步長(zhǎng)0.5°.for i=1:10
由參數(shù)θ產(chǎn)生點(diǎn)擴(kuò)散函數(shù)h,用維納濾波復(fù)原算法,由h和觀測(cè)圖像y確定圖像x,
5)作出E-α曲線,由此判定實(shí)際點(diǎn)擴(kuò)散函數(shù)的參數(shù)值α,進(jìn)而獲得實(shí)際的點(diǎn)擴(kuò)散函數(shù).
為了驗(yàn)證算法的效果,選取一張256×256的8位灰度級(jí)的lena圖像作為測(cè)試圖像.直線運(yùn)動(dòng)模糊選取的參數(shù)為模糊角度為70°,模糊尺度為30個(gè)像素.圖5顯示的是實(shí)際模糊參數(shù)為(30,70°)的直線運(yùn)動(dòng)模糊Lena圖像及其頻譜.圖6是不同直線運(yùn)動(dòng)模糊參數(shù)恢復(fù)出的圖像的PSNR值曲面圖.
圖5 直線運(yùn)動(dòng)模糊圖像及其對(duì)數(shù)頻譜Fig.5 Linear motion blur image with frequency spectrum
圖6 不同直線運(yùn)動(dòng)模糊參數(shù)恢復(fù)出的PSNR曲面Fig.6 PSNR curved surface restored by different linear motion blur parameters
表1顯示的是針對(duì)不同直線運(yùn)動(dòng)模糊參數(shù),本文算法和Yizhaky提出的傳統(tǒng)頻域方法識(shí)別得到的估計(jì)結(jié)果對(duì)比.
表1 直線運(yùn)動(dòng)模糊參數(shù)隨機(jī)抽測(cè)樣本Table 1 Results of parameter detection
圖7為利用本算法檢測(cè)出模糊參數(shù)后進(jìn)行維納濾波恢復(fù)后的圖像.
圖7 s=30,q=70運(yùn)動(dòng)模糊及其恢復(fù)圖像Fig.7 Linear motion blur image with s=30,q=70
旋轉(zhuǎn)運(yùn)動(dòng)模糊選取的仿真實(shí)驗(yàn)參數(shù)為圓心在圖片中心即(128,128),旋轉(zhuǎn)角度為 20°.
圖8是實(shí)際模糊參數(shù)為((128,128),20°)的旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像及其頻譜.圖9是canny算子進(jìn)行邊緣提取后的結(jié)果.圖10是不同旋轉(zhuǎn)角度恢復(fù)出的圖像的PSNR值曲線圖(20°對(duì)應(yīng)最高PSNR,即為估計(jì)出的旋轉(zhuǎn)運(yùn)動(dòng)角度).表2給出的是不同擬合方法得到的旋轉(zhuǎn)圓心坐標(biāo).圖11是利用表2估計(jì)出的旋轉(zhuǎn)運(yùn)動(dòng)圓心坐標(biāo)和圖10估計(jì)出的旋轉(zhuǎn)角度,最后按極坐標(biāo)重新排列得到的恢復(fù)結(jié)果圖.
圖8 旋轉(zhuǎn)運(yùn)動(dòng)模糊圖像及其頻譜Fig.8 Rotation blur image and its frequency spectrum
圖9 Canny算子提取結(jié)果Fig.9 Edge extracted by canny operateor
圖10 不同旋轉(zhuǎn)運(yùn)動(dòng)模糊參數(shù)恢復(fù)出的PSNR曲線Fig.10 PSNR curve corresponding to different rotate motion blur parameters
表2 旋轉(zhuǎn)運(yùn)動(dòng)模糊圓心隨機(jī)抽測(cè)樣本Table 2 Results of parameter detection
圖 11 ((128,128),20°)運(yùn)動(dòng)模糊及其恢復(fù)圖像Fig.11 Rotation blur image with((128,128),20°)
以上2組測(cè)試數(shù)據(jù)表明,本文算法在大多數(shù)情形下都能準(zhǔn)確估計(jì)出運(yùn)動(dòng)模糊參數(shù),相比傳統(tǒng)意義上的頻域方法效果更好,而且步驟也并不復(fù)雜多少.對(duì)于大模糊尺度下如何進(jìn)行恢復(fù)是個(gè)病態(tài)問(wèn)題,原因是大模糊尺度(如45個(gè)像素以上模糊)會(huì)使圖像丟失很多信息,諸如邊界像素等.
通過(guò)對(duì)不同運(yùn)動(dòng)形式的運(yùn)動(dòng)模糊圖像的退化模型進(jìn)行數(shù)學(xué)分析,根據(jù)不同運(yùn)動(dòng)模糊圖像的特點(diǎn),提出了自適應(yīng)的模糊參數(shù)檢測(cè)方法.通過(guò)對(duì)多幅圖像不同運(yùn)動(dòng)模糊參數(shù)測(cè)試的實(shí)驗(yàn)證明,該方法可以便捷有效地估計(jì)出中小尺度運(yùn)動(dòng)模糊圖像的模糊參數(shù),能真實(shí)反映實(shí)際運(yùn)動(dòng)模糊參數(shù),并且恢復(fù)效果良好.要在大模糊尺度下進(jìn)行參數(shù)估計(jì),只需改變參數(shù)變化范圍.但不可避免地,由于大模糊尺度下的運(yùn)動(dòng)模糊,導(dǎo)致信息的過(guò)多損失,不僅計(jì)算量會(huì)增加,而且估計(jì)出的模糊參數(shù)結(jié)果遠(yuǎn)遠(yuǎn)不如小模糊尺度準(zhǔn)確,有興趣的讀者可以利用本文算法一試,這是以后作者要改進(jìn)和解決的一個(gè)方向.
[1]WIENER N.Extrapolation,interpolation,and smoothing of stationary time series[M].New York:Wiley,1949:2-15.
[2]WILLIAM H R.Bayesian-based iterative method of image restoration[J].Journal of the Optical Society of America,1972,62(1):55-59.
[3]RAVACHA A,ANDPELEG S.Two motion blurred images are better than one[J].Pattern Recognition Letters,2005,26:311-317.
[4]YUAN L,SUN J,QUAN L,et al.Image deblurring with blurred noisy image pairs[J].ACM Trans Graphics,2007,26(3):1-10.
[5]BENEZRA M,ANDNAYAR,S.K.Motion-based motion deblurring[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2004,26(6):689-698.
[6]RASKAR R,AGRAWAL A,ANDTUMBLIN J.Coded exposure photography:motion deblurring using fluttered shutter[J].ACM Transactions on Graphics,2006,25(3):95-804.
[7]HUNT B R,CANNON T M.Nonstationary assumptions of Gaussian models of images[J].IEEE Transactions on Systems,Man,and Cybern,1976,2:876-882.
[8]YITZHAKY Y,KOPEIKA N S.Identification of blur parameters from motion blurred images[J].Graphical Models and Image Processing,1997,59(5):321-332.
[9]JACK E.BRESENHAM.Algorithm for computer control of a digital plotter[J].IBM Systems Journal,1965,4(1):25-30.
[10]DUDA R O,HART P E.Use of the hough transformation to detect lines and curves in pictures[J].Communications of the ACM,1972,15:11-15.
[11]CANNY J.A computational approach to edge detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.
[12]鄒謀炎.反卷積和信號(hào)復(fù)原[M].北京:國(guó)防工業(yè)出版社,2001:200-202.
[13]ALDRICH J.Doing least squares:perspectives from Gauss and Yule[J].International Statistical Review,1998,66(1):61-81.