張寶山, 楊 燕, 陳高科, 周 杰
(蘭州交通大學 電子與信息工程學院,甘肅 蘭州 730070)
圖像去霧問題大致分為2類:圖像增強方法和圖像復原方法。前者以提高圖像對比度為目的,增加處理后圖像的細節(jié)。后者通過分析霧圖降質的原理,根據(jù)霧圖退化模型,求解去霧圖像。文獻[1~3]為早期采取的去霧方法,以Retinex算法為代表,通過提高圖像對比度達到了去霧的視覺效果,但并不能從根本上去霧。文獻[4]通過提高結果圖像的局部對比度,達到了視覺效果去霧目的,但算法并未考慮物理模型的透射率,恢復的圖像出現(xiàn)了過度飽和的現(xiàn)象。文獻[5]利用了數(shù)據(jù)統(tǒng)計理論,假設場景色度和介質傳播率不相關的特性估計反射率,以此推斷出場景光在空氣中傳播時的透射率,達到了去霧的目的,但去霧效果很大程度上取決于輸入圖像的統(tǒng)計特性,在獨立成分變化不顯著的區(qū)域去霧效果并不理想。文獻[6]基于大氣耗散函數(shù)在可行域中逼近最大值的假設,利用中值濾波的變形形式估計大氣耗散函數(shù),但該算法參數(shù)較多,不易調整,且不恰當?shù)膮?shù)設置引入了光環(huán)(Halo)效應。文獻[7]通過聯(lián)合雙邊濾波估計大氣耗散函數(shù)間接求得透射率,實現(xiàn)了快速去霧。文獻[8]是何愷明博士在2009年提出的暗通道先驗原理,通過統(tǒng)計大量無霧室外圖像得到先驗信息,即在非天空區(qū)域的局部區(qū)域內至少有一個通道的值很小,根據(jù)大氣散射模型求出了透射率的粗略估計,通過SoftMatting細化透射率,恢復出了無霧圖像。這是目前單幅圖像去霧領域中最有效的方法,但由于采用了Soft Matting細化透射率的方法,需要消耗大量的時間。由于天空、白云等區(qū)域不符合暗通道原理,算法估計的透射率在以上幾種區(qū)域偏小,導致了恢復的圖像色彩失真,影響了圖像的視覺效果。文獻[9]利用引導濾波代替Soft Matting細化透射率,極大地縮短了圖像處理的時間,但方法用有霧圖像作為引導圖,致使恢復的圖像總是存在一定程度的霧。
為改善暗通道先驗算法的不足,本文提出了一種結合直方圖均衡化算法的快速去霧算法。
在計算機視覺和圖形領域中,單色大氣散射模型[10,11]廣泛用于描述霧霾圖像的形成過程
I(x)=J(x)t(x)+A(1-t(x))
(1)
式中x為圖像的空間坐標;I為有霧圖像;J為場景的輻射強度值,即無霧圖像;t為透射率,表示光線經過散射作用后到達成像設備時剩余光能量的能力;A為大氣光強度;J(x)t(x)為場景的直接衰減項;A(1-t(x))為環(huán)境光項。
通過大量的統(tǒng)計數(shù)據(jù)表明,在絕大多數(shù)彩色圖像的非天空區(qū)域中,總存在至少一個顏色通道的值很低,即暗通道
(2)
式中Ω(x)為以x為中心的窗口;c為彩色圖像RGB空間的三個顏色通道。無霧圖像非天空區(qū)域,暗通道Jdark(x)的值均很低,且趨于零,即
Jdark→0
(3)
假設大氣光A的值已知,將式(1)等號兩邊同時除以A,并且取最小值,得到
(4)
(5)
(6)
(7)
實際上,使在晴朗的天空中亦存在著一定數(shù)量的散射顆粒,而且一定量霧是估計景深的基礎,因此,在式(7)中引入一個恒定的參數(shù),ω,0<ω≤1
(8)
根據(jù)式(1)、式(3)、式(8)可得復原圖像為
(9)
式中t0為為防止透射率過低而設置的一個下限值。
根據(jù)暗通道先驗算法估計初始透射率,即將式(7)代入式(9)直接參與無霧圖像恢復,恢復的圖像存在嚴重的光暈現(xiàn)象,如圖1所示。
如圖1(c)所示,式(7)直接參與圖像恢復得到的圖像存在嚴重的Halo效應,文獻[12]分析得出光暈產生的原因是暗通道求取時采用了塊操作。在對景深突變處的某個像素值很小或某個像素值很小的像素點x求取暗通道時,以該點為中心的m×m范圍內像素的暗通道值受其“連累”,使得原本暗通道值較大的像素點的暗通道值變小,暗通道向外“擴張”,覆蓋了景深較大部分的一些邊緣。此時,在透射率圖像上,這些點處的透射率隨之變大,使得在復原圖像景深突變處出現(xiàn)了Halo效應或者去霧不徹底的現(xiàn)象。
對圖像進行直方圖均衡化處理,可使原本比較少像素的灰度分配到其他的灰度中,處理后灰度范圍變大,對比度變大,能有效提高了圖像細節(jié)。直方圖均衡化是圖像處理領域中利用圖像直方圖對對比度進行調整的方法。通過這種方法,亮度可以更好地在直方圖上分布,可用于增強局部的對比度而不影響整體的對比度。
對有霧圖像圖1(a)取最小值
(10)
圖1(a)的最小值圖像如圖2(a)所示,其相應的直方圖如圖2(d)所示,最小值圖像的強度值集中在[0,0.6]。
圖2 最小值圖像的處理圖像及其直方圖
文獻[9]中選取原有霧圖像的3個通道作為引導圖,當平均3個通道的濾波結果時,會使得霧區(qū)的透射率偏大,根據(jù)式(9)可知,偏大的透射率將導致算法去霧能力減弱。同時,由于選取了3個通道使得該算法的時間復雜度較高。而圖2(a)中含有大量有霧圖像的細節(jié)信息,直接選取圖2(a)作為初始透射率的引導圖進行引導濾波,可有效降低算法的時間復雜度。但此時有霧圖像的最小值圖像仍然具有大量的污染噪聲,將圖2(a)作為引導圖進行引導濾波,得到的透射率在遠景區(qū)域仍然偏大。因此,對最小值圖像進一步處理。通過直方圖均衡化的方式,可以提高最小值圖像的對比度,達到了對最小值圖像去霧的效果,減小霧對最小值圖像的污染。
為了簡化表達,直方圖均衡化采用函數(shù)histeq()表達。圖2(a)直方圖均衡化后的最小值圖像如圖2(b)所示,其表達式為
V′(x)=histeq(V(x))
(11)
對比圖2(d)和圖2(e),圖2(a)中的灰度基本擴展到了全部灰度級范圍,反映到圖2(b)中可以明顯得到對比度更高的最小值圖像。
圖3 不同引導圖透射率圖像
將圖2(b)作為引導圖,對透射率圖像進行引導濾波,所得到的細化的透射率圖如圖3(b)所示。通過對比圖3(a)和圖3(b),圖3(b)在近景樹葉區(qū)域的透射率與圖3(a)相似,但是遠景區(qū)域的透射率明顯小很多。而且圖3(b)透射率圖的層次感分明,克服了文獻[4]中對遠景區(qū)域透射率估計過大而導致恢復圖像顏色失真的問題。
綜合考慮濾波效果及實際應用的實時性要求,采用雙邊濾波器作為平滑濾波器,其數(shù)學表達式為
IB(x)=
(12)
式中fs為空間高斯函數(shù),用于表征空間鄰近度;fr為值域高斯函數(shù),用于表征灰度相似度;δ為方差;x為圖像的像素點位置;S為以x為中心的空域模板大小;y為S空域模板內除x點的其他像素位置;R為值域模板大小;α為以I(x)為中心的R模板內的強度值。為簡化表述,采用函數(shù)Bil()表示雙邊濾波。
最小值圖像圖2(a)經過直方圖均衡化后,得到對比度增強的圖像圖2(b),雖然提升對比度具有一定的去霧效果,但也放大了最小值圖像的紋理效應,如圖2(b)方框內所示。用V′(x)作為引導圖細化透射率,得到的結果如圖3(b)所示,雖然較最小值圖像直接做引導圖得到的透射率圖要好,但在圖3(b)方框處,仍然具有較強的紋理效應。
雙邊濾波的特點在于其權值由空間高斯函數(shù)和值域高斯函數(shù)兩項的乘積構成。對于與中心點相鄰且灰度差值小的像素雙邊濾波賦予了較大的權值,而對于與中心點相鄰且灰度差值大的像素雙邊濾波賦予了較小的權值。因此,雙邊濾波能在保持圖像的邊緣細節(jié)的同時很好地平滑圖像。將圖2(b)進行雙邊濾波,其表達式為
V″(x)=Bil(V′(x))
(13)
圖2(b)經過雙邊濾波后如圖2(c)所示,方框內紋理效應得到了明顯抑制,其相應的直方圖如圖2(f)所示。將圖2(c)作為引導圖像細化透射率,其結果如圖3(c)所示。對比圖3(b)和圖3(c),可明顯的觀察到圖3(c)中矩形框區(qū)域內的紋理效應被濾除,且在近景樹葉部分的邊緣完好地保存了下來。
文獻[7]認為可選擇有霧圖像中亮度最高的像素點的值作為大氣光的值,具體算法是從暗通道圖像中按照亮度的大小來取前0.1 %的像素。在有霧圖像中尋找對應的具有最高亮度的點的值作為大氣光值。但該方法極易將白色物體過高地估計為全局大氣光,導致恢復的圖像去霧不徹底。本文采取的大氣光算法是取暗通道圖像中亮度值在前0.1 %的像素點,將這些點在有霧圖像中的對應點的值求平均,作為大氣光值A。
1)對有霧圖像進行最小值處理,得到最小值圖像V(x);
2)將最小值圖像進行直方圖均衡并經雙邊濾波處理,得到V″(x);
3)利用最小值圖像V(x)計算有霧圖像I(x)的暗通道圖像,并得到初始透射率t′;
4)將V′(x)作為引導圖對t′進行引導濾波,得到細化后的透射率圖t;
5)選取大氣光值A;
6)利用透射率t恢復出無霧圖像J(x)。
本文算法結果均在CPU為Intel Core i5-3320M,內存為4 GB的計算機上運行所得。操作系統(tǒng)為Windows 7,仿真軟件為MATLAB 2014a。有霧圖像選自文獻[4]的實驗圖像和一些去霧領域中的經典測試圖像。采用的對比方法為文獻[7,9,14]中的方法。將實驗圖像全部歸一化到[0,1]范圍內,參數(shù)選擇如下:本文算法最小值濾波窗口尺寸Ω=7,根據(jù)文獻[4]的參數(shù)選擇,將透射率下限值t0設置為0.1。雙邊濾波的參數(shù)設置為S=0.02 min(h×w),R=15。引導濾波參數(shù):濾波半徑是選取最小值濾波窗口的8倍,即r=56,并將調整系數(shù)ε設置為0.01。
圖4~圖6給出了4種去霧方法的效果。圖4有霧圖像的大小為600×400;圖5有霧圖像的大小為600×450;圖6有霧圖像的大小為1 024×768??梢钥闯觯憾喑叨萊etinex算法恢復的圖像整體偏色嚴重,而Tarel的算法在物體邊緣處極易出現(xiàn)Halo效應,并且去霧效果并不徹底,以上2種方法恢復的效果并不理想。圖4(d)與圖4(e)對比十分明顯,圖4(e)方框內鐵盒子的表面光澤度明顯較圖4(d)真實,而且恢復的圖像整體亮度明顯更高。比較圖6(d)與圖6(e)可以看出:圖6(d)中方框內上方明顯偏亮,且下方圖像偏暗,較本文算法恢復的圖像欠明亮清晰。本文算法具有較好的清晰度和色彩恢復度,去霧效果更明顯。
圖4 火車圖像去霧效果對比
圖5 天安門圖像去霧效果對比
圖6 樹林圖像去霧效果對比
(14)
(15)
式中n0為有霧圖像的可見邊數(shù)目;nr為去霧圖像新增加的可見邊數(shù)目;ri為Pi處去霧圖像梯度與有霧圖像梯度的比值;φi為去霧圖像可見邊集合區(qū)域。
通過對有霧圖像的最小值圖像作直方圖均衡化并進行雙邊濾波,得到初始透射率的引導圖,經引導濾波后可以得到更為精細的透射率圖像,并且提高了運算效率。實驗結果表明,由本文算法得到的透射率恢復出的圖像具有更好的視覺效果,邊緣細節(jié)得到了更好的保留,尤其在圖像遠景區(qū)域,可得到更多的圖像細節(jié),同時降低了時間復雜度。本文算法改善了傳統(tǒng)暗通道先驗算法去霧能力較弱且運算速度慢的不足。實驗結果證明了本文算法的有效性。
表1 去霧結果對比
但算法在處理大面積天空區(qū)域時,仍存在一定的偏色現(xiàn)象。下一步的研究重點是深入研究大氣散射模型,得到更為精準的大氣光估計,在處理有霧圖像時糾正天空區(qū)域偏色嚴重的問題。
[1] Land E H.An alternative technique for the computation of the designator in the Retinex theory of color vision[J].National Academy Science,1986,83(10):3078-3080.
[2] Rizzi A,Marini D,Rovati L L,et al.Unsupervised corrections of unkown chromatic dominants using a Brownian-path-based Retinex algorithm[J].Journal of Electronic Imaging,2003,12(3):431-441.
[3] Kimmel R,Elad M,Shaked D,et al.A variation framework for Retinex[J].Computer Vision,2003,52(1):7-23.
[4] Tan R T.Visibility in bad weather from a single image∥2008 IEEE Conference on Computer Vision and Pattern Recognition,CVPR 2008, IEEE,2008:1-8.
[5] Fattal R.Single image dehazing[J].ACM Transactions on Graphics (TOG),ACM,2008,27(3):72.
[6] Tarel J P,Hautiere N.Fast visibility restoration from a single color or gray level image∥2009 IEEE 12th International Confe-rence on Computer Vision,IEEE,2009:2201-2208.
[7] 陳 龍,郭寶龍,畢 娟,等.基于聯(lián)合雙邊濾波的單幅圖像去霧算法[J].北京郵電大學學報,2012(4):19-23.
[8] He K,Sun J,Tang X.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.
[9] He K,Sun J,Tang X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.
[10] Narasimhan S G,Nayar S K.Vision and the atmosphere[J].International Journal of Computer Vision,2002,48(3):233-254.
[11] Narasimhan S G,Nayar S K.Chromatic framework for vision in bad weather[C]∥Proceedings of 2000 IEEE Conference on Computer Vision and Pattern Recognition,IEEE,2000:598-605.
[12] 鐘乾龍.單幅圖像去霧處理算法研究及軟件實現(xiàn)[D].成都:西南交通大學,2012.
[13] Hautiere N,Tarel J P,Aubert D,et al.Blind contrast enhancement assessment by gradient ratioing at visible edges[J].Image Analysis & Stereology Journal,2008,27(2):87-95.
[14] Gibson K B,Vo D T,Nguyen T Q.An investigation of dehazing effects on image and video coding[J].IEEE Transactions on Image Processing,2012,21(2):662-673.