楊 帥,張 明

(上海海事大學(xué) 信息工程學(xué)院,上海 201306)

對現(xiàn)代計算機視覺系統(tǒng)圖像去霧研究[1]而言,霧霾天氣是影響圖像清晰度的重要因素之一,由于大氣污染的持續(xù)存在,導(dǎo)致光學(xué)傳感器獲取的圖像嚴重降質(zhì),直接影響航空、海運和道路交通安全.其中如各類監(jiān)控系統(tǒng),在大霧或者惡劣天氣下往往無法正常工作.因此,簡單有效的圖像去霧算法越來越成為計算機視覺系統(tǒng)中不可或缺的部分,對系統(tǒng)的健壯性和魯棒性具有一定的意義.

目前,單幅圖像去霧有了很好的研究,其中包括直方圖均衡化算法[2]、同態(tài)濾波算法[3]、以及Retinex[4]算法等.由于霧化的圖像質(zhì)量較低與場景點到成像傳感器的距離成指數(shù)關(guān)聯(lián),導(dǎo)致霧天遠近景增強后的場景深度信息丟失,顏色失真也較為明顯.最新的是基于大氣散射場物理模型[5]的方法.這類方法通過分析圖像降質(zhì)的機理,基于大氣散射場規(guī)律建立了圖像退化模型,求解去霧后的圖像,具有內(nèi)在的優(yōu)越性.但是,這一方法需要掌握大氣光強和場景深度.為了達到較好的應(yīng)用,基于單幅圖像去霧算法的研究[6]已成為當今熱點.

何凱明[7]提出了暗原色先驗理論的去霧算法,在圖像信息研究幾十年的當今社會,該理論的誕生發(fā)現(xiàn)了圖像本質(zhì)的新特性,無疑是計算機視覺領(lǐng)域的一大突破.該算法利用暗原色先驗粗估計介質(zhì)透射率,并借助軟摳圖算法細化透射率,估算出大氣光強,最后基于大氣散射場模型復(fù)原出無霧圖像.該算法雖然對一般戶外圖像去霧取得了不錯的效果,但該算法建立在暗原色假設(shè)上,對圖像中的強光區(qū)域,透射率估計偏小,結(jié)果出現(xiàn)色彩失真.

本文基于暗原色先驗的原理,對該算法進行了部分改進.首先,介紹基于暗原色先驗原理的去霧算法;之后,分析暗原色先驗算法的不足部分,并加以優(yōu)化;最后,通過實驗展示和客觀評價表明算法優(yōu)化的可行性.

1 暗原色先驗去霧

1.1 大氣散射場模型

在計算機視覺與圖像處理中,公式(1)描述了霧化圖像的散射模型：

其中,I(x)是去霧前圖像強度,J(x)是去霧后圖像強度,A是大氣光強,t(x)為霧的濃度,即透射率.其中前一項t(x)J(x)為像素衰減項,(1-t(x))A為折損光強.后式ρ(x)為反照率.

1.2 暗原色先驗

暗原色先驗是基于統(tǒng)計觀察戶外無霧圖像得出的結(jié)論：大部分的無霧圖像,在每個局部區(qū)域內(nèi)都存在著一個或多個顏色通道的強度值很低的像素點,這些區(qū)域就是圖像中的暗原色塊.對圖像J的定義：

Jdark(x)是以x像素點為中點的像素區(qū)域塊的暗原色,He等人[7]規(guī)定15×15像素來劃分圖像的區(qū)域塊,代表J的一個顏色通道,其中是以x為中心的一塊方形區(qū)域,經(jīng)過大量實驗觀察,在每個方形區(qū)域總存在灰度值很低的{R,G,B}通道,抽取出這些塊的灰度值,可以得到該圖的暗原色圖.

1.3 暗原色先驗去霧過程

首先,通過給定的大氣散射場模型,我們得知了圖像霧化的物理模型公式,假設(shè)給定A的情況下,(1)式兩邊同除A,并取區(qū)域塊中各顏色通道的最低灰度值,變換如下：

根據(jù)暗原色先驗的規(guī)律,無霧圖像的暗原色項Jdark趨近于0,導(dǎo)出如下公式：

把式(4)帶入式(3),求得透射率為：

對于處理后的圖像而言,徹底消除霧氣的存在,會導(dǎo)致圖像看起來不真實,所以,引入一個參數(shù)ω(0<ω<1),加在求取原圖區(qū)域塊的暗原色前,保留圖像遠景中的部分霧,ω在文獻[7]中取值為0.8,修改后公式：

通過以上方法只能粗略估算出圖像中的透射率,為了提高透射率精度,應(yīng)用一種導(dǎo)向濾波(Soft Matting)算法來完善透射率的離散分布函數(shù).推導(dǎo)出以下公式求解細化后的透射率t.

式(7)中,λ是一個修正參數(shù),L是拉普拉斯矩陣.

通過細化透射率后,得到的t(x),由式(8)推算出去霧的圖像：

其中,t0取0.1,A的估算取霧化圖的暗原色0.1%亮度最大的像素,并取其中亮度最大的作為A的固定值.但是,A并不一定是圖像中的最亮點.

對于大部分霧化圖像而言,暗原色先驗算法可以取得很好的處理效果,如圖1顯示,顏色恢復(fù)較為真實.圖2中顯示圖像復(fù)原后的J dark灰度分布直方圖,圖像整體灰度趨向于0,說明了暗原色理論的可靠性.

2 改進算法

2.1 自適應(yīng)取塊

本文基于暗原色先驗去霧的整個流程,從每一階段分析暗原色去霧算法可優(yōu)化的部分模塊.本文提出用自適應(yīng)取塊的方法改進以上算法的不足.由于圖像數(shù)據(jù)庫里面的圖片像素尺寸參差不齊,如果按照暗原色取塊15×15像素的方法,當處理大像素圖片時,會造成算法的時間復(fù)雜度增加,相反若處理的圖像像素過小,按照暗原色區(qū)域塊執(zhí)行程序,會造成區(qū)域塊暗原色錯誤估計,導(dǎo)致恢復(fù)后圖像塊狀化嚴重,圖像失真.基于此,本文采用自適應(yīng)取塊的方法,取原圖分辨率的2%自動調(diào)節(jié)暗原色區(qū)域塊.公式如下：

上式,Block為暗原色區(qū)域塊的像素個數(shù)(一般以矩陣顯示).這樣就可以自適應(yīng)的為圖像分塊,避免了用整齊劃一的方式來處理大小不一的圖像.

圖1 暗原色先驗去霧算法展示

圖2 霧化圖像暗原色灰度直方圖

2.2 大氣光值的估計

暗原色先驗去霧算法,對大氣光值A(chǔ)的估計是從暗原色中選取0.1%亮度最大的像素,然后取這些像素對應(yīng)于原圖像中的最大值作為大氣光值.如果圖像暗原色求取中塊的尺寸大于天空區(qū)域,天空區(qū)域可能會被過濾.所以,本文采用區(qū)間估計的方法,提高大氣光值估計的魯棒性.

考慮到原圖像的暗原色圖中白色物體對大氣光值估計的差異,對(1)式后式兩邊進行灰度開運算(先腐蝕再膨脹),可得：

式中,當開運算中元素的尺寸大于Idark中白色物體的尺寸時的取值趨向0.因此,式(10)可以改成：

進而推導(dǎo)出的表達式：

上式,t′(x)為透射率t(x)的初始值.

由于t′(x)中像素的取值不大于t(x)中像素的取值,所以A的取值應(yīng)大于中像素的最大值,則A可表示為：

又因為,通常情況下,A的取值不大于原圖像中像素的最大值.故此,A的取值為：

由式(14)我們可以推出A的區(qū)間估計為

式中,Δ為調(diào)節(jié)系數(shù),取值范圍為 0≤?≤1.本文定義的表達式為：

上式所表達的含義是,對開運算后的中所有元素求其幾何均值,n為圖像分辨率數(shù)比上區(qū)域分塊的分辨率數(shù),由于本算法采用的是自適應(yīng)取塊,所以n具體數(shù)值為2.5E+04.

2.3 高斯型雙邊濾波

圖3(b)顯示了暗原色先驗去霧過程中粗估計的透射率會導(dǎo)致去霧圖像產(chǎn)生白邊現(xiàn)象,這種現(xiàn)象是因為霧圖中遠近景的深度信息影響,導(dǎo)致邊緣差異過大,從而復(fù)原的圖像中會出現(xiàn)邊界白邊現(xiàn)象.為了解決這種現(xiàn)象,要對透射率圖進行適當?shù)募毣托迯?fù)處理.He[7]利用的是導(dǎo)向濾波方法.由于使用預(yù)處理共軛梯度算法求解大型稀疏矩陣(Matting Laplacian Matrix[8]),但是給整個運行過程帶來了巨大的計算量,占用了大量的時間和內(nèi)存,限制了算法的推廣.當然這些原因不是制約He[7]方法的關(guān)鍵,算法最主要的瓶頸還是計算速度和時間復(fù)雜度.

本文針對He[7]透射率細化方法復(fù)雜度高、運算時間長、不適合實時處理等問題,結(jié)合雙邊濾波[9]方法,提出了改進的高斯型雙邊濾波方法.該方法不僅可以平滑透射率,而且很好地保留了邊緣信息的突變景深.最重要的是,在算法復(fù)雜度上雙邊濾波方法比導(dǎo)向濾波方法有很大幅度地降低,一定程度上降低了時間復(fù)雜度.

圖3 邊界白邊現(xiàn)象

本文使用高斯型雙邊濾波,即空域和值域平滑函數(shù)均是高斯函數(shù).對于透射率t′(x)的粗估計,利用高斯型雙邊濾波進行細化操作,可表示為：

式中,t′(x)是應(yīng)用暗原色先驗求得的透射率粗估計值,?(x)表示中心點(x,y)的(2N+1)*(2N+1)大小的領(lǐng)域窗口,N為雙邊濾波器的半寬,其中越大,表示平滑效果越強.I是圖像的強度值.Ghs和Ghr為高斯函數(shù).w(x)為歸一化系數(shù),其表達式如下：

雙邊濾波器主要參數(shù)有：N,hs和hr.當濾波領(lǐng)域半徑N較小時,hs值接近1,作用發(fā)揮不好;當N較大時,會導(dǎo)致時間復(fù)雜度增加.在圖像平緩區(qū)域,領(lǐng)域內(nèi)亮度值比差小,此時雙邊濾波轉(zhuǎn)化為高斯低通濾波;而在圖像變劇烈的區(qū)域,邊緣點的亮度可以用附近亮度值相近的像素的代替,所以雙邊濾波既能平緩圖像又可以保持邊緣.

本文采用雙邊濾波對透過率圖修復(fù),進行了平滑和細化處理.如圖4所示.圖中4(b)給出了帶霧圖像的透射率粗估計圖,可以看出,圖中有明顯的塊狀效應(yīng),細化后圖中,He[7]的軟件摳圖效果最好,細節(jié)明顯,圖像層次感強(圖4(c)所示);本文雙邊濾波參數(shù)的選擇是：雙邊濾波器的半寬N=6.7,即雙邊濾波器窗口大小為：自適應(yīng)Block;空域高斯模板hs=5.8,值域高斯模板hr=0.29.從結(jié)果圖中可以看出,細節(jié)信息有所加強,修復(fù)后基本能抓住尖銳邊緣的不連續(xù)性,并且勾勒出物體的輪廓,消除白邊現(xiàn)象,較之粗估計的結(jié)果變得細膩、平滑(圖4(d)所示).

圖4 透射率細化圖

通過大量的實驗比較,如圖5所示,本文采用的雙邊濾波修復(fù)透射率方法,可以有效的去處邊緣的白邊現(xiàn)象,相比He[7]軟摳圖細化透射率方法,具有相似的處理效果,使得圖像突變邊緣平滑、細膩、真實率高,而且圖像復(fù)原后的去霧能力十分明顯,色彩飽和度和景深信息都到達較好的效果.最重要的是,處理的時間較He[7]的方法更短.

圖5 消除白邊現(xiàn)象對比圖

2.4 透射率容錯方法

文獻[7]中,明確說明基于圖像中包括天空、偏白色物體、水面等大面積強光區(qū)域,去霧后的區(qū)域會有部分背離原圖的地方.為了解決這個難點,需改進算法,實現(xiàn)不同場景下霧化圖像的去霧能力.

回溯式(3),在不考慮暗原色假設(shè)的前提下,真實的透射率如下所示：

在強光區(qū)域,透射率不會近似為0,實際的透射率要大于暗原色先驗細化估計的透射率假設(shè)在強光區(qū)域,應(yīng)用暗原色先驗原理,該區(qū)域的{R,G,B}顏色通道不會有明顯的暗色道,都接近白的灰度級1(歸一化).是三通道的灰度級綜合求彩色圖像.所以,當3通道方向不一致(有的通道大于A,有的通道小于A)時,通道間顏色值的差異會被放大,即使t0=0.1,差異也會被放大.這樣就會產(chǎn)生,強光區(qū)域自然色的色偏和不和諧,即色彩失真.如圖6所示.

圖6 強光區(qū)域的霧化圖像處理圖

綜上可見,如果想保留原圖的真實色彩,就必須調(diào)整光強區(qū)域的透射率,使得估計值更加接近treal(x),同時又不破壞暗原色先驗去霧的模型.基于此,文獻[10]等提出定義一個容差參數(shù)K對圖像中強光區(qū)域進行區(qū)分.但是該算子,雖然可以區(qū)分弱光區(qū)和強光區(qū),但是在最后強光區(qū)處理的效果上顯示的色彩飽和度過高,圖像對比度過強,失去了圖像的真實感,如圖7(b)所示.所以,本文提出容差方法是建立在文獻[10]的基礎(chǔ)上,對該算子的進一步優(yōu)化,使得強光區(qū)的去霧效果更真實.

本文在大量實驗數(shù)據(jù)的結(jié)果上,提出了一種比容性透射率容差方法.公式如下：

式中,t′′(x)為比容性容差修正的透射率,t(x)為暗原色先驗估計細化的透射率,n是本文算法提出的暗原色區(qū)域塊數(shù),是對暗原色圖中所有的灰度值累加的和,本文規(guī)定為強光區(qū),此時重新計算透射率,反之認為是弱光區(qū),滿足暗原色先驗的區(qū)域,可以進行去霧算法.本文算法改進了強光區(qū)的透射率,使得其不會偏向t0.這種方法是對暗原色先驗的補充和優(yōu)化,使其不但可以處理弱光區(qū),而且還可以正確的左右于強光區(qū).簡言之,對接近大氣光強A的區(qū)域把去霧能力降到最低,因為從真實的視覺考慮,霧氣在這些較白的區(qū)域里面也不是很明顯,就是弱化處理該區(qū)域,使得圖像真實立體感更強.圖7展示了文獻[7]和[10]以及本文算法的去霧圖像.

為了更加實際的看出強光區(qū)域(圖7紅色矩形區(qū)域)去霧后的三原色差異,本文通過實驗展示了文獻[7]、文獻[10]以及本文算法去霧后的{R,G,B}通道的灰度直方圖.如圖8所示.

圖7 強光區(qū)域的霧化圖像處理圖

如上可得,本文算法去霧后強光區(qū)域{R,G,B}通道灰度值更大,更接近實物顏色.

3 實驗與分析

本文操作是在一臺處理器為2.30 GHz的Intel (R)Core (TM) i5-6300HQ CPU的PC機上處理霧化圖像.平臺是Matlab 2016a.

實驗效果如上幾節(jié)圖中所展示.本文選取客觀評價,先對比圖5中本文算法和文獻[7]暗原色先驗算法的時間復(fù)雜度的大小,通常時間復(fù)雜度O(n)越大,說明運行時間越長,CPU的開銷越大.評價數(shù)據(jù)如表1所示.

可見,本文的雙邊濾波細化透射率的方法有較好的運行時間,雖然圖像深度效果上不比暗原色先驗軟摳圖細化透射率的方法柔和,但是一定程度上達到人的視覺欣賞特點,并且圖像突變部分顯得比較平滑清晰,最主要的是,運行時間較少,有利于算法的擴散與復(fù)用.

最后,對比圖7強光區(qū)域的色彩效果,本文從細節(jié)、色調(diào)及結(jié)果信息方面來驗證本算法的通用性.評測數(shù)據(jù)如表2所示.

圖8 強光區(qū)域的霧化圖像處理圖

表1 時間復(fù)雜度比較(單位：s)

表2 圖7去霧算法質(zhì)量評測

從評測可見,文獻[7]算法和文獻[10]在圖像細節(jié)和結(jié)構(gòu)信息中和本文算法差異很小,說明soft matting在圖像細節(jié)處理方面很到位,而色調(diào)方面即飽和度,文獻[10]算法色調(diào)偏亮,圖像去霧后顏色比較鮮艷.綜上所述,本文算法在圖像保質(zhì)方面同樣具有不錯的效果.

4 結(jié)束語

通過對暗原色先驗理論的研究,發(fā)現(xiàn)該理論雖然存在部分的不足,但大體上對霧化圖像的去霧效果仍有空前的效果.本文針對原理的部分不足,做出了細致的優(yōu)化與改進,但是時間與質(zhì)量往往都是均衡的,本文只能做到在圖像能保真的情況下,相應(yīng)的提上圖像處理的速度.本文通過各種方優(yōu)化暗原色先驗的透射率以及圖像中的大氣光A的準確估計,同時使用雙邊濾波器處理去霧圖像白邊現(xiàn)象,不僅保證了圖像的平滑和清晰,而且降低了算法的運行時間,最后通過對透射率的限定,可以對圖像中強光區(qū)域進行弱處理來改進圖像去霧后色彩失真現(xiàn)象.

1 吳迪,朱青松.圖像去霧的最新研究進展.自動化學(xué)報,2015,41(2)：221-239.

2 艾明晶,戴隆忠,曹慶華.霧天環(huán)境下自適應(yīng)圖像增強去霧方法研究.計算機仿真,2009,26(7)：244-247.

3 張新明,沈蘭蓀.基于小波的同態(tài)濾波器用于圖像對比度增強.電子學(xué)報,2001,29(4)：531-533.

4 劉海波,楊杰,吳正平,等.基于暗通道先驗和Retinex理論的快速單幅圖像去霧方法.自動化學(xué)報,2015,41(7)：1264-1273.

5 孫偉,李大健,劉宏娟,等.基于大氣散射模型的單幅圖像快速去霧.光學(xué) 精密工程,2013,21(4)：1040-1046.

6 畢篤彥,葛淵,李權(quán)合,等.單幅圖像去霧方法研究.空軍工程大學(xué)學(xué)報(自然科學(xué)版),2013,14(6)：46-53.

7 He KM,Sun J,Tang XO.Single image haze removal using dark channel prior.Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami,FL,USA.2009.1956-1963.

8 He KM,Sun J,Tang XO.Fast matting using large kernel matting Laplacian matrices.Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco,CA,USA.2010.2165-2172.

9 孫抗,汪渤,周志強,等.基于雙邊濾波的實時圖像去霧技術(shù)研究.北京理工大學(xué)學(xué)報,2011,31(7)：810-813,822.

10 蔣建國,侯天峰,齊美彬.改進的基于暗原色先驗的圖像去霧算法.電路與系統(tǒng)學(xué)報,2011,16(2)：7-12.