王偉鵬,戴聲奎,項(xiàng)文杰
(華僑大學(xué) 信息科學(xué)與工程學(xué)院,福建 廈門361021)
霧霾是由于大氣中懸浮的微小顆粒和氣溶膠的折射、散射等復(fù)雜作用,導(dǎo)致能見度嚴(yán)重降低的現(xiàn)象.它直接影響交通運(yùn)輸?shù)陌踩蛻敉獗O(jiān)控系統(tǒng)的正常工作.因此,對霧天降質(zhì)圖像進(jìn)行有效的清晰化處理是使戶外成像系統(tǒng)可靠、穩(wěn)健工作的保證.圖像去霧是一個具有挑戰(zhàn)性的課題,因?yàn)閱畏鶊D像中霧氣所依賴的深度信息是未知的,從而使這一問題的解決受到制約.近年來,基于先驗(yàn)信息或假設(shè)的單幅圖像去霧技術(shù)成為研究的熱門對象[1-7].本文結(jié)合霧圖成像模型,提出一種新的場景復(fù)原算法.
在計算機(jī)視覺和圖形學(xué)中,描述霧天成像的基本模型[8-9]為
式(1)中:L(x,y)為觀測到的霧天圖像,即輸入圖像;L0(x,y)為場景的光線強(qiáng)度,即復(fù)原圖像,也稱為場景反照率;β為大氣散射系數(shù);d(x,y)為場景深度;exp(-βd(x,y))表示透射率分布;A為大氣光輻射強(qiáng)度,一般假設(shè)為全局常量.
由式(1)可知:霧圖成像模型由L0(x,y)exp(-βd(x,y))和A(1-exp(-βd(x,y)))兩項(xiàng)組成.第1項(xiàng)表示直接衰減,由于大氣中介質(zhì)粒子的散射作用,部分物體的反射光因散射而損失,未散射部分直接到達(dá)成像傳感器的強(qiáng)度;第2項(xiàng)為環(huán)境光模型,反映全局大氣光強(qiáng)度的散射,導(dǎo)致場景顏色的偏移.
對式(1)進(jìn)行改寫,得到另一種等價形式,即
式(2)中:V(x,y)表示大氣耗散函數(shù),即V(x,y)=A(1-exp(-βd(x,y))).因此,只需估計出V(x,y)和A,即可求得L0(x,y),得到理想條件下的無霧圖像.
霧天場景下的圖像采集過程中,物體的顏色是由于對光的3個顏色分量的反射和吸收特性生成,對于顏色豐富的彩色物體或者單一的灰白色物體,至少有1個顏色分量的反射系數(shù)較低,強(qiáng)度值較小.因此,對于霧天圖像,其大氣耗散函數(shù)應(yīng)該滿足物理特性的約束條件,即
根據(jù)大氣耗散函數(shù)V與場景深度d的關(guān)系可知:在同一景深或變化平緩的區(qū)域,V基本不變;當(dāng)d跳變時,V同樣產(chǎn)生跳變,即大氣耗散函數(shù)的取值僅與景深相關(guān),與目標(biāo)物體的細(xì)節(jié)紋理無關(guān).因此,需要消除圖像中的細(xì)節(jié)信息,同時保留景深跳變的邊緣.該細(xì)節(jié)的平滑和邊緣的保護(hù)可以看作是一類濾波問題,而雙邊濾波器能夠滿足這類要求.
雙邊濾波[10]是1種保持邊緣的非線性平滑濾波方法,它的權(quán)重由空域S和值域R平滑函數(shù)的乘積給出,濾波窗口內(nèi)各像素點(diǎn)的權(quán)重值與該像素點(diǎn)距離窗口中心點(diǎn)的距離,以及兩者的灰度差值相關(guān).文中使用空間域和幅值域均為高斯函數(shù)的雙邊濾波器,即
式(4)中:Gσs,Gσr分別為空間域和幅值域上以σs,σr為參數(shù)的核函數(shù);S為以p為中心點(diǎn)的鄰域;Ip,Iq分別為像素點(diǎn)p,q對應(yīng)的灰度值.由此可見:該濾波方法同時考慮了幅值的相似關(guān)系和空間的鄰近關(guān)系,可以有效保持圖像的邊緣信息,從而抑制復(fù)原圖像中由于景深跳變而在邊緣處引入的光暈現(xiàn)象.
文獻(xiàn)[4-5]提出了用最小顏色分量W來粗略估計大氣耗散函數(shù),然后,采用雙邊濾波操作得到局部平滑的結(jié)果.文獻(xiàn)[7]則是對W進(jìn)行2次不同尺度的雙邊濾波來估計大氣耗散函數(shù)和局部對比度.在此基礎(chǔ)上,文中同樣利用雙邊濾波的局部平滑特性對W(x,y)進(jìn)行預(yù)處理,濾除紋理細(xì)節(jié)的同時,保留了圖像中的邊緣特性,從而得到大氣耗散函數(shù)的初始估計,即
通過式(5)計算得到的結(jié)果,如圖1(b)所示.由圖1(b)可知:遠(yuǎn)景房子與前景草地的3個顏色分量值較高,V(x,y)的估計值較大,若直接用該結(jié)果作為最終的大氣耗散函數(shù),則易將灰度較亮的目標(biāo)錯誤地估計為濃霧區(qū)域.因此,有必要進(jìn)一步修正部分區(qū)域的霧濃度估計.
由于大氣耗散函數(shù)僅與大氣光值A(chǔ)和場景深度d相關(guān),而大氣光值假定為全局常量.因此,在霧濃度較高的遠(yuǎn)景處,大氣耗散函數(shù)的取值較大,在霧濃度較低的近景處,取值較小,即遠(yuǎn)景區(qū)域相對于近景區(qū)域受到全局大氣光的散射程度更高,對比度更低.局部對比度可以通過灰度標(biāo)準(zhǔn)差來近似表示,文獻(xiàn)[3]和文獻(xiàn)[5]分別采用中值濾波和雙邊濾波器來估計局部均值和標(biāo)準(zhǔn)差.然而,此類濾波器屬于非線性濾波方法,由于其在邊緣處的特殊性,導(dǎo)致估計的結(jié)果不夠理想.因此,通過均值濾波器準(zhǔn)確估計W(x,y)的局部均值E(x,y)和局部標(biāo)準(zhǔn)差D(x,y),進(jìn)一步區(qū)分近景和遠(yuǎn)景區(qū)域,有
式(6),(7)中:AF(·,s)為局部均值濾波,選取s×s的矩形窗口進(jìn)行移動式搜索處理.通過對W(x,y)執(zhí)行局部均值計算來估計標(biāo)準(zhǔn)差可以保證估計的可靠性和魯棒性,較文獻(xiàn)[3]和文獻(xiàn)[5]的方法更準(zhǔn)確.由于對比度較好的紋理區(qū)域霧氣較少,因此,應(yīng)減少該部分的霧濃度估計,即用大氣耗散函數(shù)的初始估計減去W(x,y)的局部標(biāo)準(zhǔn)差,有
當(dāng)近景區(qū)域出現(xiàn)顏色鮮艷的目標(biāo)且細(xì)節(jié)較豐富時,使用上述方法減弱該區(qū)域的去霧處理,可有效避免復(fù)原結(jié)果出現(xiàn)顏色過飽和的現(xiàn)象.最后,考慮物理約束條件0≤V(x,y)≤W(x,y),求得大氣耗散函數(shù)的最終估計,即
式(9)中:p∈(0,1)為去霧調(diào)節(jié)參數(shù),有針對性地保留遠(yuǎn)景的小部分霧氣,使去霧后的圖像更加自然.
為了提高運(yùn)算速度,采用快速雙邊濾波[11-12]的近似方法來進(jìn)行加速,該算法將雙邊濾波器表示為三維空間中的線性卷積,在降采樣的高維空間中執(zhí)行高斯低通濾波,通過三維線性插值來獲得最終的濾波結(jié)果.由于該方法可以并行計算,因此,可采用GPU進(jìn)一步加速.
求解霧圖成像方程的另一個關(guān)鍵因素是大氣光A值的估計,也可理解為霧最濃處的像素值估計.文獻(xiàn)[2]選取暗通道圖像前0.1%亮的像素值,對應(yīng)霧天圖像中的最大像素作為大氣光.然而,該方法只取單個最大值不具有魯棒性,因?yàn)榻蒂|(zhì)圖像中可能伴隨噪聲的影響.由以上分析可知:大氣耗散函數(shù)V近似體現(xiàn)了霧氣濃度分布.因此,在文獻(xiàn)[2]的基礎(chǔ)上,根據(jù)V的直方圖統(tǒng)計來估計A值.假設(shè)V的總像素個數(shù)為N,直方圖為Vhist,計算其直方圖累加當(dāng)·N時,尋找V中灰度值為j的像素所在區(qū)域,在霧天圖像中的相應(yīng)區(qū)域即可認(rèn)定為濃霧區(qū)域.然后,分別計算該濃霧區(qū)域中3個顏色通道的平均值,將最大的平均值作為大氣光A值的估計.這種方法簡單有效,比文獻(xiàn)[2]中采用濃霧區(qū)域的“最高亮度像素”的方法具有更強(qiáng)的魯棒性.
利用已估計的大氣耗散函數(shù)V和全局大氣光A,可根據(jù)式(2)恢復(fù)出場景在理想條件下的輻射強(qiáng)度,有
利用文中方法得到的大氣耗散函數(shù)及復(fù)原結(jié)果,如圖1所示.由圖1可知:由V(x,y)的初始估計直接恢復(fù)結(jié)果會導(dǎo)致去霧后圖像中的房子和草地的顏色過于飽和,與原圖像的色調(diào)不符,如圖1(d)所示;而利用文中方法進(jìn)一步修正部分區(qū)域的霧濃度估計,得到準(zhǔn)確的大氣耗散函數(shù),如圖1(c)所示;復(fù)原結(jié)果如圖1(e)所示.該結(jié)果很好地將霧氣去除,同時保留了背景中顏色較亮的區(qū)域,以及房子和草地的真實(shí)色彩.
圖1 文中算法結(jié)果Fig.1 Result of proposed algorithm
文中算法去霧調(diào)節(jié)參數(shù)p用于控制霧氣移除的比例,若取0,則沒有去霧效果;若取1,則完全將霧氣去除.文中取90%,目的是保留小部分霧氣,使復(fù)原結(jié)果更加自然.雙邊濾波的參數(shù)自適應(yīng)的取σs=0.05·min(w,h),σr=0.1·(|w-h(huán)|).其中:w和h為圖像的寬和高.均值濾波的矩形窗口s決定了局部標(biāo)準(zhǔn)差的精度,取值越小則精度越高,文中大部分實(shí)驗(yàn)中取較小值5.所有實(shí)驗(yàn)均在3.40GHz的AMD Athlon雙核處理器、系統(tǒng)內(nèi)存為2GB的普通PC機(jī)上運(yùn)行.
文中算法的去霧效果及局部細(xì)節(jié)對比,如圖2所示.去霧后圖像整體的能見度和對比度得到極大改善,還原了晴天條件下的真實(shí)場景,且避免了光暈效應(yīng)和顏色過飽和現(xiàn)象,這得益于霧圖成像模型的有效性和文中估計大氣耗散函數(shù)的準(zhǔn)確性.圖2(c)為復(fù)原前后圖像的局部細(xì)節(jié)放大,通過比較可知:文中方法對于圖像的細(xì)節(jié)和顏色恢復(fù)非常有效,有利于圖像特征的分析和識別.
為驗(yàn)證文中方法的優(yōu)勢,將其與He方法[2]及Tarel方法[3]的結(jié)果進(jìn)行比較,如圖3所示.圖3(a),(e),(i)為相關(guān)霧天場景的原始圖像.圖3(b),(f),(j)為He算法的結(jié)果,該方法對場景色彩、對比度等信息實(shí)現(xiàn)了較好的恢復(fù),但圖3(b)的復(fù)原結(jié)果偏暗,圖3(f)遠(yuǎn)景樓房的去霧效果還不夠理想.圖3(c),(g),(k)為Tarel算法的結(jié)果圖,該算法在處理場景深度跳變的邊緣時,去霧效果欠佳.圖3(c),(g)中細(xì)小樹葉之間的霧氣沒有完全去除,圖3(k)的復(fù)原結(jié)果顯得顏色失真.圖3(d),(h),(l)為文中處理結(jié)果,相比He算法而言,圖3(d)整體亮度有所提升,層次感更強(qiáng),圖3(h)的遠(yuǎn)景城市更清晰,能夠識別更多細(xì)節(jié)信息,并且克服了Tarel方法中的邊緣殘霧和顏色失真現(xiàn)象.圖2,3的實(shí)驗(yàn)結(jié)果表明:對于不同霧天環(huán)境、不同場景深度以及不同光照條件下的降質(zhì)圖像,文中方法均能夠獲得較理想的場景反照率.
圖2 文中方法對圖像細(xì)節(jié)的提升Fig.2 Enhancement of image detail using proposed method
圖3 文中算法與其他算法的結(jié)果比較Fig.3 Comparisons with other methods
He方法中修復(fù)透射率采用的軟摳圖算法[2]是1個大規(guī)模稀疏線性矩陣的求解問題,對系統(tǒng)的資源及計算能力要求較高.對圖像尺寸為x×y,Tarel算法[3]的時間復(fù)雜度為O(xys2lns).其中:s為中值濾波的模板尺寸,在圖3中s取45.而文中算法所用快速雙邊濾波器[11-12]的時間復(fù)雜度可達(dá)到O(xy),是圖像像素數(shù)量的線性函數(shù),其他步驟均較為簡單.因此,具有很高的執(zhí)行效率.
提出1種快速霧天退化場景的復(fù)原方法.該算法結(jié)合霧圖成像模型與光學(xué)反射成像機(jī)理分析大氣耗散函數(shù)的物理特性,利用雙邊濾波器的邊緣保持特性對其進(jìn)行初步估計;通過引入局部標(biāo)準(zhǔn)差來降低部分區(qū)域的去霧處理,緩解顏色過飽和現(xiàn)象,達(dá)到更加完善的復(fù)原效果.通過與當(dāng)前去霧效果較好的方法進(jìn)行對比,驗(yàn)證文中方法對于圖像細(xì)節(jié)和顏色恢復(fù)的有效性,同時可避免邊緣殘霧現(xiàn)象和顏色失真等不足.然而,當(dāng)圖像中出現(xiàn)大面積灰色天空時,復(fù)原結(jié)果會顯得偏暗,導(dǎo)致視覺效果不夠自然,下一步工作將是針對這一不足進(jìn)行改進(jìn),實(shí)現(xiàn)更加完善的圖像去霧功能.
[1]FATTAL R.Single image dehazing[J].ACM Transactions on Graphics,2008,27(3):1-9.
[2]HE Kai-ming,SUN Jian,TANG Xiao-ou.Single image haze removal using dark channel prior[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Miami:IEEE Press,2009:1956-1963.
[3]TAREL J,HAUTIERE N.Fast visibility restoration from a single color or gray level image[C]∥IEEE 12th International Conference on Computer Vision.Kyoto:IEEE Press,2009:2201-2208.
[4]禹晶,李大鵬,廖慶敏.基于物理模型的快速單幅圖像去霧方法[J].自動化學(xué)報,2011,37(2):143-149.
[5]孫抗,汪渤,周志強(qiáng),等.基于雙邊濾波的實(shí)時圖像去霧技術(shù)研究[J].北京理工大學(xué)學(xué)報,2011,31(7):810-814.
[6]張冰冰,戴聲奎,孫萬源.基于暗原色先驗(yàn)?zāi)P偷目焖偃レF算法[J].中國圖象圖形學(xué)報,2013,18(2):184-188.
[7]甘佳佳,肖春霞.結(jié)合精確大氣散射圖計算的圖像快速去霧[J].中國圖象圖形學(xué)報,2013,18(5):583-590.
[8]NARASIMHAN S G,NAYAR S K.Removing weather effects from monochrome images[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Washington DC:IEEE Press,2001:186-193.
[9]NARASIMHAN S G,NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6):713-724.
[10]TOMASI C,MANDUCHI R.Bilateral filtering for gray and color images[C]∥Proceedings of IEEE international Conference on Computer Vision.Bombay:IEEE Press,1998:839-846.
[11]CHEN J W,PARIS S,DURAND F.Real-time edge-aware image processing with the bilateral grid[J].ACM Transactions on Graphics,2007,26(3):103-111.
[12]PARIS S,DURAND F.A fast approximation of the bilateral filter using a signal processing approach[J].International Journal of Computer Vision,2009,81(1):24-52.