李武勁 彭怡書 歐先鋒 吳健輝 郭龍源 晏鵬程 張一鳴 黃鋒
摘要:根據(jù)大氣散射模型,提出一種基于Retinex理論的單幅霧霾圖像清晰化算法。該算法首先將降質(zhì)圖像轉(zhuǎn)換至hsv色彩空間,然后針對亮度通道調(diào)整大氣散射模型表達式,使用基于雙邊濾波的Retinex算法提高圖像對比度,并進行圖像飽和度的指數(shù)調(diào)整,最后組合各通道處理結(jié)果獲得清晰化圖像。實驗結(jié)果表明該方法能增強霧天圖像對比度,達到圖像去霧的目的。
關(guān)鍵詞:霧霾; 大氣散射模型;圖像增強;Retinex理論
中圖分類號:TP391? 文獻標志碼:A
文章編號:2095-5383(2019)02-0005-04
Abstract: Based on the atmospheric scattering model,a method for color image defoggingbased on Retinex theory was presented.Firstly,the degraded image was converted into the hsv color space,the expression of the scattering model was adjusted for the luminance channel,and the image contrast was improved using Retinex algorithm based on bilateral filtering,and then an index adjustment of the image saturation was performed.Finally,the processing results of each channel were combined to obtain a clear image.The experimental results show that the method can enhance the contrast of foggy images and achieve the purpose of image defogging.
Keywords:fog; atmospheric scattering model; image enhancement; Retinex theory
霧天時,彌漫在空中的霧氣使得景物的能見度大幅降低,圖像中蘊含的許多特征都被覆蓋或模糊。圖像退化程度跟圖像景物到攝像頭的距離相關(guān),距離越遠,退化越嚴重。除了一些特殊圖像(如某些航拍圖)外,這種退化在空間上是不均勻的。
圖像去霧算法主要經(jīng)歷了3個研究階段:1)傳統(tǒng)圖像增強方法,比如直方圖處理[1]、小波方法[2]、Retinex[3-4]和曲波變換[5]等。由于霧天退化圖像的空間不均勻,這類方法效果有限。2)基于物理模型的多圖像(或多數(shù)據(jù)源)復(fù)原方法。通過多圖像(或多數(shù)據(jù)源)得到圖像深度信息后利用物理模型達到復(fù)原的目的。Narasimhna等人提出了多種提取場景深度信息的方法,有些需要用到不同天氣狀態(tài)下相同景物的圖像[6],有些利用偏振光的方法[7]。基于大氣散射模型的方法能夠在霧天圖像增強上達到較好的效果,但要求多圖像(或多數(shù)據(jù)源),因此在實際應(yīng)用上具有一定的局限性。3)基于物理模型的單幅圖像復(fù)原方法[8-13]。由于考慮了霧天成像的物理模型和僅使用單幅圖像,這類方法是近年來研究的熱點和難點,也取得了很大的進展。相對于霧天圖像,Tan[8]發(fā)現(xiàn)無霧圖像的對比度更高,因此他提出了基于局部對比度最大化的單幅圖像去霧算法; Fattal[9]假設(shè)光照傳輸和物體陰影是不相關(guān)進而估計場景的反射率;He[10]通過大量實驗發(fā)現(xiàn)暗通道先驗,提出一種簡單有效的算法,獲得很好的效果。
然而目前的恢復(fù)算法都著重于透光率的估計,缺乏對后期恢復(fù)算法的研究。而透光率的估計是一個欠定問題,現(xiàn)有算法無法完全準確估計,獲取的往往是物體間的相對距離關(guān)系;同時,在降質(zhì)嚴重區(qū)域,信號強度弱,信噪比低,直接套用物理模型會放大噪聲;設(shè)定閾值防止噪聲放大,會抑制弱信號的增強效果。
針對上述圖像恢復(fù)存在的問題,考慮到圖像去霧目的是提高圖像的對比度。因此,本文將提出一種基于物理模型和Retinex理論的單幅霧天圖像增強算法。相對于圖像恢復(fù)算法,本文算法通過圖像增強算法提高圖像對比度,避免了透光率的準確估計問題。
1 大氣散射模型
1.1 大氣散射模型
其中:等式右邊第一項是物體反射回來的亮度;第二項是大氣光產(chǎn)生的亮度;場景點對應(yīng)的圖像點的亮度E為它們的和。其中:x表示空間位置,I∞表示天空環(huán)境光,認為為一個常量,ρ∈[0,1]表示場景點的反射率,β是大氣的散射系數(shù),d是場景點的深度。在大氣模型中假設(shè)散射系數(shù)對所有波長都是相同的。從以上模型中可以看到,將大氣光產(chǎn)生的亮度從場景點對應(yīng)的亮度中去除,即達到了天氣退化圖像增強的目的,而其中最重要的是獲得場景的深度或βd。之前的方法主要有以下幾種,一是通過雷達等直接取得場景點的深度,二是通過獲取多幅同一位置不同天氣狀況下的圖像[6],三是利用偏振光的方法[7]。
1.2 Retinex理論
1977年Edwin Land[14]首次提出了一種被稱為Retinex的色彩理論。Retinex理論主要包含了兩個方面的內(nèi)容:物體的顏色是由物體對光線的反射能力和光照強度決定的;物體的色彩不受光照非均性的影響,具有一致性。
2019年第2期李武勁,等:基于大氣散射模型和Retinex理論的霧霾圖像清晰化算法
其中:L為入射到物體的總能量,Retinex假設(shè)L緩慢變化的;R為物體的反射系數(shù)。Retinex算法就是將一副圖像分解為反射圖像R和照度圖像L,得到的反射圖像R即可消除照度不均的影響。
基于中心/包圍(center/surround) 形式的Retinex算法[1-16]應(yīng)用最為廣泛。其數(shù)學(xué)描述為:
其中:(x,y)為當(dāng)前像素在圖像中的位置;Ii(x,y)為當(dāng)前像素在第i個通道中的原始亮度值;F(x,y)為包圍函數(shù);Ri(x,y)為當(dāng)前像素在第i個通道中的Retinex 輸出值;表示卷積。
本文對大氣物理模型公式進行變換,運用Retinex原理實現(xiàn)圖像去霧算法。
2 本文提出的霧霾圖像增強算法
2.1 基本流程
為了減少圖像增強中的參數(shù)和處理方便,改寫原模型的數(shù)學(xué)表達式為:
注意到,式(4)跟Retinex理論模型具有相同的形式。且A僅跟霧的濃度和物體距離相關(guān),在等距離物體上變化緩慢,因此假設(shè)A為光照強度,引入Retinex理論,達到圖像去霧的目的。
圖2是本文使用方法的基本流程圖。首先,將原RGB彩色空間轉(zhuǎn)換到HSV空間,對亮度分量L和飽和度分量進行Retinex算法增強和指數(shù)調(diào)整,最后將處理后的結(jié)果轉(zhuǎn)換回RGB空間,獲得處理后的結(jié)果。其中,為了避免濾波前出現(xiàn)負數(shù),取圖像最大值作為天空大氣光I∞的估計值。
2.2 基于雙邊濾波的Retinex算法
基于中心/包圍(center/surround) 形式的Retinex算法(如SSR)中,往往由于包圍函數(shù)(如高斯函數(shù))在平滑圖像的同時,會模糊圖像的邊緣,從而造成Halo效應(yīng)。
為避免此情況,采用雙邊濾波函數(shù)作為包圍函數(shù),模板大小為15×15。
其中:c(ξ,x)和s(f(ξ),f(x))分別表示空間和亮度值之間的距離函數(shù),采用常用的高斯函數(shù)。
2.3 圖像飽和度增強
另外,由于霧較濃或場景點很遠,會造成圖像飽和度很低,需要進行增強。為了保證增強后的圖像色彩更加分明,對飽和度分量進行了非線性指數(shù)調(diào)整以擴大色彩變化的動態(tài)范圍、增強其對比度。指數(shù)拉伸的數(shù)學(xué)模型為:
其中:α為拉伸因子,決定拉伸程度。
3 實驗仿真與分析
3.1 實驗條件
為了驗證本文增強算法的有效性,本文使用MATLAB作為實驗工具軟件,分別用多幅從網(wǎng)絡(luò)獲得的霧天圖像做實驗,并與文獻[10]中基于暗通道先驗的方法作為對比。
3.2 實驗結(jié)果
為了比較不同算法的效果,本文采用均方差比較圖像細節(jié),用對比改善系數(shù)比較圖像的對比度改善程度。對比度改善系數(shù)的定義為:
其中:Coriginal和Cprocessed分別為處理前后對比度均值。
圖3~5分別為不同場景下霧天圖像的處理結(jié)果,表1為量化對比結(jié)果。實驗結(jié)果表明,本文提出的算法在均方差和對比改善系數(shù)均優(yōu)于暗通道先驗方法的效果。均方差方面,本文方法較有霧圖像和較暗通道優(yōu)先方法平均提高9.66和1.15;對比度改善系數(shù)方面,本文方法較有霧圖像和較暗通道優(yōu)先方法平均提高1.60和0.04。
由圖3~5可以看到,有霧圖像中物體被霧氣覆蓋,不能很好分辨遠處物體。暗通道優(yōu)先方法處理結(jié)果有比較明顯的去霧效果,然而圖像對于較遠處目標如上方區(qū)域處理效果一般,這是由于該方法限制恢復(fù)強度造成弱信號恢復(fù)受到抑制。本文提出的算法結(jié)果能有效平衡遠景物體和近景物體的增強強度,提升整幅圖像對比度,獲得很好的去霧效果。
4 結(jié)語
本文提出了一種形式簡單的基于物理模型和Retinex理論的單幅圖像去霧算法。實驗表明,本算法能有效提高霧天圖像對比度,達到了圖像去霧的目的。
但本算法采用雙邊濾波處理,算法速度較慢,達不到實時處理的要求,需要在以后工作中改進。
參考文獻:
[1]STARK J A.Adaptive image contrast enhancement using generalizations of histogram equalization[J].IEEE Transactions on Image Processing,2000,9(5):889-896.
[2] RUSSO F.An image enhancement technique combining sharpening and noise reduction[J].IEEE Transactions on Instrumentation and Measurement,2002,51(4):824-828.
[3] 劉海波,楊杰,吳正平,等.基于暗通道先驗和Retinex理論的快速單幅圖像去霧方法[J].自動化學(xué)報,2015,41(7): 1264-1273.
[4] 馬忠麗,文杰.融合邊緣信息的單尺度Retinex海霧去除算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2015,27(2):217-225.
[5] PARLEWAR P.Image enhancement by curvelet,ridgelet,and wavelettransform[C]// International Conference on Digital Image Processing,2010.
[6] NARASIMHAN S G,NAYAR S K.Chromatic framework for vision in bad weather[C]// IEEE Conference on Computer Vision & Pattern Recognition,2002.
[7] SCHECHNER Y Y,NARASIMHAN S G,NAYAR S K.Polarization-based vision through haze[J].Appl Opt,2003,42(3):511-525.
[8] TAN R T,PETTERSSON N,PETERSSON L.
[IEEE 2007 IEEE intelligent vehicles symposium-Istanbul,Turkey (2007.06.13-2007.06.15)] 2007 IEEE intelligent vehicles symposium-visibility enhancement for roads with foggy or hazy scenes[J].2007:19-24.
[9] FATTAL R.Single image dehazing[J].Acm Transactions on Graphics,2008,27(3):1-9.
[10] HE K,JIAN S,TANG X.Single image haze removal using dark channel prior[C]// IEEE Conference on Computer Vision & Pattern Recognition,2009.
[11] 南棟,畢篤彥,馬時平,等.基于景深約束的單幅霧天圖像去霧算法[J].電子學(xué)報,2015,43(3): 500-504.
[12] 劉杰平,黃炳坤,韋崗.一種快速的單幅圖像去霧算法[J].電子學(xué)報,2017(8):1896-1901.
[13] 肖進勝,高威,鄒白昱,等.基于天空約束暗通道先驗的圖像去霧[J].電子學(xué)報,2017,45(2): 346-352.
[14] LAND,EDWIN H.The Retinex theory of color vision[J].Scientific American,1977,237(6):108-128.
[15]JOBSON D J,RAHMAN Z,WOODELL G A.Properties and performance of a center/surround Retinex[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society,1997,6(3):451-462.
[16] LAND E H.An alternative technique for the computation of the designator in the Retinex theory of color vision[J].Proceedings of the National Academy of Sciences,1986,83(10):3078-3080.