唐 立,張 育,任 佳
(海南大學(xué) 信息與通信工程學(xué)院,海南 ???,570228)
沙塵天氣條件下獲取的室外圖像,其對比度和色彩通常較低[1].大氣中混合的額外沙塵顆粒存在,使得入射到相機鏡頭的光線出現(xiàn)分散和衰減,從而減弱了場景的可見度,遠(yuǎn)景圖像尤為明顯.這種圖像退化對智能交通、視頻監(jiān)控、目標(biāo)跟蹤和導(dǎo)航等戶外視覺系統(tǒng)的性能產(chǎn)生了極大影響.因此,重建場景細(xì)節(jié)、增強退化的沙塵圖像具有重要的理論和實際應(yīng)用意義.
目前已有的沙塵降質(zhì)圖像的增強算法可以分為圖像增強和圖像恢復(fù)2類.Fu[2]等提出了一種基于融合原理的算法來克服沙塵降質(zhì)圖像存在的各種問題,首先采用統(tǒng)計策略對沙塵降質(zhì)圖像進(jìn)行偏色校正,對校正后的圖像計算銳度、色度和突出度3種加權(quán)圖像,再將輸入圖與權(quán)重圖融合來獲得增強圖像.智寧[3]等提出了一種新型的沙塵降質(zhì)圖像增強算法,其先通過調(diào)整各通道高斯模型對沙塵降質(zhì)圖像進(jìn)行偏色校正,再通過基于奇異值分解的圖像增強算法對偏色校正后的圖像進(jìn)行對比度增強.該算法為解決圖像的偏色問題提供了一種有效的方法,但是其校正結(jié)果易受G通道的影響,導(dǎo)致增強后的圖片過亮或過暗,且在圖像遠(yuǎn)景部分的增強效果不佳.同時,奇異值分解在硬件平臺上實現(xiàn)的復(fù)雜度較高,無法達(dá)到圖像的實時處理,一定程度上限制了算法的應(yīng)用.Wang[4]等先對Lab顏色空間的a和b通道進(jìn)行偏色校正,然后使用拉普拉斯濾波對L通道進(jìn)行處理,以增強圖像對比度和亮度.該算法可以快速的得到有較高能見度的去沙塵圖像,但是存在著顏色校正不足的問題,導(dǎo)致輸出的圖片可能存在一定的色偏,且算法對遠(yuǎn)景增強不足.
基于圖像恢復(fù)的算法是利用暗通道先驗知識,建立大氣光散射的數(shù)學(xué)模型,再根據(jù)模型進(jìn)行反向推演運算,以復(fù)原沙塵降質(zhì)圖像中的場景.呂方舟[5]以暗通道去霧算法為基礎(chǔ),先使用 Retinex 算法[6]對沙塵降質(zhì)圖像進(jìn)行偏色校正,然后利用暗通道先驗理論對預(yù)處理后的圖像進(jìn)行增強.該算法可以校正色偏并有效的提高圖像的清晰度,但由于在灰度不連續(xù)處計算出的透射率受前景像素影響而偏大,導(dǎo)致在物體邊緣處會產(chǎn)生白色光圈.Yu[7]等提出一種基于大氣散射模型和信息損失約束的沙塵降質(zhì)圖像恢復(fù)算法,可以很好地提高不同種類的沙塵降質(zhì)圖像的對比度,但并不能完全去除偏色的光暈.潘海明[8]等在此基礎(chǔ)上改進(jìn)了信息損失約束算法,在提高圖像亮度的基礎(chǔ)上優(yōu)化了透射率圖,并利用改進(jìn)的高斯模型對沙塵降質(zhì)圖像進(jìn)行偏色校正.該算法可以有效的解決偏色對去霧的影響,并且提高了圖像的對比度和亮度,但是該算法由于迭代的原因耗時較長,且在處理天空區(qū)域較大且偏暗的沙塵圖像時會出現(xiàn)天空過增強的問題.
針對上述問題,提出了一種基于顏色校正和明暗通道的沙塵降質(zhì)圖像增強算法.通過改進(jìn)的高斯模型,解決了沙塵降質(zhì)圖像偏色校正效果不足、亮度過高或過低的問題.通過基于亮通道和暗通道[9]的對比度增強算法,解決了圖像遠(yuǎn)景對比度低的問題.最終得到較高主觀質(zhì)量的增強圖像.
1.1 沙塵降質(zhì)圖像的統(tǒng)計特性沙塵降質(zhì)圖像的直方圖分布存在偏離性、集中性和順序性的先驗特征.如圖1所示,為黃色偏色的沙塵降質(zhì)圖像及其RGB 3個通道直方圖.
從直方圖可以看出沙塵降質(zhì)圖像的偏離性表現(xiàn)為RGB 3個通道的直方圖呈分散狀態(tài),集中性表現(xiàn)為RGB 3個通道的像素值明顯集中在某一狹窄的區(qū)域內(nèi),順序性表現(xiàn)為RGB 3個通道呈RGB順序排列.清晰圖像RGB各通道直方圖的像素值基本分布于整個取值區(qū)間.雖然三通道直方圖之間也存在一定的順序性,但其各通道之間的峰值偏離比降質(zhì)圖像小很多.
圖1 沙塵降質(zhì)圖像
1.2 改進(jìn)的基于高斯模型的偏色校正根據(jù)上述沙塵降質(zhì)圖像的統(tǒng)計特性,可以利用高斯模型[3]進(jìn)行顏色校正.潘海明[8]等針對文獻(xiàn)[3]提出的校正方法受G通道分布影響,會出現(xiàn)溢出和偏亮偏暗的問題進(jìn)行了改進(jìn),取128為參考對3個通道進(jìn)行平移,取RGB 3個通道中直方圖分布范圍最大的通道計算延展系數(shù),利用改進(jìn)的像素調(diào)整公式,對各顏色通道進(jìn)行自適應(yīng)顏色調(diào)整.該方法將偏色校正后的圖像的亮度保持在中間灰度區(qū)間,一定程度上避免了圖像過拉伸和溢出的現(xiàn)象,但對亮度較高以及直方圖分布較寬的沙塵降質(zhì)圖像,此校正方法不僅降低了圖像亮度,造成了圖像信息的損失,還抑制了直方圖的離散性,降低了圖像的對比度.
針對上述問題,提出了一種改進(jìn)的基于高斯模型的顏色校正算法,其具體流程如下:
2)考慮到少數(shù)極大值和極小值像素點會影響延伸系數(shù)α的大小,使直方圖的集中區(qū)域無法被有效擴(kuò)展.以各直方圖前10(2-v)%像素點處的像素值作為minIC,取(1-10(2-v)%)像素點處的像素值作為maxI,其中v為像素總數(shù)值的位數(shù).以RGB 3個通道的maxIC-minIC的最大值作為參照計算α,即α=255/(maxIC-minIC).
3)對各通道顏色值進(jìn)行調(diào)整,即
(1)
(2)
圖2為通過改進(jìn)的基于高斯模型的顏色校正算法得到的校正后的圖像及各通道直方圖,其RGB 3個通道的直方圖分布基本重合,且分布區(qū)間比原圖像要大,對比度較高.
圖2 改進(jìn)的高斯模型校正算法效果
通過改進(jìn)的高斯模型得到的校正后的圖片,其對比度較低,存在一定的霧霾現(xiàn)象.考慮到沙塵降質(zhì)圖像與霧霾天氣圖像都是由于光的散射造成的,因此采用基于暗通道去霧原理對圖像進(jìn)行恢復(fù)增強.
在計算機視覺和圖像處理中,霧天降質(zhì)圖像的光學(xué)模型被廣泛描述為
(x)=J(x)t(x)+A(1-t(x)),
(3)
根據(jù)暗通道先驗原理,其基于最小值濾波的暗通道先驗公式
(4)
其中,Ω(x)表示以像素x為中心的一個局部區(qū)域;C表示圖像(x)的一個顏色通道.由暗通道原理可知,在天空以外的區(qū)域,暗通道均值Jdark(x)的值很小,趨近于0.
2.1 透射率估計根據(jù)空氣散射模型和暗通道原理,估算了透射率.假設(shè)空氣光A已知,且在一個局部區(qū)域Ω(x)內(nèi)的透射率是固定的,記作t′(x).對式(3)兩邊進(jìn)行2次最小值運算,第一次是取RGB 3個通道的最小值,即
(5)
第二次是對等式兩邊進(jìn)行大小為Ω(x)的最小值濾波運算,可得
(6)
將式(4)帶入式(6),并由Jdark(x)→0,可得
Jdark(x)t′(x)+A(1-t′(x))=A-At′(x),
(7)
變換成t′(x)的公式則
(8)
在實際生活中,空氣中有各種各樣的顆粒,這些顆粒會讓人們對遠(yuǎn)處的事物感到霧蒙蒙的.霧感是人類感知深度的基本線索,保留一定的霧氣更符合人眼視覺效果,在式(8)中引入?yún)?shù)ω,得到
(9)
2.2 改進(jìn)的基于亮通道和暗通道的大氣光估計He[10]等提出從暗原色中選取0.1%亮度最大的像素,然后取這些像素對應(yīng)于原圖像中的最大值作為大氣光值.但是,若圖像中天空區(qū)域小于暗原色濾波窗口的尺寸,則錯誤的濾除了天空區(qū)域.同時,若圖像中存在亮度較高的白色物體,則會影響估計得到的大氣光值的有效性.盧輝斌[11]等提出了基于暗通道和亮通道的大氣光估計方法.相比于經(jīng)典算法的取一個全局大氣光值,該方法求取像素級的大氣光估計值A(chǔ)(x),避免使用一個全局大氣光值造成局部區(qū)域透射率估計不準(zhǔn)確的現(xiàn)象.筆者在該方法的基礎(chǔ)上加入了自適應(yīng)參數(shù),得到的大氣光A(x)的表達(dá)式為
A(x)=αAlight(x)+(1-α)A0,
(10)
其中,Alight(x)為亮通道估計的大氣光,A0為暗通道估計的大氣光,α為調(diào)節(jié)參數(shù),其表達(dá)式為α=mean(Alight(x)),mean(·)表示對所有元素取均值.由于α是一個和Alight(x)的灰度分布有關(guān)的參數(shù),故對大氣光A(x)具有自動調(diào)節(jié)功能.
亮通道部分的大氣光估計值為
(11)
暗通道部分的大氣光估計步驟:
1)從暗通道先驗圖像中按亮度的大小選取前0.1%的像素點;
2)將這些像素點所在位置對應(yīng)到原始有霧圖像I′的相應(yīng)位置上,計算這些滿足要求的像素點的亮度均值作為A0值.
2.3 透射圖補償結(jié)合式(9)和式(10),得到根據(jù)改進(jìn)的大氣光估計的透射率t′(x),
(12)
已知天空區(qū)域不滿足暗通道先驗理論,當(dāng)沙塵降質(zhì)圖像中存在大面積天空區(qū)域時,由于暗通道圖像中天空區(qū)域的取值不趨于0,導(dǎo)致式(12)中dark(x)偏大,從而使得計算出來的t′(x)偏小.由于t′(x)中的天空區(qū)域的介質(zhì)傳輸率被低估,導(dǎo)致復(fù)原圖像在這些區(qū)域容易出現(xiàn)顏色失真,故t′(x)中天空區(qū)域的介質(zhì)傳輸速率的取值應(yīng)大于當(dāng)前值.
通過對天空區(qū)域的傳輸率進(jìn)行補償,來優(yōu)化天空的去霧效果,其表達(dá)式為
dif(x)=abs(dark(x)-A(x)),
(13)
其中,dif(x)表示暗通道dark(x)和大氣光值A(chǔ)(x)的差的絕對值,且在天空和白色區(qū)域dif(x)趨近于0.
(14)
其中,λ為判斷是否進(jìn)行補償?shù)拈撝?,λ過大,導(dǎo)致圖像去霧效果變差;λ過小,天空和遠(yuǎn)景部分容易出現(xiàn)色塊,降低了圖像質(zhì)量,且天空色彩不自然.
(15)
其中,k為(0,1)區(qū)間的值,通過同比例縮小各像素的大氣光值,在保留各像素間差異性的基礎(chǔ)上提高整體的亮度.
已知在實際圖像恢復(fù)時,是將RGB 3個通道分別計算再進(jìn)行合并.將式(15)的RGB 3個通道公式相加,可得
(16)
對式(16)兩邊同時除以3,即求取每個像素的RGB 3個通道間的均值,公式為
(17)
其中,Jmean(x)為恢復(fù)后的圖像的亮度圖,mean(x)為校正后的圖像的亮度圖.已知Jmean(x)存在取值范圍為0≤Jmean≤1,則過度增強將會造成像素溢出.為了將J(x)的圖像亮度增強到的程度,取式(10)中的A0作為上限,即Jmean(x)≤A0.代入式(17)得到
(18)
變換可得
(19)
k的計算步驟如下:
步驟1統(tǒng)計mean(x)中大于A0的像素個數(shù),記為count_1;
步驟3設(shè)置迭代初始值k=0.5;
步驟4開始循環(huán);
步驟5k=k+0.01;
步驟6A′(x)=A(x)·k;
步驟7Adif(x)=A′(x)-At arg et(x);
步驟8統(tǒng)計Adif(x)中小于0的像素個數(shù),記為count_2;
步驟9當(dāng)count_2≤count_1時,跳出循環(huán);
步驟10得到k值.
圖3展示了本文中沙塵降質(zhì)圖像增強算法的過程圖.
為了證明本文算法的有效性,在大量沙塵降質(zhì)圖像上開展了測試.實驗中,Ω(x)設(shè)置為大小為15×15的窗口,ω一般取值0.95,λ取值為0.15.實驗采用的圖像均來源于網(wǎng)絡(luò)真實拍攝的沙塵暴照片,非人工合成的圖像.
3.1 偏色校正結(jié)果比較分析圖4展示了文獻(xiàn)[3]、文獻(xiàn)[8]和本文算法在偏色校正方面的效果對比圖.從圖4a~4d所示實例1中可以看出,文獻(xiàn)[3]校正的結(jié)果偏暗,圖像中建筑部分信息損失,且直方圖分布集中,圖像對比度低;本文算法和文獻(xiàn)[8]得到的校正圖像亮度較高,且直方圖分布更加均勻,圖像對比度高.從圖4e~4h所示實例2中可以看出,文獻(xiàn)[8]校正的結(jié)果像素下溢,圖像較原圖偏暗;文獻(xiàn)[3]校正的結(jié)果亮度較高,但其直方圖分布集中,對比度較差,有明顯的霧感;本文算法校正的結(jié)果不僅保持圖像的亮度和景物的細(xì)節(jié)信息,其直方圖更是分布于整個灰度區(qū)間.
3.2 圖像增強效果比較分析圖5展示了本文算法與3種沙塵降質(zhì)圖像增強算法的3組實驗結(jié)果.其中文獻(xiàn)[3-4]算法屬于基于增強的去沙塵算法,文獻(xiàn)[8]算法與本文算法屬于基于恢復(fù)的去沙塵算法.從實驗2和3中的b圖、c圖和e圖可以看出,文獻(xiàn)[3-4]算法在整體亮度上較本文算法高,但其對比度較低,且對遠(yuǎn)景處增強效果不佳.從實驗1的b圖、c圖和e圖可以看出,文獻(xiàn)[3]算法存在天空豎紋,該豎紋的產(chǎn)生受直方圖均衡化后的輸入圖像的影響.文獻(xiàn)[4]算法存在一定的色偏,且由于其對L空間進(jìn)行紋理增強,導(dǎo)致天空的紋理被保留了下來,出現(xiàn)天空色塊現(xiàn)象.從實驗2和例3的d圖和e圖可以看出,文獻(xiàn)[8]算法對比度較高,但部分區(qū)域偏暗,降低了主觀質(zhì)量.從例1的d圖和e圖可以看出,文獻(xiàn)[8]算法存在天空色斑.
通過實驗對比發(fā)現(xiàn),在綜合偏色校正,對比度增強,圖像細(xì)節(jié)和圖像亮度等方面,提出的算法較已有算法擁有較高的主觀質(zhì)量,顯示了算法的優(yōu)越性.
提出了一種基于顏色校正和明暗通道去霧的沙塵降質(zhì)圖像增強算法.該算法是結(jié)合改進(jìn)的高斯模型和基于明暗通道的去霧算法來完成增強工作.首先,對輸入的沙塵降質(zhì)圖像進(jìn)行改進(jìn)的高斯模型校正得到校正后的有霧圖,然后利用明暗通道對霧圖進(jìn)行恢復(fù)和優(yōu)化,最后得到比原沙塵降質(zhì)圖像,細(xì)節(jié)更豐富,亮度更適宜,對比度更高且色彩自然的增強圖像.實驗結(jié)果驗證了本文算法可以有效地改善不同種類的沙塵降質(zhì)圖像存在的顏色偏移問題,使得圖像顏色更加豐富,而且更好地突出了景物的細(xì)節(jié),提高了圖像的亮度.