張 宏，張玉倫，鄧 旭，徐 梅

(哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，黑龍江 哈爾濱 150080)

1 引言

由于在霧霾天氣下拍攝的圖像模糊不清并且對(duì)比度較低，這將影響后續(xù)的交通監(jiān)控、軍事偵查、目標(biāo)識(shí)別等任務(wù)[1-4]。因此，如何將有霧圖像清晰化顯得尤為重要。

目前圖像去霧算法主要可以分為兩類，即：基于圖像增強(qiáng)方法和基于圖像復(fù)原方法?；趫D像增強(qiáng)方法通常不考慮圖像退化原因，通過(guò)提高圖像的對(duì)比度來(lái)改善圖像的視覺(jué)效果。例如，直方圖均衡化[5]和Retinex算法[6]是典型地基于圖像增強(qiáng)方法。然而，直方圖均衡化方法容易導(dǎo)致去霧后的圖像信息丟失，Retinex算法去霧后圖像的色彩保真度不夠令人滿意?；趫D像復(fù)原方法通常分析圖像退化的原因，建立相應(yīng)的退化模型，并在退化過(guò)程中補(bǔ)償丟失的信息。例如，基于偏振成像的方法[7]和基于先驗(yàn)知識(shí)的方法[8-10]是典型地基于圖像復(fù)原的方法。然而，基于偏振成像的方法對(duì)景深信息的確認(rèn)以及大氣散射系數(shù)的改動(dòng)需要用戶交互式操作。因此，國(guó)內(nèi)外研究學(xué)者們著手研究霧氣濃度分布規(guī)律以期望得到合理的先驗(yàn)信息，從根本上達(dá)到圖像去霧的目的。這類方法早期由Tan等人[8]提出，基于無(wú)霧圖像具有較高對(duì)比度的先驗(yàn)信息，通過(guò)最大化局部對(duì)比度來(lái)達(dá)到圖像去霧效果。但是復(fù)原圖像的顏色容易出現(xiàn)過(guò)飽和。Tarel等人[9]提出使用中值濾波，該方法運(yùn)行時(shí)間較快，但是復(fù)原圖像容易出現(xiàn)光暈效應(yīng)。Fattal等人[10]基于大氣光傳播介質(zhì)與局部場(chǎng)景透射率不相關(guān)作為先驗(yàn)信息，使用獨(dú)立成分分析來(lái)估算透射率，但是該方法復(fù)原的圖像容易發(fā)生失真情況。He等人[11]基于無(wú)霧圖像的非天空區(qū)域中至少一個(gè)顏色通道上的像素強(qiáng)度非常低的先驗(yàn)信息，提出了經(jīng)典的暗通道先驗(yàn)方法。但是該方法對(duì)天空區(qū)域的去霧效果不是很理想。為此，文獻(xiàn)[12，13]是基于He等人提出的暗通道先驗(yàn)方法做出了改進(jìn)。Zhu等人[14]提出了顏色衰減先驗(yàn)的假設(shè)，通過(guò)建立場(chǎng)景深度線性模型來(lái)獲取深度信息。Meng等人[15]提出了邊界約束和正則化圖像去霧方法，通過(guò)犧牲部分邊界信息來(lái)復(fù)原圖像。Cai等人[16]提出了一種端到端的網(wǎng)絡(luò)，稱為DehazeNet圖像去霧方法，該方法將深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合，以有霧圖像為輸入，通過(guò)深度學(xué)習(xí)估計(jì)透射圖，然后使用大氣散射模型復(fù)原圖像。與傳統(tǒng)網(wǎng)絡(luò)相比，該網(wǎng)絡(luò)圖像去霧的效率更高。但是，復(fù)原圖像容易出現(xiàn)霧氣去除不徹底的情況。

2 背景

2.1 大氣散射模型

大氣中細(xì)小顆粒物的散射作用是形成霧霾的主要因素，在霧霾天氣下拍攝的圖像可視性大大降低。1999年，Nayar等人[17]提出了著名的大氣散射模型，該模型可以表示為

I(x)=J(x)t(x)+(1-t(x))A

(1)

式中I(x)表示為觀測(cè)到的有霧圖像，t(x)表示為場(chǎng)景透射率圖，A表示為全局大氣光值，J(x)表示為所要求取的無(wú)霧圖像。

2.2 暗通道先驗(yàn)

He等人[11]通過(guò)觀察大量室外無(wú)霧圖像的暗通道發(fā)現(xiàn)：在大多數(shù)室外無(wú)霧圖像的非天空區(qū)域內(nèi)，至少一個(gè)顏色通道上的像素強(qiáng)度非常低，并且像素值接近于0或者等于0。

(2)

式中Jdark(x)表示觀測(cè)到的無(wú)霧圖像J(x)的暗通道，Jc(x)表示無(wú)霧圖像J(x)的第c個(gè)顏色通道，其中c∈{R，G，B}，Ω(y)是以像素y為中心的窗口。由于無(wú)霧圖像J(x)非天空區(qū)域的暗通道灰度強(qiáng)度較低，因此Jdark(x)→0。

3 本文算法

He等人[11]選取暗通道圖像中最亮的前0.1%的像素點(diǎn)作為大氣光候選區(qū)域，并在大氣光候選區(qū)域?qū)?yīng)其在原始圖像的位置中尋找最大像素點(diǎn)的值作為估計(jì)的大氣光值A(chǔ)。然而，當(dāng)有霧圖像含有亮白色物體或者其它高亮噪聲時(shí)，大氣光候選區(qū)域可能會(huì)錯(cuò)誤定位在亮白色物體或其它高亮噪聲上，導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確，從而影響圖像的去霧效果。此外，由于暗通道先驗(yàn)方法復(fù)原圖像的顏色相對(duì)較暗，影響圖像的視覺(jué)效果。

針對(duì)上述分析，本文提出了基于改進(jìn)暗通道先驗(yàn)的圖像去霧算法，圖1為本文提出算法的流程圖，其主要貢獻(xiàn)如下：

1)提出了四叉樹(shù)搜索算法來(lái)估計(jì)大氣光候選區(qū)域，避免了大氣光候選區(qū)域定位在高亮噪聲或者亮白色物體上，進(jìn)而導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確，影響圖像的復(fù)原效果。

2)將初步的去霧圖像轉(zhuǎn)為HSI顏色空間，保持色調(diào)H和飽和度S不變，僅對(duì)亮度I進(jìn)行限制對(duì)比度自適應(yīng)直方圖均衡化處理。最后，將HSI顏色空間轉(zhuǎn)為RGB顏色空間得到最終的去霧圖像，改善了去霧后圖像亮度偏暗的問(wèn)題。

圖1 提出算法的流程圖

3.1 估計(jì)大氣光候選區(qū)域

理想情況下，大氣光被估計(jì)于無(wú)窮遠(yuǎn)的天空區(qū)域上。當(dāng)圖像中存在較大的霧氣時(shí)，為了避免估計(jì)的大氣光候選區(qū)域定位在高亮噪聲或者亮白色物體上，導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確。本文通過(guò)四叉樹(shù)搜索算法來(lái)估計(jì)大氣光候選區(qū)域，其主要過(guò)程可以描述為：

1)將輸入的有霧圖像劃分為四個(gè)大小相等的區(qū)域。

2)分別計(jì)算四個(gè)區(qū)域的均值和方差，并且將每個(gè)對(duì)應(yīng)區(qū)域的均值減去對(duì)應(yīng)區(qū)域的方差得出對(duì)應(yīng)區(qū)域的得分。

3)選擇得分最大的區(qū)域繼續(xù)重復(fù)執(zhí)行四叉樹(shù)搜索算法。

4)當(dāng)搜索選定區(qū)域的像素點(diǎn)個(gè)數(shù)小于等于設(shè)置的閾值時(shí)，停止四叉樹(shù)搜索，此區(qū)域?yàn)樽罱K估計(jì)的大氣光候選區(qū)域。如圖2所示，通過(guò)不同方法估計(jì)的大氣光候選區(qū)域，大氣光候選區(qū)域標(biāo)記為紅色。

圖2 估計(jì)大氣光候選區(qū)域

從圖2中可以看出He等人[11]的方法錯(cuò)誤地將大氣光候選區(qū)域定位在白色物體上，這將導(dǎo)致大氣光值估計(jì)的不準(zhǔn)確，進(jìn)而影響圖像的去霧效果。而本文提出的算法將大氣光候選區(qū)域定位在遠(yuǎn)處的天空區(qū)域內(nèi)，有利于提高大氣光值估計(jì)的準(zhǔn)確性。

確定了大氣光候選區(qū)域后，將大氣光候選區(qū)域?qū)?yīng)其在有霧圖像中的位置，再將求得位置的R，G，B三個(gè)顏色通道的均值作為估計(jì)的大氣光值A(chǔ)c，其中c∈{R，G，B}。

3.2 估計(jì)透射率和復(fù)原圖像

根據(jù)大氣散射模型(式(1))可知，僅有含霧圖像I(x)是已知的。若想求取無(wú)霧圖像J(x)需要計(jì)算兩個(gè)未知量，分別是大氣光值A(chǔ)和場(chǎng)景透射率圖t(x)。根據(jù)暗通道先驗(yàn)理論Jdark(x)→0，故根據(jù)式(1)可以求得透射率圖t(x)，即

(3)

為了使去霧后的圖像保留一定的霧度，使其看起來(lái)更加自然，在式(3)中引入一個(gè)參數(shù)w∈{0，…，1}，即

(4)

式中w值越大，復(fù)原圖像中的霧氣去除效果越明顯，但是復(fù)原圖像的顏色很大程度上會(huì)變得比較暗并且過(guò)度的凸顯圖像的細(xì)節(jié)，影響了圖像的可視性。而w值越小，復(fù)原圖像中的霧氣去除效果越不明顯。一般w設(shè)為0.95。

根據(jù)第3.1節(jié)計(jì)算得出的大氣光值A(chǔ)c和上述計(jì)算得出的透射率圖t(x)，可以根據(jù)大氣散射模型求出復(fù)原圖像J(x)

(5)

式中t0是為了避免透射率t(x)過(guò)小而設(shè)置的閾值(通常設(shè)t0=0.1)。

圖3 通過(guò)不同算法獲得的透射圖和相應(yīng)的圖像去霧結(jié)果

從圖3中可以看出，通過(guò)He等人[11]提出的方法進(jìn)行去霧時(shí)，去霧結(jié)果中的天空區(qū)域出現(xiàn)了顏色失真的情況。而通過(guò)本文提出的算法進(jìn)行圖像去霧時(shí)，去霧結(jié)果中天空區(qū)域的顏色比較自然，并且沒(méi)有出現(xiàn)顏色失真的情況。

3.3 HSI顏色空間處理

由于本文提出的算法是基于暗通道先驗(yàn)原理，使得去霧后的圖像J(x)顏色較暗。因此，將初步去霧后的圖像轉(zhuǎn)為HSI顏色空間并保持H(色調(diào))和S(飽和度)不變，僅對(duì)I(亮度)進(jìn)行限制對(duì)比度自適應(yīng)直方圖均衡化處理。將處理完的HSI顏色空間轉(zhuǎn)為RGB顏色空間得到最終的去霧后圖像。

限制對(duì)比度自適應(yīng)直方圖均衡化主要思想是對(duì)其對(duì)比度進(jìn)行限幅，具體過(guò)程可以描述為：

1)將圖像分割為n個(gè)大小相等的連續(xù)子區(qū)域(不重疊)，計(jì)算出每個(gè)區(qū)域內(nèi)的直方圖。

圖4 直方圖裁剪和重新均勻分配示意圖

2)對(duì)每個(gè)子區(qū)域內(nèi)的直方圖進(jìn)行裁剪，使其幅值低于預(yù)先設(shè)定好的上限。如圖4所示，將裁掉的部分像素重新均勻分配到各個(gè)灰度級(jí)中。從圖4中可以看出，經(jīng)過(guò)重新均勻分配后的直方圖有部分像素超過(guò)預(yù)先設(shè)定好的上限，故重復(fù)此過(guò)程直至所有被裁剪的像素被均勻分配為止。

3)對(duì)限制對(duì)比度后的每個(gè)區(qū)域的直方圖分別進(jìn)行均衡化。

4)最后為了消除人為引起的邊界，使用雙線性插值法將相鄰區(qū)域合并，為每個(gè)像素進(jìn)行線性插值運(yùn)算得到最終的圖像。

從圖5中可以看出，通過(guò)對(duì)HSI顏色空間中的亮度I進(jìn)行限制對(duì)比度直方圖均衡化操作，有效的改善了圖像場(chǎng)景亮度偏暗的問(wèn)題，并且提高了圖像的對(duì)比度，更加凸顯去霧后圖像的細(xì)節(jié)。

圖5 初步去霧結(jié)果和最終去霧結(jié)果的比較

4 實(shí)驗(yàn)結(jié)果與分析

本文使用MATLAB編程語(yǔ)言，在windows7的操作系統(tǒng)上進(jìn)行所有實(shí)驗(yàn)。硬件平臺(tái)為Inter(R) Core(TM) i5 - 4278U CPU @ 2.60GHz處理器、8GB RAM。

將本文提出的算法與幾種著名的圖像去霧方法(He等人[11]，Zhu等人[14]，Meng等人[15]，Cai等人[16])進(jìn)行比較，分別使用定性評(píng)估和定量評(píng)估的方式來(lái)驗(yàn)證本文方法的有效性。

4.1 真實(shí)有霧圖像定性評(píng)估

圖6到圖10表示不同場(chǎng)景下真實(shí)有霧圖像的去霧結(jié)果，其中(a)表示原始有霧圖像，(b)表示He等人[11]的去霧結(jié)果，(c)表示Zhu等人[14]的去霧結(jié)果，(d)表示Meng等人[15]的去霧結(jié)果，(e)表示Cai等人[16]的去霧結(jié)果，(f)表示本文算法的去霧結(jié)果。

圖6 火車圖像的去霧結(jié)果比較

圖7 稻草圖像的去霧結(jié)果比較

圖8 公路圖像的去霧結(jié)果比較

圖9 城市圖像的去霧結(jié)果比較

圖10 森林圖像的去霧結(jié)果比較

從圖6到圖10中可以看出，雖然He等人[11]提出的經(jīng)典暗通道方法可以有效地去除有霧圖像中的霧氣，但是去霧后的圖像顏色偏暗，如圖6(b)所示，并且天空區(qū)域容易出現(xiàn)顏色失真，如圖10(b)所示。雖然Zhu等人[14]提出的顏色衰減先驗(yàn)方法可以增強(qiáng)圖像的紋理信息，但是該方法去霧后的圖像顏色偏暗，如圖6(c)所示，并且遠(yuǎn)處的圖像場(chǎng)景容易出現(xiàn)霧氣去除不徹底的情況，如圖7(c)所示。Meng等人[15]提出的基于邊界約束的去霧方法，該方法可以有效地去除圖像中的霧氣，但是該方法去霧后的圖像容易發(fā)生顏色失真的情況，如圖6(d)所示。Cai等人[16]提出了一種端到端的網(wǎng)絡(luò)去霧方法，雖然去霧后圖像的顏色沒(méi)有發(fā)生失真，但是并沒(méi)有很有效的去除圖像中的霧氣，如圖10(e)所示。

從圖10(f)中可以看出，本文提出的算法改善了He等人[11]和Meng等人[15]去霧結(jié)果中的天空區(qū)域發(fā)生色彩失真的情況。并且避免了Zhu等人[14]和Cai等人[16]的方法對(duì)于遠(yuǎn)處場(chǎng)景的霧氣去除不徹底的情況。從圖6到圖10不同場(chǎng)景下的圖像去霧結(jié)果可以看出，本文提出的算法可以有效的去除圖像中的霧氣。與一些經(jīng)典的圖像去霧方法相比，避免了出現(xiàn)顏色失真的情況，并且改善了去霧后的圖像亮度偏暗的問(wèn)題。綜合以上定性分析的結(jié)果可以看出，本文提出的算法總體去霧效果更佳。

4.2 真實(shí)有霧圖像定量評(píng)估

由于每個(gè)人的視覺(jué)感知是不同的，使得定性評(píng)估的方式包含一些主觀因素。為了更公平的比較實(shí)驗(yàn)，本文又采用定量評(píng)估的方式來(lái)驗(yàn)證提出算法的有效性。本文選取圖像平均梯度、可見(jiàn)邊邊緣梯度法[18]和圖像信息熵作為定量評(píng)估的指標(biāo)。

圖像平均梯度可以描述圖像的清晰程度，反映了圖像細(xì)節(jié)反差程度以及紋理變化。通常來(lái)說(shuō)，平均梯度值越大，圖像越清晰。圖像平均梯度可以表示為

(6)

如表1所示，與其它4種對(duì)比的圖像去霧方法相比較，通過(guò)本文提出的算法對(duì)真實(shí)有霧圖像進(jìn)行去霧處理，去霧結(jié)果的平均梯度值最高。這表明了通過(guò)本文算法去霧后的圖像細(xì)節(jié)豐富，紋理清晰。

表1 去霧結(jié)果的平均梯度g對(duì)比

可見(jiàn)邊邊緣梯度法[18]包括三個(gè)評(píng)估指標(biāo)，e(新增可見(jiàn)邊比率)、r(恢復(fù)后對(duì)比度質(zhì)量)和σ(恢復(fù)后飽和像素?cái)?shù))。一般來(lái)說(shuō)，e和r的值越大表明去霧后的圖像質(zhì)量越好，σ值越小表明去霧后的圖像質(zhì)量越好，e、r和σ分別定義為[18]：

(7)

(8)

(9)

如表2所示，本文提出算法的新增可見(jiàn)邊比率基本優(yōu)于其它4種對(duì)比的圖像去霧方法。僅有個(gè)別數(shù)據(jù)略高于本文提出的算法，并且相差較小。例如表2中有關(guān)圖7的數(shù)據(jù)顯示，He等人[11]提出方法的新增可見(jiàn)邊比率略高于本文提出算法的新增可見(jiàn)邊比率。但是結(jié)合定性評(píng)估的結(jié)果來(lái)看，He等人[11]的去霧結(jié)果中顏色相對(duì)偏暗，遠(yuǎn)處的細(xì)節(jié)不容易被人眼捕捉，而本文提出算法的色彩飽和度和亮度都略高于He等人的方法。

表2 去霧結(jié)果的新增可見(jiàn)邊比率e對(duì)比

如表3所示，與幾種著名的圖像去霧方法相比較，采用本文提出的算法進(jìn)行去霧處理，恢復(fù)后對(duì)比度質(zhì)量最高。這表明了采用本文提出的算法恢復(fù)后的圖像具有較高對(duì)比度的特點(diǎn)。

如表4所示，本文算法恢復(fù)后飽和像素?cái)?shù)在圖6、7、8中具有很好的競(jìng)爭(zhēng)優(yōu)勢(shì)。在表4中有關(guān)圖9的數(shù)據(jù)顯示，Zhu等人[14]和Meng等人[15]提出方法的恢復(fù)后飽和像素?cái)?shù)略優(yōu)于本文提出算法的恢復(fù)后飽和像素?cái)?shù)。但是從定性評(píng)估角度來(lái)看，Zhu等人[14]和Meng等人[15]的去霧結(jié)果中，近距離建筑物復(fù)原的細(xì)節(jié)略差于本文提出算法的去霧效果。表4中有關(guān)圖10的數(shù)據(jù)顯示，He等人[11]提出方法的恢復(fù)后飽和像素?cái)?shù)略優(yōu)于本文提出算法的恢復(fù)后飽和像素?cái)?shù)。但是從定性評(píng)估角度來(lái)看，He等人[11]去霧結(jié)果中的天空區(qū)域出現(xiàn)了顏色失真，并且近距離的場(chǎng)景顏色暗淡。

表3 去霧結(jié)果的恢復(fù)后對(duì)比度質(zhì)量r對(duì)比

表4 去霧結(jié)果的恢復(fù)后飽和像素?cái)?shù)σ對(duì)比

圖像信息熵值的大小可以反映圖像信息量的多少。通常來(lái)說(shuō)，圖像信息熵的值越大，圖像的信息量越豐富、質(zhì)量越好。圖像信息熵可以表示為

(10)

如表5所示，與其它4種對(duì)比的圖像去霧算法相比較，本文去霧結(jié)果的圖像信息熵具有較好的競(jìng)爭(zhēng)優(yōu)勢(shì)，僅圖10中Zhu等人[14]的數(shù)據(jù)略優(yōu)于本文算法。但是從定性評(píng)估的角度來(lái)看，Zhu等人[14]方法的去霧效果并沒(méi)有本文方法的去霧后效果顯示的信息量豐富，并且遠(yuǎn)處場(chǎng)景存在霧氣去除不徹底的情況。而本文算法的去霧結(jié)果中遠(yuǎn)處場(chǎng)景的細(xì)節(jié)較為突出。

表5 去霧結(jié)果的圖像信息熵U對(duì)比

5 結(jié)論

本文針對(duì)現(xiàn)有的圖像去霧算法存在顏色失真和去霧后圖像亮度偏暗的問(wèn)題，提出了基于改進(jìn)暗通道先驗(yàn)的圖像去霧算法。通過(guò)改進(jìn)的四叉樹(shù)搜索算法來(lái)估計(jì)大氣光候選區(qū)域，提高了大氣光值估計(jì)的準(zhǔn)確性，并且有效地減少了去霧后的圖像出現(xiàn)顏色失真的情況。此外，通過(guò)將初步去霧后的圖像轉(zhuǎn)為HSI顏色空間，僅對(duì)亮度I進(jìn)行限制對(duì)比度自適應(yīng)直方圖均衡化處理，有效的改善了去霧后的圖像顏色偏暗的問(wèn)題，提高了圖像的對(duì)比度，使去霧后的圖像凸顯更多細(xì)節(jié)。