李玉鑫，于會(huì)山，梁天全

（1.聊城大學(xué)物理科學(xué)與信息工程學(xué)院，聊城 252000；2.聊城大學(xué)地理與環(huán)境學(xué)院，聊城 252000）

0 引言

霧霾天氣下戶外懸浮著大量的微小水滴、氣溶膠等顆粒，目標(biāo)物體輻射光線在傳輸?shù)较鄼C(jī)設(shè)備的過(guò)程中會(huì)受到這些粒子的散射等作用，使相機(jī)設(shè)備拍攝的圖像出現(xiàn)對(duì)比度低、顏色失真等降質(zhì)問(wèn)題。這將嚴(yán)重影響后續(xù)一些高級(jí)計(jì)算機(jī)視覺(jué)任務(wù)的精確性，如目標(biāo)跟蹤、遙感圖像處理等［1-2］。因此，對(duì)含有霧霾的戶外圖像進(jìn)行有效的清晰化處理是有意義和必要的。

目前針對(duì)霧天圖像清晰化處理的方法主要分為基于圖像處理技術(shù)的圖像增強(qiáng)算法和基于具體成像模型的圖像復(fù)原算法兩大類［3］。其中，圖像增強(qiáng)的方法不需要考慮具體的圖像退化模型，僅從圖像自身出發(fā)，基于圖像特點(diǎn)對(duì)圖像的像素進(jìn)行重新分布來(lái)改善圖像的視覺(jué)效果以及突出特征信息。常用的方法主要包括基于直方圖均衡的方法［4］、retinex 理論的算法［5-7］和小波變換［8-9］。但圖像增強(qiáng)技術(shù)只能對(duì)圖像的某一類特征有一定效果，很難對(duì)同一圖像的不同區(qū)域取得滿意的增強(qiáng)效果?；趫D像復(fù)原的去霧方法通過(guò)對(duì)圖像退化過(guò)程中的機(jī)制進(jìn)行研究分析，構(gòu)建具體的成像物理模型來(lái)模擬該過(guò)程，再利用先驗(yàn)信息估計(jì)成像模型中未知參數(shù)，并通過(guò)逆求解的思路來(lái)反演圖像的降質(zhì)過(guò)程。Tarel 等［10］提出了一種基于大氣耗散系數(shù)的快速去霧方法，通過(guò)改進(jìn)的中值濾波估計(jì)大氣耗散函數(shù)，從而達(dá)到去霧效果。He 等［11］統(tǒng)計(jì)與分析了大量的戶外無(wú)霧圖像的特征，提出一種暗通道先驗(yàn)理論，并在大氣圖像去霧方面取得顯著效果。Meng 等［12］利用物理約束條件粗略估計(jì)介質(zhì)透射率，并借助一種基于加權(quán)L1 范數(shù)的正則化算法改善透射率圖。

綜上分析，本文將增強(qiáng)和復(fù)原技術(shù)的優(yōu)勢(shì)相結(jié)合，提出了融合暗通道與MSRCR 算法的單幅圖像去霧方法。首先改進(jìn)暗通道先驗(yàn)去霧算法中估計(jì)大氣光和細(xì)化透射率的方式，并基于大氣散射模型對(duì)圖像清晰化處理，得到復(fù)原圖像；其次針對(duì)暗通道復(fù)原圖像偏暗的問(wèn)題，使用MSRCR 算法對(duì)原始圖像進(jìn)行增強(qiáng)；然后將得到的復(fù)原圖像和增強(qiáng)圖像采用像素級(jí)融合中的線性加權(quán)方法進(jìn)行圖像融合處理。最終獲得了細(xì)節(jié)保護(hù)良好、色彩自然和層次分明的無(wú)霧圖像。

1 去霧原理

在圖像去霧研究領(lǐng)域和計(jì)算機(jī)視覺(jué)中，通常用大氣散射模型［13］描述霧天圖像物理退化過(guò)程。該模型認(rèn)為在強(qiáng)散射介質(zhì)下，引起成像設(shè)備采集到的圖像質(zhì)量下降的原因有兩種：一是空氣中的懸浮粒子使得來(lái)自物體表面的反射光產(chǎn)生散射，進(jìn)而導(dǎo)致到達(dá)照相機(jī)成像平面的反射光衰減；二是大氣中的微粒子會(huì)對(duì)周圍環(huán)境的光進(jìn)行散射，從而與目標(biāo)物體反射光共同在觀測(cè)系統(tǒng)參與了成像。大氣散射模型示意圖如圖1所示。

圖1 大氣散射模型示意圖

此模型包括衰減模型和環(huán)境光模型，表達(dá)式為

其中A是大氣光值，I（x）是有霧圖像，J（x）是真實(shí)場(chǎng)景輻射照度，即需要復(fù)原的無(wú)霧圖像，透射率t（x）與場(chǎng)景深度d（x）有著密切的關(guān)系，可以表示為

其中β為大氣散射系數(shù)；d（x）為場(chǎng)景深度。

當(dāng)處于戶外無(wú)霧天氣時(shí)，β值趨于0，此時(shí)得到I（x）=J（x）；而霧天情況下β＞0，則β不能被忽略。最終求解得到去霧圖像為

為了防止分母無(wú)限趨近于0，因此利用t0來(lái)限制透射率的下限，令t0=0.1。由于A、t、J都是未知參數(shù)，在數(shù)學(xué)求解角度是一個(gè)病態(tài)求逆的問(wèn)題，因此求解目標(biāo)值時(shí)還需要參考先驗(yàn)知識(shí)以產(chǎn)生附加條件。

2 本文算法

2.1 基于暗通道先驗(yàn)的圖像復(fù)原

2.1.1 初始透射率估計(jì)

He 等［11］通過(guò)對(duì)室外無(wú)霧天氣下拍攝圖像的大量統(tǒng)計(jì)和分析，發(fā)現(xiàn)絕大多數(shù)的室外無(wú)霧清晰圖像的非天空局部區(qū)域，總是存在一些像素點(diǎn)至少有一個(gè)顏色通道具有很低的像素值，甚至趨近于零像素，這樣的顏色通道稱為“暗通道”，定義為Jdark(x)。暗通道先驗(yàn)理論在數(shù)學(xué)上表示為

式中，c表示RGB 三個(gè)顏色通道，Jc表示彩色圖像J的R、G、B 三通道之一，Ω是以像素x為中心的局部區(qū)域。

根據(jù)暗通道先驗(yàn)理論估計(jì)透射率時(shí)，假設(shè)在區(qū)域Ω內(nèi)透射率t（x）為常量，大氣光Ac為常數(shù)，對(duì)式（1）兩邊同時(shí)作兩次最小值濾波操作可得：

根據(jù)暗通道原理Jdark(x)→0，可以得出透射率的估計(jì)值為

考慮到真實(shí)的戶外天氣下包含一些懸浮顆粒，會(huì)感受到景深的存在，使遠(yuǎn)處場(chǎng)景有一層微霧現(xiàn)象。為了使去霧處理后的圖像更加自然，在式（6）中引入?yún)?shù)w(0 ＜w≤1)來(lái)保留非常小的一部分霧。通常情況下，當(dāng)設(shè)置w=0.95 時(shí)，去霧后的圖像最為真實(shí)。最終透射率的估計(jì)值為

由于暗通道先驗(yàn)具有簡(jiǎn)易性的特點(diǎn)，本文通過(guò)暗通道先驗(yàn)來(lái)粗略估計(jì)透射率，得到的透射率如圖2所示。

圖2 粗略估計(jì)透射率結(jié)果

2.1.2 估計(jì)大氣光值

大氣光強(qiáng)度是依據(jù)大氣數(shù)學(xué)成像模型復(fù)原出去霧圖像非常關(guān)鍵的參數(shù)，對(duì)復(fù)原后圖像整體色調(diào)起著決定性作用。Tan［14］找到圖像中最亮的像素估計(jì)環(huán)境光值，而He［11］提出取暗通道值中前0.1%最亮的像素點(diǎn)所在的位置對(duì)應(yīng)原始圖像中亮度最大像素點(diǎn)作為大氣光強(qiáng)度，但很容易受到大量亮區(qū)域和白色物體影響，使得大氣光數(shù)值估計(jì)過(guò)高而導(dǎo)致復(fù)原圖像出現(xiàn)過(guò)曝光，遮掩圖像的細(xì)節(jié)。由Kim 等［15］得出的霧天圖像先驗(yàn)信息可知，大氣光強(qiáng)度是從場(chǎng)景深度最深處的平滑區(qū)域獲得的，其周圍區(qū)域往往像素變化較為緩慢，通常具有較低標(biāo)準(zhǔn)差。因此，本文利用基于四叉樹(shù)的分級(jí)搜索方法來(lái)尋找大氣光值存在的區(qū)域，該方法的分解原理如圖3所示，其主要步驟如下：

圖3 四叉樹(shù)分解法示意圖

（1）將輸入圖像均勻劃分為四個(gè)矩形區(qū)域，再將區(qū)域內(nèi)平均像素值減去其標(biāo)準(zhǔn)差作為每個(gè)矩形塊評(píng)分規(guī)則。

（2）選擇四個(gè)矩形區(qū)域中評(píng)分最小的區(qū)域作為下一個(gè)待選區(qū)域，繼續(xù)分解為四個(gè)更小的子區(qū)域。

（3）重復(fù)步驟（1）和（2），直到選定矩形塊的面積小于預(yù)先設(shè)定的閾值，迭代終止。

（4）在最終得到的子塊中，選擇距離純白色最小距離的顏色向量作為大氣光，即取最小值處像素點(diǎn)。

2.1.3 細(xì)化透射率

在上面的操作中粗略求取透射率時(shí)，假設(shè)在一個(gè)很小的區(qū)域透射率是個(gè)固定值，由于它是基于區(qū)域的操作，因此所得透射率圖中會(huì)存在塊效應(yīng)，大幅降低去霧圖像的質(zhì)量。He［11］采用軟摳圖進(jìn)行透射率細(xì)化，但時(shí)間復(fù)雜度高，應(yīng)用不方便。為了使算法更簡(jiǎn)單，本文采用引導(dǎo)濾波器來(lái)去除偽影，優(yōu)化透射率。假設(shè)引導(dǎo)圖像為I，輸入圖像為p，其濾波線性轉(zhuǎn)換模型為

其中ak和bk為線性表示的系數(shù)，wk是以像素k為中心、r為半徑的一個(gè)方形窗口，i是圖像中的像素點(diǎn)。在窗口wk中代價(jià)函數(shù)可表示

其中pi為窗口wk內(nèi)的任意值，系數(shù)ε是避免ak過(guò)大的正則化參數(shù)。ak、bk取值可以通過(guò)最小化窗口代價(jià)函數(shù)求得：

其中uk、δk分別為引導(dǎo)圖像Ii在窗口wk中的均值、標(biāo)準(zhǔn)差，|w|是在窗口wk中的像素點(diǎn)總數(shù)，為輸入圖像pi在窗口內(nèi)的均值。

將求解得到的大氣光值A(chǔ)和細(xì)化后的透射率t（x）代入式（3），即可求得暗通道先驗(yàn)算法復(fù)原圖像J（x），如圖4所示。

圖4 運(yùn)用引導(dǎo)濾波來(lái)精細(xì)傳輸圖的圖解

2.2 MSRCR增強(qiáng)

針對(duì)上述暗通道先驗(yàn)算法獲得的處理圖像存在色彩黯淡的問(wèn)題，利用MSRCR 算法對(duì)原始圖像進(jìn)行提高亮度、色彩平衡處理得到增強(qiáng)圖像，所得圖像如圖5所示。Retinex 思想是人眼捕捉到的目標(biāo)物體圖像S(x,y)可以由入射分量L(x,y)和反射分量R(x,y)兩部分構(gòu)成。S(x,y)可以表示為

圖5 MSRCR算法增強(qiáng)圖像

多尺度Retinex 算法將高斯函數(shù)與初始圖像進(jìn)行卷積運(yùn)算，卷積結(jié)果能夠近似地對(duì)入射光分量進(jìn)行估計(jì)，并進(jìn)一步利用高斯環(huán)繞函數(shù)進(jìn)行濾波操作，再對(duì)濾波結(jié)果添加比例因子進(jìn)行加權(quán)求和：

其中N表示尺度總數(shù)，F(xiàn)k(x,y)、wk分別表示第k個(gè)尺度對(duì)應(yīng)的高斯環(huán)繞函數(shù)和權(quán)重。

多尺度Retinex 算法單獨(dú)處理圖像的RGB 三個(gè)顏色通道，這樣會(huì)導(dǎo)致增強(qiáng)后圖像RGB通道的比例關(guān)系產(chǎn)生失衡，帶來(lái)一定程度的顏色失真。因此MSRCR算法引入彩色恢復(fù)因子Ci(x,y)來(lái)調(diào)節(jié)R、G、B三個(gè)通道的比例。

其中RMSRCRi(x,y)為MSRCR 算法的增強(qiáng)圖像，β為增益常數(shù)，α反映非線性強(qiáng)度，s=3 為光譜通道R、G、B數(shù)目。

2.3 圖像融合

MSRCR 算法和基于暗通道先驗(yàn)霧天圖像復(fù)原結(jié)果分別如圖6（b）、圖6（c）所示。經(jīng)MSRCR增強(qiáng)得到的霧天圖像較原圖像清晰度明顯提高，但圖中建筑、地面顏色過(guò)于鮮艷?；诎低ǖ老闰?yàn)得到的圖像顏色整體呈灰暗基調(diào)，但顏色真實(shí)自然。本文考慮將兩幅圖像中所需要的信息整合到一幅圖像中，最后綜合成信息更加豐富、細(xì)節(jié)內(nèi)容更加突出的圖像。圖像融合按融合層級(jí)由低到高可以分為三個(gè)層次，即像素級(jí)融合、特征級(jí)融合、決策級(jí)融合。其中像素級(jí)融合使用頻次最高、應(yīng)用范圍更廣，因此本文采用像素級(jí)融合對(duì)霧天圖像兩種處理結(jié)果進(jìn)行融合。融合表達(dá)式如下：

圖6 本文算法復(fù)原圖

其中k1和k2為線性加權(quán)的系數(shù)，并且有k1+k2=1。經(jīng)過(guò)反復(fù)實(shí)驗(yàn)驗(yàn)證，取賦予權(quán)值k1=0.73，k2=0.27時(shí)，可以得到更加清晰的圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提算法的有效性和魯棒性，用本文算法處理處于不同環(huán)境的多幅霧霾天氣圖像，并與現(xiàn)有的去霧算法（文獻(xiàn)［10］、文獻(xiàn)［11］、文獻(xiàn)［12］）處理結(jié)果進(jìn)行對(duì)比分析，從主觀和客觀兩方面評(píng)價(jià)所提算法。

圖7—圖10給出了針對(duì)不同圖像，不同去霧方法的去霧效果。文獻(xiàn)［10］的方法對(duì)薄霧圖像有效，但去霧后圖像整體亮度偏暗，在霧霾圖像景深突變的邊緣區(qū)域還易產(chǎn)生Halo 效應(yīng)；處理濃霧的效果一般，會(huì)低估遠(yuǎn)處的霧度，遠(yuǎn)景區(qū)域去霧程度低。文獻(xiàn)［11］去霧算法雖然可以使圖像在視覺(jué)效果上達(dá)到良好的去霧效果，但是復(fù)原后的圖像整體偏暗，而且在天空區(qū)域產(chǎn)生光暈現(xiàn)象，如圖8（b）所示。文獻(xiàn)［12］算法復(fù)原結(jié)果可以在一定程度去霧，恢復(fù)了大部分細(xì)節(jié)信息，但產(chǎn)生了明顯的顏色失真及過(guò)度增強(qiáng)現(xiàn)象，尤其在天空區(qū)域色彩失真更加嚴(yán)重。相比之下，本文算法無(wú)論是薄霧還是濃霧、近景還是遠(yuǎn)景都能夠有效去霧，而且有效消除了Halo效應(yīng)，去霧后圖像有較高的對(duì)比度，顏色真實(shí)自然。

圖7 canon實(shí)驗(yàn)圖像處理效果對(duì)比

圖8 city實(shí)驗(yàn)圖像處理效果對(duì)比

圖9 cones實(shí)驗(yàn)圖像處理效果對(duì)比

圖10 pumpkins實(shí)驗(yàn)圖像處理效果對(duì)比

最后引入信息熵、平均梯度、對(duì)比度三個(gè)圖像評(píng)價(jià)指標(biāo)進(jìn)行客觀評(píng)價(jià)，以驗(yàn)證算法的可行性。信息熵越大表示攜帶的信息量越大，平均梯度反映圖像對(duì)微小細(xì)節(jié)反差表達(dá)的能力，梯度值越大表示圖像的輪廓細(xì)節(jié)清晰度越高，而對(duì)比度的數(shù)值越大說(shuō)明復(fù)原后的圖像越清晰明亮。不同算法增強(qiáng)效果的各項(xiàng)指標(biāo)如表1所示，從表1可以看出，本文的增強(qiáng)算法在信息熵、平均梯度和對(duì)比度等指標(biāo)上均有較優(yōu)表現(xiàn)。綜合視覺(jué)效果及數(shù)據(jù)表現(xiàn)，本文算法具有一定的優(yōu)越性，處理后的圖像在主觀視覺(jué)上更加清晰自然，對(duì)比度更高，較文獻(xiàn)［10-12］表現(xiàn)更加優(yōu)秀。

表1 評(píng)價(jià)指標(biāo)的計(jì)算結(jié)果

4 結(jié)語(yǔ)

針對(duì)霧霾下的圖像進(jìn)行處理，本文提出融合暗通道與MSRCR 算法的圖像去霧方法。首先對(duì)暗通道先驗(yàn)算法進(jìn)行了改進(jìn)，引入了四叉樹(shù)細(xì)分來(lái)估計(jì)大氣光值，利用導(dǎo)向?yàn)V波算法對(duì)圖像透射率進(jìn)一步優(yōu)化，基于大氣光散射模型并結(jié)合估計(jì)的大氣光和透射率恢復(fù)圖像。為進(jìn)一步解決暗通道先驗(yàn)復(fù)原圖像偏暗的問(wèn)題，通過(guò)MSRCR 算法對(duì)原始圖像進(jìn)行增強(qiáng)，將復(fù)原圖像與增強(qiáng)圖像采用像素級(jí)融合中的線性加權(quán)方法進(jìn)行融合，有效結(jié)合了暗通道先驗(yàn)和MSRCR 的優(yōu)勢(shì)。實(shí)驗(yàn)結(jié)果表明，相比于一些主流的去霧算法，本文算法對(duì)近景、近遠(yuǎn)交替和遠(yuǎn)景圖像都有較為良好的處理效果，在信息熵、平均梯度、對(duì)比度等客觀評(píng)價(jià)中體現(xiàn)出一定的優(yōu)勢(shì)。