張 強，高 雋，范之國，王振武，閆 羽

(合肥工業(yè)大學(xué) 計算機與信息學(xué)院，安徽 合肥 230601)

引言

在霧、霾大氣中懸浮著大量的微小顆粒，這些微小顆粒具有非常強的散射效應(yīng)，使得成像系統(tǒng)獲取的圖像模糊不清，成像效果嚴重降質(zhì)[1-3]。因此，研究霧、霾天氣下清晰成像的方法，具有十分重要的應(yīng)用價值。偏振成像作為一種新興的光學(xué)成像技術(shù)，已經(jīng)在光學(xué)遙感、軍事偵察和醫(yī)學(xué)診斷上得到了廣泛應(yīng)用。相對于傳統(tǒng)光學(xué)成像，偏振成像不僅可以獲得目標(biāo)的顏色和強度信息，還可以獲得環(huán)境和目標(biāo)的偏振信息[4]。利用偏振信息可以對霧天圖像進行重構(gòu)，實現(xiàn)圖像清晰化處理。

針對霧天圖像模糊不清的問題，國內(nèi)外學(xué)者做了大量的研究工作，主要包括兩類：一類是非偏振的單幅圖像去霧方法，比較經(jīng)典的有Tan和He的去霧方法。Tan[5]基于無霧圖像的對比度比有霧圖像對比度要高的現(xiàn)象，通過最大化局部對比度，實現(xiàn)了單幅圖像的去霧。He[6]提出了一種基于暗通道先驗的單幅圖像去霧方法，利用暗通道先驗方法，可以估計出大氣傳輸圖，利用細化修補后的大氣傳輸圖可重構(gòu)出目標(biāo)圖像。另一類是偏振去霧方法，Schechner[7-9]提出了基于差分成像的偏振去霧算法，其認為大氣光為部分偏振光，而目標(biāo)光為非偏振光。利用獲取的同一場景下的偏振差分圖像，估算大氣光偏振信息，通過人工選取天空區(qū)域，估計無窮遠處大氣光強，最后利用霧天成像模型恢復(fù)出目標(biāo)圖像。非偏振去霧方法包括圖像增強和圖像復(fù)原兩方面，圖像增強不考慮圖像退化的機理，只提高目標(biāo)對比度，但對目標(biāo)細節(jié)的復(fù)原能力有限。圖像復(fù)原通過建立大氣散射模型，對造成圖像質(zhì)量下降的影響因素進行估計，并反演退化過程，復(fù)原目標(biāo)圖像。但是，該方法對模型參數(shù)的估計僅依據(jù)圖像強度信息，相關(guān)參數(shù)估計方法也存在局限性，復(fù)原的目標(biāo)圖像容易出現(xiàn)噪聲斑塊。偏振去霧方法不僅可以獲取圖像的強度信息，還可以獲取偏振信息，增加了去霧模型的信息維度。太陽光經(jīng)大氣散射，形成部分偏振光；不僅大氣光具有偏振特性，目標(biāo)光也具有偏振特性。目標(biāo)光的偏振態(tài)不僅與大氣中微粒的散射作用有關(guān)，還與目標(biāo)本身材質(zhì)，表面粗糙度有關(guān)。因此，大氣光偏振特性和目標(biāo)光偏振特性存在差異。針對目標(biāo)光偏振特性和大氣光偏振特性的差異，提出了一種利用目標(biāo)偏振信息和大氣偏振信息的霧天圖像重構(gòu)方法。首先，從光強圖像中，初步分離出大氣光圖像和目標(biāo)光圖像，利用大氣光圖像和目標(biāo)光圖像，解析大氣光偏振態(tài)和目標(biāo)光偏振態(tài)，再根據(jù)偏振信息估計相關(guān)參數(shù)，最終重構(gòu)出目標(biāo)圖像。

1 霧天偏振圖像重構(gòu)模型

在霧、霾等天氣條件下，大氣中懸浮著大量微小顆粒，大氣光和目標(biāo)光在傳播過程中，會與大氣中懸浮的微小顆粒接觸產(chǎn)生散射作用。大氣光與懸浮的微粒散射后變成部分偏振光，大氣光到達成像系統(tǒng)的偏振態(tài)與大氣中微粒濃度、大小、成像距離有關(guān)。目標(biāo)光的偏振態(tài)不僅與大氣中微粒的散射作用有關(guān)，還與目標(biāo)本身材質(zhì)，表面粗糙度有關(guān)，不同的目標(biāo)到達成像系統(tǒng)的偏振態(tài)不同。因此，成像系統(tǒng)探測到的偏振信息不僅包含了大氣光的偏振信息，還包含了目標(biāo)光的偏振信息。但是，應(yīng)該考慮大氣光偏振信息和目標(biāo)光偏振信息存在的差異性。霧天偏振成像模型如圖1所示。

其數(shù)學(xué)表達式可描述為

I=D+A

(1)

IP=DP+AP

(2)

IP=IP

(3)

式中：I表示成像系統(tǒng)獲得的總光強；D表示目標(biāo)光強；A為大氣光強；IP表示成像系統(tǒng)獲得的總偏振光強；DP表示目標(biāo)偏振光；AP表示大氣偏振光；DP和AP存在差異。

根據(jù)偏振度的定義：

DP=DPD

(4)

AP=APA

(5)

式中：P表示總光強偏振度；PD表示目標(biāo)光偏振度；PA表示大氣光偏振度。將 (3)、(4)、(5) 式代入 (2) 式可得

IP=DPD+APA

(6)

聯(lián)立 (1) 式和(6) 式，在目標(biāo)光圖像和大氣光圖像中，分別建立DP和AP的解析式：

(7)

(8)

根據(jù)大氣散射模型[10-12]D和A的數(shù)學(xué)表達式分別為

D=JT(x)

(9)

A=A∞(1-T(x))

(10)

式中：J表示目標(biāo)表面反射光光強，即為目標(biāo)圖像；T(x)表示大氣傳輸率；A∞為無窮遠處大氣光強。由(1)、(9)、(10)式，消去大氣傳輸率T(x)，可得到霧天成像模型的表達式為

(11)

將 (7)、(8) 式代入霧天成像模型(11)可得霧天偏振圖像重構(gòu)模型的表達式

(12)

文中提出的霧天偏振圖像重構(gòu)模型是在大氣散射模型的基礎(chǔ)上，引入了目標(biāo)光和大氣光的偏振信息，增加了模型的信息維度。在構(gòu)建偏振去霧模型時，考慮了彼此偏振信息的差異性，分別在大氣光圖像和目標(biāo)光圖像中解析大氣光偏振信息和目標(biāo)光偏振信息。 (12) 式中,總光強I和偏振度P可由偏振圖像直接計算得出，所以偏振圖像重構(gòu)模型中，只要估算目標(biāo)光偏振度PD，大氣光偏振度PA和無窮遠處大氣光強A∞，即可重構(gòu)出目標(biāo)圖像J。

2 模型參數(shù)估計

2.1 估算大氣光偏振度和目標(biāo)光偏振度

估算大氣光偏振度PA和目標(biāo)光偏振度PD，需要從獲得的偏振圖像中初步分離出大氣光圖像A和目標(biāo)光圖像D，并分別在大氣光圖像和目標(biāo)光圖像中計算出大氣光偏振度PA和目標(biāo)光偏振度PD。

現(xiàn)有估算大氣光的方法有暗原色先驗[6]和中值濾波方式[13]，暗原色先驗方法無法處理天空區(qū)域以及景物亮度和天空接近的區(qū)域；中值濾波具有一定的濾波效果，但是，一定程度上會造成去霧后圖像的邊緣細節(jié)丟失。針對以上問題本文采用一種融合圖像梯度信息的高斯濾波方法來估算大氣光強和目標(biāo)光強。

高斯濾波(Gaussian blur, GB)是一種根據(jù)正態(tài)分布來分配權(quán)值的線性平滑濾波器。相對于均值濾波器和中值濾波器，高斯濾波器引入了空間距離因子，對濾波窗口內(nèi)的像素計算權(quán)重，越位于窗口外側(cè)的像素權(quán)重越低，其對待處理像素的影響就越小，位于窗口內(nèi)側(cè)的像素與待處理像素更接近，權(quán)重更高。高斯濾波數(shù)學(xué)表達式如下

(13)

(14)

式中：ωg是高斯模板即權(quán)重矩陣；x和y表示周邊像素相對于中心像素的相對坐標(biāo)；δ表示模糊半徑即權(quán)重矩陣的大??；I表示待濾波圖像；Ω為開窗區(qū)域。

由于高斯濾波只考慮了圖像像素的空間距離，沒有考慮圖像梯度信息，因此高斯濾波實際上是一種低通濾波器，會讓圖像低頻部分通過，濾除高頻部分。對于圖像梯度變化快的部分，高斯濾波容易丟失圖像細節(jié)，造成圖像邊緣模糊。

在高斯濾波進行權(quán)重分配時，引入圖像梯度信息即梯度相似度因子，與空間距離因子相結(jié)合構(gòu)成新的權(quán)重分配函數(shù)，融合圖像梯度信息的高斯濾波(GB′)的數(shù)學(xué)表達式如下

(15)

(16)

(17)

式中：dg表示x與y之間的梯度距離；ωd為x與y之間的梯度相似性。

采用上述濾波函數(shù)對偏振圖像I0、I60、I120分別進行差分濾波處理，得到大氣光偏振圖像A0、A60、A120，濾波公式如下:

(18)

獲得A0、A60、A120后，根據(jù) (1) 式可得出目標(biāo)光偏振圖像D0、D60、D120:

(19)

由此，可根據(jù)Stokes矢量公式在大氣光圖像A內(nèi)計算大氣光偏振度PA：

(20)

(21)

同理，也可在目標(biāo)光圖像D內(nèi)計算大氣光偏振度PD。

2.2 估算無窮遠處大氣光強

現(xiàn)有去霧方法中，無窮遠處大氣光強通常認為是霧天圖像中最亮的像素值或者人工選取圖像中天空區(qū)域某一點的強度值，作為整幅圖像無窮遠處的大氣光強值，這種方法均存在一定的偶然性。選取圖像中最亮的像素值作為無窮遠處大氣光強容易受到噪聲點和白色建筑物等目標(biāo)的干擾，使估計的無窮遠處大氣光強值偏高，而選取圖像中天空區(qū)域某一點的強度值作為無窮遠處大氣光強的方法必須要求包含天空區(qū)域。

文中無窮遠處大氣光強A∞的估算在大氣光圖像A內(nèi)進行，在大氣光圖像A空間內(nèi)估算無窮遠處大氣光強 ，可有效避免大氣光圖像D內(nèi)白色建筑物等高亮度目標(biāo)的干擾。對大氣光圖像A取圖像塊Ω，對圖像塊Ω內(nèi)的有效像素點計算標(biāo)準(zhǔn)差σ。通過3σ法則閾值分割，求Z(x,y)二值化矩陣：

Z(x,y)=

(22)

式中：Z(x,y)為經(jīng)過3σ法則閾值分割的二值化矩陣；A(x,y)表示Ω內(nèi)坐標(biāo)為(x,y)的像素點；Ω為3×3的圖像塊；σ表示圖像塊Ω內(nèi)像素點的標(biāo)準(zhǔn)差。

歸零化圖像塊Ω內(nèi)異常像素點的灰度值：

(23)

得到的A′(x,y)為去除噪聲點和高亮度目標(biāo)像素點的圖像塊Ω，在對圖像塊Ω內(nèi)的像素作最大值濾波，得到圖像塊Ω內(nèi)亮度最高的像素值作為無窮遠處大氣光A∞的估計值：

(24)

為了分析估算結(jié)果受噪聲的影響，與現(xiàn)有亮原色方法[11]進行定量對比分析。本文方法和亮原色方法估算無窮遠處大氣光強結(jié)果如圖2所示。

圖2 無窮遠處大氣光強估算結(jié)果Fig.2 Estimation of atmospheric light intensity at infinity

圖2中(a)、(b)、(c)為原始偏振圖像，(d)為亮原色方法估算無窮遠處大氣光圖像，(e)為本文方法估算無窮遠處大氣光圖像。原始偏振圖像中建筑物表面白色反射光會對無窮遠處大氣光圖像的估算產(chǎn)生干擾。亮原色方法估算結(jié)果受目標(biāo)干擾明顯，圖像中目標(biāo)輪廓突出，建筑物表面反射光在亮原色方法中直接判別為無窮遠處大氣光強。采用3σ法則閾值分割結(jié)合最大值濾波的方法，在大氣光圖像A空間內(nèi)估算無窮遠處大氣光強。首先，在大氣光圖像A空間內(nèi)估算無窮遠處大氣光強，可有效避免白色建筑物等高亮度目標(biāo)的干擾，通過3σ法則閾值分割可進一步剔除圖像中的異常噪聲點，降低殘留噪聲對無窮遠處大氣光估算結(jié)果的影響。最后，通過最大值濾波方法得到每一像素點處的無窮遠處大氣光強值。

為了定量分析本文方法估算結(jié)果，引入平均梯度和邊緣強度作為定量評價標(biāo)準(zhǔn)。圖2中無窮遠處大氣光圖像的定量評價結(jié)果如表1所示。

表1 實驗結(jié)果定量評價

平均梯度和邊緣強度分別反映圖像對比度和圖像層次，值越大表明無窮遠處大氣光的估算結(jié)果受目標(biāo)和噪聲的影響越大。通過定量對比分析可知，本文方法估算結(jié)果的平均梯度和邊緣強度遠遠低于亮原色方法估算結(jié)果，說明本文方法可有效避免白色建筑物等高亮度目標(biāo)的干擾，降低圖像噪聲對估算結(jié)果的影響。

3 實驗結(jié)果分析

采用已經(jīng)標(biāo)定的三通道偏振測量系統(tǒng)[14-15]搭建實驗平臺，開展霧天偏振圖像采集實驗。三通道偏振測量系統(tǒng)通過棱鏡分光的方法，可以同時獲得一個場景下的0°、60°、120°的霧天偏振圖像。系統(tǒng)工作波段為380 nm ～1 000 nm，分辨率為1 392×1 040像素。實驗結(jié)果如圖3所示，圖中煙囪距離相機3.7 km，其中圖3(a)、(b)、(c)分別為三通道偏振測量系統(tǒng)采集的0°、60°、120°霧天偏振圖像。圖3(d)、(e)是大氣光圖像A和目標(biāo)光圖像D。圖3(f)、(g)為大氣光偏振度圖像PA和目標(biāo)光偏振度圖像PD，圖3(h)為重構(gòu)后的目標(biāo)圖像J。通過實驗結(jié)果可以看出，去霧后目標(biāo)圖像J中樓房、煙囪等目標(biāo)變得清晰可見，圖像邊緣細節(jié)明顯，且圖像中沒有出現(xiàn)明顯的圖像噪聲。

圖3 霧天重構(gòu)實驗結(jié)果Fig.3 Reconstruction experimental results under fog environments

圖4為大氣光偏振度圖像PA和目標(biāo)光偏振度圖像PD的灰度直方圖分布，不難發(fā)現(xiàn)，目標(biāo)光偏振度圖像灰度動態(tài)范圍比大氣光偏振度圖像灰度動態(tài)范圍寬，表明目標(biāo)光和大氣光同樣具有偏振特性，都為部分偏振光，且大氣光偏振信息和目標(biāo)光偏振信息存在差異。

為了進一步驗證本文方法在不同天氣下的適用性，針對霧霾、雨、雪等不同天氣開展了大量的實測實驗。其中，圖5是分別與Tan[5]、He[6]、Schechner[7-9]的重構(gòu)效果比較。圖5(a1)～(a3)為原始圖像，其中，(a1)霧霾天PM2.5為200，能見度1 000 m；(a2)雨天降雨量20 mm/24 h，能見度800 m；(a3)雪天降雪量2.5 mm/24 h，能見度500 m。圖5(b1)～(b3)為Tan的重構(gòu)效果，圖5(c1)～(c3)為He的重構(gòu)效果，圖5(d1)～(d3)為Schechner的重構(gòu)效果，圖5(e1)～(e3)是本文方法重構(gòu)效果。實驗結(jié)果表明本文方法能夠從原始圖像中較好地恢復(fù)出目標(biāo)信息，并能有效降低重構(gòu)后目標(biāo)圖像出現(xiàn)的圖像細節(jié)丟失和噪聲斑塊，通過霧霾、雨、雪等不同天氣下的實驗說明本方法具有較好的環(huán)境適用性。

文中引入信息熵、平均梯度、灰度標(biāo)準(zhǔn)差和邊緣強度4種統(tǒng)計特性參數(shù)作為定量評價標(biāo)準(zhǔn)。圖5中各組實驗圖像的定量評價結(jié)果如表2所示。通過數(shù)據(jù)對比可知，本文方法整體上重構(gòu)后圖像的信息熵提升約40%，灰度標(biāo)準(zhǔn)差提升了約90%，平均梯度和邊緣強度提高了3倍。數(shù)據(jù)表明本文方法在霧霾、雨天、雪天情況下均有較好的圖像重構(gòu)效果，且相對于以上3種重構(gòu)方法，重構(gòu)圖像質(zhì)量有所提升。

圖4 PA和PD圖像直方圖Fig.4 PA & PD histograms

圖5 重構(gòu)實驗對比Fig.5 Contrast of reconstruction experiments

實驗天氣圖像信息熵平均梯度灰度標(biāo)準(zhǔn)差邊緣強度霧霾天氣原始圖像5.154 71.357 221.369 14.186 2Tan6.407 63.113 238.384 08.158 9He6.923 34.881 240.008 110.923 0Schechener7.046 63.418 634.992 611.254 9本方法7.366 44.910 441.054 013.368 2雨霧天氣原始圖像6.248 72.963 423.593 06.827 3Tan6.996 97.552 326.251 48.943 6He9.352 214.600 429.234 018.518 2Schechener8.024 812.966 640.700 616.163 4本方法10.057 715.962 445.915 518.951 3大雪天氣原始圖像4.956 20.839 18.642 91.835 7Tan6.277 63.495 810.316 15.842 6He7.285 23.915 813.343 28.951 7Schechener5.972 62.084 88.762 24.698 2本方法8.866 35.538 014.344 39.536 8

為了定量分析去霧后圖像失真對比，采用結(jié)構(gòu)相似度(SSIM)圖像質(zhì)量評價方法[16]，SSIM是一種常用的圖像質(zhì)量評價方法，來源于人類視覺系統(tǒng)能夠高度自適應(yīng)地提取場景中的結(jié)構(gòu)信息，通過比較圖像結(jié)構(gòu)信息的改變而近似的反映圖像失真，結(jié)構(gòu)相似度值越大，圖像失真度越小。

圖6 無霧和有霧棋盤格圖像Fig.6 Fogless and foggy checker board image

利用偏振光學(xué)模擬實驗艙[17]模擬大氣霧天環(huán)境，在偏振光學(xué)模擬實驗艙內(nèi)放置黑白棋盤格作為場景目標(biāo)，用能見度儀測得的光透過率值表征煙霧濃度。首先采集一張無霧圖像作為SSIM評價方法的無失真圖像，其次在偏振光學(xué)模擬實驗艙內(nèi)模擬不同濃度的煙霧，獲取不同濃度煙霧下的有霧圖像。然后用以上4種去霧算法分別處理有霧圖像，得到的目標(biāo)圖像作為待測試圖像，利用SSIM方法分析比較目標(biāo)圖像的失真程度。

圖6為室內(nèi)實驗獲取的有霧和無霧棋盤格圖像，其中圖6(a)為無霧圖像作為無失真圖像，圖6(b)～(f)分別為不同濃度的有霧圖像。圖7為目標(biāo)圖像的SSIM評價結(jié)果，SSIM指標(biāo)越高，表明目標(biāo)圖像越接近于無失真圖像。隨著玻璃缸內(nèi)煙霧濃度增加，去霧后目標(biāo)圖像質(zhì)量降低，4種去霧方法的曲線均呈下降趨勢。從整體上看，本文方法重構(gòu)的目標(biāo)圖像SSIM指標(biāo)一直高于0.6，能夠較好的重構(gòu)出目標(biāo)圖像，降低圖像失真，且隨著煙霧濃度的增加，本文方法的SSIM曲線下降最慢。

圖7 結(jié)構(gòu)相似性(SSIM)分析去霧圖像質(zhì)量Fig.7 Image quality analysis for defogging in structure similarity (SSIM)

4 結(jié)論

提出了一種利用目標(biāo)和大氣偏振信息的霧天圖像重構(gòu)方法?？紤]目標(biāo)光偏振信息和大氣光偏振信息的差異性，首先，從光強圖像中分離出目標(biāo)光圖像和大氣光圖像，并分別從目標(biāo)光圖像和大氣光圖像中解析目標(biāo)光偏振信息和大氣光偏振信息，構(gòu)建偏振去霧模型；在高斯濾波中融合圖像梯度信息代替常用的中值濾波方法，從偏振圖像中，濾波估算出大氣光強和目標(biāo)光強，使濾波后的圖像更平滑，保留了圖像邊緣細節(jié)；采用3σ法則閾值分割方法，濾除大氣光圖像中亮度異常的像素點，然后在大氣光圖像中估算無窮遠處大氣光強，避免了圖像中噪聲點和白色建筑物等高亮度目標(biāo)的干擾；最后，重構(gòu)出目標(biāo)圖像。在不同天氣環(huán)境下開展外場實驗，結(jié)果表明，該方法能夠較好地在霧霾、雨、雪天氣下重構(gòu)出目標(biāo)圖像，并能有效降低圖像細節(jié)丟失、圖像噪聲和圖像失真，具有較好的環(huán)境適用性。