趙艷芹， 朱子寒， 何東來(lái)

(黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院， 哈爾濱 150022)

0 引 言

霧霾天氣時(shí)，由于大氣中存在的大量懸浮微粒對(duì)光線具有散射的作用，導(dǎo)致圖像獲取設(shè)備，如相機(jī)所拍攝到的圖像質(zhì)量降低，出現(xiàn)對(duì)比度和亮度等方面的衰減，其對(duì)分類、跟蹤及識(shí)別等高級(jí)計(jì)算機(jī)視覺(jué)任務(wù)造成影響。目前，業(yè)界主要使用基于物理模型的傳統(tǒng)去霧算法和基于深度學(xué)習(xí)的去霧算法進(jìn)行圖像去霧操作。基于物理模型的傳統(tǒng)去霧算法有，He等[1]統(tǒng)計(jì)大量圖片后提出了暗通道先驗(yàn)的去霧理論，取得了較好的效果。陳功等[2]通過(guò)光學(xué)建模霧天場(chǎng)景，借助晴天和霧天場(chǎng)景計(jì)算景深信息來(lái)復(fù)原有霧圖像。然而，基于簡(jiǎn)化后的物理模型的去霧方法，會(huì)由于透射率和大氣光估計(jì)出現(xiàn)一定的誤差，易出現(xiàn)去霧不徹底和顏色失真等現(xiàn)象[3]?；谏疃葘W(xué)習(xí)的去霧算法有，郭夢(mèng)琰等[4]基于模擬生物視覺(jué)系統(tǒng)的反饋原理,提出一種端到端的循環(huán)生成對(duì)抗網(wǎng)絡(luò)算法,以解決誤差累積造成去霧圖像低質(zhì)的問(wèn)題。仲偉峰[5]通過(guò)將Cycle-GAN生成器的編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)改用Leaky ReLU和tanh兩種激活函數(shù),并對(duì)轉(zhuǎn)換網(wǎng)絡(luò)的殘差塊進(jìn)行減少數(shù)量和加權(quán)優(yōu)化處理，獲取去霧圖像。謝志恒[6]提出了一種基于U-Net的單幅圖像去霧算法。該算法利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)霧天相關(guān)特征,輸出霧天圖像與清晰圖像之前的透射關(guān)系,通過(guò)大氣散射模型還原無(wú)霧圖像。

與基于物理模型的傳統(tǒng)去霧算法相比，基于深度學(xué)習(xí)的算法能夠處理更加復(fù)雜的情況，且在大部分情況下能獲得較好的效果。然而，在實(shí)驗(yàn)中發(fā)現(xiàn)，目前，基于深度學(xué)習(xí)的方法中有些能夠恢復(fù)與原圖相近的色彩，但是由于處理結(jié)果過(guò)暗導(dǎo)致細(xì)節(jié)丟失，有些可以突出細(xì)節(jié)，而未兼顧到色彩方面的問(wèn)題。為了解決上述問(wèn)題，筆者提出基于Retinex-Net[7]的室外圖像去霧改進(jìn)算法，以期提高圖像的質(zhì)量。

1 Retinex算法

1.1 Retinex算法原理

Retinex理論[8]認(rèn)為，物體的顏色具有恒常性，物體的顏色由物體本身性質(zhì)決定，不受光照強(qiáng)度和光照顏色的影響。Retinex 算法原理，如圖1所示。光源發(fā)光照射物體，當(dāng)入射光照射到物體上時(shí)，物體通過(guò)反射光線到探測(cè)設(shè)備中，從而被采集為圖像。Retinex理論中物體成像可以表示為入射分量和反射分量的乘積為

圖1 Retinex 算法原理Fig. 1 Algorithm principle of Retinex

S(X)=R(X)·I(X)，

(1)

式中：X——圖像的像素點(diǎn)的坐標(biāo)(x,y)；

R——反射分量，表示的是不同物體對(duì)不同波長(zhǎng)光的反射性質(zhì)，反映到圖像上時(shí)，代表物體清晰的圖像，又被稱為反射率；

I——照度分量；

S——成像設(shè)備采集到的圖像。

1.2 霧霾天氣下成像模型

霧霾天氣下成像模型，如圖2所示。由圖2可見(jiàn)，霧霾天氣下成像模型[9]考慮了大氣中霧霾顆粒對(duì)光線的散射現(xiàn)象。從光源和其他環(huán)境反射而來(lái)的光統(tǒng)稱為大氣光，大氣光照射到物體上，物體反射光線，這些反射光一部分進(jìn)入到圖像采集設(shè)備，一部分被反射到霧霾顆粒上，霧霾顆粒對(duì)這部分光線有吸收和散射作用，散射出的光線只有一部分進(jìn)入到圖像采集設(shè)備，從而采集的設(shè)備上面包含霧氣，其過(guò)程表示為

圖2 霧霾天氣下成像模型Fig. 2 Imaging model in haze weather

S(X)=J(X)t(X)+A(1-t(X))，

(2)

式中：A——大氣光；

t——介質(zhì)透射率；

J——反射分量，在霧霾圖像中表示無(wú)霧的清晰圖像。

1.3 Retinex-Net網(wǎng)絡(luò)

Retinex-Net[7]是一種端到端的可訓(xùn)練的低亮度圖像增強(qiáng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)框架分為三個(gè)部分，分解網(wǎng)絡(luò)Decom-Net、增強(qiáng)網(wǎng)絡(luò)Enhance-Net和圖像重建Reconstruction部分。Decom-Net包含了兩條共享參數(shù)的網(wǎng)絡(luò)，分別以低照度圖像和正常光圖像作為輸入，獲取低照度圖像和正常光圖像的反射圖和投射圖，最終，根據(jù)Retinex理論重建正常光照下的圖像。

2 去霧改進(jìn)算法

2.1 成像模型

由圖1和2可見(jiàn)，霧霾天氣下成像模型比Retinex理論模型多考慮了空氣中漂浮的霧霾顆粒對(duì)光線的散射作用。在霧霾天氣下成像模型中去除這層影響，霧霾天氣下成像模型與Retinex理論有了相同的效果。

對(duì)式(2)移項(xiàng)可得：

(S(X)-A)=J(X)·t(X)-A·t(X)。

(3)

Retinex理論模型中，基于物體本身對(duì)不同波長(zhǎng)光的不同反射性質(zhì)，對(duì)入射光進(jìn)行反射的過(guò)程可以理解為對(duì)入射光在一定反射率下的衰減過(guò)程，這個(gè)過(guò)程沒(méi)有霧霾顆粒的影響。相應(yīng)的，結(jié)合式(3)和圖3可知，在霧霾天氣下去除了大氣光照射在霧霾顆粒而發(fā)生散射現(xiàn)象的影響下，通過(guò)建模，物體反射光被霧霾顆粒遮擋造成的散射現(xiàn)象導(dǎo)致的衰減直接可以歸屬到物體本身的性質(zhì)當(dāng)中，此時(shí)，霧霾天氣下成像模型和Retinex模型有了相同效果，大氣光照射霧霾顆粒發(fā)生散射現(xiàn)象，在圖3中由虛線箭頭部分表示。整理式(3)可得：

圖3 改進(jìn)的霧霾天氣下成像模型Fig. 3 Improved imaging model in haze weather

(S(X)-A)=(J(X)-A)·t(X)。

(4)

式(4)兩端同乘A之后就符合了改進(jìn)的霧霾天氣下成像模型，在改進(jìn)的霧霾天氣下成像模型的代碼實(shí)現(xiàn)中，利用神經(jīng)網(wǎng)絡(luò)簡(jiǎn)化輸入，調(diào)整改進(jìn)模型：將原輸入A(S(X)-A)調(diào)整為S(X)-A；將分解得到的照度分量A重新定義為I(X)，其用于估計(jì)調(diào)整輸入值所帶來(lái)的誤差，最終求得包含介質(zhì)透射率的反射分量(J(X)-A)t(X)和照度分量I(X)。

式(4)的恢復(fù)圖像可表示為

S(X)=(J(X)-A)t(X)+A。

(5)

原透射率不必另外估計(jì)，原透射率表示為

(6)

2.2 改進(jìn)的Retinex-Net

Retinex-Net依據(jù)Retinex理論，以深度學(xué)習(xí)的方式實(shí)現(xiàn)低亮度圖像的增強(qiáng)，根據(jù)2.1的分析，在去除大氣光照射霧霾顆粒發(fā)生散射的情況下，將其將用于圖像去霧領(lǐng)域中是可行的。

改進(jìn)的Retinex-Net去霧網(wǎng)絡(luò)主干結(jié)構(gòu)，如圖4所示。除了將Retinex-Net改用于圖像去霧領(lǐng)域外，在其基礎(chǔ)上，擴(kuò)展了一個(gè)大氣光估計(jì)網(wǎng)絡(luò)AEM-Net，用于估計(jì)大氣光值。另外在Enhance-Net的處理結(jié)果上，增加使用歸一化的操作用于增強(qiáng)估計(jì)的照度分量的細(xì)節(jié)。

圖4 改進(jìn)的Retinex-Net去霧網(wǎng)絡(luò)主干結(jié)構(gòu)Fig. 4 Improved Retinex-Net dehazing network backbone structure

2.2.1 大氣光估計(jì)網(wǎng)絡(luò)

大氣光估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，如圖5所示。使用大氣光估計(jì)網(wǎng)絡(luò)進(jìn)行大氣光的估計(jì)，有霧圖像經(jīng)過(guò)AEM-Net處理之后獲得估計(jì)的大氣光值。訓(xùn)練大氣光估計(jì)網(wǎng)絡(luò)之前，需要計(jì)算真實(shí)的大氣光值，使用最大顏色像素值法從清晰的圖像中估計(jì)真實(shí)的大氣光值[10]，該方法可表示為

Ac=maxC(X)，

(7)

式中：Ac——清晰圖像計(jì)算出的大氣光；

C——R、G、B三通道圖像。

由于U-Net可以將不同的特征拼接在一起，形成包含更多信息的特征，因此，文中建立的AEM-Net選擇基于U-Net模型，如圖5所示。將霧霾圖像輸入到AEM-Net中，先經(jīng)過(guò)4層不改變圖像尺寸的卷積操作之后進(jìn)入U(xiǎn)-Net，其中包含8層的卷積和8層的反卷積操作，在反卷積操作中，除了第一層的反卷積操作，之后層的反卷積都會(huì)以對(duì)應(yīng)的卷積操作層和上層反卷積操作的連接作為輸入。

圖5 大氣光估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 5 AEM-Net network structure

2.2.2 分解網(wǎng)絡(luò)

文中使用改進(jìn)的Retinex-Net直接在有霧圖像中進(jìn)行去除了霧霾顆粒散射影響的反射圖像(Jh-Ah)t。分解網(wǎng)絡(luò)結(jié)構(gòu)，如圖6所示。分解網(wǎng)絡(luò)將霧霾圖像Sh和清晰圖像Sc共同輸入到網(wǎng)絡(luò)。將輸入數(shù)據(jù)共同去除大氣光估計(jì)網(wǎng)絡(luò)估計(jì)的大氣光值A(chǔ)h后，使用兩條共享的網(wǎng)絡(luò)線路進(jìn)行圖像分解，其中，包含了5層Conv+ReLU塊。該部分網(wǎng)絡(luò)將分別獲得該成對(duì)圖像，去除了霧霾顆粒散射影響的反射圖像和照度圖像。

圖6 分解網(wǎng)絡(luò)結(jié)構(gòu)Fig. 6 Decom-Net network structure

2.2.3 增強(qiáng)網(wǎng)絡(luò)

在增強(qiáng)網(wǎng)絡(luò)上，增加最大最小值歸一化操作來(lái)進(jìn)一步增強(qiáng)介質(zhì)透射率圖像的細(xì)節(jié)部分。由式(6)可知，將去除了霧霾顆粒散射影響的反射圖像(Jh-Ah)t和分解獲得的照度分量Ih作為網(wǎng)絡(luò)輸入，如圖7所示。經(jīng)一次卷積操作后進(jìn)入到四層卷積操作和四層上采樣操作后，圖像尺寸不變，將結(jié)果連接后經(jīng)1×1卷積核進(jìn)行卷積得到一個(gè)二維的介質(zhì)透射率圖像，之后再進(jìn)行歸一化增強(qiáng)細(xì)節(jié)。

圖7 增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)Fig. 7 Enhance-Net network structure

2.2.4 去霧圖像的重建

經(jīng)上述三個(gè)深度步驟去除了霧霾顆粒散射影響的反射圖像經(jīng)過(guò)經(jīng)過(guò)上述三節(jié)的深度學(xué)習(xí)步驟，可獲得霧霾圖像的反射圖像、照度圖像以及大氣光值，據(jù)改進(jìn)的霧霾天氣下成像模型,圖像重建過(guò)程如圖8所示。最終以重建去霧圖像的思想獲得了去霧圖像，避免了估計(jì)與景物深度信息有關(guān)的介質(zhì)透射率t。

圖8 圖像重建Fig. 8 Image reconstruction

2.3 損失函數(shù)

損失函數(shù)L由四部分組成，大氣光估計(jì)損失LA，去除了霧霾顆粒散射影響的反射圖像一致性損失Lir和照度一致性損失Lis，重建損失Lre。因此，L可表示為

L=LA+Lir+Lis+Lre。

(8)

由于均方誤差法方法簡(jiǎn)單直觀，復(fù)雜度低等優(yōu)點(diǎn)[11]，上述四部分的損失函數(shù)均采用均方誤差(eMSE)，對(duì)于兩幅相同大小的圖像x和y其基本計(jì)算方法為

(9)

式中：N——一副圖像中的像素總數(shù)；

i——像素的位置序號(hào)；

xi——圖像x中第i個(gè)像素值；

yi——圖像y中第i個(gè)像素值。

大氣光估計(jì)網(wǎng)絡(luò)的估計(jì)結(jié)果與預(yù)先在清晰圖像中計(jì)算出的真實(shí)大氣光具有一致性，LA可表示為

LA=eMSE(Ah,Ac)。

(10)

分解網(wǎng)絡(luò)中，有霧圖像和清晰圖像經(jīng)過(guò)分解后的反射圖像具有一致性，Lir可表示為

Lir=eMSE((Jh-Ah)t,Jc-Ah)。

(11)

增強(qiáng)網(wǎng)絡(luò)中，根據(jù)2.1中建立的模型可知，霧霾圖像經(jīng)分解網(wǎng)絡(luò)獲得的照度分量經(jīng)增強(qiáng)網(wǎng)絡(luò)估計(jì)而來(lái)的照度分量與清晰圖像分解得到的照度分量具有一致性，Lis可表示為

(12)

經(jīng)過(guò)圖像重建，獲得去霧圖像，與輸入的清晰圖像具有一致性，重建損失Lre可表示為

Lre=eMSE(Sh,Sc) 。

(13)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)配置和數(shù)據(jù)集描述

文中從RESIDES數(shù)據(jù)集精選了3 500張合成圖像，包含霧霾圖像和對(duì)應(yīng)的清晰圖像。隨機(jī)挑選其中，3 000張用于訓(xùn)練，其余500張用作測(cè)試。網(wǎng)絡(luò)結(jié)構(gòu)全部使用TensorFlow實(shí)現(xiàn)，采用ADAM優(yōu)化器并使用一塊型號(hào)為RTX2080TI的GPU進(jìn)行訓(xùn)練。

3.2 實(shí)驗(yàn)結(jié)果

文中的對(duì)比實(shí)驗(yàn)分為兩組，一組是文中算法與傳統(tǒng)算法進(jìn)行比較，另一組與基于深度學(xué)習(xí)的方法進(jìn)行對(duì)比實(shí)驗(yàn)。文中采用的模型評(píng)價(jià)標(biāo)準(zhǔn)包括峰值信噪比(ηPSNR)和結(jié)構(gòu)相似度(αSSIM)。

實(shí)驗(yàn)圖像如圖9所示。自上而下分別是對(duì)比實(shí)驗(yàn)的霧霾圖像、清晰圖像和文中算法取得的結(jié)果。與傳統(tǒng)算法比較，傳統(tǒng)有暗通道先驗(yàn)去霧和Retinex增強(qiáng)的算法去霧對(duì)比，結(jié)果如圖10所示。不同模型結(jié)果對(duì)比如圖11所示。

圖9 實(shí)驗(yàn)圖像Fig. 9 Images in experiments

圖10 傳統(tǒng)算法去霧的效果對(duì)比 Fig. 10 Traditional algorithm dehazing effect for comparison

圖11 不同模型結(jié)果對(duì)比Fig. 11 Result comparison between different models

視覺(jué)效果方面比較，暗通道先驗(yàn)算法恢復(fù)的圖像色彩飽和度過(guò)高，而Retinex去霧算法的恢復(fù)結(jié)果大部分出現(xiàn)了失真現(xiàn)象。相比之下，文中算法從顏色和色彩飽和度兩個(gè)方面效果都較好。

量化評(píng)價(jià)標(biāo)準(zhǔn)方面比較，如表1所示。從峰值信噪比和結(jié)構(gòu)相似度兩個(gè)方面，文中算法比暗通道先驗(yàn)和Retinex去霧算法都有更好的效果。

表1 文中模型和其他傳統(tǒng)算法的量化比較

與基于深度學(xué)習(xí)的方法對(duì)比，用精選數(shù)據(jù)集分別對(duì)Dehaze-Net[12]、AOD-Net[13]、Physics-based Dehazing Network[10]以及文中模型進(jìn)行訓(xùn)練，并且根據(jù)各自原文中的描述，設(shè)定各自的訓(xùn)練參數(shù)。文中模型訓(xùn)練時(shí)，批大小設(shè)置為10，一共訓(xùn)練100輪。最后，文中將從視覺(jué)效果、評(píng)價(jià)標(biāo)準(zhǔn)兩個(gè)方面上對(duì)模型的訓(xùn)練結(jié)果進(jìn)行分析。

由圖11可見(jiàn)，分別展示了對(duì)原始霧霾圖像(圖11a)的處理結(jié)果?？傮w來(lái)說(shuō)，都去除了輸入圖像中的霧氣，對(duì)輸入圖像作了不同程度的增強(qiáng)。AOD-Net(圖11b)雖然去除了輸入圖像的霧氣效果，但是處理結(jié)果飽和度過(guò)高，圖像中很多地方都產(chǎn)生了失真現(xiàn)象。相比來(lái)說(shuō)，DehazeNet(圖11d) 所恢復(fù)的無(wú)霧圖像從視覺(jué)效果上更接近無(wú)霧圖像，然而相較于原圖來(lái)說(shuō)整體較暗，導(dǎo)致原本較暗的地方細(xì)節(jié)丟失。通過(guò)Fast Physics-based Dehazing Network(圖11e)恢復(fù)的無(wú)霧圖像從色彩飽和度方面較為接近原圖，然而恢復(fù)結(jié)果整體上有些模糊。文中模型(圖11c)顧及到色彩飽和度和細(xì)節(jié)還原兩個(gè)方面，從視覺(jué)效果上更加接近原圖( 圖11f )。

量化評(píng)價(jià)標(biāo)準(zhǔn)方面比較。模型的量化對(duì)比結(jié)果如表2所示。由表2可知，文中的改進(jìn)模型，在兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)中都優(yōu)于其他的模型。

表2 文中模型和其他深度學(xué)習(xí)模型的量化比較

4 結(jié) 論

(1)霧霾天氣下，霧霾顆粒會(huì)對(duì)大氣光和由物體反射來(lái)的光線產(chǎn)生散射現(xiàn)象，從而影響圖像采集設(shè)備最終成像，文中通過(guò)分析霧霾顆粒的這種散射作用，構(gòu)建了改進(jìn)的霧霾天氣下成像模型，為改進(jìn)Retinex-Net算法提供理論基礎(chǔ)。

(2)為了實(shí)現(xiàn)改進(jìn)的霧霾天氣下成像模型，文中設(shè)計(jì)了一種基于U-Net結(jié)構(gòu)的大氣光估計(jì)網(wǎng)絡(luò)，以改進(jìn)的霧霾天氣下成像模型為依據(jù)，優(yōu)化Retinex-Net的增強(qiáng)網(wǎng)絡(luò)，結(jié)合大氣光估計(jì)網(wǎng)絡(luò)與Retinex-Net，最終實(shí)現(xiàn)了圖像去霧操作。對(duì)比實(shí)驗(yàn)結(jié)果表明，文中算法獲得的去霧圖像較其他算法，峰值信噪比提升至32.06 dB，結(jié)構(gòu)相似度提升至0.948 8。不僅將Retinex-Net從低亮度增強(qiáng)領(lǐng)域成功應(yīng)用到圖像去霧領(lǐng)域，也證明了改進(jìn)的霧霾天氣下成像模型的有效性。