智 寧,毛善君,李 梅,蘇 穎

(1.北京大學(xué) 地球與空間科學(xué)學(xué)院,北京 100871; 2.中國(guó)科學(xué)院 電子學(xué)研究所,北京 100190)

煤礦視頻圖像能夠?qū)崟r(shí)傳遞煤礦井下生產(chǎn)作業(yè)及開采環(huán)境等信息,在煤礦信息化建設(shè)中扮演著重要的角色[1]。由于井下環(huán)境特殊,在煤礦煤炭生產(chǎn)、運(yùn)輸?shù)拳h(huán)節(jié)產(chǎn)生了大量懸浮于空中的粉塵顆粒;同時(shí),為了避免煤塵過大產(chǎn)生的重大危險(xiǎn),礦井采用了很多噴霧降塵設(shè)備,使得礦井產(chǎn)生大量的霧氣和水滴。在粉塵顆粒及霧氣等的作用下,光線在井下傳播過程中發(fā)生散射和吸收,造成井下獲取圖像存在明顯的塵霧影響[2],不利于圖像信息的判別和進(jìn)一步的應(yīng)用。為充分發(fā)揮圖像在煤礦井下安全生產(chǎn)和監(jiān)測(cè)監(jiān)控中的作用,有必要對(duì)煤礦井下塵霧圖像進(jìn)行清晰化處理。

煤礦井下塵霧圖像清晰化算法主要包括3類,即基于模型的清晰化算法[3-5]、基于圖像增強(qiáng)的清晰化算法[6-7]和基于學(xué)習(xí)優(yōu)化的算法[8-10]?；谀Ｐ偷那逦惴ㄊ窃趬m霧圖像成像機(jī)理的基礎(chǔ)上結(jié)合先驗(yàn)知識(shí)求取清晰圖像,其中何凱明等[3]提出的基于暗通道先驗(yàn)原理的清晰化算法得到廣泛的應(yīng)用和研究?；趫D像增強(qiáng)的清晰化算法將塵霧圖像看作降質(zhì)圖像,并使用對(duì)比度增強(qiáng)函數(shù)、色調(diào)調(diào)整函數(shù)等來提升圖像的視覺效果。隨著深度學(xué)習(xí)的發(fā)展,基于學(xué)習(xí)的優(yōu)化算法在機(jī)器視覺和圖像處理領(lǐng)域有了較多的應(yīng)用,包括卷積神經(jīng)網(wǎng)絡(luò)[8-9]、生成對(duì)抗網(wǎng)絡(luò)[10]等。基于學(xué)習(xí)優(yōu)化的算法使用機(jī)器學(xué)習(xí)算法來學(xué)習(xí)清晰圖像和塵霧圖像之間的映射關(guān)系,并利用學(xué)習(xí)到的知識(shí)指導(dǎo)塵霧圖像的復(fù)原。

現(xiàn)有的塵霧圖像清晰化算法在對(duì)煤礦圖像處理時(shí)普遍存在過增強(qiáng)的問題,即處理后圖像的整體亮度偏暗,不利于人眼的辨識(shí);同時(shí),現(xiàn)有算法大多針對(duì)良好光照下的霧霾環(huán)境,對(duì)煤礦圖像的適用性不足,限制了工程實(shí)踐中的應(yīng)用。筆者圍繞煤礦井下塵霧圖像清晰化問題,將圖像處理中的融合策略和深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)結(jié)合,提出基于深度融合網(wǎng)絡(luò)的煤礦圖像塵霧清晰化算法。

1 煤礦塵霧圖像形成的物理機(jī)理

煤礦塵霧環(huán)境下,由于塵霧影響,光線發(fā)生散射、吸收、輻射等現(xiàn)象,使得井下獲取的圖像存在明顯的退化現(xiàn)象。在光與懸浮顆粒的交互作用中,光的散射是圖像質(zhì)量影響的關(guān)鍵,而吸收、輻射等方面的影響較少。大氣散射作用主要包括2個(gè)方面:① 散射作用使得物體表面反射到達(dá)成像設(shè)備的光能量減少,從而降低光強(qiáng)度;② 散射造成其它物體反射的光(稱之為環(huán)境光)彌漫在大氣中,從而影響物體的成像。NARASIMHAN等[11-12]在McCartney的基礎(chǔ)上提出了大氣散射模型,該模型主要包含衰減模型和環(huán)境光模型，分別刻畫大氣散射作用的2個(gè)方面，可以指導(dǎo)井下塵霧圖像清晰化復(fù)原。

衰減模型描述了到達(dá)成像設(shè)備的光強(qiáng)與物體表面反射光強(qiáng)之間的關(guān)系,即

Ed(d,λ)=E0(λ)e-β(λ)d

(1)

其中,d為物體與成像設(shè)備之間的距離,即景深;λ為入射光的波長(zhǎng);E0(λ)為物體表面反射光的光強(qiáng),即輻照度;β(λ)為大氣散射系數(shù),描述單位體積內(nèi)大氣粒子對(duì)光線的散射能力。

環(huán)境光模型描述大氣中其它光源對(duì)物體成像的影響,主要包括天空漫反射光、地面反射光以及直射的光源等,可以表示為

Ea(d,λ)=E(λ)(1-e-β(λ)d)

(2)

式中,E(λ)為總的環(huán)境光光強(qiáng)。

由式(1)，(2)可以看出,由于大氣散射的作用,隨著景深的增加,入射光的光強(qiáng)呈指數(shù)形式衰減,而環(huán)境光也越來越多,從而使得圖像呈現(xiàn)出灰白色的效果。

在圖像處理領(lǐng)域,通常假設(shè)散射系數(shù)對(duì)于各通道是相同的,因此可以將塵霧影響的圖像成像模型簡(jiǎn)化為

Ic(x,y)=Jc(x,y)t(x,y)+A[1-t(x,y)]

(3)

t=e-βd

(4)

其中,c為顏色通道,即紅、黃、藍(lán);t(x,y)為介質(zhì)傳輸率,該參數(shù)由散射系數(shù)β以及景深d決定;A為環(huán)境光光強(qiáng);Ic(x,y)為(x,y)位置上獲取的塵霧影響的圖像的像素值;Jc(x,y)為無塵霧影響時(shí)的圖像像素值。為實(shí)現(xiàn)圖像的清晰化復(fù)原,需要求解式(3),但公式中t和A都是未知的,使得該方程的求解是一個(gè)未定的問題。

2 卷積神經(jīng)網(wǎng)絡(luò)理論及多尺度融合技術(shù)

2.1 卷積神經(jīng)網(wǎng)絡(luò)概述

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是基于前饋神經(jīng)網(wǎng)絡(luò)發(fā)展的一種深度網(wǎng)絡(luò)[13]。卷積表示一種特殊的線性運(yùn)算。早在1998年LeCun等人提出了用于手寫字體識(shí)別的LeNet,即包含CNN常用的卷積層、池化層以及全連接層。當(dāng)前,CNN已經(jīng)被廣泛的應(yīng)用于語(yǔ)音識(shí)別、目標(biāo)識(shí)別、圖像分類、圖像處理等領(lǐng)域,許多機(jī)器學(xué)習(xí)任務(wù)準(zhǔn)確率得到了很大的提高。

隨著CNN的發(fā)展,根據(jù)不同的應(yīng)用需求產(chǎn)生了許多新的結(jié)構(gòu)組件。CNN的基本結(jié)構(gòu)通常包括輸入層、卷積層(Convolutional layer)、池化層(Pooling Layer)、全連接層(Fully connected layers)以及輸出層。一個(gè)典型的卷積網(wǎng)絡(luò)如圖1所示，其中C表示卷積層，S表示下采樣層。卷積神經(jīng)網(wǎng)絡(luò)通過稀疏交互、權(quán)值共享、等變表示3個(gè)方面有效的提升了機(jī)器學(xué)習(xí)的性能。

2.2 空洞卷積與多尺度信息提取

空洞卷積(Dilated Convolution)由YU Fisher等[14]于2016年在國(guó)際學(xué)習(xí)表征會(huì)議(International Conference on Learning Representations,ICLR)提出。它是為了解決全卷積網(wǎng)絡(luò)(Fully Convolutional Network,FCN)在圖像分割領(lǐng)域的問題而提出的新的卷積類型。由于空洞卷積具有的良好的處理圖像上下文信息的能力,已被廣泛的應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)中,包括自然語(yǔ)言處理、圖像超分辨率重建、圖像綜合處理等。

空洞卷積在傳統(tǒng)卷積的基礎(chǔ)上擴(kuò)展而來,本文首先介紹卷積的數(shù)學(xué)表達(dá)式,在此基礎(chǔ)上對(duì)空洞卷積進(jìn)行討論。

令F:2→為離散函數(shù),Ωr=[-r,r]2∩2，其中r為濾波半徑。k:Ωr→為(2r+1)2大小的離散濾波。離散卷積操作可以被定義為

(5)

對(duì)式(5)進(jìn)行推廣,令l表示空洞因子,可得空洞卷積的公式:

(6)

式(6)稱為尺度為l的空洞卷積。式(4)可以看作為尺度為1的空洞卷積。

圖2展示了一般卷積和空洞卷積。以3×3的卷積核為例,傳統(tǒng)卷積將卷積核與輸入張量中相鄰的3×3的區(qū)域逐點(diǎn)相乘再求和作為卷積并輸出的，如圖2(a)所示,紅色圓點(diǎn)表示卷積核進(jìn)行運(yùn)算輸入的位置,綠色可以認(rèn)為是原輸入感知野?？斩淳矸e則是將卷積核與輸入張量的間隔一定位置的3×3像素進(jìn)行運(yùn)算并輸出，如圖2(b)所示,若去掉一個(gè)池化層,則需要將傳統(tǒng)卷積層換成一個(gè)尺度為2的空洞卷積層。這樣,卷積核將輸入張量每隔一個(gè)“像素”的位置作為輸入?yún)^(qū)域進(jìn)行計(jì)算。此時(shí),相比于原輸入,卷積運(yùn)算的感知野擴(kuò)大為7×7;同理,若再去掉一個(gè)池化層,則需要將之后的卷積層換成尺度為4的空洞卷積層,如圖2(c)所示。由此可見,空洞卷積能夠保證網(wǎng)絡(luò)在舍棄掉池化層之后其感知野仍保持不變,從而保障圖像上下文信息參與到圖像局部和全局信息的提取。

圖2 空洞卷積示意Fig.2 Schematic diagram of dilated convolution

根據(jù)塵霧圖像成像機(jī)理,塵霧圖像清晰化需要同時(shí)考慮全局信息(環(huán)境光的強(qiáng)度)和局部信息(介質(zhì)傳輸率或景深),因此在設(shè)計(jì)網(wǎng)絡(luò)的時(shí)候需要添加某種機(jī)制實(shí)現(xiàn)上下文信息的交互。將在空洞卷積的基礎(chǔ)上提出一種更加有效的實(shí)現(xiàn)上下文交互的模塊即雙金字塔模塊實(shí)現(xiàn)圖像的塵霧清晰化。

3 基于深度融合網(wǎng)絡(luò)的清晰化算法

為實(shí)現(xiàn)煤礦井下塵霧圖像清晰化復(fù)原,本文構(gòu)建了基于融合策略的多尺度圖像清晰化網(wǎng)絡(luò)。相比于現(xiàn)有的清晰化網(wǎng)絡(luò),本文提出的網(wǎng)絡(luò)具有如下特點(diǎn):① 受基于融合策略的圖像處理算法的啟發(fā),提出了深度融合網(wǎng)絡(luò),實(shí)現(xiàn)了圖像端對(duì)端的清晰化處理;② 基于空洞卷積設(shè)計(jì)了能夠進(jìn)行雙向多尺度上下文信息融合的雙金字塔模塊,相比于空洞空間金字塔池化,該模塊能夠更加有效的實(shí)現(xiàn)圖像全局信息的提取。

3.1 融合策略下的圖像預(yù)處理

受圖像處理中融合策略的啟發(fā),通過提取圖像各方面的特征并進(jìn)行融合,可以使網(wǎng)絡(luò)能夠兼顧圖像的對(duì)比度、色度、顯著性等各方面的優(yōu)點(diǎn),最終取得更好的效果。設(shè)計(jì)了基于融合策略的圖像預(yù)處理。

在融合策略的塵霧圖像去霧算法中,需要首先提取圖像的特征圖。參考ANCUTI等[6]做法,特征圖主要包括2個(gè)方面,即圖像的色調(diào)調(diào)整和圖像的對(duì)比度增加。本文選擇圖像對(duì)比度增強(qiáng)函數(shù)、亮度增強(qiáng)函數(shù)和伽馬校正函數(shù)來進(jìn)行圖像預(yù)處理。

本文選取的圖像對(duì)比度增強(qiáng)函數(shù)的表達(dá)式為

(7)

選取的亮度調(diào)整算法為

(8)

選取的伽馬校正算法的表達(dá)式為

(9)

由于網(wǎng)絡(luò)輸入圖像的像素值分布未知,不能夠自適應(yīng)的調(diào)整上述算法的參數(shù)。為此,分別為每種算法設(shè)置4個(gè)不同的參數(shù),從而使其能夠獲取不同程度的圖像特征。具體來講,設(shè)置圖像對(duì)比度增強(qiáng)算法中的參數(shù)λ為{2,3,4,5};設(shè)置圖像亮度調(diào)整算法中的參數(shù)δ為{-0.5,-0.4,-0.3,-0.2};設(shè)置伽馬校正算法中的參數(shù)γ為{1.5,2.5,3.5,4.5}。圖3展示了圖像預(yù)處理的效果。3個(gè)增強(qiáng)函數(shù)都能夠突出圖像某方面的特征,為此將預(yù)處理后的圖像進(jìn)行連接操作(concat)然后整體輸入到網(wǎng)絡(luò)中。

3.2 雙金字塔模塊

為了提取圖像中多尺度的上下文信息,許多研究者在空洞卷積的基礎(chǔ)上提出了新型的網(wǎng)絡(luò)架構(gòu),主要包括空洞空間金字塔池化技術(shù)[15]以及上下文信息聚合網(wǎng)絡(luò)[16]?？斩纯臻g金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)是將多個(gè)尺度的空洞卷積并聯(lián),實(shí)現(xiàn)圖像多尺度上下文信息的提取,如圖4(a)所示。上下文信息聚合網(wǎng)絡(luò)(Context aggregation network)由陳啟峰等[16]提出。該網(wǎng)絡(luò)主要是通過對(duì)多個(gè)尺度的空洞卷積按尺度由小到大進(jìn)行串聯(lián)實(shí)現(xiàn)了圖像多尺度信息的提取,如圖4(b)所示。

ASPP以并聯(lián)的方式將多個(gè)尺度信息提取并融合,完成上下文信息的提取。上下文信息聚合網(wǎng)絡(luò)以串聯(lián)的方式對(duì)圖像多個(gè)尺度的信息進(jìn)行提取和融合,并且隨著網(wǎng)絡(luò)層數(shù)的增加,空洞卷積的尺度也逐漸增加。對(duì)于圖像處理,這種信息提取的順序是有失偏頗的。以圖像塵霧清晰化復(fù)原為例,環(huán)境光等全局信息

圖3 圖像預(yù)處理效果Fig.3 Schematic diagram of image preprocessing results

圖4 基于空洞卷積的3種多尺度上下文交互信息模式Fig.4 Three kinds of context information extraction models based on dilated convolution

應(yīng)該參與網(wǎng)絡(luò)各個(gè)階段的特征處理,而并非在網(wǎng)絡(luò)的最后階段參與運(yùn)算。在ASPP和上下文信息聚合網(wǎng)絡(luò)的基礎(chǔ)上,提出了雙金字塔模塊。該模塊包括兩個(gè)空洞卷積的串聯(lián)子塊,其中一個(gè)子塊是以對(duì)多個(gè)尺度的空洞卷積按尺度由小到大進(jìn)行串聯(lián)組成,另一個(gè)子塊是以對(duì)多個(gè)尺度的空洞卷積按尺度由大小進(jìn)行串聯(lián)組成,如圖4(c)所示。然后將這2個(gè)串聯(lián)子塊進(jìn)行并聯(lián),從而構(gòu)成雙金字塔模塊。該模塊能夠發(fā)揮ASPP和上下文信息聚會(huì)網(wǎng)絡(luò)的優(yōu)點(diǎn),使圖像的多尺度信息在多個(gè)層次和多個(gè)方面進(jìn)行融合,從而有望提升圖像處理的精度。

3.3 深度融合網(wǎng)絡(luò)的網(wǎng)絡(luò)架構(gòu)和訓(xùn)練細(xì)節(jié)

提出的深度融合網(wǎng)絡(luò)主要包括3個(gè)部分,即圖像預(yù)處理層,特征融合層以及圖像輸出層。深度融合網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

(1)圖像預(yù)處理層。

圖像預(yù)處理層對(duì)輸入圖像進(jìn)行預(yù)處理,得到不同增強(qiáng)函數(shù)下不同增強(qiáng)參數(shù)處理后的圖像序列。本文中,分別使用對(duì)比度增強(qiáng)函數(shù)、亮度調(diào)整函數(shù)、伽馬校正函數(shù)對(duì)其進(jìn)行處理,每類函數(shù)設(shè)置4個(gè)不同的增強(qiáng)參數(shù),從而得到12幅反映塵霧圖像不同方面特征的圖像序列。然后對(duì)獲取的12幅圖像進(jìn)行連接(concat)操作,得到預(yù)處理后的圖像的特征張量。

(2)特征融合層。

特征融合層主要對(duì)反映塵霧圖像不同方面特征的圖像序列的特征進(jìn)行融合,從而獲取最終的清晰化圖像。根據(jù)塵霧圖像的成像機(jī)理,圖像塵霧清晰化需要對(duì)圖像的全局信息和局部信息同時(shí)進(jìn)行提取,使用雙金字塔模塊,實(shí)現(xiàn)從上到下和從下到上雙通管道的圖像多尺度上下文信息的提取。兩條路線上的空洞卷積分別按序列{1，2，4，8，16}及{16，8，4，2，1}進(jìn)行串聯(lián)。雙金字塔模塊的具體參數(shù)見表1。

圖5 深度融合網(wǎng)絡(luò)結(jié)構(gòu)示意Fig.5 Schematic diagram of deep fusion network structure

層名稱上一層名稱空洞卷積大小空洞卷積尺度特征圖數(shù)目激活函數(shù)Input_1———12LReLUPath_1_1Input_13×3112LReLUPath_1_2Path_1_13×3212LReLUPath_1_3Path_1_23×3412LReLUPath_1_4Path_1_33×3812LReLUPath_1_5Path_1_43×31612LReLUPath_2_1Input_13×31612LReLUPath_2_2Path_2_13×3812LReLUPath_2_3Path_2_23×3412LReLUPath_2_4Path_2_33×3212LReLUPath_2_5Path_2_43×3112LReLUConcat_1Path_1_5,Path_2_5——24LReLUOutput_1Concat_13×3124LReLU

(3)圖像輸出層。

圖像輸出層主要對(duì)特征融合層獲取的特征進(jìn)行處理,從而輸出三通道圖像,即為最終的塵霧清晰化圖像。1×1卷積核相當(dāng)于使用多個(gè)線性函數(shù)擬合函數(shù),能夠增加不同通道間的信息交互,從而提升網(wǎng)絡(luò)的擬合能力。同時(shí),相比于全連接,能夠有效降低圖像的參數(shù),提升網(wǎng)絡(luò)效率。

本文使用一類線性修正單元Leaky ReLU或LReLU[17]作為激活函數(shù)。該單元能夠在一定程度上解決激活函數(shù)激活值為0的問題,即“dying ReLU”。Leaky ReLU的表達(dá)式為

(10)

其中，a為一個(gè)比較小的常量,在此取a=0.2。由式(10)可以看出,當(dāng)x<0時(shí),激活函數(shù)將有一個(gè)非常小的斜率即a。筆者提出的融合網(wǎng)絡(luò)參數(shù)見表2。

表2深度融合網(wǎng)絡(luò)模型參數(shù)
Table2Parametersofdeepfusionnetwork

層名稱上一層名稱層類型卷積尺度特征圖數(shù)目激活函數(shù)Input_0———1—PreProces1Input_0對(duì)比度增強(qiáng)—4—PreProces2Input_0亮度調(diào)整—4PreProces3Input_0伽馬校正—4Concat_0PreProces1,PreProces2,PreProces3,PreProces4連接層12—DPB1Concat_0雙金字塔模塊—24—Conv1DPB1卷積層3×324LReLUConv2Conv1卷積層1×13—

3.4 模型訓(xùn)練和損失函數(shù)

(11)

(12)

(13)

其中,Cj,Hj及Wj分別為特征圖的通道數(shù)目、高和寬。

最終,深度融合網(wǎng)絡(luò)的損失函數(shù)可以表示為最小平方誤差損失函數(shù)和內(nèi)容損失函數(shù)的加權(quán)和,即

L=Lmse+0.8Lcontent

(14)

其中內(nèi)容損失函數(shù)是在VGG-19網(wǎng)絡(luò)的基礎(chǔ)上提取relu_5_4層的輸出特征圖進(jìn)行計(jì)算的。

4 實(shí)驗(yàn)和分析

4.1 訓(xùn)練數(shù)據(jù)集準(zhǔn)備

為了更好的訓(xùn)練網(wǎng)絡(luò),采用分步訓(xùn)練的方式,首先使用自然場(chǎng)景下獲取的仿真數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行初步訓(xùn)練,然后使用防爆相機(jī)獲取井下多個(gè)場(chǎng)景的清晰圖像的基礎(chǔ)上構(gòu)建的數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行精準(zhǔn)訓(xùn)練。深度信息的獲取是塵霧仿真圖像獲取的關(guān)鍵。自然場(chǎng)景下的霧霾仿真圖像常使用的數(shù)據(jù)集包括Make3D數(shù)據(jù)集[20],KITTI數(shù)據(jù)集[21]等,對(duì)于煤礦井下圖像,當(dāng)前缺乏帶有深度圖的數(shù)據(jù)集。在此,筆者將著重介紹煤礦井下塵霧圖像仿真數(shù)據(jù)集的構(gòu)建方法。

考察煤礦井下圖像可以發(fā)現(xiàn),圖像的像素值和景深符合一定的相關(guān)性,即像素值比較小的區(qū)域其景深相對(duì)比較大,而像素值比較大的區(qū)域其景深相對(duì)比較小。為此,通過對(duì)圖像的負(fù)片進(jìn)行操作獲取圖像的隨機(jī)深度值,進(jìn)而獲取仿真的煤礦塵霧圖像。

算法流程為:

(1)將原圖像J從RGB顏色空間轉(zhuǎn)換到HSV顏色空間,并提取圖像的明度(V)通道,用Jv表示;

(2)使用帶有保邊特性的雙邊濾波器對(duì)Jv進(jìn)行濾波,獲取模糊后的圖像,用 BF(Jv)表示;

(3)對(duì)BF(Jv)進(jìn)行歸一化,然后進(jìn)行求反操作,獲得負(fù)片I=1-BF(Jv);

(4)設(shè)置隨機(jī)變量x∈[3,15],然后獲得原圖像的隨機(jī)深度圖D=x*I;

(5)設(shè)置隨機(jī)環(huán)境光A∈[0.6,1],以及散射系數(shù)β∈{0.4,0.6,0.8,1.0,1.2},根據(jù)式(3)生成仿真塵霧圖像。

煤礦塵霧圖像生成過程如圖6所示。

圖6 煤礦塵霧圖像生成算法流程Fig.6 Coal mine dust simulation image generation algorithm flow chart

考慮到塵霧水平的不一致,針對(duì)每幅圖像分別生成4張不同塵霧程度的塵霧仿真圖像。最終,構(gòu)建的自然場(chǎng)景下霧霾圖像數(shù)據(jù)集共包括2 000幅圖像,其中1 500幅作為訓(xùn)練集,500幅作為測(cè)試集;構(gòu)建的煤礦塵霧圖像數(shù)據(jù)集共包括5 200幅圖像,其中照度均衡的塵霧圖像3 600幅,低照度的塵霧圖像1 600幅,將其中的3 900幅圖像作為訓(xùn)練集,1 300幅圖像作為測(cè)試集。

使用Adam算法實(shí)現(xiàn)對(duì)深度融合網(wǎng)絡(luò)的優(yōu)化。Adam算法即自適應(yīng)矩估計(jì)(adaptive moment estimation),它能夠根據(jù)損失函數(shù),對(duì)網(wǎng)絡(luò)中每個(gè)參數(shù)梯度的一階矩估計(jì)和二階矩估計(jì)進(jìn)行動(dòng)態(tài)調(diào)整。Adam 算法由基于梯度下降的方法發(fā)展而來,但每次都會(huì)將迭代參數(shù)的學(xué)習(xí)步長(zhǎng)限定在固定的范圍內(nèi),同時(shí)使參數(shù)的值保持比較穩(wěn)定。算法的學(xué)習(xí)率設(shè)置為α=0.001。參照文獻(xiàn)[16]的方式,將整張圖片輸入到網(wǎng)絡(luò)中進(jìn)行計(jì)算。在前50輪迭代中,使用基于Make3D構(gòu)建的仿真數(shù)據(jù)集進(jìn)行訓(xùn)練,使深度融合網(wǎng)絡(luò)能夠獲取到與深度相關(guān)的塵霧特征信息,進(jìn)而在后續(xù)150輪迭代中使用煤礦塵霧圖像數(shù)據(jù)集進(jìn)行訓(xùn)練,并獲得最終結(jié)果。

4.2 主觀評(píng)價(jià)結(jié)果

為評(píng)價(jià)本文提出的基于深度融合網(wǎng)絡(luò)的清晰化算法的有效性,選取其他6種有代表性的清晰化算法進(jìn)行對(duì)比,包括孟高峰等[22]提出的基于邊界約束和上下文正則化的塵霧清晰化算法(Efficient Image Dehazing with Boundary Constraint and Contextual Regularization,BCCR),蔡博侖等[8]提出的基于卷積神經(jīng)網(wǎng)絡(luò)的DehazeNet算法,ANCUTI等[6]提出的基于融合策略的清晰化算法,任文琦等[9]提出的基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的霧霾清晰化(MultiScale Convolution Neural Network,MSCNN)算法,何凱明等[3]提出的基于暗通道先驗(yàn)原理(Dark channel priori,DCP)的清晰化算法,TAREL等[5]提出的快速可視化復(fù)原(Fast Visibility Restoration,FVR)算法進(jìn)行對(duì)比。相關(guān)算法的代碼均來自于作者提供的項(xiàng)目網(wǎng)站,且均基于matlab實(shí)現(xiàn)。其參數(shù)參照論文中推薦的參數(shù)進(jìn)行設(shè)置。

實(shí)驗(yàn)對(duì)比的部分結(jié)果如圖7～11所示。由圖中可以看出,基于融合的塵霧清晰化算法和快速可視化復(fù)原算法對(duì)于煤礦井下塵霧圖像的復(fù)原效果比較差?；谌诤系膲m霧清晰化算法使得圖像的塵霧分布更加不均勻,只能對(duì)于對(duì)比度比較大的部分區(qū)域?qū)崿F(xiàn)清晰化復(fù)原。這主要是由于融合策略下的權(quán)重圖設(shè)計(jì)的不盡合理,如顯著性權(quán)重圖在煤礦塵霧圖像的清晰化中意義不大?？焖倏梢暬瘡?fù)原算法使得圖像的局部對(duì)比度有所增加,如圖8中運(yùn)輸車上的銹痕部分,但圖像整體泛白,并未有效實(shí)現(xiàn)塵霧的清晰化。

圖7 場(chǎng)景1塵霧清晰化實(shí)驗(yàn)對(duì)比結(jié)果Fig.7 Comparison results of dust and fog image clear restoration algorithms (Scene 1)

圖8 場(chǎng)景2塵霧清晰化實(shí)驗(yàn)對(duì)比結(jié)果Fig.8 Comparison results of dust and fog image clear restoration algorithms (Scene 2)

圖9 場(chǎng)景3塵霧清晰化實(shí)驗(yàn)對(duì)比結(jié)果Fig.9 Comparison results of dust and fog image clear restoration algorithms (Scene 3)

圖10 場(chǎng)景4塵霧清晰化實(shí)驗(yàn)對(duì)比結(jié)果Fig.10 Comparison results of dust and fog image clear restoration algorithms (Scene 4)

圖11 場(chǎng)景4塵霧清晰化結(jié)果局部效果Fig.11 Comparison local results of dust and fog image clear restoration algorithms (Scene 4)

BCCR算法、DehazeNet、MSCNN算法以及基于暗通道先驗(yàn)原理的去霧算法清晰化效果都比較明顯。這些算法都有效的解決了圖像泛白的問題,并且圖像整體的對(duì)比度均有所勝,圖像的細(xì)節(jié)有所突顯。

DehazeNet和MSCNN算法都是基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的圖像塵霧清晰化算法。兩種網(wǎng)絡(luò)都能夠在一定程度上實(shí)現(xiàn)對(duì)煤礦井下塵霧清晰化的復(fù)原。但清晰化效果并不明顯。如圖7～11所示,處理后圖像的白化現(xiàn)象有所減弱,但仍然給人以塵霧的感覺。這主要是由于:① 兩種網(wǎng)絡(luò)對(duì)圖像多尺度的上下文信息提取的能力不足,使得圖像清晰化效果不明顯;② 兩種網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)均為理想光照下的塵霧仿真圖像,從而使得針對(duì)煤礦圖像塵霧圖像的清晰化效果較差。

基于暗通道先驗(yàn)原理的清晰化算法和BCCR算法處理的圖像整體清晰度和對(duì)比度都有所增強(qiáng),塵霧圖像所特有的泛白現(xiàn)象也得到解決。基于暗通道先驗(yàn)原理的清晰化復(fù)原算法在圖像部分區(qū)域存在明顯的暈圈效應(yīng),即邊緣部分存在明顯的白邊。這主要是由于以下原因:① 暗通道先驗(yàn)原理主要適用于室外無霧圖像,對(duì)于受限空間內(nèi)圖像的適用性有待驗(yàn)證;② 基于暗通道先驗(yàn)原理的去霧算法使用軟摳圖實(shí)現(xiàn)介質(zhì)傳輸圖的精細(xì)化。BCCR算法通過邊緣約束和上下文正則化,將精細(xì)介質(zhì)傳輸圖的求解轉(zhuǎn)化為優(yōu)化問題。由于存在邊緣約束及上下文正則化,使得通過優(yōu)化獲取的介質(zhì)傳輸圖更加精細(xì),從而有效避免了光暈現(xiàn)象的產(chǎn)生,其去霧效果相較于基于暗通道先驗(yàn)原理的去霧算法更加明顯和準(zhǔn)確。

DCP算法和BCCR算法均存在明顯的過增強(qiáng)現(xiàn)象,即處理后的圖像整體上偏暗。圖7～10中除顏色變化和對(duì)比度變化較大的區(qū)域能夠較好的實(shí)現(xiàn)圖像復(fù)原,其它色彩單調(diào)和對(duì)比度較小的區(qū)域如墻壁等,都存在嚴(yán)重的過度清晰化問題。圖11為圖10的局部放大圖像,由圖11中可以看出,BCCR算法和基于暗通道先驗(yàn)原理的算法處理后的墻壁顏色亮度比較低,偏離了正常的墻壁顏色。這主要是由于以下原因:① 暗通道先驗(yàn)原理是對(duì)大量室外無霧圖像的統(tǒng)計(jì)得到的,在原理提出之初就面臨著天空區(qū)域不符合該先驗(yàn)原理的問題。對(duì)于煤礦井下獲取的圖像,圖像的色彩和對(duì)比度相對(duì)比較單一,例如巷道的墻壁、機(jī)械設(shè)備的表面等,這些區(qū)域并不滿足圖像的暗通道先驗(yàn)原理。因此,容易出現(xiàn)過度清晰化的現(xiàn)象。② 兩種方法都是基于塵霧圖像的機(jī)理實(shí)現(xiàn)圖像的復(fù)原,不同于景深變化相對(duì)較大的室外圖像,井下獲取圖像的景深變化一般都比較小。2種方式在求取圖像介質(zhì)傳輸圖時(shí),都傾向于將景深的變化估計(jì)的比較大,極易造成圖像過增強(qiáng)的現(xiàn)象。

相比于其它算法,本文算法的清晰化結(jié)果能夠有效解決圖像的泛白問題,恢復(fù)圖像原有的色彩和對(duì)比度,實(shí)現(xiàn)圖像清晰度和對(duì)比度的提升。

4.3 客觀評(píng)價(jià)結(jié)果

在圖像增強(qiáng)方面,結(jié)構(gòu)相似度指數(shù)(Structural Similarity Index,SSI)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)被廣泛應(yīng)用于處理后的圖像質(zhì)量。為衡量圖像去霧的水平,本章將通過計(jì)算這2個(gè)客觀指標(biāo)對(duì)上述所列方法進(jìn)行評(píng)價(jià)。

SSIM通常用來衡量?jī)煞鶊D像相似的程度,如SSIM值越大,表示圖像失真越小,當(dāng)兩幅圖像完全一樣時(shí),取值為1。SSIM的計(jì)算公式為

(15)

峰值信噪比是另一種有參考的圖像客觀評(píng)價(jià)指標(biāo)。通常,PSNR的數(shù)值越大表示處理后的圖像失真越小,它的計(jì)算公式為

(16)

(17)

式中,n為每個(gè)像素的比特?cái)?shù),通常為8;MSE為處理后的圖像I和原圖像即參考圖像R的均方誤差;M為圖像像素?cái)?shù);Ii和Ri表示處理后的圖像I和原圖像即參考圖像R在位置i的像素值。

為客觀評(píng)價(jià)算法效率,使用結(jié)構(gòu)相似度指數(shù)和峰值信噪比對(duì)4.2節(jié)的塵霧圖像進(jìn)行評(píng)價(jià)。表3為塵霧圖像清晰化各算法的客觀指標(biāo)評(píng)價(jià)結(jié)果。

由表3可以看出,除融合算法之外,其它6種算法能夠在一定程度上提升圖像清晰化程度。本文算法在大多數(shù)圖像的結(jié)構(gòu)相似度指數(shù)中都取得了最高的分?jǐn)?shù),表明本文算法能夠有效保持原圖像的細(xì)節(jié)結(jié)構(gòu)信息,處理結(jié)果與真實(shí)無塵霧圖像最接近。就各圖像結(jié)構(gòu)相似度指數(shù)的平均值而言,DehazeNet和MSCNN算法取得了第二、第三的結(jié)果,表明兩種算法都能夠在在一定程度上實(shí)現(xiàn)煤礦塵霧圖像的清晰化。

表3塵霧圖像清晰化各算法客觀指標(biāo)評(píng)價(jià)結(jié)果
Table3Objectiveevaluationresultsofdustandfogimageclearrestorationalgorithms

評(píng)價(jià)指標(biāo)編號(hào)塵霧圖像BCCR算法DehazeNet融合算法MSCNNDCPFVR本文算法場(chǎng)景10.530.730.770.470.690.780.570.83峰值信噪比評(píng)價(jià)場(chǎng)景20.740.810.880.560.870.620.750.96指標(biāo)(PSNR)場(chǎng)景30.350.530.610.300.490.750.370.76場(chǎng)景40.820.630.910.560.890.530.840.96場(chǎng)景117.6817.0122.5611.7718.3218.1816.4333.10結(jié)構(gòu)相似度指數(shù)場(chǎng)景220.6919.7924.6413.3522.2620.5619.8235.39評(píng)價(jià)指標(biāo)(SSIM)場(chǎng)景320.7020.1724.8813.6021.6021.5520.4436.35場(chǎng)景421.5021.1925.9913.4525.1621.5120.4535.77

同時(shí)，由表3可以看出,除融合算法和快速可視化恢復(fù)(FVR)算法之外,其它5種算法都有效減少了圖像的失真。本文算法處理后的圖像的峰值信噪比都是最高的,表明本文算法能夠非常好的恢復(fù)塵霧圖像,使得清晰化恢復(fù)后的圖像更加接近真實(shí)圖像。另外，DehazeNet和MSCNN算法處理的結(jié)果緊隨本文算法,其次是BCCR算法和基于暗通道先驗(yàn)原理的清晰化算法。出現(xiàn)這種現(xiàn)象的原因是BCCR算法和基于暗通道先驗(yàn)的清晰化算法在處理煤礦井下塵霧圖像存在過度清晰化的問題。從視覺效果來看,兩種算法處理的圖像的清晰度和對(duì)比度都比較高,但由于過度清晰化的原因,使得圖像中色彩和對(duì)比度單一的區(qū)域信息損失比較大。

5 結(jié) 語(yǔ)

本文提出了一種基于深度融合網(wǎng)絡(luò)的煤礦圖像塵霧清晰化方法。對(duì)于輸入圖像,深度融合網(wǎng)絡(luò)首先提取輸入圖像在不同的圖像增強(qiáng)方法及增強(qiáng)參數(shù)下的特征圖,然后對(duì)其融合輸入到網(wǎng)絡(luò)中。在深度融合網(wǎng)絡(luò)的設(shè)計(jì)中,基于空洞卷積提出了能夠進(jìn)行雙向的上下文提取的雙金字塔模塊,并用于對(duì)塵霧圖像全局和局部信息的提取。實(shí)驗(yàn)表明,基于深度融合網(wǎng)絡(luò)的清晰化算法在主觀評(píng)價(jià)和客觀評(píng)價(jià)方面(PSNR,SSIM)均優(yōu)于經(jīng)典的塵霧清晰化算法。