丁伯圣, 張睿恒, 徐立新, 陳慧敏

(北京理工大學(xué) 機(jī)電動態(tài)控制重點(diǎn)實(shí)驗(yàn)室, 北京 100081)

0 引言

沙塵天氣下,空氣中被卷入了大量的半徑較大的沙塵顆粒,導(dǎo)致物體反射的光在傳播到成像設(shè)備之前與沙塵介質(zhì)發(fā)生了吸收、散射等相互作用。如圖1所示,與紅光相比,藍(lán)光和綠光被沙塵顆粒吸收的速度要快得多,嚴(yán)重衰減了RGB圖像中藍(lán)(B)、綠(G)通道灰度分布(見圖1(a)),導(dǎo)致圖像整體顏色偏移、失真;另一方面陽光在懸浮顆粒表面形成散射被成像設(shè)備接收,散射的光線給圖像添加了噪聲,造成圖像對比度下降、輪廓模糊。上述因素都嚴(yán)重影響了戶外視覺應(yīng)用的可靠性[1-2],因此,研究沙塵退化圖像的修復(fù)方法顯得至關(guān)重要。

圖1 沙塵圖像和對應(yīng)清晰圖像的灰度直方圖統(tǒng)計(jì)Fig.1 Gray histogram statistics of sand-dust image and clear image

現(xiàn)有的圖像修復(fù)方法可以分為兩類:像素級圖像增強(qiáng)和基于物理模型的圖像修復(fù)。像素級圖像增強(qiáng)方法通過在空間域內(nèi)的逐像素灰度值調(diào)整或者頻率域內(nèi)的濾波器設(shè)計(jì)來消除顏色偏移和提高對比度。Xu等[3]提出一種張量最小二乘優(yōu)化模型,用于增強(qiáng)沙塵修復(fù)圖像的邊緣和細(xì)節(jié)。Cheng等[4]提出藍(lán)色通道光學(xué)補(bǔ)償法對沙塵退化圖像的顏色進(jìn)行校正。Park等[5]提出一種利用顏色直方圖的均值和標(biāo)準(zhǔn)差的像素自適應(yīng)顏色校正方法,實(shí)現(xiàn)沙塵圖像顏色校正和清晰化。Al-Ameen等[6]提出一種優(yōu)化的模糊增強(qiáng)算子快速處理沙塵退化圖像的方法。Yang等[7]提出一種利用直方圖匹配將沙塵圖像轉(zhuǎn)化為霧霾圖像,通過圖像去霧方法來實(shí)現(xiàn)圖像去沙塵。這類方法只對圖像中特定特征進(jìn)行處理且只考慮鄰接像素間的空間相關(guān)性,無法兼顧圖像特征的多樣性和全局性。因此,像素級圖像增強(qiáng)方法容易導(dǎo)致細(xì)節(jié)信息丟失,增強(qiáng)效果不明顯。

基于物理模型的修復(fù)方法主要通過對沙塵圖像退化模型的參數(shù)估計(jì)來還原出清晰圖像。He等[8]提出暗通道先驗(yàn)去霧,通過估計(jì)大氣光和透射率來進(jìn)行圖像修復(fù)。Shi等[9]提出了一種在LAB空間將沙塵圖像轉(zhuǎn)換為霧霾圖像,經(jīng)DCP去霧和增強(qiáng)對比度來實(shí)現(xiàn)沙塵圖像增強(qiáng)。Kim等[10]基于圖像飽和度計(jì)算透射率和大氣光來實(shí)現(xiàn)沙塵圖像修復(fù)。對于特征維數(shù)復(fù)雜的沙塵圖像,基于物理模型的方法容易因參數(shù)估計(jì)不準(zhǔn)確,導(dǎo)致修復(fù)圖像中出現(xiàn)光暈、色塊畸變、圖像扭曲。

卷積神經(jīng)網(wǎng)絡(luò)通過不同的卷積核可以自動提取出圖像的高維特征[11-13],在霧霾圖像、雨天圖像、水下圖像修復(fù)等領(lǐng)域,這類方法在改善紋理細(xì)節(jié)信息、提高圖像顏色真實(shí)度等方面取得了顯著成果。相比于霧霾顆粒和水分子,沙塵顆粒半徑大、分布不均勻,對光的吸收和散射更強(qiáng),沙塵圖像偏色不同且更嚴(yán)重、對比度更差。受圖像特征的差異性和領(lǐng)域知識的限制,現(xiàn)有的模型不能有效地提取圖像中語義分量,對沙塵特征提取效率低、模型泛化能力差,圖像修復(fù)效果不明顯。

針對以上問題,本文提出了基于圖像預(yù)處理和特征融合的沙塵圖像修復(fù)框架,該框架不需要設(shè)計(jì)數(shù)字濾波器和估計(jì)物理模型參數(shù)。本文方法不直接對沙塵圖像處理,而是預(yù)先對沙塵圖像進(jìn)行特征補(bǔ)償和特征轉(zhuǎn)換,以恢復(fù)圖像中的潛在信息、消除顏色偏移和提高對比度。在此基礎(chǔ)上利用卷積神經(jīng)網(wǎng)絡(luò)來提取出圖像的高維特征,經(jīng)特征融合和圖像重建后恢復(fù)出清晰的圖像。大量實(shí)驗(yàn)表明,該方法有效地提高了沙塵圖像的質(zhì)量并取得了滿意的視覺效果,圖2展示了本文方法對沙塵圖像恢復(fù)后的效果。

1 沙塵圖像修復(fù)模型

1.1 框架概述

沙塵圖像修復(fù)的目的是從輸入的退化圖像中準(zhǔn)確地預(yù)測出清晰的圖像。如圖3所示,本文提出了一個(gè)由特征轉(zhuǎn)換預(yù)處理和特征融合網(wǎng)絡(luò)組成的兩階段沙塵圖像修復(fù)框架。第1階段:特征轉(zhuǎn)換預(yù)處理模塊對輸入的沙塵圖像進(jìn)行灰度分布補(bǔ)償處理,然后分別用顏色均衡和對比度增強(qiáng)方法進(jìn)行特征預(yù)處理,生成兩個(gè)類型不同的派生圖像(ICE、ICB)。第2階段:采用基于特征融合的卷積神經(jīng)網(wǎng)絡(luò)對兩個(gè)派生圖像分別進(jìn)行特征提取、融合和圖像重建,生成最終清晰圖像。

圖2 沙塵圖像修復(fù)效果圖Fig.2 Restored sand-dust image

圖3 沙塵圖像修復(fù)框圖Fig.3 Sand-dust image restoration frameworks

1.2 特征轉(zhuǎn)換預(yù)處理模塊

沙塵圖像中有兩個(gè)主要因素需要處理:1)由于大量藍(lán)光和綠光被吸收而導(dǎo)致的圖像偏黃、場景顏色特征丟失嚴(yán)重;2)沙塵顆粒對大氣光散射而導(dǎo)致的能見度低、圖像模糊。因此,需要對沙塵圖像進(jìn)行特征預(yù)處理來恢復(fù)圖像中潛在特征、消除顏色偏移和提高能見度。

1.2.1 沙塵圖像灰度分布補(bǔ)償

與紅光和橙光相比,藍(lán)光和綠光被沙塵顆粒吸收的速度要快得多,吸收造成了沙塵RGB圖像中藍(lán)、綠通道灰度嚴(yán)重衰減。直接采用傳統(tǒng)白平衡方法進(jìn)行沙塵圖像特征轉(zhuǎn)換,會造成嚴(yán)重的藍(lán)色偽影和信息丟失。因此,本文提出了一種基于信息損失的灰度分布補(bǔ)償方法來減少衰減通道的損失,以恢復(fù)沙塵圖像里潛在的特征信息。以未衰減的紅色通道灰度分布作為目標(biāo)參考,在[0,255]范圍內(nèi)通過迭代方法來補(bǔ)償和調(diào)整衰減通道灰度分布,增強(qiáng)圖像中的藍(lán)、綠顏色分量,以獲得分布一致的灰度直方圖。算法過程如下:

步驟1分別對沙塵圖像的{R,G,B}通道進(jìn)行灰度分布直方圖統(tǒng)計(jì)。

步驟2在紅色通道灰度直方圖中均勻采樣,生成目標(biāo)二維(灰度值及相同灰度的像素?cái)?shù)量)點(diǎn)云P,取點(diǎn)集Pi∈P。

步驟3在衰減通道灰度直方圖中均勻采樣,生成源二維(灰度值及相同灰度的像素?cái)?shù)量)點(diǎn)云Q,取點(diǎn)集Qi∈Q。

步驟4計(jì)算源點(diǎn)云與目標(biāo)點(diǎn)云間平均距離;

(1)

式中:n為在[0,255]灰度區(qū)間內(nèi)采樣點(diǎn)數(shù)量;Tj表示第j次補(bǔ)償量,初始值T0=0。

步驟5將衰減通道灰度分布函數(shù)f(x)沿紅色通道灰度方向迭代補(bǔ)償Tj個(gè)單位,補(bǔ)償后的灰度分布為

Fj(x)=f(x-Tj)

(2)

步驟6補(bǔ)償后的灰度像素值可能會有部分超出[0,255]的有效動態(tài)范圍,超過255的溢出部分被截?cái)酁?55,低于0的部分被截?cái)酁?,截?cái)嘣斐闪讼鄳?yīng)場景像素丟失,計(jì)算信息損失:

(3)

步驟7更新灰度值補(bǔ)償量,

(4)

步驟8轉(zhuǎn)步驟4,遍歷整個(gè)灰度采樣空間,計(jì)算n次源點(diǎn)云與目標(biāo)點(diǎn)云間平均距離{d(T0),d(T1),…,d(Tn-1)}和信息損失。衰減通道補(bǔ)償量T由平均最小距離和信息損失約束共同決定,當(dāng)信息損失小于設(shè)定閾值時(shí),T選取目標(biāo)點(diǎn)云與源點(diǎn)云間最小距離時(shí)刻的補(bǔ)償量;反之,不再對其進(jìn)行迭代更新,T選取信息損失在閾值時(shí)刻的補(bǔ)償量。

(5)

式中:Eth為像素?fù)p失閾值。若Eloss大于閾值,則表明像素溢出較多、信息損失過大,本文選取

(6)

步驟9補(bǔ)償后的最終灰度分布Ffinal(x):

Ffinal(x)=f(x-T)

(7)

如圖4所示,以紅色通道灰度分布作為基準(zhǔn),通過對藍(lán)色和綠色通道采用灰度補(bǔ)償方法來實(shí)現(xiàn)沙塵圖像特的征轉(zhuǎn)換,沙塵圖像的整體顏色有顯著改善。圖4(b)中的坦克和周邊地面輪廓細(xì)節(jié)和顏色等潛在信息得到了恢復(fù),為后續(xù)的圖像修復(fù)提供了更多特征信息。

圖4 灰度補(bǔ)償前后的圖像示例Fig.4 Images before and after gray compensation

1.2.2 派生輸入

灰度分布補(bǔ)償后的圖像IGDC減小了沙塵圖像中藍(lán)色和綠色通道的灰度損失,恢復(fù)了圖像中潛在顏色特征,但圖像整體仍存在顏色偏移、對比度低。因此,如圖5所示,在IGDC的基礎(chǔ)上特征轉(zhuǎn)換出兩個(gè)類型不同的派生圖像,以消除顏色偏移和提高對比度:

圖5 特征轉(zhuǎn)換后的派生圖像Fig.5 Derived images after feature transformation

圖6 特征融合網(wǎng)絡(luò)框架Fig.6 Feature fusion network frameworks

1)顏色均衡派生圖像ICB:顏色是描述圖像特征的重要參數(shù),沙塵圖像的偏色掩蓋了圖像中潛在的顏色、紋理等特征信息,不利于修復(fù)網(wǎng)絡(luò)的特征提取和分類。因此,獲取顏色均衡的輸入圖像對于提升沙塵圖像修復(fù)質(zhì)量至關(guān)重要。第1個(gè)派生圖像采用白平衡技術(shù)來消除大氣光和環(huán)境引起的顏色偏移,準(zhǔn)確還原圖像色彩特征。本文利用經(jīng)典的灰度世界理論,通過調(diào)整圖像IGDC在R、G和B通道色彩分量的平均值趨于同一灰度值,來生成顏色均衡的派生圖像。

2)對比度增強(qiáng)派生圖像ICE:雖然白衡處理可以去除大氣光引起的顏色偏移,但圖像仍呈現(xiàn)低對比度、輪廓模糊,尤其較遠(yuǎn)處的區(qū)域細(xì)節(jié)丟失嚴(yán)重。受文獻(xiàn)[14-15]的啟發(fā),第2個(gè)派生圖像通過采用對比度增強(qiáng)方法來提高沙塵圖像中較遠(yuǎn)處場景的能見度,以提高圖像的全局可見性。對比度增強(qiáng)方法通過從輸入的模糊圖像中減去整個(gè)圖像的平均亮度值,再使用一個(gè)調(diào)節(jié)因子線性增加模糊區(qū)域的亮度來獲得對比度增強(qiáng)圖像,定義如下:

ICE=μ(IGDC-GDC)

(8)

式中:μ為調(diào)節(jié)因子,μ=2(0.5+GDC),GDC為圖像IGDC的平均亮度值。利用整個(gè)圖像的平均亮度來動態(tài)調(diào)整放大系數(shù),使對比度小的區(qū)域得到較大增強(qiáng),而對比度大的區(qū)域增強(qiáng)較小。

1.3 基于特征融合的沙塵圖像修復(fù)網(wǎng)絡(luò)

沙塵圖像特征復(fù)雜且退化嚴(yán)重,采用傳統(tǒng)的人工設(shè)計(jì)數(shù)字濾波器或者估計(jì)物理模型參數(shù),容易導(dǎo)致沙塵特征提取不準(zhǔn)確、不全面,造成修復(fù)效果不明顯。受卷積神經(jīng)網(wǎng)絡(luò)能全面提取圖像高維特征的啟發(fā),本文采用對抗生成網(wǎng)絡(luò)的方式提取沙塵圖像特征。如圖6所示,沙塵圖像修復(fù)網(wǎng)絡(luò)由基于特征融合的生成器和鑒別器組成。網(wǎng)絡(luò)分別對兩路派生輸入進(jìn)行特征提取和融合,并通過對抗的方式端到端地輸出清晰的修復(fù)圖像。

1.3.1 基于特征融合的生成器

生成器包含編碼-解碼模塊、特征融合和圖像重建網(wǎng)絡(luò)組成。編碼-解碼模塊用于對派生輸入圖像(ICE、ICB)的特征提取。網(wǎng)絡(luò)結(jié)構(gòu)借鑒Johnson等[16]的配置,該結(jié)構(gòu)包括下采樣特征提取模塊、特征分類模塊和上采樣特征重構(gòu)模塊3部分。編碼器使用兩個(gè)滑動步長為2的卷積對派生輸入進(jìn)行下采樣特征提取和數(shù)據(jù)篩。解碼器使用兩個(gè)滑動步長為1/2的卷積層進(jìn)行上采樣和非線性空間轉(zhuǎn)換來輸出多維高級特征。派生圖像ICB包含了圖像和圖像區(qū)域內(nèi)所對應(yīng)景物的顏色、形狀及不同場景內(nèi)容在圖像中的空間關(guān)系(連接/鄰接、交疊/重疊和包含/包容)等全局信息,編碼-解碼網(wǎng)絡(luò)提取圖像ICB的特征FCB偏向于體現(xiàn)圖像顏色、區(qū)域和空間關(guān)系等全局特征信息。派生圖像ICE增強(qiáng)了圖像的對比度,突出了圖像中景物的紋理細(xì)節(jié)和表面組織結(jié)構(gòu)等信息,編碼-解碼網(wǎng)絡(luò)提取圖像ICE的特征FCE偏向于包含邊緣、輪廓和形狀等局部特征信息。為保留更多的維度和不同尺度特征圖的語義信息,對兩路分支特征采用特征拼接的融合方式,以形成更厚的特征Fm。編碼-解碼網(wǎng)絡(luò)具體參數(shù)如表1所示。

表1 編碼-解碼網(wǎng)絡(luò)參數(shù)設(shè)置Table 1 Encoding-decoding network parameter settings

1.3.2 鑒別器網(wǎng)絡(luò)

鑒別器用來區(qū)分網(wǎng)絡(luò)生成的修復(fù)圖像與清晰圖像的真假,鑒別器是一個(gè)由5個(gè)卷積層組成的網(wǎng)絡(luò),其基本操作是卷積、批處理歸一化和LeakyReLU激活,鑒別器最后一層用一個(gè)符號函數(shù)將統(tǒng)計(jì)概率值歸一化為[0,1],鑒別器器網(wǎng)絡(luò)具體參數(shù)如表2所示。

表2 鑒別器網(wǎng)絡(luò)參數(shù)設(shè)置Table 2 Discriminator network parameter settings

1.4 損失函數(shù)

修復(fù)網(wǎng)絡(luò)損失函數(shù)由對抗損失、感知損失、內(nèi)容損失3項(xiàng)組成:

1)對抗損失用來更新生成器和鑒別器,通過生成對抗的方式指導(dǎo)網(wǎng)絡(luò)來縮小修復(fù)圖像與清晰圖像間數(shù)據(jù)分布差異,對抗損失函數(shù)為

LA=L(G,D)=EJGT～p(JGT)[lnD(JGT)]+EI～p(Iderived)[ln(1-D(G(Iderived))]

(9)

式中:L(G,D)表示對抗網(wǎng)絡(luò)損失,G(·)為生成器網(wǎng)絡(luò),D(·)為鑒別器網(wǎng)絡(luò);EJGT～p(JGT)(·)為清晰圖像的數(shù)據(jù)分布期望值,JGT為清晰圖像,p(JGT)為清晰圖像的數(shù)據(jù)分布;EI～p(Iderived)(·)為派生圖像數(shù)據(jù)分布期望值,I∈Iderived為派生輸入圖像,p(Iderived)為派生圖像的數(shù)據(jù)分布。

2)感知損失計(jì)算修復(fù)圖像JRestored(x)與清晰圖像之間的特征差異,通過梯度下降和反向傳播來更新參數(shù),生成更逼真的圖像,感知損失定義:

(10)

式中:N為特征圖數(shù)量;j表示卷積層序號;Fj為第j個(gè)卷積層的特征映射,使用預(yù)訓(xùn)練的VGG19作為特征圖提取網(wǎng)絡(luò)。

3)內(nèi)容損失計(jì)算融合網(wǎng)絡(luò)生成的修復(fù)圖像與清晰圖像之間的像素級差異,確保修復(fù)圖像接近于對應(yīng)的清晰圖像。

LC=‖JGT-JRstored(x)‖

(11)

式中:‖·‖表示融合前和融合后的圖像與清晰圖像間逐像素間歐式距離計(jì)算。

4)總體損失。綜合對抗損失、感知損失和內(nèi)容損失來訓(xùn)練沙塵圖像修復(fù)網(wǎng)絡(luò):

(12)

式中:α、λ、β分別為對抗損失、感知損失和內(nèi)容損失函數(shù)權(quán)重,控制著3個(gè)損失的重要程度。

2 實(shí)驗(yàn)結(jié)果與分析

為了顯示本文的方法在沙塵圖像修復(fù)的效果,選取一些先進(jìn)的沙塵天氣下圖像恢復(fù)方法進(jìn)行比較,并給出定量和定性評估。

2.1 SOTS-Sand數(shù)據(jù)集

網(wǎng)絡(luò)訓(xùn)練需要大量成對的標(biāo)記數(shù)據(jù)。然而,受場景深度、大氣光條件、相機(jī)模型和沙塵環(huán)境等影響因素,成對的沙塵圖像數(shù)據(jù)集采集成本高、難度大。受Fabbri等[17]的啟發(fā),使用CycleGAN方法,在沒有成對圖像的情況下,網(wǎng)絡(luò)學(xué)習(xí)一個(gè)映射,將圖像從任意域X轉(zhuǎn)換到另一個(gè)任意域Y,來作為一種生成成對數(shù)據(jù)集的方法。在RESIDE標(biāo)準(zhǔn)數(shù)據(jù)中任意選取2 500張清晰圖像作為X域圖像集合。通過在沙塵天氣下的圖像拍攝和網(wǎng)絡(luò)下載,共收集1 340張沙塵圖像作為Y域圖像集合。通過CycleGAN訓(xùn)練一個(gè)生成器G來學(xué)習(xí)映射關(guān)系F∶X→Y,將來自清晰域X的圖像風(fēng)格轉(zhuǎn)換為沙塵域Y的圖像。最后,通過對X中的所有圖像進(jìn)行F映射,得到成對沙塵圖像訓(xùn)練數(shù)據(jù)集。

本文從CycleGAN生成的數(shù)據(jù)集中選取53對沙塵天氣下圖像和對應(yīng)的清晰圖像,作為合成測試數(shù)據(jù)集TESTA,并確保所有的測試圖像都不在訓(xùn)練集中。采用經(jīng)典的峰值信噪比(PSNR)和結(jié)構(gòu)相似性指數(shù)(SSIM)兩項(xiàng)指標(biāo)對沙塵圖像修復(fù)效果進(jìn)行有參考圖像質(zhì)量評價(jià),指標(biāo)數(shù)值越大、圖像質(zhì)量越好。

2.2 訓(xùn)練細(xì)節(jié)

算法運(yùn)行平臺為Nvidia GTX 1080 GPU的臺式計(jì)算機(jī),運(yùn)行環(huán)境為Ubuntu18上的 PyTorch。所有的訓(xùn)練樣本都被調(diào)整為256×256,在訓(xùn)練過程中,使用ADAM作為優(yōu)化算法并設(shè)置擇式(12)中損失函數(shù)權(quán)重α=0.02、β=1、λ=10-1。在訓(xùn)練過程中,生成器和鑒別器的學(xué)習(xí)率均為0.000 3,訓(xùn)練50個(gè)周期后在測試數(shù)據(jù)集上對模型進(jìn)行評估。

2.3 與先進(jìn)算法的比較

為驗(yàn)證本文方法的先進(jìn)性,選取了像素級增強(qiáng)、基于物理模型方法以及深度學(xué)習(xí)方法進(jìn)行了比較。像素級增強(qiáng)方法包括基于顏色均衡(CCH)[5]、基于能見度修復(fù)(VRB)[7]和基于對比度自適應(yīng)約束(CAL)[20];物理模型方法包括基于飽和度的傳輸圖估計(jì)(STME)[10]、暗通道先驗(yàn)(DCP)[8]和YUV空間的沙塵圖像增強(qiáng) (YUV)[21],基于深度學(xué)習(xí)的Refine-Net[22]和Cycle-GAN[13]。

2.3.1 定量評估

(13)

式中:v1、v2、Σ1、Σ2分別表示自然圖像模型與失真圖像的均值向量和協(xié)方差矩陣。

(14)

(15)

式中:nr為增強(qiáng)圖像可見邊緣數(shù)量;no為原始圖像可見邊緣數(shù)量;ri為可見邊緣所在像素的梯度。

表3 不同方法在TestA測試集上的定量評估Table 3 Quantitative evaluation of different methods on TestA dataset

表4 不同方法在TestB測試集上的定量評估Table 4 Quantitative evaluation of different methods on TestB dataset

2.3.2 主觀視覺評估

2.3.2.1 合成沙塵圖像評估

為驗(yàn)證本文方法在合成圖像上有效性和先進(jìn)性,選用8種不同的典型算法在TESA測試上進(jìn)行合成沙塵圖像視覺效果評估。從表5的主觀視覺中可以發(fā)現(xiàn):由于沙塵天氣下大多數(shù)藍(lán)光被散射和吸收,CCH[5]、VRB[7]和CAL[20]方法通過像素級增強(qiáng)通過衰減顏色通道補(bǔ)償和直方圖匹配,能夠消除沙塵圖像的顏色偏移,但去沙塵能力有限,圖像模糊、對比度低;由于沙塵圖像特征參數(shù)復(fù)雜,DCP[8]、STME[10]和YUV[21]方法不能準(zhǔn)確估計(jì)物理模型中的中間參數(shù),導(dǎo)致此類方法容易產(chǎn)生嚴(yán)重的偽影和沙塵殘留。STME[10]方法修復(fù)圖像中局部區(qū)域存在明顯的藍(lán)色偽影。DCP[8]方法生成的圖像在遠(yuǎn)處天空區(qū)域修復(fù)效果較好,但大量的沙塵殘留導(dǎo)致圖像質(zhì)量較低;Cycle-GAN[13]和Refine-Net[22]對沙塵圖像特征提取效率低,導(dǎo)致圖像增強(qiáng)圖像內(nèi)容和結(jié)構(gòu)略有失真、圖像偏暗;相比之下,本文方法通過對沙塵圖像特征預(yù)處理和采用特征融合等方式,端到端的生成高質(zhì)量的修復(fù)圖像。本文方法修復(fù)后的圖像中天空顏色更真實(shí),建筑物和樹木的顏色和紋理等更接近清晰圖像,具有良好的視覺效果。

表5 不同方法在TESTA上的修復(fù)視覺效果

2.3.2.2 真實(shí)沙塵圖像評估

為驗(yàn)證本文方法的泛化能力,選取不同場景、不同顏色特征的真實(shí)沙塵圖像,并用先前的方法進(jìn)行修復(fù)效果評估。如表6所示:CCH[5]和CAL[20]方法能有效消除顏色偏移,但處理顏色較深的沙塵圖像后的效果不明顯、圖像整體模糊;YUV[21]方法修復(fù)效果相對較好,但圖像局部區(qū)域存在顏色失真;DCP[8]、STME[10]方法圖像偏黑,對顏色較深的沙塵圖像的修復(fù)效果更差;由于缺少特征預(yù)處理階段,基于數(shù)據(jù)驅(qū)動的Cycle-GAN[13]和Refine-Net[22]方法無法有效和準(zhǔn)確地提取沙塵圖像特征,造成生成的圖像偏黑、輪廓不清晰;相比之下,對于不同顏色的真實(shí)沙塵圖像,本文方法修復(fù)后的圖像顏色更真實(shí),目標(biāo)輪廓和紋理更清晰,具有良好的視覺效果。

2.4 消融實(shí)驗(yàn)

2.4.1 特征轉(zhuǎn)換預(yù)處理影響分析

在圖像預(yù)處理階段,首先采用灰度分布補(bǔ)償方法減少衰減通道的灰度損失、恢復(fù)圖像中潛在的顏色特征。然后使用白平衡和對比度增強(qiáng)方法生成兩個(gè)派生圖像,以消除顏色偏移、提高場景的能見度。為驗(yàn)證灰度分布補(bǔ)償模塊和派生輸入模塊對沙塵圖像修復(fù)框架的有效性,進(jìn)行3項(xiàng)消融實(shí)驗(yàn):1)去除灰度分布補(bǔ)償模塊后的性能測試;2)去除派生輸入后的性能測試;3)本文方法的性能測試。

表6 不同方法在TESTB上的修復(fù)視覺效果

如表7所示:由于沙塵圖像偏色嚴(yán)重,圖像中的黃色掩蓋了其他特征信息。去除灰度補(bǔ)償模塊導(dǎo)致沙塵圖像中潛在的顏色特征沒有得到恢復(fù),圖像中在地面和天空中均勻有部分沙塵殘留存,仍然存在明顯的沙塵顏色風(fēng)格;去除派生輸入模塊后的修復(fù)圖像圖像模糊、輪廓不清晰,主要是由于網(wǎng)絡(luò)不能準(zhǔn)確、有效地提取顏色偏移、對比度低的沙塵圖像特征。相比之下,本文方法采用特征預(yù)處理后的修復(fù)圖像無沙塵殘留,顏色更真實(shí)、對比度高。同時(shí),從質(zhì)量評估指標(biāo)計(jì)算結(jié)果可以看出,經(jīng)特征預(yù)處理后修復(fù)圖像NIQE值(4.018 7)最小,修復(fù)后的圖像更接近真實(shí)的清晰圖像。

表7 預(yù)處理消融實(shí)驗(yàn)結(jié)果

2.4.2 派生圖像影響分析

本文在原始沙塵圖像上派生出顏色均衡圖像ICB、對比度增強(qiáng)圖像ICE,通過對兩個(gè)派生圖像的特征提取和融合來生成清晰的修復(fù)圖像。為了驗(yàn)證派生輸入對沙塵圖像修復(fù)效果的影響,在TESTA測試集上開展單個(gè)輸入和多個(gè)輸入的性能測試。表8中的結(jié)果表明:將ICB和ICE兩項(xiàng)輸入結(jié)合起來一起送進(jìn)網(wǎng)絡(luò),相比用單個(gè)輸入測試結(jié)果,PSNR值提高1.738 dB,SSIM值提高0.118,從而驗(yàn)證了多個(gè)派生輸入特征融合策略的有效性。

表8 派生輸入的影響分析Table 8 Impact analysis of derived inputs

2.4.3 損失函數(shù)影響分析

網(wǎng)絡(luò)損失函數(shù)在LA基礎(chǔ)上增加了LC和Lp兩項(xiàng)損失函數(shù),為了驗(yàn)證新增加的損失函數(shù)的有效性,進(jìn)行4項(xiàng)損失函數(shù)的消融實(shí)驗(yàn),并采用PSNR和SSIM兩個(gè)指標(biāo)在TESTA數(shù)據(jù)集上開展了定量評估(見圖9)。表9中的結(jié)果表明:單獨(dú)使用LA損失函數(shù)生成的圖像PSNR和SSIM指標(biāo)均很低;聯(lián)合LA和LC損失函數(shù)生成的圖像PSNR值明顯提高,表明增加的LC損失函數(shù)有助于提高圖像信噪比;聯(lián)合LA和LP損失函數(shù)生成的圖像的SSIM值明顯提高,表明增加的LP損失函數(shù)有助于改善圖像的結(jié)構(gòu)信息;將LA、LP、LC三者結(jié)合起來(LA+LP+LC)一起訓(xùn)練網(wǎng)絡(luò),相比LA+LC測試結(jié)果,PSNR值提高0.971 dB,SSIM值提高0.027。

表9 不同損失函數(shù)的定量分析Table 9 Quantitative analysis of different loss functions

可視化結(jié)果如表10所示:聯(lián)合對抗損失、感知損失和內(nèi)容損失共同優(yōu)化后的網(wǎng)絡(luò),修復(fù)后的圖像在輪廓細(xì)節(jié)、對比度、色彩真實(shí)度等方面取得了顯著提升,更接近真實(shí)的清晰圖像。

表10 不同損失函數(shù)訓(xùn)練的可視覺效果比較

2.5 修復(fù)沙塵圖像對高級視覺任務(wù)的改善

2.5.1 提升目標(biāo)檢測精度

模糊的圖像會影響后續(xù)高級計(jì)算機(jī)視覺任務(wù)(目標(biāo)識別、跟蹤、定位)的有效性,為驗(yàn)證沙塵圖像修復(fù)對提升目標(biāo)識別、跟蹤精度的效果,本文利用COCO數(shù)據(jù)集上預(yù)訓(xùn)練的Faster R-CNN識別模型[23],分別對沙塵圖像和修復(fù)圖像開展了目標(biāo)檢測和識別對比測試。

可視化效果如表11所示,沙塵天氣下圖像模糊,對目標(biāo)檢測和識別存在大量漏檢、定位不準(zhǔn)確和置信度低現(xiàn)象。經(jīng)過算法修復(fù)后的圖像清晰,對轎車、行人、公交車等目標(biāo)識別的數(shù)量明顯增多、準(zhǔn)確率更高,從而驗(yàn)證了沙塵圖像修復(fù)方法在目標(biāo)檢測中的有效性。

表11 沙塵圖像及修復(fù)圖像的目標(biāo)檢測結(jié)果比較

2.5.2 圖像分割

利用COCO數(shù)據(jù)集上預(yù)訓(xùn)練的Mask_RCNN分割模型[24]分別開展沙塵圖像(上層)和修復(fù)后圖像(下層)的目標(biāo)分割。如表12中上層圖像所示,沙塵圖像對比度低、目標(biāo)和背景差異小,導(dǎo)致圖像中的人和車輛分割不準(zhǔn)確,分割后區(qū)域內(nèi)部的特征不完整。修復(fù)后的圖像(下層圖像)輪廓清晰、對比度高,目標(biāo)和背景差異明顯,圖像中重疊的人物和車輛均完整且準(zhǔn)確地分割出來,分割后的區(qū)域輪廓均勻、互不交疊。

表12 沙塵圖像及修復(fù)圖像的目標(biāo)分割效果比較

2.6 運(yùn)行時(shí)間

為驗(yàn)證本文算法的實(shí)時(shí)性,統(tǒng)計(jì)該算法的運(yùn)行時(shí)間,并與其他方法進(jìn)行比較。隨機(jī)抽取100幅256像素×256像素的沙塵圖像,并計(jì)算每種方法的平均處理時(shí)間。DCP和CCH是基于傳統(tǒng)的優(yōu)化方法,在沒有任何GPU加速的情況下在CPU上的運(yùn)行。其他方法運(yùn)行平臺為Nvidia GTX 1080 GPU的臺式計(jì)算機(jī),運(yùn)行環(huán)境為Ubuntu18上的 PyTorch軟件平臺。100幅圖像修復(fù)的平均運(yùn)行時(shí)間統(tǒng)計(jì)如表13所示。

表13 圖像修復(fù)平均運(yùn)行時(shí)間Table 13 Average running time of image restoration methods

本文算法建立在機(jī)器學(xué)習(xí)的基礎(chǔ)上,網(wǎng)絡(luò)訓(xùn)練和測試只需只需前向運(yùn)行,不需要進(jìn)行二次優(yōu)化。由表13可以看出,本文方法具有較高的運(yùn)算效率,所需時(shí)間較短、算法實(shí)時(shí)性較好。

3 結(jié)論

本文針對沙塵圖像顏色偏移和對比度低的特點(diǎn),提出一種基于灰度分布補(bǔ)償和特征融合的沙塵圖像修復(fù)方法。該方法預(yù)先對沙塵圖像進(jìn)行灰度補(bǔ)償和特征預(yù)處理,以恢復(fù)沙塵圖像中的潛在信息、消除顏色偏移和提高對比度。在此基礎(chǔ)上再利用卷積神經(jīng)網(wǎng)絡(luò)來提取圖像的高維特征,經(jīng)融合、重建出清晰的修復(fù)圖像。得出主要結(jié)論如下:

1)本文通過對沙塵圖像衰減通道灰度補(bǔ)償和圖像高維特征的提取,修復(fù)出了更多被沙塵掩蓋的細(xì)節(jié)信息。

2相比于傳統(tǒng)方法,本文方法獲得的圖像更清晰、色彩更真實(shí);在TESTA測試集上的PSNR值提高了3.34 dB,SSIM值提高了0.12;在TESTB測試集上的可見邊緣數(shù)量比、邊緣梯度比分別提高了0.288和0.573。

3)在高級視覺任務(wù)中,本文方法能有效提高沙塵圖像目標(biāo)檢測精度和圖像分割準(zhǔn)確率。