王云飛，王園宇

（太原理工大學(xué)信息與計算機學(xué)院，山西晉中030600）

（*通信作者電子郵箱w_h7377@163.com）

0 引言

霧是懸浮在空氣中的微粒子，會對光造成散射、折射等現(xiàn)象，在夜晚光照強度低的情況下，霧會加重色彩失真、能見度低的程度，給人的戶外行動造成不便，因此，如何有效去除夜間霧具有研究意義。

現(xiàn)有夜間去霧方法大都是對白天去霧方法的改進，如對暗通道先驗（Dark Channel Prior，DCP）［1］與大氣散射模型［2］改進:文獻［3］提出用顏色轉(zhuǎn)移法［4］，將夜晚圖片轉(zhuǎn)換為灰色圖片，結(jié)合DCP 去霧，結(jié)果存在偽影；文獻［5］提出用光照補償實現(xiàn)光照平衡后得到大氣光，結(jié)果出現(xiàn)顏色失真；文獻［6］提出用層分離技術(shù)［7］去除光輝，結(jié)合DCP 去霧，結(jié)果出現(xiàn)噪聲；文獻［8］提出用局部大氣光與全局大氣光的均值作為大氣光值，其結(jié)果出現(xiàn)顏色失真，這是因為大氣光取值不準(zhǔn)確；文獻［9］在文獻［6］基礎(chǔ)上使用超像素算法去霧，其計算量較大；文獻［10］使用圖像融合方法實現(xiàn)去霧，其結(jié)果存在偽影；文獻［11］提出用最大反射先驗得到大氣光，其取得的大氣光值存在偏差；文獻［12］提出用權(quán)重熵估計透射率，結(jié)合DCP 去霧結(jié)果存在偽影。綜上所述，用這些方法實現(xiàn)夜間去霧會出現(xiàn)顏色失真、偽影及噪聲等現(xiàn)象，這是因為相對白天，夜晚大氣光不均勻，因此，這些方法取得的中間參數(shù)大氣光及透射率值不準(zhǔn)確，導(dǎo)致恢復(fù)圖像存在顏色失真、偽影、噪聲等現(xiàn)象。方帥等［13］提出通過估計光照圖求得大氣光值，用信息熵估計透射率，其結(jié)果存在偽影，這是因為信息熵估計透射率不準(zhǔn)確；楊愛萍等［14］提出將圖像分為結(jié)構(gòu)層與紋理層，在結(jié)構(gòu)層用中值濾波器求得大氣光值，在紋理層上估計透射率，最后將兩者結(jié)合去霧，其結(jié)果存在顏色失真，這是對大氣光取值不準(zhǔn)確造成的。

與上述方法相反，文獻［15］提出用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）實現(xiàn)從夜晚霧圖到清晰圖直接去霧，但其恢復(fù)圖像存在模糊現(xiàn)象，這是由像素損失自身缺陷造成的。近些年生成對抗網(wǎng)絡(luò)（Generated Adversarial Network，GAN）［16］在圖像重建方面取得了不錯的效果，其由生成器與鑒別器構(gòu)成，將噪聲輸入生成器學(xué)習(xí)真實數(shù)據(jù)分布，鑒別器判斷數(shù)據(jù)真假性，其缺點是生成不受控制。為解決GAN生成自由的問題，文獻［17］提出條件生成對抗網(wǎng)絡(luò)（Conditional Generated Adversarial Network，CGAN），將條件與噪聲同時輸入生成器，目標(biāo)函數(shù)如式（1）所示:

其中:x指輸入圖片，y指清晰圖片，z指隨機噪聲。但CGAN會引入噪聲，對此，文獻［18］提出感知損失，即用已經(jīng)訓(xùn)練好的深層神經(jīng)網(wǎng)絡(luò)提取圖片高級特征；文獻［19］在CGAN 損失基礎(chǔ)上加入像素損失，其結(jié)果仍存在噪聲偽影；文獻［20-23］在文獻［19］基礎(chǔ)上加入感知損失，其結(jié)果仍有偽影出現(xiàn)，這說明感知損失不足以消除CGAN 產(chǎn)生的噪聲偽影；文獻［24］在生成器訓(xùn)練時對鑒別器最后Patch 部分使用Min-Pool方式訓(xùn)練，這是因為得分低的區(qū)域是圖片中最假的區(qū)域，然而，生成器與鑒別器訓(xùn)練是迭代進行的，僅對生成器采取這種訓(xùn)練使得兩者訓(xùn)練不同步，造成鑒別器容易將生成器生成的圖片誤判為真。

鑒于上述分析，由于圖像去霧亦屬于圖像重建，因此本文使用CGAN 實現(xiàn)夜間圖像去霧，這跳過估計中間參數(shù)步驟，同時避免了像素損失缺點；然而，CGAN 容易產(chǎn)生噪聲及偽影，同時容易誤判，對此，本文提出基于Msmall-Patch 訓(xùn)練的條件生成網(wǎng)絡(luò)（Multiple small-Patch training for Conditional Generated Adversarial Network，MP-CGAN）去霧算法，首先對生成器與鑒別器都使用Msmall-Patch 訓(xùn)練，即只對圖片的關(guān)鍵部分懲罰，一方面加強了對糟糕區(qū)域或容易被誤判區(qū)域的懲罰，另一方面保持了生成器與鑒別器訓(xùn)練的同步性；與之對應(yīng)，提出重度懲罰損失，即提取數(shù)個最大損失值懲罰圖片；另外，為得到更好的去霧效果，提出新的復(fù)合損失函數(shù)，將重度懲罰損失、感知損失與對抗感知損失結(jié)合使用，并對UNet（U Network）網(wǎng)絡(luò)［25］改進，對其增加多個密集塊緩解梯度消失。

1 本文方法

1.1 生成器

生成器的作用是輸入夜間霧圖片產(chǎn)生清晰圖片，除去霧外，生成器還可以保留原始圖片的結(jié)構(gòu)與細節(jié)，深層的神經(jīng)網(wǎng)絡(luò)可以提取更多的高級特征；然而，這也容易造成梯度消失，使網(wǎng)絡(luò)訓(xùn)練與收斂困難。鑒于上述分析，本文采用的生成器網(wǎng)絡(luò)結(jié)構(gòu)與文獻［26］類似，將UNet 與密集神經(jīng)網(wǎng)絡(luò)（Densely connected convolutional Network，DenseNet）［27］結(jié) 合 即UDNet（U Densely connected convolutional Network）網(wǎng)絡(luò)，這是因為DenseNet 網(wǎng)絡(luò)設(shè)計了多個密集塊（Dense Block，DB），密集塊中的每一層神經(jīng)元彼此連接，大量短連接緩解了梯度消失，同時加強信息流動與特征復(fù)用，減少參數(shù)計算量與特征丟失；UNet 用長跳躍連接，將編碼器淺層特征直接連接到對稱的解碼器深層特征，減少低維特征丟失。將兩種網(wǎng)絡(luò)結(jié)合使用比單獨使用UNet 網(wǎng)絡(luò)有較好的去霧效果，具體細節(jié)在實驗2.3節(jié)詳述，UDNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，生成器包括編碼器與解碼器，密集塊中每層神經(jīng)元之間包括組合操作，其由歸一化層（Batch Normalization，BN）、ReLU（Rectified Liner Uints）激活函數(shù)及卷積層組成，目的是保持圖片大小不變；編碼器密集塊之間是下采樣（Downsampling，D）層，包括卷積與平均池化操作，目的是降低圖片維度大?。唤獯a器密集塊之間是上采樣（Upsampling，U）層，只包括反卷積操作，目的是增加圖片維度大??；生成器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置在2.1節(jié)詳述。

圖1 MP-CGAN網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Network structure of MP-CGAN

1.2 鑒別器

鑒別器的作用是判斷圖片的真假性，將真實圖片與假圖片對輸入鑒別器判斷:若為真實圖片，鑒別器給出一個接近于一的高分；若為假圖片，給出一個接近于零的低分。生成器期望生成的假圖片能騙過鑒別器，而鑒別器的目的就是鑒別出真假圖片，兩者互相抗衡，保持動態(tài)平衡訓(xùn)練直到鑒別器無法判別圖片真假性停止訓(xùn)練。

與文獻［20］相似，本文采用卷積層、BN、LeakyReLU（Leaky Rectified Liner Uints）激活函數(shù)組成鑒別器網(wǎng)絡(luò)，并采用文獻［19］提出的Patch GAN 結(jié)構(gòu)，即判別器判斷圖片每塊區(qū)域的真假性；然而，本文與文獻［19-20］網(wǎng)絡(luò)結(jié)構(gòu)有以下方面不同:1）利用鑒別器網(wǎng)絡(luò)多個隱含層提取真實圖片與假圖片的中低級特征，將特征圖誤差作為對抗感知損失，以最大限度保留全局結(jié)構(gòu)；2）若生成器訓(xùn)練能力強，會導(dǎo)致其生成的假圖片很容易騙過鑒別器，因此采用Msmall-Patch 網(wǎng)絡(luò)結(jié)構(gòu)，即在原先Patch結(jié)構(gòu)基礎(chǔ)上作優(yōu)化，目的是提取糟糕區(qū)域或容易被誤判區(qū)域，對其重度懲罰，同時使兩者對彼此的抗衡能力增強，提高生成圖片質(zhì)量，具體細節(jié)在1.3節(jié)與1.4節(jié)詳述，鑒別器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置在2.1節(jié)詳述，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

1.3 Msmall-Patch訓(xùn)練

文獻［19］CGAN 采用Patch 訓(xùn)練，鑒別器輸出N×N個概率值，每個概率值表示原圖中的某一個區(qū)域有多大概率是真實圖片；然而，Patch 訓(xùn)練是對多個區(qū)域?qū)嵤┢骄鶓土P，其容易忽略對糟糕區(qū)域懲罰，且容易誤判；另外，人的視野總是容易被糟糕區(qū)域吸引，即使圖片中大部分區(qū)域很真實，若有一小部分區(qū)域是糟糕區(qū)域，這幅圖片會被認為是質(zhì)量不好的圖片。因此提出對生成器與鑒別器都使用Msmall-Patch 訓(xùn)練，即對提取到的多個小區(qū)域?qū)嵤┲囟葢土P，這些小區(qū)域?qū)?yīng)糟糕區(qū)域或容易被誤判區(qū)域，另外，這樣保持了生成器與鑒別器訓(xùn)練同步性，會加快訓(xùn)練收斂。具體方式為:生成器訓(xùn)練與文獻［24］類似。鑒別器訓(xùn)練時，當(dāng)輸入假圖片時對鑒別器最后Patch 部分用Max-Pool方式訓(xùn)練，這是因為假圖片中得分較高的區(qū)域容易被誤判為真實圖片；同理，輸入真實圖片時對鑒別器最后Patch 部分采用Min-Pool方式訓(xùn)練。綜上所述，生成器采用Msmall-Patch 訓(xùn)練重點懲罰糟糕區(qū)域，鑒別器采用Msmall-Patch 訓(xùn)練提高鑒別器鑒別能力，減少誤判。圖2（a）展示輸入假圖片時鑒別器使用Msmall-Patch 訓(xùn)練，可以看出Patch 訓(xùn)練對圖片的每一部分都懲罰（圖片顯示大小為4×4），而Msmall-Patch 訓(xùn)練只對最容易被誤判部分懲罰（圖片顯示大小為2×2，對應(yīng)圖2（b）白框區(qū)域）。

圖2 Msmall-Patch訓(xùn)練Fig. 2 Msmall-Patch training

1.4 損失函數(shù)

1.4.1 重度懲罰損失

Patch 訓(xùn)練對應(yīng)平均懲罰損失，即對所有損失取均值懲罰圖片；公式如式（2）:

其中:x指霧圖片，y指清晰圖片，l、w、n分別指樣本圖片的長度、寬度與批處理數(shù)，E指期望值，avg 指對所有損失取均值。平均懲罰損失會對所有區(qū)域?qū)嵤┚鶆驊土P，這會造成對噪聲偽影出現(xiàn)的區(qū)域懲罰力度不夠的問題。為解決此問題，與Msmall-Patch 訓(xùn)練相對應(yīng)，提出重度懲罰損失，即選取數(shù)個最大損失值取均值懲罰圖片，具體表現(xiàn)為:生成器方面，產(chǎn)生最大損失值的區(qū)域?qū)?yīng)糟糕區(qū)域，鑒別器方面，產(chǎn)生最大損失值的區(qū)域?qū)?yīng)易被誤判區(qū)域。因此，使用重度懲罰損失可以加強對噪聲的懲罰，其公式如式（3）:

其中，num_max指從輸出中選取數(shù)個最大損失值；圖3（a）、（b）展示了平均懲罰損失與重度懲罰損失?？梢钥闯觯骄鶓土P損失對每個區(qū)域都懲罰，而重度懲罰損失只懲罰部分關(guān)鍵（糟糕或被誤判）區(qū)域。

圖3 損失對比Fig. 3 Loss comparison

1.4.2 對抗感知損失

CGAN 會引入噪聲，為去除噪聲，文獻［19］加入像素損失，但像素損失會導(dǎo)致圖像全局結(jié)構(gòu)上出現(xiàn)細節(jié)丟失、顏色失真和模糊現(xiàn)象，且容易誤判，如兩幅圖像上僅有少量像素不同，人腦識別兩幅圖像是相似的，像素損失卻判斷兩幅圖像有較大不同；為進一步提升生成圖片質(zhì)量，文獻［28］提出特征匹配損失，即將真假圖片輸入鑒別器，對其中某一層隱含層作特征提取，這可以闡述人的視覺感受，解決像素損失的缺點，同時提高對噪聲的懲罰，提高生成圖片質(zhì)量。盡管Msmall-Patch訓(xùn)練會加強對噪聲的懲罰，但仍有殘留，為提取更豐富的中低級特征，去除由CGAN 引入的噪聲等，與像素損失不同，本文將對抗感知損失［29］加入生成器損失，其特點是將鑒別器多層隱含層作為特征提取器，將真實圖片與假圖片輸入鑒別器網(wǎng)絡(luò)提取圖片特征，將轉(zhuǎn)換圖片與目標(biāo)圖片的特征圖誤差作為對抗感知損失，其公式如式（4）:

其中:x表示真實霧圖，y表示真實清晰圖片，Di表示鑒別器網(wǎng)絡(luò)第i層隱含層提取的特征圖。

1.4.3 感知損失

盡管引入對抗感知損失會去除一部分噪聲偽影等，但仍有殘留，為減小顏色失真與進一步提升生成圖片細節(jié)，本文引入感知損失。與對抗感知損失類似，感知損失［18］也是將CNN網(wǎng)絡(luò)隱含層作為特征提取器，然而，感知損失是用已經(jīng)訓(xùn)練好的圖片分類網(wǎng)絡(luò)VGG（Visual Geometry Group）［30］作特征提?。幌鄬﹁b別器網(wǎng)絡(luò)，VGG 有更深的網(wǎng)絡(luò)結(jié)構(gòu)與多層卷積塊，不僅可以保留全局結(jié)構(gòu)，還可以提取更豐富的高級特征與細節(jié)，如顏色與紋理方面，在視覺效果上有更好的表現(xiàn)；另外，感知損失不需要成對圖片輸入網(wǎng)絡(luò)，而對抗感知損失與此相反，這使感知損失訓(xùn)練參數(shù)較少，效率較高。過程是將真實圖片與假圖片輸入VGG 網(wǎng)絡(luò)隱含層提取高級特征，經(jīng)過pool4 層之后計算感知損失，公式如式（5）:

其中:V表示VGG 網(wǎng)絡(luò)的隱含層提取的特征圖，x指夜晚霧圖片，y指真實清晰圖片。綜上所述，生成器損失為:

其中:W指權(quán)重，通過最小化式（6）訓(xùn)練生成器；生成器與鑒別器依次迭代訓(xùn)練，鑒別器損失為:

2 實驗

2.1 實驗訓(xùn)練及網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置

本文使用來自文獻［15］中的數(shù)據(jù)集，圖片包括城市、街道及其他普通夜景，數(shù)據(jù)集包括黃色與白色背景合成霧圖，如圖4所示；數(shù)據(jù)集共有20 000張，其中訓(xùn)練集有19 000張，測試集有800 張，驗證集200 張。生成器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置:編碼器與解碼器各包括5 個密集塊，每個密集塊有4 層神經(jīng)元，瓶頸層設(shè)1 個密集塊12 層神經(jīng)元，通道增長率為15，密集塊中的卷積核大小是3×3，零填充為1，步幅為1；密集塊之間采用為2×2 平均池化，生成器通道數(shù)為C（60）-DB（120）-D（60）-DB

（120）-D（60）-DB（120）-D（60）-DB（120）-D（60）-DB（120）-D（60）-DB（240）-U（60）-DB（240）-U（60）-DB（240）-U（60）-DB（240）-U（60）-DB（240）-U（60）-DB（240）-C（3），其中:C（K）指卷積后輸出的通道數(shù)，DB（K）指密集塊輸出的通道數(shù)，D（K）指下采樣后的通道數(shù)，U（K）指上采樣后的通道數(shù)。

圖4 數(shù)據(jù)集圖片F(xiàn)ig. 4 Images in dataset

鑒別器網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置:網(wǎng)絡(luò)共設(shè)五層卷積層，其中前兩層卷積核大小為3×3，步幅為1，零填充為1；后三層卷積核大小為4×4，步幅為2，零填充為1；鑒別器輸出patch 大小為32×32（其中每一個值對應(yīng)原始圖片70×70 區(qū)域），Max/Min-Pool 大小為8×8，Msmall-Patch 大小為4×4；鑒別器網(wǎng)絡(luò)由BN-LeakyReLU-Conv 組成，簡寫為BLC，則鑒別器通道數(shù)為C（64）-BLC（128）-BLC（256）-BLC（512）-C（1）。

模型使用Tensorflow 框架在TitanX GPU 上訓(xùn)練大約15 h；生成器的輸入輸出大小為256×256×3，鑒別器的輸入大小為256×256×6，輸 出 大 小 為256×256×1；在 訓(xùn) 練 階 段，設(shè) 置batchsize=10，epoch=250，采用Adam 優(yōu)化算法訓(xùn)練網(wǎng)絡(luò)，β1=0.5，學(xué)習(xí)率設(shè)為1×10-4，經(jīng)過50 次epoch 訓(xùn)練后每個epoch 學(xué)習(xí)率衰減1×10-6倍，鑒別器與生成器循環(huán)迭代訓(xùn)練，設(shè)置WA=WI=0.01，WF=0.001，WP=10；VGG 網(wǎng)絡(luò)輸入圖片大小設(shè)為224×224，每經(jīng)過25 次epoch 訓(xùn)練驗證集進行驗證，由于生成對抗網(wǎng)絡(luò)損失無法指示學(xué)習(xí)過程，所以在生成圖片質(zhì)量好時停止訓(xùn)練。

2.2 分析網(wǎng)絡(luò)結(jié)構(gòu)作用

本文采用UDNet 網(wǎng)絡(luò)，相對UNet 網(wǎng)絡(luò)來說，UDNet 網(wǎng)絡(luò)在其基礎(chǔ)上增加多個密集塊進一步加強信息流動與特征復(fù)用；為證明UDNet 網(wǎng)絡(luò)的有效性，本文在相同條件設(shè)置下對UNet 網(wǎng)絡(luò)也進行訓(xùn)練，圖5 展示了兩種網(wǎng)絡(luò)結(jié)構(gòu)的去霧質(zhì)量效果，盡管UNet 與UDNet 能產(chǎn)生相似結(jié)果，但相比UNet（29.54 dB，0.89），UDNet（29.98 dB，0.92）產(chǎn)生較大的峰值信噪 比（Peak Signal-to-Noise Ratio，PSNR）與 結(jié) 構(gòu) 相 似 性（Structural SIMilarity，SSIM）值。

圖5 兩種網(wǎng)絡(luò)訓(xùn)練時的評估值變化曲線Fig. 5 Evaluation value-curves oftwo networks during training

2.3 分析損失函數(shù)作用

為生成質(zhì)量更高的圖片，本文提出新的復(fù)合損失函數(shù)；為了驗證每一種損失的有效性，本文在驗證集上驗證，并用表1說明。可以看出，相對平均懲罰，重度懲罰損失在PSNR 上略有提升，在SSIM 上有較大提高，這是因為重度懲罰損失對結(jié)構(gòu)的懲罰程度更大；對抗感知損失在PSNR 上有較大提高，感知損失在SSIM 上有較大提高，這是因為相對對抗感知損失，感知損失提取的特征為高級特征，提取的細節(jié)更豐富；復(fù)合損失函數(shù)使用時PSNR 值與SSIM 值最高。同時，圖6 展示了驗證集例子在不同損失下的去霧效果，圖6（b）表示加入平均懲罰損失雖然去掉部分霧，但引入偽影及噪聲（如燈籠處及燈光處），圖6（c）表示加入對抗感知損失，發(fā)現(xiàn)消除了一部分偽影，但仍有霧殘留，圖6（d）表示加入感知損失消除了偽影，但在圖像細節(jié)及顏色保真方面與真實清晰圖仍有差距；圖6（e）表示重度懲罰損失仍會產(chǎn)生少許的偽影；圖6（f）表示加入對抗感知損失消除了偽影；圖6（g）表示加入感知損失去霧效果與圖6（h）（真實清晰圖）較接近，這是因為感知損失能提取更豐富的紋理、顏色特征。

表1 不同損失的去霧質(zhì)量評估Tab. 1 Dehazing quality evaluation with different losses

圖6 不同損失的去霧效果Fig. 6 Dehazing effect with different losses

2.4 合成霧圖上的去霧比較及分析

本節(jié)將本文方法與其他夜間去霧方法在合成數(shù)據(jù)集上進行去霧效果比較，用PSNR 與SSIM 作為評估標(biāo)準(zhǔn)。表2 表示圖像去霧質(zhì)量評估，結(jié)果表明本文方法無論是PSNR 還是SSIM 都比其他方法較高，這是因為:使用Msmall-Patch訓(xùn)練方法（重度懲罰損失）加強了對糟糕區(qū)域或容易被誤判區(qū)域的懲罰，提升了PSNR與SSIM值；加入感知損失加強了對高級特征的提取，提升了SSIM 值；加入對抗感知損失加強了對中低級特征的提取，盡可能地保留全局結(jié)構(gòu)，提升了PSNR 值。同時，用四個測試集例子進行說明，如圖7 所示:前兩行表示黃色背景合成霧圖，后兩行表示白色背景合成霧圖，可以看出，文獻［5］、文獻［6］、文獻［9］方法普遍存在著顏色失真（如黑框區(qū)域）及霧殘留，這是由于對大氣光取值不準(zhǔn)確造成的；文獻［5］及文獻［6］方法在圖片天空出現(xiàn)塊效應(yīng)、偽影及噪聲（如白框區(qū)域），這是由于對透射率取值不準(zhǔn)確造成的；文獻［15］方法去霧后存在模糊現(xiàn)象且仍有霧殘留，這是由像素損失本身缺陷造成的；文獻［22］方法會出現(xiàn)少量噪聲及偽影，這說明感知損失缺乏對低級特征的提取，僅加入感知損失不足以消除CGAN 產(chǎn)生的噪聲偽影。而本文方法產(chǎn)生的去霧與顏色保真效果與真實清晰圖較接近，這是因為本文方法跳過了估計透射率與大氣光步驟，避免了因取值不準(zhǔn)確而導(dǎo)致的重建圖像出現(xiàn)噪聲、顏色失真等現(xiàn)象；另外，使用Msmall-Patch 訓(xùn)練方法（重度懲罰損失）提高了生成器與鑒別器的互相抗衡能力，使生成的圖片質(zhì)量更好；同時結(jié)合感知損失與對抗感知損失避免了像素損失缺點，加強了對噪聲的懲罰，提升了生成圖片細節(jié)。

表2 本文方法與其他方法在合成霧圖上的去霧質(zhì)量評估Tab. 2 Dehazing quality evaluation of the proposed method and other methods on synthetic images with haze

圖7 本文方法與其他方法在合成霧圖的去霧效果Fig. 7 Dehazing effect of the proposed method and other methods on synthetic images with haze

2.5 真實霧圖上的比較及分析

盡管本文方法在合成霧圖上有較好的去霧效果，為進一步驗證本文方法的優(yōu)越性，在真實霧圖上將本文方法與其他夜晚去霧方法及先進CGAN 去霧方法比較，如圖8 所示，前兩行表示黃色背景真實霧圖，后兩行表示白色背景真實霧圖，可以看出，文獻［5］方法雖然可以去掉一些霧，但會出現(xiàn)顏色失真并有大量噪聲出現(xiàn)，這是因為其提出的大氣散射模型不具有魯棒性；文獻［6］方法雖然可以很好地去掉光輝，但容易出現(xiàn)大量偽影及塊效應(yīng)，這是因為其對透射率取值不準(zhǔn)確造成的；文獻［9］方法盡管能去掉一些霧及塊效應(yīng)，但仍有霧殘留及存在顏色失真，這說明傳統(tǒng)大氣散射模型不適應(yīng)夜間去霧；文獻［15］方法去霧后存在模糊現(xiàn)象，這說明像素損失對噪聲的懲罰能力弱；文獻［22］方法會有少量偽影存在，這說明僅提取高級特征不會完全去除偽影；本文方法能產(chǎn)生較好的去霧效果與顏色保真，是因為本文方法跳過估計中間參數(shù)步驟，而且針對CGAN 產(chǎn)生的噪聲及偽影，提出Msmall-Patch 訓(xùn)練，加強了生成器與鑒別器的同步性訓(xùn)練，加快收斂，提高了生成圖片質(zhì)量，并提出新的復(fù)合損失函數(shù)提高了對高級與低級特征的提取，加強了對噪聲的懲罰，使用UDNet網(wǎng)絡(luò)減少了特征丟失，因此MP-CGAN模型可以產(chǎn)生較好的去霧效果。

圖8 本文方法與其他方法在真實霧圖的去霧效果Fig. 8 Dehazing effect of the proposed method and other methods on real images with haze

3 結(jié)語

本文提出新的條件生成對抗網(wǎng)絡(luò)（MP-CGAN）實現(xiàn)夜晚圖像端對端去霧，跳過估計透射率與大氣光步驟，避免了傳統(tǒng)夜間去霧方法的缺點；為驗證本文方法優(yōu)越性，分別在合成霧圖與真實霧圖與CGAN 去霧方法及其他夜間去霧方法比較，實驗表明本文方法具有較好的去霧效果與顏色保真；這證明，本文提出的Msmall-Patch 訓(xùn)練方法提高了對噪聲的懲罰力度，復(fù)合損失函數(shù)提高了生成圖片質(zhì)量；同時，UDNet 網(wǎng)絡(luò)能更有效地去霧；然而，網(wǎng)絡(luò)允許輸入圖片大小固定，不具有靈活性，未來工作研究如何使網(wǎng)絡(luò)具有更好的靈活性。