潘 磊，田 俊，傅 強(qiáng)*，鄭 遠(yuǎn)，趙枳晴

(1.中國(guó)民用航空飛行學(xué)院 計(jì)算機(jī)學(xué)院，四川 廣漢 618307；2.電子科技大學(xué) 信息與通信工程學(xué)院，四川 成都 611731)

0 引言

圖像是人們進(jìn)行信息交流的重要媒介之一。隨著相機(jī)以及圖像處理技術(shù)的發(fā)展,人們已經(jīng)可以獲得質(zhì)量非常高的圖像[1]。然而，不充分的光照會(huì)使圖像細(xì)節(jié)損失嚴(yán)重，降低圖像質(zhì)量,嚴(yán)重制約著下游任務(wù)的性能，因此低照度圖像增強(qiáng)(Low Light Image Enhancement，LLIE)網(wǎng)絡(luò)成為計(jì)算機(jī)視覺(jué)方向研究的熱點(diǎn)。然而，現(xiàn)有的LLIE方法都是基于時(shí)域設(shè)計(jì)的，沒(méi)有基于更接近人類視覺(jué)系統(tǒng)、信息表征能力更強(qiáng)的頻域，增強(qiáng)效果有限。

現(xiàn)有低光照條件下的圖像增強(qiáng)方法可以分為3類：

第1類是建立在直方圖均衡化(Histogram Equalization，HE)[2-3]技術(shù)上的圖像增強(qiáng)方法。HE是一種簡(jiǎn)單有效的圖像增強(qiáng)技術(shù)，通過(guò)改變低照度圖像像素的直方圖分布來(lái)改變低照度圖像像素灰度值，從而提升圖像的對(duì)比度，主要用于增強(qiáng)對(duì)比度動(dòng)態(tài)范圍偏小的圖像。該方法計(jì)算簡(jiǎn)單、速度快,但是這類方法的主要缺點(diǎn)是很少考慮真實(shí)的照明因素，增強(qiáng)的結(jié)果在主觀視覺(jué)上與真實(shí)場(chǎng)景不一致，存在顏色失真和局部過(guò)曝光的現(xiàn)象。

第2類是基于視網(wǎng)膜大腦皮層(Retinex)理論[4]的方法。Retinex模型的理論基礎(chǔ)是三色理論和顏色恒常性?；赗etinex理論可以將人眼感知到的圖像S分解為反射分量R和光照分量L，即S=R×L。所以基于Retinex理論的圖像增強(qiáng)方法本質(zhì)上是圖像分解與光照估計(jì)問(wèn)題?；诖死碚?Jobson等[5]進(jìn)一步提出了單尺度Retinex(Single Scale Retinex，SSR)方法、多尺度Retinex(Multi-Scale Retinex，MSR)方法[6]以及帶顏色恢復(fù)的Retinex(Multi-Scale Retinex with Color Restoration，MSRCR)方法[7]。Wang等[8]提出了一種名為NPE的方法，該方法可以同時(shí)增強(qiáng)對(duì)比度和保持光照的自然性。Fu等[9]提出了一種基于融合的LLIE方法。Guo等[10]使用結(jié)構(gòu)先驗(yàn)估計(jì)照明并使用反射圖作為最終的增強(qiáng)結(jié)果進(jìn)而提出了2種加速優(yōu)化光照?qǐng)D的方法：基于增廣拉格朗日乘數(shù)法(ALM)的方法和基于權(quán)重策略的方法。Dong等[11]發(fā)現(xiàn)了低照度圖像與含霧圖像的相關(guān)性，提出了一種采用圖像去霧算法的LLIE方法。將低光照?qǐng)D像反轉(zhuǎn)后通過(guò)圖像去霧算法進(jìn)行還原，最后將圖像重新反轉(zhuǎn)得到增強(qiáng)后的圖像。雖然上述基于Retinex理論的傳統(tǒng)LLIE方法能夠在一定程度上提升圖像整體亮度,但是增強(qiáng)后的低照度圖像往往伴隨著噪聲放大、顏色失真和亮度不均衡等現(xiàn)象,增強(qiáng)后的圖像質(zhì)量不高。

第3類是基于深度學(xué)習(xí)的LLIE方法。隨著深度學(xué)習(xí)算法的快速發(fā)展,許多學(xué)者開(kāi)始嘗試?yán)蒙疃壬窠?jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)低照度圖像到正常光照?qǐng)D像的映射關(guān)系。Lore等[12]提出了一種基于深度自動(dòng)編碼器的方法來(lái)識(shí)別弱光圖像中的信號(hào)特征，并在不過(guò)度放大/飽和高動(dòng)態(tài)范圍圖像的較亮部分的情況下自適應(yīng)地使圖像變亮。LI等[13]提出了一種端到端的多分支增強(qiáng)網(wǎng)絡(luò)——MBLLEN，該網(wǎng)絡(luò)通過(guò)特征提取模塊、增強(qiáng)模塊和融合模塊提取有效的特征表示，提高了LLIE的性能。Li等[14]提出了LightenNet，該網(wǎng)絡(luò)利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)照度圖,并結(jié)合Retinex理論實(shí)現(xiàn)LLIE。Zhang等[15]將圖像增強(qiáng)問(wèn)題轉(zhuǎn)化為圖像調(diào)節(jié)問(wèn)題，并分解為2個(gè)部分：一部分負(fù)責(zé)光照的調(diào)節(jié)；另一部分負(fù)責(zé)退化的去除，以便網(wǎng)絡(luò)更好地正則化，取得了較好的效果。Jiang等[16]提出了一種高效無(wú)監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)，稱為EnlightenGAN，可以在沒(méi)有低/正常光圖像對(duì)的情況下進(jìn)行訓(xùn)練,消除了對(duì)訓(xùn)練數(shù)據(jù)的依賴。隨著深度學(xué)習(xí)在圖像領(lǐng)域的成功應(yīng)用,基于深度學(xué)習(xí)的低光照?qǐng)D像增強(qiáng)算法已經(jīng)成為當(dāng)前的主流技術(shù)。然而，現(xiàn)有基于深度學(xué)習(xí)的圖像增強(qiáng)方法沒(méi)有考慮頻域，圖像增強(qiáng)效果有限。

為了解決上述問(wèn)題，本文基于頻域，設(shè)計(jì)了一種全新的時(shí)頻域結(jié)合的低照度增強(qiáng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)首先將低照度圖像在頻域中分解為高頻信息和低頻信息，其中低頻分量表征圖像的全局結(jié)構(gòu)，高頻分量表征圖像的細(xì)節(jié)紋理信息。然后將高、低頻信息以及時(shí)域信息分別送入相應(yīng)的增強(qiáng)模塊，分別從低頻、高頻和時(shí)域3個(gè)方面對(duì)原低照度圖像進(jìn)行增強(qiáng)，以期學(xué)習(xí)得到正常照度圖像。同時(shí)，為了加快上述深層網(wǎng)絡(luò)的訓(xùn)練速度，本文提出了一種基于云計(jì)算平臺(tái)的專有加速模塊，從系統(tǒng)架構(gòu)的角度對(duì)網(wǎng)絡(luò)訓(xùn)練進(jìn)行加速。

1 基于時(shí)頻域結(jié)合的低照度增強(qiáng)網(wǎng)絡(luò)

本文提出了一個(gè)頻域增強(qiáng)模塊(FDE Block)，基于該模塊，提出了一個(gè)基于云計(jì)算平臺(tái)加速的時(shí)頻域結(jié)合圖像增強(qiáng)網(wǎng)絡(luò)。該方法不但比其他方法擁有更好的主觀視覺(jué)效果和圖像細(xì)節(jié)、更優(yōu)異的客觀指標(biāo)，同時(shí)也擁有與傳統(tǒng)計(jì)算平臺(tái)相比更快的訓(xùn)練速度。

1.1 頻域增強(qiáng)模塊

現(xiàn)有基于深度學(xué)習(xí)的低光照增強(qiáng)網(wǎng)絡(luò)都是基于時(shí)域設(shè)計(jì)的，將特征圖直接送入網(wǎng)絡(luò)中學(xué)習(xí)，此時(shí)特征圖同時(shí)包含低頻分量和高頻分量，沒(méi)有基于更接近人類視覺(jué)系統(tǒng)、信息表征能力更強(qiáng)的頻域，圖像增強(qiáng)效果有限。

為此，設(shè)計(jì)了FDE Block，該模塊設(shè)計(jì)的目標(biāo)是有效地處理混合在特征圖中的低頻分量和高頻分量，其中較高的頻率通常對(duì)細(xì)節(jié)進(jìn)行編碼，較低的頻率通常對(duì)全局結(jié)構(gòu)進(jìn)行編碼。設(shè)X={XH,XL}為輸入的高、低頻特征圖，Y={YH,YL}為相對(duì)應(yīng)輸出的高、低頻特征圖。YH=YH→H+YL→H表示輸出特征圖中的高頻分量YH分別通過(guò)輸入特征圖中的高頻分量XH和低頻分量XL頻率更新得到；YL=YL→L+YH→L表示輸出特征圖中的低頻分量YL分別通過(guò)輸入特征圖中的高頻分量XH和低頻分量XL頻率更新得到。

為了計(jì)算Y={YH,YL}，本文所提出的頻域增強(qiáng)子網(wǎng)絡(luò)將卷積核W分成高頻、低頻2個(gè)分量，即W=[WH,WL]，WH可進(jìn)一步分解為WH=[WH→H,WL→H]，負(fù)責(zé)與高頻分量輸入XH進(jìn)行卷積運(yùn)算；WL可進(jìn)一步分解為WL=[WH→L,WL→L]，負(fù)責(zé)與低頻分量XL進(jìn)行卷積運(yùn)算，模塊結(jié)構(gòu)如圖1所示。

圖1 FDE Block結(jié)構(gòu)Fig.1 FDE Block structure

網(wǎng)絡(luò)具體細(xì)節(jié)如下：

YH=f(XH;WH→H)+upsample(f(XL;WL→H),2)，

YL=f(XL;WL→L)+f(Avgpool(XH,2);WH→L))，

式中，f(X;W)表示與參數(shù)W的卷積；Avgpool(XH,2)是一個(gè)平均池化操作；upsample(f(XL;WL→H),2)是一個(gè)最近鄰插值的上采樣操作。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了一種數(shù)據(jù)驅(qū)動(dòng)的時(shí)頻域結(jié)合低照度增強(qiáng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)低光照?qǐng)D像增強(qiáng)，該網(wǎng)絡(luò)旨在調(diào)整圖像亮度，增強(qiáng)圖像細(xì)節(jié)，提升圖像的整體效果。同時(shí)，考慮云計(jì)算平臺(tái)架構(gòu)，加速網(wǎng)絡(luò)訓(xùn)練速度，整體網(wǎng)絡(luò)可以分為邊緣節(jié)點(diǎn)處理與中心節(jié)點(diǎn)處理2部分。整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 時(shí)頻域結(jié)合的低照度增強(qiáng)網(wǎng)絡(luò)Fig.2 Low light enhancement network based on time frequency domain combination

① 基于云計(jì)算平臺(tái)的專有加速模塊

提出了一種基于云計(jì)算平臺(tái)的專有加速模塊。該網(wǎng)絡(luò)旨在提升低照度圖像整體亮度，增強(qiáng)圖像細(xì)節(jié)，提升圖像的整體視覺(jué)效果。網(wǎng)絡(luò)分為2部分：邊緣節(jié)點(diǎn)負(fù)責(zé)將采集到的低光照?qǐng)D像使用傳統(tǒng)方法進(jìn)行預(yù)增強(qiáng)，此時(shí)圖像依然存在細(xì)節(jié)損失嚴(yán)重、視覺(jué)質(zhì)量低以及噪聲干擾等問(wèn)題。然后，將預(yù)增強(qiáng)后的低光照?qǐng)D像通過(guò)離散小波變換分解為高頻分量和低頻分量。中心節(jié)點(diǎn)負(fù)責(zé)對(duì)邊緣節(jié)點(diǎn)處理后的數(shù)據(jù)進(jìn)行增強(qiáng)。中心節(jié)點(diǎn)網(wǎng)絡(luò)包括頻域增強(qiáng)子網(wǎng)絡(luò)、時(shí)域增強(qiáng)子網(wǎng)絡(luò)以及融合模塊3部分。頻域增強(qiáng)子網(wǎng)絡(luò)將低頻分量和高頻分量分別進(jìn)行增強(qiáng)，低頻分量用來(lái)恢復(fù)圖像的整體結(jié)構(gòu)，高頻分量用來(lái)恢復(fù)圖像細(xì)節(jié)；時(shí)域增強(qiáng)子網(wǎng)絡(luò)為全卷積神經(jīng)網(wǎng)絡(luò)，用來(lái)提升圖像的整體亮度。最后，將頻域增強(qiáng)子網(wǎng)絡(luò)和時(shí)域增強(qiáng)子網(wǎng)絡(luò)的增強(qiáng)結(jié)果拼接送入融合模塊進(jìn)行微調(diào)輸出增強(qiáng)后的結(jié)果。

② 頻域增強(qiáng)子網(wǎng)絡(luò)

頻率增強(qiáng)子網(wǎng)絡(luò)主要用來(lái)對(duì)輸入的預(yù)增強(qiáng)后的低光照?qǐng)D像的低頻分量和高頻分量進(jìn)行增強(qiáng)。網(wǎng)絡(luò)將邊緣節(jié)點(diǎn)處理好的特征圖送入1×1的卷積模塊，將低頻分量的通道數(shù)提升至128，高頻分量通道數(shù)提升至32，此時(shí)低頻分量分辨率降為高頻分量的1/2，通道數(shù)為高頻分量的4倍。隨后，網(wǎng)絡(luò)將高頻分量和低頻分量送入FED Block進(jìn)行增強(qiáng)，高頻分量和低頻分量分別進(jìn)行4次增強(qiáng)操作。FED Block由 3×3 的卷積核(步長(zhǎng)為1，填充為1)組成，同時(shí)，模塊中進(jìn)行頻率更新，即YH=YH→H+YL→H和YL=YL→L+YH→L。

③ 時(shí)域增強(qiáng)子網(wǎng)絡(luò)

時(shí)域增強(qiáng)子網(wǎng)絡(luò)從邊緣節(jié)點(diǎn)讀取預(yù)增強(qiáng)后的低光照?qǐng)D像，對(duì)輸入的圖像在時(shí)域上進(jìn)行亮度增強(qiáng)，提升低光照?qǐng)D像的整體對(duì)比度。時(shí)域增強(qiáng)層由全卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，所有卷積層都使用大小為3×3的卷積核(步長(zhǎng)為1，填充為1)對(duì)輸入圖像在全分辨率上進(jìn)行亮度增強(qiáng)，網(wǎng)絡(luò)中特征圖通道數(shù)均為32。

④ 融合模塊

融合模塊將頻域增強(qiáng)子網(wǎng)絡(luò)和時(shí)域增強(qiáng)子網(wǎng)絡(luò)的增強(qiáng)結(jié)果作為輸入，對(duì)增強(qiáng)后的圖像進(jìn)行微調(diào)。一般的LLIE算法增強(qiáng)后的圖像會(huì)出現(xiàn)亮度不均等問(wèn)題,亮度較低區(qū)域欠曝光,亮度較高區(qū)域過(guò)曝光。這是由于一般低照度增強(qiáng)算法是對(duì)低照度圖像進(jìn)行整體的亮度提升。本文在融合網(wǎng)絡(luò)中采用了自注意力結(jié)構(gòu)，該結(jié)構(gòu)可以捕獲低照度圖像中跨像素的相關(guān)性，對(duì)低照度圖像中不同亮度的區(qū)域進(jìn)行定位,有效解決了亮度分布不均勻的問(wèn)題,提高了增強(qiáng)后圖像的視覺(jué)效果。融合層包括2個(gè)卷積層和2個(gè)自注意力結(jié)構(gòu)。對(duì)于給定的輸入特征圖IF和IT，最終輸出的Iy為：

Iy=f(IF,IT)，

式中，IF為頻域?qū)釉鰪?qiáng)后的輸出；IT為時(shí)域?qū)釉鰪?qiáng)后的輸出；f為融合網(wǎng)絡(luò)。

1.3 損失函數(shù)

本文使用結(jié)構(gòu)相似性(SSIM)損失函數(shù)和L1損失函數(shù)進(jìn)行訓(xùn)練，X為經(jīng)過(guò)網(wǎng)絡(luò)增強(qiáng)后的圖片，Y為與X對(duì)應(yīng)的真實(shí)數(shù)據(jù)。

SSIM損失函數(shù)為：

L1損失函數(shù)為：

L1 損失對(duì)圖像的灰度值分配相同的誤差權(quán)重，因此能較好地保持圖像的亮度和顏色特征，并能很好地收斂。

于是，總的損失函數(shù)為：

LTotal=γLSSIM(X,Y)+(1-γ)Ll1(X,Y)，

式中，γ為平衡系數(shù)，γ∈[0,1]。

2 實(shí)驗(yàn)結(jié)果與分析

云計(jì)算技術(shù)是計(jì)算機(jī)領(lǐng)域廣泛關(guān)注的熱點(diǎn)技術(shù)之一[17]。隨著大數(shù)據(jù)時(shí)代的到來(lái)，云計(jì)算以其動(dòng)態(tài)可擴(kuò)展、按需部署、靈活性高和可靠性高等特點(diǎn)很好地解決了本地服務(wù)器算力不足的問(wèn)題，可以提升圖像增強(qiáng)效果，減少訓(xùn)練時(shí)間，提升模型部署能力?；谠朴?jì)算搭建了一個(gè)低光照增強(qiáng)服務(wù)器。在云計(jì)算環(huán)境下，采用云計(jì)算技術(shù)，首先將低光照?qǐng)D像采用傳統(tǒng)方法進(jìn)行一次預(yù)增強(qiáng)，然后將預(yù)增強(qiáng)后的低光照?qǐng)D像分解為高頻分量和低頻分量，分別存儲(chǔ)至圖像存儲(chǔ)單元中。此時(shí)，中心節(jié)點(diǎn)可直接讀取圖像存儲(chǔ)單元中的圖像進(jìn)行特征提取，增強(qiáng)圖像質(zhì)量，以減少訓(xùn)練時(shí)間，提高云計(jì)算中的圖像處理效果。云計(jì)算可以說(shuō)是較為安全、可靠的虛擬計(jì)算服務(wù)器與存儲(chǔ)技術(shù)，通過(guò)云計(jì)算處理的圖像可以最大限度地保證其安全、可靠性[18]。

2.1 實(shí)驗(yàn)環(huán)境與訓(xùn)練過(guò)程

基于Pytorch深度學(xué)習(xí)框架，在LOL數(shù)據(jù)集[18]上進(jìn)行訓(xùn)練。LOL數(shù)據(jù)集是一個(gè)公開(kāi)的低光照?qǐng)D像數(shù)據(jù)集，包括low和high兩部分，分別表示低光照?qǐng)D片和對(duì)應(yīng)的真實(shí)數(shù)據(jù)。LOL數(shù)據(jù)集通過(guò)改變曝光時(shí)間和感光度(ISO)來(lái)收集微光圖像,共包含500對(duì)圖像，其中485對(duì)圖像為訓(xùn)練集,15對(duì)圖像為測(cè)試集，每張圖片的分辨率是400 pixel×600 pixel。為了進(jìn)行優(yōu)化，使用Adam優(yōu)化器，其中β1=0.5，β2=0.999，批量大小為5。實(shí)驗(yàn)采用了峰值信噪比(PSNR)、SSIM以及學(xué)習(xí)感知圖像塊相似度(LPIPS)作為圖像質(zhì)量評(píng)價(jià)指標(biāo)。

① PSNR是一種評(píng)價(jià)圖像失真和噪聲水平的客觀標(biāo)準(zhǔn)。其值越高,表示受到的噪聲影響越小,增強(qiáng)后的圖像質(zhì)量越高,失真程度也越小。

② SSIM是一種衡量2幅圖像相似度的指標(biāo)。其值越大,表示增強(qiáng)后的圖像與正常光照?qǐng)D像越相似。

③ LPIPS用來(lái)度量標(biāo)準(zhǔn)學(xué)習(xí)生成圖像到真實(shí)數(shù)據(jù)的反向映射，強(qiáng)制生成器學(xué)習(xí)從假圖像中重構(gòu)真實(shí)圖像的反向映射，并優(yōu)先處理它們之間的感知相似度。LPIPS的值越低表示2張圖像越相似。

2.2 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文低光照增強(qiáng)算法的優(yōu)勢(shì),選取MSRCR[7]，SRIE[9]，LIME[10]，DONG[11]，MF[19]，RetinexNet[20]，Zero-DCE[21]，KinD++[22]等算法進(jìn)行對(duì)比實(shí)驗(yàn)。從LOL數(shù)據(jù)集中隨機(jī)選取了2張圖片,使用上述低照度算法和本文算法進(jìn)行增強(qiáng),分別從主觀效果、客觀數(shù)據(jù)、各模塊的消融實(shí)驗(yàn)以及與單機(jī)平臺(tái)的運(yùn)行時(shí)間對(duì)比4個(gè)方面進(jìn)行比較分析。

① 客觀數(shù)據(jù)比較

為了比較性能，在實(shí)驗(yàn)過(guò)程中計(jì)算了各增強(qiáng)算法的PSNR，SSIM，LPIPS以作為客觀評(píng)價(jià)標(biāo)準(zhǔn)，結(jié)果如表1所示。由表1可以看出，本文算法的PSNR值最高，SSIM值也最大，說(shuō)明本文算法在對(duì)低照度圖像進(jìn)行亮度增強(qiáng)的同時(shí)對(duì)噪聲也有很好的抑制，增強(qiáng)后的圖像質(zhì)量高，與真實(shí)數(shù)據(jù)更為接近。針對(duì)LPIPS值，本文算法也取得了最好的效果，說(shuō)明本文算法相比于其他算法增強(qiáng)后的圖片視覺(jué)效果好，更符合人類的感知情況。

表1 圖像客觀評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparison of image objective indexes

② 主觀效果比較

2個(gè)具有挑戰(zhàn)性的案例視覺(jué)對(duì)比如圖3所示。

(a)測(cè)試圖1實(shí)驗(yàn)結(jié)果對(duì)比

(b)測(cè)試圖2實(shí)驗(yàn)結(jié)果對(duì)比圖3 圖像結(jié)果細(xì)節(jié)對(duì)比Fig.3 Detailed comparison of images

二者整體光線較暗且包含豐富的顏色細(xì)節(jié)信息。MSRCR算法與LIME算法相比,前者增強(qiáng)后的圖像亮度較高但出現(xiàn)了顏色失真,后者增強(qiáng)后的圖像整體偏暗，二者都在增強(qiáng)亮度的同時(shí)放大了噪聲，導(dǎo)致圖像整體不真實(shí),增強(qiáng)效果不理想，與真實(shí)數(shù)據(jù)有很大差距。Dong算法圖像整體色彩相較于LIME算法有很大提升，且相較于MSRCR算法，圖像顏色細(xì)節(jié)也更加豐富，但增強(qiáng)亮度的同時(shí)依舊放大了噪聲。MF算法增強(qiáng)后的圖像整體亮度是所有算法中最低的，對(duì)低光照?qǐng)D像的色彩恢復(fù)能力也有限，同時(shí)也放大了噪聲，導(dǎo)致增強(qiáng)后的圖像產(chǎn)生大量噪點(diǎn)。RetinexNet算法增強(qiáng)后的圖片亮度提升明顯，色彩鮮艷，且圖像較為平滑，但增強(qiáng)后的圖像曝光過(guò)強(qiáng)，存在一定的噪聲。Zero-DCE算法增強(qiáng)圖像的同時(shí)對(duì)噪聲抑制得較好，增強(qiáng)后的圖像比較平滑，但亮度增強(qiáng)能力有限，對(duì)極低光照?qǐng)D像增強(qiáng)效果較差，色彩恢復(fù)能力較弱。KinD++算法對(duì)色彩過(guò)度增強(qiáng)，有明顯的失真現(xiàn)象，但噪聲抑制效果較好，沒(méi)有在增強(qiáng)亮度的同時(shí)放大噪聲。本文增強(qiáng)算法增強(qiáng)后的圖像色彩恢復(fù)好，亮度提升明顯且沒(méi)有出現(xiàn)過(guò)度曝光或欠曝光的現(xiàn)象，在增強(qiáng)亮度的同時(shí)對(duì)噪聲也有很好的抑制，圖像整體自然，與Ground Truth最為接近，視覺(jué)效果最好。

圖像細(xì)節(jié)信息對(duì)比效果如圖4所示，展示了測(cè)試圖2中的2處細(xì)節(jié)信息，對(duì)測(cè)試圖2中的手杖邊緣還原度以及衣架重疊處恢復(fù)情況進(jìn)行了比較?？梢钥闯?，本文算法增強(qiáng)后的圖片細(xì)節(jié)清晰，衣架及手杖輪廓明顯，沒(méi)有偽影產(chǎn)生。此外，本文算法對(duì)噪聲抑制也較好，增強(qiáng)后的圖像較為平滑，沒(méi)有明顯噪聲，顏色層次更接近真實(shí)數(shù)據(jù)，視覺(jué)效果最好。MSRCR算法在增強(qiáng)圖片整體亮度的同時(shí)忽略了手杖的顏色細(xì)節(jié)，導(dǎo)致增強(qiáng)后手杖顏色與真實(shí)顏色差別較大。LIME算法在增強(qiáng)圖像整體亮度的同時(shí)對(duì)手杖顏色恢復(fù)較好，且衣架邊緣輪廓較為清晰，但手杖邊緣明顯產(chǎn)生了偽影，影響視覺(jué)質(zhì)量。Dong算法對(duì)2處細(xì)節(jié)顏色恢復(fù)較為良好，衣架邊緣輪廓也比較清晰，但是2處細(xì)節(jié)在亮度增強(qiáng)的同時(shí)也放大了噪聲，產(chǎn)生了大量的噪點(diǎn)。MF算法在2處細(xì)節(jié)處恢復(fù)均較差，手杖色彩恢復(fù)較差的同時(shí)產(chǎn)生了模糊，衣架邊緣斷裂且細(xì)節(jié)丟失嚴(yán)重，圖像噪聲也被放大。RetinexNet算法對(duì)手杖顏色恢復(fù)較好，沒(méi)有出現(xiàn)偽影，衣架邊緣處輪廓清晰，對(duì)細(xì)節(jié)恢復(fù)較好，但同樣在提升圖像亮度的同時(shí)放大了噪聲。Zero-DCE算法增強(qiáng)的圖像在2個(gè)細(xì)節(jié)處表現(xiàn)都比較好，沒(méi)有產(chǎn)生偽影，對(duì)噪聲抑制也比較好，衣架處邊緣輪廓清晰，但細(xì)節(jié)處整體亮度不足，對(duì)比LLIE效果差。KinD++算法對(duì)2處細(xì)節(jié)恢復(fù)較好，衣架邊緣輪廓清晰，手杖色彩與真實(shí)數(shù)據(jù)較為接近，但在手杖處產(chǎn)生了明顯的偽影，影響視覺(jué)質(zhì)量。

圖4 測(cè)試圖2細(xì)節(jié)對(duì)比Fig.4 Detailed comparison of Test figure 2

③ 消融實(shí)驗(yàn)

為了證明基于云計(jì)算平臺(tái)加速的時(shí)頻域結(jié)合圖像增強(qiáng)方法每個(gè)組件的有效性，進(jìn)行了消融實(shí)驗(yàn)，如表2所示。只有時(shí)域增強(qiáng)子網(wǎng)絡(luò)時(shí)，低照度圖像的恢復(fù)效果最差，此時(shí)增強(qiáng)后的圖像噪聲多，PSNR低，與真實(shí)數(shù)據(jù)結(jié)構(gòu)相似度低。加入并行化頻域增強(qiáng)子網(wǎng)絡(luò)時(shí)，PSNR,SSIM,LPIPS均有較大的提升。本文提出的基于云計(jì)算平臺(tái)加速的時(shí)頻域結(jié)合圖像增強(qiáng)方法取得了最好的效果，各項(xiàng)參數(shù)都達(dá)到了最優(yōu)，此時(shí)增強(qiáng)后的圖像更加真實(shí)，噪聲更少且與真實(shí)數(shù)據(jù)最為相似。

表2 各模塊的消融實(shí)驗(yàn)Tab.2 Ablation experiment of each model

④ 與單機(jī)平臺(tái)的運(yùn)行時(shí)間比較

為了體現(xiàn)基于云計(jì)算平臺(tái)加速的時(shí)頻域結(jié)合圖像增強(qiáng)方法的優(yōu)勢(shì)，選擇單機(jī)平臺(tái)進(jìn)行對(duì)比實(shí)驗(yàn)，計(jì)算它們平均每個(gè)Epoch的訓(xùn)練時(shí)間，實(shí)驗(yàn)結(jié)果如圖5所示。由圖5可以看出，云平臺(tái)訓(xùn)練時(shí)間明顯少于單機(jī)平臺(tái)，本文提出的基于云計(jì)算平臺(tái)的專有加速模塊比單機(jī)平臺(tái)減少了53.1%的訓(xùn)練時(shí)間。

圖5 云計(jì)算平臺(tái)和單機(jī)平臺(tái)的運(yùn)行時(shí)間比較Fig.5 Running time comparison between cloud computing platform and stand-alone platform

3 結(jié)束語(yǔ)

為了解決LLIE問(wèn)題，提出了一種新的基于云計(jì)算平臺(tái)加速的時(shí)頻域結(jié)合LLIE方法。該方法同時(shí)兼顧時(shí)域與頻域信息，邊緣節(jié)點(diǎn)負(fù)責(zé)將采集到的低光照?qǐng)D像使用傳統(tǒng)方法進(jìn)行預(yù)增強(qiáng)，然后將預(yù)增強(qiáng)后的低光照?qǐng)D像通過(guò)離散小波變換分解為高頻分量和低頻分量。中心節(jié)點(diǎn)負(fù)責(zé)對(duì)邊緣節(jié)點(diǎn)處理后的數(shù)據(jù)進(jìn)行增強(qiáng)、融合，輸出增強(qiáng)后的圖像。經(jīng)過(guò)主觀效果比較分析，本文提出的低光照?qǐng)D像算法在亮度增強(qiáng)、色彩恢復(fù)、噪聲抑制以及圖像平滑方面均優(yōu)于其他方法，增強(qiáng)后的圖像質(zhì)量更高，更符合人類感知情況。客觀指標(biāo)PSNR，SSIM以及LPIPS的值也表明本文算法優(yōu)于其他方法。與單機(jī)平臺(tái)相比，基于云計(jì)算平臺(tái)的專有加速模塊有效減少了53.1%的訓(xùn)練時(shí)間。但本文算法增強(qiáng)的低光照?qǐng)D片在細(xì)節(jié)恢復(fù)方面仍有很大提升空間，這也是今后主要攻克的問(wèn)題。