閆曉陽(yáng)，王華珂，侯興松，頓玉潔

西安交通大學(xué)信息與通信工程學(xué)院，西安 710049

0 引言

在當(dāng)今時(shí)代，圖像是信息的重要載體，占人類獲取外界信息的75%。然而，受成像設(shè)備和惡劣環(huán)境的影響，在低照度環(huán)境中往往難以獲得高質(zhì)量圖像。尤其是夜間或背光條件下，獲取的圖像大多能見度較差，圖像的細(xì)節(jié)隱藏在黑暗中難以被發(fā)覺，并且由于光照不足和曝光時(shí)間有限，入射光子數(shù)目減少，導(dǎo)致圖像中含有大量不可忽視的噪聲。單獨(dú)增強(qiáng)圖像對(duì)比度會(huì)放大原本隱藏在黑暗中的噪聲，降低圖像的視覺質(zhì)量，同時(shí)噪聲在RGB（red，green，blue）通道之間復(fù)雜的耦合關(guān)系，往往導(dǎo)致增強(qiáng)圖像顏色失真。這不僅影響圖像的美學(xué)體驗(yàn)，更會(huì)對(duì)后續(xù)的圖像分類、目標(biāo)檢測(cè)與識(shí)別等高級(jí)視覺任務(wù)帶來一定困難（馬龍 等，2022）。

低照度圖像增強(qiáng)旨在改善較差的光照環(huán)境下采集的圖像質(zhì)量，以獲得細(xì)節(jié)清晰可見、較低噪聲水平以及較少顏色失真的正常亮度圖像。傳統(tǒng)的低照度圖像增強(qiáng)方法直接在RGB 空間中對(duì)像素值進(jìn)行操作，如Celik 和Tjahjadi（2011）和Lee 等人（2013）利用直方圖均衡擴(kuò)展圖像的動(dòng)態(tài)范圍，原理簡(jiǎn)單、操作速度快，但不適用于非均勻光照?qǐng)D像，容易引起圖像中較亮區(qū)域細(xì)節(jié)的丟失；Rahman等人（2016）利用自適應(yīng)的Gamma 校正算法緩解使用全局參數(shù)時(shí)導(dǎo)致的過度增強(qiáng)或欠增強(qiáng)問題。這些直接在RGB 空間中通過灰度值的映射來調(diào)整圖像對(duì)比度的方法，忽略了圖像噪聲。經(jīng)典的Retinex 理論（Land 和McCann，1971）能夠?qū)GB 圖像分解為與光照無關(guān)的反射分量和與光照相關(guān)的照明分量，因此Li 等人（2018）采用Retinex理論對(duì)RGB圖像進(jìn)行分解，并考慮了噪聲項(xiàng)的影響，解決了單獨(dú)圖像增強(qiáng)不能有效處理噪聲的問題。

隨著深度學(xué)習(xí)的逐漸火熱，卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于低照度圖像增強(qiáng)，Lore 等人（2017）首次將卷積神經(jīng)網(wǎng)絡(luò)引入了低照度圖像增強(qiáng)任務(wù)，提出的LLNet（low-light image enhancement network）采用疊加稀疏去噪自動(dòng)編碼器，同時(shí)對(duì)RGB 顏色空間中的低光照?qǐng)D像進(jìn)行增亮和去噪。在此之后，更多的研究者選擇在RGB 顏色空間中將低照度圖像增強(qiáng)這個(gè)復(fù)雜的問題分解為幾個(gè)子問題，通過多分支網(wǎng)絡(luò)減小模型學(xué)習(xí)的難度并提高算法性能（Lyu 等，2018；王知音 等，2022；趙明華 等，2022）。例如，Lyu等人（2018）提出的MBLLEN（multi-branch low-light enhancement net-work），采用端到端的多分支增強(qiáng)網(wǎng)絡(luò)，通過多個(gè)模塊完成特征提取、圖像增強(qiáng)與融合，在RGB 顏色空間中實(shí)現(xiàn)低照度圖像對(duì)比度的增強(qiáng)、噪聲和偽影的抑制。另外，由于Retinex 理論可以將RGB 圖像分解為不同的子分量，便于采用多個(gè)子網(wǎng)絡(luò)對(duì)不同分量進(jìn)行處理，因此，許多研究者通過將卷積神經(jīng)網(wǎng)絡(luò)與Retinex理論相結(jié)合，在RGB顏色空間通過多個(gè)子網(wǎng)絡(luò)分別實(shí)現(xiàn)圖像分解、亮度增強(qiáng)和噪聲去除。例如Wei 等人（2018）提出的RetinexNet（Retinex decomposition for low-light enhancement network）和Zhang 等人（2019，2021）提出的KinD（kindling the darkness）及KinD++等，取得了較好的性能提升，但卻將去噪做為后處理，難以在去噪不足和過度去噪間取得均衡，容易導(dǎo)致圖像細(xì)節(jié)過度平滑。注意到低照度圖像與噪聲難以分離，后去噪的方式效果不佳的問題，Zhu 等人（2020）提出了一個(gè)三分支網(wǎng)絡(luò)RRDNet（robust Retinex decomposition network），將輸入的RGB 圖像分解為光照、反射率和噪聲3 個(gè)分量，使得光照的調(diào)整和噪聲的預(yù)測(cè)同步進(jìn)行，以防止噪聲在對(duì)比度拉伸后被放大或過度去噪使細(xì)節(jié)模糊，但是由于缺乏真實(shí)的反射率和光照度圖像做約束，往往需要精心設(shè)計(jì)損失函數(shù)才能確保分解的有效和準(zhǔn)確。雖然低照度圖像增強(qiáng)的方法普遍采用基于RGB 顏色空間的方法，但是由于噪聲和RGB 三通道的復(fù)雜耦合關(guān)系往往導(dǎo)致增強(qiáng)結(jié)果不理想（Wang等，2019）。

針對(duì)以上問題，為了在低照度條件下有效提升圖像的亮度和對(duì)比度，抑制圖像中的噪聲，得到較少顏色失真和較低噪聲污染的增強(qiáng)圖像，本文對(duì)比了不同顏色空間的特性，發(fā)現(xiàn)相比于RGB 顏色空間，YCbCr 顏色空間亮度和色度信息相互分離的特性，有助于實(shí)現(xiàn)亮度增強(qiáng)和去噪的解耦，更適合于低照度圖像增強(qiáng)任務(wù)。基于此，本文提出了一個(gè)基于分治策略的雙分支低照度圖像增強(qiáng)網(wǎng)絡(luò)。該方法首先將低照度圖像從RGB 顏色空間轉(zhuǎn)換至YCbCr 顏色空間，再針對(duì)亮度通道和色度通道不同的降質(zhì)模式分別進(jìn)行亮度恢復(fù)與圖像去噪；在去噪網(wǎng)絡(luò)中采用多尺度融合機(jī)制提升去噪性能；并引入亮度監(jiān)督模塊和色度監(jiān)督模塊進(jìn)行分段監(jiān)督和約束以緩解網(wǎng)絡(luò)的學(xué)習(xí)難度。該方法能在保證圖像亮度恢復(fù)的同時(shí)，獲得較好的去噪結(jié)果，避免因去噪不足降低圖像質(zhì)量或過度去噪引起細(xì)節(jié)丟失。相比于其他經(jīng)典的低照度圖像增強(qiáng)方法，顯著提高了增強(qiáng)圖像的峰值信噪比（peak signal-to-noise，PSNR）、結(jié)構(gòu)相似性（structure similarity index measure，SSIM）和視覺質(zhì)量。

1 基于YCbCr的低照度圖像增強(qiáng)

對(duì)于低照度圖像增強(qiáng)，常見的做法是在RGB 顏色空間中先對(duì)輸入的低照度圖像進(jìn)行亮度和對(duì)比度的提升，然后再對(duì)增強(qiáng)圖像進(jìn)行去噪。但是圖像增強(qiáng)的過程必然放大隱藏在黑暗中的圖像噪聲，使得后續(xù)的去噪變得困難（Liu 等，2021；Wei 等，2018）。同時(shí)進(jìn)行噪聲去除和亮度提升是一種更有效的方式，但低照度圖像噪聲與亮度復(fù)雜的關(guān)系又難以同時(shí)保證對(duì)比度提升與去噪的效果。因此，本文重點(diǎn)關(guān)注如何有效地分離低照度圖像亮度增強(qiáng)和噪聲去除任務(wù)，使得噪聲去除和亮度提升同時(shí)取得最佳的效果。

為了實(shí)現(xiàn)低照度圖像對(duì)比度增強(qiáng)和去噪的目的，本文考慮YCbCr 顏色空間中色度信息與亮度信息相互分離的特性，使得增強(qiáng)和去噪可以同時(shí)分通道進(jìn)行，下面將重點(diǎn)介紹采用的YCbCr 顏色空間及雙分支增強(qiáng)網(wǎng)絡(luò)。

1.1 YCbCr顏色空間

YCbCr 是視頻產(chǎn)品常用的色彩編碼方案，由RGB 顏色空間轉(zhuǎn)換而來，與RGB 顏色空間之間的相互轉(zhuǎn)換關(guān)系為

式中，Y、Cb和Cr分別代表YCbCr顏色空間中的亮度分量和藍(lán)色、紅色兩個(gè)色度分量，R、G和B分別為RGB顏色空間的紅色、綠色和藍(lán)色分量。

RGB 顏色空間中亮度失真與顏色通道耦合在一起，而YCbCr 顏色空間可以直接獲得圖像的亮度信息，在處理低照度圖像增強(qiáng)任務(wù)時(shí)，有助于降低處理方法的復(fù)雜度。因此，在圖像恢復(fù)任務(wù)中結(jié)合YCbCr 顏色空間，可以更加方便地對(duì)具有不同重要性的亮度通道和色度通道進(jìn)行不同的處理。

本文統(tǒng)計(jì)了LOL（low-light dataset）數(shù)據(jù)集（Wei等，2018）中的500對(duì)正常∕低照度圖像對(duì)在不同顏色空間和不同通道上的差異，如表1 所示。其中R、G、B 和Y、Cb、Cr 分別為RGB 和YCbCr 空間的各通道。表1 的結(jié)果說明，在RGB 顏色空間中3 個(gè)通道均存在嚴(yán)重的降質(zhì)，而YCbCr 顏色空間中各個(gè)通道的降質(zhì)并不均勻。相比色度通道，亮度通道具有更低的PSNR、SSIM 和更高的均方誤差（mean squared error，MSE），說明亮度通道存在更嚴(yán)重的圖像質(zhì)量損失。對(duì)于低照度圖像增強(qiáng)，通道間的重要性不同，適合采用分通道的方式對(duì)不同通道進(jìn)行更加合理的處理。

表1 各顏色空間低照度圖像與正常照度圖像之間的灰度值差異Table 1 The difference between normal-light images and low-light images in RGB space and YCbCr space

圖1直觀地展示了正常光照∕低照度圖像對(duì)的不同顏色通道，其中圖1（a）（b）分別為正常光照和低照度圖像的RGB 通道；圖1（c）（d）分別為圖1（a）（b）對(duì)應(yīng)的YCbCr 通道。圖1 從視覺結(jié)果上證實(shí)了低照度圖像的RGB 通道分解無法實(shí)現(xiàn)亮度和噪聲的解耦，3 個(gè)通道均存在亮度的損失與大量噪聲。而YCbCr 通道的分解結(jié)果顯示，亮度的差異主要存在于Y 通道，Cb、Cr 通道深受噪聲的污染。因此，相比于RGB顏色空間，在低照度圖像增強(qiáng)任務(wù)中，YCbCr顏色空間有利于分離亮度失真和噪聲干擾。

圖1 RGB與YCbCr顏色空間低照度圖像與正常光照?qǐng)D像各通道對(duì)比Fig.1 Comparison between normal images and low-light images in RGB and YCbCr color space（（a）RGB channels of normal image；（b）RGB channels of low-light image；（c）YCbCr channels of normal image；（d）YCbCr channels of low-light image）

1.2 雙分支增強(qiáng)網(wǎng)絡(luò)

基于圖1 對(duì)圖像亮度通道和色度通道的觀察和分析，根據(jù)分治策略，本文設(shè)計(jì)了一個(gè)基于YCbCr顏色空間的雙分支網(wǎng)絡(luò)，分別對(duì)亮度通道和色度通道進(jìn)行亮度增強(qiáng)和去噪，用于解決低照度圖像對(duì)比度不足和噪聲污染的問題。整體框架如圖2 所示，網(wǎng)絡(luò)主要由3 部分組成：亮度增強(qiáng)模塊、噪聲去除模塊和融合模塊。在將低照度圖像輸入網(wǎng)絡(luò)進(jìn)行處理之前，首先將其由RGB 顏色空間轉(zhuǎn)換至YCbCr 顏色空間，再將亮度通道Y 和色度通道Cb、Cr 分開處理，分別作為亮度增強(qiáng)模塊和噪聲去除模塊的輸入，通過端到端的訓(xùn)練得到處理后的亮度通道和色度通道，并拼接兩個(gè)模塊的結(jié)果進(jìn)行深層特征的融合，得到最終的增強(qiáng)結(jié)果。

圖2 雙分支增強(qiáng)網(wǎng)絡(luò)整體框圖Fig.2 The framework of dual-branch enhancement network

相比于通常在RGB 顏色空間中對(duì)所有通道進(jìn)行相同處理的方法，YCbCr 顏色空間中分通道處理的方式便于針對(duì)不同的降質(zhì)模式設(shè)計(jì)相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)，使不同的模塊更有效地處理各自所面臨的失真，減少網(wǎng)絡(luò)學(xué)習(xí)的難度。

亮度增強(qiáng)模塊和噪聲去除模塊如圖3 所示。低照度圖像的亮度通道主要反映了圖像的亮度信息，可以用Ylow來表示。由于亮度失真往往是非局部的，為獲得圖像的全局亮度信息，采用了經(jīng)典的U-Net（U-shaped network）（Ronneberger 等，2015）網(wǎng)絡(luò)結(jié)構(gòu)，如圖3（a）所示。在U-Net 網(wǎng)絡(luò)中，編碼器端通過逐層池化操作擴(kuò)大卷積的感受野，在網(wǎng)絡(luò)的瓶頸層，較大的感受野可以提取用于對(duì)比度恢復(fù)的非局部亮度信息，在解碼器端通過逐層上采樣將非局部信息擴(kuò)展至全局。

圖3 亮度增強(qiáng)模塊和噪聲去除模塊網(wǎng)絡(luò)細(xì)節(jié)Fig.3 The detail of dual-branch enhancement network（（a）U-Net in luminance enhancement module；（b）multi-channel attention block；（c）channel attention block；（d）supervised attention module）

低照度圖像的色度通道Cr 和Cb 具有相似的降質(zhì)模式，可以用Wlow同時(shí)表示。根據(jù)圖像的噪聲主要分布在色度通道的特點(diǎn)，為了增強(qiáng)圖像的細(xì)節(jié)并有效學(xué)習(xí)圖像的多尺度特征，采用多尺度融合的圖像去噪網(wǎng)絡(luò)。使用Shuffle 和Unshuffle 操作進(jìn)行尺度變換獲得多尺度的輸入圖像，并幫助完成多尺度特征的融合，相比于損失信息的上下采樣操作，像素重排不會(huì)導(dǎo)致圖像信息的丟失，更有助于實(shí)現(xiàn)圖像噪聲的去除。采用多重通道注意力機(jī)制（multichannel attention block，MCAB）作為多尺度特征提取的基礎(chǔ)模塊，如圖3（b）所示，該模塊由兩個(gè)卷積操作和多個(gè)通道注意力層（channel attention block，CAB）串接組成，其中CAB如圖3（c）所示。

為了監(jiān)督網(wǎng)絡(luò)訓(xùn)練的正常進(jìn)行，確保兩個(gè)子網(wǎng)絡(luò)可以實(shí)現(xiàn)有效的亮度增強(qiáng)和噪聲去除任務(wù)，引入兩個(gè)卷積作為亮度監(jiān)督模塊對(duì)亮度增強(qiáng)的中間結(jié)果進(jìn)行監(jiān)督，同時(shí)引入監(jiān)督注意力模塊（supervised attention module，SAM）（Zamir 等，2021）作為色度監(jiān)督模塊對(duì)噪聲去除的中間結(jié)果進(jìn)行監(jiān)督，SAM 模塊如圖3（d）所示，Wfeats表示經(jīng)SAM 模塊處理后輸入融合模塊的色度特征。

在此基礎(chǔ)上，設(shè)計(jì)了一種新的低照度圖像增強(qiáng)損失，包括圖像內(nèi)容損失、亮度損失和去噪損失。由于Cb、Cr兩個(gè)色度通道降質(zhì)模式相似，為方便表示，使用W同時(shí)表示兩個(gè)色度通道Cb和Cr。因此，總的損失函數(shù)為

式中，Ires表示網(wǎng)絡(luò)的輸出，Yres和Wres表示亮度增強(qiáng)模塊的輸出和噪聲去除模塊的輸出，Ihigh、Yhigh和Whigh分別表示輸入低照度圖像對(duì)應(yīng)的正常光照?qǐng)D像、亮度和色度通道。Loss1表示圖像內(nèi)容損失，它衡量了低照度圖像與正常光照的目標(biāo)圖像之間的差異。Loss2和Loss3表示亮度損失和去噪損失，分別衡量亮度增強(qiáng)模塊和噪聲去除模塊的階段性結(jié)果，與無噪聲污染的正常光照?qǐng)D像的亮度通道和色度通道之間的誤差。在實(shí)驗(yàn)中，3 個(gè)損失函數(shù)Loss1、Loss2和Loss3均采用Charbonnier loss（Lai 等，2019）和SSIM loss（Wang等，2004）損失函數(shù)進(jìn)行約束，其定義式相同，以Loss1為例，其定義為

式中，Lchar表示Charbonnier loss，Lssim表示SSIM loss，λ1和λ2為超參數(shù)，在本文實(shí)驗(yàn)中均設(shè)為1；以Loss1為例，Charbonnier loss如式（4）所示，SSIM loss如式（5）所示。

式中，SSIM為結(jié)構(gòu)相似度函數(shù)，定義為

式中，P和Q分別表示增強(qiáng)圖像和參考圖像，uP、uQ表示均值，σP、σQ表示方差，σPQ表示協(xié)方差，c1、c2為常數(shù)。

2 實(shí)驗(yàn)結(jié)果和分析

本文使用PyTorch 框架構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，并在NVIDIA GTX 3050GPU、Intel（R）Core i5-10400F 2.90 GHz CPU 計(jì)算機(jī)上訓(xùn)練模型。下面的實(shí)驗(yàn)分別驗(yàn)證了提出算法的優(yōu)異性能及泛化能力，并通過消融實(shí)驗(yàn)證明了提出算法的有效性。

2.1 數(shù)據(jù)集及訓(xùn)練細(xì)節(jié)

本文采用LOL 與VE-LOL-L（vision enhancement in the low-light condition for low level）（Liu 等，2021）數(shù)據(jù)集作為訓(xùn)練集進(jìn)行有監(jiān)督的訓(xùn)練，LOL 與VELOL-L 均包含訓(xùn)練集和測(cè)試集，本文分別在各自的訓(xùn)練集上訓(xùn)練得到訓(xùn)練模型，并在對(duì)應(yīng)的測(cè)試集上測(cè)試得到對(duì)比結(jié)果，確保測(cè)試結(jié)果的有效性。其中，LOL數(shù)據(jù)集包含500對(duì)真實(shí)場(chǎng)景下的正常∕低照度圖像，圖像大小為600 × 400像素，其中485對(duì)作為訓(xùn)練集，15 對(duì)作為測(cè)試集。VE-LOL-L 數(shù)據(jù)集共包含2 500 對(duì)低照度∕正常光照?qǐng)D像對(duì)，1 000 對(duì)由RAISE（raw images dataset）數(shù)據(jù)集（Dang-Nguyen 等，2015）合成而來，圖像的大小為384 × 384像素（其中900對(duì)為訓(xùn)練集，100 對(duì)為測(cè)試集）；500 對(duì)為真實(shí)場(chǎng)景的低照度∕正常圖像對(duì)（其中400 對(duì)為訓(xùn)練集，100 對(duì)為測(cè)試集）；1 000 對(duì)為多種欠曝光水平下的低照度圖像與正常圖像對(duì)，圖像大小為600 × 400 像素。本文對(duì)VE-LOL-L數(shù)據(jù)集中由RAISE 合成的1 000對(duì)數(shù)據(jù)集和真實(shí)場(chǎng)景下的500 對(duì)圖像對(duì)進(jìn)行整合，共得到1 300 對(duì)訓(xùn)練集圖像作為訓(xùn)練數(shù)據(jù)集，200 對(duì)測(cè)試集圖像作為模型性能評(píng)估的測(cè)試集，由于本文關(guān)注的重點(diǎn)并非多曝光場(chǎng)景下的圖像增強(qiáng)，因此未采用1 000對(duì)多種欠曝光水平下的數(shù)據(jù)集作為訓(xùn)練集。

訓(xùn)練圖像被隨機(jī)切分為128 × 128 像素的圖像作為網(wǎng)絡(luò)的輸入，并使用隨機(jī)裁剪、隨機(jī)反轉(zhuǎn)和隨機(jī)旋轉(zhuǎn)等方式作為數(shù)據(jù)增強(qiáng)手段擴(kuò)充樣本量。使用Adam優(yōu)化器，設(shè)置初始學(xué)習(xí)率為1 × 10-4，β1=0.9，β2=0.999，ε=10-8，使用余弦退火算法穩(wěn)定地將學(xué)習(xí)率降低至1 × 10-5。

2.2 評(píng)價(jià)指標(biāo)及對(duì)比方法

為了定量地評(píng)估所提方法對(duì)低照度圖像的增強(qiáng)效果，本文采用峰值信噪比PSNR、結(jié)構(gòu)相似性SSIM、自然圖像質(zhì)量評(píng)價(jià)指標(biāo)（natural image quality evaluator，NIQE）（Mittal等，2013）以及學(xué)習(xí)感知圖像分塊相似度（learned perceptual image patch similarity，LPIPS）（Zhang等，2018）作為評(píng)價(jià)指標(biāo)。其中，PSNR和SSIM是低級(jí)視覺任務(wù)普遍采用的圖像質(zhì)量評(píng)價(jià)指標(biāo)，值越大代表圖像質(zhì)量越好；NIQE和LPIPS廣泛應(yīng)用于低照度圖像處理任務(wù)中，NIQE值越小，代表圖像質(zhì)量越好；LPIPS 比傳統(tǒng)方法更符合人類的感知情況，其值越低表示兩幅圖像越相似，反之，則差異越大。

對(duì)比本文方法與主流的經(jīng)典低照度圖像增強(qiáng)方法的增強(qiáng)結(jié)果，包括BIMEF（bio-inspired multiexposure fusion framework）（Ying 等，2017）、Zero-DCE（zero-reference deep curve estimation）（Guo 等，2020）、LIME（low-light image enhancement）（Guo 等，2017）、EnlightenGAN（deep light enhancement without paired supervision）（Jiang 等，2021）、GLAD（global illumination-aware and detail-preserving network）（Wang 等，2018）、ReinexNet、KinD、KinD++以及URetinex（Retinex-based deep unfolding network）（Wu 等，2022）。其中，BIMEF、LIME 為傳統(tǒng)算法；BIMEF 采用多曝光融合框架進(jìn)行對(duì)比度增強(qiáng)；LIME基于Retinex理論，采用RGB通道中的最大值作為初始光照?qǐng)D，通過結(jié)構(gòu)先驗(yàn)對(duì)其進(jìn)行精細(xì)化并合成增強(qiáng)圖像；Zero-DCE 為無需任何成對(duì)或不成對(duì)數(shù)據(jù)訓(xùn)練的無參考訓(xùn)練模型；EnlightenGAN 為基于生成對(duì)抗網(wǎng)絡(luò)的無監(jiān)督增強(qiáng)算法，采用全局—局部鑒別器保證圖像局部的增強(qiáng)效果；GLAD、RetinexNet、KinD、KinD++和URetinex 為基于Retinex 理論的深度學(xué)習(xí)方法，其中GLAD 先進(jìn)行全局光照估計(jì)再進(jìn)行細(xì)節(jié)重建；RetinexNet、KinD和KinD++采用多個(gè)子網(wǎng)絡(luò)分別實(shí)現(xiàn)圖像的分解、增強(qiáng)和去噪；URetinex 精心設(shè)計(jì)了3個(gè)基于學(xué)習(xí)的模塊，分別負(fù)責(zé)數(shù)據(jù)初始化、展開優(yōu)化和光照增強(qiáng)。對(duì)于上述方法，本文采用其公開的預(yù)訓(xùn)練模型及所推薦的參數(shù)設(shè)置進(jìn)行測(cè)試。

2.3 結(jié)果對(duì)比

表2 和表3 展示了在LOL 和VE-LOL 測(cè)試集上，本文方法與對(duì)比方法在PSNR、SSIM、NIQE和LPIPS 上的對(duì)比結(jié)果。結(jié)果顯示，本文方法有更高的PSNR 和SSIM 值，這表明本文方法能夠更好地抑制噪聲并恢復(fù)圖像的細(xì)節(jié)，自然圖像評(píng)價(jià)指標(biāo)NIQE 值也說明了本文方法的優(yōu)越性，在為人類感知設(shè)計(jì)的指標(biāo)LPIPS 上本文方法也取得最佳結(jié)果，這表明本文方法更加符合人類感知。

表2 LOL數(shù)據(jù)集上結(jié)果對(duì)比Table 2 The experimental comparisons on LOL

為了進(jìn)一步直觀地進(jìn)行對(duì)比，圖4 展示了LOL測(cè)試集上的增強(qiáng)結(jié)果。圖4 的結(jié)果顯示，BIMEF、Zero-DCE 不能有效提升圖像的亮度，仍有大片區(qū)域淹沒在黑暗中；LIME、RetinexNet 的增強(qiáng)結(jié)果具有更鮮艷的色彩，但增強(qiáng)圖像中存在大量明顯的彩色斑點(diǎn)，尤其RetinexNet 的增強(qiáng)結(jié)果銳化嚴(yán)重，圖像明顯失真；EnlightenGAN 和GLAD 能夠在一定程度上恢復(fù)圖像細(xì)節(jié)，但是抑制噪聲的能力有限；KinD 和KinD++雖然能有效地去除圖像的噪聲，但圖像過度平滑，細(xì)節(jié)信息幾乎全部丟失；URetinex 能夠較好地恢復(fù)圖像細(xì)節(jié)，但圖像色彩暗淡；本文方法在細(xì)節(jié)和色彩恢復(fù)方面做得更好。

與圖4 整體圖像籠罩在黑暗中不同，本文特別選取VE-LOL 數(shù)據(jù)集中具有非均勻光照的圖像展示本文算法的性能，如圖5所示。圖5除了身處黑暗的大部分區(qū)域外，還存在較為明亮的燈光區(qū)域，在處理此類非均勻光照?qǐng)鼍皶r(shí)，本文算法仍能取得較好的增強(qiáng)結(jié)果。對(duì)比其他的算法，BIMEF、Zero-DCE的增強(qiáng)能力有限，圖像整體亮度較暗；LIME、RetinexNet、EnlightenGAN 和GLAD 均存在顏色失真，其中LIME放大了圖像噪聲，RetinexNet 存在不恰當(dāng)?shù)念伾鰪?qiáng)，尤其是在右側(cè)玻璃區(qū)域，色彩失真嚴(yán)重；EnlightenGAN 和GLAD 也無法有效去除噪聲，增強(qiáng)結(jié)果色調(diào)偏黃，且在燈光部分引入了偽影；KinD 能夠恢復(fù)圖像正常的色彩，但圖像左側(cè)紅色部分變得模糊；相比KinD，KinD++在紅色字體部分有所改善，但仍然存在黑色偽影，右側(cè)玻璃區(qū)域存在不恰當(dāng)?shù)木G色，左上城堡部分銳化嚴(yán)重；URetinex 仍然存在顏色失真。本文方法能夠在亮度增強(qiáng)的同時(shí)，最大程度地去除噪聲和抑制偽影。

圖6 展示了在VE-LOL 數(shù)據(jù)集上更多的測(cè)試結(jié)果，該圖像為具有豐富細(xì)節(jié)信息的風(fēng)景圖像，對(duì)比各種算法的增強(qiáng)結(jié)果，Zero-DCE、EnlightenGAN、KinD和KinD++均存在不同程度的顏色失真；Zero-DCE背景天空部分色彩異常；EnlightenGAN 的整體色彩偏黃，與真實(shí)圖像的色彩相差甚遠(yuǎn)；KinD 和KinD++增強(qiáng)結(jié)果過度平滑，不僅丟失了圖像細(xì)節(jié)，也偏離了山峰應(yīng)該有的綠色色彩；BIMEF、Zero-DCE、LIME、RetinexNet、GLAD 和URetinex 能夠保持正常的顏色和色調(diào)，并盡可能地恢復(fù)圖像細(xì)節(jié)，但無法有效去除噪聲，存在彩色斑點(diǎn)。本文方法可以保持圖像應(yīng)有的正常色調(diào)，恢復(fù)圖像的細(xì)節(jié)紋理，如山峰部分的顏色保持和江水部分的波浪紋理恢復(fù)。

圖6 VE-LOL數(shù)據(jù)集結(jié)果對(duì)比2Fig.6 The visual results（Ⅱ）on VE-LOL dataset

圖7 和圖8 展示了在MEF（multi-exposure image fusion）和NPE（naturalness preserved enhancement）數(shù)據(jù)集的結(jié)果對(duì)比，用于驗(yàn)證本文方法的泛化能力。結(jié)果顯示，本文方法可以盡可能地恢復(fù)圖像細(xì)節(jié)，并確保增強(qiáng)結(jié)果的顏色準(zhǔn)確。在圖7 中，本文方法可以恢復(fù)建筑的紋理，使隱藏在黑暗中的房屋結(jié)構(gòu)變得清晰可見。在圖8 中，本文方法可以更好地去除噪聲并恢復(fù)正常色彩，尤其在背景的黑色夜空部分。另外，本文方法也避免了引入不恰當(dāng)?shù)脑鰪?qiáng)色彩。注意，在圖7和圖8中省去了KinD 的結(jié)果，這是由于KinD++是KinD 的改進(jìn)版本，在圖像亮度提升和去噪方面性能都更優(yōu)越，尤其是在圖7 所對(duì)應(yīng)的MEF數(shù)據(jù)集和圖8 所對(duì)應(yīng)的NPE 數(shù)據(jù)集上，KinD++的表現(xiàn)都明顯優(yōu)于KinD，因此出于排版的需要，此處未保留KinD的結(jié)果。

圖7 MEF數(shù)據(jù)集結(jié)果對(duì)比Fig.7 The visual results on MEF dataset

圖8 NPE數(shù)據(jù)集結(jié)果對(duì)比Fig.8 The visual results on NPE dataset

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證本文算法的有效性，進(jìn)行了多組消融實(shí)驗(yàn)，其結(jié)果如表4 所示。另外，圖9 展示了消融實(shí)驗(yàn)的視覺結(jié)果對(duì)比。由表4 和圖9 的結(jié)果顯示，實(shí)驗(yàn)1 僅采用本文提出的亮度增強(qiáng)模塊處理Y通道便可恢復(fù)大部分的圖像細(xì)節(jié)，但圖像色彩無法恢復(fù)；實(shí)驗(yàn)2 采用本文的亮度增強(qiáng)模塊和噪聲去除模塊，可以有效恢復(fù)圖像邊緣并抑制噪聲；實(shí)驗(yàn)3 的結(jié)果表明額外采用兩個(gè)監(jiān)督模塊：亮度監(jiān)督模塊和色度監(jiān)督模塊可以獲得更好的去噪效果和色彩恢復(fù)效果，增強(qiáng)結(jié)果的顏色更接近真實(shí)的正常光照?qǐng)D像。

圖9 消融實(shí)驗(yàn)結(jié)果對(duì)比Fig.9 The visual results of ablation experiments（（a）input low-light images；（b）experiment 1；（c）experiment 2；（d）experiment 3；（e）ground truth）

表4 消融實(shí)驗(yàn)Table 4 The ablation experiment results

2.5 模型復(fù)雜度分析

表5 列出了各個(gè)模型的參數(shù)量、浮點(diǎn)數(shù)運(yùn)算量和測(cè)試時(shí)間，測(cè)試采用LOL 數(shù)據(jù)集485 幅圖像，圖像尺寸均為600 × 400 像素，測(cè)試時(shí)間為485 幅圖像的平均測(cè)試時(shí)間。其中，KinD++的浮點(diǎn)數(shù)運(yùn)算量最大，遠(yuǎn)遠(yuǎn)超過本文方法；本文方法可以在適度的浮點(diǎn)數(shù)運(yùn)算量下獲得最佳的低照度增強(qiáng)結(jié)果。此外，本文方法還具有較快的推理速度，處理相同的圖像，本文方法僅需KinD++方法1∕41（0.213 9∕8.807 9）的時(shí)間，兼顧了效率與性能。

表5 模型復(fù)雜度分析Table 5 The model complexity comparison

3 結(jié)論

針對(duì)低照度圖像中亮度失真與RGB 通道之間高度耦合導(dǎo)致增強(qiáng)圖像存在顏色失真和噪聲污染的現(xiàn)象，受YCbCr 顏色空間亮度信息和色度信息相互分離的啟發(fā)，提出了一種基于YCbCr 顏色空間的雙分支低照度增強(qiáng)網(wǎng)絡(luò)。該增強(qiáng)網(wǎng)絡(luò)采用雙分支結(jié)構(gòu)分別對(duì)亮度通道進(jìn)行對(duì)比度增強(qiáng)和對(duì)色度通道進(jìn)行噪聲抑制。實(shí)驗(yàn)結(jié)果表明，本文方法可以有效進(jìn)行亮度增強(qiáng)和圖像紋理恢復(fù)，獲得的圖像細(xì)節(jié)更加豐富、顏色更加真實(shí)、含有更少噪聲。相比經(jīng)典的低照度增強(qiáng)算法，在多個(gè)指標(biāo)和多個(gè)數(shù)據(jù)集上取得了較大的增益提高，模型更加輕量、處理速度更快。

雖然本文方法可以有效提高低照度圖像的視覺質(zhì)量，但對(duì)于非均勻光照?qǐng)D像的增強(qiáng)效果仍然有待進(jìn)一步提高，尤其對(duì)于過曝光區(qū)域缺乏有效的約束，導(dǎo)致增強(qiáng)結(jié)果不理想。后續(xù)工作中，如何進(jìn)一步利用YCbCr 顏色空間的特性，設(shè)計(jì)更加有效的增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)，提高網(wǎng)絡(luò)的泛化能力，值得進(jìn)一步深入探索。