楊偉,王帥,2,吳佳奇,陳偉,3,田子建

(1. 中國礦業(yè)大學(xué)(北京)人工智能學(xué)院,100083,北京; 2. 國家礦山安全監(jiān)察局內(nèi)蒙古局,010010,呼和浩特;3. 中國礦業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院,221116,江蘇徐州)

低照度條件下如夜間、陰天和地下空間等,物體表面反射光較弱,拍攝到的圖像受到背光、不均勻光照、低對比度和密集噪聲的影響,不僅圖像質(zhì)量嚴(yán)重降低,難以獲得理想的采集效果和關(guān)鍵信息,而且為后續(xù)的高層視覺任務(wù)帶來巨大挑戰(zhàn),如目標(biāo)檢測、圖像分割和物體追蹤等[1-2]。因此,低照度圖像增強在計算機視覺領(lǐng)域具有重要的研究意義和應(yīng)用價值[3]。

隨著計算機視覺的快速發(fā)展,低照度圖像增強算法在視覺監(jiān)控、自動駕駛、智能交通和攝影等領(lǐng)域有廣泛應(yīng)用,主要分為基于傳統(tǒng)的低照度圖像增強方法和基于深度學(xué)習(xí)的低照度圖像增強方法。傳統(tǒng)低照度圖像增強算法包括直方圖均衡化方法[4]、頻域方法[5]、基于Retinex理論的方法[6-7]和基于去霧模型的方法[8-9]。此類方法一定程度上提高了主觀視覺效果,但優(yōu)化過程較為復(fù)雜,運行時間較長,圖像的照度調(diào)整不夠靈活,增強效果往往伴隨著嚴(yán)重的色彩失真和細(xì)節(jié)損失。

相比于傳統(tǒng)低照度圖像增強算法,憑借大規(guī)模數(shù)據(jù)中提取先驗的強大能力,基于深度學(xué)習(xí)的低照度圖像增強算法具有更強的魯棒性、適應(yīng)性和處理速度[10],根據(jù)學(xué)習(xí)策略可以分為監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和零次學(xué)習(xí)。其中,Lü等[11]基于監(jiān)督學(xué)習(xí)設(shè)計了端到端的多分枝增強模型。部分基于監(jiān)督學(xué)習(xí)的方法采用了Retinex理論[12-14],如Wei等[15]通過新的約束條件和先進(jìn)的模型設(shè)計,使得Retinex-Net達(dá)到了較好的增強性能。Zhang等通過圖層分解、反射率恢復(fù)和照度調(diào)整提出了KinD[16]和KinD++[17]方法,有效緩解了圖像增強后的主觀視覺缺陷問題。Yu等[18]基于強化學(xué)習(xí)提出了DeepExposure方法,在沒有配對數(shù)據(jù)集的情況下,通過融合不同曝光下的多個修飾圖像獲得增強后的圖像。Jiang等[19]基于無監(jiān)督學(xué)習(xí)提出了EnlightenGAN方法,通過全局-局部判別器和特征保留損失函數(shù),解決了基于合成數(shù)據(jù)訓(xùn)練的過擬合和難以泛化的問題?；诒O(jiān)督學(xué)習(xí)的模型需要基于配對數(shù)據(jù)進(jìn)行訓(xùn)練,因此模型泛化性不強,對現(xiàn)實低照度圖像的增強效果不理想;基于無監(jiān)督學(xué)習(xí)的模型較大,不利于模型部署;基于強化學(xué)習(xí)的模型難以實現(xiàn)高效穩(wěn)定的訓(xùn)練。因此,使用零次學(xué)習(xí)實現(xiàn)低照度圖像增強具有重要意義。零次學(xué)習(xí)僅從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)照度增強過程,應(yīng)用過程中不需要配對或非配對的數(shù)據(jù)。Zhang等[20]通過估算適合輸入圖像的S曲線來調(diào)整濾波器分離出來的基礎(chǔ)層,融合調(diào)整后的基礎(chǔ)層和細(xì)節(jié)層得到增強后的圖像。Guo等提出Zero-DCE[21],將低光增強作為針對圖像光照曲線的估算任務(wù),利用高階曲線對輸入圖像光照的動態(tài)范圍進(jìn)行調(diào)整得到增強圖像,并在此基礎(chǔ)上提出了輕量化版本Zero-DCE++[22],通過共享高階曲線的權(quán)重參數(shù)和模型優(yōu)化達(dá)到了增強過程的快速推算,但增強結(jié)果存在不同程度的偏色、亮區(qū)增強過度和暗區(qū)增強不足現(xiàn)象。以上低照度增強方法在人眼主觀視覺和客觀評價指標(biāo)取得了明顯提升,一定程度上提高了目標(biāo)檢測與識別的性能,但低照度增強任務(wù)和目標(biāo)檢測任務(wù)的目的不同,前者對細(xì)節(jié)敏感側(cè)重于抽象度低的特征,后者側(cè)重于抽象度高的目標(biāo)特征,經(jīng)過低照度增強后的圖像可能包含不利于目標(biāo)檢測的噪聲,無法保證增強后圖像有更好的目標(biāo)檢測效果。

綜合以上分析,本文從圖像視覺質(zhì)量和目標(biāo)檢測效果兩個角度考慮,提出了一種從局部到全局的零參考低照度圖像增強方法,解決了以下幾個問題:Zero-DCE的自適應(yīng)光照映射估計函數(shù)的動態(tài)調(diào)整范圍不足;多次生成像素級的高階迭代參數(shù)需要較多的參數(shù)量和運行時間;增強圖像的對比度不足、噪點突出和曝光現(xiàn)象;低照度圖像的目標(biāo)檢測精度低。

1 從局部到全局的零參考低照度圖像增強方法

提出的低照度圖像增強方法的總體架構(gòu)如圖1所示,主要包含兩部分:①局部照度增強,由7個卷積組成,每個卷積后采用ReLU激活函數(shù),最后1個卷積采用Tanh激活函數(shù),并對自適應(yīng)光照映射估計函數(shù)進(jìn)行改進(jìn),采用倒數(shù)函數(shù)取代原有的二次迭代函數(shù),提高照度的調(diào)整范圍,降低參數(shù)量和運算時間;②基于Transformer的全局圖像調(diào)整,包含Transformer結(jié)構(gòu)、顏色校正矩陣和伽馬變換,通過捕獲單個像素和周圍像素之間的關(guān)系,獲得更豐富的全局特征信息,解決亮區(qū)增強過度和暗區(qū)增強不足的問題,提高圖像的整體對比度。

圖1 提出的低照度圖像增強方法的總體架構(gòu)Fig.1 Overall architecture diagram of proposed low-light image enhancement method

1.1 局部照度增強

局部照度增強用于估計像素級的照度映射關(guān)系以校正光照的影響,結(jié)構(gòu)如圖1所示,采用了7個卷積和3次拼接操作,每個卷積后采用ReLU激活函數(shù),最后1個卷積采用Tanh激活函數(shù),未采用下采樣和采樣操作,盡可能保留圖像的細(xì)節(jié)信息。局部照度增強是在Zero-DCE的基礎(chǔ)上改進(jìn)了自適應(yīng)光照映射估計函數(shù)。Zero-DCE方法提出的基于二次函數(shù)迭代的光照映射估計函數(shù)為

E(X)=X+αX(1-X)

(1)

En(X)=Xn-1+αnXn-1(1-Xn-1)

(2)

式中:X表示輸入;E(X)表示為給定輸入X的增強版;En(X)表示迭代第n次產(chǎn)生的增強結(jié)果;αn∈[-1, 1]是通過模型訓(xùn)練得到的參數(shù),用于第n次疊代調(diào)整映射曲線,控制曝光水平。

由于調(diào)整參數(shù)α為像素級的參數(shù),即輸入圖像的每一個像素都有一個最適合的α曲線來調(diào)整其動態(tài)范圍,因此基于二次迭代函數(shù)的像素級光照映射關(guān)系可表示為

En(X)=En-1(X)+AnEn-1(X)(1-En-1(X))

(3)

式中:An與輸入X的維度相同,表示第n次迭代的權(quán)重。

提出的基于倒數(shù)函數(shù)的光照映射估計函數(shù)可表示為

(4)

式中:X表示輸入;E(X)表示為給定輸入X的增強版;α∈ [-∞, -1]∪ [0, +∞]是通過模型訓(xùn)練得到的參數(shù)。

由于調(diào)整參數(shù)α為像素級的參數(shù),即輸入圖像的每一個像素都有一個最適合的α曲線來調(diào)整其動態(tài)范圍,因此提出的基于倒數(shù)函數(shù)的像素級光照映射關(guān)系可表示為

(5)

式中:Aα是與輸入X維度大小相同的權(quán)重。所有像素都被歸一化為 [0, 1],并將曲線分別作用于RGB的3個通道。

圖2為自適應(yīng)光照映射估計函數(shù)曲線。從圖中可以看出,迭代次數(shù)越多,光照調(diào)整能力越強,但表征范圍仍有缺失。同時,迭代次數(shù)越多,計算量和參數(shù)量越多,模型結(jié)構(gòu)越復(fù)雜,模型推理時間越長。提出的基于倒數(shù)函數(shù)的光照映射估計函數(shù)如圖2(c)所示,光照調(diào)整范圍更大,不需要迭代計算,因此學(xué)習(xí)參數(shù)更少,模型更加輕量化。

(a)二次迭代函數(shù)(n=4)

1.2 基于Transformer的全局圖像調(diào)整

全局圖像調(diào)整過程中,首先對輸入圖像進(jìn)行卷積,獲得高維度和低分辨率的圖像特征,低分辨率可以節(jié)省計算成本,有利于模型實現(xiàn)輕量化,較高的維度特征有利于提取圖像的全局特征。然后,通過特征編碼后進(jìn)入多頭注意力模塊,捕獲周圍像素和單個像素之間的全局交互,獲得圖像的全局特征[23-25]。全局圖像調(diào)整的具體計算過程如圖3所示。

h,w—第一次卷積后圖像的高和寬;Q,K,V—多頭注意力機制的3個向量;dk—向量k的維度。圖3 全局圖像調(diào)整的計算過程Fig.3 Calculation process of global image adjustment

進(jìn)入多頭注意力模塊之前,首先要進(jìn)行特征編碼,特征序列化過程如圖4所示。第一次卷積后的特征圖大小為64×h×w,首先將h×w大小的特征圖的每個像素作為一個token,并在通道上拉直展開得到64維的特征向量,即(h×w)×64的二維矩陣X′T,將X′T經(jīng)過線性變換進(jìn)行編碼,得到滿足條件的輸入序列XT。

圖4 特征圖的序列化過程Fig.4 Serialization process of feature maps

輸入序列XT分別乘上模型自行學(xué)到的權(quán)重Wq、Wk、Wv得到Q、K、V,并拆分得到Qi、Ki、Vi在多個空間內(nèi)進(jìn)行注意力計算,計算過程可表示為

(6)

(7)

式中:Attention為求取注意力機制操作;softmax為softmax函數(shù);Wq、Wk、Wv是由模型自行習(xí)得的權(quán)重;Wqi、Wki、Wvi分別為Q、K、V的第i個子空間的權(quán)重;Zi為第i個子空間的注意力計算結(jié)果;dq、dk、dv分別分Q、K、V的維度,且dq=dk=dv。

多頭自注意力是在多個子空間進(jìn)行注意力計算,該過程可表示為

Z=MultiHead(Q,K,V)=

Concat(Z1,Z2,Z3,Z4)Wo

(8)

式中:MultiHead為求取多頭注意力機制操作;Concat為拼接操作;Wo為權(quán)重矩陣。輸入序列XT經(jīng)過式(6)得到Q、K、V,分別進(jìn)入不同的子空間,通過式(7)得到所有子空間的注意力權(quán)重Z1～Z4,通過式(8)得到多頭注意力機制權(quán)重Z。

多頭注意力的輸出大小為1×10×64,經(jīng)過多層感知機和線性變換生成一個3×3的顏色矩陣和一個1×1的伽馬值。顏色矯正矩陣對R、G、B三通道顏色進(jìn)行色彩調(diào)整,伽馬值用于全局圖像照度的非線性調(diào)節(jié)。對局部增強后的圖像進(jìn)行全局調(diào)整的過程可表示為

G(X)=(max(∑Wcol×E(X),ε))γ

(9)

式中:E(X)表示局部增強后的圖像;G(X)表示全局調(diào)整后的圖像;Wcol表示顏色變換矩陣;γ表示伽馬校正的指數(shù)值;ε表示一個非負(fù)最小值,實驗中設(shè)為ε=e-8。

1.3 損失函數(shù)

低照度圖像增強模型的整體損失Ltotal由空間一致性損失Lspa、曝光控制損失Lexp、色彩不變性損失Lcol和特征相似性損失Lfs共4個損失函數(shù)聯(lián)合計算,具體可表示為

Ltotal=Lspa+Lexp+Lcol+Lfs

(10)

為引導(dǎo)模型學(xué)到適合的低光和正常光的映射關(guān)系,采用了Zero-DCE方法提出的3個非參考損失函數(shù)用于訓(xùn)練低光增強模型。空間一致性損失[21]通過控制輸入圖像和增強圖像相鄰區(qū)域的梯度來保持圖像的空間一致性,可表示為

(11)

式中:m1表示為局部區(qū)域的數(shù)量;Ω(i)表示以區(qū)域i為中心的4個相鄰區(qū)域(上、下、左、右);Y和I分別為增強圖像和輸入圖像的局部區(qū)域平均強度值。

曝光控制損失通過測量局部區(qū)域的平均強度與正常曝光水平E[26]之間的距離控制曝光水平,避免曝光過度或曝光不足現(xiàn)象,可表示為

(12)

式中:m2表示不重疊的局部區(qū)域數(shù)量;Ym表示各個局部區(qū)域的平均強度;E表示正常曝光水平,根據(jù)文獻(xiàn)[21]和文獻(xiàn)[26],E設(shè)定為0.6。

色彩恒定損失通過建立三通道R、G、B之間的關(guān)系矯正潛在的色彩偏差,使得增強后的顏色盡可能保持一致,可表示為

(13)

式中:Jp和Jq表示增強圖像對應(yīng)的p通道和q通道的平均強度值;(p,q)表示一對通道。

為提升目標(biāo)檢測的精度,提出了基于KL散度的特征相似性損失。KL散度又叫相對熵或信息熵,用于衡量兩個變量之間的差異[27]。假設(shè)兩個特征序列為F1和F2,對應(yīng)的概率分布函數(shù)為f1(x)和f2(x),KL散度可以表示為

(14)

模型訓(xùn)練過程中,通過YOLOv7的主干網(wǎng)絡(luò)分別抽取原始圖像和增強后圖像的特征,對抽取的特征進(jìn)行全局平均池化,得到兩個1×1×C大小的向量,逐點計算兩個向量的KL散度,衡量低照度圖像和增強圖像的特征差異。通過約束增強前后圖像的特征相似性,避免增強過程產(chǎn)生對后續(xù)檢測不利的影響?；贙L散度的特征相似性損失表示為

(15)

式中:GAP(Fori)為原始低照度圖像特征的全局池化操作;GAP(Fen)為增強后圖像特征的全局池化操作。

2 實驗與結(jié)果分析

實驗操作系統(tǒng)為64位Windows11,CPU為AMD Ryzen 7 5800H with Radeon Graphics,顯卡為NVIDIA RTX 3070 GPU。網(wǎng)絡(luò)模型基于Python3.9.0,Pytorch1.12.1和Cuda11.6框架搭建,開發(fā)環(huán)境為PyCharm 2022.3.2。模型訓(xùn)練采用的SICE數(shù)據(jù)集[28],包含589個室內(nèi)和室外場景的多重曝光圖像,每個場景包含3～18張不同曝光的低對比度圖像。模型訓(xùn)練中,學(xué)習(xí)率為0.000 1,batch size為8,epoch為100,動量為0.9,為避免訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象,采用余弦退火降低學(xué)習(xí)率,衰減系數(shù)為0.000 05。

2.1 數(shù)據(jù)集和評價指標(biāo)

為驗證提出的低照度圖像增強方法的性能,從主觀視覺和客觀指標(biāo)兩方面,將本文方法與最先進(jìn)的方法:Retinex-Net[15](2018年)、MIRNetv2[29](2023年)、SCI[30](2022年)、Zero-DCE[21](2020年)、Zero-DCE++[22](2022年)和EnlightenGAN[19](2021年)在LOL數(shù)據(jù)集[15]和MIT-Adobe FiveK數(shù)據(jù)集[31]上進(jìn)行對比。其中,Retinex-Net和MIRNetv2方法是監(jiān)督學(xué)習(xí)方法,EnlightenGAN和SCI是無監(jiān)督學(xué)習(xí)方法、Zero-DCE和Zero-DCE++是零次學(xué)習(xí)方法。LOL數(shù)據(jù)集是在真實場景下拍攝的配對數(shù)據(jù)集,通過改變曝光時間和感光度ISO收集了500對大小為400×600像素的低光/正常光圖像。MIT-Adobe FiveK數(shù)據(jù)集包含5 000張圖像,每張圖像由5位專業(yè)攝影師(A/B/C/D/E)修圖并保存為raw格式,本文選取了專家A的修圖結(jié)果作為對照,并將圖像轉(zhuǎn)換為JPG格式。

低照度圖像增強對比實驗采用了峰值信噪比(PSNR,用符號PSNR表示)和結(jié)構(gòu)相似性(SSIM,用符號SSIM表示)作為客觀評價指標(biāo)。其中,峰值信噪比對增強前后圖像像素點的灰度值進(jìn)行對比計算,用于評估圖像的處理質(zhì)量,單位為dB,數(shù)值越小表示失真程度越大,計算過程如下

(16)

式中:Imax表示輸入數(shù)據(jù)最大值;Mse表示增強前后圖像之間的均方誤差。

結(jié)構(gòu)相似性從亮度、對比度和結(jié)構(gòu)信息三方面對增強前后的圖像進(jìn)行相似度對比,取值范圍為 [0, 1],數(shù)值越大表示相似度越大,具體計算過程如下

(17)

式中:μX、μY表示圖像均值;σX、σY表示標(biāo)準(zhǔn)差;σXY表示圖像X和Y的協(xié)方差。

2.2 客觀評價指標(biāo)

選取峰值信噪比和結(jié)構(gòu)相似性作為客觀評指標(biāo),將本文方法與其他6種低照度增強方法在LOL數(shù)據(jù)集和MIT-Adobe FiveK數(shù)據(jù)集上進(jìn)行對比。選取參數(shù)量、計算量和單張圖像測試時間,在400×600像素的圖像上進(jìn)行效率對比,結(jié)果如表1所示。

表1 不同方法客觀評價指標(biāo)和模型效率對比結(jié)果Table 1 Comparative results of objective evaluation indicators and model efficiency between different methods

從表1可以看出,所提算法在LOL數(shù)據(jù)集上的PSNR達(dá)到了20.18 dB,SSIM達(dá)到了0.80,在MIT-Adobe FiveK數(shù)據(jù)集上的PSNR達(dá)到了23.31 dB,SSIM達(dá)到了0.87,僅次于MIRNetv2方法的增強效果。同時,相比與MIRNetv2方法140.38×109次的計算量,5.90×106個參數(shù)和39.27 ms的測試時間,本文提出的方法僅需要3.67×109次的計算量,0.09×106個參數(shù)和4.2 ms的測試時間,所提方法的綜合性能優(yōu)于其他低照度增強方法。

2.3 主觀視覺效果

在LOL數(shù)據(jù)集上將本文方法與其他六種低照度圖像增強方法進(jìn)行對比,選取其中7個場景的對比結(jié)果進(jìn)行主觀性分析,對比結(jié)果如圖5所示。從圖中可以看出,Retinex-Net方法增強后,圖像亮度提升明顯,顏色飽和度高,但增強后的圖像模糊,出現(xiàn)了顏色和紋理失真,如場景2、4、6和7。MIRNetv2方法增強后,整體色彩恢復(fù)比較真實,亮區(qū)的增強效果較好,如場景1、2、3和5,暗區(qū)的增強效果較差,如場景4和7。EnlightenGAN方法增強后的圖像顏色偏黃如場景7,亮度提升有限如場景4和6。SCI方法增強后的圖像未出現(xiàn)顏色和紋理失真現(xiàn)象,但整體亮度和對比度較低,如場景4和7。Zero-DCE++方法的照度調(diào)整不足,增強后的圖像整體偏暗,出現(xiàn)嚴(yán)重偏色現(xiàn)象,視覺效果較差,如場景2、3和5的偏藍(lán)現(xiàn)象非常明顯。Zero-DCE方法增強后的圖像沒有出現(xiàn)嚴(yán)重的偏色現(xiàn)象,但整體亮度提升不足,如場景2、4和7。本文方法增強后的圖像未出現(xiàn)顏色偏差和紋理失真現(xiàn)象,顏色飽和度較好,亮度提升明顯,整體視覺效果較好。

圖5 LOL數(shù)據(jù)集上的低照度圖像增強結(jié)果Fig.5 Low-light image enhancement results on LOL dataset

在MIT-Adobe FiveK數(shù)據(jù)集上將本文方法與其他6種低照度圖像增強方法進(jìn)行對比,選取其中6個場景的增強結(jié)果進(jìn)行主觀性分析,對比結(jié)果如圖6所示。從圖中可以看出,Retinex-Net增強后的圖像顏色過度飽和,如場景1、場景6和場景7,紋理過于突出如場景2,該方法難以恢復(fù)較好的視覺效果。MIRNetv2方法對亮區(qū)的增強效果較好,如場景1、2和5,暗區(qū)增強后略有失真,如場景3中人臉面部模糊,細(xì)節(jié)丟失,且不同光源下的顏色失真程度不同,如場景3和4。EnlightenGAN增強后的圖像出現(xiàn)了明顯的色彩偏差,整體圖像偏黃嚴(yán)重,無法恢復(fù)圖像原本的色彩,如場景1的水面和波光、場景3的人臉和衣服條紋、場景4的墻面和場景5玻璃上的白色貼紙,并且出現(xiàn)了嚴(yán)重的光暈和細(xì)節(jié)丟失現(xiàn)象,如場景6右上角和場景3左上角。SCI增強后圖像的整體亮度提升明顯,但暗區(qū)域照度提升有限,如場景3的人物背景和場景6的地面,亮區(qū)域容易增強過度產(chǎn)生嚴(yán)重的曝光現(xiàn)象,如場景1的噴泉和場景5的右側(cè)部分。Zero-DCE++增強后圖像的偏色現(xiàn)象不明顯,但依舊存在,如場景4的白色墻壁和場景5的整體光線,且整體增強效果較暗。Zero-DCE的增強效果略有提升,但整體亮度依舊較暗,如場景4的墻壁。暗區(qū)增強后噪點明顯,如場景3左側(cè)陰影區(qū)域和場景7地面。增強后細(xì)節(jié)較為模糊,如場景6中墻上的字母。本文所提方法增強后的圖像未出現(xiàn)明顯的光暈、偏色和細(xì)節(jié)丟失現(xiàn)象,色彩恢復(fù)效果較好,照度提升明顯。在主觀視覺效果方面,本文提出的方法優(yōu)于其他6種低照度圖像增強方法,兩個數(shù)據(jù)集上的增強結(jié)果表明所提方法的泛化性和魯棒性較好。

圖6 MIT-Adobe FiveK數(shù)據(jù)集上的低照度圖像增強結(jié)果Fig.6 Low-light image enhancement results on MIT-Adobe FiveK dataset

為驗證本文提出的方法在真實低照度條件下室內(nèi)和室外實拍圖像上的增強效果,將本文方法與其他6種低照度圖像增強方法進(jìn)行對比。在夜間,于中國礦業(yè)大學(xué)(北京)校園內(nèi)8處景點拍攝真實低照度圖像,拍攝設(shè)備為iPhone13,圖像最大分辨率為4 032×2 024像素,這些圖像沒有參與模型的訓(xùn)練,僅用以驗證提出方法的適應(yīng)性,增強對比結(jié)果如圖7所示。從圖中可以看出,Retinex-Net增強后圖像的亮度和對比度明顯提升,但顏色飽和度過高如場景3和場景5,紋理過于突出導(dǎo)致圖像失真嚴(yán)重如場景1和場景4,場景3增強后黑暗處出現(xiàn)明顯光暈。MIRNetv2方法增強后的圖像整體泛白如場景4和場景6,部分細(xì)節(jié)紋理丟失如場景2中的桌面和場景5中的臺階,場景3增強后的天空產(chǎn)生了明顯光暈。EnlightenGAN增強后圖像的整體亮度和對比度提升明顯,但仍有不足如場景3和場景5,顏色偏黃如場景2和場景7,場景3和場景6增強后的天空以及場景8中的窗戶均產(chǎn)生了明顯的光暈現(xiàn)象。SCI方法增強后的圖像顏色保真度較好,但明亮區(qū)域過度增強產(chǎn)生了嚴(yán)重的曝光現(xiàn)象,導(dǎo)致部分特征丟,如場景3中的窗戶和場景4中水塔,圖像暗處增強不足如場景7和場景8的地面。Zero-DCE++增強后圖像的整體亮度不足,偏色(藍(lán))現(xiàn)象明顯,如場景4中的白色石柱和場景7中的白色房子等。Zero-DCE增強后圖像的細(xì)節(jié)紋理保留較好,未出現(xiàn)紋理失真現(xiàn)象,偏色(藍(lán))現(xiàn)象有所緩解,但依然存在,如場景2和場景7,圖像的整體亮度提升不足如場景1、場景5和場景7。本文所提方法增強后圖像的亮度和對比度提升明顯,顏色飽和度較好,未出現(xiàn)顏色失真和紋理失真現(xiàn)象,在室內(nèi)和室外的真實低照度條件下有較好的增強效果。

2.4 目標(biāo)檢測及特征可視化

為探究本文提出的增強方法對目標(biāo)檢測性能的影響,基于YOLOv7在Exdark數(shù)據(jù)集上與其他6種方法增強后的檢測結(jié)果進(jìn)行對比。低照度圖像增強模型聯(lián)合YOLOv7檢測模型的應(yīng)用框架如圖8所示,表2中的“原始圖像+YOLOv7”表示使用圖8中的方式a,“增強方法+YOLOv7”表示使用圖8中的方式b,即原始圖像首先經(jīng)過低照度圖像增強模型進(jìn)行增強,增強后的結(jié)果作為YOLOv7檢測網(wǎng)的輸入。對比結(jié)果如表2所示,可以看出,Retinex-Net和EnlightenGAN增強后圖像的檢測精度分別降低了1.6%和0.7%,在人眼視覺上取得了一定的提升,但對于目標(biāo)檢測損失了重要的特征信息。MIRNetv2、Zero-DCE++和Zero-DCE增強后的檢測精度分別提升了5.6%、4.2%和4.4%,本文方法增強后的目標(biāo)檢測精度提升了7.6%,檢測時間僅需42.23 ms,因此本文所提方法更有助于低照度條件下的目標(biāo)檢測任務(wù)。

a—低照度圖像直接進(jìn)入檢測網(wǎng)絡(luò);b—低照度圖像增強后進(jìn)入檢測網(wǎng)絡(luò)。圖8 低照度圖像增強模型聯(lián)合檢測網(wǎng)絡(luò)的應(yīng)用架構(gòu)Fig.8 Application architecture diagram of joint detection network for low-light image enhancement networks

除此之外,為進(jìn)一步探究提出的低照度增強方法對目標(biāo)檢測的影響,在ExDark數(shù)據(jù)集上,基于YOLOv7對原始圖像和增強后圖像進(jìn)行目標(biāo)檢測,并對檢測目標(biāo)進(jìn)行特征可視化,直觀顯示出低照度圖像和增強圖像對特征提取和目標(biāo)識別的影響,結(jié)果如圖9所示?？梢钥闯?正常亮度區(qū)域內(nèi)的目標(biāo),圖像增強前后的檢測結(jié)果差距不大,如場景1中的第一個目標(biāo)(增強前檢測精度為85%,增強后為86%)和場景2中的前3個目標(biāo)(增強前檢測精度為89%、89%和83%,增強后為89%、86%和88%)。低照度區(qū)域內(nèi),增強前后的目標(biāo)檢測結(jié)果差異很大,主要表現(xiàn)在3個方面:黑暗中的目標(biāo)無法識別、相鄰目標(biāo)無法區(qū)分以及目標(biāo)特征邊界不明顯。例如,場景2中低照度圖像的目標(biāo)7和8,場景3中低照度圖像的目標(biāo)2和3無法識別,對應(yīng)的增強后的圖像可以準(zhǔn)確檢測出目標(biāo)。場景4中,低照度圖像中的目標(biāo)1與目標(biāo)2的特征邊界無法區(qū)分、檢測框定位錯誤,對應(yīng)的增強后的圖像中的目標(biāo)特征定位準(zhǔn)確。場景1和2中原始圖像的對比度低,目標(biāo)特征無法區(qū)分,對應(yīng)可以準(zhǔn)確檢測出目標(biāo)。場景4中,低照度圖像中的目標(biāo)1與目標(biāo)2的特征邊界無法區(qū)分、檢測框定位錯誤,對應(yīng)的增強后的圖像中的目標(biāo)特征定位準(zhǔn)確。場景1和2中原始圖像的對比度低,目標(biāo)特征無法區(qū)分,對應(yīng)的增強后的圖像的特征位置集中且邊界明顯。

(a)場景1

2.5 消融實驗分析

為探究光照映射估計曲線和全局調(diào)整的必要性和有效性,進(jìn)行了相關(guān)的消融實驗,測試圖像是在真實場景下拍攝的低照度圖像,拍攝設(shè)備為iPhone13,圖像最大分辨率為4 032×2 024像素。主觀視覺對比結(jié)果如圖10所示。其中:Global-false表示去掉全局圖像調(diào)整,僅保留局部增強;Curve-quadratic iterative表示局部增強采用二次迭代函數(shù)作為自適應(yīng)光照映射估計函數(shù)。從圖中可以看出,去除全局圖像調(diào)整后,整體亮度提升依舊明顯,但部分區(qū)域過度增強,如場景2和3中的天空增強過度,噪點明顯,細(xì)節(jié)失真,場景4中白色框內(nèi)的路燈被過度增強導(dǎo)致嚴(yán)重曝光。光照映射估計曲線采用二次迭代函數(shù)增強后,亮度增強依舊明顯,但邊緣紋理突出,細(xì)節(jié)信息丟失嚴(yán)重,亮度對比度不足,如場景2和3。

圖10 消融實驗對比結(jié)果Fig.10 Comparative results of ablation experiments

為驗證特征相似性損失函數(shù)對目標(biāo)檢測性能的影響,在Exdark數(shù)據(jù)集上進(jìn)行了消融實驗,結(jié)果如表3所示。Ldec為YOLOv7的檢測損失函數(shù),Lspa、Lexp、Lcol分別為空間一致性損失、曝光控制損失和色彩不變性損失函數(shù),Lfs為特征相似性損失函數(shù)。從結(jié)果可以看出,照度增強后目標(biāo)檢測的性能提升明顯(5.3%),特征相似性損失通過約束目標(biāo)特征,使得增強后圖像的目標(biāo)特征更有利于目標(biāo)檢測任務(wù),目標(biāo)檢測的精度提升了2.3%。

表3 損失函數(shù)對目標(biāo)檢測性能的影響Table 3 Impact of loss function on object detection performance

3 結(jié) 論

針對低照度圖像存在的多種退化現(xiàn)象,現(xiàn)有的圖像增強方法存在顏色失真、亮度提升有限、細(xì)節(jié)損失嚴(yán)重和噪聲放大的問題,嚴(yán)重影響了圖像的可視化效果和目標(biāo)檢測精度。為解決上述問題,提出了一種從局部到全局的零參考低照度圖像增強方法。

(1)提出的低照度圖像增強方法僅需要3.67×109次的計算量和0.09×106個參數(shù),單張圖像測試時間僅4.2 ms,具有輕量化優(yōu)勢,便于模型部署。

(2) LOL數(shù)據(jù)集、MIT-Adobe FiveK和真實低照度圖像上的實驗結(jié)果表明,所提方法有效提高了低照度圖像的客觀評價指標(biāo)和主觀視覺效果,未出現(xiàn)偽影和噪聲放大問題,增強了圖像的整體亮度和對比度,避免了顏色失真和細(xì)節(jié)損失現(xiàn)象。

(3) ExDark數(shù)據(jù)集上的目標(biāo)檢測和特征可視化結(jié)果表明,所提方法增強后圖像的目標(biāo)輪廓更加清晰,定位更加準(zhǔn)確,提高了低照度圖像的目標(biāo)檢測的精度,證明了所提方法的有效性。