国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

融合非物理模型的改進(jìn)AM-RetinexNet圖像增強(qiáng)算法

2023-03-07 01:25:32王小芳徐何方圓劉嘉琳郭松銘鄒倩穎
無線電工程 2023年2期
關(guān)鍵詞:圖像增強(qiáng)照度亮度

王小芳,徐何方圓,劉嘉琳,郭松銘,鄒倩穎,穆 楠

(1.吉利學(xué)院 智能科技學(xué)院,四川 成都 641423;2.電子科技大學(xué)成都學(xué)院 計算機(jī)學(xué)院,四川 成都 611731;3.四川師范大學(xué) 計算機(jī)科學(xué)學(xué)院,四川 成都 610066)

0 引言

隨著數(shù)字經(jīng)濟(jì)時代的發(fā)展,新基建成為時代發(fā)展的重點(diǎn)。地下空間作為新基建的一種主要環(huán)境,安全性直接影響基本民生。如何實(shí)現(xiàn)智能化地下空間探測成為改造與監(jiān)控的核心,但地下空間圖像往往在圖像采集時,出現(xiàn)圖像照度低、亮度不均勻、噪聲多和細(xì)節(jié)丟失嚴(yán)重等問題,如何進(jìn)行地下空間圖像增強(qiáng)處理以解決地下空間探測[1]成為智能探測研究熱點(diǎn)。

低照度圖像增強(qiáng)處理分為非物理模型和物理模型。物理模型增強(qiáng)忽略圖像成像,以數(shù)據(jù)驅(qū)動和Retinex理論[2]為代表。其中,Guo等[3]提出了微光圖像增強(qiáng)的零參考深曲線估計模型對像素級信息進(jìn)行有效映射以增強(qiáng)圖像;Kim等[4]提出了由編碼器、特征融合、全局網(wǎng)絡(luò)和局部網(wǎng)絡(luò)構(gòu)成的顏色轉(zhuǎn)換網(wǎng)絡(luò)模型,利用再現(xiàn)性顏色變換實(shí)現(xiàn)圖像增強(qiáng)。Li等[5]提出了可訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的LightenNet模型,該模型以低光照圖像作為輸入得到光照圖,并利用Retinex模型估計光照映射獲得圖像增強(qiáng)效果。張紅穎等[6]提出了HSV-RetinexNet模型,該模型將RGB圖像轉(zhuǎn)換成HSV分量,通過對V分量增強(qiáng)圖像照度,相關(guān)系數(shù)調(diào)整飽和度分量以增強(qiáng)圖像。黃輝先等[7]提出了AM-RetinexNet模型,該模型將低照度圖像分解為緩變平滑性光照圖和不變性反射圖,利用注意力機(jī)制增強(qiáng)圖像空間與局部信息,進(jìn)而實(shí)現(xiàn)圖像增強(qiáng)處理。以上算法對照度調(diào)節(jié)和細(xì)節(jié)處理效果較好,但處理后圖像易出現(xiàn)顏色失真,增強(qiáng)圖像整體光照分布不均、視覺不佳,無法滿足照度不均場景。

非物理模型以濾波增強(qiáng)和空間域圖像增強(qiáng)算法為代表[8-9]。其中,Babakhani等[10]提出了Gamma優(yōu)化模型,該模型利用Gamma曲線對圖像和非線性色調(diào)進(jìn)行編輯,將圖像暗部和亮部按比例調(diào)整以增強(qiáng)圖像;羅萍等[11]提出了優(yōu)化LOG模型,該模型利用各向異性的LOG算子與幾何學(xué)角度差進(jìn)行梯度計算,以實(shí)現(xiàn)圖像增強(qiáng)。直方均衡化HE模型[12]將原始圖像灰度值由相對集中的灰度區(qū)間均勻分布至整個灰度空間,實(shí)現(xiàn)圖像非線性拉伸,并重新分配圖像的像素值以增強(qiáng)圖像;自適應(yīng)CLAHE模型[13]通過對自適應(yīng)直方圖均衡模型設(shè)置閾值限制對比度,結(jié)合線性插值/雙線性插值方法優(yōu)化圖像塊與塊間過渡問題,實(shí)現(xiàn)圖像增強(qiáng)。馮麗等[14]提出了Laplacian模型,該模型使用圖像二次微分變形進(jìn)行銳化處理,利用鄰近像素關(guān)系處理對比度以增強(qiáng)圖像。以上算法雖在圖像色彩上保留一定優(yōu)勢,但增強(qiáng)后圖像存在整體偏黑、色彩飽和度較低、細(xì)節(jié)效果和圖像降噪效果不佳等問題。

為解決上述問題,研究利用HSV空間圖像三分量的相互獨(dú)立性分別使用非物理模型的直方均勻化和β權(quán)值自適應(yīng)計算方法對S分量的飽和度進(jìn)行整體視覺色彩修復(fù);使用非物理模型的直方均衡化方法對V分量亮度進(jìn)行均勻黑預(yù)處理,再使用改進(jìn)AM-RetinexNet進(jìn)行亮度增強(qiáng);將處理后的S分量和V分量結(jié)果與原始H分量進(jìn)行融合,并使用自適應(yīng)色彩恢復(fù)因子對增強(qiáng)RGB圖像進(jìn)行修正,得到整體色彩與照度增強(qiáng)的結(jié)果。通過構(gòu)建融合非物理模型的改進(jìn)AM-RetinexNet低照度圖像增強(qiáng)模型,能有效實(shí)現(xiàn)地下空間非均勻亮度低照度圖像增強(qiáng),一定程度上解決了現(xiàn)有圖像因照度分布不均引起的圖像增強(qiáng)整體效果較差的缺陷。

1 改進(jìn)算法實(shí)現(xiàn)

將非物理模型與物理模型融合,使用HSV模型[15]將圖像分解為H通道、S通道和V通道變量,利用三通道間相對獨(dú)立關(guān)系,改善增強(qiáng)后圖像的顏色失真、處理效果差的問題,實(shí)現(xiàn)圖像照度增強(qiáng),其模型架構(gòu)如圖1所示。

圖1 改進(jìn)算法架構(gòu)Fig.1 Architecture of the improved algorithm

由圖1可知,算法核心思路為:

① 將基于非物理模型的直方圖均衡化和β權(quán)值自適應(yīng)與物理模型融合實(shí)現(xiàn)圖像低照度增強(qiáng);

② 對V分量采用均勻黑思想的改進(jìn)AM-RetinexNet算法進(jìn)行亮度增強(qiáng),依次使用直方圖均衡化對V分量進(jìn)行亮度均勻黑處理,使用改進(jìn)AM-RetinexNet算法進(jìn)行亮度增強(qiáng),增強(qiáng)處理中使用NL-Means模型對V分量進(jìn)行降噪;

③ 利用自適應(yīng)色彩恢復(fù)方法對S分量和融合圖像進(jìn)行優(yōu)化,其中,S分量使用β權(quán)值自適應(yīng)調(diào)整圖像飽和度,融合RGB圖像使用顏色恢復(fù)因子實(shí)現(xiàn)自適應(yīng)色彩修復(fù)。

1.1 HSV色彩空間

為保留圖像低照度增強(qiáng)處理過程中細(xì)節(jié)信息和圖像色彩視覺效果,研究采用面向視覺感知的HSV模型將RGB圖像轉(zhuǎn)換為HSV分量分別進(jìn)行增強(qiáng)處理,計算如下:

(1)

(2)

V=Mmax,

(3)

式中,H,H′分別表示低照度圖像的色調(diào)分量和增強(qiáng)后的色調(diào)分量;S表示低照度圖像的飽和度分量;V表示低照度圖像的亮度分量;Mmax表示低照度圖像的R,G,B分量中最大值;Nmin表示低照度圖像的R,G,B分量中最小值。

1.2 S分量的自適應(yīng)調(diào)整

為解決色彩飽和度引起的圖像失真、色彩暗淡和主觀視覺不佳等問題,研究使用β權(quán)值自適應(yīng)拉伸函數(shù)[15]對飽和度分量進(jìn)行自適應(yīng),計算如下:

(4)

式中,S1表示自適應(yīng)后的圖像色彩飽和度分量;S表示低照度圖像色彩飽和度分量;α表示飽和度調(diào)節(jié)系數(shù),取值為2.73[15];β表示V分量計算的權(quán)重值。

1.3 V分量的增強(qiáng)處理

1.3.1 直方圖均衡化預(yù)處理

為避免增強(qiáng)后圖像亮度不均、局部增強(qiáng)效果不佳,研究使用直方均衡化[16]對V分量進(jìn)行預(yù)處理,得到均勻黑亮度圖,計算如下:

(5)

均勻化處理后的亮度分量V1low需滿足像素級動態(tài)范圍,其計算如下:

(6)

式中,V1low滿足在原始圖像亮度分量區(qū)間;P(V1low)表示均勻黑亮度分量的概率估計值。

通過像素級動態(tài)范圍調(diào)整結(jié)果引導(dǎo)V分量進(jìn)行預(yù)處理,得到均勻黑亮度分量圖V1low。

1.3.2 優(yōu)化的AM-RetinexNet模型

為增強(qiáng)圖像細(xì)節(jié)、有效降低圖像噪聲和模型訓(xùn)練時間,研究使用改進(jìn)AM-RetinexNet模型進(jìn)行亮度增強(qiáng)處理。

(1) 優(yōu)化的AM-RetinexNet網(wǎng)絡(luò)架構(gòu)

模型分為分解網(wǎng)絡(luò)和增強(qiáng)網(wǎng)絡(luò),網(wǎng)絡(luò)在RetinexNet[17]基礎(chǔ)上引入注意力機(jī)制對特征圖進(jìn)行強(qiáng)化,并使用NL-Means算法[18]進(jìn)行圖像降噪。其架構(gòu)如圖2所示。

圖2 輕量型的AM-RetinexNet結(jié)構(gòu)示意Fig.2 Schematic diagram of the lightweight AM-RetinexNet structure

由圖2可知,分解網(wǎng)絡(luò)采用Decom-Net網(wǎng)絡(luò)對V分量進(jìn)行分解。網(wǎng)絡(luò)通過反射率一致性原理共享網(wǎng)絡(luò)參數(shù),將低照度V分量圖V1low和正常V分量圖Vnormal分解為低照度圖像光照分量V1Ilow、反射分量V1Rlow、正常照度圖像光照分量VInormol和反射分量VRnormol,正常分量圖用于引導(dǎo)低照度分量訓(xùn)練。

考慮噪聲與模型訓(xùn)練時間問題,研究使用NL-Means對反射圖像V1Rlow進(jìn)行降噪。NL-Means利用圖像冗余信息,在降噪同時最大限度保留圖像細(xì)節(jié)特征。其處理過程為利用圖像中相似鄰域結(jié)構(gòu)像素的加權(quán)平均值計算像素估計值實(shí)現(xiàn)圖像降噪處理,計算如下:

V2R(x)=∑y∈Iε(x,y)*V1Rlow(y),

(7)

式中,V1Rlow為低照度反射圖的噪聲圖像;V2R為低照度反射圖的降噪結(jié)果;ε(x,y)為降噪處理的權(quán)值,計算如下:

(8)

式中,ε(x,y)值由以x,y為中心的低照度圖像矩形鄰域V(x),V(y)距離‖V(x)-V(y)‖2決定,計算如下:

v(y+z)‖2,

(9)

式中,z表示低照度反射圖降噪處理的歸一化系數(shù),計算如下:

(10)

式中,h用于控制高斯函數(shù)的衰減程度。經(jīng)過NL-Means處理,得到增強(qiáng)反射圖V2R。

增強(qiáng)網(wǎng)絡(luò)對反射分量V1Ilow進(jìn)行處理,增強(qiáng)網(wǎng)絡(luò)在U-Net[7]架構(gòu)上引入注意力機(jī)制(AM層)改善網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)對亮度空間信息感知。AM層將空間域上的光照分布、空間結(jié)構(gòu)信息引入網(wǎng)絡(luò),擴(kuò)大特征信息,使網(wǎng)絡(luò)對物體空間信息更加敏感,以增強(qiáng)圖像細(xì)節(jié)信息,減少圖像色塊和邊界扭曲,計算如下:

Fl+1,AM(i,j)=(ωl,AM+1)×[Fl(i,j)×ωl+1+z],

(11)

(12)

式中,F(xiàn)l+1和Fl分別表示第l+1層卷積輸出和第l層的輸入;ωl,AM表示第l層加入AM權(quán)重的VIlow(i,j)照度特征;Fl+1,AM(i,j)為第l+1層加入AM層特征圖。AM層中圖像塊距離計算式為:

(13)

式中,xi,xj表示低照度光照圖的特征點(diǎn);f(xi,xj)表示相似系數(shù),當(dāng)且僅當(dāng)f(xi,xj)=exp(xixj)可計算待測像素與其他像素點(diǎn)之間的距離。

U-Net架構(gòu)[19-20]采用上下采樣路徑對稱結(jié)構(gòu)對特征通道數(shù)翻倍進(jìn)而提升特征圖分辨率。上下采樣層之間設(shè)復(fù)制與修剪通路實(shí)現(xiàn)特征圖直接在采樣路徑間傳遞,使上采樣網(wǎng)絡(luò)有效推斷丟失像素,獲得高分辨率光照圖像V2I。

下采樣使用大小和補(bǔ)償為2的最大池化層處理,每組下采樣塊由2層3×3 unpadded卷積層和ReLU組成,使每組下采樣塊進(jìn)行一次卷積后,其特征圖通道數(shù)增加1倍,當(dāng)網(wǎng)絡(luò)獲取大尺度光照分布后對輸入圖像依次下采樣到小尺度。

上采樣處理采用多組調(diào)整圖像尺寸的卷積層處理,每組上采樣先使用2×2 up-convolution將V分量光照圖的分辨率翻倍、通道數(shù)減半,并與收縮網(wǎng)絡(luò)中對應(yīng)位置的編碼器進(jìn)行卷積,輸出特征圖concatenation。

上下采用處理過程以元素求和從下采樣塊中引入鏈接與上采樣塊映射,強(qiáng)制網(wǎng)絡(luò)進(jìn)行殘差學(xué)習(xí),并通過收縮路徑捕獲上下文信息。收縮路徑交替進(jìn)行卷積和池化運(yùn)算,并使用Overlap-tile策略[21]將特征圖裁剪后拼接到擴(kuò)張網(wǎng)絡(luò)特征圖,結(jié)合跳躍連接實(shí)現(xiàn)上采樣特征和收縮路徑的高分辨率特征圖融合,提高輸出圖像分辨率。

(2)訓(xùn)練評價參數(shù)

模型參考RetinexNet[17]損失函數(shù),分為分解損失和重建損失,其中,分解損失用于控制反射圖與光照圖的分解效果[7],計算如下:

Li=‖V1Rlow-VRnormal‖1,

(14)

式中,Li表示圖像增強(qiáng)的分解損失函數(shù);‖·‖1表示1-范數(shù)。

重建損失用于控制反射圖和光照圖的增強(qiáng)與重建效果,計算如下:

(15)

式中,Lj表示圖像增強(qiáng)處理的重建損失函數(shù);V1Ilow×V1Rlow表示低照度圖V1low;(VSnormal)i表示圖像歸一化處理結(jié)果;(V1Ilow×V1Rlow)i表示圖像歸一化后的結(jié)果。為避免像素色彩超出色域范圍,將圖像歸一化至[0,1],確保像素值有上界。

總損失函數(shù)由分解損失函數(shù)和重建損失函數(shù)構(gòu)成,計算如下:

L=ωiLi+ωjLj,

(16)

式中,Li,Lj分別表示V分量圖像的分解損失函數(shù)和重建損失函數(shù);ωi,ωj分別為分解損失和重建損失的權(quán)重值,其值設(shè)為ωi=2,ωj=1.5最佳[7]。

將處理后的V2I和V2R相乘得到增強(qiáng)亮度分量圖像V2,計算如下:

V2=V2R*V2I。

(17)

為避免圖像融合過程中邊緣不平滑情況,研究利用平滑卷積對V2平滑處理,計算如下:

(18)

V3=V2?Z,

(19)

式中,V2為2個亮度分量的融合結(jié)果;Z為卷積濾波器的卷積核;?為卷積操作;V3為平滑處理后分量圖。

1.4 分量融合與自適應(yīng)色彩恢復(fù)

經(jīng)平滑處理得到V3,將H處理后的S1,V3轉(zhuǎn)換回RGB空間,得到照度和色彩飽和度增強(qiáng)圖像。該圖像在色彩比例上存在一定的失調(diào)和失真,研究使用顏色恢復(fù)因子[22]Cδ對圖像的R,G,B分量進(jìn)行進(jìn)一步色彩修正,計算如下:

(20)

式中,G表示增益參數(shù);λ用于調(diào)節(jié)圖像亮度;c表示R,G,B三種顏色調(diào)節(jié)比重值;Sδ(n,m)表示輸入圖像的R,G,B色彩分量。將色彩恢復(fù)因子帶入色彩恢復(fù)公式進(jìn)行處理,得到自適應(yīng)R,G,B結(jié)果,計算如下:

Fδ(i,j)=Cδ(i,j)Rδ(i,j),

(21)

式中,Rδ(n,m)表示顏色恢復(fù)前增強(qiáng)圖像的R,G,B顏色分量;δ取值為(1,2,3);Fδ(n,m)代表恢復(fù)后的顏色分量,將三分量進(jìn)行融合得到最終低照度增強(qiáng)結(jié)果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

研究采用Intel i7 8700 CPU、32 GB內(nèi)存和PaddlePaddle平臺2 GB GPU資源,使用自建地下空間數(shù)據(jù)集DCIM、開源數(shù)據(jù)集LOL以及自建數(shù)據(jù)集進(jìn)行模型訓(xùn)練,其中自建數(shù)據(jù)集1 052張,數(shù)據(jù)以訓(xùn)練集與測試集7∶3比例進(jìn)行隨機(jī)分配,并使用OpenCV,TensorFlow和Pytorch框架進(jìn)行訓(xùn)練。

2.2 評價模型

研究使用互信息(MI)、標(biāo)準(zhǔn)差(STD)、結(jié)構(gòu)相似性(SSIM)、平均梯度(AG)、空間頻率(SF)和峰值信噪比(PSNR)[23]對圖像進(jìn)行評價。其中,MI用于度量低照度增強(qiáng)的2幅圖像之間的相似程度值越高,越接近原圖,計算如下:

MI=H(A)+H(B)-H(A,B),

(22)

式中,A,B分別表示原始圖像和增強(qiáng)圖像;H(A),H(B)表示對應(yīng)圖像的信息熵;H(A,B)表示聯(lián)合信息熵。

STD用于度量低照度增強(qiáng)處理后像素分布的分散程度,計算如下:

(23)

式中,N表示x的數(shù)量;xε表示圖像數(shù)據(jù);μ表示算術(shù)平均值。

SSIM用于衡量2幅圖像的相似度,值越大,越接近原圖,計算如下:

(24)

AG用于衡量融合圖像的清晰程度,值越大,圖像還原越清晰,計算如下:

(25)

式中,H表示融合圖像;M與N分別表示圖像的高和寬;H(i,j)表示第i行第j列的像素值。

SF反映圖像灰度的變化程度,值越大,效果越佳,計算如下:

(26)

PSNR用于衡量圖像質(zhì)量及降噪效果,值越大效果越佳,計算如下:

(27)

式中,MSE為原圖像與處理圖像之間均方誤差。

2.3 不同算法不同數(shù)據(jù)集性能分析

研究在相同實(shí)驗(yàn)環(huán)境下對自建數(shù)據(jù)集、開源數(shù)據(jù)集DICM和LOL分別采用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改進(jìn)算法實(shí)現(xiàn)圖像全局增強(qiáng)處理和局部增強(qiáng)處理,結(jié)果如圖3和圖4所示。

圖3 不同算法不同數(shù)據(jù)集的全局增強(qiáng)處理Fig.3 Global enhancement processing diagram for different data sets with different algorithms

圖4 不同算法不同數(shù)據(jù)集的局部放大增強(qiáng)處理Fig.4 Local magnification enhancement processing diagram for different datasets of different algorithms

由圖3肉眼分析可知,3種數(shù)據(jù)集使用Laplacian算法進(jìn)行照度增強(qiáng)無明顯增強(qiáng)變化;CLAHE算法、直方均衡化HE算法、LOG算法和經(jīng)典Retinex算法雖在照度處理上有一定提升,但出現(xiàn)泛白及視覺光照過亮等情況,在增強(qiáng)后圖像中餐桌、墻體和車頭存在明顯噪聲,且圖像顏色偏藍(lán)、色彩飽和度失真較為嚴(yán)重;RCTNet算法和Zero-DCE算法有一定增強(qiáng)效果,在一定程度上還原色彩飽和度,但增強(qiáng)圖像局部過亮、肉眼感官不佳。改進(jìn)算法的色彩飽和度、圖像整體增強(qiáng)效果最符合原圖,細(xì)節(jié)較為清晰,改進(jìn)算法在全局圖像增強(qiáng)的主觀評價上具有一定優(yōu)勢。

由圖4可知,局部放大增強(qiáng)圖像處理中,Laplacian和CLAHE整體照度較低、圖像增強(qiáng)效果不明顯,LOG,Retinex,RCTNet以及Zero-DCE增前后圖像噪聲明顯、較模糊。LOL和DICM數(shù)據(jù)集的正常圖和改進(jìn)算法增強(qiáng)圖從肉眼觀看,色彩飽和度幾乎沒有差異,整體保留圖像的一定細(xì)節(jié)信息,降噪效果明顯。改進(jìn)算法較傳統(tǒng)算法而言,其局部放大圖像增強(qiáng)可較好恢復(fù)圖像色彩飽和度、圖像對比度,圖像整體亮度感官較均勻,整體色彩、細(xì)節(jié)和亮度恢復(fù)與正常圖最為吻合,改進(jìn)算法在圖像局部放大增強(qiáng)處理上具有一定價值性。

2.3.1 不同算法全局圖像增強(qiáng)客觀評價

為驗(yàn)證各算法性能,研究對自建數(shù)據(jù)集、開源數(shù)據(jù)集LOL和DICM在相同實(shí)驗(yàn)環(huán)境下分別使用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改進(jìn)算法對圖像全局進(jìn)行增強(qiáng)處理,處理后采用客觀評價指標(biāo)MI,STD,SSIM,AG,SF和PSNR進(jìn)行分析,結(jié)果保留2位小數(shù),如表1所示。

表1 不同算法對3種數(shù)據(jù)集圖像全局增強(qiáng)處理評價分析Tab.1 Evaluation and analysis of global enhancement image processing for three datasets by different algorithms

由表1可知,自建數(shù)據(jù)集的全局圖像效果最佳為改進(jìn)算法,圖像評價指標(biāo)MI,STD,SSIM,AG,SF,PSNR值分別為5.97,76.40,0.63,13.25,37.87,38.67;改進(jìn)算法較效果最佳的低照度圖像增強(qiáng)算法而言,整體分別提升1.53%,10.80%,6.78%,45.29%,11.74%和8.13%;較傳統(tǒng)算法而言,整體分別提升10.27%,56.32%,41.02%,177.46%,382.39%,25.80%。

DICM開源數(shù)據(jù)集的全局圖像增強(qiáng)處理效果最佳為改進(jìn)算法,圖像評價指標(biāo)MI,STD,SSIM,AG,SF,PSNR值分別為5.54,74.18,0.61,12.66,35.85,39.27;改進(jìn)算法較傳統(tǒng)最佳的低照度圖像增強(qiáng)算法而言,整體分別提升6.74%,13.88%,22.00%,31.19%,17.66%,2.99%;較傳統(tǒng)算法而言,整體分別提升31.63%,51.31%,125.80%,207.13%,77.46%,29.60%。

LOL開源數(shù)據(jù)集的全局圖像增強(qiáng)處理效果最佳仍為改進(jìn)算法,圖像評價指標(biāo)MI,STD,SSIM,AG,SF,PSNR值分別為6.21,56.11,0.66,11.12,35.83,41.89;改進(jìn)算法較效果最佳的低照度圖像增強(qiáng)算法而言,整體分別提升2.81%,4.82%,15.79%,33.65%,17.59%,1.60%;較傳統(tǒng)算法而言,整體分別提升19.78%,50.59%,82.29%,131.90%,77.36%,35.43%。

改進(jìn)算法在自建數(shù)據(jù)集、開源DICM和LOL數(shù)據(jù)集的全局圖像處理中,較效果最佳的低照度圖像增強(qiáng)算法而言,MI,STD,SSIM,AG,SF,PSNR整體分別提升3.70%,9.83%,14.86%,36.71%,15.66%,4.24%。改進(jìn)算法的細(xì)節(jié)處理、色彩恢復(fù)、圖像降噪和照度增強(qiáng)處理整體效果最佳,色偏最小,改進(jìn)算法在低照度圖像增強(qiáng)中有一定優(yōu)勢。

2.3.2 不同數(shù)據(jù)集不同算法局部放大增強(qiáng)客觀分析

為驗(yàn)證各算法性能,研究對自建數(shù)據(jù)集、開源數(shù)據(jù)集LOL和DICM在相同實(shí)驗(yàn)環(huán)境下分別使用Laplacian算法[14]、CLAHE算法[13]、LOG算法[11]、Retinex算法[2]、直方均衡化HE算法[12]、RCTNet算法[4]、Zero-DCE算法[3]以及改進(jìn)算法對局部放大圖像進(jìn)行增強(qiáng)處理,處理后采用客觀評價指標(biāo)MI,STD,SSIM,AG,SF,PSNR進(jìn)行分析,結(jié)果保留2位小數(shù),如表2所示。

表2 不同算法對3種數(shù)據(jù)集的局部放大圖像處理評價分析Tab.2 Evaluation and analysis of local magnification image processing for three datasets by different algorithms

由表2可知,自建數(shù)據(jù)集的局部圖像增強(qiáng)處理效果最佳為改進(jìn)算法,圖像評價指標(biāo)MI,STD,SSIM,AG,SF,PSNR值分別為6.07,73.24,0.61,11.24,35.54,37.83;改進(jìn)算法較效果最佳的低照度圖像增強(qiáng)算法而言,整體分別提升1.16%,47.17%,0.33%,35.33%,88.83%,1.67%;較傳統(tǒng)算法而言,整體分別提升12.52%,49.26%,35.09%,123.89%,87.38%,47.89%。

DICM開源數(shù)據(jù)集的局部圖像增強(qiáng)處理效果最佳為改進(jìn)算法,圖像評價指標(biāo)MI,STD,SSIM,AG,SF,PSNR值分別為7.32,87.70,0.45,20.05,36.84,37.83;較效果最佳的低照度圖像增強(qiáng)算法而言,整體分別提升5.67%,69.33%,0.67%,3.00%,92.00%,10.00%;較傳統(tǒng)算法而言,整體分別提升24.25%,186.68%,145.65%,383.90%,93.16%,44.11%。

LOL開源數(shù)據(jù)集的局部圖像增強(qiáng)處理效果最佳仍為改進(jìn)算法,圖像評價指標(biāo)MI,STD,SSIM,AG,SF,PSNR值分別為6.02,56.13,0.43,11.43,37.28,39.83;改進(jìn)算法較效果最佳的低照度圖像增強(qiáng)算法而言,整體分別提升0.50%,4.83%,0.33%,6.00%,65.33%,26.50%;較傳統(tǒng)算法而言,整體分別提升13.31%,59.14%,113.62%,187.22%,76.52%,50.79%。

改進(jìn)算法在自建數(shù)據(jù)集、開源DICM和LOL數(shù)據(jù)集的局部圖像放大增強(qiáng)處理上,較效果最佳的低照度圖像增強(qiáng)算法而言,MI,STD,SSIM,AG,SF,PSNR值平均分別提升2.44%,40.44%,0.44%,14.78%,82.06%,12.72%。改進(jìn)算法在細(xì)節(jié)處理、圖像降噪處理、圖像色彩恢復(fù)和整體亮度增強(qiáng)最佳,對低照度圖像增強(qiáng)處理具有明顯優(yōu)勢。

2.4 消融實(shí)驗(yàn)分析

本模型在RetinexNet基礎(chǔ)上通過改進(jìn)AM-Retinex架構(gòu)對HSV空間進(jìn)行增強(qiáng)處理。為驗(yàn)證本研究相較基礎(chǔ)模型對圖像增強(qiáng)有更好效果,將研究算法與RetinexNet[17]、AM-RetinexNet[7]以及HSV-RetinexNet[6]模型進(jìn)行對比實(shí)驗(yàn),實(shí)驗(yàn)使用自建數(shù)據(jù)集、DICM數(shù)據(jù)集和LOL數(shù)據(jù)集進(jìn)行全局處理和局部放大處理驗(yàn)證,結(jié)果如圖5和圖6所示。由圖5和圖6可知,引入注意力機(jī)制的AM-Retinex算法與本文算法,其圖像低照度增強(qiáng)處理主觀視覺和色差處理效果更佳。此外,改進(jìn)算法的圖像細(xì)節(jié)效果最佳、降噪效果最明顯,最符合正常圖。

圖5 消融實(shí)驗(yàn)全局圖像增強(qiáng)效果對比Fig.5 Comparison of enhancement effect for global image in ablation experiment

圖6 消融實(shí)驗(yàn)局部放大增強(qiáng)效果對比Fig.6 Comparison of local amplification and enhancement effect in ablation experiment

為保證客觀性能,實(shí)驗(yàn)選用MI,SSIM,AG,PSNR和平均檢測時間5個指標(biāo)對3種數(shù)據(jù)集低照度圖像增強(qiáng)的平均效果進(jìn)行定量評價,評價數(shù)據(jù)保留2位小數(shù),如表3所示。

表3 消融實(shí)驗(yàn)評價分析Tab.3 Evaluation and analysis of ablation experiment

由表3可知,消融實(shí)驗(yàn)的單張圖像平均檢測時間最佳為RetinexNet,次之改進(jìn)算法,最長為AM-RetinexNet,改進(jìn)算法單張圖像平均檢測時間雖較最佳算法RetinexNet增加了0.72 s,效率降低2.2%。但改進(jìn)算法在圖像增強(qiáng)處理上,3個數(shù)據(jù)集處理的平均MI,SSIM,AG,PSNR結(jié)果最優(yōu),分別達(dá)到6.18,0.56,13.29,39.22,改進(jìn)算法較其他消融實(shí)驗(yàn)算法而言,平均MI,SSIM,AG,PSNR整體分別提升7.7%,10.0%,75.8%,17.4%。改進(jìn)算法低照度增強(qiáng)的細(xì)節(jié)更佳、降噪效果更好,色彩修正以及整體亮度增強(qiáng)更符合正常圖,改進(jìn)算法在整體增強(qiáng)處理上有明顯優(yōu)勢。

3 結(jié)論

研究針對低照度圖像亮度分布不均、增強(qiáng)后圖像噪聲大和色彩不佳問題,構(gòu)建了基于HSV空間的改進(jìn)AM-RetinexNet圖像增強(qiáng)算法。為保留圖像色彩飽和度,引入自適應(yīng)β系數(shù)進(jìn)行飽和度自適應(yīng);為提升圖像分辨率、增強(qiáng)整體視覺效果、降低噪聲,利用融合直方均衡化的改進(jìn)AM-RetinexNet算法進(jìn)行亮度處理,并利用平滑卷積進(jìn)行銳化處理;最后為增強(qiáng)整體色彩,對處理后RGB圖像進(jìn)行色彩修正,得到最終低照度增強(qiáng)圖像。

在3個數(shù)據(jù)集上進(jìn)行全局增強(qiáng)和局部放大增強(qiáng)對比實(shí)驗(yàn)。與基礎(chǔ)RetinexNex算法相比,能有效修正色偏、降低圖像噪聲。改進(jìn)算法在MI,STD,SSIM,AG,SF,PSNR評價指標(biāo)上表現(xiàn)更佳。與其他傳統(tǒng)低照度圖像增強(qiáng)算法相比,圖像整體亮度增強(qiáng)效果明顯,圖像分辨率較高、色彩修正效果最佳,且單張圖片檢測時間無較大增加。

本研究除能很好地應(yīng)用于地下空間圖像增強(qiáng)外,還能應(yīng)用于夜間圖像、水下圖像增強(qiáng)領(lǐng)域。研究在實(shí)驗(yàn)上依賴大量的數(shù)據(jù)進(jìn)行訓(xùn)練,模型訓(xùn)練所花費(fèi)時間仍較長,有待進(jìn)一步改進(jìn)。

猜你喜歡
圖像增強(qiáng)照度亮度
圖像增強(qiáng)技術(shù)在超跨聲葉柵紋影試驗(yàn)中的應(yīng)用
水下視覺SLAM圖像增強(qiáng)研究
虛擬內(nèi)窺鏡圖像增強(qiáng)膝關(guān)節(jié)鏡手術(shù)導(dǎo)航系統(tǒng)
恒照度智慧教室光環(huán)境
光源與照明(2019年4期)2019-05-20 09:18:24
亮度調(diào)色多面手
電子投影機(jī)照度測量結(jié)果的不確定度評定
電子測試(2018年9期)2018-06-26 06:45:40
基于圖像增強(qiáng)的無人機(jī)偵察圖像去霧方法
亮度一樣嗎?
基于斬波調(diào)制的LED亮度控制
人生的亮度
云霄县| 新泰市| 尼玛县| 边坝县| 绥阳县| 乌苏市| 桂阳县| 普兰店市| 乌兰察布市| 社会| 安陆市| 余姚市| 萨迦县| 卢龙县| 章丘市| 舞阳县| 千阳县| 井陉县| 大庆市| 虎林市| 化隆| 成安县| 浪卡子县| 张家口市| 新疆| 叶城县| 天气| 黄平县| 洛阳市| 康平县| 哈巴河县| 四川省| 永新县| 长阳| 公安县| 高阳县| 遵化市| 南阳市| 广宁县| 祥云县| 灵寿县|