王若狀,臧景峰,張朋朋

(長春理工大學 電子信息工程學院,長春 130022)

Keywords: non-uniform illumination; adaptive Gamma correction; simulated exposure image; multi-exposure fusion; guided filtering

非均勻光照圖像通常指由于拍攝時光照不均或曝光不當?shù)仍虍a生的低質量圖像,常見的如逆光、低光照、非均勻照明等場景,這些圖像普遍存在亮度不均、對比度低、圖像細節(jié)信息被掩蓋等問題.為改善這類圖像的視覺效果,復原圖像信息,許多研究者針對該問題提出了圖像增強方案.目前,關于非均勻光照的圖像增強主要包括以下幾類算法:

1) 基于直方圖均衡(histogram equalization,HE)的增強算法,基于圖像直方圖改變像素值的分布情況,擴寬圖像的動態(tài)范圍,從而達到照度增強的目的,該類方法較簡單,但其作用范圍是圖像全局,存在色彩失真、放大噪聲等問題;

2) 基于大氣散射模型(atmospheric dispersion model,ADM)的算法,該模型最初源于暗通道去霧模型[1],之后基于非均勻光照圖像取反后與霧天圖像在亮度分布上具有相似性理論,衍生出基于單通道和雙通道先驗的非均勻光照圖像增強算法,但該類方法的理論假設在物理上并不合理,因此增強后需要進行后處理強化[2];

3) 基于照度反射模型Retinex理論,認為圖像成像值可表示為場景光照分量和場景反射分量的乘積,傳統(tǒng)基于Retinex的增強方法通過去除光照分量并增強反射分量達到增強效果[3-4],但存在易出現(xiàn)過度增強及細節(jié)失真等問題;

4) 基于深度學習(deep learning,DL)的方法,該類方法需要設計合理的網(wǎng)絡模型,且依賴于非均勻光照圖像數(shù)據(jù)集資源和較強的計算能力,也是近年較熱門的研究方法[5].

此外,多曝光融合(multi exposure fusion)的方法,多用于實現(xiàn)高動態(tài)范圍(high dynamic range,HDR)顯示,通過融合在不同曝光時間下捕獲的場景細節(jié),能有效擴展圖像的動態(tài)范圍,該技術目前也較多用于非均勻光照圖像增強.Huang等[6]對曝光圖像序列的單張圖像分別進行對比度提取、結構保持和強度調整操作,并使用局部權重、全局權重和顯著性權重融合結構保持和強度調整的圖塊,最終將三部分進行融合得到增強圖像,但存在色彩失真的問題; Yang等[7]借助強度映射函數(shù)將兩張圖像生成曝光時間相同的兩張?zhí)摂M中間圖像,使用權重合并兩張圖像為最終的虛擬圖像,使用質量因子權重估計對兩張初始圖像和合成的虛擬圖像,但會出現(xiàn)色彩失真、視覺效果略差的問題; Lee等[8]根據(jù)每張圖像與曝光圖像序列的其他圖像的整體亮度關系及全局梯度范圍大小分別確定權重,將兩類權重結合作為該圖像在融合過程的最終權重,能取得較好的融合效果,但具有一定的計算復雜度,且會出現(xiàn)光暈現(xiàn)象; Li等[9]提出了改進的曝光融合權重計算方法,使用結合自適應直方圖均衡的Laplace濾波結果作為對比度權重,并提出將圖像信息熵作為一種新的權重代替?zhèn)鹘y(tǒng)權重中的飽和度權重,最終的融合結果與傳統(tǒng)權重度量方法相比在主觀視覺上增強效果并不顯著; Lü[10]通過對傳統(tǒng)權重圖使用函數(shù)映射構建加權的高斯金字塔,根據(jù)圖像差和二維信息熵優(yōu)化權重圖以消除運動偽影,并基于圖像對比度進行自適應細節(jié)增強,取得了較好的融合效果; Liu等[11]提出一種注意力引導的全局-局部對抗性曝光融合學習網(wǎng)絡,先通過注意力權重獲取粗融合結果,再使用邊緣損失函數(shù)改進融合過程增強邊緣信息,并通過全局-局部學習糾正顏色失真,取得了較好的融合效果.

傳統(tǒng)使用拍攝的曝光序列融合方法需要場景相對穩(wěn)定,否則在融合后會出現(xiàn)偽影.本文基于相機響應模型可由單張圖像直接生成模擬的曝光序列,避免了該問題,同時結合改進的自適應伽馬校正、動態(tài)曝光區(qū)域分割閾值和曝光融合方法,有效解決了非均勻光照圖像視覺效果較差的問題.本文算法的流程如圖1所示.

圖1 本文算法流程Fig.1 Flow chart of proposed algorithm

1 模擬曝光融合圖像增強算法

1.1 顏色空間轉換

從像素水平分析,相同場景下不同曝光度的圖像顏色信息基本不變,只是亮度差異顯著,因此對多曝光圖像序列只需處理圖像的亮度信息而保留顏色信息,以保證在增強圖像亮度細節(jié)的基礎上不改變圖像的原始色彩信息,而通常計算機處理的彩色圖像都是用RGB顏色空間表示的,其主要問題是三通道彩色分量高度線性相關,不適于分離亮度與顏色信息.

HSV顏色空間是根據(jù)人對顏色的感知特性進行描述的,由色調(H)、飽和度(S)和明度(V)三個分量合成,其中明度V是對物體發(fā)光或光照輻射進行描述,能反映圖像場景的亮度信息,同時與兩個顏色描述分量具有良好的獨立性,符合本文對顏色空間的設計要求,因此本文將待處理圖像轉換至HSV空間并對V分量進行增強處理.

1.2 相機響應模型

相機響應函數(shù)(camera response function,CRF)可描述為相機傳感器輻照度與圖像像素之間的非線性映射關系:

P(x,y)=f(E(x,y)),

(1)

其中P(x,y)表示成像像素值,E(x,y)表示場景輻射強度,f(·)表示相機響應函數(shù).

文獻[12]提出用亮度變換函數(shù)(bright transform function,BMF)間接估計CRF,是目前應用較廣的一種CRF模型,表示為

PN=g(PM,k),

(2)

并有

PN=f(kE),

(3)

其中PN和PM為僅曝光不同的兩張圖像,g(·)為BMF函數(shù),k為由PM生成PN的曝光率,E為場景輻射強度.參照伽馬校正,將g(·)擬合為

(4)

其中β,γ為參數(shù)因子.由式(2)～(4)有

(5)

即BTF可表示為

(6)

其中Px表示基礎圖像為P0、曝光率為kx時對應的模擬曝光圖像.實驗表明,滿足參數(shù)a=-0.329 3,b=1.125 8時,該模型可適用于大部分相機.

1.3 模擬曝光序列

由于原圖像可以包含場景最多的細節(jié)信息,而模擬曝光圖像將不可避免地導致圖像細節(jié)損失,因此直接使用原圖像作為曝光序列的一張圖像,能補償曝光序列中其他圖像在細節(jié)上的不足,下面通過自適應伽馬校正和相機響應模型分別生成中等曝光與過曝光圖像.

1.3.1 自適應伽馬校正

傳統(tǒng)的伽馬校正由于其參數(shù)固定,對不同的圖像采用相同參數(shù)的非線性變換,即對不同圖像的亮度校正程度不變,這對后續(xù)的圖像增強處理顯然不合適.因此,本文改進文獻[13]的自適應伽馬校正方法,對待增強圖像的V分量進行處理.

T=|V*hL|,

(7)

(8)

其中:hL為3×3離散Laplace濾波核;T為對比度度量值;C1為劃分的低對比度圖像集,C2為劃分的中等對比度圖像集,V∈C;θ為閾值參數(shù),取θ=50.

其次,使用對比度決定伽馬值,相比于文獻[13],本文對低對比度圖像伽馬值進行補償,即

(9)

其中γ為計算的伽馬值,μ,σ分別為V的均值和標準差.

最后,使用均值μ作為明暗度度量,決定伽馬校正系數(shù)K,即

(10)

因此,自適應伽馬校正結果為

V*=KVγ.

(11)

經自適應伽馬校正的處理結果V*整體上已具備了良好的曝光水平,將其作為中等曝光圖像.

1.3.2 過曝光圖像

用自適應閾值劃分過曝光區(qū)域,對于曝光度較好的像素點,其歸一化均值接近于0.5.本文采用的動態(tài)過曝光劃分閾值表示為

(12)

V′={(x,y)|V(x,y)>t}.

(13)

由于用最佳曝光率拍攝的圖像將包含最大的信息量,因此采用最大信息熵表征最多的圖像信息量,計算最佳曝光值,根據(jù)式(6)生成過曝光圖像的曝光率為

(14)

其中H(·)為信息熵函數(shù).

由上述計算可得中等曝光亮度V*和過曝光亮度V″,再結合顏色分量H,S轉換為RGB空間,并與原圖像I組成曝光圖像序列{I,I*,I″}.逆光場景下模擬合成的曝光序列如圖2所示.

圖2 逆光場景下模擬合成的曝光序列Fig.2 Exposure sequence of simulated synthesis in backlight scene

1.4 曝光融合

曝光融合的目的是利用多曝光序列之間亮度的互補關系,按照權重分配融合不同曝光度的圖像,最終使圖像各區(qū)域呈現(xiàn)出適宜曝光條件下的成像效果.文獻[15]采用了基于質量度量和雙金字塔融合框架的曝光融合方法,但該方法獲得的融合圖像可能會在明暗交界等亮度變化明顯的區(qū)域出現(xiàn)光暈現(xiàn)象.本文使用改進的質量度量方法構建權重圖,并使用改進導向濾波優(yōu)化權重,最終結合細節(jié)增強得到沒有光暈影響的融合圖像.

1.4.1 基于質量度量的權重合成

本文用對比度、飽和度和良好曝光度作為圖像質量度量指標計算多曝光序列{Ik}的權重圖.使用離散Laplace濾波器提取{Ik}的邊緣細節(jié),并取響應的絕對值表征圖像的邊緣變化,作為對比度度量,根據(jù)式(7)有

(15)

其中:ωc,k為對比度度量;i為顏色通道值,i={R,G,B};

由于過曝光和欠曝光區(qū)域在色彩上通常表現(xiàn)為欠飽和,因此使用RGB顏色通道的標準平方差度量飽和度,即

(16)

(17)

(18)

其中η=5×10e-6.

1.4.2 基于導向濾波的權重優(yōu)化

用上述方法得到初始權重直接融合的結果具有嚴重的斑塊效應,因此需對初始權重進行優(yōu)化.導向濾波[16]基于濾波結果在局部與導向圖像保持一定線性關系的關鍵假設,構建自適應濾波核,當導向圖像為輸入圖像本身時,濾波結果在平滑的同時能保持圖像邊緣,本文采用導向濾波優(yōu)化權重圖,即

Qi=akWi+bk, ?i∈φk,

(19)

其中:ak,bk為以i為像素中心、半徑為r的局部窗體φk上的常量線性系數(shù);Qi為初始權重的導向濾波結果,可知Qi的邊緣信息只來自于初始權重Wi.

基于最小二乘法進行系數(shù)擬合,即

(20)

其中E(ak,bk)為誤差函數(shù),ε為正則化參數(shù),用以約束平滑力度ak.由于傳統(tǒng)導向濾波中參數(shù)ε是固定的,即對于邊緣強弱的約束能力不變,會導致部分區(qū)域過平滑而出現(xiàn)光暈,因此本文根據(jù)導向圖像的梯度圖獲取紋理信息,對參數(shù)ε進行自適應調整[17],即

(21)

其中G(x,y)為梯度函數(shù).經式(20),(21)計算得:

(22)

(23)

由于所有重疊窗口中均包含像素i,需進行取均值處理,因此最終的優(yōu)化權重為

(24)

從而融合圖像表示為

(25)

實驗結果表明,經過上述融合過程得到的增強結果相比于原圖像會出現(xiàn)一定程度上的細節(jié)損失,因此本文使用基于高斯濾波差分的多尺度細節(jié)[18]提升算法,得到輸入圖像的細節(jié)圖像:

D=(1-λ1×sgn(D1))×D1+λ2×D2+λ3×D3,

(26)

其中D為根據(jù)輸入圖像計算的細節(jié)圖像,Di(i=1,2,3)為對應高斯核循環(huán)計算的差分圖像,權重λ1=λ2=0.5,λ3=0.25.因此,最終經過細節(jié)增強處理的增強結果為

(27)

圖像光暈消除前后結果對比如圖3所示.

圖3 圖像光暈消除前后結果對比Fig.3 Comparison of results before and after image halo elimination

2 實驗與分析

本文基于PC平臺(Windows10系統(tǒng),Intel(R) Core(TM) i5-7200U CPU@ 2.70 GHz處理器,8 GB內存)上的MATLAB 2016b進行實驗驗證,并與LIME[19],CRM[12],CEA[14],BIMEF[20],NPLIE[21]幾類經典算法從主觀和客觀方面對實驗結果進行對比分析.低照度場景圖像增強結果及細節(jié)對比如圖4和圖5所示.逆光場景圖像增強結果及細節(jié)對比如圖6～圖9所示.由圖4～圖9可見,在不同場景下本文算法的效果均最好.

2.1 主觀因素

圖4 低照度場景圖像增強結果及細節(jié)對比1Fig.4 Image enhancement results and detail comparison 1 in low illumination scenes

圖5 低照度場景圖像增強結果及細節(jié)對比2Fig.5 Image enhancement results and detail comparison 2 in low illumination scenes

對于圖4場景,由于LIEM算法亮度提升的程度過大,因此使得場景相對并不自然,CRM,CEA,BIMEF和NPLIE算法整體仍偏暗,樹葉、墻壁、白色建筑等部分顏色信息和對比度不突出,本文算法場景相對自然,圖像細節(jié)信息相對突出.對于圖5場景,LIME算法對云的形態(tài)細節(jié)、輪廓及顏色過分突出,場景不自然,CRM算法在圖像邊緣出現(xiàn)了大面積光暈,CEA算法細節(jié)保留較好,但圖像偏暗,NPLIE和本文算法在顏色、場景輪廓等細節(jié)信息上更豐富.對于圖6場景,LIME算法同樣增強過度,CRM算法也出現(xiàn)了一定的光暈,CEA和NPLIE算法在建筑體上相對較暗,本文算法在保留圖像細節(jié)信息的基礎上,圖像飽和度較好,顏色信息更突出.對于圖7場景,幾類算法處理結果相近,相比之下LIME算法仍增強過度,CRM算法仍出現(xiàn)了光暈,CEA和BIMEF算法在墻體建筑區(qū)域偏暗,NPLIE與本文算法在對應區(qū)域顏色飽和,細節(jié)清楚.對于圖8場景,幾類算法對窗體亮光區(qū)域沒有過度放大,CRM,CEA和BIMEF算法表現(xiàn)得偏暗,本文算法色彩飽和,在吊燈等場景的邊緣細節(jié)突出.對于圖9場景,CEA,BIMEF和NPLIE算法能復原場景的細節(jié)信息,但相對偏暗,LIME算法仍增強過度,本文算法則相對自然.

圖6 逆光場景圖像增強結果及細節(jié)對比1Fig.6 Image enhancement results and detail comparison 1 in backlight scenes

圖7 逆光場景圖像增強結果及細節(jié)對比2Fig.7 Image enhancement results and detail comparison 2 in backlight scenes

圖8 逆光場景圖像增強結果及細節(jié)對比3Fig.8 Image enhancement results and detail comparison 3 in backlight scenes

圖9 逆光場景圖像增強結果及細節(jié)對比4Fig.9 Image enhancement results and detail comparison 4 in backlight scenes

主觀評價指標包括清晰度、細節(jié)保持度、場景自然效果3個維度,評價者對每張圖像在3個指標上打分并計算算術平均值.表1為選取的10位評價者對數(shù)據(jù)集MLLP-Set[22]上測試結果的主觀評價平均值(10分為滿分); 表2為10位評價者對數(shù)據(jù)集VV-Set(https://sites.google.com/site/vonikakis/datasets/challenging-dataset-for-enhancement)上測試結果的主觀評價平均值(10分為滿分).

表1 數(shù)據(jù)集MLLP-Set上測試結果的平均主觀評價指標

表2 數(shù)據(jù)集VV-Set上測試結果的平均主觀評價指標

由表1和表2可見,10位評價者認為在幾種算法中,LIME和CRM算法綜合得分較低,即對兩類算法增強結果的認可度較低,BIMEF算法綜合得分好于CEA算法,NPLIE算法與本文算法最接近,但本文算法綜合得分更高,表明10位評價者對本文算法的增強結果最認可.

2.2 客觀因素

主觀因素分析可能帶有評價者主觀意識下的偏好,且評價結果可能受多種因素的影響,因此僅通過主觀分析不足以說明問題,需通過圖像處理領域廣泛使用的圖像質量評價指標對圖像質量和信息量進行客觀度量.本文采用結構相似性(SSIM)、平均信息熵(AIE)和視覺信息保真度(VIF)指標對同類算法的處理結果進行評價.

SSIM用于度量結果圖像與原始圖像在結構上的差異性,通過在局部區(qū)域上的像素統(tǒng)計量構造亮度、對比度和結構估計,并作為影響因子構建相似度度量函數(shù),綜合局部相似性指標作為最終的相似度度量,其值范圍為[0,1].該值越接近1,表明結果圖像與原始圖像的相似度越高.AIE即通過平均信息熵計算度量圖像所包含的平均信息量,該值越大表明圖像所包含的信息量越豐富,在圖像質量上表現(xiàn)為圖像的清晰度、對比度較好,細節(jié)信息較豐富.VIF認為人的視覺系統(tǒng)也是一種失真通道,即原始圖像和失真圖像在被人捕捉為視覺信息的過程中同樣存在信息損失,并將人眼獲得的失真圖像信息與原始圖像信息的比值定義為視覺信息保真度,表征失真圖像相對于原始圖像信息保留的完整性,其值范圍為[0,1].該值越接近1,表明信息完整性越好.數(shù)據(jù)集MLLP-Set和VV-Set上測試結果的平均客觀評價指標分別列于表3和表4.

表3 數(shù)據(jù)集MLLP-Set上測試結果的平均客觀評價指標

表4 數(shù)據(jù)集VV-Set上測試結果的 平均客觀評價指標

由表3可見: LIME和CRM算法SSIM值較低,表明對于原圖像,增強圖像在結構信息上發(fā)生了較大改變,本文算法在SSIM指標上略低于CEA算法,并與NPLIE算法相近,表明這3種算法對原始圖像結構屬性保留的能力大致相同; LIME和CRM算法的AIE值較高,但亮度增強過度,存在細節(jié)失真的問題,本文算法AIE值則高于其他三類算法,在清晰度、對比度、細節(jié)信息等方面的表達較好.對于VIF指標,本文算法最高,表明對圖像原始信息的保留能力較好,CEA和NPLIE算法則相對較弱.由表4可見,在數(shù)據(jù)集VV-Set上的測試結果與表3數(shù)據(jù)中各種算法的指標數(shù)據(jù)差異性大致相同,表明本文算法的增強結果在視覺保真度上優(yōu)于其他算法.

實驗結果表明,客觀分析與主觀分析在結論上具有一致性,證明了本文算法在處理非均勻光照圖像增強方面的有效性.

綜上所述,本文針對非均勻光照圖像的低質量問題提出了一種模擬多曝光融合的圖像增強算法,具有以下特點:

1) 基于相機響應函數(shù),使用單張低質量圖像模擬合成多曝光圖像序列,避免了拍攝的多曝光序列因場景變化可能導致的融合后出現(xiàn)偽影.

2) 用動態(tài)閾值分割過曝光區(qū)域,針對不同的低質量圖像提取特征性更強的過曝光像素集合; 用改進的自適應伽馬校正獲得中等曝光圖像,對不同的低質量圖像具有針對性的校正能力.

3) 對質量度量時的曝光度度量指標進行了修正,使用改進的導向濾波方法進行權重優(yōu)化,避免了金字塔融合可能出現(xiàn)的光暈現(xiàn)象; 最終使用基于高斯濾波差分的多尺度細節(jié)增強方法修復了因融合過程出現(xiàn)的圖像細節(jié)丟失問題.

本文算法經實驗驗證及主客觀分析,能解決一般場景下的非均勻光照圖像的增強問題,增強后的圖像質量優(yōu)于同類算法.