（西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710021）

0 引言

夜間會(huì)車時(shí)，濫用遠(yuǎn)光燈使駕駛員感到非常刺眼，無(wú)法看清行車路線及行人，極易導(dǎo)致嚴(yán)重的交通事故[1]。因此，研究汽車抗暈光有重要意義。傳統(tǒng)的光學(xué)原理抗暈光方法使暗處信息難以觀察[2]；紅外夜視儀的圖像無(wú)色彩、細(xì)節(jié)信息缺失嚴(yán)重[3-5]；“排洪”面陣CCD 圖像傳感器把高亮度的多余電荷排出存儲(chǔ)勢(shì)阱，僅降低了暈光的亮度[6]；光積分時(shí)間不同的兩路可見(jiàn)光融合依然存在暈光現(xiàn)象[7]?？梢?jiàn)光與紅外融合的抗暈光方法[8]結(jié)合可見(jiàn)光圖像色彩細(xì)節(jié)信息豐富、紅外圖像無(wú)暈光的優(yōu)點(diǎn)，為解決夜間行車的暈光問(wèn)題提供了一種新途徑，具有較好的應(yīng)用前景，但現(xiàn)有的無(wú)參考、全參考和基于視覺(jué)系統(tǒng)的評(píng)價(jià)方法都不能準(zhǔn)確地評(píng)價(jià)抗暈光融合圖像的質(zhì)量[9]。

其中，無(wú)參考圖像評(píng)價(jià)方法通過(guò)客觀指標(biāo)評(píng)價(jià)融合圖像自身質(zhì)量[10]。融合圖像消除暈光后，暈光部位的高亮度信息被剔除，導(dǎo)致反映亮度的均值降低；暈光消除越徹底，明暗對(duì)比度越低，暈光處的紋理細(xì)節(jié)反差越小，標(biāo)準(zhǔn)差和邊緣強(qiáng)度越低。全參考圖像評(píng)價(jià)方法評(píng)價(jià)融合圖像對(duì)原始圖像的信息保留度[11]。例如交叉熵，在融合圖像非暈光部位，該指標(biāo)能很好地反映其對(duì)原始圖像細(xì)節(jié)信息的保留度，但在暈光部位，暈光消除越徹底，與可見(jiàn)光圖像相似度越低。基于視覺(jué)系統(tǒng)的評(píng)價(jià)方法考慮人眼的視覺(jué)效果[12]。如邊緣保持度，在融合圖像非暈光部位，該指標(biāo)能很好地反映其對(duì)原始圖像邊緣、輪廓的保留度，但在暈光部位，暈光消除越徹底，暈光邊緣、輪廓等信息保留越少，結(jié)構(gòu)相似度也存在同樣的問(wèn)題。以上指標(biāo)均出現(xiàn)暈光消除越徹底，融合圖像質(zhì)量的客觀評(píng)價(jià)結(jié)果越差，與視覺(jué)效果不統(tǒng)一的現(xiàn)象。

針對(duì)上述問(wèn)題，本文提出一種可見(jiàn)光與紅外融合的汽車抗暈光圖像評(píng)價(jià)方法：通過(guò)設(shè)計(jì)自適應(yīng)迭代閾值法實(shí)現(xiàn)融合圖像的自動(dòng)分區(qū)，對(duì)暈光區(qū)采用設(shè)計(jì)的暈光消除度指標(biāo)衡量暈光消除的效果；對(duì)非暈光區(qū)從多角度評(píng)價(jià)色彩、細(xì)節(jié)信息的增強(qiáng)效果，并甄選合適的指標(biāo)構(gòu)成完整的評(píng)價(jià)體系，全面、合理地評(píng)判汽車抗暈光融合圖像的質(zhì)量及算法的優(yōu)劣。

1 可見(jiàn)光與紅外融合的抗暈光圖像評(píng)價(jià)原理

汽車抗暈光圖像融合的目的，與一般圖像融合不同，首要是消除高亮的暈光，再次是增強(qiáng)暗處的色彩、細(xì)節(jié)信息。圖1(a)可見(jiàn)光圖像色彩豐富、車牌較清晰，但存在明顯的暈光現(xiàn)象，車輛輪廓、道路邊緣、背景建筑及行人難以觀察；圖1(b)紅外圖像無(wú)暈光，輪廓細(xì)節(jié)清晰，但色彩和車牌缺失；圖1(c)采用改進(jìn)IHS-Curvelet 變換[13]得到無(wú)暈光、輪廓細(xì)節(jié)清晰、色彩豐富的融合圖像。

圖1 可見(jiàn)光、紅外及其融合圖像Fig.1 Visible,infrared and fusion image

汽車抗暈光融合圖像同一般可見(jiàn)光與紅外融合圖像相比存在3 點(diǎn)顯著差異：①融合圖像消暈光后與可見(jiàn)光圖像差異顯著，暈光消除越徹底差異越大；②可見(jiàn)光圖像的光暈梯度及明暗邊界十分明顯，暈光消除越徹底，融合圖像原暈光部位的梯度、邊界越不明顯；③可見(jiàn)光圖像暈光部位的高亮度造成其他部位的亮度更暗，細(xì)節(jié)信息更不易觀察。

暈光區(qū)的高亮度使客觀評(píng)價(jià)不能真實(shí)地反映融合圖像的質(zhì)量，為避免暈光干擾，將融合圖像的暈光和非暈光區(qū)分開(kāi)評(píng)價(jià)。在暈光區(qū)，根據(jù)融合圖像與可見(jiàn)光、紅外圖像的相似度評(píng)判暈光消除的效果。與紅外圖像越相似，暈光消除越徹底，反之暈光消除越不徹底。非暈光區(qū)圖像不存在暈光干擾，采用現(xiàn)有的方法評(píng)價(jià)色彩、細(xì)節(jié)信息的增強(qiáng)效果。

2 抗暈光圖像評(píng)價(jià)方法實(shí)現(xiàn)

根據(jù)可見(jiàn)光圖像的暈光程度自動(dòng)確定可見(jiàn)光灰度圖的暈光臨界灰度值，實(shí)現(xiàn)融合圖像的自動(dòng)分區(qū)。針對(duì)暈光與非暈光區(qū)圖像的處理目標(biāo)不同，暈光區(qū)設(shè)計(jì)暈光消除度指標(biāo)衡量融合圖像暈光消除的效果，非暈光區(qū)從多角度評(píng)價(jià)色彩、細(xì)節(jié)信息的增強(qiáng)效果。

2.1 抗暈光融合圖像的自動(dòng)分區(qū)

2.1.1 確定暈光臨界灰度值

由于暈光區(qū)的灰度值明顯高于非暈光區(qū)，根據(jù)暈光區(qū)與非暈光區(qū)交接處的灰度值劃分兩區(qū)域，即確定暈光臨界灰度值Gc。自適應(yīng)迭代閾值法：以圖像灰度中值作為初始閾值T0；

式中：Inmax、Inmin分別是像素的最大、最小灰度值。利用閾值Ti將圖像分為兩區(qū)域R1和R2，計(jì)算R1和R2的灰度均值μ1和μ2；

式中：In(j)是第j個(gè)像素的灰度值；L為圖像總像素?cái)?shù)；L1、L2分別為區(qū)域R1、R2像素?cái)?shù)，L＝L1＋L2。計(jì)算新的閾值Ti＋1；

式中：m為圖像暈光區(qū)的分割效果滿足人眼視覺(jué)效果的自適應(yīng)系數(shù)，隨暈光程度自動(dòng)調(diào)節(jié)。

重復(fù)公式(2)(3)，待閾值不再變化時(shí)迭代結(jié)束，最新得到的閾值為圖像的暈光臨界灰度值Gc。

2.1.2 確定自適應(yīng)系數(shù)

暈光區(qū)高亮度的信息量影響整幅圖像的灰度值，暈光信息量與暈光面積有關(guān)，則暈光面積間接影響圖像的灰度值。研究?jī)绍嚂?huì)車時(shí)的暈光圖像，采集不同類型道路車輛由遠(yuǎn)及近，暈光面積從小到大再變小的大量暈光圖像，獲得自適應(yīng)系數(shù)m、暈光區(qū)與非暈光區(qū)面積比s的對(duì)應(yīng)點(diǎn)集(si,mi)，研究發(fā)現(xiàn)面積比s和自適應(yīng)系數(shù)m的關(guān)系接近m=a×sb+c的遞減函數(shù)，利用非線性最小二乘法擬合曲線：

式中：x、y分別是系統(tǒng)的輸入和輸出；f是參數(shù)θ的非線性模型；Q達(dá)到極小值時(shí)得參數(shù)估計(jì)值。

當(dāng)a＝－0.6701，b＝0.07411，c＝1.175時(shí)，自適應(yīng)系數(shù)m的取值使融合圖像暈光區(qū)的分割效果滿足人眼視覺(jué)效果，如下式：

2.1.3 自動(dòng)分區(qū)

由暈光臨界灰度值Gc劃分兩區(qū)域，灰度值大于等于Gc的像素構(gòu)成暈光區(qū)AH，反之為非暈光區(qū)

將圖1中的原始圖像和融合圖像進(jìn)行分區(qū)，如圖2。

圖2 自動(dòng)分區(qū)圖像Fig.2 Automatic division images

2.2 暈光消除度

為評(píng)價(jià)融合圖像的暈光消除效果，以融合圖像暈光區(qū)與可見(jiàn)光、紅外圖像的接近程度為參考，考慮人眼視覺(jué)感知特點(diǎn)和圖像的結(jié)構(gòu)信息，綜合亮度、對(duì)比度、結(jié)構(gòu)3 方面表征融合圖像與原圖的相似度，lR-FU，cR-FU，sR-FU分別為原圖與融合圖像的亮度相似度、對(duì)比度相似度、結(jié)構(gòu)相似度：

式中：R為參考圖像，R∈{VI，IR}，VI、IR、FU 分別為可見(jiàn)光、紅外、融合圖像；、σ分別為圖像的均值、標(biāo)準(zhǔn)差；σR-FU為參考與融合圖像的協(xié)方差；C1、C2、C3為常數(shù)，避免分母為0。設(shè)定C3=C2/2，原圖與融合圖像的相似度指標(biāo)SR-FU可表示為：

根據(jù)式(10)將融合圖像與紅外、可見(jiàn)光圖像的相似度作差后進(jìn)行歸一化，構(gòu)造暈光消除度D：

式中：D的取值范圍為[0,1]，D越接近1，融合圖與紅外圖像越接近，暈光消除越徹底。

2.3 非暈光區(qū)色彩、細(xì)節(jié)增強(qiáng)的評(píng)價(jià)指標(biāo)

非暈光區(qū)沒(méi)有暈光信息的干擾，用現(xiàn)有的評(píng)價(jià)方法[14-15]從融合圖像自身特性、融合圖像對(duì)原始圖像信息的保留度和人眼視覺(jué)效果3 方面評(píng)價(jià)融合圖像的質(zhì)量，并通過(guò)實(shí)驗(yàn)對(duì)比與分析，甄選出合適的指標(biāo)，準(zhǔn)確、合理地評(píng)判融合圖像質(zhì)量及算法優(yōu)劣。

2）融合圖像對(duì)原始圖像信息的保留度方面。計(jì)算峰值信噪比（peak signal to noise ratio,PSNR）、交叉熵（cross entropy,CE）、互信息（mutual information,MI）、均方根誤差（root mean square error,RMSE）等指標(biāo)。

3）人眼視覺(jué)效果方面。計(jì)算結(jié)構(gòu)相似度（structure similarity index,SSIM）和邊緣保持度QAB/F。

3 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文的評(píng)價(jià)方法能全面、合理地評(píng)判汽車抗暈光融合圖像的暈光消除效果，色彩、細(xì)節(jié)信息增強(qiáng)效果，以HIS（intensity,hue,saturation）變換、Curvelet 變換、IHS-Curvelet 變換、改進(jìn)IHS-Curvelet變換的融合圖像為例進(jìn)行評(píng)價(jià)，圖3為市郊道路對(duì)向來(lái)車開(kāi)啟遠(yuǎn)光燈約10 m 處的4種算法融合結(jié)果。

圖3 不同算法的融合圖像Fig.3 Fusion image of different algorithms

3.1 主觀評(píng)價(jià)結(jié)果

選10位擅長(zhǎng)圖像處理的觀察者從暈光消除度、邊緣輪廓、色彩細(xì)節(jié)3 方面評(píng)判融合圖像的質(zhì)量。

圖3(a)IHS變換的暈光嚴(yán)重，車輛輪廓、車牌、道路邊緣及背景建筑模糊，但色彩豐富；圖3(b) Curvelet 變換的暈光較少，細(xì)節(jié)較清晰，但缺失色彩。整體上Curvelet 變換的圖像質(zhì)量?jī)?yōu)于IHS變換。

圖3(c)IHS-Curvelet 較圖3(a)，暈光消除度和清晰度明顯改善，色彩無(wú)差別，在IHS變換中融入Curvelet變換能明顯改善圖像的質(zhì)量；圖3(c)較圖3(b)，暈光消除度略差，清晰度無(wú)差別，但色彩豐富。

圖3(d)改進(jìn)IHS-Curvelet 較圖3(c)，暈光基本完全消除，清晰度更好，色彩無(wú)差別，圖像質(zhì)量更優(yōu)。

3.2 客觀評(píng)價(jià)結(jié)果

為避免主觀意識(shí)干擾，結(jié)合客觀指標(biāo)從兩方面進(jìn)行評(píng)判。暈光區(qū)由暈光消除度D評(píng)價(jià)暈光消除的效果；非暈光區(qū)從多角度評(píng)價(jià)色彩、細(xì)節(jié)信息的增強(qiáng)效果，甄選合適的指標(biāo)構(gòu)成完整的質(zhì)量評(píng)價(jià)體系。

3.2.1 暈光區(qū)域評(píng)價(jià)結(jié)果

計(jì)算4種融合圖像的暈光消除度D如表1。

表1 暈光消除度Table1 Eliminated degree of halo

從表1看出，IHS變換的暈光消除效果最差，因IHS變換的光譜分辨率低，使融合圖像與原圖差異較大；Curvelet 較IHS變換高16.7%，暈光消除效果更好，因Curvelet 變換的各向異性，能更多地保留圖像的細(xì)節(jié)信息，與原圖結(jié)構(gòu)差異更小。

IHS-Curvelet 較IHS變換提高25%，因其將IHS空間下的亮度和色彩分量分開(kāi)處理，避免了光譜扭曲現(xiàn)象，在IHS變換中融入Curvelet 變換能提高IHS變換的穩(wěn)定性；IHS-Curvelet 較Curvelet 變換提高7%，因IHS變換豐富了圖像的色彩，在Curvelet 變換中融入 IHS變換能略微提高圖像的質(zhì)量。綜上，IHS-Curvelet 比兩種單一變換的暈光消除效果好。

改進(jìn)IHS-Curvelet較改進(jìn)前提高9.8%，效果更好，因改進(jìn)的低頻系數(shù)權(quán)值自動(dòng)調(diào)節(jié)融合策略[16]能剔除所有暈光信息，避免其參與融合過(guò)程。

3.2.2 非暈光區(qū)域評(píng)價(jià)結(jié)果

對(duì)非暈光區(qū)從以下3 方面評(píng)價(jià)融合圖像的質(zhì)量。1）融合圖像自身特性方面。為驗(yàn)證本文方法的有效性，與不分區(qū)數(shù)據(jù)進(jìn)行對(duì)比，如表2所示。

從表2看出，4種算法不分區(qū)的各項(xiàng)指標(biāo)均比非暈光區(qū)大，由于高亮度暈光信息的存在，使不分區(qū)融合圖像的均值變大；使圖像明暗對(duì)比度提高，導(dǎo)致標(biāo)準(zhǔn)差更大；使圖像熵值更大；暈光處一圈圈光暈使反映紋理細(xì)節(jié)的平均梯度變大；暈光處明顯的邊界使邊緣強(qiáng)度更大；導(dǎo)致空間域的活躍程度增大，空間頻率更大。不分區(qū)融合圖像因包含暈光區(qū)的無(wú)用信息，導(dǎo)致客觀評(píng)價(jià)結(jié)果失真。不分區(qū)指標(biāo)數(shù)值變化無(wú)規(guī)律，分區(qū)后，由非暈光區(qū)指標(biāo)能相對(duì)明顯地看出融合圖像的質(zhì)量、算法的優(yōu)劣等，因此，以非暈光區(qū)指標(biāo)為研究對(duì)象。

非暈光區(qū)數(shù)據(jù)中，IHS變換的EI 數(shù)值微大于Curvelet 變換，與主觀評(píng)價(jià)矛盾，因IHS變換的光譜扭曲性使客觀評(píng)價(jià)結(jié)果失真；E和σ數(shù)值集中，整體變化趨勢(shì)小，對(duì)融合圖像質(zhì)量的區(qū)分度較小；、AG、SF 數(shù)值分布合理，能明顯表達(dá)融合圖像的質(zhì)量和不同算法的優(yōu)劣。

2）融合圖像對(duì)原始圖像的信息保留度方面。評(píng)價(jià)結(jié)果如表3所示。

從表3看出，RMSE和PSNR 數(shù)值整體變化小，對(duì)算法優(yōu)劣的區(qū)分度很小，不適合作為評(píng)判指標(biāo)；CE、MI 數(shù)值相對(duì)分散，能顯著表達(dá)融合圖像對(duì)原圖信息的保留度和不同算法的優(yōu)劣。

表2 融合圖像的客觀評(píng)價(jià)Table2 Objective evaluation of fusion image

表3 融合圖像對(duì)原圖信息的保留度Table3 Retained degree of fusion image to primary image

3）人眼視覺(jué)效果方面。評(píng)價(jià)結(jié)果如表4所示。

表4 融合圖像的視覺(jué)效果Table4 Visual effect of fusion image

從表4看出，SSIMFU-VI、SSIMFU-IR數(shù)值變化小，對(duì)融合圖像質(zhì)量的區(qū)分度很小；QAB/F能顯著表達(dá)融合圖像對(duì)邊緣信息的保真度及不同算法的優(yōu)劣。

通過(guò)對(duì)暈光區(qū)和非暈光區(qū)指標(biāo)的對(duì)比與分析，甄選出暈光消除度D、均值、平均梯度AG、空間頻率SF、交叉熵CEFU-VI、CEFU-IR、互信息MIFU-VI、MIFU-IR、邊緣保持度QAB/F等9種指標(biāo)作為抗暈光融合圖像的評(píng)價(jià)體系。將9種指標(biāo)數(shù)據(jù)繪制雷達(dá)圖如圖4，因CE數(shù)值越小性能越好，為方便分析由CE－1表示。

圖4 評(píng)價(jià)體系的雷達(dá)圖Fig.4 Radar chart of evaluation system

由圖4看出，雷達(dá)圖面積隨算法的改進(jìn)而增大，9種指標(biāo)均能明顯地反映融合圖像的質(zhì)量和不同算法的優(yōu)劣，均表明Curvelet 變換優(yōu)于IHS變換；在Curvelet變換基礎(chǔ)上使用IHS變換可進(jìn)一步提高融合圖像的視覺(jué)效果；將低頻系數(shù)加權(quán)平均的IHS-Curvelet 變換改為權(quán)值自動(dòng)調(diào)節(jié)融合策略后又可進(jìn)一步改善融合圖像的視覺(jué)效果，與主觀評(píng)價(jià)結(jié)果一致。

3.3 不同場(chǎng)景的評(píng)價(jià)結(jié)果

為驗(yàn)證本文所甄選的抗暈光融合圖像質(zhì)量評(píng)價(jià)體系對(duì)不同暈光場(chǎng)景的適用性，采集市郊道路和市內(nèi)小區(qū)兩組不同暈光場(chǎng)景的圖像進(jìn)行試驗(yàn)，圖5為市郊開(kāi)啟遠(yuǎn)光燈約15 m 處的融合結(jié)果，圖6為市內(nèi)開(kāi)啟遠(yuǎn)光燈約20 m處的融合結(jié)果。其中，圖5和圖6中(a)、(b)分別為原始可見(jiàn)光和紅外圖像，(c)～(f)分別為IHS、Curvelet、IHS-Curvelet 及改進(jìn)IHS-Curvelet 變換的融合結(jié)果。

從圖5和圖的6(c)～(f)可以看出，從左到右，融合圖像的暈光消除效果越好，車輛、背景和道路邊緣輪廓越清晰，即IHS、Curvelet、IHS-Curvelet 及改進(jìn)IHS-Curvelet 變換的融合結(jié)果依次變優(yōu)。

在市郊、市內(nèi)兩種不同場(chǎng)景下，利用評(píng)價(jià)體系的9種指標(biāo)進(jìn)行評(píng)價(jià)，繪制雷達(dá)圖如圖7、圖8所示。從圖7～圖8中可以看出，隨算法改進(jìn)，雷達(dá)圖包圍面積也越來(lái)越大，9種指標(biāo)能從不同角度反映了抗暈光融合圖像質(zhì)量的好壞及不同算法的優(yōu)劣，與主觀評(píng)價(jià)的結(jié)果一致，驗(yàn)證了本文提出的抗暈光融合圖像質(zhì)量評(píng)價(jià)體系具有一定的普適性。

圖5 市郊道路約15 m 處的融合圖像Fig.5 Fusion image of suburban road at about 15 m

圖6 市內(nèi)小區(qū)約20 m 處的融合圖像Fig.6 Fusion image of city community at about 20 m

圖7 市郊道路約15 m 處的雷達(dá)圖 Fig.7 Radar chart of suburban road at about 15 m

圖8 市內(nèi)小區(qū)約20 m 處的雷達(dá)圖Fig.8 Radar chart of city community at about 20 m

4 結(jié)論

針對(duì)現(xiàn)有的可見(jiàn)光與紅外融合圖像評(píng)價(jià)方法不適用于評(píng)價(jià)汽車抗暈光融合圖像的問(wèn)題，本文方法解決了汽車抗暈光融合圖像的客觀評(píng)價(jià)結(jié)果與人眼視覺(jué)效果不一致的問(wèn)題，克服了融合圖像暈光消除越徹底評(píng)價(jià)結(jié)果反而越差的缺點(diǎn)，也適用于評(píng)判不同可見(jiàn)光與紅外融合的抗暈光算法的優(yōu)劣。本文設(shè)計(jì)的自適應(yīng)迭代閾值法，根據(jù)可見(jiàn)光圖像的暈光程度自動(dòng)確定可見(jiàn)光灰度圖像的暈光臨界灰度值，并將融合圖像自動(dòng)分為暈光區(qū)和非暈光區(qū)；在暈光區(qū)設(shè)計(jì)暈光消除度指標(biāo)評(píng)價(jià)融合圖像暈光消除的效果；在非暈光區(qū)從多角度評(píng)價(jià)融合圖像色彩、細(xì)節(jié)信息的增強(qiáng)效果。甄選出9種指標(biāo)構(gòu)成完整的圖像質(zhì)量評(píng)價(jià)體系，全面、合理地評(píng)價(jià)可見(jiàn)光與紅外融合的汽車抗暈光融合圖像。