張 慧，韓新寧，韓惠麗

（1.寧夏師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，寧夏 固原 756000；2.寧夏師范學(xué)院 化學(xué)化工學(xué)院，寧夏 固原 756000）

0 引言

由于成像設(shè)備成像原理造成同一場景下的紅外與可見光圖像各有利弊：紅外圖像受光線或不利天氣條件的影響較小，但缺乏足夠的背景細(xì)節(jié)；可見光圖像通常包含更多的細(xì)節(jié)和紋理信息與更高的空間分辨率，但受不利天氣等因素影響較大。如果將同一場景下紅外與可見光圖像融合就可獲取更多圖像信息，因此紅外與可見光圖像融合在目標(biāo)檢測、監(jiān)視、情報(bào)收集等軍事和民用領(lǐng)域有著重要的應(yīng)用[1-3]。

紅外與可見光圖像的融合有很多種方法，現(xiàn)階段較常見的為基于多尺度分解的融合方法。多尺度融合方法實(shí)質(zhì)是用多尺度分解將空間上重疊的特征在尺度上充分分離，從而使不同尺度上分離出來的特征更有效地進(jìn)行組合。如劉等人提出了一種基于多尺度變換和稀疏表示的圖像融合的一般框架[4]，并取得了不錯的融合效果。但由于稀疏表示采用窗口滑動技術(shù)，致使融合圖像中細(xì)節(jié)過于平滑，圖像局部模糊不清，整體視覺效果不佳。為了提高視覺效果，李等人提出了一種快速有效的圖像融合方法，稱為基于引導(dǎo)濾波的融合方法（guided filtering fusion GFF）[5]，其中引入了一種新的基于引導(dǎo)濾波的權(quán)重構(gòu)造方法，由于權(quán)重的計(jì)算不可避免帶來融合后圖像的噪音和偽影，因此構(gòu)造了視覺顯著性函數(shù)將像素顯著性和空間一致性結(jié)合起來。Bavirisetti 等人借鑒GFF 方法中的優(yōu)點(diǎn)，提出了一種多尺度引導(dǎo)濾波融合方法（multi-scale guided fusion MGF）[6]，在不同尺度上轉(zhuǎn)移邊緣結(jié)構(gòu)方面，大大降低了算法的復(fù)雜度。GFF 和MGF 方法有一定的優(yōu)點(diǎn)，但是也有不足之處。Gan 等人提出了GFF 與MGF 方法中的不足之處[7]：首先，顯著性函數(shù)沒有保留圖像所有特征，導(dǎo)致視覺效果差；其次，這兩類方法所采用邊緣保護(hù)濾波器在圖像分解中較少考慮其空間尺度，因此，沒有將多尺度分解的優(yōu)勢發(fā)揮出來。為了取得較好的融合效果，必須解決以上的兩個問題。張等人提出了一種基于尺度的邊緣保護(hù)濾波器，稱為滾動引導(dǎo)濾波器（rolling guidance filter RGF）[8]，RGF 在圖像分解過程中具有很好的尺度感知和邊緣保持特性，彌補(bǔ)了GFF 與MGF 方法中的關(guān)于空間尺度的不足之處，因此本文采用RGF 方法作為源圖像分解的工具。

圖像融合除了分解方法外還有融合規(guī)則影響圖像融合的最終效果。傳統(tǒng)的基礎(chǔ)層和細(xì)節(jié)層大多數(shù)采用“平均”與“絕對值最大”的融合規(guī)則，常常會導(dǎo)致圖像的對比度下降和可見光圖像細(xì)節(jié)丟失且產(chǎn)生噪聲，從而影響融合后圖像的視覺效果。馬等人在文獻(xiàn)[9]中提出了使用視覺顯著性圖（visual saliency map,VSM）[10]來合并基礎(chǔ)層，有效地避免對比度的損失；同時提出了一種優(yōu)化的加權(quán)最小二乘法（weighted least square,WLS）方法來融合細(xì)節(jié)層，此方法基于紅外和可見光圖像特征的不同特性，可以選擇性地融合源圖像中的細(xì)節(jié)信息。文獻(xiàn)[9]中所提及的融合規(guī)則很好地解決了GFF 與MGF 方法中采用顯著性函數(shù)導(dǎo)致融合圖像視覺效果不佳的問題。所以，本文也采用VSM 和WLS 方法作為基礎(chǔ)層和細(xì)節(jié)層的融合規(guī)則。

可見光圖像成像時易受天氣等因素的影響使得可見光源圖像辨識度低，直接導(dǎo)致融合后圖像的視覺效果不佳，因此，可見光圖像的增強(qiáng)一直是圖像融合過程中源圖像預(yù)處理的重要環(huán)節(jié)之一?，F(xiàn)階段很多研究成果，如文獻(xiàn)[11-12]所提及的方法都在可見光圖像增強(qiáng)上有不錯的效果，但是也有計(jì)算成本高等一些不足之處，如何提高可見光圖像的增強(qiáng)效果也是圖像融合中急需解決的問題。

綜上所述，本文提出了一種基于滾動引導(dǎo)濾波的紅外與可見光圖像融合方法。首先利用引導(dǎo)濾波將可見光圖像進(jìn)行增強(qiáng)，然后利用滾動引導(dǎo)濾波將源圖像進(jìn)行多尺度的分解。通常的融合方法將源圖像分別分解為細(xì)節(jié)層和基礎(chǔ)層，但在文獻(xiàn)[13-14]中提出將源圖像分解為基礎(chǔ)層，大尺度層與小尺度層，即將細(xì)節(jié)層繼續(xù)細(xì)分。這樣分解的原因是細(xì)化細(xì)節(jié)層的分解能夠提高融合圖像的視覺效果，同時也能保護(hù)圖像邊緣。因此本文也采用這種分解方法，并在分解后的基礎(chǔ)層，大尺度層、小尺度層采用不同的融合方法進(jìn)行融合，最后進(jìn)行信息合成得到最終融合圖像。通過觀察融合圖像和對比數(shù)據(jù)結(jié)果發(fā)現(xiàn)，本文所提出的融合方法在主觀評價和客觀評價上都有不錯的表現(xiàn)。

1 可見光圖像的增強(qiáng)與源圖像的分解

1.1 可見光圖像的增強(qiáng)

為了增強(qiáng)較暗光線下可見光圖像，文獻(xiàn)[15]給出了一種基于引導(dǎo)濾波的高動態(tài)范圍壓縮的圖像增強(qiáng)方法，其實(shí)質(zhì)是利用引導(dǎo)濾波對圖像進(jìn)行分解，分步對圖像進(jìn)行增強(qiáng)。標(biāo)記引導(dǎo)濾波算子為GFr,ε(·)，則基本步驟可以表述如下：

1）對圖像I先利用方引導(dǎo)濾波算子進(jìn)行分解得到基礎(chǔ)層Ib＝GFr,ε(·)。

3）增強(qiáng)后的圖像為：

式中：r與ε是關(guān)于引導(dǎo)濾波的大小和保護(hù)圖像邊緣程度的參數(shù)；β與γ是動態(tài)范圍壓縮的尺度因子。由于篇幅所限，4 個參數(shù)的具體定義與取值可參閱文獻(xiàn)[15]。

圖1 給出了兩組可見光圖像利用所給方法進(jìn)行增強(qiáng)前、后的對比圖像。通過圖1 明顯可以看出，增強(qiáng)后的可見光圖像無論是在細(xì)節(jié)表現(xiàn)還是整體的對比度上都得到了提升。

圖1 兩組可見光圖像的增強(qiáng)結(jié)果Fig.1 Visibility enhancement results for two test visible images

1.2 源圖像的分解

在多尺度分解中往往會伴隨融合后圖像邊緣出現(xiàn)一些光暈以及不能很好地實(shí)現(xiàn)空間重疊特征的尺度分離，而RGF 具有邊緣保持和尺度感知特性，從而可以減少光暈并保留特定尺度的信息，故本文采用RGF方法對源圖像進(jìn)行分解。記滾動引導(dǎo)濾波算子為RGF(I,σs,σr,T)。其中I為輸入圖像，σs是標(biāo)準(zhǔn)方差作為尺度參數(shù)，σr是用來控制權(quán)重的范圍，本文取σr＝0.05，T是迭代次數(shù)，這里取T＝4。源圖像可利用以下式來進(jìn)行多尺度分解：

式中：uj是第j層濾波輸出圖像，u0＝I。dj是第j層細(xì)節(jié)層。N代表分解的層數(shù)，本文N＝4，令利用公式(5)～(8)將可見光與紅外圖像分別分解為小尺度層、大尺度層和基礎(chǔ)層。基于滾動引導(dǎo)濾波融合的框架如圖2所示。

2 分解后的信息合成

2.1 小尺度層的信息合成

通過圖2 融合流程圖的展示可知，利用RGF方法將可見光與紅外圖像分別分解后所得的第一層細(xì)節(jié)層作為小尺度層。由于細(xì)節(jié)層系數(shù)的絕對值越大，對應(yīng)的特征越顯著，所以在小尺度層上采用傳統(tǒng)的“絕對值最大”融合規(guī)則對細(xì)節(jié)層進(jìn)行合并。

圖2 基于多尺度分解的滾動方向?qū)Рㄈ诤狭鞒虉DFig.2 Flow chart of fusion based on MSD of the rolling guided filter

首先給出絕對值最大的系數(shù)Wj：

那么在小尺度層的復(fù)合信息利用下式進(jìn)行計(jì)算：

2.2 大尺度層的信息合成

與可見光圖像相比，紅外圖像通常含有大尺度的結(jié)構(gòu)信息，但缺乏視覺細(xì)節(jié)信息并含噪聲。在更高層的細(xì)節(jié)層如果簡單地使用傳統(tǒng)的“絕對值最大”融合規(guī)則，不考慮紅外和可見光圖像之間的不同特性，可能會融合來自源圖像不相關(guān)的細(xì)節(jié)信息，以及紅外圖像的噪聲。為了使融合后的圖像更自然，更適合人類視覺感知，我們稱自第二層開始的細(xì)節(jié)層為大尺度層，結(jié)合文獻(xiàn)[9]，提出WLS 融合規(guī)則。

為了減少噪聲，我們將公式(9)的融合系數(shù)利用高斯濾波器進(jìn)行平滑，即：

在此取σs＝2。然后依然利用“絕對值最大”融合規(guī)則，得到融合后第j層的細(xì)節(jié)層。

然后利用公式(11)來獲得優(yōu)化后的第j層的細(xì)節(jié)層。

2.3 基礎(chǔ)層的信息合成

常見的基礎(chǔ)層融合方法容易導(dǎo)致對比度降低，為了避免對比度的損失，我們引入VSM 融合方法對基礎(chǔ)層進(jìn)行融合。VSM 方法根據(jù)像素與所有其他像素的對比度來定義像素的顯著性[16]。

讓Ip表示圖像I中像素p的強(qiáng)度值，像素p的顯著值V(p)定義為：

式中：L表示I中的像素總數(shù)。將V(p)規(guī)范化后其取值在[0,1]之間，令V1和V2分別表示輸入的紅外圖像和可見光圖像利用公式(14)計(jì)算得到的顯著值，則紅外與可見光圖像基礎(chǔ)層的融合結(jié)果可以通過公式(15)得到：

最后的融合結(jié)果為：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 測試集與相比較的融合方法

為了驗(yàn)證本文所提出方法的融合效果，選取如圖3 所給的10 組紅外與可見光圖像的測試集（來源于http://www.imagefusion.org/）。本文所提的方法記為RGF_GSE，與本文所提方法進(jìn)行比較的融合方法有RGF_GS（文獻(xiàn)[9]所提方法），GFF 方法和MGF 方法，以及離散小波變換方法（discrete wavelet transform,DWT）和曲波變換方法（curvelet transform,CVT）。

圖3 測試集Fig.3 Test set

3.2 圖像質(zhì)量評價指標(biāo)

為了更加客觀地評價融合的效果，本文采用6 種常見的融合指標(biāo)對各種融合方法進(jìn)行客觀質(zhì)量評價。6種融合指標(biāo)分別為度量圖像中信息豐富程度的熵（Entropy,EN），度量融合圖像中結(jié)構(gòu)信息的標(biāo)準(zhǔn)偏差（standard deviation,SD），度量從源圖像傳遞到融合圖像的信息熵（tsallis entropy,QTE）[17]、度量輸入圖像與融合圖像之間的非線性相關(guān)信息熵（nonlinear correlation information entropy,QNCIE）[18]，度量圖像的感知顯著性（perceptual saliency,PS）[15]，以及所用時間（time，單位為秒）。在評價的過程中，這些評價指標(biāo)的數(shù)值除時間值越小越好，其指標(biāo)數(shù)值越大說明融合效果越好。

3.3 融合后的主觀評價

鑒于文章篇幅的限制，從10 組融合結(jié)果中給出其中兩組的融合結(jié)果進(jìn)行比較，如圖4所示。通過觀察融合結(jié)果發(fā)現(xiàn)，兩組實(shí)驗(yàn)結(jié)果中利用DWT 與CVT 方法融合結(jié)果中都出現(xiàn)了“塊”，這是因?yàn)閮煞N方法都是采用多尺度分解＋SR 的融合框架，而稀疏的融合規(guī)則會導(dǎo)致融合結(jié)果中出現(xiàn)“塊”。并且采用這兩種方法所得融合圖像較為模糊，辨識度低。采用GFF 方法與MGF 方法所得兩組融合結(jié)果中圖像對比度比較低，并且圖像中有些邊界較為模糊，例如第一組實(shí)驗(yàn)結(jié)果中的樹木和花草基本無法辨識，只是一個輪廓；第二組中柵欄與周圍植物基本無法分辨，視覺效果差。利用RGS_GS 方法融合所得的實(shí)驗(yàn)結(jié)果與之前的4 種方法對比，沒有出現(xiàn)“塊”，對比度也得到了提高，兩組融合結(jié)果中邊緣處理的也較為理想，但是也有一些不足之處。例如，第一組融合結(jié)果中植物辨識度也不是很好，地面與墻面較為模糊；第二組中植物輪廓不分明，某些區(qū)域?qū)Ρ榷鹊?。采用本文提出的方法RGS_GSE所得到的融合結(jié)果，視覺效果好，整個融合圖像的對比度高，兩組圖像中的植物輪廓分明，樹葉與花朵都能分的很清楚。并且某些細(xì)節(jié)處理很好，例如第一組融合結(jié)果中右邊墻面上有很多均勻的豎線，都看得很清楚，這些豎線在其他方法的融合結(jié)果中根本看不到；在第二組融合結(jié)果中柵欄、房屋上的煙囪都很清楚。

圖4 兩組實(shí)驗(yàn)結(jié)果圖Fig.4 Two sets of experimental results

通過實(shí)驗(yàn)結(jié)果展示和分析可以看出，本文所提出的方法無論是在細(xì)節(jié)處理、邊緣保護(hù)還是在對比度提升上都有很好的表現(xiàn)，所得融合圖像適應(yīng)人類視覺感知，有很好的視覺效果。

3.4 融合后的客觀評價

表1 給出的是10 組圖像經(jīng)不同融合方法后所得客觀評價指標(biāo)的結(jié)果，由于篇幅原因，表中的數(shù)據(jù)是10 組圖像在同一方法、同一指標(biāo)取平均值。通過觀察6 種客觀評價指標(biāo)的測試數(shù)據(jù)（黑色表明結(jié)果最好），本文所提出的方法在其中4 項(xiàng)的評價指標(biāo)中都是最好的，有一項(xiàng)的指標(biāo)在6 種方法中數(shù)據(jù)是排在第二的，在耗時方面沒有MGF 和GFF 兩種方法優(yōu)化。這主要是由于本文所提方法需要對可見光圖像進(jìn)行增強(qiáng)，會耗費(fèi)一定時間，并且MGF 與GFF 方法的特點(diǎn)就是分解方法簡單，融合用時少。但是綜合考慮融合效果和用時的細(xì)微差距，本文給出的融合方法在邊緣保護(hù)、細(xì)節(jié)的融合處理以及視覺效果等方面都有不錯的表現(xiàn)。

表1 用DWT、CVT、GFF、MGF、RGF_GS 和RGF_GSE 方法融合得到的指標(biāo)Table 1 Comparison with DWT,CVT,GFF,MGF,RGF_GS and RGF_GSE of different processing results

4 結(jié)論

本文提出一種基于滾動引導(dǎo)濾波的可見光與紅外圖像融合方法，首先利用引導(dǎo)濾波對可見光圖像的內(nèi)容進(jìn)行增強(qiáng)，提高可見光圖像在照明條件不好情況下的融合效果。同時，為了提高融合圖像的視覺感知以適應(yīng)人類視覺，并實(shí)現(xiàn)紅外圖像與可見光圖像不同特征信息的融合，本文利用滾動引導(dǎo)濾波將源圖像分解為小尺度層、大尺度層和基礎(chǔ)層。在大尺度層的信息合并中，采用WLS 融合規(guī)則解決可見光與紅外圖像不同特征，使融合后的圖像更加適應(yīng)人類感知。為了降低對比度的損失，在基礎(chǔ)層的信息合成過程中使用了VSM 優(yōu)化的融合方法。主觀評價與客觀評價也證實(shí)了本文方法的有效性。