齊海生，榮傳振，肖力銘，岳振軍

（陸軍工程大學(xué)，江蘇 南京210007）

0 引 言

圖像融合是將多傳感器采集的同一場(chǎng)景的圖像進(jìn)行融合，取得信息互補(bǔ)的過(guò)程。其中，紅外與可見(jiàn)光的融合近年來(lái)受到廣泛關(guān)注，在軍事領(lǐng)域起到了非常重要的作用[1]。紅外圖像成像主要是利用紅外熱像儀成像獲得低光照條件下或者有障礙遮擋的物體的圖像，具有良好的探測(cè)性能，但紅外成像對(duì)比度低、紋理細(xì)節(jié)信息缺失?？梢?jiàn)光圖像由可見(jiàn)光傳感器成像，具有較高的對(duì)比度和豐富的紋理細(xì)節(jié)信息，有利于人眼對(duì)場(chǎng)景的認(rèn)知，但在光照較差或有障礙物遮擋等條件下所成圖像效果較差。把紅外圖像與可見(jiàn)光圖像進(jìn)行有效融合，既能突出紅外目標(biāo)信息，又可以得到可見(jiàn)光圖像的高分辨率細(xì)節(jié)信息，因此被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、航天學(xué)及軍事等領(lǐng)域。

近年來(lái)，基于變換域的圖像融合方法成為研究熱點(diǎn)，尋找適合紅外與可見(jiàn)光圖像融合的多尺度分解與重構(gòu)方法成為一個(gè)重要的研究方向。小波變換因其多分辨特性能夠捕捉信息的奇異點(diǎn)，成為最常見(jiàn)的變換域工具。但是，小波變換方向選擇性少，會(huì)導(dǎo)致目標(biāo)邊緣不清晰，因此出現(xiàn)了各類(lèi)改良小波，如脊波變換[2]、曲波變換[3]以及輪廓波變換[4]等。這些改進(jìn)改善了圖像融合效果，但都存在缺憾，如有的不能檢測(cè)曲線(xiàn)奇異，有的冗余度高、計(jì)算復(fù)雜，有的不具有平移不變性，融合圖像存在振鈴現(xiàn)象。近年，在小波變換的基礎(chǔ)上發(fā)展的雙樹(shù)復(fù)小波變換[5]，不僅保留了小波的時(shí)頻分析特性，還具有近似的平移不變性、多方向選擇性（6個(gè)方向）以及有限的數(shù)據(jù)冗余，且計(jì)算效率較高，重構(gòu)效率好，成為當(dāng)前應(yīng)用比較廣泛的工具。

在紅外與可見(jiàn)光圖像融合中，還需要充分考慮提取圖像顯著信息的空間一致性，否則融合圖像會(huì)出現(xiàn)光影或者重影現(xiàn)象。Li[6]等人提出了一種基于引導(dǎo)濾波的圖像融合方法，有效解決了空間一致性問(wèn)題，但仍存在問(wèn)題：（1）生成的顯著圖不能很好地表示圖像中的視覺(jué)顯著特征；（2）圖像分解方向單一，不能全方位體現(xiàn)圖像各方向的特征。

為此，本文提出了一種基于雙樹(shù)復(fù)小波變換和引導(dǎo)濾波器的紅外與可見(jiàn)光圖像融合算法，對(duì)源圖像進(jìn)行分解后，低頻子帶采用一種改進(jìn)的基于圖像區(qū)域能量和的融合規(guī)則進(jìn)行融合，高頻子帶則結(jié)合引導(dǎo)濾波特性，設(shè)計(jì)基于改進(jìn)的區(qū)域能量和的融合規(guī)則，并通過(guò)實(shí)驗(yàn)驗(yàn)證了算法的優(yōu)越性。

1 相關(guān)理論

1.1 雙樹(shù)復(fù)小波變換原理

kingsbury提出的雙樹(shù)復(fù)小波變換（DTCWT），相比于離散小波變換，具有優(yōu)秀的方向選擇性、良好的平移不變性、有限的數(shù)據(jù)冗余、高效的計(jì)算效率以及優(yōu)良的重構(gòu)效果等優(yōu)點(diǎn)，從而被廣泛應(yīng)用于各種圖像處理工作[7]。DTCWT使用兩個(gè)單獨(dú)的離散小波樹(shù)，其中一路的小波變換作為實(shí)部，另一路小波變換作為虛部。兩個(gè)分解樹(shù)（樹(shù)A和樹(shù)B）平行，假如樹(shù)A給出實(shí)部，樹(shù)B則定義為虛部。圖1為DTCWT的分解示意圖。

圖1 雙樹(shù)復(fù)小波變換

兩棵樹(shù)分別作用于圖像的行上和列上，產(chǎn)生雙樹(shù)結(jié)構(gòu)。每一級(jí)分解時(shí)得到兩個(gè)低頻近似子帶分別記作A(j+1,1)和A(j+1,2),同時(shí)得到6個(gè)不同方向（±15°，±45°，±75°）的高頻子帶D(j+1,m)，m=1，…，6。該方法比離散小波變換多了3個(gè)方向，可提高圖像分解與重構(gòu)的精度，并能夠保留圖像的細(xì)節(jié)信息。無(wú)論二維雙樹(shù)復(fù)小波變換分解層數(shù)是多少，總體冗余都是4∶1.

1.2 引導(dǎo)濾波

圖像引導(dǎo)濾波器[8]是一種局部線(xiàn)性濾波器。與傳統(tǒng)的濾波器相比，圖像引導(dǎo)濾波器在保持圖像邊緣梯度的同時(shí)，能夠增強(qiáng)圖像的細(xì)節(jié)信息，保留輸入圖像的整體特征，被廣泛應(yīng)用于圖像去噪、圖像傳輸和圖像融合。

假設(shè)引導(dǎo)濾波器的引導(dǎo)圖像為I，輸入圖像為p，輸出圖像為q，則在以k為中心、r為半徑的窗口Wk中，輸出圖像與引導(dǎo)圖像存在以下線(xiàn)性關(guān)系：

式中ak、bk為窗口的線(xiàn)性系數(shù)，均為常數(shù)，i、k為像素點(diǎn)坐標(biāo)。從式（1）可以看出， Iaq ?=? ，保證了輸出圖像q與引導(dǎo)圖像I的邊緣一致性。下一步是求出線(xiàn)性函數(shù)的系數(shù)，也就是線(xiàn)性回歸，即希望擬合函數(shù)的輸出值與真實(shí)值p之間的差距最小，即式（2）最小：

式中ε是為了防止系數(shù)過(guò)大而定義的正則化參數(shù)。利用最小二乘法對(duì)求解式（2），可得出ak、bk的最優(yōu)解：

uk是引導(dǎo)圖像I在窗口中的平均值，σ2k是I在窗口wk中的方差，|w|是窗口wk中像素的數(shù)量，p-k是待濾波圖像p在窗口wk中的像素均值。對(duì)于整幅圖像，計(jì)算出每個(gè)包含像素點(diǎn)i的窗口內(nèi)的qi值，得到最終的濾波輸出圖像為：

2 融合規(guī)則

2.1 基于改進(jìn)的區(qū)域拉普拉斯能量和的低頻融合規(guī)則

多尺度變換域的低頻系數(shù)中包含圖像的大部分信息和能量，因此低頻系數(shù)融合規(guī)則的選取非常重要。拉普拉斯能量和（SML）[9-10]反映了圖像的邊緣特征信息，一定程度上能恰當(dāng)反映圖像的客觀(guān)情況，但還存在問(wèn)題：只在水平和垂直方向上計(jì)算每個(gè)像素點(diǎn)的變步長(zhǎng)拉普拉斯能量值，未考慮對(duì)角方向。為此，本文采用一種改進(jìn)的拉普拉斯能量和選取方法，并據(jù)此選擇圖像的低頻系數(shù)，以獲得更好的圖像融合效果。

其中，改進(jìn)的區(qū)域拉普拉斯能量和定義為：

其中：

式中w(a,b)為權(quán)值矩陣，定義為：

從而，根據(jù)該改進(jìn)方法的低頻融合規(guī)則：

其中，I1(i, j)、I2(i, j)分別為兩幅圖像的低頻分解系數(shù)，ENS1(i,j)、ENS2(i,j)分別為兩幅圖像改進(jìn)的拉普拉斯能量和，F(xiàn)(i, j)為低頻融合系數(shù)。

2.2 基于引導(dǎo)濾波的高頻系數(shù)融合規(guī)則

人類(lèi)視覺(jué)系統(tǒng)對(duì)邊緣、方向以及紋理等比較敏感，基于區(qū)域能量的規(guī)則可以滿(mǎn)足這一要求。因此，本文采用同低頻系數(shù)相同的方法得到高頻系數(shù)的加權(quán)矩陣。但是，圖像中的噪聲主要集中在高頻部分。為了有效抑制噪聲對(duì)融合效果的影響，本文應(yīng)用引導(dǎo)濾波優(yōu)化高頻系數(shù)加權(quán)矩陣，使得亮度相近的相鄰像素值也具有相近的權(quán)重，從而滿(mǎn)足空間一致性。

首先利用式（6）求取高頻系數(shù)區(qū)域能量，再利用絕對(duì)值取大原則得到高頻系數(shù)加權(quán)映射矩陣，最后通過(guò)式（14）優(yōu)化高頻系數(shù)加權(quán)矩陣。

r為窗口半徑；Snk,l為第n幅圖像的k尺度l方向的加權(quán)映射矩陣，作為引導(dǎo)濾波的輸入；Cnk,l為第n幅圖像的k尺度l方向的系數(shù)矩陣，作為引導(dǎo)濾波的引導(dǎo)圖；Gr,ε為引導(dǎo)濾波函數(shù)。

從而，高頻系數(shù)的重構(gòu)可表示為：

3 融合步驟的設(shè)定

本文融合采用如下規(guī)則：

（1）利用雙樹(shù)復(fù)小波變換將源圖像分解為低頻系數(shù)和高頻系數(shù)；

（2）采用改進(jìn)的基于區(qū)域拉普拉斯能量和取大的融合規(guī)則進(jìn)行低頻系數(shù)融合；

（3）采用基于區(qū)域拉普拉斯能量和取大與引導(dǎo)濾波的方法對(duì)高頻系數(shù)進(jìn)行融合；

（4）將步驟（2）和步驟（3）中融合后的低頻和高頻系數(shù)，通過(guò)逆雙樹(shù)復(fù)小波變換重構(gòu)得到融合圖像。

具體過(guò)程如圖2所示。

圖2 基于DTCWT與引導(dǎo)濾波的圖像融合流程

4 實(shí)驗(yàn)結(jié)果與分析

為檢驗(yàn)算法特性，對(duì)雙樹(shù)復(fù)小波變換分解層數(shù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，其中低頻系數(shù)和高頻系數(shù)均采用本文的方法進(jìn)行融合，以取得更優(yōu)的參數(shù)，結(jié)果如圖3、表1所示。由實(shí)驗(yàn)結(jié)果可知，最優(yōu)分解層 數(shù)為4。

圖3 融合圖像一

表1 不同分解層數(shù)的融合結(jié)果對(duì)比

在同一種融合策略下，采用不同的變換域?qū)υ磮D像進(jìn)行分解，通過(guò)對(duì)融合結(jié)果進(jìn)行比較，說(shuō)明本文方法的優(yōu)越性。在不同的變換域下采用不同的融合策略，可以說(shuō)明本文算法優(yōu)于其他算法。這部分主要針對(duì)紅外與可見(jiàn)光圖像進(jìn)行實(shí)驗(yàn)比較。具體地，在傳統(tǒng)的融合策略（低頻取平均值，高頻絕對(duì)值取大）下選用拉普拉斯金字塔變換（LP）[11]、離散小波變換（DWT）[12]、curvelet變換[13]以及本文方法進(jìn)行結(jié)果比對(duì)。為了評(píng)價(jià)融合結(jié)果，采用的客觀(guān)評(píng)價(jià)指標(biāo)有信息熵、互信息量和邊緣相似度。

為了使結(jié)果更具說(shuō)服力，對(duì)3組紅外與可見(jiàn)光圖像進(jìn)行仿真實(shí)驗(yàn)，源圖像及融合結(jié)果如圖4～圖6 所示。其中，每幅圖像中的前兩個(gè)均為源圖像，其余為采用上述算法獲得的融合結(jié)果。

圖5 融合圖像三

圖6 融合圖像四

從3組融合圖像來(lái)看，4種融合方法均提取到了源圖像的互補(bǔ)信息，融合后圖像能反映兩幅源圖像所表達(dá)的內(nèi)容；融合圖像中，（c）、（d）圖像有明顯的塊效應(yīng)，圖像整體較為模糊，圖像（e）中出現(xiàn)了一些鋸齒狀紋理，圖像（f）的融合效果大大改善，圖像自然明亮，對(duì)比度適中，區(qū)域特征比較明顯。

從客觀(guān)的信息熵[14]、互信息量[15]以及邊緣相似度[16]三方面對(duì)融合結(jié)果進(jìn)行定量分析，結(jié)果如表2所示。

表2 不同算法融合結(jié)果對(duì)比

從客觀(guān)評(píng)價(jià)指標(biāo)看，本文方法優(yōu)于傳統(tǒng)融合規(guī)則下的其他變換域融合方法，能有效保留圖像的邊緣和輪廓信息，驗(yàn)證了本文算法的有效性。

5 結(jié) 語(yǔ)

本文采用基于雙樹(shù)復(fù)小波變換與引導(dǎo)濾波的方法對(duì)紅外和可見(jiàn)光圖像進(jìn)行融合，在融合規(guī)則的設(shè)定上，圖像分解完成后，對(duì)低頻部分進(jìn)行基于引導(dǎo)濾波的方法進(jìn)行融合，高頻部分進(jìn)行基于改進(jìn)的區(qū)域能量和的方法進(jìn)行融合，并與傳統(tǒng)的多尺度分解融合方法進(jìn)行比較分析。結(jié)果表明，本文提出的方法能有效保留源圖像的輪廓和邊緣信息，主觀(guān)視覺(jué)上融合圖像自然清晰，對(duì)比度適中，客觀(guān)評(píng)價(jià)指標(biāo)上也優(yōu)于其他方法。