龔 淼, 張尤賽, 李垣江

(江蘇科技大學(xué) 電子信息學(xué)院,江蘇 鎮(zhèn)江 212003)

區(qū)域能量和圖像自相似的NSCT域圖像融合*

龔 淼, 張尤賽, 李垣江

(江蘇科技大學(xué) 電子信息學(xué)院,江蘇 鎮(zhèn)江 212003)

非降采樣輪廓波變換(NSCT)不僅具有平移不變性，還擁有足夠的冗余信息，可以更有效地提取源圖像中的方向信息，使得融合后的圖像更符合人眼的視覺特性。利用NSCT在圖像處理中的優(yōu)勢，針對紅外光與可見光圖像的融合，提出了一種新的基于改進(jìn)的區(qū)域能量和圖像自相似的NSCT域圖像融合算法。首先，利用NSCT將圖像分解為一個低頻子帶和多個不同方向的帶通子帶；然后，對低頻子帶采用區(qū)域能量自適應(yīng)加權(quán)融合規(guī)則，帶通方向子帶則利用圖像自相似進(jìn)行系數(shù)的融合；最后，對融合系數(shù)進(jìn)行NSCT逆變換，以重構(gòu)生成融合圖像。實驗結(jié)果表明：與一些現(xiàn)有算法相比，該算法的圖像融合結(jié)果在人眼主觀視覺標(biāo)準(zhǔn)和客觀評價標(biāo)準(zhǔn)上均具有明顯優(yōu)勢。

圖像融合； 非降采樣輪廓波變換； 區(qū)域能量； 圖像自相似

0 引 言

圖像融合是將不同工作模式下的多個圖像傳感器所獲取的圖像信息加以綜合，以獲得更全面和更準(zhǔn)確的描述[1～3]。

非降采樣輪廓波變換(nonsubsampled contourlet transform，NSCT)[4]具有多分辨率、各向異性及平移不變性等優(yōu)點[5]，能夠很好地捕獲自然圖像中的幾何結(jié)構(gòu)信息，在圖像融合領(lǐng)域取得了比較好的效果[6,7]。

但在紅外光與可見光圖像融合領(lǐng)域中，NSCT雖然能夠較好地保留可見光圖像背景信息的細(xì)節(jié)，卻不能很好地表達(dá)紅外光圖像中的目標(biāo)信息[8]。另外，在基于多尺度變換的圖像融合過程中，融合規(guī)則的選定是影響融合效果的關(guān)鍵因素之一。對于低頻系數(shù)，最常用的方法是平均法，但是這種方法容易使源圖像低頻系數(shù)中的部分有用信息丟失，在一定程度上降低了融合圖像的對比度。對于高頻系數(shù)，一般認(rèn)為絕對值越大的系數(shù)，擁有越明顯的細(xì)節(jié)信息，但容易造成融合系數(shù)的誤選，導(dǎo)致無法獲取源圖像中最有效的有用信息。所以為了更好地利用NSCT在圖像融合領(lǐng)域的優(yōu)勢，需在NSCT域選擇合適的高低頻系數(shù)的融合規(guī)則。

綜上所述，本文提出了一種基于區(qū)域能量和圖像自相似的NSCT域紅外光與可見光圖像融合算法。利用NSCT對源圖像進(jìn)行多尺度分解，對于低頻圖像，采用空間頻率改進(jìn)的區(qū)域能量比的融合規(guī)則，以突出紅外目標(biāo)，并保留更多的可見光背景信息；對于高頻圖像，采用圖像自相似方法作為系數(shù)的融合規(guī)則，使圖像保留更多的細(xì)節(jié)信息。

1 NSCT

NSCT由非降采樣方向濾波器組和非降采樣金字塔濾波器組2個部分組成。NSCT引入了Atrous算法對濾波器進(jìn)行上采樣來實現(xiàn)圖像的分解與重構(gòu)，使其成為一類實用的超小波變換方法。圖1為NSCT的變換結(jié)構(gòu)。

圖1 NSCT變換結(jié)構(gòu)

2 圖像自相似

用源圖像的共享自相似性來形成圖像像素融合的自適應(yīng)區(qū)域[9～11]。設(shè)源圖像中的參考塊為Qv∈Cj×j，區(qū)域的中心像素為v，候選塊Qp∈Ci×i與C(v)∈Ci×i。Qv的相似性定義如下

εp=‖G‖F(xiàn)

(1)

(2)

圖2 共享相似塊的自適應(yīng)區(qū)域

融合后圖像的像素一般選擇源圖像中清晰度最高的像素，稱為最大值原則[12]，如式(3)所示

(3)

式中 O為清晰度指標(biāo)；fF為融合后的圖像。通常可利用計算每個像素的清晰度之和O(v)來替代像素最大值的方法，克服圖像融合過程中產(chǎn)生的方塊效應(yīng)。

3 詳細(xì)算法

3.1 低頻融合規(guī)則

(LX(m,n)-LX(m,n-1))2]

(4)

低頻系數(shù)融合規(guī)則如下

(5)

式中X為源圖像;LX為源圖像分解后的低頻系數(shù)矩陣;K為小波分解層數(shù)。

(6)

圖像融合的低頻系數(shù)矩陣為LF

(7)

(8)

(9)

式中 mean[·]為計算均值；std[·]為計算標(biāo)準(zhǔn)差。

3.2 高頻融合規(guī)則

(10)

式中rA(n)為在空間位置n的計數(shù)；rA(n)和rB(n)的初始值為0，直到所有自適應(yīng)區(qū)域都比對完成后停止，得到一個與源圖像大小相同的rA和rB的計數(shù)映射?？捎胷A(n)和rB(n)得到像素v的最終投票結(jié)果，并通過分配相應(yīng)的權(quán)重來得出融合圖像的像素值，如式(11)所示

(11)

式中rA(v)和rB(v)一般不為0。

3.3 融合步驟

首先將源圖像進(jìn)行NSCT分解，然后用改進(jìn)的區(qū)域能量和圖像自相似確定融合圖像的低頻與高頻系數(shù)，最后經(jīng)過NSCT逆變換得出融合圖像。具體步驟如下：

1)利用NSCT變換分別分解出源圖像A和B的低頻系數(shù)和高頻系數(shù)；

2)根據(jù)上述區(qū)域能量式(4)～式(9)，對源圖像低頻系數(shù)進(jìn)行融合；

3)根據(jù)上述圖像自相似式(1)～式(3)和式(10)～式(11)，融合源圖像的高頻系數(shù)；

4)對低頻系數(shù)和高頻系數(shù)的融合結(jié)果進(jìn)行NSCT逆變換得出融合圖像F。

4 實驗結(jié)果與分析

實驗選取了2組圖像，如圖3所示。圖3(a)為大小為256×256的圖像“e518a”。實驗中，給出的圖像自相似規(guī)則的搜索區(qū)域大小為16×16，所有圖像的相似塊數(shù)量為16。

圖3 組源圖像

圖4和圖5分別給出了基于Curvelet變換的圖像融合算法，基于SF-NSCT的圖像融合算法、傳統(tǒng)DWT圖像融合算法和本文算法針對兩組實驗圖像的融合結(jié)果。

圖4 第1組紅外光與可見光圖像融合

圖5 第2組紅外光與可見光圖像融合

圖4、圖5中，4種圖像融合算法均能保持源圖像的主要信息和特征，但在圖像融合結(jié)果的細(xì)節(jié)處仍存在較明顯的差異。經(jīng)Curvelet變換和傳統(tǒng)DWT算法融合后，圖像的背景更接近于紅外光圖像，圖像灰度值較大，且Curvelet變換融合結(jié)果伴有明顯的振鈴現(xiàn)象。SF-NSCT和本文算法的融合圖像的背景更接近于可見光圖像，灰度值較適中且背景信息較為清晰，在細(xì)節(jié)特性上，如行人和車輛與燈光重疊部分更為清晰，整體的圖像對比度更高。表1給出了圖4、圖5中采用不同融合算法的融合圖像結(jié)果的客觀評價指標(biāo)，每組圖像每個評價指標(biāo)的最優(yōu)值用粗字體加以標(biāo)示。

表1 圖4，圖5中不同算法融合結(jié)果的評價指標(biāo)對比

表1中圖4和圖5融合結(jié)果的客觀評價指標(biāo)說明，本文算法融合結(jié)果的信息熵E、平均梯度G、空間頻率SF與邊緣互信息Qab/f4個評價指標(biāo)與其他算法融合結(jié)果相比皆為最高。所以本文融合算法有助于提升圖像的層次感，增加融合后圖像信息量，并能較多地保留源圖像中的信息，與主觀評價結(jié)果一致。

5 結(jié) 論

基于區(qū)域能量的圖像融合規(guī)則能夠克服基于像素融合規(guī)則的片面性，可以更好地體現(xiàn)圖像的局部特征。經(jīng)NSCT分解后的圖像的高頻子帶可反映出圖像的紋理和邊緣信息，選用圖像自相似融合規(guī)則可以提高融合圖像的清晰度。實驗結(jié)果說明：本文所提算法可以更好地突出紅外圖像中的目標(biāo)信息，保存可見光圖像的背景信息，增強(qiáng)對比度，在主觀視覺效果與客觀評價指標(biāo)上均有一定地改善和提升。

[1] 朱 煉,孫 楓,夏芳莉，等.圖像融合研究綜述[J].傳感器與微系統(tǒng),2014,33(2):14-18.

[2] 高繼森,董亞楠,沈 瑜，等.基于改進(jìn)Tetrolet變換的圖像融合算法研究[J].計算機(jī)科學(xué),2015,42(5):320-322.

[3] 趙景朝,曲仕茹.基于Curvelet變換與自適應(yīng)PCNN的紅外與可見光圖像融合[J].西北工業(yè)大學(xué)學(xué)報,2011,29(6):849-853.

[4] Cunha A L da,Zhou J,Do M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[5] 黃曉青.基于模糊邏輯的紅外光與可見光圖像融合技術(shù)[D].重慶：重慶大學(xué),2012.

[6] 張 蕾,金龍旭,韓雙麗，等.采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J].光學(xué)精密工程,2015,23(3):810-818.

[7] Qu Xiaobo,Yan Jingwen,Xiao Hongzhi,et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J].Automatica SINICA,2008,34(12):1508-1514.

[8] 何國棟,石建平,馮友宏,等.一種新的紅外與可見光圖像融合算法[J].傳感器與微系統(tǒng),2014,33(4):139-141.

[9] Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing,2007,16(8):2080-2095.

[10] Qu Xiaobo,Hou Yingkun,Lam Fan,et al.Magnetic resonance image reconstruction from undersampled measurements using a patch-based nonlocal operator[J].Medical Image Analysis,2014,18(6):843-856.

[11] Guo Di,Yan Jingwen,Qu Xiaobo.High quality multi-focus image fusion using self-similarity and depth information[J].Optics Communications,2014,10:31.

[12] Zhong Z,Blum R S.[C]∥Proceedings of the IEEE,1999:1315.

Fusion of images based on regional energy and image self-similarity in NSCT domain*

GONG Miao, ZHANG You-sai, LI Yuan-jiang

(School of Electronics and Information,Jiangsu University of Science and Technology,Zhenjiang 212003,China)

Nonsubsampled contourlet transform(NSCT)not only has translation invariance,but also has sufficient redundancy information,and it can more effectively extract direction information from source image,so that the fused image is more consistent with human visual characteristics.A new image fusion algorithm for visible-infrared image based on improved region energy and image self-similarity in NSCT domain is proposed.The two source images are decomposed into low-frequency subbands and high-frequency subbands by NSCT.As for the low frequency subband coefficients, an regional energy adaptive weighting image fusion algorithm is presented;while as for the high-frequency subband coefficients, based on self-similarity.Fusion coefficients are reconstructed by inverse NSCT to reconstruct to form fusion image.Compared with some existing algorithms, the proposed fusion algorithm results has obvious advantages in the human eye subjective visual standards and objective evaluation criteria.

image fusion; nonsubsampled contourlet transform(NSCT); regional energy; image self-similarity

10.13873/J.1000—9787(2017)05—0074—03

2016—05—18

江蘇省博士后基金資助項目(1302027C);江蘇省高校自然科學(xué)研究面資助項目(15KJB510008)

TP 391

A

1000—9787(2017)05—0074—03

龔 淼(1991-)，女，碩士研究生，研究方向為計算機(jī)視覺與圖像處理。

李垣江(1981-)，男，通訊作者，博士研究生，講師，研究方向為信號與圖像處理、計算機(jī)視覺、故障診斷，E—mail:gongmiaogm@126.com。