朱祥玲，吳欽章，陳 洪

(1.中國科學(xué)院大學(xué)，北京 100049;2.中國西昌衛(wèi)星發(fā)射中心技術(shù)部，四川西昌 615000; 3.中國科學(xué)院光電技術(shù)研究所，四川成都 610209)

基于小波變換的雙波段紅外圖像融合方法

朱祥玲1，2，吳欽章3，陳 洪2

(1.中國科學(xué)院大學(xué)，北京 100049;2.中國西昌衛(wèi)星發(fā)射中心技術(shù)部，四川西昌 615000; 3.中國科學(xué)院光電技術(shù)研究所，四川成都 610209)

針對紅外探測器長波圖像和中波圖像的特征，采用基于小波變換的方法實(shí)現(xiàn)雙波段紅外圖像的融合。在對不同波段紅外圖像小波分解的基礎(chǔ)上，對低頻子帶圖像采用加權(quán)平均，對高頻子帶圖像采用區(qū)域能量最大的融合規(guī)則得到融合圖像的多分辨率結(jié)構(gòu)，再利用小波逆變換重構(gòu)融合圖像。仿真結(jié)果表明，和普通基于空域加權(quán)平均的方法相比無論從主觀視覺還是通過客觀評價(jià)指標(biāo)的計(jì)算結(jié)果來看，基于小波變換的雙波段紅外圖像融合方法均具有更為理想的圖像融合效果。

紅外圖像;小波變換;圖像融合

1 引 言

紅外成像作用距離遠(yuǎn)，可以探測被遮擋目標(biāo)并且可以在黑暗條件下成像，在航天測控和成像制導(dǎo)等方面得到廣泛應(yīng)用。隨著技術(shù)的發(fā)展，紅外成像由單一波段逐漸向雙波段發(fā)展，即紅外探測器同時(shí)輸出長波和中波圖像。目標(biāo)在不同的波段具有不同的輻射特性，有時(shí)用長波紅外探測不到的目標(biāo)卻可以用中波紅外有效檢測出來。但是，目前雙波段紅外探測器不同波段的紅外圖像通常未能得到綜合利用。本文結(jié)合不同波段紅外圖像的輻射特征采用基于小波變換的圖像融合方法，對圖像小波分解后的低頻分量采用加權(quán)平均，對高頻分量采用區(qū)域能量最大的方法實(shí)現(xiàn)了長波紅外與中波紅外圖像的有效融合。仿真結(jié)果表明，采用本文的算法融合后的雙波段紅外圖像內(nèi)容清晰，空間細(xì)節(jié)豐富，其圖像融合的客觀評價(jià)指標(biāo)優(yōu)于基于普通空域加權(quán)平均的圖像融合方法。

2 雙波段紅外圖像輻射特性

在雙波段紅外探測中，一般采用中波波段(3～5μm)和長波波段(8～12μm)。目標(biāo)輻射在不同的波段具有不同的輻射照度，紅外輻射遵循普朗克輻射定律［1］，即:

其中，Mλbb是黑體的輻射光譜輻射出射度;λ是輻射波長;T是表面溫度;c1是第一輻射常數(shù)，c1= 3.7418×108W·M－2·μm4;c2是第二輻射常數(shù)，c2=1.4388×104μm·K。

根據(jù)普朗克輻射定律，畫出不同溫度下黑體輻射出射度隨波長的變化關(guān)系如圖1所示。從圖中可以看出，光譜輻射出射度隨波長連續(xù)變化，每條曲線只有一個(gè)極大值。隨著溫度的升高，曲線峰值所對應(yīng)的波長向短波長方向移動(dòng)，黑體輻射中波長較短部分所占的比例增加。

圖1 不同溫度下黑體的輻射出射度隨波長的關(guān)系

圖2是雙波段紅外探測器不同波段的圖像特征，由于目標(biāo)在長波和中波波段具有不同的紅外輻射特性，從成像效果來看區(qū)別較為明顯，主要表現(xiàn)在以下方面:

圖2 雙波段探測器不同波段紅外圖像特征

(1)中波圖像中溫度較高的目標(biāo)和溫度較低的背景的灰度值相差比較大，目標(biāo)比較明顯;在長波段高溫目標(biāo)和溫度較低的背景的灰度值相差比較小，目標(biāo)不一定明顯。

(2)中波圖像目標(biāo)與背景的對比度量化范圍大，量化誤差較大，圖像場景細(xì)節(jié)相對比較少。長波圖像量化誤差比較小，低溫場景的細(xì)節(jié)相對較為豐富。

(3)中波圖像目標(biāo)和背景輻射對比度變化范圍大，量化后圖像的灰度分布比較分散，場景中的高溫區(qū)域越少，圖像整體越偏暗。長波圖像的灰度分布比較均勻，圖像整體亮度較亮。

3 基于小波變換的紅外圖像融合

由于紅外成像技術(shù)自身的特點(diǎn)，采用單一波段的紅外探測器具有一定的局限性。有時(shí)用中波紅外探測器難以發(fā)現(xiàn)的目標(biāo)，用長波紅外探測器可以有效地檢測出來。將雙波段紅外圖像進(jìn)行融合處理，可以充分發(fā)揮紅外探測器的性能。雙波段紅外圖像融合通常采用空域加權(quán)平均的方法［2］，具有一定的圖像增強(qiáng)效果。但是該方法沒有和雙波段紅外圖像的輻射特性結(jié)合起來，融合圖像的目標(biāo)輪廓和邊緣細(xì)節(jié)因?yàn)槠交僮鞫兊媚：?。本文結(jié)合雙波段紅外圖像的輻射特性，采用基于小波變換的圖像融合方法，其融合過程如圖3所示。即首先對原始紅外圖像分別進(jìn)行小波變換，將其分解在不同頻段的不同特征域上。在不同的特征域上采用相應(yīng)的算法對子帶圖像進(jìn)行融合，構(gòu)成多分辨率的小波金字塔結(jié)構(gòu)，最后通過小波逆變換重構(gòu)融合圖像。

圖3 基于小波變換的圖像融合方法示意圖

(1)紅外圖像的小波分解

在進(jìn)行紅外圖像融合前，采用小波變換將圖像分解在不同的特征域上。在本文中小波分解采用Mallat二維離散小波分解算法［3］，二維圖像C(m，n)的小波分解過程為:

其中，Cj+1，Dhj+1，Dvj+1和Ddj+1分別對應(yīng)于圖像Cj經(jīng)小波分解后的低頻分量、水平高頻分量、垂直高頻分量和對角高頻分量。H和G分別是尺度函數(shù)和小波函數(shù)對應(yīng)的濾波器系數(shù)矩陣，H'和G'是矩陣H和G的共軛轉(zhuǎn)置矩陣。

小波變換中小波分解的層數(shù)越多，獲得的圖像細(xì)節(jié)信息就會(huì)越多，融合的頻率范圍也越豐富。但是，小波分解的層數(shù)并不是越多越好，對不同種類的圖像存在著不同的最佳分解層數(shù)［4］。小波變換層數(shù)增多不僅會(huì)大大增加圖像融合算法的運(yùn)算量，并且當(dāng)小波分解尺度增大到一定程度時(shí)會(huì)產(chǎn)生方塊效應(yīng)引起圖像的邊界失真，這些圖像損失在小波反變換時(shí)不能恢復(fù)。因此，圖像小波分解的層數(shù)不能過高，在本文中采用2層小波分解。

圖4是紅外雙波段圖像小波分解的結(jié)果，從圖中可以看出圖像的能量主要集中在低頻部分，圖像的邊緣和細(xì)節(jié)主要包含在高頻部分，部分在長波圖像的高頻子圖中表現(xiàn)不明顯的圖像細(xì)節(jié)在中波紅外圖像的高頻子圖中表現(xiàn)得更為清晰。

圖4 紅外雙波段圖像小波分解結(jié)果

(2)小波分解子帶圖像融合規(guī)則的選擇

在紅外雙波段圖像小波分解后的低頻子帶和高頻子帶分別采用不同的融合規(guī)則進(jìn)行圖像融合，設(shè)計(jì)融合規(guī)則的理論基礎(chǔ)是［5］:小波分解后的低頻部分表征圖像的近似部分，高頻部分表征圖像的細(xì)節(jié)信息，高頻波段的系數(shù)絕對值越大，表示該處亮度變化越劇烈，即可能包含圖像的邊緣、線條或區(qū)域邊界。從圖4紅外雙波段圖像的小波分解結(jié)果可以看出，長波和中波圖像的目標(biāo)細(xì)節(jié)部分主要分布在高頻部分，在低頻方向的差異并不大。為了減少算法的運(yùn)算量，在低頻子帶上采用加權(quán)平均的融合規(guī)則，即:

其中，fA(i，j)和fB(i，j)分別代表長波紅外低頻子帶圖像和中波紅外低頻子帶圖像在像素點(diǎn)(i，j)處的灰度值;ωA和ωB分別為相應(yīng)的加權(quán)系數(shù);ωA+ ωB=1。由于和長波紅外圖像相比，中波紅外圖像相對較暗，在進(jìn)行低頻子帶融合時(shí)一般取ωA＞ωB。

紅外雙波段圖像小波分解后的高頻子帶圖像包含了目標(biāo)或背景的細(xì)節(jié)部分，常用的高頻子帶圖像的融合包括基于像素以及基于區(qū)域兩種融合規(guī)則?；谙袼氐膱D像融合要求融合前的源圖像之間嚴(yán)格配準(zhǔn)，并且沒有考慮鄰近像素點(diǎn)小波變換的相關(guān)性。在小波分解中，高頻子帶系數(shù)之間存在著明顯的區(qū)域相關(guān)性?？紤]到小波變換時(shí)附近的波系數(shù)的影響，本文采用基于區(qū)域能量最大的高頻子帶圖像融合規(guī)則。首先確定圖像區(qū)域的尺寸，然后計(jì)算區(qū)域的圖像能量。設(shè)兩幅圖像小波分解后的高頻子帶圖像分別為Ak和Bk(k=1，2，3分別代表圖像經(jīng)小波分解后的高頻水平子圖、高頻垂直子圖和高頻對角子圖)，區(qū)域窗口大小為M×N(M=2l+1，N= 2v+1)，則圖像在像素點(diǎn)(i，j)處的區(qū)域能量為:

根據(jù)區(qū)域能量最大原則，融合后的高頻子帶圖像為:

其中，F(xiàn)k(i，j)表示高頻子帶圖像在像素點(diǎn)(i，j)處的融合值。

(3)圖像重構(gòu)

采用小波逆變換對經(jīng)過融合的低頻和高頻子帶圖像進(jìn)行重構(gòu)得到融合圖像，即:

4 圖像融合效果的客觀評價(jià)指標(biāo)

如何評價(jià)圖像融合效果是紅外圖像融合中的重要步驟，根據(jù)人的主觀視覺評估的方法是目前最為常用的圖像評估手段。主觀評價(jià)法簡單直觀，但是當(dāng)兩幅圖像差別不太大時(shí)評價(jià)結(jié)果因人而異，缺乏說服力。本文在主觀評價(jià)的基礎(chǔ)上，還進(jìn)一步采用圖像的信息熵、平均梯度、標(biāo)準(zhǔn)偏差和互信息量等指標(biāo)對紅外雙波段圖像的融合效果進(jìn)行客觀評價(jià)。

(1)信息熵(Information Entropy)

圖像信息熵的大小反映了圖像包含信息量的多少，定義為［6］:

其中，L表示圖像灰度總的灰度等級;pi表示灰度值為i的像素?cái)?shù)占圖像總像素的比例。信息熵越大，表示圖像所包含的信息量越大，融合效果越好。

(2)平均梯度(Average Gradient)

平均梯度反映了圖像對微小細(xì)節(jié)和紋理變化特征的表達(dá)能力，也反映了圖像的清晰度。一般來講，平均梯度越大，圖像越清晰。圖像的平均梯度定義為:

(3)互信息(Mutual Information)

互信息用于反映融合圖像與源圖像之間的關(guān)聯(lián)程度，互信息量越大，表明融合圖像從源圖像中獲取的信息越多，融合效果越好。圖像間互信息的定義式為［7］:

標(biāo)準(zhǔn)偏差反映了圖像灰度值相對于圖像灰度均值的離散程度，標(biāo)準(zhǔn)偏差越大，則灰度級分布越分散，視覺效果越好。圖像標(biāo)準(zhǔn)偏差的定義為:

5 仿真驗(yàn)證

采用計(jì)算機(jī)仿真的方法對本文基于小波變換的紅外雙波段圖像融合算法的效果進(jìn)行驗(yàn)證，其中小波分解層數(shù)為2，小波基采用Harr正交小波。在小波分解后的低頻子帶圖像采用加權(quán)平均的方法進(jìn)行融合，加權(quán)系數(shù)分別為ωA=0.6，ωB=0.4。高頻子帶圖像采用區(qū)域能量最大的規(guī)則進(jìn)行融合，圖像區(qū)域的大小取3×3。

圖5是本文基于小波變換的雙波段紅外圖像的融合效果，從圖中可以看出采用普通基于空域加權(quán)平均的方法融合圖像的清晰度有所提高，但圖像的部分細(xì)節(jié)因?yàn)閳D像的平滑效應(yīng)難以分辨。而采用小波變換的方法進(jìn)行雙波段紅外圖像融合后所得的圖像細(xì)節(jié)更為突出豐富，如圖中路面、行人以及輪船的輪廓等細(xì)節(jié)更為清晰可辨。

圖5 小波變換圖像融合效果

考慮到通過視覺判斷的方法具有一定的主觀性，本文還通過計(jì)算融合后圖像的標(biāo)準(zhǔn)偏差、平均梯度、信息熵以及與源圖像間的互信息等指標(biāo)對圖像的融合效果進(jìn)行客觀評價(jià)，計(jì)算結(jié)果如表1所示。

表1 紅外圖像融合的客觀評價(jià)指標(biāo)

從表1的計(jì)算結(jié)果可以看出，采用小波變換融合圖像的標(biāo)準(zhǔn)偏差、平均梯度、信息熵以及互信息量均大于普通基于空域加權(quán)平均的融合圖像，圖像融合效果更為理想。

6 結(jié)束語

雙波段紅外探測器在航天測控和成像制導(dǎo)等方面的應(yīng)用越來越廣泛，本文提出的紅外圖像融合方法結(jié)合不同波段紅外圖像的輻射特性，利用小波多尺度分解的優(yōu)點(diǎn)，有效實(shí)現(xiàn)了雙波段紅外圖像的融合，可以充分發(fā)揮雙波段紅外探測器的性能。仿真結(jié)果表明，和普通基于空域加權(quán)平均的方法相比，無論從主觀視覺還是通過客觀評價(jià)指標(biāo)的計(jì)算結(jié)果來看基于小波變換的雙波段紅外圖像融合方法均具有更為理想的圖像融合效果。

［1］RichardsonMark A.Low-cost pc-based high fidelity infrared signature modeling and siulation.［D］.Shrivenham: Cranfield Defence and Security，2007:2－15.

［2］Lallier E，F(xiàn)arooq M.A real time pixel-level based image fusion via adaptive weight averaging.［C］.Proceedings of international conference on information fusion，2000，22 (9):3－13.

［3］WEIMingguo.Practical wavelet analysis［M］.Beijing.Beijing Institute of Technology Publishing House，2005.(in Chinese)

魏明果.實(shí)用小波分析［M］.北京:北京理工大學(xué)出版社，2005.

［4］ZHAO Dapeng，SHI Jiaming.Study on the optimal parameters of image fusion based on wavelet transform.［J］.Laser＆Infrared，2007，37(2):189－193.(in Chinese)

趙大鵬，時(shí)家明.小波圖像融合的最佳參數(shù)研究［J］.激光與紅外，2007，37(2):189－193.

［5］LIU Songtao，SHEN Tongsheng，YANG Shaoqing.Multiresolution image fusion algorithm based on adaptive fusion rule［J］.Laser＆Infrared，2007，37(8):788－791.(in Chinese)

劉松濤，沈同圣，楊紹清.基于自適應(yīng)融合規(guī)則的多分辨率圖像融合算法［J］.激光與紅外，2007，37(8): 788－791.

［6］覃征，鮑復(fù)民，李愛國，等，數(shù)字圖像融合［M］.西安:西安交通大學(xué)出版社，2004:11－19.

［7］Qu G H，Zhang D L，Yan P F.Information measure for performance of image fusion.［J］.Electronics Letters，2002，38(7):313－315.

Fusion algorithm of dualwaveband infrared images based on wavelet transformation

ZHU Xiang-ling1，2，WU Qin-zhang3，CHEN Hong2
(1.University of Chinese Academy of Sciences，Beijing，100049;
2.Xichang Satellite Launching Center of China，Xichang，615000;
3.The Institute of Optics＆Electronics the Chinese Academy of Sciences，Chengdu 610209)

According to the radiation characteristics of long wave infrared image and medium wave image，a fusion algorithm of dualwaveband infrared images based on wavelet transformation is presented.Firstly，the low frequency subband images are fused with corresponding weighting coefficients，and then the high frequency sub-band images are fused according to the rule of themax region power.Finally，the fused image is reconstituted through the inversewavelet transformation.Computer simulation shows that the fused dual band infrared image based on wavelet transformation hasmore preferable effect in subjective visual and objective evaluation compared with the fusion algorithm of spatial weighed average.

infrared image;wavelet transformation;image fusion

TP751

A

10.3969/j.issn.1001-5078.2014.05.020

1001-5078(2014)05-0572-05

朱祥玲(1975－)，女，高級工程師，主要從事航天測控，圖像處理方面研究。E-mail:zhuxiangling@sina.com

2013-09-10