楊風(fēng)暴，趙艷霞，吉琳娜，劉英杰，董安然

?

基于局部能量匹配的紅外偏振圖像融合

楊風(fēng)暴1，趙艷霞1，吉琳娜2，劉英杰1，董安然1

（1. 中北大學(xué)信息與通信工程學(xué)院，山西 太原 030051；2.中北大學(xué)動(dòng)態(tài)測(cè)試技術(shù)重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051）

針對(duì)紅外偏振融合后圖像邊緣模糊不清和細(xì)節(jié)信息不明顯等問(wèn)題，本文提出了一種基于局部能量匹配的紅外偏振圖像融合方法。首先，融合偏振角圖像和偏振度圖像得到偏振特征圖像；然后運(yùn)用非下采樣剪切波變換（NSST）把偏振特征圖像和光強(qiáng)圖像分解為低頻子帶和高頻子帶，運(yùn)用頂帽（Top-hat）變換處理偏振圖像的低頻信息，提取目標(biāo)；最后采用基于局部能量匹配和局部方差相結(jié)合的融合規(guī)則融合低頻子帶和高頻子帶。實(shí)驗(yàn)結(jié)果表明，本文算法與NSCT算法相比較，融合后圖像的整體互信息值提高了8.7%，方差提高了3.9%，很好的保留了圖像的細(xì)節(jié)信息。

紅外偏振圖像融合；NSST；局部能量；Top-hat變換

0 引言

目前的紅外熱成像探測(cè)系統(tǒng)在實(shí)現(xiàn)目標(biāo)的發(fā)現(xiàn)、識(shí)別與跟蹤時(shí)，主要是接收物體表面的熱紅外輻射信號(hào)，通過(guò)分析得到的熱圖像，從而區(qū)分目標(biāo)和背景。但由于紅外圖像的反差低，在復(fù)雜的場(chǎng)景情況下缺乏細(xì)節(jié)，因此很難識(shí)別背景中的目標(biāo)。而偏振是光的一種固有特性，偏振圖像可以對(duì)人造目標(biāo)和自然目標(biāo)進(jìn)行區(qū)別；兩種的目標(biāo)的偏振特性不一樣，利用這些特性可以把人造目標(biāo)區(qū)分出來(lái)，從而提高目標(biāo)的檢測(cè)率。把紅外偏振圖像和光強(qiáng)圖像融合，融合后的圖像具有與融合前兩幅圖像互補(bǔ)并且相互區(qū)別的信息。因而它們的融合引起了廣泛關(guān)注。

紅外偏振融合算法中，文獻(xiàn)[1]提出了基于小波變換的融合方法，但是小波變換不能夠?qū)D像方向進(jìn)行充分的分解，融合后圖像增加的灰度信息量較少，增加的信息量較少。非下采樣輪廓波變換具良好的方向特性和平移不變性，廣泛應(yīng)用于圖像融合領(lǐng)域[2]。文獻(xiàn)[3]采用NSCT變換對(duì)低頻子帶以局部能量作為測(cè)度指標(biāo)來(lái)融合。目前的研究中對(duì)低頻子帶系數(shù)的融合規(guī)則通常采用簡(jiǎn)單的加權(quán)平均融合算法，有些融合規(guī)則直接選取較大的局部能量系數(shù)，這種融合規(guī)則使得融合后圖像模糊、對(duì)比度下降、目標(biāo)識(shí)別能力減弱。

本文針對(duì)上述問(wèn)題提出基于局部能量匹配的紅外偏振圖像融合方法，圖1為本文融合方法的原理圖。NSST在分解過(guò)程中沒(méi)有采樣操作，并且具有良好的方向選擇性，因此本文用NSST作為源圖像多尺度分解工具。

1 紅外偏振圖像的獲取

偏振是光的一種固有特性[4]，通常用斯托克斯矢量（Stokes）描述法來(lái)描述。Stokes矢量描述法用、、、四個(gè)參量來(lái)描述光波的偏振態(tài)和強(qiáng)度。其中參量表示光強(qiáng)信息，即通過(guò)單位面積的輻射能力；表示水平和垂直方向線(xiàn)性偏振的強(qiáng)度差異；表示45°和135°方向的直線(xiàn)偏振光分量；表示圓偏振信息，在自然光的輻射反應(yīng)中，相對(duì)于，，來(lái)說(shuō)，值非常小，所以我們假設(shè)＝0。如圖2所示，圖2(a)～圖2(d)為偏振度分別為0°、45°、90°和135°的紅外偏振信息圖像，然后計(jì)算出偏振度圖像和偏振角圖像，如圖2(e)和圖2(f)所示。

2 NSST圖像分解方法

剪切波區(qū)別于輪廓波的特點(diǎn)在于其基函數(shù)組可由函數(shù)的伸縮、平移、旋轉(zhuǎn)產(chǎn)生，因此非下采樣形式的剪切波（Shearlets）變換[5]在圖像在分解與重構(gòu)過(guò)程中細(xì)節(jié)信息不會(huì)丟失，不僅具有平移不變性和穩(wěn)定性，而且分解后圖像與原圖像大小相同，因而能夠更加準(zhǔn)確地描述了圖像方向性和特征。因此本文采用非下采樣剪切波變換對(duì)偏振特征圖像和光強(qiáng)圖像進(jìn)行多尺度分解。NSST離散化過(guò)程為：采用非下采樣金字塔（nonsubsampled pyramid，NSP）濾波組獲得圖像的多尺度分解；采用改進(jìn)的剪切波濾波器組（shearlet filter，SF）獲得圖像的多方向和多尺度分解。

3 算法描述

偏振特征圖像與光強(qiáng)圖像融合的主要目的是融合來(lái)自?xún)蓚€(gè)源圖像中的互補(bǔ)信息[6-7]。本文方法將偏振特征圖像和光強(qiáng)圖像經(jīng)過(guò)NSST分解，分解為低頻子帶系數(shù)和高頻子帶系數(shù)。在低頻子帶系數(shù)上，互補(bǔ)信息主要是目標(biāo)的整體特性；而在高頻子帶系數(shù)上，互補(bǔ)信息主要表現(xiàn)為目標(biāo)的細(xì)節(jié)特性上，如目標(biāo)的邊緣描述等。

圖1 融合算法原理圖

圖2 偏振圖像的獲取

融合時(shí)作為源圖像的偏振特征圖像是偏振度圖像和偏振角圖像的融合結(jié)果，偏振特征圖像經(jīng)多分辨率分解后，它的低頻子帶信息經(jīng)亮Top-hat變換和暗Top-hat變換，提取圖像中較亮和較暗的信息。亮、暗細(xì)節(jié)特征信息使得的融合圖像的對(duì)比度增加，豐富了圖像的細(xì)節(jié)信息。采用不同的融合規(guī)則對(duì)對(duì)兩幅圖像的低頻子帶信息和高頻子帶信息分別進(jìn)行融合；最后對(duì)低頻子帶信息和高頻子帶信息進(jìn)行NSST多分辨率重構(gòu)，最終得到融合后圖像。

3.1 偏振特征圖像的獲取

偏振參數(shù)圖像偏振度（DOP）和偏振角（AOP）包含清晰的目標(biāo)邊緣和輪廓，但是整體圖像看起來(lái)暗而且對(duì)比度低。由于人造目標(biāo)的表面較平滑，線(xiàn)偏振度較大，而背景目標(biāo)的表面各異，偏振度離散較大，線(xiàn)偏振度較小，因而DOP圖像更多的描述目標(biāo)的偏振信息，能夠突出人為目標(biāo)。而AOP圖像能夠很好的描述目標(biāo)表面情況，圖像中的細(xì)節(jié)更豐富，邊緣更清晰。將AOP圖像和DOP圖像融合之后，融合后的圖像即偏振特征圖像具有了兩類(lèi)圖像的不同優(yōu)勢(shì)，更有利于偏振特征圖像與光強(qiáng)圖像的融合，使融合后圖像細(xì)節(jié)清晰，因而將這兩類(lèi)圖像融合十分重要。本文先融合偏振度圖像和偏振角圖像，得到融合后圖像(,)即偏振特征圖像。偏振特征圖像中，目標(biāo)的邊緣和輪廓清晰，目標(biāo)表面細(xì)節(jié)比較明顯。在偏振特征圖像和紅外光強(qiáng)圖像融合后的圖像中突出了目標(biāo)的細(xì)節(jié)和邊緣。由于DOP圖像和AOP圖像取值范圍的不同，應(yīng)先進(jìn)行標(biāo)準(zhǔn)化：

3.2 低頻系數(shù)融合規(guī)則

偏振特征圖像和光強(qiáng)圖像融合的目的是提取圖像的目標(biāo)信息，而且目標(biāo)信息的能力大，而源圖像經(jīng)多分辨率分解后，得到了低頻子帶系數(shù)和高頻子帶系數(shù)，而源圖像的近似特性以及絕大部分能量均由低頻子帶系數(shù)反映，因而對(duì)低頻系數(shù)的融合能夠得到偏振特征圖像和光強(qiáng)圖像的互補(bǔ)信息。對(duì)于低頻子帶圖像，標(biāo)準(zhǔn)的加權(quán)平均規(guī)則不能突出目標(biāo)。因此，我們采用局部能量匹配和加權(quán)平均的融合規(guī)則。0(,)，0(,)分別表示光強(qiáng)圖像和偏振特征圖像經(jīng)NSST分解后的低頻成分。局部能量表示為：

局部能量匹配度定義為：

M的取值范圍是[0, 1]。給定一個(gè)閾值，比較與M的大小，當(dāng)M＜時(shí)，比較偏振特征圖像與光強(qiáng)圖像的區(qū)域能量，若光強(qiáng)圖像的區(qū)域能量大于等于偏振特征圖像的區(qū)域能量，則選取0(,)為融合后圖像的低頻系數(shù)，反之亦然。當(dāng)M≥時(shí)，則根據(jù)局部能量大小進(jìn)行加權(quán)融合，即：

3.3 高頻系數(shù)融合規(guī)則

圖像經(jīng)NSST分解后得到的高頻系數(shù)反映了圖像的邊緣以及圖像細(xì)節(jié)等的突變特性，高頻子帶的局部方差越大，其對(duì)于區(qū)域的圖像越清晰，為了保留源圖像的細(xì)節(jié)信息，采用局部方差特征信息來(lái)選擇高頻系數(shù)。高頻系數(shù)的局部方差定義為：

4 融合實(shí)驗(yàn)及性能評(píng)價(jià)

為充分驗(yàn)證本文方法的有效性和實(shí)用性，在雙核2.10GHz處理器的PC機(jī)上，通過(guò)Matlab2012a平臺(tái)進(jìn)行實(shí)驗(yàn)，對(duì)自然場(chǎng)景和人工場(chǎng)景進(jìn)行偏振片角度為0°、45°、90°和135°的拍攝，采集所需圖像數(shù)據(jù)。本文實(shí)驗(yàn)所使用的圖像均來(lái)自互聯(lián)網(wǎng)。

4.1 融合的客觀(guān)質(zhì)量評(píng)價(jià)指標(biāo)

本文待融合的圖像為光強(qiáng)圖像和經(jīng)AOP圖像和DOP圖像融合后得到的偏振特征圖像，所選取的客觀(guān)質(zhì)量評(píng)價(jià)指標(biāo)有算法運(yùn)行時(shí)間、方差、信息熵和互信息值4個(gè)指標(biāo)，其中方差表征了融合圖像的對(duì)比度信息；信息熵表征了融合圖像的灰度信息量，計(jì)算公式如式(10)，的值越大，則說(shuō)明信息越豐富；互信息值越大，表示融合圖像從源圖像中獲取的信息越豐富，融合效果越好，本文分別求取光強(qiáng)圖像和最終融合圖像的互信息值F、偏振特征圖像和最終融合圖像的互信息值F，整體互信息值定義為兩者之和。

4.2 融合效果和分析

目前，大多數(shù)紅外偏振圖像的融合方法大都針對(duì)紅外光強(qiáng)圖像和偏振度圖像進(jìn)行[8]，能提取圖像的顯著性信息，但偏振角圖像中包含的邊緣和細(xì)節(jié)信息常常被忽略，本文將AOP圖像和DOP圖像通過(guò)一定的融合規(guī)則進(jìn)行融合，對(duì)圖像細(xì)節(jié)有效信息進(jìn)行更為精細(xì)的處理，并通過(guò)多尺度分解和頂帽變換[9]處理，達(dá)到較好的融合效果。為充分驗(yàn)證本文算法效果，分別選取自然場(chǎng)景和人工場(chǎng)景圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，其中，偏振特征圖像為經(jīng)過(guò)本文融合規(guī)則對(duì)AOP圖像和DOP圖像進(jìn)行融合后的圖像，并將本文算法和DWT算法、NSCT算法、LP算法的融合結(jié)果進(jìn)行對(duì)比驗(yàn)證，結(jié)果如圖3、圖4所示。

圖3為自然場(chǎng)景下一幅圖像，光強(qiáng)圖像中的明亮區(qū)域是由圖中物體的輻射信息決定的，圖像屋頂?shù)任矬w的反射很強(qiáng)，使得光強(qiáng)圖像的中間偏上部分區(qū)域較亮，但圖中樹(shù)木和草叢等區(qū)域細(xì)節(jié)不清晰；而偏振特征圖像中樹(shù)木和草叢等自然景象的細(xì)節(jié)信息較明顯，反而屋頂處卻比較模糊。

圖3 自然場(chǎng)景圖像融合結(jié)果對(duì)比

圖4 人工場(chǎng)景圖像融合結(jié)果對(duì)比

圖4為人工場(chǎng)景下一幅圖像，光強(qiáng)圖像中人及其身后窗體部位輻射信息較好，但車(chē)體和周?chē)ㄖ倪吘壿^模糊，偏振特征圖像恰好彌補(bǔ)了紅外光強(qiáng)圖像的不足。

由圖3和圖4可看出，DWT算法融合圖像的對(duì)比度較低，細(xì)節(jié)信息不明顯，而LP算法、NSCT算法和本文算法融合效果較好，且能較好突出圖像細(xì)節(jié)信息，對(duì)于反映圖像結(jié)構(gòu)特性的邊緣信息，本文算法取得了較好的效果。為從客觀(guān)角度對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)，根據(jù)4.1中所述，將LP算法、NSCT算法和本文算法融合結(jié)果的方差、信息熵、互信息值和算法運(yùn)行時(shí)間列表如下，表1為圖3的客觀(guān)指標(biāo)評(píng)價(jià)，表2為圖4的客觀(guān)指標(biāo)評(píng)價(jià)。

由融合數(shù)據(jù)可知，本文算法所得融合圖像的方差、信息熵均高于LP融合方法；相比LP算法和NSCT算法，本文算法紅外光強(qiáng)圖像和最終融合圖像的互信息值F、偏振特征圖像和最終融合圖像的互信息值F的總和均較高，表明本文算法處理后的融合圖像從源圖像中繼承的信息較多。數(shù)據(jù)各項(xiàng)指標(biāo)顯示本文算法和NSCT算法相比，在方差、信息熵及互信息值上差別較小，但本文算法運(yùn)行時(shí)間較NSCT算法有較大提升，互信息值優(yōu)于NSCT算法，綜合而言，對(duì)于各種場(chǎng)景圖像，本文算法邊緣和細(xì)節(jié)信息保留較完整，融合效果較好。

5 結(jié)論

為突出目標(biāo)的邊緣和細(xì)節(jié)信息，本文提出了基于局部能量匹配和局部方差的紅外偏振圖像融合算法。利用NSST對(duì)圖像進(jìn)行多尺度的方向分解，能夠準(zhǔn)確而精細(xì)地分解目標(biāo)與背景信息。本文算法綜合了光強(qiáng)圖像的輻射亮度信息和偏振圖像的紋理信息，并且通過(guò)Top-hat變換提取了圖像低頻區(qū)域的較亮和較暗信息，細(xì)節(jié)信息保留較完整。

表1 圖4客觀(guān)指標(biāo)評(píng)價(jià)

表2 圖5客觀(guān)指標(biāo)評(píng)價(jià)

Table 1 The objective index evaluation of figure 5

[1] 張晶晶, 方勇華, 陳曉寧. 基于小波的偏振圖像融合算法及性能評(píng)價(jià)[J]. 合肥工業(yè)大學(xué)學(xué)報(bào): 自然科學(xué)版, 2009, 32(7): 1101-1105.

ZHANG Jingjing, FANG Yonghua, CHEN Xiaoning. Polarimetric image fusion algorithms based on wavelet transform and performance evaluation[J]., 2009, 32(7): 1101-1105.

[2] 孔韋韋, 雷英杰. 基于NSST域人眼視覺(jué)特性的圖像融合方法[J]. 哈爾濱工程大學(xué)學(xué)報(bào), 2013, 34(6): 777-782.

KONG Weiwei, LEI Yingjie. Technique for image fusion based on NSST domain and human visual characteristics[J].2013, 34(6): 777-782.

[3] 李偉偉, 楊風(fēng)暴, 安富. 基于NSCT 的紅外偏振與光強(qiáng)圖像的融合研究[J]. 光電技術(shù)應(yīng)用, 2012, 27(2): 58-61.

LI Weiwei, YANG Fengbao, AN Fu. Fusion of Infrared Polarization and Intensity Images Based on NSCT[J]., 2012, 27(2): 58-61.

[4] 楊風(fēng)暴, 藺素珍. 紅外物理與技術(shù)[M]. 北京: 電子工業(yè)出版社, 2014.

YANG Fengbao, LIN Suzhen.[M]. Beijing: Publishing House of Electronics Industry, 2014.

[5] 鄭紅, 鄭晨, 閆秀生, 等. 基于剪切波變換的可見(jiàn)光與紅外圖像融合算法[J].儀器儀表學(xué)報(bào), 2012, 33(7): 1613-1619.

ZHEN Hong, ZHEN Chen, YAN Xiusheng. Visible and infrared image fusion algorithm based on shearlet transform[J]., 2012, 33(7): 1613-1619.

[6] 李范鳴, 牛繼勇, 馬利祥. 基于紅外偏振特性的空間目標(biāo)探測(cè)可行性探討[J]. 應(yīng)用光學(xué), 2013, 34(4): 653-657.

LI Fanming, NIU Jiyong, MA Lixiang. Feasibility analysis of space target detection based on infrared polarization properties[J]., 2013, 34(4): 653-657.

[7] 虞文俊, 顧國(guó)華, 楊蔚. 基于小波變換的紅外偏振圖像融合算法[J]. 激光技術(shù), 2013, 37(3): 289-292.

YU Wenjun, GU Guohua, YANG Wei. Fusion algorithm of infrared polarization images based on wavelet transform[J]., 2013, 37(3): 289-292.

[8] YANG Fengbao, WEI Hong. Fusion of infrared polarization and intensity images using support value transform and fuzzy combination rules[J]., 2013: 235-243.

[9] X Z Bai. Image fusion through feature extraction by using sequentially combined toggle and top-hat based contrast operator[J]., 2012, 51(31): 7566-7575.

An Infrared Polarization Image Fusion Method Based on Local Energy Matching

YANG Fengbao1，ZHAO Yanxia1，JI Linna2，LIU Yingjie1，DONG Anran1

(1.,030051,;2.,,030051,)

In order to highlight the edge of infrared image and the detail information, the article proposes a fusion method based on local energy matching for IR polarization and light intensity images. First, The polarization characteristic image is the result of the fusion of AOP and DOP images, then polarization characteristic image and infrared image are decomposed into low frequency and high frequency sub-bands by using the NSST, and the low frequency information of polarization image is processed by using Top-hat transform, with target extracted. Finally the low-frequency sub-band and high frequency sub-band are fused by different fusion rules which are based on local energy matching and local variance. Experimental results show that compared with the NSCT algorithm, the mutual information value is increased by 8.7% and the variance is increased by 3.9% and the image details are retained very well.

fusion based infrared polarization image，NSST，local energy，Top-hat transformation

TP391.41

A

1001-8891(2016)04-0319-06

2015-10-16；

2016-03-08.

楊風(fēng)暴（1968-），男，山西臨汾人，教授，博士生導(dǎo)師，主要研究方向：信號(hào)與信息處理。E-mail：1136707688@qq.com。

中北大學(xué)動(dòng)態(tài)測(cè)試技術(shù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目（ZDSYSJ2015005）。