吳冬鵬，畢篤彥，馬時(shí)平，何林遠(yuǎn)，張 躍

?

邊緣和對比度增強(qiáng)的NSST域紅外與可見光圖像融合

吳冬鵬1，畢篤彥1，馬時(shí)平1，何林遠(yuǎn)1，張 躍2

（1. 空軍工程大學(xué) 航空航天工程學(xué)院，陜西 西安 710038 2. 中國人民解放軍93787部隊(duì)，北京 100076）

為了將紅外圖像的全局信息與可見光圖像的細(xì)節(jié)信息進(jìn)行有效結(jié)合，進(jìn)一步提高融合后圖像的質(zhì)量，提出了一種同時(shí)增強(qiáng)圖像邊緣細(xì)節(jié)和對比度的非下采樣剪切波變換（NSST）域紅外和可見光圖像融合方法。首先，通過平移不變剪切波將圖像分解成為低頻子帶與高頻子帶，通過全局顯著性圖分析圖像的對比度信息；利用改進(jìn)型局部顯著度圖分析圖像局部邊緣信息。針對不同頻帶系數(shù)，結(jié)合邊緣信息和對比度信息對頻帶系數(shù)進(jìn)行融合，最后，利用逆變換得到最終的融合圖像。大量實(shí)驗(yàn)結(jié)果表明，本文方法在提高圖像整體對比度的同時(shí)增強(qiáng)了圖像的邊緣細(xì)節(jié)表現(xiàn)能力，優(yōu)于現(xiàn)有的基于小波變換，非下采樣輪廓波變換（NSCT）和顯著度圖等幾種圖像融合方法。

圖像融合；紅外圖像；可見光圖像；非下采樣剪切波變換（NSST）；顯著性圖；對比度增強(qiáng)；邊緣增強(qiáng)

0 引言

圖像融合是將多個(gè)圖像信息加以綜合，以獲取關(guān)于圖像對象更加準(zhǔn)確的描述[1]，隨著傳感器技術(shù)的不斷發(fā)展，多源圖像融合能夠發(fā)揮不同傳感器之間的優(yōu)勢，得到內(nèi)容更加豐富，信息更加全面的融合圖像。其中，紅外與可見光圖像融合近幾年因其在多個(gè)領(lǐng)域的作用被越來越多的學(xué)者研究。

紅外圖像具有很強(qiáng)的目標(biāo)指示性，能夠避免遮擋，煙霧等環(huán)境的干擾，具有強(qiáng)對比度；可見光圖像具有豐富的背景信息，細(xì)節(jié)信息，但其易受環(huán)境干擾。因此，如何有效結(jié)合兩種傳感器的信息，同時(shí)避免虛假信息是這一問題的關(guān)鍵。

在早期的研究中，融合方法主要有加權(quán)法，主成分分析法等基于空域的方法，但這類方法局限于空間中像素點(diǎn)的處理，容易產(chǎn)生頻譜混疊，不能同時(shí)兼顧圖像的整體信息與細(xì)節(jié)信息；隨著多分辨率分析技術(shù)的發(fā)展，越來越多的方法被運(yùn)用到這一領(lǐng)域，Pajares[2]等利用小波進(jìn)行融合，但是方向信息表現(xiàn)不足，不能很好地反映圖像邊緣；Do[3]等人提出了輪廓波（Contourlet）變換，劉坤等人[4-5]也基于輪廓波提出了一些融合方法，但是輪廓波自身構(gòu)造過繁，運(yùn)算復(fù)雜度高，針對這一不足，Guo[6-7]等提出了剪切波（Shearlet）變換，實(shí)現(xiàn)了圖像的最優(yōu)的多分辨率分析，非下采樣剪切波變換（NSST）[8]是對剪切波變換的改進(jìn)，能夠克服偽吉布斯現(xiàn)象的產(chǎn)生，是圖像進(jìn)行不同頻帶融合的最佳工具[9]。

多尺度工具的運(yùn)用能夠很好地在不同的頻帶上處理圖像信息，但是融合規(guī)則相對較簡單，不能同時(shí)對圖像的對比度和細(xì)節(jié)信息進(jìn)行增強(qiáng)，得到的融合圖像不利于后期人眼和計(jì)算機(jī)處理，因此，基于人眼視覺機(jī)制的融合規(guī)則研究也越來越受到重視。

隨著對人眼視覺機(jī)制的研究，其中的顯著性信息越來越多地被運(yùn)用在圖像處理，圖像檢測等領(lǐng)域，早期的視覺機(jī)制下的顯著性檢測方法由Itti[10]等人提出，主要是基于空間，亮度等信息；但是對于灰度圖像，更多的應(yīng)該考慮其頻帶信息。文獻(xiàn)[11]中，Meng等人直接利用顯著性信息和感興趣點(diǎn)作為測度函數(shù)，圖像顯著性目標(biāo)得到很好的表現(xiàn)，但是其目標(biāo)邊緣細(xì)節(jié)處理不夠明顯，造成目標(biāo)邊緣模糊；文獻(xiàn)[12]中，Zhang等人將顯著性分析與NSST結(jié)合，但是其在融合時(shí)分離了顯著性與NSST，沒有考慮紅外與可見光圖像間的信息的互補(bǔ)性，使得融合結(jié)果不能同時(shí)考慮圖像的對比度與邊緣信息。

為同時(shí)增強(qiáng)圖像對比度與邊緣細(xì)節(jié)信息，提高融合后圖像的質(zhì)量，本文提出了一種邊緣與對比度增強(qiáng)的基于NSST域紅外和可見光圖像信息互補(bǔ)融合算法。對不同源圖像分別進(jìn)行非下采樣剪切波變換；基于對比度與邊緣信息兼顧和信息互補(bǔ)原則對高低頻子帶系數(shù)分別進(jìn)行融合，充分發(fā)揮顯著性分析的優(yōu)勢，提高融合圖像質(zhì)量效果。

1 基本理論

1.1 平移不變Shearlet波變換理論

Shearlet變換理論由經(jīng)典的仿射系統(tǒng)理論[6]發(fā)展而來，能夠有效地將幾何算法與多尺度分析方法進(jìn)行結(jié)合。在二維空間中，仿射系統(tǒng)可以表示為式(1)：

式中：∈2(2)，是可積空間；代表實(shí)數(shù)集合，表示整數(shù)集合。和為2×2維的可逆矩陣，且|det|=1。在仿射系統(tǒng)中，對任意函數(shù)∈2(2)，若()都滿足緊支撐條件：

則稱,l,k為合成小波。當(dāng)＝0＝[, 0; 0,1/2]且＝0＝[1, s; 0, 1]時(shí)，這種特殊的合成小波稱為剪切波。此時(shí)，矩陣稱為各向異性膨脹矩陣，控制圖像的尺度變換；矩陣稱為剪切矩陣，控制圖像各尺度中的子帶方向。一般情況下，＝4，＝1。NSST的離散化過程主要是利用多尺度分解和方向局部化兩個(gè)步驟，分別利用非下采樣金字塔和非下采樣剪切濾波器完成。

圖1展示了一幅圖像經(jīng)過剪切波變換在頻域內(nèi)的展示圖，從圖1可以看出圖像經(jīng)過剪切波能夠在不同的尺度上進(jìn)行處理，并且能夠表現(xiàn)不同的方向信息。

圖1 圖像經(jīng)非下采樣剪切波變換示意圖

1.2 顯著性圖構(gòu)建理論

Itti[10]等眾多學(xué)者最早提出了在空間域中顯著性圖的構(gòu)造法，能夠很好地考慮圖像的空間結(jié)構(gòu)信息以及光照等因素的影響，但是圖像的不同頻帶信息易混疊。對于灰度圖像，針對空域構(gòu)建顯著度的不足，將顯著性圖的構(gòu)造方法轉(zhuǎn)移到頻域更易分析圖像的高低頻子帶特性[13-15]，文獻(xiàn)[15]的方法能夠構(gòu)造圖像的不同類型顯著度圖。

式中：()＝[1(,) ,…,f (,)]是點(diǎn)(,)在每層特征圖中對應(yīng)的特征值；＝[((,)－)((,)－)]為所有特征圖的協(xié)方差矩陣；＝[1,E,…,E]為期望向量，E為特征圖T的期望。

通過式(4)，構(gòu)建全局顯著性圖：

式中：I×表示高斯低通濾波，防止構(gòu)建的顯著度矩陣中出現(xiàn)噪聲，全局顯著度圖取5；運(yùn)算是為了確保熵矩陣中值為正數(shù)，若為零則替換為矩陣中非零的最小值；運(yùn)算是為了對計(jì)算結(jié)束的顯著度圖進(jìn)行歸一化操作。

局部顯著性圖的構(gòu)建利用多層特征圖進(jìn)行簡單加和：

2 本文融合算法

在利用顯著度圖對多源圖像進(jìn)行融合時(shí)，文獻(xiàn)[13]中采用直接加權(quán)法則，易造成細(xì)節(jié)信息的丟失，文獻(xiàn)[14]利用顯著度圖進(jìn)行融合前的預(yù)處理，能夠顯示出顯著性目標(biāo)，但是不能同時(shí)考慮高低頻信息的完整性。針對高低頻子帶間信息的差異，基于對比度和邊緣增強(qiáng)的原則提出更加針對性的融合規(guī)則。針對低頻系數(shù)，增強(qiáng)融合后圖像的對比度信息；針對高頻子帶，首先改進(jìn)局部顯著性圖，分析源圖像間邊緣的相關(guān)性，增強(qiáng)邊緣細(xì)節(jié)。圖2給出了整體融合規(guī)則流程圖。

2.1 低頻融合規(guī)則

通過平移不變剪切波變換將一幅圖像分解，得到與原圖像大小相同的低頻近似圖像。圖像的低頻信息攜帶了圖像場景的主要對比度與全局信息，因此，在融合低頻信息時(shí)將全局顯著性圖作為衡量標(biāo)準(zhǔn)，有助于圖像特定目標(biāo)的顯示并能夠提高圖像對比度信息。低頻融合規(guī)則構(gòu)建如下：

首先構(gòu)造紅外與可見光圖像的對比度間的相似度函數(shù)：

式中：ir、vi分別表示了紅外與可見光圖像在點(diǎn)(,)處局域窗口的標(biāo)準(zhǔn)差；為一常數(shù)，為了避免出現(xiàn)分母為零的情況出現(xiàn)。該值越大，表明兩幅圖像的相關(guān)性越大，此時(shí)這一區(qū)域的對比度在兩幅圖像中處于相似水平，不易作為提升區(qū)域；相反，值越小，兩幅圖像間相關(guān)性越小，該區(qū)域在兩幅圖像中對比度有較大差異，這類點(diǎn)正是需要進(jìn)行對比度增強(qiáng)的關(guān)鍵點(diǎn)。本文選取一閥值用來控制低頻融合規(guī)則的選擇，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)的最佳取值為0.6：

公式(7)表示了當(dāng)相關(guān)性值處于不同區(qū)間時(shí)采用的不同的融合規(guī)則，具有更強(qiáng)的針對性，其中兩者的權(quán)重利用全局顯著度圖來進(jìn)行衡量，如式(8)：

2.2 基于Kirsch算子的局部顯著圖改進(jìn)

在文獻(xiàn)[16]中，局部顯著性圖的構(gòu)建直接利用了簡單加和的原則，如公式(5)所示，對特征值求加和，能夠?qū)D像局部的顯著性區(qū)域進(jìn)行表示，但是因?yàn)檫@樣處理，局部區(qū)域細(xì)節(jié)信息丟失嚴(yán)重，如圖3(a)和(c)所示，原局部顯著性圖只能捕獲到圖像局部的顯著性點(diǎn)，并沒有將局部邊緣細(xì)節(jié)信息進(jìn)行保留。

為保留圖像局部邊緣信息，同時(shí)體現(xiàn)圖像顯著性，在局部顯著性圖構(gòu)建時(shí)引入局部方向模型[14]對進(jìn)行邊緣檢測，同時(shí)將模型的邊緣信息與局部顯著性信息進(jìn)行結(jié)合。得到同時(shí)表示局部顯著度又保持邊緣信息的顯著性圖。

局部方向模型中，能夠很好地展現(xiàn)圖像整體邊緣的是Kirsch算子，利用算子算法，實(shí)現(xiàn)對圖像的多方向的邊緣檢測：

式中：(,)表示以(,)為中心的3×3的圖像塊，與Kirsch算子K進(jìn)行卷積運(yùn)算，得到的響應(yīng)值記做m()。

通過閥值來確定邊緣特征并且將邊緣特征合并得到完整多方向性的圖像邊緣，如式(10)和式(11)：

通過兩式，將圖像邊緣進(jìn)行完整表示，并且具有很好的多方向性。

通過(,)改進(jìn)局部顯著度圖，是局部顯著度圖能夠保留圖像局部細(xì)節(jié)邊緣信息，增強(qiáng)融合后圖像的細(xì)節(jié)表現(xiàn)能力。

通過公式(12)，局部顯著度圖能夠?qū)⑦B續(xù)邊緣保留在顯著性圖中，在對高頻子帶處理時(shí)，能夠盡可能多地融合邊緣信息，提高融合后圖像質(zhì)量。

通過圖3的對比發(fā)現(xiàn)，改進(jìn)后的顯著圖能夠很好的將圖像的邊緣信息通過Kirsch算子進(jìn)行保留，驗(yàn)證了改進(jìn)后局部顯著圖的有效性。

2.3 高頻融合規(guī)則

高頻信息在圖像中表現(xiàn)為圖像的邊緣與細(xì)節(jié)，與低頻信息類似，高頻系數(shù)的融合應(yīng)該能夠更好地保存圖像的細(xì)節(jié)邊緣信息，將兩種傳感器的信息進(jìn)行互補(bǔ)。融合高頻信息前應(yīng)先選擇信息互補(bǔ)區(qū)域。

紅外與可見光局部顯著性圖表示為：S=[ S(ir)1, …,(ir)L, … ,(ir)L]與(vi)L=[(vi)L1, …,(vi)L, …,(vi)L]。為了更有利地融合高頻部分系數(shù)，首先對顯著性圖之間的相關(guān)性進(jìn)行定量計(jì)算，顯著度圖相關(guān)性的計(jì)算如公式(13)：

圖3 改進(jìn)后局部顯著圖與原顯著圖對比

式中：r和vi分別表示像素點(diǎn)(,)與其距離為1的像素點(diǎn)的標(biāo)準(zhǔn)差，則(ir,vi)(,)表示為兩圖像之間的相關(guān)性。當(dāng)相關(guān)性較大時(shí)，標(biāo)明此點(diǎn)所在區(qū)域在兩幅圖像中同時(shí)具有較好的邊緣特性，此時(shí)選取較大值者；若相關(guān)性較小，則需要對兩幅圖像的此區(qū)域高頻系數(shù)進(jìn)行融合，得到更好的高頻系數(shù)，如公式(14)：

權(quán)重系數(shù)的計(jì)算如式(15)，其中為分區(qū)權(quán)重，如表1所示。

表1 a的取值

經(jīng)過式(15)得到了融合后圖像的高低頻系數(shù)，通過平移不變剪切波的逆變換，可以得到融合后的高質(zhì)量圖像。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，在MATLAB 2014a平臺(tái)（處理器為Intel core 雙核，主頻3.2GHz，內(nèi)存4GB）上，將本文算法與基于小波、NSCT、顯著度、NSCT-顯著度和NSST五種融合算法結(jié)果進(jìn)行比較，比較發(fā)現(xiàn)本文算法在提高圖像整體對比度的同時(shí)能很好地保留細(xì)節(jié)信息。如圖4、圖5所示，本文分別展示了兩組實(shí)驗(yàn)的對比結(jié)果。選擇已經(jīng)配準(zhǔn)好的紅外與可見光圖像作為實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)參數(shù)設(shè)置在NSST中，方向分解級(jí)數(shù)取3，各層帶通方向子帶數(shù)目為8,8,16。采取主觀評(píng)價(jià)與客觀評(píng)價(jià)兩種方法對融合結(jié)果進(jìn)行評(píng)價(jià)。

3.1 主觀評(píng)價(jià)

圖4能夠很好地體現(xiàn)本文算法在展示細(xì)節(jié)邊緣時(shí)的有效性。

從第一組實(shí)驗(yàn)結(jié)果比較分析可得，如圖4所示，本文算法在提高圖像整體對比度的同時(shí)能夠很好地表現(xiàn)細(xì)節(jié)圖像；觀察圖像右上方交通燈區(qū)域展示了本文方法在處理多方向性細(xì)節(jié)邊緣時(shí)，能夠很好地保留細(xì)節(jié)信息，圓形邊緣更加平滑；觀察右下角人物區(qū)域顯示了算法在處理人物邊緣時(shí)，相比較小波以及基于NSST算法，能夠更好地抑制邊緣的黑色光暈，相比較單獨(dú)的顯著度算法和NSCT-顯著度，對邊緣的刻畫更加精細(xì)；圖中左上角文字區(qū)域可以看出本文算法在處理對比度與邊緣時(shí)的共同作用，與基于顯著度算法相比，文字細(xì)節(jié)更清晰，而且相比較基于NSCT和基于NSCT-顯著度算法，避免了過度融合，更加適合人眼和計(jì)算機(jī)處理。

從圖5比較可以看出，本文算法相比較基于小波、基于顯著度、基于NSCT等算法，對背景圖像的對比度進(jìn)行了很好的提升，觀察實(shí)驗(yàn)圖像中的背景，可以看出本文算法具有更好的對比度，對背景的刻畫更加清晰。

相比較基于NSST的算法，整體圖像對比度的提升不明顯，但是船只的局部細(xì)節(jié)邊緣得到了很好的增強(qiáng)，顯著性目標(biāo)表現(xiàn)明顯。驗(yàn)證了本文算法在提升對比度的同時(shí)能夠?qū)D像的細(xì)節(jié)進(jìn)行很好的增強(qiáng)，驗(yàn)證了本文算法的有效性。

通過兩組實(shí)驗(yàn)，驗(yàn)證了本文算法在提高整體對比度方面以及增強(qiáng)圖像細(xì)節(jié)上的有效性，相比較傳統(tǒng)的5種算法，結(jié)合了多分辨率分析與顯著度分析的優(yōu)勢，提高了對比度，同時(shí)避免了因提高顯著性區(qū)域而引起的細(xì)節(jié)不足，增強(qiáng)了細(xì)節(jié)信息，取得了較好效果。

3.2 客觀評(píng)價(jià)

為了更加客觀地比較各個(gè)融合結(jié)果的有效性，本文選取幾組常用評(píng)價(jià)指標(biāo)[17-19]來對本文算法與之前算法進(jìn)行比較。邊緣強(qiáng)度能夠很好地體現(xiàn)融合后圖像細(xì)節(jié)信息量，對于邊緣效果的衡量比較客觀；圖像清晰度主要是評(píng)價(jià)融合后圖像整體的對比度與顯著性信息；信息熵用來衡量融合后圖像中信息的豐富程度。實(shí)驗(yàn)結(jié)果如表2所示。

圖4 第一組不同融合方法比較

對表2所示的結(jié)果進(jìn)行分析，可以看出本文算法在兩組試驗(yàn)中，結(jié)果均處于較優(yōu)狀態(tài)，邊緣強(qiáng)度對比中，第一組實(shí)驗(yàn)結(jié)果表明本文算法具有較大優(yōu)勢，結(jié)果顯示經(jīng)過多尺度變換的算法如小波、輪廓波與剪切波變換效果均有增強(qiáng)，但是本文算法更有效，雖然小波算法結(jié)果更優(yōu)，結(jié)合圖像清晰度與信息熵進(jìn)行分析，由于其具有噪聲導(dǎo)致評(píng)價(jià)結(jié)果偏高；第二組實(shí)驗(yàn)邊緣強(qiáng)度的結(jié)果均優(yōu)于其他5種算法，更加說明了本文算法有效性。在圖像清晰度的對比中，可以得到本文算法在兩組試驗(yàn)中結(jié)果均處于最優(yōu)，通過數(shù)據(jù)比較可知，多尺度工具的選擇能夠有效提高最終融合圖像的清晰度，而本文在NSST的基礎(chǔ)上結(jié)合顯著性理論，能夠更加有效提高圖像質(zhì)量。信息熵體現(xiàn)了融合后圖像的信息量，通過對比可知，在第一組實(shí)驗(yàn)中，本文結(jié)果并沒有處于最優(yōu)，但是結(jié)合數(shù)據(jù)分析可知，6種算法為同一數(shù)量級(jí)，相差較小，對于圖像信息量的評(píng)價(jià)也容易受到噪聲干擾，在第二組實(shí)驗(yàn)中本文結(jié)果處于最優(yōu)，綜合考慮，本文算法在信息量保留方面具有較好的效果。

結(jié)合3種客觀評(píng)價(jià)對6種算法的比較，可以得出較客觀結(jié)論，即本文算法在圖像邊緣以及整體對比度上達(dá)到了較好效果，驗(yàn)證了算法的有效性。

4 結(jié)論

本文提出了一種增強(qiáng)對比度和邊緣的NSST域多源圖像融合新算法，相比較傳統(tǒng)的融合算法，很好地克服了整體圖像對比度以及細(xì)節(jié)不足的缺點(diǎn)。文中的融合算法對于低頻子帶強(qiáng)調(diào)圖像的全局對比度與顯著性信息，提高了圖像整體的對比度與顯著性目標(biāo)辨識(shí)度；對于高頻子帶部分分析了圖像的局部顯著性，結(jié)合邊緣分析提出了改進(jìn)構(gòu)造方法，在分析局部顯著性的同時(shí)能夠刻畫邊緣細(xì)節(jié)信息。融合規(guī)則從互補(bǔ)兩種源圖像的信息角度考慮對紅外與可見光圖像進(jìn)行融合，有效地提高了融合后圖像的質(zhì)量。主觀以及客觀結(jié)果均驗(yàn)證了本文算法的有效性。

圖5 第二組不同融合方法比較

表2 融合結(jié)果量化比較

[1] Waxman A, Gove A, Fay D, et al. Color night vision: opponent processing in the fusion of visible and IR imagery[J]., 1997, 1(10): 1-6.

[2] Pajares G, Manuel J. A wavelet-based image fusion tutorial[J]., 2004, 37: 1855-1872.

[3] Do M N, Vetterli M. The contourlet transform: an efficient directional multi resolution image representation[J]., 2005, 12(14): 2091-2106.

[4] 劉坤, 郭雷, 常威威. 基于Contourlet變換的區(qū)域特征自適應(yīng)圖像融合算法[J]. 光學(xué)學(xué)報(bào), 2008, 28(4): 681-686.

LIU Kun, GUO Lei, CHANG Weiwei. Regional feature self-adaptive image fusion algorithm based on contourlet transform[J]., 2008, 28(4): 681-686

[5] 張蕾, 金龍旭, 韓雙麗, 等. 采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J]. 光學(xué)精密工程, 2015, 23(3): 810-818

ZHANG Lei, JIN Longxu, HAN Shuangli, et al. Fusion of infrared and visual images based on non-sampled contourlet transform and region classification[J]., 2015, 23(3): 810-818.

[6] Guo K H, Labate D, Lim W, et al. Wavelets with composite dilations and their MRA properties[J]., 2006, 20: 202-236.

[7] Easley G, Labate D. Sparse directional image representations using the discrete shearlet transform[J]., 2008, 25: 25-46.

[8] WANG Lei, LI Bin, TIAN Lianfang. EGGDD: An explicit dependency model for multi-modal medical image fusion in shift-invariant shearlet transform domain[J]., 2014: 29-37.

[9] Lim W. Nonseparable shearlet transform[J]., 2013, 22(5): 2056-2065.

[10] Itti L, Koch G, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[11] MENG F, GUO B, SONG M, et al. Image fusion with saliency map and interest points[J]., 2016, 177: 1-8

[12] ZHANG B, LU X, PEI H, et al. A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J]., 2015, 73: 286-297.

[13] LI J, Levine M D, AN X J, el at. Visual saliency based on scale space analysis in the frequency domain[J]., 2013, 35(4): 996-1010.

[14] LI Z Q, FANG T, HUO H．A saliency model based on wavelet transform and visual attention[J]., 2010, 53(4): 738-751.

[15] Imamoglu N, LIN W, FANG Y. A saliency detection model using low-level features based on wavelet transform[J]., 2013, 15(1): 96-105.

[16] 彭海, 趙巨峰, 馮華君, 等. 基于區(qū)域顯著性的雙波段圖像融合方法[J]. 浙江大學(xué)學(xué)報(bào): 工學(xué)版, 2012, 46(11): 2109-2115.

PENG Hai, ZHAO Jufeng, FENG Huajun, et al. Dual band image fusion based on region saliency[J].:, 2012, 46(11): 2109-2115.

[17] 張立保, 章鈺. 基于顯著性分析的自適應(yīng)遙感圖像融合[J]. 中國激光, 2015, 42(1): 1-8.

ZHANG Libao, ZHANG Yu. A new adaptive fusion method based on saliency analysis for remote sensing images[J]., 2015, 42(1): 1-8.

[18] 林森, 張俊宇, 郭金玉, 等. 局部方向模式在非接觸掌紋識(shí)別中的應(yīng)用[J]. 儀器儀表學(xué)報(bào), 2015, 36(1): 201-208.

LIN Sen, ZHANG Junyu, GUO Jinyu, et al. Application of local directional pattern in non-contact palmprint recognition[J]., 2015, 36(1): 201-208.

[19] 張小利, 李雄飛, 李軍. 融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào), 2014, 40(2): 306-315.

ZHANG Xiaoli, LI Xiongfei, LI Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion[J]., 2014, 40(2): 306-315.

Infrared and Visible Image Fusion Based on Improved Saliency Map in NSST Domain

WU Dongpeng1，BI Duyan1，MA Shiping1，HE Linyuan1，ZHANG Yue2

（1. Institute of Aeronautics and Astronautics, Air Force Engineering University, Xi￠an 710038, China; 2. The 93787 Unit of PLA, Beijing 10076, China）

For the effective combination of global information of infrared image with detail information of visible image, and further improvement in the quality of the fused image, a fusion method of infrared and visible image based on enhancing contrast and edge of image in non-subsampled Shearlet transform(NSST) domain is proposed. Firstly, the image is decomposed to get the low frequency coefficients and the high frequency coefficients, and the image’s information of contrast is analyzed by global saliency map; the image’s information of edge is analyzed by improved local saliency map. For the different bands, the coefficients are fused using the information of contrast and edge, and the fused image is reconstructed by inverse NSST. A large number of experimental results show that the proposed method enhance the details in the fused image, while preserving the contrast of the image. And it is superior to the existing fused methods such as the method based on wavelet transform, non-subsampled Contourlet transform(NSCT), and the on saliency map and so on.

image fusion，infrared image，visible image，non-subsampled Shearlet transform (NSST)， saliency map，contrast enhancement，edge enhancement

TP391

A

1001-8891(2017)04-0358-07

2016-08-28；

2016-09-19.

吳冬鵬（1993-），男，山西運(yùn)城人，碩士研究生，研究方向是紅外與可見光圖像融合。E-mail：wdp_image@126.com。

國家自然科學(xué)基金（61372167），國家自然科學(xué)基金（61379140），國家自然科學(xué)基金（61301233）。