葉坤濤，李 文，舒蕾蕾，李 晟

〈圖像處理與仿真〉

結(jié)合改進(jìn)顯著性檢測(cè)與NSST的紅外與可見光圖像融合方法

葉坤濤，李 文，舒蕾蕾，李 晟

（江西理工大學(xué) 理學(xué)院，江西 贛州 341000）

針對(duì)當(dāng)前基于顯著性檢測(cè)的紅外與可見光圖像融合方法存在目標(biāo)不夠突出、對(duì)比度低等問(wèn)題，本文提出了一種結(jié)合改進(jìn)顯著性檢測(cè)與非下采樣剪切波變換（non-subsampled shearlet transform, NSST）的融合方法。首先，使用改進(jìn)最大對(duì)稱環(huán)繞（maximum symmetric surround, MSS）算法提取出紅外圖像的顯著性圖，并進(jìn)一步通過(guò)改進(jìn)伽馬校正進(jìn)行增強(qiáng)，同時(shí)應(yīng)用同態(tài)濾波增強(qiáng)可見光圖像。然后，對(duì)紅外圖像與增強(qiáng)的可見光圖像進(jìn)行NSST分解，利用顯著性圖指導(dǎo)低頻部分進(jìn)行融合；同時(shí)設(shè)定區(qū)域能量取大規(guī)則指導(dǎo)高頻部分融合。最后，通過(guò)NSST逆變換重構(gòu)融合圖像。實(shí)驗(yàn)結(jié)果表明，本文方法在平均梯度、信息熵、空間頻率和標(biāo)準(zhǔn)差上遠(yuǎn)優(yōu)于其他7種融合方法，可以有效突出紅外目標(biāo)，提高融合圖像的對(duì)比度和清晰度，并保留可見光圖像的豐富背景信息。

圖像融合；顯著性檢測(cè)；非下采樣剪切波變換；最大對(duì)稱環(huán)繞；同態(tài)濾波

0 引言

圖像融合技術(shù)可以表述為將同一場(chǎng)景下捕捉的兩幅或多幅傳感器圖像合成一幅組合了互補(bǔ)信息源、對(duì)場(chǎng)景信息描述更準(zhǔn)確的圖像，紅外與可見光圖像融合則是多源傳感器信息融合領(lǐng)域中一個(gè)較為重要的分支[1]。它將紅外圖像的目標(biāo)區(qū)域與可見光圖像的細(xì)節(jié)信息相結(jié)合，形成一幅描述場(chǎng)景信息更全面的融合圖像，能夠克服紅外傳感器與可見光傳感器各自成像時(shí)的缺陷，如紅外圖像的細(xì)節(jié)信息缺失、對(duì)比度和分辨率低，可見光圖像易受反射光等外界環(huán)境的干擾，目標(biāo)信息難提取等。當(dāng)前，紅外與可見光圖像融合技術(shù)已廣泛應(yīng)用于紅外夜視、資源勘探和生物醫(yī)學(xué)等領(lǐng)域[2]。

NSST（non-subsampled shearlet transform）為一種近期較流行的多尺度變換方法，它具備較優(yōu)的多分辨率性、各向異性及平移不變性等，能夠克服圖像邊緣處的偽吉布斯現(xiàn)象[3]?；贜SST的圖像融合方法表現(xiàn)良好，融合效果優(yōu)于先前提出的小波變換、輪廓波變換以及非下采樣輪廓波變換（non-subsampled contourlet transform, NSCT）等多尺度變換方法[4]。

近年來(lái)，隨著視覺顯著性檢測(cè)的興起，諸多顯著性檢測(cè)模型已被國(guó)內(nèi)外學(xué)者先后提出[5]，同時(shí)視覺顯著性檢測(cè)也被成功應(yīng)用在圖像融合領(lǐng)域，并取得了較好的融合效果[2,6-8]。文獻(xiàn)[6]利用引導(dǎo)濾波改進(jìn)頻率調(diào)諧（frequency-tuned, FT）顯著性檢測(cè)算法[9]，獲取的融合圖像突出了紅外目標(biāo)、保留了較多的可見光背景信息，但對(duì)比度提升不夠明顯且目標(biāo)處可能存在偽影現(xiàn)象。文獻(xiàn)[7]中，首先利用L0范數(shù)改進(jìn)FT算法，其次對(duì)紅外顯著性圖進(jìn)行S型曲線拉伸變換，同時(shí)使用對(duì)比度受限的自適應(yīng)直方圖均衡化算法增強(qiáng)可見光圖像，獲取的融合圖像中可見光細(xì)節(jié)信息豐富、紅外目標(biāo)區(qū)域突出，但該方法易使紅外目標(biāo)偏暗，還丟失了部分可見光背景信息。文獻(xiàn)[8]提出暗抑制思想改進(jìn)最大對(duì)稱環(huán)繞（maximum symmetric surround, MSS）顯著性檢測(cè)算法[10]，并利用顯著性圖構(gòu)成不同的規(guī)則來(lái)融合基礎(chǔ)層和細(xì)節(jié)層，獲取的融合圖像的效果較優(yōu)，紅外目標(biāo)突出，沒有區(qū)域污染的現(xiàn)象，但其對(duì)比度與清晰度仍有待提高。文獻(xiàn)[2]提出二維經(jīng)驗(yàn)?zāi)B(tài)分解改進(jìn)FT算法，并用灰度因子增強(qiáng)紅外圖像，該方法的紅外目標(biāo)亮度適用、融合圖像清晰度較高，但融合圖像對(duì)比度偏暗，還丟失了部分可見光背景細(xì)節(jié)。

針對(duì)上述問(wèn)題，本文采用改進(jìn)MSS算法提取出紅外圖像的顯著性圖并通過(guò)改進(jìn)伽馬校正進(jìn)一步增強(qiáng)，同時(shí)用同態(tài)濾波增強(qiáng)可見光圖像，結(jié)合NSST的各向異性、平移不變性等，提出了一種結(jié)合改進(jìn)顯著性檢測(cè)與NSST的紅外與可見光圖像融合方法。實(shí)驗(yàn)結(jié)果表明，相比于其他7種圖像融合方法，本文方法在主觀視覺分析和客觀指標(biāo)評(píng)估上均取得最優(yōu)。

1 基于改進(jìn)MSS和改進(jìn)伽馬校正的紅外圖像顯著性檢測(cè)算法

1.1 MSS顯著性檢測(cè)算法

MSS算法屬于FT算法的改進(jìn)版本，通過(guò)像素點(diǎn)與圖像邊緣之間的距離來(lái)改變圖像邊界附近中心環(huán)繞的濾波帶寬[8]。MSS算法不僅繼承了FT算法的優(yōu)勢(shì)，還具有準(zhǔn)確性高、速度快等特點(diǎn)，但易使圖像背景處顯著性降低。

MSS算法采用高斯差分濾波方法，該過(guò)程中高斯核尺寸為5×5，高頻截止頻率為p/2.75。對(duì)于一幅輸入圖像，其顯著性圖獲取的公式表示為：

式中：表示輸入圖像中的某個(gè)區(qū)域，S表示區(qū)域的面積。的范圍由式(3)表示；S的大小由式(4)表示：

式中：0與0取值范圍可分別表示為0＝min(,－)，0＝min(,－)，其中與為輸入圖像的寬與高。

1.2 加權(quán)最小二乘濾波

加權(quán)最小二乘（weighted least squares, WLS）濾波為一種經(jīng)典的邊緣保持性算法，屬于非線性濾波[11]。通過(guò)WLS濾波，平滑的結(jié)果圖像與輸入圖像近似，并與邊緣部分信息保持著一致，結(jié)果圖像表示為：

式中：下標(biāo)p表示像素位置，為正則化參數(shù)；a,p、a,p為平滑權(quán)重系數(shù)。(p－p)2的作用是使平滑圖像與輸入圖像更相似。

1.3 伽馬校正

伽馬校正又稱冪次變換，是一種灰度非線性增強(qiáng)方法，通過(guò)改變圖像對(duì)比度達(dá)到細(xì)節(jié)增強(qiáng)，從而改善輸出圖像的整體視覺效果[12]。通常的伽馬校正表示為：

式中：out(,)表示原始圖像伽馬校正后對(duì)應(yīng)像素；in(,)表示原始圖像的各處像素，像素范圍為[0,1]；為常數(shù)；為伽馬系數(shù)。

若＜1，高灰度值區(qū)域的動(dòng)態(tài)范圍變小，低灰度值區(qū)域的動(dòng)態(tài)范圍變大；＞1，與之相反。通過(guò)設(shè)定多個(gè)值，可以有效地調(diào)整圖像的對(duì)比度和清晰度。

1.4 紅外圖像的顯著性檢測(cè)

為了較好地解決經(jīng)典MSS算法在進(jìn)行高斯模糊濾波時(shí)易引起圖像邊緣模糊、細(xì)節(jié)信息丟失等問(wèn)題，同時(shí)提高顯著性圖的質(zhì)量，本文提出利用具有較強(qiáng)的邊緣保持、和細(xì)節(jié)增強(qiáng)能力的加權(quán)最小二乘法濾波器代替經(jīng)典MSS算法中的高斯模糊濾波器，形成改進(jìn)MSS算法來(lái)獲取紅外圖像的顯著性圖，即：

式中：wls(,)表示輸入圖像經(jīng)過(guò)加權(quán)最小二乘濾波后在像素(,)處的灰度值；wls(,)表示相應(yīng)的顯著性圖。

獲取顯著性圖wls后，本文提出使用改進(jìn)伽馬校正法來(lái)突出顯著性圖里的紅外目標(biāo)，并弱化背景信息，從而提高顯著性圖的整體質(zhì)量。

首先，對(duì)wls進(jìn)行歸一化處理，得到歸一化顯著性圖，表示為：

其次，對(duì)nom進(jìn)行改進(jìn)伽馬校正。以紅外圖像的整體像素均值m作為標(biāo)準(zhǔn)，若顯著性圖wls內(nèi)某點(diǎn)像素值wls(,)大于m的平方，可稱該點(diǎn)為高灰度區(qū)域點(diǎn)，否則稱為低灰度區(qū)域點(diǎn)。為了提高顯著性圖nom的整體對(duì)比度，更好地突出紅外目標(biāo)，弱化背景細(xì)節(jié)。可以對(duì)顯著性圖nom內(nèi)的低灰度區(qū)域進(jìn)行壓縮，同時(shí)對(duì)其高灰度區(qū)域進(jìn)行擴(kuò)展，增強(qiáng)低高灰度區(qū)域之間的差異性，從而獲取對(duì)比度增強(qiáng)的顯著性圖，表示為：

式中：gam(,)為進(jìn)行改進(jìn)伽馬校正后的顯著性圖；0為較小常數(shù)，避免式(11)出現(xiàn)0值的情況，本文取0＝0.00001，1、2為自適應(yīng)的伽馬因子，為了有效地提高紅外圖像顯著性圖的對(duì)比度，需保證1＞1、2＜1。經(jīng)過(guò)多次實(shí)驗(yàn)運(yùn)算，當(dāng)1、2可自適應(yīng)地取為式(12)和式(13)時(shí)，本文方法的融合性能較優(yōu)，即：

1＝1.4＋0.5×nom(12)

2＝0.6－0.5×nom(13)

最后，將3種經(jīng)典的顯著性檢測(cè)算法，即LC（luminance contrast）算法[13]、FT算法、MSS算法提取的紅外顯著性圖以及本文方法中顯著性圖wls、gam進(jìn)行對(duì)比實(shí)驗(yàn)，并對(duì)顯著性檢測(cè)的結(jié)果進(jìn)行主觀評(píng)價(jià)，本文以紅外圖像“Camp”為例，5種顯著性圖的結(jié)果對(duì)比如圖1所示。

圖1 紅外圖像的顯著性圖

從人眼的主觀視覺效果上觀察圖1，發(fā)現(xiàn)本文方法提取出的顯著性圖wls和gam的人物目標(biāo)更清晰且突出，同時(shí)顯著性圖gam的背景信息最少，人物目標(biāo)的寬度更接近于原始的紅外圖像，其邊緣輪廓最清晰、亮度效果最佳。表明了顯著性圖gam在wls的基礎(chǔ)上，進(jìn)一步地抑制了紅外圖像的山坡、灌木等背景信息。通過(guò)前面的主觀視覺分析可知，本文方法提取出的紅外顯著性圖優(yōu)于LC算法、FT算法和MSS算法所提取的紅外顯著性圖。

2 結(jié)合改進(jìn)顯著性檢測(cè)與NSST指導(dǎo)的圖像融合

2.1 同態(tài)濾波

由于可見光圖像常存在著因光照不足或清晨、夜間拍攝等原因造成圖像整體偏暗，背景細(xì)節(jié)的清晰度不夠高。本文決定對(duì)NSST分解前的原可見光圖像進(jìn)行預(yù)處理，適當(dāng)?shù)靥岣邎D像的整體亮度，同時(shí)增強(qiáng)背景細(xì)節(jié)的清晰度。圖像預(yù)處理的常見方法有直方圖均衡化法、中值濾波以及同態(tài)濾波等。

直方圖均衡化法簡(jiǎn)單有效，對(duì)圖像進(jìn)行均勻變換，但對(duì)于圖像中過(guò)亮或過(guò)暗區(qū)域無(wú)法實(shí)現(xiàn)有效的增強(qiáng)。中值濾波能夠有效地抑制圖像中的噪聲，強(qiáng)調(diào)出圖像細(xì)節(jié)部分，但易造成圖像模糊。同態(tài)濾波是一種基于傅里葉變換的頻域增強(qiáng)算法，它將圖像空域特征與頻域特征相結(jié)合，通過(guò)動(dòng)態(tài)壓縮圖像的灰度值范圍來(lái)調(diào)整圖像的照射和反射強(qiáng)度，能在不丟失圖像亮區(qū)細(xì)節(jié)的同時(shí)增強(qiáng)圖像暗區(qū)細(xì)節(jié)，提升圖像的整體對(duì)比度，從而提高非均勻光照條件下的圖像質(zhì)量[14]。本文綜合考慮多種可見光圖像的預(yù)處理方法后，決定采用優(yōu)勢(shì)較為明顯的同態(tài)濾波，并對(duì)增強(qiáng)后的可見光圖像進(jìn)行歸一化處理。

圖2為分別應(yīng)用直方圖均衡化法、中值濾波法以及同態(tài)濾波法對(duì)可見光圖像“Camp”進(jìn)行增強(qiáng)的結(jié)果對(duì)比。

圖2 可見光圖像的增強(qiáng)結(jié)果

觀察圖2，發(fā)現(xiàn)圖2(b)中的圖像整體過(guò)亮，對(duì)比度過(guò)高，背景細(xì)節(jié)偏模糊，增強(qiáng)過(guò)度；圖2(c)中的圖像整體對(duì)比度較低，背景細(xì)節(jié)不清晰，邊緣輪廓較模糊，增強(qiáng)效果一般；圖2(d)中的圖像整體視覺效果最佳，其對(duì)比度適中，邊緣輪廓和背景細(xì)節(jié)清晰度最高，符合人眼的視覺特性，這表明經(jīng)過(guò)同態(tài)濾波后的可見光圖像有更優(yōu)的增強(qiáng)效果。

2.2 非下采樣剪切波變換

NSST分解后的子帶圖像與源圖像尺寸相同，且具有高稀疏性、準(zhǔn)確表征融合信息的性能。源圖像經(jīng)過(guò)3級(jí)NSST分解過(guò)程如圖3所示。

圖3 源圖像的3級(jí)NSST分解過(guò)程

2.3 融合流程及融合規(guī)則

2.3.1 融合流程

本文提出的結(jié)合改進(jìn)顯著性檢測(cè)與NSST的紅外與可見光圖像融合方法的流程框圖如圖4所示，具體融合步驟分為以下5步：

步驟1），輸入已配準(zhǔn)的紅外圖像IR和可見光圖像VIS；

步驟2），利用改進(jìn)MSS算法提取出紅外圖像IR的顯著性圖，再使用改進(jìn)伽馬校正進(jìn)行增強(qiáng)，同時(shí)利用同態(tài)濾波法對(duì)可見光圖像VIS進(jìn)行增強(qiáng)；

步驟3），將紅外圖像IR和增強(qiáng)后的可見光圖像VIS進(jìn)行NSST分解，獲取相應(yīng)的低頻子帶IR(,)、VIS(,)和高頻子帶D,lIR(,)、D,lVIS(,)，其中為分解尺度，為尺度上的方向數(shù)；

步驟4），利用增強(qiáng)的紅外顯著性圖指導(dǎo)低頻子帶融合，采用區(qū)域能量取大規(guī)則指導(dǎo)高頻子帶融合，獲取融合后的低頻子帶F(,)和高頻子帶D,lF(,)；

步驟5），對(duì)F(,)、D,lF(,)進(jìn)行NSST逆變換，獲取融合圖像F并輸出。

2.3.2 融合規(guī)則

低頻子帶為源圖像的近似成分，為了充分突出紅外目標(biāo)特征，并保留可見光圖像的細(xì)節(jié)信息，本文利用基于改進(jìn)MSS算法提取出的紅外圖像顯著性圖指導(dǎo)低頻部分系數(shù)進(jìn)行融合，融合規(guī)則為：

高頻子帶代表源圖像的細(xì)節(jié)成分，常見的絕對(duì)值取大規(guī)則易使融合圖像混雜許多無(wú)效信息，因此本文使用區(qū)域能量取大的規(guī)則來(lái)融合高頻部分系數(shù)，表示為：

式中：E,l(,)表示某像素處的高頻部分區(qū)域能量大小，表示為：

式中：M和N為區(qū)域窗口測(cè)度，表示區(qū)域窗口大小為(2M＋1)×(2N＋1)，本文取為3×3；w為窗口掩膜矩陣，越靠近中心點(diǎn)表明其權(quán)值相對(duì)越大，本文取。

3 實(shí)驗(yàn)分析

為了檢驗(yàn)本文方法的有效性，將本文方法與LP[16]、CVT[17]、NSCT[18]、NSST-PCNN[4]、NSST- PAPCNN[19]、NSST-FT（低頻采用FT算法獲取的顯著性圖指導(dǎo)融合、高頻采用區(qū)域能量取大規(guī)則指導(dǎo)融合的NSST方法）和文獻(xiàn)[6]方法進(jìn)行圖像融合實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)中采用6組經(jīng)典的紅外與可見光圖像，其中前5組來(lái)源于TNO數(shù)據(jù)集[20]，第6組為常規(guī)的輪船圖像。6組圖像已經(jīng)過(guò)嚴(yán)格地圖像配準(zhǔn)，分別記為“Camp”、“Kaptein”、“Tree”、“APC”、“Marne”和“Steamboat”圖像。

實(shí)驗(yàn)相關(guān)環(huán)境設(shè)置為：Intel Core i7-9750H，CPU主頻為2.60GHz，內(nèi)存為16GB，選用Windows10操作系統(tǒng)和Matlab2019a軟件仿真平臺(tái)。本文方法的實(shí)驗(yàn)中相關(guān)參數(shù)設(shè)置：NSST分解中，選擇“maxflat”為NSST分解濾波器，分解方向數(shù)為{8,8,16,16}；加權(quán)最小二乘濾波中，＝0.7，＝0.6；同態(tài)濾波中，銳化參數(shù)＝2.0，高頻增益為H＝3.2，低頻增益為L(zhǎng)＝0.75，截止頻率為0＝80。則6組經(jīng)典紅外與可見光圖像在8種融合方法下的融合結(jié)果如圖5～10所示。

圖5 “Camp”圖像的融合結(jié)果

圖6 “Kaptein”圖像的融合結(jié)果

圖7 “Tree”圖像的融合結(jié)果

圖8 “APC”圖像的融合結(jié)果

圖9 “Marne”圖像的融合結(jié)果

圖10 “Steamboat”圖像的融合結(jié)果

首先，本文對(duì)6組圖像融合結(jié)果進(jìn)行主觀視覺評(píng)價(jià)。觀察上圖5～10，發(fā)現(xiàn)8種融合方法都基本實(shí)現(xiàn)了紅外目標(biāo)和可見光細(xì)節(jié)的提取，但LP、CVT及NSCT三種傳統(tǒng)方法的融合圖像對(duì)比度和清晰度較低、邊緣輪廓模糊，同時(shí)紅外目標(biāo)過(guò)暗，存在著明顯的偽影現(xiàn)象。NSST-PCNN和NSST-PAPCNN方法的融合圖像整體過(guò)亮，存在著紅外目標(biāo)與邊緣輪廓模糊現(xiàn)象，NSST-PCNN方法丟失了較多的可見光背景細(xì)節(jié)，僅在“APC”圖像上獲取較好地融合效果，而NSST-PAPCNN方法在“Tree”、“Marne”和“Steamboat”圖像上存在著嚴(yán)重的區(qū)域污染，直接降低了融合圖像的質(zhì)量。NSST-FT、文獻(xiàn)[6]及本文方法的融合圖像整體較清晰，對(duì)比度適中，優(yōu)于3種傳統(tǒng)方法、NSST-PCNN及NSST-PAPCNN方法獲取的融合圖像，但NSST-FT和文獻(xiàn)[6]方法在“Camp”圖像上存在偽影現(xiàn)象，樹木、塵土等背景信息偏暗，使得融合圖的對(duì)比度和清晰度弱于本文方法，在“Marne”圖像的天空上方區(qū)域存在全黑的污染現(xiàn)象，同時(shí)“Steamboat”圖像上的紅外目標(biāo)較暗。

本文方法的6組融合圖像對(duì)比度適中，清晰度高，具有豐富的背景細(xì)節(jié)信息，例如林木、塵土和煙霧信息，這些背景信息邊緣輪廓清晰且亮度適中，更符合人眼視覺系統(tǒng)對(duì)灰度圖像信息的認(rèn)知特性，紅外目標(biāo)突出；“Camp”圖像中的人物目標(biāo)清晰且周圍無(wú)偽影，灌木、圍欄等背景細(xì)節(jié)信息十分豐富；“Kaptein”圖像中的人物目標(biāo)特征突出，樹木信息豐富；“Tree”圖像中的視野信息保真度最高，整幅圖像有明顯地“去霧”效果，有效突顯了林木圖像的原始特征；“APC”圖像中的紋理細(xì)節(jié)豐富，邊緣輪廓清晰；“Marne”圖像中，無(wú)任何天空區(qū)域污染現(xiàn)象，樹木細(xì)節(jié)清晰；“Steamboat”圖像中的人物目標(biāo)亮度最佳，輪船和水面細(xì)節(jié)清晰。綜上分析，本文方法的融合結(jié)果在主觀視覺評(píng)價(jià)上表現(xiàn)最佳。

其次，本文選用互信息（mutual information, MI）、平均梯度（average gradient, AG）、信息熵（information entropy, IE）、空間頻率（spatial frequency, SF）以及標(biāo)準(zhǔn)差（standard deviation, SD）共5項(xiàng)指標(biāo)對(duì)6組圖像的融合結(jié)果進(jìn)行客觀評(píng)價(jià)[7]。5項(xiàng)客觀指標(biāo)均為正項(xiàng)指標(biāo)，其值越大表明融合效果相對(duì)更好。表1～2為選用5項(xiàng)客觀指標(biāo)的評(píng)價(jià)結(jié)果。

由表1～2可知，相比于其他7種融合方法，本文方法在5項(xiàng)客觀指標(biāo)值上有明顯提升，這與主觀視覺評(píng)價(jià)的結(jié)果相一致。對(duì)于前4組圖像，本文方法在5項(xiàng)指標(biāo)上均為最佳值，并在“Kaptein”、“Tree”圖像上，本文方法的5項(xiàng)指標(biāo)值與其他7種方法之間差距尤為明顯。在“Marne”圖像上，本文方法的MI低于NSST-PAPCNN方法；在“Steamboat”圖像上，本文方法的MI低于NSST-PCNN方法，而其余4項(xiàng)指標(biāo)均仍為最佳值。通過(guò)利用上述5項(xiàng)指標(biāo)融合結(jié)果的客觀評(píng)價(jià)，表明了本文方法的所獲取融合圖像所含信息量更豐富，同時(shí)融合圖像的反差更大、清晰度和對(duì)比度更高。

表1 前三組融合圖像的客觀評(píng)價(jià)結(jié)果

表2 后三組融合圖像的客觀評(píng)價(jià)結(jié)果

通過(guò)主觀視覺評(píng)價(jià)以及客觀指標(biāo)評(píng)價(jià)，充分證實(shí)了本文提出的改進(jìn)方法融合性能優(yōu)異，勝于另外7種傳統(tǒng)、流行及基于顯著性檢測(cè)的融合方法。

4 結(jié)語(yǔ)

本文在經(jīng)典的MSS算法基礎(chǔ)上進(jìn)行改進(jìn)，同時(shí)考慮到可見光圖像因成像機(jī)制存在偏暗的問(wèn)題，提出了一種結(jié)合改進(jìn)顯著性檢測(cè)與NSST的紅外與可見光圖像融合方法。在經(jīng)典的MSS算法中混入加權(quán)最小二乘法濾波，提取出紅外圖像的顯著性圖，并進(jìn)一步通過(guò)改進(jìn)伽馬校正增強(qiáng)顯著性圖，可以有效突出顯著性圖中的紅外目標(biāo)，同時(shí)抑制紅外背景信息；利用同態(tài)濾波對(duì)可見光圖像進(jìn)行預(yù)處理，提高可見光圖像的整體亮度，增強(qiáng)其背景細(xì)節(jié)清晰度；然后依據(jù)NSST分解原理，使用增強(qiáng)后的顯著性圖指導(dǎo)低頻部分融合，同時(shí)使用區(qū)域能量取大規(guī)則指導(dǎo)高頻部分融合。實(shí)驗(yàn)結(jié)果表明本文方法能夠有效地應(yīng)用于紅外與可見光圖像融合領(lǐng)域，屬于一種實(shí)用性高、可行性強(qiáng)的紅外與可見光圖像融合方法。

[1] CHEN J, LI X, LUO L, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508(1): 64-78.

[2] 崔曉榮, 沈濤, 黃建魯, 等. 基于BEMD改進(jìn)的視覺顯著性紅外和可見光圖像融合[J]. 紅外技術(shù), 2020, 42(11): 1061-1071.

CUI Xiaorong, SHEN Tao, HUANG Jianlu, et al. Infrared and visble image fusion based on BEMD and improved visual saliency[J]., 2020, 42(11): 1061-1071.

[3] CHENG B, JIN L, LI G. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]., 2018, 310(10): 135-147.

[4] 鄭偉, 趙成晨, 郝冬梅. NSST和改進(jìn)PCNN相結(jié)合的甲狀腺圖像融合[J]. 光電工程, 2016, 43(10): 42-48,55.

ZHENG Wei, ZHAO Chengchen, HAO Dongmei. Thyroid image fusion based on NSST and improved PCNN[J]., 2016, 43(10): 42-48, 55.

[5] Borji A, Itti L. State-of-the-art in visual attention modeling[J]., 2013, 35(1): 185-207.

[6] 傅志中, 王雪, 李曉峰, 等. 基于視覺顯著性和NSCT的紅外與可見光圖像融合[J]. 電子科技大學(xué)學(xué)報(bào), 2017, 46(2): 357-362.

FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]., 2017, 46(2): 357-363.

[7] 林子慧, 魏宇星, 張建林, 等. 基于顯著性圖的紅外與可見光圖像融合[J]. 紅外技術(shù), 2019, 41(7): 640-645.

LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible images based on saliency map[J]., 2019, 41(7): 640-645.

[8] 安影, 范訓(xùn)禮, 陳莉, 等. 結(jié)合FABEMD和改進(jìn)的顯著性檢測(cè)的圖像融合[J]. 系統(tǒng)工程與電子技術(shù), 2020, 42(2): 292-300.

AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]., 2020, 42(2): 292-300.

[9] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[10] Achanta R, Susstrunk S. Saliency detection using maximum symmetric surround[C]//, 2010: 2653-2656.

[11] 馮維, 吳貴銘, 趙大興, 等. 多圖像融合Retinex用于弱光圖像增強(qiáng)[J]. 光學(xué)精密工程, 2020, 28(3): 736-744.

FENG Wei, WU Guiming, ZHAO Daxing, et al. Multi images fusion Retinex for low light image enhancement[J]., 2020, 28(3): 736-744.

[12] 吳京輝, 唐林波, 趙保軍. 局部特征與全局信息聯(lián)合的自適應(yīng)圖像增強(qiáng)算法[J]. 北京理工大學(xué)學(xué)報(bào), 2014, 34(9): 955-960.

WU Jinghui, TANG Linbo, ZHAO Baojun. Local-to-global adaptive image enhancement algorithm[J]., 2014, 34(9): 955-960.

[13] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//14, 2006: 815-824.

[14] DONG S, MA J, SU Z, et al. Robust circular marker localization under non-uniform illuminations based on homomorphic filtering[J]., 2021, 170(1): 108700.

[15] 焦姣, 吳玲達(dá), 于少波, 等. 混合多尺度分析和改進(jìn)PCNN相結(jié)合的圖像融合方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2019, 31(6): 988-996.

JIAO Jiao, WU Lingda, YU Shaobo, et al. Image fusion method using multi-scale analysis and improved PCNN[J]., 2019, 31(6): 988-996.

[16] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]., 1983, 31(4): 532-540.

[17] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[18] ZHANG Q, GUO B. Multifocus image fusion using the nonsubsampled contourlet transform[J]., 2009, 89(7): 1334-1346.

[19] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]., 2019, 68(1): 49-64.

[20] Figshare. TNO Image Fusion Dataset[EB/OL]. [2014-04-26]. https:// figshare. com/articles/TNO_Image_Fusion_Dataset/1008029.

Infrared and Visible Image Fusion Method Based on Improved Saliency Detection and Non-subsampled Shearlet Transform

YE Kuntao，LI Wen，SHU Leilei，LI Sheng

(,,341000,)

To address the problems in the current infrared and visible image fusion method wherein targets are not prominent and contrast is low based on saliency detection, this paper proposes a fusion method by combining improved saliency detection and non-subsampled shearlet transform (NSST). First, the improved maximum symmetric surround algorithm is used to extract the saliency map of an infrared image, the improved gamma correction method is utilized to enhance the map, and the visible image is enhanced through homomorphic filtering. Second, the infrared and enhanced visible images are decomposed into low-and high-frequency parts through NSST, and the saliency map is used to guide the fusion of the low-frequency parts. Simultaneously, the rule of maximum region energy selection is used to guide the fusion of the high-frequency parts. Finally, the fusion image is reconstructed using the inverse NSST. The experimental results show that the proposed method is far superior to other seven fusion methods in terms of average gradient, information entropy, spatial frequency, and standard deviation. Thus, proposed method can effectively highlight the infrared target, improve the contrast and definition of fused images, and preserve rich background information of visible images.

image fusion，saliency detection，non-subsampled shearlet transform，maximum symmetric surround，homomorphicfiltering

TP391.41

A

1001-8891(2021)12-1212-10

2021-04-02；

2021-04-13.

葉坤濤（1972-），男，博士，副教授，碩士生導(dǎo)師，目前研究方向有MEMS、信號(hào)處理等。E-mail：mems_123@126.com。

江西省教育廳科學(xué)技術(shù)研究項(xiàng)目（GJJ170526）。