摘要：針對NSCT變換在紅外與可見光圖像融合中的不足，提出一種基于NSCT和動靜態(tài)聯(lián)合濾波的紅外與可見光圖像融合方法。首先，采用NSCT將源圖像分解為低頻子帶和高頻子帶，進一步采用動靜態(tài)聯(lián)合濾波將低頻子帶分解為低頻紋理分量和低頻結(jié)構(gòu)分量；再分別針對低頻紋理分量、低頻結(jié)構(gòu)分量和高頻子帶的特征，采用不同的融合規(guī)則。其中，低頻紋理分量以改進拉普拉斯能量和取大為權(quán)重圖，低頻結(jié)構(gòu)分量以絕對值最大和引導濾波為融合規(guī)則，高頻子帶融合以梯度和改進拉普拉斯能量和綜合信息作為權(quán)重。最后，通過NSCT逆變換得到融合圖像。通過對比多組融合圖像主、客觀評價結(jié)果表明，該方法能有效保留邊緣信息，保留較多的源圖像信息，在視覺質(zhì)量和客觀評價方法優(yōu)于其他圖像融合方法。

關(guān)鍵詞：圖像融合；紅外與可見光圖像；動靜態(tài)聯(lián)合濾波；非下采樣輪廓波變換

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2024）08-0001-04

開放科學（資源服務）標識碼（OSID）

0 引言

紅外與可見光圖像融合技術(shù)在軍事和民用領(lǐng)域中占有重要地位，如目標檢測、監(jiān)控和情報收集等[1]。 NSCT能更好地保持圖像的邊緣信息和輪廓結(jié)構(gòu)，增強圖像的平移不變性。因此，許多學者[2-4]將NSCT變換應用到紅外與可見光圖像融合中，取得了較好的融合效果。例如，朱亞輝等人[2]用NSCT將源圖像分解為低頻子帶和高頻子帶，進一步采用潛在低秩表示模型將低頻子帶分解為低頻基礎(chǔ)子帶和低頻顯著子帶。劉佳等人[3]采用NSCT對源圖像進行分解，利用改進的引導濾波算法提取紅外圖像顯著性圖自適應加權(quán)融合低頻圖像，對高頻圖像使用基于馬氏距離加權(quán)的拉普拉斯能量和取大融合。Selvaraj等人[4]應用NSCT和滾動濾波器將源圖像分解為基本層、細節(jié)層和高頻系數(shù)。

雖然NSCT變換能夠增強圖像的平移不變性，但也導致低頻子帶分解不充分。為了解決這類問題，對低頻子帶采用濾波器再次分解，常用的濾波器分為靜態(tài)濾波器和動態(tài)濾波器兩大類。其中，靜態(tài)濾波器能夠保持邊緣結(jié)構(gòu)信息，但邊緣區(qū)域容易出現(xiàn)光暈現(xiàn)象；動態(tài)濾波雖然從正則化輸入圖像得到權(quán)重函數(shù)，但忽略靜態(tài)引導圖像可用的附加信息[5]。參考文獻[6]給出了動靜態(tài)聯(lián)合濾波（Static and Dynamic joint Filters， SDF） ，它既克服了單一引導結(jié)構(gòu)出現(xiàn)的邊緣結(jié)構(gòu)模糊，也解決粗糙邊緣邊界定位差的問題，具有良好的邊緣保持特性。

通過上述分析可知，本文綜合NSCT和SDF的優(yōu)勢，提出了基于NSCT和SDF的紅外與可見光圖像融合方法。其中，NSCT將原圖像分解為低頻子帶和高頻子帶；再采用SDF將低頻子帶分解為結(jié)構(gòu)分量和紋理分量；根據(jù)高頻子帶、低頻結(jié)構(gòu)分量、低頻紋理分量的特征，采用不同的融合策略；最后將低頻結(jié)構(gòu)分量和低頻紋理分量疊加，再與高頻子帶進行逆NSCT，得到最終的融合圖像。實驗結(jié)果表明，本文融合方法在主、客觀評價中都有較好的性能。

1 動靜態(tài)聯(lián)合濾波

動靜態(tài)聯(lián)合濾波（Static and Dynamic joint Filters，SDF）是以加權(quán)最小二乘濾波為目標函數(shù)，輔以滾動導向濾波算法的迭代模型。

令[f]為輸入圖像，[g]為靜態(tài)引導圖像，[u]為輸出圖像，SDF的目標函數(shù)定義為：

[εu=iciui-fi2+λΩu，g]? ? ?（1）

其中[λ]和[ci]分別為正則化參數(shù)和輸入圖像調(diào)節(jié)參數(shù)，[Ωu，g]為正則項，即

[Ωu，g=i，j∈N?ugi-gj?vui-ujφvui-uj]

[?ux=e-μx2;φvx=1-?vxv]

其中，[μ，v]分別控制靜態(tài)引導和動態(tài)引導的平滑帶寬。

記靜態(tài)引導圖像權(quán)重矩陣[Wμ]和動態(tài)引導的權(quán)重矩陣[Wv]分別為：

[Wμ=φμgi-gjN×N，Wv=ψμui-ujN×N]

令[W=Wμ×Wv，C=diagc1，…，cN]。公式（1） 可表示為

[εu=u-fTCu-f+λvWμ-W]

采用最小最優(yōu)算法，則有

[?kuk=εuk?ku≥εu]

經(jīng)過迭代可以求出[u]。

2 融合框架及融合規(guī)則

設(shè)圖像[I，V]分別為紅外圖像和可見光圖像，圖像[F]為融合圖像，圖1給出了基于NSCT和SDF的紅外與可見光圖像融合方法流程圖。

其中，HI和LI分別表示紅外圖像的高頻子帶和低頻子帶；HV和LV分別表示可見光圖像的高頻子帶和低頻子帶；LI_T和LI_S分別表示紅外圖像的低頻紋理分量和低頻結(jié)構(gòu)分量；LV_T和LV_S分別表示可見光圖像的低頻紋理分量和低頻結(jié)構(gòu)分量；LF_T和LF_S分別表示融合后圖像的低頻紋理分量和低頻結(jié)構(gòu)分量；LF和HF分別表示融合后的低頻子帶和高頻子帶。

2.1 低頻子帶融合規(guī)則

低頻子帶包含了圖像的大部分信息，其存在分解不完全問題。因此，針對低頻子帶的融合，本文采用SDF將低頻子帶分解為低頻結(jié)構(gòu)分量和低頻紋理分量，并根據(jù)分量的特征，采用不同的融合規(guī)則。圖2給出了低頻子帶的分解結(jié)果圖。

由圖2可以看出：在低頻紋理分量中，目標等關(guān)鍵區(qū)域能夠有效區(qū)分；在結(jié)構(gòu)分量中，結(jié)構(gòu)能夠被有效識別出來，且具有良好的邊緣保持性。

1）? 低頻紋理分量的融合規(guī)則。由圖2 （a1）和（b1）可以看出，低頻結(jié)構(gòu)分量可以看作不同的聚焦區(qū)域，改進的拉普拉斯能量和既反映圖像邊緣特征信息，也能反映圖像的聚焦特性。因此，本文采用改進的拉普拉斯能量和取大作為權(quán)重，具體融合公式如下。

[LF_T=w?LI_T+1-w?LV_T]? ? ?（2）

其中，權(quán)重[w=maxELI_T，ELV_T]；[ELI_T，ELV_T]分別表示紅外低頻紋理分量和可見光低頻紋理分量的拉普拉斯能量和，拉普拉斯能量和公式如下。

[EHi，j=1mnp=-mmq=-nnIML（i+p，j+q）]

[IMLi，j=2Hi，j-Hi-1，j-Hi+1，j+2Hi，j-Hi，j-1-Hi，j+1+122Hi，j-Hi-1，j-1-Hi+1，j+1+122Hi，j-Hi+1，j-1-Hi-1，j+1]

2） 低頻結(jié)構(gòu)分量的融合規(guī)則。通過對比圖2（a2）和（b2）可以看出，這兩幅低頻結(jié)構(gòu)分量是互補的，因此選擇灰度值最大作為權(quán)重，即：

[w1=1，LI_S>LV_S0，LI_SLI_S0，LV_S

為將邊緣對齊，對權(quán)重圖[w1，w2]進行引導濾波[7]，獲得新的權(quán)重圖：

[w1=guide_filterw1，LI_S，r，ε;w2=guide_filterw2，LV_S，r，ε]

其中，函數(shù)[guide_filter?]為引導濾波。

融合后的低頻結(jié)構(gòu)分量為：

[LF_S=w1?LI_S+w2?LV_S]? ? （3）

3） 低頻融合子帶的獲取。應用公式（2）和公式（3）分別獲得低頻紋理分量和低頻結(jié)構(gòu)分量，將其疊加獲得低頻融合子帶，即

[LF=LF_T+LF_S]

由圖3可以看出，低頻融合規(guī)則能夠有效識別紅外目標，且對可見光圖像的低頻信息保留完整，具有良好的邊緣保持性。這說明本融合方法的低頻融合規(guī)則設(shè)計合理。

2.2 高頻子帶融合規(guī)則

高頻子帶主要描述源圖像的邊緣信息，改進拉普拉斯能量和及局部梯度幅值均可有效描述圖像的邊緣信息。因此，本文結(jié)合改進拉普拉斯能量和[E]及局部梯度幅值[G]作為決策圖，獲得融合后的高頻子帶：

[HF=wHI+1-wHV]

其中，[HI，HV]分別表示紅外圖像和可見光圖像的高頻子帶；權(quán)重

[w=1，ENTI>ENTV0，ENTI

這里，[ENTI=GI+EI，ENTV=GV+EV]分別表示紅外高頻子帶和可見光高頻子帶的綜合信息，[GI，GV]分別為紅外高頻子帶和可見光高頻子帶的梯度幅值；[EI，EV]分別為紅外高頻子帶和可見光高頻子帶的拉普拉斯能量和。

3 實驗及結(jié)果分析

在本節(jié)中，通過主、客觀評價多組融合圖像的效果。采用的融合方法包括：VSM_WLS[8]、MLGCF[9]、NSCT[2]和本文方法。本文融合方法的參數(shù)設(shè)置為：在NSCT分解中，級數(shù)為4級，濾波器參數(shù)為'pyrexc'和'vk'，分解方向數(shù)為[2 3 3 4]；在SDF中，參數(shù)[μ=50，v=400，K=10，][λ=0.8×103]。多種方法的融合結(jié)果見圖4所示。圖中，每行分別是以Road、Camp、Kaptein、UNcamp為例。

3.1 融合圖像的主觀評價

對比“Road”融合結(jié)果可以看出，在VSM_WLS和MLGCF融合結(jié)果中，道路上的折痕與周圍整個路面的對比度不是很明顯；在基于NSCT方法融合結(jié)果中，第一輛汽車的尾燈模糊不清；基于本文方法的融合結(jié)果不僅保留了可見光場景的細節(jié)信息，且行人、車輛、紅綠燈紅外熱目標邊緣清晰，接近自然場景。

對比“Camp”的融合結(jié)果可以看出：在基于NSCT方法融合結(jié)果中，目標人物存在明顯光暈；雖然在基于VSM_WLS和基于MLGCF方法的融合結(jié)果能夠看出樹的紋理，但目標人物周圍的柵欄比較模糊?；诒疚娜诤戏椒ǖ娜诤辖Y(jié)果較好地保留了可見光圖像的豐富場景信息，也突出了紅外圖像的熱目標信息，尤其能較明顯地看出樹杈的紋理信息。

本文融合方法的優(yōu)勢同樣體現(xiàn)在“Kaptein”“UNcamp”中。因此，本文融合方法在視覺質(zhì)量上較優(yōu)于其他圖像融合方法。

3.2 融合圖像的客觀評價

為了更加客觀地評價本文融合方法的有效性，應用QAB[10]、SSIM[11]、FSIM[12]、Entropy和MI評價融合圖像質(zhì)量，表1為多組融合圖像的客觀評價指標值。

由表1可知：1） 對于評價指標MI和Entropy，本文融合方法均優(yōu)于其他融合方法，表明本文融合方法包含豐富的信息；2） 對于評價指標QAB，本文融合方法在“Road”和“UNcamp”圖像融合效果評價值最優(yōu)，而在其他三組融合圖像上，本文融合方法次之，但與最優(yōu)評價值比較接近，表明了本文融合方法較好地保留了源圖像的特征；3） 對于評價指標SSIM，本文融合方法在“Road”“Kaptein”“UNcamp”的融合效果評價值最優(yōu)，表明本文融合方法較好地保留了源圖像的結(jié)構(gòu)相似性；4） 對于評價指標FSIM，本文融合方法在“Road”和“Camp”上評價值最優(yōu)，在其他2組融合圖像的評價值位于第二。總之，從整體上，本文融合方法具有較好的融合結(jié)果。

4 結(jié)束語

針對傳統(tǒng)基于多尺度變換的紅外與可見光圖像融合算法的不足，提出一種基于NSCT和SDF的紅外與可見光圖像融合方法。該方法采用NSCT和SDF將源圖像分解為低頻紋理分量、低頻結(jié)構(gòu)分量和高頻子帶；再根據(jù)各個子帶的特征，分別采用改進拉普拉斯能量和取大、絕對值最大和引導濾波、梯度和改進拉普拉斯能量作為融合規(guī)則。最后，通過NSCT逆變換得到融合圖像。通過對多組融合結(jié)果的主、客觀評價，分析了本文方法是切實可行的，能夠得到具有豐富信息且較為清晰的融合圖像，在視覺質(zhì)量和客觀評價方法較優(yōu)于其他圖像融。

參考文獻：

[1] 張亞峰，耿則勛，王軍敏.基于擴展相位拉伸變換的多聚焦圖像融合算法[J].激光與光電子學進展，2020，57（22）：111-120.

[2] 朱亞輝，高邐.基于復合分解與直覺模糊集的紅外與可見光圖像融合方法[J].西北工業(yè)大學學報，2021，39（4）：930-936.

[3] 劉佳，李登峰.馬氏距離與引導濾波加權(quán)的紅外與可見光圖像融合[J].紅外技術(shù)，2021，43（2）：162-169.

[4] SELVARAJ A，GANESAN P.Infrared and visible image fusion using multi-scale NSCT and rolling-guidance filter[J].IET Image Processing，2020，14（16）：4210-4219.

[5] 田小平，鄭娜，吳成茂.多尺度動靜態(tài)聯(lián)合彩色圖像濾波處理[J].西安郵電大學學報，2017，22（3）：39-43.

[6] HAM B，CHO M，PONCE J.Robust guided image filtering using nonconvex potentials[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（1）：192-207.

[7] 鞏稼民，吳藝杰，劉芳，等.基于NSST域結(jié)合SCM與引導濾波的圖像融合[J].光電子·激光，2021，32（7）：719-727.

[8] MA J Y，CHEN C，LI C，et al.Infrared and visible image fusion via gradient transfer and total variation minimization[J].Information Fusion，2016，31（C）：100-109.

[9] TAN W，ZHOU H X，SONG J，et al.Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image decomposition[J].Applied Optics，2019，58（12）：3064-3073.

[10] XYDEAS C S，PETROVIC? V.Objective image fusion performance measure[J].Electronics Letters，2000，36（4）：308.

[11] MA K D，ZENG K，WANG Z.Perceptual quality assessment for multi-exposure image fusion[J].IEEE Transactions on Image Processing，2015，24（11）：3345-3356.

[12] ZHANG L，ZHANG L，MOU X Q，et al.FSIM：a feature similarity index for image quality assessment[J].IEEE Transactions on Image Processing，2011，20（8）：2378-2386.

【通聯(lián)編輯：王 力】