王君堯，王志社，武圓圓，陳彥林，邵文禹

（太原科技大學(xué) 應(yīng)用科學(xué)學(xué)院，山西 太原 030024）

0 引言

紅外傳感器具備全天時(shí)全天候工作能力，能夠獲取捕捉目標(biāo)的熱輻射信息，但所獲取的紅外圖像存在分辨率低、對(duì)比度差、邊緣模糊等缺點(diǎn)。可見(jiàn)光傳感器通過(guò)光反射成像，能夠獲取場(chǎng)景、紋理和細(xì)節(jié)等信息，但容易受惡劣天氣、光照等環(huán)境因素影響。紅外與可見(jiàn)光傳感器成像機(jī)理不同，成像頻段不同，表征前景目標(biāo)和后景細(xì)節(jié)的特征信息差異大，成像條件和成像特性都具有很強(qiáng)的互補(bǔ)性。因此，圖像融合技術(shù)可以整合紅外與可見(jiàn)光圖像的互補(bǔ)特征信息，從而合成一幅有利于人眼觀察或其他視覺(jué)任務(wù)的單一圖像，能夠廣泛應(yīng)用于實(shí)時(shí)監(jiān)控[1]、目標(biāo)跟蹤[2]、目標(biāo)檢測(cè)[3]、行人識(shí)別[4]等領(lǐng)域。

傳統(tǒng)圖像融合方法通常依據(jù)目標(biāo)特性或成像機(jī)制等先驗(yàn)知識(shí)，構(gòu)建相應(yīng)特征提取模型，再設(shè)計(jì)相應(yīng)的融合規(guī)則，通過(guò)反變換得到最終的融合圖像。常見(jiàn)的融合方法有多尺度變換[5]、稀疏表示[6]、顯著性融合[7]和混合方法[8-9]等。傳統(tǒng)的融合方法依賴固定的數(shù)學(xué)模型，僅能對(duì)某一類特征敏感，且無(wú)差別提取紅外與可見(jiàn)光圖像特征，特征提取能力不足。此外，需要人工設(shè)計(jì)相應(yīng)的融合規(guī)則，計(jì)算復(fù)雜度高，且規(guī)則單一，缺乏對(duì)圖像特征自適應(yīng)的提取能力。因此，傳統(tǒng)方法的融合圖像容易導(dǎo)致細(xì)節(jié)丟失、圖像扭曲和人造紋理等問(wèn)題，無(wú)法達(dá)到理想效果。

近年來(lái)，由于卷積運(yùn)算具有較強(qiáng)特征提取能力，基于深度學(xué)習(xí)融合方法[10-13]利用大量圖像數(shù)據(jù)，不斷訓(xùn)練網(wǎng)絡(luò)模型，獲取最優(yōu)模型參數(shù)，有效地提高了圖像融合性能。文獻(xiàn)[14]提出了DenseFuse，在編碼器中引入密集連接模塊，利用中間層特征增強(qiáng)特征表征能力，但其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，且不能提取圖像的多尺度特征。文獻(xiàn)[15]提出了IFCNN，選擇不同的特征融合策略以適應(yīng)不同的融合要求，實(shí)現(xiàn)多任務(wù)圖像融合。文獻(xiàn)[16]提出了UNFusion，構(gòu)建了多尺度編碼器與解碼器，且采用密集連接結(jié)構(gòu)，可以有效地提取和重建多尺度深度特征。盡管這些方法取得了較好的融合效果，但仍需人工設(shè)計(jì)相應(yīng)的融合規(guī)則，是非端到端方法。為解決上述問(wèn)題，文獻(xiàn)[17]提出FusionGAN，首次將生成對(duì)抗網(wǎng)絡(luò)引入圖像融合領(lǐng)域中，將圖像融合問(wèn)題視為特征對(duì)抗問(wèn)題。接著，又提出了GANMcC[18]，進(jìn)一步將圖像融合問(wèn)題轉(zhuǎn)化為多分類限定問(wèn)題。文獻(xiàn)[19]設(shè)計(jì)了RFN-Nest，采用兩階段訓(xùn)練，先訓(xùn)練編碼器和解碼器，再訓(xùn)練融合規(guī)則。這些雖然規(guī)避了融合規(guī)則的人為限制，但無(wú)法依據(jù)源圖像特征自適應(yīng)變化，造成圖像特征提取不充分，導(dǎo)致融合結(jié)果不能同時(shí)保留紅外目標(biāo)特征與可見(jiàn)光紋理細(xì)節(jié)。

針對(duì)上述問(wèn)題，本文提出了紅外與可見(jiàn)光圖像多特征自適應(yīng)融合方法。首先，構(gòu)建了多尺度密集連接網(wǎng)絡(luò)，在解碼和編碼器中建立密集連接，可以聚合所有不同尺度不同層的中間特征，有效地提高了網(wǎng)絡(luò)模型的特征提取和重構(gòu)能力。其次，構(gòu)造了多特征自適應(yīng)損失函數(shù)，依據(jù)VGG-16 網(wǎng)絡(luò)提取源圖像各自的特征信息，自適應(yīng)監(jiān)督融合網(wǎng)絡(luò)訓(xùn)練，從而獲得更加平衡的融合結(jié)果。

1 融合方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

多特征自適應(yīng)融合方法的原理框架如圖1所示，其中，左半部分為編碼器（encoder），普通卷積層Conv1-4 采用3×3 卷積核，用于提取4 個(gè)不同尺度的淺層特征。ECB 表示編碼卷積模塊，由卷積核為1×1、3×3 的兩個(gè)卷積層組成，用于提取圖像深層特征。網(wǎng)絡(luò)的右半部分為解碼器（decoder），DCB 表示解碼卷積模塊，包含了兩個(gè)3×3 卷積層，用于重構(gòu)圖像特征。卷積層Conv5 用于輸出最終結(jié)果，采用Sigmoid 作為激活函數(shù)，而其他卷積層都采用PReLU 作為激活函數(shù)。此外，向下箭頭表示下采樣操作，采用步長(zhǎng)卷積運(yùn)算，而向上箭頭表征上采樣操作，采用最近鄰插值法?？梢钥闯?，垂直方向表明了網(wǎng)絡(luò)的尺度變化，水平方向表征了網(wǎng)絡(luò)的深度變化，利用密集跳轉(zhuǎn)連接，可以聚合所有不同尺度不同層級(jí)的中間特征，進(jìn)一步提高網(wǎng)絡(luò)的特征提取與重構(gòu)能力。

圖1 多特征自適應(yīng)融合方法原理Fig.1 The principle of multi-feature adaptive fusion method

在訓(xùn)練時(shí)，將紅外與可見(jiàn)光圖像分別輸入至VGG-16 網(wǎng)絡(luò)的3 個(gè)通道中，并于最大池化前獲取5個(gè)不同尺度的特征圖，最后通過(guò)計(jì)算，得到多特征自適應(yīng)權(quán)重ωir、ωvis，以控制損失函數(shù)中的比例參數(shù)，自適應(yīng)調(diào)整不同源圖像與融合圖像之間的特征誤差，獲得信息更加均衡的結(jié)果。在測(cè)試時(shí)，網(wǎng)絡(luò)無(wú)需加載VGG-16 網(wǎng)絡(luò)與多特征自適應(yīng)損失函數(shù)，僅將紅外與可見(jiàn)光圖像進(jìn)行通道合并（concatenate），輸入至編碼器，最后，將獲取的不同尺度的特征圖通過(guò)解碼器，重構(gòu)得到融合結(jié)果。

1.2 多特征自適應(yīng)損失函數(shù)

紅外與可見(jiàn)光圖像融合應(yīng)同時(shí)保留紅外圖像與可見(jiàn)光圖像的特征信息，即紅外目標(biāo)與可見(jiàn)光紋理細(xì)節(jié)。若某一源圖像包含豐富的信息，那么其特征保留的比例應(yīng)該增加，使融合結(jié)果與該源圖像具有較高的相似性。而現(xiàn)有的融合方法等同看待源圖像的固有特征，無(wú)法針對(duì)源圖像的固有特征的差異性，自適應(yīng)調(diào)節(jié)融合圖像與源圖像之間的特征保留比例，造成信息損失。為此，本文方法綜合考慮不同類型源圖像的特征差異，設(shè)計(jì)了統(tǒng)一的信息度量。通過(guò)計(jì)算源圖像與融合結(jié)果之間的相似關(guān)系，自適應(yīng)調(diào)整損失函數(shù)的參數(shù)，以監(jiān)督網(wǎng)絡(luò)訓(xùn)練過(guò)程，有效解決了此類問(wèn)題。本文結(jié)合紅外與可見(jiàn)光源圖像的各自的固有特征，以像素結(jié)構(gòu)與像素強(qiáng)度為度量準(zhǔn)則，構(gòu)造了多特征自適應(yīng)損失函數(shù)。依據(jù)VGG-16網(wǎng)絡(luò)提取源圖像各自的特征信息，自適應(yīng)監(jiān)督融合網(wǎng)絡(luò)訓(xùn)練，均衡地提取可見(jiàn)光圖像的紋理細(xì)節(jié)與紅外圖像的目標(biāo)亮度，從而獲得更加平衡的融合結(jié)果。

在訓(xùn)練時(shí)，采用VGG-16 網(wǎng)絡(luò)提取源圖像I的多尺度特征，其中j表示尺度，j＝1,2,…,5，k表示通道索引，取值區(qū)間為[1,Cj]。通過(guò)計(jì)算特征圖的梯度特征來(lái)獲取源圖像的結(jié)構(gòu)信息保留度δS，權(quán)重越高代表結(jié)構(gòu)信息保留程度越高，如公式(1)所示：

計(jì)算結(jié)構(gòu)信息保留度可以評(píng)估邊緣和細(xì)節(jié)等高頻信息，但容易引起圖像像素強(qiáng)度以及目標(biāo)特征信息損失，因此需要獲取源圖像的像素強(qiáng)度信息保留度δI，以均衡測(cè)量源圖像與融合圖像之間的特征相似性，如公式(2)所示：

綜合上述的結(jié)構(gòu)特征保留度和像素強(qiáng)度保留度，總的特征信息保留度如公式(3)所示：

式中：α為超參數(shù)，用于權(quán)衡δS 與δI的比例關(guān)系。

每組源圖像Iir、Ivis可由信息保留度δir、δvis 計(jì)算得到ωir、ωvis，如公式(4)所示：

式中：超參數(shù)c用于縮放數(shù)值，以獲得更好的權(quán)重分配。softmax 函數(shù)將多特征自適應(yīng)權(quán)重ωir、ωvis 映射到區(qū)間[0,1]，且ωir＋ωvis＝1。

將多特征自適應(yīng)權(quán)重應(yīng)用于損失函數(shù)，以監(jiān)督網(wǎng)絡(luò)訓(xùn)練。多特征自適應(yīng)損失函數(shù)從結(jié)構(gòu)相似性和強(qiáng)度分布兩個(gè)方面實(shí)現(xiàn)相似約束。結(jié)構(gòu)相似性指數(shù)測(cè)度（SSIM）通過(guò)在亮度、對(duì)比度和結(jié)構(gòu)3 個(gè)方面衡量?jī)煞鶊D像相似度，以該指標(biāo)來(lái)測(cè)量融合結(jié)果與源圖像之間的信息損失，如公式(5)所示：

由于結(jié)構(gòu)相似性指數(shù)測(cè)度容易引起亮度變化和顏色偏差。因此，本文采用L1 損失函數(shù)以保留圖像目標(biāo)亮度信息，彌補(bǔ)SSIM 損失函數(shù)的不足，如公式(6)所示：

總損失函數(shù)如公式(7)所示，其中β為超參數(shù)，以均衡兩類損失函數(shù)差異。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)參數(shù)設(shè)定

在訓(xùn)練階段，選取TNO 數(shù)據(jù)集中的紅外與可見(jiàn)光圖像為訓(xùn)練集。為了擴(kuò)大訓(xùn)練數(shù)據(jù)集，以滑動(dòng)步長(zhǎng)為12，將其裁剪為大小為256×256 的紅外與可見(jiàn)光圖像對(duì)，共10563 對(duì)，灰度值取值范圍為[0,255]。此外，設(shè)置迭代數(shù)（epoch）為1，優(yōu)化器為Adam，學(xué)習(xí)率（learning rate）為0.001，每批訓(xùn)練量（batch size）為8。超參數(shù)設(shè)置為α＝1，c＝2，β＝0.87。測(cè)試及訓(xùn)練配置為Intel i9-9900、GeForce RTX 2080Ti和32 GB 內(nèi)存。選定的編譯環(huán)境為pytorch。

在測(cè)試階段，選取 TNO[20]、Roadscene[21]與OTCBVS[22]為驗(yàn)證數(shù)據(jù)集，以驗(yàn)證方法的有效性。將本文方法與MDLatLRR（multi-level decomposition of LatLRR）[6]、DenseFuse[14]、IFCNN[15]、UNFusion[16]、GANMcC[18]、U2Fusion[23]、RFN-Nest[19]這7 種典型方法進(jìn)行比較。在定性比較中，為了便于觀察，將融合圖像中的紅外目標(biāo)與可見(jiàn)光細(xì)節(jié)分別標(biāo)注，并將局部細(xì)節(jié)放大。定量評(píng)價(jià)指標(biāo)選擇信息熵（entropy,EN）[24]、非線性相關(guān)信息熵（nonlinear correlation information entropy,NCIE）[25]、標(biāo)準(zhǔn)差（standard deviation,SD）[26]、相關(guān)差異和（the sum of the correlation differences,SCD）[27]、視覺(jué)信息融合保真度（the visual information fidelity for fusion,VIFF）[28]、多尺度結(jié)構(gòu)相似性（multi-scale structural similarity index measure,MS_ SSIM）[29]，可從圖像特征信息、結(jié)構(gòu)相似性、視覺(jué)感知等方面評(píng)估融合性能。

2.2 消融實(shí)驗(yàn)

2.2.1 密集連接有效性驗(yàn)證

為驗(yàn)證密集連接的有效性，采用3 個(gè)對(duì)比驗(yàn)證模型，分別是編碼器和解碼器都無(wú)密集連接，記作No_Dense，僅編碼器有密集連接，記作Only_En，僅解碼器有密集連接，記作Only_De。實(shí)驗(yàn)選擇TNO數(shù)據(jù)集中的Kaptein_1654、House、Helicopter 三組典型的紅外與可見(jiàn)光圖像進(jìn)行定性比較，如圖2所示?？梢钥闯觯琋o_Dense、Only_En 模型融合結(jié)果丟失了可見(jiàn)光圖像的紋理細(xì)節(jié)，降低了目標(biāo)與背景的對(duì)比度，且圖像的背景出現(xiàn)噪點(diǎn)，部分邊緣細(xì)節(jié)處產(chǎn)生偽光暈；Only_De 模型結(jié)果在一定程度上提高了圖像對(duì)比度，但仍缺乏紋理結(jié)構(gòu)信息。例如，在Helicopter 結(jié)果中，天空云彩的結(jié)構(gòu)與灰度分布有所缺失。相比之下，本文方法在提高目標(biāo)亮度的同時(shí)突出了圖像細(xì)節(jié)與對(duì)比度，圖像較為清晰，視覺(jué)效果優(yōu)于對(duì)比模型。

圖2 密集連接的定性比較結(jié)果Fig.2 Qualitative comparison results of dense skip connections

此外，為了避免視覺(jué)感知偏差，本文采用TNO數(shù)據(jù)集的25 組圖像以及6 個(gè)指標(biāo)，在客觀方面量化比較模型有效性，表1 給出了密集連接的定量比較結(jié)果。觀察表中數(shù)據(jù)，本文模型獲得的融合結(jié)果在EN、SCD、VIFF 與MS_SSIM 指標(biāo)上獲得最優(yōu)值，且NCIE，SD 指標(biāo)僅次于Only_De。從結(jié)果可以看出，密集連接可以實(shí)現(xiàn)特征復(fù)用，有效增強(qiáng)圖像特征表示能力。且在解碼和編碼器中建立密集連接在主客觀評(píng)價(jià)上均優(yōu)于其他模型，即 No_Dense、Only_En 以及Only_De，表明本文模型可以有效聚合所有不同尺度不同層的中間特征，提高網(wǎng)絡(luò)模型的特征提取和重構(gòu)能力。

表1 密集連接的定量比較結(jié)果Table 1 Quantitative comparison results of dense skip connection

2.2.2 多特征自適應(yīng)損失函數(shù)有效性驗(yàn)證

為驗(yàn)證多特征自適應(yīng)損失函數(shù)的有效性，采用3個(gè)對(duì)比驗(yàn)證模型，分別是僅保留像素亮度測(cè)量準(zhǔn)則的融合模型，記作Finten，僅保留梯度測(cè)量準(zhǔn)則的融合模型，記作Fgrad，直接采用固定權(quán)重系數(shù)，即ωir、ωvis 取值為0.5，記作Fmean。圖3 給出了多特征自適應(yīng)損失函數(shù)的定性比較結(jié)果，由圖觀察得知，F(xiàn)inten融合結(jié)果邊緣細(xì)節(jié)不清晰，出現(xiàn)偽光暈，且圖像對(duì)比度不高。Fgrad、Fmean突出了可見(jiàn)光細(xì)節(jié)，但目標(biāo)亮度與對(duì)比度依舊不高。相比于對(duì)比驗(yàn)證模型，本文設(shè)計(jì)的多特征自適應(yīng)模塊既保留了紅外圖像的目標(biāo)亮度，又突出了可見(jiàn)光細(xì)節(jié)，取得更好的主觀融合效果。通過(guò)定性比較，證明了多特征自適應(yīng)損失函數(shù)的優(yōu)越性。

圖3 多特征自適應(yīng)模塊的定性比較結(jié)果Fig.3 Qualitative comparison results of multi-feature adaptive modules

此外，表2 給出了多特征自適應(yīng)損失函數(shù)的定量比較結(jié)果，進(jìn)一步驗(yàn)證本文模型設(shè)計(jì)的合理性與有效性。觀察表中數(shù)據(jù)，本文方法在所有指標(biāo)上均獲得最大值，與主觀評(píng)價(jià)結(jié)果一致，表明多特征自適應(yīng)損失函數(shù)可以有效獲取源圖像紋理結(jié)構(gòu)以及像素強(qiáng)度的信息保留度，實(shí)現(xiàn)源圖像與融合圖像的特征相似性約束，包括邊緣細(xì)節(jié)、亮度變化以及灰度分布等，并平衡了兩類圖像的差異信息，獲得良好的融合結(jié)果。

表2 多特征自適應(yīng)損失函數(shù)的定量比較結(jié)果Table 2 Quantitative comparison results of multi-feature adaptive loss function

2.3 TNO 數(shù)據(jù)集

為了驗(yàn)證本文方法的優(yōu)越性，從TNO 數(shù)據(jù)集中選取25 組圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，其中選取7 組典型的紅外與可見(jiàn)光圖像進(jìn)行主觀評(píng)價(jià)， 包括Kaptein_1654、Sandpath、Nato_camp、Movie_18、Helicopter、Movie_01 和Marne_04。TNO 數(shù)據(jù)集的定性比較結(jié)果如圖 4所示。觀察結(jié)果得知，MDLatLRR、DenseFuse 以及IFCNN 融合結(jié)果保留了可見(jiàn)光圖像紋理細(xì)節(jié)，但是目標(biāo)亮度嚴(yán)重缺乏，且圖像背景較暗，導(dǎo)致其對(duì)比度偏低，部分細(xì)節(jié)不明顯。GANMcC 獲得的融合結(jié)果傾向于保留紅外典型目標(biāo)，而損失了大量的可見(jiàn)光結(jié)構(gòu)信息，例如Sandpath 結(jié)果中，路邊圍欄模糊不清。U2Fusion 和RFN-Nest 獲得較為良好的結(jié)果。圖像清晰，同時(shí)保留了豐富的細(xì)節(jié)，提高了目標(biāo)與背景的對(duì)比度，但是其結(jié)果中典型目標(biāo)亮度依舊不高。相比之下，UNFusion 和本文方法可以同時(shí)具有兩類圖像的差異信息，在不損失目標(biāo)亮度的同時(shí)，突出細(xì)節(jié)，保留豐富的場(chǎng)景信息。主觀評(píng)價(jià)結(jié)果表明，本文方法能夠獲得較好的融合效果。

圖4 TNO 數(shù)據(jù)集的定性比較結(jié)果Fig.4 Qualitative comparison results of TNO datasets

表3 給出了TNO 數(shù)據(jù)集的定量比較結(jié)果，從客觀角度驗(yàn)證融合方法的有效性，由表可知，本文方法在指標(biāo)EN、SD、SCD 以及MS_SSIM 上獲得最優(yōu)值，并在指標(biāo)NCIE 和VIFF 上僅次于UNFusion 以及U2Fusion。表明本文方法融合結(jié)果良好，具有較高的對(duì)比度以及圖像質(zhì)量。

表3 TNO 數(shù)據(jù)集的定量比較結(jié)果Table 3 Quantitative comparison results of TNO datasets

2.4 Roadscene 數(shù)據(jù)集

為進(jìn)一步驗(yàn)證該融合方法的有效性，選取Roadscene 數(shù)據(jù)集中的221 組圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，圖5 為Roadscene 數(shù)據(jù)集的定性比較結(jié)果，觀察可知，MDLatLRR、DenseFuse、IFCNN 的融合圖像傾向于可見(jiàn)光圖像，提取紅外圖像的亮度信息不足，且圖像對(duì)比度低。GANMcC、RFN-Nest 結(jié)果傾向于紅外圖像，保留了目標(biāo)亮度，但損失大量紋理細(xì)節(jié)，且目標(biāo)邊緣模糊，RFN-Nest 存在較為嚴(yán)重的偽影。UNFusion 雖可均衡獲得紅外目標(biāo)與可見(jiàn)光細(xì)節(jié)，但丟失了天空云彩的邊緣紋理。U2Fusion 及本文方法獲得優(yōu)于其他方法的融合結(jié)果，根據(jù)定性分析，兩者結(jié)果差異不明顯，故從定量分析進(jìn)一步比較融合性能。

圖5 Roadscene 數(shù)據(jù)集的定性比較結(jié)果Fig.5 Qualitative comparison results of Roadscene datasets

Roadscene 數(shù)據(jù)集的定量比較如表4所示，本文方法取得了EN、SD、SCD 與VIFF 指標(biāo)的最大值。EN、SD 值最高，證明多特征自適應(yīng)融合方法整合不同尺度不同層級(jí)的中間層特征后，提取到更多的特征信息。SCD、VIFF 取得最優(yōu)值，則說(shuō)明在圖像質(zhì)量與視覺(jué)效果比較中，本文方法優(yōu)于其他典型方法。雖然NCIE 指標(biāo)略次于UNFusion 和U2Fusion，MS_SSIM 指標(biāo)僅次于U2Fusion，但綜合分析，多特征自適應(yīng)融合方法的融合效果綜合性能更優(yōu)。

表4 Roadscene 數(shù)據(jù)集的定量比較結(jié)果Table 4 Quantitative comparison results of Roadscene datasets

2.5 OTCBVS 數(shù)據(jù)集

為更進(jìn)一步驗(yàn)證該融合方法的魯棒性，選取了OTCBVS 基準(zhǔn)數(shù)據(jù)集的40 組紅外與可見(jiàn)光圖像對(duì)進(jìn)行實(shí)驗(yàn)。圖6 給出了OTCBVS 數(shù)據(jù)集的定性比較結(jié)果，其中，MDLatLRR、DenseFuse、IFCNN 結(jié)果保留了可見(jiàn)光紋理信息，但對(duì)比度低，導(dǎo)致部分細(xì)節(jié)不清晰。GANMcC 目標(biāo)亮度較高，但缺乏大量結(jié)構(gòu)信息，例如，圖像中幾乎沒(méi)有地縫，且目標(biāo)邊緣模糊。RFN-Nest 目標(biāo)亮度不高，可見(jiàn)光邊緣細(xì)節(jié)模糊，且存在偽影。在定性比較中，U2Fusion、UNFusion以及本文方法的融合結(jié)果優(yōu)于其他方法。而從主觀上來(lái)看，三者結(jié)果差異不明顯，因此從客觀上比較他們的融合性能。

圖6 OTCBVS 數(shù)據(jù)集的定性比較結(jié)果Fig.6 Qualitative comparison results of OTCBVS datasets

表5 為OTCBVS 數(shù)據(jù)集的定量比較結(jié)果，對(duì)比可得，本文方法在EN、SD、MS_SSIM、VIFF、SCD指標(biāo)均優(yōu)于其他方法，僅 NCIE 指標(biāo)略次于UNFusion。進(jìn)一步驗(yàn)證了本文的融合性能。

表5 OTCBVS 數(shù)據(jù)集的定量比較結(jié)果Table 5 Quantitative comparison results of OTCBVS datasets

本文采用TNO、Roadscene 與OTCBVS 三個(gè)公開(kāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，綜合視覺(jué)感知以及多個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。相比于其他典型方法，主觀上更均衡地保留了兩類圖像的典型特征，包括紅外圖像目標(biāo)特征以及可見(jiàn)光圖像的紋理特征，客觀上隨著數(shù)據(jù)集的變化，評(píng)價(jià)指標(biāo)趨勢(shì)基本一致，表明本文方法具有較強(qiáng)的魯棒性與優(yōu)越性。

3 結(jié)論

本文提出了多特征自適應(yīng)紅外與可見(jiàn)光圖像融合方法。首先，采用了多尺度密集連接的網(wǎng)絡(luò)結(jié)構(gòu)，充分利用不同尺度的淺層及深層特征；其次，設(shè)計(jì)多特征自適應(yīng)損失函數(shù)，引入VGG-16 網(wǎng)絡(luò)提取特征并用于計(jì)算特征的信息保留度，進(jìn)而約束損失函數(shù)。特征自適應(yīng)損失函數(shù)針對(duì)性地提取了紅外圖像的目標(biāo)信息和可見(jiàn)光圖像的紋理細(xì)節(jié)信息，監(jiān)督網(wǎng)絡(luò)模型獲得更平衡的融合結(jié)果。消融實(shí)驗(yàn)驗(yàn)證了密集連接與多特征自適應(yīng)損失函數(shù)的有效性。此外，在TNO、Roadscene 和OTCBVS 三種不同的數(shù)據(jù)集上，與7 種典型方法進(jìn)行了主客觀實(shí)驗(yàn)，結(jié)果表明本文方法的優(yōu)越性和魯棒性。