陳 永，張嬌嬌，王 鎮(zhèn)

（蘭州交通大學 電子與信息工程學院，甘肅 蘭州 730070）

1 引 言

紅外輻射是一種與可見光頻譜相鄰的不可見光，其在云霧中具有很強的穿透力，受不良天氣干擾較小，紅外視覺在安防和軍事等各個領域有突出優(yōu)勢。但紅外圖像相比于可見光圖像存在細節(jié)缺失、邊緣結構模糊、分辨率不高等缺點。可見光圖像雖紋理細節(jié)信息豐富，但在弱光條件下成像后存在有效目標模糊、難以被識別的問題。因此，利用紅外與可見光圖像的互補信息，將兩者融合，其紋理細節(jié)和目標信息都盡可能被保留，具有更優(yōu)的可視效果，能夠提高目標的檢測及識別率，非常有利于目標指示和場景信息的獲取[1］。通過紅外與可見光圖像的融合可以擴展系統(tǒng)的時空覆蓋率，增強系統(tǒng)的可靠性和魯棒性，其可廣泛應用于交通安全監(jiān)控[2］、軍事偵察[3］、醫(yī)學成像[4］、遙感[5］等多種應用場景。

目前，紅外與可見光圖像融合方法分為傳統(tǒng)方法和基于深度學習的融合方法。傳統(tǒng)融合方法根據(jù)理論依據(jù)不同，可分為變換融合[6］、稀疏表示[7］、拉普拉斯金字塔融合[8］等方法。其中變換融合方法因其算法簡單，性能較好被廣泛應用，該類方法包括雙樹復小波變換（Dual-Tree Complex Wavelet Transform，DTCWT）[9］、非下采樣輪廓波變換（NonSubsampled Contourlet Transform，NSCT）[10］等。然而上述傳統(tǒng)方法在融合階段，需要根據(jù)具體問題手工設計融合規(guī)則，導致其泛化性能較差。

隨著深度學習的快速發(fā)展，圖像融合領域也提出了很多基于深度學習的方法[11-14］。文獻[15］提出了一種基于卷積神經(jīng)網(wǎng)絡融合方法，但該方法網(wǎng)絡層數(shù)較少，難以提取有效特征信息，以致融合結果存在信息缺失問題。文獻[16］提出一種基于生成對抗網(wǎng)絡的融合方法（Generative Adversarial Network for infrared and visible image Fusion，F(xiàn)usionGAN），該方法通過生成器與判別器的博弈來完成融合，但其判別器在對抗訓練時僅以可見光圖像為參照，忽略了紅外圖像對于融合的互補作用，導致融合后的圖像局部信息不明顯。文獻[17］提出了一種深度無監(jiān)督的圖像融合方法（Deep unsupervised approach for Fusion，DeepFuse），該方法通過色彩空間轉換后進行雙分支特征提取進行融合，但該方法在融合時采用相同權重，這一操作導致無法獲取到圖像的差異化信息，最終的融合圖像出現(xiàn)細節(jié)紋理模糊的問題。文獻[18］提出了一種基于殘差網(wǎng)絡（Residual Network，ResNet）的圖像融合方法，該方法可利用網(wǎng)絡結構提取紅外與可見光圖像特征，但在融合重構時采用加權平均的策略，融合后圖像容易丟失重要信息。文獻[19］提出了基于密集連接網(wǎng)絡的融合方法——Densefuse，該方法將源圖像輸入編碼網(wǎng)絡構造特征映射，再利用解碼網(wǎng)絡重構出最終融合圖像，但該方法在編碼網(wǎng)絡中只使用單尺度的卷積核提取圖像特征，導致融合后的圖像目標邊緣易出現(xiàn)模糊現(xiàn)象。

綜上所述，現(xiàn)有融合方法大都采用單一尺度卷積核提取圖像特征，未考慮紅外與可見光圖像中具有多樣復雜的特征信息，導致融合結果存在特征提取不充分、細節(jié)信息重構缺失等問題。針對上述問題，提出了一種多尺度密集連接注意力的紅外與可見光圖像融合方法。主要工作有：（1）設計多尺度卷積神經(jīng)網(wǎng)絡編碼子網(wǎng)絡提取紅外與可見光圖像中不同感受野大小的特征信息，克服了單一尺度特征提取不足的問題；（2）在編碼子網(wǎng)絡末端引入通道與改進的可變形卷積空間注意力機制用于捕捉全局信息的依賴關系，以促進網(wǎng)絡有效地對紅外與可見光圖像中的重要特征信息進行聚焦；（3）將編碼子網(wǎng)絡提取到的紅外與可見光特征信息輸入融合層，使用基于L1范數(shù)的融合策略進行融合；（4）構建解碼子網(wǎng)絡對融合后的特征進行重構，得到最終融合后圖像。對紅外與可見光的融合實驗結果表明，所提方法較對比方法在主、客觀角度均取得較好的融合效果。

2 方 法

2.1 網(wǎng)絡總體框架

可見光RGB圖像一般包含豐富的細節(jié)信息，紅外圖像含有突出的目標信息，為了提高可見光與紅外圖像特征提取能力，提升融合性能，提出了一種多尺度密集連接注意力的紅外與可見光圖像融合深度學習模型，網(wǎng)絡總體框架如圖1所示，主要由紅外與可見光特征編碼子網(wǎng)絡、融合子網(wǎng)絡和解碼子網(wǎng)絡三部分構成。

模型工作時，首先，在網(wǎng)絡模型中編碼子網(wǎng)絡通過多尺度特征提取層獲得多通道圖像特征信息；其次，將得到的特征輸入密集連接模塊從而盡可能地保留紅外與可見光圖像的特征信息；然后，利用在編碼子網(wǎng)絡末端引入改進的可變形卷積注意力機制（Deformable-Convolutional Block Attention Module，D-CBAM），從通道和空間兩個方面對紅外與可見光圖像的顯著信息聚焦，并抑制無用信息，以確保在融合層所有的顯著特征都可以被利用；接著，融合層使用基于L1范數(shù)的融合策略[19］對編碼子網(wǎng)絡提取的特征進行融合；最后，解碼子網(wǎng)絡由全卷積構成，在解碼子網(wǎng)絡中將提取的特征信息進行重構，輸出紅外與可見光圖像的融合結果。

圖1 網(wǎng)絡總體框架圖Fig.1 Overall network framework

2.2 多尺度紅外與可見光特征提取編碼子網(wǎng)絡

本文編碼子網(wǎng)絡由多尺度層、密集連接塊和注意力機制模塊三部分構成。所提方法設計了多種尺度的卷積核提取不同感受野的特征信息，紅外光與可見光圖像都具有復雜的紋理信息，密集連接網(wǎng)絡可以提取到圖像的目標深層特征，使得最終的融合圖像具有更好精度。注意力機制則可以促進全局的依賴關系，使網(wǎng)絡提取到更豐富全面的紅外與可見光圖像特征信息。

2.2.1 多尺度特征提取層

紅外圖像和可見光圖像的融合實質是將紅外圖像中的信息根據(jù)一定的規(guī)則融合可見光圖像。融合時除了考慮圖像的亮度信息還需要考慮當前像素所在的連通區(qū)域特征，若能充分考慮包含當前像素的多尺度區(qū)域特征，將會提取到關于目標對象更準確的圖像特征。在基于深度學習的方法中通常使用卷積層提取圖像特征，但如果單純使用一種尺度卷積核提取特征，導致圖像在其他感受野的特征表現(xiàn)將無法被感知。為了充分獲得輸入紅外與可見光圖像在不同尺度下的特征，首先分別使用5×5、3×3和1×1三種不同尺度大小的卷積核對輸入紅外與可見光圖像不同維度的特征信息進行提取，其結構如圖2所示。多尺度卷積操作能夠克服單尺度卷積操作感受野單一、特征范圍受限的問題。

圖2 多尺度特征提取圖Fig.2 Multi-scale feature extraction diagram

圖2中，多尺度特征提取時，利用式（1）和式（2）計算如下：

其中：Fin為輸入特征圖；*代表卷積操作；卷積核大小為fj，j=1，3，5；Fout為輸出的特征圖。

2.2.2 密集連接特征提取模塊

為了進一步提高網(wǎng)絡提取圖像特征信息的準確性，在多尺度卷積層之后再采用密集連接網(wǎng)絡提取圖像的深層特征信息。密集連接網(wǎng)絡將每層卷積提取的特征輸出至后續(xù)所有的卷積層，這種方式可以讓每個卷積層都能感知到前驅卷積層的計算結果。密集連接將網(wǎng)絡的寬度控制在一個較窄的水平上，很好地解決了過擬合等問題[20］。為了能夠充分利用圖像各層卷積的特征輸出，本文在多尺度卷積層后連接了一個密集連接網(wǎng)絡模塊，該模塊是由3個密集連接的卷積層組成，密集連接模塊中的卷積算子的尺度都是3×3，其結構如圖3所示。

從圖3可以看出，密集連接塊的輸出是之前每一層的拼接，輸出圖像的通道數(shù)不發(fā)生改變，每一層的輸出如式（3）所示。

其中：xt表示第t層的輸出，xt-1為前一層，Ht代表非線性轉化函數(shù)（Non-liear Transformation），可表示一個組合函數(shù)操作，密集連接塊中采用的是BN+ReLU+Conv（3×3）的結構。

2.2.3 可變形卷積注意力機制

在編碼網(wǎng)絡模型中，通過不同尺度的卷積核以及密集連接塊提取可見光與紅外圖像更豐富、更深層次的圖像特征，克服了單尺度圖像融合特征提取不足的問題。但普通卷積操作僅為局部信息感知，無法獲得全局關聯(lián)信息，而注意力機制能夠捕獲全局的依賴關系[21］。

本文在紅外與可見光圖像融合網(wǎng)絡結構中采用提出的可變形卷積注意力機制D-CBAM，以便更加有效地對紅外與可見光圖像中的重要特征信息進行聚焦。相比于SE注意力方法（Squeeze-and-Excitation，SE）僅關注通道之間的關系，忽略了紅外與可見光融合對象輪廓特征信息的關注。而CBAM[22］注意力機制能夠同時在通道和空間維度上進行注意力特征提取，其通過在內部運用全局最大池化和全局平均池化的并行方式來減小池化操作帶來的損失，從中將可見光與紅外輪廓及紋理細節(jié)特征信息得以增強。并且CBAM模塊是一個輕量級模塊，集成到網(wǎng)絡中產(chǎn)生的額外開銷可忽略不計，其結構如圖4所示。CBAM主要由通道注意力單元（Channel Attention Module，CAM）和空間注意力單元（Spatial Attention Module，SAM）構成，兩個模塊分別獨立作用于通道與空間，可節(jié)約參數(shù)并且避免了繁瑣的計算。

本文在CBAM空間注意力模塊中將最大池化和平均池化通道拼接后的7×7標準卷積改進為一個3×3的可變形卷積。這是因為普通卷積的感受野根據(jù)卷積核的大小是固定的矩形，但在實際應用過程中，各種圖像物體的特征形狀大小各不相同。而可變形卷積通過增加偏移變量可以對感受野大小進行自適應調節(jié)，結構如圖5所示。

圖3 密集連接模塊Fig.3 Dense connected module

圖5中，特征圖通過3×3的可變形卷積層操作，能夠輸出帶有偏移量參數(shù)的特征圖?？勺冃尉矸e是在普通卷積的采樣點位置都加了一個可學習的偏移量{Δan|n=1，…，N}，如式（4）和式（5）所示。

其中：x為輸入的特征圖；y為輸出的特征圖；w是 權 重 值；R表 示 采 樣 區(qū) 域，R={(-1，-1)，(-1，0)，…，(0，1)，(1，1)}；a0表示特征圖y中的點；an表示R內的所有采樣點；因為Δan可能是小數(shù)，所以一般使用雙線性插值計算x(a0+an+Δan)的值。

在紅外與可見光圖像融合時，利用可變形卷積能更高效地關注特征區(qū)域，相較與普通卷積其采樣點更加貼近物體的真實形狀及位置，如圖6所示。

在可變形卷積注意力機制中，通道注意力可以增強可見光與紅外圖像中的重要通道特征，并削弱無關特征，其示意圖如圖7所示。在此模塊中輸入特征圖F(H×W×C)，H為特征圖的高，W為特征圖的寬，C為特征圖的通道數(shù)，然后，經(jīng)過全局最大池化和平均池化及多層感知器（Multi-Layer Perception，MLP）單元后，得到兩個特征向量，最后經(jīng)過元素加操作和Sigmoid激活后得到通道注意力權重值。

圖4 注意力機制模塊圖Fig.4 Convolutional block attention module

圖5 可變形卷積Fig.5 Deformable Convolution

圖6 標準卷積和可變形卷積對比Fig.6 Comparison of standard convolution and deformable convolution

紅外與可見光融合時，通道注意力通過式（6）計算得到：

在得到通道注意力權重Mc(F)后，在輸入空間注意力模塊之前，再將其與輸入圖像特征做基于元素的乘法操作，計算過程如式（7）：

其中：σ是Sigmoid函數(shù)，F(xiàn)是輸入的特征圖，F(xiàn)′是通道注意力模塊得到的特征。

接著將通道注意力特征信息輸入空間注意力模塊中，通過最大池化和平均池化進行通道拼接，其結構如圖8所示。

在圖8特征圖通道拼接后，再經(jīng)過3×3的可變形卷積操作，接著通過Sigmoid激活函數(shù)，如式（8）所示：

圖7 通道注意力模塊圖Fig.7 Channel attention module

其中，f3×3DCov表示可變形卷積操作。將得到的空間特征圖與輸入的特征信息做元素乘積操作，輸出D-CBAM注意力機制增強后的特征圖，如式（9）所示：

其中：F″是運行空間注意力模塊得到的特征。

2.3 融合策略

紅外與可見光圖像的目標信息具有突出的互補性，在融合時為了提高特征圖融合的有效性，采用L1范數(shù)[19］的融合策略，如圖9所示。該策略是通過計算活動圖完成融合工作。由編碼子網(wǎng)絡輸出的特征圖用φmi表示，通過L1范數(shù)得到特征圖φmi的初始活動水平圖Ci，最終活動水平i由基于窗口的平均算子獲得；再將i經(jīng)過Soft-max函數(shù)運算，得到融合后的特征圖fm。

基于L1范數(shù)的融合策略詳細步驟如下：

（1）采用L1范數(shù)得到初始活動水平圖Ci：

其中，φ1：Mi(x，y)是一個M維的向量，（x，y）代表位置坐標。

其中：a為窗口橫坐標取值，b為窗口縱坐標取值，r代表窗口大小。

（3）通過Softmax函數(shù)得到初始權重圖wi，并得出最終的特征圖fm。

其中，fm為融合后的待解碼特征圖。

2.4 解碼子網(wǎng)絡

解碼子網(wǎng)絡的輸入為融合層的輸出特征圖，實現(xiàn)對融合后圖像的重構。通過解碼子網(wǎng)絡，使得網(wǎng)絡得到的融合圖像保留更多的目標細節(jié)信息。為了獲得更加精細的解碼效果，解碼子網(wǎng)絡采用全卷積結構構成，如圖10所示，使用4個3×3卷積核和ReLU激活函數(shù)進行解碼重構操作，最終輸出重構后的紅外與可見光融合圖像。

圖8 空間注意力模塊圖Fig.8 Spatial Attention Module

圖9 基于L1范數(shù)的融合策略Fig.9 Fusion strategy based on L1 norm

圖10 解碼子網(wǎng)絡結構Fig.10 Encoder subnet structure

2.5 損失函數(shù)

設計損失函數(shù)時，為了使網(wǎng)絡可以更精確地提取并重構圖像特征，在訓練過程中加入最小化損失函數(shù)來訓練網(wǎng)絡模型。損失函數(shù)（Lloss）由加權λ結構相似性度量誤差（Lssim）和像素誤差（Lpixel）組成，由式（14）可得：

其中：I表示圖像融合訓練網(wǎng)絡的輸入圖像，O表示網(wǎng)絡輸出圖像。相似度損失（Lssim）可由式（16）得到：

其中，fSSIM（·）函數(shù)代表結構相似度操作，即fSSIM(O，I)代表輸入與輸出圖像的結構相似度。

3 實驗結果與分析

3.1 實驗設置和環(huán)境

為了驗證所提方法的有效性，與8種代表性的融合方法進行比較，包括雙樹復小波變換（DTCWT）[9］、非下采樣輪廓波變換（NSCT）[10］、基于雙分支多聚焦特征融合的深度卷積神經(jīng)網(wǎng)絡（CNN）[15］、生成對抗網(wǎng)絡（FusionGAN）[16］、密集連接網(wǎng)絡（DenseFuse）[19］、卷積稀疏表示（Convolutional Sparse Representation，CSR）[23］、多 尺度分解（Novel Decomposition Method for Infrared and Visible Image Fusion，MDLatLRR）[24］、潛在低秩表示（Infrared and Visible Image Fusion using Latent Low-Rank Representation，LatLRR）[25］，并通過主客觀評價指標進行評價分析。軟件環(huán)境為Windows10、python3.6及pytorch。硬件配置環(huán)境為Intel（R）Core i7-9700K CPU@3.6 GHz，64.0 GB RAM，NVIDIA Ge-Force GTX 1660，對比實驗的軟硬件環(huán)境相同。實驗測試階段選取了TNO數(shù)據(jù)集中的紅外與可見光圖像。訓練階段使用MS-COCO數(shù)據(jù)集，其目的是訓練網(wǎng)絡模型的重構能力。

3.2 融合圖像主觀評價

選取TNO數(shù)據(jù)集中“street”組進行實驗分析，實驗結果如圖11所示?？梢钥闯?，CNN算法和CSR算法實驗結果中背景被過度虛化且含有噪聲偽影的現(xiàn)象。FusionGAN算法、MDLatLRR算法實驗融合結果雖然有所改善，但右上角行人部分依然是虛化的。NSCT算法、DenseFuse算 法、LatLRR算 法 和DTCWT算 法實驗結果中目標和整體場景的層次對比度較弱且缺少紅外與可見光圖像更多的邊緣和細節(jié)信息。本文提出的算法實驗結果中右上方行人汽車的紋理結構特征豐富明顯，較好地保留了邊緣及細節(jié)信息。

為了進一步驗證圖像融合實驗的優(yōu)越性，從TNO數(shù)據(jù)集中繼續(xù)選取五組不同的圖像作為對比實驗。實驗結果如圖12所示，可以看出，CSR算法和NSCT算法的融合圖像結果不理想并且噪聲現(xiàn)象非常嚴重。CNN算法相對于CSR算法和NSCT算法的融合結果噪聲現(xiàn)象得以改善，但是依然存在嚴重的偽影。DTCWT、LatLRR和

MDLatLRR算法很大程度上解決了上述算法存在的問題，圖像的輪廓信息比較清晰，但是一些重要信息仍得不到體現(xiàn)，如圖中紅框所示，DTCWT算法融合結果第四組圖像中，房子上方的樹枝紋理模糊。LatLRR算法融合結果第五組圖像中，窗戶邊緣不清晰。MDLatLRR算法融合結果第三組圖像中，融合效果不佳導致人像周圍的信息缺失。FusionGAN和DenseFuse算法是基于深度學習的融合方法，其融合結果既保留了可見光的有用信息又存在紅外圖像的目標特征信息。但結果中目標特征信息邊緣較為模糊，如在DenseFuse算法融合結果的第三組圖像中，右下角的草叢與地面的輪廓不清晰，對比度不明顯。本文所提方法融合結果目標信息更加清晰且保留了更豐富的紋理細節(jié)信息，并且在亮度上也得到一定的提升。

圖12 不同算法對TNO數(shù)據(jù)集紅外與可見圖像融合結果比較Fig.12 Results of infrared and visible image fusion based on TNO dataset with different algorithms

主觀評價是憑個人的感覺進行主觀判斷，具有一定的隨機性與片面性。因此需要結合客觀評價對融合圖像的質量進行綜合分析對比。

3.3 融合圖像客觀評價

為了更好地分析融合圖像的質量，選取結構相似度（SSIM）、空間頻率（SF）、信息熵（EN）、視覺信息保真度（VIFF）、差異相關系數(shù)（SCD）和邊緣信息保持度（QAB/F）六種有代表性的公認的客觀評價指標對融合圖像質量進行對比實驗分析。

首先對“street”這一組實驗進行定量分析，結果如表1所示，其中黑體為最優(yōu)值。根據(jù)表1的客觀評價數(shù)據(jù)可以發(fā)現(xiàn)，本文方法在“street”這一組實驗對比中，大部分評價指標較其他對比算法是最優(yōu)的。尤其較DenseFuse算法，SF指標提高了約77.22%，說明圖像中邊緣與紋理信息更加豐富清晰；其次SSIM指標提高了約42.61%，說明圖像中的顯著信息表現(xiàn)更佳。同時在EN、SCD和VIFF指標都有不同程度的提高。在本對比實驗客觀評價的數(shù)據(jù)結果顯示與主觀評價是相符的。

表1 “street”組客觀評價Tab.1 Objective evaluation of“street”

進一步從TNO數(shù)據(jù)集中選取6組不同場景的紅外與可見光圖像進行融合量化分析對比，將得出的指標得分以折線圖的形式進行可視化，圖13為不同算法的客觀評價指標折線圖。從各項指標之間的對比可知，本文方法在提高融合圖像質量的同時具有較好的視覺信息保真度，與主觀評價一致。

擴大客觀評價實驗，從TNO數(shù)據(jù)集中共選取10組融合結果進行對比實驗，結果如表2所示。

圖13 不同算法的6種客觀指標對比Fig.13 Comparison of six objective metrics for different algorithms

表2 10組融合結果平均定量值Tab.2 Average quantitative value of the fusion results of 10 groups

可以看出本文提出的方法在10組不同場景下得到的6種評價指標平均定量值，有5種評價指標結果都是最優(yōu)的，其中SSIM、SF指標分別平均提高了0.26倍、0.45倍。此外，從表2可以看出，所提方法僅在邊緣保持度（QAB/F）評價指標略低于CSR算法，這是因為CSR算法將源圖像作為整體進行稀疏編碼，有效保留了圖像的全局邊緣特征信息，但該算法在字典構造時，存在字典單一且不具備自適應性的問題，當噪聲逐漸加大時，使用該算法融合后會產(chǎn)生模糊、清晰度差的問題。綜合上述客觀比較，所提方法融合結果自然清晰，層次感更好。

3.4 消融實驗

為了驗證本文方法中提出的各模塊的功能及有效性，進行消融實驗：（1）僅以密集連接（Densely Connection，DC）進行圖像融合實驗；（2）以多尺度的密集連接（Multiscale-Densely Connection，M-DC）進行圖像融合實驗；（3）以多尺度密集連接及注意力機制（Multiscale-Densely Connection+Convolutional Block Attention Module，M-DC+CBAM）進行圖像融合實驗；（4）以多尺度密集連接及改進的可變形卷積注意力機制（M-DC+D-CBAM）進行圖像融合實驗。在TNO數(shù)據(jù)集中隨機選擇一組圖像“Kaptein”的融合結果作為主觀對比，繼續(xù)選取10組圖像的融合結果進行消融實驗的客觀評價指標對比。圖14為消融實驗結果，通過觀察發(fā)現(xiàn)，多尺度密集連接在亮度上有一定的提升，可以體現(xiàn)出更多的圖像特征信息，但是圖像對比度略顯不足。多尺度密集連接及注意力機制的融合結果改善了上述缺點，行人后面的帳篷輪廓更加清晰，但紅框內的草叢紋理細節(jié)依舊模糊。本文提出的多尺度密集連接及改進的可變形卷積注意力機制融合結果可以很好地保留紅外與可見光圖像中的特征信息，紋理信息豐富。融合效果良好。消融實驗的客觀指標選取了表示融合算法效果的結構相似性指標（SSIM）和反映圖像細節(jié)和紋理信息的平均梯度（AG）指標。表3為消融實驗的客觀評價指標數(shù)據(jù)。

圖14 消融實驗結果Fig.14 Results of ablation experiments

表3 消融實驗客觀指標Tab.3 Objective indicators of ablation experiment

從表3可以發(fā)現(xiàn)，加入各模塊會使本文所提方法融合性能有不同程度的提高，第四組消融實驗結構相似性指標可高達96.37%，平均梯度也明顯上升，證明本文提出的多尺度密集連接及改進的可變形卷積注意力方法的有效性。

3.5 計算復雜度及運行效率分析

最后，對模型計算復雜度和運行效率進行比較分析。在深度學習神經(jīng)網(wǎng)絡模型中，一般通過計算量，即模型的運算次數(shù)來衡量算法計算復雜度，并根據(jù)融合十組紅外與可見光圖像所需的平均時間衡量算法的運行效率。將本文算法與3種經(jīng)典的紅外與可見光圖像融合深度學習方法進行比較，包括基于雙分支多聚焦融合的深度卷積神經(jīng)網(wǎng)絡融合算法（CNN）[15］、生成對抗網(wǎng)絡融合算法（FusionGAN）[16］、密集連接網(wǎng)絡融合算法（DenseFuse）[19］，計算復雜度和運行效率的對比實驗結果如表4所示。

表4 計算量和運行時間Tab.4 Computational amount and runtime

表4中，1 GFLOPs=109FLOPs，從表4中可以發(fā)現(xiàn)，基于雙分支多聚焦融合的深度卷積神經(jīng)網(wǎng)絡算法（CNN）因為網(wǎng)絡層數(shù)較少，僅使用簡單卷積操作進行特征提取，因此其計算量和運行時間在4種方法中最小，但該方法無法提取有效特征信息，融合結果較差。本文方法相較于生成對抗網(wǎng)絡融合算法（FusionGAN）和密集連接網(wǎng)絡（DenseFuse）計算量明顯減少，且運行時間也低于上述兩種方法。綜上分析，結合表2客觀指標評價和表4計算量和運行時間比較，可知本文算法在總體指標及算法性能上均取得了更好的評價。

4 結 論

本文結合多尺度和密集連接網(wǎng)絡的思想，提出一種多尺度密集連接注意力的紅外與可見光圖像融合方法。在編碼子網(wǎng)絡模型中，通過多尺度卷積、密集連接可變形卷積注意力機制進行多維度特征提取，保留了紅外與可見光圖像中更多的細節(jié)和目標信息。然后，將提取到的紅外與可見光特征在融合層使用基于L1范數(shù)的融合策略進行融合，最后通過全卷積解碼子網(wǎng)絡進行重構解碼，生成最終的紅外與可見光融合圖像。通過數(shù)據(jù)集對比實驗表明：相較于其他對比實驗，本文方法客觀評價指標都有所提高，其中結構相似性、空間頻率指標分別平均提高了0.26倍、0.45倍。所提方法克服了現(xiàn)有深度學習模型在紅外與可見光圖像融合時特征提取不充分，細節(jié)重構丟失等問題，在主觀視覺融合方面，能夠有效減少偽影，使得目標邊緣信息更加清晰，具有更好的對比度和清晰度，在主客觀評價方面均優(yōu)于對比方法。