陳 雷，韓 軍

(1.西安工業(yè)大學(xué) 光電工程學(xué)院,西安 710021；2.西安工業(yè)大學(xué) 兵器科學(xué)技術(shù)學(xué)院,西安 710021)

紅外與微光圖像融合是圖像融合領(lǐng)域的研究熱點之一。紅外圖像反映了目標(biāo)的熱輻射，可以穿透云、煙、霧等，在同等光照條件下具有較好的目標(biāo)探測能力，但目標(biāo)分辨率較低，背景較模糊，細(xì)節(jié)表現(xiàn)能力比較差[1]。微光圖像信息相對豐富、場景細(xì)節(jié)紋理比較清晰、空間分辨率較高，但容易受天氣影響，在低照度、煙霧和障礙物的情況下，目標(biāo)識別結(jié)果較差。微光圖像和紅外圖像具有互補性，采用某種方法或者技術(shù)手段，發(fā)掘兩種圖像各自的特征信息并進(jìn)行有效融合，從而突出紅外目標(biāo)，增強場景信息，從而增加觀察者對圖像的理解力，在隱藏、迷惑的不利情況下能夠快速、準(zhǔn)確地發(fā)現(xiàn)和識別目標(biāo)[2-3]。

許多學(xué)者致力于將紅外和微光圖像融合，以獲得更全面的信息以供進(jìn)一步應(yīng)用。在過去的幾十年里，圖像融合算法得到了很大的發(fā)展和廣泛的應(yīng)用。至今為止提出了幾種具有代表性的紅外與可見光圖像融合算法，包括多尺度變換[4]、稀疏表示[5]、神經(jīng)網(wǎng)絡(luò)[6]、子空間[7]、基于顯著性的方法[8]、混合模型[9]等方法。文獻(xiàn)[4]提出一種紅外與可見光圖像融合的目標(biāo)增強多尺度變換(MST)分解模型，以同時增強紅外圖像中的熱目標(biāo)，同時保留可見光圖像中的紋理細(xì)節(jié)。文獻(xiàn)[8]提出了一種基于視覺顯著性圖(VSM)和加權(quán)最小二乘(WLS)優(yōu)化的多尺度融合方法。這些方法在融合實現(xiàn)時通常包括圖像變換、活動水平測量及融合規(guī)則設(shè)計等步驟，且都需要通過人為手動進(jìn)行設(shè)置與操作，其過程相對復(fù)雜且計算量較大。

近年來，深度學(xué)習(xí)的研究越來越廣泛，在圖像處理領(lǐng)域，已經(jīng)用于圖像分類、識別、檢測和融合任務(wù)，基于深度學(xué)習(xí)的圖像融合方法可以自動提取深度特征，克服人工因素，使整個融合過程更加容易[10-11]。因此，文中自VGG-19圖像分類模型得到啟發(fā)，擬構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)對紅外和微光圖像進(jìn)行融合。

1 圖像融合算法

(1)

g1(x,y)=Gσ1(x,y)*f(x,y) ,

(2)

g2(x,y)=Gσ2(x,y)*f(x,y) ,

(3)

=(Gσ1-Gσ2)*f(x,y)

=DOG*f(x,y) 。

(4)

(5)

圖1 圖像融合模型

VGG-19卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，使用了同樣大小的卷積核尺寸(3×3)和最大池化尺寸(2×2)，(3×3)是最小的能夠捕獲上下左右和中心概念的尺寸，卷積核深度自64一直增長到512，可以更好的提取圖片的特征向量。

圖2 CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

2 結(jié)果與分析

為了清晰地闡述不同方法的融合效果，文中利用TNO數(shù)據(jù)庫中10對紅外和微光圖像，將文中方法與8種不同的傳統(tǒng)方法得到的融合結(jié)果進(jìn)行對比，結(jié)果如圖3和圖4所示。這8種方法分別為非下采樣剪切波變換和自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)(NSST-PAPCNN)[12]、非下采樣輪廓波變換(NSCT)[13]、曲波變換(CVT)[14]、卷積稀疏表示變換(CSR)[15]、雙樹復(fù)小波變換(DTCWT)[16]、交叉雙邊濾波器變換(CBF)[17]、潛在的低秩表示變換(LATLRR)[18]和加權(quán)最小二乘變換(WLS)[9]。

圖3 前5組圖像測試結(jié)果

圖4 后5組圖像測試結(jié)果

從圖3和圖4中可以看出，相較其他8種方法，文中方法融合的圖像具有清晰的目標(biāo)高亮性和豐富的細(xì)節(jié)紋理信息，圖像更加自然清晰，識別效果較好。為了能定量的評價融合圖像的性能，文中引入融合圖像的客觀評價指標(biāo)，包括：

① 圖像的熵(EN)，度量融合后的圖像所包含的信息量。

② 互信息熵(MI)，融合圖像包含源圖像的信息。

③ 邊緣特征(QABF)，是一種用于估計融合圖像中重要信息保留程度的局部測度。

④ 差異相關(guān)的總和(FMI)，該方法基于信息論，測量圖像特征之間的相互信息。

⑤ 結(jié)構(gòu)相似度(SSIM)，測量源圖像和融合圖像之間的平均結(jié)構(gòu)相似性。

⑥ 標(biāo)準(zhǔn)差(SD)，測量的是影響視覺注意力的融合圖像的對比度。

⑦ 空間頻率(SF)，測量融合圖像的空間頻率。

⑧ 差的相關(guān)系數(shù)和(SCD)，判斷從源圖像傳輸?shù)饺诤蠄D像的信息量。

紅外和微光圖像的實驗平均值見表1，并對比了9種算法各評價指標(biāo)的具體數(shù)據(jù)，如圖5所示，x軸為10組數(shù)據(jù)集和平均值的序列，y軸為指標(biāo)數(shù)值。

表1 融合圖像的指標(biāo)平均值

圖5 評價指標(biāo)對比曲線

從表1和圖5中可以看出，文中方法的MI、QABF和SD均取得了最大值，其他指標(biāo)也排在前3。其中，MI值表明文中方法融合的圖像中包含了更多的源圖像信息；QABF值表明融合圖像的邊緣信息更有優(yōu)勢；SD值表明融合圖像具有更高的對比度。相較于其他方法，文中方法在保留熱輻射信息和紋理細(xì)節(jié)信息方面具有較大的優(yōu)勢。

3 結(jié) 論

文中提出了一種基于深度學(xué)習(xí)的紅外與可見光圖像融合方法，同時保留了熱輻射信息和紋理細(xì)節(jié)信息。該方法采用端到端模型，避免了人為因素的影響。在公共數(shù)據(jù)集上的實驗結(jié)果表明，文中融合結(jié)果具有清晰的目標(biāo)高亮性和豐富的細(xì)節(jié)紋理信息，通過對8種融合算法與8個最先進(jìn)的評價指標(biāo)的定量比較，文中方法不僅可以產(chǎn)生更好的視覺效果，而且可以在源圖像中保留最大或近似最大數(shù)量的信息，對于圖像融合的目標(biāo)檢測與識別系統(tǒng)具有重要的意義。