鞏稼民,吳成超,郭劉飛,劉 威,裴夢杰,盧姣姣,高睿杰

(西安郵電大學(xué)通信與信息工程學(xué)院,陜西 西安710121)

1 引 言

作為圖像融合技術(shù)的一條重要分支,可見光與紅外圖像融合技術(shù)因其共享互補(bǔ)特性以及應(yīng)用的廣泛性而備受國內(nèi)外學(xué)者的關(guān)注?？梢姽鈭D像捕獲物體的反射光,具有較高的空間分辨率以及豐富的細(xì)節(jié)信息,但易受煙霧、氣候、光照等因素影響[1]。紅外圖像通過捕獲物體自身的熱輻射從而抵抗天氣、光照等因素干擾,但圖像分辨率低且紋理較差。因此,將兩種圖像融合可以得到信息豐富且互補(bǔ)的融合圖像[2]。目前,可見光與紅外圖像融合技術(shù)被普遍應(yīng)用于軍事、安防監(jiān)控、搜救等眾多領(lǐng)域。

基于多尺度變換的方法因其時(shí)頻局部化特性而成為當(dāng)前研究的焦點(diǎn)。非下采樣剪切波變換(NSST)作為多尺度變換中最具代表性的方法之一,不僅可以避免由于移變性而造成的吉布斯效應(yīng)[3],而且還具有比非下采樣輪廓波變換(NSCT)更小的運(yùn)算量和更好的實(shí)時(shí)性。除此之外,NSST還可以有效地提取出圖像中所包含的紋理細(xì)節(jié)信息。姜等人[4]提出了一種基于NSST變換的紅外偏振圖像融合算法,解決了以往融合圖像中邊緣細(xì)節(jié)信息不夠充分的問題。

根據(jù)人眼視覺感知機(jī)制,基于顯著性檢測的融合方法可以保持顯著目標(biāo)區(qū)域的完整性,并提高融合圖像的視覺質(zhì)量[5]。Hou等[6]提出基于譜殘差的方法,通過對圖像進(jìn)行傅里葉變換去消除冗余信息從而提取顯著目標(biāo)部分。該方法雖然能以較高效率輸出顯著圖,但其顯著區(qū)域比較模糊,視覺效果較差。Achanta R等[7]提出的Frequency Tune(FT)顯著性檢測算法由于可以輸出全分辨率的顯著圖而被廣泛用于圖像融合領(lǐng)域。但FT算法在使用高斯濾波平滑小尺度目標(biāo)時(shí)還容易模糊大尺度目標(biāo)邊緣,導(dǎo)致融合圖像顯著目標(biāo)邊緣信息的丟失。而Zhang等[8]提出的滾動導(dǎo)向?yàn)V波(RGF)在平滑小尺度目標(biāo)后,通過迭代來恢復(fù)大尺度目標(biāo)的邊緣,具有良好的邊緣和亮度保持特性。因此,本文設(shè)計(jì)了一種利用RGF來對FT進(jìn)行改進(jìn)的顯著性檢測算法。

此外,在圖像融合時(shí),融合規(guī)則的選取十分重要。其中采用脈沖發(fā)放皮層模型(SCM)來融合圖像,既可以保持源圖像的信息,又能抑制融合圖像的像素失真。如,鞏等人[9]提出了一種對NSST分解后的高頻和低頻子帶圖像采用SCM進(jìn)行融合的方法,得到的融合圖像包含了豐富的紋理細(xì)節(jié)信息。根據(jù)以上思想,本文提出一種基于RGF改進(jìn)的顯著性檢測與SCM相結(jié)合的可見光與紅外圖像融合方法。為保證紅外目標(biāo)的清晰完整,利用RGF改進(jìn)的Frequency Tuned算法提取出顯著圖,通過投影方式指導(dǎo)低頻部分融合；為保留更多紋理細(xì)節(jié)信息,采用SCM結(jié)合區(qū)域能量與改進(jìn)的拉普拉斯能量和融合高頻部分。與其他幾種算法相比,提出算法所得融合圖像紅外目標(biāo)更清晰,背景細(xì)節(jié)更豐富。

2 基本原理

2.1 非下采樣剪切波變換

非下采樣剪切波變換[10](NSST)相較于非下采樣輪廓波變換[11](NSCT)有更高的計(jì)算效率和更好的融合效果。NSST對圖像的分解主要由以下兩個(gè)過程組成:

NSST對圖像分解的具體過程如圖1所示。圖中展示了k=2時(shí)的分解過程,其中,f表示子帶圖像系數(shù),上標(biāo)中1,2表示尺度因子k的不同取值,l表示不同的方向,下標(biāo)a和b分別代表低頻和高頻。

圖1 NSST分解流程圖

2.2 FT算法原理

FT算法有以下優(yōu)點(diǎn)[12]:1)能有效過濾噪聲以及紋理的高頻成分；2)能較好地定義出目標(biāo)的邊界；3)可以突顯出最顯著的目標(biāo)；4)能夠輸出與原圖像相同大小的顯著性圖；5)能比較均衡地呈現(xiàn)出顯著區(qū)域。因此,FT算法被普遍應(yīng)用于圖像融合領(lǐng)域。FT算法通過頻域高斯差分濾波(Difference of Gaussians,DoG)的方式來進(jìn)行顯著性檢測,其中選擇的頻率范圍為(0,π/2.75),高斯差分濾波器公式為:

=G(x,y,σ1)-G(x,y,σ2)

(1)

(2)

令k=ρN由公式(2)可知,取大的k值可以獲得與同時(shí)使用多個(gè)DoG濾波器一樣的效果。在FT算法中,為取大的k值將ρ趨于無窮大,并且再使用一個(gè)小的高斯核函數(shù)對圖像中的高頻噪聲以及對顯著目標(biāo)造成干擾紋理細(xì)節(jié)進(jìn)行過濾。因此,用FT算法對圖像進(jìn)行顯著檢測的過程可表示為:

M(x,y)=‖Iμ-Iwhc(x,y)‖

(3)

式中,Iμ為輸入圖像I的平均灰度值;Iwhc(x,y)為輸入圖像I經(jīng)高斯濾波后在像素點(diǎn)(x,y)處的灰度值;‖·‖表示L2范數(shù)。

2.3 基于滾動導(dǎo)向?yàn)V波改進(jìn)的算法RGF-FT

由于原FT算法在采用高斯濾波濾除輸入圖像中噪聲和紋理的同時(shí)還容易造成圖像邊緣信息的丟失,而滾動導(dǎo)向?yàn)V波(Rolling Guidance Filter,RGF)不僅可以去除復(fù)雜背景,還能保證顯著目標(biāo)邊緣的準(zhǔn)確性,因此本文采用RGF對原FT算法進(jìn)行改進(jìn)。RGF算法可用公式表達(dá)如下:

(4)

式中,

(1)當(dāng)t=0時(shí),設(shè)J0為常數(shù),此時(shí)RGF相當(dāng)于高斯濾波主要執(zhí)行小尺度消除功能。對于尺度小于σs的結(jié)構(gòu)RGF會將其消除,由此可以消除輸入圖像中的噪聲和紋理信息,但同時(shí)也會一定程度上模糊大尺度結(jié)構(gòu)邊緣。

(2)當(dāng)t>0時(shí),RGF主要執(zhí)行大尺度邊緣恢復(fù)功能,此過程主要分為迭代和導(dǎo)向?yàn)V波兩部分。RGF將經(jīng)過小尺度消除處理后的輸出J1作為引導(dǎo)圖像,原始輸入I作為輸入圖像,進(jìn)行導(dǎo)向?yàn)V波；然后將導(dǎo)向?yàn)V波的輸出J2作為下一次導(dǎo)向?yàn)V波的引導(dǎo)圖像再進(jìn)行導(dǎo)向?yàn)V波,以此進(jìn)行迭代直到迭代次數(shù)完成,恢復(fù)出含有清晰的大尺度邊緣圖像Jt+1。

利用RGF改進(jìn)后的顯著性檢測算法RGF-FT提取顯著圖可表達(dá)為:

M(x,y)=‖Iμ-IRGF(x,y)‖

(5)

式中,IRGF(x,y)為滾動導(dǎo)向?yàn)V波后像素點(diǎn)的灰度值,其他參數(shù)同公式(3)。

不同算法提取顯著圖結(jié)果如圖2所示。其中,SR為文獻(xiàn)[6]基于譜殘差的算法。由圖2(e)與(f)可以看出本文改進(jìn)算法在提取出完整顯著目標(biāo)的同時(shí),還保留了原FT算法所不具備的目標(biāo)邊緣細(xì)節(jié)信息,并且目標(biāo)人物更清晰,與源圖像目標(biāo)人物更相近。

圖2 不同算法顯著圖

2.4 脈沖發(fā)放皮層模型與賦時(shí)矩陣

脈沖發(fā)放皮層模型[13](SCM)是由脈沖耦合神經(jīng)網(wǎng)絡(luò)[14](Pluse Couple Neural Network,PCNN)簡化而來。SCM繼承了PCNN與人眼視覺機(jī)制一致的優(yōu)點(diǎn),相比于比PCNN,SCM具有更低的復(fù)雜度和更高的計(jì)算效率,并且SCM在處理圖像時(shí)對于圖像的細(xì)節(jié)信息具有比PCNN更強(qiáng)的表達(dá)能力[15]。

SCM的原理圖如圖3所示,SCM神經(jīng)元是由接收域、調(diào)制域和脈沖發(fā)生域三塊區(qū)域構(gòu)成。在接收域中,神經(jīng)元接收外部激勵(lì)Sij并根據(jù)鄰域神經(jīng)元的輸出Ypq計(jì)算鏈接輸入Lij；在調(diào)制域中,將來自接收域的外部激勵(lì)Sij和鏈接輸入Lij進(jìn)行非線性調(diào)制,再將調(diào)制后的結(jié)果作為神經(jīng)元內(nèi)部活動Uij輸出；最后,神經(jīng)元通過對比內(nèi)部活動項(xiàng)Uij與脈沖發(fā)生閾值Eij來決定神經(jīng)元的脈沖輸出Yij。當(dāng)脈沖輸出為1時(shí),神經(jīng)元被激活并產(chǎn)生點(diǎn)火；輸出脈沖為0時(shí),神經(jīng)元不產(chǎn)生點(diǎn)火。

圖3 SCM結(jié)構(gòu)原理圖

SCM模型可用數(shù)學(xué)表達(dá)式表示為:

(6)

式中,(i,j)為神經(jīng)元位置坐標(biāo)；n為迭代次數(shù)；F為反饋輸入；S為外部激勵(lì)；L為鏈接輸入；VL為放大系數(shù)；(p,q)為區(qū)域范圍；Wij,pq為神經(jīng)元間連接權(quán)重系數(shù)矩陣；U為神經(jīng)元內(nèi)部活動；Y為神經(jīng)元輸出；k和g為衰減系數(shù)；h為閾值活動系數(shù)。

對于SCM而言,迭代次數(shù)n的大小會直接影響整個(gè)模型的性能,選擇一個(gè)合適的迭代次數(shù)可以有效地提升融合圖像的質(zhì)量。為此,選擇在SCM的輸出端添加一個(gè)賦時(shí)矩陣[16]。賦時(shí)矩陣可用來記錄神經(jīng)元完成第一次點(diǎn)火時(shí)的迭代次數(shù)n并且能有效地避免SCM迭代次數(shù)過多的問題。最后,將賦時(shí)矩陣的輸出作為SCM的點(diǎn)火映射矩陣輸出,賦時(shí)矩陣可用數(shù)學(xué)表達(dá)式定義為:

(7)

式中,(i,j)為神經(jīng)元位置坐標(biāo)；T為點(diǎn)火映射矩陣；n為迭代次數(shù)；S為外部激勵(lì)；Y為神經(jīng)元輸出。

3 融合算法

本文的融合算法整體流程如圖4所示。步驟如下:

(1)將可見光圖像與紅外圖像使用NSST分解,得到各自的低頻和高頻子帶圖像。

(2)采用改進(jìn)的顯著性檢測算法RGF-FT提取出紅外源圖像的目標(biāo)顯著圖。

(3)將紅外目標(biāo)顯著圖投影到紅外低頻子帶圖像上,從而映射出紅外低頻圖像的目標(biāo)區(qū)域和背景區(qū)域。

(4)針對可見光低頻、紅外低頻目標(biāo)區(qū)域、紅外低頻背景區(qū)域使用不同的規(guī)則進(jìn)行融合；對可見光高頻和紅外高頻采用SCM結(jié)合區(qū)域能量與改進(jìn)的拉普拉斯和(SML)進(jìn)行融合。

(5)對融合后的低頻和高頻子帶圖像使用逆NSST變換,得到最終融合圖像。

圖4 融合算法整體流程圖

3.1 低頻融合規(guī)則

低頻子帶圖像是源圖像的一種近似,其中包含了大部分的源圖像能量。對于紅外源圖像而言,能量主要集中在亮度較高的紅外目標(biāo)區(qū)域。因此,利用RGF-FT算法檢測出紅外圖像目標(biāo)顯著圖并將其投影到紅外低頻圖像上,可以準(zhǔn)確的將紅外低頻子帶圖像中的目標(biāo)區(qū)域與背景區(qū)域分離開。為了讓最終融合圖像保留更完整的紅外目標(biāo)信息,將投影映射出的紅外低頻目標(biāo)區(qū)域?qū)?yīng)的子帶系數(shù)作為最終融合圖像對應(yīng)區(qū)域的低頻子帶系數(shù)。具體過程如下:

設(shè)紅外源圖像系數(shù)為R(x,y),RGF-FT算法檢測出的目標(biāo)區(qū)域?yàn)棣?則紅外源圖像顯著目標(biāo)區(qū)域系數(shù)可表示為:Rθ(x,y)；根據(jù)投影像素的位置關(guān)系,得出紅外低頻子帶圖像顯著目標(biāo)區(qū)域系數(shù)和紅外低頻子帶圖像背景區(qū)域系數(shù)為:

(8)

式中,(x,y)為像素點(diǎn)坐標(biāo)；Rl(x,y)為紅外低頻子帶圖像系數(shù)；Rlo(x,y)和Rlb(x,y)分別為紅外低頻子帶圖像目標(biāo)區(qū)域系數(shù)和背景區(qū)域系數(shù)。最后得出最終融合圖像的目標(biāo)區(qū)域低頻子帶系數(shù)Flo:

Flo(x,y)=Rlo(x,y)

(9)

可見光低頻子帶圖像中包含了比紅外低頻圖像更多的背景信息,這些信息對于融合圖像的背景來說尤為重要。在傳統(tǒng)方法中往往僅選擇可見光低頻圖像的背景信息作為最終融合圖像的背景。然而,紅外低頻圖像中的背景信息也不可忽略,為此采用對比可見光低頻圖像與紅外低頻圖像信息熵IE的方法,去選擇信息熵較大的那類圖像去作為最終的融合結(jié)果。因此,最終融合低頻子帶圖像的背景區(qū)域融合系數(shù)Flb:

(10)

式中,Vl(x,y)為可見光低頻子帶圖像系數(shù)；IE為圖像的信息熵,其定義式為:

(11)

式中,pi表示圖像中第i級灰度值出現(xiàn)的概率。

3.2 高頻融合規(guī)則

經(jīng)NSST分解后的高頻子帶圖像攜帶了豐富的紋理細(xì)節(jié)信息。為了突出最終融合圖像的紋理細(xì)節(jié)并減少噪聲信息的影響,采用高頻子帶系數(shù)所對應(yīng)鄰域的能量作為紋理細(xì)節(jié)信息突出程度的度量指標(biāo)；同時(shí),為了減少信息丟失,將改進(jìn)的拉普拉斯能量和[17](Sum-Modified Laplacian,SML)作為圖像清晰度的度量指標(biāo)。最后,將區(qū)域能量與SML相結(jié)合作為SCM的外部激勵(lì)。具體表達(dá)式為:

(12)

(13)

式中,Epq為區(qū)域能量；SML為改進(jìn)的拉普拉斯能量和；H為高頻子帶系數(shù)；M和N取值為3；ML為拉普拉斯算子,其計(jì)算公式如下:

ML(x,y)=|2H(x,y)-H(x+1,y)-H(x-1,y)|+

|2H(x,y)-H(x,y+1)-H(x,y-1)|

(14)

將區(qū)域能量Epq與改進(jìn)的拉普拉斯能量和SML的乘積作為SCM的外部激勵(lì)S,進(jìn)而得出賦時(shí)矩陣輸出T。外部激勵(lì)的表達(dá)式為

S(x,y)=Epq(x,y)·SML(x,y)

(15)

對于融合圖像高頻子帶系數(shù)Fh選取規(guī)則如下:

(16)

式中,Vh(x,y)為可見光高頻子帶系數(shù)；Rh(x,y)為紅外高頻子帶系數(shù)；TVh和TRh分別為可見光高頻子帶圖像和紅外高頻子帶圖像的賦時(shí)矩陣輸出。

最后將得到的各個(gè)融合系數(shù)Flo,Flb,Fh進(jìn)行逆NSST變換,從而得到最終融合圖像。

4 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提出圖像融合方法的可行性以及有效性,實(shí)驗(yàn)從TNO數(shù)據(jù)集中選取三組圖像進(jìn)行融合仿真實(shí)驗(yàn)。實(shí)驗(yàn)仿真環(huán)境采用配置為Intel Core i5-6300H CPU,運(yùn)行內(nèi)存8 GB,搭載64位Windows 10系統(tǒng)和MATLAB 2014b的PC機(jī)。同時(shí),選取其他顯著性融合算法MST[18]、VSM-WLS[19]以及其他神經(jīng)網(wǎng)絡(luò)融合算法NSCT-PCNN[20]進(jìn)行對比,MST、VSM-WLS和NSCT-PCNN三種方法的參數(shù)設(shè)置均和原文獻(xiàn)保持一致。本文方法的NSST分解尺度參數(shù)nlevel為[2,2,4,4],濾波器參數(shù)為“maxflat”；RGF-FT算法中σs、σr和t分別設(shè)置為4、0.1、4；所使用SCM模型中衰減系數(shù)k和g分別設(shè)置為e-1和e-0.5,閾值活動系數(shù)h為20,權(quán)重系數(shù)設(shè)置為:

4.1 主觀評價(jià)

第一組圖像融合結(jié)果如圖5所示。圖(c)背景的邊緣信息以及紋理細(xì)節(jié)信息較為豐富,樹木比較清晰,但目標(biāo)人物偏暗并且較為模糊,人物的顯著度不夠。圖(d)中目標(biāo)人物清晰完整并且比較突出,但是環(huán)境背景對比度偏低。相較于可見光圖(b),圖(d)樹木與地面的清晰度和立體感較差。圖(e)雖然對可見光圖像(b)的背景信息保留較好,但目標(biāo)人物部分的融合不徹底,目標(biāo)人物不明顯,難以和樹木分辨開來。同時(shí),融合后的圖像還引入了大量的噪聲,視覺效果較差。綜合來看,本文提出方法的融合圖像(f)中目標(biāo)人物突出且完整,背景的邊緣和紋理細(xì)節(jié)信息較為豐富,從整體上來看,融合圖像也更具有立體感和層次感,同時(shí)融合后的圖像表現(xiàn)也更加自然,更加符合人眼視覺對場景的觀測效果。

圖5 第一組圖像融合結(jié)果

第二組圖像的融合結(jié)果如圖6所示。根據(jù)融合結(jié)果可以看出,圖(c)中車輛和路面以及路燈等背景信息較為清晰,但目標(biāo)人物不夠突出和完整,汽車受燈光影響較為嚴(yán)重,圖像的層次不太明顯。圖(d)中目標(biāo)人物和汽車較為清晰,路面上紋理細(xì)節(jié)信息也較為豐富,但圖像整體偏暗,對比度較低,目標(biāo)人物顯著度不足,人物上半身不明顯。圖(e)的整體對比度較高,但目標(biāo)人物不夠突出,人物上半身也比較模糊,路面等背景區(qū)域上還出現(xiàn)一部分陰影,從整體上來看,圖像的清晰度也較低。與其他三種方法相比,本文提出方法的融合圖像不僅能完整的突顯人物和保留清晰的路面紋理細(xì)節(jié)信息,而且圖像的整體清晰度較高,視覺效果更好。

圖6 第二組圖像融合結(jié)果

第三組圖像的融合結(jié)果如圖7所示。通過融合結(jié)果可以看出,所有融合圖像都表達(dá)出了該場景中的人物、交通燈和汽車等顯著性特征,但圖(e)中的路面以及建筑物等區(qū)域出現(xiàn)了不同大小陰影,視覺效果較差。圖(c)和圖(d)中廣告牌、路面以及建筑物的紋理細(xì)節(jié)比較清晰,但圖(d)的整體亮度偏暗并且對比度也較低。圖(c)與圖(f)相比,圖(f)場景中的熱源物體更顯著且圖像的清晰度更高。

圖7 第三組圖像融合結(jié)果

4.2 客觀評價(jià)

主觀評價(jià)雖然能比較直接的評判出融合圖像的優(yōu)劣,但是由于每個(gè)人的視覺敏感度存在差異,其主觀的評價(jià)結(jié)果具有一定的片面性。因此,本文選用了6種客觀評價(jià)指標(biāo)來檢驗(yàn)本文所提出融合方法的性能。6種客觀評價(jià)指標(biāo)分別是:平均梯度(AG)、標(biāo)準(zhǔn)差(STD)、信息熵(IE)、互信息(MI)、結(jié)構(gòu)相似度(SSIM)和邊緣保留因子(QAB/F)。以上6種評價(jià)指標(biāo)均為正向指標(biāo),其值越大越好。四種方法的三組融合圖像評價(jià)指標(biāo)如表1、表2及表3所示。

表1 第一組融合圖像評價(jià)指標(biāo)

表2 第二組融合圖像評價(jià)指標(biāo)

表3 第三組融合圖像評價(jià)指標(biāo)

表1中本文提出的方法除AG指標(biāo)沒有MST方法高外,另外5項(xiàng)評價(jià)指標(biāo)均比其他三種方法高。說明本文方法的融合圖像保留了大量的源圖像顯著目標(biāo)信息和背景細(xì)節(jié)信息；表2中本文方法只有SSIM指標(biāo)比VSM-WLS稍低,其他各項(xiàng)評價(jià)指標(biāo)均高于三種對比方法,其中邊緣保留因子領(lǐng)先幅度最大,表明本文方法所得融合圖像具有豐富的邊緣細(xì)節(jié)信息；表3中本文提出方法的6項(xiàng)評價(jià)指標(biāo)均高于其他三種方法,說明本文方法所得融合圖像具有較高的對比度和清晰度,視覺效果較好,更加符合人眼視覺系統(tǒng)對實(shí)際場景的觀測。|總體來說,客觀評價(jià)結(jié)果與主觀評價(jià)結(jié)果大致相同,表明了本文所提出方法較三種對比方法具有一定的優(yōu)勢。

5 總 結(jié)

本文了提出一種基于RGF改進(jìn)顯著性檢測和SCM相結(jié)合的可見光與紅外圖像融合方法,利用改進(jìn)的RGF-FT算法提取出紅外源圖像的目標(biāo)顯著圖并將其映射到低頻圖像上,用來指導(dǎo)低頻子帶的融合能夠有效突出圖像清晰完整的顯著性目標(biāo)；采用SCM結(jié)合區(qū)域能量與SML融合高頻子帶能夠有效的保留圖像的背景紋理細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明,本文提出的方法相比于其他幾種方法在主觀視覺上和客觀評價(jià)上均具有一定優(yōu)勢。但本文提出的方法在融合圖像的結(jié)構(gòu)相似度方面仍有提升的空間,下一步的研究將會在突出顯著性特征和保留細(xì)節(jié)信息的方向上繼續(xù)努力,同時(shí)全力改善融合圖像的結(jié)構(gòu)相似度。