焦登輝，劉文波，劉偉峰，曹曉倩

(陜西科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710021)

0 引言

圖像融合是信息融合領(lǐng)域的重要分支之一，其在國(guó)防軍事[1]、城市交通[2]、醫(yī)療[3,4]、工業(yè)[5]、攝影等領(lǐng)域中得到了廣泛的應(yīng)用.其中，紅外和可見(jiàn)圖像融合作為一種可靠的偵察工具，在國(guó)防軍事領(lǐng)域有迫切的應(yīng)用需求.

紅外傳感器可以不受光照條件影響，在雨、霧、粉塵等惡劣環(huán)境條件下正常工作，但所得圖像存在空間分辨率低、細(xì)節(jié)差、紋理缺失等明顯缺點(diǎn).相應(yīng)地，可見(jiàn)光圖像具有較高的空間分辨率和豐富的紋理細(xì)節(jié)，符合人類(lèi)視覺(jué)感知.然而，可見(jiàn)光傳感器在惡劣環(huán)境條件下成像效果顯著下降.可見(jiàn)光圖像和紅外圖像融合的關(guān)鍵是對(duì)二者間存在的互補(bǔ)信息相結(jié)合生成擁有高質(zhì)量的細(xì)節(jié)融合圖像，以助于實(shí)現(xiàn)對(duì)特定目標(biāo)的全天候精準(zhǔn)識(shí)別和監(jiān)控.

根據(jù)現(xiàn)有研究成果，紅外與可見(jiàn)光圖像融合可以在像素層、特征層以及決策層三個(gè)不同層系進(jìn)行.其中，像素層中的多尺度分析融合算法一直是最為活躍的算法，也被諸多研究學(xué)者進(jìn)行改進(jìn)和創(chuàng)新，如拉普拉斯金字塔(Laplacian Pyramid,LAP)[6]、離散小波變換(Discrete Wavelet Transform,DWT)[7,8]、曲線(xiàn)變換(Curvelet Transform,CVT)[9,10]和非下采樣輪廓變換(Nonsubsampled Contour Transform,NSCT)[11]以及非下采樣剪切波變換(Non-subsampled Shearlet Transform,NSST)[12]等.但是，紅外和可見(jiàn)光圖像在傳統(tǒng)多尺度域融合規(guī)則下普遍存在容易損失圖像邊緣信息的問(wèn)題，因此邊緣保持濾波器便被作為圖像預(yù)處理步驟被廣泛應(yīng)用到圖像融合領(lǐng)域中.

目前，常用的邊緣保持濾波算法主要包括雙邊濾波算法(Bilateral Filtering,BF)[13]、基于L0的梯度最小化算法(L0 gradient minimization,L0)[14]、雙邊紋理濾波算法(Bilateral texture filtering,BTF)[15]、相對(duì)總變異算法(Relative Total Variation,RTV)[16]、引導(dǎo)圖像濾波(Guided Image Filter,GIF)[17]等.這些算法具有較好保留圖像輪廓邊緣信息的能力，并且能有效減少融合結(jié)果中邊緣周?chē)墓鈺瀭斡?但這類(lèi)算法均通過(guò)強(qiáng)度相似性和位置鄰近程度對(duì)每個(gè)領(lǐng)域像素分配權(quán)重，根據(jù)權(quán)重的大小決定是否進(jìn)行平滑操作以達(dá)到保留邊緣的效果.但是紋理通常具有很高的相似性和相似的局部統(tǒng)計(jì)性，它們并不能區(qū)分紋理區(qū)域內(nèi)的邊緣和各紋理區(qū)域之間的邊界，導(dǎo)致算法在應(yīng)用中會(huì)將紋理細(xì)節(jié)與邊緣同時(shí)平滑.為了解決這類(lèi)問(wèn)題，Jevnisek等[18]在2017年提出了共現(xiàn)濾波(Co-occurrence Filter,CoF)算法，該濾波器利用圖像本身的共現(xiàn)信息[19]分配權(quán)重值，從而調(diào)整平滑程度，完成對(duì)紋理細(xì)節(jié)與邊緣區(qū)域的區(qū)分.但是對(duì)于一些梯度較大且出現(xiàn)頻率較高的邊緣CoF會(huì)將其誤認(rèn)為紋理而對(duì)其進(jìn)行平滑，影響對(duì)圖像邊緣信息的保留.

針對(duì)這一問(wèn)題，本文提出一種基于梯度值變化的尺度自適應(yīng)CoF，并將其與典型的多尺度域融合算法NSST相結(jié)合實(shí)現(xiàn)紅外與可將光圖像融合.目的是為了在保留結(jié)構(gòu)，平滑紋理的基礎(chǔ)上對(duì)圖像中梯度值變化較為明顯的、出現(xiàn)頻率較高的邊緣進(jìn)行保留，提高融合圖像的被認(rèn)知和理解能力.

1 尺度自適應(yīng)CoF

1.1 共現(xiàn)濾波器(CoF)

CoF是一個(gè)局部線(xiàn)性濾波器，其定義如下：

(1)

式(1)中：p和q為像素索引，且q為p的領(lǐng)域像素；Yp為輸出圖像的像素值；Xq為輸入圖像中像素p的領(lǐng)域像素q的像素值；ω(p,q)為鄰域像素對(duì)目標(biāo)像素貢獻(xiàn)的權(quán)重.ω(p,q)表示為：

ω(p,q)=Gδs(p,q)·M(XP,Xq)

(2)

式(2)中：Gδs表示高斯濾波器定義為

(3)

式(3)中：d(p,q)表示像素p與像素q的歐幾里得距離；δs是指定參數(shù).

M是歸一化共現(xiàn)矩陣，定義為：

(4)

式(4)中：C(a,b)是圖像的共現(xiàn)矩陣，h(a)表示灰度值為a的像素點(diǎn)出現(xiàn)的頻率，h(b)同理.對(duì)于一般灰度等級(jí)是0-255的灰度圖像來(lái)說(shuō)，歸一化共現(xiàn)矩陣M(a,b)為256×256矩陣.C(a,b)表示為：

(5)

式(5)中：δ是高斯濾波參數(shù)；[*]表示如果命題*表示為真，則[*]=1，否則為0.

針對(duì)圖1(a)所示棋盤(pán)格圖像，采用原始CoF濾波器進(jìn)行濾波，輸出圖像如圖1(b)所示.由圖中明顯可見(jiàn)，棋盤(pán)格的內(nèi)部紋理被嚴(yán)重模糊.其實(shí)這一點(diǎn)也是可以預(yù)見(jiàn)的：原始CoF通過(guò)像素點(diǎn)對(duì)之間的共現(xiàn)信息調(diào)整平滑的權(quán)重，而共現(xiàn)信息只與其圖像像素點(diǎn)對(duì)之間的灰度值、距離以及灰度值出現(xiàn)的頻率有關(guān)，這將直接導(dǎo)致圖像中出現(xiàn)頻率高且距離較近的細(xì)小邊緣被平滑，正如圖1(a)中的棋盤(pán)邊緣被模糊.

圖1 原始CoF與尺度自適應(yīng)CoF的濾波結(jié)果

1.2 改進(jìn)的尺度自適應(yīng)共現(xiàn)濾波器

針對(duì)原始CoF存在上述容易模糊出現(xiàn)頻率高且距離較近的細(xì)小邊緣的問(wèn)題，本文將圖像梯度引入算法中，利用梯度值大小自適應(yīng)調(diào)整濾波尺度，在保留CoF對(duì)背景平滑能力的基礎(chǔ)上，實(shí)現(xiàn)對(duì)細(xì)小邊緣的保留.

1.2.1 歸一化梯度

由于不同圖像的梯度值范圍各不相同，故采取歸一化梯度的方式以便后續(xù)對(duì)自適應(yīng)濾波尺度的計(jì)算.

采用3*3窗口的標(biāo)準(zhǔn)sobel算子計(jì)算各像素點(diǎn)的梯度值：

(6)

gx=f(k+1,l-1)+2f(k+1,l)+f(k+1,l+1)-

f(k-1,l-1)-2f(k-1,l)-f(k-1,l+1)

(7)

gy=f(k-1,l+1)+2f(k,l+1)+f(k+1,l+1)-

f(k-1,l-1)-2f(k,l-1)-f(k+1,l-1)

(8)

式(6)～(8)中：k=1,2,…,K；l=1,2,…,L；(K,L)表示圖像的寬與高；g(k,l)為圖像(k,l)位置點(diǎn)的梯度值.

梯度歸一變換：

G(k,l)=g(k,l)/gM

(9)

式(9)中：gM是圖像中最大的梯度值.

1.2.2 自適應(yīng)濾波尺度及尺度自適應(yīng)CoF

利用歸一化后的梯度值G進(jìn)行非線(xiàn)性變換，得到自適應(yīng)的濾波尺度為：

(10)

式(10)中：v為最大濾波尺度；u為最小濾波尺度；c為常數(shù)，在本文實(shí)驗(yàn)中固定為0.2.

利用自適應(yīng)濾波尺度代替原始CoF中的固定濾波尺度，使之能夠隨著圖像梯度值的變化而自適應(yīng)的調(diào)整濾波尺度大小，也就是將原始CoF中的δs用δg代替，形成新的高斯濾波器：.

(11)

故尺度自適應(yīng)CoF定義為：

(12)

圖1(c)為圖1(a)所示棋盤(pán)格圖像經(jīng)尺度自適應(yīng)CoF濾波后的圖像.對(duì)比圖1(b)可見(jiàn)，經(jīng)尺度自適應(yīng)CoF濾波后，雖然對(duì)原始圖像進(jìn)行了一定的平滑，但棋盤(pán)特性依然清晰可見(jiàn)，大部分的細(xì)小邊緣得到保留.

2 基于尺度自適應(yīng)CoF的NSST融合框架

將提出的尺度自適應(yīng)CoF作為預(yù)處理步驟，與傳統(tǒng)多尺度域下紅外與可見(jiàn)光圖像融合算法相結(jié)合，有望提升融合算法的邊緣保持能力，增強(qiáng)融合圖像的可感知和可理解力.

基于NSST的紅外與可見(jiàn)光的融合算法具備多分辨率性及平移不變性，能夠克服圖像邊緣處的偽吉布斯現(xiàn)象等優(yōu)越性能，是傳統(tǒng)多尺度域下紅外與可見(jiàn)光圖像融合算法的典型代表.因此本文使用尺度自適應(yīng)CoF與NSST相結(jié)合的方式對(duì)紅外與可見(jiàn)光圖像進(jìn)行融合，整體融合框架如圖2所示.

圖2 尺度自適應(yīng)CoF+NSST圖像融合框架

首先，利用尺度自適應(yīng)CoF對(duì)紅外圖像與可見(jiàn)光圖像進(jìn)行濾波，目的是為了盡可能保留源圖像的邊緣信息，以免后續(xù)操作造成的邊緣丟失的情況.其次使用NSST算法對(duì)濾波后的圖像進(jìn)行高低頻分解，然后利用不同的融合算法分別對(duì)高低頻子帶進(jìn)行局部融合，最后使用NSST算法進(jìn)行逆變換得到全局融合圖像.

圖3為尺度自適應(yīng)CoF+NSST圖像融合算法結(jié)果示意圖.圖3(a)和圖3(b)分別為輸入的原始可見(jiàn)光與紅外圖像，兩者分別經(jīng)尺度自適應(yīng)CoF處理后得到圖3(c)和圖3(d)，然后使用NSST算法對(duì)圖3(c)和圖3(d)進(jìn)行融合，得到融合后圖像圖3(e).

圖3 尺度自適應(yīng)CoF+NSST圖像融合算法效果圖

3 仿真實(shí)驗(yàn)及結(jié)果分析

本文仿真實(shí)驗(yàn)分為兩個(gè)部分，第一部分是尺度自適應(yīng)CoF的濾波性能評(píng)估實(shí)驗(yàn)，第二部分是尺度自適應(yīng)CoF對(duì)NSST圖像融合算法有效性的評(píng)估實(shí)驗(yàn).

實(shí)驗(yàn)環(huán)境配置為：Intel(R)Core(TM)i5-10500 CPU @3.10 GHz 3.10 GHz的處理器，內(nèi)存為32GB，Windows64位的操作系統(tǒng)，仿真軟件為Matlab R2018a.并且此實(shí)驗(yàn)中的紅外和可見(jiàn)光圖像來(lái)自公開(kāi)的TNO圖像融合數(shù)據(jù)集，本文選取了其中兩組圖像.

3.1 尺度自適應(yīng)CoF的濾波性能仿真結(jié)果及分析

本小節(jié)驗(yàn)證尺度自適應(yīng)CoF對(duì)邊緣保持方面有效性.為了評(píng)估其有效性，選擇了L0以及RTV兩種經(jīng)典的算法作為對(duì)照算法.

本文實(shí)驗(yàn)中需要設(shè)置兩個(gè)參數(shù)濾波最大尺度v與濾波最小尺度u.當(dāng)梯度值較小時(shí)最大濾波尺度發(fā)揮平滑圖像的作用，當(dāng)梯度值較大時(shí)最小濾波尺度發(fā)揮保留紋理的作用，在本文中v值取4，u值取0.5.

實(shí)驗(yàn)結(jié)果如圖4所示，圖4(a)～(e)分別是原始輸入圖像、L0算法濾波結(jié)果、RTV算法濾波結(jié)果、原始CoF濾波結(jié)果及尺度自適應(yīng)CoF濾波結(jié)果；從左至右分別是馬賽克花草圖像、三條魚(yú)圖像.從圖4可見(jiàn)，本文提出的尺度自適應(yīng)CoF在紅框中大梯度紋理的保持以及對(duì)黃框中圖像結(jié)構(gòu)的保持和藍(lán)框中梯度較小的紋理平滑上都優(yōu)于其他對(duì)比算法.

圖4 邊緣保持濾波算法對(duì)比圖

3.2 基于尺度自適應(yīng)CoF的NSST融合算法仿真性能及結(jié)果分析

為了驗(yàn)證尺度自適應(yīng)CoF對(duì)NSST圖像融合算法邊緣保持性能提升的有效性，本小節(jié)將原始NSST算法、原始CoF+NSST算法、基于尺度自適應(yīng)CoF的NSST算法性能進(jìn)行對(duì)比分析.

實(shí)驗(yàn)結(jié)果如圖5所示.圖5(a)～(e)分別是輸入的可見(jiàn)光圖像、輸入的紅外圖像、NSST算法融合結(jié)果、基于原始CoF的NSST算法融合結(jié)果和本文算法融合結(jié)果.從左向右依次為庭院中的人圖像和戶(hù)外中的人圖像.

對(duì)比圖5(c)、圖5(d)與圖5(e)可知，圖5(e)中左圖所示的結(jié)果對(duì)黃框中樹(shù)枝紋理的保持以及對(duì)紅框中地面紋理的保持上取得了更好的結(jié)果，圖5(e)中右圖所示的結(jié)果完整且清晰的保持了紅框中人物輪廓信息，并且對(duì)黃框中樹(shù)枝的紋理信息保持的更完整.總體來(lái)說(shuō)，圖5(e)整體輪廓信息較圖5(c)和圖5(d)更清晰，觀(guān)感更好.

圖5 尺度自適應(yīng)CoF對(duì)NSST圖像融合算法有效性對(duì)比圖

為了客觀(guān)的評(píng)估本文算法性能，本文采用視覺(jué)信息保真度融合指標(biāo)(Visual Information Fidelity for Fusion,VIFF)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)、結(jié)構(gòu)相似性(Structural Similarity,SSIM)三種圖像融合常用的評(píng)價(jià)指標(biāo)對(duì)本文算法的性能進(jìn)行評(píng)估.

其中VIFF是一種基于視覺(jué)保真度的多分辨率圖像融合質(zhì)量評(píng)價(jià)指標(biāo)，該指標(biāo)對(duì)圖像質(zhì)量的預(yù)測(cè)有很好的效果；PSNR描述了融合圖像與參照?qǐng)D像之間對(duì)應(yīng)像素點(diǎn)的差異，峰值信噪比越大，表明融合圖像越理想；SSIM是根據(jù)人類(lèi)視覺(jué)感知系統(tǒng)定義的圖像質(zhì)量評(píng)估算法，其反映兩幅圖像之間的結(jié)構(gòu)相似度，值越大表明圖像融合效果越好.

針對(duì)PSNR、SSIM評(píng)價(jià)指標(biāo)，本文分別選取紅外圖像和可見(jiàn)光圖像為參照?qǐng)D像，為了使結(jié)果更精準(zhǔn)，均使用平均值反映二者與融合圖像的綜合指標(biāo).

表1所示為對(duì)圖5中左右兩組對(duì)照?qǐng)D像的客觀(guān)評(píng)價(jià)結(jié)果，其中加粗的數(shù)值為最優(yōu)值.從表中可以看到本文提出的基于尺度自適應(yīng)CoF的NSST融合算法較直接使用NSST融合算法和使用基于原始CoF的NSST融合算法在這三項(xiàng)評(píng)價(jià)指標(biāo)中取得了比較好的結(jié)果.其中本文算法在VIFF評(píng)價(jià)指標(biāo)下情況最好，說(shuō)明本文算法的融合結(jié)果與人眼視覺(jué)系統(tǒng)感受相近.在PSNR和SSIM的評(píng)價(jià)指標(biāo)下也取得了不錯(cuò)的結(jié)果，說(shuō)明本文算法與原圖在結(jié)構(gòu)相似度方面也較為接近.

表1 兩組對(duì)比圖的客觀(guān)評(píng)價(jià)

4 結(jié)論

針對(duì)紅外和可見(jiàn)光圖像在傳統(tǒng)多尺度域融合規(guī)則下容易損失圖像邊緣信息的問(wèn)題，本文提出將一種尺度自適應(yīng)CoF與NSST相結(jié)合的融合框架.這種尺度自適應(yīng)CoF將圖像梯度引入濾波尺度中，然后通過(guò)自適應(yīng)濾波尺度調(diào)整平滑力度，在保留原始CoF結(jié)構(gòu)信息保持能力和去噪能力的基礎(chǔ)上，保持密集的大梯度邊緣信息，增強(qiáng)人們對(duì)濾波后圖像的理解能力.實(shí)驗(yàn)表明：相對(duì)于原始的NSST算法、原始CoF+NSST算法，本文提出的尺度自適應(yīng)CoF+NSST融合框架在邊緣保持性能上具有更好的表現(xiàn)，客觀(guān)評(píng)價(jià)指標(biāo)也證明了算法的優(yōu)越性.