鐘榮軍，付蕓

（長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022）

圖像融合作為信息融合的一個(gè)重要分支［1］，它以圖像為處理對(duì)象，涵蓋了信號(hào)處理、計(jì)算機(jī)視覺(jué)、人工智能以及圖像處理等各個(gè)方面［2］?？梢?jiàn)光圖像的優(yōu)勢(shì)在于它具有豐富的細(xì)節(jié)紋理信息和較高的分辨率，因此視覺(jué)效果好，方便觀測(cè)。 然而，在環(huán)境條件較差的情況下，比如：弱光條件或有遮擋物，以及煙霧等條件下，就會(huì)造成一些重要的目標(biāo)信息、細(xì)節(jié)信息等丟失的情況［3-4］。紅外圖像主要是通過(guò)熱輻射的原理進(jìn)行成像，因此，紅外成像的環(huán)境適應(yīng)性好，即使是弱光條件或煙霧等惡劣條件也能夠很好地呈現(xiàn)出目標(biāo)特征，但是，紅外圖像往往空間分辨率較低，細(xì)節(jié)紋理等信息較少［5］。因此，人們希望將紅外圖像和可見(jiàn)光圖像進(jìn)行融合，得到一幅同時(shí)含有兩幅圖像中有用信息的圖像。

Liu 等人［6］提出了基于稀疏表示（Sparse Representation，SR）的圖像融合方法，得到的圖像具有更好的魯棒性，并且含有更豐富的亮度信息，但是圖像的邊緣紋理信息會(huì)被平滑，丟失一些邊緣特征。 Zhang 等人［7］在NSST 融合框架的基礎(chǔ)上，利用顯著性分析提取紅外圖像的目標(biāo)信息，但是細(xì)節(jié)信息不完整。

針對(duì)這些問(wèn)題，提出了一種基于Gabor 濾波［8-9］和顯著性的紅外與可見(jiàn)光圖像融合方法。首先，通過(guò)顯著性檢測(cè)得到紅外和可見(jiàn)光圖像的顯著層。其次，采用Frankle-McCann Retinex 增強(qiáng)算法對(duì)可見(jiàn)光圖像進(jìn)行增強(qiáng)。之后，引入Gabor 濾波器將紅外圖像和增強(qiáng)后的可見(jiàn)光圖像分解為細(xì)節(jié)層和基礎(chǔ)層，使用傳統(tǒng)的融合方法對(duì)各個(gè)圖層進(jìn)行融合。 最后，采用多尺度的逆變換進(jìn)行圖像重組。

1 算法原理

提出了一種基于Gabor 濾波和顯著性的紅外與可見(jiàn)光圖像融合方法，具體融合框架由圖1 所示。

圖1 融合框架

1.1 顯著性檢測(cè)

使用FT（Frequency-tuned）算法對(duì)已經(jīng)配準(zhǔn)好的紅外圖像和可見(jiàn)光圖像進(jìn)行顯著性檢測(cè)。圖像包括高頻信息和低頻信息，在進(jìn)行顯著性檢測(cè)時(shí)，一般用到的更多是圖像的低頻信息，因此，選擇使用高斯平滑濾波來(lái)對(duì)高頻信息進(jìn)行過(guò)濾，消除圖像的細(xì)節(jié)紋理特征、高頻噪聲等，定義如下：

其中，IR 表示紅外圖像；VISE表示增強(qiáng)后的可見(jiàn)光圖像；Ii(x,y) 表示配準(zhǔn)后的原始圖像；Ii(G)表示經(jīng)過(guò)高斯平滑濾波后的圖像；( )x,y表示原始圖像的像素點(diǎn)；*表示卷積；Gr,σ表示高斯平滑濾波器，其大小尺寸為(2r+ 1) × (2r+ 1)；σ為標(biāo)準(zhǔn)差。 同時(shí)，為了保留原有圖像的像素強(qiáng)度分布特征，同時(shí)使圖像邊緣平滑，將尺寸和標(biāo)準(zhǔn)差σ都設(shè)置為5。 由于使用頻率調(diào)諧的方法對(duì)顯著性進(jìn)行計(jì)算，因此還需要計(jì)算圖像的平均像素，公式如下：

其中，Ii(A)表示原始圖像的平均像素；N表示圖像Ii的像素點(diǎn)的個(gè)數(shù)；X、Y分別表示圖像Ii的行數(shù)與列數(shù)；Ii(x,y) 表示圖像Ii第x行第y列的像素點(diǎn)的值。在得到公式（1）、公式（2）的結(jié)果之后，就可以根據(jù)FT 算法的定義直接得到圖像的顯著層，定義如下：

其中，IR 表示紅外圖像；VISE表示增強(qiáng)后的可見(jiàn)光圖像；Si(x,y) 表示經(jīng)過(guò)FT 算法得到的顯著性圖像即顯著層；Ii(G)和Ii(A)分別是經(jīng)過(guò)高斯平滑濾波后的圖像和圖像的平均像素。

1.2 圖像增強(qiáng)

由于可見(jiàn)光圖像受天氣或環(huán)境的影響導(dǎo)致成像效果不好，因此先對(duì)可見(jiàn)光圖像進(jìn)行增強(qiáng)，之后再對(duì)配準(zhǔn)好的紅外圖像和增強(qiáng)后的可見(jiàn)光圖像進(jìn)行分解。

采用Frankle-McCann Retinex 方法進(jìn)行增強(qiáng)。算法采用了一種新的基于螺旋結(jié)構(gòu)的迭代分段線性比較路徑，螺旋結(jié)構(gòu)路徑像素點(diǎn)間的比較是一個(gè)由遠(yuǎn)到近的比較過(guò)程，在進(jìn)行完一次比較之后，下一次做比較的兩個(gè)像素點(diǎn)間的間距縮短為上一次比較間距的一半，并且比較路徑的方向同時(shí)也按順時(shí)針?lè)较虬l(fā)生轉(zhuǎn)變，就這樣逐次比較直至像素點(diǎn)間距為1 為止，其比較路徑如圖2 所示。

圖2 Frankle-McCann Retinex 方法比較路徑

該算法的步驟如下：

（1）對(duì)原圖像進(jìn)行對(duì)數(shù)變換。將原圖像的像素值從整數(shù)域轉(zhuǎn)換到對(duì)數(shù)域，以便于減少數(shù)據(jù)的運(yùn)算量，降低運(yùn)算時(shí)間。 如果直接進(jìn)行對(duì)數(shù)轉(zhuǎn)換可能會(huì)導(dǎo)致負(fù)數(shù)、無(wú)窮數(shù)的出現(xiàn)，因此，可以將原圖像的像素整體加1，公式如下：

其中，p(x,y) 代表輸入圖像p在坐標(biāo)(x,y) 處的值；I(x,y) 代表經(jīng)過(guò)對(duì)數(shù)轉(zhuǎn)換得到的輸出圖像I在坐標(biāo)(x,y) 處的值。

（2）進(jìn)行像素比較和校正。 對(duì)于一幅x×y的圖像I，離目標(biāo)點(diǎn)距離最遠(yuǎn)的兩個(gè)比較點(diǎn)之間的距離L為：

其中，fix 表示取整運(yùn)算；I代表經(jīng)過(guò)對(duì)數(shù)轉(zhuǎn)換得到的輸出圖像；L代表兩個(gè)比較點(diǎn)之間的距離。

（3）計(jì)算路徑上的像素點(diǎn)。rn(x,y) 是上一次迭代的結(jié)果，將此次迭代差值累加保存到其中，最終得到此次的迭代結(jié)果rn′(x,y)，在完成一次迭代之后，再對(duì)二者求平均，作為最后的輸出結(jié)果rn+1(x,y)。則：

其中，rn+1(x,y) 是n次迭代后的圖像；n是迭代次數(shù)；max 是原圖像的最大像素值；ΔI是目標(biāo)點(diǎn)在此路徑下的亮度差；rn′(x,y) 是此次迭代結(jié)果。

（5）對(duì)增強(qiáng)后的圖像進(jìn)行輸出。n次迭代對(duì)圖像起到了被壓縮的效果，因此，需要對(duì)待輸出圖像進(jìn)行拉伸處理以提高圖像對(duì)比度。則：

其中，max 和min 分別是迭代結(jié)果rn+1(x,y) 的最大值和最小值；VISE是最后輸出的增強(qiáng)圖像，如圖3（b）所示。在對(duì)圖像進(jìn)行增強(qiáng)之后，接下來(lái)就是對(duì)圖像進(jìn)行分解。

圖3 可見(jiàn)光圖像與可見(jiàn)光增強(qiáng)圖像對(duì)比

1.3 Gabor 濾波

Gabor 濾波的具體過(guò)程為：將高斯函數(shù)與正弦信號(hào)的傅里葉變換進(jìn)行卷積，得到Gabor 濾波器的復(fù)數(shù)形式，將其分成虛部、實(shí)部?jī)蓚€(gè)部分，分別對(duì)圖像進(jìn)行處理：

上述公式拆分為實(shí)部和虛部，公式如下：

其中：

其中，gim代表虛部；θ代表旋轉(zhuǎn)方向的角度；像素坐標(biāo)點(diǎn)(x′,y′) 為像素坐標(biāo)點(diǎn)(x,y) 進(jìn)行方向角θ變換之后的新坐標(biāo)點(diǎn)；σ代表高斯標(biāo)準(zhǔn)差；γ代表Gabor 核函數(shù)的空間方向比例；λ代表正弦函數(shù)的波長(zhǎng)；ψ代表正弦函數(shù)的相位偏移量。經(jīng)過(guò)大量的實(shí)驗(yàn)，確定核函數(shù)的窗口尺寸為3×3，高斯標(biāo)準(zhǔn)差σ為0.56λ，Gabor 核函數(shù)的空間方向比例γ為1.2，正弦函數(shù)的波長(zhǎng)λ為5，正弦函數(shù)的相位偏移量ψ為0。

通過(guò)上述公式，可以得到一個(gè)二維Gabor 濾波器，再使用核函數(shù)的窗口對(duì)圖像進(jìn)行濾波操作，公式如下：

其中，IR 表示紅外圖像；VISE增強(qiáng)后的可見(jiàn)光圖像；Ii,im(x,y) 代表過(guò)濾后圖像Ii,im坐標(biāo)點(diǎn)(x,y) 的值；gim代表Gabor 濾波器虛部；Ii代表待過(guò)濾圖像；wk代表尺寸為k的局部窗口。對(duì)于濾波后出現(xiàn)個(gè)別像素點(diǎn)的值大于255 或者小于0 的情況，使用下述公式將這些像素點(diǎn)的值轉(zhuǎn)化為0 到255之間：

其中，di表示過(guò)濾后圖像；Diθm表示將像素約束到［0，255］后的圖像。 以上僅在一個(gè)方向上對(duì)圖像進(jìn)行濾波，接著使用下述公式將所有設(shè)定方向上的濾波后圖像進(jìn)行累加，有：

其中，IR 表示紅外圖像；VISE增強(qiáng)后的可見(jiàn)光圖像；Diθm表示圖像沿θm方向上濾波后的圖像；θ為設(shè)定好的Gabor 濾波器旋轉(zhuǎn)角度，其值為［0°，30°，60°，90°，120°，150°］；Diθ表示經(jīng)過(guò)濾波累加后得到的圖像。

按照下述公式對(duì)累加后的圖像進(jìn)行歸一化，則：

其中，Di表示細(xì)節(jié)層圖像；max 和min 分別表示取最大值和最小值。

將累加后的圖像進(jìn)行標(biāo)準(zhǔn)化，得到原圖像的細(xì)節(jié)圖層（如圖4（c）、圖4（g）），再用原圖像減去細(xì)節(jié)層就是基礎(chǔ)層（如圖4（d）、圖4（h）），公式如下：

圖4 紅外與可見(jiàn)光增強(qiáng)圖像分解結(jié)果

其中，Bi表示基礎(chǔ)層圖像。

1.4 圖像融合重組

首先，對(duì)圖像的顯著層進(jìn)行融合（如圖5（a）），圖像的顯著層包含了紅外圖像和可見(jiàn)光圖像的亮度特征，為了盡量保留紅外圖像和可見(jiàn)光圖像顯著層的信息，采用“ 最大絕對(duì)”的融合方法進(jìn)行融合，公式如下：

圖5 融合的結(jié)果

其中，SIR為紅外圖像顯著層；SVISE為增強(qiáng)后的可見(jiàn)光圖像顯著層；SF為顯著融合層。

圖像的細(xì)節(jié)層選擇使用“最大絕對(duì)”的融合方法進(jìn)行融合（如圖5（b）），這樣能夠盡量保留紅外圖像和可見(jiàn)光圖像的細(xì)節(jié)紋理信息，公式如下：

其中，DIR為紅外圖像細(xì)節(jié)層；DVISE為增強(qiáng)后的可見(jiàn)光圖像細(xì)節(jié)層；DF為細(xì)節(jié)融合層。

圖像的基礎(chǔ)層選擇使用“平均”的方法（如圖5（c）），這樣能夠?qū)煞鶊D像的整體信息都盡量保留在融合后的圖像中，公式如下：

其中，BIR為紅外圖像基礎(chǔ)層；BVISE為增強(qiáng)后的可見(jiàn)光圖像基礎(chǔ)層；BF為基礎(chǔ)融合層。

最后，圖像進(jìn)行重建（如圖5（d）），公式如下：

其中，BF為基礎(chǔ)融合層；DF為細(xì)節(jié)融合層；SF為顯著融合層；w為顯著層融合加權(quán)系數(shù)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，w取值為0.2。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集選取及硬件設(shè)置

提出的方法在公開(kāi)數(shù)據(jù)集TNO_Image_Fusion_Dataset 上進(jìn)行了測(cè)試，包括各種豐富的場(chǎng)景，都是已經(jīng)配準(zhǔn)好的弱光下或者夜間圖像。并且為了與現(xiàn)有的一些優(yōu)秀的融合方法（即TIF（Two-Scale Image Fusion）［10］、CBF（Cross Bilateral Filter）［11］、VSMWLS（Visual Saliency Mapweighted Least Square）［12］、GFF（Guided Filtering Fusion）［13］、MSVD（Multi-resolution Singular Value Decomposition）［14］、ADF（Anisotropic Diffusion Fussion）［15］、DLF（Deep Learning Framework）、GTF（Gradient Transfer Fusion））進(jìn)行對(duì)比，從公開(kāi)數(shù)據(jù)集TNO_Image_Fusion_Dataset 中選取了兩組配準(zhǔn)完成的紅外與可見(jiàn)光圖像，并且使用Matlab 編程，在一臺(tái)處理器為Intel（R）Core（TM）i5-6200U CPU@2.30 GHz 2.40 GHz，內(nèi)存為8 GB 的電腦上進(jìn)行仿真實(shí)驗(yàn)。

2.2 結(jié)果分析

分別用了八種現(xiàn)有的方法（即TIF、CBF、VSMWLS、GFF、MSVD、ADF、DLF、GTF）對(duì)于選定的兩組圖像進(jìn)行融合，將融合后的結(jié)果進(jìn)行統(tǒng)一展示，八種方法是基于公開(kāi)代碼，并且根據(jù)其原文對(duì)相關(guān)參數(shù)進(jìn)行設(shè)置。

第一組實(shí)驗(yàn)圖像采用“Kaptein_1123”紅外與可見(jiàn)光圖像進(jìn)行測(cè)試，融合結(jié)果如圖6 所示，圖6（a）、圖6（b）分別為可見(jiàn)光與紅外原圖像。從圖6 來(lái)看，除了所提出算法的結(jié)果之外，其他的算法都不能同時(shí)保留左邊的草叢和地上的細(xì)節(jié)紋理，MSVD 和GTF 算法的地面紋理不清晰，TIF 算法的人物目標(biāo)周?chē)€有陰影。CBF 的融合圖像中，樹(shù)、房子和目標(biāo)人物邊緣過(guò)大且目標(biāo)變形，同時(shí)噪聲較大，草叢和地面的紋理幾乎沒(méi)有。相對(duì)于提出的算法，其他幾種方法的融合圖像也較暗。

圖6 “Kaptein_1123”紅外與可見(jiàn)光圖像以及融合結(jié)果

第二組實(shí)驗(yàn)圖像采用“Sandpath”紅外與可見(jiàn)光圖像進(jìn)行融合，圖像以及融合結(jié)果如圖7 所示，圖7（1）、圖7（2）分別為可見(jiàn)光與紅外原圖像。從圖7 來(lái)看，GFF、GTF 算法的融合圖像中那條林中小路比其他算法更暗，幾乎不可見(jiàn)，并且圖中的目標(biāo)相較于其他幾種算法來(lái)說(shuō)不是特別明顯，對(duì)以上算法的融合結(jié)果進(jìn)行整體比較，所提出方法融合的圖像整體亮度以及對(duì)比度比其他八種方法更高，更加便于觀察、檢測(cè)。

圖7 “Sandpath”紅外與可見(jiàn)光圖像以及融合圖像

為了更加客觀有效地評(píng)價(jià)圖像的融合質(zhì)量，選用了六種評(píng)價(jià)指標(biāo)，即平均梯度（AG）、像素交叉熵（CE）、邊緣強(qiáng)度（EI）、信息熵（IE）、峰值信噪比（PSNR）、空間頻率（SF），對(duì)兩組融合圖像進(jìn)行了評(píng)價(jià)，并且和其他八種方法進(jìn)行了對(duì)比，結(jié)果如表1、表2 所示，其中最優(yōu)值進(jìn)行加粗標(biāo)注。

表1 “Kaptein_1123”紅外與可見(jiàn)光圖像融合效果評(píng)價(jià)

表2 “Sandpath”紅外與可見(jiàn)光圖像融合效果評(píng)價(jià)

表1 為“Kaptein_1123”紅外與可見(jiàn)光圖像融合結(jié)果的評(píng)價(jià)指標(biāo)，表2 為“Sandpath”紅外與可見(jiàn)光圖像融合結(jié)果的評(píng)價(jià)指標(biāo)。通過(guò)表1 中的數(shù)據(jù)可以看出，對(duì)于“Kaptein_1123”紅外與可見(jiàn)光圖像融合效果，本次提出的算法整體優(yōu)于其他幾種對(duì)比算法。圖像質(zhì)量評(píng)價(jià)中的平均梯度（AG）、邊緣強(qiáng)度（EI）、信息熵（IE）、空間頻率（SF）都有著顯著的提高；通過(guò)表2 中的數(shù)據(jù)可以看出，對(duì)于“Sandpath”紅外與可見(jiàn)光圖像融合效果，本文提出的算法整體優(yōu)于其他幾種對(duì)比算法。圖像質(zhì)量評(píng)價(jià)中的平均梯度（AG）、邊緣強(qiáng)度（EI）、信息熵（IE）、空間頻率（SF）都是這幾種方法中的最優(yōu)值。由表1、表2 中的數(shù)據(jù)可知，本文提出的算法在評(píng)價(jià)結(jié)果中的最優(yōu)值最多，客觀驗(yàn)證了提出算法的優(yōu)越性。

3 結(jié)論

提出了一種基于Gabor 濾波和顯著性的紅外與可見(jiàn)光圖像融合的方法。該方法在傳統(tǒng)的多尺度分解融合的基礎(chǔ)上，解決了圖像目標(biāo)與圖像背景不清晰的問(wèn)題，并且還保留了原始圖像中更多的細(xì)節(jié)。該方法能夠使熱源目標(biāo)更加突出，有利于對(duì)融合后圖像中目標(biāo)進(jìn)行檢測(cè)、識(shí)別以及跟蹤，并且由于使用了更符合人眼視覺(jué)效果的Gabor 濾波，使融合后的圖像具有更加豐富的細(xì)節(jié)以及更好的視覺(jué)效果。 相比于其他方法，提出的算法融合的圖像在主觀上有著較好的清晰度和對(duì)比度，在客觀評(píng)價(jià)指標(biāo)上大部分指標(biāo)也優(yōu)于其他方法，并且由于使用了Frankle-McCann Retinex 增強(qiáng)算法，使弱光圖像經(jīng)融合后更加清晰，同時(shí)融合后的圖像中呈現(xiàn)出清晰的梯度信息，在時(shí)間上比深度學(xué)習(xí)的方法更快。