李向陽，曹宇彤，陳笑，宦克為，王迪

（1.長春理工大學(xué) 理學(xué)院，長春 130022；2.中移建設(shè)有限公司吉林分公司，長春 130112）

圖像融合技術(shù)通過使用特定的算法來處理多個傳感器的數(shù)據(jù)信息，進而形成更加適合人類視覺認知系統(tǒng)的新圖像，其主要應(yīng)用于軍事監(jiān)視、目標跟蹤、遙感探測、生物監(jiān)測等多種領(lǐng)域［1］。紅外傳感器通過測量對象的熱輻射來獲得紅外圖像，相比于可見光圖像，紅外圖像存在諸如分辨率差和對比度低的缺點［2-4］；可見光圖像是傳感器依據(jù)場景中物體反射率不同進行成像，具有豐富的光譜信息，但不適合在復(fù)雜環(huán)境下成像。紅外和可見光圖像融合技術(shù)可以提取兩者之間的優(yōu)勢信息，彌補彼此的不足，使圖像更適合人類觀察使用，因此，該技術(shù)一直是圖像融合領(lǐng)域的研究熱點。

由于多尺度變換方法能夠很好地提取源圖像的重要信息，已被眾多學(xué)者廣泛的應(yīng)用到圖像融合領(lǐng)域之中。Martin［5］提出輪廓波變換的方法提取圖像的紋理、邊緣等信息，有效提升了融合效果。Arthur［6］提出非下采樣輪廓波變換（Nonsubsampled Contourlet Transform，NSCT）方法來實現(xiàn)圖像融合，改善了輪廓波平移時易發(fā)生變化的缺陷，提高了融合圖像的質(zhì)量。Arthur［7-9］提出的非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）方法，具有較高的方向靈敏度，能夠更加高效地分解源圖像，減少算法的運算量。而在多尺度圖像融合方法中，圖像低頻與高頻的融合規(guī)則嚴重影響著圖像融合質(zhì)量，圖像低頻部分融合主要強調(diào)圖像的目標信息，圖像高頻部分融合主要是保留源圖像的細節(jié)信息?；趫D像的低頻部分融合，曹義親等人［11］使用壓縮感知（Compressed Sensing，CS）算法快速地獲取紅外光與可見光圖像特征信息，節(jié)省了運算時間；Rahman等人［12］利用模糊邏輯算法解決了圖像背景、邊緣、輪廓等不確定的問題，突出了紅外圖像的目標，最大限度地提高了圖像對比度。針對圖像的高頻部分融合，朱強波等人［13］運用脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）算法減少了細節(jié)信息的丟失，進一步提高目標識別率，使融合后圖像更加清晰。

綜上，提出一種NSST結(jié)合自適應(yīng)PCNN方法。

首先，利用NSST將源圖像進行多尺度分解；其次，使用自適應(yīng)模糊邏輯算法進行低頻子帶融合，使用鏈接強度自適應(yīng)PCNN算法實現(xiàn)圖像高頻部分融合；最后，利用NSST逆變換重構(gòu)新的融合圖像。實驗結(jié)果表明，相比于傳統(tǒng)方法，該方法提供的背景細節(jié)更加豐富，保留的圖像細節(jié)信息更加完整。

1 非下采樣剪切波變換

非下采樣剪切波變換主要是由非下采樣金字塔（No subsampled Pyramid，NSP）和剪切波濾波器組（Shearlet Filter，SF）構(gòu)成，具有多尺度、多方向、平移不變性、運算時間短等特性，能夠快速、準確地提取源圖像的重要信息。NSST變換多尺度多方向分解過程如圖1所示，即利用非下采樣金子塔濾波器組多尺度的分解源圖像，得到低頻和多層高頻子帶系數(shù)；再通過改進的剪切波濾波器組多方向的分解不同層次的高頻子帶系數(shù)，進而獲得多尺度、多方向的高頻子帶系數(shù)。

圖1 NSST多尺度多方向分解過程

對于NSST尺度的分解，主要通過紅外和可見光圖像尺寸大小來確定分解層數(shù)（K）值，其計算公式如式（1）所示：

式中，m，n分別為圖像尺寸的高、寬；∏為無窮大取整函數(shù)。當(dāng)對源圖像進行l(wèi)級剪切波方向分解時，可以得到數(shù)量為2l+1的方向子帶圖像。在仿真實驗中，選擇剪切濾波器尺寸為16×16。

2 PCNN模型

通過模擬動物視覺皮層系統(tǒng)處理信號的過程，給出一種新型的神經(jīng)網(wǎng)絡(luò)模型—脈沖耦合神經(jīng)網(wǎng)絡(luò)模型［15］。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同的是，PCNN算法在進行圖像處理時不需要訓(xùn)練樣本，節(jié)省了運算時間，提高了圖像融合的實時性。更重要的是，針對圖像高頻部分，使用PCNN算法能夠有效地保留紅外圖像的細節(jié)信息。其具體模型如下：

式中，下標(i,j)為像素的坐標；Sij作為神經(jīng)元的外層刺激；n為迭代次數(shù)；kl為神經(jīng)元與周圍鏈接的范圍，設(shè)定的鏈接范圍3×3；Wij為連接權(quán)系數(shù)矩陣；Fij、Lij分別表示反饋輸入、鏈接輸入；Uij表示內(nèi)部活動項；θij為動態(tài)閾值；β是內(nèi)部活動鏈接系數(shù)。

在反饋輸入和鏈接輸入的共同作用下，Uij產(chǎn)生變化。當(dāng)Uij(n) >θij(n)，神經(jīng)元被激活，PCNN的脈沖輸出Yij(n)＝1，產(chǎn)生點火；最后，讓上述過程反復(fù)迭代，直到滿足所需條件為止。

3 融合算法

3.1 算法模型

提出了一種換NSST域內(nèi)結(jié)合自適應(yīng)的PCNN的融合算法。其融合算法步驟如下：

（1）利用NSST變換將源圖像分解成一個低頻子帶系數(shù)和多層次、多方向的高頻子帶系數(shù)；

（2）對于圖像低頻融合，使用模糊邏輯中高斯隸屬度函數(shù)進行加權(quán)平均方法；而對于圖像高頻部分的融合，采用自適應(yīng)的PCNN的方法。

（3）將低頻、高頻圖像進行NSST逆變換，重新構(gòu)成新的融合圖像。

該算法的具體模型如圖2所示。

圖2 NSST與PCNN相結(jié)合的圖像融合算法模型

3.2 低頻子帶融合規(guī)則

模糊邏輯是一種用數(shù)字語言（如高斯隸屬度函數(shù)等）表達模糊概念的方法。在圖像融合領(lǐng)域之中，經(jīng)常運用模糊邏輯算法能夠分辨、解決圖像中低頻界限問題。因此，采用模糊邏輯中高斯隸屬度函數(shù)進行加權(quán)平均的方法，進而實現(xiàn)低頻子帶的融合，其數(shù)學(xué)式如下：

高斯函數(shù)調(diào)整參數(shù)對低頻圖像融合有著至關(guān)重要的影響。傳統(tǒng)的隨機取值使融合效果并不理想，因此針對參數(shù)的選取，提出了一種基于自適應(yīng)的模糊邏輯算法來確定k值。其具體步驟如下：

（2）設(shè)定k=0.1，以0.1步長逐漸增大，當(dāng)k=2時停止。計算不同k值的可見光像素的平均背景 隸 屬 度 ηk；并 求 取 ηk與 η0差 值 的 絕 對 值

（3）找出min | ηk-η0|所對應(yīng)的高斯函數(shù)調(diào)整參數(shù)k0值，并計算對應(yīng)的交叉熵CE0；

（4）計算不同值k的可見光圖像的交叉熵，找出最小交叉熵CEmin所對應(yīng)的高斯函數(shù)調(diào)整參數(shù)k1值；

（5）計算CE0與CEmin差值的絕對值 |C E0-CEmin|，判斷 | CE0-CEmin|≤δ是否成立。若判斷結(jié)果成立，k1值即為所確定的高斯函數(shù)調(diào)整參數(shù)。如果判斷結(jié)果不成立，比較k0與k1的大小。若k0≤k1，適量增加 η0值，k0≥ k1適量減小 η0值，返回第1步，直到交叉熵的差值符合要求。

3.3 高頻子帶融合規(guī)則

圖像高頻子帶通常會使用方差、絕對值最大化和區(qū)域能量等方法進行融合，這大概會損失圖像的細節(jié)信息。為了使融合圖像的細節(jié)信息更好的保留，將采用PCNN算法實現(xiàn)圖像高頻子帶的融合。通常情況下，將單個像素的灰度值作為反饋輸入，但源圖像可能存在噪聲因素，故對源圖像進行濾波處理；同時也要盡可能地考慮到圖像邊緣對信息的影響，對于圖像邊緣的像素大小，應(yīng)保持不變。

在PCNN模型中，鏈接強度調(diào)節(jié)著鏈接通道在內(nèi)部活動中的權(quán)重，它的選取直接影響著融合效果。而圖像的梯度表示像素之間相互影響的程度，圖像梯度大的地方，像素互相影響的程度小，連接權(quán)重小；梯度小的地方，像素互相影響的程度反而大。因此，提出一種基于區(qū)域平均度的方法來表示β。

公式（11）-（15）中，I(i , j)表示圖像的像素，g1、g2、g3、g4分別代表圖像像素在 0°、45°、90°、135°方向上梯度變化的平方和，表示局部領(lǐng)域（3×3）內(nèi)的平均梯度。而鏈接強度可以定義為：

最后，通過對平均梯度的研究，確定鏈接系數(shù)β。

圖像的高頻主要是反應(yīng)圖像的細節(jié)信息和紋理特征，高頻子帶的融合規(guī)則的優(yōu)劣影響著融合圖像的清晰度，其具體融合步驟如下所示：

（1）使用邊緣提取算子對紅外與可見光圖像進行邊緣檢測；對于非邊緣部分，源圖像進行濾波處理；處理后圖像的像素作為反饋輸入Fij()n。

（2）設(shè)置PCNN模型中各種參數(shù)，PCNN模型中的初始值

（3）通過PCNN模型后得到輸出激勵YVIS(i , j)、YIR(i , j)。

4 實驗結(jié)果及分析

為了驗證融合的有效性，從TNO_Image_Fu‐sion_Datase［16］數(shù)據(jù)集選取兩組配準完成的紅外圖像和可見光圖像進行仿真實驗。并以離散小波變換（DWT）、拉普拉斯金字塔（LP）、壓縮感知（CS）、NSCT、傳統(tǒng)的NSST等方法進行對比分析。其中小波變換選取單層“bior3.7”小波，LP將源圖像分解成3層，采用加權(quán)平均的方法來實現(xiàn)圖像融合；NSCT變換采用“dmaxflat7”濾波器，其方向級數(shù)[3 ,3]，再與PCNN算法相結(jié)合。最后，通過與上述五種算法比較，從主、客觀雙重角度評價所提出的算法的優(yōu)劣。

第一組實驗圖像為“UN Camp”紅外和可見光圖像，融合結(jié)果如圖 3所示。圖3中（a）、（b）分別為紅外圖像和可見光圖像。由圖3（c）可知，融合圖像的圖像部分背景不明顯；從圖3（d）、圖3（e）可知，融合圖像存在虛影模糊，融合效果不夠理想的問題；從圖3（f）中可以看出融合圖像背景信息較模糊；通過圖3（g）可知，傳統(tǒng)的NSST域內(nèi)結(jié)和最大值的融合方法細節(jié)不突出。圖3（h）突出了紅外圖像的目標，使融合圖像的對比度變高，視覺效果更好。

圖3 “UN Camp”紅外和可見光圖像以及融合結(jié)果

第二組實驗圖像為“pavilion”紅外和可見光圖像，融合結(jié)果如圖4所示。圖4中（a）、圖4（b）分別為紅外圖像和可見光圖像。由視覺觀察得出，圖 4（c）可見光背景信息不夠豐富；圖 4（d）并沒有明顯的突出紅外圖像的目標；圖4（e）圖像模糊，視覺效果相對較差；融合效果不夠理想；在圖 4（f）背景信息較模糊，圖 4（g）的融合方法細節(jié)不突出。圖4（h）具有豐富的可見光背景信息，有效地突出了紅外圖像的目標，更有利于觀察。

為了盡可能客觀地評價圖像的融合質(zhì)量，選取信息熵（E）、平均梯度（AG）、空間頻率（SF）、互信息（MI）像素交叉熵（CE）、時間復(fù)雜度六種評價指標對融合結(jié)果進行評價。表1為“UN Camp”紅外與可見光圖像融合結(jié)果的評價指標，表2為“pavilion”紅外和可見光圖像以及融合結(jié)果的評價指標。

表1 “UN Camp”紅外與可見光圖像融合結(jié)果的評價指標

表2 “pavilion”紅外與可見光圖像融合結(jié)果的評價指標

由表1可以看出，對于“UN Camp”紅外與可見光圖像融合效果，本文方法均好于其他對比算法，圖像質(zhì)量評價指標中的信息熵、平均梯度、空間頻率、互信息、交叉熵至少分別提高了1.54%、7.44%、10.5%、9.14%、0.12%算法；由表2可以看出，對于“dune”紅外與可見光圖像融合效果，本文方法也均好于其他對比算法，圖像質(zhì)量評價指標中的信息熵、平均梯度、空間頻率、互信息、交叉熵分別提高了2.84%、4.52%、3.52%、12.3%、5.96%，客觀上驗證了自適應(yīng)NSST-PCNN方法的優(yōu)越性，本文算法運行時間<3 s，在執(zhí)行效率上表現(xiàn)優(yōu)異。

綜上，運用自適應(yīng)NSST-PCNN圖像融合算法將源圖像分解完成后，能夠得到低頻子帶和多個不同層次、不同方向的高頻子帶系數(shù)，使用加權(quán)平均的模糊邏輯算法解決了融合過程中低頻界限不清晰的問題，更好地表達源圖像的特征；針對圖像高頻部分的融合，以處理后圖像的像素作為PCNN的反饋輸入，采用區(qū)域梯度調(diào)節(jié)β的大小，保持了圖像的高頻信息，使融合后的高頻子帶更能準確的反應(yīng)圖像的細節(jié)信息。

5 結(jié)論

提出了一種NSST結(jié)合自適應(yīng)PCNN的紅外與可見光圖像的融合方法。源圖像經(jīng)過NSST變換后，能夠得到低頻子帶和多個不同層次、不同方向的高頻子帶系數(shù)。針對圖像低頻子帶的融合，采用了自適應(yīng)的糊邏輯加權(quán)平均的融合規(guī)則；對于圖像高頻部分的融合，使用鏈接強度自適應(yīng)的PCNN的算法。實驗結(jié)果表明，相比于傳統(tǒng)方法，基于自適應(yīng)NSST-PCNN的融合圖像在信息熵、空間頻率、平均梯度、互信息和交叉熵五個客觀評價指標上至少分別提高了1.54%、4.52%、3.52%、9.14%、0.12%。該方法提高了融合圖像對比度，保留了背景細節(jié)信息，更有利于人眼觀察，可以很好地應(yīng)用于軍事監(jiān)視、目標跟蹤等領(lǐng)域。