任旺 李寧 趙東宸

（北方民族大學計算機科學與工程學院 寧夏回族自治區(qū)銀川市 750021）

1 導論

單一傳感器成像信息不全面并且容易受到限制，不同傳感器成像信息具有互補性和冗余性并且存在一定的差異性。把互補信息從不同傳感器成像結果中合成和提取出來，通過圖像融合得到在客觀和視覺方面都更可靠的圖像和更為精確的圖像。通過熱紅外輻射傳感器成像為紅外圖像，捕捉地物的熱輻射能量得到。熱紅外輻射傳感器可以在不會受到光照條件的影響下探測物體釋放的熱輻射能量分布，但是熱紅外輻射傳感器對亮度變化的敏感度低，得到的紅外圖像的場景細節(jié)信息稀少。通過可見光傳感器捕捉物體和場景的光學反射成像為可見光圖像，得到包含較多的背景和細節(jié)信息的可見光圖像，但容易受到能見度低或者光照差等外界因素的影響導致成像的圖像效果差。紅外圖像會存在圖像細節(jié)信息稀少、邊緣模糊、對比度低的問題，可見光圖像會容易受到環(huán)境影響，這樣會對在實際中應用產(chǎn)生誤導。紅外圖像與可見光圖像通過圖像融合可以融合得到紅外目標信息突出和場景細節(jié)紋理信息的融合圖像。融合圖像的有用信息的分析能力得到了增強。在計算機視覺領域，圖像融合是熱點問題之一，近幾十年來，圖像融合在遙感圖像[1]、目標探測[2]等方面受到廣泛應用。

圖像融合一般可以分類成像素級融合，特征級融合，決策級融合[3]。像素級圖像融合可以根據(jù)融合處理域進行分類，主要分類成基于空間域的融合方法和基于變換域的融合方法?；诳臻g域的常見融合方法有加權平均的方法和取大值等方法；基于變換域的常見方法是通過多尺度變換工具進行圖像融合處理。常見的多尺度變換工具包括小波變換(wavelet，WT)[4]和非下采樣輪廓波變換(Nonsubsampled contourlet transform，NSCT)[2]等。NSCT 變換[5]對圖像分別經(jīng)過非下采樣金字塔濾波器(NSPFB)和非下采樣方向濾波器(NSDFB)分解得到變換域低頻子帶分量和高頻子帶分量，NSCT變換具有平移不變性。脈沖耦合神經(jīng)網(wǎng)絡(Pulse Coupled Neura Network，PCNN)在圖像處理領域越來越受到人們的關注，因其脈沖耦合的特性被應用到圖像融合方向并且有很好的應用前景。本文提出了一種基于區(qū)域概率密度和PCNN 的紅外與可見光圖像融合算法，并證明了算法的有效性。

圖1：圖像camp 融合結果

圖2：圖像Kaptein 融合結果

2 基于區(qū)域概率密度與PCNN的紅外與可見光圖像融合算法

2.1 脈沖耦合神經(jīng)網(wǎng)絡模型

Eckhorn[6]在1990年針對其在貓的大腦皮層發(fā)現(xiàn)的脈沖同步的現(xiàn)象，為了模擬這種科學現(xiàn)象，提出了一種具有脈沖同步連接的模型。PCNN 的簡化基礎模型如下：

Fk,l接收從外部饋送入PCNN 中的系數(shù)Sk,l的值。Lk,l是PCNN模型中的鏈接輸入。外部饋送輸入、鏈接輸入、鏈接強度β 結合通過公式（3）得到內部活動水平Uk,l。Wk,l,p,q是鏈接權重。動態(tài)閾值θk,l和內部活動水平Uk,l進行比較判斷是否進行點火行為。Yk,l記錄點火狀態(tài)，當Yk,l=1 時表示脈沖成功并記錄點火狀態(tài)，否則記錄點火失敗并記錄為Yk,l=0。SF-PCNN 模型中的Sk,l是先對系數(shù)進行計算空間頻率(SF)值然后饋送輸入到PCNN 中。在圖像融合處理中，融合結果由經(jīng)過迭代n 次后輸出的總點火狀態(tài)得到。

2.2 自適應調整確定鏈接強度β

鏈接強度在PCNN 應用中是一個關鍵參數(shù)，具有一定的重要性。領域像素獨立時，鏈接強度值為0。自適應調整鏈接強度可以在減少設定參數(shù)的復雜度的同時，根據(jù)區(qū)域的關聯(lián)性自適應調整鏈接強度值。所以由細節(jié)層的區(qū)域概率密度對PCNN 的鏈接強度進行自適應調整：

其中，τ 的取值為0.001，p(Li,d)是區(qū)域概率密度，LA,d和LB,d分別表示可見光圖像和紅外圖像的細節(jié)層系數(shù)。

2.3 自適應調整處理區(qū)域大小

融合圖像的效果會受到處理區(qū)域的大小的影響。處理區(qū)域大小的值包括低頻子帶的第二次分解的區(qū)域大小和區(qū)域概率密度的區(qū)域大小。區(qū)域大小通過視覺和客觀兩方面的綜合分析并設置成可以得到更好的融合圖像的值，規(guī)定對可見光和紅外圖像的邊緣強度值進行比較來自適應確定處理區(qū)域大小。區(qū)域大小通過公式（8）自適應調整：

其中，r 是區(qū)域大小。EA和EB分別是可見光圖像和紅外圖像的邊緣強度值。

2.4 融合規(guī)則

低頻子帶的基礎層通過基于區(qū)域概率密度的方法進行融合。其中，區(qū)域概率密度通過公式（9）得到，基礎層融合系數(shù)通過公式（10）得到：

其中，r是計算區(qū)域概率密度的區(qū)域大小，mL,i是均值，是方差。LA,b和LB,b分別表示可見光圖像和紅外圖像的基礎層系數(shù)。

低頻子帶的細節(jié)層通過基于SF-PCNN 的方法進行融合。其中，鏈接強度由區(qū)域概率密度得到。把低頻子帶的細節(jié)層的空間頻率SF 饋送輸入到PCNN 中，通過PCNN 的總點火次數(shù)結果，得到細節(jié)層的融合結果。細節(jié)層融合系數(shù)通過公式（11）得到：

其中，Z(Li,d)是總點火數(shù)，LA,d和LB,d分別表示可見光圖像和紅外圖像的細節(jié)層系數(shù)，LF,d表示低頻子帶的細節(jié)層融合結果。

3 實驗結果與分析

對本文算法的有效性通過仿真實驗進行驗證。對已配準的兩組標準真實場景紅外與可見光圖像進行仿真實驗。本文中的對比算法有NSCT、NSST-PCNN[7]、SAL[8]算法。其中，NSST-PCNN 算法和SAL 算法中的參數(shù)和原論文中一致；NSCT 算法的高頻融合規(guī)則采取取大值的方法，低頻融合規(guī)則采取平均加權的方法。本文算法的仿真實驗環(huán)境為MATLAB2017a。

表1：圖像camp 的不同融合算法的客觀評價指標比較

表2：圖像Kaptein 的不同融合算法的客觀評價指標比較

第一組仿真實驗圖像采用camp 紅外與可見光圖像。圖1所示的是第一組實驗結果，圖1(a)和圖1(b)分別是可見光圖像和紅外圖像。圖1(c)是NSCT 的融合結果，圖1(d)是NSCT-PCNN 的融合結果，圖1(e)是SAL 的融合結果，圖1(f)是本文算法的融合結果?？梢姽鈭D像細節(jié)信息豐富且對比度高，紅外圖像中紅外目標人物顯著。但是可見光圖像中人物辨識度低，外紅圖像中場景細節(jié)信息稀少。由圖1(c)～(f)所示，四種方法都成功地實現(xiàn)了紅外和可見光圖像融合。圖1(c)的融合結果細節(jié)信息豐富但紅外目標人物昏暗導致辨識度低。圖1(d)的融合結果紅外目標邊緣模糊且辨識度低，場景細節(jié)信息稀少。圖1(e)的融合結果的融合結果較好，但清晰度和對比度較低。圖1(f)的融合結果邊緣細節(jié)信息豐富，紅外目標人物辨識度高且對比度高。

第二組仿真實驗圖像采用Kaptein 紅外與可見光圖像。圖2所示的是第二組實驗結果，圖2(a)和圖2(b)分別是可見光圖像和紅外圖像。圖2(c)是NSCT 的融合結果，圖2(d)是NSCT-PCNN 的融合結果，圖2(e)是SAL 的融合結果，圖2(f)是本文算法的融合結果?？梢姽鈭D像中灌木叢等細節(jié)部分信息豐富且對比度高但人物辨識度低；紅外圖像中除了紅外目標人物顯著之外的場景區(qū)域模糊辨識度低且對比度低。由圖2(c)～(f)所示，四種方法都成功地實現(xiàn)了紅外和可見光圖像融合。圖2(c)和圖2(e)的融合結果細節(jié)信息豐富但紅外目標人物部分有顯著的昏暗區(qū)域導致辨識度低，并且天空的視覺效果差。圖2(d)的融合結果紅外目標顯著但場景區(qū)域對比度低。圖2(f)的融合結果邊緣細節(jié)信息豐富，紅外目標人物辨識度高且場景區(qū)域對比度高。

本文采用的客觀評價指標為：標準偏差(SD)、信息熵(EN)、邊緣強度(ED)、邊緣信息保持度(Qab/f)、視覺信息保真度(VIFF)[9]這五個指標。根據(jù)表1 和表2 中本文算法的融合圖像的客觀評價指標值分析可以得到以下結果:本文算法的融合圖像的SD、EN、ED、Qab/f、VIFF 的值高，說明灰度級分布分散并且對比度高；細節(jié)信息量包含度高；融合圖像的邊緣清晰；融合質量好并且邊緣信息從源圖像保持度高；視覺效果好。本文融合結果在主觀和客觀評價基本一致，本文算法有效且具有較好的融合效果。

4 結論

本文針對紅外與可見光圖像融合研究，提出了一種基于區(qū)域概率密度與PCNN的紅外與可見光圖像融合?；趨^(qū)域概率密度的方法作為低頻子帶的基礎層融合規(guī)則，基于SF-PCNN 的方法作為低頻子帶的細節(jié)層融合規(guī)則，通過參考SF 特征對高頻子帶進行處理。通過兩組仿真實驗結果對本文算法的有效性進行驗證。