吳強(qiáng)，吉琳娜，楊風(fēng)暴，郭小銘

（中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030000）

0 引言

紅外熱成像技術(shù)與紅外偏振成像技術(shù)分別是基于紅外目標(biāo)的紅外輻射能量差異和光的偏振屬性進(jìn)行成像，成像機(jī)理上的差異導(dǎo)致兩類圖像在亮度、邊緣、紋理細(xì)節(jié)等特征上具有很多差異[1-2]。紅外熱輻射成像由于直接對目標(biāo)物體進(jìn)行熱輻射強(qiáng)度成像，得到的紅外圖像光強(qiáng)信息很豐富，但物體材質(zhì)、紋理邊緣細(xì)節(jié)、對比度信息很弱；偏振度圖像能夠體現(xiàn)物體的表面邊緣信息，可以很好地表示物體材質(zhì)、粗糙特性、邊緣輪廓信息、內(nèi)部紋理細(xì)節(jié)、目標(biāo)反差度特性，但光強(qiáng)信息很弱。因此，綜合兩類圖像互補優(yōu)勢，融合互補信息，更有助于發(fā)揮紅外成像技術(shù)在各領(lǐng)域的應(yīng)用優(yōu)勢[3]。

由于實際場景環(huán)境較為復(fù)雜，目標(biāo)差異特征的表現(xiàn)具有隨機(jī)性，尤其是動態(tài)探測場景中圖像間差異特征更為復(fù)雜多變，所有單一融合算法很難滿足復(fù)雜場景下的紅外圖像融合需求。不同融合算法對不同差異特征的融合效果是不同的，例如基于頂帽變換和支持度變換的融合算法主要對亮度差異特征有更好的融合效果[4]；文獻(xiàn)[5]提出了一種基于雙樹復(fù)小波變換和稀疏表示的圖像融合方法，融合圖像具有較高的對比度和細(xì)節(jié)信息。金字塔[6-8]、小波變換[9-12]等圖像融合算法對圖像細(xì)節(jié)差異特征的融合性能上各有優(yōu)劣[13]，又表明同一算法對不同差異特征或是不同融合算法對同一差異特征的融合效果也有所差異。因此，實現(xiàn)對不同場景下融合算法的優(yōu)化選取，對于雙模態(tài)圖像融合質(zhì)量提升至關(guān)重要。

雙模態(tài)紅外圖像根據(jù)差異特征的動態(tài)變化及差異特征間的關(guān)聯(lián)性選取融合算法的前提是差異特征與算法間關(guān)系的建立[14]，而現(xiàn)有融合模型多只考慮差異特征單一屬性的融合效果對算法選取的影響，缺乏差異特征多屬性的權(quán)衡，可能造成融合效果差等問題。如張雷[15]等以差異特征指數(shù)測度作為權(quán)重確定依據(jù)來選取多融合算法進(jìn)行算法協(xié)同嵌接，但差異特征指數(shù)測度主要通過類型和幅值屬性得到的，考慮差異特征單一，從而導(dǎo)致融合結(jié)果有偏差。

可能性分布合成[16]通過不同模糊算子或合成規(guī)則綜合不同因素對事件的影響，應(yīng)用在目標(biāo)識別、故障診斷、多屬性決策等領(lǐng)域中。本文利用可能性分布合成理論，將算法對不同差異特征的融合有效度的可能性分布進(jìn)行合成，確定其聯(lián)合可能性落影[16]以實現(xiàn)融合算法的優(yōu)化選擇，可突破特征單一屬性造成的融合效果差的局限，以提高圖像融合的針對性和有效性。

1 圖像融合算法的選取方法

本文提出的雙模態(tài)紅外圖像融合算法選取方法流程如圖1 所示。

圖1 雙模態(tài)紅外圖像融合算法選取流程Fig.1 Flow chart of Bimodal infrared image fusion algorithm selection

1.1 差異特征融合有效度的確定

選取實驗所需的已配準(zhǔn)的大小為m×n的雙模態(tài)紅外圖像，圖像I和圖像P，選取已有融合算法組成融合算法集Aset＝{A1,A2,A3,…,Ar}，選取兩類圖像的差異特征集Qset＝{Q1,Q2,Q3,…,Qk}。圖像I和圖像P的融合圖像F組成融合圖像集Fset＝{F1,F2,…,Fr}。用大小為a×b的滑動窗口對雙模態(tài)紅外圖像及對應(yīng)的融合圖像進(jìn)行分割，得到相應(yīng)的個大小為a×b的分割子圖Isub、Psub、Fsub，計算所得各分割子圖的差異特征得到大小為的差異特征矩陣Q(I)、Q(P)、Q(F)。

本文采用文獻(xiàn)[17]提出的新型融合度計算方法（如式(1)所示），該方法兼顧各源圖像，從一定程度反映了融合增益，能夠全面反映融合效果的優(yōu)劣。

式中：Qf(I)、Qf(P)和Qf(F)為差異特征矩陣Q(I)、Q(P)和Q(F)對應(yīng)點的差異特征幅值；Vf為融合有效度矩陣V對應(yīng)點的融合有效度評價結(jié)果；wIF和wPF為有效度權(quán)重因子，其作用是放大（縮小）較大（較?。┎町愄卣鲗θ诤嫌行Ф冉Y(jié)果的影響性，融合有效度相對越大表示該位置的融合效果相對越好。

1.2 聯(lián)合可能性落影函數(shù)的構(gòu)造

1）計算差異特征融合有效度的可能性矩陣

基于融合算法集Aset中任意融合算法Ar和差異特征集Qset中任意差異特征Qk計算得到融合圖像的差異特征矩陣Qrk(F)和融合有效度矩陣Vrk。將差異特征矩陣Qrk(F)中的點Qij(F)進(jìn)行標(biāo)準(zhǔn)化，如式(2)所示，將不同差異特征數(shù)據(jù)轉(zhuǎn)化為無量綱的指標(biāo)測評值，以便進(jìn)行綜合測評分析。并將標(biāo)準(zhǔn)化的差異特征數(shù)據(jù)Nrk(F)等分為256 個等分區(qū)間，統(tǒng)計第j區(qū)間內(nèi)差異特征散點的個數(shù)nj，得差異特征頻次分布Ωrk＝[n0,n1,…,n255]。

計算融合有效度矩陣Vrk內(nèi)各融合有效度值Vfij在Vrk整體中所占的比重pij，計算可能性矩陣πrk，如下式所示：

式(3)中：∑Vf為融合有效度矩陣Vrk中融合有效度值的總和；式(4)中max(p)為pij最大值；πij為可能性矩陣πrk對應(yīng)點的可能性大小，表示該處融合有效度表現(xiàn)良好的可能性，可能性相對越大融合效果越好。

2）構(gòu)造差異特征融合有效度的可能性分布

本文選用線性回歸構(gòu)造可能性分布[16]的方法構(gòu)造差異特征融合有效度的可能性分布函數(shù)。以標(biāo)準(zhǔn)化后的差異特征數(shù)據(jù)Nrk(F)為橫軸坐標(biāo)，可能性矩陣πrk對應(yīng)點的數(shù)據(jù)為縱坐標(biāo)組成散點集，得到可能性觀測值的散點圖。利用最小二乘法，通過最小化偏差平方和R2，尋找數(shù)據(jù)的最佳函數(shù)進(jìn)行匹配，構(gòu)造可能性矩陣πrk的可能性分布函數(shù)∏rk(x)(0≤∏rk(x)≤1)：

當(dāng)可能性觀測值與可能性分布函數(shù)∏rk(x)的偏差平方和R2最小時，曲線∏rk(x)代表可能性大小隨差異特征變化的規(guī)律。

3）構(gòu)造聯(lián)合可能性落影函數(shù)

構(gòu)造聯(lián)合可能性落影函數(shù)需先確定各差異特征的可能性分布函數(shù)的系數(shù)，本文采用二元對比法中的擇優(yōu)比較法，先對各差異特征的可能性分布進(jìn)行兩兩對比，一共需比較Cm2次（Cm2為m個可能性分布中任取2 個的組合數(shù)），重要性比較的結(jié)果如表1 所示，再按對比的重要性總分確定各可能性分布在聯(lián)合可能性落影中的重要性。

表1 可能性分布重要性比較權(quán)重Table 1 Possibility distribution significance comparison weight

對比可能性分布∏ri(x)與∏rj(x)的重要性，首先在可能性分布函數(shù)∏ri(x)與∏rj(x)上取可能性測度序列∏ri＝[π0,π1,…,π255]＝[∏ri(0),∏ri(1),…,∏ri(255)]與∏rj＝[π0,π1,…,π255]＝[∏rj(0),∏rj(1),…,∏rj(255)]。再計算同一算法下的不同差異特征的可能性測度序列的協(xié)方差矩C計算協(xié)方差矩陣C的特征向量A＝[A1,A2]和特征值λ＝[λ1,λ2]。

每個特征向量為一個投影方向，相對應(yīng)的特征值是原始可能性分布在這個方向上的投影的方差，方差越大則投影方向上綜合的可能性分布的信息量越大，保留了相對較多的可能性分布的特性。特征向量對應(yīng)特征值的大小代表了可能性分布所含信息的重要性比較結(jié)果。則取最大特征值λp對應(yīng)的特征向量Ap＝[a1,a2]，可能性分布∏ri(x)與∏rj(x)的重要性比較權(quán)重分別為pij、pji?？赡苄苑植肌莚k(x)的重要性權(quán)重為prk。

各可能性分布的重要性權(quán)重即為聯(lián)合落影投影軸系數(shù)，則可得各差異特征的可能性分布函數(shù)∏rk(x)的聯(lián)合可能性落影函數(shù)∏r(x)：

1.3 算法選擇

最終得到各融合算法的得分集合{C1,C2,…,Cr}，得分最高的算法即為最優(yōu)算法。

2 實驗仿真

2.1 源圖像數(shù)據(jù)集的建立

實驗選取的經(jīng)配準(zhǔn)的雙模態(tài)紅外圖像為紅外可見光圖I外偏振圖像P，如圖2。取圖像大小m×n為256×256，滑動窗口大小a×b為16×16。經(jīng)過實驗對比分析，可能性置信水平λπ取值在區(qū)間[0.4－0.6]內(nèi)時，各融合算法的得分區(qū)分度明顯且準(zhǔn)確度較為穩(wěn)定，本次實驗取可能性置信水平λπ＝0.5。實驗選取雙樹復(fù)小波變換（double tree complex wavelet transform,DTCWT）[5]、離散小波變換（discrete wavelet transform,DWT）[12]、引導(dǎo)濾波（guided filter,GFF）[18]、拉普拉斯金字塔變換（Laplacian pyramid,LAP）[7]、多分辨率奇異值分解（multiresolution singular value decomposition,MSVD）[19]、小波包變換（wavelet packet transform,WPT）[20]共6 圖像融合算法組成融合算法集Aset＝{A1,A2,A3,…,A6}，選取邊緣豐度（edge abundance,EA）、邊緣強(qiáng)度（edge strength,ES）、Tamura對比度（Tamura contrast,TC）、空間頻率（spatial frequency,SF）共4 種圖像特征組成圖像差異特征集Qset＝{Q1,Q2,Q3,Q4}。圖2 中實驗源圖像得到基于上述融合算法得到的融合圖像結(jié)果，依次如圖3 所示。

圖2 兩組雙模態(tài)紅外源圖像Fig.2 Source dual-mode infrared images of two groups

圖3 基于融合算法集的融合圖像結(jié)果Fig.3 Fusion image results based on fusion algorithm set

2.2 差異特征融合有效度結(jié)果

通過第1.2 節(jié)中提到的融合有效度計算方法對融合算法集Aset中各算法對應(yīng)差異特征集Qset中的差異特征，進(jìn)行差異特征的融合有效度計算，得出融合有效度矩陣Vrk，作多融合算法差異特征幅值的融合有效度散點分布圖。如圖4 所示為第一組實驗源圖像經(jīng)過融合算法A5所得融合圖像F5的各差異特征融合有效度V5k散點圖。

圖4 差異特征融合有效度V5k 散點圖Fig.4 Scatter diagram of effectiveness of differential feature fusion V5k

2.3 差異特征的可能性分布構(gòu)造

通過第1.2 節(jié)的方法得到的第一組實驗圖像在算法A5下所得融合圖像的各差異特征融合有效度矩陣V5k對應(yīng)的差異特征融合有效度可能性矩陣π5k，繪制可能性分布散點圖（圖5，橫軸為標(biāo)準(zhǔn)化后的差異特征，縱軸為差異特征對應(yīng)的可能度），并計算可能性分布函數(shù)∏5k(x)，繪制如圖6 所示的可能性分布函數(shù)曲線∏5k(x)(k=1,2,3,4)。

圖5 差異特征可能性分布π5k 散點圖Fig.5 Differential feature possibility distribution scatter diagram

圖6 可能性分布函數(shù)曲線∏5k(x)(k=1,2,3,4)Fig.6 Possibility distribution function ∏5k(x)(k=1,2,3,4)

2.4 計算聯(lián)合可能性落影分布函數(shù)

表2 可能性分布重要性比較權(quán)重Table 2 Possibility distribution significance comparison weight

可能性分布∏5k(x)(k=1,2,3,4)的投影軸系數(shù)序列為[0.1656,0.3898,-0.015,0.4596]，聯(lián)合可能性落影函數(shù)，所得聯(lián)合可能性落影函數(shù)如圖7 中實線所示。

圖7 聯(lián)合可能性落影函數(shù)Fig.7 Joint possibility drop shadow function(Note:“Dotted line”: ∏5k(x)(k=1,2,3,4),“Solid line”: ∏5(x))

2.5 融合算法的排序

從1.2 節(jié)所得聯(lián)合可能性落影函數(shù)∏5(x)上取聯(lián)合可能性測度序列∏r＝{π0,…,π255}，取可能性置信水平λπ＝0.5，計算得到∏5的可能性截集測度序列∏r(λ)。

通過第1.2 節(jié)中提到的融合有效度計算方法對融合算法集Aset中各算法對應(yīng)差異特征集Qset中的差異特征，統(tǒng)計差異特征頻次分布Ωrk，如圖8（橫軸為差異特征區(qū)間，縱軸為區(qū)間內(nèi)差異特征點的統(tǒng)計頻次）所示為第一組實驗源圖像經(jīng)過融合算法MSVD 所得融合圖像的各差異特征頻次分布Ω5k，并計算總差異特征頻次分布以及可能性測度權(quán)重序列，如圖9 所示（橫軸為差異特征區(qū)間，差異特征頻次分布縱軸為區(qū)間內(nèi)差異特征點的統(tǒng)計頻次，可能性測度權(quán)重序列縱軸為區(qū)間內(nèi)差異特征點的可能性測度權(quán)重）。

圖8 差異特征頻次分布Fig.8 Differential characteristic frequency distribution

圖9 總特征頻次分布 及可能性測度權(quán)重Fig.9 Total feature frequency distribution and probability measure weight

3 實驗結(jié)果分析

本文所有的實驗均在同一設(shè)備及操作系統(tǒng)下完成，處理器為Intel(R) Core(TM) i7-4720HQ CPU @2.60 GHz，操作系統(tǒng)為Windows 10。通過對14 組圖像進(jìn)行20 次操作的平均值得方法總計耗時5.201 s，本文方法在時間效率上符合實時圖像融合應(yīng)用需求。

3.1 圖像融合評價指標(biāo)

為了驗證本文所提出的聯(lián)合可能性落影構(gòu)造方法對融合算法選取的合理性，采用主觀視覺評價與客觀指標(biāo)評價相結(jié)合的評價方式，以減少人的心理狀態(tài)、視覺特性等對方法性能評價的影響，同時也避免只從客觀圖像評價標(biāo)準(zhǔn)結(jié)果的角度分析而與圖像融合目的產(chǎn)生沖突的情況。本文采用信息熵（information entropy,IE）[21]、標(biāo)準(zhǔn)差（standard deviation,STD）、空間頻率（spatial frequency,SF）[22]、平均梯度（average gradient,AG）[23]、融合質(zhì)量（fusion quality,QAB/F）[24]、峰值信噪比（peak signal to noise ratio,PSNR）[25]、互信息（mutual information,MI）[26]、結(jié)構(gòu)相似性（structural similarity,SSIM）[27]這8 個圖像融合評價指標(biāo)Erj(j＝1：8)對兩組源圖像對應(yīng)的6 種融合算法下的融合結(jié)果進(jìn)行評價。不同算法的優(yōu)勢在各個評價指標(biāo)上表現(xiàn)不同，為此利用加權(quán)綜合指標(biāo)將多個評價指標(biāo)結(jié)合為第9 個評價指標(biāo)S以提高評價結(jié)果的準(zhǔn)確性和可靠性。

3.2 評價結(jié)果及分析

計算兩組實驗圖像對應(yīng)融合算法的融合圖像F的評價指標(biāo)，結(jié)果如表3 所示。兩組實驗圖像以及對應(yīng)融合算法的融合圖像的融合效果如圖10 所示。

從表3 分析可知第二組實驗源圖像在算法GFF下所得融合圖像在各項評價指標(biāo)上均表現(xiàn)良好，并且有4 項指標(biāo)在6 種算法中表現(xiàn)最佳，但由圖10 分析可知該算法所得融合圖像并沒有很好地融合雙模態(tài)紅外圖像的細(xì)節(jié)特征，并且圖像在一定程度上產(chǎn)生模糊；同時算法MSVD 很好地融合了雙模態(tài)紅外圖像的細(xì)節(jié)特征，但在融合圖像客觀評價指標(biāo)結(jié)果上的表現(xiàn)不如算法DTCWT。故此本文采用的主觀視覺評價與客觀指標(biāo)評價相結(jié)合的驗證方式可以更好地對本文算法所選結(jié)果進(jìn)行綜合評價。

第一組實驗圖在本文方法下的得分集合為{166.4838,102.7309,89.7001,157.9335,174.9231,171.51 73}，得分排序結(jié)果為C5＞C6＞C1＞C4＞C2＞C3，即算法MSVD 為最優(yōu)算法。由圖10 可知第一組實驗圖在DWT、GFF 和LAP 算法下的融合圖像或多或少丟失了偏振圖像所體現(xiàn)的部分特征；在DTCWT、MSVD和WPT 算法下對紅框內(nèi)目標(biāo)融合效果明顯，有較為清晰的輪廓，結(jié)合3 種算法的客觀評價指標(biāo)結(jié)果可知，MSVD 算法在客觀評價指標(biāo)上優(yōu)于算法DTCWT 和WPT，由此本文方法所得結(jié)果是合理的。第二組實驗圖所得最優(yōu)算法為算法DTCWT，由表3 和圖10 可知算法DTCWT 在客觀評價指標(biāo)上有極佳的表現(xiàn)，并且能夠綜合紅外雙模態(tài)源圖像的互補特征，在紋理、輪廓上最符合人眼視覺標(biāo)準(zhǔn)，為合理的最優(yōu)算法。

圖10 兩組實驗源圖像以及對應(yīng)融合算法的融合圖像的融合效果Fig.10 The fusion effect of two groups of experimental images and corresponding fusion algorithm

表3 2 組實驗圖各融合算法的評價指標(biāo)結(jié)果及算法排序結(jié)果Table 3 The evaluation index results and algorithm sorting results of each fusion algorithm are shown in the experimental figure

4 結(jié)論

本文提出了一種面向雙模態(tài)紅外圖像融合算法選取的聯(lián)合可能性落影構(gòu)造方法，突破單一互補特征在選擇算法上局限性，通過研究不同算法下差異特征融合有效度的分布，構(gòu)造融合有效度的可能性分布函數(shù)，研究可能性合成方法，確定分布間的聯(lián)合落影系數(shù)，合成聯(lián)合可能性落影分布，為進(jìn)一步研究異類差異特征融合有效度與融合算法間的深度關(guān)系奠定基礎(chǔ)。