李云紅,李嘉鵬,蘇雪平,陳宇洋,劉杏瑞,謝蓉蓉

(西安工程大學(xué)電子信息學(xué)院,陜西 西安 710048)

1 引 言

不同類型的傳感器對同一場景進行圖像采集時,得到的采集圖像因傳感器的類型不同可描述不同的圖像特征[1]。紅外傳感器利用物體的熱輻射信息成像,紅外圖像中目標(biāo)突出,熱輻射信息明顯,在惡劣天氣環(huán)境下成像效果良好,但圖像的細(xì)節(jié)信息、紋理特征缺失較為嚴(yán)重;可見光圖像分辨率高且具有豐富外觀信息,但其成像效果的優(yōu)劣與目標(biāo)場景的反射光線有關(guān),易受天氣、光照等因素影響,無法有效突出目標(biāo)[2-4]。因此,將紅外與可見光圖像進行融合,結(jié)合二者的圖像特征,得到目標(biāo)更突出、細(xì)節(jié)更明顯的融合圖像,這對后續(xù)開展相關(guān)的圖像處理工作具有一定的意義。紅外與可見光圖像融合目前已在機器視覺、航天、軍事及電力等領(lǐng)域廣泛應(yīng)用[5-6]。

圖像融合技術(shù)發(fā)展過程中涌現(xiàn)出許多方法,常見變換域基于多尺度(Multiscale Transform,MST)的融合方法有離散小波變換(Discrete Wavelet Transform,DWT)[7],非下采樣輪廓波變換(Non-Subsampled Contourlet Transform,NSCT)[8],該方法通過非采樣金字塔濾波(Nonsubsampled Pyramid,NSP)完成圖像的多尺度分解[9]以及雙樹復(fù)雜小波變換(Dual-tree Complex Wavelet Transform,DTCWT)[10]等。除此之外,還有其他方法,如基于多分辨奇異值分解法(Multi-resolution Singular Value Decomposition,MSVD),該方法用奇異值分解代替小波變換中的高通有限脈沖響應(yīng)濾波器,與小波變換相比沒有依賴數(shù)據(jù)集的固定基向量集,計算簡單便于應(yīng)用[11-12]。在目標(biāo)增強多尺度融合算法[13]一文中,給出了一種非線性變換的融合思想,使該法與傳統(tǒng)MST融合算法相比,融合圖像對比度有了明顯的增強。文獻[14]則提出了一種梯度轉(zhuǎn)移和總變差最小化的融合方法(Gradient Transfer Fusion,GTF),具體來說,該方法可以調(diào)控紅外圖像像素強度及可見光圖像梯度特征的權(quán)重,但此法易造成可見光圖像細(xì)節(jié)特征的丟失,最終的融合效果并不令人滿意。而文獻[15]利用Bayesian回歸模型的思想,提出了一種分層Bayesian模型,該模型可實現(xiàn)融合權(quán)重的自適應(yīng),使融合權(quán)重的設(shè)置變得不再困難,但該法對融合圖像紅外特征保留較少。低秩表示(Low Rank Representation,LRR)[16]的提出,實現(xiàn)了數(shù)據(jù)全局結(jié)構(gòu)信息的提取,但不能保留數(shù)據(jù)局部結(jié)構(gòu)信息,在LRR的基礎(chǔ)上,文獻[17]對LRR方法進行了優(yōu)化,提出了潛在低秩的表示方法(Latent Low Rank Representation,LatLRR)。與LRR相比,LatLRR能捕捉到圖像的局部結(jié)構(gòu)信息,使圖像信息更為豐富。文獻[18]則通過LatLRR對源圖像分解,并采用加權(quán)平均策略進行低秩部分的融合,但易使圖像全局結(jié)構(gòu)信息部分丟失,導(dǎo)致最終融合重構(gòu)圖像質(zhì)量不佳。文獻[19]提出一種多級的LatLRR圖像融合框架MDLatLRR,該方法提取了圖像多級顯著性信息與全局結(jié)構(gòu)信息,在融合效果上有所改善。

針對上述融合算法圖像對比度低、紅外特征不明顯的問題,論文提出了一種結(jié)合LatLRR與NSP的分解模型,并在局部結(jié)構(gòu)信息及低頻信息融合時選擇不同策略,然后通過非線性變換函數(shù)調(diào)節(jié)重構(gòu)權(quán)重比例。該方法使最終融合結(jié)果圖像既有紅外圖像特征又有可見光圖像的信息。將論文算法與DTCWT、MSVD、Bayesian、LatLRR 及MDLatLRR算法進行對比,驗證了論文算法的有效性。

2 相關(guān)理論

2.1 LatLRR理論

LatLRR分解[18]這一理論的精髓在于將原始數(shù)據(jù)(待分解圖像矩陣)分解為獨立的三個部分:全局結(jié)構(gòu)層、局部結(jié)構(gòu)層、噪聲信號,其分解的數(shù)學(xué)表達如式(1):

W=WQ+RW+E

(1)

式中,W是待分解圖像矩陣;Q是全局結(jié)構(gòu)系數(shù);R是局部結(jié)構(gòu)系數(shù);WQ是全局結(jié)構(gòu)層;RW是局部結(jié)構(gòu)層;E是噪聲信號。

為尋求最優(yōu)LatLRR分解,將(1)式的求解轉(zhuǎn)化為式(2)的數(shù)據(jù)聯(lián)合最小化問題。

(2)

2.2 NSP原理

NSP是經(jīng)典MST方法NSCT中圖像的尺度分解方法[8-9],可以通過NSP來提取源圖像的低頻信息。通常由于輸入信號的平移使輪廓波變換系數(shù)增大,造成輸出圖像的吉布斯效應(yīng),而NSP在處理信號時,并未進行降采樣,消除了吉布斯效應(yīng)對輸出圖像的影響,其尺度分解由雙通道式NSP實現(xiàn),具體結(jié)構(gòu)如圖1所示。該模型包含分解濾波器{Hi(z)}i=0,1及合成濾波器{Gi(z)}i=0,1,NSP滿足Bezout恒等式:

圖1 雙通道式NSP模型

H0(z)G0(z)+H1(z)G1(z)=1

(3)

式中,H0(z)、G0(z)分別是低通分解及合成濾波器;H1(z)、G1(z)分別是高通分解及合成濾波器;G0(z)、G1(z)值為1;H0(z)+H1(z)=1。

NSP經(jīng)過1層的分解后,生成低頻高頻子帶圖像各1個,各子帶圖像均與輸入的分解源圖大小相同。

3 融合算法

融合算法的整體流程框架如圖2所示,該算法分3步進行,具體操作包括:(1)分解,紅外圖I,可見光圖V分別經(jīng)過NSP、LatLRR分解后,提取各自的低頻部分Ia(x,y),Va(x,y),局部結(jié)構(gòu)部分Ib(x,y)、Vb(x,y);(2)融合,對低頻部分Ia(x,y)、Va(x,y)采取一種紅外像素強度權(quán)重調(diào)控的策略進行融合,生成低頻融合圖像N′f(x,y),對局部結(jié)構(gòu)部分Ib(x,y),Vb(x,y)采取傳統(tǒng)求和策略進行融合,生成局部結(jié)構(gòu)融合圖像Mf(x,y);(3)融合圖像的重構(gòu),對低頻融合圖像N′f(x,y),局部結(jié)構(gòu)融合圖像Mf(x,y)使用非線性變換法進行重構(gòu),最終得到融合結(jié)果圖像U(x,y)。

圖2 融合算法整體流程

3.1 圖像的分解

圖像全局結(jié)構(gòu)信息與其低頻信息所表征的物理意義相同,即均用來反映圖像的主體概況、像素強度等重要特征。與之相同地,圖像的局部結(jié)構(gòu)信息與其高頻信息均可用來表征圖像具體細(xì)節(jié)特征。融合任務(wù)中,使用現(xiàn)有LatLRR方法對源圖像分解時,必須在線求解圖像對應(yīng)全局結(jié)構(gòu)系數(shù)。為了避免圖像全局結(jié)構(gòu)系數(shù)的在線求解,對算法運行效率的影響,在圖像分解時,采用一種基于LatLRR-NSP相結(jié)合的分解方法。以源紅外圖像分解為例(見圖3),預(yù)處理后,通過LatLRR獲得局部結(jié)構(gòu)系數(shù)映射矩陣L,然后直接提取源圖像局部結(jié)構(gòu)信息,同時,引入NSP的1次分解,獲取與全局結(jié)構(gòu)信息表征含義相同的低頻信息。在避免全局結(jié)構(gòu)系數(shù)在線求取的同時,結(jié)合NSP分解所得良好的圖像低頻信息,完成源圖像的分解。

圖3 基于LatLRR-NSP的分解過程

3.2 低頻部分融合

紅外圖I,可見光圖V通過分解后,所得到的低頻分量部分反映了二者圖像像素強度的基本灰度等級。低頻部分的融合為:

Nf=ξ(Ia)+βξ(Va)

(4)

式中,Nf是低頻融合結(jié)果;ξ(Ia)、ξ(Va)分別是紅外低頻與可見光低頻的約束分量;β是低頻融合平平衡系數(shù),用來對低頻紅外像素的權(quán)重進行調(diào)整。

紅外低頻分量Ia(x,y)中,目標(biāo)對象與背景間的像素強度差異遠(yuǎn)遠(yuǎn)大于可見光低頻分量Va(x,y)。紅外低頻分量圖像與可見光低頻分量圖像相比具有明顯的可見性,即更容易在紅外低頻分量圖像中發(fā)現(xiàn)目標(biāo)對象。因此,在低頻部分進行融合時,應(yīng)盡可能應(yīng)使融合圖像的像素強度保持低頻紅外分量部分的像素強度分布。從而,低頻融合結(jié)果Nf(x,y)與紅外低頻分量Ia(x,y)之間的約束分量ξ(Ia)的范數(shù)應(yīng)盡可能小。

(5)

式中,Nf是低頻融合結(jié)果;Ia是紅外低頻分量。

可見光低頻約束分量ξ(Va)重點是對低頻融合圖像Nf(x,y)在梯度進行約束,將可見光低頻分量Va(x,y)圖像的豐富梯度信息反映在低頻融合圖像Nf(x,y)中,使ξ(Va)約束項達到最優(yōu)化。

(6)

低頻融合結(jié)果應(yīng)保留紅外分量的像素強度,這意味著Nf與Ia的差趨近于0,因此,Nf與Ia間的差應(yīng)為拉普拉斯分布。同時在低頻融合時,Va梯度量轉(zhuǎn)移到Nf的過程中使圖像部分平滑,這導(dǎo)致了梯度變換的稀疏性,因此,通過L1范數(shù)實現(xiàn)最小化梯度差進行優(yōu)化。文獻[20]指出,拉普拉斯分布對應(yīng)的L1范數(shù)能更好地進行數(shù)據(jù)擬合。將約束項(5)、(6)中的q、p均取值為1的L1范數(shù)。對式(4)進行優(yōu)化。

令Z(x,y)=Nf(x,y)-Va(x,y)可得:

(7)

完成上述優(yōu)化后,低頻部分最終融合策略模型可表述為:

(8)

3.3 局部結(jié)構(gòu)部分融合策略

LatLRR可以從源圖像中提取局部結(jié)構(gòu)信息。對紅外局部結(jié)構(gòu)部分Ib(x,y)與可見光局部結(jié)構(gòu)部分Vb(x,y)采取傳統(tǒng)的基于像素灰度值求和的策略進行1∶1融合。

Mf=Ib(x,y)+Vb(x,y)

(9)

式中,Mf是局部結(jié)構(gòu)融合結(jié)果;Ib(x,y)、Vb(x,y)分別為紅外、可見光局部結(jié)構(gòu)部分。

以1∶1進行融合,這是由局部結(jié)構(gòu)部分所包含的圖像局部結(jié)構(gòu)信息所決定的。圖像局部結(jié)構(gòu)信息用來衡量圖像的細(xì)節(jié)、紋理等信息,在對其進行融合時,往往需要把紅外與可見光圖像的局部結(jié)構(gòu)信息進行加和,以保證融合結(jié)果中既有紅外特征又有可見光特征。

3.4 融合重構(gòu)策略

(10)

式中,X為低頻部分;α為非線性平衡系數(shù),取值范圍(0,∞)。

不同圖像的低頻部分與局部結(jié)構(gòu)部分的像素強度、細(xì)節(jié)特征均有差異,通過調(diào)整非線性平衡系數(shù)α來完成重構(gòu)圖像各分量的權(quán)重占比。圖4給出了α取值對σ(X)影響的非線性曲線,當(dāng)α的取值越大,低頻部分與局部結(jié)構(gòu)部分權(quán)重差值越大曲線越陡,反之則越小,曲線較為平緩。實際應(yīng)用中,可對不同圖像進行有針對的調(diào)整α,達到最優(yōu)重構(gòu)效果。

圖4 α取值對σ(X)影響的非線性曲線

最終融合重構(gòu)結(jié)果表示式為:

(11)

4 實驗部分

實驗在公開數(shù)據(jù)集TON與M3FD中選取4組(各兩組)已配準(zhǔn)的紅外與可見光圖像進行實驗,圖5前兩列和后兩列分別為選取的TON數(shù)據(jù)集圖像及M3FD數(shù)據(jù)集圖像。將本算法與DTCWT[10]、MSVD[11]、Bayesian[15]、LatLRR[18]以及MDLatLRR[19]算法進行對比,不同算法結(jié)果對比見圖5。實驗平臺及配置:Windows 10操作系統(tǒng),MATLAB R2018b,CPUi5-11260H,處理器圖像NVIDIA GTX3050,內(nèi)存16 GB。

圖5 實驗所用紅外與可見光圖像

本算法的參數(shù)設(shè)置具體在低頻融合平衡系數(shù)β及融合重構(gòu)時非線性平衡系數(shù)α。

β與α的不同取值,分別對低頻紅外像素權(quán)重、局部結(jié)構(gòu)信息與低頻信息在融合結(jié)果的占比以及相關(guān)評價指標(biāo)有一定的客觀影響,二者的取值會對整體融合效果的優(yōu)劣共同作用,所以,在進行對比實驗前,應(yīng)確定β與α具體取值。

圖6為本算法在4組融合結(jié)果圖像上,β與α取6種不同值時,在互信息(MI)、信息熵(IE)、像素特征互信息(FMI_pixel)、標(biāo)準(zhǔn)差(SD)及視覺保真度(VIF)5種指標(biāo)上各自的平均值,當(dāng)β與α取值為2時,算法在MI、IE及VIF指標(biāo)上取得優(yōu)勢。SD指標(biāo)相對較好,FMI_pixel指標(biāo)數(shù)據(jù)較為平穩(wěn)。

圖6 不同取值β與α在4組融合圖像上指標(biāo)平均值曲線

圖7則是β與α取值為2、5、10、20、50和100這6種不同值時,算法的融合結(jié)果圖像,從主觀角度來看,當(dāng)β與α取值增大,融合結(jié)果圖像的紅外特征越來越弱,尤其是在β與α取值為100時,肉眼已經(jīng)幾乎無法在觀察到融合之前的源紅外圖像的具體特征。隨著β與α取值的不斷增大,尤其是在左下角人物和畫面中汽車的輪胎部分的紅外特征減弱趨勢最為明顯,β與α取值為5、10、20、50和100時,均沒有取值為2時顯著。在β與α取值為5、10和20這3個值的圖像中,圖像整體較為模糊,圖中的細(xì)節(jié)信息很難察覺。綜合圖6的客觀指標(biāo)與圖7的成像效果,β與α值為2時,融合圖像的視覺感知效果相對較好,為保證融合結(jié)果圖像的定性與定量的優(yōu)勢,故將β與α設(shè)置為2。

圖7 不同取值β與α融合結(jié)果圖像對比

對比算法參數(shù)設(shè)置:MDLatLRR方法level設(shè)置為1,其余對比算法參數(shù)均按原文獻設(shè)置。

4.1 主觀評價

圖8 Group 1中,我們可以看到Bayesian方法的圖像畫面整體呈現(xiàn)模糊的視覺效果,對比觀察畫面中左上方坐姿人物以及右下方站姿人物,雖然所對比的5種算法可以看到目標(biāo)人物,但其目標(biāo)人物的圖像亮度均沒有本文算法融合結(jié)果的亮度高。在Bayesian方法的結(jié)果圖像中,目標(biāo)人物的邊緣較為模糊,且畫面中的車輛與人物界限不清,較難分辨,而本文算法對畫面中目標(biāo)人物邊緣清楚與背景的對比度遠(yuǎn)高于其他算法,在圖像整體較為黑暗的情況下可以清楚的分辨目標(biāo)人物與車輛以及背景,有利于黑暗場景的目標(biāo)識別。

圖8 不同算法結(jié)果對比

圖8 Group 2中,DTCWT方法結(jié)果圖像整體有較為明顯的重影,尤其是在房屋側(cè)面的這一部分,我們能清楚的觀察到這一現(xiàn)象,圖像的整體存在一定失真。在MSVD與MDLatLRR方法中,幾乎沒有重影,但在畫面主體卡車的輪胎部位對紅外特征保留較少,而Bayesian方法的融合結(jié)果圖像車輛輪胎模糊不清,無法觀察到輪胎的輪廓,畫面整體模糊。本文算法產(chǎn)生的融合結(jié)果圖像,在所對比的4種算法中紅外特征最為明顯,并且在車輛輪胎部位能清晰的顯現(xiàn)輪胎的輪廓,保留了一定的可見光信息。

圖8 Group 3中,所對比5種融合方法的融合結(jié)果圖像灰度值較低,且融合結(jié)果圖像均在不同程度上對紅外部分的細(xì)節(jié)的處理效果差于本文算法。在各個圖像中,近景的車輛與道路上的行人均清晰可見,但在畫面的遠(yuǎn)景部分,本文算法的融合結(jié)果圖像對源紅外圖像畫面中遠(yuǎn)方的兩個細(xì)長型目標(biāo)物體這個細(xì)節(jié)部分保留清晰,而所對比的5種算法中,Bayesian方法最為不明顯,其余方法的視覺效果均沒有本文算法保留的效果好。

在圖8 Group 4所對應(yīng)的源紅外圖像中能夠看到,圖像的左上方有一個攝像頭,源圖中攝像頭本身較為模糊。圖8 Group 4中,各個算法的融合結(jié)果圖像的左上方紅框部位均保留了源紅外圖像中攝像頭這個目標(biāo),但經(jīng)過比對,各對比算法的融合效果的對比度均沒有本文算法融合效果佳。

4.2 客觀評價

在對圖像融合的效果進行評價時,除了主觀評價外,定量的評價也尤為重要。

通過采用信息論:互信息(Mutual Information,MI)、信息熵(Information Entropy,IE)、像素特征互信息(Feature Mutual Information of pixel,FMI_pixel);圖像特征:標(biāo)準(zhǔn)差(Standard Deviation,SD);人類視覺感知:視覺保真度(Visual Fidelity,VIF)3大類的5種指標(biāo)[21],對本次實驗結(jié)果進行綜合全方位的客觀評價。Group 1～Group 4融合結(jié)果圖像的評價指標(biāo)數(shù)據(jù),如表1所示。

MI是對融合結(jié)果圖像在源圖像保留信息量多少的度量,MI越大,保留信息越豐富;IE的大小可反映圖像信息量的豐富程度,其值越大融合效果越佳;FMI_pixel用來衡量融合結(jié)果圖像與源圖像之間基于區(qū)域像素的互信息量,其值越大越好;SD代表圖像的灰度分布,SD越大融合結(jié)果圖像對比度越高;VIF用于衡量融合結(jié)果圖像整體圖像質(zhì)量信息保真度,指標(biāo)數(shù)值越大,圖像質(zhì)量越好。由表1可知,在Group 1、Group 2和Group 4這3組數(shù)據(jù)中,本文算法在5種評價指標(biāo)中的MI、EN、SD和VIF這4種指標(biāo)優(yōu)于所對比的其他5種算法,特別是在MI與EI這兩個指標(biāo)上,本文算法的指標(biāo)數(shù)據(jù)明顯高于其他算法。

為更加客觀通過指標(biāo)數(shù)據(jù)比對算法的優(yōu)劣性,對使用5種不同對比算法和本文算法產(chǎn)生的Group 1～4這4組不同場景和風(fēng)格的融合結(jié)果圖像的5項指標(biāo)數(shù)據(jù)分別求其平均值,用平均值表征各指標(biāo)的整體數(shù)值差異,見表2。本文算法5項評價指標(biāo)中,在MI、IE、SD和VIF數(shù)值均高于其他對比算法,而FMI_pixel指標(biāo)由于實驗圖像之間的像素差異,使該指標(biāo)總體平均水平較低。再結(jié)合主觀定性評價,本文算法能很好利用LatLRR與NSP的特性,并在適當(dāng)融合策略作用下,使融合結(jié)果圖像在紅外特征上得以增強,對可見光特性也有一定保留,從主觀客觀上證明了本文算法優(yōu)越性。

表2 組1～組4融合結(jié)果圖像評價指標(biāo)平均值

5 結(jié) 論

本文提出了基于LatLRR與NSP分解的紅外與可見光圖像融合算法,該算法模型很好地結(jié)合了LatLRR與NSP在圖像分解時的優(yōu)勢,更好地獲取了源圖像分解產(chǎn)生的低頻信息與局部結(jié)構(gòu)信息。在圖像融合步驟中,針對低頻及局部結(jié)構(gòu)信息的特點,分別采取了不同的融合方法。融合算法的最后,對圖像進行重構(gòu)時添加了非線性變換函數(shù),算法整體實現(xiàn)了融合結(jié)果圖像在視覺效果上以紅外特征為主,同時,與源紅外圖像相比,其外觀細(xì)節(jié)等特征更加明顯。通過在公開數(shù)據(jù)集的實驗,從定性定量兩個方面分析驗證了本文算法的有效性、穩(wěn)定性。