張 靚

1 引言

隨著空間技術(shù)的快速發(fā)展以及新型傳感器的不斷出現(xiàn)，人們能夠獲取大量的不同空間分辨率、不同時(shí)間分辨率、不同光譜分辨率的圖像。在當(dāng)前復(fù)雜的軍事戰(zhàn)場(chǎng)環(huán)境中可見(jiàn)光成像、紅外成像等是獲取場(chǎng)景圖像并進(jìn)行目標(biāo)探測(cè)的常用手段，成像方式成像機(jī)理相差較大，各有特點(diǎn)。

可見(jiàn)光圖像傳感器主要根據(jù)物體的光譜反射特性成像，它只與目標(biāo)場(chǎng)景的反射有關(guān)與其他無(wú)關(guān)，所以可見(jiàn)光圖像包含了豐富的地物光譜信息，能夠很好地描述場(chǎng)景中的環(huán)境信息，反映真實(shí)目標(biāo)情況。但是在戰(zhàn)場(chǎng)實(shí)際環(huán)境中，出現(xiàn)煙霧等遮擋時(shí)，就無(wú)法觀察出遮擋的目標(biāo)［1］。紅外傳感器主要根據(jù)物體的熱輻射特性成像，它可以提供溫度梯度較大或與背景有較大熱對(duì)比的低可視目標(biāo)的紅外圖像，紅外圖像很好地給出了目標(biāo)存在特性和位置特性，具有識(shí)別目標(biāo)高溫偽裝的能力，不易受戰(zhàn)場(chǎng)上風(fēng)沙煙霧等復(fù)雜條件的影響。但是目標(biāo)邊緣模糊，并且對(duì)場(chǎng)景的亮度變化不敏感［2］。從二者的特點(diǎn)可以看出，紅外與可見(jiàn)光圖像具有很好的信息互補(bǔ)性，將二者進(jìn)行圖像融合，能夠提高系統(tǒng)的探測(cè)能力，在戰(zhàn)場(chǎng)偵察中具有重要的應(yīng)用價(jià)值。

目前，紅外圖像與可見(jiàn)光圖像融合的方法主要可以分為兩大類(lèi)：空域法與頻域法［3］。空域算法主要包括加權(quán)平均、邏輯濾波器法、數(shù)學(xué)形態(tài)學(xué)法［4］等，頻域法主要包括基于IHS變換法［5］、基于小波變換的方法［6］、基于輪廓波變換的方法［7］等。

同時(shí)，紅外與可見(jiàn)光圖像融合算法的優(yōu)劣還取決于融合規(guī)則的選取。常見(jiàn)的融合規(guī)則主要有像素取最大值法、像素取最小值法、像素平均值法、像素加權(quán)平均法、梯度準(zhǔn)則、局部能量法等，由于基于像素點(diǎn)的圖像融合規(guī)則具有方便快捷等優(yōu)點(diǎn)，本算法的融合規(guī)則采用基于像素點(diǎn)的融合規(guī)則［8］。

紅外圖像與可見(jiàn)光圖像是戰(zhàn)場(chǎng)中常用的兩種目標(biāo)場(chǎng)景圖像，本文針對(duì)戰(zhàn)場(chǎng)中這兩種圖像的融合進(jìn)行了研究，首先通過(guò)雙三次插值對(duì)紅外圖像進(jìn)行超分辨率恢復(fù)得到與可見(jiàn)光圖像分辨率相同的圖像，進(jìn)而利用基于互相關(guān)的圖像配準(zhǔn)算法對(duì)源圖像進(jìn)行配準(zhǔn)，最后用基于偽彩色的圖像融合方法對(duì)兩種灰度圖像進(jìn)行融合，得到一幅偽彩色融合圖像，提高了視覺(jué)效果，同時(shí)保留了二者的有效信息。

2 基于偽彩色的圖像融合過(guò)程

本文提出的紅外圖像與可見(jiàn)光灰度圖像融合過(guò)程總體流程圖如圖1所示，主要包括紅外圖像的超分辨率重建，得到一幅與可見(jiàn)光圖像分辨率相同的圖像。進(jìn)而選取與可見(jiàn)光圖像中相同的目標(biāo)區(qū)域，進(jìn)行圖像配準(zhǔn)，進(jìn)而對(duì)配準(zhǔn)好的圖像利用基于偽彩色的圖像融合方法進(jìn)行融合，得到最終的融合結(jié)果。

2.1 超分辨率重建

紅外圖像往往具有成像質(zhì)量不高、分辨率低的問(wèn)題，因此首先需要對(duì)紅外圖像進(jìn)行超分辨率重建。當(dāng)前，基于插值的方法是超分辨率研究中最為直觀的方法。通過(guò)對(duì)圖像的多幀進(jìn)行比較估計(jì)，得到它們之間的相對(duì)關(guān)系信息，以此獲得高分辨率圖像在非均勻間距采樣點(diǎn)上的像素值，然后通過(guò)雙三次插值，就可以得到一幅高分辨率的圖像。

雙三次插值又稱(chēng)立方卷積插值，是一種比雙線性插值更為復(fù)雜的插值方式，它能創(chuàng)造出比雙線性插值更平滑的圖像邊緣［11］。利用采樣點(diǎn)周?chē)?×4鄰域內(nèi)的16個(gè)點(diǎn)的灰度值作三次插值，不僅考慮到4個(gè)直接相鄰點(diǎn)的灰度影響，而且考慮到各鄰點(diǎn)灰度值變化率的影響。三次運(yùn)算可以得到更接近高分辨率圖像的放大效果，但也導(dǎo)致了運(yùn)算量的急劇增大，此算法需要選取插值基函數(shù)來(lái)擬合數(shù)據(jù)。

如圖2所示為原始紅外圖像，圖像分辨率為278×179，經(jīng)過(guò)雙三次插值處理得到與可見(jiàn)光圖像分辨率相同的圖像如圖3所示，插值后分辨率為472×351。由處理后的圖像可見(jiàn)，經(jīng)過(guò)雙三次插值后的圖像很好地保留了圖像細(xì)節(jié)部分。

2.2 圖像配準(zhǔn)

從本質(zhì)上看，紅外和可見(jiàn)光圖像的配準(zhǔn)屬于多源圖像配準(zhǔn)的范疇［12］，是指依據(jù)一些相似性度量決定圖像間的變換參數(shù)，使從不同傳感器、不同視角、不同時(shí)間獲取的同一場(chǎng)景的兩幅或多幅圖像，變換到同一坐標(biāo)系下，在像素層上得到最佳匹配的過(guò)程。待配準(zhǔn)圖像相對(duì)于參考圖像的配準(zhǔn)可定義為兩個(gè)二維數(shù)組，分別用I1(x ，y )和 I2(x ，y )表示。配準(zhǔn)即要將圖像I1中某一點(diǎn)映射到I2中的新位置I2(x ′，y′)，用表達(dá)式描述為

其中 f為二維空間變換，將變換后的像素點(diǎn)插值重采樣。

目前圖像配準(zhǔn)主要可以分為三類(lèi)：灰度信息分析配準(zhǔn)、變換域分析配準(zhǔn)、特征分析配準(zhǔn)方法?；叶刃畔⒎治雠錅?zhǔn)方法主要是通過(guò)直接對(duì)灰度信息進(jìn)行處理來(lái)求取待配準(zhǔn)圖像和參考圖像之間的坐標(biāo)變換關(guān)系。

在異質(zhì)圖像配準(zhǔn)中，考慮到成像原理的截然不同，比如紅外圖像與可見(jiàn)光圖像中圖像的統(tǒng)計(jì)特性往往描述不同，導(dǎo)致相似性度量準(zhǔn)則的誤匹配率很高，近年來(lái)，信息論的快速發(fā)展給基于灰度的圖像配準(zhǔn)在異質(zhì)圖像中的應(yīng)用帶來(lái)了新思路，基于互信息分析方法在異質(zhì)圖像配準(zhǔn)中取得了較好的效果［13］。本算法針對(duì)紅外圖像與可見(jiàn)光灰度圖像也采用基于互信息分析的配準(zhǔn)方法。

互信息是用于衡量?jī)蓚€(gè)隨機(jī)變量的統(tǒng)計(jì)相關(guān)度［14］，表示隨機(jī)變量之間相互包含的信息量，如果待配準(zhǔn)圖與參考圖之間完美配準(zhǔn)，那么其對(duì)應(yīng)像素點(diǎn)的互信息應(yīng)該達(dá)到峰值，互信息MI( )I1，I2為

式中，H(I1)和H(I2)分別表示I1和I2完全獨(dú)立時(shí)的邊緣概率分布，pI1，I2(a，b)表示兩者的聯(lián)合概率分布。

基于互信息分析的方法是將灰度強(qiáng)度作為隨機(jī)變量，當(dāng)完全對(duì)準(zhǔn)時(shí)，可以根據(jù)待配準(zhǔn)圖像的某一坐標(biāo)上的灰度強(qiáng)度來(lái)較好地估計(jì)出另外一幅圖上對(duì)應(yīng)坐標(biāo)的強(qiáng)度值。圖像的配準(zhǔn)位置即互信息最大時(shí)的位置，計(jì)算配準(zhǔn)參數(shù)的過(guò)程就是尋找這個(gè)最大值的過(guò)程。通過(guò)配準(zhǔn)后的圖像如圖5所示，圖5中可看到配準(zhǔn)后地面更接近水平位置，與可見(jiàn)光圖像視角一致。

2.3 基于Toet的圖像融合

Toet等［9］提出的可見(jiàn)光和紅外偽彩色圖像融合方法，是一種模仿生物學(xué)中顏色對(duì)抗機(jī)制的方法，它是較早的進(jìn)行顏色融合輸出的報(bào)道之一，其原理如圖6所示。

該算法分為三個(gè)步驟，首先找出兩個(gè)輸入圖像，即可見(jiàn)光和紅外圖像的相同部分；然后將兩幅輸入圖像分別減去相同部分構(gòu)成的圖像，得到紅外圖像和可見(jiàn)光圖像的特有成分圖像；最后，用紅外圖像減去可見(jiàn)光圖像的特有部分，饋入R通道，用可見(jiàn)光圖像減去紅外圖像的特有部分，饋入G通道，用可見(jiàn)光圖像的特有成分減去紅外圖像的特有成分，饋入B通道，這樣就得到了融合圖像的RGB圖像［10］。

由于在戰(zhàn)場(chǎng)復(fù)雜環(huán)境中使用較多的是灰度可見(jiàn)光與紅外圖像，因此本文提出基于Toet偽彩色理論的圖像融合方法，利用人眼對(duì)彩色的分辨率要高于對(duì)灰度的分辨率，在融合中用不同的彩色表現(xiàn)細(xì)節(jié)上的差異。

3 試驗(yàn)驗(yàn)證及融合效果分析

本文的試驗(yàn)平臺(tái)是一臺(tái)CPU主頻為3.60GHz、8G內(nèi)存，英特爾I7-4790處理器的PC，使用的是Visual Studio 2010與QT 5.2的編譯環(huán)境。本節(jié)選取一組同一場(chǎng)景的紅外與可見(jiàn)光圖像進(jìn)行融合仿真實(shí)驗(yàn)。圖7為經(jīng)過(guò)插值并且經(jīng)過(guò)配準(zhǔn)后的紅外圖像，圖8為可見(jiàn)光圖像，對(duì)源圖像進(jìn)行融合算法處理后得到的結(jié)果如圖9所示。

從主觀視覺(jué)效果來(lái)看，本文方法得到的融合圖像比源圖像邊緣更清晰，細(xì)節(jié)和紋理保留較為完整，同時(shí)彩色圖像比灰度可見(jiàn)光圖像具有更好的視覺(jué)效果，有利于辨識(shí)圖中敵情。

為了客觀，定量評(píng)價(jià)融合圖像的質(zhì)量，判斷融合后的圖像繼承源可見(jiàn)光灰度圖像和紅外圖像的信息量的大小，采用條件交互信息量的方法衡量源圖像融合圖像轉(zhuǎn)移的信息量。融合圖像F和源圖像A、B的條件交互信息量計(jì)算公式為［15］

式中，H(A ，B)表示源可見(jiàn)光圖像和紅外圖像的聯(lián)合熵，定義為

CMI的值越大，表示融合圖像從源圖像中獲取的信息越豐富，融合效果越好，1表示源圖像的全部信息都轉(zhuǎn)移到了融合圖像，這是理想情況。計(jì)算試驗(yàn)中的源圖像和融合圖像的CMI值為0.86658，根據(jù)經(jīng)驗(yàn)，這表明了融合圖像從源圖像繼承的分辨率、對(duì)比度等信息量很大，融合圖像滿(mǎn)足戰(zhàn)場(chǎng)分析的需要。

4 結(jié)語(yǔ)

在實(shí)際戰(zhàn)場(chǎng)偵察中，可見(jiàn)光圖像與紅外圖像應(yīng)用居多，本文為了解決戰(zhàn)場(chǎng)上紅外圖像分辨率低、灰度范圍狹窄，可見(jiàn)光受煙霧等遮擋的問(wèn)題，提出了一種利用偽彩色融合對(duì)二者進(jìn)行融合的方法。融合后的結(jié)果圖像不僅保留了紅外圖像中檢測(cè)到的隱藏目標(biāo)，還保留了可見(jiàn)光圖像的高分辨率及紋理信息，融合后的彩色圖像更有益于戰(zhàn)場(chǎng)上指揮員對(duì)戰(zhàn)場(chǎng)圖像的判讀，能夠更加有效地發(fā)現(xiàn)和識(shí)別目標(biāo)，獲取更加豐富和直觀的戰(zhàn)場(chǎng)態(tài)勢(shì)感知。

［1］敬忠良，肖剛.圖像融合：理論與應(yīng)用［M］.北京：高等教育出版社，2007.

［2］李慧.遙感圖像融合算法的研究［D］.哈爾濱：哈爾濱理工大學(xué)，2009.

［3］楊帆.數(shù)字圖像處理與分析.第2版［M］.北京：北京航空航天大學(xué)出版社，2010.

［4］金益如.多源遙感圖像融合算法及其效果評(píng)價(jià)研究［D］.合肥：合肥工業(yè)大學(xué)，2016

［5］楊斌.基于IHS變換和稀疏表示的遙感圖像融合［C］//2010年全國(guó)模式識(shí)別學(xué)術(shù)會(huì)議，重慶，2010.

［6］Adu J，Gan J，Wang Y，et al.Image fusion based on nonsubsampled contourlet transform for infrared and visible light image［J］.Infrared Physics&Technology，2013，61（5）：94-100.

［7］基于輪廓波變換的圖像融合算法研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2013.

［8］Chen Y，Xue Z，Blum R S.Theoretical analysis of an information-based quality measure for image fusion［M］.Elsevier Science Publishers B.V.2008.

［9］Toet A，Walraven J.New false color mapping for image fusion［J］.Optical Engineering，1996，35（3）：650-658.

［10］黃光華，倪國(guó)強(qiáng)，張彬.基于Land實(shí)驗(yàn)的可見(jiàn)紅外偽彩色圖像融合方法［J］. 光學(xué)技術(shù)，2007，33（1）：98-101.

［11］高成敏，陳良，林永和.雙三次卷積模板算法［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45（17）：151-154.

［12］陳煜，田裕鵬，圖像融合中的圖像配準(zhǔn)方法研究［J］.激光與紅外.2004，34（1）：34-36

［13］葉傳奇.基于多尺度分解的多傳感器圖像融合算法研究［D］.西安：西安電子科技大學(xué)，2009.

［14］Zhao J，Zhou Q，Chen Y，et al.Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition［J］.Infrared Physics&Technology，2013，56（2）：93-99.

［15］War S A P，Malwadkar S.A Review：Image Fusion Techniques for Multisensor Images［J］.2015，04（1）：406-410.