徐敏
摘要摘要:為更好地保留原始紅外圖像的目標(biāo)信息,挖掘更多微光圖像的細(xì)節(jié)信息,提出一種結(jié)合分割紅外圖像與增強(qiáng)微光圖像的融合方法。首先對(duì)原始紅外圖像進(jìn)行二維最大熵法分割以提取紅外目標(biāo)信息,對(duì)原始微光圖像進(jìn)行Zadeh變換以增強(qiáng)其細(xì)節(jié)信息,依據(jù)紅外分割圖,將增強(qiáng)后的微光圖像與原始紅外圖像進(jìn)行一次融合;然后,在非下采樣contourlet變換(NSCT)域,對(duì)原始紅外圖像、微光圖像和一次融合后的圖像進(jìn)行二次融合,得到最終融合圖像。通過(guò)試驗(yàn)對(duì)比,所提出的二次融合方法得到的融合圖像視覺(jué)效果明顯優(yōu)于其它方法。最后,利用多個(gè)指標(biāo)進(jìn)行客觀評(píng)價(jià)。結(jié)果顯示,該方法可有效突出目標(biāo)信息,提高圖像清晰度與對(duì)比度,挖掘更多細(xì)節(jié)信息。
關(guān)鍵詞關(guān)鍵詞:紅外圖像;微光圖像;二維最大熵;zadeh 變換;二次融合;NSCT
DOIDOI:10.11907/rjdk.162352
中圖分類號(hào):TP317.4文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào)文章編號(hào):16727800(2017)001017004
圖像融合就是利用多傳感器提供的冗余數(shù)據(jù)與互補(bǔ)信息進(jìn)行處理,獲得一幅對(duì)同一場(chǎng)景目標(biāo)更為準(zhǔn)確與細(xì)節(jié)更具視覺(jué)效果的圖像[1]。紅外與微光圖像融合作為圖像融合中的一個(gè)重要分支,盡可能地保留原始數(shù)據(jù)信息,不產(chǎn)生臆造虛假信息,以對(duì)目標(biāo)與場(chǎng)景進(jìn)行合理的綜合描述。目前,該技術(shù)在智能交通、安全監(jiān)控、人類視覺(jué)輔助等領(lǐng)域得到廣泛應(yīng)用[24]。
任何一種傳感器都有其自身的局限性,不能全面捕捉場(chǎng)景信息,紅外或微光傳感器也不例外。為了較好的結(jié)合兩者成像優(yōu)勢(shì),許多學(xué)者做了大量研究,提出了很多融合方法,如拉普拉斯融合法、小波變換法、curvelet變換法、contourlet融合法、非下采樣contourlet法、shearlet等[58],這些方法均屬于多尺度分解的方法,將原始圖像分解為低頻系數(shù)與高頻系數(shù),并分別對(duì)其采用不同的融合規(guī)則進(jìn)行融合,均能實(shí)現(xiàn)較好的融合,但未能較好地保留圖像的原始信息,尤其針對(duì)光照不足或者目標(biāo)隱蔽等情況,容易出現(xiàn)目標(biāo)丟失或不明顯,不能較好理解場(chǎng)景。為此,近年來(lái),人們提出了其它融合方法[911],以較好提取目標(biāo)或挖掘更多深度細(xì)節(jié)信息。文獻(xiàn)[12]結(jié)合壓縮感知原則進(jìn)行融合,縮短了融合時(shí)間且融合圖像較具視覺(jué)效果,但目標(biāo)突出不明顯。李樹(shù)濤等[13]提出了基于平均濾波器,將原始圖像分解為基層與細(xì)節(jié)層,并利用引導(dǎo)濾波器構(gòu)造權(quán)重圖,依權(quán)重圖加權(quán)融合,該方法可以實(shí)現(xiàn)快速融合,具有較好細(xì)節(jié)表現(xiàn)力,但針對(duì)紅外與微光的融合圖像對(duì)比度較差。文獻(xiàn)[14]提出結(jié)合引入了局部直方圖均衡化增強(qiáng)紅外與微光圖像,并用中值濾波進(jìn)行去噪,融合較快且細(xì)節(jié)突出,但目標(biāo)不顯著。邢素霞等[15]提出了Renyi熵分割紅外圖像提取目標(biāo),采用非下采樣 contourlet 變換(NSCT)域增強(qiáng)微光圖像低頻分量方法進(jìn)行融合,亮度較好,但其增強(qiáng)過(guò)程中圖像的細(xì)節(jié)信息稍弱。
以上方法均能實(shí)現(xiàn)不同圖像信息之間的冗余互補(bǔ),對(duì)比度或清晰度得到了一定程度提高,但不能較好兼顧對(duì)比度與清晰度。為了同時(shí)達(dá)到對(duì)比度增強(qiáng)與提高清晰度的目的,本文提出一種分割紅外圖像,增強(qiáng)微光圖像,將分割目標(biāo)圖像與增強(qiáng)后的微光圖像進(jìn)行融合,本文稱為一次融合。為有效防止圖像分割不完整與過(guò)增強(qiáng),在NSCT域?qū)⒁淮稳诤蠄D像與原始紅外和微光圖像進(jìn)行融合,本文稱為二次融合,以保留較多原始信息,視覺(jué)效果更好的目的。
2分割紅外圖像與增強(qiáng)微光圖像
2.1二維最大熵分割紅外圖像
熱目標(biāo)是紅外圖像的重要信息,為較好突出紅外目標(biāo),本文引用二維最大熵閾值[16]分割紅外圖像,提取目標(biāo)信息。
由于待分割紅外圖像目標(biāo)域與背景域概率分布都不相同,采用灰度—區(qū)域灰度均值的后驗(yàn)概率對(duì)各區(qū)域的發(fā)生概率進(jìn)行歸一化處理。設(shè)初始圖像的分割值為(s,t)、 背景區(qū)域概率與目標(biāo)區(qū)域的概率分別為pB和pO,則有:
2.2Zadeh變換增強(qiáng)微光圖像
微光圖像含細(xì)節(jié)紋理信息,其場(chǎng)景較暗,對(duì)比度不明顯,為使融合有更多細(xì)節(jié)信息,對(duì)微光圖像進(jìn)行增強(qiáng)。傳統(tǒng)方法有直方圖均衡化、灰度拉伸等,但處理后動(dòng)態(tài)效果不明顯,且過(guò)多增強(qiáng)了圖像的噪聲。本文選取Zadeh變換[17]進(jìn)行增強(qiáng)。
該算法引入了生物特性,以考慮人眼接收?qǐng)D像信息為出發(fā)點(diǎn),具體實(shí)現(xiàn)如下:
4試驗(yàn)結(jié)果與分析
為驗(yàn)證本文融合算法的有效性和正確性,實(shí)驗(yàn)基于MATLAB平臺(tái),對(duì)兩組已完全配準(zhǔn)的紅外與微光原始圖像(其大小均為256×256)選至圖片庫(kù)。圖2(a)、(b)為第一組,圖2(a)紅外圖像中可看到清晰的人物,微光圖像圖2(b)中可以清晰看到道路、山坡、灌木和柵欄等景物;如圖3(a)、(b)為第二組,圖3(a) 紅外圖像中可以辨識(shí)人物、船體及其它細(xì)小目標(biāo),微光圖像圖3(b)可清晰看到船體、天空等景物。4.1融合步驟
融合算法流程,以圖2(a)、(b)作為原始圖像如圖1所示。其中,圖1(c)為利用最大熵分割得到的背景圖,可以看到清晰的人物;采用Zadeh變換得到的增強(qiáng)后的圖像圖1(d),對(duì)比度提高,可見(jiàn)更多細(xì)節(jié)信息,如可清晰看到人物旁邊的柵欄;圖1(e)為圖1(c)與圖1(d)融合得到的一次融合圖像,其對(duì)比度明顯提高,而且看到確定的人物目標(biāo)以及更為清晰的細(xì)節(jié)信息;圖1(f)為圖1(a)、圖1(b)與圖1(e)三者在NSCT域下融合得到的二次融合圖像,它是對(duì)圖1(e)進(jìn)行一個(gè)二次處理,雖然與圖1(e)相比,其對(duì)比度有所下降,但其細(xì)節(jié)更為清晰,包含更多有用信息。
為加強(qiáng)對(duì)照試驗(yàn),本文采用4種方法對(duì)一次融合、二次融合得到的圖像進(jìn)行效果驗(yàn)證。圖2(c)~(d)與圖3(c)~(d)分別為采用bior97小波變換、NSCT的圖像融合結(jié)果,融合規(guī)則均為低頻加權(quán)平均與高頻絕對(duì)值取大,分解層數(shù)均為4層,稱為小波方法、NSCT方法;圖2(e)與圖3(e)為文獻(xiàn)[13]中方法,簡(jiǎn)稱GF方法;圖2(f)與圖3(f)為文獻(xiàn)[15]中方法,簡(jiǎn)稱Renyi熵法;圖2(g)與圖3(g)為對(duì)紅外最大熵分割,微光圖像zadeh變換增強(qiáng),融合得到的融合圖像,簡(jiǎn)稱一次融合;圖2(h)與3(h)為二次融合算法,簡(jiǎn)稱二次融合。
4.2實(shí)驗(yàn)結(jié)果與主客觀評(píng)價(jià)
由圖2分析可知,圖2(c)中柵欄模糊,細(xì)節(jié)丟失嚴(yán)重;圖2(d)清楚看到細(xì)節(jié)信息,但對(duì)比度較差;圖2(e)圖像目標(biāo)明顯,但細(xì)節(jié)信息不清晰,整體不自然; 由圖3分析可知,圖3(c)目標(biāo)船只周圍重影明顯,整體效果較為模糊;圖3(d)整體效果較好,但對(duì)比度一般;圖3(e)中船只不自然,細(xì)節(jié)信息不突出;圖3(f)圖像亮度過(guò)亮,淹沒(méi)了一些細(xì)小目標(biāo);圖3(g)有較好的視覺(jué)效果,但細(xì)小目標(biāo)丟失嚴(yán)重;圖3(h)細(xì)節(jié)信息較為清晰,目標(biāo)明顯,整體效果較好。可以看出,本文提出的方法得到的融合圖像具有更好的視覺(jué)效果。
為了進(jìn)一步驗(yàn)證本文所提方法的有效性,本文采用清晰度(C)、平均梯度(AG)、空間頻率(SF) 3個(gè)評(píng)價(jià)指標(biāo)對(duì)各種方法進(jìn)行評(píng)價(jià),評(píng)價(jià)結(jié)果如表1。從表1可以分析出,本文所提方法得到更大的清晰度值、平均梯度值與空間頻率值,這與主觀評(píng)價(jià)結(jié)果相一致,本文提出的方法最優(yōu)。
參考文獻(xiàn):
[1]潘瑜,鄭鈺輝,孫權(quán)森,等.基于PCA和總差變模型的圖像融合框架[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2011, 23(7): 259266.
[2]JAMAL S, KARIM F. Infrared and visible image fusion using fuzzy logic and populationbased optimization[J]. Applied Soft Computing, 2012(12):10411054.
[3]BAI X Z, ZHOU F G, XUE B D. Fusion of infrared and visual images through region extraction by using multi scale centersurround tophat transform[J]. Optics Express, 2011,19(9): 84448457.
[4]BRANDON M,ISMAIL B A,MAX W,et al.Spine image fusion via graph cuts[J]. IEEE Transaction on Biomedical Engineering, 2013,60(7): 18411850.
[5]JEESE S, MICHAEL A PUSATERI. Laplacian based image fusion[C]. Applied Imagery Pattern Recognition Workshop(AIPR), 2010:17.
[6]YONGHYUN K, CHANGNO L, DONGYEOB H,et al.Improved additivewavelet image fusion[J]. IEEE Geoscience and Remote Letters, 2011,8(2): 263267.
[7]XIONG J T,TAN R J,LI C L,et al.Image fusion algorithm for visible and pmmw images based on curvelet and improvedPCNN[J]. IEEE 11th International Conference on Signal Processing(ICSP),2012(2):903907.
[8]LIU K, GUO L, CHEN J S. Contourlet transform for image fusion using cycle spinning[J]. Journal of Systems Engineering and Electronics, 2011,22(2): 353357.
[9]路雅寧,郭雷,李暉暉.基于曲波活性測(cè)度的SAR與多光譜圖像融合[J].計(jì)算機(jī)應(yīng)用研究,2012,29(11):43604363.