舒久明

(西安電子科技大學(xué) 電子工程學(xué)院,陜西 西安 710071)

一種自適應(yīng)的紅外與可見(jiàn)光圖像融合算法

舒久明

(西安電子科技大學(xué) 電子工程學(xué)院,陜西 西安 710071)

通過(guò)一種自適應(yīng)算法對(duì)紅外圖像和可見(jiàn)光圖像進(jìn)行了融合,該方法能根據(jù)當(dāng)前環(huán)境下的圖像特性自適應(yīng)地調(diào)整融合參數(shù)。分析了紅外與可見(jiàn)光圖像的特性,并對(duì)已有的小波融合算法進(jìn)行仿真驗(yàn)證,最終提出了基于小波變換的自適應(yīng)融合算法,并對(duì)其進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明,該方法產(chǎn)生的融合圖像更有利于人眼觀察,且融合性能指標(biāo)也有所提升。

紅外;可見(jiàn)光;融合;自適應(yīng)

隨著信息融合技術(shù)的發(fā)展,多傳感器協(xié)同工作成為了可能。而伴隨著視頻圖像處理領(lǐng)域需求的提升,各種各樣的圖像傳感器不斷涌現(xiàn),性能在提高,成本也不斷下降。尋求一種技術(shù)綜合所有圖像傳感器獲取的信息以獲取更高的系統(tǒng)性能成為了新的發(fā)展方向。

圖像融合技術(shù)發(fā)展迅速,由于紅外技術(shù)在軍用市場(chǎng)的重要性,紅外與可見(jiàn)光圖像融合技術(shù)格外受到研發(fā)人員的重視,在一些發(fā)達(dá)國(guó)家,上世紀(jì)90年代便已開(kāi)始了研究,并投入了大量的人力和物力,取得了較有意義的成果,美國(guó)已經(jīng)在大量武器裝備上采用了該技術(shù)。而相比國(guó)外,由于關(guān)鍵技術(shù)的落后,圖像融合方面的研究起步較晚,目前,據(jù)資料顯示,北京理工大學(xué)近年來(lái)致力于圖像融合技術(shù)的研究,并成功研發(fā)出實(shí)時(shí)融合處理系統(tǒng)[1],也只有少數(shù)機(jī)構(gòu)將該項(xiàng)技術(shù)應(yīng)用于產(chǎn)品開(kāi)發(fā)。

1 可見(jiàn)光與紅外圖像融合分析

傳感器不同,獲取的圖像特性則不同,可見(jiàn)光與紅外傳感器成像特點(diǎn)有較大不同。融合的目的就是為了能方便地觀察到更多場(chǎng)景中的信息,將不同傳感器所采集到的有用信息可顯示在一幅圖像上,其有利于提高系統(tǒng)后續(xù)的檢測(cè)搜救等功能。

可見(jiàn)光傳感器獲取場(chǎng)景的各種反射信息,有較高的時(shí)空分辨率,圖像包含有豐富的幾何和紋理細(xì)節(jié)以及豐富的色彩信息。但在天氣惡劣的情況下,成像效果較差,穿透能力弱,會(huì)存在有些重要目標(biāo)丟失的情況。紅外傳感器能探測(cè)到隱藏的目標(biāo),其利用目標(biāo)與背景的溫度差別可顯示目標(biāo)的輪廓,但成像背景細(xì)節(jié)少,分辨率低。集合可見(jiàn)光的細(xì)節(jié)和紅外的高灰度目標(biāo)也就成了紅外與可見(jiàn)光圖像融合的主要目標(biāo)[2]。

簡(jiǎn)單的像素加權(quán)難以取得較好的融合結(jié)果,需要有更精確的圖像表示來(lái)進(jìn)行融合獲取結(jié)果圖像。而在圖像處理中,最為可靠而且最方便用于工程表示和計(jì)算圖像的方式就是利用頻率信息。高頻信息體現(xiàn)著圖像紋理細(xì)節(jié)的信息,低頻部分則代表的圖像基本內(nèi)容包括背景信息,目標(biāo)幾何形狀等。所以在融合處理中,眾多研究者把如何將圖像準(zhǔn)確的用高頻和低頻信息表示作為研究重點(diǎn),在實(shí)際應(yīng)用中也確實(shí)取得了較好的效果。

2 基于小波變換的圖像融合原理

基于小波變換的圖像融合技術(shù)[3]以多分辨率理論為基礎(chǔ),該融合方法可在不同的尺度和頻率空間對(duì)圖像進(jìn)行表示和觀察,其克服了簡(jiǎn)單像素加權(quán)方法帶來(lái)的拼接痕跡和圖像金字塔融合方法的數(shù)據(jù)冗余性的缺點(diǎn),而且有針對(duì)性地對(duì)圖像細(xì)節(jié)信息進(jìn)行融合處理,這種多尺度的融合處理更復(fù)合生物視覺(jué)特性,與人眼觀察事物從粗到細(xì)的認(rèn)知過(guò)程也相似。

圖1 小波分解原理

源圖像分解后,便可得到按層次分解獲取的圖像信息,對(duì)應(yīng)層次的信息需要進(jìn)行組合。該過(guò)程就需要有融合規(guī)則來(lái)進(jìn)行指導(dǎo)。不同層次代表著圖像不同的內(nèi)容,也決定了融合過(guò)程需要不同的融合規(guī)則。低頻子帶可反映出圖像的整體灰度信息,而高頻子帶代表了圖像的邊緣高頻信息,反映了物體的輪廓。大多研究工作,低頻采用加權(quán)相加規(guī)則,高頻通過(guò)圖像特性例如方差、空間頻率等指標(biāo)進(jìn)行選取[4],最后將融合所得的子帶信息進(jìn)行重構(gòu)可得到融合圖像。

3 自適應(yīng)融合算法思想

選定小波基之后,融合規(guī)則的選取對(duì)于圖像融合的結(jié)果有較大影響。至今也沒(méi)有一個(gè)融合規(guī)則得到所有科研人員的認(rèn)可,圖像小波分解后,低頻信息可反映出整個(gè)背景信息包括平均灰度信息和明顯的邊緣輪廓,在多聚焦圖像融合中,不同原圖像低頻信息非常接近,所以大多采用平均加權(quán)即可滿足需求,而針對(duì)紅外與可見(jiàn)光圖像融合,這樣的低頻融合規(guī)則就會(huì)出現(xiàn)問(wèn)題,因?yàn)榧t外與可見(jiàn)光的灰度范圍通常相差較大,兩者所表現(xiàn)出的場(chǎng)景信息有時(shí)也會(huì)相差較大,且可見(jiàn)光一般情況紋理更豐富,最終導(dǎo)致兩者的低頻子帶有較大區(qū)別,傳統(tǒng)的平均加權(quán)融合會(huì)導(dǎo)致最終融合結(jié)果紋理不自然,影響人眼的觀察。

高頻信息融合最重要的目的就是保留源圖像中有意義的細(xì)節(jié)信息,一般的融合規(guī)則都是對(duì)像素逐個(gè)處理,沒(méi)有考慮到區(qū)域特性,融合結(jié)果不可避免出現(xiàn)紋理較源圖像更粗糙。

針對(duì)紅外與可見(jiàn)光融合出現(xiàn)的問(wèn)題,本文提出一種自適應(yīng)的紅外與可見(jiàn)光融合方法,算法具體流程如圖2所示。

圖2 自適應(yīng)小波融合算法流程

(1)由距離觀察場(chǎng)景目標(biāo)的遠(yuǎn)近來(lái)自適應(yīng)改變小波分解層次,感興趣目標(biāo)尺寸越小,需要分解的層次N越小,同一分辨率的圖像,越小的細(xì)節(jié)需要在高尺度體現(xiàn)出來(lái)。

(2)由于可見(jiàn)光圖像最符合人眼觀察,且圖像的低頻部分反映區(qū)域平均灰度即自然場(chǎng)景的明暗,最能真實(shí)地反映觀察環(huán)境,低頻部分完全采用可見(jiàn)光低頻系數(shù)。

(3)小波分解的高頻系數(shù)反映了圖像的細(xì)節(jié)信息,高頻中較大系數(shù)代表了原圖像的明顯細(xì)節(jié),采用絕對(duì)值取大的融合規(guī)則[5]。

在醫(yī)院管理當(dāng)中,護(hù)理工作是貫穿在醫(yī)院感染控制工作的整個(gè)過(guò)程當(dāng)中,根據(jù)調(diào)查顯示,發(fā)生醫(yī)院感染的原因大對(duì)數(shù)由與醫(yī)護(hù)人員操作不當(dāng)有關(guān),隨著近年來(lái)國(guó)內(nèi)一些嚴(yán)重的醫(yī)院感染事故的發(fā)生,醫(yī)院管理層及醫(yī)護(hù)人員應(yīng)意識(shí)到護(hù)理工作的重要性,加強(qiáng)護(hù)理管理工作。在醫(yī)院管理中,首先完善各項(xiàng)護(hù)理工作制度與規(guī)范,其次加強(qiáng)對(duì)護(hù)理基礎(chǔ)工作的管理,嚴(yán)格無(wú)菌操作;加強(qiáng)手衛(wèi)生依從性管理;加強(qiáng)消毒隔離工作;加強(qiáng)病區(qū)與門診的護(hù)理管理工作等,護(hù)理管理在醫(yī)院感染防控中起著重要的作用。

(1)

(2)

(4)高頻系數(shù)中較小的部分,根據(jù)區(qū)域特性標(biāo)準(zhǔn)差或能量來(lái)決定選取哪個(gè)原圖像高頻分量。

(3)

(4)

4 仿真結(jié)果分析

4.1 算法仿真

選取兩組具有代表性的圖像,分別進(jìn)行了傳統(tǒng)小波融合方法和自適應(yīng)小波融合方法的仿真,其仿真結(jié)果如圖3和圖4所示。

圖3 第一組仿真圖像數(shù)據(jù)

圖4 第二組仿真圖像數(shù)據(jù)

4.2 仿真結(jié)果分析

仿真結(jié)果發(fā)現(xiàn),傳統(tǒng)小波融合方法與本文提出的自適應(yīng)融合算法結(jié)果有明顯不同,下面從主觀評(píng)價(jià)和客觀評(píng)價(jià)對(duì)融合結(jié)果進(jìn)行分析。

4.2.1 主觀評(píng)價(jià)

第一組圖像尺寸為430×430像素,紅外與可見(jiàn)光圖像的灰度范圍相差非常大,紅外感興趣目標(biāo)所占矩形區(qū)為120×50像素,自適應(yīng)小波分解層數(shù)為6,對(duì)比傳統(tǒng)小波融合方法和本文提出的自適應(yīng)融合方法,傳統(tǒng)小波融合結(jié)果的紋理明顯變得不自然,而自適應(yīng)融合方法保留了可見(jiàn)光圖像的紋理,且將紅外圖像的感興趣目標(biāo)顯示在融合圖像中。

第二組圖像尺寸為423×297像素,感興趣目標(biāo)同時(shí)存在于可見(jiàn)光與紅外圖像,尺寸為60×30像素相比原圖比例較小,自適應(yīng)小波分解層數(shù)為5,傳統(tǒng)小波融合結(jié)果紋理明顯不自然,改變了可見(jiàn)光中的真實(shí)紋理,同時(shí)兩個(gè)目標(biāo)在可見(jiàn)光中紋理清晰,融合結(jié)果變得模糊。而自適應(yīng)小波融合結(jié)果紋理自然,在一定程度上增加了目標(biāo)的灰度但同時(shí)保存了可見(jiàn)光中的紋理。

4.2.2 客觀評(píng)價(jià)

為更客觀地評(píng)價(jià)圖像融合結(jié)果,本文結(jié)合一些客觀評(píng)價(jià)指標(biāo)對(duì)融合圖像質(zhì)量進(jìn)行評(píng)價(jià)[6]。表1給出了兩組圖像仿真結(jié)果的客觀評(píng)價(jià)指標(biāo)數(shù)據(jù)。

(1)標(biāo)準(zhǔn)差:灰度標(biāo)準(zhǔn)差反映了個(gè)灰度相對(duì)于圖像均值的離散程度,標(biāo)準(zhǔn)差越大,圖像紋理越豐富。

(2)平均灰度值:梯度是反映圖像局部特性的指標(biāo),平均梯度越大,圖像局部細(xì)節(jié)變換明顯,圖像比較清晰。

(3)熵:圖像的熵信息用于衡量信息豐富程度的指標(biāo),熵值越大,圖像包含信息量越豐富。

表1 兩組圖像仿真結(jié)果的客觀評(píng)價(jià)指標(biāo)

從評(píng)價(jià)指標(biāo)上看,只有標(biāo)準(zhǔn)差獲得了明顯提高,這是因?yàn)槿诤辖Y(jié)果在保留了可見(jiàn)光的豐富紋理基礎(chǔ)上,融合了紅外的感興趣目標(biāo)。熵信息和平均梯度沒(méi)有明顯提高,甚至?xí)杏兴陆?。紅外與可見(jiàn)光的融合不同于多聚焦圖像融合,多聚焦融合是為了得到紋理更清晰的圖像,而紅外與可見(jiàn)光圖像融合要求保持自然場(chǎng)景的前提下,融合紅外圖像中的感興趣目標(biāo)[7-8],因此,主觀評(píng)價(jià)應(yīng)該作為其主要的評(píng)價(jià)手段,客觀評(píng)價(jià)只能作為評(píng)價(jià)結(jié)果的輔助手段。

5 結(jié)束語(yǔ)

在利用傳統(tǒng)小波融合方法的基礎(chǔ)上,提出了一種自適應(yīng)小波融合方法。實(shí)驗(yàn)表明,這種方法明顯改善了傳統(tǒng)小波融合帶來(lái)的問(wèn)題,融合結(jié)果更符合人眼的觀察習(xí)慣,但同時(shí)相比傳統(tǒng)小波融合,在感興趣目標(biāo)較小的情況下,計(jì)算量會(huì)增加,下一步研究是如何在保持融合效果的同時(shí),提高融合速度、減少計(jì)算量。

[1] 駱媛,王嶺雪,金偉其,等.微光可見(jiàn)光紅外彩色夜視技術(shù)處理算法及系統(tǒng)進(jìn)展[J].紅外技術(shù),2010,32(6):337-344.

[2] 劉信樂(lè).紅外圖像與可見(jiàn)光圖像融合方法研究[D].成都:電子科技大學(xué),2010.

[3] Li H,Manjunath B S,Mitra S K.Multisensor image fusion using the wavelet transform[J].Graphical Models Image Process,1995,57(3):235-245.

[4] Li S,Kwok J T,Wang Y.Combination of images with diverse focuses using the spatial frequency[J].Information Fusion,2001,2(3):169-176.

[5] 歐陽(yáng)洪波.基于Contourlet變換的自適應(yīng)圖像去噪及圖像融合研究[D].長(zhǎng)沙:湖南大學(xué),2012.

[6] Xydeas C S,Petrovie V.Objective image fusion performance measure[J].Electronics Letters,2000,36(4):308-309.

[7] 劉震,那彥.基于自適應(yīng)區(qū)域方差的圖像融合方法[J].電子科技,2013,26(10):67-69.

[8] Waxman A M,Aguilar M,Baxter R A,et al.Opponent-color fusion of multi-sensor imagery:visible,IR and SAR[C].Proceeding of the Meeting of the IRIS Specialty Group on Passive Sensors,1998,1:43-61.

An Adaptive Fusion Method for Infrared and Visible Images

SHU Jiuming

(School of Electronic Engineering,Xidian University,Xi’an 710071,China)

This paper presents an adaptive fusion algorithm for infrared and visible images.This algorithm can change the fusion parameters adaptively based on the current image characteristics.First,the paper analyzes the features of infrared and visible images;then,the existing fusion algorithms based on wavelet transform are simulated;finally,an adaptive fusion algorithm based on wavelet transform is presented and verified.The results show that this algorithm provides better subjective visual effect,and evaluation parameters acquired are improved to some extent.

infrared;visible;fusion;adaptive

2014- 10- 17

舒久明(1990—),男,碩士研究生。研究方向:圖像處理與模式識(shí)別。E-mail:jiumingshu@163.com

10.16180/j.cnki.issn1007-7820.2015.05.007

TN219

A

1007-7820(2015)05-024-04