郭凌鑫 袁麗英 王飛越

摘 要：圖像融合在軍事、醫(yī)療等領(lǐng)域有廣泛的應(yīng)用，圖像融合技術(shù)是指采用特定的算法將兩幅或者多幅圖像融合成為一幅新的圖像。針對(duì)離散小波變換圖像融合算法中下采樣環(huán)節(jié)在每次濾波后一半的系數(shù)被丟棄導(dǎo)致缺乏平移不變性，使得融合算法易受到源圖像誤配準(zhǔn)影響的問題，提出了一種基于非下采樣離散小波變換的圖像融合算法，采用窗口融合規(guī)則，并對(duì)融合系數(shù)進(jìn)行一致性檢測，彌補(bǔ)下采樣環(huán)節(jié)的不足，提高融合效果。通過對(duì)基于離散小波變換和基于非下采樣離散小波算法的圖像多聚焦融合仿真研究表明，非下采樣離散小波變換算法具有平移不變性，而且具有較高融合圖像互信息和峰值信噪比，融合效果優(yōu)于離散小波變換圖像融合算法。

關(guān)鍵詞：關(guān)鍵字：圖像融合；離散小波變換；非下采樣離散小波變換

DOI：10.15938/j.jhust.2018.02.004

中圖分類號(hào)： TN911.73

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2018）02-0018-05

Abstract：Image fusion is widely used in military， medical and other fields. Image fusion technology is to use a specific algorithm to synthesize two or more images into a new image. Because of down sampling link of discrete wavelet transform image fusion algorithm， half of the coefficients are discarded， resulting in the lack of translation invariance. It makes the fusion algorithm easily affected by the error of source image registration. Due to these shortcomings， an image fusion algorithm based on non-sampling discrete wavelet transform is proposed and window fusion rule is also applied. The coefficient consistency detection makes up for the lack of sampling link and improve the fusion effect. Through discrete wavelet transform and non-sampling discrete wavelet algorithm are applied to image fusion respectively. Non-sampled discrete wavelet transform algorithm has translation invariance and it has high mutual information and peak signal to noise ratio of fusion image. Non-sampled discrete wavelet transform algorithm fusion effect is better than discrete wavelet transform image fusion algorithm.

Keywords：image fusion； discrete wavelet transform； non-subsampled discrete wavelet transform

0 引 言

近二十年來，圖像融合技術(shù)在軍事領(lǐng)域得到了廣泛的應(yīng)用。美軍通過微光和多波段紅外圖像融合方式讓其夜視技術(shù)處于世界領(lǐng)先的地位[1]。美軍的另一個(gè)夜視融合研究項(xiàng)目便是研發(fā)多光譜自適應(yīng)網(wǎng)絡(luò)戰(zhàn)術(shù)圖像系統(tǒng)（MANTIS），該系統(tǒng)可將可見光、短波和長波紅外圖像進(jìn)行融合[2]。此外，美國一些其他的軍事工業(yè)企業(yè)也著力開展基于紅外和可見光傳感器的夜視圖像融合技術(shù)[3]。圖像融合不僅在軍事領(lǐng)域有廣泛應(yīng)用，而且遍及到眾多民用應(yīng)用領(lǐng)域。在醫(yī)療診斷過程中，圖像融合技術(shù)可以把各種醫(yī)學(xué)圖像的信息有機(jī)地結(jié)合起來，完成多模式圖像融合， 不僅可以優(yōu)勢互補(bǔ)，還有可能發(fā)現(xiàn)新的有價(jià)值的信息，從而幫助醫(yī)生對(duì)疾病的準(zhǔn)確診斷[4]。

自從1989年Mallat提出二維小波分解后，小波變換在圖像處理等領(lǐng)域中迅速得到了廣泛的應(yīng)用[5]。小波變換是局域的頻率變換，是將信號(hào)分解成一系列小波函數(shù)的疊加，小波函數(shù)是由母小波函數(shù)平移或伸縮得來[6]。小波變換可以有效地提取信號(hào)的信息，并對(duì)信號(hào)進(jìn)行多尺度分析。在圖像融合領(lǐng)域，離散小波變換方法是重要的分析方法。離散小波變換在數(shù)字信號(hào)處理、量子物理、醫(yī)學(xué)斷層診斷、概率論、石油勘探、地震預(yù)報(bào)、編碼理論等諸多領(lǐng)域有廣泛的應(yīng)用[7]?？焖俑道锶~與離散小波變換算法的出現(xiàn)，遠(yuǎn)遠(yuǎn)超過了算法研究的范疇， 成為諸多科技領(lǐng)域研究的一個(gè)新的局面[8]。由于經(jīng)典離散小波的下采樣環(huán)節(jié)使得在重構(gòu)小波系數(shù)時(shí)會(huì)得到一些偽信號(hào)，而非下采樣小波變換[9]具有多尺度、冗余性和平移不變性的特性，可以避免一般方法對(duì)融合圖像引入的振鈴效應(yīng)[10]。本文在采用非下采樣小波變換情況下對(duì)圖像的低高頻系數(shù)采用系數(shù)點(diǎn)融合規(guī)則和窗口融合規(guī)則，并對(duì)基于這兩種規(guī)則的融合圖像的結(jié)果進(jìn)行分析。

圖1中在分解過程中，將該層的近似系數(shù)分別經(jīng)過低通濾波器和高通濾波器，分別得到下一層的近似系數(shù)和細(xì)節(jié)系數(shù)。以此類推重復(fù)上面的過程，直到得到想要的分解的層數(shù)為止。圖2在合成的過程中，當(dāng)前的近似系數(shù)和細(xì)節(jié)系數(shù)分別通過低通濾波器和高通濾波器，然后做加法再乘以1/2即可得到上一層的近似系數(shù)。以此類推重復(fù)上面的過程，直到得到想要的原來的輸入信號(hào)。

3 多聚焦圖像融合

3.1 融合算法流程

如圖3所示，記源圖像為A和B，融合成的圖像為F。

3.2 融合規(guī)則

圖像融合的關(guān)鍵在于對(duì)系數(shù)的處理，高頻系數(shù)和低頻系數(shù)表征不同，所以需要不同的融合規(guī)則進(jìn)行處理。低頻系數(shù)表示圖像的灰度信息，常見的對(duì)低頻融合規(guī)則是對(duì)源系數(shù)進(jìn)行平均處理。高頻系數(shù)反映的是圖像的細(xì)節(jié)信息，比如邊緣、線條還有區(qū)域的邊界[12]。高頻系數(shù)融合規(guī)則常見的方法是選擇在相同位置上絕對(duì)值最大的系數(shù)作為融合系數(shù)，這種處理低頻系數(shù)和高頻系數(shù)的融合規(guī)則統(tǒng)稱為系數(shù)點(diǎn)融合規(guī)則[13]。但這種融合規(guī)則忽略了系數(shù)的相關(guān)性且易受到噪聲的干擾。

為了改善融合質(zhì)量，將圖像的某個(gè)窗口或者某塊區(qū)域的系數(shù)進(jìn)行整體考慮，這兩種規(guī)則分別稱為窗口融合規(guī)則[13]和區(qū)域融合規(guī)則。窗口融合規(guī)則是根據(jù)融合系數(shù)局部區(qū)域的統(tǒng)計(jì)特性來選取像素的一種融合規(guī)則。區(qū)域融合規(guī)則涉及到分割算法，計(jì)算復(fù)雜，誤差也很大，所以不考慮這種融合方法。所以窗口融合規(guī)則比較適合融合任務(wù)[14]。

3.3 聚焦評(píng)價(jià)函數(shù)

1）互信息（MI）

互信息[16]是信息論的一個(gè)重要概念，闡明了兩幅圖像灰度信息分布的相關(guān)性。它的值越大，其融合圖像從原圖像獲取的信息越豐富，融合的效果也越好。其定義為：

2）峰值信噪比（PSNR）

信噪比[16]是評(píng)價(jià)圖像融合噪聲抑制的情況。峰值信噪比是信號(hào)最大功率與其噪聲越高，噪聲功率的比值。峰值噪聲比的定義為：

4 本文融合算法驗(yàn)證及分析

4.1 融合算法移變性驗(yàn)證

首先將源圖像按DWT和NSDWT兩種融合算法進(jìn)行融合，將融合得到的圖像作為參考圖像。將源圖像進(jìn)行平移變換，每平移一個(gè)像素對(duì)平移后的圖像進(jìn)行DWT和NSDWT的算法進(jìn)行融合，再將融合圖像反方向平移一直到初始位置。利用均方根誤差計(jì)算融合圖像與參考圖像的差異。所得結(jié)果如圖4所示。

通過圖4得到平移量和均方根誤差的關(guān)系，由圖可知，在DWT融合下得到的均方差嚴(yán)重偏移了0點(diǎn)，說明源圖像的平移對(duì)在DWT作用下融合的結(jié)果有很大的改變。造成DWT融合算法產(chǎn)生偏移的原因是多尺度變換的移變性使系數(shù)發(fā)生了變化，造成融合規(guī)則對(duì)系數(shù)的選取產(chǎn)生了錯(cuò)誤。而在NSDWT融合下得到的均方差很穩(wěn)定的在0點(diǎn)，沒有產(chǎn)生偏移，說明NSDWT融合法則不受源圖像平移的影響。

4.2 融合算法對(duì)比驗(yàn)證

融合算法對(duì)比驗(yàn)證對(duì)DWT和NSDWT融合規(guī)則下的效果進(jìn)行對(duì)比和分析，同時(shí)可以驗(yàn)證窗口融合規(guī)則比系數(shù)點(diǎn)融合規(guī)則的優(yōu)勢，以及一致性檢測（CV）[18]的有效性。

對(duì)比的方式如表1。

多聚焦圖像融合的實(shí)驗(yàn)源圖像如圖5所示：

按照不同的融合規(guī)則對(duì)圖5的（a）和（b）的圖像融合，得到融合圖像。再將參考圖像與融合圖像做差，得到殘差圖像[19]。殘差圖像是判斷融合效果其中的一個(gè)判據(jù)。如果殘差圖像的內(nèi)容比較豐富，說明融合效果不好。如果殘差圖像信息少，說明融合的圖像貼近融合圖像，融合效果好。本實(shí)驗(yàn)采集互信息（MI）和峰值信噪比（PSNR）作為判斷的依據(jù)。

如圖6所示，對(duì)所得的融合圖像進(jìn)行比較。從圖6（a）和圖6（b）對(duì)比可以看出，殘差圖像中都出現(xiàn)了一定程度的震蕩條紋，但融合圖6（a）更明顯一些。這是因?yàn)槎喑叨葘?duì)應(yīng)位置上的融合系數(shù)的來源不一致造成了融合圖像出現(xiàn)了偽Gibbs現(xiàn)象[20]。DWT因?yàn)橄虏蓸迎h(huán)節(jié)的頻率重疊[21]加劇了這種效應(yīng)，而NSDWT的平移不變性，這種現(xiàn)象明顯減小。

對(duì)比圖6（b）與圖6（c）。融合圖6（b）采取的是系數(shù)點(diǎn)融合規(guī)則，融合圖6（c）采取窗口融合規(guī)則。從兩幅圖像的殘差圖像可以明顯看出，融合圖6（b）的殘差圖像比融合圖6（c）的殘差圖像內(nèi)容更豐富，說明融合圖6（b）的效果比圖6（c）差，繼而驗(yàn)證在圖像融合方面窗口融合規(guī)則比系數(shù)點(diǎn)融合規(guī)則更有優(yōu)勢。這主要是由于系數(shù)點(diǎn)融合規(guī)則過于片面，不能把握?qǐng)D像的聚焦區(qū)域。窗口融合規(guī)則將系數(shù)作為整體考慮，因此融合效果得到了很大的改善。

為了能更清晰的直觀看出各規(guī)則的融合效果，獲得表2的數(shù)據(jù)。

從表2可以看到第四組的互信息和峰值信噪比比第三組高，說明第四組的融合效果更好。

5 結(jié) 語

多尺度算法的移變性在一定程度上會(huì)對(duì)融合算法造成移變。NSDWT具有平移不變性，基于NSDWT的融合算法能夠得到更好的融合效果。窗口融合規(guī)則將各點(diǎn)系數(shù)作為窗口中心，通過系數(shù)之間的特征信息決定低頻和高頻融合系數(shù)，從而彌補(bǔ)系數(shù)點(diǎn)融合的不足。一致性檢測能進(jìn)一步提高融合算法的準(zhǔn)確性。

參 考 文 獻(xiàn)：

[1]譚征，鮑富民，李愛國，等.多傳感器圖像融合及其應(yīng)用綜述[J].微電子學(xué)與計(jì)算機(jī)，2004，21（2）：1-5

[2]王昕.含噪聲圖像的多聚焦融合算法[J].光學(xué)精密工程，2011，19（12）：2977-2984

[3]李光鑫.紅外和可見光圖像融合技術(shù)的研究[J].吉林大學(xué)通信工程學(xué)院，2008.

[4]STRANG G. Wavelets and Dilation Equations： A Brief Introduction[J]. SIAM review，1989，31（4）：614-627

[5]UNSER M. Texture Classification and Segmentation Using Wavelet Frames[J].Image Processing， IEEE Transactionsons，1995，4（11）：1549-1560.

[6]HOLSCHNEIDER M， KRONLAND-MARTINET R， MORLET J， et al. A Real-time Algorithm for Signal Analysis with the Help of the Wavelet Transform[M]. Wavelets. Springer Berlin Heidelberg， 1990：286-297

[7]葉傳奇，王寶樹，苗啟廣.一種基于區(qū)域特性的紅外與可見光圖像融合算法[J].光子學(xué)報(bào)，2009，38（6）：1498-1503

[8]楊斌.像素級(jí)多傳感器圖像融合新方法研究[D].長沙：湖南大學(xué).2010.

[9]王宏，敬忠良，李建勛.多分辨率圖像融合的研究與發(fā)展[J].控制理論與應(yīng)用，21（1）：145-151.

[10]楊嬌. 基于小波變換的圖像融合算法的研究[D]. 北京：中國地質(zhì)大學(xué)， 2014： 8-9.

[11]徐進(jìn)偉. 基于小波變換的數(shù)字圖像融合研究[D]. 成都：成都理工大學(xué)， 2012： 12-14.

[12]晁銳， 張科， 李言俊. 一種基于小波變換的圖像融合算法[J]. 電子學(xué)報(bào)， 2004， 5： 750-753.

[13]李希寧. 基于多尺度分析的圖像融合算法研究[D]. 青島：中國海洋大學(xué)， 2010： 15-18.

[14]SHREYAMSHA Kumar. Multifocus and Multispectral Image Fusion Based on Pixel Significance Using Discrete Cosine Harmonic Wavelet Transform[J]. Signal， Image and Video Processing， 2013， 76： 156-168.

[14]XIAO Fen， GAO Xie-ping， LI Bo-dong. A Novel Image Fusion Method based on Translation Invariant Wavelet Transforms[J]. Journal of Software， 2014， 94： 67-78.

[15]KAVITHA C.T.， RAJESH R.. Medical Image Fusion using Combined Discrete Wavelet and Ripplet Transforms[J]. Procedia Engineering， 2012， 38： 90-102.

[16]馬艷君. 基于變換的醫(yī)學(xué)圖像融合技術(shù)研究[D]. 青島：青島大學(xué)， 2010： 19-25.

[17]唐向宏， 謝淑琴. 小波分析與應(yīng)用[M]. 四川： 科學(xué)技術(shù)出版社， 1999： 137-151.

[18]WU Jonathan， AHMADI Majid. Tunable Halfband-pair Wavelet Filter Banks and Application to Multifocus Image Fusion[J]. Pattern Recognition， 2011， 452： 200-210.

[19]秦定宇， 李鵬. 圖像中小波基的選擇分析[J]. 光電子技術(shù)， 2006， 26（3）： 203-207.

[20]趙青， 何建華， 溫鵬. 基于平均梯度和方向?qū)Ρ榷鹊膱D像融合方法[J]. 計(jì)算機(jī)工程與應(yīng)用， 2012， 24： 165-168.

[21]蒲恬， 方慶吉， 倪國強(qiáng). 基于對(duì)比度的多分辨圖像融合[J]. 電子學(xué)報(bào)， 2000， 28（12）： 116-118.

（編輯：關(guān) 毅）