石瀚洋，楊 靜，趙 焱

(太原理工大學(xué)信息工程學(xué)院，山西太原 030024)

圖像融合是信息融合的重要組成部分，它幫助研究人員得到更清晰、可靠、高理解度的高質(zhì)量圖片，是圖像處理的基礎(chǔ)。隨著電子技術(shù)和傳感器技術(shù)的快速發(fā)展，圖像融合技術(shù)在醫(yī)療、生物、工程檢測、軍事、等方面都發(fā)揮了重要的作用。近年來，在目標(biāo)識別、人臉識別、目標(biāo)檢測、目標(biāo)跟蹤、醫(yī)療成像、對地觀測和計算機(jī)視覺等領(lǐng)域更是如此。圖像融合是將兩個或兩個以上的傳感器在同一時間或不同時間獲取的關(guān)于某個具體場景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)場景解釋的信息處理過程［1］。圖像融合通常在像素級、特征級和決策級三個層級中展開［2］。其中，像素級融合是核心也是基礎(chǔ)。

在圖像融合的諸多方法中，基于多尺度分解的圖像融合尤為重要。其中，小波變換的時－頻特性優(yōu)良，展現(xiàn)出很好的多分辨率特性。可需要說明的是，其分解出的方向特性信息有限(橫向、縱向和對角線方向)。因此，在研究者們通過不斷的努力下，新的圖像尺度分解方法不斷被提出(如脊波變換、曲波變換)這些圖像變換方法都有各自的優(yōu)點(diǎn)，可是應(yīng)用效果總是不盡如人意。Do等人在2002年提出了Contourlet變換［3］，解決了方向性和多分辨率特性的問題，是一種有效的圖像多尺度表示方法。研究證明基于Contourlet變換的融合算法是優(yōu)于上述那些算法的。但是下采樣被應(yīng)用在變換過程中，使其沒有體現(xiàn)出平移不變性。這會使得偽吉布斯現(xiàn)象出現(xiàn)，從而影響融合效果。由A.L.Cunha于2006年等提出的NSCT(Nonsubsample Contourlet Transform)改變了這一局面，它不但與Contourlet變換一樣，擁有多尺度、多方向特性，它還具有平移不變性，這樣從根本上消除了偽吉布斯現(xiàn)象。

PCNN是上世紀(jì)末Eehorn等提出的第三代人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，它是模擬貓大腦皮層的生物學(xué)特性提出的，它具有全局耦合性和脈沖同步性，對圖像的每個像素的特性與全局特性能夠做到兼顧。本文在分析NSCT的基礎(chǔ)上，針對多聚焦圖像在融合時需要著重考慮清晰度的問題，將NSCT和PCNN組合應(yīng)用，在NSCT變換域提出基于PCNN和清晰度融合規(guī)則相結(jié)合的多聚焦融合方法。

1 非下采樣Contourlet變換(NSCT)

NSCT是由Contourlet變換改進(jìn)衍生而來的，它具有Contourlet變換所見長的多尺度、多方向特性。與此同時，為了防止偽吉布斯現(xiàn)象的出現(xiàn)，NSCT采用非下采樣金字塔(NSP)分解和非下采樣方向?yàn)V波器組(NSDFB)來實(shí)現(xiàn)逐層的圖像分解。NSP分解在低通分量上進(jìn)行，每一級都獲得一對子帶圖像(低通子帶圖像和高通子帶圖像)。由此，圖像在通過級NSP分解之后，一共得到了1個低通和k個高通圖像，共k+1個子帶圖像被分解出來，這組子帶圖像的尺寸和大小與源圖像相同。NSDFB是一組二通道非采樣濾波器組，頻率響應(yīng)特性為扇形。它的構(gòu)建基礎(chǔ)是在Bamberger所設(shè)計的扇形方向?yàn)V波器組。與后者不同的是，前者移除了方向?yàn)V波器組中的下采樣部分。如果對某子帶圖像做n級方向分解，2n個方向子帶圖像可以被得到，這些圖像的尺寸和大小同樣與源圖像相同，如圖1所示。

圖1 NSCT分解示意圖

2 脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)

PCNN是一個神經(jīng)網(wǎng)絡(luò)，它是由多個神經(jīng)元組成的。由于PCNN相對復(fù)雜，人們提出了一些簡化模型。但是，無論如何簡化，接收域、制域調(diào)和脈沖產(chǎn)生器是每個神經(jīng)元必須包括的3個部分。本文采用的是其中一種簡化模型［4］

式中:I為輸入激勵，通常是點(diǎn)(i，j)的像素灰度值，每個像素對應(yīng)一個神經(jīng)元;F是神經(jīng)元的輸入部分，L是連接輸出;U對應(yīng)神經(jīng)元內(nèi)部活動項(xiàng);Y是輸出;E為動態(tài)閾值;W是神經(jīng)元的內(nèi)部連接矩陣。在此簡化模型中，有4個參數(shù) W，β，aE，VE，其中，神經(jīng)元 (i，j)同神經(jīng)元 (k，l)的連接權(quán)Wijkl取值為

PCNN的整個工作過程為:脈沖輸出在某個神經(jīng)元發(fā)生時，這個神經(jīng)元的動態(tài)門限會突然增大，這樣脈沖輸出不會在第二次輸入時產(chǎn)生，于是門限開始衰減。一旦其內(nèi)部活動項(xiàng)大于不斷衰減的門限值時，就會再次產(chǎn)生脈沖和周期變化。這里脈沖產(chǎn)生被研究者稱為點(diǎn)火。

3 基于清晰度和PCNN的NSCT多聚焦圖像融合

3.1 融合步驟

首先，通過NSCT分解對待融合圖像進(jìn)行處理，然后對低頻信息和高頻信息分別融合處理。融合規(guī)則充分考慮到多聚焦圖像的特點(diǎn)，最大限度地保留待融合圖像的互補(bǔ)信息以及特有信息，可以得到更高的融合質(zhì)量。最后在NSCT反變換后得到融合圖像(見圖2)。

圖2 本文算法流程圖

具體融合過程如下:

3)對融合后的系數(shù)進(jìn)行NSCT逆變換，算法結(jié)束，獲得融合結(jié)果F。

3.2 低頻子帶系數(shù)融合規(guī)則

圖像的低頻部分集中了圖像的主要能量。目前的低頻子帶融合規(guī)則一般包含簡單的平均法、絕對值取大法、區(qū)域能量法等。由于這些方法沒有同時考慮到圖像的清晰度信息和邊緣信息，所以就會在一定程度上損失圖像的信息，降低圖像的清晰度和對比度，影響融合圖像的視覺效果。因此，本文對低頻子帶系數(shù)提出一種結(jié)合文獻(xiàn)［5］和文獻(xiàn)［6］的融合規(guī)則。

1)對源圖像A的低頻子帶系數(shù)定義一個變量EA，稱之為邊緣區(qū)域能量

同時，對圖像B定義變量EB，變量E反映了圖像的邊緣綜合信息，其方向?yàn)樗?、垂直和對角線方向。

2)根據(jù)清晰度的概念給出局部清晰度G(m，n)。

式中:?Cj0(i，j)/?x，?Cj0(i，j)/?y)分別表示點(diǎn) (m，n)處沿x，y方向的微分，在圖像中表示為相鄰像素系數(shù)的變化率。l×l為以點(diǎn)(i，j)為中心的區(qū)域大小，本文取3×3的正方形區(qū)域。

3)經(jīng)過下式判別得到融合后的判別因子

式中:W1，W2為大于0的常數(shù)，用來調(diào)整兩項(xiàng)指標(biāo)的權(quán)重，本文取W1=0，W1=1 。

本文低頻子帶系數(shù)選用判別因子D較大的尺度系數(shù)，讓邊緣和清晰度信息得以最大程度地在融合圖像中體現(xiàn)。融合函數(shù)表達(dá)為

3.3 高頻子帶系數(shù)融合規(guī)則

高頻系數(shù)在圖像中所對應(yīng)的是細(xì)節(jié)信息(如邊緣和紋理)，人眼對這部分的信息識別最敏感，所以高頻融合規(guī)則的選取顯得尤為重要。為了使源圖像的特征信息得以充分保留，本文應(yīng)用基于自適應(yīng)PCNN的融合方法對高頻系數(shù)進(jìn)行處理。融合過程如下:

1)分解最高層分尺度J以外的其他J－1層，本文選用高頻系數(shù)作為PCNN的觸發(fā)神經(jīng)元。空間頻率與圖像的活躍程度有著成正比的關(guān)系，也就是說，圖像越清晰，那么它的空間頻率也就越大。本文對對應(yīng)的神經(jīng)元的鏈接強(qiáng)度采取應(yīng)用拓延后的空間頻率［7］方式。這種空間頻率定義為

式中:RF為行頻率，CF為列頻率，MDF表示主對角頻率，SDF表示次對角頻率。

在PCNN系數(shù)中，鏈接強(qiáng)度β對于圖像融合起到關(guān)鍵的作用，其余參數(shù)的影響不大。鏈接強(qiáng)度表示為

式中:η為大于零的常數(shù)，用于調(diào)節(jié)β的取值。

2)分解最高層分尺度J的高頻系數(shù)，本文采用系數(shù)絕對值取大法

4 實(shí)驗(yàn)結(jié)果分析

4.1 融合實(shí)驗(yàn)

本文在MATLAB7.0環(huán)境下，實(shí)驗(yàn)數(shù)據(jù)采用PEPSI左右聚焦測試卡的圖像，圖像灰度為256級，大小為512×512，對本文提出的融合方法進(jìn)行融合實(shí)驗(yàn)，其中a=0.1，V=20，N=2 000。同時與目前常用的幾種融合方法進(jìn)行了對比實(shí)驗(yàn)，以證明本文方法的優(yōu)越性。方法一為小波變換融合，方法二為Contuorlet變換融合，方法三為NSCT簡單融合，其主要融合方法為簡單的系數(shù)取大法、均值法、區(qū)域方差法。公式實(shí)驗(yàn)結(jié)果見圖3。

4.2 融合結(jié)果評價

主觀評價:從視覺效果來看，方法一視覺效果模糊，不能分辨出右上角字跡，右邊條形碼嚴(yán)重失真;方法二視覺效果明顯提高，字跡依稀可見，但是不夠清晰;方法三可以很容易地辨認(rèn)出右上角與罐體上字跡，但是字跡邊角不夠圓滑。本文方法實(shí)驗(yàn)效果最好，罐體上和測試卡清晰可見，字跡圓滑，條形碼可以清晰辨認(rèn)。

圖3 融合圖像實(shí)驗(yàn)圖

客觀評價:本文選用信息熵、清晰度、交叉熵、平均梯度4個評價參數(shù)對以下幾種方法的圖像融合性能做出了定量的比較，如表1所示。

表1 多聚焦圖像不同融合算法性能比較

表1可以看出，本文算法大部分指標(biāo)優(yōu)于對比融合算法。其中，平均梯度、信息熵和清晰度越大，圖片質(zhì)量越好，交叉熵越小，圖片損失的信息越少，圖片質(zhì)量越好。從4種評價指標(biāo)來看，本文方法是4種方法中最好的。

結(jié)合主觀和客觀兩個方面，說明本文算法是一種可行的融合方案。

4.3 與近年研究比較

近年來有許多文獻(xiàn)對以NSCT－PCNN為基礎(chǔ)的圖像融合方法進(jìn)行了研究［8－10］，它們都有自己的特點(diǎn)和不足，其中文獻(xiàn)［8］的方法沒有采用拓延的空間頻率，不能體現(xiàn)對角線方向的圖像信息;文獻(xiàn)［9］的方法在低頻分量沒有兼顧邊緣信息和清晰度;文獻(xiàn)［10］的方法沒有對PCNN作自適應(yīng)處理，使得PCNN參數(shù)需要憑經(jīng)驗(yàn)配置。

5 結(jié)束語

針對清晰度的高低反映了多聚焦圖像融合的融合效果好壞的特性，在NSCT變換域提出了一種基于清晰度和PCNN的融合算法。在對2幅圖像進(jìn)行NSCT變換之后，應(yīng)用本文的算法對不同的子帶系數(shù)進(jìn)行融合處理。然后對上述處理后的系數(shù)進(jìn)行NSCT逆變換，得到最終的融合結(jié)果。最后對本文提出的算法進(jìn)行主客觀的分析。實(shí)驗(yàn)表明，本文算法無論從主觀還是客觀，均比常用算法的融合質(zhì)量好，使得融合后的圖像清晰度提高。

:

［1］敬忠良，肖剛，李振華.圖像融合理論與應(yīng)用［M］.北京:高等教育出版社，2007.

［2］吳仰玉，紀(jì)峰，常霞，等.圖像融合研究新進(jìn)展［J］.科技創(chuàng)新導(dǎo)報，2013(1):49－54.

［3］DO M N，VETTERLI M.The contourlet transform:an efficient directional multiresolutionimage representation［J］.IEEE Transactions on Image Processing，2005，14(12):2091－2106.

［4］苗啟廣，王寶樹.一種自適應(yīng)PCNN多聚焦圖像融合新方法［J］.電子與信息學(xué)報，2006，28(3):466－470.

［5］晁銳，張科，李言俊.一種基于小波變換的圖像融合算法［J］.電子學(xué)報，2004，32(5):750－753.

［6］王俊文，劉光杰，戴躍偉，等.基于非抽樣Contourlet變換的圖像模糊取證［J］.計算機(jī)研究與發(fā)展，2009(9):1549－1555.

［7］ZHENG Y，ESSOCK E A，HANSEN B C，et al.A new metric based on extended spatial frequency and its application to DWT based fusion algorithms［J］.Information Fusion，2007，8(2):177－179.

［8］傅圣雪，林忠宇.基于NSCT_PCNN算法的雷達(dá)圖像融合研究［J］.現(xiàn)代電子技術(shù)，2012，35(12):82－86.

［9］符強(qiáng)，任風(fēng)華，紀(jì)元法，等.基于NSCT和自適應(yīng)PCNN的遙感圖像融合方法［J］.計算機(jī)測量與控制，2012，20(5):1344－1346.

［10］李紅，吳粉俠，趙薔.基于NSCT與PCNN的圖像融合［J］.航空計算技術(shù)，2013，43(1):58－64.