劉 佳，李登峰

(武漢紡織大學(xué) 數(shù)學(xué)與計算機學(xué)院，湖北 武漢 430200)

0 引 言

圖像融合的目的在于利用圖像信息之間的互補性將多幅源圖像整合成為一張新的圖像[1-2]。目前光學(xué)照相機通常只能聚焦到一個場景內(nèi)的某一片區(qū)域,無法獲得所有目標(biāo)都聚焦的圖像[3]。多聚焦圖像融合技術(shù)可以將同一場景內(nèi)聚焦區(qū)域不同的多幅圖像通過融合算法融合成一幅整個場景都聚焦的圖像,融合后的圖像包含了多幅圖像中所表達(dá)的同一場景的不同信息,將更符合人眼視覺觀察和計算機的后續(xù)處理。多聚焦圖像融合技術(shù)現(xiàn)在已經(jīng)被廣泛應(yīng)用到計算機視覺、圖像處理的各個領(lǐng)域[4-5]。

多尺度圖像融合方法是對源圖像進(jìn)行圖像多尺度變換后,對變換域的系數(shù)進(jìn)行融合的方法,其中以Fourier分析理論為基礎(chǔ)的小波變換最為經(jīng)典[6-8]。隨著對小波理論研究和應(yīng)用的不斷深入,發(fā)現(xiàn)小波變換的局限性,即小波變換缺乏平移不變性,在圖像的高頻細(xì)節(jié)分量上也僅有三個方向的表示,而對圖像中高度奇異的邊緣不能給出精確的表達(dá),導(dǎo)致大量細(xì)節(jié)信息丟失[9-10]。對此,文獻(xiàn)[11]中提出的Contourlet變換是一種新的圖像二維表示方法,不僅具有多分辨率性,還具有多方向性和各向異性。Contourlet系數(shù)中,表示圖像邊緣的系數(shù)能量更加集中，可以有效地描述圖像的輪廓信息。由于Contourlet變換不具有平移不變性,在圖像處理中會導(dǎo)致圖像失真[12-13]。Contourlet變換之所以不具有平移不變性,其原因就在于拉普拉斯金字塔和方向濾波器組中存在的上采樣和下采樣。為了保留變換的方向和多尺度屬性,Cunha等人針對Contourlet變換的局限性提出了非下采樣Contourlet變換(NSCT),將拉普拉斯金字塔替換為非下采樣金字塔結(jié)構(gòu)(NSP)以保留多尺度屬性,以及非下采樣方向濾波器(NSDFB)組用于方向性分解[14-16],有效克服了Contourlet變換的局限性。目前,NSCT變換已經(jīng)被應(yīng)用到圖像處理的各個鄰域。

因此,文中綜合考慮NSCT的系數(shù)特點,對源圖像進(jìn)行NSCT變換后,對低頻分量和高頻分量采用不同的融合策略,結(jié)合邊緣檢測算法對圖像邊緣提取的高效性,設(shè)計一種多聚焦圖像融合方法。實驗表明該算法在主觀評價和客觀評價上都有一定優(yōu)勢。

1 非下采樣Contourlet變換

Contourlet是用金字塔方向濾波器組(PDFB)來將圖像分解成不同尺度下的方向子帶的。PDFB是由一個拉普拉斯金字塔濾波器Laplacian Pyramid (LP)疊加一個方向濾波器組。Non-subsampled Contourlet變換(NSCT)用Non-subsampled金字塔濾波器組和Non-subsampled方向濾波器組疊加,很大程度上消除了Contourlet變換中由于上采樣和下采樣帶來的混頻效應(yīng)。NSCT首先由非下采樣金字塔濾波器(NSP)對輸入圖像進(jìn)行塔形分解,得到原始圖像的低頻近似圖像,原始圖像和低頻近似圖像的差值則是高頻子帶,然后由非下采樣方向濾波器組(NSDFB)將高頻子帶分解為多個方向子帶,低頻部分繼續(xù)進(jìn)行分解。圖像經(jīng)N級NSCT分解后可得到一個與原始圖像尺寸相同的低頻近似圖像和一系列不同尺度不同方向的高頻圖像[17-18]，如圖1所示。

圖1 NSCT多尺度多方向的分解過程

2 融合算法

2.1 算法概述

對低頻分量采用基于局域信息熵和局域改進(jìn)的拉普拉斯能量和的統(tǒng)計特征匹配度融合,高頻分量采用鄰域兄弟信息歸一化關(guān)聯(lián)權(quán)重的局域平均梯度融合。然后對融合后的低頻分量和高頻分量進(jìn)行NSCT逆變換,得到初步融合結(jié)果。邊緣檢測技術(shù)可以有效地提取圖片的邊緣輪廓信息,對初步融合結(jié)果進(jìn)行邊緣覆蓋,可以有效提高融合圖像的質(zhì)量。高頻分量中包含了圖像的大部分邊緣輪廓信息,由此,對源圖像的第一層高頻分量各個進(jìn)行邊緣檢測,將得到的各方向系數(shù)的邊緣檢測圖進(jìn)行加權(quán)平均融合,得到源圖像A、B的邊緣檢測圖,將源圖像的邊緣圖覆蓋到初步融合圖像上,得到最終的融合圖像。圖2為文中融合算法的框架。

圖2 基于NSCT的融合算法框架

2.2 低頻融合規(guī)則

低頻分量是源圖像的近似圖像,包含了圖像大部分的信息和能量。文中對低頻系數(shù)采用局域信息熵和局域改進(jìn)的拉普拉斯能量和的統(tǒng)計特征來進(jìn)行融合。信息熵是衡量圖像信息豐富程度的重要指標(biāo),熵值的大小反映了圖像所包含的平均信息量的多少。局域改進(jìn)的拉普拉斯能量和對圖像的邊緣變化程度和圖像的亮度突變信息都有比較好的表達(dá),能夠刻畫局域的邊緣信息和對比度。綜合考慮這兩個統(tǒng)計特征,在領(lǐng)域窗口內(nèi)提取源圖像的局部信息熵和局部改進(jìn)的拉普拉斯能量和,然后根據(jù)這兩個統(tǒng)計特征計算兩幅圖像單個特征下像素的匹配度,根據(jù)匹配度的高低,采取不同的權(quán)值選取法則。最后將兩個特征權(quán)值矩陣取平均得到最后的融合權(quán)值矩陣。

設(shè)h=(i,j)，Cx(h)表示圖像x的位置h處的低頻分量系數(shù)值。圖像x的低頻系數(shù)在點h處的局域信息熵和局域拉普拉斯能量的顯著性為：

(1)

其中,Q是以h為中心的3×3鄰域，r={1,2}，w(q)是高斯權(quán)值矩陣,高斯分布的特點比較符合人眼觀察物體的感知習(xí)慣,因此,用高斯分布對局域特征進(jìn)行加權(quán)。用pi表示鄰域Q中所有灰度值為i的點所占的比例,灰度級表示為γ,S1,x(q)表示點q的鄰域Q內(nèi)的信息熵，S2,x(q)表示點q的鄰域Q內(nèi)的改進(jìn)的拉普拉斯能量和,計算方式為：

(2)

(3)

圖像A和圖像B的低頻分量系數(shù)在點h的特征匹配度為：

(4)

設(shè)α為匹配度閾值,根據(jù)源圖像間特征匹配度的高低定義特征權(quán)值矩陣。

如果Lr(h)<α,表示原始圖像之間相應(yīng)區(qū)域的匹配度低差異較大,選用特征顯著性取大的方式選取出源圖像的清晰區(qū)域,此時選取法則如下：

(5)

如果Lr(h)≥α,表示原始圖像之間相應(yīng)區(qū)域的匹配度高差異較小,此時采用取大的方式會丟失另一幅圖像的能量信息,此時特征權(quán)值矩陣定義為：

(6)

Wr,B(h)=1-Wr,A(h)

(7)

圖像A和圖像B融合后的低頻系數(shù)為：

CF(h)=CA(h)WA(h)+CB(h)WB(h)

(8)

其中，權(quán)值

WA(h)=(W1,A(h)+W2,A(h))/2

(9)

WB(h)=(W1,B(h)+W2,B(h))/2

(10)

2.3 高頻融合規(guī)則

(11)

其中，|Q|為鄰域窗口的大小，g(i,j)的表達(dá)式如下：

(12)

(13)

基于局部平均梯度的兄弟信息歸一化關(guān)聯(lián)權(quán)重的定義為：

(14)

其中,

高頻系數(shù)融合規(guī)則定義為：

(16)

2.4 邊緣檢測融合

由初步融合的低頻系數(shù)和高頻系數(shù)經(jīng)NSCT逆變換得到初步融合圖像Fnew，接著利用邊緣檢測技術(shù)將源圖像邊緣覆蓋到初始融合圖像上。

根據(jù)初步融合圖像Fnew和源圖像A,B的殘差矩陣RA(i,j)和RB(i,j)定義清晰區(qū)域的分割結(jié)果。

(17)

WB=1-WA

(18)

WA和WB中元素1對應(yīng)圖像A和圖像B的清晰區(qū)域,0對應(yīng)模糊區(qū)域。NSCT分解的第一層高頻分量系數(shù)基本包含了源圖像的細(xì)節(jié)紋理信息,對第一層高頻分量系數(shù)進(jìn)行邊緣檢測比對原圖進(jìn)行邊緣檢測可以得到更為清晰、噪聲更少的邊緣。用{EA1,…,EAJ}和{EB1,…,EBJ}表示圖像A和圖像B的第一層高頻分量系數(shù)經(jīng)邊緣檢測得到的邊緣檢測圖,則圖像A和圖像B的邊緣檢測圖定義為：

(19)

(20)

按照WA和WB將圖像A和圖像B的邊緣覆蓋到初步融合圖形Fnew上，得到最終的融合圖像F,計算公式為：

FA(i,j)=Fnew(i,j)[1-WA(i,j)EA(i,j)]+

A(i,j)WA(i,j)EA(i,j)

(21)

F(i,j)=FA(i,j)[1-WB(i,j)EB(i,j)]+

B(i,j)WB(i,j)EB(i,j)

(22)

其中，F(xiàn)A(i,j)為初步融合圖像經(jīng)圖像A邊緣覆蓋后的圖像,A(i,j)和B(i,j)為源圖像A和B在(i,j)點的像素值,F為最終融合圖像。

3 多聚焦圖像融合實驗

3.1 實驗設(shè)置

為驗證實驗的有效性和準(zhǔn)確性，選取了四組多聚焦圖像進(jìn)行融合實驗(見圖3)，并將實驗結(jié)果與基于DWT以及NSCT的融合方法的結(jié)果進(jìn)行比較(見圖4)。其中DWT小波基選用db2小波基。NSCT和文中算法分解層數(shù)及方向數(shù)為[1,2,3]。DWT和NSCT低頻采用取平均的融合方法,高頻采用絕對值取大的融合方法。

圖4 不同算法融合結(jié)果比較

圖3 四組待融合圖像

3.2 實驗結(jié)果與分析

從主觀上看,小波變換融合圖像整體比NSCT和文中算法較模糊,文中算法相較NSCT算法邊緣更光滑,對比度以及清晰度更高。文中使用4個客觀指標(biāo),其中平均梯度可以反映圖像的清晰度,融合圖像的平均梯度越大,表示圖像的清晰度越高;空間頻率可以反映一幅圖像的像素總體活躍程度,空間頻率越大,圖像質(zhì)量越好;標(biāo)準(zhǔn)差體現(xiàn)了圖像的對比度,標(biāo)準(zhǔn)差越大說明圖像對比度越高;互信息刻畫了融合圖像和源圖像之間的信息的相關(guān)性,互信息值越大,表明融合圖像從源圖像中獲取的信息越豐富,融合效果越好。

從客觀評價指標(biāo)(見表1)上看,四組實驗共測得的指標(biāo)中只有一個指標(biāo)位于第二位,其他都有明顯優(yōu)勢。從這些指標(biāo)上看,文中算法融合的圖像具有較高的清晰度、平均梯度、空間頻率以及標(biāo)準(zhǔn)差,說明文中算法融合的圖像在空間細(xì)節(jié)方面和對比度方面都有較好的表現(xiàn),并且與源圖像具有很好的相關(guān)度,在從源圖像中抓取信息方面也有較好的表現(xiàn)。

表1 不同算法的客觀評價比較

4 結(jié)束語

文中結(jié)合NSCT變換的優(yōu)良特性、局部特征匹配度以及邊緣檢測技術(shù),提出了一種對多聚焦圖像融合的新方法。首先對來自同一場景的已配準(zhǔn)的多聚焦圖像進(jìn)行非下采樣Contourlet變換,對變換得到的低頻分量和高頻分量分別設(shè)計有效的融合規(guī)則。低頻分量中包含了源圖像的大部分信息和能量,因此文中用局部信息熵和局部改進(jìn)的拉普拉斯能量和的統(tǒng)計特征匹配度來促進(jìn)融合;高頻分量中包含了源圖像的細(xì)節(jié)紋理信息,采用了局部平均梯度合以及基于鄰域的兄弟信息歸一化關(guān)聯(lián)權(quán)重來進(jìn)行融合。對初步融合的圖像,用源圖像NSCT分解的第一層高頻分量進(jìn)行邊緣檢測得到源圖像邊緣檢測圖像,將清晰區(qū)域的邊緣逐步覆蓋到初步融合的圖像上,得到最后的融合圖像。實驗表明,文中算法在平均梯度、空間頻率、標(biāo)準(zhǔn)差以及互信息上和主觀視覺上都整體優(yōu)于DWT和NSCT變換。但由于NSCT算法的復(fù)雜度高、計算時間長、耗時較久,因此將來的研究工作應(yīng)進(jìn)一步優(yōu)化算法,來提高算法的運行效率。