張騰敏，林斯樂，朱 勝，洪培瑤

(福建農(nóng)林大學 金山學院，福州 350002)

0 引言

焦距深度(Depth of Focal Length，DOFL)是影響大多數(shù)成像系統(tǒng)成像效果的主要因素之一，特別是由于相機焦距深度的限制，數(shù)碼攝影所抓取的圖像往往會丟失很多高分辨率的細節(jié)。DOFL范圍內(nèi)的對象具有清晰和尖銳的細節(jié)，而超過DOFL的對象會較為模糊[1]，因此產(chǎn)生的圖像會有部分聚焦區(qū)域，該圖像被認為是低分辨率(Low Resolution， LR)圖像。因為模糊數(shù)量不是已知的先驗，所以這些LR圖像被定義為“盲”。多聚焦圖像融合技術(shù)(Multi-focus Image Fusion， MIF)的出現(xiàn)解決了因焦距深度限制而導致的低分辨率圖像問題，它通過提取和融合來自相同場景的不同LR圖像中的補充信息來獲得全聚焦圖像。通過MIF所得到的全聚焦圖像比任意一個LR圖像都能夠很好地揭示圖像細節(jié)，同時也更適合用于進一步的圖像分析。MIF可應用于醫(yī)學成像、圖像識別和計算機視覺等領(lǐng)域，因此，多聚焦圖像融合技術(shù)具有重要的研究意義和應用前景。

目前，學術(shù)界已經(jīng)提出了大量的多聚焦圖像融合策略。多聚焦圖像融合實際上是對應于不同類型的數(shù)據(jù)的融合，通常在信號、特征和決策三個不同的處理層次中進行。信號電平的圖像融合，又稱像素級圖像融合，對應于最低級的圖像融合，即將若干個原始輸入圖像信號組合成一個融合圖像信號。中間層次的圖像融合，也稱為特征級圖像融合，即將從單個信息圖像中分離出來的特征、物體標簽和屬性描述符等數(shù)據(jù)進行融合。最高層次的融合為決策級圖像融合，是指局部決策者對單個傳感器傳遞的圖像信息的后效作用進行概率決策后所產(chǎn)生的數(shù)據(jù)組合。圖像融合技術(shù)可以分為空間域融合策略和變換域融合策略兩大類[2]。其中，空間域融合策略是對信息圖像的像素進行管理，如多模態(tài)圖像融合[3]、主成分分析(Principal Component Analysis， PCA)[4]和HIS轉(zhuǎn)換(Hue Intensity Saturation Transform)[5]等。變換域融合策略是將圖像變換到頻域子帶進行融合，如離散小波變換(Discrete Wavelet Transform， DWT)、雙樹-復小波變換(Dual-Tree Complex Wavelet Transform， DT-CWT)[6]等。

針對傳統(tǒng)圖像融合方法在多聚焦圖像融合中存在細節(jié)丟失、邊緣模糊和焦點不清楚等問題，本文提出了一種基于雙樹-復小波變換優(yōu)化顯著性測度和自適應脈沖耦合神經(jīng)網(wǎng)絡(PCNN)模型的多聚焦圖像融合方法。首先，使用雙樹-復小波變換將圖像分解成高頻子帶和低頻子帶。其次，對低頻子帶采用基于圖像顯著性測度的度量方法計算小波融合系數(shù)，實現(xiàn)圖像重構(gòu)；由于高頻子帶圖像細節(jié)較多、紋理豐富，采用自適應參數(shù)下的PCNN模型解決高頻子帶的融合問題，通過自適應PCNN模型下的鏈接系數(shù)更新，計算兩幅輸入圖像的觸發(fā)時間，根據(jù)觸發(fā)時間對比，選取高頻融合子帶。最后，使用雙樹-復小波逆變換實現(xiàn)圖像重構(gòu)。

1 DT-CWT算法和自適應PCNN模型

1.1 DT-CWT算法

DT-CWT是在標準小波基礎(chǔ)上進行復數(shù)域擴展。復數(shù)變換是利用復數(shù)值濾波將圖像在變換域中分解為實部和虛部，其中實系數(shù)和虛系數(shù)用于計算圖像的幅值和相位信息。DT-CWT的主要生成動機是平移不變性。在正常的小波分解中，輸入信號的微小位移能夠在輸出子帶之間產(chǎn)生移動能量，而在DT-CWT中，通過加倍采樣率也可以實現(xiàn)平移不變性。DT-CWT通過下采樣產(chǎn)生兩棵平行的小波樹，首先選取偶數(shù)樣本，然后再在第一層濾波器之后選取奇數(shù)樣本。通過后續(xù)濾波器的樣本采樣延遲，使兩棵小波樹所得的樣本具有均勻時間間隔。

實際應用中，通常使用的是二維雙樹-復小波，即四個臨界采樣可分離的二維DWT并行運行。二維結(jié)構(gòu)雙樹-復小波通常需要四棵小波樹進行分析和重構(gòu)，應用于二維圖像(x，y)的共軛濾波器對可表示為公式(1)：

(hx+igx)(hy+igy)=(hxhy-gxgy)+i(gxhy+hxgy)，

(1)

式中，復數(shù)(hx+igx)和(hy+igy)分別表示x和y方向上的濾波系數(shù)。

復小波部分可以分為正小波、負小波，子帶可以分為水平子帶和垂直子帶。通過雙樹-復小波分解將圖像分解成±15°，±45°，±75°六個不同方向的頻域子帶，如圖1所示。圖1在空間上可視化了與方向和尺度相關(guān)的子帶。其中A(K+1，1)，A(K+1，2)分別為每級分化出的兩個低頻段(近似部分)，D為高頻細節(jié)部分。DWT只有0°，45°和90°三個方向的子波段，而DT-CWT有±15°，±45°和±75°六個子波段，因此DT-CWT提高了方向選擇性，這是圖像融合應用中最重要的問題。

圖1 DT-CWT圖像分解

1.2 自適應PCNN模型

PCNN即脈沖耦合神經(jīng)網(wǎng)絡[7]，是一種生物啟發(fā)神經(jīng)網(wǎng)絡。PCNN神經(jīng)元由輸入部分、連接調(diào)制部分和脈沖發(fā)生器三部分組成，其中輸入部分接收來自兩種接受域的輸入，并根據(jù)感受野的類型，將輸入細分為兩個通道，即輸送和連接[8]。連接接收外部刺激，而輸送接收外部刺激和局部刺激。輸入的模型如下：

(2)

(3)

式中，i和j表示圖像中像素點的位置，k和l表示像素點對稱相鄰位置的錯位值，0≤n≤N表示當前迭代次數(shù)，F(xiàn)和L是分別代表輸送和連接兩種不同通道，S表示局部刺激，VF和VL表示鄰近常數(shù)，αF和αL表示時間常數(shù)，通常情況下，αF<αL。

在連接調(diào)制部分，輸出從兩個通道收集，即向連接添加一個偏置來實現(xiàn)，該偏置為供給的線性乘積。具體公式如下：

Ui，j[n]=Fi，j[n](1+βLi，j[n])，

(4)

式中，Ui，j[n]是神經(jīng)元的內(nèi)部特征狀況，β是連接系數(shù)。

脈沖發(fā)生器決定式(5)中模型的觸發(fā)時間。Yi，j[n]決定內(nèi)部特征和閾值。

(5)

Ti，j[n]=exp(-αT)Ti，j[n-1]+VTYi，j[n]，

(6)

式中，VT和αT分別表示正則化常量和時間常量，T表示觸發(fā)時間。

2 本文改進的圖像融合方法

2.1 低頻分量的融合

低頻分量又稱低頻系數(shù)，是使用DWT分解得到的逼近(近似)分量，雖然低頻分量相對于細節(jié)是較為平緩的，但是它包含著圖像中的主要能量信息。通常的圖像融合算法很容易忽略低頻分量信息，使得融合結(jié)果銳度下降、對比度不夠明顯。因此，本文提出一種基于顯著性測度的低頻分量融合方法，具體融合策略如下：使用DT-CWT對輸入圖像A和圖像B進行分解，首先計算兩幅圖像的顯著性測度SA和SB，假設(shè)輸入圖像的像素總數(shù)為K，顯著圖歸一化直方圖中的pixel強度為p(i)=h(i)/K，其中h(i)指的是顯著性圖像中灰度值為i的像素頻率，顯著性圖像的顯著性測度函數(shù)為：

(7)

匹配值函數(shù)為：

(8)

式中，CAB表示圖像A和圖像B的協(xié)方差。

計算低頻融合系數(shù)，

Z=wxA+wyB。

(9)

(10)

wx和wy的定義如下：

(11)

本文提出的低頻分量融合方法有效保留了圖像的顯著信息，同時可以實現(xiàn)較高的對比度。

2.2 高頻分量的融合

使用改進后的PCNN模型進行圖像的高頻分量融合，傳統(tǒng)PCNN算法的參數(shù)β一般是一個固定的經(jīng)驗值，限制了PCNN在圖像融合方面的自適應性，也影響了融合效果，因此，本文設(shè)置一個自適應參數(shù)模型：

(12)

式中，X為鄰域神經(jīng)元的集合，即X={i，j|Li，j[n]>0}∩{i，j|Yi，j[n]=0}，Ix為輸入圖像I中神經(jīng)元對應的鄰域神經(jīng)元。

m1(n)和m2(n)分別表示點火區(qū)域和未點火區(qū)域?qū)木?，具體計算如式(13)所示：

(13)

式中，Φ1={i，j|Yi，j[n]=0}；Φ2={i，j|Yi，j[n-1]=1}。

式(12)中通過均值離散最優(yōu)化約束，得出β的最優(yōu)解。由式(4)可得β，可以調(diào)節(jié)神經(jīng)元的內(nèi)部特征U，從而實現(xiàn)PCNN的自適應性融合策略。

Ti，j[n]=Ti，j[n-1]+Yi，j[n]。

(14)

(15)

3 對比分析

3.1 差值結(jié)果分析

為了直觀解釋本文方法，下面給出本文方法融合結(jié)果與多聚焦源圖像的差值結(jié)果圖像，如圖2所示，圖2左側(cè)為輸入源圖像，中間為本方法融合結(jié)果，右側(cè)為本文融合結(jié)果與源圖像A，B的差值圖像。由圖2可以看出，本文方法的融合結(jié)果能夠自適應選取源圖像中更清晰的區(qū)域，從而自然地融合各源圖像中對焦更好的部分，得到最優(yōu)的融合結(jié)果。

圖2 融合結(jié)果差值圖

3.2 主觀結(jié)果對比

3.2.1 本文方法與多種非小波融合方法的比較

為了驗證本文融合方法的效果，選取MF圖像融合數(shù)據(jù)集[9]中的圖像作為源圖像，該數(shù)據(jù)集包含105對多聚焦圖像，且每對圖像由兩個不同焦點區(qū)域的圖像組成。選取現(xiàn)有的BGBS(Bilateral Gradient-based Sharpness)[10]、BFBMF(Boundary Finding Based Multi-focus)[11]、CBF(Cross Bilateral Filter)[12]、GFFD(Guided Filter through Focus Detection)[13]、QBMF (Quadtree-based Multi-focus)[14]五種方法與本文方法進行對比，其中，BGBS利用梯度信息計算雙邊銳度來進行多聚焦圖像融合，BFBMF基于邊界發(fā)現(xiàn)進行圖像融合，CBF基于交叉雙邊濾波對進行圖像融合，CFFD基于平均濾波和引導濾波進行圖像融合，QBMF采用四叉樹分解策略實現(xiàn)圖像融合。上述五種方法分別為利用不同融合策略的圖像融合方法，具有一定的代表性。

源灰度圖A1 源灰度圖B1

源RGB圖A1 源RGB圖B1圖3 第一組輸入源圖像

BGBS BFBMF CBF

CFFD QBMF 本文方法圖4 灰度圖像融合結(jié)果對比圖

BGBS BFBMF CBF

CFFD QBMF 本文方法圖5 RGB圖像融合結(jié)果對比圖

BGBS BFBMF CBF

CFFD QBMF 本文方法圖6 局部融合結(jié)果對比圖

使用圖3中的兩組輸入源圖像進行對比，源圖像分別為灰度圖像和RGB圖像兩種常見類型。圖4為本文方法與五種方法的灰度圖像融合結(jié)果對比圖。由對比結(jié)果可知，本文融合方法在墻壁和天空交接的地方，邊界線更加清晰，整體效果視覺對比度更高。圖5為RGB圖像融合結(jié)果對比圖。為了突出本文方法對于邊緣細節(jié)部分的融合優(yōu)勢，截取圖5中的局部進行融合結(jié)果對比，如圖6所示。從圖6局部融合結(jié)果對比可發(fā)現(xiàn)，本文方法的邊緣過渡更為自然和平滑，同時更好地保留了源圖像的顏色信息。

3.2.2 本文方法與小波融合方法的比較

為了驗證本文方法相對于傳統(tǒng)小波方法的優(yōu)越性，將本文方法融合結(jié)果與傳統(tǒng)小波(DWT)[15]、傳統(tǒng)雙樹-復小波(DT-CWT)[16]兩種算法的融合結(jié)果進行對比，傳統(tǒng)DWT和傳統(tǒng)DT-CWT的小波分解層數(shù)均為六層，與本文方法的雙樹-復小波分解層數(shù)一致。源圖像分別選取一組灰度圖像和一組RGB圖像，如圖7所示。融合結(jié)果如圖8所示。圖9為圖8的局部對比結(jié)果，由圖9局部對比結(jié)果可知，傳統(tǒng)DWT和傳統(tǒng)DT-CWT的融合結(jié)果在邊緣細節(jié)部分較為模糊，本文方法的融合結(jié)果在邊緣細節(jié)部分更為清晰和自然，因此本文方法相對于傳統(tǒng)DWT、傳統(tǒng)DT-CWT兩種方法得到的融合結(jié)果質(zhì)量更高。

源灰度圖A2 源灰度圖B2

源RGB圖A2 源RGB圖B2圖7 第二組輸入源圖像

傳統(tǒng)DWT 傳統(tǒng)DT-CWT 本文方法圖8 本文方法與傳統(tǒng)方法的對比結(jié)果

傳統(tǒng)DWT 傳統(tǒng)DT-CWT 本文方法圖9 本文方法與傳統(tǒng)方法的局部對比結(jié)果

3.3 客觀數(shù)據(jù)對比

(16)

式中，QAF(n，m)和QBF(n，m)分別表示源圖像A，B的邊緣強度，wA(n，m)和wB(n，m)分別表示QAF(n，m)和QBF(n，m)的加權(quán)系數(shù)。

設(shè)AF和BF分別為融合后的圖像，MI的定義如下：

MI=MIAF+MIBF，

(17)

表1 客觀數(shù)據(jù)指標對比結(jié)果

4 結(jié)語

本文提出了一種改進的雙樹-復小波變換的圖像融合方法，利用雙樹-復小波變換的平移不變性、多方向選擇性等優(yōu)點，將輸入圖像分解成高頻分量和低頻分量。鑒于高頻分量和低頻分量分別包含圖像的不同特征，分別采用兩種不同方法對高頻分量和低頻分量進行融合。低頻分量包含圖像的基本概況和平均性狀，因此對低頻分量通過計算顯著性測度來估計雙樹-復小波融合系數(shù)，以保持低頻分量信息；高頻分量細節(jié)較多、邊緣銳利，因此對高頻分量采用自適應的脈沖耦合神經(jīng)網(wǎng)絡模型進行融合，通過自適應系數(shù)的改變控制觸發(fā)時間，根據(jù)較大的觸發(fā)時間選擇高頻融合子帶，最后通過雙樹-復小波逆變換進行圖像重構(gòu)。同其他融合方法進行對比，結(jié)果表明，本文方法能夠得到較高質(zhì)量的融合結(jié)果，保留了圖像更多的細節(jié)信息以及顏色特征，并具有較好的視覺效果以及有較高的客觀評價指標，從而證明了本文方法的可行性和有效性，值得推廣。