馬文娟，許 峰

(安徽理工大學數(shù)學與大數(shù)據(jù)學院，安徽 淮南 232001)

多聚焦圖像融合就是綜合多幅源圖像的信息, 形成一幅畫面更清晰、信息更全面的新圖像, 這幅新圖像降低了模糊度，增加了信息量和置信度，更加適用于計算機的后續(xù)處理和人眼的觀察。圖像融合是信息融合的一種有效技術途徑, 已經(jīng)在機器視覺、遙感、軍事和醫(yī)療診斷等領域中得到廣泛地應用。

近年來，多聚焦圖像融合算法通常分為空間域融合和多尺度融合兩大類。 常用的空間域融合方法有主成分分析法(PCA)、加權(quán)平均法(Average)、基于雙邊梯度的清晰度評價函數(shù)(BGS)等[1]，但是對于不同的場景，由于相機運動或物體運動，會造成同一場景包含的內(nèi)容不同，因此很難精準地判斷一個像素或區(qū)域模糊還是清晰。 此外，對于復雜的源圖像，傳統(tǒng)的基于空間域的方法往往很難得到較好的融合圖像。 而基于多尺度變換的融合方法，通常分為下列3 步: 首先對源圖像作變換以得到相應的變換系數(shù); 然后按照所給的融合規(guī)則合并變換系數(shù); 最后，利用融合系數(shù)進行逆變換，重構(gòu)融合圖像。 傳統(tǒng)的多尺度融合算法包括具有方差計算的離散余弦變換(DCT+ var)[2]、具有方差計算和一致性驗證的離散余弦變換(DCT +var + cv)、離散余弦諧波小波變換(DCHWT)[3]、小波與自適應塊(DWT + AB)、交叉雙邊濾波(CBF)和圖像引導濾波器(GFF)[4]等。 由于多尺度分解的程度不同，融合系數(shù)也會不相同，所以融合過程中會因此丟失信息，以致于融合圖像中的信息產(chǎn)生缺失。 近年來，還提出了其他一些用于多聚焦圖像融合的實施方法[5]，取得了一定的進展。

當某一區(qū)域和周邊區(qū)域存在明顯差異時，人眼就會主觀地去關注該區(qū)域，這種人類特性稱作視覺注意機制。目前圖像分析的領域引入了這種機制，即圖像的顯著性檢測[6-7]。 這種顯著性檢測給多聚焦圖像融合帶來了便利，因為它極大地緩解了圖像底層特征和內(nèi)容理解之間的隔閡。 而在增強顯著目標區(qū)域視覺特性的同時，又能保證不同分解尺度下圖像可以精細地融合，逐漸變成學者們研究的熱點。

1 算法框架

本文利用MSSS顯著性檢測機制改進基于多尺度分解的圖像融合準則，具體方法是：首先對利用均值濾波器對源圖像進行多尺度分解，得到不同尺度的基礎層圖像和細節(jié)層圖像。 然后，用MSS顯著性檢測算法計算各尺度基礎層圖像的視覺顯著性，得到它們的顯著圖。接著，將顯著圖歸一化至[0,1]區(qū)間，得到顯著度權(quán)重圖。再將各細節(jié)層圖像與對應尺度的顯著度權(quán)重圖加權(quán)相乘，累加得到最終的細節(jié)層圖像。 隨后，計算出所有基礎圖像的平均值，把平均基礎圖像作為最終的基礎圖像。 將最終的基礎融合圖像和最終細節(jié)圖像簡單相加，即可得到最終的融合圖像。 圖1為本文系統(tǒng)框架。 下面簡單介紹其中的關鍵步驟，以增強對本文算法的理解。

圖1 多聚焦圖像融合算法框架圖

1.1 多尺度圖像分解

根據(jù)文獻[8]提出的多尺度分解理論，使用均值濾波器對源圖像做多次濾波，便實現(xiàn)了對多聚焦圖像的多尺度分解。 使用這種多尺度分解方法，可以將多聚焦圖像分解成一系列的基礎圖像和細節(jié)圖像，其中基礎圖像記錄原始圖像的輪廓等整體結(jié)構(gòu)信息，細節(jié)圖像則記錄不同尺度的紋理等局部結(jié)構(gòu)信息。具體的多尺度分解過程如下，使用尺寸為5×5的窗口對原始圖像做平滑操作，特別值得注意的是，后面的平滑操作并不是在原始圖像的基礎上進行的，而是將上一次平滑操作的輸出結(jié)果作為下一次平滑操作的輸入，使得基礎圖像也具有多尺度特點。 通過上述的平滑操作，多聚焦圖像被逐漸地平滑成多個不同尺度的基礎圖像，然后將相鄰平滑尺度的基礎圖像進行相減，即可得到不同尺度的細節(jié)圖像。

令A表示使用的均值濾波器，其中k表示平滑尺度等級，k越大意味著該尺度的圖像模糊程度越小。如果I表示源圖像，那么多尺度分解的基礎圖像，即圖像I的不同平滑尺度的模糊圖像可以表示為下列公式

Bk=Bk-1*A,k=1,2,…，K和B0=I

式中：B1，B2，…，Bk表示源圖像I的不同平滑尺度的模糊圖像。多尺度分解對應的細節(jié)圖像可以由不同尺度的基礎圖像相減得到，即不同尺度的細節(jié)圖像可以表示為以下公式

Dk=Bk-Bk-1,k=1,2,…,K

式中：Dk表示多尺度分解的不同尺度的細節(jié)圖像。 在這里，最終將源圖像分解成三幅尺度不同的細節(jié)圖像和基礎圖像，即取K=3。其中，三個尺度的細節(jié)圖像分別是較小尺度，中等尺度和較大尺度的細節(jié)圖像，如圖2 所示。

(a)圖像“Flower”的左聚焦圖 (b)基礎圖像B1 (c)基礎圖像B2 (d)基礎圖像B3

(e)細節(jié)圖像D1 (f)細節(jié)圖像D2 (g)細節(jié)圖像D3

(h)圖像“Flower”的右聚焦圖像 (i)基礎圖像B1 (j)基礎圖像B2 (k)基礎圖像B3

(l)細節(jié)圖像D1 (m)細節(jié)圖像D2 (n)細節(jié)圖像D3圖2 多尺度分解的基礎層和細節(jié)層

從圖中可看出，平滑尺度越大，基礎圖像的模糊程度也隨之增大，該層對應的細節(jié)圖像的尺度也越來越大，因此不僅獲取了不同尺度的基礎信息，同時也記錄了不同尺度的細節(jié)信息。

1.2 基于MSS的顯著性檢測

顯著性檢測算法中，IT、SR[9]和GB[10]算法取得的顯著圖分辨率比較低；IT 和GB算法顯著圖邊界模糊；CA、ADM 和SR方法顯著目標的邊界很明顯，但是整體并不均勻。 鑒于上述方法存在的問題，因此直接利用視覺顯著性算法構(gòu)造權(quán)重圖組建融合圖像存在局限性。為此，文獻[11]于2009 年提出了基于圖像頻域分析的一種新的顯著性算法，即頻率調(diào)諧(frequency-tuned，F(xiàn)T)算法。 其主要思想是用多個帶通濾波器對圖像按照從低頻到高頻的連續(xù)頻帶進行濾波，合并所有的輸出，得到全分辨率的顯著圖，以此作為最終的顯著圖，該組合濾波器為

G(x,y,σ1)-G(x,y,σ2)

式中：σ1，σ2為高斯濾波器的標準差，且σ1>σ2，(x,y)為像素點坐標。

最終，F(xiàn)T方法用CIELab 顏色空間，則圖像像素的顯著值計算公式表達如下

S(x,y)=‖Iu-If(x,y)‖

其中：Iu是圖像的平均特征矢量，If(x,y)是對源圖像高斯模糊濾波后的對應像素，即在CIELab空間中，把源圖像的平均向量和高斯濾波后的向量之間的歐式距離視為顯著圖。 此算法能夠均勻地突出顯著區(qū)域，邊界清晰，分辨率與源圖像相同，計算速度非常快，同時能夠得到顯著目標的整體輪廓，從而能突出最大的顯著目標，但是背景和顯著區(qū)域的差異并不大。

因此在2010 年，文獻[12]改進了FT算法，提出了最大對稱環(huán)繞 (maximum symmetric surround，MSS)算法，該算法依據(jù)像素點與圖像邊緣間的距離，來改變中央周邊的帶寬，從而把FT算法中源圖像的平均特征矢量均值用給定像素點的最大可能對此環(huán)繞區(qū)域均值代替。對于寬為w,高為h的圖像，在(x,y)處，對稱環(huán)繞區(qū)域的顯著值Sss(x,y)表示為

Sss(x,y)=‖Iu(x,y)-If(x,y)‖，

Iμ(x,y)是以點(x,y)為中心的鄰域的平均矢量值，其鄰域范圍如下，寬度(x-x0):(x+x0),高度為(y-y0):(y+y0)。 其中,x0=min(x,w-x),y0=min(y,h-y),A=(2x0+1)(2y0+1)，MSS方法從而降低了背景的顯著性。圖3為源圖像Flower三層分解尺度的顯著圖示例，第一行和第二行分別為MSS檢測算法在左聚焦和右聚焦圖像三幅不同尺度的基礎圖像獲取的顯著圖。從圖中可以看出，本文方法邊界清晰，整體突出且分辨率高，能夠檢測出顯著物體的整體輪廓。

(a)圖像“Flower”的左聚焦圖 (b)1層分解顯著圖 (c) 2層分解顯著圖 (d)3層分解顯著圖

(e)圖像“Flower”的左聚焦圖 (f)1層分解顯著圖 (g)2層分解顯著圖 (h)3層分解顯著圖圖3 顯著圖提取

1.3 顯著度權(quán)重圖

多聚焦圖像融合即提取并融合多幅源圖像的清晰區(qū)域，用以精確地描述場景中的所有目標. 因此，在應用融合策略時，若要使最終增強結(jié)果具有較好的清晰度，必須選取合適的權(quán)重圖來識別輸入圖像的聚焦和模糊區(qū)域。這里計算各個分解尺度上顯著圖的歸一化值，即為每一層源圖像的顯著度權(quán)重圖，定義如下

(a)圖像“Flower”的左聚焦圖(b)第一層的權(quán)重圖(c)第二層的權(quán)重圖(d)第三層的權(quán)重圖

(e)圖像“Flower”的右聚焦圖(f)第一層的權(quán)重圖(g)第二層的權(quán)重圖(h)第三層的權(quán)重圖圖4 圖像“Flower”多尺度分解的顯著度權(quán)重圖

1.4 重建融合圖像

最終的細節(jié)圖像由每一層的細節(jié)圖像乘以該層的顯著度權(quán)重圖，然后加總求和得到，公式如下

計算不同尺度所有基礎圖像的算術平均值，將平均基礎圖像作為最終的基礎層，定義如下

將最終的細節(jié)圖像和基礎圖像進行相加，便可得到最終的融合圖像. 最后的融合圖像如下定義

圖5 圖像“Flower”的融合圖像

2 實驗結(jié)果及分析

為了驗證本文算法對多聚焦圖像融合的實用性和有效性， 選用了三種應用廣泛的多聚焦圖像進行實驗， 分別為Flower、 Aircraft和Book， 所用圖像都取自于互聯(lián)網(wǎng)下載的標準圖庫。依次用另外7種圖像融合算法和本文方法作比較，包括基于具有方 差計算的離散余弦變換(DCT+var)、基于具有方差計算和一致性驗證的離散余弦變換(DCT +var+cv)[13]、基于離散余弦諧波小波變換(DCHWT)、基于小波與自適應塊(DWT + AB)[14]、基于交叉雙邊濾波(CBF)[15]和基于引導濾波器(GFF)。采用均值濾波器進行濾波，滑動窗口大小為5×5，多尺度分解層數(shù)為3層，此外無其他參數(shù)調(diào)整。 實驗環(huán)境為Inter酷睿3.8GHz,內(nèi)存為8G，編程工具為Matlab2012b。

圖6～圖8給出了各種融合算法得到的融合結(jié)果。圖中紅色方框區(qū)域為融合圖像的部分背景信息。依據(jù)圖像的整體融合效果，各融合算法基本上都能夠提取了源圖像中的目標信息，提高了視覺效果，但是基于CBF的融合效果不理想，融合圖像中的目標亮度低，比較模糊，因此圖像中的背景對比度也低 (如圖6～圖8的(c))。為了更好地比較融合結(jié)果在細節(jié)上的差異，放大顯示了紅色方框部分，如圖6～圖8的的(i)～(p)所示，通過比較可以看出，本文算法融合圖像紋理清晰，邊緣過渡平滑，細節(jié)豐富，對比度強，而且有效地提取了聚焦區(qū)域，綜上所述，本文融合方法具有很好的主觀視覺效果。

為了更客觀地衡量各算法的融合效果，采用空間頻率(SF)[16]、互信息(MI)、信息熵(H)[17]、融合對稱性(FS)、歸一化相關系數(shù)(NC)[18]、結(jié)構(gòu)相似度(SSIM)[19]和峰值信噪比(PSNR)[20]七種客觀評價標準進行分析評測。SF顯示了融合結(jié)果對源圖像信息的保持程度，數(shù)值越大，融合圖像就越清晰、越活躍；MI用來衡量源圖像與融合圖像的交互信息量，從而評價融合的效果。它的值越大，融合效果越好，即融合圖像從輸入圖像中取得的信息量越豐富；H描述圖像所含內(nèi)容的豐富程度,數(shù)值越大，表明圖像所含的信息量越多，效果越好。 FS用于表示源圖像對融合圖像的貢獻程度，如果兩個源圖像對融合圖像的貢獻相等，則FS的值接近于2， 因此，融合圖像將具有更好的質(zhì)量；NC能反映源圖像和融合圖像之間光譜特征的相似程度，數(shù)值越大，融合圖像和兩幅源圖像之間的光譜特征相關性越大，融合質(zhì)量越好。SSIM是從原始圖像的對比度、結(jié)構(gòu)信息和亮度角度出發(fā)，對兩幅圖像相似度的指標進行比較衡量，結(jié)構(gòu)相似度的范圍從0到1，如果有兩張圖像完全相同時，SSIM的值為1。PSNR是基于對應像素點間誤差的一種圖像客觀評價指標，即基于誤差敏感的圖像質(zhì)量評價，數(shù)值越大表示失真越小。

表1為圖6～圖8這三組圖中各類算法融合結(jié)果的客觀性能指標。從表中的各項客觀質(zhì)量評價指標看，本文方法的融合效果最佳，3組圖像的各項評價指標都高于其他融合算法，說明了融合結(jié)果細節(jié)及邊緣描述最好，清晰度最高。

(a)本文方法 (b) GFF方法 (c) CBF方法 (d)DCHWT方法

(e)DWT+AB方法 (f)BGS方法 (g)DCT+var+cv方法 (h)DCT+var方法

(i) (j) (k) (l)

(m) (n) (o) (p)圖6 Flower圖像不同算法融合效果

(a)本文方法 (b)GFF方法 (c)CBF方法 (d)DCHWT方法

(e)DWT+AB方法 (f)BGS方法 (g)DCT+var+cv方法 (h)DCT+var方法

(i)(j)(k)(l)

(m)(n) (o)(p)圖7 Aircraft圖像不同算法融合效果

(a)本文方法 (b) GFF方法 (c) CBF方法 (d) DCHWT方法

(e)DWT+AB方法 (f)BGS方法 (g)DCT+var+cv方法 (h)DCT+var方法

(1) (j)(k) (l)

(m)(n) (o) (p)圖8 Book圖像不同算法融合效果

表1 三組融合圖像客觀質(zhì)量評價

3 結(jié)論

基于MSS顯著性檢測機制和多尺度分解，提出了一種新型的多聚焦圖像融合算法。算法的主要框架在于：(1)利用均值濾波器對源圖像分別進行不同尺度的濾波，使用尺寸為5×5的窗口對原始圖像做平滑操作，后面是把上一次平滑操作的輸出圖像作為下一次操作的輸入，按照上述平滑過程，得到一系列不同尺度的基礎圖像，再將各相鄰層的基礎圖像進行相減，即可得到不同尺度的細節(jié)圖像；(2)引入MSS顯著性檢測機制，提取了不同尺度基礎圖像的顯著性區(qū)域；(3)在各尺度層依據(jù)一定的融合法則，并利用加權(quán)重建思想，實現(xiàn)了對融合圖像的重構(gòu)。多組對比試驗結(jié)果表明，本文算法同時具有很好的主觀評價結(jié)果和客觀評價結(jié)果，保留了源圖像的細節(jié)信息，還增強了融合結(jié)果的有效信息，是一種有效且實用的多聚焦圖像融合算法。

本文的融合實驗都是在兩幅源圖像的基礎上進行的，在實際應用中，只要對它作簡單的擴展，就可以應用于多幅源圖像的融合。而且本文研究的多聚焦圖像融合算法也適用于其他類型圖像的融合。在未來的研究工作中，還要進一步探索算法的性能，提高多尺度分解方法的精細程度和運行效率，能夠自適應選取不同融合圖像的算法參數(shù)，大大改善算法的適用性和魯棒性。