雷光波，萬 方

(湖北工業(yè)大學(xué)計算機學(xué)院，湖北 武漢 430068)

1 引言

作為交流溝通的主要途徑，圖片在日常生活中占據(jù)著重要地位。為了更全面、更細致地描述圖像中的目標對象，基于對應(yīng)的融合規(guī)則，利用圖像融合技術(shù)對片面化、表面化的圖像目標進行信息重組，使其與人眼與機器感知更匹配。由于光學(xué)系統(tǒng)[1]的景深問題限制了目標區(qū)域的聚焦范圍，導(dǎo)致同一場景中僅圖像聚焦點周圍足夠清晰，需應(yīng)用多聚焦圖像融合技術(shù)融合處理不同聚焦度圖像，因此，眾多相關(guān)領(lǐng)域的研究人員對多聚焦圖像融合技術(shù)展開廣泛的深入研究。

文獻[2]提出的四通道不可分提升小波下多聚焦圖像融合方法中，通過提升分解二維四通道不可分小波濾波器組的多相位矩陣與二維提升小波逆變換，加快了融合速度；文獻[3]利用FFST(Fast Finite Shearlet Transform，快速有限剪切波變換)、拉普拉斯能量以及NSML(Novell mirror server link Novell，鏡像服務(wù)器連接)，構(gòu)建一種主觀視覺效果較好的圖像融合算法；而文獻[4]則將多聚焦融合與Retinex結(jié)合，架構(gòu)出改進雙邊濾波的多聚焦融合算法，該算法對圖像泛灰、光暈、邊界突出等現(xiàn)象存在有效的抑制作用，具有明顯的細節(jié)強化優(yōu)勢。

通過對上述文獻方法的優(yōu)劣勢取長補短，本文以邊緣保持濾波為基礎(chǔ)，設(shè)計一種多聚焦圖像融合方法。通過自適應(yīng)梯度聯(lián)合約束及邊緣保持濾波算法復(fù)原處理模糊圖像，獲取初始圖像微分信息，提升多聚焦圖像融合質(zhì)量；利用快速傅里葉變換與傅里葉逆變換方法，使復(fù)原圖像的邊緣信息與初始圖像的相似度更高；經(jīng)邊緣保持濾波階段，提升邊緣保持濾波效果，使梯度降噪處理與圖像輪廓信息保留更加優(yōu)越；引入深度神經(jīng)網(wǎng)絡(luò)模型的自編碼器，降低運算復(fù)雜度，提升運行效率。

2 基于邊緣保持濾波的多聚焦圖像融合

2.1 邊緣保持濾波下模糊圖像復(fù)原

因無法獲取初始圖像微分信息，所以在融合前需要基于自適應(yīng)梯度聯(lián)合約束，先對模糊圖像進行復(fù)原處理。模糊圖像復(fù)原的具體流程描述如下：

1)初步復(fù)原階段：假設(shè)初始圖像f(x，y)的灰度值序列為[fr(0)，fr(1)，…，fr(Nr-1)]T，其復(fù)原估計是，對應(yīng)加權(quán)比例系數(shù)分別是λ(1)、λ(2)，若令梯度先驗序列均是0，且空間相關(guān)約束條件設(shè)定成最小化相鄰像素差分[5]，則采用下列模糊圖像復(fù)原方程退化表達式，即可得到圖像的初步復(fù)原結(jié)果(0)

(1)

式中，利用快速傅里葉變換[6]處理r半徑下一維點擴散函數(shù)hr、模糊圖像g、稀疏序列階數(shù)d與d2，得到的Nr長復(fù)數(shù)序列分別是HF、G、D、D2，D2的復(fù)數(shù)共軛為(D2)*，元素相乘算子用°表示，F(xiàn)1指代傅里葉逆變換形式。

2)邊緣保持濾波階段：若反饋系數(shù)是k，轉(zhuǎn)換域中兩個相鄰像素的間距為u，則采用下列基于域變換的邊緣保持濾波方程，濾除噪聲信號，保持圖像邊緣細節(jié)，取得復(fù)原結(jié)果(0)的平滑圖像(1)

(1)[n]=(1-ku)(0)[n]+ku(1)[n-1]

(2)

3)梯度先驗估計階段：圖像一階和二階梯度的先驗序列分別是w(1)、w(2)，可通過平滑圖像(1)的微分稀疏序列公式解得，如下所示

(3)

(4)

式(3)、(4)中，預(yù)設(shè)閾值為τ(*)，與|d*(1)[n]|之間滿足下列取值條件表達式

(5)

經(jīng)合理設(shè)定閾值τ(*)，可在一定程度上提升邊緣保持濾波效果，使梯度降噪處理與圖像輪廓信息保留更加優(yōu)越。

4)最后復(fù)原階段：傅里葉變換[8]處理估計的一、二階梯度先驗序列w(1)、w(2)后，將處理結(jié)果與下列復(fù)原估計的相應(yīng)頻域解及其傅里葉逆變換[9]表達式進行整合，取得最終的復(fù)原圖像：

(6)

(7)

式(6)、(7)中，快速傅里葉變換處理先驗序列w(1)、w(2)所得的Nr長復(fù)數(shù)序列為W(1)、W(2)。

2.2 多聚焦圖像融合

為解決低頻子帶信息損失問題，利用深度神經(jīng)網(wǎng)絡(luò)模型(deep neural network model，DNNM)含有的自編碼器(auto encoder，AE)[10]來構(gòu)建低頻子帶，并將其設(shè)定成網(wǎng)絡(luò)輸入，根據(jù)自編碼器的學(xué)習(xí)屬性，獲取輸入子帶特征，取得隱藏層神經(jīng)元權(quán)重，通過權(quán)重對比選取適宜的低頻子帶，所得的低頻子帶即融合后子帶，融合完成。多聚焦圖像的具體融合流程描述如下：

1)分解階段：假設(shè)fA與fB是兩個配準后的源圖像，利用具有平移不變性的WKF(wavelet kernel filter，小波核濾波器)分解源圖像為L層，得到數(shù)量是L的第j次分解多尺度高頻子帶WAj、WBj與低頻子帶PA、PB，其中，j=1，2，…，L，源圖像特征用子帶系數(shù)指代；

2)融合高頻子帶階段：假設(shè)點(x，y)的小波核濾波器系數(shù)是Wj(x，y)，鄰域窗口是(s，t)，則提取高頻子帶鄰域間的局部能量表達式如下所示

Sj(x，y)=∑∑Wj(x+s，y+t)2

(8)

從提取出的局部能量中選擇最大值作為融合后特征，利用下列表達式求取融合后的高頻子帶WFj(x，y)

(9)

3)融合低頻子帶階段：劃分源圖像的低頻子帶PA與PB為多個子塊，規(guī)格是n*n，將其作為自編碼器輸入后，構(gòu)建與低頻子帶對應(yīng)的自編碼模型；在學(xué)習(xí)過程中，編碼輸入層數(shù)據(jù)，重構(gòu)最小誤差，取得理想的編碼輸入表達；若存在3層隱藏層，且神經(jīng)元表達的是初始輸入，隱藏層權(quán)重分別是EA、EB，融合后圖像fF的低頻子帶是PF，則低頻子帶PF(x，y)的選取可通過下列條件式完成：

(10)

4)利用小波核濾波器重構(gòu)所得的低頻子帶PF(x，y)與高頻子帶WFj(x，y)，獲取多聚焦圖像的融合后圖像f′。

3 多聚焦圖像融合模擬實驗

3.1 多聚焦圖像融合平臺與評估指標

為驗證基于邊緣保持濾波的多聚焦圖像融合算法的有效性，設(shè)計仿真對比實驗。仿真平臺選用proteus7.10軟件，硬件為4GHz頻率、8GB內(nèi)存的英特爾雙核處理器。多聚焦圖像融合評估指標分別采用SD(Standard Deviation，標準差)、AG(Average Gradient，平均梯度)、MI(Mutual Information，互信息量)以及邊緣信息保持度QAB/F，定量評估不同融合圖像質(zhì)量，四個指標分別用于反映圖像的對比度、清晰度、融合圖像含有的源圖像信息量以及源圖像邊緣信息融入最終圖像的融合量，各指標對應(yīng)表達式如下所示

(11)

(12)

(13)

(14)

式(14)中，像素點(x，y)的灰度值為φ(x，y)，融合圖像的邊長分別是M，N，圖像灰度均值為μ；不同方向上的像素點一階差分分別是Δφx與Δφy；源圖像像素灰度值分別是a，b，其與融合圖像的像素灰度值概率密度函數(shù)分別是pA(a)、pB(b)、pF(φ)，兩種圖像的聯(lián)合概率密度函數(shù)分別是pAF(a，φ)、pBF(b，φ)；融合圖像對源圖像邊緣信息保留值與感知保留值的乘積為QAF(n，m)、QBF(n，m)，邊緣強度函數(shù)是wA(n，m)、wB(n，m)。

將多聚焦圖像分解層數(shù)設(shè)定成3，區(qū)域模板規(guī)格為5*5，采用文獻[2]方法、文獻[3]方法與所提方法融合多聚焦圖像，驗證方法的實踐性與有效性。

3.2 多聚焦圖像融合效果分析

在lytro 數(shù)據(jù)集(https：∥www.irisa.fr/temics/demos/lightField/index.html)中選取一幅聲多聚焦源圖像作為實驗對象，如圖1所示。

采用不同方法對圖1實驗圖像進行融合，得到融合結(jié)果如圖2所示。

圖1 聲多聚焦源圖像

圖2 不同方法的融合圖像對比

根據(jù)以上各圖像融合結(jié)果可以看出，文獻[2]方法的融合圖像中存在偽影現(xiàn)象[11]，邊緣模糊且有波紋與虛假信息出現(xiàn)，未較好地保留圖像紋理細節(jié)，導(dǎo)致視覺效果較差，文獻[3]方法所得的融合圖像虛影有所減少，紋理細節(jié)相對清晰，而所提方法由于運用了具有平移不變性的小波核濾波器，使偽吉布斯現(xiàn)象[12]得到較好克服，因此，大幅提升了融合圖像質(zhì)量，獲取了更高的對比度與更好的視覺效果；對比文獻方法，所提方法充分提取出源圖像清晰像素，并進行有效融合，具有極佳的融合圖像效果。這是因為基于自適應(yīng)梯度聯(lián)合約束，對模糊圖像進行了復(fù)原處理，因此，獲得了更好的圖像視覺效果。

表1所示為圖像融合評估指標的定量評價結(jié)果，對各融合方法的多聚焦圖像融合性能做出了客觀評價。

表1 多聚焦圖像客觀評估指標數(shù)據(jù)統(tǒng)計表

根據(jù)表中數(shù)據(jù)對比結(jié)果可以看出，相比文獻[2]方法、[3]方法，所提方法具有最優(yōu)的評估指標結(jié)果，既避免了偽吉布斯現(xiàn)象的出現(xiàn)，大幅度提升邊緣特征，也在清晰度、對比度、紋理信息保留度等方面都取得了較好的融合效果，與標準圖像最為接近。

經(jīng)統(tǒng)計各方法在融合多聚焦圖像時所用的時長，整合得到下表2所示。

表2 各方法圖像融合時長(單位：s)

各方法的融合時長結(jié)果表明，所提方法因使用深度神經(jīng)網(wǎng)絡(luò)模型含有的自編碼器來構(gòu)建低頻子帶，并學(xué)習(xí)輸入子帶特征，降低了計算復(fù)雜度，所以，對比文獻方法的融合時長更短，而文獻[2]方法、[3]方法則通過減小圖像對比度與清晰度，用下降圖像融合質(zhì)量來換取快速融合。綜合以上分析，所提方法既確保了融合的有效性，也相對縮減了融合時長。

由以上圖像結(jié)果可知，本文方法對比文獻方法具有更理想的噪聲抑制性能，由于所提方法利用快速傅里葉變換、傅里葉逆變換等方法，高度復(fù)原了帶噪的模糊圖像，使圖像噪聲得到有效抑制，故其融合性能仍顯著優(yōu)于其它文獻方法，提升了圖像融合性能，具有較好的實際應(yīng)用意義。

4 結(jié)論

圖像融合技術(shù)以生成與人類視覺特性相符、與計算機處理性能匹配的新圖像為目標，逐漸演變成圖像處理、計算機視覺等領(lǐng)域中的熱點研究課題。因光學(xué)鏡頭受限，導(dǎo)致無法實現(xiàn)聚焦全部清晰目標圖像，故多聚焦圖像融合策略應(yīng)時而生。融合問題具有一定的復(fù)雜性，基于本文研究成果，從以下幾個方面展開進一步改進：濾波參數(shù)決定了圖像融合方法性能，為獲取更好的融合質(zhì)量，應(yīng)將探索出更理想?yún)?shù)作為今后的研究側(cè)重點；針對融合圖像沒有對源圖像細節(jié)信息做較好保留的問題，應(yīng)嘗試結(jié)合新型技術(shù)與算法，構(gòu)建更優(yōu)越的融合方法；因時間限制，在未來的工作中，需采用更多的客觀評價指標實施仿真，分析、評估方法性能；下一步應(yīng)探究彩色圖像的多聚焦融合效果，將圖像融合層級從像素級擴展至特征級、決策級，拓寬方法應(yīng)用領(lǐng)域；從融合時長角度出發(fā)，探究一種確保融合質(zhì)量下縮減融合時間的方法，實現(xiàn)融合實時性。