蔣德勇，李 俊，趙新勝，陳舒婭

(1.江西應(yīng)用科技學(xué)院人工智能學(xué)院，江西南昌330100;2.贛南師范大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，江西贛州341000)

1 引言

信息融合已經(jīng)成為當(dāng)前一大亮點(diǎn)，也是當(dāng)今社會(huì)急需創(chuàng)新攻克的難題[1-2]。目前相關(guān)學(xué)者對(duì)于圖像方面的研究取得了較大的成就，其中圖像融合這一技術(shù)已經(jīng)相對(duì)成熟，圖像融合簡(jiǎn)單來(lái)講，就是將兩個(gè)或多個(gè)具有同種目標(biāo)元素的圖像進(jìn)行融合，突出特征點(diǎn)和區(qū)別點(diǎn)，這樣極大方便了研究人員的觀察與研究，使圖像更加全面和準(zhǔn)確[3]。圖像融合已經(jīng)廣泛應(yīng)用于醫(yī)學(xué)，航天，工業(yè)，軍事等領(lǐng)域，在社會(huì)各個(gè)領(lǐng)域有著極其重要的意義。在醫(yī)學(xué)方面，圖像融合技術(shù)可以使醫(yī)師們更好地檢查病人的病灶特點(diǎn)、形狀、嚴(yán)重程度等；在航天領(lǐng)域，其著重應(yīng)用于遙感技術(shù)，對(duì)航空路線的選擇與躲避空障提供了極大的支持；在軍事領(lǐng)域，引用遙感技術(shù)后觀察地形地貌，規(guī)避風(fēng)險(xiǎn)更加方便[4]。其中，多聚焦圖像融合算法是圖像融合的重要算法之一。

目前運(yùn)用較多的攝像機(jī)鏡頭都是光學(xué)鏡頭，光學(xué)鏡頭的景深很淺，不能全面地、清晰地將實(shí)物景中距離差距較大的物體全部還原，目前提出的空間域方法、手動(dòng)控制、基于分塊方法等方法，都是以分割為基礎(chǔ)，融合效果相對(duì)較差。為此相關(guān)鄰域的研究學(xué)者對(duì)此進(jìn)行了研究，取得了一定的進(jìn)展。陳清江等人提出一種基于深度學(xué)習(xí)的多聚焦圖像融合算法[5]，利用AlexNet網(wǎng)絡(luò)模型實(shí)現(xiàn)卷積核分類，通過(guò)校正矩陣進(jìn)行圖像塊校正，利用圖像聚焦和散焦方法實(shí)現(xiàn)邊界區(qū)域處理，此方法能夠較好的保留邊緣信息，但是平均梯度值不佳。白晨帥等人提出基于稀疏表示的遙感圖像融合方法[6]，通過(guò)PCA變換實(shí)現(xiàn)圖像信息處理，利用分塊稀疏表示方法實(shí)現(xiàn)融合圖像重構(gòu)，此方法能夠有效均勻圖像光照度，但是邊緣信息保持度不佳。

本文基于前人研究經(jīng)驗(yàn)，提出了多聚焦圖像融合算法，這種方法不但可以明顯的改良以上不足之處，算法還更容易理解，而且RGF 基于迭代實(shí)現(xiàn)具有更快收斂的特性。

2 基于導(dǎo)向?yàn)V波的多聚焦圖像多階特征分解

在進(jìn)行圖像融合之前，先進(jìn)行特征分解，將一組需要整合的圖像P輸入到數(shù)據(jù)庫(kù)中，在數(shù)據(jù)庫(kù)中加入引導(dǎo)圖像I，將輸入的圖像P進(jìn)行濾波合成，最終得到一個(gè)輸出圖像q，這種可以變化為算法的輸入和輸出。通過(guò)引導(dǎo)濾波技術(shù)對(duì)線性濾波過(guò)程進(jìn)行定義，分析像素點(diǎn)所在位置，探索濾波輸出結(jié)果，根據(jù)輸出結(jié)果實(shí)現(xiàn)加權(quán)計(jì)算，進(jìn)而得到平均值[5-6]。加權(quán)平均值的計(jì)算公式如式(1)所示

qi=Wij(I)*pj

(1)

其中，i和j分別表示像素下標(biāo)；Wij(I)是只和引導(dǎo)圖像I相關(guān)的濾波核，該濾波器相對(duì)于P是線性的。經(jīng)過(guò)多層次的深入研究，發(fā)現(xiàn)這個(gè)濾波器與輸入圖像P是線性相關(guān)的[7]。

導(dǎo)向?yàn)V波在確定局部線性關(guān)系的條件與研究對(duì)象，輸出圖像q和引導(dǎo)圖像I在Wk上存在局部線性關(guān)系，表示公式如下

qi=akIi+bk，?i∈wk

(2)

其中，Wk表示濾波窗口值。為提高信息的嚴(yán)謹(jǐn)性，本文選取的Wk為精確設(shè)定的以r為半徑的窗口，(ak，bk)為常量系數(shù)。Wk的設(shè)置可以有效降低錯(cuò)誤率，極大地保證了不變性。

假定引導(dǎo)圖像I有一個(gè)邊緣，則輸出圖像q也保持邊緣不變，設(shè)像素點(diǎn)變化為?I，此時(shí)存在?q=a?I0，因此計(jì)算q值時(shí)，就只需要求出上個(gè)式子中的a和b即可。在計(jì)算過(guò)程中，將輸入圖像中遠(yuǎn)離邊緣區(qū)的不平滑的細(xì)分為n個(gè)小塊，選擇最小目標(biāo)，求出qi。計(jì)算公式如式(3)所示

(3)

引入一個(gè)相對(duì)正則化參數(shù)ε避免ak過(guò)大，結(jié)合式(3)得到的Wk損失函數(shù)，計(jì)算公式如下

(4)

3 基于導(dǎo)向?yàn)V波的多聚焦圖像多階特征預(yù)處理

高斯濾波是一種線性平滑濾波，可以使濾波后的圖像在細(xì)節(jié)特征上與聚焦模糊的圖像相似，高斯濾波圖如圖1所示。

圖1 高斯濾波圖

如圖1所示，在確定高斯濾波圖后，本文通過(guò)高斯濾波器提取樣本，從而選擇紋理清晰、多樣的聚焦圖像，高斯濾波器可以對(duì)圖像做平滑處理，使圖像的細(xì)微之處與聚焦模糊的圖像更加相似，還同時(shí)可以自主對(duì)圖像采取清晰處理，保證了圖像的清晰度，節(jié)省人力物力。為了使圖像更加自然化，本文選用單相高斯濾波器。

圖1中的濾波器可以通過(guò)多次重復(fù)疊加，得到最好的濾波結(jié)果。圖像選取完成后，還要考慮數(shù)據(jù)的選取，由于工作量較大，因此要選取多種不同圖像進(jìn)行比對(duì)，最終選出數(shù)據(jù)集[8-9]。

對(duì)小結(jié)果的處理，采用圖像的原則，利用處理好的濾波融合圖像，將訓(xùn)練好的網(wǎng)絡(luò)模型逐條計(jì)算且進(jìn)行前后賦值，分別為0，1，高的記為1，低的記為0。設(shè)定非邊界點(diǎn)e(i，j)，可以根據(jù)其臨近的8個(gè)點(diǎn)數(shù)為1的個(gè)數(shù)進(jìn)行判斷。矯正矩陣如圖2所示。

圖2 矯正矩陣

由圖2可知，雖然得到的網(wǎng)絡(luò)模型精度較高，但是得到的0、1矩陣還是有可能存在誤判情況，根據(jù)其臨近8個(gè)點(diǎn)為1的個(gè)數(shù)進(jìn)行判斷。判斷公式為

(5)

其中，ζ是臨近點(diǎn)為1的個(gè)數(shù)，若判斷該點(diǎn)為1，則認(rèn)為ζ大于4，若判定其對(duì)應(yīng)點(diǎn)為0，則認(rèn)為ζ小于等于4[10]。為了提高實(shí)驗(yàn)的準(zhǔn)確度，要像其它實(shí)驗(yàn)一樣多做幾次實(shí)驗(yàn)，得到的最終結(jié)果是兩次或多次的平均值[11-12]。

若頂點(diǎn)d(i，j)=0，則要選取頂點(diǎn)對(duì)應(yīng)的四個(gè)對(duì)角線的四個(gè)點(diǎn)進(jìn)行矯正頂點(diǎn)。由圖3可知，若矯正矩陣4個(gè)點(diǎn)中非零點(diǎn)個(gè)數(shù)大于2，則判定d(i，j)=1，反之則認(rèn)為d(i，j)=0。

由于矯正矩陣得到的結(jié)論并不能完全符合要求，因此需要進(jìn)行再次矯正，但并不是多次，只需要一次即可。

4 基于導(dǎo)向?yàn)V波的多聚焦圖像多階特征融合

在完成特征預(yù)處理后，進(jìn)行特征融合，在融合過(guò)程中同時(shí)考慮清晰度、邊角保留度、對(duì)比度三要素，通過(guò)分析上述三要素實(shí)現(xiàn)多聚焦圖像多階特征融合?；趯?dǎo)向?yàn)V波的多聚焦圖像多階特征融合過(guò)程如圖3所示。

圖3 基于導(dǎo)向?yàn)V波的多聚焦圖像多階特征融合

4.1 邊角信息

邊角信息對(duì)視覺(jué)系統(tǒng)有著重要的吸引作用，受局部光線的影響，邊角信息可能會(huì)出現(xiàn)明暗變化，因此在這一過(guò)程中，可以更好地提取出底層特征，利用相位一致性來(lái)分析圖像內(nèi)部的邊角信息。邊角信息計(jì)算公式如式(6)所示

(6)

其中，光線圖像點(diǎn)為(x,y)，設(shè)定研究的網(wǎng)絡(luò)為傅里葉網(wǎng)絡(luò)，則在θ方向的局部能量為Er，θ(x，y)，Av，n，θ(x，y)表示在θ方向的局部振幅；ε表示常數(shù)項(xiàng)分量，ε能夠有效防止分母為0。

4.2 對(duì)比度

圖像融合的最終目的就是為了讓人眼更清晰的辨認(rèn)出圖像中特殊的點(diǎn)及面，而人類的視覺(jué)對(duì)獨(dú)立的像素并不敏感，人眼比較敏感的區(qū)域是像素的鄰域變化，根據(jù)這一特點(diǎn)，本文對(duì)局部與整體的對(duì)比度加強(qiáng)。局部對(duì)比度計(jì)算公式如式(7)所示

(7)

通過(guò)滑動(dòng)串口技術(shù)計(jì)算局部對(duì)比度，其中，p，q表示窗口大??；Lv(x，y)表示通過(guò)局部加權(quán)后，得到的局部對(duì)比值。

4.3 清晰度

清晰度在圖像視覺(jué)感知中占據(jù)重要位置，本文引用拉普拉斯能量和離散形式來(lái)表示圖像的清晰度，計(jì)算公式為

(8)

4.4 權(quán)重優(yōu)化

當(dāng)圖像噪音很重時(shí)，需要進(jìn)行權(quán)重優(yōu)化，以實(shí)現(xiàn)降噪工作，將其的邊緣與物體盡可能的對(duì)齊，使用導(dǎo)向?yàn)V波方法，對(duì)其不斷進(jìn)行濾波干擾，最終選出最優(yōu)圖像。

本文研究的決策圖避免了邊界壞點(diǎn)的情況，采用上文多次提到的引導(dǎo)濾波器進(jìn)行干擾，這種引導(dǎo)濾波器可以更容易修復(fù)邊界，使得到的最終決策圖更加自然化，適合人眼觀測(cè)。

5 實(shí)驗(yàn)研究

為了驗(yàn)證本文提出的基于導(dǎo)向?yàn)V波的多聚焦圖像多階段特征融合算法的有效性，與傳統(tǒng)方法進(jìn)行實(shí)驗(yàn)對(duì)比。

選用的三種方法分別是本文提出的基于導(dǎo)向?yàn)V波的多聚焦圖像多階段特征融合算法，目前應(yīng)用較多的基于稀疏表示的多聚焦圖像多階段特征融合算法以及基于深度學(xué)習(xí)的多聚焦圖像多階段特征融合算法。

設(shè)定實(shí)驗(yàn)參數(shù)如下表1所示：

表1 實(shí)驗(yàn)參數(shù)

根據(jù)上述實(shí)驗(yàn)參數(shù)，確定網(wǎng)絡(luò)模型，從模型中提取相關(guān)的數(shù)據(jù)參數(shù)，選用sobel算子進(jìn)行濾波處理，根據(jù)矯正矩陣判斷內(nèi)部是否存在誤判圖像，如果存在誤判圖像，則要進(jìn)行矯正。分析圖像的清晰度，使用三取二機(jī)制細(xì)分像素級(jí)，通過(guò)濾波處理實(shí)現(xiàn)邊界信息修復(fù)。利用疊加法將被修復(fù)的邊界與圖像疊加到一起，形成融合的最終結(jié)果。

使用本文提出的方法與傳統(tǒng)方法提取原始高頻信息，并分析保持能力，得到的實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 高頻信息保持結(jié)果

通過(guò)圖4可知，本實(shí)驗(yàn)選用的原始圖像為小男孩圖像，被融合的兩個(gè)圖像分別是小男孩和背景。本文提出的方法對(duì)于高頻信息保持能力更好，所以融合后的圖像更加清晰，且小男孩和背景的邊緣信息邊界處理效果更好?；谙∈璞硎镜亩嗑劢箞D像多階段特征融合算法對(duì)于小男孩和玩具人的處理效果較好，但是對(duì)邊界信息保留效率不佳，因此在視覺(jué)上，小男孩和玩具人的清晰度更高，邊界則更加模糊；而基于深度學(xué)習(xí)的多聚焦圖像多階段特征融合算法具有較好的關(guān)鍵信息挖掘能力，所以能夠提取背景中的女孩與小男孩信息，而背景信息的清晰度較低。

由此可見(jiàn)，本文提出的基于導(dǎo)向?yàn)V波的多聚焦圖像多階段特征融合算法在主觀視覺(jué)上效果更好，能夠更加清晰地保持圖像內(nèi)部的高頻信息，尤其是在細(xì)節(jié)處理上，具有極好的效果，對(duì)于散焦分界處，使用導(dǎo)向?yàn)V波進(jìn)行處理，從而提高整體的視覺(jué)效果。

同時(shí)選用三種方法獲取圖6中的邊緣信息保持度、平均梯度、清晰度三項(xiàng)指標(biāo)，得到的評(píng)估指標(biāo)結(jié)果如下表2所示：

表2 評(píng)估指標(biāo)結(jié)果分析

根據(jù)上表可知，本文提出的基于導(dǎo)向?yàn)V波的多聚焦圖像多階段特征融合算法對(duì)邊緣信息保持度、平均梯度、清晰度三項(xiàng)指標(biāo)的都高于傳統(tǒng)方法。由此可見(jiàn)，本文研究的方法攜帶的信息量和圖像層次相對(duì)較多，得到的圖像清晰度更高，而傳統(tǒng)的方法為了保護(hù)高頻信息，忽略了對(duì)融合結(jié)果的優(yōu)化，所以客觀指標(biāo)保持能力較差。

綜上所述，本文提出的基于導(dǎo)向?yàn)V波的多聚焦圖像多階段特征融合算法在高頻信息保持能力和指標(biāo)評(píng)分上都優(yōu)于傳統(tǒng)方法，處理信息的能力更強(qiáng)，同時(shí)具備降噪處理能力，不僅能夠有效抑制外界信息干擾，同時(shí)可以保留圖像的原有信息。在分析邊角信息、對(duì)比度等方面，本文提出的方法融合后的圖像更能吸引視覺(jué)注意，內(nèi)部有用信息更加充實(shí)。導(dǎo)向?yàn)V波具有很強(qiáng)的定性能力，可以針對(duì)某一個(gè)模糊點(diǎn)進(jìn)行分析，從而提高算法的處理能力。

6 結(jié)束語(yǔ)

本文提出的基于導(dǎo)向?yàn)V波的多聚焦圖像多階特征融合算法，能夠使圖像分解的更加細(xì)致化，而這種細(xì)致化，不但可以使原圖像更加清晰，還避免了邊緣模糊的根本缺點(diǎn)，可以使研究者或是操作者，更簡(jiǎn)潔更直觀的觀測(cè)到需要的特征。這種算法還避免了噪音的影響，集合了多重算法的優(yōu)點(diǎn)，從邊角點(diǎn)、清晰度、對(duì)比度三種因素里分別進(jìn)行檢測(cè)提高。實(shí)驗(yàn)驗(yàn)證了這種算法在實(shí)際操作中的可實(shí)施性和簡(jiǎn)便性，多種標(biāo)準(zhǔn)化測(cè)試顯示，這種算法在各個(gè)性能指標(biāo)中優(yōu)于其它算法，該方法具有極其廣泛的應(yīng)用空間。