許亞男 錢葉旺 王鞠庭

摘要：傳統(tǒng)的金字塔融合方法是對金字塔分解后得到的頂層系數(shù)進(jìn)行直接平均融合，其它各層系數(shù)選擇絕對值大者進(jìn)行融合，視覺效果上存在模糊、細(xì)節(jié)缺失等缺點(diǎn)。為了彌補(bǔ)傳統(tǒng)金字塔融合方法的不足，對金字塔分解后的頂層采用K-SVD（K Singwar Value Decomposition）算法實(shí)現(xiàn)對系數(shù)的有效稀疏表達(dá)，其余層根據(jù)局部區(qū)域像素和的絕對值大小來選取系數(shù)。實(shí)驗(yàn)表明：采用金字塔變換方法，結(jié)合K-SVD稀疏表示的融合規(guī)則，獲得的融合圖像視覺上更加清晰，定量評價指標(biāo)也更優(yōu);并且形態(tài)學(xué)的金字塔在相同融合規(guī)則下獲得的視覺效果更好，評價指標(biāo)也優(yōu)于其他幾種方法。

關(guān)鍵詞：金字塔變換;融合規(guī)則;K-SVD;稀疏表示

中圖分類號：TN911 文獻(xiàn)標(biāo)志碼：A 文章編號：1008-4657（2020）05-0068-05

0 引言

從最初的信件、電報(bào)、電話到現(xiàn)在的視頻交流，數(shù)字圖像已經(jīng)成為人們獲取信息的主要來源，同時也是人們進(jìn)行溝通與交流的主要媒介。圖像傳感器是獲取數(shù)字圖像信息的重要途徑與手段，可以采集到不同來源的數(shù)字圖像，人們可以根據(jù)采集到的圖像，利用某些數(shù)學(xué)方法將這些圖像進(jìn)行處理得到一幅信息豐富的高質(zhì)量圖像，這就是圖像融合。它的應(yīng)用領(lǐng)域包括：現(xiàn)代化工業(yè)生產(chǎn)監(jiān)控、基礎(chǔ)學(xué)科研究、宇宙開發(fā)、航海探測、軍事國防、醫(yī)學(xué)診斷、環(huán)境保護(hù)、資源調(diào)查等[1-4]。紅外圖像與可見光圖像融合是圖像融合中的重要分支之一，紅外圖像是根據(jù)不同物質(zhì)熱輻射的不同來區(qū)分目標(biāo)與背景，它不受光照的影響，能夠較好的反映溫度的分布，但是其空間分辨率不高，細(xì)節(jié)信息少;可見光圖像是依據(jù)人的視覺系統(tǒng)獲得物質(zhì)的結(jié)構(gòu)特點(diǎn)，具有較高的空間分辨率與對比度，細(xì)節(jié)表現(xiàn)能力強(qiáng)，但是會受到天氣情況與光照的影響。根據(jù)以上兩種圖像的互補(bǔ)性，將二者融合可以發(fā)揮二者的優(yōu)勢，在很多領(lǐng)域如軍事、國防、遙感、目標(biāo)識別等很多領(lǐng)域都有應(yīng)用[5-9]。

在金字塔融合方法中，對源圖像進(jìn)行金字塔分解得到不同層的系數(shù)，對各層系數(shù)采用加權(quán)平均、絕對值取大、系數(shù)取大等融合規(guī)則進(jìn)行融合處理，獲得的融合圖像不夠清晰，細(xì)節(jié)表現(xiàn)能力不強(qiáng)。為了得到更高質(zhì)量的融合圖像，本文結(jié)合K-SVD算法[10]與區(qū)域絕對值取大方法，對金字塔分解后的各層系數(shù)進(jìn)行有效融合。

1 金字塔變換

Burt P J等[11]于1983年提出了圖像金字塔結(jié)構(gòu)來描述圖像。金字塔分解就是運(yùn)用不同的算法將圖像逐層分解為尺寸遞減的多個圖像，結(jié)構(gòu)上形似金字塔。它具有多尺度特性，圖像一層一層濾波后形成多個子圖，這些圖形按照由頂層往下構(gòu)成一個金字塔的形狀，是一種有效的變換域融合方法。兩幅圖像的金字塔融合過程如圖1所示，圖中A、B代表源圖像，PD1、PD2與PD3代表不同分解層上的數(shù)據(jù)。然后選用不同的方法對分解所得的相同層的數(shù)據(jù)進(jìn)行融合處理，獲取各層新的數(shù)據(jù)，最后根據(jù)新的數(shù)據(jù)逐層進(jìn)行金字塔重構(gòu)，得到最終融合后的圖像。

最初，人們構(gòu)建的是一個高斯金字塔[11]，然后在此基礎(chǔ)上根據(jù)不同的數(shù)學(xué)運(yùn)算構(gòu)造其他幾種金字塔。高斯金字塔構(gòu)建方法如下：

2 圖像融合規(guī)則

2.1 傳統(tǒng)的圖像融合規(guī)則

總體來說融合方法主要有針對像素和區(qū)域的兩種。

（1）像素加權(quán)平均

假設(shè)A（i，j）、B（i，j）分別代表兩幅源圖像在（i，j）處的像素值，該處融合后的像素值用F（i，j）表示，則其中，α1+α2=1，α1和α2的值可以根據(jù)實(shí)際情況來適當(dāng)調(diào)整。當(dāng)α1=α2=0.5時就是直接平均。

（2）像素取大

（3）區(qū)域絕對值取大

根據(jù)圖像的特點(diǎn)將其劃分成一定大小的區(qū)域，一般選擇3×3 ， 5×5 ，7×7等大小的窗口。區(qū)域絕對值取大就是選擇窗口內(nèi)的像素和大的數(shù)據(jù)作為最終的數(shù)據(jù)。

2.2 基于K-SVD算法的稀疏表示

稀疏表示[5]就是根據(jù)給定的學(xué)習(xí)字典將信號用盡可能少的元素表示，實(shí)現(xiàn)用少量的信息表示信號的特征，以便達(dá)到對信號最優(yōu)的表示。利用稀疏表示的思想實(shí)現(xiàn)對信號f（n）的最優(yōu)表示，用公式表示如下上式中，f（n）表示的是稀疏函數(shù)，gi（n）表示的是信號矢量，將原信號按照gi（n）組成的集合展開，這個集合稱為字典D，具體表示為D={gi}，i=1，2，...，N，字典中元素稱為原子，展開的系數(shù)用ci表示，求解稀疏系數(shù)ci采用效率高的正交匹配追蹤（Orthogonal Matching Pursuit，OMP）算法[15]。由字典D選擇稀疏表示[5]的模型如下其中‖x‖0代表非零項(xiàng)的個數(shù)，ε代表允許的誤差。

K-SVD算法[16]是以訓(xùn)練樣本為對象，從待處理的圖像數(shù)據(jù)中學(xué)習(xí)得到字典，不僅可以有效的體現(xiàn)圖像的特征，而且還可以提高字典的表達(dá)能力。構(gòu)造訓(xùn)練字典D具體分為稀疏表示與字典更新兩步：首先設(shè)定一個初始化的字典，然后用該字典對數(shù)據(jù)進(jìn)行稀疏表示，得到稀疏矩陣X;接著對初始字典進(jìn)行更新，使得稀疏矩陣表示的數(shù)據(jù)與原始數(shù)據(jù)之間的誤差盡可能小，這樣就可以得到一個可用字典，誤差矩陣的數(shù)學(xué)模型表示如下其中，Y代表樣本總體的集合，x代表稀疏矩陣，T0反映了稀疏的程度。

以更新字典的k列為例：設(shè)dk為字典的k列，xkT為稀疏矩陣的k行，計(jì)算誤差矩陣Ek的公式如下

結(jié)合K-SVD算法的金字塔融合方法具體步驟如下：首先對源圖像A、B分別進(jìn)行金字塔分解，然后對分解后得到的各頂層系數(shù)采用8×8的窗口進(jìn)行分塊，將每個圖像塊編纂得到相應(yīng)的列向量V1、V2，將二者組成聯(lián)合矩陣V12作為初始字典;接著從圖像數(shù)據(jù)V12中學(xué)習(xí)更新字典，不斷迭代更新直到重建誤差為0.1獲得最終的冗余字典D，接著根據(jù)OMP算法選取稀疏系數(shù)x1和x2實(shí)現(xiàn)對圖像的稀疏處理;其余各層采用絕對值取大的方法進(jìn)行融合;最后將各層數(shù)據(jù)進(jìn)行金字塔重構(gòu)得到融合后的圖像。

3 實(shí)驗(yàn)結(jié)果與評價

選用配準(zhǔn)后的可見光圖像與紅外圖像進(jìn)行融合仿真實(shí)驗(yàn)，兩幅大小為256×256的紅外與可見光的灰度圖像如圖2所示。傳統(tǒng)的幾種金字塔融合效果對比如圖3所示，分別將幾種金字塔變換方法結(jié)合頂層直接平均，其余層選取像素值絕對值大的系數(shù)保留，分解層數(shù)均選擇4層，然后頂層系數(shù)采用公式（11）計(jì)算融合后的系數(shù)（參數(shù)α1=α2=0.5），剩下各層系數(shù)使用公式（13）的方法計(jì)算融合后的系數(shù)。圖4顯示的是所有的頂層系數(shù)依據(jù)K-SVD稀疏表示（Sparse Representation，SR）算法，剩下各層依據(jù)區(qū)域絕對值取大的方法，對比幾種金字塔融合的效果分別如圖4的（a）、（b）、（c）、（d）所示。由圖3與圖4可以看出，在相同融合規(guī)則下，梯度金字塔融合的圖像視覺效果最差，形態(tài)學(xué)金字塔融合后獲得的圖像視覺效果最好，拉普拉斯金字塔與比率低通金字塔融合后視覺效果居中。

（a）紅外圖像（b） 可見光圖像

（a）拉普拉斯金字塔融合 （b）比率低通金字塔融合 （c）梯度金字塔融合（d）形態(tài)學(xué)金字塔融合

（a）拉普拉斯金字塔+SR（b）比率低通金字塔+SR（c）梯度金字塔+SR（d）形態(tài)學(xué)金字塔+SR

融合效果方面，視覺上取決于人的主觀視覺體驗(yàn)，比較難掌控，也很難統(tǒng)一;評價指標(biāo)可以比較直觀的反映融合的效果。本文選用了平均梯度、邊緣強(qiáng)度、標(biāo)準(zhǔn)差、空間頻率等評價指標(biāo)[17]，以上所有指標(biāo)數(shù)值越大，表明融合后圖像的質(zhì)量越好。圖3與圖4對應(yīng)的所有的評價指標(biāo)如表1與表2所示。從表1與表2中可以看出，結(jié)合K-SVD稀疏表示算法融合后的各項(xiàng)指標(biāo)均比加權(quán)平均得到的數(shù)值高;另外，同一種融合規(guī)則下，形態(tài)學(xué)金字塔的融合視覺效果最好，并且評價指標(biāo)也最高。

4 總結(jié)

本文將幾種金字塔變換結(jié)合加權(quán)平均、絕對值取大以及K-SVD稀疏表示等融合規(guī)則對圖像進(jìn)行融合處理，同時計(jì)算多個評價指標(biāo)。分別從仿真的視覺效果與計(jì)算的評價參數(shù)上作對比，實(shí)驗(yàn)表明：同一種金字塔變換，分解后的頂層系數(shù)使用K-SVD稀疏表示的融合算法比加權(quán)平均算法取得了更好的效果;此外，在相同融合規(guī)則下，形態(tài)學(xué)金字塔可以獲得更好視覺效果與評價指標(biāo)。

參考文獻(xiàn)：

[1] 杜進(jìn)楷，丁冬冬，龍海蓮，等.基于NSST和稀疏表示相結(jié)合的圖像融合算法[J].電腦知識與技術(shù)，2019，15（15）：217-221.

[2] 彭延軍，王瑾瑾，王元紅.基于拉普拉斯金字塔改進(jìn)的圖像融合方法[J].軟件導(dǎo)刊，2016，15（1）：167-170.

[3] 余美晨，孫玉秋，王超.基于拉普拉斯金字塔的圖像融合算法研究[J].長江大學(xué)學(xué)報(bào)（自科版），2016，13（34）：21-26，4.

[4] 黃福升，藺素珍.基于拉普拉斯金字塔變換方法的多波段圖像融合規(guī)則比較[J].紅外技術(shù)，2019，41（1）：64-71.

[5] 傅志中，王雪，李曉峰，等.基于視覺顯著性和NSCT的紅外與可見光圖像融合[J].電子科技大學(xué)學(xué)報(bào)，2017，46（2）：357-362.