李明明，王新賽，馮小二

（陸軍炮兵防空兵學(xué)院鄭州校區(qū)，鄭州 450052）

0 引言

圖像融合技術(shù)［1-3］是信息融合技術(shù)的一個(gè)重要分支，是指將不同傳感器獲取的圖像信息，通過(guò)一定的圖像融合算法，進(jìn)行數(shù)據(jù)加工或整合，從而使融合圖像更能滿足人們對(duì)圖像進(jìn)一步處理（目標(biāo)識(shí)別、特征提?。┑哪康?。隨著傳感器技術(shù)的不斷發(fā)展和信號(hào)分析技術(shù)的深入研究，圖像融合技術(shù)已經(jīng)在國(guó)防、生活等方方面面發(fā)揮著舉足輕重的作用。本文研究的是一種基于可見(jiàn)光和紅外圖像的融合算法。在光學(xué)領(lǐng)域中，可見(jiàn)光技術(shù)和紅外技術(shù)發(fā)展最為成熟，已經(jīng)在安防、醫(yī)療、交通等各個(gè)領(lǐng)域得到了廣泛的應(yīng)用。

圖像融合算法大體上可以分為空間域和頻率域兩大類?？臻g域算法是一種基于原始像素?cái)?shù)據(jù)運(yùn)算的方法，其主要優(yōu)點(diǎn)是運(yùn)算簡(jiǎn)單，信息涵蓋全，缺點(diǎn)是對(duì)細(xì)節(jié)、邊緣等處理效果不太理想，容易導(dǎo)致信息的模糊甚至缺失［4-7］。隨著計(jì)算機(jī)運(yùn)行能力的不斷增強(qiáng)，使得基于頻率域的圖像融合算法得以實(shí)現(xiàn)。頻率域算法是通過(guò)將圖像的原始像素?cái)?shù)據(jù)通過(guò)一定的數(shù)學(xué)方法得以轉(zhuǎn)換，從而在“頻率”上使得不同成分信息得到區(qū)分。從經(jīng)典的傅里葉變換（Fourier）研究開(kāi)展，不斷展開(kāi)了小波變換、輪廓波變換、非下采樣輪廓波變換等分析理論和方法研究，由于NCST 算法同時(shí)具有多尺度、多方向、平移不變性等特征，成為頻率域算法的主流。非下采樣剪切波變換（non-subsampled contourlet transform，NCT）是由Cunha A.L.等人提出，主要是針對(duì)剪切波變換（contourlet transform，CT）在分解與重構(gòu)過(guò)程中，導(dǎo)致的圖像平移異變、目標(biāo)邊界出現(xiàn)“振鈴”現(xiàn)象等問(wèn)題，是一種具有多尺度、多方向、平移不變性等眾多優(yōu)點(diǎn)的頻率域分解方法［10-13］。傅里葉變換頻率域的經(jīng)典變換方法，但是只能顯示圖像的頻率信息，無(wú)法表示頻率的時(shí)間信息。針對(duì)此問(wèn)題，小波變換（wavelet transform，WT）具有多分辨率、時(shí)頻組合分析能力，在圖像處理技術(shù)中得到了迅速的發(fā)展和廣泛的應(yīng)用。雖然小波變換具有良好的局部特性，但是在處理二維或者高維圖像數(shù)據(jù)時(shí)，具有一定的局部限制，對(duì)圖像的邊界和引入的細(xì)節(jié)線狀信息等都不是很好的表示，導(dǎo)致在融合過(guò)程中會(huì)出現(xiàn)虛假信息引起振鈴效應(yīng)。2002 年，DoM.N 提出了一種基于拉普拉斯金字塔（Laplacian pyramid，LP）結(jié)構(gòu)的理論分析工具——Contourlet 變換。與小波變換相比，Contourlet 變換可以從多方向、多尺度，更好地捕獲圖像的邊緣、紋理等信息，如圖1、圖2 所示。其核心思想是首先對(duì)圖像進(jìn)行LP 變換，獲取不同分辨率的低頻分量和高頻分量；然后對(duì)高頻分量進(jìn)行多方向分解；最后將同方向的高頻分量進(jìn)行整合。

圖1 近似和預(yù)測(cè)殘差金字塔

圖2 剪切波變換結(jié)構(gòu)示意圖

相比于小波變換，Contourlet 變換的優(yōu)點(diǎn)在于多方向性，而且在多尺度的寬度上表現(xiàn)得更好。但是，由于其基本原理采用的是LP 變換，存在著下采樣，因此，出現(xiàn)了一些圖像輕微偏移、目標(biāo)邊界模糊、灰度值降低等問(wèn)題。為了克服此類問(wèn)題，Cunha A.L.等人提出了NSCT 變換方法，如圖3 所示。與Contourlet 變換不同的是，NSCT 采用的是基于非下采樣金字塔（non-subsampled pyramid，NSP）、非下采樣方向?yàn)V波器組（non-down sampling direction filter bank，NSDFB）的方式。

圖3 非下采樣輪廓波變換結(jié)構(gòu)示意圖

從NSCT 的結(jié)構(gòu)圖上來(lái)看，NSCT 采用的也是雙層結(jié)構(gòu)，即通過(guò)LP 變換得到低頻和高頻分量。不同于Contourlet 變換，NSCT 是基于上采樣的變換算法：在L=1 時(shí)，對(duì)圖像進(jìn)行NSP 變換，使用低通和帶能濾波器，得到了低頻和高頻子帶，然后通過(guò)上采樣得到了不同尺度的低頻和高頻信息；在L=2 時(shí)，沒(méi)有對(duì)高頻分量進(jìn)行下采樣，而是進(jìn)行了NSDFB變換，以得到不同子帶的圖像頻率信息。依此類推，通過(guò)不斷對(duì)低頻分量進(jìn)行上采樣，當(dāng)對(duì)圖像進(jìn)行L尺度分解時(shí)：可得到一個(gè)低頻子帶圖像IL和個(gè)方向子帶，從而有效解決了平移不變性問(wèn)題和由于下采樣而引起的“振鈴”現(xiàn)象。與此同時(shí)，NSCT 變換提出的濾波器組具有更加寬松的帶寬選，從而在很好地保留整合圖像細(xì)節(jié)、邊緣等紋理信息的同時(shí)，解決了小波變換、Contourlet 變換所引發(fā)的一些問(wèn)題?；贜SCT 頻率域算法的一般流程是分別對(duì)紅外與可見(jiàn)光圖像進(jìn)行NSCT 分解，然后對(duì)不同頻率分量進(jìn)行融合，最后經(jīng)過(guò)NSCT 重構(gòu)得到最終的融合圖像，其核心在于不同頻率分量的融合規(guī)則研究。比如，葉傳奇提出了一種基于區(qū)域能量和區(qū)域方差的融合規(guī)則的圖像融合算法；吳粉俠［4］提出了一種NSCT-PCNN 的融合算法，甄媚［5］提出了一種基于顯著性的NSCT 融合算法等等。本文提出了一種對(duì)圖像進(jìn)行基于K-means 聚類的分割，對(duì)分割后的圖像進(jìn)行NSCT 變換，并基于分割圖像統(tǒng)計(jì)信息的自適應(yīng)圖像融合算法。

1 K-means 聚類

聚類［8-9］就是指將具有某種相似特征的事物放在一起。在圖像處理技術(shù)中，聚類主要是指將具備某種相似性或者關(guān)聯(lián)性的圖像數(shù)據(jù)聚集在一起，從而使相似或者關(guān)聯(lián)的數(shù)據(jù)聚集，排除其他數(shù)據(jù)的目的。從聚類的目的來(lái)看，類與類之間具有聚類類別的排他性，而類內(nèi)之間具有相關(guān)性。

在N個(gè)傳感器圖像融合技術(shù)中，給定一個(gè)圖像數(shù)據(jù)集：

其中，Ij表示第j個(gè)傳感器圖像。聚類算法可以將圖像分為K個(gè)簇，需滿足：

Cm表示在N個(gè)傳感器圖像中的具有某種特征、屬性等的第m個(gè)分類圖像集。

在眾多的聚類算法中，K均值聚類（K-Means），又稱C均值聚類，是一種基本算法。經(jīng)典的模糊C-均值聚類算法（FCM）及其各類改進(jìn)算法，都是在K-means 聚類算法的基礎(chǔ)進(jìn)行演變和發(fā)展的。該算法是一種無(wú)監(jiān)督的聚類算法，不需要先驗(yàn)知識(shí)和學(xué)習(xí)訓(xùn)練，能夠通過(guò)自適應(yīng)迭代對(duì)圖像數(shù)據(jù)集進(jìn)行分類。

K-means 聚類算法的核心思想是：把圖像分為k個(gè)類：

其中，ijm表示在圖像中的具有某種特征、屬性等的第m個(gè)分類像素集，使得分類后像素集某種特征的目標(biāo)函數(shù)達(dá)到最小。

K-means 聚類算法的基本流程是：

1）對(duì)第j個(gè)傳感器圖像Ij，選擇k個(gè)聚類中心，作為迭代算法開(kāi)始的初始中心點(diǎn)；

2）選定目標(biāo)函數(shù)D，計(jì)算圖像中的第j個(gè)像素點(diǎn)ij基于聚類中心點(diǎn)的目標(biāo)函數(shù)Dj，并進(jìn)行分類；

3）重新選擇聚類中心ij+1的目標(biāo)函數(shù)值Dj+1；

K-means 聚類算法通常以像素點(diǎn)到聚類中心的距離為目標(biāo)函數(shù)，本文介紹兩種常用的距離公式：

1）歐式距離（Euclidean Distance）：

其中，M、N分別代表圖像I像素矩陣的行數(shù)和列數(shù)，表示圖像I的第x行，第y列像素值。

2）切比雪夫距離（Chebyshev Distance）

2 本文提出的算法

2.1 本文提出的算法流程

步驟1：采用K-means 聚類算法對(duì)紅外原始圖像和可見(jiàn)光原始圖像進(jìn)行2 維分割，初始點(diǎn)的選擇為各圖像的平均強(qiáng)度；

步驟2：對(duì)分割后的4 幅圖像進(jìn)行NSCT 分解；

步驟3：根據(jù)設(shè)定的融合規(guī)則，分別對(duì)同類特征的分割圖像進(jìn)行高頻和低頻融合；

步驟4：對(duì)融合后的高頻和低頻系數(shù)進(jìn)行NSCT重構(gòu)，得到融合后的分割圖像；

步驟5：對(duì)2 幅融合的分割結(jié)果進(jìn)行疊加，得到最終的融合圖像。

2.2 K-means 聚類算法分析

經(jīng)過(guò)K-means 算法分割后的圖像結(jié)果，將直接影響NSCT 融合規(guī)則的選擇。因此，首先對(duì)K-means算法分割的結(jié)果進(jìn)行分析和評(píng)價(jià)。選擇將圖像分為2 類，即k=2；目標(biāo)函數(shù)選為歐式距離，即式（4）；初始聚類點(diǎn)選擇為可見(jiàn)光與紅外原始圖像的平均強(qiáng)度（Average Intesity）：

其中，（i，j）是像素點(diǎn)在圖像中的位置索引；圖像I的分辨率為M×N。

以經(jīng)典的camp 系列圖像為例，對(duì)K-means 聚類算法進(jìn)行了實(shí)驗(yàn)和仿真。其中，圖4（a）為可見(jiàn)光原始圖像，圖4（b）、圖4（c）為對(duì)圖4（a）進(jìn)行K-means聚類分割的結(jié)果；圖4（d）為紅外原始圖像，圖4（e）、圖4（f）為對(duì)圖4（d）進(jìn)行K-means 聚類分割的結(jié)果。表1 為利用平均強(qiáng)度（average intesity，AI）、平均梯度（average gradient，AG）、標(biāo)準(zhǔn)差（standard deviation，SD）、信息熵（information entropy，IE）等4 個(gè)圖像質(zhì)量評(píng)價(jià)指標(biāo)，對(duì)圖4（a）～圖4（f）進(jìn)行了客觀指標(biāo)評(píng)價(jià)，見(jiàn)表1 所示。

圖4 camp 系列K-means 聚類分割圖

表1 camp 系列圖像聚類分割圖質(zhì)量評(píng)價(jià)

2.3 融合規(guī)則設(shè)計(jì)

2.3.1 低頻子帶系數(shù)融合規(guī)則

低頻子帶往往反映的是圖像的主要信息，低頻子帶圖像融合為：

對(duì)分割結(jié)果1，由于圖像的平均強(qiáng)度比較低，可采用加權(quán)平均法：

對(duì)分割結(jié)果2，由于圖像的平均強(qiáng)度高，可采用取大法加大圖像的整體強(qiáng)度：

2.3.2 高頻子帶系數(shù)融合規(guī)則

高頻子帶包含的是圖像的邊緣和細(xì)節(jié)信息，由表1 可知，分割后的圖像仍包含圖像的細(xì)節(jié)信息，可設(shè)融合規(guī)則為：

其中，

IEV為可見(jiàn)光圖像分割的信息熵，IEI為紅外圖像分割的信息熵。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，選取了經(jīng)典的camp 系列圖像和tree 系列圖像進(jìn)行仿真實(shí)驗(yàn)，并且將本文的算法與其他4 種算法進(jìn)行比較。

算法1：經(jīng)典的空間域自適應(yīng)加權(quán)平均算法，其中，融合系數(shù)取決圖像的平均強(qiáng)度。

算法2：基于Contourlet 變換的方法。其中，方向?yàn)V波器和金字塔濾波器分別為“maxflat”和“dmaxflat7”.

算法3：基于NSCT 的方法。其中方向?yàn)V波器和金字塔濾波器分別為“maxflat”和“dmaxflat7”，低頻系數(shù)融合采用加權(quán)平均法，權(quán)重取0.5；高頻系數(shù)采用模值取大法。

算法4：基于NSCT 的PCNN 圖像融合算法。

對(duì)于所有的多尺度算法，尺度參數(shù)設(shè)置為nlevel=［2，2，4，4］，其他設(shè)置保持一致。融合結(jié)果如圖5和圖6 所示。圖5（a）為camp 系列紅外原始圖像，圖5（b）為可見(jiàn)光原始圖像，圖5（c）為自適應(yīng)加權(quán)融合算法處理結(jié)果，圖5（d）為Contourlet 變換處理結(jié)果，圖5（e）為基于NSCT 的方法處理結(jié)果，圖5（f）為基于NSCT 的方法處理結(jié)果，圖5（g）為本文算法處理結(jié)果。圖6 為tree 系列圖像處理結(jié)果。本文選用平均強(qiáng)度（AI）、平均梯度（AG）、標(biāo)準(zhǔn)差（SD）和信息熵（IE）作為圖像質(zhì)量評(píng)估指標(biāo)，表2 為對(duì)圖5和圖6 中圖像的客觀質(zhì)量評(píng)估結(jié)果。

表2 實(shí)驗(yàn)結(jié)果的客觀評(píng)價(jià)

圖5 camp 系列圖像的融合結(jié)果

圖6 tree 系列圖像的融合結(jié)果

從表1 可以看出，對(duì)于camp 系列圖像來(lái)說(shuō)：得出的算法在（AG）、標(biāo)準(zhǔn)差（SD）和信息熵（IE）3 個(gè)評(píng)價(jià)指標(biāo)上都大于其他算法。從圖像上看，圖5（d）的對(duì)比度降低圖像中細(xì)節(jié)成分嚴(yán)重丟失，模糊現(xiàn)象嚴(yán)重。圖5（e）的強(qiáng)度最高，整體圖像比較亮，但是柵欄、左下角的樹(shù)木細(xì)丟失嚴(yán)重，圖5（f）、圖5（g）的細(xì)節(jié)均有所改善。相比于其他算法，本文提出的算法在柵欄、墻角、樹(shù)木等細(xì)節(jié)上得到了更好的保留，可以清晰地看到柵欄與背景的區(qū)別、墻角的邊緣更加清楚、樹(shù)木的層次更加分明，亮度上優(yōu)于NSCTPCNN 算法；對(duì)于tree 系列圖像來(lái)說(shuō)：本文提出的算法在平均強(qiáng)度（AI）、標(biāo)準(zhǔn)差（SD）和信息熵（IE）上明顯優(yōu)于其他算法。從圖像上看最為明顯，圖5（d）的細(xì)節(jié)信息丟失嚴(yán)重，幾乎看不到樹(shù)木的邊緣信息。圖5（e）、圖5（f）、圖5（g）的細(xì)節(jié)信息相對(duì)有所提升。相比于其他算法，本文提出的算法在人物的細(xì)節(jié)、圖像的平均強(qiáng)度上得到了明顯的提升。

4 結(jié)論

本文提出了一種基于K-means 聚類的圖像融合算法，對(duì)源圖像進(jìn)行聚類分割，對(duì)分割后的圖像進(jìn)行NSCT 變換。針對(duì)不同類的圖像，對(duì)變換后的低頻系數(shù)采用了不同的融合方法，對(duì)高頻系數(shù)采用了基于分割圖像信息熵的融合算法。最后，對(duì)融合后的系數(shù)進(jìn)行NSCT 反變換得到最終的融合圖像。試驗(yàn)結(jié)果表明，相對(duì)于經(jīng)典的加權(quán)平均算法、Contourlet 變換、NSCT、NSCT-PCNN 等算法，K-means 聚類的圖像融合算法具有更好的視覺(jué)效果和優(yōu)秀的客觀評(píng)價(jià)指標(biāo)。下一步可以加強(qiáng)對(duì)分割聚類算法和融合規(guī)則的改進(jìn)，從而達(dá)到更好的圖像效果。