鞏稼民，吳藝杰，劉 芳，張運生，雷舒陶，朱澤昊

〈圖像處理與仿真〉

基于改進模糊C均值聚類的圖像融合算法

鞏稼民，吳藝杰，劉 芳，張運生，雷舒陶，朱澤昊

（西安郵電大學 通信與信息工程學院，陜西 西安 710061）

為了更好地突出紅外與可見光融合圖像中的目標信息，保留更多的紋理細節(jié)信息，提出了一種基于非下采樣剪切波變換（non-subsample shearlet transform，NSST）域結合脈沖發(fā)放皮層模型（spiking cortical model，SCM）與改進的模糊C均值聚類（fuzzy C-means clustering，F(xiàn)CM）的紅外與可見光圖像融合算法。首先，用改進的FCM提取源紅外圖像中的紅外目標信息；然后，將得到的紅外圖像與可見光圖像的目標區(qū)域和背景區(qū)域進行NSST分解，得到各自的高低頻子帶圖像；接著，對得到的不同區(qū)域采用不同的融合策略，其中，對于高頻背景區(qū)域采用SCM模型與改進賦時矩陣進行融合；最后，使用NSST逆變換，得到最終的融合圖像。仿真實驗證明，與其他方法相比，本文算法得到的融合圖像在主觀視覺上紅外目標信息突出，紋理細節(jié)信息豐富，在客觀評價上，其信息熵和邊緣保留因子達到最優(yōu)。

圖像融合；非下采樣剪切波變換；脈沖發(fā)放皮層模型；模糊C均值聚類；賦時矩陣

0 引言

紅外與可見光圖像融合可以將紅外圖像的目標信息與可見光圖像的紋理細節(jié)信息有效結合[1]，得到信息更加豐富的融合圖像，實現(xiàn)對場景更加全面準確的表達，這在醫(yī)學成像、軍事偵察、安全監(jiān)測、人臉識別、森林消防等領域廣泛應用[2]。而目前的紅外與可見光圖像融合算法中，仍存在以下問題：①紅外目標信息不夠突出，且目標人物周圍易出現(xiàn)光暈；②邊緣細節(jié)信息不夠豐富，容易丟失。

像素級融合因圖像失真率最小而被廣泛應用于紅外與可見光圖像融合中。像素級的圖像融合方法主要分為兩大類：空間域和變換域[3]。而多尺度幾何變換中的非下采樣剪切波變換（non-subsample shearlet transform，NSST），由于具有計算復雜度小，且耗時較少等優(yōu)點，被廣泛應用在圖像分割及圖像融合領域。符合人眼視覺特征的脈沖發(fā)放皮層神經元網絡（spiking cortical model，SCM），也被廣泛應用于圖像融合領域，將NSST與SCM結合的圖像融合算法更是近些年的研究熱門。如江澤濤[4]等提出了一種結合NSST和雙通道SCM模型的圖像融合算法，使用雙通道的SCM模型對高頻分量進行融合，得到了效果較好的融合圖像，但融合圖像的標準差較低，紅外目標信息不夠突出且周圍容易出現(xiàn)光暈。

為了使目標信息更加突出，基于模糊聚類的圖像融合方法被廣泛提出，使用模糊聚類的方法可對圖像進行目標提取，使圖像的目標區(qū)域與背景區(qū)域分離，進而針對其各自特點進行融合。如李玉峰[5]等提出了一種采用非下采樣輪廓波變換和FCM相結合的圖像融合算法，采用FCM提取SAR圖像的目標區(qū)域，取得了不錯的融合效果，但非下采樣輪廓波變換計算復雜度較大，對于時間的消耗較大，影響了融合效率。鞏稼民[6]等提出了一種基于NSST與FCM的紅外與可見光圖像融合方法，獲得了目標突出、背景清晰的融合圖像，但僅使用FCM對于紅外高頻圖像進行分解，忽視了紅外低頻圖像的目標信息。因此，本文在此基礎上進行了改進。

與傳統(tǒng)方法先用NSST對圖像進行分解，然后只在高頻圖像中提取紅外目標信息的方法不同，本文提出的算法先使用改進的FCM對紅外圖像進行分割，提取紅外目標后再使用NSST分解，使得源紅外圖像中的目標信息得到更完整的保留，然后針對不同的區(qū)域的不同特點，采用不同的融合規(guī)則，從而改善融合圖像中目標信息不夠突出，紋理細節(jié)信息不夠豐富的問題。

1 基本原理

1.1 非下采樣剪切波變換

非下采樣剪切波變換[7]（NSST）是對剪切波變換的改進，在繼承剪切波變換優(yōu)點的同時，避免了偽吉布斯現(xiàn)象的出現(xiàn)。使用NSST將紅外與可見光圖像分解成各自的高低頻子帶圖像，可避免其分解和重構過程中產生的頻率混疊現(xiàn)象[8]，消耗的時間相對來說較少。圖像具體的NSST分解步驟如圖1所示。

第一步：源圖像經非下采樣拉普拉斯金字塔變換（non-subsampled laplacian pyramid，NLP）分解（設分解層數(shù)為）得到一個低頻子帶圖像和個高頻子帶圖像。分解所得到的圖像大小與源圖像大小相同。

第二步：構造時域中的剪切波濾波器（shearlet filter，SF）。利用Meyer小波基來構造偽極化格上的頻域窗函數(shù)，然后將其映射到笛卡爾坐標中，通過逆離散傅里葉變換得到最終的SF[9]。

第三步：對每個層的高頻圖像都構造一個相應的SF，通過卷積，得到在該尺度下所包含的各個方向的高頻子帶圖像。

圖1 NSST分解流程

圖中NLP表示非下采樣拉普拉斯金字塔變換；SF表示剪切波濾波器；表示子帶圖像系數(shù)；上標中的1，2表示第一層和第二層分解，表示個不同的方向。

1.2 脈沖發(fā)放皮層模型與賦時矩陣

脈沖發(fā)放皮層模型[10]SCM是從脈沖耦合神經元網絡（pulse coupled neural network，PCNN）模型為切入點衍生出的簡化模型。SCM不僅繼承了PCNN適于人眼觀察的優(yōu)點，而且參數(shù)較少，計算復雜度較低，時間消耗較少，融合效率得以提高。

SCM模型的數(shù)學表達式如公式(1)所示：

式中：(,)為圖像中像素點位置；為迭代次數(shù)；V為增益幅度；為連接權系數(shù)矩陣；Y為鄰域神經元的輸出；U()是神經元的內部行為；為控制U()的衰減的系數(shù)；S為神經元的外部激勵；E()為動態(tài)閾值；和分別為閾值的衰減和放大系數(shù)。Y()表示第次迭代時，神經元的點火狀態(tài)，當Y()＝1時，稱神經元點火[11]。

迭代次數(shù)的選擇對于圖像處理的結果起著重要作用，取值過大會增加計算量，耗費更多的時間，選擇過小則會導致融合圖像的視覺效果差[12]。為了得到合適的迭代次數(shù)，通常在SCM輸出端加入一個賦時矩陣[13]來輸出SCM第一次輸出脈沖的時間，賦時矩陣的值即為迭代次數(shù)的值，但當外部輸入激勵S取值為0時，會導致SCM無法產生脈沖，從而使得添加賦時矩陣后進入無限迭代的過程。因此，對SCM的賦時矩陣進行了改進，添加一個判定條件：如果外部激勵S為0，則直接輸出賦時矩陣在對應位置處元素的值為無窮大。改進賦時矩陣()如下：

1.3 改進模糊C均值聚類FRFCM

由于模糊C均值聚類算法對噪聲敏感，而傳統(tǒng)方法常在目標函數(shù)中引入局部空間信息，但會導致計算復雜度變高，使得圖像融合過程中目標提取的時間變長。因此引入雷濤提出的改進的模糊C均值聚類算法（fast and robust fuzzy C-means clustering，F(xiàn)RFCM）[14]進行目標提取，減少噪聲對于圖像的影響，增強算法的魯棒性，同時提高目標提取的效率。

模糊C均值聚類通過得到每個樣本點對所有類中心的隸屬度來決定樣本點的類屬，從而達到分類的目的[15]。如果要通過FRFCM將樣本數(shù)據劃分為類，則可采用求解數(shù)學規(guī)劃的方法來實現(xiàn)：

式中：表示聚類的數(shù)量；是每個模糊隸屬度的加權指數(shù)，它決定了最終分類的模糊程度；u表示灰度值相對于聚類的模糊隸屬度；v表示聚類中心；表示經形態(tài)重建后的圖像中包含的灰度級的數(shù)量；遠遠小于。表示圖像中第個灰度級，1≤≤；用來統(tǒng)計有效灰度級的級數(shù)，且其和為：

經形態(tài)重建后的圖像定義如下：

＝C() (5)

式中：C表示將圖像進行形態(tài)閉合重建；表示原始圖像。

上述已將FCM轉化為求解數(shù)學規(guī)劃的問題，要得到最終的聚類結果則需要求解這個數(shù)學規(guī)劃，可利用拉格朗日乘子技術，將優(yōu)化問題轉換成使以下目標函數(shù)最小化的無約束優(yōu)化問題：

式中：是拉格朗日乘數(shù)。因此，目標函數(shù)的最小化問題被轉化為求上述拉格朗日函數(shù)的鞍點，該鞍點取FRFCM關于參數(shù)u和v的導數(shù)。方程組的具體表達式如下：

聯(lián)立兩個方程，可解得：

u＝u(), ifx＝(9)

為了獲得更好的隸屬度劃分矩陣和加快算法的收斂速度，使用隸屬度濾波來修改u?？紤]到隸屬度濾波的性能和算法速度之間的權衡，使用中值濾波器2：

2＝med{￠} (10)

式中：med表示中值濾波?；谏鲜龇治觯玫乃惴‵RFCM可以總結如下：

①設定參數(shù)，包括聚類原型值、模糊化參數(shù)、濾波窗口的大小與結束時滿足的閾值。

②使用公式(5)計算經形態(tài)重建后形成的新圖像，然后計算的直方圖。

③隨機初始化隸屬度劃分矩陣。

④設置迭代次數(shù)＝0。

⑤使用公式(8)更新聚類中心v和隸屬度劃分矩陣(t＋1)。

⑥判斷是否達到結束的條件，即是否滿足max{(t)－(t＋1)}＜，若滿足，則停止迭代，否則，設置＝＋1并跳回步驟⑤。

⑦使用公式(10)對隸屬度劃分矩陣￠進行中值濾波。

2 提出的融合方法

提出的融合方法如圖2所示。

①使用FRFCM提取紅外圖像的紅外目標信息，得到紅外圖像的目標區(qū)域和背景區(qū)域，

②將紅外圖像的目標區(qū)域融合到可見光圖像的目標區(qū)域上，得到可見光圖像的目標區(qū)域和背景區(qū)域。

③使用NSST分別對得到的紅外圖像與可見光圖像的目標和背景區(qū)域進行分解，得到紅外圖像的目標區(qū)域高頻系數(shù)、目標區(qū)域低頻系數(shù)、背景區(qū)域高頻系數(shù)、背景區(qū)域低頻系數(shù)，以及可見光圖像的目標區(qū)域高頻系數(shù)、目標區(qū)域低頻系數(shù)、背景區(qū)域高頻系數(shù)、背景區(qū)域低頻系數(shù)。

④對于不同的區(qū)域選用不同的融合規(guī)則，獲得融合后的系數(shù)。其中，對于高頻背景區(qū)域采用SCM模型進行融合；

⑤對得到的融合系數(shù)進行NSST逆變換，得到最終的融合圖像。

圖2 本文的圖像融合方法流程

2.1 使用FRFCM提取目標區(qū)域

①以源紅外圖像系數(shù)的值為數(shù)據集，對其進行模糊C均值聚類，設置聚類數(shù)為2，將聚類結果中子帶系數(shù)較大的那一類記為1。

②計算源紅外圖像中每個子帶系數(shù)所在鄰域的空間頻率(,)：

③以中的各個元素為數(shù)據集，對其進行模糊C均值聚類，設置聚類數(shù)為2，將聚類結果中空間頻率較大的那類子帶系數(shù)用2表示。

使用FCM提取源紅外圖像的目標區(qū)域o，則剩下的為背景區(qū)域b：

然后將提取的紅外目標區(qū)域融合到可見光圖像中，得到可見光圖像目標區(qū)域o，融合規(guī)則為：

則可見光圖像的背景區(qū)域b為：

2.2 低頻部分融合規(guī)則

圖像中低頻分量攜帶源圖像的大部分信息。目標區(qū)域的像素值較高，因而能量值高于其他區(qū)域，為了保證紅外圖像的目標信息最大限度地保留，選取紅外圖像目標區(qū)域的低頻子帶系數(shù)ol作為目標區(qū)域的低頻融合系數(shù)[16]ol：

可見光圖像低頻系數(shù)中包含了大量的背景細節(jié)信息，其包含的背景信息在通常情況下比紅外圖像所包含的背景信息更豐富，因此傳統(tǒng)方法中往往選取可見光圖像的背景信息作為背景區(qū)域的融合系數(shù)，但紅外圖像中包含的背景信息也不可忽略，因此為使最終融合的圖像保留更多源圖像的有效信息，可采用比較低頻子帶圖像系數(shù)與源圖像信息熵IE的方法，讓最終的融合結果偏向于信息熵較大的那類圖像，從而得到背景區(qū)域的低頻子帶融合系數(shù)bl：

式中：IEV和IER分別是指可見光圖像的信息熵和紅外圖像的信息熵，信息熵IE的表達式為：

式中：p為圖像第級灰度值出現(xiàn)的概率。

2.3 高頻部分融合規(guī)則

圖像中的高頻分量包含源圖像中大量的邊緣信息和細節(jié)信息，同時也包含噪聲信息。高頻子帶系數(shù)的大小反映了源圖像相鄰區(qū)域之間灰度值變化的劇烈程度，其絕對值越大則說明這一點的邊緣細節(jié)越突出。為保留更多的目標信息，選取紅外圖像目標區(qū)域的高頻子帶系數(shù)oh作為目標區(qū)域的高頻子帶融合系數(shù)oh，則有：

oh(,)＝oh(,) (18)

為了保留盡可能多的有效邊緣信息，并且減少噪聲的影響，將背景區(qū)域高頻子帶系數(shù)所在的鄰域的能量作為衡量邊緣突出程度的指標，此外，考慮到源圖像對應位置處的清晰度，用改進拉普拉斯能量和ML作為另一指標。將這兩個指標結合起來，通過相乘的方法來構造出最終SCM模型的外部激勵，從而得到背景區(qū)域的高頻子帶融合系數(shù)bl。

首先，計算每個背景高頻子帶系數(shù)所在鄰域的能量（以可見光圖像背景區(qū)域的高頻子帶為例）：

接著計算每個背景區(qū)域高頻子帶系數(shù)在源圖像對應位置處的改進拉普拉斯能量和SML：

其中和取值均為3，改進拉普拉斯算子MLVh的計算方法為：

接下來，計算SCM數(shù)學模型的外部激勵，即計算區(qū)域能量與改進拉普拉斯能量和SML的乘積，輸入SCM的外部激勵，求得輸出的賦時矩陣。

最后，采用比較信息熵的方法得到背景區(qū)域高頻子帶的融合系數(shù)bl，具體的方法如下：

當SCM輸出的賦時矩陣V(,)≠R(,)時：

當V(,)＝R(,)時：

最后將得到的融合系數(shù)oh，ol，bh和bl進行NSST逆變換，得到最后的融合圖像。

3 實驗結果與分析

為了保證實驗數(shù)據的真實性、公平性，使用Intel 酷睿i5 6200U，2.3GHz CPU，4G內存，Windows10操作系統(tǒng)，MATLAB 2020a軟件進行實驗，選擇TNO數(shù)據集中的3組紅外與可見光圖像進行測試。并將本文算法與其他3種算法進行比較，根據文章所述及文章名稱，將這3種算法分別命名為：MST[17]（multiscale transform）、IFE-VIP[18]（infrared feature extraction and visual information preservation）和VSM-WLS[19]（visual saliency map and weighted least square）。在本文提出的算法中，設定NSST的分解層數(shù)為4層，shearlet濾波器的大小和方向分別設定為[8,8,8,8]和[2,2,4,4]。SCM模型的閾值衰減系數(shù)設置為1；閾值放大系數(shù)設置為0.5，控制神經元內部衰減的系數(shù)設置為1。

3.1 實驗結果主觀評價

在圖3中，圖3(a)和圖3(b)分別為源紅外圖像與源可見光圖像。從圖中可以看到，圖3(c)顯示了樹木的紋理信息，以及道路和目標人物信息，但目標人物信息不夠突出，圖像整體的對比度較低。圖3(d)中，可得到較為清晰的紅外目標，但背景信息比較模糊，且左下角的樹木紋理細節(jié)信息缺失較多，對比度較低。圖3(e)中雖然可以看到清晰的目標人物信息及樹木的邊緣紋理信息，但與圖3(f)相比，其目標人物周圍存在光暈，且左下角和右下角的樹木紋理沒有圖3(f)的清晰，對比度也沒有圖3(f)高。與其他方法相比，本文中所提到的算法，不僅能很好地突出紅外目標，而且很好地保留了背景信息中山丘、樹木等的邊緣信息及紋理信息，對比度較高，融合效果更優(yōu)。

在圖4中，圖4(c)的目標人物及車輛等信息比較清晰，但圖像上方的廣告牌比較暗，廣告牌上的字體與廣告牌灰度接近，字體不夠明顯，對比度較低。圖4(d)中，得到了清晰的目標信息及背景信息，廣告牌上的字體也較為清晰，但與圖4(e)相比，圖4(d)的廣告牌上的字體不夠清晰，對比度也沒有圖4(e)高。圖4(e)和圖4(f)均可得到清晰的背景信息和目標信息，且對比度更高，但進行比較，可以看到雖然圖4(e)足夠清晰，但其背景與目標人物間的對比度較低，目標人物和車輛信息不夠突出，整體圖像較暗且缺乏層次感，而圖4(f)的對比度更高一些，且目標人物信息突出，背景清晰，整體更有層次感。

在圖5中，圖5(c)的目標人物信息比較清晰，但背景中的樹木信息模糊，缺乏層次感，很難分辨出樹木和道路。圖5(d)可以看到清晰的樹木信息，層次感較高，但目標人物比較模糊，與樹木間的對比度較低，目標人物不易被發(fā)現(xiàn)。圖5(e)和圖5(f)均可得到清晰的樹木和目標人物信息，對比度也比較高。但將圖5(e)和圖5(f)進行比較，會發(fā)現(xiàn)圖5(f)的目標人物信息更加突出，樹木信息也更加豐富，對比度更高。與其他幾種方法相比，本文提出算法得到的融合圖像視覺效果更好。

圖3 第一組圖像融合結果：(a) 紅外圖像；(b)可見光圖像；(c)MST融合圖像；(d)IFE-VIP融合圖像；(e) VSM-WLS融合圖像；(f) 本文提出算法的融合圖像

圖4 第二組圖像融合結果：(a) 紅外圖像；(b) 可見光圖像；(c) MST融合圖像；(d) IFE-VIP融合圖像；(e) VSM-WLS融合圖像；(f) 本文提出算法的融合圖像

圖5 第三組圖像融合結果：(a) 紅外圖像；(b) 可見光圖像；(c) MST融合圖像；(d) IFE-VIP融合圖像；(e) VSM-WLS融合圖像；(f) 本文提出算法的融合圖像

3.2 實驗結果客觀評價

本文選用平均梯度（average gradient，AG）、標準差（standard deviation，STD）、信息熵（EN）、互信息（mutual information，MI）、結構相似度（structural similarity，SSIM）、邊緣保留因子[20]（edge gradient operator，AB/F）和時間（time，1）作為客觀評價標準。其中，AG越大，說明圖像的紋理越明顯，邊緣細節(jié)越突出，清晰度越好；STD越大，表明圖像的識別度越高；EN越大，說明融合圖像所含的信息越豐富；MI越大，表明融合圖像包含越多源圖像中的信息；SSIM越大，說明融合圖像的結構與源圖像的結構越相似；AB/F越大，說明能夠保留更多的源圖像邊緣細節(jié)信息；1越大，說明時間損耗越大。

4種方法所得到的融合圖像客觀評價指標結果如表1所示。在表1的第一組融合圖像中，本文所提方法得到的融合圖像的信息熵沒有MST方法的高，結構相似度沒有IFE-VIP方法的高，但其平均梯度、標準差、信息熵和邊緣保留因子的值均比其他3種方法高。說明本文所提方法的紋理細節(jié)信息更加豐富，對比度更高，得到的融合圖像效果更好。

在第2組融合圖像中，所提方法得到的融合圖像的標準差和結構相似度沒有IFE-VIP方法的高，但其平均梯度、信息熵和邊緣保留因子均比其他3種方法高，說明本文所提方法得到的融合圖像能保留更多源圖像中的紋理細節(jié)信息，融合效果更好。

在第3組融合圖像中，本文所提算法的平均梯度沒有MST方法的高，結構相似度沒有IFE-VIP方法的高，但其標準差、信息熵、互信息和邊緣保留因子為幾種方法中最優(yōu)的，說明本文所提方法得到的融合圖像更加清晰，對比度高，包含更多的源圖像中的邊緣細節(jié)信息，融合效果更好。

如表1所示，MST方法得到的融合圖像的互信息在3種方法中較高，IFE-VIP方法得到的融合圖像的結構相似度是4種方法中最高的，本文所提算法得到的融合圖像的信息熵和邊緣保留因子為4種方法中最高的，平均梯度、標準差、互信息、結構相似度的值也較高。相比其他算法，本文所提算法得到的融合圖像在客觀評價指標上表現(xiàn)較好。

表1 融合圖像客觀評價指標

4 總結

本文針對紅外與可見光圖像的成像特點，使用魯棒性更強的FRFCM算法提取紅外圖像的紅外目標信息，并通過融合的方法，得到可見光圖像的目標區(qū)域。接著使用NSST對得到的目標和背景區(qū)域進行分解，得到各自的高低頻子帶系數(shù)，然后針對不同區(qū)域的不同特點，采用不同的策略進行融合，從而使融合圖像中目標信息更加突出，紋理細節(jié)信息更加豐富。與其他幾種融合方法相比，文中所提出的方法在主觀視覺及客觀評價上都表現(xiàn)良好，紅外目標突出，紋理細節(jié)特征清晰，對比度高，融合效果較好。但本文所提方法的時間損耗未達到最低，這也是今后研究的一個方向。

[1] 王文卿, 高鈺迪, 劉涵, 等. 基于低秩稀疏表示的紅外與可見光圖像序列融合方法[J]. 西安理工大學學報, 2019, 35(3): 276-283.

WANG W Q, GAO Y D, LIU H, et al. Infrared and visible image sequence fusion via low-rank and sparse representation[J]., 2019, 35(3): 276-283.

[2] 白玉, 侯志強, 劉曉義, 等. 基于可見光圖像和紅外圖像決策級融合的目標檢測算法[J]. 空軍工程大學學報(自然科學版), 2020, 21(6): 53-59, 100.

BAI Y, HOU Z Q, LIU X Y, et al. An object detection algorithm based on decision-level fusion of visible light image and infrared images[J]., 2020, 21(6): 53-59, 100.

[3] 張林發(fā), 張榆鋒, 王琨, 等. 基于直覺模糊集和亮度增強的醫(yī)學圖像融合[J/OL]. 計算機應用, 2021, 41(7): 2082-2091.

ZHANG L F, ZHANG Y F, WANG K, et al. Medical image fusion with intuitionistic fuzzy set and intensity enhancement[J]., 2021, 41(7): 2082-2091.

[4] 江澤濤, 吳輝, 周嘵玲. 基于改進引導濾波和2021,41(07):2082-2091.雙通道脈沖發(fā)放皮層模型的紅外與可見光圖像融合算法[J]. 光學學報, 2018, 38(2): 0210002.

JIANG Z T, WU H, ZHOU Q L, et al. Infrared and visible image fusion algorithm based on improved guided filtering and dual-channel spiking cortical model[J]., 2018, 38(2): 0210002.

[5] 李玉峰, 尹婷婷. 采用NSCT與FCM相結合的SAR和多光譜圖像融合算法[J]. 信號處理, 2017, 33(11): 1523-1529.

LI Y F, YIN T T. The SAR and multispectral image fusion algorithm based on NSCT and FCM[J]., 2017, 33(11): 1523-1529.

[6] GONG J M, XUE M L, REN F, et al. Infrared and visible image fusion based on nonsubsampled shearlet transform and fuzzy C-means clustering[J]., 2018, 27(4): 1-11

[7] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]., 2008, 25(1): 25-46.

[8] 高國榮, 劉艷萍. 基于非抽樣Shearlet變換的紅外與可見光圖像融合方法[J]. 農業(yè)機械學報, 2014, 45(3): 268-274.

GAO G R, LIU Y P. Infrared and visible light image fusion algorithm based on non-subsampled Shearlet transform[J]., 2014, 45(3): 268-274.

[9] 邢笑雪. 基于NSST的圖像融合算法研究[D]. 長春: 吉林大學, 2014: 24-25.

XING X X. Research on Image Fusion Algorithm Based on NSST[D]. Changchun: Jilin University, 2014: 24-25.

[10] ZHAN K, ZHANG H J, MA Y D. New spiking cortical model for invariant texture retrieval and image processing[J]., 2009, 20(12): 1980-1986.

[11] 江澤濤, 何玉婷, 張少欽. 一種基于對比度增強和柯西模糊函數(shù)的紅外與弱可見光圖像融合算法[J]. 光子學報, 2019, 48(6): 149-158.

JIANG Z T, HE Y T, ZHANG S Q. Infrared and low-light-level visible image fusion algorithm based on contrast enhancement and cauchy fuzzy function[J]., 2019, 48(6): 149-158.

[12] 王念一. 脈沖發(fā)放皮層模型圖像融合技術研究[D]. 蘭州: 蘭州大學, 2014: 18-20.

WANG N Y. Spiking Cortical Mode for Image Fusion[D]. Lanzhou: Lanzhou University, 2014: 18-20.

[13] HE K J, ZHOU D M, ZHANG X J, et al. Infrared and visible image fusion combining interesting region detection and nonsubsampled contourlet transform[J]., 2018, 2018: 1-15.

[14] LEI T, JIA L, HE L, et al. Significantly fast and robust fuzzy C-means clustering algorithm based on morphological reconstruction and membership filtering)[J]., 2018: 26(5): 3027-3041.

[15] LIU Z Y, DING F, XU Y, et al. Background dominant colors extraction method based on color image quick fuzzy c-means clustering algorithm[J]., 2020, 16(5): 1073-1087.

[16] 劉帥奇, 鄭偉, 趙杰, 等. 數(shù)字圖像融合算法分析與應用[M]. 北京: 機械工業(yè)出版社, 2018:115-116.

LIU S Q, ZHENG W, ZHAO J, et al.[M]. Beijing: China Machine Press, 2018: 115-116.

[17] CHEN J, LI X J, LUO L B, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]., 2020, 508: 64-78.

[18] ZHANG Y, ZHANG L J, BAI X Z, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]., 2017, 83: 227-237.

[19] MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]., 2017, 82: 8-17.

[20] Xydeas C S, Petrovic V. Objective image fusion performance measure[J].s, 2000, 36(4): 308-309.

Image Fusion Algorithm Based on Improved Fuzzy C-means Clustering

GONG Jiamin，WU Yijie，LIU Fang，ZHANG Yunsheng，LEI Shutao，ZHU Zehao

(,710061,)

To obtain more prominent target information and retain more textural details in infrared and visible light fusion images, an infrared and visible light image fusion algorithm based on the non-subsample shearlet transform (NSST) domain combined with a spiking cortical model (SCM) and improved fuzzy C-means clustering model (FCM) is proposed. First, the infrared target information in the source infrared image is extracted by the FCM. Subsequently, the NSST is used to decompose the target and background areas of the infrared and visible images to obtain their own high- and low-frequency sub-band images. Subsequently, different fusion strategies are adopted for different regions, and the SCM and improved time matrix are adopted for high-frequency background regions. The final fused image is obtained by using the NSST inverse transform. Simulation experiments show that, compared with other methods, the fusion image obtained by this algorithm has a prominent infrared target and intricate texture details in subjective vision, and its information entropy and edge retention factor are optimal for objective evaluation.

image fusion, non-subsampled shearlet transform, spiking cortical model, fuzzy C-means clustering, time matrix

TP391

A

1001-8891(2023)08-0849-09

2021-06-13；

2021-08-18.

鞏稼民（1962-），男，博士，教授，碩士生導師，主要從事光通信與光信息技術方面的研究。E-mail：13289388729@qq.com。

國家自然科學基金（61775180），國際科技合作計劃項目陜西省重點研發(fā)計劃（2020KWZ-017）。