邸 敬，王國(guó)棟，馬 帥，廉 敬

基于MSPCNN與FCM的紅外與可見(jiàn)光圖像融合

邸 敬，王國(guó)棟，馬 帥，廉 敬

（蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070）

針對(duì)紅外和可見(jiàn)光圖像融合存在的輪廓信息不全、邊緣及紋理細(xì)節(jié)信息缺失等問(wèn)題，提出一種改進(jìn)簡(jiǎn)化脈沖耦合神經(jīng)網(wǎng)絡(luò)（Improved Simplified Pulse Coupled Neural Network, MSPCNN）和模糊C-均值（Fuzzy C-mean, FCM）圖像融合算法。首先，將紅外和可見(jiàn)光圖像用非下采樣剪切波算法（Non-Subsampled Shearlet Transform，NSST）分解為高低頻子帶；然后對(duì)分解后的高頻子帶采用MSPCNN融合，用一種高斯分布權(quán)重矩陣進(jìn)行處理，增強(qiáng)細(xì)節(jié)信息和對(duì)比度；接著，將得到的低頻子帶圖像使用FCM聚類算法進(jìn)行聚類中心提取，設(shè)置聚類中心近似閾值簡(jiǎn)化過(guò)程，實(shí)現(xiàn)背景分類提??；最后利NSST進(jìn)行逆變換，從而完成紅外和可見(jiàn)光的圖像融合過(guò)程。通過(guò)客觀評(píng)價(jià)指標(biāo)計(jì)算，本文所提方法在平均梯度、標(biāo)準(zhǔn)差、平均相似度等參考指標(biāo)上相對(duì)于其他同類型算法均有改善提高，由于模型參數(shù)的簡(jiǎn)化，算法運(yùn)行速度相對(duì)于其他算法得到提升，算法更適用于復(fù)雜場(chǎng)景。

圖像融合；非下采樣剪切波算法；脈沖耦合神經(jīng)網(wǎng)絡(luò)；模糊C-均值

0 引言

在一些存在云、煙、霧等惡劣環(huán)境的時(shí)候，即使是光照不是很好的條件下，紅外圖像仍然可以對(duì)需要的目標(biāo)圖像有一定的檢測(cè)能力[1]，缺陷是在成像后，分辨率較低，在一些細(xì)節(jié)方面并不能很好地呈現(xiàn)，且背景模糊[2]的目標(biāo)。可見(jiàn)光圖像相較于紅外圖像可以使捕獲的目標(biāo)相對(duì)清晰，含有充分細(xì)節(jié)信息，目標(biāo)成像后的分辨率較高，但是當(dāng)環(huán)境惡劣或者光照不足時(shí)會(huì)導(dǎo)致成像效果變差，產(chǎn)生嚴(yán)重干擾[3]。因此采用多尺度分解技術(shù)提取兩種圖像各自高低頻子帶的特征信息，通過(guò)對(duì)兩種特征的有效結(jié)合，既可以使目標(biāo)細(xì)節(jié)信息充足而且使場(chǎng)景清晰，在天氣惡劣的情況下能夠?qū)崟r(shí)、精準(zhǔn)地對(duì)目標(biāo)進(jìn)行成像[4]。目前，紅外與可見(jiàn)光圖像融合的應(yīng)用場(chǎng)景是軍事、安全、空間、醫(yī)學(xué)和目標(biāo)識(shí)別等領(lǐng)域[5]。

非下采樣剪切波（Non-Subsampled Shearlet Transform, NSST）算法是一種多尺度變換方法，相較于其他算法，它的功能更加完備，有各向異性、物體平移不變性以及多分辨率較好等優(yōu)勢(shì)[6]，當(dāng)圖像邊緣處存在偽吉布斯現(xiàn)象時(shí)，NSST可以有效解決，應(yīng)用NSST在圖像融合上的算法經(jīng)過(guò)對(duì)高低頻子帶的處理之后，得到的融合圖像效果優(yōu)于輪廓波變換、小波變換[7]以及非下采樣輪廓波變換（Non-Subsampled Contourlet Transform, NSCT）[8]等傳統(tǒng)多尺度變換方法。近些年，各種融合方法不斷涌現(xiàn)，尤其是利用NSST變換的分析法先實(shí)現(xiàn)圖像分解[9]，其具備多尺度、平移不變性、方向多樣化等優(yōu)勢(shì)。文獻(xiàn)[10]提出的融合算法是通過(guò)將NSST與脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network, PCNN）聯(lián)合，該算法對(duì)提取后的高頻子帶圖像使用自適應(yīng)PCNN進(jìn)行處理，可以保留圖像細(xì)節(jié)信息，但該方法相對(duì)實(shí)現(xiàn)復(fù)雜且參數(shù)難以設(shè)置。PCNN作為第三代人工神經(jīng)網(wǎng)絡(luò)[11]具有神經(jīng)元的動(dòng)態(tài)性、脈沖發(fā)放的同步化以及動(dòng)態(tài)性、乘性調(diào)制作用等6個(gè)特征，基于此，PCNN倍受關(guān)注具有很大的發(fā)展前景。文獻(xiàn)[12]提出NSCT與PCNN神經(jīng)網(wǎng)絡(luò)模型結(jié)合的圖像融合算法，該算法使用加權(quán)濾波優(yōu)化PCNN處理之后的高頻子帶，使得最終融合效果明顯提升，缺點(diǎn)是實(shí)時(shí)性較差且計(jì)算復(fù)雜度高，不易應(yīng)用到實(shí)際環(huán)境中。文獻(xiàn)[13]提出的融合算法是基于PCNN與IFS（Iterator Function System），該算法對(duì)PCNN的點(diǎn)火時(shí)間進(jìn)行優(yōu)化縮減，并應(yīng)用到高頻子帶，更好地保留了圖像邊緣特征，但在實(shí)際操作中需要人工提前對(duì)參數(shù)進(jìn)行設(shè)置，操作相對(duì)困難。模糊C-值（Fuzzy C-mean, FCM）是一種對(duì)樣本先進(jìn)行模糊歸屬的劃分方法，屬于無(wú)監(jiān)督模式算法的一種[14]，其分類性能相對(duì)優(yōu)異。文獻(xiàn)[15]提出NSST和FCM結(jié)合的融合算法，低頻子帶使用FCM進(jìn)行迭代分類處理，可以較好保留原圖背景信息，但FCM迭代過(guò)程相對(duì)復(fù)雜，算法運(yùn)算速率受到影響[16]。

針對(duì)上述問(wèn)題，在高低頻子帶融合過(guò)程中，若是將傳統(tǒng)PCNN模型直接應(yīng)用其中并不能很好地使低頻子帶中的信息完整保留，因此，本文提出一種基于MSPCNN-FCM的紅外與可見(jiàn)光圖像融合改進(jìn)算法。該算法先通過(guò)NSST對(duì)圖像進(jìn)行分解提取得到高子帶圖像和低頻子帶圖像，這些子帶圖像分別來(lái)自紅外和可見(jiàn)光圖像，隨后利用MSPCNN對(duì)高頻子帶圖像進(jìn)行融合處理，通過(guò)FCM對(duì)所提取到的低頻子帶圖像進(jìn)行融合處理。

1 數(shù)學(xué)模型

1.1 NSST變換

Guo和Labate針對(duì)NSCT計(jì)算復(fù)雜度過(guò)高無(wú)法應(yīng)用在實(shí)時(shí)性要求高的場(chǎng)合的問(wèn)題提出Shearlet變換[17]，但是Shearlet變換在圖像處理時(shí)利用下采樣在圖像邊緣產(chǎn)生吉布斯效應(yīng)。Easley等在Shearlet變換上進(jìn)行改進(jìn)[18]，在處理圖像時(shí)避免了下采樣，因此NSST變換被提出。圖1表示的是NSST分解過(guò)程的框架，可劃分為多尺度分解與方向局部化兩個(gè)步驟[19]，在多尺度分解的過(guò)程中，需要對(duì)最開(kāi)始的圖像進(jìn)行分解，采用非下采樣金字塔變換（NSP）原始圖像分解成高低頻子帶圖像，不存在中頻子帶。將所得到的低頻子帶圖像再次通過(guò)NSP分解，當(dāng)達(dá)到提前設(shè)置的分解次數(shù)時(shí)結(jié)束分解操作[20]，因此當(dāng)原始的二維圖像經(jīng)過(guò)次NSP分解后，得到的高頻分量會(huì)有個(gè)，而低頻圖像僅有一個(gè)，這些圖像的尺寸大小與源圖像的一致；而方向局部化則表示在經(jīng)過(guò)多次NSP分解后所得到的高頻子帶圖像處，先構(gòu)造一個(gè)剪切波濾波器（Shear-wave Filter, SF），將二者進(jìn)行卷積后會(huì)得到所有方向的詳細(xì)信息。為了保證變換過(guò)程中的平移不變形，將SF應(yīng)用到剪切波變換，利用其平移不變性實(shí)現(xiàn)偽極化網(wǎng)格系統(tǒng)映射到笛卡兒坐標(biāo)系統(tǒng)，避免下采樣過(guò)程。

圖1 NSST變換分解過(guò)程

1.2 MSPCNN模型

通過(guò)模擬動(dòng)物視覺(jué)皮層系統(tǒng)處理信號(hào)的過(guò)程，一種新型的神經(jīng)網(wǎng)絡(luò)模型——脈沖耦合神經(jīng)網(wǎng)絡(luò)模型被提出。為了區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，對(duì)圖像進(jìn)行處理的操作時(shí)，PCNN不用訓(xùn)練樣本的步驟，可以極大地提高運(yùn)行速度，有效提升了圖像處理的時(shí)效性。然而PCNN模型結(jié)構(gòu)復(fù)雜、參數(shù)復(fù)雜。針對(duì)此，采用一種基于高斯分布的權(quán)重矩陣設(shè)置方法，將傳統(tǒng)PCNN模型中的權(quán)重矩陣參數(shù)和鏈接強(qiáng)度參數(shù)合并為一個(gè)參數(shù)，提出改進(jìn)簡(jiǎn)化的MSPCNN。針對(duì)圖像高頻部分，使用MSPCNN算法能夠有效地保證高頻子帶融合效果，并且因?yàn)閰?shù)的簡(jiǎn)化，算法運(yùn)行速度得到提升。具體模型如圖2所示。

圖2 MSPCNN模型

數(shù)學(xué)方程式為：

式中：代表迭代次數(shù)；U代表活動(dòng)項(xiàng)，位于神經(jīng)元內(nèi)部；Y表示神經(jīng)元的輸出值；E表示神經(jīng)元的門限或者稱為神經(jīng)元?jiǎng)討B(tài)點(diǎn)；S表示神經(jīng)元所收到的外部激勵(lì)；是反饋輸入?yún)^(qū)的加權(quán)矩陣。

1.3 FCM均值算法

FCM算法是屬于質(zhì)心算法的一種，圖像處理過(guò)程中不用預(yù)分類，識(shí)別模式屬于無(wú)監(jiān)督。處理過(guò)程中，第一步確定樣本對(duì)不同類的隸屬度，當(dāng)需要描述邊緣像素時(shí)，就利用提前賦予的隸屬度實(shí)現(xiàn)完整描述，通過(guò)迭代算法得到的數(shù)據(jù)可完成自動(dòng)分類，由此可以看出FCM算法的優(yōu)點(diǎn)是對(duì)于性能分類的能力較強(qiáng)。FCM算法在分類之前需要計(jì)算出相對(duì)應(yīng)的歐氏距離，需要應(yīng)用某個(gè)最優(yōu)準(zhǔn)則去優(yōu)化目標(biāo)函數(shù)。

設(shè)個(gè)數(shù)據(jù)樣本＝{1,2, ……, x}是樣本集，其中，x表示樣本中所包含的元素，代表樣本集中存在的個(gè)數(shù)，通過(guò)FCM算法可將樣本集劃分成個(gè)子集1,2, ……, X，在隸屬度下求解滿足要求的劃分方式可以轉(zhuǎn)換為求數(shù)學(xué)規(guī)劃的方法。目標(biāo)函數(shù)的數(shù)學(xué)公式為：

約束條件為：

2 融合過(guò)程

本文的融合方法是先用NSST對(duì)紅外與可將光圖像進(jìn)行分解得到各自相對(duì)應(yīng)的高低頻子帶圖像。針對(duì)目前算法不能很好地保留圖像局部的邊緣和細(xì)節(jié)信息，高頻子帶采用MSPCNN進(jìn)行處理，低頻子帶采用FCM算法進(jìn)行處理，高低頻子帶融合過(guò)程同步進(jìn)行。最后使用逆NSST變換合成最終融合圖像。算法的具體處理流程如圖3所示。

1）利用NSST變換提取紅外和可見(jiàn)光圖像各自對(duì)應(yīng)的高低頻子帶圖像。

2）對(duì)經(jīng)NSST分解得到的高頻子帶采用MSPCNN進(jìn)行融合，采用一種高斯分布的權(quán)重矩陣控制內(nèi)部活動(dòng)項(xiàng)以及神經(jīng)元點(diǎn)火過(guò)程之后的動(dòng)態(tài)閾值變化值。將提取的高頻圖像特征作為MSPCNN的刺激輸入，可以充分保留圖像的細(xì)節(jié)信息，得到新的融合高頻子帶圖像。

3）對(duì)得到的低頻子帶采用FCM進(jìn)行融合處理，計(jì)算選取聚類中心和數(shù)據(jù)隸屬度并進(jìn)行分類，設(shè)置聚類中心近似閾值簡(jiǎn)化計(jì)算過(guò)程，處理結(jié)束得到新的融合低頻子帶圖像。

4）將各自進(jìn)行處理的融合高低頻子帶圖像經(jīng)過(guò)逆NSST變換，輸出獲得所需的紅外與可見(jiàn)光融合圖像。

2.1 高頻融合過(guò)程

高頻子帶圖像反映源圖像的邊緣、輪廓等信息。輸入激勵(lì)的選取優(yōu)化可以增強(qiáng)融合圖像的整體信息和對(duì)比度。本文對(duì)高頻融合規(guī)則采用MSPCNN模型，提取高頻子帶信息并簡(jiǎn)化參數(shù)，提升高頻融合效果。選用高頻子帶絕對(duì)值作為MSPCNN的激勵(lì)記為I和V，并將其作為MSPCNN網(wǎng)絡(luò)中的反饋輸入。即：

U[]＝I, Y[]＝V(6)

將高頻分量輸入之后，采用一種基于高斯分布的權(quán)重矩陣設(shè)置方法，它將傳統(tǒng)PCNN模型中的權(quán)重矩陣參數(shù)和鏈接強(qiáng)度參數(shù)合并為一個(gè)參數(shù)，該參數(shù)控制鄰域神經(jīng)元與中心神經(jīng)元的作用力的大小，其表達(dá)式如下：

圖3 MSPCNN與FCM結(jié)合的圖像融合模型

為了更好地控制內(nèi)部活動(dòng)項(xiàng)的大小，增加了調(diào)節(jié)參數(shù)，通過(guò)大量實(shí)驗(yàn)該參數(shù)可被設(shè)定為：

＝e－2(8)

為了更好地調(diào)節(jié)動(dòng)態(tài)閾值的大小，引入了動(dòng)態(tài)閾值調(diào)節(jié)參數(shù)，該參數(shù)的表達(dá)式為：

＝e－4(9)

為了更加精確控制神經(jīng)元點(diǎn)火以后動(dòng)態(tài)閾值的變化值，引入了乘積因子和加性因子，它們的表達(dá)式如下：

＝￠＋￠8(10)

＝1 (11)

式中：￠表示整幅圖像的大津閾值；￠8的主要作用是用來(lái)對(duì)動(dòng)態(tài)閾值進(jìn)行微調(diào)。最后根據(jù)內(nèi)部活動(dòng)項(xiàng)的變化規(guī)律對(duì)幅度參數(shù)進(jìn)行設(shè)置，該參數(shù)的表達(dá)式為：

＝e－＋e－2＋e－3＋e－4(12)

2.2 低頻融合過(guò)程

源圖像的背景信息等需要從低頻子帶圖像中提取，為了準(zhǔn)確、快速地提取所需的目標(biāo)和背景信息。FCM需要反復(fù)計(jì)算選取聚類中心和數(shù)據(jù)隸屬度并進(jìn)行分類，具體計(jì)算公式如下：

計(jì)算樣本x對(duì)于類A的隸屬度u和個(gè)聚類中心{v}：

設(shè)I＝{|2≤＜;d＝0}，對(duì)于所有的類，∈I,u＝0。

式中：是參考點(diǎn)的數(shù)值。

為簡(jiǎn)化選取過(guò)程，提出一個(gè)聚類中心近似閾值D進(jìn)行輔助選取，用于表示第x個(gè)像素點(diǎn)到其他任一像素點(diǎn)的距離。D的表達(dá)式為：

通過(guò)不斷計(jì)算D值來(lái)確定不同的下一個(gè)聚類中心，距離聚類中心越近的像素點(diǎn)D值越小，可以排除成為聚類中心的可能，通過(guò)和閾值大小的比較可以減少原算法計(jì)算聚類中心的迭代次數(shù)，降低算法所需要的時(shí)間，提升運(yùn)行速度。通過(guò)簡(jiǎn)化迭代過(guò)程，可以快速獲取到全部的聚類中心，同時(shí)計(jì)算樣本對(duì)于各個(gè)中心的隸屬度，完成整個(gè)聚類劃分過(guò)程實(shí)現(xiàn)低頻子帶特征提取與融合。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的可行性與有效性，實(shí)驗(yàn)中分別選取單人、多人、物體、有霧、人物被遮擋以及人的細(xì)節(jié)6組不同的紅外與可見(jiàn)光圖像場(chǎng)景進(jìn)行融合，并與其他6種算法進(jìn)行比較，對(duì)性能進(jìn)行數(shù)值上體現(xiàn)比較。從主觀感受與客觀指標(biāo)兩方面分別對(duì)融合圖像進(jìn)行評(píng)價(jià)：主觀感受方面對(duì)本文算法得到的融合圖像與其他6種算法得到的融合圖像進(jìn)行視覺(jué)效果比較；客觀方面從平均梯度（Average，AVG）、結(jié)構(gòu)相似性（Structure Similarity, SSIM）、邊緣保留因子（Questions about Behavioral Functions，AB/F）、峰值信噪比（Peak signal-to-noise ratio，PSN）、空間頻率（Spatial frequency，SF）、圖像清晰度（Full Definition，F(xiàn)D）以及時(shí)效性7個(gè)方面進(jìn)行評(píng)價(jià)。對(duì)比的6種算法為：基于PCA的融合方法，基于NSCT-PCNN的融合方法、基于NSST-PCNN的融合方法、基于PCNN-IFS的融合方法，基于NSST-FCM的融合方法，基于NSST-PA-PCNN的融合方法。

3.1 主觀評(píng)價(jià)

從圖4對(duì)比結(jié)果中可以直觀看出，第一組基于PCA方法得到的融合圖像對(duì)比度和清晰度低，圖像邊緣在不同場(chǎng)景中都較為模糊，所提取目標(biāo)表現(xiàn)過(guò)暗，并且會(huì)出現(xiàn)一些偽影現(xiàn)象，且運(yùn)算效率不高，本文算法在保證對(duì)比度和清晰度的同時(shí)極大提升了算法效率。第二組基于NSCT-PCNN方法得到的圖像不能完全提取所需要的背景細(xì)節(jié)信息，人物細(xì)節(jié)模糊，本文算法可以保留所需的可見(jiàn)光背景。第三組基于NSST-PCNN方法得到的融合圖像缺失了部分紅外目標(biāo)信息，本文算法可以很好地提取所需紅外目標(biāo)信息，并保證相對(duì)應(yīng)的背景信息。第四組基于PCNN-IFS方法得到的融合圖像對(duì)比度和灰度層次感相對(duì)不足，本文算法可以比較好地提升對(duì)比度信息。第五組基于NSST-FCM方法得到的融合圖像雖然能有效地突出所提取的前置目標(biāo)信息，但丟失了部分細(xì)節(jié)、紋理信息。第六組基于NSST-PA-PCNN方法得到的融合圖像存在部分人造偽影。相比較，本文算法對(duì)所需要提取的目標(biāo)紋理保留得較為完整，且有效地表現(xiàn)出需要標(biāo)注的區(qū)域。

圖4 不同算法在6種不同場(chǎng)景下的融合圖像

3.2 客觀評(píng)價(jià)

為了客觀地評(píng)價(jià)圖像的融合效果，本文采用了上文所述的客觀評(píng)價(jià)指標(biāo)，計(jì)算6種對(duì)比算法和本文算法的指標(biāo)值，計(jì)算結(jié)果如表1所示。

表1 不同方法的客觀評(píng)價(jià)指標(biāo)均值

從表1中可以看出：本文算法在6組不同的融合圖像上分別能對(duì)不同客觀指標(biāo)做到優(yōu)化提升，以第一個(gè)場(chǎng)景為例，本文算法的AVG、SSIM以及PSN均優(yōu)于其他幾種算法，SF和FD僅次于基于NSST-FCM的方法，而AB/F低于基于PCNN-IFS的方法、基于NSST-FCM的方法，與主觀視覺(jué)觀察到的圖像相呼應(yīng)。本文算法在最終融合圖像中表現(xiàn)良好，能夠有效地提取高低頻子帶信息并體現(xiàn)在最終融合圖像中，突出兩種源圖像的各自特點(diǎn)。

記錄本文算法和其他6組對(duì)比算法的運(yùn)行時(shí)間，統(tǒng)計(jì)結(jié)果如表2所示，本文算法相比其他6組實(shí)驗(yàn)，運(yùn)行速度在不同場(chǎng)景都能做到相應(yīng)優(yōu)化。由于本文改進(jìn)的MSPCNN對(duì)于參數(shù)的減少、FCM迭代過(guò)程的優(yōu)化有效降低了計(jì)算復(fù)雜度，時(shí)效性具有明顯優(yōu)勢(shì)。通過(guò)對(duì)主觀效果圖的直接觀察以及對(duì)計(jì)算得出的客觀指標(biāo)評(píng)價(jià)比對(duì)，可以看出本文算法在最終融合圖像效果勝于表中所列其余算法。

表2 不同算法在6種不同場(chǎng)景下的融合時(shí)間

4 結(jié)論

本文算法先用NSST分解提取紅外與可見(jiàn)光圖像的高低頻子帶，然后對(duì)高低頻子帶采用不同的方法同步進(jìn)行融合：對(duì)于高頻部分使用改進(jìn)簡(jiǎn)化的MSPCNN模型進(jìn)行處理，在保證所需要的提取信息時(shí)，簡(jiǎn)化模型參數(shù)提升運(yùn)行速度，保證得到的高頻子帶圖像融合效果；對(duì)于低頻部分使用FCM進(jìn)行處理，設(shè)置閾值簡(jiǎn)化迭代，快速實(shí)現(xiàn)對(duì)于提取的低頻子帶圖像融合。實(shí)驗(yàn)結(jié)果觀察最終融合圖像的主觀表現(xiàn)，計(jì)算對(duì)比客觀指標(biāo)的數(shù)據(jù)，綜合評(píng)估下可以驗(yàn)證本文算法的可行優(yōu)異性。

[1] WANG Z G, WEI W, SU B. Multi-sensor Image fusion algorithm based on multiresolution analysis[J]., 2018, 14(6): 44.

[2] SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Infrared and visible image fusion based on significant matrix and neural network[J]., 2020, 57(20): 56.

[3] González José R, Dami?o Charbel, Moran Maira, et al. A computational study on the role of parameters for identification of thyroid nodules by infrared images (and comparison with real data) [J]., 2021, 21(13): 4459.

[4] XING Xiaoxue, LIU Cheng, LUO Cong, et al. Infrared and visible image fusion based on nonlinear enhancement and NSST decomposition[J]., 2020(1): 125.

[5] ZHANG Kang, HUANG Yongdong, YUAN Xia, et al. Infrared and visible image fusion based on intuitionistic fuzzy sets[J]., 2020(4): 85.

[6] LIU Zhanwen, FENG Yan, CHEN Hang, et al. A fusion algorithm for infrared and visible based on guided filtering and phase congruency in NSST domain[J]., 2017, 97(6): 23.

[7] 王麗麗, 劉輝, 郭肇祿. 圖像融合在域內(nèi)的算法研究進(jìn)展[J].計(jì)算機(jī)技術(shù)與發(fā)展, 2021, 31(11): 8-14.

WANG Lili, LIU Hui, GUO Zhaolu. Research progress of image fusion algorithm in domain [J]., 2021, 31(11): 8-14.

[8] 徐慧嫻, 黃坤超, 陳明舉, 等. 基于深層次多分類生成對(duì)抗網(wǎng)絡(luò)的紅外與可見(jiàn)光圖像融合方法[J/OL].電子測(cè)量技術(shù), 2022, 3: 1-10.

XU Huixian, HUANG Kunchao, CHEN Mingju, et al. Infrared and visible image fusion method based on deep multi classification to generate countermeasure network [J/OL]., 2022, 3: 1-10

[9] 許麗娜, 周丹丹, 高翾, 等.一種結(jié)合GIHS、NSST和PCA的全色多光譜影像融合方法[J/OL]. 武漢大學(xué)學(xué)報(bào): 信息科學(xué)版, 2022, 3: 1-17.

XU Lina, ZHOU Dandan, GAO Zhen, et al. A panchromatic multispectral image fusion method combining GHIS, NSST and PCA [J/OL].: Information Science Edition, 2022, 3: 1-17.

[10] 李向陽(yáng), 曹宇彤, 陳笑, 等. 基于自適應(yīng)NSST-PCNN的紅外與可見(jiàn)光圖像融合方法研究[J]. 長(zhǎng)春理工大學(xué)學(xué)報(bào): 自然科學(xué)版, 2021, 44(5): 12-18.

LI Xiangyang, CAO Yutong, CHEN Xiao, et al. Research on infrared and visible image fusion method based on adaptive nsst-pcnn [J].: Natural Science Edition, 2021, 44(5): 12-18.

[11] SHEN Yu, YUAN Yubin, PENG Jing. Research on near infrared and color visible fusion based on PCNN in transform domain[J].2021, 41(7): 65.

[12] 劉帥, 王磊, 郝永平, 等. 基于NSCT與改進(jìn)PCNN的紅外與可見(jiàn)光圖像融合方法研究[J]. 光電技術(shù)應(yīng)用, 2021, 36(4): 60-65.

LIU Shuai, WANG Lei, HAO Yongping, et al. Research on infrared and visible image fusion method based on NSCT and improved PCNN [J]., 2021, 36(4): 60-65.

[13] 戴文戰(zhàn), 王琪. 基于PCNN與IFS的可見(jiàn)光與紅外圖像融合方法[J]. 光電子·激光, 2020, 31(7): 738-744.

DAI Wenzhan, WANG Qi. Visible and infrared image fusion method based on PCNN and IFS [J].2020, 31(7): 738-744.

[14] WU Chenwen, MA Ning, JIANG Yufan. Weighted FCM clustering algorithm based on jeffrey divergence similarity measure[J]., 2021, 58(8): 67

[15] 鞏稼民, 劉愛(ài)萍, 張晨, 等. 基于FCM與ADSCM的紅外與可見(jiàn)光圖像融合[J]. 激光與光電子學(xué)進(jìn)展, 2020, 57(20): 222-230.

GONG Jiamin, LIU Aiping, ZHANG Chen, et al. Infrared and visible image fusion based on FCM and adscm[J]., 2020, 57(20): 222-230.

[16] ZHANG Hongna, YAN Wei, ZHANG Chunyou, et al. Research on image fusion algorithm based on NSST frequency division and improved LSCN[J]., 2021, 26(5): 53.

[17] GUO K, Labate D. Optimally sparse multidimensional representation using shearlets[J].s, 2007, 39(1): 298-318.

[18] Easley G, Labate D, LIM W Q. Sparse directional image representation using discrete shearlet transform[J]., 2008, 25(1): 25-46.

[19] YAN Peizhou, ZOU Jiancheng, LI Zhengzheng, et al. Infrared and visible image fusion based on NSST and RDN[J]., 2021, 28(1): 35.

[20] TAN Wei, ZHANG Jiajia, XIANG Pei, et al. Infrared and visible image fusion via NSST and PCNN in multiscale morphological gradient domain[J].VI, 2021, 11353: 54.

Infrared and Visible Image Fusion Based on MSPCNN and FCM

DI Jing，WANG Guodong，MA Shuai，LIAN Jing

(School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China)

Aiming at the problems of incomplete contour information, missing edge and texture details in infrared and visible image fusion, A Improved Simplified Pulse Coupled Neural Network (MSPCNN) and Fuzzy C-mean (FCM) image fusion algorithm is proposed. First, infrared and visible images were decomposed into high and low frequency sub-bands using the Non-Subsampled Shearlet Transform (NSST).Then MSPCNN is used to fuse the decomposed high frequency subband, and a Gaussian distribution weight matrix is used for processing to enhance the detail information and contrast. Then, the obtained low-frequency sub-band images were extracted by using FCM clustering algorithm, and the approximate threshold of clustering center was set to simplify the process to achieve background classification extraction.Finally, the inverse transformation of NSST is carried out to complete the infrared and visible image fusion process.Through objective evaluation index calculation, compared with other algorithms of the same type, the method proposed in this paper has been improved in terms of average gradient, standard deviation, average similarity and other reference indexes. As the running speed of simplified algorithm of model parameters has been improved, the timeliness of the algorithm in this paper has been improved compared with other algorithms, and the algorithm is more suitable for complex scenarios.

image fusion, non-subsampled shearlet transform, pulse coupled neural network, fuzzy C-mean

TP391.9

A

1001-8891(2023)01-0069-08

2022-06-29；

2023-01-12.

邸敬（1979-），女，甘肅蘭州人，碩士，副教授，碩士生導(dǎo)師，主要從事圖像檢測(cè)識(shí)別、信號(hào)處理技術(shù)和寬帶無(wú)線通信方面的研究。E-mail: 46891771@qq.com。

甘肅省科技技術(shù)資助（22JR5RA360）；國(guó)家自然科學(xué)基金（62061023，61941109）；甘肅省高等學(xué)校創(chuàng)新能力提升項(xiàng)目（2019B-052）；甘肅省杰出青年基金（21JR7RA345）。