任亞飛，張娟梅

(洛陽理工學(xué)院，河南 洛陽 471023)

1 引言

紅外圖像(infrared image,INF)和可見光(visible image,VIS)的圖像融合采用不同種類型圖像傳感器對(duì)目標(biāo)進(jìn)行采集，屬于多模式信息融合。紅外圖像傳感器根據(jù)目標(biāo)與背景自身的熱輻射分布差異成像，屬于被動(dòng)成像，這在各種惡劣環(huán)境下和夜間的情況下效果顯著?？梢姽鈭D像根據(jù)目標(biāo)對(duì)外界光源的各種波長光反射率的不同來成像，屬于主動(dòng)成像，與人的視覺感觀有著高度一致的成像效果，圖像具有較好的三維空間分辨率和圖像清晰度。所以，將紅外和可見光圖像進(jìn)行融合處理，可以較好結(jié)合兩者優(yōu)點(diǎn)。

圖像融合的根本屬于構(gòu)成圖像二維信息的數(shù)據(jù)融合，故又稱數(shù)字圖像融合，是將單個(gè)和多個(gè)圖像源信息進(jìn)行關(guān)聯(lián)、相關(guān)和綜合，從而準(zhǔn)確提取所需的目標(biāo)特征值。單一類型傳感器的多個(gè)圖像信息融合存在一定的冗余性，可以采用不同采集模式獲得不同條件下的圖像信息，融合的難點(diǎn)在于不同模式的匹配問題。多個(gè)類型傳感器的圖像信息融合可以從理論上和方法上拓寬有用信息的范圍，融合的難點(diǎn)在于不同類型傳感器對(duì)于相同目標(biāo)的特征值呈現(xiàn)不同，如何選擇融合的層次，在合適的層級(jí)上，以合適的融合體系結(jié)構(gòu)來完成圖像信息融合的過程。

紅外和可見光圖像融合的發(fā)展歷經(jīng)：從基于顯著性、空間變換、多尺度變換、稀疏表示等傳統(tǒng)理念，到基于各種神經(jīng)網(wǎng)絡(luò)的現(xiàn)代深度學(xué)習(xí)方法。顯著性方法基于人類視覺顯著性特點(diǎn)，具有降維、壓縮、高效率，多用于目標(biāo)檢測、圖像壓縮等方面。稀疏表示具有降維、抗噪，多用于復(fù)雜背景圖像去噪、分類、壓縮等方面。深度學(xué)習(xí)在多個(gè)領(lǐng)域都具有領(lǐng)先地位，屬于機(jī)器學(xué)習(xí)的發(fā)展方向，但鑒于算法的復(fù)雜程度、運(yùn)行時(shí)間、穩(wěn)定性、硬件配置等多方面考慮，在圖像處理領(lǐng)域的應(yīng)用不如多尺度變換的方法流行。

2 紅外和可見光圖像融合原理

紅外圖像成像通過敏感元件采集目標(biāo)和背景紅外輻射的溫度分布，紅外線波長0.75～1 000 μm，根據(jù)輻射不同來區(qū)分目標(biāo)和背景，因此紅外輻射具有遠(yuǎn)距離成像和抗干擾能力等優(yōu)勢，但紅外圖像具有分辨率低、像素低、紋理信息特征不明顯等缺點(diǎn)。而可見光的絕大部分光譜是眾多電磁波中人眼可以直接感知的部分，波長在0.4～0.78 μm。不同波長的電磁波頻率不同，人眼對(duì)不同顏色感覺也不同，可見光圖像具有較高的三維空間分辨率和相當(dāng)多的紋理細(xì)節(jié)等，最適合于人類的視覺感知，但很容易受到惡劣環(huán)境的影響，如環(huán)境光照、惡劣天氣和空氣質(zhì)量的影響。紅外和可見光圖像具有無處不在和互補(bǔ)特性，可以拓寬圖像成像的電磁波長范圍，融合圖像具有強(qiáng)魯棒且信息豐富。

2.1 像素級(jí)圖像融合規(guī)則

不同類型模式傳感器的圖像融合可分為像素級(jí)、特征級(jí)、決策級(jí)的不同融合級(jí)別，集中式、分布式和分散式的不同融合決策。其中，像素級(jí)圖像融合在相對(duì)最大程度上可以保留原始圖像的信息，故研究主要考慮像素級(jí)圖像融合策略，即直接在不同圖像傳感器輸出的原始二通道或三通道數(shù)據(jù)層次上進(jìn)行融合，由于該層信息保持采樣率，其冗余性較高，優(yōu)勢在于融合圖像的信息熵較大，缺點(diǎn)在于融合難度大復(fù)雜度高。對(duì)于圖像像素級(jí)融合規(guī)則大致分為2個(gè)方向——基于圖像灰度和變換域的融合算法。

1) 基于圖像灰度主要考慮圖像像素的幾何運(yùn)算，通用為均值法、極值法、加權(quán)法：

(，)=(，)+(，)

(1)

如式(1)為像素值加權(quán)的融合算法(Choose-Max，CM)，、分別代表來自不同傳感器采集的二維圖像，和分別代表不同傳感器可信賴的權(quán)重，計(jì)算方法有均值法、方差、信息熵、深度學(xué)習(xí)等。優(yōu)點(diǎn)是簡單便于實(shí)現(xiàn)，通過融合增加了冗余信息，可以用來做融合指標(biāo)評(píng)價(jià)，難點(diǎn)是權(quán)值不好計(jì)算，容易放大噪聲信號(hào)。

2) 基于變換域主要考慮在全局性傅里葉變換的基礎(chǔ)上，通常有拉普拉斯變換、像素和區(qū)域的復(fù)小波變換、小波變換、曲線波變換等。小波變換能提供圖像相對(duì)完善的描述，借助信息論中樣本熵計(jì)算分解后的多尺度熵作為圖像融合的權(quán)值，從而降低獲取到的不同圖像特征值之間的關(guān)聯(lián)度，進(jìn)而提取目標(biāo)特征值。

2.2 多尺度多分辨率圖像融合

使用多尺度變換來獲得輸入圖像不同尺度的表示形式，在不同尺度上對(duì)圖像的高低頻系數(shù)進(jìn)行分析，低頻系數(shù)表示圖像的輪廓信息，高頻系數(shù)表示圖像的特征值信息，可選用代表輪廓和特征值的權(quán)值作為加權(quán)系數(shù)，然后對(duì)各尺度上融合后圖像的多組系數(shù)進(jìn)行多尺度逆變換獲得原尺度上的單幅圖像，作為融合結(jié)果輸出。圖像的多尺度分解起源于時(shí)頻域變換，可采用均值濾波、雙邊濾波、高斯濾波(Gaussian and bilateral filters,GTF)、引導(dǎo)濾波(GFF)、小波變換(Haar、db4、Bior2.4、Coif3等)獲取圖像不同尺度的信息，如基礎(chǔ)信息和細(xì)節(jié)信息；也類似于微分方程分解、奇異值分解、梯度構(gòu)成、各向異性擴(kuò)散(ADF)、低秩表示(latent low-rank representation-lat,LRR)、稀疏變換等方法；還可以將這些方法混合起來使用多尺度分解和高斯、雙邊濾波(a hybrid multi-scale decomposition with Gaussian and bilateral filters,HMSD)。

這種方法主要考慮多尺度分解方法的選擇和用于多尺度系數(shù)融合的融合規(guī)則，通常會(huì)考慮多尺度系數(shù)的自相關(guān)性和相鄰像素或不同尺度像素之間的互相關(guān)性。這些方法基于圖像由多個(gè)尺度上的不同信息組成的理念，難點(diǎn)在于圖像多尺度分解、尺度的選擇和多個(gè)尺度上信息的融合、信號(hào)的重構(gòu)規(guī)則等。圖像多尺度多分辨率分析方法中活躍的有圖像金字塔結(jié)構(gòu)方法、小波變換、幾何分析等多尺度分析方法。

1) 圖像金字塔有高斯金字塔、拉普拉斯金字塔等，金字塔的多尺度分析在于分析固定頻率多個(gè)尺度的分析。準(zhǔn)確地說，高斯核是唯一可以產(chǎn)生多尺度空間的核，圖像在尺度上的尺度空間表示為(，，)，由輸入的二通道源圖像(，)與二維高斯函數(shù)(，，)的卷積運(yùn)算得到，其中尺度可變，即尺度空間的變化形式為

(，，)=(，，)*(，)

(2)

具體實(shí)現(xiàn)步驟：先使用低通濾波器平滑圖像，再對(duì)圖像進(jìn)行降采樣。

2) 小波變換其優(yōu)勢在于多尺度多分辨率分析。圖像經(jīng)過如式(3)的傅里葉變換后，其像素分布體現(xiàn)了圖像的變換特征，從奈奎斯特?zé)o失真采樣的角度考慮，變換的目的是希望圖像經(jīng)離散變換后特征盡可能的集中在少量的幾個(gè)系數(shù)中，即變換后的圖像具有高壓縮比稀疏性的同時(shí)，具有較好的特征聚集性。

(3)

(4)

3 NSST多尺度熵的圖像融合

3.1 Shearlet

脊波(ridgelet)、曲波(curvelet)、剪切波(Shearlet)等多尺度幾何分析方法，作為改進(jìn)的小波變換相對(duì)更有優(yōu)勢。圖像經(jīng)過剪切波變換后，會(huì)出現(xiàn)相對(duì)的低頻和高頻部分，特征的分布會(huì)隨著變換尺度的不同呈現(xiàn)一定規(guī)律。低頻部分系數(shù)保留了原圖像的大部分能量信息，即便在不同尺度上，低頻系數(shù)都是原圖像整體輪廓的近似。高頻部分包含了原圖像的突出細(xì)節(jié)信息，是原圖像在不同尺度下特征值提取的有效閾值信號(hào)，如邊緣信息和紋理信息。

(，，)=〈，，，〉

(5)

，，()=-34((-))

(6)

式(6)為剪切波母函數(shù)幾何性質(zhì)在頻域上更為直觀，尺度參數(shù)為α∈，剪切參數(shù)為∈，平移參數(shù)為∈，膨脹矩陣表示為=(，0；0，12)具有各向異性，剪切矩陣設(shè)為=(1，；0，1)。剪切波母函數(shù)，，在不同尺度上的幾何特性為緊支撐在以原點(diǎn)對(duì)稱、為斜率的梯形對(duì)上；改變剪切參數(shù)，梯形對(duì)產(chǎn)生旋轉(zhuǎn)面積不變；為0時(shí)，梯形對(duì)以水平軸對(duì)稱，不為0時(shí)，梯形對(duì)向縱軸兩邊旋轉(zhuǎn)，值越大旋轉(zhuǎn)角度越大。梯形對(duì)面積由尺度參數(shù)控制，隨著→0，尺度減小支撐區(qū)間逐漸變窄。因此，隨著平移參數(shù)的連續(xù)變化可檢測所有奇異點(diǎn)的位置，突出奇異點(diǎn)變化方向故可解決波前集問題。

3.2 NSST

雖然當(dāng)前多尺度變換有很多，但是這些變換沒有評(píng)價(jià)的標(biāo)準(zhǔn)，不加選擇的變換會(huì)帶來新的問題，且降低處理算法的整體性能。非下采樣剪切波變換(NSST)在Shearlet良好的局部特性、頻域緊支撐、時(shí)域快衰減等基礎(chǔ)上保持采樣率進(jìn)行多尺度分解，使每個(gè)尺度上的高低頻系數(shù)都接近最優(yōu)稀疏表示。針對(duì)該系統(tǒng)的核心功能——圖像融合，系統(tǒng)采用基于NSST域多尺度熵的圖像融合方法。

首先分別對(duì)單模態(tài)的VIS圖像和INF圖像進(jìn)行非下采樣剪切波(NSST)變換，NSST變換過程如圖1所示，主要描述多尺度多方向分解通過非下采樣金字塔濾波器NSLP (non-sub sampled laplacian pyramid)，簡稱拉普拉斯金字塔來實(shí)現(xiàn)，從而保證對(duì)低頻邊緣、輪廓特征信息敏感，且具有平移不變性，對(duì)高頻細(xì)節(jié)信息的捕捉。

圖1 NSST變換過程框圖

拉普拉斯金字塔第層的圖像由高斯金字塔中第層圖像與高斯金字塔中第+1層的圖像向上采樣結(jié)果之差。

NSST中的方向局部化通過剪切波濾波器(Shearlet Filter)實(shí)現(xiàn)，如圖2所示將VIS和INF圖像經(jīng)過級(jí)分解，得到1個(gè)低頻系數(shù)圖像和個(gè)大小相同(非下采樣)但尺度不同的高頻系數(shù)圖像。然后分別對(duì)圖像低頻、高頻子帶尋找參數(shù)最優(yōu)值，按融合規(guī)則提高圖像邊緣敏感度，更好的提取圖像特征信息，最后重構(gòu)獲得融合圖像。

3.3 多尺度熵

融合規(guī)則中樣本熵(SampEn)是近似熵(ApEn)的一種改進(jìn)度量方法，描述時(shí)間序列復(fù)雜程度，在熱力學(xué)、醫(yī)學(xué)等一維信號(hào)上均有應(yīng)用，在圖像或視頻等多維信號(hào)上同樣可以利用樣本熵的有限和一致性。樣本熵的定義：

(7)

圖2 數(shù)據(jù)融合過程框圖

由于在實(shí)際計(jì)算應(yīng)用過程中，不可能為∞，因此當(dāng)取有限值時(shí)，樣本熵估計(jì)為

=-ln[()()]

(8)

式(8)中:表示的維數(shù)，一般取1或2；=+1表示的維數(shù)。在通常情況下，相似容限的取值由實(shí)際應(yīng)用場景中序列、圖像、視頻等來決定，通常選擇=01～025倍的原信息標(biāo)準(zhǔn)差。

由以上定義可知樣本熵沒有很好地考慮不同的時(shí)間序列中可能存在不同的時(shí)間尺度，為了分析不同時(shí)間尺度下信號(hào)的復(fù)雜性，Costa等人提出了多尺度熵(Multiscale entropy，MSE)，將樣本熵?cái)U(kuò)展到多個(gè)時(shí)間尺度，以便在時(shí)間尺度不確定時(shí)提供額外的觀察角度和稀疏的信息含量，評(píng)估時(shí)間序列的復(fù)雜性。其數(shù)學(xué)定義為

(9)

式(9)中:表示時(shí)間尺度，代表原時(shí)間尺度上時(shí)刻的時(shí)間序列，從(-1)+1時(shí)刻到時(shí)刻代表下采樣過程每次跳躍1-個(gè)數(shù)據(jù)，取周期為個(gè)數(shù)據(jù)做平均以產(chǎn)生不同尺度(或分辨率)的新數(shù)據(jù)。然后，計(jì)算與每個(gè)尺度或分辨率對(duì)應(yīng)的樣本熵值，特別針對(duì)VIS原圖像中包含多種波長的反射光信息，波動(dòng)較大的時(shí)間序列會(huì)產(chǎn)生較大的樣本熵值，可以認(rèn)為是具有較高復(fù)雜度的信號(hào)。因此具有高度規(guī)律性的信號(hào)，其熵值也相應(yīng)較低，利用多尺度(分辨率) 上的樣本熵值分別對(duì)高低頻系數(shù)加權(quán)進(jìn)行多尺度圖像融合。

4 圖像融合及評(píng)估指標(biāo)

4.1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)采用荷蘭國家應(yīng)用科學(xué)院制作的TNO紅外與可見光數(shù)據(jù)集，選用數(shù)據(jù)集中有關(guān)道路的兩組可見光和紅外圖像進(jìn)行處理，對(duì)圖像進(jìn)行NSST變換后分別對(duì)高低頻信號(hào)進(jìn)行融合的實(shí)驗(yàn)結(jié)果如圖3道路1/2NSST分解后多尺度高低頻圖像分解及融合結(jié)果。

圖3 道路1/2 NSST分解后多尺度高低頻融合結(jié)果圖

同時(shí)從基于像素融合方法上對(duì)比最大(小)值(pimaxmin)、像素(加權(quán))取平均值(piwav)等融合結(jié)果，如圖4道路1/2常規(guī)的圖像融合結(jié)果。從小波變換上對(duì)比多種小波基選擇對(duì)多尺度融合結(jié)果的影響，如圖5道路1/2小波多尺度的圖像融合結(jié)果。從基于NSST多尺度變換上，對(duì)比采用均值融合和多尺度熵權(quán)融合的不同結(jié)果，如圖6道路1/2 基于NSST多尺度融合結(jié)果。

從多尺度變換方法上選用各向異性擴(kuò)散融合(anisotropic diffusion fusion，ADF)/引導(dǎo)濾波(guided filtering fusion，GFF)策略進(jìn)行對(duì)比，如圖7道路1/2基于ADF/GFF的融合結(jié)果。

圖4 道路1/2常規(guī)的圖像融合結(jié)果圖

圖5 道路1/2小波多尺度的圖像融合結(jié)果圖

圖6 道路1/2 基于NSST多尺度融合結(jié)果圖

圖7 道路1/2 基于ADF/GFF融合結(jié)果圖

從圖像處理算法發(fā)展來看，趨于深度學(xué)習(xí)領(lǐng)域，如CNN算法基于卷積神經(jīng)網(wǎng)絡(luò)，ResNet算法基于殘差網(wǎng)絡(luò)，以及基于對(duì)抗神經(jīng)網(wǎng)絡(luò)等領(lǐng)先深度學(xué)習(xí)算法。從實(shí)現(xiàn)的角度來看，這些算法相對(duì)復(fù)雜，運(yùn)行時(shí)間最長，即便可考慮提升硬件使用GPU來對(duì)算法進(jìn)行加速，但神經(jīng)網(wǎng)絡(luò)參數(shù)的選擇和調(diào)整在實(shí)際工程中存在一定難度。ADF算法結(jié)果不如NSST算法，但從原理上融合圖像中保留原圖的絕大部分信息，融合損失相對(duì)較小，時(shí)間差別不大。GFF算法在部分性能指標(biāo)上略優(yōu)于NSST算法，類似的均值濾波、高斯濾波、拉普拉斯濾波由于算法較少的計(jì)算量，也可在一些實(shí)時(shí)性較強(qiáng)的場合使用。

NSST算法容易理解，在同類的多尺度分解算法中，明顯優(yōu)于小波基多尺度分析和多種濾波多尺度分解，且可減少偽吉布斯效應(yīng)，運(yùn)行時(shí)間中等。常規(guī)的一些融合策略算法最為簡易，運(yùn)行時(shí)間短，但是融合損失較大，融合圖像中的存在不可忽略的虛假信息。最終，為了對(duì)比3種優(yōu)秀算法ADF、GFF和NSST多尺度熵權(quán)，實(shí)驗(yàn)采用了TNO數(shù)據(jù)集中的多組圖像進(jìn)行實(shí)驗(yàn)和分析，圖8、圖9描述了其中兩組紅外和可見光原圖1、圖2的GFF和NSST多尺度熵權(quán)融合結(jié)果。實(shí)驗(yàn)從主觀評(píng)價(jià)和下面指標(biāo)分析，結(jié)合運(yùn)算效率等多方面因素，綜合考慮不同要求的圖像融合算法選擇。

圖8 紅外和可見光原圖1的GFF和NSST熵權(quán)融合結(jié)果圖

圖9 紅外和可見光原圖2的GFF和NSST熵權(quán)融合結(jié)果圖

4.2 圖像融合指標(biāo)分析

圖像融合的質(zhì)量評(píng)價(jià)方法一般有主觀、客觀2種，主觀指以人眼觀察為主，具有一定片面性?？陀^主要計(jì)算原始圖像和融合圖像的獨(dú)立熵、平均梯度等，及衡量相互關(guān)系的聯(lián)合熵、偏差、相對(duì)偏差等參數(shù)來評(píng)價(jià)融合效果。下面對(duì)融合圖像質(zhì)量進(jìn)行了客觀的指標(biāo)評(píng)價(jià)，選取了11項(xiàng)評(píng)估指標(biāo)進(jìn)行定量分析。

平均梯度可感知圖像微小細(xì)節(jié)的反差，可描述圖像的清晰度，值越大融合質(zhì)量越好；邊緣強(qiáng)度衡量融合圖像邊緣信息數(shù)量，強(qiáng)度越大融合圖像質(zhì)量越好；信息熵關(guān)注融合圖像灰度分布，描述所含有的信息量；灰度均值指灰度的平均水平，代表圖像的亮度；標(biāo)準(zhǔn)差反應(yīng)圖像相對(duì)灰度均值的離散程度，值越大融合質(zhì)量越好；均方誤差衡量信號(hào)波動(dòng)大小的對(duì)比度，主要是圖像高頻部分的大?。环逯敌旁氡仁切盘?hào)最大可能功率和噪聲功率的比值，越大越好；空間頻率體現(xiàn)圖像灰度變化率，值越大圖像越清晰；圖像清晰度是描述圖像細(xì)節(jié)邊緣變化的突出程度；互信息衡量融合圖像獲取的信息量的多少，值越大圖像信息量越多；結(jié)構(gòu)相似性主要由協(xié)方差來度量，值越大圖像越相似。針對(duì)道路1(R1)和道路2(R2)的紅外和可見光圖像進(jìn)行不同策略融合結(jié)果的指標(biāo)分析如表1融合結(jié)果指標(biāo)分析，表中已將一些比較突出的指標(biāo)加粗顯示。

根據(jù)融合后的圖像和表1中的評(píng)價(jià)數(shù)據(jù)，不難發(fā)現(xiàn)基于NSST多尺度熵的融合比對(duì)應(yīng)像素的融合要好，融合后的圖像包含的信息量多，圖像清晰度高。在對(duì)應(yīng)像素的融合中，對(duì)應(yīng)像素取最小值的效果最差，其圖像擁有的信息量豐富程度不夠，圖像模糊。對(duì)應(yīng)像素取加權(quán)平均值法的色調(diào)過于單調(diào)，體現(xiàn)的信息不夠豐富。在像素取大(或小)的方法中，其對(duì)圖像整體的把握一般，圖像一般過暗或過亮，圖像對(duì)比度偏低。NSST熵權(quán)相比ADF、GFF兩種優(yōu)秀算法，在大多數(shù)指標(biāo)上都可以略勝一籌，而ADF的結(jié)構(gòu)相似性、GFF的空間頻率略優(yōu)于NSST熵權(quán)融合，但是如圖8、圖9可以看出GFF損失了大量紅外圖像的信息，可考慮采用多尺度引導(dǎo)濾波融合，或者混合模型等來提高引導(dǎo)濾波的優(yōu)勢。

表1 融合結(jié)果指標(biāo)分析

綜合來看實(shí)驗(yàn)中NSST熵權(quán)可使用于多種場合圖像融合，由于在變換域上剪切波的幾何性質(zhì)更為直觀，采用具有局部特性的剪切波變換，結(jié)合多尺度信息熵的概念，對(duì)圖像信號(hào)進(jìn)行多尺度熵融合(Multiscal Fusion)。實(shí)驗(yàn)證明融合結(jié)果具有突出的平均梯度、邊緣強(qiáng)度、信息熵、灰度均值、標(biāo)準(zhǔn)差、均方誤差、峰值信噪比、空間頻率、 圖像清晰度、互信息等評(píng)價(jià)指標(biāo)，融合結(jié)果較好。但是考慮融合結(jié)果的同時(shí)，實(shí)驗(yàn)中還關(guān)注到了運(yùn)算時(shí)間，不可否認(rèn)基于NSST多尺度熵的融合策略耗時(shí)略長，這在時(shí)效要求高的場合并不合適。實(shí)驗(yàn)中考慮多尺度上不同信息采用不同的融合策略來提升運(yùn)算效率，具有一定效果。當(dāng)然，目前實(shí)驗(yàn)中也發(fā)現(xiàn)沒有一種算法是各項(xiàng)指標(biāo)都完勝的，所以，在實(shí)際應(yīng)用中需要考慮融合結(jié)果中某些指標(biāo)作為側(cè)重點(diǎn)，來選擇適合的融合策略。

5 結(jié)論

目前，紅外與可見光圖像融合的研究集中在多尺度多分辨率分析、現(xiàn)代濾波和深度學(xué)習(xí)等方向，理論分析和實(shí)驗(yàn)證明基于NSST多尺度熵的紅外與可見光圖像融合具有可行性和各方面的優(yōu)勢：

1) 紅外和可見光融合后的圖像很好的保留了兩者的特征，結(jié)果既具有紅外圖像對(duì)目標(biāo)表面熱輻射的分布狀態(tài)，也具有可見光圖像所有的清晰度和高分辨率。

2) NSST用在多尺度分析上，各尺度的高低頻系數(shù)對(duì)圖像能最優(yōu)逼近其稀疏表示，且不進(jìn)行下采樣的逆變換有效減少偽吉布斯效應(yīng)。

3) 多尺度熵作為樣本熵的延伸，不僅可以在多個(gè)尺度上衡量高低頻系數(shù)的信息含量，還可以作為信息融合時(shí)關(guān)鍵權(quán)值的選擇。

研究采用不同類型圖像傳感器，不同的融合策略獲得的圖像進(jìn)行像素級(jí)融合，結(jié)果證明基于NSST多尺度熵的混合融合方法具有多項(xiàng)更好的融合評(píng)價(jià)指標(biāo)，清晰度和特征值顯著。

理論研究推動(dòng)著紅外和可見光圖像融合技術(shù)在軍事和交通上的目標(biāo)識(shí)別、檢測、圖像增強(qiáng)、監(jiān)視和遙感等領(lǐng)域逐步應(yīng)用。