曾立慶， 童懷水

(1.東華理工大學(xué)江西省數(shù)字國土重點(diǎn)實(shí)驗(yàn)室，江西撫州 344000;2.東華理工大學(xué)理學(xué)院，江西撫州 344000)

在圖像處理的諸多研究領(lǐng)域中，圖像融合技術(shù)一直是近些年的研究熱點(diǎn)，數(shù)據(jù)融合技術(shù)是將多個(gè)已配準(zhǔn)的多傳感器圖像采用適當(dāng)?shù)姆椒ㄈ诤铣梢环哂懈玫目臻g分辨率或光譜特性的融合圖像。融合的方法有早期的IHS變換、PCA方法、金字塔變換、小波變換等，以及近些年較新的多尺度分析方法，如 Ridgelet變換、Curvelet變換、Contourlet變換等。一些學(xué)者在采用上述方法的同時(shí)，還結(jié)合其他領(lǐng)域的方法進(jìn)行研究，比如結(jié)合支持向量機(jī)SVM(Support Vector Machine)、模糊理論、非負(fù)矩陣分解(Non-negative matrix factorization，NMF)方法和脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network，PCNN)方法等(Sheng Zheng，2008;吳俊政等，2010;顏建軍等，2007;李美麗等，2010)。根據(jù)本實(shí)驗(yàn)室課題項(xiàng)目的要求，本文結(jié)合Curevelet多尺度變換和NMF的特點(diǎn)，提出了一種多光譜圖像和全色圖像的融合方法。多光譜遙感圖像保留了較多的光譜信息，但在空間細(xì)節(jié)信息上有所欠缺，而全色圖像可彌補(bǔ)圖像的空間細(xì)節(jié)信息，兩種源圖像互補(bǔ)，融合出具有較高的空間分辨率和光譜特性的融合圖像。

1 非負(fù)矩陣分解

本小節(jié)僅對(duì) Lee等(1999，2000)提出的 NMF理論和在圖像處理中的應(yīng)用做簡單論述。

非負(fù)矩陣分解是一種在矩陣元素為非負(fù)的前提下對(duì)其進(jìn)行分解的算法，即 NMF(Lee et al.，1999)。其非負(fù)性的特點(diǎn)非常適用于很多現(xiàn)實(shí)應(yīng)用，如圖像像素值的非負(fù)性、文本單詞統(tǒng)計(jì)數(shù)目的非負(fù)性等。其理論可描述為:已知一個(gè)非負(fù)矩陣V，對(duì)其進(jìn)行非負(fù)分解，得到一個(gè)n×r的W矩陣和一個(gè)r×m的H矩陣，使得:

其中r滿足(n+m)r＜mn。在圖像處理中，可將一幅圖像的像素值按照行優(yōu)先的方式存儲(chǔ)為一個(gè)列向量中，則i(i≥2)幅圖像組成一個(gè)含有i個(gè)列向量的數(shù)據(jù)向量集Vn×m。其中m=i，n為一幅圖像中像素?cái)?shù)量，Vn×m可以表示為:

圖像質(zhì)量的退化模型為:

其中V為觀測(cè)圖像，W為標(biāo)準(zhǔn)圖像，ε為噪聲信息。其運(yùn)用于圖像融合問題可看成是:將原始數(shù)據(jù)構(gòu)成的V矩陣分解為包含特征基的向量W和權(quán)重系數(shù)H，從V中恢復(fù)出標(biāo)準(zhǔn)圖像W。當(dāng)r取值1時(shí)，得到唯一的特征基，它包含了原始數(shù)據(jù)的整體特征，可用于源圖像的近似再現(xiàn)且有效抑制背景噪聲(張素文等，2008)。

2 第二代Curvelet變換

2.1 Curvelet變換理論研究進(jìn)展和現(xiàn)狀

Curvelet變換是近年來常用的一種多尺度分析方法，最早的第一代 Curvelet變換是1999年由Candes和Donohot提出，它提供了穩(wěn)定的、高效的和近乎最優(yōu)的表示。在2-D情況，當(dāng)圖像具有奇異曲線且是二次可微的，則Curvelet可以自適應(yīng)地“跟蹤”奇異曲線。在2002年，Candes等人提出了新的Curvelet框架體系，稱為第二代Curvelet變換。隨后在2005年提出了兩種基于第二代Curevelet變換理論的快速離散實(shí)現(xiàn)方法，分別是 USFF(Unequispaced FFT)算法和Wrap(Wrapping-based transform)算法。本文實(shí)驗(yàn)所采用的算法是Curvelet工具箱中的Wrap算法，下面對(duì)其算法求解過程做簡單介紹。

2.2 基于Wrapping的快速離散Curvelet變換實(shí)現(xiàn)方法

算法的前期理論基礎(chǔ)論述請(qǐng)有興趣的讀者參考相關(guān)文獻(xiàn)，這里僅給出算法的過程。Wrap算法的核心思想是圍繞原點(diǎn)Wrap，在具體實(shí)現(xiàn)時(shí)對(duì)任意區(qū)域，通過周期化技術(shù)一一映射到原點(diǎn)的仿射區(qū)域(Candès et al.，2004，2005)。具體步驟如下:

(1)對(duì)于給定的一個(gè)笛卡爾坐標(biāo)下的二維函數(shù)進(jìn)行2D FFT變換，得到二維頻域表示:

(2)在頻域，對(duì)于每一對(duì)(j，l)(尺度，角度)，重采樣得到采樣［n1，n2］值，

Optimization of Spreader Path for Container Yard Crane

(3)將內(nèi)插后的與窗函數(shù)相乘可得到，

經(jīng)過變換后得到的C{j}{l}(k1，k2)結(jié)構(gòu)的系數(shù)，j表示尺度，l表示方向，(k1，k2)表示 j尺度層上第l方向的矩陣坐標(biāo)。

2.3 Curvelet變換的圖像特征

Curvelet變換能將圖像變換到不同分解層，不同方向的頻帶上，其不同的頻帶都包含了不同特征和細(xì)節(jié)信息。若分解的層次為六層，對(duì)原始圖像進(jìn)行Curvelet變換，然后分別保留單層系數(shù)，其余各層系數(shù)置零，進(jìn)行重構(gòu)，可得到圖1各層的系數(shù)。

圖1 Curvelet變換各層系數(shù)Fig.1 The different frequency coefficients of Curvelet

從圖1中，可以看出Corase層是低頻系數(shù)，包含了圖像的近似圖像;Detail層是中高頻系數(shù)，主要包含了多個(gè)方向邊緣特征信息;Fine層是高頻系數(shù)，體現(xiàn)了圖像的細(xì)節(jié)、邊緣特征。

3 基于NMF和Curvelet的遙感圖像融合方法

根據(jù)2.3節(jié)所述Curvelet變換的特征，設(shè)計(jì)了本文的算法，首先對(duì)多光譜圖像和全色圖像做Curvelet變換得到不同的頻帶系數(shù)，由于Corase尺度層(低頻系數(shù))能反映圖像的概貌，所以分別將多光譜圖像各個(gè)波段的Corase系數(shù)與全色圖像的Corase系數(shù)構(gòu)建初始矩陣V，對(duì)其進(jìn)行非負(fù)矩陣分解，提取出各波段的特征基(考慮r=1)作為融合圖像的低頻系數(shù);其次對(duì)Detail和Fine尺度層(高頻系數(shù))采用方差為測(cè)度參數(shù)進(jìn)行3×3(或5×5)鄰域融合;最后進(jìn)行Curvelet逆變換得到最終融合圖像。其算法的流程如圖2所示:

圖2 基于NMF+Curvelet的算法流程Fig.2 Schematic diagram for NMF+Curvelet image fusion method

(1)對(duì)已配準(zhǔn)的多光譜圖像各個(gè)波段和全色圖像分別進(jìn)行Curvelet分解。分別得到兩種源圖像的 變 換 系 數(shù)和表示多光譜圖像第i個(gè)波段的低頻子帶系數(shù)k2)表示其高頻子帶系數(shù)，j表示當(dāng)前分解級(jí)數(shù)，l表示分解的方向數(shù)，k1，k2表示像素點(diǎn)坐標(biāo)值;表示全色圖像的低頻子帶系數(shù)，表示其高頻子帶系數(shù)。

(4)將各波段融合后的系數(shù)進(jìn)行Curvelet逆變換，最后合成融合圖像。

4 仿真實(shí)驗(yàn)與分析

為了驗(yàn)證本文算法的性能，使用MATLAB7.0進(jìn)行編程，操作系統(tǒng):WinXP，CPU:2.2Ghz，內(nèi)存:2GB，顯存:512M。實(shí)驗(yàn)圖像為多光譜圖像(3個(gè)波段)與全色圖像，如圖3(a)、(b)所示，圖像大小256×256。對(duì)比融合方法分別為:①小波融合方法(低頻采用加權(quán)平均;高頻用絕對(duì)值取大優(yōu)先);②Curvelet融合方法(低頻采用加權(quán)平均;高頻用絕對(duì)值取大優(yōu)先);③本文NMF+Curvelet融合算法。各方法的融合圖像如圖3(c)、(d)、(e)所示。

從主觀上觀察圖3的不同方法的融合效果，可以看出小波的圖像視覺效果最差，后兩者視覺效果較好。本文的算法圖像在輪廓、細(xì)節(jié)信息上豐富，且保留了較好的光譜特性。

圖3 原始圖像和各方法融合Fig.3 Original image and the fusion images of different methods

除主觀評(píng)價(jià)外，對(duì)實(shí)驗(yàn)結(jié)果采用兩類客觀評(píng)價(jià)指標(biāo)，一類是反映空間細(xì)節(jié)信息的指標(biāo):方差、信息熵和清晰度;另一類反映遙感圖像光譜信息的指標(biāo):扭曲度和相關(guān)系數(shù)(顏建軍等，2007)。結(jié)果如表1所示。由表1可以看出:本文NMF+Curvelet方法在均值、方差、信息熵最大，清晰度略低于Curvelet方法，說明該方法在空間信息上得到了增強(qiáng)，優(yōu)于前兩者;本文方法扭曲度上最大，相關(guān)系數(shù)略大于Curvelet，表明在光譜特性上與Curvelet方法相當(dāng)。

表1 融合結(jié)果比較Table1 Compare Fusion Experimental Results

5 結(jié)束語

本文提出了一種結(jié)合非負(fù)矩陣分解和第2代Curvelet多尺度變換的遙感圖像融合方法，在實(shí)驗(yàn)中表明，該方法能較好地保留了源圖像的光譜特性，并在圖像的空間細(xì)節(jié)信息上有所增強(qiáng)。但缺點(diǎn)是:Curvelet變換和NMF分解數(shù)字實(shí)現(xiàn)比較復(fù)雜，在計(jì)算的時(shí)間上相對(duì)較長，因此實(shí)時(shí)性較弱。該方法適用于本實(shí)驗(yàn)室的課題內(nèi)容的研究，對(duì)其他的一些特定類型或特定場景的圖像融合應(yīng)用值得進(jìn)一步探討。

李美麗，李言俊，王紅梅，等.2010.基于NSCT和PCNN的紅外與可見光圖像融合方法［J］.光電工程，37(6):90-95.

吳俊政，嚴(yán)衛(wèi)東，劉俊民，等.2010.基于曲波變換和模糊理論的遙感圖像融合［J］.計(jì)算機(jī)應(yīng)用，30(6):162-165.

顏建軍，夏春明，鄭建榮.2007.基于NMF的多光譜圖像和全色圖像融合方法［J］.計(jì)算機(jī)工程，33(21):169-171.

張素文，陳娟.2008.基于非負(fù)矩陣分解和紅外特征的圖像融合方法［J］.紅外技術(shù)，30(8):446-449.

CandèsE J，DemanetL，Donoho D L.2005.Fast Discrete Curvelet Transforms［R］.Stanv，CA，USA:Applied and Computational Mathematics California Institute of Technology，1-43.

CandèsE J，DonohoD L.2004.New tight frames of curve lets and optimal representations of objects with singularities［J］.Communication on Pure and Application of Math，57(2):219-266.

Lee D D，Seung H S.1999.Learning the parts of objects by non-negative matrix factorization［J］.Nature，401(6755):788-791.

Lee D D，Seung H S.2001.Algorithms for non-negative matrix factorization［C］//Advances in Neural Information Processing Systems.Cambridge:MTT Press，(13):556-562.

Sheng Zheng，Wen-zhong Shi.2008.Remote Sensing Image Fusion U-sing Multiscale Mapped LS-SVM［J］.IEEE Transactions on Geoscience and Remote Sensing，46(5):1313-1322.