林卉，Ruiliang Pu，梁亮，張連蓬

1.江蘇師范大學(xué)測繪學(xué)院，江蘇徐州 221116

2.School of Geosciences of University of South Florida,Tampa,Florida 33620

3.中國礦業(yè)大學(xué)環(huán)境與測繪學(xué)院，江蘇徐州 221009

方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差相結(jié)合的圖像融合

林卉1，2，3，Ruiliang Pu2，梁亮1，張連蓬1

1.江蘇師范大學(xué)測繪學(xué)院，江蘇徐州 221116

2.School of Geosciences of University of South Florida,Tampa,Florida 33620

3.中國礦業(yè)大學(xué)環(huán)境與測繪學(xué)院，江蘇徐州 221009

小波變換的圖像融合方法已成為現(xiàn)今研究的一個熱點。但幾乎所有的算法都是在小波域不同尺度上分別對高頻系數(shù)和低頻系數(shù)進行融合，沒有考慮到它們之間固有的相關(guān)性。為此，提出了一種基于方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差最大的融合新算法，主要特點是在低頻部分采用加權(quán)因子自適應(yīng)調(diào)節(jié)參數(shù)融合，以減少邊緣模糊，對于高頻部分采用方向?qū)Ρ榷群途植繀^(qū)域窗口標(biāo)準(zhǔn)差最大值作為高頻分量，突出對比度和局域細節(jié)，實驗表明：融合后影像信息量豐富，地物輪廓清晰可辨，對比度大大加強，空間分辨率得到了提高，最大限度保留了原始影像的光譜信息，是一種可行有效的融合方法。

小波分解；多分辨率分析；高頻系數(shù)；低頻系數(shù)；方向?qū)Ρ榷?；區(qū)域標(biāo)準(zhǔn)差

小波變換的圖像融合是一種多尺度、多分辨率的圖像融合方法。它將原圖像分解成一系列具有不同空間分辨率和頻域特性的子圖像，然后在多個分解層、多個頻帶上進行融合。小波變換所具備的多分辨特性與人眼的視覺模型相近，同時，小波分解具有方向性，這一特性與人眼對不同方向的高頻分量具有不同分辨率這一視覺特性相符合，可以獲得視覺效果更佳的融合圖像[1-3]。因而，在圖像處理中得到了廣泛應(yīng)用，出現(xiàn)了許多算法，它們幾乎都是在小波分解的高頻分量和低頻分量上制定不同的融合規(guī)則[4-11]，而沒有考慮包含低頻分量的子帶與相應(yīng)高頻子帶之間的關(guān)系，即沒有考慮局部區(qū)域標(biāo)準(zhǔn)差和方向?qū)Ρ榷冗@一重要信息。而生理學(xué)研究表明，人類視覺系統(tǒng)對于圖像的對比度變化十分敏感[12]，基于方向?qū)Ρ榷鹊娜诤弦?guī)則可有選擇地突出被融合圖像的對比度信息。圖像局部區(qū)域的標(biāo)準(zhǔn)差反映了各像素灰度相對于該區(qū)域灰度均值的離散情況，標(biāo)準(zhǔn)差越大，則灰度級分布越分散，而灰度級的起伏和梯度反映了圖像的細節(jié)、紋理和邊緣信息。因此，本文提出結(jié)合方向?qū)Ρ榷群途钟驑?biāo)準(zhǔn)差的融合算法，實驗表明，該方法既可以突出對比度信息，又可以突出圖像的局域特征和細節(jié)信息，從而取得了良好的融合效果。

1 小波分解和方向?qū)Ρ榷?/h2>

根據(jù)二維Mallat小波快速算法[13]，圖像第j次小波分解后生成3個高頻分量Dij和1個低頻分量Cj。其中，上標(biāo)i=H，V，D分別為水平方向、垂直方向及對角方向的高頻分量；下標(biāo)m，n分別對應(yīng)于圖像的行和列；下標(biāo)j表示小波分解尺度。Mallat小波分解公式為：

與之相應(yīng)的小波重構(gòu)公式為：

其中H*，G*分別為H，G的共軛轉(zhuǎn)置矩陣。

這里，圖像對比度R定義為[12]：

式中，L表示局部灰度；LB表示圖像的局部背景亮度（相當(dāng)于局部低頻分量），則LH=L-LB相當(dāng)于局部高頻分量。根據(jù)圖像對比度定義公式，小波域的方向?qū)Ρ榷瓤煞謩e定義為[14]：

由于小波分解的正交性使得經(jīng)過多分辨分解得到的圖像信號的高低頻分量之間消除了數(shù)據(jù)的相關(guān)性。所以，在小波分解后的方向?qū)Ρ榷榷x式（4）在某種程度上比式（3）定義的對比度更為合理。

2 圖像融合規(guī)則與算法

以兩幅圖像A，B的融合為例，融合后圖像為F。設(shè)小波分解的最大尺度為L，具體的融合規(guī)則和融合算法為：

（1）先對融合圖像進行預(yù)處理并配準(zhǔn)采樣得到分辨率一致的源影像A，B，分別進行L尺度小波分解。

（2）融合圖像F的低頻部分取為各源圖像A，B分解后的低頻部分的加權(quán)值[15]，即

(A(j，k)+K×B(j，k))×α表示取兩幅圖像的加權(quán)均值，影響融合后圖像的能量，對融合后圖像的亮度起決定作用；后半部分|A(j，k)-K×B(j，k)|×β表示取兩幅圖像的加權(quán)差值，包含兩幅圖像的模糊信息。因子K調(diào)節(jié)兩幅圖像的占優(yōu)比例，使兩幅亮度不同圖像達到均衡。隨著因子α的增大，圖像加亮；隨著因子β增大，圖像的邊緣加強。對于不同的圖像，適當(dāng)調(diào)整K，α，β，可以消減模糊邊緣，并確保在消減時不過度地喪失邊緣信息[16-17]。

（3）在最高分解層上，計算A，B圖像的3個方向高頻分量的方向?qū)Ρ榷戎?，對?yīng)比較A，B圖像的各方向?qū)Ρ榷?，取絕對值大的方向?qū)Ρ榷人鶎?yīng)的圖像A，B的小波系數(shù)作為融合圖像F對應(yīng)方向的小波系數(shù)[12]。按式（4）計算各源圖像在最大分解尺度L上的方向?qū)Ρ榷?，融合圖像在最高分解尺度L上的各高頻系數(shù)為：

（4）最高分解尺度L以外的其他各小波分解尺度上的高頻系數(shù)的確定采用標(biāo)準(zhǔn)差最大準(zhǔn)則，即選取以當(dāng)前處理像素為中心的局域區(qū)域（一般可取3×3、5×5、7×7等，本文采用5×5的區(qū)域窗口[18]）的標(biāo)準(zhǔn)差最大的圖像A，B的小波系數(shù)作為融合圖像F對應(yīng)的小波系數(shù)，即

其中，分解尺度j取1到L-1；STDA，STDB分別表示源圖像A，B在分解尺度j上i方向上的對應(yīng)局部區(qū)域上的標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差STD定義為[19]：

此處，M，N分別為所取局部區(qū)域的行數(shù)與列數(shù)；xi，j表示當(dāng)前局部區(qū)域內(nèi)的1個像素灰度值；xˉ是當(dāng)前局部區(qū)域像素的灰度均值。

（5）確定融合圖像F的各小波系數(shù)后，進行逆小波變換重構(gòu)融合圖像F。

3 融合實驗與結(jié)果評價

實驗圖像為2006年5月獲取的南京市某郊區(qū)的SPOT全色影像和Landsat TM 5、4、3波段的合成影像，分辨率分別為10 m和30 m，如圖1所示。對TM543影像進行配準(zhǔn)采樣得到分辨率10 m的影像，如圖2（a）所示。為了驗證本文算法的有效性，還采用了另外兩種融合方法，一是α′Trous小波變換與PCA變換相結(jié)合融合法，具體算法見文獻[20]，另一種方法是基于小波變換和MNF變換融合，見文獻[21]。融合圖像見圖2所示。

圖1 原始影像

從目視效果來看，三幅融合圖像均比圖2（a）效果要好，主要表現(xiàn)在圖像清晰度要高，地物層次感更強，細節(jié)體現(xiàn)更突出，紋理也依稀可辨，河流、道路、植被、魚塘等地物邊界分明，說明所有方法都取得了不同程度的融合效果。尤其圖2（d）中對比度更高，亮度也高，地物輪廓更分明，魚塘的間隔塊容易分辨，視覺效果更好。為了更全面地考察融合方法的優(yōu)劣，本文還采用標(biāo)準(zhǔn)差、熵、交叉熵、偏差度、清晰度、空間頻率客觀指標(biāo)來評價[15，19]。計算結(jié)果如表1所示。

表1顯示，從反映單幅影像統(tǒng)計信息指標(biāo)來看，熵和標(biāo)準(zhǔn)差值都在增加，本文算法融合達到了最大值，表明融合后影像的信息量得到了富集，影像中微小細節(jié)反差拉大，地物細節(jié)更加清晰。從源影像與融合影像的相關(guān)統(tǒng)計指標(biāo)來看，交叉熵、偏差度、清晰度和空間頻率各項指標(biāo)也同樣表明本文提出的算法性能要優(yōu)于文獻[20]和文獻[21]的算法，這與目視解譯的結(jié)果非常吻合，主要原因都是對小波分解后的高頻系數(shù)和低頻系數(shù)分別融合，沒有考慮它們之間的相關(guān)性。從而也充分說明，本文提出的融合方法是非常有效的。

4 結(jié)論

小波變換已經(jīng)廣泛應(yīng)用于圖像融合，但目前的算法都是把高頻系數(shù)和低頻系數(shù)通過一定的融合規(guī)則分別處理，得到逆變換的所需的近似分量和細節(jié)分量，其實在每個小波分解層，高頻系數(shù)與低頻系數(shù)間有一定的相關(guān)性，這樣最后的融合影像會損失一些有用信息。基于這種考慮，本文提出了基于方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差最大化的融合方法，在低頻系數(shù)上，通過加權(quán)因子采取自適應(yīng)的方式來融合，調(diào)節(jié)圖像亮度和減少邊緣模糊以滿足人的視覺特性的需要。在高頻系數(shù)上，對最高分解層取方向?qū)Ρ榷冉^對值大的作為融合圖像對應(yīng)方向的小波系數(shù)。最高分解尺度以外的其他各小波分解尺度上的高頻系數(shù)采用局部區(qū)域窗口標(biāo)準(zhǔn)差最大來確定，這樣，從理論上很好地兼顧了高頻和低頻分量的相關(guān)性和互補性，實驗結(jié)果也表明，無論從定性的視覺效果和定量的客觀評價，本文的算法是可行有效的。雖然本文在小波多分辨率分析融合中考慮了高頻和低頻系數(shù)相關(guān)性，但如何選取更優(yōu)的指標(biāo)和融合規(guī)則值得深入研究。

圖2 配準(zhǔn)圖像和融合結(jié)果圖

表1 影像的統(tǒng)計指標(biāo)值

[1]Garguet-Duport B，Girel J，Chassery J M，et al.The use of multi-resolution analysis and wavelets transform for merging SPOT panchromatic and multi-spectral image data[J].Photogrammetric Engineering&Remote Sensing，1996，62（9）：1057-1066.

[2]Piella G.A general framework for multiresolution image fusion：from pixels to regions[J].Information Fusion，2003（4）：259-280.

[3]劉振慧，高晶敏，崔天橫.一種基于小波變換的圖像融合新算法[J].計算機工程與應(yīng)用，2007，43（12）：74-76.

[4]張家明.基于小波變換的圖像融合算法研究[J].武漢理工大學(xué)學(xué)報：信息與管理工程版，2007，29（12）：62-66.

[5]李濤，田巖，柳健，等.一種基于模糊集和小波變換的圖像融合方法[J].華中科技大學(xué)學(xué)報：自然科學(xué)版，2005，33（3）：24-27.

[6]陳虹，江振治，胡海彥，等.基于小波變換的遙感影像融合技術(shù)發(fā)展現(xiàn)狀[J].測繪通報，2012（7）：47-49.

[7]朱文武，侯敏，秦昆.基于小波變換影像融合方法的對比研究[J].科技信息，2011（19）.

[8]吳學(xué)文，徐涵秋.多分辨率分解的遙感影像融合方法對比分析[J].地球信息科學(xué)學(xué)報，2010（3）：419-425.

[9]羅艷，劉榮，朱煜峰.基于PCA+àstrous小波融合方法[J].測繪科學(xué)，2009（6）：108-109.

[10]高文濤，汪小欽，凌飛龍，等.基于紋理的雷達與多光譜遙感數(shù)據(jù)小波融合研究[J].中國圖象圖形學(xué)報，2008（7）：1341-1346.

[11]Nikolov S G.Image fusion：a survey of methods，applications，systems and interfaces，Technical Report UoBSYNERGY-TR02[R].University of Bristol，UK，1998.

[12]蒲恬，方慶吉，倪國強.基于對比度的多分辨圖像融合[J].電子學(xué)報，2000，28（12）：116-118.

[13]Mallat S G.A theory for multiresolution signal decomposition：the wavelet representation[J].IEEE Trans on Pattern Anal Mach Intell，1989，11：674-693.

[14]王麗，盧迪.一種基于小波對比度的多聚焦圖像融合方法[J].中國圖象圖形學(xué)報，2008，13（1）：144-149.

[15]林卉，杜培軍，張蓮蓬.基于小波變換的遙感影像融合與評價[J].煤炭學(xué)報，2005，30（3）：332-337.

[16]趙瑞珍，徐龍，宋國鄉(xiāng).基于小波變換的圖像多尺度數(shù)據(jù)融合[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2002，14（4）：361-364.

[17]黃登山，楊敏華，姚學(xué)恒，等.基于a’trous小波與廣義HIS變換的SAR與多光譜影像融合[J].遙感信息，2011（1）：9-13.

[18]董張玉，趙萍，胡文亮.ASTER多光譜影像與資源二號全色影像融合研究[J].遙感技術(shù)與應(yīng)用，2010（1）：143-148.

[19]李超，朱滿，趙家平.多源遙感影像融合效果的定量評價研究[J].測繪與空間地理信息，2010（3）：143-146.

[20]林卉，景海濤，張連蓬.α′Trous小波變換與PCA變換相結(jié)合的遙感影像融合分析[J].地球信息科學(xué)，2008，10（2）：69-74.

[21]李海濤，顧海燕，林卉，等.基于小波變換和MNF變換的遙感影像融合[J].山東科技大學(xué)學(xué)報：自然科學(xué)版，2007，26（5）：56-60.

LIN Hui1，2，3,Ruiliang Pu2,LIANG Liang1,ZHANG Lianpeng1

1.School of Geodesy and Geomatics,Jiangsu Normal University,Xuzhou,Jiangsu 221116,China
2.School of Geosciences of University of South Florida,Tampa,Florida 33620,USA
3.School of Environment Science and Spatial Informatics of China University of Mining and Technology,Xuzhou,Jiangsu 221009,China

A new multi-resolution analysis fusion algorithm introducing directional contrast and region window standard deviation is proposed,which considers the correlation between approximation and details.Weighted factors are adaptively adjusted to gain fused low frequency parts,meanwhile,directional contrast maximum and local small window standard deviation maximum are respectively adopted to form fused high frequency parts from decomposed details.Experiments show that fused image using the new algorithm considering the correlation between decomposed low frequency and high frequency coefficients is prior to that of other algorithms focusing on merging these coefficient separately regardless of visual effect or objective assessment metrics.In contrast,the fused image by the new algorithm is rich in information, features are clear,greatly enhancing contrast,improving spatial resolution and retaining spectral information of original images.Obviously,it is feasible and effective.

wavelet decomposition;multi-resolution analysis;high frequency coefficient;low frequency coefficient; directional contrast;region standard deviation

A

P237

10.3778/j.issn.1002-8331.1306-0036

LIN Hui,Ruiliang Pu,LIANG Liang,et al.Image fusion based on directional contrast and region standard deviation.Computer Engineering and Applications,2014,50（6）：31-34.

國家自然科學(xué)基金（No.411101428）；國家科技支撐計劃（No.2012BAH31B00）；江蘇省自然科學(xué)基金（No.BK2012145）；現(xiàn)代工程測量國家測繪地理信息局重點實驗室經(jīng)費資助項目（No.TJES1204）；地理空間信息工程國家測繪局重點實驗室經(jīng)費資助項目（No.201310）；江蘇省高校自然科學(xué)研究面上項目（No.12KJB420001）。

林卉（1973—），男，博士生，副教授，研究領(lǐng)域為影像融合；Ruiliang Pu（1956—），男，博士，教授，研究領(lǐng)域為高光譜/高分辨率遙感應(yīng)用；梁亮（1981—），男，博士，副教授，研究領(lǐng)域為高光譜遙感；張連蓬（1963—），男，博士，教授，研究領(lǐng)域為遙感信息提取。E-mail：linhuixznu@126.com

2013-06-07

2013-09-02

1002-8331（2014）06-0031-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-09-29，http://www.cnki.net/kcms/detail/11.2127.TP.20130929.1023.008.html