魏晴 劉晉銘 徐其志

基于分類分塊的全色多光譜圖像比值變換融合方法

魏晴1劉晉銘*2徐其志1

（1 北京化工大學(xué)，北京 100029）（2 軍事科學(xué)院國防工程研究院，北京 100036）

低分辨率全色圖像合成是全色與多光譜圖像融合的關(guān)鍵環(huán)節(jié)，決定了融合圖像的光譜色彩和空間細(xì)節(jié)品質(zhì)。由于光學(xué)衛(wèi)星成像傳感器的非線性光譜響應(yīng)以及不同地物的光譜響應(yīng)差異，導(dǎo)致直接利用多光譜圖像各波段合成的低分辨率全色圖像存在灰度失真，以致融合圖像產(chǎn)生光譜色彩失真和空間細(xì)節(jié)失真。文章首先利用一種迭代求解的聚類分析算法k均值聚類算法（k-means算法）對全色和多光譜圖像所有像素進(jìn)行分類；然后根據(jù)各類像素的方差將其劃分為不同大小的子塊，利用帶約束最小二乘法計(jì)算多光譜圖像每個(gè)子塊中各個(gè)像素的加權(quán)值；最后利用加權(quán)值合成低分辨率全色圖像，并通過比值變換方法生成高保真融合圖像。文章利用QuickBird和WorldView3衛(wèi)星的全色與多光譜圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，與PNN、PanNet、FusionCNN等方法相比，該方法有效提高了融合圖像的光譜色彩和融合細(xì)節(jié)的保真度。

圖像融合 比值變換 像素分類 帶約束最小二乘法 遙感圖像

0 引言

現(xiàn)有光學(xué)遙感衛(wèi)星往往采用全色與多光譜同時(shí)成像方式對地觀測，然而實(shí)際遙感應(yīng)用需要光譜信息豐富且空間分辨率高的圖像，但由于影像信噪比與數(shù)據(jù)存儲(chǔ)和傳輸?shù)南拗?，衛(wèi)星所獲取的遙感影像的空間分辨率與光譜分辨率相互制約，無法直接獲取高分辨多光譜圖像[1]。而圖像融合可提高圖像的清晰度，且包含更多細(xì)節(jié)信息，與人和計(jì)算機(jī)的視覺相符合，有利于后續(xù)的圖像處理（分類、檢測、識(shí)別等），因此圖像融合必不可少。在圖像融合中，尤其是用比值變換方法時(shí)，融合圖像與多光譜圖像的比值等于全色圖像與多光譜圖像擬合的低分辨率全色圖像的比值，故擬合的低分辨率全色圖像的品質(zhì)直接影響最終融合圖像的品質(zhì)，因此低分辨率全色圖像的合成至關(guān)重要。但由于光學(xué)衛(wèi)星成像傳感器的非線性光譜響應(yīng)[2]以及不同地物的光譜響應(yīng)差異，通過多光譜圖像各波段合成的低分辨率全色圖像容易出現(xiàn)灰度失真，而多光譜圖像與全色圖像的空間分辨率相差較大，若采用現(xiàn)有的加性變換融合方法，容易導(dǎo)致融合圖像產(chǎn)生光譜色彩失真或空間細(xì)節(jié)失真。針對全色和多光譜圖像的融合，前人已經(jīng)提出了許多有效的方法[3]，如：分量替換法[4-5]，比值變換法[6]，多分辨率分析法[7]，基于概率論、模糊理論的遙感圖像融合方法和基于深度學(xué)習(xí)[8-11]的遙感圖像融合方法等。其中比值變換法算法簡單，易于實(shí)現(xiàn)，運(yùn)算速度快，且有較好的融合效果，被廣泛應(yīng)用于遙感影像融合。利用比值變換的方法實(shí)現(xiàn)圖像融合，融合圖像等于全色圖像與擬合的低分辨率全色圖像的比值乘以多光譜圖像，因此擬合的低分辨率全色圖像可以直接影響最終的融合結(jié)果。而由于傳感器非線性光譜響應(yīng)與不同地 物間光譜響應(yīng)的差異，擬合的低分辨率全色圖像容易出現(xiàn)灰度失真現(xiàn)象，最終導(dǎo)致融合圖像出現(xiàn)光譜與細(xì)節(jié)失真。

針對傳感器非線性光譜響應(yīng)導(dǎo)致融合圖像光譜和細(xì)節(jié)失真的問題，文獻(xiàn)[12]根據(jù)傳感器的光譜響應(yīng)特性在快速IHS方法的基礎(chǔ)上，對強(qiáng)度分量進(jìn)行重構(gòu)并對空間細(xì)節(jié)注入的方式進(jìn)行了改進(jìn)，其中IHS方法是將原始多光譜圖像從紅、綠、藍(lán)三波段空間（RGB）變換到亮度、色調(diào)、飽和度空間（IHS），然后用高分辨率圖像或用不同投影方式得到的待融合圖像替代亮度分量；文獻(xiàn)[13]基于分量替換的融合方法，利用多光譜波段與全色波段的多元線性回歸進(jìn)行了改進(jìn)，使得融合圖像具有更高的光譜品質(zhì)，但在融合圖像的細(xì)節(jié)方面仍有些不足；文獻(xiàn)[14-16]利用全色與多光譜圖像構(gòu)造線性回歸方程，并利用回歸系數(shù)構(gòu)造低分辨率全色圖像，有效改善了融合圖像光譜與細(xì)節(jié)失真的問題，但由于未考慮不同地物光譜響應(yīng)差異的問題，故融合圖像品質(zhì)仍有待提高；文獻(xiàn)[17]針對不同地物光譜響應(yīng)差異導(dǎo)致的融合圖像光譜或細(xì)節(jié)失真的問題，提出先對多光譜圖像像素進(jìn)行聚類，再利用多元回歸為每類像素計(jì)算出多光譜各波段與全色波段間的權(quán)值，更好地?cái)M合出低分辨率全色圖像，大幅減少了融合圖像光譜與細(xì)節(jié)失真的問題。本文為了更精準(zhǔn)地?cái)M合低分辨率全色圖像得到高保真的融合圖像，提出了一種基于分類分塊的全色多光譜圖像比值變換融合方法。該方法首先利用k-means算法[18]對全色和多光譜圖像所有像素進(jìn)行分類；然后根據(jù)各類像素的方差將其劃分為不同大小的子塊，利用帶約束最小二乘法計(jì)算多光譜圖像每個(gè)子塊 中各個(gè)像素的加權(quán)值；最后利用加權(quán)值合成低分辨率全色圖像，并通過比值變換方法生成高保真融合圖像。

本文利用QuickBird和WorldView3衛(wèi)星全色與多光譜圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證，并與GS[19]、Zhang的方法（利用全色與多光譜各波段多元線性回歸擬合低分辨率全色圖像并通過比值變換得到融合圖像的方法）、PNN[20]、PaanNet[21]、FusionCnn[22]方法進(jìn)行比較，實(shí)驗(yàn)表明，本文方法有效提高了融合圖像的光譜色彩和融合細(xì)節(jié)的保真度。

1 融合方法

本文提出的融合方法主要是基于比值變換方法實(shí)現(xiàn)的，比值運(yùn)算就是求2張或多張影像組合的對應(yīng)像元灰度值的比值計(jì)算，是遙感影像處理過程中常用的方法。目前，比值變換的融合方法主要是Brovey算法[23]，該算法簡單，計(jì)算速度較快，易于實(shí)現(xiàn)。

1.1 比值變換方法

比值變換方法是通過計(jì)算全色圖像與合成的低分辨率全色圖像的比值得到待注入的細(xì)節(jié)，再將求得的比值與多光譜上采樣圖像相乘，即向多光譜上采樣圖像注入細(xì)節(jié)，最終得到既具有光譜信息又具有空間細(xì)節(jié)的融合圖像，原理公式如式（1）?；诒戎底儞Q的Brovey算法，表達(dá)式見式（2）。

1.2 本文融合方法

圖1 子塊劃分示意

表1 不同波段下各類像素方差

Tab.1 The variance of various pixels in different bands

這種為不同類別的像素設(shè)定不同大小子塊并進(jìn)行局部擬合的方法，可以在像素所屬不同類別的情況下，在適當(dāng)?shù)牟煌笮〉淖訅K中進(jìn)行權(quán)值的計(jì)算，可解決由于不同地物光譜響應(yīng)差異導(dǎo)致擬合的低分辨率全色圖像灰度失真的問題，有效減少了融合圖像色彩失真的問題。

本文的融合方法如圖2，首先將多光譜圖像上采樣至與全色圖像相同空間分辨率，得到多光譜上采樣圖像；然后針對傳感器的非線性響應(yīng)以及不同地物光譜響應(yīng)差異的問題，利用k-means算法對全色和多光譜圖像所有像素進(jìn)行分類，得到分類圖像；接下來利用分塊匹配計(jì)算各個(gè)像素加權(quán)值，即先根據(jù)各類像素的方差將其劃分為不同大小的子塊，再利用帶約束的最小二乘法計(jì)算多光譜圖像每個(gè)子塊中各個(gè)像素的加權(quán)值。具體步驟如下：

argmin代表取最小值。最后利用加權(quán)值合成低分辨率全色圖像，并通過比值變換方法生成高保真融合圖像。

圖2 本文方法方框圖

直接使用最小二乘法計(jì)算所得的權(quán)值會(huì)出現(xiàn)負(fù)數(shù)，并不符合實(shí)際情況，對此文獻(xiàn)[24]提出對最小二乘法增加非負(fù)的約束。為了讓權(quán)值具有更明確的物理意義，本文對最小二乘法增加了約束條件。

2 實(shí)驗(yàn)數(shù)據(jù)與評價(jià)指標(biāo)

2.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)采用目前世界上最先提供亞米級(jí)分辨率的商業(yè)衛(wèi)星QuickBird衛(wèi)星的影像與DigitalGlobe商用高分辨率遙感衛(wèi)星WorldView3衛(wèi)星影像。實(shí)驗(yàn)影像包含豐富的地物，如：植被、建筑物、道路、裸地等，可作為檢驗(yàn)融合方法效果的代表性樣本。實(shí)驗(yàn)中所用的QuickBird影像全色圖像分辨率為0.61m，多光譜圖像分辨率為2.44m，全色圖像大小為10 616像素×13 276像素，多光譜圖像大小為2 654像素×3 319像素，拍攝地區(qū)為北京，拍攝時(shí)間為2008年4月25日。WorldView3實(shí)驗(yàn)影像全色圖像分辨率為0.31m，多光譜圖像分辨率為1.24m，全色圖像大小為8 080像素×7 482像素，多光譜圖像大小為2 020像素×1 870像素，拍攝地區(qū)為的黎波里，拍攝時(shí)間為2016年9月26日。

2.2 評價(jià)指標(biāo)

為了客觀地評價(jià)不同方法的融合效果，本文選取了4種常用的評價(jià)指標(biāo)對融合圖像的品質(zhì)進(jìn)行評估，分別是光譜角（SAM）、相對量綱為一的全局誤差（ERGAS）、峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）[25]。SAM通過計(jì)算參考圖像和融合圖像間的角度來評估色彩的保真度，角度越小代表色彩保真度越好；ERGAS取值越小，融合圖像品質(zhì)越高；PSNR用于衡量圖像有效信息與噪聲之間的比率，評估圖像是否失真，其取值越大，融合品質(zhì)越高；相對于上述常用的圖像品質(zhì)評估指標(biāo)，SSIM是可衡量兩幅圖像相似度的指標(biāo)，更符合人眼對圖像品質(zhì)的判斷。SSIM值越接近1則代表兩張圖像更為相近。

光譜角計(jì)算公式[26]為

ERGAS計(jì)算公式為

PSNR計(jì)算公式為

SSIM計(jì)算公式[25]為

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證提出的融合方法的有效性，本文選用了GS算法、Zhang的算法、PNN、PanNet以及FusionCNN進(jìn)行對比實(shí)驗(yàn)。由于實(shí)驗(yàn)圖像較大，本文僅展示包含植被、道路、房屋、水體等地物的局部區(qū)域融合效果。第一組實(shí)驗(yàn)圖像為QuickBird影像，如圖3（a）、（b）所示，分別為512像素×512像素的全色圖像和128像素×128像素的多光譜圖像；第二組實(shí)驗(yàn)圖像為WorldView3影像，如圖4（a）、（b）所示，分別為400像素×400像素的全色圖像和100像素×100像素的多光譜圖像。

如圖3所示，對于QuickBird實(shí)驗(yàn)數(shù)據(jù)，利用GS、Zhang的方法、PNN、PanNet、FusionCNN和本文的融合方法得到的融合圖像相對于原多光譜圖像，分辨率均有一定程度的提高。圖3（c）為GS方法得到的融合圖像，空間細(xì)節(jié)較為清晰，但與原多光譜圖像各波段值相差較大，光譜保真不夠好，尤其是植被處失真較為嚴(yán)重；圖3（d）為Zhang提出的方法得到的融合圖像，存在局部光譜失真問題，這是由于該方法每個(gè)像素點(diǎn)共用同一組權(quán)值，導(dǎo)致擬合的全色圖像出現(xiàn)灰度失真；使用PNN法得到的融合圖像如圖3（e）所示，色彩與原多光譜圖像相差較大；通過PanNet和FusionCNN得到的融合圖像分別如圖3（f）和（g）所示，在建筑物、植被等處較為模糊，存在細(xì)節(jié)失真；圖3（h）為使用本文方法得到的融合圖像，整體光譜與細(xì)節(jié)保真度都較高。圖3（i）～（p）為局部細(xì)節(jié)放大圖，可觀察到本文提出的方法在建筑物處色彩與原多光譜圖像更為相近，且空間細(xì)節(jié)清晰，即本文方法在空間細(xì)節(jié)與光譜的保真方面均有一定優(yōu)勢。為驗(yàn)證本文方法在其他數(shù)據(jù)集上也能得到高保真的融合圖像，同理，對WorldView3實(shí)驗(yàn)影像進(jìn)行了同樣的處理，其融合結(jié)果及局部細(xì)節(jié)如圖4所示。可發(fā)現(xiàn)本文提出的方法光譜保真最優(yōu)且更好地保留了全色圖像的空間細(xì)節(jié)。

圖3 QuickBird實(shí)驗(yàn)圖像融合結(jié)果及局部細(xì)節(jié)

圖4 WorldView3實(shí)驗(yàn)圖像融合結(jié)果及局部細(xì)節(jié)

表2和表3分別為QuickBird和WorldView3實(shí)驗(yàn)影像融合圖像的評價(jià)指標(biāo)結(jié)果。通過對比各指標(biāo)的評價(jià)結(jié)果發(fā)現(xiàn)本文提出的方法在四種融合品質(zhì)評估指標(biāo)下均獲得了最佳值，即本融合方法在光譜保真與細(xì)節(jié)保真方面優(yōu)于其他對比方法。

表2 QuickBird影像融合圖像品質(zhì)評估結(jié)果

Tab.2 The quality assessment results of QuickBird fused images

表3 WorldView-3影像融合圖像品質(zhì)評估結(jié)果

Tab.3 The quality assessment results of WorldView-3 fused images

4 結(jié)束語

在利用比值變換法進(jìn)行全色和多光譜圖像融合時(shí)，融合圖像等于全色圖像與擬合的低分辨率全色圖像的比值乘上采樣的多光譜圖像，因此低分辨率全色圖像的合成決定了融合圖像的品質(zhì)。當(dāng)前融合方法多存在著融合圖像光譜色彩失真或空間細(xì)節(jié)失真的問題，這是由于當(dāng)前算法欠缺對傳感器非線性響應(yīng)帶來的問題的處理，以及不同地物光譜響應(yīng)差異導(dǎo)致擬合低分辨率全色圖像存在灰度失真問題。針對上述問題，本文提出了一種基于分類分塊的全色多光譜比值變換圖像融合方法。該方法與先前方法的不同之處在于，利用了局部擬合的思想，用帶約束最小二乘法為每一個(gè)像素點(diǎn)計(jì)算出一組權(quán)值，使得擬合的低分辨率全色圖像更精準(zhǔn)且更具物理意義，最終得到高保真的融合圖像。通過QuickBird和WorldView3衛(wèi)星全色與多光譜圖像進(jìn)行實(shí)驗(yàn)，與當(dāng)前最新方法相比，本文提出的方法有效改善了融合圖像色彩與細(xì)節(jié)失真的問題，可以得到高保真的融合圖像。本方法中，大量的像素點(diǎn)的計(jì)算導(dǎo)致算法速度較慢，后續(xù)還需改進(jìn)。

[1] 張良培, 沈煥鋒. 遙感數(shù)據(jù)融合的進(jìn)展與前瞻[J]. 遙感學(xué)報(bào), 2016, 20(5): 1050-1061.

ZHANG Liangpei, SHEN Huanfeng. Progress and Future of Remote Sensing Data Fusion[J]. Journal of Remote Sensing, 2016, 20(5): 1050-1061. (in Chinese)

[2] THOMAS C, RANCHIN T, WALD L, et al. Synthesis of Multispectral Images to High Spatial Resolution: A Critical Review of Fusion Methods Based on Remote Sensing Physics[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5): 1301-1312.

[3] 張立福, 彭明媛, 孫雪劍, 等. 遙感數(shù)據(jù)融合研究進(jìn)展與文獻(xiàn)定量分析(1992-2018)[J]. 遙感學(xué)報(bào), 2019, 23(4): 603-619.

ZHANG Lifu, PENG Mingyuan, SUN Xuejian, et al. Progress and Bibliometric Analysis of Remote Sensing Data Fusion Methods (1992-2018)[J]. Journal of Remote Sensing, 2019, 23(4): 603-619. (in Chinese)

[4] 王文卿, 劉涵, 謝國, 等. 改進(jìn)空間細(xì)節(jié)提取策略的分量替換遙感圖像融合方法[J]. 計(jì)算機(jī)應(yīng)用, 2019, 39(12): 3650-3658.

WANG Wenqing, LIU Han, XIE Guo, et al. Component Substitution-based Fusion Method for Remote Sensing Images via Improving Spatial Detail Extraction Scheme[J]. Journal of Computer Applications, 2019, 39(12): 3650-3658. (in Chinese)

[5] 潘瑜, 徐麗燕, 王靜, 等. 基于多重集典型相關(guān)分析的圖像融合方法[J]. 航天返回與遙感, 2011, 32(3): 69-76.

PAN Yu, XU Liyan, WANG Jing, et al. An Image Fusion Method Based on Multi-set Canonical Correlation Analysis[J]. Spacecraft Recovery & Remote Sensing, 2011, 32(3): 69-76. (in Chinese)

[6] LI X, XU Q, GAO F, et al. Pansharpening Based on an Improved Ratio Enhancement[C]//2015 IEEE International Geoscience & Remote Sensing Symposium, July 26-30, 2015, Milan, Italy. IEEE, 2015.

[7] LI H, JING L. Improvement of MRA-based Pansharpening Methods through the Considerasion of Mixed Pixels[C]//IGARSS 20182018 IEEE International Geoscience and Remote Sensing Symposium, July 22-27, 2018 Valencia, Spain. IEEE, 2018.

[8] WEI Y, YUAN Q, SHEN H, et al. Boosting the Accuracy of Multispectral Image Pansharpening by Learning a Deep Residual Network[J]. IEEE Geoscience & Remote Sensing Letters, 2017, 14(10): 1795-1799.

[9] LIU X, WANG Y, LIU Q. PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-sharpening[J]. IEEE International Conference on Image Processing, 2020(99): 1-16.

[10] HE L, RAO Y, LI J, et al. Pansharpening via Detail Injection Based Convolutional Neural Networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019(4): 1-17.

[11] YANG Y, TU W, HUANG S, et al. PCDRN: Progressive Cascade Deep Residual Network for Pansharpening[J]. Remote Sensing, 2020, 12(4): 676.

[12] 徐佳, 關(guān)澤群, 何秀鳳, 等. 基于傳感器光譜特性的全色與多光譜圖像融合[J]. 遙感學(xué)報(bào), 2009, 13(1): 97-102.

XU Jia, GUAN Zequn, HE Xiufeng, et al. Novel Method for Merging Panchromatic and Multi-spectral Images Based on Sensor Spectral Response[J]. Journal of Remote Sensing, 2009, 13(1): 97-102. (in Chinese)

[13] AIAZZI B, BARONTI S, SELVA M. Improving Component Substitution Pansharpening through Multivariate Regression of MS +Pan Data[J]. IEEE Transactions on Geoence & Remote Sensing, 2007, 45(10): 3230-3239.

[14] ZHANG Y. System and Method for Image Fusion: U.S. 7340099[P]. 2008.

[15] 王忠武, 趙忠明, 劉順喜. IKONOS圖像的線性回歸波段擬合融合方法[J]. 遙感學(xué)報(bào), 2010, 14(1): 43-54.

WANG Zhongwu, ZHAO Zhongming, LIU Shunxi. Band Simulation Based Pan-sharpening Algorithm by Linear Regression for IKONS Imagery[J]. Journal of Remote Sensing, 2010, 14(1): 43-54. (in Chinese)

[16] DAI, Q. Context Adaptive Panchromatic Band Simulation and Detail Injection for Image Pansharpening[J]. Journal of Applied Remote Sens, 2018, 12(1): 1.

[17] XU Q, ZHANG Y, LI B, et al. Pansharpening Using Regression of Classified MS and Pan Images to Reduce Color Distortion[J]. IEEE Geoscience & Remote Sensing Letters, 2015, 12(1): 28-32.

[18] WONG J. Algorithm AS 136: A K-means Clustering Algorithm[J]. Journal of the Royal Statistical Society, 1979, 28(1): 100-108.

[19] LABEN C A, BROWER B V. Process for Enhancing the Spatial Resolution of Multispectral Imagery Using Pan-sharpening: U.S. 6011875[P]. 2000.

[20] GIUSEPPE M, DAVIDE C, LUISA V, et al. Pansharpening by Convolutional Neural Networks[EB/OL].[2021-05-30]. https://www.researchgate.net/publication/305338139_Pansharpening_by_Convolutional_Neural_Networks.

[21] YANG J, FU X, HU Y, et al. PanNet: A Deep Network Architecture for Pan-sharpening[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. IEEE, 2017.

[22] YE F, LI X, ZHANG X. FusionCNN: A Remote Sensing Image Fusion Algorithm Based on Deep Convolutional Neural Networks[J]. Multimedia Tools and Applications, 2018, 78(11): 14683-14703.

[23] TU T, LEE Y, CHANG C, et al. Adjustable Intensity-hue-saturation and Brovey Transform Fusion Technique for IKONOS/QuickBird Imagery[J]. Optical Engineering, 2005, 44(11): 116201-1-116201-10.

[24] 郝紅勛, 何紅艷, 張炳先. 基于非負(fù)最小二乘法的全色與高光譜圖像融合[J]. 航天返回與遙感, 2019, 40(4): 105-111.

HAO Hongxun, HE Hongyan, ZHANG Bingxian. Panchromatic and Hyperspectral Images Fusion Based on Non-negative Least Squares Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(4): 105-111. (in Chinese)

[25] WANG Z. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[26] 劉萬軍, 楊秀紅, 曲海成, 等. 基于光譜信息散度與光譜角匹配的高光譜解混算法[J]. 計(jì)算機(jī)應(yīng)用, 2015, 35(3): 844-848.

LIU Wanjun, YANG Xiuhong, QU Haicheng. Hyperspectral Unmixing Algorithm Based on Spectral Information Divergence and Spectral Angle Mapping[J]. Journal of Computer Applications, 2015, 35(3): 844-848. (in Chinese)

Panchromatic and Multispectral Image Fusion by Ratio Enhancement Based on Classification and Block

WEI Qing1LIU Jinming*2XU Qizhi1

（1 Beijing University of Chemical Technology, Beijing 100029, China）（2 National Defense Engineering Research Institute of Academy of Military Science, Beijing 100036, China）

The synthesis of low-resolution panchromatic image is a key step in panchromatic and multispectral image fusion, it determines the spectral and spatial quality of the fused imagery. Due to the nonlinear spectral response of optical satellite sensor and the differences in spectral response of different ground objects, the low-resolution panchromatic image synthesized by each band of the multispectral image has gray-scale distortion which causes the spectral and spatial distortion of fused imagery. The proposed method firstly usedan iterative solution clustering analysis algorithm, namely k-means algorithm to classify all pixels of panchromatic and multispectral images; then divide them into sub-blocks with different sizes according to the variance of each class of pixels, after that, each pixel′s weights in each sub-block of the multispectral image are calculated by constrained least square method; finally, the weights are used to synthesize the low-resolution panchromatic image, and the high-Fidelity fused imagery is generated by ratio enhancement. This paper uses the panchromatic and multispectral images of QuickBird and WorldView3 satellite for experimental verification. Compared with PNN, PanNet and FusionCNN, the proposed method effectively improves the fidelity of the fused imagery's spectral color and fusion detail.

image fusion; ratio enhancement; pixel classification; constrained least square; remote sensing image

V445

A

1009-8518(2021)05-0108-10

10.3969/j.issn.1009-8518.2021.05.012

魏晴，女，1997年生，現(xiàn)為北京化工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)在讀碩士研究生，主要研究方向?yàn)檫b感圖像融合處理。E-mail：weiqing@mail.buct.edu.cn。

劉晉銘，男，1991年生，2019年獲中國人民解放軍陸軍勤務(wù)學(xué)院計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)博士學(xué)位。主要研究方向?yàn)閲拦こ痰臏y量與規(guī)劃技術(shù)。E-mail：xqzlab@buaa.edu.cn。

2020-12-28

國家基金面上項(xiàng)目（61972021，61672076）

魏晴, 劉晉銘, 徐其志. 基于分類分塊的全色多光譜圖像比值變換融合方法[J]. 航天返回與遙感, 2021, 42(5): 108-117.

WEI Qing, LIU Jinming, XU Qizhi. Panchromatic and Multispectral Image Fusion by Ratio Enhancement Based on Classification and Block[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(5): 108-117. (in Chinese)

（編輯：龐冰）