成飛飛，付志濤，黃亮，2，牛寶勝，陳朋弟，王雷光，季欣然

1.昆明理工大學(xué) 國土資源工程學(xué)院,昆明650093;

2.云南省高校高原山區(qū)空間信息測繪技術(shù)應(yīng)用工程研究中心,昆明650093;

3.西南林業(yè)大學(xué) 大數(shù)據(jù)與人工智能研究院,昆明650024

1 引言

隨著對(duì)地觀測衛(wèi)星多傳感器、多時(shí)間和多分辨率影像數(shù)據(jù)的出現(xiàn)，各種影像數(shù)據(jù)在應(yīng)用方面展示了優(yōu)勢和特色，而在實(shí)際應(yīng)用中單一傳感器場景信息量、分辨率和光譜方面表現(xiàn)出一定的局限性，難以滿足日常應(yīng)用的需求（Ghamisi等，2019）。因此，多源影像融合已成為影像融合領(lǐng)域引人注目的研究方向，它是將從不同傳感器獲得的不同類型的影像進(jìn)行信息融合，以提高同一區(qū)域數(shù)據(jù)所包含信息的準(zhǔn)確性和技術(shù)的豐富性（Goshtasby和Nikolov，2007），不同影像通過信息互補(bǔ)的融合，可以充分發(fā)揮多傳感器數(shù)據(jù)優(yōu)勢，更適合人類視覺感知，提高人們對(duì)地物判斷和解譯的能力，從而擴(kuò)大影像的應(yīng)用范圍。目前影像融合已被廣泛應(yīng)用于遙感影像融合（Ghassemian，2016；Zhong等，2016；Pandit和Bhiwani，2015）、可見光和紅外影像融合（Li和Wu，2019；Ma等，2019）、多聚焦影像融合（Yang等，2017；Liu等，2017b）、多曝光影像融合（Prabhakar等，2017；Zhang，2021）、醫(yī)學(xué)影像融合（Liu等，2017a；Song等，2019）等方面。

影像融合研究已有近40年的歷史，特別是隨著新技術(shù)的不斷出現(xiàn)和新方法的不斷革新，影像融合取得了長足發(fā)展。圖1顯示了過去20多年（1996年—2019年）由科學(xué)引文檢索（SCIE）在國際期刊上發(fā)表的相關(guān)文章數(shù)量（統(tǒng)計(jì)數(shù)據(jù)來自WOS（Web of Science）核心館藏?cái)?shù)據(jù)庫）（圖1（a））和來自中國知網(wǎng)發(fā)表論文的數(shù)量（圖1（b））。從圖1中可見，近年來增長趨勢明顯，主要得益于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方面的快速興起，表明了該研究領(lǐng)域的熱點(diǎn)在不斷增強(qiáng)，未來影像融合將會(huì)出現(xiàn)更多的研究成果，圖2為影像融合效果圖（Shakya等，2020）。

圖1 影像融合領(lǐng)域的發(fā)表文章數(shù)量Fig.1 Number of articles in the field of image fusion

圖2 影像融合效果展示（Shakya等，2020）Fig.2 Display of image fusion effect（Shakya et al.，2020）

針對(duì)數(shù)據(jù)源的多樣性、融合算法的復(fù)雜性、融合效果的差異性（李盛陽等，2017），研究學(xué)者提出了多種影像融合方法，一般將其分為兩類：基于空間域的融合方法和變換域的融合方法（Stathaki，2008；Liu等，2018），傳統(tǒng)的方法需要通過人工構(gòu)建融合規(guī)則或融合知識(shí)庫（李盛陽等，2017），給影像融合帶來了諸多困難和不確定性。

隨著深度學(xué)習(xí)的發(fā)展，基于CNN的神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于影像融合領(lǐng)域，特別是在遙感大數(shù)據(jù)時(shí)代，深度學(xué)習(xí)在特征提取和數(shù)據(jù)表達(dá)方面具有良好的特性，已經(jīng)取得了顯著的突破，不斷推動(dòng)影像融合的發(fā)展（Sun等，2020）。深度學(xué)習(xí)已經(jīng)成為遙感影像融合發(fā)展的必然趨勢（Schmitt等，2017）。它通過訓(xùn)練多層卷積網(wǎng)絡(luò)，在損失函數(shù)約束下實(shí)現(xiàn)自動(dòng)提取影像特征信息進(jìn)行融合，克服了傳統(tǒng)方法中不能自適應(yīng)權(quán)值和需要通過手工構(gòu)建融合規(guī)則的缺陷，在融合領(lǐng)域取得了顯著成效（Liu等，2018）。近年來一些研究人員提出了基于深度學(xué)習(xí)的影像融合方法（Shakya等，2020；Kim等，2018；Xia等，2019），可以應(yīng)對(duì)復(fù)雜的遙感影像場景，特別是作為遙感影像融合領(lǐng)域的一個(gè)重要分支，光學(xué)和SAR影像融合可以得到互補(bǔ)性很強(qiáng)的影像。因此，光學(xué)和SAR影像融合是目前學(xué)術(shù)研究的熱點(diǎn)問題，值得進(jìn)一步深入研究。

在研究進(jìn)程中，李樹濤等（2021）對(duì)全色、多光譜、合成孔徑雷達(dá)等9種多源遙感影像的進(jìn)行介紹，闡明了多源遙感影像融合方法的研究現(xiàn)狀與面臨的挑戰(zhàn)性難題。目前，對(duì)光學(xué)與SAR影像融合的研究相對(duì)較少，Kulkarni和Rege（2020）對(duì)像素級(jí)的光學(xué)與SAR影像融合進(jìn)行詳細(xì)的闡明，但基于深度學(xué)習(xí)方面的光學(xué)和SAR影像融合相對(duì)描述較少。然而基于深度學(xué)習(xí)的影像融合研究已經(jīng)成為融合領(lǐng)域的前沿和熱點(diǎn)（Li等，2020；Feng等，2019a；Gao等，2019；Grohnfeldt等，2018）。通過研究發(fā)現(xiàn)目前還沒有專門針對(duì)深度學(xué)習(xí)在光學(xué)和SAR影像融合進(jìn)展的綜述性文獻(xiàn)，因此，本文主要針對(duì)近幾年深度學(xué)習(xí)在光學(xué)和SAR影像融合方法及其研究未來方向展開分析和探討，力圖指出光學(xué)和SAR影像融合所存在的問題和不足，為研究人員提供更多的研究思路與方法，推動(dòng)光學(xué)和SAR影像融合領(lǐng)域發(fā)展。本文的主要貢獻(xiàn)包括：

（1）將現(xiàn)有光學(xué)和SAR影像融合方法分為兩大類：傳統(tǒng)融合和深度學(xué)習(xí)融合方法，重點(diǎn)梳理了基于深度學(xué)習(xí)在影像融合方面的最新工作，并簡要評(píng)述和方法對(duì)比。

（2）歸納總結(jié)了光學(xué)和SAR影像融合領(lǐng)域中常用的數(shù)據(jù)集，并做了簡要介紹。

（3）最后指出了當(dāng)前光學(xué)和SAR影像融合方法研究面臨的問題和挑戰(zhàn)，對(duì)未來發(fā)展方向進(jìn)行了展望。

2 融合方法

傳統(tǒng)影像融合方法一般可分為兩類：基于變換域和空間域的融合方法（Ranchin等，2003；Stathaki，2008；Liu等，2018）。隨著光學(xué)和SAR融合影合的快速發(fā)展，深度學(xué)習(xí)已成為光學(xué)和SAR影像融合領(lǐng)域中重要的研究方法。其中，卷積神經(jīng)網(wǎng)絡(luò)、生成式對(duì)抗網(wǎng)絡(luò)等深度學(xué)習(xí)模型已成功應(yīng)用于影像融合（Kim等，2018；Grohnfeldt等，2018）?；诖?，本文將光學(xué)和SAR影像融合方法分為兩類：傳統(tǒng)方法和深度學(xué)習(xí)方法，其中，深度學(xué)習(xí)方法分為卷積神經(jīng)網(wǎng)絡(luò)和生成式對(duì)抗網(wǎng)絡(luò)方法（圖3）。

圖3 深度學(xué)習(xí)融合方法Fig.3 Deep learning fusion method

2.1 傳統(tǒng)方法

SAR影像與光學(xué)影像之間存在成像差異大、空間分辨率差異大以及光譜失配等諸多挑戰(zhàn)，導(dǎo)致融合后的影像存在空間和光譜失真（Kulkarni和Rege，2020）。經(jīng)過將近40年的發(fā)展，許多融合方法都已經(jīng)成功地應(yīng)用于光學(xué)和SAR影像融合。

基于空間域的融合是一種簡單而快速的融合方法，直接對(duì)像素進(jìn)行操作獲取融合結(jié)果，主要有IHS、Brovey、PCA、GS、加權(quán)平均法等方法（賈永紅，1998；Chen等，2010；Manaf等2016；萬劍華等，2017）。變換域方法作為影像融合領(lǐng)域最流行的算法之一，近些年得到廣泛的發(fā)展與應(yīng)用（Ghamisi等，2019）。主要分為多尺度變換（Chou等，1993；李暉暉 等，2009；Xu和Cheng，2015；易維等，2018）和基于模型（Chandrakanth等，2011；El-Taweel和Helmy，2014；Wang和Chen，2016）方法，其中多尺度變換方法包括金字塔變換、小波變換、脊波變換、剪切波變換、曲波變換、NSCT、NSST等，模型方法包括脈沖耦合網(wǎng)絡(luò)（PCNN）、稀疏表示（Zhang等，2016）等，Kulkarni和Rege（2020）對(duì)傳統(tǒng)的光學(xué)與SAR影像融合像素級(jí)方法進(jìn)行詳細(xì)的論述。

綜上所述，傳統(tǒng)的方法包括變換域和空間域融合算法?？臻g域融合方法簡單直觀、融合速度快，適合實(shí)時(shí)處理，但簡單的疊加運(yùn)算的融合規(guī)則會(huì)大幅度降低影像融合的精度，而且融合結(jié)果存在一定的光譜扭曲，導(dǎo)致融合影像中細(xì)節(jié)信息的對(duì)比度和清晰度下降，主要將空間域的方法與其他方法結(jié)合使用（Dupas，2000；Huang等，2005；Shao等，2020）。在變換域算法中，特征提取用多尺度變換的分解系數(shù)來表示，可以提供了平移不變性和多方向性（Xu等，2015；El-Taweel和Helmy，2014）。然而，由于計(jì)算成本的限制和算法實(shí)現(xiàn)的困難性，在實(shí)際應(yīng)用中，充分考慮影像融合速度等方面的問題。無論是變換域算法還是空間域算法，特征提取都是通過人工設(shè)計(jì)的濾波器獲得，因此設(shè)計(jì)一種理想的特征提取方法或融合規(guī)則仍然是一項(xiàng)艱巨的任務(wù)。深度學(xué)習(xí)的不斷發(fā)展為特征提取與融合規(guī)則選取困難等方面提供了可行的解決方案。

2.2 深度學(xué)習(xí)方法

深度學(xué)習(xí)是影像融合領(lǐng)域中熱門的研究方法。目前卷積神經(jīng)網(wǎng)絡(luò)、生成式對(duì)抗網(wǎng)絡(luò)等（圖3）深度學(xué)習(xí)模型已成功應(yīng)用于光學(xué)和SAR影像融合（Kim等，2018；Grohnfeldt等，2018）。為了更清楚的展示融合方法，圖4表述了3種不同的網(wǎng)絡(luò)模型框架，表1進(jìn)行不同方法結(jié)果分析。本節(jié)主要從以下兩方面介紹基于深度學(xué)習(xí)的光學(xué)和SAR影像融合方法。

圖4 3種不同網(wǎng)絡(luò)框架圖Fig.4 Three different network frameworks

?

2.2.1卷積神經(jīng)網(wǎng)絡(luò)

CNN是當(dāng)前影像處理領(lǐng)域最流行的一種模型。對(duì)CNN的研究始于20世紀(jì)80至90年代，LeNet-5（LeCun和Bengio，1995）等網(wǎng)絡(luò)是較早出現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)。隨著深度學(xué)習(xí)理論的不斷提出和計(jì)算機(jī)強(qiáng)大的運(yùn)算效率，CNN得到了快速發(fā)展，CNN能夠從原始影像中通過網(wǎng)絡(luò)層學(xué)習(xí)抽象特征，其中提取的特征不僅具有平移、旋轉(zhuǎn)、縮放不變的特性，而且具有很強(qiáng)的泛化性，可廣泛應(yīng)用于影像融合中（Sun等，2020）。由于光學(xué)和SAR影像的成像差異性較大，為實(shí)現(xiàn)多尺度特征的提取，Li等（2020）、Feng等（2019b）和Ienco等（2019）提出了采用多通道的多分支網(wǎng)絡(luò)。Li等（2020）首次采用雙線性池化層的融合網(wǎng)絡(luò)對(duì)光學(xué)和SAR影像提取的特征進(jìn)行融合，利用通道注意力探索影像各通道間的關(guān)系；Feng等（2019b）提出了分支CNN網(wǎng)絡(luò)，從SAR和多光譜影像中分別提取特征；Ienco等（2019）利用異構(gòu)孿生網(wǎng)絡(luò)（TWINNS）融合Sentinel數(shù)據(jù)，利用Sentinel影像的空間和時(shí)間兩個(gè)層次的互補(bǔ)性對(duì)影像的多尺度特征進(jìn)行提取，獲得比單支網(wǎng)絡(luò)更好的效果。

為解決影像之間的非線性問題，將殘差網(wǎng)絡(luò)引入影像融合領(lǐng)域，He和Yokoya（2018）將單一SAR影像的輸入擴(kuò)展為多時(shí)相光學(xué)和SAR影像數(shù)據(jù)集，利用具有非線性的殘差網(wǎng)絡(luò)對(duì)光學(xué)和SAR融合影像進(jìn)行光學(xué)影像模擬；同樣Meraner等（2020）利用殘差神經(jīng)網(wǎng)絡(luò)，提出SEN12MS-CR去云的數(shù)據(jù)集，利用光學(xué)和SAR影像融合比單純依靠光學(xué)影像轉(zhuǎn)換的結(jié)果包含了更多的結(jié)構(gòu)信息，重建了缺失信息。

為了更好利用具有時(shí)間序列的影像數(shù)據(jù)，Scarpa等（2018）、Kim等（2018）、Zhao等（2020）和Shakya等（2020）利用Sentinel-1和Sentinel-2時(shí)間序列的影像進(jìn)行融合。Scarpa等（2018）采用簡單的3層體系結(jié)構(gòu)耦合網(wǎng)絡(luò)，結(jié)合隨機(jī)梯度下降算法，使融合后的效果優(yōu)于單幅影像；Kim等（2018）提出基于上下文信息序列CNN模型，驗(yàn)證了深度學(xué)習(xí)模型具有協(xié)同光學(xué)和SAR影像的潛力；Zhao等（2020）利用循環(huán)神經(jīng)網(wǎng)絡(luò)建立光學(xué)和SAR影像之間的關(guān)系，為丟失的光學(xué)時(shí)間序列提供了可靠的參照；Shakya等（2020）采用結(jié)合3種不同金字塔的CNN來融合Sentinel-2與Sentinel-1的VV和VH波段，融合影像的分類性能有所改善。上述方法充分驗(yàn)證時(shí)間序列影像融合可以提高應(yīng)用，還可以進(jìn)行缺失信息的補(bǔ)全。

為了克服傳統(tǒng)方法中手工提取特征困難和SAR影像難以彩色化的問題，陳克明等（2017）利用CNN實(shí)現(xiàn)了光學(xué)遙感影像和SAR遙感影像自動(dòng)融合；Zhang等（2019）在AlexNet網(wǎng)絡(luò)基礎(chǔ)上訓(xùn)練了13層的網(wǎng)絡(luò)融合提取影像的特征，解決了需要手動(dòng)提取特征的問題，更好地實(shí)現(xiàn)影像智能化的融合；Schmitt等（2018a）利用自動(dòng)編碼器以及混合密度網(wǎng)絡(luò)，從已配準(zhǔn)的Sentinel-2影像集中訓(xùn)練樣本學(xué)習(xí)Sentinel-1影像進(jìn)行彩色化，進(jìn)而進(jìn)行影像解譯。傳統(tǒng)的融合算法還無法解決SAR影像缺少彩色信息的問題，該方法為影像彩色化邁出重要一步。

綜上，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)融合算法在過去的幾年中已經(jīng)取得了長足進(jìn)步，融合算法克服了手工提取特征的困難，得了較為良好的效果，融合后的影像提高了SAR影像的可解釋性，更好地挖掘了光學(xué)和SAR影像的信息，彌補(bǔ)了光學(xué)影像信息缺失的問題，同時(shí)也為傳統(tǒng)方法融合算法不能實(shí)現(xiàn)彩色化邁出了重要的一步。

為了進(jìn)一步提高影像融合的效率，研究者開始探索利用更加輕量化和無監(jiān)督深度學(xué)習(xí)方法進(jìn)行影像融合（Jung等，2020；Cheng等，2021）。目前大部分卷積網(wǎng)絡(luò)是有監(jiān)督的學(xué)習(xí)，嚴(yán)重依賴具有標(biāo)簽的數(shù)據(jù)，需要提前把不同的影像數(shù)據(jù)構(gòu)建標(biāo)簽，將標(biāo)簽信息輸入到神經(jīng)網(wǎng)絡(luò)中監(jiān)督訓(xùn)練的模型獲得融合影像（Chen和Bruzzone，2019）。由于SAR影像的復(fù)雜性難以構(gòu)建良好的標(biāo)簽數(shù)據(jù)，生成式對(duì)抗網(wǎng)絡(luò)的出現(xiàn)為無監(jiān)督學(xué)習(xí)提供了更好的策略，克服了監(jiān)督學(xué)習(xí)需要大量標(biāo)簽數(shù)據(jù)的局限性。

2.2.2 生成式對(duì)抗網(wǎng)絡(luò)

Goodfellow等（2014）提出的生成式對(duì)抗網(wǎng)絡(luò)（GAN）是深度學(xué)習(xí)領(lǐng)域中最受歡迎的網(wǎng)絡(luò)之一。根據(jù)博弈論原理，GAN由生成器和判別器兩個(gè)網(wǎng)絡(luò)組成，生成器的目標(biāo)是學(xué)習(xí)一個(gè)潛在空間，通過它可以與訓(xùn)練數(shù)據(jù)相同的分布中生成樣本，而判別器作用是試圖學(xué)習(xí)區(qū)分樣本是否是由生成器生成還是來自訓(xùn)練數(shù)據(jù)。隨著生成式對(duì)抗網(wǎng)絡(luò)的發(fā)展，出現(xiàn)了許多通用變體，如：CGAN（Mirza和Osindero，2014）、CycleGAN（Zhu等，2017）和Pix2pix（Isola等，2017）等，極大地推動(dòng)了光學(xué)和SAR影像的融合進(jìn)展，為光學(xué)和SAR影像融合提供了新的方法。

Gao等（2019）將SAR影像轉(zhuǎn)換為光學(xué)影像，并進(jìn)行融合以填充光學(xué)影像的云區(qū)，為異源影像融合提供了一種新的思路，利用GAN來增強(qiáng)影像之間的相關(guān)性，使影像轉(zhuǎn)換后更易補(bǔ)全遮擋信息。為了更好利用光學(xué)和SAR影像之間的互補(bǔ)信息，通過改進(jìn)原來的GAN網(wǎng)絡(luò)，提高融合的效率和視覺效果，He和Yokoya（2018）在判別器中采用patchGAN網(wǎng)絡(luò)提高多時(shí)相數(shù)據(jù)融合的光學(xué)影像仿真效果，但仍有部分存在模糊現(xiàn)象；Xia等（2019）利用X-MTGAN的端到端生成器合成目標(biāo)光學(xué)影像，彌補(bǔ)多時(shí)相光學(xué)和SAR影像缺失信息；Fu等（2021）提出多級(jí)級(jí)聯(lián)殘差連接的GAN框架，實(shí)現(xiàn)光學(xué)和SAR影像之間的相互轉(zhuǎn)換；Wang和Zhu（2018）利用GAN和CNN的級(jí)聯(lián)網(wǎng)絡(luò)進(jìn)行影像去斑和彩色化，利用影像翻譯方式，使SAR影像生成了高質(zhì)量的可見光影像。

為了提高SAR影像的可解釋性，可將條件生成式對(duì)抗網(wǎng)絡(luò)引入融合領(lǐng)域。例如，Grohnfeldt等（2018）提出一種SAR-OPT-CGAN條件生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)，專門用于處理SAR和多光譜影像融合，該模型利用SAR影像進(jìn)行信息輔助，比使用單傳感器多光譜（MS）影像更好地重建多光譜影像；為了進(jìn)一步利用條件生成對(duì)抗網(wǎng)絡(luò)進(jìn)行影像融合研究，Enomoto等（2018）利用條件生成對(duì)抗網(wǎng)絡(luò)在去相干斑噪聲方面具有較強(qiáng)的魯棒性；Bermudez等（2019）采用條件生成對(duì)抗網(wǎng)絡(luò)用于多模態(tài)/多時(shí)相影像合成丟失或損壞的多光譜光學(xué)影像的恢復(fù)；Ley等（2018）利用條件生成對(duì)抗網(wǎng)絡(luò)將SAR影像轉(zhuǎn)換成光學(xué)影像的來區(qū)分不同的陸地表面。但上述方法對(duì)影像的信息約束比較弱，為此Li等（2020）提出改進(jìn)的條件生成對(duì)抗網(wǎng)絡(luò)的SAR到光學(xué)影像轉(zhuǎn)換方法，將SSIM和L1范數(shù)結(jié)合的損失函數(shù)增強(qiáng)了影像之間的約束，提取的光學(xué)影像具有良好的視覺效果。

為了更好地應(yīng)用風(fēng)格轉(zhuǎn)移生成式對(duì)抗網(wǎng)絡(luò)（CycleGAN），F(xiàn)uentes等（2019）歸納研究了條件生成對(duì)抗網(wǎng)絡(luò)中優(yōu)化、前景和局限方面的關(guān)鍵問題，提出了自適應(yīng)的條件生成式對(duì)抗網(wǎng)絡(luò)，用生成基于光學(xué)和SAR影像組合的SAR影像進(jìn)行訓(xùn)練。雖然提高了SAR影像的解譯性，但CycleGAN生成的場景有很大差異，即農(nóng)村/半城市化區(qū)域較好，城市區(qū)域較差。因此，Liu等（2018）利用CycleGAN生成對(duì)抗網(wǎng)絡(luò)應(yīng)用于光學(xué)和SAR影像之間的轉(zhuǎn)換，使用未配對(duì)的高分辨率SAR樣本和光學(xué)樣本進(jìn)行訓(xùn)練，驗(yàn)證了影像轉(zhuǎn)換的可行性。

綜上，生成式對(duì)抗網(wǎng)絡(luò)的出現(xiàn)為光學(xué)和SAR影像融合的帶來了機(jī)遇，大量研究證明了影像翻譯進(jìn)行信息融合的可行性，并展示了深度學(xué)習(xí)方法在影像融合中的潛力。盡管生成式對(duì)抗網(wǎng)絡(luò)融合模型的性能令人滿意，但一些特殊的地物和紋理信息沒有得到很好的轉(zhuǎn)換（Liu等，2018），今后仍有很大的發(fā)展與改進(jìn)空間。

3 影像數(shù)據(jù)集

數(shù)據(jù)集在深度學(xué)習(xí)影像融合領(lǐng)域中具有重要作用，針對(duì)性強(qiáng)、數(shù)據(jù)量充足的數(shù)據(jù)集是訓(xùn)練優(yōu)良融合模型的關(guān)鍵。訓(xùn)練數(shù)據(jù)集不同，訓(xùn)練出的模型就會(huì)存在差異，直接影響網(wǎng)絡(luò)訓(xùn)練結(jié)果。為了方便研究，過去的幾年中學(xué)者們陸續(xù)發(fā)布了光學(xué)和SAR影像方面的數(shù)據(jù)集，如SARptical（Wang和Zhu，2018）、SEN1-2（Schmitt等，2018a）、SEN12MS（Schmitt等，2019）和QXS-SARPOT（Huang等，2021）等。圖5為SARptical數(shù)據(jù)集示例，背景點(diǎn)云是TerraSAR點(diǎn)云和光學(xué)點(diǎn)云的融合，點(diǎn)云的顏色代表高度，矩形標(biāo)記了兩個(gè)示例的區(qū)域；圖6為SEN1-2數(shù)據(jù)集示例，第一行是Sentinel-1 SAR影像，第二行是Sentinel-2 RGB影像；圖7為SEN12MS數(shù)據(jù)集示例，從左到右，Sentinel-1 SAR、Sentinel-2 RGB、Sentinel-2 SWIR、IGBP土地覆蓋圖和CCS土地覆蓋圖；圖8為QXS-SARPOT數(shù)據(jù)集示例，第一行是高分3號(hào)SAR影像，第二行是谷歌地球多光譜影像。每一個(gè)數(shù)據(jù)集詳細(xì)的描述見表2所示，表中主要描述了數(shù)據(jù)集的影像來源、數(shù)據(jù)的詳細(xì)信息和下載鏈接等。

表2 光學(xué)和SAR影像數(shù)據(jù)集介紹Table 2 Introduction of optical and SAR image datasets

圖5 SARptical數(shù)據(jù)集示例（Wang和Zhu，2018）Fig.5 Example SARptical dataset（Wang and Zhu，2018）

圖6 SEN1-2數(shù)據(jù)集示例（Schmitt等，2018a）Fig.6 Example of SEN1-2 dataset（Schmitt et al.，2018a）

圖7 SEN12MS數(shù)據(jù)集示例（Schmitt等，2019）Fig.7 Example of SEN12MS dataset（Schmitt et al.，2019）

圖8 QXS-SARPOT數(shù)據(jù)集示例（Huang等，2021）Fig.8 Sample QXS-SARPOT dataset（Huang et al.，2021）

4 結(jié)語

隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，影像融合效果得到顯著提升，但光學(xué)和SAR影像融合（李樹濤等，2021）一直難以獲得理想效果，主要原因如下：（1）SAR影像由于其自身成像機(jī)理，會(huì)受到嚴(yán)重的相干斑噪聲干擾；（2）成像存在嚴(yán)重的差異，融合常會(huì)出現(xiàn)對(duì)比度低、重要信息丟失以及光譜扭曲嚴(yán)重等問題。深度學(xué)習(xí)被廣泛應(yīng)用于遙感影像的融合，取得了一定的研究成果，在研究中依然存在光學(xué)和SAR影像融合數(shù)據(jù)集少（Schmitt等，2018b）、基于時(shí)間序列的光學(xué)和SAR影像融合研究少（Zhou等，2019）、缺乏統(tǒng)一的評(píng)價(jià)指標(biāo)（Kulkarni和Rege，2020）以及算法復(fù)雜等問題。因此，今后的主要研究方向可以歸納為以下幾個(gè)方面：

（1）數(shù)據(jù)集。深度學(xué)習(xí)方法中為了訓(xùn)練和評(píng)估深度學(xué)習(xí)模型，需要大量的訓(xùn)練數(shù)據(jù)。SAR影像由于其復(fù)雜性而很難標(biāo)注，所以對(duì)于光學(xué)和SAR影像融合具有很大挑戰(zhàn)。雖然在基于深度學(xué)習(xí)的光學(xué)和SAR影像融合中已經(jīng)公開了SARptical（Wang和Zhu，2018）、SEN1-2（Schmitt等，2018b）、SEN12MS（Schmitt等，2019）和QXS-SARPOT（Huang等，2021）等數(shù)據(jù)集，但仍需要開發(fā)更多的數(shù)據(jù)集來支撐該領(lǐng)域的發(fā)展與應(yīng)用。

（2）時(shí)間序列。遙感影像時(shí)間序列是監(jiān)測地球表面隨時(shí)間演變的影像（Zhou等，2019），Sentinel-1和Sentinel-2等衛(wèi)星可以提供密集的時(shí)間序列。將時(shí)間序列光學(xué)影像作為SAR數(shù)據(jù)的補(bǔ)充信息，提高了遙感影像信息的利用程度，具有更高的精度（Shakya等，2020）。時(shí)間序列的研究對(duì)光學(xué)和SAR影像融合發(fā)展具有非常重要的意義，今后需要加強(qiáng)時(shí)間序列的融合與應(yīng)用。

（3）融合評(píng)價(jià)體系。融合評(píng)價(jià)指標(biāo)是影像融合的重要組成部分，目前在影像融合方面沒有固定的融合評(píng)價(jià)體系，通常的做法是選擇幾種指標(biāo)衡量結(jié)果，導(dǎo)致融合結(jié)果沒有標(biāo)準(zhǔn)對(duì)比，使得目前的很多影像融合算法不具備直接的可比性。為了解決這個(gè)問題，Zhang等（2020b）建立了VIFB（Visible and Infrared Image Fusion Benchmark），它是可見光與紅外影像融合領(lǐng)域的第一個(gè)基準(zhǔn)，也是整個(gè)影像融合領(lǐng)域的第一個(gè)基準(zhǔn)，但當(dāng)給定的影像和內(nèi)容發(fā)生改變時(shí)，評(píng)價(jià)指標(biāo)對(duì)于不同情況的性能不再具有普適性，因此融合評(píng)價(jià)方法也需要隨之改變。融合結(jié)果缺乏一個(gè)統(tǒng)一的評(píng)價(jià)指標(biāo)來評(píng)價(jià)融合算法的性能，制定適合于光學(xué)和SAR影像融合領(lǐng)域的評(píng)價(jià)指標(biāo)體系是首要任務(wù)。融合評(píng)價(jià)指標(biāo)作為一個(gè)重要的研究方向，是實(shí)際應(yīng)用中迫切需要解決的問題。

（4）算法輕量化。神經(jīng)網(wǎng)絡(luò)中有數(shù)以千萬計(jì)的網(wǎng)絡(luò)參數(shù)需要參與計(jì)算，致使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜和運(yùn)算量大等缺點(diǎn)（Cheng等，2021），因此難以植入嵌入式設(shè)備。隨著網(wǎng)絡(luò)模型層數(shù)越來越深，參數(shù)越來越多，減少計(jì)算量大小和降低損耗至關(guān)重要，特別考慮到遙感影像的特殊性和復(fù)雜性，在設(shè)計(jì)影像融合算法時(shí)需要考慮計(jì)算速度和內(nèi)存問題。如何得到實(shí)時(shí)、可靠和穩(wěn)健的融合算法并將其植入到嵌入式設(shè)備也是未來研究的一個(gè)熱點(diǎn)。

總之，光學(xué)和SAR影像融合是一個(gè)非常活躍的領(lǐng)域，本文通過綜合分析國內(nèi)外光學(xué)和SAR影像融合方法進(jìn)行了分析和總結(jié)，基于深度學(xué)習(xí)的影像融合研究已經(jīng)取得了較大進(jìn)展，涌現(xiàn)出大批優(yōu)秀卷積神經(jīng)網(wǎng)絡(luò)和生成式對(duì)抗網(wǎng)絡(luò)融合模型，但目前基于深度學(xué)習(xí)的遙感數(shù)據(jù)融合的數(shù)據(jù)集、模型方法相比醫(yī)學(xué)影像、多聚焦影像融合研究較少，今后還有很大的研究和探索空間。最后，指出了光學(xué)和SAR影像融合未來可能的幾個(gè)研究方向，為深度學(xué)習(xí)中光學(xué)和SAR影像融合及相關(guān)領(lǐng)域的研究人員提供借鑒和參考。