眭海剛，劉 暢，干 哲，江政杰，徐 川

1. 武漢大學(xué)測繪遙感信息工程國家重點實驗室，湖北 武漢 430079； 2. 93114部隊，北京 100089； 3. 北京理工大學(xué)信息與電子學(xué)院，北京 100081； 4. 湖北工業(yè)大學(xué)計算機學(xué)院，湖北 武漢 430068

遙感圖像匹配是遙感圖像處理中的基礎(chǔ)任務(wù)，是指通過空間變換將一幅圖像映射至不同時相、不同角度、不同光照等條件下獲取的同一場景的另一幅或多幅圖像中，在該兩幅或多幅圖像之間建立空間對應(yīng)關(guān)系的過程[1-2]。遙感圖像匹配作為遙感圖像拼接、融合、變化檢測和目標定位等視覺處理與理解任務(wù)的核心基礎(chǔ)，在自然災(zāi)害應(yīng)急、損毀評估等領(lǐng)域發(fā)揮著重要作用[3]。隨著遙感技術(shù)的高速發(fā)展，可見光、多/高光譜、紅外、合成孔徑雷達(SAR)、激光雷達等覆蓋天空地不同平臺的傳感器不斷涌現(xiàn)，為人類對地觀測提供了多種數(shù)據(jù)源[4-5]。如何有效集成多傳感器、多分辨率和多時相的遙感數(shù)據(jù)，對其進行深入處理分析，已成為現(xiàn)階段遙感領(lǐng)域研究的熱點與重點，而多模態(tài)遙感圖像匹配則是其中迫切需要解決的核心問題之一。

多模態(tài)遙感圖像匹配通常指不同傳感器(如可見光和SAR傳感器，可見光和紅外傳感器等)、不同成像平臺(如衛(wèi)星平臺與航空平臺、航空平臺與地面車載平臺等)之間的圖像匹配，圖像之間存在典型的“五差異”(成像特性差異、幾何差異、尺度差異、視角差異、維度差異等的一種或幾種)和“三不同”(不同環(huán)境、不同天氣、不同天候等)，給高精度匹配帶來了極大的困難[6-8]。其難點主要表現(xiàn)為：①圖像匹配的核心是要找到同名特征，但由于多模態(tài)圖像特征異構(gòu)，如何準確定義和描述同名特征，如何對同名特征進行表征是個難題；②多模態(tài)圖像之間的同名特征很難提取，即使在不同視角和維度下提取到同名特征，也存在不完整、難對應(yīng)的情況；③在特征表征和描述不完備情況下，很難定義有效的相似性測度來度量兩個特征集間的相似性。

圖1 多模態(tài)數(shù)據(jù)Fig.1 Multi-modal data

成像傳感器的不斷涌現(xiàn)和應(yīng)用成像方式的各種變化給多模態(tài)遙感圖像匹配帶來持續(xù)不斷的挑戰(zhàn)，對其研究和應(yīng)用是學(xué)術(shù)界和工業(yè)界持續(xù)關(guān)注的焦點之一。國內(nèi)外眾多研究機構(gòu)(如武漢大學(xué)、電子科技大學(xué)、西北工業(yè)大學(xué)、西南交通大學(xué)、中國科學(xué)院、曠視研究院、洛桑聯(lián)邦理工學(xué)院(EPFL)等)和學(xué)者提出了大量的多模態(tài)圖像匹配方法[9-12]。關(guān)于圖像匹配方法的大賽也如火如荼，如CVPR 2021 Image Matching、2020年“智箭·火眼”人工智能挑戰(zhàn)賽等，這些比賽均受到了眾多關(guān)注。從最初互信息(mutual information,MI)和相位相關(guān)(phase correlation,PC)方法被適用于多源遙感圖像匹配[13-14]，到許多學(xué)者通過設(shè)計改造特定的手工特征描述用于多模態(tài)圖像匹配，再到深度學(xué)習(xí)技術(shù)被用來解決多模態(tài)圖像匹配難題，多模態(tài)圖像匹配技術(shù)在近幾十年得到了長足的發(fā)展。目前的一些綜述文獻對圖像匹配進行了分類整理[15]，這些研究普遍認為圖像匹配是一個復(fù)雜的綜合處理過程，僅靠單一圖像匹配算法無法解決所有的圖像匹配問題[16-18]，但是并未對多模態(tài)圖像匹配理論和方法進行系統(tǒng)分析，也沒有提出較為系統(tǒng)的解決方案。總體來說，盡管多模態(tài)圖像匹配方法和應(yīng)用都取得了很大進展，但是目前尚未出現(xiàn)一種普適性強、適用于所有情況的方法。

1 多模態(tài)圖像匹配發(fā)展現(xiàn)狀

多模態(tài)圖像匹配方法根據(jù)數(shù)據(jù)源角度可以分為：可見光與SAR圖像匹配、可見光與紅外圖像匹配、紅外圖像與SAR圖像匹配、可見光與多光譜圖像匹配、遙感圖像與GIS矢量匹配、遙感圖像與視頻數(shù)據(jù)匹配、遙感圖像與三維點云匹配。根據(jù)傳感器平臺可以分為：衛(wèi)星影像與航空影像匹配、航空影像與地面照片匹配、衛(wèi)星影像與地面照片匹配[19]。一般認為，多模態(tài)圖像匹配方法是在傳統(tǒng)的圖像匹配方法基礎(chǔ)上發(fā)展起來的，可劃分為基于特征驅(qū)動的匹配方法和基于數(shù)據(jù)驅(qū)動的匹配方法。以時間脈絡(luò)為序，多模態(tài)圖像匹配方法主要包括以下3個典型的發(fā)展階段(圖2):

圖2 多模態(tài)圖像匹配分類體系及發(fā)展脈絡(luò)Fig.2 Multi-modal image matching classification system and development lineage diagram

(1) 萌芽期(1970—1990年)。最初的圖像匹配是利用相關(guān)系數(shù)實現(xiàn)，通過計算圖像中選定的模板區(qū)域的相似性，從中構(gòu)建圖像之間的匹配關(guān)系。把圖像信號最為相似的區(qū)域稱為同名區(qū)域，同名區(qū)域的中心點稱為同名點，這就是最初相關(guān)系數(shù)圖像匹配基本原理，也稱之為模板匹配(template matching)，現(xiàn)有圖像匹配方法基于模板匹配雛形發(fā)展而來。在該類匹配算法中常用的相似性度量函數(shù)包括差方和(SSD)、歸一化互相關(guān)(NCC)、互信息(MI)和相位相關(guān)(PC)等[20-22]。最初學(xué)者們發(fā)現(xiàn)，一般SSD、NCC和PC受非線性灰度畸變的影響很大，難以應(yīng)用于多模態(tài)圖像匹配。互信息(MI)被證明在一定程度上能夠抵抗非線性灰度畸變，能適用于多源圖像匹配中，但具有較高計算量。

(2) 第一次發(fā)展期(1990—2015年)。主要以基于特征的匹配方法為主，通過從參考圖像和待匹配圖像中提取一些共同特征作為匹配基元，然后通過建立匹配基元之間的對應(yīng)關(guān)系，求解變換模型參數(shù)，完成匹配。特征主要分為面特征、線特征和點特征。面特征主要是使用區(qū)域分割的方式得到的。線特征主要是提取圖像邊緣和紋理信息，包括LOG算子[23]、Canny算子[24]等。點特征是目前研究最多的一種，是根據(jù)某種策略在圖像中提取一些具有一定不變性的點，然后使用某種描述方式，將該點附近的局部信息進行描述，其中包括Harris角點檢測[25]、SIFT描述子[26]、SURF描述子[27]等。針對多模態(tài)圖像許多學(xué)者提出了基于幾何結(jié)構(gòu)的特征描述，包括HAPCG和RIFT等描述子。與基于區(qū)域的匹配方法相比，基于特征的匹配方法并不直接作用于圖像灰度，它表達了更高層的圖像信息，這一特性使得基于特征的匹配方法對圖像的灰度變化、圖像變形及遮擋都有較好的適應(yīng)能力，極大地擴展了圖像匹配技術(shù)的適用范圍。

(3) 第二次發(fā)展期(2015年至今)。隨著深度學(xué)習(xí)的發(fā)展，眾多深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)(如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、生成式對抗網(wǎng)絡(luò)(GAN)等)在圖像處理領(lǐng)域取得了較大的成功[28-30]。CNN中的卷積層具有強大的特征提取能力，在網(wǎng)絡(luò)訓(xùn)練的過程中，通過監(jiān)督信息和反向傳播函數(shù)更新網(wǎng)絡(luò)層參數(shù)，使得CNN對非線性畸變和噪聲等具有較好的穩(wěn)健性。GAN通過對抗訓(xùn)練的方式來使得生成網(wǎng)絡(luò)產(chǎn)生的樣本服從真實數(shù)據(jù)分布，為樣本數(shù)據(jù)受限下的深度學(xué)習(xí)異源匹配提供了解決途徑。深度學(xué)習(xí)為多模態(tài)圖像匹配的研究提供了更多發(fā)展空間。

目前主流的多模態(tài)圖像匹配方法主要分為特征驅(qū)動的匹配方法和數(shù)據(jù)驅(qū)動的匹配方法。特征驅(qū)動的匹配方法主要靠直覺和研究者的專業(yè)知識驅(qū)動，數(shù)據(jù)驅(qū)動的匹配方法主要依靠大量數(shù)據(jù)來學(xué)習(xí)建立及優(yōu)化匹配模型。與數(shù)據(jù)驅(qū)動的匹配方法相比，基于特征的匹配方法在性能方面相對較差，適用于處理訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)為同一場景的圖像，該方法大多針對某一難點或某一應(yīng)用而設(shè)計，很難設(shè)計出普適性很強的描述符，其優(yōu)點是不需要數(shù)據(jù)或者只需少量數(shù)據(jù)，計算時間較快。數(shù)據(jù)驅(qū)動的匹配方法性能更高，主要通過學(xué)習(xí)數(shù)據(jù)中的多樣性，適用于不同的數(shù)據(jù)集和應(yīng)用，但該方法參數(shù)的選擇可能需要端到端的梯度下降法進行訓(xùn)練，需要大量的訓(xùn)練數(shù)據(jù)來保證其穩(wěn)健性，計算時間相對較慢。由于深度學(xué)習(xí)技術(shù)的突出優(yōu)勢，深度學(xué)習(xí)和圖像匹配的融合已逐步成為主流方法。

2 特征驅(qū)動的匹配方法

特征驅(qū)動的匹配方法從原理上大體可分為基于區(qū)域的匹配算法和基于顯著特征的匹配算法[31]，也有學(xué)者為了減小多模態(tài)圖像匹配的難度，結(jié)合一些先驗知識輔助匹配過程[32]。

2.1 基于區(qū)域的匹配方法

基于區(qū)域的匹配方法直接利用預(yù)設(shè)的模板窗口上的灰度信息作為基準進行匹配，通過定義一個相似性度量來計算模板窗口間的相似性，選擇相似性最大的一對模板窗口作為匹配結(jié)果。由于基于區(qū)域的匹配是對圖像模板區(qū)域的整體像素點信息進行分析處理，一般具有較高的匹配精度，但由于該圖像匹配方法對成像條件、圖像形變(特別是要求圖像對具有極高的重疊度)及噪聲極其敏感，同時具有較高的計算復(fù)雜度，從而限制了其應(yīng)用能力。對基于區(qū)域的匹配方法進行細分又包含基于空間域的方法和基于變換域的方法。

(1) 基于空間域方法。經(jīng)典的基于空間域的方法包括互相關(guān)法和互信息方法?；ハ嚓P(guān)法通過計算模板圖像和搜索窗口之間的互相關(guān)值，來確定匹配的程度，互相關(guān)最大的搜索窗口決定了模板圖像在待匹配圖像中的位置。歸一化互相關(guān)系數(shù)曾被作為多模態(tài)匹配的測度，進行多源光學(xué)遙感圖像匹配，并結(jié)合概率松弛算法和圖像的金字塔數(shù)據(jù)結(jié)構(gòu)作整體匹配，目的在于提高匹配的可靠性和速度[33]。最大互相關(guān)法曾被用于光學(xué)遙感圖像匹配中，并在自動航海中成功得到應(yīng)用[34]。在光學(xué)和SAR影像上，通過利用SAR圖像局部灰度方差和灰度的乘積為匹配基元，光學(xué)圖像局部灰度方差作為匹配基元，使用互相關(guān)作為相似度，同樣也得到較理想的匹配結(jié)果[35]。雖然互相關(guān)法對遙感圖像的匹配具有有效性和準確性，但是互相關(guān)法對圖像間的灰度差異比較敏感，特別是非線性的灰度差異，很難用于輻射差異較大的多模態(tài)遙感圖像的匹配[7]。互信息方法最早是由文獻[36]提出的，它起源于信息論，是一種統(tǒng)計相關(guān)性測量方法，廣泛應(yīng)用于醫(yī)學(xué)圖像的匹配。由于互信息能夠較好地抵抗圖像間的灰度差異，互信息已逐漸被用于遙感圖像匹配。文獻[37]將互信息方法與互相關(guān)方法用于小波分解后的遙感圖像匹配，并對這兩種方法在匹配精度與對噪聲的敏感程度上進行了比較，試驗證明互信息方法的匹配精度要高于互相關(guān)方法，且對噪聲有更好的穩(wěn)健性。雖然基于互信息的匹配方法能夠較好地抵抗圖像間的灰度差異，但其計算量較大，限制了互信息在遙感圖像匹配領(lǐng)域的廣泛應(yīng)用。

(2) 基于頻域方法?；陬l域的匹配方法主要指基于傅里葉變換的匹配方法，它的基本思路是圖像的平移、旋轉(zhuǎn)、仿射等變換在上述變換中都有相應(yīng)的體現(xiàn)[38-39]。相位相關(guān)法通過利用傅里葉變化，在頻域進行相位匹配從而達到圖像匹配的方法，是一種最常用的基于傅里葉變換的匹配方法，它曾被應(yīng)用到多源圖像匹配中[40-41]。但在圖像模糊的情況下，該類方法中的傅里葉變化計算消耗呈指數(shù)增長，匹配效果不佳。為了達到更高效的傅里葉變換計算效果，文獻[42]提出快速傅里葉匹配方法(FFT)，該方法同樣被用于光學(xué)和激光雷達的配準中[42]。最近一些研究發(fā)現(xiàn)，多模態(tài)圖像之間存在相似的幾何結(jié)構(gòu)和形態(tài)特征，可通過捕獲該特征的相似性從而達到多模態(tài)圖像精確匹配的目的。于是，有學(xué)者開始利用相位一致性保留圖像的幾何結(jié)構(gòu)特征來用于多模態(tài)圖像匹配中。相位一致性直方圖(HOPC)特征描述符[43]通過相位一致性強度和方向信息替代梯度信息構(gòu)建的描述符，在多模態(tài)圖像匹配上取得了良好的性能。然而HOPC是在稀疏采樣網(wǎng)格中進行表征的，因此難以捕捉圖像中詳細的結(jié)構(gòu)信息。定向梯度通道特征(CFOG)[44]在基于HOPC的基礎(chǔ)上，以逐像素的方式構(gòu)建描述符，增強了對圖像細節(jié)結(jié)構(gòu)的描述能力，同時利用三維快速傅里葉變換(3DFFT)技術(shù)定義基于頻域特征表示的相似度度量，提高了匹配效率。在CFOG的基礎(chǔ)上，角度加權(quán)方向梯度(AWOG)描述子[45]將梯度值分布到兩個最相關(guān)的方向上，并使用三維相位相關(guān)作為相似度度量，顯著提高了匹配性能。雖然這些基于相位特征的匹配方法在多模態(tài)圖像匹配上展示出優(yōu)良的匹配效果，且具有在一定程度上抵抗噪聲和非線性輻射差異的穩(wěn)健性，但它也存在一些局限性，對尺度和旋轉(zhuǎn)變化沒有不變性，同時計算量也相對較大。

2.2 基于顯著特征的匹配算法

基于顯著特征的圖像匹配方法彌補了基于灰度特征匹配方法的不足，在對存在仿射變換、投影變換的圖像對之間的匹配也具有很好的效果。同時，由于基于顯著特征的匹配算法不是針對整幅圖像進行匹配，而是在圖像中提取出一系列具有代表性的特征，然后將兩圖像間的特征進行匹配，這樣就使得算法復(fù)雜度大大降低，匹配速率較快。在一些對實時性要求較高的應(yīng)用中，通常都使用基于顯著特征的圖像匹配算法?；陲@著特征的匹配核心結(jié)構(gòu)包括特征檢測、特征描述和特征匹配等方面。

(1) 特征檢測?；陲@著特征的匹配方法首先需要提取圖像間的局部特征，并對這些特征進行對應(yīng)的描述。在圖像匹配領(lǐng)域中，根據(jù)特征的物理結(jié)構(gòu)可將特征分為點特征、線特征和面特征，其中點特征是目前研究較為成熟、應(yīng)用最為廣泛的一種特征。近幾十年來，點特征檢測算法得到了快速發(fā)展，出現(xiàn)了眾多的特征檢測算子。文獻[46]提出了利用灰度方差提取點特征的算子。在此之后，相繼涌現(xiàn)出了Harris[25]和SUSAN[47]等眾多特征點檢測算子。隨著圖像尺度空間理論的成熟，出現(xiàn)了一系列具有尺度不變性的特征點檢測算子。文獻[48]首先發(fā)現(xiàn)Laplacian of Gaussian(LoG)算子能夠很好地進行特征點尺度定位。隨即Difference of Gaussian(DoG)檢測算子[49]被提出，該算子近似于LoG，而且速度更快。為了抵抗圖像間的仿射形變，學(xué)者們相繼提出了仿射不變性的特征點檢測算子，如Harris-affine[50-51]等。另外，為了滿足實時匹配的需求，在SUSAN算子的基礎(chǔ)上利用機器學(xué)習(xí)方法加速，一種快速的特征點檢測方法—FAST算子[52]被提出。AGAST特征檢測算法[53]則是通過進一步改進FAST算子，進一步地提高了計算效率。由于以上的特征點檢測算子具有較好的穩(wěn)定性，它們在圖像匹配領(lǐng)域中得到了廣泛的應(yīng)用[54]。

相較于點特征，線特征往往包含著更多的結(jié)構(gòu)信息，通常被用于檢測圖像邊緣和紋理結(jié)構(gòu)，在成像條件變化或成像模式變化時都能保持一定的穩(wěn)定性，因此適合用于異源遙感影像的配準。邊緣和輪廓特征一般通過邊緣檢測算子得到，經(jīng)典的光學(xué)影像邊緣檢測算子有Canny算子[24]和Sobel算子[55]等，但這些經(jīng)典梯度邊緣檢測算子對乘性噪聲非常敏感。為了克服這一缺陷，學(xué)者們提出了考慮邊緣方向性的均值比檢測器，如ROA[56]和ROEWA[57]等，這些算子能有效抵抗乘性噪聲帶來的影響。一些學(xué)者通過將線特征和點特征結(jié)合運用于多模態(tài)圖像匹配過程中。文獻[24]通過邊緣檢測的方式來提取影像的結(jié)構(gòu)特征，并在該特征結(jié)構(gòu)圖上提取顯著特征點。文獻[58]通過構(gòu)建相位一致性計算最大力矩圖來檢測邊緣結(jié)構(gòu)特征點。這些算法都顯著地提高了特征檢測的重復(fù)率，并成功地應(yīng)用于多模態(tài)影像的匹配，但這些算法通常對圖像的噪聲和尺度較為敏感。

面特征是影像中最為穩(wěn)定的特征，也是包含信息最多的特征。面特征通常是指具有高對比度的一定大小的閉合區(qū)域在影像上的投影，如湖泊、水庫、河流、建筑物、森林和陰影等，一般通過影像分割算法得到。經(jīng)典的影像分割方法包括閾值分割法、聚類法和區(qū)域生長與合并法等。經(jīng)典的分割方法多用于可見光、紅外等影像分割，對于SAR影像來說，其分割技術(shù)所面臨的最大問題是其固有斑點噪聲對影像的嚴重影響，使得常規(guī)光學(xué)影像分割技術(shù)難以直接應(yīng)用于SAR影像并取得好結(jié)果。隨著各學(xué)科許多新理論和方法的提出，學(xué)者們也提出了許多結(jié)合一些特定理論、方法和工具的分割技術(shù)，主要包括基于水平集分割方法、基于馬爾可夫隨機場模型(MRF)的分割方法、基于多尺度的分割方法、基于數(shù)學(xué)形態(tài)學(xué)的分割方法、基于神經(jīng)網(wǎng)絡(luò)的分割方法、基于語義的分割方法等。文獻[59]提出利用光學(xué)影像與SAR影像共有區(qū)域特征進行影像配準的方法，該方法首先提取影像的邊緣特征并采用數(shù)學(xué)形態(tài)學(xué)方法得到封閉輪廓進而得到閉合區(qū)域，并把區(qū)域重心作為區(qū)域控制點，得到配準變換參數(shù)，從而實現(xiàn)光學(xué)與SAR影像的配準。文獻[60]在水平集框架下，通過映射函數(shù)將SAR影像特征和光學(xué)影像特征結(jié)合，構(gòu)造能量泛函模型，并采用水平集方法求解曲線演化方程，在進行影像分割的同時實現(xiàn)光學(xué)與SAR影像的配準。

(2) 特征描述。特征檢測之后，需要對特征進行描述，使其具有較高的區(qū)分度，滿足后續(xù)圖像匹配的需要。文獻[26]首次提出的SIFT(scale invariant feature transform)算法，該算法的描述子是諸多局部特征描述子中應(yīng)用最廣和最聞名。由于SIFT描述子同時對旋轉(zhuǎn)、尺度和光照變化等影響因素都具有優(yōu)秀的穩(wěn)健性，成為圖像匹配領(lǐng)域一項里程碑式的工作[61]。然而，SIFT描述子是基于局部梯度信息構(gòu)建的，受非線性輻射差異影響較大，難以直接用于多模態(tài)圖像匹配，尤其是極端視角情況。針對多模態(tài)圖像匹配，PSO-SIFT算法[62]在SIFT的基礎(chǔ)上改進了描述子的構(gòu)建形式，通過優(yōu)化圖像梯度的計算方法，從而提高了描述子對灰度差的穩(wěn)健性，并引入了一種增強匹配策略，通過結(jié)合特征點的多方面信息匹配來提高正確匹配點的數(shù)量。OS-SIFT[63]考慮到SAR圖像和光學(xué)圖像的固有特性，利用多尺度指數(shù)加權(quán)平均比率和多尺度Sobel算子計算SAR圖像和光學(xué)圖像的一致梯度來構(gòu)建對異源圖像更穩(wěn)健的描述子，從而有效提升算法的抗輻射畸變。在基于區(qū)域匹配中相位相關(guān)算法的啟發(fā)下，許多學(xué)者將相位相關(guān)的理念用于特征描述的過程，輻射變化不敏感特征變換(RIFT)[64]的描述符便是通過結(jié)合相位一致性和最大索引圖構(gòu)建得來，該描述符不僅能夠有效抵抗非線性輻射差異，同時也有著較好的抗尺度變化和圖像旋轉(zhuǎn)能力。一種顧及各向異性加權(quán)力矩與絕對相位方向的異源影像匹配算法(HAPCG)[65]利用各向異性濾波進行影像非線性擴散求解得到各向異性加權(quán)力矩圖，并將相位一致性梯度與對數(shù)極坐標描述模板相結(jié)合來構(gòu)建一種絕對相位方向梯度直方圖作為描述符，該描述符能夠保證較為穩(wěn)健地實現(xiàn)異源遙感影像匹配。這些多模態(tài)匹配算法的特征描述子大都具有較為優(yōu)秀的抗非線性輻射差異，能夠有效應(yīng)用于多模態(tài)圖像匹配過程中，但這些描述子往往是針對某一實際需求專門設(shè)計而來，適用性往往不夠廣泛。

(3) 特征匹配。在特征匹配過程中，通常需要構(gòu)建某種匹配準則衡量特征描述符間的相似程度，實現(xiàn)多模態(tài)遙感圖像之間正確匹配點對的識別，以計算對應(yīng)的幾何變換模型參數(shù)。經(jīng)典的匹配準則包括歸一化互相關(guān)系數(shù)、余弦相似度、歐氏距離等[66]。但是，以上匹配準則的不足在于他們的性能嚴重依賴特征描述符的準確性。一旦構(gòu)建的描述符不精確，就易形成錯誤匹配點對。而不同傳感器圖像特征點描述符的構(gòu)建易受非線性輻射差異影響，這將導(dǎo)致所得描述符的準確性降低。此時，采用傳統(tǒng)的匹配準則將會造成特征點的錯誤匹配?？紤]到幾何結(jié)構(gòu)屬性受輻射差異影響較小的特點，相關(guān)學(xué)者將結(jié)構(gòu)特征融入相似性測度的構(gòu)建中。文獻[67]利用具有光照和對比度不變性的相位一致性模型構(gòu)建了一種描述幾何結(jié)構(gòu)相似性的匹配測度—相位一致性方向直方圖，成功地應(yīng)用于多模態(tài)圖像的匹配。在此基礎(chǔ)上，文獻[68]將非線性擴散模型融入幾何結(jié)構(gòu)特征相似性測度的構(gòu)建中，提高了匹配的正確率。文獻[69]結(jié)合張量方向平行度和梯度互信息提出了一種相似度準則TOM(tensor orientation and mutual information)，對非線性強度變化和噪聲具有較好的穩(wěn)健性。

2.3 先驗信息輔助匹配

經(jīng)過多年的研究，眾多學(xué)者逐漸達成共識：遙感圖像的很多處理(包括匹配、分割、檢測、提取等)需要高層知識的介入才能得到徹底的解決。受限于人腦和視覺理論研究，多年來遙感圖像匹配一直停留在“圖像數(shù)據(jù)”這個層面。比較經(jīng)典的利用知識進行圖像匹配的方法是借助先驗信息，利用先驗信息來有效抵抗多模態(tài)圖像匹配中非線性畸變和幾何形變等因素帶來的影響，例如成像參數(shù)信息、DEM數(shù)據(jù)信息等，利用這些信息去引導(dǎo)或驗證匹配，從而提高匹配的準確性。高精度POS數(shù)據(jù)等先驗信息通常被作為輔助信息用來解決視角和尺度變化造成的匹配難題。在特征點匹配之前對影像進行全局幾何糾正，整體上消除或降低影像幾何變形的影響，再采用傳統(tǒng)特征描述和匹配方法進行特征點匹配[70-72]。

利用地理語義知識來輔助進行圖像匹配是另一種常用方法，比如利用GIS數(shù)據(jù)中的分類信息，或者對圖像上的建筑、水體、道路等地方事先進行語義信息提取。文獻[73]在無人機圖像與衛(wèi)星圖像匹配上利用道路信息，解決高空城市場景匹配定位的問題。通過利用U-net網(wǎng)絡(luò)提取圖像語義信息，結(jié)合該信息來提高匹配精度。雖然利用語義信息能夠提升算法穩(wěn)健性，但同樣局限了算法的應(yīng)用場景，在語義缺失場景下難以部署。

3 數(shù)據(jù)驅(qū)動的匹配方法

數(shù)據(jù)驅(qū)動的匹配方法就是利用深度學(xué)習(xí)技術(shù)從大量訓(xùn)練數(shù)據(jù)中學(xué)習(xí)構(gòu)建匹配的模型，許多學(xué)者嘗試將其應(yīng)用于解決多模態(tài)匹配難題[74]。相較于特征驅(qū)動的方法，數(shù)據(jù)驅(qū)動的方法基于深度學(xué)習(xí)對深層特征有著優(yōu)越的學(xué)習(xí)和表達能力，在圖像匹配問題上嶄露頭角并取得了初步成效[75]，能夠直接從包含相同或相似結(jié)構(gòu)內(nèi)容的圖像對中學(xué)習(xí)到像素級別的匹配關(guān)系，并且能夠更好地適應(yīng)非線性輻射和噪聲等因素帶來的影響?；跀?shù)據(jù)驅(qū)動的方法可分為兩類：一類為通過構(gòu)建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)替換部分匹配環(huán)節(jié)，可稱為單環(huán)節(jié)深度網(wǎng)絡(luò)；另一類為構(gòu)建端到端的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)完全替換圖像匹配的整個過程，稱為端到端深度網(wǎng)絡(luò)。端到端的網(wǎng)絡(luò)同時也可以用于圖像的預(yù)處理過程，就是通過圖像合成、風(fēng)格遷移等技術(shù)，根據(jù)不同模態(tài)圖像的成像特性，對不同模態(tài)的圖像進行風(fēng)格轉(zhuǎn)化，用于擴充多模態(tài)圖像數(shù)據(jù)集或直接轉(zhuǎn)換成同模態(tài)圖像形式進行匹配[7，15]。

(1) 單環(huán)節(jié)深度網(wǎng)絡(luò)。單環(huán)節(jié)深度神經(jīng)網(wǎng)絡(luò)僅替換部分匹配環(huán)節(jié)，該種方式往往更加靈活，可根據(jù)不同的需求結(jié)合其他各具優(yōu)勢的結(jié)構(gòu)構(gòu)建完整的匹配模型。許多學(xué)者通過深度學(xué)習(xí)從圖像中檢測更精確可靠的特征點集、學(xué)習(xí)每個特征點的主要方向或主要尺度及其更具有區(qū)分性和可匹配能力的特征描述子。D2net[76]創(chuàng)新性地構(gòu)建了檢測特征和特征描述為一體的網(wǎng)絡(luò)結(jié)構(gòu)，通過使用CNN計算特征圖，然后通過將這些特征圖進行切片的方式來計算描述子，并且提取關(guān)鍵點。CMM-Net[77]通過對D2net改進并用于多模態(tài)圖像匹配中，該方法使用動態(tài)自適應(yīng)歐氏距離閾值和RANSAC算法共同約束來剔除錯誤匹配點，在異源遙感圖像的匹配上展示出優(yōu)良的匹配效果。一種結(jié)合深度學(xué)習(xí)和傳統(tǒng)局部特征由粗到精的匹配方法[78]曾被應(yīng)用于多模態(tài)圖像匹配中，該方法首先通過CNN提取深度特征進行粗匹配，再通過結(jié)合更精確的局部特征來調(diào)整粗匹配結(jié)果，從而產(chǎn)生更穩(wěn)定的匹配結(jié)果。有學(xué)者設(shè)計了一種基于Siamese的多模態(tài)圖像特征提取網(wǎng)絡(luò)[79]，旨在提取多模態(tài)圖像之間的共同特征，該網(wǎng)絡(luò)通過去除池化層和從Siamese網(wǎng)絡(luò)中提取特征層進行優(yōu)化，以保持特征信息的完整性和位置準確性，從而更加有效提取多模態(tài)圖像之間的共同特征。也有學(xué)者通過采用最大正樣本和負樣本特征距離作為損失函數(shù)，基于Siamese網(wǎng)絡(luò)結(jié)構(gòu)來訓(xùn)練一種全卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)多模態(tài)圖像塊的描述符表示[80]。該方法在多模態(tài)匹配上展示出不錯的匹配效果。通過深度學(xué)習(xí)來對待匹配圖像進行預(yù)校正也是個不錯的思路，一種基于深度學(xué)習(xí)和高斯特征的旋轉(zhuǎn)不變多模態(tài)圖像匹配方法通過訓(xùn)練一種名為RotNET的神經(jīng)網(wǎng)絡(luò)來預(yù)測圖像間的旋轉(zhuǎn)關(guān)系，再通過構(gòu)建面向梯度的高斯金字塔特征(GPOG)來匹配兩幅圖像[81]。該方法表現(xiàn)出對圖像旋轉(zhuǎn)和非線性輻射差異有著較好的穩(wěn)健性。還有些學(xué)者利用深度學(xué)習(xí)學(xué)習(xí)描述子之間更可靠的相似性度量準則等[82]，代表性的方法如SuperGlue[83]構(gòu)建了一個進行特征匹配以及粗差剔除的網(wǎng)絡(luò)。SuperGlue通過將特征匹配問題視為求解可微分最優(yōu)化轉(zhuǎn)移問題，從而構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)GNN來解決該問題。而且SuperGlue根據(jù)注意力機制提出了一種靈活的內(nèi)容聚合機制，這使它能夠同時感知潛在的3D場景并進行特征匹配。這類方法通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)相似性測度匹配、粗差剔除，能夠靈活地與不同匹配方法結(jié)合，從而達到對不同匹配方法改進的效果。

這些方法基于深度學(xué)習(xí)強大的深度特征提取能力和高維特征表征能力，通過訓(xùn)練單獨的網(wǎng)絡(luò)來替代多模態(tài)圖像匹配的某一環(huán)節(jié)，與其他方法結(jié)合構(gòu)建整體的多模態(tài)圖像匹配模型，具有較大的使用靈活度。

(2) 端到端深度網(wǎng)絡(luò)?；谏疃葘W(xué)習(xí)直接設(shè)計一個端到端的匹配網(wǎng)絡(luò)，如設(shè)計一種全自動多尺度多模態(tài)圖像匹配框架[84]，該框架由3個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)組成，分別對應(yīng)著特征空間提取、基于特征空間相關(guān)函數(shù)的匹配和離群點剔除，對于光學(xué)和SAR圖像匹配具有較好的匹配效果。LoFTR[85]在粗粒度上建立圖像特征的檢測、描述和匹配，然后在精粒度別上細化亞像素級別的密集匹配，且借鑒Transformer使用了自注意層和互注意層來獲得兩幅圖像的特征描述符。端到端的網(wǎng)絡(luò)結(jié)構(gòu)能夠同時學(xué)習(xí)特征檢測、特征描述符、相似性測度和粗差剔除，在訓(xùn)練時通過信息反饋能夠使特征匹配全流程最優(yōu)化，但單獨使用這類方法學(xué)習(xí)到的特征描述符時難以保證匹配效果。

通過風(fēng)格遷移的方式將不同模態(tài)的圖像轉(zhuǎn)化為統(tǒng)一模態(tài)的圖像也是一種解決多模態(tài)圖像匹配難題的有效途徑。深度學(xué)習(xí)中的生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)通過對抗訓(xùn)練的方式來使得生成網(wǎng)絡(luò)產(chǎn)生的樣本服從真實數(shù)據(jù)分布，為樣本數(shù)據(jù)受限下的深度學(xué)習(xí)異源匹配提供了解決途徑，可充分利用深度學(xué)習(xí)強大的非線性表征能力實現(xiàn)異源影像匹配。CGAN[86]通過融合殘差網(wǎng)絡(luò)(Resnet)和稠密網(wǎng)絡(luò)(DenseNet)構(gòu)建一種并行生成器模型，有效融合了各分支網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)點，在紅外—可見光圖像轉(zhuǎn)換中展示出優(yōu)良效果。SK-GAN[87]則以動態(tài)感受野獲取多尺度信息的生成結(jié)構(gòu)提高了生成圖像的質(zhì)量。KCG-GAN[88]通過使用k-means分割作為圖像生成器的輸入之一，以此通過約束空間信息合成來提高生成圖像的質(zhì)量，在SAR和光學(xué)圖像匹配上得到很好應(yīng)用。

基于數(shù)據(jù)驅(qū)動的多模態(tài)圖像匹配方法利用深度學(xué)習(xí)技術(shù)從數(shù)據(jù)中獲取高層的語義信息進行匹配，有著很強的泛化性，更接近人類視覺先觀察學(xué)習(xí)后了解掌握的原理，能有效地處理較大的輻射和幾何差異，且有著較好的適應(yīng)性，但同時也會對設(shè)備以及多模態(tài)圖像訓(xùn)練數(shù)據(jù)集有著更高的需求，相比于特征驅(qū)動的方法處理流程更加復(fù)雜[89]。

4 粗差剔除

在圖像匹配過程中，特別是在多模態(tài)圖像的匹配過程中，由于描述符的局限性和多模態(tài)圖像特征的復(fù)雜性，很難精準全面地描述多模態(tài)特征，因此會產(chǎn)生較多錯誤匹配，從而影響匹配的精度。粗差剔除(外點剔除)是在粗匹配的基礎(chǔ)上進一步濾除不符合圖像變換關(guān)系的匹配點對，有效提高了匹配精度，因此粗差剔除便成為多模態(tài)匹配框架的重要組成部分[90-91]，廣泛應(yīng)用于多模態(tài)圖像匹配過程中。最具代表性的粗差剔除方法就是用于模型擬合的穩(wěn)健估計器RANSAC[92]，其廣泛應(yīng)用于包括圖像匹配在內(nèi)的多種計算機視覺任務(wù)。該方法通過隨機采樣最小點集計算出模型參數(shù)，利用該模型對所有點對進行檢驗得到內(nèi)點集合。重復(fù)迭代該過程得到最大一致性內(nèi)點集合的同時，求得幾何估計參數(shù)。然而當(dāng)RANSAC面對一些復(fù)雜場景的多模態(tài)匹配時(如寬基線、多視角、非剛體場景，以及粗匹配中存在大量的外點的情況)，存在效率和穩(wěn)健性問題。針對復(fù)雜場景匹配粗差剔除難題，國內(nèi)外學(xué)者對此也展開了一些研究。GLOF[93]通過構(gòu)建多粒度鄰域結(jié)構(gòu)，利用其定義的閾值進行正確匹配點識別來實現(xiàn)非剛體匹配粗差剔除，但其構(gòu)建的鄰域結(jié)構(gòu)復(fù)雜，模型有待簡化。SOCBV[94]使用KNN密度估計和空間順序約束來估計每個匹配的后驗內(nèi)點類概率，通過雙邊鄰域投票進行特征點匹配。該算法每次從有向圖中刪除異常值并重新計算投票，直到滿足停止條件，且在每次迭代過程中，只能剔除一個錯誤匹配點，計算量太大。VFC(vector field consensus)[95]的主要思想是于向量場一致性逐步進行特征匹配，通過使用高斯混合模型建立圖像之間的變換模型，為避免計算復(fù)雜度高，對變換進行了稀疏逼近，從而實現(xiàn)外點去除。上述方法在去除錯誤匹配點時，雖然通過多次最大匹配點集的迭代實現(xiàn)多模型估計，但是時間復(fù)雜度大幅提升，不能適應(yīng)實時場景。隨著深度學(xué)習(xí)的興起，也有一些學(xué)者利用深度學(xué)習(xí)的方法來解決粗差剔除的問題。LMR[96]利用深度學(xué)習(xí)構(gòu)建類似RANSAC的粗差剔除網(wǎng)絡(luò)，將粗差剔除問題轉(zhuǎn)化為一個二分類問題，利用深度學(xué)習(xí)網(wǎng)絡(luò)對每個初始匹配對進行判定，從而實現(xiàn)粗差剔除的結(jié)果。

雖然粗差剔除方法比較多，并且取得了很好的應(yīng)用效果，但是也存在以下進一步研究的問題：①多模態(tài)場景較為復(fù)雜，常會出現(xiàn)多傳感器、多視角、多尺度、多時相共存的情況，單一的粗差剔除方法難以適應(yīng)這種復(fù)雜的情況，不同的粗差剔除方法各有自己的優(yōu)缺點，因此可聯(lián)合多種粗差剔除方法提高外點剔除效率。②對于多模態(tài)場景，巨大的幾何形變導(dǎo)致所有正確匹配點無法滿足一個模型，多次計算單一變換模型是一種解決思路，可通過多次最大匹配點集的迭代實現(xiàn)多模型估計，但是時間復(fù)雜度大幅提升，難以適應(yīng)實時應(yīng)用場景。

5 總結(jié)與展望

圖像匹配問題由來已久，學(xué)者們根據(jù)實際單方面需求在理論上進行突破使得現(xiàn)有的方法具有一定的實際應(yīng)用能力。從當(dāng)前圖像匹配的研究現(xiàn)狀來說，可選的圖像匹配方法種類非常多，不同方法適合不同的情況。筆者對各類算法進行簡要總結(jié)，見表1。

表1 多模態(tài)圖像匹配算法特點總結(jié)Tab.1 Summary of multi-modal image matching algorithm features

隨著遙感、人工智能、大數(shù)據(jù)等技術(shù)的不斷發(fā)展和應(yīng)用領(lǐng)域的拓展，智能化、精準化、實時化、高可靠的多模態(tài)圖像匹配方法必將成為未來主流。

(1) 嵌入模型與知識的遙感圖像匹配專用深度方法。目前絕大多數(shù)遙感圖像匹配的深度學(xué)習(xí)模型是從計算機視覺界引申而來的，往往忽略遙感數(shù)據(jù)自身的特性，比如數(shù)據(jù)驅(qū)動的模型存在內(nèi)部計算機理不明，無法解釋過程的基本物理依據(jù)，容易過擬合等缺陷，較少考慮不同的成像物理模型、大幅面多模態(tài)、遙感地學(xué)知識等，在解決復(fù)雜環(huán)境下的匹配問題常常力不從心，因此融合不同模態(tài)數(shù)據(jù)的成像探測機理與遙感地學(xué)知識，設(shè)計遙感圖像專用的智能深度學(xué)習(xí)網(wǎng)絡(luò)，挖掘?qū)W習(xí)遙感圖像中的深層語義信息，實現(xiàn)智能的多模態(tài)遙感圖像匹配是未來關(guān)注重點。

(2) 大范圍多維度的遙感圖像自適應(yīng)匹配。遙感圖像匹配應(yīng)用逐步從單源、單景、小范圍向多源區(qū)域乃至全球大范圍方向發(fā)展，覆蓋同一區(qū)域的有多數(shù)據(jù)源、多尺度的各種圖像數(shù)據(jù)，如何在算法上充分利用多圖像特性提高精度，如何考慮大范圍的并行計算方法提供處理效率值得探討；同時，近些年來日益發(fā)展壯大的空天遙感平臺敏捷成像特征及地面多手段成像，導(dǎo)致不同角度不同維度的遙感數(shù)據(jù)激增，比如多種空天傾斜遙感圖像及激光點云和地面車/人等獲取的街景圖像及點云數(shù)據(jù)，多視角、多維度的遙感數(shù)據(jù)匹配將成為未來主要挑戰(zhàn)之一。

(3) 在軌/在線的實時遙感圖像匹配。很多應(yīng)用情況下，比如軍事應(yīng)用、災(zāi)害應(yīng)急、突發(fā)事件處置等，特別是未來大量無人系統(tǒng)的應(yīng)用，都需要實時的圖像匹配，但由于遙感圖像的體量大、范圍廣、場景復(fù)雜的特點，從而導(dǎo)致遙感圖像匹配的計算量較大。對此需要關(guān)注星載在軌、機載/車載/手持端在線實時處理，需要探討輕量化深度學(xué)習(xí)網(wǎng)絡(luò)模型并設(shè)計軟硬一體的方法和裝置，來解決應(yīng)急情況下實時處理問題；另外，面向大規(guī)模應(yīng)用場景，設(shè)計“云、邊、端”一體化的遙感圖像實時匹配計算體系和方法模型，通過平衡I/O和計算資源來實現(xiàn)實時匹配。

(4) 時空大數(shù)據(jù)支撐的自動高可靠匹配。全自動、高可靠的匹配方法對于很多應(yīng)用場景至關(guān)重要，比如工業(yè)、安全、應(yīng)急救援、國防應(yīng)用等，由于實際場景的復(fù)雜性、多變性和遙感不同成像模式的局限性，單純依靠圖像數(shù)據(jù)難以實現(xiàn)高可信的匹配。隨著時空大數(shù)據(jù)的高速發(fā)展，覆蓋匹配區(qū)域的有包含地理信息和非空間數(shù)據(jù)的圖像、視頻、文字、表格等各種數(shù)據(jù)。如何利用這些大數(shù)據(jù)進行去偽存真、挖掘知識等來輔助圖像進行高可靠的匹配值得研究。