劉偉權(quán)，王程，臧彧，胡倩，于尚書，賴柏锜

1. 廈門大學(xué)信息學(xué)院，福建 廈門 361005；2. 福建省智慧城市感知與計算重點實驗室，福建 廈門 361005

0 引言

隨著對地觀測技術(shù)的快速發(fā)展，我國逐步形成了全天候、全球覆蓋的對地觀測能力，并建立了比較完善的航天遙感和靈活多樣的航空遙感數(shù)據(jù)獲取體系。依據(jù)遙感平臺的高度，遙感技術(shù)可劃分為地面遙感、航天遙感以及航空遙感。地面遙感指將地物波譜儀或各種傳感器安裝在船、車、高塔等平臺上的遙感技術(shù)系統(tǒng)；航天遙感指以載人飛船、太空站、人造衛(wèi)星等各種太空飛行器為平臺，搭載照相機、多譜段掃描儀、合成孔徑雷達（synthetic aperture radar，SAR）等傳感器的遙感技術(shù)系統(tǒng)；航空遙感指利用飛艇、飛機、氣球等平臺完成對地觀測任務(wù)的遙感技術(shù)系統(tǒng)。航空遙感影像成像比例尺大，地面分辨率高，測量精度高，適合小區(qū)域的資源探測和環(huán)境監(jiān)測。但航空遙感平臺高度和續(xù)航時間有限，成像質(zhì)量也易受天氣影響。航天遙感以衛(wèi)星遙感為主，衛(wèi)星的軌道高度可高達900多千米，其影像覆蓋面積大，能提供大范圍的地表信息。

近年來，高分辨率對地觀測系統(tǒng)的實施、商業(yè)遙感衛(wèi)星的投入運行以及無人機的普及，極大地豐富了遙感數(shù)據(jù)資源。目前，遙感技術(shù)已被廣泛應(yīng)用于環(huán)境保護、城市建設(shè)、災(zāi)害預(yù)報與災(zāi)情評估等領(lǐng)域；同時，智慧城市等國家重大戰(zhàn)略需求也與遙感技術(shù)息息相關(guān)，這意味著我國對遙感數(shù)據(jù)的需求急劇增長，也意味著遙感大數(shù)據(jù)時代已經(jīng)來臨。

遙感大數(shù)據(jù)以海量遙感數(shù)據(jù)為主，綜合其他多源遙感數(shù)據(jù)，運用大數(shù)據(jù)思維與手段，發(fā)掘海量數(shù)據(jù)中的知識規(guī)律和高價值信息[1]。遙感大數(shù)據(jù)雖然能夠多粒度、多時相、多方位和多層次地反映地物信息，但其數(shù)據(jù)量與日俱增、種類日益增多，且存在大量的冗余信息，使得從遙感數(shù)據(jù)中提取有效信息具有一定的挑戰(zhàn)。當(dāng)前，我國遙感信息提取利用率還不到數(shù)據(jù)獲取量的5%[2]，這表明遙感大數(shù)據(jù)的高價值信息尚未被充分挖掘。

遙感信息提取經(jīng)歷了3個主要發(fā)展階段。第一階段（20世紀60年代至80年代）主要采用數(shù)字信號處理方法完成遙感數(shù)據(jù)分析任務(wù)[3]。Swain P H等人[4]運用統(tǒng)計模型從遙感數(shù)據(jù)中提取信息，并在此基礎(chǔ)上研究了各種數(shù)據(jù)采集系統(tǒng)，為開發(fā)應(yīng)用于遙感數(shù)據(jù)分析的統(tǒng)計建模技術(shù)奠定了基礎(chǔ)。常用的信息提取模型有模糊聚類[5]、目視解譯[6]、決策樹分類[7]等。然而，由于各地區(qū)地形特征不同，統(tǒng)計方法很難應(yīng)用于不同的區(qū)域和環(huán)境。1990年，隨著“定量遙感時代”的來臨，遙感信息提取技術(shù)步入了第二階段。此時，美國EOS（Earth Observation System）衛(wèi)星開始通過中分辨率成像光譜儀（middle resolution imaging spectrometer，MODIS）提供全球定量遙感產(chǎn)品，使得研究人員可以利用這些產(chǎn)品開發(fā)物理模型。與統(tǒng)計模型相比，物理模型可以解決更多不同的應(yīng)用問題，但物理模型通?；趶?fù)雜的非線性方程式，并且需要許多輸入?yún)?shù)和先驗知識。由于遙感大數(shù)據(jù)體量巨大、種類繁多、動態(tài)多變、冗余模糊，統(tǒng)計模型和物理模型需耗費大量人力資源，且處理效率低。到了21世紀初期，遙感信息提取技術(shù)步入第三階段，包括人工神經(jīng)網(wǎng)絡(luò)、支持向量機（support vector machine，SVM）在內(nèi)的淺層學(xué)習(xí)方法已被廣泛運用于遙感信息提取任務(wù)。但是，淺層學(xué)習(xí)方法中使用的樣本數(shù)據(jù)較小，其建模得到的模型參數(shù)的數(shù)量也非常有限。因此，這些模型的泛化能力較弱，從而限制了模型的通用性。為了解決上述問題，已有許多學(xué)者將深度學(xué)習(xí)方法應(yīng)用于遙感數(shù)據(jù)，如高空間分辨率圖像分割[8]、高光譜圖像分類[9]、遙感圖像變化檢測[10]等。深度學(xué)習(xí)方法側(cè)重于從數(shù)據(jù)本身提取特征和信息，而不是依靠專家的先驗知識，因此可以降低傳統(tǒng)遙感信息處理方法對先驗知識的依賴性。雖然深度學(xué)習(xí)方法可以顯著提高模型的準(zhǔn)確性，但其仍然面臨著諸多挑戰(zhàn)，如遙感數(shù)據(jù)體量巨大，存儲、讀取和分析如此大量的遙感數(shù)據(jù)非常困難；在實際應(yīng)用中，接近實時的遙感大數(shù)據(jù)處理和信息提取非常具有挑戰(zhàn)性；遙感圖像質(zhì)量易受到大氣影響、環(huán)境干擾、傳感器抖動等因素的影響，使獲取的數(shù)據(jù)存在不確定性，從而難以從數(shù)據(jù)中獲取有價值的信息。

本文調(diào)研了近年來基于遙感大數(shù)據(jù)的信息提取技術(shù)的研究工作，從遙感目標(biāo)檢測、遙感地物分割、遙感變化檢測三方面闡述了遙感信息提取技術(shù)的發(fā)展歷程，對遙感目標(biāo)檢測、遙感地物分割、遙感變化檢測3個任務(wù)的各個發(fā)展階段及代表性方法進行了梳理，并對遙感信息提取技術(shù)進行了展望。

1 遙感目標(biāo)檢測

遙感圖像數(shù)據(jù)集[11-12]通常包含圖像和實例，涵蓋若干個對象類，如飛機、機場、棒球場、籃球場、橋梁、煙囪、水壩、高速公路服務(wù)區(qū)、高速公路收費站、港口、高爾夫球場、地面田徑場、天橋、船舶、體育場、儲罐、網(wǎng)球場、火車站、車輛等。其中有些涵蓋了人類居住環(huán)境的部分類型地面特征，有些則包括了冰川、沙漠和戈壁等極端陸地環(huán)境。數(shù)據(jù)庫中除了包含很小的目標(biāo)，還表現(xiàn)出不同的可變性，例如多個方向的光照或陰影變化、鏡面反射或遮擋。相比傳統(tǒng)數(shù)據(jù)，遙感數(shù)據(jù)因其分辨率等問題更加難以檢測，如大場景的快速檢測、目標(biāo)檢測的領(lǐng)域遷移、小樣本下的目標(biāo)檢測、SAR圖像和光學(xué)的融合檢測以及云霧干擾下的檢測等。隨著手工特征的性能趨于飽和，目標(biāo)檢測在2010年之后達到了一個穩(wěn)定的水平。2012年，卷積神經(jīng)網(wǎng)絡(luò)再次興起，逐漸被研究學(xué)者們應(yīng)用在各種計算機視覺任務(wù)中。由于深度卷積網(wǎng)絡(luò)能夠?qū)W習(xí)圖像的魯棒性和高層次特征表示，2014年有研究團隊提出利用具有卷積神經(jīng)網(wǎng)絡(luò)特征的區(qū)域進行目標(biāo)檢測。目前，結(jié)合深度學(xué)習(xí)進行遙感圖像目標(biāo)檢測是解決問題的有效手段之一，下面將歸納遙感圖像的各種目標(biāo)檢測技術(shù)，并解釋概念細節(jié)。

遙感圖像目標(biāo)檢測方法主要包括兩個分支：傳統(tǒng)遙感圖像目標(biāo)檢測和基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測，如圖1所示。其中，傳統(tǒng)遙感圖像目標(biāo)檢測主要包括3類方法：一是模板匹配方法，該類方法使用相應(yīng)的模板對目標(biāo)圖像進行比對，找出圖像中符合模板特征的事物，但該方法缺乏魯棒性；二是基于專家知識的方法，該類方法主要通過專家定義的規(guī)則對目標(biāo)進行定義和選擇，從而達到目標(biāo)檢測的目的；三是傳統(tǒng)機器學(xué)習(xí)方法，該類方法通過人工設(shè)計的圖像特征，對目標(biāo)進行定義和檢測?；谏疃葘W(xué)習(xí)的遙感圖像目標(biāo)檢測主要分為兩類方法：一是兩階段目標(biāo)檢測方法，該類方法需要先提取目標(biāo)的邊界框，再對目標(biāo)進行分類；二是一階段目標(biāo)檢測方法，該類方法將邊界框檢測和目標(biāo)分類兩個任務(wù)合并為一步完成。

圖1 遙感圖像目標(biāo)檢測技術(shù)路線

相對于普通圖像目標(biāo)檢測，遙感圖像目標(biāo)檢測存在以下挑戰(zhàn)。一是圖像分辨率高。圖像分辨率高會帶來尺度效應(yīng)，不同分辨率導(dǎo)致圖像目標(biāo)檢測出現(xiàn)不同的結(jié)果，遙感圖像目標(biāo)檢測過程中，需要選擇不過低也不過高的分辨率，以得到可用的檢測結(jié)果。二是圖像多光譜數(shù)據(jù)。相比普通三波段圖像，遙感圖像的光譜分辨率高、數(shù)據(jù)冗余性高，在基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測過程中容易產(chǎn)生過擬合。因此選擇基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測方法時，通常采用具有代表性的波段進行算法分析。三是圖像遮擋。遙感圖像容易受到云霧的遮擋，導(dǎo)致目標(biāo)檢測算法無法檢測相關(guān)目標(biāo)，現(xiàn)有的研究中使用的數(shù)據(jù)預(yù)處理[13]和修正算法適用于薄云薄霧場景。

隨著遙感圖像分辨率達到亞米級的形態(tài)，高分辨率的圖像提供了更豐富的顏色、紋理、輪廓等信息。傳統(tǒng)遙感圖像目標(biāo)檢測算法依賴于先驗知識與圖像處理技術(shù)，對特征設(shè)計和圖像質(zhì)量有較高的要求，可以在簡單的場景中取得不錯的結(jié)果，但是，傳統(tǒng)遙感圖像目標(biāo)檢測算法只針對某一個特定的場景設(shè)計，其泛化性弱且難以在復(fù)雜的環(huán)境中提供穩(wěn)定的魯棒性；基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測方法可以處理大規(guī)模的高分辨率圖像，并在遙感圖像云霧遮擋方面提供解決方案，在準(zhǔn)確率和召回率方面領(lǐng)先于傳統(tǒng)遙感圖像目標(biāo)檢測方法，但是仍存在對計算資源要求高、目標(biāo)檢測的實時性低問題。

1.1 傳統(tǒng)遙感圖像目標(biāo)檢測

傳統(tǒng)遙感圖像目標(biāo)檢測方法可以分為以下幾類：模板匹配方法、基于專家知識的方法和傳統(tǒng)機器學(xué)習(xí)方法。

（1）模板匹配方法

模板匹配方法是最早被提出的遙感圖像目標(biāo)檢測方法[14]，其過程如下：首先建立檢測目標(biāo)的標(biāo)準(zhǔn)模板庫，然后從遙感圖像中提取特征向量進行檢測，并將其與模板對應(yīng)的特征向量進行比較。這種方法依賴于手動設(shè)計的先驗知識模板庫，且計算復(fù)雜。根據(jù)用戶選擇的模板類型，通常將基于模板匹配的對象檢測方法分為兩類：剛性模板匹配和可變形模板匹配。

剛性模板匹配方法需設(shè)計多種剛性模板用于檢測具有簡單外觀和較小變化的特定對象。例如McKeown D M等人[15]提出基于道路輪廓相關(guān)性的道路跟蹤方法，通過識別偏移和寬度這兩個幾何參數(shù)，以及亮度的兩個輻射度參數(shù)，測量參考輪廓和目標(biāo)輪廓的失真。Zhou J等人[16]提出兩個配置條件（一個與道路方向正交，另一個與道路方向平行）并引入了一種道路跟蹤系統(tǒng)。Kim T等人[17]利用矩形模板而不是輪廓，構(gòu)建了最小二乘相關(guān)模板匹配方法來跟蹤道路的中心線。Zhang J X等人[18]提出了一種半自動的道路跟蹤模板匹配方法，該方法通過用戶在所選道路上輸入種子點，使用輻條輪（spoke wheel operator）算法獲取道路方向和寬度來生成矩形參考模板及其起點，并計算參考模板和目標(biāo)模板灰度值的差異及歐幾里得距離變換來執(zhí)行匹配。雖然剛性模板匹配在某些特定遙感目標(biāo)檢測中是有效的，但要求模板非常精確，因此該類方法對形狀和密度的變化較為敏感。在實際應(yīng)用中，由于視點變化或?qū)ο笾g的類內(nèi)差異較大，通常無法獲得對象的精確幾何模板。

可變形模板匹配[19]在處理形狀變形和類內(nèi)變化方面比剛性模板匹配更加強大和靈活，其既可以對形狀施加幾何約束，又可以整合局部圖像證據(jù)?？勺冃文０逋ㄟ^約束常規(guī)規(guī)則（例如連續(xù)性、平滑度等）表示對象形狀，其中比較流行的方法包括主動輪廓模型，其也被稱為蛇形（snake）模型。簡而言之，“snake”能夠彈性變形，但任何變形都會增加其內(nèi)部能量，進而引起回復(fù)力，試圖使其恢復(fù)原始形狀[20]。Peng J等人[21]提出了一種改進的蛇形模型，通過修改傳統(tǒng)蛇形模型中初始種子的選擇標(biāo)準(zhǔn)和外部能量函數(shù)，進行灰度航拍圖像的建筑物檢測。Niu X T[22]設(shè)計了一種基于幾何主動輪廓模型的半自動框架，用于高速公路提取和航空攝影中的車輛檢測。Liu G等人[23]提出了一種使用基于形狀的全局最小化主動輪廓模型提取具有規(guī)則形狀的地理空間對象的算法。Xu C F等人[24]描述了一種形狀匹配方法用于在低空識別飛機（如圖2所示），并提出了一種具有邊緣勢場函數(shù)（edge potential function，EPF）的人工蜂群（artificial bee colony，ABC）算法。

圖2 利用形狀匹配方法進行飛機檢測[24]

（2）基于專家知識的方法

基于專家知識的方法是光學(xué)遙感圖像中對象檢測的另一種流行方法?；趯＜抑R的目標(biāo)檢測已有大量的研究工作以及通用的對象提取應(yīng)用程序，例如滑坡、橋梁、車輛、城市土地變化、農(nóng)作物、排水渠、森林等目標(biāo)提取?；趯＜抑R的目標(biāo)檢測方法通過建立各種知識和規(guī)則將對象檢測問題轉(zhuǎn)換為假設(shè)測試問題。其中，知識和規(guī)則的建立是最重要的步驟，廣泛運用的知識是幾何知識和上下文知識。幾何知識是建模對象的外觀形狀，上下文知識則是建模對象與背景之間以及對象與對象之間的空間約束關(guān)系[25]。在幾何知識和上下文知識能有效減少噪聲干擾的基礎(chǔ)上，基于專家知識的方法的關(guān)鍵步驟是建立專家知識。但基于專家知識的人為構(gòu)造過于依賴主觀因素，會導(dǎo)致誤報和漏檢，進而造成檢測效果差。

幾何知識是用于對象檢測的非常重要和廣泛使用的知識，它采用參數(shù)特定或通用形狀模型對先驗知識進行編碼。Trinder J C等人[26]提出了一種包含幾何和輻射特性的道路模型，使用手工規(guī)則生成道路假設(shè)，并采用自上而下的過程驗證道路假設(shè)。Huertas A等人[27]假定建筑物是矩形或由矩形組件組成的，并使用這些通用模型檢測建筑物。Weidner U等人[28]通過建立和使用參數(shù)化與棱柱形建筑模型形式的顯式幾何約束知識，從高分辨率數(shù)字高程模型（digital elevation model，DEM）中提取建筑的3D形狀。McGlone J C等人[29]提出將目標(biāo)幾何和度量知識加入建筑物提取系統(tǒng)中，以生成建筑物假設(shè)模型，并最終用陰影信息驗證所生成的假設(shè)。

上下文知識是基于專家知識的對象檢測的另一關(guān)鍵感知信息，非常廣泛使用的上下文知識是對象與背景之間的空間約束或關(guān)系，以及相關(guān)對象與其鄰近區(qū)域進行交互的信息。陰影信息被認為是建筑物檢測的重要線索之一。Irvin R B等人[30]利用人造結(jié)構(gòu)與其投射陰影之間的關(guān)系預(yù)測建筑物的位置和形狀，Liow Y T等人[31]使用陰影信息完成邊界分組過程。Ok A O[32]使用陰影信息從單目超高分辨率圖像中自動檢測具有任意形狀的建筑物，并提出一種新的模糊景觀生成方法，對建筑物及其陰影之間的定向空間關(guān)系進行建模。Lin C G等人[33]提出了一種從傾斜航拍圖像中檢測建筑物的方法，其遵循建筑物形狀為直線的基本假設(shè)，用陰影和墻壁信息對假設(shè)的矩形建筑物進行驗證。Peng J等人[34]開發(fā)了一個陰影上下文模型，通過將陰影信息與上下文結(jié)合來驗證建筑物區(qū)域，從而在密集的城市航拍圖像中提取建筑物?；趯＜抑R的方法的核心是有效地將目標(biāo)對象的隱性知識理解轉(zhuǎn)化為顯式檢測規(guī)則。

（3）傳統(tǒng)機器學(xué)習(xí)方法

傳統(tǒng)機器學(xué)習(xí)方法首先從圖像中提取感興趣的區(qū)域，然后提取這些感興趣區(qū)域的特征，并將這些特征輸入經(jīng)過訓(xùn)練的分類器中進行判斷，最后通過非極大值抑制去除多余的候選區(qū)域，進而得到檢測結(jié)果。

方向梯度直方圖（histogram of oriented gradient，HOG）特征最早由Dalal N等人[35]提出，其通過空間分布區(qū)域中的梯度強度和方向分布表示對象，已被廣泛認為是捕獲對象的邊緣或局部形狀信息的優(yōu)秀功能之一。Zhang W C等人[36]通過尺度不變特征變換（scaleinvariant feature transform，SIFT）描述符主導(dǎo)方向的坐標(biāo)和梯度方向?qū)崿F(xiàn)旋轉(zhuǎn)不變HOG特征提取。Shi Z W等人[37]將圓周頻率特征和HOG特征結(jié)合，提出了一種用于船只檢測的圓周頻率HOG特征，如圖3所示。Zhang W C等人[38]提出GDPBM（generic discriminative partbased model），引入了一種生成HOG變體的策略，即將每個像素的梯度方向都通過極角進行歸一化，然后根據(jù)新像素生成HOG特征，并用于車輛檢測。

圖3 遙感圖像船只檢測結(jié)果[37]

詞袋（bag-of-word，BoW）模型[39]是過去比較流行的目標(biāo)檢測模型之一。BoW模型在視點變化和背景比較混亂的情況下具有簡單性、效率高和不變性的優(yōu)點，并在地理圖像分類和地理空間物體檢測方面表現(xiàn)良好。構(gòu)造BoW模型通?？煞譃?個步驟：①從圖像中檢測關(guān)鍵點，例如Harris-Laplacian檢測器[40]和高斯差分（difference of Gaussian，DoG）檢測器[41]；②對檢測到的圖像關(guān)鍵點計算局部描述符，例如SIFT描述符[41]；③對局部描述符使用聚類技術(shù)（例如k均值算法）構(gòu)建視覺詞匯并創(chuàng)造字典；④將每個關(guān)鍵點矢量量化為字典中的可視單詞，這一步驟通常被稱為編碼模塊；⑤合并步驟，該步驟將已編碼的本地描述符合并為全局直方圖表示形式，例如均值合并。Lazebnik S等人[42]的研究表明，在合并步驟中考慮關(guān)鍵點的空間布局非常重要?？臻g金字塔匹配（spatial pyramid matching，SPM）是BoW模型的一個常用例子，它將圖像劃分為越來越精細的空間子區(qū)域，并分別為每個子區(qū)域構(gòu)建直方圖。例如Bai X等人[43]將BoW和SVM運用于遙感圖像飛機場、船艦、房屋、運動場、橋梁和綠地的目標(biāo)檢測。

1.2 基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測方法

當(dāng)前主流的基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測框架按任務(wù)分解可分為一階段目標(biāo)檢測方法和兩階段目標(biāo)檢測方法。兩階段目標(biāo)檢測方法基于多級深度特征預(yù)測幾個候選對象的區(qū)域，然后將其送到分類/回歸網(wǎng)絡(luò)中以獲得對象的類別和位置。一階段目標(biāo)檢測方法可分為兩類，一類是基于錨點的方法，另一類是無錨的方法。一階段目標(biāo)檢測方法運用回歸思想，不需要額外提取候選目標(biāo)區(qū)域，而是直接從多級深度特征圖中進行目標(biāo)分類和位置回歸，最后輸出目標(biāo)檢測結(jié)果?；谏疃葘W(xué)習(xí)的遙感圖像目標(biāo)檢測方法發(fā)展歷程如圖4所示。

圖4 基于深度學(xué)習(xí)的遙感圖像目標(biāo)檢測方法發(fā)展歷程

（1）兩階段目標(biāo)檢測方法

基于目標(biāo)區(qū)域的兩階段目標(biāo)檢測框架主要基于多層深度特征預(yù)測可能包含目標(biāo)的多個候選區(qū)域，并將它們輸入分類和回歸網(wǎng)絡(luò)中，以預(yù)測目標(biāo)的類別和位置。Girshick R[44]等人基于區(qū)域提取的算法提出了R-CNN（regions with CNN feature），主要包括4個步驟：候選區(qū)域提取、特征提取、基于SVM分類器的對象類別分類和邊界框回歸。首先，利用選擇性搜索算法提取約2000個候選區(qū)域；其次，將每個候選區(qū)域調(diào)整為固定大小，并送至卷積神經(jīng)網(wǎng)絡(luò)模型；然后，獲得固定長度的特征向量；最后，將特征向量輸入經(jīng)過訓(xùn)練的SVM分類器中，以預(yù)測候選區(qū)域中的目標(biāo)屬于每個類別的概率，并通過線性回歸完善預(yù)測框的位置。

為了解決R-CNN在遙感圖像中無法克服旋轉(zhuǎn)不變性的問題，RICNN（rotation-invariant CNN）[45]在RNN的基礎(chǔ)上，學(xué)習(xí)一個旋轉(zhuǎn)不變層，保證了目標(biāo)在不同的角度下保持旋轉(zhuǎn)不變性，實現(xiàn)了遙感圖像的車輛檢測。RIFDCNN[46]在RICNN的基礎(chǔ)上，通過改進特征描述符，引入了一個新型的損失函數(shù)，并結(jié)合正則化和Fisher描述符模塊，實現(xiàn)了遙感圖像的車輛檢測。USB-BBR[47]通過訓(xùn)練不斷地優(yōu)化回歸框的預(yù)測，以無監(jiān)督訓(xùn)練方式提高了目標(biāo)檢測的性能，實現(xiàn)了油塔、飛機、天橋和操場的目標(biāo)檢測任務(wù)。

針對Fast R-CNN算法的不足，Ren S Q等人[48]在2015年提出了Faster R-CNN。Faster R-CNN算法使用區(qū)域提議網(wǎng)絡(luò)（region proposal network，RPN）代替Fast R-CNN中的選擇性搜索方法，并將框架分為兩部分：候選區(qū)域提取網(wǎng)絡(luò)，以及分類或回歸網(wǎng)絡(luò)。提取的候選區(qū)域被嵌入深度卷積神經(jīng)網(wǎng)絡(luò)中，通過聯(lián)合損失和交替訓(xùn)練建立統(tǒng)一的目標(biāo)檢測網(wǎng)絡(luò)，進一步提高了算法的準(zhǔn)確性和速度。

基于Faster R-CNN的遙感圖像處理網(wǎng)絡(luò)R3-Net[48]通過在區(qū)域提取網(wǎng)絡(luò)中引入旋轉(zhuǎn)角度獲得了旋轉(zhuǎn)不變性，并運用于車輛目標(biāo)檢測。AVPN[49]將Fast R-CNN運用于車輛形狀的錨點設(shè)計。RoI Transformer[50]將網(wǎng)絡(luò)學(xué)習(xí)得到的水平框改為擁有6個自由度的旋轉(zhuǎn)框，解決了目標(biāo)的旋轉(zhuǎn)問題，在DOTA數(shù)據(jù)集和船只檢測中得到了驗證。RoI Transformer方法的檢測結(jié)果如圖5所示。Xu Y C等人[51]提出直接使用網(wǎng)絡(luò)準(zhǔn)確描述旋轉(zhuǎn)框各個方向和位置的方法，并將其運用于DOTA數(shù)據(jù)集[52]的目標(biāo)檢測和船只檢測。

圖5 RoI Transformer方法的檢測結(jié)果

（2）一階段目標(biāo)檢測方法

一階段目標(biāo)檢測方法屬于端到端檢測框架，其基于回歸的檢測框架策略不需要額外提取候選區(qū)域，而是直接從多層特征圖中進行目標(biāo)分類和位置回歸，并輸出目標(biāo)檢測結(jié)果。

Redmon J[53]于2016年提出了目標(biāo)檢測框架YOLO。與將目標(biāo)檢測分為兩個階段的基于區(qū)域提取的算法不同，YOLO直接將目標(biāo)檢測視為回歸問題。YOLO采用單個卷積神經(jīng)網(wǎng)絡(luò)，并使用整個圖像作為訓(xùn)練的輸入，只需一次操作即可獲得邊界框和類別概率的預(yù)測結(jié)果，具體過程如下：首先將輸入圖像劃分為S×S的網(wǎng)格，每個網(wǎng)格僅負責(zé)該網(wǎng)格的分類和邊界框預(yù)測；其次，在特征提取后，每個網(wǎng)格采用softmax分類器和線性回歸輸出對象檢測結(jié)果。YOLO并不是候選區(qū)域生成網(wǎng)絡(luò)，因此大大減少了網(wǎng)絡(luò)的計算量并極大提高了檢測速度，從而可以幾乎實時地完成目標(biāo)檢測任務(wù)。然而，由于粗略的網(wǎng)格劃分，小物體和緊密相連物體的檢測性能較差。YOLT[54]旨 在從大范圍的遙感圖像中快速檢測感興趣目標(biāo)，其借鑒YOLO的思想設(shè)計了新的檢測建筑模型，檢測速度能夠達到0.5 km2/s以上，如圖6所示。R3Det[55]為了解決基于回歸方法提取的特征未對齊問題，設(shè)計了一個特征細化模塊，通過特征插值實現(xiàn)特征重構(gòu)和對齊，極大提升了目標(biāo)檢測精度，并應(yīng)用于遙感圖像的飛機檢測中。

圖6 利用YOLT[54]從大范圍遙感圖像中快速檢測感興趣目標(biāo)

為了解決YOLO框架的對象位置預(yù)測性能差的問題，Liu W等人[56]于2016年提出了SSD（single shot multibox detector）算法。SSD引入了錨定機制，在特征圖上定義了一組具有不同大小和縱橫比的默認邊界框，然后使用卷積神經(jīng)網(wǎng)絡(luò)提取特征并進行分類和回歸后，立即采用不同大小的卷積核為特征圖上每個默認邊界框?qū)?yīng)區(qū)域中的對象類別生成相應(yīng)的概率得分，進而不斷調(diào)整默認邊界框位置以實現(xiàn)準(zhǔn)確的定位。最后，通過非極大值抑制（nonmaximum suppression，NMS）篩選獲得最終的檢測結(jié)果[56]。為了提高檢測精度，SSD還采用多尺度策略在不同尺度的特征圖上進行預(yù)測，使得能夠進行端到端訓(xùn)練，且速度比YOLO更快，同時在檢測精度上與Faster R-CNN相當(dāng)。DRBOX[57]在基于SSD的遙感圖像任務(wù)上加入了適應(yīng)旋轉(zhuǎn)特性目標(biāo)的多角度變化，并通過基于車輛、船艦、飛機的目標(biāo)檢測實驗，系統(tǒng)地分析了相比旋轉(zhuǎn)框，水平框在遙感圖像目標(biāo)檢測中的不足。

1.3 小結(jié)

遙感圖像的目標(biāo)檢測前期研究主要通過手工設(shè)計模板匹配方法和基于專家知識的方法，由于該類方法在模型的構(gòu)造與匹配過程中采用規(guī)則算法，導(dǎo)致此類算法適用于形狀比較規(guī)則的剛性物體，魯棒性差，難以應(yīng)用于環(huán)境多變的場景，因此早期的目標(biāo)檢測運用場景比較局限且簡單。傳統(tǒng)機器學(xué)習(xí)方法將統(tǒng)計規(guī)則應(yīng)用于目標(biāo)檢測中，統(tǒng)計方法與像素計算有效地檢測線、角點等規(guī)則結(jié)構(gòu)，在檢測目標(biāo)形狀方面有較好的魯棒性，但由于其在紋理感知和細節(jié)感知方面的缺陷，難以表征復(fù)雜的物體?；谏疃葘W(xué)習(xí)的遙感圖像目標(biāo)檢測方法將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于遙感圖像的目標(biāo)檢測，增強了算法圖像紋理感知能力和目標(biāo)變化適應(yīng)能力，因此在檢測性能上有了較大的提升，且可用于檢測復(fù)雜物體。但該方法仍受限于圖像分辨率、天氣和計算能力等因素，提高其對外界環(huán)境的適應(yīng)性仍是研究的難點。

2 遙感地物分割

遙感圖像分割是基于地理對象進行圖像分析的關(guān)鍵和重要步驟，一般定義為將圖像劃分為同質(zhì)組的過程，即每個區(qū)域都是同質(zhì)的，但相鄰的兩個區(qū)域的并集都不是同質(zhì)的。實際上，不同的應(yīng)用對圖像分割有不同的解釋，例如，在機器視覺應(yīng)用中，其被看作低水平和高水平視覺子系統(tǒng)之間的橋梁；在醫(yī)學(xué)成像中，其被作為一種用于描述感興趣的解剖結(jié)構(gòu)的工具；在遙感圖像中，它通常被視為景觀變化檢測和土地利用/覆被分類的輔助手段，可通過輸入衛(wèi)星遙感影像，自動識別道路、河流、莊稼、建筑物等，并且對圖像中的每個像素進行標(biāo)注。圖7展示了遙感圖像語義分割結(jié)果。

圖7 遙感圖像語義分割結(jié)果示例

遙感圖像分割數(shù)據(jù)集[58-59]中有來自不同地區(qū)、國家和城市的像素級的建筑、道路和背景標(biāo)簽，覆蓋區(qū)域有柏林、芝加哥、巴黎、波茨坦、上海、莫斯科和蘇黎世等城市。地物真實圖像通常包括一張遙感圖像，以及手動生成的具有像素級標(biāo)簽的建筑、道路和背景。上述具有像素級標(biāo)簽的遙感圖像在進行智能處理時，將以RGB順序進行排序的三通道PNG圖像作為輸入，通常被標(biāo)記為建筑物、道路和背景等的像素級標(biāo)簽。目前國際上采用的數(shù)據(jù)集大多為公開的標(biāo)準(zhǔn)航空數(shù)據(jù)集，這為高光譜遙感圖像分割技術(shù)的發(fā)展提供了極大的幫助。然而，隨著地物特征提取技術(shù)與分類分割理論的發(fā)展，許多遙感數(shù)據(jù)集因空間分辨率有限、標(biāo)注標(biāo)簽樣本占比少、類別精細度不高等問題，已經(jīng)難以滿足研究人員對于地物的進一步精細分類分割的需求，亟須一套新型的具有更高的空間分辨率、地物精細度和樣本占比率的遙感地物分類分割數(shù)據(jù)集。遙感圖像通常具有幅面大、內(nèi)容復(fù)雜、目標(biāo)朝向任意、尺度范圍大、排布密集、對比度低等問題，這些都是在分割任務(wù)中會遇到的問題。

圖像分割的目標(biāo)是將圖像分割成一組脫節(jié)的區(qū)域，這些區(qū)域因紋理、顏色、形狀、大小和灰度等特定屬性而不同。從20世紀末開始，大量的遙感圖像分割方法涌現(xiàn)出來。首先是基于邊緣檢測的圖像分割算法和基于區(qū)域分割的圖像分割算法，這兩種方法是早期遙感圖像分割領(lǐng)域的主流方法，分別從待分割目標(biāo)的邊緣和內(nèi)部區(qū)域著手進行分割。緊接著，有研究人員提出將這兩種方法結(jié)合以彌補相互之間的缺點，進而出現(xiàn)了混合分割的方法。近幾年，隨著機器學(xué)習(xí)尤其是深度學(xué)習(xí)的迅猛發(fā)展，常見的殘差網(wǎng)絡(luò)（residual network，ResN et）和U-Net都是通過卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)分割的先進方法，還有大量基于深度神經(jīng)網(wǎng)絡(luò)的分割算法取得了非常好的效果。后文綜述了遙感圖像的各種圖像分割技術(shù)，并解釋了這些技術(shù)的概念細節(jié)和相互關(guān)系。

2.1 遙感圖像邊緣檢測分割

遙感圖像中目標(biāo)的邊緣是最能代表圖像信息的線索，這些邊緣標(biāo)示了圖像在灰度、彩色、紋理等方面不連續(xù)的位置。遙感圖像邊緣檢測分割技術(shù)首先識別邊緣，然后使用輪廓算法關(guān)閉它們。它假設(shè)在邊緣之間，像素屬性會突然改變。從這個角度來看，邊緣被視為物體之間的邊界，并位于發(fā)生變化的地方。通過邊緣檢測進行分割是早期的分割方法之一，且至今其仍然是非常重要的方法。目前有很多算法可以用來識別目標(biāo)的邊緣，進而捕捉圖像目標(biāo)的幾何和物理特征。然而，邊緣分割的最常見問題是在沒有邊界的地方出現(xiàn)了邊緣以及在實際存在邊界的地方?jīng)]有出現(xiàn)邊緣，這些由圖像噪聲或圖像中的不良信息造成的干擾會影響分割的精度。圖8展示了不同邊緣懲罰的分割結(jié)果[60]，其中下排圖像是上排圖像目標(biāo)區(qū)域?qū)?yīng)放大后的效果。

圖8 不同邊緣懲罰的分割結(jié)果[60]

Jain R C等人[61]將邊緣檢測分為3個步驟：濾波、增強和檢測。不同的濾波方法被用來產(chǎn)生最小的模糊和邊緣位移。增強則是指局部強度值有顯著變化的像素[62]，其中增強數(shù)據(jù)用于檢測真實邊緣。然而，所有的邊緣檢測算子都會產(chǎn)生斷邊，并錯過一些基本的邊，研究人員通常會根據(jù)偽邊緣、缺失邊緣、邊緣角度、與真邊緣的距離和失真度對每個算子的性能進行評估。識別完邊緣后，下一步就是將邊緣轉(zhuǎn)換為封閉邊界。這個步驟通常包括排除由噪聲產(chǎn)生的邊緣和決定連接哪些邊緣部分，組成一個單一的對象，從而實現(xiàn)了分割。研究人員還利用鄰域搜索來尋找候選連接的邊緣像素。譚玉敏等人[8]提出了基于邊界引導(dǎo)的多尺度遙感圖像分割算法，他們將該算法用于解決高分辨率遙感圖像分割過程中的區(qū)域合并復(fù)雜性問題。然而，通過識別完美的邊緣來創(chuàng)建圖像對象仍然是一個挑戰(zhàn)。

在邊緣檢測分割方法中，還有一種常見的分割方法是基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測算法，即分水嶺變換（watershed transform，WT）[63]。數(shù)學(xué)形態(tài)學(xué)比傳統(tǒng)的邊緣檢測算法更有效，因此，小波變換成為遙感領(lǐng)域最流行的圖像邊緣檢測分割方法。分水嶺變換方法借助地形學(xué)概念分割圖像，并將圖像轉(zhuǎn)換為梯度，識別具有地形表面的對象。小波變換首先識別段邊界，然后創(chuàng)建對象，因此可以認為它是一種基于邊緣的方法。例如，肖鵬峰等人[64]依據(jù)分水嶺的思想，提出了基于相位一致的高分辨率遙感圖像分割方法，其考慮到領(lǐng)域相位信息對圖像具有一定的表征能力，于是通過相位一致來計算圖像特征，并運用Log-Gabor小波提取圖像的多尺度梯度，該方法的性能很大程度上依賴于計算待分割圖像的梯度。在分水嶺分割中，由于噪聲或紋理模式，典型的梯度算子會產(chǎn)生過分割的結(jié)果，其性能仍有待提升。

2.2 遙感圖像區(qū)域分割

圖像中某個物體的區(qū)域即物體或物體表面的像元集合通常表現(xiàn)為二維的團塊狀，這是區(qū)域的基本形狀特點之一。圖像區(qū)域分割通過利用圖像中同一區(qū)域的均勻性來識別不同的區(qū)域，從而進行分割，與邊緣檢測分割方法一樣，其同樣屬于早期的分割方法大類之一。圖像區(qū)域分割可能產(chǎn)生與圖像邊緣檢測分割截然不同的結(jié)果，其假設(shè)同一區(qū)域內(nèi)的相鄰像素具有相似的值，具體的分割流程為：獲得一個初始圖像的分割結(jié)果，然后合并或分裂相似或不同的區(qū)域，最后通過重復(fù)前面的步驟直到?jīng)]有區(qū)域應(yīng)該合并或分裂。該類方法計算簡單，適用于小目標(biāo)結(jié)構(gòu)，但其對噪聲敏感，經(jīng)常導(dǎo)致抽取的區(qū)域有空洞，并且不同的合并順序也會出現(xiàn)不同的合并結(jié)果。圖9展示了居住和森林混合試驗區(qū)的尺度參數(shù)最低的分割結(jié)果[65]。

圖9 居住和森林混合試驗區(qū)的尺度參數(shù)最低的分割結(jié)果[65]

利用圖像中同一區(qū)域的均勻性來識別不同的區(qū)域是區(qū)域分割方法的核心。陳忠等人[66]提出了一種基于區(qū)域生長結(jié)合多種特征的多尺度分割算法，首先利用圖像梯度信息選取合適的種子點，再把高分辨率遙感圖像地物的局部光譜信息和全局形狀信息結(jié)合起來，把其作為區(qū)域生長的準(zhǔn)則進行區(qū)域生長，最終實現(xiàn)分割。Drǎgu? L等人[65]提出了一種基于Definiens Developer的遙感圖像分割尺度參數(shù)估計方法。該方法提出對圖像內(nèi)部的異質(zhì)性程度進行度量，通過一種被稱為尺度參數(shù)的主觀度量進行控制。Wang Z W等人[67]提出了一種基于k-means聚類的區(qū)域自動圖像分割算法（region-based image segmentation algorithm，RISA）。該算法包括k-means聚類、段初始化、種子生成、區(qū)域生長和區(qū)域合并5個步驟。RISA的評估使用了一個案例研究，重點是兩個地點的土地覆蓋分類：南非共和國的一個農(nóng)業(yè)區(qū)和加利福尼亞州弗雷斯諾的一個居民區(qū)。Neubert M等人[68]分析了圖像中目標(biāo)的差異，即線段與參照對象之間的拓撲和幾何關(guān)系，并利用參考對象周圍的緩沖區(qū)，通過特定緩沖區(qū)內(nèi)的比例來評估輪廓的一致性，得出關(guān)于分割輪廓幾何正確性的結(jié)論。Michel J等人[69]定義了一個新的性質(zhì)，稱之為分割算法的穩(wěn)定性，并證明了一個穩(wěn)定的分割算法的塊或塊計算可以在處理整個圖像的同時獲得相同的結(jié)果。Zanotta D C等人[70]介紹了一種基于截取分割階段的同步方法。通過迭代更新先前生成區(qū)域的標(biāo)簽來優(yōu)化分類過程，只有在新分類中獲勝類別的后驗概率估計增加時進行迭代更新，才能實現(xiàn)更高的分割精度。

2.3 遙感圖像混合分割

邊緣檢測分割的方法在檢測邊緣方面是精確的，但是在生成封閉的段時面臨嚴重的問題。如果關(guān)于邊界的信息很少，則分割方法必須考慮更多的局部圖像信息，并將其與應(yīng)用領(lǐng)域的一般性特殊知識結(jié)合起來。相比之下，區(qū)域分割的方法會產(chǎn)生封閉區(qū)域，但如果區(qū)域分裂合并不準(zhǔn)確，就不能用于評價分割結(jié)果的信度，因此就沒有反饋矯正分割結(jié)果的基礎(chǔ)。為了使多區(qū)域分割后的圖像邊緣更加清晰，將邊緣檢測與區(qū)域分裂合并相結(jié)合的多區(qū)域圖像分割方法成為主流方法之一。其基本思想是用邊緣檢測算子與分裂合并法分別對同一幅圖像進行分割，然后應(yīng)用信息融合技術(shù)將經(jīng)過上述處理后的兩幅圖像融合，得到新的圖像。許多研究綜合了這兩種方法，以克服基于邊緣和基于區(qū)域的方法的局限性。圖10展示了不同尺度下的分割結(jié)果[71]。

圖10 不同尺度下的分割結(jié)果[71]

混合分割方法首先使用邊緣檢測的方法勾畫出初始段，然后使用基于區(qū)域的方法進行合并。這種方法既利用了邊界像素勾勒出初始段，也利用了內(nèi)部像素合并相似的段。Mueller M等人[72]結(jié)合基于邊緣和基于區(qū)域的方法來提取大型人造物體（如農(nóng)田）。在第一階段，他們提取形狀信息，邊緣地圖為決策提供了額外的標(biāo)準(zhǔn)。在第二階段，他們利用這些信息來控制區(qū)域增長算法。Weidner U[73]基于面向?qū)ο蠡蚧诜侄蔚姆诸惙椒ǎ岢隽艘环N有效的混合分割方式。Johnson B等人[74]沒有使用全局閾值，而是使用局部措施識別在選定的最優(yōu)尺度參數(shù)下未被分割的片段，并通過適當(dāng)?shù)姆指詈秃喜⑦M一步細化它們。這種局部細化策略在提高分割質(zhì)量方面是有效的，這是因為它解決了分割不足和過分割的問題。此外，這些方法將相鄰段之間的異質(zhì)性作為合并的標(biāo)準(zhǔn)。段內(nèi)的均質(zhì)性和段間的非均質(zhì)性都應(yīng)同等考慮，Wang Y J等人[75]因此提出了一種考慮合并過程中異質(zhì)性和相對同質(zhì)性目標(biāo)的混合分割方法。

2.4 神經(jīng)網(wǎng)絡(luò)遙感圖 像分割

近年來，機器學(xué)習(xí)在遙感領(lǐng)域中取得了重大的突破。機器學(xué)習(xí)算法專門研究計算機如何模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。其中深度學(xué)習(xí)是代表性方法，其在近幾年取得了重大的突破。隨著深層網(wǎng)絡(luò)的構(gòu)建，全卷積網(wǎng)絡(luò)（fully convolution network，F(xiàn)CN）、ResNet等網(wǎng)絡(luò)架構(gòu)成為分割任務(wù)的通用框架。

在圖像分割任務(wù)中，每個像素都被分配一個包含對象的類標(biāo)簽。Mitra P等人[76]研究了在有監(jiān)督的像素分類框架下遙感衛(wèi)星圖像分割面臨的像素缺乏問題。其采用支持向量機將像素分類為不同的地表覆蓋類型。它最初設(shè)計時使用一組小的標(biāo)記點，隨后通過從一個未標(biāo)記的數(shù)據(jù)池中主動查詢像素的標(biāo)記來改進，在每一步中查詢最有趣或不明確的無標(biāo)記點標(biāo)簽。Kampffmeyer M等人[77]提出了一種用于遙感圖像土地覆蓋制圖的深度卷積神經(jīng)網(wǎng)絡(luò)，并將研究重點放在城市地區(qū)。其提出了一種新穎的方法來實現(xiàn)較高的整體精度，同時仍然可以實現(xiàn)小目標(biāo)的良好分割精度。圖11展示了基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分割結(jié)果[77]。Nogueira K等人[78]提出了一種新的技術(shù)來實現(xiàn)遙感圖像的語義分割。該技術(shù)利用多上下文范式，不增加參數(shù)的數(shù)量，同時在訓(xùn)練時間內(nèi)定義最佳的圖像塊大小。其主要思想是用不同的圖像塊大小訓(xùn)練一個擴展的網(wǎng)絡(luò)，允許它從異構(gòu)的上下文中捕獲上下文特征。在處理這些不同的圖像塊時，網(wǎng)絡(luò)為每個圖像塊提供一個分數(shù)，幫助定義當(dāng)前場景的最佳圖像塊大小。耿艷磊等人[79]提出了一種基于半監(jiān)督全卷積網(wǎng)絡(luò)的高分辨率遙感影像語義分割方法，其將有標(biāo)簽樣本上的監(jiān)督分類損失和無標(biāo)簽樣本上的無監(jiān)督一致性損失結(jié)合，以完成端到端的語義分割網(wǎng)絡(luò)訓(xùn)練。蘇健民等人[80]提出基于U-Net改進的深度卷積神經(jīng)網(wǎng)絡(luò)方法，該方法旨在提高高分辨率圖像的分割效果，其采用了集成學(xué)習(xí)的策略，實現(xiàn)了端到端的像素級語義分割，并取得了不錯的分割效果。該方法在“CCF衛(wèi)星影像的AI分類與識別競賽”數(shù)據(jù)集上取得了94%的訓(xùn)練準(zhǔn)確率和90%的測試準(zhǔn)確率。

圖11 基于神經(jīng)網(wǎng)絡(luò)的遙感圖像分割結(jié)果[77]

2.5 小結(jié)

隨著遙感技術(shù)的發(fā)展，高空間分辨率遙感圖像以其豐富的光譜和紋理信息在各個領(lǐng)域得到了廣泛的應(yīng)用。作為遙感的關(guān)鍵組成部分，圖像分割算法近年來一直是研究熱點。雖然該方向已經(jīng)提出了很多算法，但是所有算法都有優(yōu)缺點。例如，邊緣檢測分割的算法容易實現(xiàn)，但是缺少上下文信息。與基于邊緣的方法相比，區(qū)域分割的方法產(chǎn)生了更好的結(jié)果，然而，在這種情況下，找到合適的種子和其他參數(shù)是真正的挑戰(zhàn)。為了解決種子點選擇問題，可以將超像素算法引入遙感圖像分割中。未來可以通過混合分割方法來解決不同方法的弊端。

近幾年基于深度學(xué)習(xí)的方法逐漸成為主流方法之一。目前基于有監(jiān)督的深度學(xué)習(xí)的遙感影像語義分割方法中，基于滑動窗口的方法由于采用的窗口大小是固定的，會存在感受域大小不確定的問題，進而導(dǎo)致結(jié)果不準(zhǔn)確；基于對象分割思想的方法會因為邊界框（bounding box）里面擁有的領(lǐng)域信息較少而導(dǎo)致精度下降?；谌矸e網(wǎng)絡(luò)的方法目前比較流行，精度也是最高的，但遙感圖像標(biāo)簽不足或者部分標(biāo)簽不準(zhǔn)確導(dǎo)致這類全監(jiān)督的方法在很多場景難以得到實際應(yīng)用。而在基于非監(jiān)督的方法中，基于像素比較的方法依賴于特征聚類的結(jié)果，而特征相似度的學(xué)習(xí)通常依賴于有效的標(biāo)注?；趯ο蟊容^的方法在融合不同時相的圖像時，屬于不同時相的特征可能會相互影響，導(dǎo)致原始影像的高維特征難以保持。目前，更深入的遙感分割技術(shù)還有待研究，許多研究人員仍在試圖找出能夠準(zhǔn)確識別圖像個體目標(biāo)的分割算法。

3 遙感變化檢測

變化檢測是對地物或現(xiàn)象進行多次觀測從而識別其狀態(tài)變化的過程[81]。人與自然相互依存，實時檢測地表變化信息有利于人類管理自然資源，保護生態(tài)環(huán)境，對理解人與自然之間的交互作用有重要意義。目前，遙感變化檢測技術(shù)已成功應(yīng)用于環(huán)境保護、城市規(guī)劃、軍事偵察等領(lǐng)域，其具體應(yīng)用見表1。

表1 遙感變化檢測技術(shù)應(yīng)用領(lǐng)域

遙感影像變化檢測數(shù)據(jù)集[95]主要用于進行場景變化檢測的方法理論研究與驗證。場景變化檢測就是在場景語義的層次上，對一定范圍區(qū)域的土地利用屬性變化情況進行檢測和分析。OSCD（onera satellite change detection）數(shù)據(jù)集[96]包含2015年至2018年之間Sentinel-2衛(wèi)星拍攝的24對多光譜圖像，圖像拍攝位置包含世界各地。對于每個城市中的位置，均提供了Sentinel-2衛(wèi)星獲得的13個波段的多光譜衛(wèi)星圖像的配準(zhǔn)對。其中，遙感圖像的空間分辨率在10 m、20 m和60 m之間變化。其中，14對圖像提供了像素級變化的標(biāo)簽真值。帶注釋的更改集中于城市變化，例如新的建筑物或新的道路等。此外，還有美國地質(zhì)調(diào)查局、武漢大學(xué)智能感知與機器學(xué)習(xí)組等許多機構(gòu)開源了遙感變化檢測的數(shù)據(jù)。這類數(shù)據(jù)通常包含語義信息層面上的變化，很難進行傳統(tǒng)意義上的檢測。

遙感影像變化檢測技術(shù)是遙感應(yīng)用與新技術(shù)結(jié)合的產(chǎn)物。20世紀70年代，數(shù)字遙感的出現(xiàn)推動了遙感影像數(shù)字處理的發(fā)展；90年代早期，地理信息系統(tǒng)（geographic information system，GIS）技術(shù)與數(shù)字圖像處理技術(shù)的一體化，使遙感數(shù)據(jù)與其他輔助數(shù)據(jù)相融合，形成了更強大的數(shù)據(jù)集；90年代中期開始，各大研究機構(gòu)對遙感影像變化技術(shù)展開了研究[97]。由于當(dāng)時技術(shù)有限，各國獲取的遙感影像空間分辨率較低，像素比較模糊。隨著近年來遙感技術(shù)迅速發(fā)展，遙感影像也由中低空間分辨率轉(zhuǎn)向了高空間分辨率、高光譜分辨率。圖12展示了3種不同分辨率的遙感圖像，其中圖12（a）是廣東省深圳市南部地區(qū)的中低空間分辨率遙感影像，圖12（b）是無人機高光譜分辨率遙感影像下的作物長勢分布圖，圖12（c）是上海陸家嘴地區(qū)高空間分辨率遙感圖像。由圖12可知，與低空間分辨率的遙感影像相比，高空間分辨率的遙感影像能展示更豐富的地表信息和地物紋理特征。

關(guān)于《文心雕龍》思想傾向的研究主要是從建國后開始興起的，《文》一書與道家關(guān)系的探討更是日漸深入，論文文獻較多。如張啟成的《〈文心雕龍〉中的道家思想》[1]、王運熙《文心雕龍原道和玄學(xué)思想的關(guān)系》[2]、皮朝綱《〈文心雕龍〉與老莊思想》[3]、嚴壽澂《道家玄學(xué)與文心雕龍》[4]和蔡鐘翔的《論劉勰的“自然之道”》[5]等都是早期的論文，這些論文中均提到道家“自然之道”的思想是貫穿《文》一書始末的重要指導(dǎo)思想，《文》一書的文學(xué)觀和創(chuàng)作思想都源于道家(或玄學(xué)思想)。

圖12 遙感影像

當(dāng)前存在的一些變化檢測工作是針對特定類型的數(shù)據(jù)進行的。吳柯等人[98]使用2000年9月5日和2002年11月12日兩個時期在廣東省深圳市南部地區(qū)拍攝的圖像進行變化檢測。該圖像是400×400像素的中低空間分辨率的遙感圖像。針對中低空間分辨率的遙感影像中廣泛存在混合像元的情況，吳柯等人提出了混合像元分解技術(shù)，深入像元內(nèi)部檢測變化，從而獲取亞像元級的變化信息。Usman M等人[99]考慮到中低空間分辨率圖像的數(shù)據(jù)結(jié)構(gòu)比較簡單，適合大面積的變化檢測任務(wù)，便使用MODIS 250 m×250 m空間分辨率數(shù)據(jù)分析2005年至2012年巴基斯坦Chenab河灌溉區(qū)的土地利用變化。Wen D W等人[100]針對高空間分辨率圖像數(shù)據(jù)維度高的問題，利用WorldView-2衛(wèi)星獲取的深圳市2010年和2012年空間分辨率為2 m的城市變化圖像進行實驗，提出了高分辨率圖像適用的多指標(biāo)自動變化檢測方法。Zhou Z J等人[101]考慮到高空間分辨率圖像中豐富的信息，使用由WorldView-2衛(wèi)星獲得的高分辨率圖像，提出了一種適用于珊瑚礁環(huán)境的高精度變化檢測方法。Wang Q等人[102]提出了一個新的高光譜分辨率數(shù)據(jù)集HIS。HIS中的圖像選自Earth Observing-1（EO-1）Hyperion采集的圖像。EO-1 Hyperion覆蓋了0.4～2.5 μm的光譜范圍，具有242個光譜帶。Wang Q等人針對以往子像素級別的信息通常沒有得到充分利用的問題，提出了一種高光譜圖像通用的端到端二維卷積神經(jīng)網(wǎng)絡(luò)框架。López-fandi?o J等人[103]在由Hyperion傳感器于2004年和2007年在Hermiston獲取的高光譜圖像集上進行實驗，提出了一種通過堆疊自動編碼器為高光譜數(shù)據(jù)集提取特征，從而檢測變化信息的方案。

遙感技術(shù)能提供多種類型的影像數(shù)據(jù)，不同類型的遙感數(shù)據(jù)各有特點，下面將針對不同類型的數(shù)據(jù)，總結(jié)遙感變化檢測技術(shù)的最新發(fā)展。

3.1 中低空間分辨率遙感影像變化檢測

現(xiàn)代遙感技術(shù)起源于20世紀60年代，在1986年法國發(fā)射SPOT-1衛(wèi)星之前，各國獲取的遙感影像都是中低空間分辨率圖像。中低空間分辨率的遙感影像像素模糊，單個像元內(nèi)可能包含多種地物，對局部區(qū)域的變化進行檢測是一項富有挑戰(zhàn)性的任務(wù)。但是中低空間分辨率圖像數(shù)據(jù)結(jié)構(gòu)比較簡單，適用于對大面積地物進行變化檢測，如土地利用檢測、土地覆蓋檢測、植被檢測、森林火災(zāi)監(jiān)測等。

Abd El-Kawy O R等人[104]對一段時間內(nèi)收集的4幅Landsat圖像（1984年、1999年、2005年和2009年）進行監(jiān)督分類，分類后的結(jié)果表明，1984—1999年、1999—2005年、2005—2009年分別有28%、14%、9%的貧瘠土地被改為農(nóng)業(yè)用地。Abd El-Kawy O R等人還觀察到土地退化主要是由人類活動造成的，比如建立采石場。Gandhi G M等人[85]把遙感技術(shù)和GIS結(jié)合，對印度Vellore地區(qū)的植被進行變化檢測。Gandhi G M等人提出的方法是基于歸一化植被指數(shù)（normalized difference vegetation index，NDVI）的增強型變化檢測方法，使用多光譜遙感數(shù)據(jù)技術(shù)來查找植被指數(shù)，通過計算土地覆蓋分類的歸一化植被指數(shù)，可以輕松解譯影像[85]。Yuan F等人[105]采用先分類再分析變化情況的方法檢測城市土地覆蓋變化，圖13展示了某地區(qū)在1986—2002年間的城市數(shù)量增長情況，該方法量化了大都市圈的土地覆蓋模式。

圖13 1986—2002年城市數(shù)量變化[105]

3.2 高空間分辨率遙感影像變化檢測

高空間分辨率遙感影像包含豐富的空間信息、紋理信息，所能識別的目標(biāo)也更小。與低分辨率遙感影像相比，其數(shù)據(jù)量更大，處理速度更慢。自法國1986年發(fā)射SPOT-1衛(wèi)星后，高空間分辨率衛(wèi)星遙感圖像的應(yīng)用就引起了世界各國的普遍關(guān)注。

隨著遙感影像的分辨率越來越高，變化檢測不僅要能夠檢測出大目標(biāo)的變化，還要檢測出小目標(biāo)變化。胡蕾等人[106]提出了一種多尺度稀疏卷積模型，把不同通道中相關(guān)性高、同一空間位置的特征聚合在一起，有效減少了參數(shù)的相互依存關(guān)系，一定程度上緩解了過擬合情況，并在孿生網(wǎng)絡(luò)和多通道網(wǎng)絡(luò)下對該模型進行了實驗分析。實驗結(jié)果如圖14所示，圖14（c）表示孿生網(wǎng)絡(luò)下多尺度稀疏卷積模型的實驗結(jié)果，圖14（d）表示的是多通道網(wǎng)絡(luò)下多尺度稀疏卷積模型實驗結(jié)果。實驗結(jié)果表明該方法能夠檢測出小目標(biāo)的變化情況。Hao M等人[107]提出了模糊C均值和馬爾可夫隨機場相結(jié)合的方法FCMMRF，其檢測結(jié)果如圖15所示。該方法顧及領(lǐng)域空間像素信息，很好地保留了變化細節(jié)。張翠軍等人[108]提出了一種改進U-Net的遙感圖像建筑物變化檢測方法ACBlock+Att-UNet+data augmentation。他們利用U-Net模型把圖中的每個像素劃分為變化類或非變化類，分類完成后再依據(jù)變化類的像素檢測建筑物的變化情況，檢測結(jié)果如圖16所示。如此，變化檢測問題就成為二分類問題。該方法把注意力模型引入U-Net中，加強變化類像素特征學(xué)習(xí)，使得模型對建筑物變化更敏感，其檢測效果也更好。

圖14 變化檢測結(jié)果

圖15 FCMMRF檢測結(jié)果

圖16 建筑物變化檢測

3.3 高光譜分辨率遙感影像變化檢測

高光譜分辨率遙感起源于20世紀80年代，但正式進入航天高光譜遙感時代的時間是1999年年底，美國新千年計劃EO-1衛(wèi)星搭載了具有200多個波段的Hyperion航天成像光譜儀[109]，這使得高光譜分辨率遙感影像的獲取難度大大降低。在對地觀測中，高光譜遙感的成像通道增加，使得在分析遙感影像時能分析更多的目標(biāo)物體，如識別不同的礦物、不同的樹種。

圖17 CSNLRT檢測結(jié)果

近年來，深度學(xué)習(xí)由于其出色的表征能力，逐漸被應(yīng)用于高光譜圖像變化檢測中。深度學(xué)習(xí)是能處理高維數(shù)據(jù)和非線性建模的有效工具，能有效地處理高光譜數(shù)據(jù)。但是深度學(xué)習(xí)方法往往需要大量的訓(xùn)練樣本，而這些用于變化檢測的訓(xùn)練數(shù)據(jù)缺少標(biāo)簽，人工標(biāo)記又極其耗時。為此，Yuan Z H等人[112]提出了一種應(yīng)用于高光譜圖像變化檢測的無監(jiān)督的卷積神經(jīng)網(wǎng)絡(luò)RPCANet。他們將RPCANet與變化向量分析結(jié)合起來，提取到更有效的特征，從而取得了不錯的實驗結(jié)果。Li X L等人[113]提出利用現(xiàn)有的無監(jiān)督變化檢測方法的變化檢測圖來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，然后在端到端的訓(xùn)練過程中去噪，從而提升網(wǎng)絡(luò)的魯棒性。Wang Q等人[102]引入了集成亞像素表征的混合親和矩陣，以便挖掘更多的跨通道特征，并融合多源信息從而提升算法的泛化能力。

趙春暉等人[114]提出一種基于多路徑卷積網(wǎng)絡(luò)的高光譜變化檢測方法，該方法通過訓(xùn)練堆疊降噪自動編碼器對高光譜數(shù)據(jù)進行降維，緩解了高光譜信息冗余的情況，并通過多路徑卷積網(wǎng)絡(luò)提取空間信息。實驗表明，趙春暉等人[114]提出的方法總體誤差低，準(zhǔn)確率高，圖18展示了該方法在Bay Area數(shù)據(jù)集上的檢測結(jié)果。

圖18 Bay Area數(shù)據(jù)集檢測結(jié)果

3.4 小結(jié)

以往獲得的遙感影像都是中低空間分辨率的影像，大多數(shù)變化檢測研究也以中低空間分辨率的遙感影像為主。然而，遙感技術(shù)的迅速發(fā)展使得遙感圖像的分辨率越來越高。高空間分辨率、高光譜分辨率的遙感影像已經(jīng)引起了大量研究人員的注意。當(dāng)前，深度學(xué)習(xí)方法已經(jīng)被廣泛應(yīng)用于變化檢測任務(wù)中。由于各種分辨率的遙感影像的自身特點，各種變化檢測方法都存在優(yōu)缺點。

有監(jiān)督的深度學(xué)習(xí)方法需要大量有標(biāo)簽的訓(xùn)練數(shù)據(jù)，而獲取大量有標(biāo)簽的遙感數(shù)據(jù)是非常困難的。無監(jiān)督的深度學(xué)習(xí)方法不需要有標(biāo)簽的數(shù)據(jù)，具有良好的抗噪性，因而成為變化檢測的一個研究趨勢。在中低分辨率的遙感圖像中，普遍存在“同物異譜，同譜異物”的現(xiàn)象，這使得地表的真實變化難以檢測。同時，中低分辨率圖像中的混合像元較多，提高了變化檢測任務(wù)的難度。雖然基于深度學(xué)習(xí)的方法能夠自動地、多尺度地提取圖像特征，大幅提高變化檢測任務(wù)的精度，但是往往存在部分類別間邊界不明顯的情況。

高分辨率圖像能更精細地反映像元的內(nèi)部信息，提供更豐富的細節(jié)信息，從而實現(xiàn)深入像元內(nèi)部的檢測，但是基于高分辨率的深度學(xué)習(xí)方法運行時間成本高，因而如何降低時間成本也是一個應(yīng)考慮的問題。

高光譜圖像能夠精細地刻畫地物的反射光譜，從而提升識別地物的能力，但深度學(xué)習(xí)方法在高光譜圖像中的應(yīng)用仍有不足。一方面，高光譜數(shù)據(jù)的高維度使得特征提取困難，即使是在高級語義特征學(xué)習(xí)方面具有優(yōu)勢的卷積神經(jīng)網(wǎng)絡(luò)也未必能提取出讓人滿意的特征；另一方面，高光譜數(shù)據(jù)的亞像素中的豐富信息并沒有得到充分的利用。

遙感技術(shù)能提供多種類型的數(shù)據(jù)，除了中低空間分辨率圖像、高空間分辨率圖像、高光譜分辨率圖像之外，還有高時間分辨率的圖像。從數(shù)據(jù)源的角度來看，融合各類數(shù)據(jù)的信息進行集成檢測能彌補各類數(shù)據(jù)的不足，從而提升檢測的精度。因此，基于融合影像的變化檢測方法會是未來的一大趨勢。

4 結(jié)束語

遙感信息提取技術(shù)在自然資源管理、國防安全、生態(tài)保護等方面有重要意義。本文總結(jié)了遙感目標(biāo)檢測、遙感地物分割、遙感變化檢測這三大研究熱點的發(fā)展情況。盡管當(dāng)前基于遙感大數(shù)據(jù)的遙感信息提取技術(shù)已經(jīng)取得了比較豐碩的成果，然而面對人們?nèi)找嬖鲩L的應(yīng)用需求，依舊存在諸多挑戰(zhàn)，具體如下。

一是在目前的遙感圖像分割過程中，用得較多的是傳統(tǒng)的模式識別方法，其結(jié)果由于遙感圖像本身的分辨率限制以及同物異譜、異物同譜現(xiàn)象的存在，往往出現(xiàn)較多的錯誤和遺漏現(xiàn)象。由于遙感圖像數(shù)據(jù)的復(fù)雜性，更深入的遙感分割算法還有待研究。

二是針對不同類型的遙感數(shù)據(jù)，需要有效結(jié)合其特點加以利用，探索適合各種數(shù)據(jù)類型的遙感圖像分割算法，以達到更高的精度。

三是當(dāng)前基于高光譜分辨率的影像變化檢測方法還未建立起多時相影像中端元的光譜相關(guān)性，也沒有出現(xiàn)多時相光譜混合模型[115]。