閔蕾 高昆 李維 王紅 李婷 吳穹 焦建超

光學(xué)遙感圖像分割技術(shù)綜述

閔蕾1高昆1李維2王紅1李婷3吳穹1焦建超2

（1 北京理工大學(xué)光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）（2 北京空間機(jī)電研究所，北京 100094）（3 中國(guó)空間技術(shù)研究院總體部，北京 100094）

遙感圖像分割技術(shù)旨在將包含復(fù)雜地物空間分布信息的遙感圖像劃分為具有特定語(yǔ)義標(biāo)簽的不同區(qū)域，在遙感影像的分析和解譯環(huán)節(jié)中有著重要應(yīng)用。文章參照人類視覺系統(tǒng)的感知和視覺信息逐層稀疏化加工的特性，從基于淺層特征的分割方法、基于中層特征的分割方法和基于深層特征的分割方法三個(gè)層面，對(duì)常見的光學(xué)遙感圖像分割技術(shù)進(jìn)行了分類綜述，陳述了各種主要算法的基本特點(diǎn)，并對(duì)比了它們的優(yōu)勢(shì)和局限性，同時(shí)也對(duì)未來(lái)的改進(jìn)和發(fā)展方向進(jìn)行了展望，為遙感圖像分割的研究提供了一定的參考借鑒價(jià)值。

圖像分割 分類 圖像特征層次 深度學(xué)習(xí) 光學(xué)遙感

0 引言

圖像分割技術(shù)是按照?qǐng)D像內(nèi)部特征，將圖像劃分為不同類型的均勻區(qū)域，要求區(qū)域間的分割邊緣必須精確劃定，且被分割物體的內(nèi)部特征具有一致性或相似性，每個(gè)區(qū)域?qū)儆谕活?，不同區(qū)域則歸屬于不同的類。光學(xué)遙感圖像分割技術(shù)旨在根據(jù)實(shí)際語(yǔ)義信息給遙感圖像進(jìn)行像素級(jí)分類，將其劃分為一系列具有道路、農(nóng)田、村莊、工業(yè)區(qū)等地物類別標(biāo)簽的區(qū)域。近年來(lái)隨著高分辨率對(duì)地觀測(cè)技術(shù)的進(jìn)步，通過(guò)遙感衛(wèi)星（如LandSat、Spot和MODIS等系列）獲取的海量觀測(cè)圖像數(shù)據(jù)進(jìn)行圖像分割，是開展城市規(guī)劃、災(zāi)害監(jiān)測(cè)、目標(biāo)識(shí)別等應(yīng)用研究的處理基礎(chǔ)。然而，遙感數(shù)據(jù)量的快速增長(zhǎng)也給光學(xué)遙感圖像分割帶來(lái)了諸多挑戰(zhàn)，如空間分辨率提高帶來(lái)更高的地物復(fù)雜性（更多的陰影及背景），變化劇烈的光譜信息帶來(lái)的同物異譜和異物同譜現(xiàn)象，以及海量數(shù)據(jù)的處理和多變尺度的特征提取等[1]。

面對(duì)上述挑戰(zhàn)和日益增長(zhǎng)的技術(shù)需求，各種基于遙感圖像的分割技術(shù)方法不斷涌現(xiàn)，分割效率和精度也在不斷提高。為了更清晰完整地羅列出遙感圖像分割的發(fā)展框架，許多學(xué)者從不同分類方法著手，總結(jié)出了諸多良好的綜述性成果[2-6]，為光學(xué)遙感圖像分割領(lǐng)域提供了較權(quán)威的參考價(jià)值。雖然關(guān)于圖像分割的研究文獻(xiàn)諸多，但技術(shù)方法的分類界限一直比較模糊，分類方法繁多且側(cè)重點(diǎn)不同。例如，文獻(xiàn)[3]中主要從圖像驅(qū)動(dòng)、模型驅(qū)動(dòng)和同質(zhì)性特征度量三個(gè)方面來(lái)對(duì)光學(xué)遙感圖像的分割進(jìn)行分析；文獻(xiàn)[4]則采用基于面向?qū)ο蟮膱D像分析(Object-based Image Analysis，OBIA)來(lái)研究與遙感影像相關(guān)的圖像分割技術(shù)；文獻(xiàn)[5]細(xì)分出了基于邊緣、基于像素、基于數(shù)學(xué)理論、基于區(qū)域和基于元啟發(fā)式學(xué)習(xí)五種針對(duì)分割技術(shù)的劃分方式，且利用特定遙感數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

受人類視覺系統(tǒng)(Human Vision System, HSV)感知和視覺信息逐層稀疏化加工特性的啟發(fā)[7]，本文從加工的圖像特征的角度來(lái)對(duì)常用的遙感圖像分割技術(shù)進(jìn)行分類。人眼是人類了解外部世界的主要媒介，HSV的視覺關(guān)注和視覺感知兩大特性在人眼信息獲取和處理中發(fā)揮了關(guān)鍵性作用。其中，視覺關(guān)注機(jī)制主要分為自底向上的自發(fā)性模式和自頂向下的驅(qū)動(dòng)型模式，前者集中地關(guān)注圖像本體的顯著性內(nèi)容，是視覺系統(tǒng)在場(chǎng)景圖像淺層信息刺激下的一種反饋，聚焦于諸如邊緣、顏色、幾何形狀等這類淺層圖像特征；而后者自頂向下則是意識(shí)支配型的關(guān)注模式，它需要更高級(jí)的先驗(yàn)或上下文信息的參與，可理解為人眼在語(yǔ)義信息驅(qū)動(dòng)下得到感興趣目標(biāo)的模式[7]，而視覺感知?jiǎng)t包含明確外界信息輸入和感知信息處理的過(guò)程，腦部接收到感知信息后驅(qū)使人體對(duì)物體進(jìn)行辨認(rèn)，及時(shí)采取適當(dāng)?shù)姆磻?yīng)，如感知運(yùn)動(dòng)，感知顏色等?？偟膩?lái)說(shuō)，HSV通過(guò)這兩類模式都能夠提取到感興趣的目標(biāo)信息，而近年來(lái)異軍突起的深度神經(jīng)網(wǎng)絡(luò)提取到的深層特征卻因?yàn)檫^(guò)于抽象化，具有稀疏性，往往不能被人眼直接理解。深層特征所攜帶的高級(jí)語(yǔ)義信息在圖像識(shí)別和處理等諸多領(lǐng)域表現(xiàn)十分突出，基于深度學(xué)習(xí)的圖像處理也成為新的研究熱點(diǎn)。綜上，本文從HSV可視察和不可視察兩個(gè)方面考慮，將圖像特征劃分為三個(gè)層次，分別是聚焦于顯著性信息的淺層特征、結(jié)合上下文和先驗(yàn)信息的中層特征和基于深度學(xué)習(xí)挖掘到的深層特征。

在分析總結(jié)相關(guān)文獻(xiàn)的基礎(chǔ)上，本文分別從遙感圖像的淺層特征、中層特征和深層特征等三個(gè)層次上對(duì)常見的光學(xué)遙感圖像分割技術(shù)進(jìn)行分類，闡述和總結(jié)了方法的特點(diǎn)和局限性，并對(duì)未來(lái)的技術(shù)發(fā)展前景進(jìn)行了展望。

1 常見的光學(xué)遙感圖像分割方法

早期的綜述文獻(xiàn)常從基于像素、邊緣、區(qū)域和目標(biāo)識(shí)別的混合方法等幾個(gè)不同的方面來(lái)劃分圖像分割技術(shù)種類[4]。后來(lái)，在數(shù)理統(tǒng)計(jì)知識(shí)支撐下的算法模型也發(fā)展起來(lái)，如基于馬爾科夫隨機(jī)場(chǎng)(Markov random field，MRF)[8]、條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)[9]以及圖論和小波變換等理論的分割算法[5]。近年來(lái)，隨著大數(shù)據(jù)新興起來(lái)的人工智能熱潮給圖像分割領(lǐng)域帶來(lái)新的解決思路，深度學(xué)習(xí)中基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的模型，典型例子如全卷積網(wǎng)絡(luò)(Fully Convolutional Net-works，F(xiàn)CN)[10]，被認(rèn)為是突破了長(zhǎng)期以來(lái)圖像分割技術(shù)瓶頸的關(guān)鍵架構(gòu)[11]。

近年來(lái)隨著高分辨率遙感成像技術(shù)的進(jìn)步，獲取的圖像紋理結(jié)構(gòu)更精細(xì)，地物的幾何形狀也更加清晰，在視覺上與自然圖像的細(xì)節(jié)差異已經(jīng)越來(lái)越小[12]。因此，上述的許多算法已成功遷移到了光學(xué)遙感圖像分割的應(yīng)用中。研究者針對(duì)遙感圖像的多光譜特征、地物復(fù)雜性、高類間相似和高類內(nèi)不同性等具體難點(diǎn)不斷改進(jìn)算法，取得了較理想的分割效果。

本文根據(jù)圖像內(nèi)可提取到的特征層次來(lái)對(duì)光學(xué)遙感圖像分割進(jìn)行技術(shù)分類：基于淺層特征的分割技術(shù)常依賴于圖像具有的紋理、幾何形狀、光譜特征、顏色等顯著性的基礎(chǔ)內(nèi)容開展處理；基于中層特征的分割方法則主要聚焦于引入先驗(yàn)信息和上下文信息，或是一些淺層特征的混合組合來(lái)進(jìn)行處理，這類特征比淺層特征更加稀疏和魯棒；基于深層特征的分割方法多以基于深度學(xué)習(xí)網(wǎng)絡(luò)（如卷積神經(jīng)網(wǎng)絡(luò)）為主，對(duì)深層語(yǔ)義信息進(jìn)行挖掘，此類方法提取出來(lái)的圖像高層語(yǔ)義特征具有較強(qiáng)的特征表示能力，算法的泛化性能較好，是當(dāng)前技術(shù)發(fā)展的熱點(diǎn)。

2 基于淺層特征的分割方法

鑒于早期可獲取圖像的簡(jiǎn)單性，經(jīng)典的光學(xué)遙感圖像分割多依靠圖像的淺層特征（邊緣、紋理、顏色、幾何形狀等）來(lái)進(jìn)行，常見的有基于圖像像素的閾值分割法、邊緣檢測(cè)分割法和區(qū)域分割法等。表1給出了上述三種方法的優(yōu)缺點(diǎn)對(duì)比。

表1 基于淺層特征的分割方法的優(yōu)點(diǎn)與局限

Tab.1 Advantages and limitations of the shallow-feature-based image segmentation methods

基于圖像像素的閾值分割法原理簡(jiǎn)單且無(wú)需先驗(yàn)知識(shí)。閾值分割法[13-16]利用圖像像素的灰度特征來(lái)計(jì)算選擇閾值，合理分割出圖像中的識(shí)別目標(biāo)和背景，運(yùn)算效率很快，針對(duì)對(duì)比明顯的區(qū)域效果良好。但是它僅將圖像灰度值作為依據(jù)，未利用到圖像中的空間信息，在處理具有復(fù)雜地物特征的遙感圖像時(shí)抗噪性差，分割效果并不理想。

圖像邊緣指圖像中相鄰區(qū)塊之間像素特征發(fā)生突變的地帶，這個(gè)部分像素灰度值是不連續(xù)的，且對(duì)于圖像來(lái)說(shuō)是較重要的信息。根據(jù)遙感圖像中區(qū)域的不連續(xù)性，可以利用邊緣檢測(cè)分割法來(lái)創(chuàng)建分段的多邊形實(shí)現(xiàn)分割。首先可以利用諸如微分算子邊緣檢測(cè)法、邊緣跟蹤法、霍夫變換法、曲線擬合法等策略搜索圖像邊緣不連續(xù)的像素點(diǎn)[5,17]，然后通過(guò)邊緣連接和輪廓生成算法來(lái)關(guān)閉區(qū)域[18-19]，邊緣內(nèi)的區(qū)域具有相同的屬性。其中，Canny算子被視作遙感圖像應(yīng)用里表現(xiàn)良好的邊緣檢測(cè)工具[20]。然而它在使用高斯濾波器來(lái)對(duì)圖像中的噪聲點(diǎn)進(jìn)行平滑的同時(shí)，常常會(huì)將圖像邊緣模糊化，造成邊緣細(xì)節(jié)的信息弱化和丟失。針對(duì)這個(gè)問(wèn)題，文獻(xiàn)[21]通過(guò)添加方向梯度模板來(lái)計(jì)算圖像的方向梯度和方向，使遙感圖像的邊緣更清晰，分割更準(zhǔn)確。針對(duì)遙感圖像中的多尺度分割任務(wù)，文獻(xiàn)[22]利用Canny檢測(cè)器來(lái)檢測(cè)多光譜遙感圖像的邊緣特征，將其與多尺度分割技術(shù)結(jié)合，邊緣信息與分割尺度結(jié)合的可分離性判據(jù)較好地控制了相鄰圖像對(duì)象的合并過(guò)程。此外，還有學(xué)者利用霍夫變換來(lái)搜索適合局部的理想邊緣，這對(duì)于形狀簡(jiǎn)單的物體效果很好，但對(duì)于光學(xué)遙感圖像中復(fù)雜地形特征的邊緣仍然非常困難[23]。至今已經(jīng)提出了許多基于邊緣檢測(cè)的分割算法，不過(guò)如何識(shí)別完美邊緣來(lái)生成遙感圖像目標(biāo)仍然具有挑戰(zhàn)性。

區(qū)域分割法則利用圖像局部的空間信息，基于像素間的連通性和鄰接性將子區(qū)域聚合成一個(gè)更大的區(qū)域，能有效地克服邊緣檢測(cè)技術(shù)對(duì)于不連續(xù)區(qū)域的分割缺陷。簡(jiǎn)單來(lái)說(shuō)，就是利用通過(guò)物體內(nèi)部開始向外擴(kuò)展至物體的邊界，區(qū)域分割法認(rèn)為同一區(qū)域內(nèi)的相鄰像素具有相似的值。一般將區(qū)域生長(zhǎng)以及區(qū)域分裂合并兩個(gè)步驟視作區(qū)域分割法的基本操作。對(duì)于區(qū)域生長(zhǎng)來(lái)說(shuō)，種子區(qū)域的選擇和相似度準(zhǔn)則是兩個(gè)關(guān)鍵問(wèn)題，不合適的選取會(huì)導(dǎo)致圖像出現(xiàn)過(guò)分割或者欠分割現(xiàn)象。結(jié)合圖像的光譜和形狀特征，區(qū)域生長(zhǎng)在光學(xué)遙感圖像分割任務(wù)上有許多應(yīng)用[24-26]。其中，基于對(duì)面積增長(zhǎng)方法和區(qū)域生長(zhǎng)規(guī)律的研究，文獻(xiàn)[24]中利用多個(gè)人工采集的區(qū)域道路作為生長(zhǎng)點(diǎn)來(lái)分段提取道路目標(biāo)。利用數(shù)學(xué)形態(tài)學(xué)的分水嶺變換算法是區(qū)域生長(zhǎng)法的典型代表，傳統(tǒng)分水嶺算法將圖像視作拓?fù)涞孛?，且每點(diǎn)的海拔高度都是利用對(duì)應(yīng)的圖像像素點(diǎn)灰度值來(lái)表示的，其中，每個(gè)局部極小值和它延展影響到的區(qū)域統(tǒng)稱為集水盆地，這些盆地的邊界即為分水嶺。基于分水嶺算法的分割法可以用來(lái)提取遙感圖像中的特征信息[27]，對(duì)分割目標(biāo)計(jì)算速度快、邊緣檢測(cè)精度高，但存在嚴(yán)重的過(guò)分割問(wèn)題。于是，學(xué)者們對(duì)此算法做了諸多改進(jìn)[28-30]，如采用帶有自動(dòng)標(biāo)注功能的分水嶺算法對(duì)分辨率高的遙感圖像進(jìn)行分割，并采用鄰近分割對(duì)象的合并代價(jià)函數(shù)來(lái)優(yōu)化分割結(jié)果[28]。區(qū)域分割法的另一種操作，區(qū)域分裂合并則將圖像根據(jù)制定的準(zhǔn)則（基于灰度值、紋理，內(nèi)部邊緣等）進(jìn)行分裂和合并，得到相似度大的同質(zhì)區(qū)域和差異大的異構(gòu)區(qū)域[31]。典型的如分型網(wǎng)絡(luò)進(jìn)化算法（Fractal Net Evolution Approach，F(xiàn)NEA）在光學(xué)遙感圖像分割上就有很多研究成果[32-34]?？偟膩?lái)說(shuō)，區(qū)域分割法的抗噪性強(qiáng)，且能得到緊湊形狀的分割區(qū)域，對(duì)于多尺度多波段的遙感圖像來(lái)說(shuō)技術(shù)上容易拓展，但是種子區(qū)域的選擇和同質(zhì)性準(zhǔn)則的制定仍然是個(gè)挑戰(zhàn)，需要進(jìn)一步改善。

3 基于中層特征的分割方法

傳統(tǒng)的基于淺層特征的分割法適用于內(nèi)容較為簡(jiǎn)單的遙感圖像，但對(duì)于地物復(fù)雜的圖像往往效果并不理想，尤其當(dāng)外界條件如光照、傳感器、云霧等條件對(duì)像素特征有不良影響時(shí)，分割結(jié)果更易受干擾，魯棒性不夠強(qiáng)。于是，研究人員開始利用數(shù)學(xué)理論和圖論來(lái)引入先驗(yàn)信息和上下文信息，或通過(guò)混合組合多種淺層特征來(lái)得到鑒別性更好、魯棒性更強(qiáng)的圖像中層特征。常見的基于中層特征的分割有聚類分割法、基于馬爾科夫隨機(jī)場(chǎng)的模型分割法、混合特征組合分割法等，表2列出了這三類方法的優(yōu)勢(shì)及局限性。

表2 基于中層特征的分割方法的優(yōu)點(diǎn)與局限

Tab.2 Advantages and limitations of the middle-feature-based image segmentation methods

聚類分割法則是用某種特定的特征空間點(diǎn)來(lái)表征圖像內(nèi)的像素點(diǎn)，并將這些特征空間點(diǎn)聚類。特征空間中像素點(diǎn)光譜測(cè)量值具有自然聚類特性，此方法本質(zhì)上利用了這一性質(zhì)來(lái)將代表不同特征的像素進(jìn)行組合，確保像素的分割結(jié)果在同一功能類盡可能相似。聚類分割法具有較強(qiáng)的可擴(kuò)展性，常見的基于K-means，基于模糊C-means(FCM)，基于均值漂移等技術(shù)在光學(xué)遙感圖像分割任務(wù)中均有廣泛的應(yīng)用[35-38]。其中，基于K-means聚類算法發(fā)展起來(lái)的SLIC超像素分割法因其實(shí)現(xiàn)快速和較好的分割性能在遙感領(lǐng)域備受青睞，文獻(xiàn)[36]中將其與閾值法OTSU結(jié)合來(lái)識(shí)別提取遙感影像中的水體目標(biāo)，分割快速且提取精確度高。另一個(gè)FCM算法則是由模糊數(shù)學(xué)理論發(fā)展起來(lái)的，圖像信息的復(fù)雜性和變異性導(dǎo)致了人眼視覺在遙感圖像處理中的不確定性，對(duì)圖像灰度級(jí)的模糊性區(qū)分有一定難度。模糊數(shù)學(xué)中的模糊推理與人類的認(rèn)知思維相似，這對(duì)分割任務(wù)很有幫助，可以通過(guò)選擇恰當(dāng)?shù)碾`屬度函數(shù)來(lái)判定像素點(diǎn)屬于某一目標(biāo)類的隸屬度[37]。而均值漂移分割技術(shù)則比較特殊，它是基于密度來(lái)進(jìn)行聚類的，一般將RGB顏色空間信息轉(zhuǎn)換到LUV顏色空間來(lái)有效利用遙感圖像中的像素光譜信息[39]，收斂速度較快且不用預(yù)設(shè)聚類數(shù)量。文獻(xiàn)[38]提出了一種基于均值漂移的并行實(shí)現(xiàn)方法來(lái)分割大規(guī)模遙感圖像，有效提高了并行計(jì)算環(huán)境下的圖像分割計(jì)算效率。聚類分割法易于實(shí)現(xiàn)，但初始分割的聚類中心和聚類數(shù)量的確定仍面臨困難，且它更關(guān)注于光譜特征，未充分考慮像素的紋理信息等其他特征，因此圖像噪聲對(duì)其影響較大。

接著可以通過(guò)數(shù)理統(tǒng)計(jì)的決策和估計(jì)理論中的最優(yōu)準(zhǔn)則來(lái)進(jìn)一步明確分割的目標(biāo)函數(shù)[40-41]，比如常采用最大后驗(yàn)概率（Maximum A Posteriori，MAP）的估計(jì)準(zhǔn)則來(lái)進(jìn)行全局最優(yōu)估計(jì)：

基于MRF的圖像分割算法的發(fā)展歷程并不算短，在1994年就有學(xué)者將改進(jìn)的MRF模型與無(wú)監(jiān)督方案結(jié)合，采用了光譜信息和空間特征，來(lái)得到用于圖像分割的多尺度隨機(jī)場(chǎng)模型(MSRF)[42]。其他一些遙感圖像分割應(yīng)用中，基于MRF的監(jiān)督或無(wú)監(jiān)督算法[43-47]也很常見，文獻(xiàn)[46]中將MRF用于融合的SAR和Landsat圖像分割任務(wù)中，而文獻(xiàn)[47]則采用基于圖的多尺度分割，分別在粗尺度和細(xì)尺度上融合這些分割的特征來(lái)進(jìn)行有效的遙感圖像分割。基于MRF的模型分割法可以有效地表達(dá)遙感圖像的空間信息，先驗(yàn)知識(shí)的引入可以有效提高復(fù)雜圖像區(qū)域的分割效果；然而由于光學(xué)遙感圖像中存在著邊緣混疊和散斑噪聲等問(wèn)題，傳統(tǒng)的基于MRF的遙感圖像分割技術(shù)也在不斷改進(jìn)[41,48-50]。文獻(xiàn)[41]提出了一種結(jié)合強(qiáng)度、邊緣、紋理和空間信息的提取和融合的MRF遙感圖像分割法，可以提高分割準(zhǔn)確性和抗干擾性。文獻(xiàn)[50]則基于雙樹復(fù)小波紋理，利用MRF模型提高了高分辨率遙感圖像分割的精度。目前，MRF在光學(xué)遙感圖像分割研究中依舊廣泛，它可以通過(guò)先驗(yàn)分布的形式整合圖像的紋理、空間屬性、光譜特征、上下文信息等，對(duì)分割十分有利，不過(guò)計(jì)算復(fù)雜度高這一問(wèn)題仍未解決。

混合特征組合分割法是研究學(xué)者為了克服基于單一淺層特征分割法的局限性而提出來(lái)的，兩種或兩種以上分割方法的相互補(bǔ)充，以克服使用單一特征來(lái)進(jìn)行光學(xué)遙感圖像分割的缺點(diǎn)。典型的如將邊緣檢測(cè)分割法和區(qū)域分割法相結(jié)合來(lái)得到更好的分割效果[51-54]，這樣不但能準(zhǔn)確識(shí)別遙感圖像的邊緣，還能夠產(chǎn)生封閉區(qū)域。文獻(xiàn)[54]中便結(jié)合了形態(tài)學(xué)邊緣檢測(cè)和區(qū)域增長(zhǎng)的手段來(lái)進(jìn)行遙感圖像的水流區(qū)域分割。結(jié)合基于邊緣和基于區(qū)域的方法可以使單個(gè)算法的過(guò)度分割、欠分割、種子選擇等問(wèn)題被其他算法解決，互補(bǔ)來(lái)提高分割性能。此外也有學(xué)者將基于像素的方法與區(qū)域分割法結(jié)合[55]，或是將基于數(shù)學(xué)理論的優(yōu)化算法和基于淺層特征的分割法相結(jié)合[56-57]，在光學(xué)遙感圖像分割任務(wù)中能取得良好的結(jié)果，但是總體上看實(shí)現(xiàn)起來(lái)較麻煩，復(fù)雜程度較高。

4 基于深層特征的分割方法

隨著光學(xué)遙感圖像分辨率的提升，圖像中“異物同譜”及“同物異譜”的情況出現(xiàn)得愈加頻繁，傳統(tǒng)的淺層和中層特征表征可提升空間已經(jīng)相當(dāng)有限，圖像分割面臨著新的挑戰(zhàn)。隨著人工智能和深度學(xué)習(xí)的發(fā)展，研究人員發(fā)現(xiàn)通過(guò)深度神經(jīng)網(wǎng)絡(luò)能提取到對(duì)圖像分割大有裨益的深層特征。強(qiáng)大的魯棒性是深度神經(jīng)網(wǎng)絡(luò)的典型優(yōu)勢(shì)，提取到的深層特征具有高層語(yǔ)義信息，而且網(wǎng)絡(luò)層數(shù)越深，越能提取到抽象且具有全局性的信息，特征表征能力就越強(qiáng)[11,58-59]。后來(lái)，基于深層特征的分割方法逐漸被遷移到光學(xué)遙感圖像中，并依據(jù)遙感圖像的多光譜、高地物復(fù)雜度、高類間相似和類內(nèi)不同性等區(qū)別于自然圖像的特點(diǎn)進(jìn)行改進(jìn)，其中突出代表為基于卷積神經(jīng)網(wǎng)絡(luò)CNN的分割模型，目前大多數(shù)基于深層特征的分割方法都是在此網(wǎng)絡(luò)基礎(chǔ)上延伸發(fā)展的。CNN通過(guò)對(duì)光學(xué)遙感圖像進(jìn)行逐層的特征學(xué)習(xí)，來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器，在圖像像素級(jí)上進(jìn)行分類來(lái)實(shí)現(xiàn)圖像分割[60]。一般由卷積層、池化層和全連接層構(gòu)成，通過(guò)這些多層結(jié)構(gòu)的組合自動(dòng)學(xué)習(xí)圖像特征并將其映射到新的特征空間來(lái)進(jìn)行表示。作為典型的數(shù)據(jù)驅(qū)動(dòng)型網(wǎng)絡(luò)，CNN需要大量的訓(xùn)練數(shù)據(jù)來(lái)得到一個(gè)良好的分割模型，接著利用此模型進(jìn)行測(cè)試圖像的分割任務(wù)，以下列出了幾種常見的基于CNN的光學(xué)遙感圖像分割模型。

2015年，以Long[10]為代表設(shè)計(jì)的全卷積網(wǎng)絡(luò)FCN語(yǔ)義分割模型對(duì)圖像分割來(lái)說(shuō)具有劃時(shí)代意義，實(shí)現(xiàn)了像素級(jí)的圖像語(yǔ)義分割，它將CNN結(jié)構(gòu)內(nèi)用于分類映射的全連接層替換成卷積層，通過(guò)反卷積操作對(duì)獲得的特征熱圖進(jìn)行上采樣到原始輸入圖像大小，同時(shí)結(jié)合中間池化層信息來(lái)生成圖像預(yù)測(cè)分割圖，圖1是FCN的結(jié)構(gòu)圖，圖中數(shù)字表示不同特征圖的通道數(shù)。在利用FCN進(jìn)行光學(xué)遙感圖像分割時(shí)，池化層的引入會(huì)導(dǎo)致一部分圖像邊緣細(xì)節(jié)的丟失，且模型所提取到特征的類內(nèi)相似性與類間差異性仍然不是很高，為了解決這些問(wèn)題，大量基于FCN的改進(jìn)方法不斷涌現(xiàn)。例如，根據(jù)遙感圖像的特征，文獻(xiàn)[61]中通過(guò)增加海拔信息來(lái)得到更精細(xì)的遙感圖像信息，而文獻(xiàn)[62]則融合了藍(lán)板房屋和裸土的光譜識(shí)別指數(shù)，將遙感圖像的索引模糊化，提高了分割準(zhǔn)確率和召回率。此外，利用可獲取全局上下文信息的條件隨機(jī)場(chǎng)CRF作為優(yōu)化手段也是常見的改進(jìn)方法，先利用FCN實(shí)現(xiàn)粗分割，再用CRF依據(jù)目標(biāo)的多尺度信息來(lái)細(xì)化分割結(jié)果[63-65]。

圖1 全卷積網(wǎng)絡(luò)結(jié)構(gòu)

基于FCN先降采樣再上采樣的結(jié)構(gòu)，Badrinarayanan等人[66]提出了一種深層卷積編碼器-解碼器結(jié)構(gòu)SegNet來(lái)對(duì)街道和車輛等城市中目標(biāo)進(jìn)行識(shí)別分割，如圖2所示，前五大模塊對(duì)應(yīng)著編碼器部分，是一個(gè)逐漸下采樣來(lái)進(jìn)行特征提取的信息稀疏化過(guò)程，后五大模塊則對(duì)應(yīng)解碼器部分，利用逐塊上采樣的思想來(lái)恢復(fù)圖像至原始輸入尺寸。它通過(guò)只保留編碼器結(jié)構(gòu)的池化索引值來(lái)節(jié)省內(nèi)存空間，在解碼階段使用最大池化的索引值即可恢復(fù)目標(biāo)邊緣，保留了圖像的細(xì)節(jié)信息，進(jìn)而有效地提高了分割準(zhǔn)確率。文獻(xiàn)[67]中便利用遙感圖像的光譜和空間特征信息，通過(guò)SegNet對(duì)遙感圖像中的農(nóng)村建筑物覆蓋區(qū)域進(jìn)行提取。此外，Ronneberger等人[68]設(shè)計(jì)的簡(jiǎn)單小型U-Net結(jié)構(gòu)也因其在訓(xùn)練數(shù)據(jù)較少情況下的較精確分割表現(xiàn)在遙感圖像分割應(yīng)用中出現(xiàn)頻率較高[69-70]。結(jié)構(gòu)如圖3所示，每個(gè)矩形塊上方的數(shù)字表示特征圖對(duì)應(yīng)的通道數(shù)，左方的數(shù)字表示特征圖長(zhǎng)度和寬度的乘積，具體地，如輸入圖像數(shù)據(jù)往右第三個(gè)長(zhǎng)條矩形上方數(shù)字64表示有64個(gè)通道，左邊的568×568表示此維度為特征圖長(zhǎng)568和寬568的乘積。文獻(xiàn)[69]中利用VGG16網(wǎng)絡(luò)作為預(yù)編碼器來(lái)改進(jìn)U-Net，并采用了基于空洞卷積的級(jí)聯(lián)并行模塊對(duì)多尺度的高級(jí)語(yǔ)義特征進(jìn)行捕獲，在高分辨率遙感圖像的建筑物分割中精度較高。更多地，DeconvNet[71-72]也采用了類似的編碼器-解碼器思想來(lái)上采樣圖像還原至原始尺寸，它利用了反卷積層來(lái)稠密化上采樣后的稀疏特征圖來(lái)代替池化操作，改進(jìn)了FCN。

圖2 深層卷積編碼器–解碼器結(jié)構(gòu)

圖3 U-Net結(jié)構(gòu)

以上所述的分割模型都是基于編解碼器堆棧結(jié)構(gòu)，其中編碼器用于提取深層特征，而解碼器用于恢復(fù)特征熱圖至圖像原始尺寸，處理感受野的大小與目標(biāo)輸出尺寸兩者間的矛盾。此外，空洞卷積也是常用的緩解特征圖與感受野尺寸之間矛盾的方法，它利用空洞卷積核來(lái)對(duì)輸入圖像進(jìn)行卷積操作，能夠在獲取不同尺度特征圖的同時(shí)保證感受野不被減小，從而獲得更多的上下文信息。此理論發(fā)展起來(lái)的圖像分割結(jié)構(gòu)中的典型代表為DeepLab[73-74]和PSPNet。其中，基于DeepLab的光學(xué)遙感圖像分割方法[75-78]在近年的研究中備受關(guān)注，具有較佳的分割效果。文獻(xiàn)[75]中就利用了空洞卷積來(lái)代替FCN中的池化操作，減少計(jì)算量的同時(shí)保證了特征圖的大小，有效保留了遙感圖像中的空間結(jié)構(gòu)信息，文獻(xiàn)[77]中則是利用DeepLab結(jié)構(gòu)來(lái)進(jìn)行遙感圖像海岸線的粗分割，再采用全連接的CRF來(lái)優(yōu)化分割模型實(shí)現(xiàn)細(xì)節(jié)提取，有效減少了誤分割率，而文獻(xiàn)[78]中選擇在DeepLab V3+的基礎(chǔ)上加入樹狀網(wǎng)絡(luò)結(jié)構(gòu)來(lái)改善分割性能，圖4展示了該方法的分割效果。2017年的PSPNet[79]不僅將空洞卷積應(yīng)用到ResNet中，還額外加入金字塔池化模塊來(lái)更好地進(jìn)行多尺度上下文聚合和全局信息的獲取，輔助遙感圖像進(jìn)行場(chǎng)景解析[80]，加以改進(jìn)的PSPNet曾獲得過(guò)ImageNet場(chǎng)景解析挑戰(zhàn)賽的第一名。

圖4 文獻(xiàn)[78]遙感圖像分割效果

相比于早期較傳統(tǒng)的光學(xué)遙感圖像分割，基于深層特征的分割方法可以利用神經(jīng)網(wǎng)絡(luò)來(lái)隱式地建立像素到語(yǔ)義的映射關(guān)系，網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)提取目標(biāo)特征來(lái)完成整個(gè)分割過(guò)程，而不需要引入人工特征干預(yù)，可以更高好地學(xué)習(xí)遙感圖像的特征，提高識(shí)別準(zhǔn)確性的同時(shí)減少時(shí)間消耗。然而，大多數(shù)早期神經(jīng)網(wǎng)絡(luò)的性能都極依賴訓(xùn)練樣本的數(shù)據(jù)量，屬于強(qiáng)監(jiān)督語(yǔ)義分割方法，但訓(xùn)練樣本的標(biāo)注是一項(xiàng)時(shí)間和經(jīng)濟(jì)成本都較高的任務(wù)，且手工標(biāo)注還帶有主觀性和不確定性。在遇到遙感圖像原始樣本不充分的情況時(shí)，比如高光譜遙感數(shù)據(jù)，強(qiáng)監(jiān)督的語(yǔ)義分割性能就會(huì)受到制約。于是，越來(lái)越多的研究學(xué)者開始關(guān)注弱監(jiān)督和無(wú)監(jiān)督下的遙感圖像語(yǔ)義分割方法[81-83]。不需要利用高成本的像素級(jí)標(biāo)注信息，而是通過(guò)圖像中易得到的框、線、點(diǎn)的輔助標(biāo)注信息或是利用計(jì)算機(jī)自動(dòng)生成的語(yǔ)義標(biāo)注數(shù)據(jù)來(lái)進(jìn)行模型訓(xùn)練，但大部分目前的分割效果還不如強(qiáng)監(jiān)督方法?？偟膩?lái)說(shuō)，目前基于改進(jìn)的強(qiáng)監(jiān)督遙感圖像分割方法仍是主流，弱監(jiān)督和無(wú)監(jiān)督技術(shù)仍需要大量研究突破。

5 結(jié)束語(yǔ)

光學(xué)遙感圖像分割在對(duì)地觀測(cè)研究任務(wù)里發(fā)揮著關(guān)鍵作用，分割性能的好壞對(duì)后續(xù)的圖像信息獲取和分類任務(wù)有很大的影響。本文以圖像的淺層、中層、深層特征為分割方法的分類依據(jù)，綜合闡述了常見的一些光學(xué)遙感圖像分割方法，并簡(jiǎn)要分析了各類方法的有效性和局限性，可以讓讀者了解到現(xiàn)階段光學(xué)遙感圖像分割技術(shù)的發(fā)展有一定的借鑒和參考意義。

不同于自然圖像，遙感圖像中背景及陰影的高復(fù)雜度、尺度多邊性、過(guò)于分散的目標(biāo)和逐漸提升的高分辨率都增加了分割任務(wù)的難度，單一傳統(tǒng)的分割技術(shù)已達(dá)不到現(xiàn)有的技術(shù)要求。而近幾年在深度學(xué)習(xí)思潮引領(lǐng)下，通過(guò)深層特征挖掘來(lái)高效智能地進(jìn)行遙感圖像分割已經(jīng)成為了研究熱點(diǎn)，同時(shí)，將深層特征和淺層、中層特征結(jié)合的分割方法也在光學(xué)遙感圖像處理領(lǐng)域也因有較好的效果而日益得到關(guān)注。不過(guò)目前還未發(fā)現(xiàn)一種成熟的分割方法能很好地適用于所有的光學(xué)遙感圖像分割任務(wù)，技術(shù)仍然存在很大的發(fā)展空間。

綜上所述，本文認(rèn)為未來(lái)的研究可以從以下三個(gè)方面著手：1）綜合考慮多種特征融合的方法，利用諸如光譜、紋理、邊緣等信息來(lái)提高光學(xué)遙感圖像分割精度和分割率；2）利用多源數(shù)據(jù)融合的遙感圖像進(jìn)行多尺度分割研究，綜合多尺度信息來(lái)輔助分割也是一個(gè)可發(fā)展的方向；3）弱監(jiān)督及無(wú)監(jiān)督分割技術(shù)亟待發(fā)展，對(duì)減少高成本的人工或軟件數(shù)據(jù)標(biāo)注有重要意義，簡(jiǎn)便靈活且具有強(qiáng)擴(kuò)展性、高普適性的分割模型設(shè)計(jì)是未來(lái)光學(xué)遙感圖像分割領(lǐng)域重要的一個(gè)發(fā)展趨勢(shì)。

[1] 劉純, 洪亮, 楚森森. 高分辨率遙感影像分割方法研究[J]. 測(cè)繪與空間地理信息, 2014(10): 44-49.LIU Chun, HONG Liang, CHU Sensen. Study on Segmentation Methods of High Resolution Remote Sensing Images[J]. Geomatics & Spatial Information Technology, 2014(10): 44-49. (in Chinese)

[2] BLASCHKE T. Object Based Image Analysis for Remote Sensing[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2010, 65(1): 2-16.

[3] DEY V, ZHANG Y, ZHONG M. A Review on Image Segmentation Techniques with Remote Sensing Perspective[M]. Vienna, Austria: IAPRS, 2010.

[4] HOSSAIN M D, CHEN D. Segmentation for Object-based Image Analysis (OBIA): A Review of Algorithms and Challenges from Remote Sensing Perspective[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150(APR): 115-134.

[5] WANG Yongzhi, LV Hua, DENG Rui, et al. A Comprehensive Survey of Optical Remote Sensing Image Segmentation Methods[J]. Canadian Journal of Remote Sensing, 2020, 1-31.

[6] PRIYADHARSINI G, SENTHIL K C, UDHAYAMOORTHY M. A Review on Various Methods of Image Segmentation Based on Remote Sensing Applications[J]. International Journal for Innovative Research in Science & Technology, 2014(1): 184-187.

[7] 吳金建. 基于人類視覺系統(tǒng)的圖像信息感知和圖像質(zhì)量評(píng)價(jià)[D]. 西安: 西安電子科技大學(xué), 2014. WU Jinjian. Image Information Perception and Quality Assessment Based on The Human Visual System[D]. Xi’an: Xidian University, 2014. (in Chinese)

[8] LI S Z. Markov Random Field Models in Computer Vision[C]//European Conference on Computer Vision, May 2-6, 1994, Berlin, Heidelberg.

[9] LAFFERTY J, MCCALLUM A, PEREIRA F. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data[C]//Proc.18th International Conf. on Machine Learning, June 6-28, 2001.

[10] LONG J, SHELHAMER E, DARRELL T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(4): 640-651.

[11] HAO Shijie, ZHOU Yuan, GUO Yanrong. A Brief Survey on Semantic Segmentation with Deep Learning[J]. Neurocomputing, 2019(11): 302-321.

[12] 靳淇兆. 遙感圖像語(yǔ)義分割方法及其應(yīng)用[D]. 哈爾濱: 哈爾濱理工大學(xué), 2019. JIN Qizhao. Semantic Segmentation Method of Remote Sensing Image and Its Application[D]. Harbin: Harbin University of Science and Technology, 2019. (in Chinese)

[13] OTSU N. A Threshold Selection Method from Gray-level Histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66.

[14] 劉大偉. 高分辨率遙感影像分割方法及應(yīng)用研究[D]. 西安: 長(zhǎng)安大學(xué), 2016. LIU, Dawei. Study on Segmentation Algorithms and Its Applications of High Spatial Resolution Remote Sensing Images[D]. Xi’an: Chang’an University, 2016. (in Chinese)

[15] 陳明, 王行風(fēng). 基于模擬退火改進(jìn)的多閾值遙感圖像分割[J]. 信息系統(tǒng)工程, 2011(8): 73-75. CHEN Ming, WANG Xingfeng. Multi-threshold Remote Sensing Image Segmentation Based on Improved Simulated Annealing Method[J]. China CIO News, 2011(8): 73-75. (in Chinese)

[16] 王保云, 張榮, 袁圓, 等. 可見光遙感圖像中艦船目標(biāo)檢測(cè)的多階閾值分割方法[J]. 中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào), 2011, 41(4): 293-298. WANG Baoyun, ZHANG Rong, YUAN Yuan, et al. A New Multi-level Threshold Segmentation Method for Ship Targets Detection in Optical Remote Sensing Images[J]. Journal of China University of Science and Technology, 2011, 41(4): 293-298. (in Chinese)

[17] GOSHTASBY A, SHYU H L. Edge Detection by Curve Fitting[J]. Image & Vision Computing, 1995, 13(3):169-177.

[18] SCHIEWE J. Segmentation of High-resolution Remotely Sensed Data-concepts, Applications and Problems[J]. International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences, 2002, 34(4): 380-385.

[19] LU Desian, CHEN Chienchang. Edge Detection Improvement by Ant Colony Optimization[J]. Pattern Recognition Letters, 2008, 29(4): 416-425.

[20] CARLEER A P, DEBEIR O, WOLFF E. Assessment of Very High Spatial Resolution Satellite Image Segmentations[J]. Photogrammetric Engineering & Remote Sensing, 2005, 71(11): 1285-1294.

[21] LIU Fang, CHEN Puhua, LI Yuanjie, et al. Structural Feature Learning-based Unsupervised Semantic Segmentation of Synthetic Aperture Radar Image[J]. Journal of Applied Remote Sensing, 2019, 13(1): 014501.

[22] CHEN Jianyu, LI J, PAN Delu, et al. Edge-guided Multiscale Segmentation of Satellite Multispectral Imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(11): 4513-4520.

[23] DI Yanan, JIANG Gangwu, YAN Libo, et al. Multi-scale Segmentation of High Resolution Remote Sensing Images by Integrating Multiple Features[J]. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2017, XLII-1/W1: 247-255.

[24] 余潔, 余峰, 張晶, 等. 結(jié)合區(qū)域生長(zhǎng)與道路基元的高分辨率遙感影像道路提取[J]. 武漢大學(xué)學(xué)報(bào)·信息科學(xué)版, 2013, 38(7): 761-764. YU Jie, YU Feng, ZHANG Jing, et al. High Resolution Remote Sensing Image Road Extraction Combining Region Growing and Road-unit[J]. Geomatics and Information Science of Wuhan University, 2013, 38(7): 761-764. (in Chinese)

[25] ZHANG Xueliang, XIAO Pengfeng, FENG Xuezhi. Fast Hierarchical Segmentation of High-resolution Remote Sensing Image with Adaptive Edge Penalty[J]. Photogrammetric Engineering & Remote Sensing, 2014, 80(1): 71-80.

[26] BYUN Y, KIM D, LEE J, et al. A Framework for the Segmentation of High-resolution Satellite Imagery Using Modified Seeded-region Growing and Region Merging[J]. International Journal of Remote Sensing, 2011, 32(16): 4589-4609.

[27] 楚恒, 李洪川, 劉紅彬. 基于對(duì)象直方圖G統(tǒng)計(jì)量的遙感影像道路提取[J]. 測(cè)繪通報(bào), 2017, 489(12): 63-67. CHU Heng, LI Hongchuan, LIU Hongbin. Road Extraction of Remote Sensing Imagery Using G Statistics of Object Histogram[J]. Bulletin of Surveying and Mapping, 2017, 489(12): 63-67. (in Chinese)

[28] 陳洋, 范榮雙, 王競(jìng)雪, 等. 結(jié)合相位一致和分水嶺變換的高分辨率遙感影像分割方法[J]. 激光與光電子學(xué)進(jìn)展, 2017, 54(9): 375-380. CHEN Yang, FAN Rongshuang, WANG Jingxue, et al. Segmentation of High-resolution Remote Sensing Image Combining Phase Consistency with Watershed Transformation[J]. Laser and Optoelectronics Progress, 2017, 54(9): 375-380. (in Chinese)

[29] 林卉, 劉培, 夏俊士, 等. 基于分水嶺變換的遙感影像面向?qū)ο蠖喑叨确指钏惴ㄑ芯縖J]. 測(cè)繪通報(bào), 2011, 235(10): 45-48. LIN Hui, LIU Pei, XIA Junshi, et al. Research on Object-oriented Multi-scale Segmentation Algorithm Based on Watershed Transformation[J]. Bulletin of Surveying and Mapping, 2011, 235(10): 45-48. (in Chinese)

[30] 胡學(xué)龍, 沈潔. 利用分水嶺分割的多分辨率遙感圖像融合算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2010, 15(5): 820-823. HU Xuelong, SHEN Jie. Algorithm on Multiresolution Remote Image Fusion with Watershed Segmentation[J]. Journal of Image and Graphics, 2010, 15(5): 820-823. (in Chinese)

[31] ALSHEHHI R, MARPU P R. Hierarchical Graph-based Segmentation for Extracting Road Networks from High-resolution Satellite Images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 126: 245-260.

[32] YANG Yi, LI Haitao, HAN Yanshun, et al. High Resolution Remote Sensing Image Segmentation Based on Graph Theory and Fractal Net Evolution Approach[J]. The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2015, 40(7): 197-201.

[33] 鄧富亮, 楊崇俊, 曹春香, 等. 高分辨率影像分割的分形網(wǎng)絡(luò)演化改進(jìn)方法[J]. 地球信息科學(xué)學(xué)報(bào), 2014, 16(1): 95-101.DENG Fuliang, YANG Chongjun, CAO Chunxiang, et al. An Improved Method of FNEA for High Resolution Remote Sensing Image Segmentation[J]. Journal of Geo-information Science, 2014, 16(1): 95-101. (in Chinese)

[34] 朱俊杰, 杜小平, 范湘濤, 等. 一種改進(jìn)的多尺度分形網(wǎng)絡(luò)演化分割方法[J]. 遙感技術(shù)與應(yīng)用, 2014, 29(2): 324-329. ZHU Junjie, DU Xiaoping, FAN Xiangtao, et al. A Advanced Multi-scale Fractal Net Evolution Approach[J]. Remote Sensing Technology and Application, 2014, 29(2): 324-329. (in Chinese)

[35] LI Ke, YOU Xiong, WAN Gang. Remote Sensing Image Classification Method Based on Superpixel Segmentation and Adaptive Weighting K-means[C]//International Conference on Virtual Reality and Visualization (ICVRV), October 17-18, 2015, Xiamen, China.

[36] 龔林松, 李士進(jìn). 基于改進(jìn)的SLIC和OTSU的遙感影像水體提取[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2019, 29(1): 145-149. GONG Linsong, LI Shijin. Water Information Extraction from Remote Sensing Imagery Based on Improved SLIC and OTSU[J]. Computer Technology and Development, 2019, 29(1): 145-149. (in Chinese)

[37] 趙泉華, 劉曉燕, 趙雪梅, 等. 基于可變類FCM算法的多光譜遙感影像分割[J]. 電子與信息學(xué)報(bào), 2018, 40(1): 157-165. ZHAO Quanhua, LIU Xiaoyan, ZHAO Xuemei, et al. Multispectral Remote Sensing Image Segmentation Based on FCM Algorithm with Unknown Number of Clusters[J]. Journal of Electronics & Information Technology, 2018, 40(1): 157-165. (in Chinese)

[38] WU Tianjun, XIA Liegang, LUO Jiancheng, et al. Computationally Efficient Mean-shift Parallel Segmentation Algorithm for High-resolution Remote Sensing Images[J]. Journal of the Indian Society of Remote Sensing, 2018, 46(11): 1805-1814.

[39] COMANICIU D, RAMESH V, MEER P. Kernel-based Object Tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577.

[40] GRINIAS I, PANAGIOTAKIS C, TZIRITAS G. MRF-based Segmentation and Unsupervised Classification for Building and Road Detection in Peri-urban Areas of High-resolution Satellite Images[J]. ISPRS Journal of Photogrammetry and Remote sensing, 2016, 122(10): 145-166.

[41] BAO Huifang, ZHOU Linli, LIU Lei, et al. A MRF-based Multi-agent System for Remote Sensing Image Segmentation[C]// International Conference on Computing Intelligence and Information System (CIIS), April 21-23, 2017, Harbin, China.

[42] BOUMAN C A, SHAPIRO M. A Multiscale Random Field Model for Bayesian Image Segmentation[J]. IEEE Transactions on Image Processing, 1994, 3(2): 162-177.

[43] JUNG M, YUN E J, KIM C S. Multiresolution Approach for Texture Segmentation Using MRF Models[C]// IEEE International Geoscience and Remote Sensing Symposium, July 25-29, 2005, Seoul, Korea.

[44] SARKAR A, BISWAS M K, SHARMA K M S. A Simple Unsupervised MRF Model Based Image Segmentation Approach[J]. IEEE Transactions on Image Processing, 2000, 9(5): 801-812.

[45] SARKAR A, BISWAS M K, KARTIKEYAN B, et al. A MRF Model-based Segmentation Approach to Classification for Multispectral Imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2002, 40(5): 1102-1113.

[46] YANG Yi, HAN Chongzhao, HAN Deqiang. A Markov Random Field Model-based Fusion Approach to Segmentation of SAR and Optical Images[C]//IEEE International Geoscience and Remote Sensing Symposium, July 6-11, 2008, Boston, MA, USA.

[47] MOSER G, SERPICO S B. Classification of High-resolution Images Based on MRF Fusion and Multiscale Segmentation[C]// IEEE International Geoscience and Remote Sensing Symposium, July 6-11, 2008, Boston, MA, USA.

[48] 鄭瑋, 康戈文, 陳武凡, 等. 一種無(wú)監(jiān)督的遙感圖像分割新算法研究[J]. 儀器儀表學(xué)報(bào), 2009, 30(1): 213-218. ZHENG Wei, KANG Gewen, CHEN Wufan, et al. Study on a Novel Unsupervised Algorithm for Remote Sensing Image Segmentation[J]. Chinese Journal Scientific Instruments, 2009, 30(1): 213-218. (in Chinese)

[49] CHEN Jianyu, PAN Delu, MAO Zhihua. Image-object Detectable in Multiscale Analysis on High-resolution Remotely Sensed Imagery[J]. International Journal of Remote Sensing, 2009, 30(14): 3585-3602.

[50] 韋春桃, 趙平, 肖博林, 等. 結(jié)合雙樹復(fù)小波紋理特征和MRF模型的遙感圖像分割[J]. 測(cè)繪通報(bào), 2019(10): 40-45. WEI Chuntao, ZHAO Ping, XIAO Bolin, et al. Remote Sensing Image Segmentation Method Based on Dual-tree Complex Wavelet Texture Feature and MRF Model[J]. Bulletin of Surveying and Mapping, 2019(10): 40-45. (in Chinese)

[51] FAN J, YAU D K Y, ELMAGARMID A K, et al. Automatic Image Segmentation by Integrating Color-edge Extraction and Seeded Region Growing[J]. IEEE Transactions on Image Processing, 2001, 10(10): 1454-1466.

[52] GAETANO R, MASI G, POGGI G, et al. Marker-controlled Watershed-based Segmentation of Multiresolution Remote Sensing Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 53(6): 2987-3004.

[53] ZHANG Xueliang, XIAO Pengfeng, FENG Xuezhi, et al. Hybrid Region Merging Method for Segmentation of High-resolution Remote Sensing Images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 98(12): 19-28.

[54] 王小鵬, 文昊天, 王偉, 等. 形態(tài)學(xué)邊緣檢測(cè)和區(qū)域生長(zhǎng)相結(jié)合的遙感圖像水體分割[J]. 測(cè)繪科學(xué)技術(shù)學(xué)報(bào), 2019, 36(2): 149-154. WANG Xiaopeng, WEN Haotian, WANG Wei, et al. Water Segmentation of Remote Sensing Image Using Morphological Edge Detection and Region Growing[J]. Journal of Geomatics Science and Technology, 2019, 36(2): 149-154. (in Chinese)

[55] 王慧賢, 靳惠佳, 王嬌龍, 等. k均值聚類引導(dǎo)的遙感影像多尺度分割優(yōu)化方法[J]. 測(cè)繪學(xué)報(bào), 2015, 44(5): 526-532. WANG Huixian, JIN Huijia, WANG Jiaolong, et al. Optimization Approach for Multi-scale Segmentation of Remotely Sensed Imagery Under k-means Clustering Guidance[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(5): 526-532. (in Chinese)

[56] 靳華中, 葉志偉, 柯敏毅, 等. 結(jié)合MRF模型與粒子群優(yōu)化算法的遙感影像紋理分割[J]. 計(jì)算機(jī)應(yīng)用, 2010, 30(9): 2461-2463. JIN Huazhong, YE Zhiwei, KE Minyi, et al. Combination of MRF Model and Particle Swarm Optimization Algorithm for Texture Segmentation of Remote Sensing Images[J]. Journal of Computer Applications, 2010, 30(9): 2461-2463. (in Chinese)

[57] 吳一全, 周建偉. 基于混沌布谷鳥優(yōu)化的二維Tsallis交叉熵建筑物遙感圖像分割[J]. 數(shù)據(jù)采集與處理, 2019, 34(1): 22-31. WU Yiquan, ZHOU Jianwei. Thresholding for Remote Sensing Images of Building Based on Two-dimensional Tsallis Cross Entropy Using Chaotic Cuckoo Search Optimization[J]. Journal of Data Acquisition and Processing, 2019, 34(1): 22-31. (in Chinese)

[58] 李曉斌, 江碧濤, 楊淵博, 等. 光學(xué)遙感圖像目標(biāo)檢測(cè)技術(shù)綜述[J]. 航天返回與遙感, 2019, 40(4): 95-104. LI Xiaobin, JIANG Bitao, YANG Yuanbo, et al. A Survey on Object Detection Technology in Optical Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(4): 95-104. (in Chinese)

[59] GUO Y, LIU Y, GEORGIOU T, et al. A Review of Semantic Segmentation Using Deep Neural Networks[J]. International Journal of Multimedia Information Retrieval, 2018, 7(2): 87-93.

[60] 姜楓, 顧慶, 郝慧珍, 等. 基于內(nèi)容的圖像分割方法綜述[J]. 軟件學(xué)報(bào), 2017, 28(1): 160-183. JIANG Feng, GU Qing, HAO Huizhen, et al. Survey on Content-based Image Segmentation Methods[J]. Journal of Software, 2017, 28(1): 160-183. (in Chinese)

[61] SUN Weiwei, WANG Ruisheng. Fully Convolutional Networks for Semantic Segmentation of Very High Resolution Remotely Sensed Images Combined with DSM[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(3): 474-478.

[62] FU Xiaomeng, QU Huiming. Research on Semantic Segmentation of High-resolution Remote Sensing Image Based on Full Convolutional Neural Network[C]//International Symposium on Antennas, Propagation and EM Theory (ISAPE), December 3-6, 2018, Hangzhou, China.

[63] 肖春姣, 李宇, 張洪群, 等. 深度融合網(wǎng)結(jié)合條件隨機(jī)場(chǎng)的遙感圖像語(yǔ)義分割[J]. 遙感學(xué)報(bào), 2020, 24(3): 254-264. XIAO Chunjiao, LI Yu, ZHANG Hongqun, et al. Semantic Segmentation of Remote Sensing Images Based on Deep Fusion Network and Conditional Random Field[J]. Journal of Remote Sensing, 2020, 24(3): 254-264. (in Chinese)

[64] 肖雨彤, 張繼賢, 黃國(guó)滿, 等. FCN與CRF結(jié)合的PolSAR影像建筑區(qū)域提取[J]. 遙感信息, 2020, 35(3): 44-49. XIAO Yutong, ZHANG Jixian, HUANG Guoman, et al. Building Area Extraction of PolSAR Images Based on FCN and CRF[J]. Remote Sensing Information, 2020, 35(3): 44-49. (in Chinese)

[65] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS[J]. Computerence, 2014(4): 357-361.

[66] BADRINARAYANAN V, KENDALL A, CIPOLLA R. Segnet: A Deep Convolutional Encoder-decoder Architecture for Image Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495.

[67] 楊建宇, 周振旭, 杜貞容, 等. 基于SegNet語(yǔ)義模型的高分辨率遙感影像農(nóng)村建設(shè)用地提取[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2019, 35(5): 251-258. YANG Jianyu, ZHOU Zhenxu, DU Zhenrong, et al. Rural Construction Land Extraction from High Spatial Resolution Remote Sensing Image Based on SegNet Semantic Segmentation Model[J]. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(5): 251-258. (in Chinese)

[68] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional Networks for Biomedical Image Segmentation[C]// International Conference on Medical Image Computing and Computer-assisted Intervention, October 5-9, 2015, Munich, Germany.

[69] 徐昭洪, 劉宇, 全吉成, 等. 基于VGG16預(yù)編碼的遙感圖像建筑物語(yǔ)義分割[J]. 科學(xué)技術(shù)與工程, 2019, 19(17): 250-255. XU Zhaohong, LIU Yu, QUAN Jicheng, et al. Buildings Segmentation of Remote Sensing Images Based on VGG16 Pre-encoding[J]. Science Technology and Engineering, 2019, 19(17): 250-255. (in Chinese)

[70] 蘇健民, 楊嵐心, 景維鵬. 基于U-Net的高分辨率遙感圖像語(yǔ)義分割方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2019, 55(7): 207-213. SU Jianmin, YANG Lanxin, JING Weipeng. U-Net Based Semantic Segmentation Method for High Resolution Remote Sensing Image[J]. Computer Engineering and Applications, 2019, 55(7): 207-213. (in Chinese)

[71] NOH H, HONG S, HAN B. Learning Deconvolution Network for Semantic Segmentation[C]//Proceedings of the IEEE International Conference on Computer Vision, December 7-13, 2015, Santiago, Chile.

[72] 尚群鋒, 沈煒, 帥世淵. 基于深度學(xué)習(xí)高分辨率遙感影像語(yǔ)義分割[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用, 2020, 29(7): 180-185. SHANG Qunfeng, SHEN Wei, SHUAI Shiyuan. Semantic Segmentation of High Resolution Remote Sensing Image Based on Deep Learning[J]. Computer Systems and Applications, 2020, 29(7): 180-185. (in Chinese)

[73] CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Deeplab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected Crfs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 40(4): 834-848.

[74] CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder-decoder with Atrous Separable Convolution for Semantic Image Segmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV), September 8-14, 2018, Munich, Germany.

[75] 陳揚(yáng)洋, 明冬萍, 徐錄, 等. 高空間分辨率遙感影像分割定量實(shí)驗(yàn)評(píng)價(jià)方法綜述[J]. 地球信息科學(xué)學(xué)報(bào), 2017, 19(6): 818-830. CHEN Yangyang, MING Dongping, XU Lu, et al. An Overview of Quantitative Experimental Methods for Segmentation Evaluation of High Spatial Remote Sensing Images[J]. Journal of Geo-information Science, 2017, 19(6): 818-830. (in Chinese)

[76] 袁立, 袁吉收, 張德政. 基于DeepLab-v3+的遙感影像分類[J]. 激光與光電子學(xué)進(jìn)展, 2019, 56(15): 228-235. YUAN Li, YUAN Jishou, ZHANG Dezheng. Remote Sensing Image Classification Based on DeepLab-v3+[J]. Laser & Optoelectronics Progress, 2019, 56(15): 228-235. (in Chinese)

[77] 王振華, 鐘元芾, 何婉雯, 等. 改進(jìn)Deeplab網(wǎng)絡(luò)的遙感影像海島岸線分割[J]. 中國(guó)圖象圖形學(xué)報(bào), 2020, 25(4): 768-778. WANG Zhenhua, ZHONG Yuanfu, HE Wanwen, et al. Island Shoreline Segmentation in Remote Sensing Image Based on Improved Deeplab Network[J]. Journal of Image and Graphics, 2020, 25(4): 768-778. (in Chinese)

[78] 胡偉, 高博川, 黃振航, 等. 樹形結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化的城區(qū)遙感圖像語(yǔ)義分割[J]. 中國(guó)圖象圖形學(xué)報(bào), 2020, 25(5): 1043-1052. HU Wei, GAO Bochuan, HUANG Zhenhang, et al. Semantic Segmentation of Urban Remote Sensing Image Based on Optimized tree[J]. Journal of Image and Graphics, 2020, 25(5): 1043-1052. (in Chinese)

[79] ZHAO Hengshuang, SHI Jianping, QI Xiaojuan, et al. Pyramid Scene Parsing Network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, Hawaii.

[80] 廖旋, 繆君, 儲(chǔ)珺, 等. 融合分割先驗(yàn)的多圖像目標(biāo)語(yǔ)義分割[J]. 中國(guó)圖象圖形學(xué)報(bào), 2019(6): 890-901. LIAO Xuan, MIAO Jun, CHU Jun, et al. Multi-image Object Semantic Segmentation by Fusing Segmentation Priors[J]. Journal of Image and Graphics, 2019(6): 890-901. (in Chinese)

[81] 李雨慧. 基于深度學(xué)習(xí)的高分辨率遙感影像多尺度語(yǔ)義分割[D]. 上海: 上海交通大學(xué), 2018. LI Yuhui. Multi-scale Semantic Segmentation of High Resolution Remote Sensing Images Based on Deep Learning[D]. Shanghai: Shanghai Jiaotong University, 2018. (in Chinese)

[82] 吳俊峰, 姜志國(guó), 張浩鵬, 等. 半監(jiān)督條件隨機(jī)場(chǎng)的高光譜遙感圖像分類[J]. 遙感學(xué)報(bào), 2017, 21(4): 588-603. WU Junfeng, JIANG Zhiguo, ZHANG Haopeng, et al. Classification of Hyperspectral Remote Sensing Images with Semi-supervised Conditional Random Fields[J]. Journal of Remote Sensing, 2017, 21(4): 588-603. (in Chinese)

[83] BENJDIRA B, BAZI Y, KOUBAA A, et al. Unsupervised Domain Adaptation Using Generative Adversarial Networks for Semantic Segmentation of Aerial Images[J]. Remote Sensing, 2019, 11(11): 1369-1392.

A Review of the Optical Remote Sensing Image Segmentation Technology

MIN Lei1GAO Kun1LI Wei2WANG Hong1LI Ting3WU Qiong1JIAO Jianchao2

（1 Key Laboratory of Photoelectronic Imaging Technology and System, Ministry of Education, Beijing Institute of Technology, Beijing 100081, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Institute of Spacecraft System Engineering, CAST, Beijing 100094, China）

Remote sensing image segmentation aims to divide the remote sensing image that contains spatial distribution information of complex ground objects into various regions with specific semantic labels, playing a pivotal role in remote sensing image analysis and interpretation. Referring to the characteristics of human visual system perception and visual information layer-by-layer sparse processing, this paper systematically classifies and reviews the common optical remote sensing image segmentation technologies from three perspectives: shallow-feature-based image segmentation, middle-feature-based image segmentation and deep-feature-based image segmentation. In addition, it states the basic characteristics of various common algorithms, compares their advantages and limitations, and prospects the future direction of improvement and development, providing a certain reference value for the research of optical remote sensing image segmentation.

image segmentation; classification; image feature level; deep learning; optical remote sensing

TP715

A

1009-8518(2020)06-0001-13

10.3969/j.issn.1009-8518.2020.06.001

2020-10-28

國(guó)家自然科學(xué)基金（61875013）；裝備預(yù)研航天科技聯(lián)合基金（6141B061004）

閔蕾, 高昆, 李維, 等. 光學(xué)遙感圖像分割技術(shù)綜述[J]. 航天返回與遙感, 2020, 41(6): 1-13.

MIN Lei, GAO Kun, LI Wei, et al. A Review of the Optical Remote Sensing Image Segmentation Technology[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(6): 1-13. (in Chinese)

閔蕾，女，1997年生，2019年獲北京理工大學(xué)光學(xué)工程專業(yè)工學(xué)學(xué)士學(xué)位，現(xiàn)在北京理工大學(xué)光學(xué)工程專業(yè)攻讀碩士學(xué)位。研究方向?yàn)檫b感圖像場(chǎng)景分類、遙感圖像語(yǔ)義分割。E-mail：18811370238@163.com。

（編輯：陳艷霞）