国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

空間信息感知語義分割模型的高分辨率遙感影像道路提取

2022-10-15 06:24:28吳強強王帥王彪吳艷蘭
遙感學(xué)報 2022年9期
關(guān)鍵詞:全局卷積精度

吳強強,王帥,王彪,吳艷蘭,3

1.安徽大學(xué) 資源與環(huán)境工程學(xué)院,合肥230601;

2.武漢大學(xué) 資源與環(huán)境科學(xué)學(xué)院,武漢430079;

3.安徽省地理信息智能技術(shù)工程研究中心,合肥230601

1 引言

高分辨率遙感影像的道路提取在地理信息更新、城市規(guī)劃、路線導(dǎo)航和救災(zāi)應(yīng)急等應(yīng)用中發(fā)揮著極其重要的作用。近年來針對道路提取的研究越來越多,但是由于道路的背景環(huán)境復(fù)雜、陰影遮擋以及高分辨率遙感影像中地物信息豐富導(dǎo)致的“同譜異物”和“同物異譜”現(xiàn)象(文貢堅和王潤生,2000)等問題的存在,高效的道路提取方法的提出仍然存在許多困難。

道路提取方法大致可分為基于道路形狀、紋理、灰度閾值和深度學(xué)習(xí)這4類方法?;诘缆沸螤畹奶崛》椒ㄖ饕玫缆返男螤钐卣鹘Y(jié)合其他方法提取遙感影像中的道路,比如,在基于道路形狀特征方面,有混合像素對象(Song和Civco,2004)、多特征匹配(付仲良 等,2016)和結(jié)合同質(zhì)特征(許銳,2014)等的道路提取方法。該類方法在噪聲較多的情況下提取道路具有優(yōu)勢,但是一般需要人為設(shè)置參數(shù),自動化程度不高,因此研究人員著眼于道路紋理特征的提取。紋理特征是道路的內(nèi)在屬性,描述了像元灰度的分布情況,依據(jù)道路的紋理特征能夠有效的提取道路信息,比如,基于道路紋理的提取方法有FMH模型(Hong等,2019)、基于角度紋理特征的城市道路全自動提?。℉averkamp,2002)和結(jié)合角度紋理特征與Ziplock Snake算法的道路提取(陳卓等,2013)等。基于道路紋理的提取方法有利于提取城市道路,但是對于復(fù)雜情況適應(yīng)性差,例如陰影遮擋的情況。為了更好地提取道路信息,研究人員利用灰度閾值方法來分割道路地物特征(張永宏等,2018),主要包括雙閾值法(周家香等,2013)、Otsu閾值法(Mu等,2016)和基于霍夫檢測的道路檢測與提取(李建和張其棟,2017)的方法。這些閾值分割方法對規(guī)則形狀提取效果好,但方法對于復(fù)雜形狀的適應(yīng)性差、提取效率低??傮w而言,上述道路提取方法在針對特定任務(wù)時表現(xiàn)較好,但方法主要依賴設(shè)定的閾值參數(shù),由于這些參數(shù)可能在不同的圖像中有所差異(Mnih和Hinton,2010),從而導(dǎo)致泛化能力弱。除此之外,這些方法難以滿足道路提取任務(wù)的精度和時間要求。隨著深度學(xué)習(xí)技術(shù)飛速發(fā)展,其在場景識別、物體檢測、語義分割等計算機視覺任務(wù)上取得了優(yōu)異成績,它能夠自動學(xué)習(xí)大數(shù)據(jù)中的有效特征,并對同一類問題具有普適性。所以,大量的研究人員開始利用深度學(xué)習(xí)方法處理衛(wèi)星遙感數(shù)據(jù)(Sherrah,2016;Nogueira等,2017)。

近幾年來,許多研究已將深度學(xué)習(xí)方法應(yīng)用于道路提取任務(wù),基于深度學(xué)習(xí)道路提取的方法可以分為基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和全卷積神經(jīng)網(wǎng)絡(luò)(FCN)的道路提取方法?;贑NN道路提取方法,包括,帶有RBM(Restricted Boltzmann Machine)(Mnih,2013)、基于補?。ˋlshehhi等,2017)和利用Wavelet Packet Method(Jiang,2019)等卷積神經(jīng)網(wǎng)絡(luò)。此類方法結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和其他方法進行道路提取,其優(yōu)勢是不需要設(shè)計特征,但輸入影像的尺寸是受限的,而且基于補丁的提取方法比較耗時?;贔CN道路提取方法,同樣借助卷積來提取道路特征,區(qū)別是FCN用卷積層替換全連接層,并且輸入影像的尺寸不受限制,通過上采樣操作可以得到與輸入影像相同尺寸的分割圖,例如,Deep Residual U-Net神經(jīng)網(wǎng)絡(luò)(Zhang等,2018)、SegNet網(wǎng)絡(luò)(Panboonyuen等,2017;Badrinarayanan等,2017)和D-LinkNet網(wǎng)絡(luò)(Zhou等,2018)等道路提取方法。以上網(wǎng)絡(luò)模型均采用高效的編碼—解碼結(jié)構(gòu)并取得了顯著的效果,但是這些方法仍具有FCN網(wǎng)絡(luò)結(jié)構(gòu)的弊端,即下采樣過程中卷積和池化操作會造成空間特征的丟失,導(dǎo)致細小道路和細節(jié)信息的提取效果差。Zhou等(2018)提出D-LinkNet結(jié)構(gòu),利用空洞卷積替換下采樣中的池化操作,擴大感受野的同時有效地減小了空間特征的損失。但是連續(xù)的空洞卷積操作導(dǎo)致空間特征的不連續(xù),產(chǎn)生“棋盤效應(yīng)”,造成特征信息的損失。

針對以上問題,本文以改進的殘差模型(Residual Network,簡稱ResNet)(He等,2016)為基礎(chǔ),利用U-net(Ronneberger等,2015)結(jié)構(gòu),并且引入坐標(biāo)卷積(CoordConv)和全局信息增強模塊提高空間信息感知,設(shè)計了一種改進的網(wǎng)絡(luò)模型。為了充分利用道路細節(jié)信息,本文模型采用改進的ResNet作為主體網(wǎng)絡(luò),提取不同尺度和不同級別的目標(biāo)特征;此外,針對池化操作造成的空間特征丟失問題,本文在編碼結(jié)構(gòu)前引入坐標(biāo)卷積,抽取空間坐標(biāo)信息,用于增強空間信息變化的感知、減輕空間信息丟失;同時,針對空洞卷積的“棋盤效應(yīng)”導(dǎo)致的上下文信息缺失情況,在編碼結(jié)構(gòu)后加入全局信息增強模塊,加強全局空間信息的感知,獲取全局語義信息,提高道路分類的一致性。

2 模型網(wǎng)絡(luò)結(jié)構(gòu)

2.1 網(wǎng)絡(luò)框架

本文以ResNet與U-net網(wǎng)絡(luò)為主體框架,網(wǎng)絡(luò)頂部利用坐標(biāo)卷積機制,編碼部分使用全局信息增強模塊,提出一個改進的全卷積網(wǎng)絡(luò)模型。網(wǎng)絡(luò)入口放置坐標(biāo)卷積層,它將坐標(biāo)信息存儲在附加通道中并與原先通道合并成一個整體作為輸入,目的在于獲取輸入坐標(biāo)信息,精確特征圖中的像素位置。編碼器部分,采用4個改進的Residual block(He等,2016)來抽取不同級別的抽象特征,Residual block由若干殘差單元堆疊而成。在解碼器部分,通過反卷積恢復(fù)由編碼器中池化操作生成的特征圖的分辨率,再與編碼部分中分辨率相同的低級特征進行跳躍連接。網(wǎng)絡(luò)輸出會得到與輸入影像同樣大小的分割圖。網(wǎng)絡(luò)的最后一層為帶有ReLU(Rectified Linear Unit)激活函數(shù)的1×1卷積層。為了詳細展示我們設(shè)計的網(wǎng)絡(luò),模型的具體參數(shù)如圖1所示,在結(jié)構(gòu)圖中標(biāo)注了每一層網(wǎng)絡(luò)的輸入輸出大小。由于道路提取是二分類任務(wù),所以網(wǎng)絡(luò)輸出形狀為512×512×2。

圖1 本文的模型結(jié)構(gòu)Fig.1 The model structure of this paper

一般全卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)越深,表現(xiàn)效果越好,但是存在著性能退化等問題。為了克服這類問題,本文模型采用殘差單元(He等,2016)代替普通卷積層。殘差單元主要包含快捷連接(shortcut connection)層、批處理歸一化BN(Batch Normalization)層、非線性激活函數(shù)(ReLU)和卷積層(Conv Layer),其中快捷連接層能夠增強上下層信息流,提高特征的復(fù)用率,減少參數(shù)數(shù)量,有效的提高了網(wǎng)絡(luò)的性能。因為BN對batch size有嚴格的要求,因此當(dāng)batch size較小時,歸一化誤差將迅速增加,從而削弱了模型的性能。由于計算機內(nèi)存限制,在訓(xùn)練過程中batch size通常無法滿足BN要求。與BN相比,組歸一化GN(Group Normalization)(Wu和He,2018)的計算與batch size無關(guān)。當(dāng)batch size小時,精度穩(wěn)定。本文根據(jù)實際情況對殘差單元進行了改進,將批處理歸一化換成組歸一化。殘差單元的公式定義如下:

式中,xl和xl+1是第l個殘差單元的輸入和輸出,F(xiàn)(xl,wl)是殘差函數(shù),f(yl)是激活函數(shù),h(xl)是恒等映射函數(shù)。

2.2 坐標(biāo)卷積

針對常規(guī)卷積神經(jīng)網(wǎng)絡(luò)無法有效顧及特征空間位置信息的問題,Liu等(2018)提出了坐標(biāo)卷積。坐標(biāo)卷積是標(biāo)準(zhǔn)卷積層的擴展,主要在標(biāo)準(zhǔn)卷積層中引入坐標(biāo)信息。坐標(biāo)卷積提取特征中的空間信息作為額外的通道與原始特征拼接,添加的通道一般稱為i坐標(biāo)和j坐標(biāo)。這兩個坐標(biāo)均經(jīng)過相關(guān)的線性變換,并歸一化到[-1,1]范圍內(nèi)。i坐標(biāo)和j坐標(biāo)能夠有效的存儲特征中的空間位置信息,即特征邊緣的水平和垂直信息。坐標(biāo)卷積機制能夠突出細節(jié)信息、減少特征損失和加強邊界信息,有利于像素分割任務(wù)。標(biāo)準(zhǔn)卷積和坐標(biāo)卷積對比如圖2所示,h、w和c分別代表輸入特征的高、寬和通道數(shù);h1、w1和c1分別代表卷積之后的高、寬和通道數(shù)。

圖2 標(biāo)準(zhǔn)卷積層和坐標(biāo)卷積層的對比Fig.2 The comparison of structure between the standard convolutional layer and coordconv layer

2.3 基于全局池化的全局信息增強模塊

全局池化具有提高全局上下文感知的能力(Yu等,2018)。本文設(shè)計了基于全局池化的全局信息增強模塊,結(jié)構(gòu)如圖3所示。該模塊主要由平均池 化、1×1卷 積、ReLU激 活 函 數(shù)、1×1卷 積 和Sigmoid激活函數(shù)串聯(lián)組成,生成的通道權(quán)重與輸入特征相乘,接著與輸入特征進行相加。全局信息增強模塊改變了輸入特征權(quán)重,用于優(yōu)化類別內(nèi)預(yù)測一致性,增強了語義信息,提高了道路的分割精度。

圖3 基于全局池化的全局信息增強模塊Fig.3 Structure of the Global information enhancement module based on global pooling

3 數(shù)據(jù)與實驗

3.1 數(shù)據(jù)集

3.1.1 Massachusetts roads數(shù)據(jù)集

Massachusetts roads(Mnih和Hinton,2010)是世界上公開的道路數(shù)據(jù)集中規(guī)模最大的。該數(shù)據(jù)集共有1171張圖像,包括1108張訓(xùn)練圖像,14張驗證圖像和49張測試圖像以及對應(yīng)的標(biāo)簽圖。每張圖像的大小為1500×1500像素,分辨率為1.2 m/像素。該數(shù)據(jù)集包含各種地物,如道路、草地、森林和建筑物等。

由于數(shù)據(jù)集中影像數(shù)量太少,不利于模型的充分訓(xùn)練,本文對數(shù)據(jù)集進行切分。訓(xùn)練集中1108張1500×1500像素的遙感影像及相對應(yīng)的標(biāo)簽圖切分成512×512像素尺度的影像樣本(首先按順序切割整幅圖,然后在圖上隨機切分)。根據(jù)數(shù)據(jù)集劃分的規(guī)則,將所有切分后的樣本數(shù)據(jù)按4∶1的比例隨機分為新的訓(xùn)練集和測試集。最終,訓(xùn)練集包含14366張512×512像素尺度的圖像,驗證集包含3592張512×512像素尺度的圖像。本文利用制作的數(shù)據(jù)集訓(xùn)練提出的網(wǎng)絡(luò)模型,并在Massachusetts roads數(shù)據(jù)集中的測試集和驗證集上測試模型性能。

3.1.2 高分二號道路數(shù)據(jù)集

本文使用28幅位于安徽合肥地區(qū)和天津地區(qū)的分辨率為1 m的高分二號影像制作道路數(shù)據(jù)集,其中該數(shù)據(jù)集包括16幅大小為4909×4672和12幅大小為4578×4442的影像。所有影像通過人工標(biāo)注的方式制作遙感道路地面真值。本文將這28幅影像分為訓(xùn)練數(shù)據(jù)集(20張影像)、驗證數(shù)據(jù)集(2張影像)和測試數(shù)據(jù)集(6張影像)。為了充分訓(xùn)練模型,本文對訓(xùn)練集和驗證集進行切分增加樣本數(shù)量,樣本分割的大小為512×512。最終用于訓(xùn)練數(shù)據(jù)為5892張,驗證的數(shù)據(jù)為1480張;此外,4幅大小為4578×4442的安徽合肥地區(qū)和2幅大小為4909×4672的天津地區(qū)的遙感影像被用于驗證評估。

3.2 軟硬件環(huán)境

在本文中,提出的模型使用TensorFlow作為深度學(xué)習(xí)框架,開發(fā)平臺使用JetBrains PyCharm 2017,開發(fā)語言是Python,所有模型均在配置為Intel Core(TM)i9-7980XE CPU和NVIDIA GeForce GTX 1080 Ti顯卡的計算機上訓(xùn)練和測試。

3.3 模型訓(xùn)練細節(jié)

本文模型使用交叉驗證的訓(xùn)練方式,即訓(xùn)練集和驗證集同時輸入模型,每訓(xùn)練一次便在驗證集上隨機選取一個batch size數(shù)據(jù)來計算損失和精度,優(yōu)化模型的訓(xùn)練。

由于模型訓(xùn)練對計算機的GPU內(nèi)存要求很高,本文方法將大小為512×512的圖像作為網(wǎng)絡(luò)的輸入。Adam(Kingma和Ba,2015)是一種具有高計算效率和低內(nèi)存要求的自適應(yīng)學(xué)習(xí)率優(yōu)化器,因此本文利用Adam優(yōu)化器進行優(yōu)化網(wǎng)絡(luò)并更新參數(shù);此外,本文提出的網(wǎng)絡(luò)使用BCE(Binary Cross Entropy)+dice coefficient loss(Zhou等,2018)作為損失函數(shù),batch size設(shè)為4,輪數(shù)為50輪,每輪的迭代次數(shù)為4000,初始學(xué)習(xí)率設(shè)為1E-4。為了更好地訓(xùn)練模型,學(xué)習(xí)率會隨著訓(xùn)練輪數(shù)的增加而自動調(diào)整即每20輪學(xué)習(xí)率減小10倍,結(jié)合優(yōu)化器可以加速網(wǎng)絡(luò)的收斂。

3.4 評價指標(biāo)

為了量化評估道路提取的效果,本文利用語義分割領(lǐng)域中最常見的精度評價指標(biāo):召回率(Recall)、綜合評價指標(biāo)(F1 Score)和交并比(IoU)。本文將道路提取視作二分類問題,預(yù)測結(jié)果分為兩類:道路和非道路。對于二分類問題,可將樣本數(shù)據(jù)根據(jù)其真實類別與預(yù)測類別的組合劃分為真正例TP(True Positive)、假正例FP(False Positive)、真反例TN(True Negative)和假反 例FN(False Negative)這4種 情 形。精 度(Precision)是正例預(yù)測正確的像素占預(yù)測為正例像素的比例;召回率(Recall)是正例預(yù)測正確的像素占真實正例像素的比例;F1 Score是基于精度與召回率的調(diào)和平均;IoU是不同類別中真實值和預(yù)測值的交集與并集的比值。評價指標(biāo)公式如下:

4 結(jié)果與分析

4.1 實驗結(jié)果

本文利用Massachusetts roads數(shù)據(jù)集中的測試集和驗證集數(shù)據(jù)(共63幅)進行測試,測試結(jié)果的精度見表1。由表1可知,實驗結(jié)果中整體精度IoU、Recall和F1 score分別為62.18%、71.02%和76.35%,其中,精度最高的和最低的測試結(jié)果,如圖4所示,測試集編號為20728960_15的提取結(jié)果精度最高,而編號為23729020_15的精度最低。編號23729020_15影像的預(yù)測圖取得的精度最低,但與真實道路標(biāo)簽圖進行對比,大致提取出道路的整體輪廓,并且沒有出現(xiàn)道路錯誤提取的情況。而在編號20728960_15影像的實驗結(jié)果中,道路結(jié)構(gòu)提取更加完整且與真實道路標(biāo)簽圖近乎吻合。綜上所述,證明了本文方法的良好性能。

圖4 實驗結(jié)果展示Fig.4 Demonstration of experimental results

表1 本文方法對于Massachusetts roads數(shù)據(jù)集的測試結(jié)果Table 1 Test results of the Massachusetts roads data set are presented in this paper

4.2 方法對比與分析

本文提出一種改進的語義分割模型,實現(xiàn)了高分辨率遙感影像道路自動提取。在相同的環(huán)境下,與U-net、Segnet、DeeplabV3+(Chen等,2018)和D-LinkNet這4種具有代表性的深度學(xué)習(xí)網(wǎng)絡(luò)模型進行對比。其中U-net網(wǎng)絡(luò)模型主要應(yīng)用于醫(yī)學(xué)圖像分割,它可以用深層特征定位和淺層特征精確分割,所以對道路細長特征的提取具有較好的性能;Segnet是基于VGG-16改進的FCN(The Fully Convolutional Network)網(wǎng)絡(luò)模型,是更加先進的分割網(wǎng)絡(luò)模型;DeeplabV3+是學(xué)者近期提出的新型全卷積網(wǎng)絡(luò)模型,該模型進一步提升了在語義分割任務(wù)上的性能;而D-LinkNet獲得了CVPR 2018中的全球衛(wèi)星圖像道路提取比賽(CVPR 2018:DeepGlobe Road Extraction Challenge)的冠軍。

4.2.1 Massachusetts roads數(shù)據(jù)集的結(jié)果和分析

圖5為5組實驗結(jié)果的對比,黃色框展示本文方法整體提取能力,紅色框展示本文方法細節(jié)提取能力。本文方法的提取結(jié)果非常完整,極大地保證道路的連通性,沒有出現(xiàn)誤提現(xiàn)象。本文針對道路目標(biāo)的特征,對網(wǎng)絡(luò)模型進行相應(yīng)的優(yōu)化,使得模型能夠有效地提高道路提取的精度,其中引入坐標(biāo)卷積和全局信息增強模塊,不僅能減輕空間分辨率丟失、保留局部細節(jié)信息,而且能夠通過抽取上下文信息來保證道路的連續(xù)性。本文方法實驗結(jié)果的完整性和連通性明顯優(yōu)于其他4種方法,U-net、D-LinkNet和DeeplabV3+的結(jié)果都存在破碎情況,如圖5中黃色框所示。Segnet提取結(jié)果中破碎情況更加嚴重,尤其是圖5中第一幅遙感影像的道路信息基本沒有得到提?。挥捎赟egnet的網(wǎng)絡(luò)結(jié)構(gòu)非常簡單并且僅下采樣16倍,對道路特征感知不足以及道路在遙感影像上表現(xiàn)為細長的條帶狀,導(dǎo)致Segnet很難提取到道路特征信息;而相較于Segnet網(wǎng)絡(luò),U-net和D-LinkNet在提取道路特征信息上有很大的提升,已經(jīng)能夠提取出較完整的道路輪廓,但是局部道路提取結(jié)果連續(xù)性差,誤提的現(xiàn)象嚴重。經(jīng)過分析得出,U-net網(wǎng)絡(luò)的跳躍連接聯(lián)系低級和高級特征,對道路特征感受較好,但是與Segnet存在的問題相似,卷積操作不多導(dǎo)致道路特征提取不充分;D-LinkNet中的空洞卷積帶來的“棋盤效應(yīng)”,會導(dǎo)致上下文信息的丟失,所以提取結(jié)果中漏提現(xiàn)象嚴重。

圖5 5組影像在不同方法下的道路提取結(jié)果Fig.5 Road extraction results for different methods of five sets of images

為了進一步量化模型的效果,5種模型提取道路的平均精度列于表2。由表2知,本文方法提取結(jié)果的整體精度高于其他模型,Recall、F1 Score和IoU分別達到71.02%、76.35%和62.18%;在F1 Score和IoU指標(biāo)上比U-net和D-LinkNet提高了約1%,同時遠遠超過DeeplabV3+和Segnet,僅在Recall指標(biāo)上低于D-LinkNet。結(jié)果分析表明,本文方法在道路提取任務(wù)上比其他網(wǎng)絡(luò)模型有明顯的優(yōu)勢。

表2 不同方法的道路提取結(jié)果的精度評價Table 2 Quantitative comparison of road extraction results in different methods

4.2.2 高分2號的結(jié)果和分析

圖6展示了4種方法在高分數(shù)據(jù)集上的測試結(jié)果。從整體來看,本文方法提取的結(jié)果非常完整且與真實道路十分吻合,相比較其他的3種模型有顯著的優(yōu)勢。從圖6的黃色標(biāo)記框中可以看出,由于缺乏坐標(biāo)卷積和全局信息增強模塊的作用,無法顧及空間特征和全局上下文信息,DeeplabV3+和D-Linknet兩種方法均出現(xiàn)了破裂問題,在圖6第3行D-Linknet方法的提取結(jié)果甚至出現(xiàn)了細小道路漏提的現(xiàn)象。其中,U-net模型的提取結(jié)果中道路的破碎化嚴重、漏提較多。表3是4種模型在高分2號數(shù)據(jù)集上測試的精度統(tǒng)計表。由表3可知,本文方法的提取精度在Recall、F1 Score和IoU這3種評價指標(biāo)上分別達到了91.19%、91.49%和84.35%;所提方法相較于對比方法中表現(xiàn)最好的的DeeplabV3+方法,在Recall、F1 Score和IoU分別提高了7.48%、3.11%和5.11%。

表3 不同方法的高分道路數(shù)據(jù)提取結(jié)果的精度評價Table 3 Accuracy evaluation of Gaofen road dataextraction results by different methods

圖6 U-net、D-Linknet、Deeplabv3+和本文方法對6組高分數(shù)據(jù)集測試圖像的預(yù)測結(jié)果Fig.6 U-net,D-Linknet,Deeplabv3+and the method of this paper on the prediction results of six Gaofen dataset test images

4.2.3 算法運行效率比較分析

為了定量評估算法效率,本文使用了浮點數(shù)計算量(Flops)、參數(shù)量(Params)、空間占用以及運行時間等指標(biāo)。浮點數(shù)計算量衡量的是模型的運算次數(shù),參數(shù)量代表模型的總參數(shù)量,空間占用代表生成模型文件占用物理存儲空間大小,運行時間是Massachusetts roads數(shù)據(jù)集中63幅圖像的測試時間。實驗結(jié)果如表4所示,所提方法在各運行效率方面沒有取得最佳成績,但是本文旨在解決空間特征損失和上下文信息丟失的問題,提高道路分割的效果和緩解陰影遮擋影響。因此,論文方法在分割精度方面取得了最好的效果,并且在樹木或建筑物遮擋道路的情況下表現(xiàn)最佳。

表4 算法效率分析Table 4 Analysis of algorithm efficiency

4.3 遮擋適應(yīng)性比較分析

本文方法在道路提取結(jié)果的完整性和評價指標(biāo)上表現(xiàn)優(yōu)異,但是仍然受到樹木、建筑物陰影遮擋干擾,這也是道路提取任務(wù)中的難點。D-LinkNet、DeeplabV3+、U-net以及本文方法關(guān)于受這兩個因素影響的道路提取結(jié)果如圖7和圖8所示。從整體來看,本文方法的提取結(jié)果準(zhǔn)確完整。U-net、DeeplabV3+和D-LinkNet網(wǎng)絡(luò)結(jié)構(gòu)易受樹木、建筑物陰影遮擋干擾,無法完整地提取出道路信息。而本文方法使用了全局信息增強模塊,其具有提高全局上下文感知的能力,抽取空間語義信息,提高道路分類的一致性,能夠在一定程度上減小了樹木、陰影等對道路提取的影響,可以有效地提取被遮擋的道路,如圖7黃色框和圖8紅色框所示。另外,通過圖8第2行和第3行可以看出,本文方法對多尺度道路提取具備優(yōu)勢。因為論文方法引入坐標(biāo)卷積,它具有強大的邊界信息感知能力,可以準(zhǔn)確地感受到不同環(huán)境的道路邊緣特征,進而提取出復(fù)雜情況下的道路。表5和表6統(tǒng)計了4種模型在圖7、圖8上測試結(jié)果的平均精度。由表5可知,本文方法在樹木遮擋影響下的提取精度在Recall、F1 Score和IoU這3種評價指標(biāo)上分別達到了73.64%、77.96%和64.22%,相較于對比方法中表現(xiàn)最好的的U-net方法,在Recall、F1 Score和IoU分別提高了16.85%、13.41%和15.34%,更是遠超其他兩種方法。此外,本文方法在建筑物陰影遮擋影響下,Recall為78.66%,F(xiàn)1 Score為85.21%,IoU為74.58%,遠遠超過對比方法,如表6所示。綜上所述,在提取道路過程中,對比方法均受到樹木、建筑物陰影遮擋影響,而本文方法受到干擾最小,提取效果比其他方法更優(yōu)異,說明論文方法具備良好的遮擋適應(yīng)性能。

表5 樹木遮擋適應(yīng)性定量分析Table 5 Quantitative analysis of tree occlusion adaptability

表6 建筑物陰影遮擋適應(yīng)性定量分析Table 6 Quantitative analysis of adaptability of building shadow occlusion

圖7 樹木遮擋適應(yīng)性比較Fig.7 Comparison of tree occlusion adaptability

圖8 建筑物陰影遮擋適應(yīng)性比較Fig.8 Adaptability of building shadow occlusion

4.4 模塊機制的有效性分析

為了突出坐標(biāo)卷積和全局信息增強模塊對模型性能的重要性,本文在相同的訓(xùn)練條件下,進行了只加坐標(biāo)卷積(Coordconv-net)、只加全局信息增強模塊(GIE-net)、不加任何機制(Baseline)和所提方法的4種網(wǎng)絡(luò)模型的對比實驗。表7統(tǒng)計了實驗的結(jié)果,Coordconv-net和GIE-net的整體精度均比Baseline高,說明坐標(biāo)卷積和全局信息增強模塊對提升模型性能有一定的幫助。本文方法嘗試將兩種機制相結(jié)合,結(jié)果表明精度均高于Coordconv-net和GIE-net。因此兩者結(jié)合,可以更好地提高模型性能與道路提取精度。論文方法的提取精度優(yōu)于其他3種方法,是因為所提模型中坐標(biāo)卷積和全局信息增強模塊對道路提取的有效性:一方面能高效的減少了道路空間特征的丟失,增強空間信息變化的感知;另一方面兼顧了道路的全局空間語義信息,緩解上下文信息丟失,保留了道路的連通性,在整體上提高了道路提取的精度。

表7 4種道路提取方法的評價指標(biāo)對比Table 7 Comparison of evaluation indicators of four road extraction methods

4.5 問題分析

本文方法在對比實驗中取得突出效果,但是在提取過程中仍存在少量的道路漏提情況,這也是目前深度卷積神經(jīng)網(wǎng)絡(luò)模型在道路提取上的難點。如圖5紅色框所示,道路網(wǎng)周圍存在的城市建筑、樹木等眾多地物,造成了復(fù)雜的背景,因此在道路信息提取過程中會對網(wǎng)絡(luò)模型感知目標(biāo)特征產(chǎn)生干擾;同時由于道路網(wǎng)本身的多尺度特征,要求網(wǎng)絡(luò)模型具有高效的多尺度特征感受能力。在復(fù)雜背景和多尺度道路共存的情況下,本文方法相比其他方法提升了道路提取的精度,并在一定程度上提高道路網(wǎng)提取的完整性,但是也存在著局部道路不連續(xù)現(xiàn)象。

5 結(jié)論

本文針對深度卷積神經(jīng)網(wǎng)絡(luò)道路提取方法中存在空間特征損失和上下文信息丟失的問題,利用ResNet的殘差單元和U-net的結(jié)構(gòu),引入坐標(biāo)卷積和全局信息增強模塊,提出了高分辨率遙感影像道路自動化提取方法,主要結(jié)論如下:

(1)在Massachusetts Roads數(shù)據(jù)集和高分數(shù)據(jù)集上的實驗結(jié)果表明,本文方法在Recall、F1 Score和IoU提取指標(biāo)上都表現(xiàn)優(yōu)異,整體精度高于其他模型,分別達到71.02%、76.35%和62.18%。道路提取結(jié)果取得了更高的精度和更好的完整性,而且沒有出現(xiàn)錯誤提取道路的情況,這表明所提方法可以有效地從遙感影像中提取道路;

(2)本文方法相較于基于道路特征的提取方法,不需要人工干預(yù)和參數(shù)調(diào)節(jié),經(jīng)過訓(xùn)練的模型,其在不同的遙感影像提取任務(wù)中具有一定的泛化性,因此應(yīng)用前景更加廣闊;

(3)本文利用坐標(biāo)卷積引入空間坐標(biāo)信息和全局信息增強模塊抽取全局上下文特征來提取道路,緩解了樹木、建筑物陰影等其他地物遮擋的影響,并且對多尺度道路提取具備優(yōu)勢。由于保留了豐富的細節(jié)特征,因此道路的提取結(jié)果更加準(zhǔn)確完整。

本文方法在對比實驗中表現(xiàn)優(yōu)異,但是仍然存在由于地物遮擋而漏提道路的現(xiàn)象。本研究未來的工作計劃為:針對影像中復(fù)雜的道路特征如遮擋問題,優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的同時考慮道路的空間幾何特征,加強模型抽取細節(jié)特征和多級特征的能力進一步提升性能。

猜你喜歡
全局卷積精度
Cahn-Hilliard-Brinkman系統(tǒng)的全局吸引子
量子Navier-Stokes方程弱解的全局存在性
基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
從濾波器理解卷積
電子制作(2019年11期)2019-07-04 00:34:38
落子山東,意在全局
金橋(2018年4期)2018-09-26 02:24:54
基于DSPIC33F微處理器的采集精度的提高
電子制作(2018年11期)2018-08-04 03:25:38
基于傅里葉域卷積表示的目標(biāo)跟蹤算法
GPS/GLONASS/BDS組合PPP精度分析
改進的Goldschmidt雙精度浮點除法器
新思路:牽一發(fā)動全局
澄江县| 海淀区| 辛集市| 交口县| 区。| 靖西县| 苍梧县| 连平县| 涟源市| 西贡区| 连江县| 靖远县| 准格尔旗| 外汇| 荣成市| 洛浦县| 历史| 巩留县| 英吉沙县| 阿拉善右旗| 聊城市| 巩义市| 卢湾区| 溧阳市| 太仆寺旗| 侯马市| 托里县| 左贡县| 曲水县| 丘北县| 浏阳市| 侯马市| 湖南省| 阿克苏市| 民县| 合江县| 富川| 龙泉市| 冕宁县| 习水县| 滦南县|