張榮軍，譚海，馬天浩，于永帥，黃小賢

(1.遼寧工程技術(shù)大學(xué) 測繪與地理科學(xué)學(xué)院，遼寧 阜新 123000；2.自然資源部國土衛(wèi)星遙感應(yīng)用中心，北京 100048；3.核工業(yè)航測遙感中心，石家莊 050000)

0 引言

隨著遙感技術(shù)的發(fā)展，從遙感影像上獲取所需信息已經(jīng)成為一種非常重要的信息獲取手段。道路信息作為一種重要的地理信息，在城市建設(shè)和規(guī)劃、交通導(dǎo)航等方面發(fā)揮著重要作用。從遙感影像中提取道路，已經(jīng)成為一種有效、快捷的道路提取手段，目前也是遙感信息提取的研究熱點之一。

國內(nèi)外眾多學(xué)者對遙感影像中道路提取做了許多研究，根據(jù)道路提取的方法不同，可以分為基于模板匹配提取方法[1-3]、基于面向?qū)ο筇崛》椒╗4-6]、基于深度學(xué)習(xí)語義分割提取方法[7-11]?；谀０迤ヅ涞奶崛》椒ㄊ歉鶕?jù)道路在遙感影像中的特征，利用幾何信息、輻射信息、拓撲關(guān)系等，設(shè)計道路提取模板，通過模板計算待定區(qū)域與已知區(qū)域間的相似性程度，根據(jù)相似程度確定待定像素區(qū)域是否為道路[12]。朱長青等[13]提出了一種矩形模板匹配方法，通過不斷地調(diào)整矩形的寬度和方向，根據(jù)影像特征、道路拓撲知識以及結(jié)合數(shù)學(xué)形態(tài)學(xué)的方法，將最佳匹配矩形區(qū)域作為道路，該方法提取效果較好，但是對道路模板的自適應(yīng)能力要求較高。Wang等[14]提出了一種半自動的高分辨率道路提取方法，通過人工輸入一個種子點，設(shè)定道路的方向、寬度和起始點信息，生成道路參考模板，用模板自動搜索和跟蹤道路。曹帆之等[15]提出了一種基于均值漂移的道路中心點匹配算法，運用卡爾曼濾波，實現(xiàn)高分辨率遙感影像道路中心線追蹤，準(zhǔn)確地提取了高分影像中的道路中心線，對車輛、樹蔭等的遮擋具有很好的魯棒性。譚仁龍等[16]提出基于圓形模板的道路提取方法，克服了傳統(tǒng)矩形模板的局限，使用圓形模板代替矩形模板，省去了旋轉(zhuǎn)角度計算，降低了算法的時間復(fù)雜度，并結(jié)合影像灰度、形態(tài)學(xué)梯度等信息，用迭代內(nèi)插法對道路中心點加密，最終得到較為準(zhǔn)確的道路中心線。

面向?qū)ο蠓椒▽⒌缆纷鳛橐环N具體的對象，具有獨特的幾何紋理特征；依據(jù)特征進行圖像分類或者分割，實現(xiàn)提取道路信息。余長慧等[17]先將圖像進行預(yù)處理分割成多個小區(qū)域，然后引入基于對象的MRF方法來提取道路。金靜等[18]提出區(qū)域增長算法，其主要做法是在預(yù)處理得到的分割結(jié)果中，選取一個或者多個區(qū)域作為種子點，然后以種子點為起點，對相鄰四個方向區(qū)域的像素進行相似度比較，滿足條件的作為新的種子點繼續(xù)迭代下去，直到所有的種子點都不滿足條件為止。曹云剛等[19]提出了一種融合像元多尺度對象級特征的道路中心線提取算法，通過像素級上提取影像的紋理和形狀結(jié)構(gòu)特征和多尺度分割集影像上提取對象的區(qū)域光譜特征，再將像元級特征與多尺度對象特征進行決策級融合，提取出道路網(wǎng)絡(luò)，最后利用非道路區(qū)域自動去除算法和張量投票算法，實現(xiàn)道路中心線的精提取。為了解決僅依靠光譜信息提取道路的方法中道路特征與背景難以完全分離，以及提取出來的道路中心線出現(xiàn)毛刺等現(xiàn)象，Miao等[20]提出了一種基于形狀特征和多元自適應(yīng)樣條回歸的遙感影像道路中心線提取算法，改進了傳統(tǒng)的道路長寬比指數(shù)，然后利用該指數(shù)對遙感影像分割結(jié)果進行濾波，提取線性特征；再結(jié)合光譜特征從線性特征中提取純凈道路段，最后利用多元自適應(yīng)樣條回歸算法提取道路中心線。

深度學(xué)習(xí)語義分割方法通過設(shè)計語義分割網(wǎng)絡(luò)模型，利用道路樣本數(shù)據(jù)，訓(xùn)練出參數(shù)模型，再利用參數(shù)模型提取道路。李代棟等[21]提出了一種基于SPUD-ResNet的道路提取方法，利用空洞卷積構(gòu)建殘差網(wǎng)絡(luò)編碼器，通過跳躍連接與對應(yīng)解碼器相連，構(gòu)建了條形池化模塊和混合池化模塊，增強網(wǎng)絡(luò)對條形道路結(jié)構(gòu)特征的獲取能力。王卓等[22]提出了一種改進U-Net網(wǎng)絡(luò)的高分辨率影像道路提取方法，設(shè)計了以VGG16作為網(wǎng)絡(luò)編碼結(jié)構(gòu)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)，利用batch normalization與dropout解決網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的過擬合。Wei等[23]提出了一種新的基于回歸的方法，直接從航空影像中提取道路中心線和邊緣線。首先，訓(xùn)練基于CNN的端到端回歸網(wǎng)絡(luò)來預(yù)測道路中心線的置信度圖和估計道路寬度；然后，在CNN預(yù)測自信圖后，采用非最大值抑制和道路跟蹤的方法提取準(zhǔn)確的道路中心線，構(gòu)建道路拓撲結(jié)構(gòu)，同時，根據(jù)CNN估計的道路寬度生成道路邊緣線；最后，為了提高提取的路網(wǎng)的連通性，采用張量投票的方法檢測交叉口，并將檢測到的交叉口作為克服不連續(xù)性的指導(dǎo)。

綜上所述，近年來許多專家、學(xué)者對基于高分辨率遙感影像提取道路中心線進行了大量深入研究，提出了多種道路中心線提取算法，但受影像中道路兩旁樹木遮擋、高大建筑物及其陰影覆蓋和道路上車輛等干擾因素影響，基于模板匹配方法、基于面向?qū)ο笠约盎谏疃葘W(xué)習(xí)的道路中心線提取方法提取出來的道路中心線在一定程度上均存在斷裂、不完整問題。此外，在復(fù)雜場景下，道路的中心線提取精度較差。因此，本文提出了一種基于深度學(xué)習(xí)提取道路掩膜，對掩膜進行形態(tài)學(xué)膨脹處理，再提取道路矢量中心線，并對其進行優(yōu)化處理的道路中心線提取方法，在一定程度上消除了樹木遮擋、建筑物及其陰影覆蓋和道路上車輛干擾等因素造成的不完整、斷裂情況，提高了道路中心線的完整性。

1 本文方法

本文的道路中心線提取算法主要由道路掩膜提取、道路矢量中心線提取和矢量中心線優(yōu)化處理三個模塊組成。道路掩膜提取模塊主要利用DeepLabV3+語義分割模型，訓(xùn)練道路提取模型參數(shù)，提取道路掩膜；道路矢量中心線提取模塊中對提取出來的道路掩膜進行形態(tài)學(xué)膨脹處理，盡可能消除樹木遮擋、高大建筑物及其陰影覆蓋和道路上車輛的干擾，在此基礎(chǔ)上提取矢量道路中心線；矢量中心線優(yōu)化處理模塊利用斷裂矢量道路中心線間在空間、幾何上的約束關(guān)系，建立優(yōu)化模型，對滿足條件的斷裂線段進行重連接。本文具體技術(shù)流程如圖1所示。

圖1 技術(shù)流程

1.1 基于DeepLabV3+語義分割網(wǎng)絡(luò)道路掩膜提取

本文采用DeepLabV3+語義分割模型提取道路掩膜。首先利用Photoshop等標(biāo)簽制作軟件制作符合模型訓(xùn)練要求的道路標(biāo)簽。通過對高分辨率遙感影像中的道路進行分析，道路在影像中均呈條帶狀，且通常情況下道路間是相連的，可形成道路網(wǎng)狀結(jié)構(gòu)。DeepLabV3+語義分割模型具有帶孔卷積(atrous convolution)、多尺度分割物體(multiplescales)、空洞空間卷積池化金字塔(atrous spatial pyramid pooling，ASPP)模塊。該網(wǎng)絡(luò)采用帶孔卷積模板進行卷積運算，增加了感受野面積，能有效地綜合道路周圍的上下文信息，同時結(jié)合多尺度分割和ASPP模塊，充分挖掘不同尺度的特征，最大限度地消除影響道路掩膜提取結(jié)果斷裂的因素，盡可能地提取出完整的道路。

DeepLabV3+語義分割模型可以分為編碼器模塊和解碼器模塊，如圖2所示。首先輸入原始圖像進行編碼處理，經(jīng)過一序列的卷積運算，生成大小為原圖像1/16的特征張量，再將這些特征張量傳入ASPP結(jié)構(gòu)中。ASPP結(jié)構(gòu)由一個1×1的卷積層、三個3×3擴張率不同的并行空洞卷積層以及一個全池化層組成。將這些層進行通道拼接處理，之后將拼接處理后的圖層進行1×1卷積處理。在解碼器模塊中，提取出骨干網(wǎng)絡(luò)產(chǎn)生的大小為原圖像1/4的卷積特征圖層，將ASPP結(jié)果圖層經(jīng)過四倍上采樣，形成大小相同的圖層進行通道拼接，再將拼接后的圖層進行3×3卷積處理和四倍上采樣處理，形成與原始圖像大小相同的輸出圖像。

圖2 DeepLabV3+語義分割模型框架

通過調(diào)用已經(jīng)訓(xùn)練好的DeepLabV3+語義分割模型，結(jié)合遙感影像裁剪、拼接算法，可實現(xiàn)影像中大區(qū)域范圍內(nèi)的道路掩膜提取。

1.2 道路矢量中心線提取

1)道路掩膜形態(tài)學(xué)膨脹處理。通過對語義分割模型提取出來的道路掩膜進行分析，發(fā)現(xiàn)受道路兩旁的樹木、高大建筑物及其陰影和路面上車輛等因素影響，在提取出來的道路掩膜中存在空洞，而空洞的出現(xiàn)會對道路中心線提取造成干擾，無法準(zhǔn)確提取道路中心線。所以采用形態(tài)學(xué)膨脹處理，能有效填充道路掩膜中的空洞。道路掩膜膨脹處理前后的對比，如圖3所示。

2)基于道路掩膜提取道路中心線及矢量化。通過將語義分割提取出來的道路掩膜經(jīng)過膨脹處理后，利用細化算法對面狀道路進行道路中心線提取。本文引用經(jīng)典的Zhang并行快速細化算法[24]，在細化的基礎(chǔ)上進行線段搜索，記錄每一個構(gòu)成線段點的像素坐標(biāo)，依次對圖像中的每一條線段進行遍歷，再根據(jù)源圖像的空間參考信息，將像素坐標(biāo)轉(zhuǎn)化為空間坐標(biāo)，生成shp格式的道路矢量中心線。圖4為生成的矢量數(shù)據(jù)在ArcMap中的展示。

圖3 膨脹處理前后對比

圖4 道路中心線矢量數(shù)據(jù)

1.3 道路矢量中心線優(yōu)化處理

針對道路矢量中心線仍然存在斷裂、不完整的情況，本文設(shè)計了對矢量中心線重連接優(yōu)化算法。通過對道路矢量中心線進行分析，發(fā)現(xiàn)存在斷裂的道路矢量線段間，在空間、幾何上存在一定的關(guān)系，將這些關(guān)系作為優(yōu)化的約束規(guī)則條件，對滿足條件的矢量中心線段進行重連接優(yōu)化處理，提高道路數(shù)據(jù)的完整性。具體算法實現(xiàn)步驟如下。

步驟1：依次計算每一條矢量線段兩端的斜率信息，保存為{K11，K12，K21，K22，…，Kn1，Kn2}。

步驟2：設(shè)置距離閾值D和空間幾何斜率差閾值K。

步驟3：取出線段記錄中的一條線段L1，設(shè)置其中一個端點為當(dāng)前端點P。

步驟4：計算點P到其他線段端點的距離{D1，D2，D3，D4，…，Dn}。若Di

(1)

對滿足條件的端點進行連接，將以P、Pi為端點的兩條線段構(gòu)成新的線段，更新線段記錄表中的線段信息。

步驟5：對步驟3中的另外一個端點P重復(fù)步驟4操作。

將線段列表中的每一條線段依次取出，重復(fù)步驟3、步驟4、步驟5，直到遍歷完所有的線段。

圖5為優(yōu)化前后對比。從圖中可以看出，本文優(yōu)化算法對斷裂道路中心線進行了重連接，使道路中心線更加完整。

圖5 優(yōu)化處理前后對比

2 實驗結(jié)果對比分析

2.1 DeepLabV3+網(wǎng)絡(luò)道路掩膜提取結(jié)果分析

1)實驗數(shù)據(jù)集。本文選取湖南省長沙市高分辨率遙感影像制作實驗數(shù)據(jù)集，空間分辨率為0.6 m，利用Photoshop軟件制作勾畫深度學(xué)習(xí)訓(xùn)練所需要的標(biāo)簽，再將標(biāo)簽和原始數(shù)據(jù)裁剪為320像素×320像素。數(shù)據(jù)經(jīng)過預(yù)處理后共有9 280張有效標(biāo)簽數(shù)據(jù)，采用75%∶25%的比例將數(shù)據(jù)分成訓(xùn)練集6 960張和驗證集2 320張，將75%的數(shù)據(jù)6 960張作為訓(xùn)練數(shù)據(jù)集，將25%的數(shù)據(jù)2 320張作為驗證集，輸入到語義分割網(wǎng)絡(luò)模型中。此外，本文還使用了公開的馬薩諸塞州數(shù)據(jù)集進行實驗對比分析。本研究實驗環(huán)境為Ubuntu18.04操作系統(tǒng)，顯卡型號為NVIDIA QuadroP6000，顯卡容量為32 GB，采用Pytorch深度學(xué)習(xí)框架，實驗參數(shù)的學(xué)習(xí)率設(shè)置為0.007，迭代輪數(shù)設(shè)置為80。

2)道路掩膜提取結(jié)果評價分析。語義分割主要評價指標(biāo)如下。

真陽性(true positive，TP)表示真實情況為道路，檢測結(jié)果也為道路的部分。

假陽性(false positive，F(xiàn)P)表示真實情況為非道路的背景部分，檢測結(jié)果卻是道路部分。

真陰性(true negative，TN)表示真實情況為非道路的背景部分，檢測結(jié)果也為背景部分。

假陰性(false negative，F(xiàn)N)表示真實情況為道路，檢測結(jié)果為非道路的背景部分。

為了客觀評價深度學(xué)習(xí)提取效果，采用了語義分割常用的準(zhǔn)確率(accuracy)、精確率(precision)、召回率(recall)、平均交并比(MIoU)四個指標(biāo)評價DeeplabV3+提取算法的性能。

對于不同的訓(xùn)練數(shù)據(jù)集，DeepLabV3+提取結(jié)果評價指標(biāo)如表1所示。

表1 不同數(shù)據(jù)集道路掩膜提取指標(biāo)評價 %

從表1可以看出，DeepLabV3+分割模型在長沙影像數(shù)據(jù)集具有較好的分割效果，各項評價指標(biāo)接近于公開的馬薩諸塞州數(shù)據(jù)集。本文數(shù)據(jù)集訓(xùn)練出來的模型提取道路掩膜，準(zhǔn)確度達到了98.6%，說明DeepLabV3+模型在長沙高分辨率影像中提取道路性能較好，提取出來的掩膜具有較高的可靠性。

2.2 道路中心線提取實驗對比分析

1)道路中心線提取對比實驗設(shè)計。為了驗證本文的道路中心線提取優(yōu)化算法的有效性，選擇了不同的道路中心線提取算法進行實驗對比。實驗數(shù)據(jù)為從湖南省長沙地區(qū)的高分辨率影像中裁剪的含有建筑物陰影、植被遮擋道路的兩景影像，空間分辨率為0.6 m，影像大小分別為1 240像素×780像素和1 170像素×790像素，設(shè)計了兩個對比實驗。

為了評價不同方法道路中心線提取的精度與提取效率，引入了準(zhǔn)確度(accuracy)、完整度(integrity)、運行時間(time)三個評價指標(biāo)，表達如式(2)、式(3)所示。

(2)

(3)

式中：L1表示正確提取的道路中心線總長度；L2表示未檢測的道路中心線總長度；L3表示錯誤提取的道路中心線總長度。

本文算法實現(xiàn)過程中，通過將Pytorch框架下訓(xùn)練完成的模型進行格式轉(zhuǎn)換，結(jié)合Libtorch、OpenCV及GDAL等開源庫，運用C++語言編程實現(xiàn)原圖像裁剪、道路掩膜提取與膨脹處理、道路矢量中心線提取及優(yōu)化等一系列操作，其運行時間為輸入圖像至輸出道路矢量中心線時間。

2)道路中心線提取對比實驗與分析。

(1)實驗一。圖6為1 240像素×780像素的城市區(qū)域影像局部圖，圖中包含了存在天橋、建筑物陰影的城區(qū)道路。對于城區(qū)影像的道路中心線提取，陰影區(qū)域易造成提取出來的道路中心線出現(xiàn)斷裂、不完整現(xiàn)象。文獻[19]方法融合了影像的多尺度特征提取道路網(wǎng)絡(luò)和采用了張量投票算法對斷裂中心線進行了重連接，圖6(a)為文獻[19]方法的提取結(jié)果。從圖中可以看出，該方法在一定程度上連接了距離較短的斷裂線段，但對于相隔距離較大的斷裂線段無法實現(xiàn)連接，而本文方法通過對深度學(xué)習(xí)提取的掩膜進行膨脹處理，不僅能有效地去除道路上車輛、路面污染物造成的空洞，同時能對陰影造成的斷裂掩膜進行連接修復(fù)、填充，在此基礎(chǔ)上進行細化處理，就能提取出相對較完整的道路。文獻[20]的方法為基于影像分割結(jié)果提取道路的線性信息，結(jié)合道路的光譜信息，采用多元自適應(yīng)樣條回歸算法提取道路中心線，圖6(b)為文獻[20]方法的提取結(jié)果。從圖6(b)可以看出,由于該方法基于分割圖像濾波結(jié)果提取道路的線性形狀特征，而分割結(jié)果易受陰影的干擾，造成提取出來的道路線狀特征無法真實地表達道路的客觀形狀，易造成斷裂情況的出現(xiàn)。圖6(c)為本文方法的提取結(jié)果，該方法通過對掩膜的膨脹處理和建立優(yōu)化規(guī)則進行優(yōu)化處理，能有效克服陰影的干擾，提取出較完整的道路中心線。

(2)實驗二。圖7為1 170像素×790像素的鄉(xiāng)村區(qū)域影像局部圖，圖中包含了存在植被及其陰影遮擋的鄉(xiāng)村道路。對于鄉(xiāng)村道路，道路旁的植被遮擋是造成提取道路中心線出現(xiàn)斷裂的主要原因。鄉(xiāng)村道路的寬度通常比城市道路的寬度要小，幾何形狀也更復(fù)雜；此外，鄉(xiāng)村道路受道路旁植被遮擋相對嚴(yán)重，導(dǎo)致鄉(xiāng)村道路的幾何特征、光譜特征相對于城市道路的幾何特征、光譜特征難以提取和描述。文獻[19]方法融合了道路的多尺度特征提取路網(wǎng)，雖然采用了張量投票算法對斷裂道路中心線進行了重連接，但由于鄉(xiāng)村道路存在較多的樹木遮擋，容易導(dǎo)致提取出來的路網(wǎng)出現(xiàn)斷裂。結(jié)合圖7(a)可以看出，對于遮擋區(qū)域面積較小造成相隔距離較小的斷裂中心線重連接較好，而對于大面積的遮擋造成相隔距離較大的斷裂中心線連接效果較差。文獻[20]方法改進了道路的長寬比指數(shù)對影像進行分割，根據(jù)分割結(jié)果提取道路的線狀特征，再結(jié)合光譜信息提取路網(wǎng)。由于鄉(xiāng)村道路旁樹木的遮擋對道路的線狀特征的影響，樹木的光譜信息與道路的光譜信息有較大差異，造成樹木遮擋區(qū)域存在斷裂線段，如圖7(b)所示。圖7(c)為本文方法的提取結(jié)果，通過DeepLabV3+模型提取的路網(wǎng)，相對文獻[19]方法和文獻[20]方法更完整，對道路的細節(jié)提取更細致；此外，通過對掩膜的膨脹處理，能消除影像中小面積的遮擋造成的斷裂；優(yōu)化模型則能對相隔距離較大的斷裂線段進行優(yōu)化重連接。

圖6 城區(qū)道路中心線提取

表2將不同的方法進行了定量對比。通過對比可以得出，本文方法不考慮深度學(xué)習(xí)樣本制作及模型訓(xùn)練所耗用的時間情況下，在準(zhǔn)確度、完整度以及效率上均優(yōu)于其他方法，再次驗證了本文方法的有效性。

圖7 鄉(xiāng)村道路中心線提取

表2 不同道路中心線提取方法對比

3 結(jié)束語

基于遙感影像的道路中心線提取，其準(zhǔn)確度、完整度主要受影像中道路兩旁的樹木、建筑物及其陰影以及道路上的車輛影響，造成提取出來的道路中心線出現(xiàn)斷裂、不完整，且難以直接用于實際生產(chǎn)。針對這些問題，本文基于DeepLabV3+網(wǎng)絡(luò)分割模型提取道路掩膜，對道路掩膜進行形態(tài)學(xué)膨脹處理后提取道路中心線并對其進行矢量化處理，同時設(shè)計優(yōu)化算法，對矢量中心線進行優(yōu)化處理。通過與文獻[19]方法、文獻[20]方法進行實驗對比分析，本文方法具有更高的準(zhǔn)確度、完整度及提取效率。但是，本文方法在道路矢量中心線優(yōu)化過程中仍存在少量錯誤連接問題，后續(xù)將建立更完善的優(yōu)化模型，提高中心線優(yōu)化的準(zhǔn)確度。