劉志恒 岳子騰 周綏平 江澄 節(jié)永師 陳雪梅

（1 西安電子科技大學空間科學與技術學院，西安 710126）

（2 北京航空航天大學電子信息工程學院，北京 100191）

（3 北京空間機電研究所先進光學遙感技術北京市重點實驗室，北京 100094）

（4 西安航天天繪數(shù)據(jù)技術有限公司，西安 710100）

0 引言

在城市發(fā)展和規(guī)劃過程中，道路是不可或缺的元素之一。道路信息是城市地理信息系統(tǒng)研究與分析的重要組成部分，在車輛導航、智能交通、地圖繪制、城市規(guī)劃等應用領域發(fā)揮著廣泛的作用[1-3]。隨著遙感技術的快速發(fā)展，遙感圖像的空間分辨率在逐步提高，目前已經(jīng)達到分米級別，且呈上升發(fā)展趨勢。從遙感圖像中提取道路信息是城市規(guī)劃與社會發(fā)展等領域的一個熱點問題。

目前，大多數(shù)道路提取研究仍采用傳統(tǒng)的半自動化方式[4]。此類道路提取方法大致可劃分為三類：模板匹配法、知識驅(qū)動法、面向?qū)ο蠓╗5]。這種傳統(tǒng)提取方法需要人工參與標定，按照特定的規(guī)則和邏輯提取道路信息和非道路信息，且依賴于研究人員經(jīng)驗，存在算法遷移能力不足、分割精度受限、流程繁瑣耗時長等問題，不適用于大量數(shù)據(jù)的處理，給道路提取帶來諸多困難。

以卷積神經(jīng)網(wǎng)絡(Convolution Neural Networks，CNNs)[6]為代表的深度學習圖像處理理論與技術近年來發(fā)展迅速?；贑NNs 的圖像分析方法，在各種計算機視覺任務中取得了良好的性能，如目標檢測、語義分割和時間序列預測等。相較于傳統(tǒng)方法，基于深度學習的方法在遙感影像目標識別與圖像語義分割等方面具有顯著優(yōu)勢，利用此類方法解決遙感影像數(shù)據(jù)中道路信息提取問題，已成為當前研究的主要趨勢。該類算法利用深度學習的強大的學習能力、更高效的計算能力和更精準的特征表達能力，準確地區(qū)分道路和背景信息。Minh 等[7]將深度學習方法應用于遙感圖像道路提取任務中，證明了利用深度學習方法提取遙感影像上的道路信息是可靠的。劉笑等[8]利用全卷積神經(jīng)網(wǎng)絡和遷移學習方法，細化抽離模型的中間層信息，實現(xiàn)道路信息的快速提取。該算法提取的道路中心線位置較為準確，但道路細節(jié)處理不佳(如密集建筑區(qū)的細小道路)，或與其忽略紋理特征有關。賀浩等[9]通過改進二分類交叉熵損失函數(shù)解決了正負樣本不平衡的問題，提出的編碼-解碼結構道路提取網(wǎng)絡，有效突出了模型對道路信息的細節(jié)表達能力。王卓[10]利用VGG16 改進Unet 網(wǎng)絡[11]的編碼結構，提取道路特征語義信息，并使用指數(shù)激活函數(shù)(Exponential Linear Units，ELU)[12]，提升了網(wǎng)絡訓練速度，但在陰影和樹木等遮擋的道路區(qū)域，提取效果欠佳，需進一步改進。李朝奎等[13]基于全卷積網(wǎng)絡的特點，利用Deeplabv1 網(wǎng)絡[14]中的空洞卷積來突出道路的多尺度特征信息，在不犧牲特征空間分辨率的同時擴大了特征感受野(Field-of-View, FOV)，實驗結果表明該算法對細窄道路提取有明顯幫助。此外，韓玲等[15]以Deeplabv3 網(wǎng)絡[16]為主干框架，利用空洞空間金字塔池化(ASPP)突出了高分辨率遙感影像中的道路邊緣特征，實驗表明空間金字塔池化可有效提取遙感影像上道路的多尺度特征，更有利于細小道路的準確提取。王勇和曾祥強[17]以Unet 網(wǎng)絡為基礎，引入殘差模塊(Residual Learning Unit，RLU)降低訓練復雜度，并使用混合損失函數(shù)(Binary cross entropy 和Dice)解決類不平衡問題，有效提取了被陰影等遮擋的道路范圍。張亞寧等[18]以Unet 網(wǎng)絡為主干框架，提出了一種結合改進的殘差模塊和卷積注意力機制(Convolutional Block Attention Module，CBAM)[19]的道路提取網(wǎng)絡，相較原始的Unet 網(wǎng)絡，所提算法有效提高了網(wǎng)絡對道路特征的表達能力，抑制了“同譜異物”的非道路背景信息。以上研究表明：隨著遙感技術的進步與革新，遙感影像的空間、光譜、時間等分辨率不斷提高；高分辨率遙感圖像中的地物背景等細節(jié)信息更加豐富，非道路信息如植被陰影、車輛流動、高樓建筑遮擋、人流流動等作為干擾信息十分繁雜，一方面周圍環(huán)境可能與道路十分相似，如城市中樓宇的紋理、狹長的河道、沙漠中由風吹形成的痕跡等，另一方面，遙感圖像中的道路成分可能被周圍障礙物遮擋，如形成視覺遮擋或陰影遮擋等，這些問題給道路信息的提取造成了困難，已有道路分割模型在高分辨率遙感影像道路提取任務中仍存在模型適應性不足、模型分割精度欠佳等問題。

本文針對高分辨率遙感影像中道路形狀結構錯綜復雜，出現(xiàn)窄小型道路提取錯誤或漏分的問題，提出了一種基于空洞空間金字塔池化和注意力機制的輕量化遙感影像道路提取方法。該方法以原始HRNet網(wǎng)絡為主干框架，以公開的CHN6-CUG 道路遙感影像數(shù)據(jù)集為基礎數(shù)據(jù)源（https://grzy.cug.edu.cn/zhuqiqi/zh_CN/yjgk/32368/list/index.htm）[20]，結合空洞空間金字塔池化結構擴大道路提取模型感受野，優(yōu)化模型提取多尺度道路特征信息能力；引入通道注意力機制構建特征圖不同通道間的依賴關系，強化特征圖中道路特征信息表征，從而提高遙感影像道路提取精度；利用深度可分離卷積方法改進殘差模塊，減少模型參數(shù)量，有效降低模型計算復雜度。

1 網(wǎng)絡結構

1.1 HRNet 網(wǎng)絡結構

原始的HRNet 是2019 年由微軟亞洲研究院[21]提出的神經(jīng)網(wǎng)絡結構，被廣泛應用于圖像語義分割、姿態(tài)估計和目標檢測等任務中。原始HRNet 網(wǎng)絡結構的特征是能夠在保持數(shù)據(jù)圖像高分辨率的同時，完成特征提取，其融合結構如圖1 所示。在同一個Stage 中，前一層的特征圖，分別通過圖1 中所示3 種不同的特征融合方式，得到后一層的特征圖。3 種方式融合前的輸入，由上而下分別為低級、中級、高級特征圖分辨率大小的前一層特征圖，融合后的輸出分別為低級、中級、高級特征圖分辨率大小的后一層特征圖。圖1 中方式（1）表示將中級和高級特征圖分辨率大小的前一層特征圖，通過上采樣，并與低級特征圖進行特征融合，恢復成前一層低級特征圖分辨率大小的后一層特征圖；方式（2）表示將前一層低級特征圖經(jīng)過卷積得到的特征圖和高級特征圖經(jīng)過上采樣得到的特征圖，并與前一層中級特征圖進行特征融合，恢復成前一層中級特征圖分辨率大小的后一層特征圖；方式（3）表示將前一層低級特征圖和中級特征圖經(jīng)過卷積得到的特征圖，與前一層高級特征圖進行特征融合，恢復成前一層高級特征圖分辨率大小的后一層特征圖。原始的HRNet 網(wǎng)絡通過逐步添加、互聯(lián)并行的低分辨率子網(wǎng)絡，不斷對并行的圖像特征信息進行多尺度融合，使模型預測獲得較好的準確性。

圖1 原始的HRNet 多尺度特征融合結構示意Fig.1 Original HRNet multiscale feature fusion structure map

現(xiàn)有基于原始HRNet 的語義分割模型，仍存在一定的缺陷與不足，主要包括：1）在道路密集的城市中，道路結構錯綜復雜，已有模型在分割多樣的道路結構時存在適應性不足的問題，對多尺度道路目標分割效果不佳；2）在高分辨率遙感圖像中，一方面道路周圍環(huán)境可能與道路十分相似，另一方面圖像中的道路成分可能被周圍障礙物遮擋，這些問題導致深度學習模型難以準確提取出圖像中的道路信息，使模型提取精度受限；3）原始HRNet 對并行的子網(wǎng)絡進行不斷地信息交換與特征融合，此過程存在許多重復計算，導致模型訓練產(chǎn)生大量參數(shù)，增大了模型計算復雜度。

為解決上述問題，本文以原始HRNet 網(wǎng)絡為主干框架，提出一種融合空洞空間金字塔池化和注意力機制的輕量化遙感圖像道路提取方法。該方法利用空洞空間金字塔池化模塊，提取遙感數(shù)據(jù)中的多尺度道路特征信息，提高原始HRNet 網(wǎng)絡提取多尺度道路目標的能力；引入SE 通道注意力機制，構建特征圖通道間的相互依賴關系，加強特征圖中重要特征表征，改善原始HRNet 網(wǎng)絡的特征提取質(zhì)量；利用深度可分離卷積方法改進網(wǎng)絡殘差模塊，減少原始HRNet 網(wǎng)絡模型訓練過程中產(chǎn)生的參數(shù)量，降低模型計算復雜度。本文提出的改進后的HRNet 網(wǎng)絡模型結構見圖2。

圖2 網(wǎng)絡結構示意Fig.2 Schematic diagram of the network structure

1.2 空洞空間金字塔池化模塊

高分辨率遙感影像中的道路形狀結構錯綜復雜、變化多樣，道路的上下文信息復雜。僅使用簡單的池化方式處理卷積后的特征圖，降低特征圖的維度，可能造成細小狹窄道路或者多路并行的寬闊道路的部分區(qū)域被誤判為背景成分。提取道路的多尺度特征，有助于減少空間信息損失。結合道路區(qū)域的上下文信息，學習不同尺度道路的融合特征，能夠提升對多尺度道路目標的分割效果。

本文提出的空洞空間金字塔池化模塊共包括6個分支，其結構如圖3 所示。其中第一層為原特征圖像，用于補充特征圖中的空間信息；最后一層是平均池化層，作用是獲得圖像級別的全局特征；第二層至第五層為采用不同膨脹率的空洞卷積層，用于擴大特征圖感受野，綜合提取多尺度道路特征信息。根據(jù)HDC 準則[22]對4 個分支的膨脹率ri（ri為第i個膨脹卷積分支的膨脹率，i∈{1,2,3,4}）進行選擇，設置的膨脹率分別為2、3、7、13。這組膨脹率間不存在大于1 的公約數(shù)，且：

圖3 空洞空間金字塔池化模塊Fig.3 Atrous spatial pyramid pooling module

式中C為卷積核大?。籑2、M3為定義的第2、3 層膨脹卷積中兩個非零點間的最大距離。該組膨脹率滿足HDC 準則，證明4 個膨脹率組成的空洞卷積金字塔其感受野可以覆蓋底層特征圖的整個區(qū)域。這一方法可有效改善網(wǎng)絡問題，增強原始HRNet 網(wǎng)絡提取多尺度道路信息的能力。

1.3 擠壓激勵通道注意力機制

針對高分辨率遙感圖像中地物及背景信息豐富、非道路干擾信息繁雜、道路特征不突出等問題，本文引入擠壓激勵通道注意力機制(Squeeze and Excitation Networks，SE)改進原始的HRNet 網(wǎng)絡，該機制的結構如圖4 所示。采用SE 通道注意力機制，構建特征圖中不同通道間的相互依賴關系，改善道路提取模型中細小道路特征不突出問題，增強原始HRNet 網(wǎng)絡的特征表征質(zhì)量。

圖4 通道注意力機制結構Fig.4 Squeeze and Excitation Networks structure

1.4 模型輕量化

由于原始HRNet 網(wǎng)絡使用并行結構對子網(wǎng)絡不斷地進行信息交換與特征融合，在網(wǎng)絡計算過程中不可避免地會產(chǎn)生許多重復計算，占用大量內(nèi)存且導致過擬合。本文采用深度可分離卷積方法改進原始HRNet 中的殘差模塊，實現(xiàn)模型輕量化。改進后的殘差模塊如圖5 所示，將原始HRNet 殘差結構中的一層3 × 3 普通卷積替換為3 × 3 深度可分離卷積，保留一層3 × 3 普通卷積。模型輕量化能夠有效減少神經(jīng)網(wǎng)絡計算過程中產(chǎn)生的參數(shù)量，降低計算復雜度，同時對模型分割精度不產(chǎn)生顯著影響。

圖5 深度可分離方法改進結構Fig.5 Depthwise convolution methods for improved structure

2 實驗與評價指標

2.1 數(shù)據(jù)集簡介

隨著高分辨率遙感技術的迅速發(fā)展，傳感器空間分辨率得到顯著提升，人們獲得了越來越多的高質(zhì)量遙感影像，出現(xiàn)了大量高分辨率遙感影像數(shù)據(jù)集，為開展遙感影像道路提取研究提供了豐富的數(shù)據(jù)來源。在深度學習模型的訓練實驗中，數(shù)據(jù)集的大小、數(shù)量及質(zhì)量的高低，最終都會影響實驗的準確度和召回率等結果。本文采用公開的中國區(qū)域道路數(shù)據(jù)集（CHN6-CUG 道路數(shù)據(jù)集，該數(shù)據(jù)集由中國地質(zhì)大學（武漢）高性能空間智能計算實驗室（HPSCIL）團隊制作），選取北京市朝陽區(qū)、上海市楊浦區(qū)、武漢市中心、深圳南山區(qū)、香港沙田、澳門等6 個地區(qū)作為實驗區(qū)。CHN6-CUG 道路數(shù)據(jù)集的影像來自谷歌地球，共包含3 681 組標記圖像，圖像大小為512 像元× 512 像元，圖像分辨率為0.5 m。CHN6-CUG 數(shù)據(jù)集中樣本及其標簽圖像如圖6 所示，其中第一行為原始遙感圖像，第二行為對應的道路標簽圖像。

圖6 CHN6-CUG 數(shù)據(jù)集標注圖像樣本示意Fig.6 Schematic diagram of annotated image samples of CHN6-CUG dataset

2.2 數(shù)據(jù)集預處理

由于單張樣本圖像所包含的特征信息有限，因此需使用大量樣本對深度學習模型進行訓練，才能使模型學習到更多更深層次的特征，從而實現(xiàn)精細化的語義分割，提升模型的泛化能力。深度學習算法的實現(xiàn)依靠大量數(shù)據(jù)樣本的迭代計算，實際實驗中會存在樣本數(shù)量不足的情況，因此需要采取一定方法對已有數(shù)據(jù)進行擴增[23]。研究表明，在已確定的數(shù)據(jù)集上進行合適的數(shù)據(jù)樣本擴增，能很好地提高數(shù)據(jù)樣本復雜度，改善訓練所得模型性能。本文采用的遙感影像數(shù)據(jù)集中圖像是正射投影后的高分辨率遙感影像，圖像的角度特征變化不明顯，可以通過旋轉及鏡像等操作增加樣本數(shù)據(jù)的復雜性，本文分別采用旋轉90°、180°、270°及水平鏡像操作對數(shù)據(jù)集進行擴充，擴充后的樣本示例如圖7 所示。

圖7 經(jīng)擴充操作后的樣本數(shù)據(jù)實例Fig.7 Example of sample data after expansion operation

對數(shù)據(jù)集的預處理包括數(shù)據(jù)歸一化與圖像標準化。數(shù)據(jù)歸一化處理將輸入數(shù)據(jù)的特征值大小調(diào)整至相近范圍，避免得到的梯度值過大或過小，使模型訓練能夠收斂平穩(wěn)。圖像標準化處理可以實現(xiàn)數(shù)據(jù)去均值中心化。數(shù)據(jù)中心化使輸入數(shù)據(jù)符合分布規(guī)律，更易于取得訓練后的泛化效果，加速訓練和擬合過程。

歸一化計算和標準化計算分別如下：

式中Ioutput、Iinput分別為輸出像素值與輸入像素值；std、mean、max 和min 分別為標準差、平均值、最大值和最小值。樣本經(jīng)歸一化、標準化處理后所得結果如圖8 所示。

圖8 CHN6-CUG 數(shù)據(jù)集標準化、歸一化處理圖像Fig.8 CHN6-CUG dataset standardized, normalized processing images

將經(jīng)過預處理后的遙感影像數(shù)據(jù)集按照6∶2∶2 的比例劃分為訓練集、驗證集、測試集，將訓練集與驗證集作為模型訓練輸入，取DiceLoss 函數(shù)與CrossEntropyLoss 函數(shù)的均值作為模型損失函數(shù)，用來解決類不平衡的問題，即不同類別的訓練樣例數(shù)目差別很大的情況，特別是當正例個數(shù)遠小于反例個數(shù)，則訓練出的模型難以檢測正例。

實驗平臺采用Intel(R) Xeon(R) Platinum 8358P，GPU 選取使用GeForce RTX 3090 24 G 顯存容量，能夠保證網(wǎng)絡的訓練運行。

2.3 評價指標

為檢測模型道路提取結果的精度，本文采用語義分割領域常用的評價指標——精確率（Precision）、準確率（Accuracy）、召回率（Recall）、F1 分數(shù)和均交并比（MIoU），來定量評估模型性能以及標簽圖像與提取結果間具體差異，上述指標的具體計算公式為：

式中 TP 代表真陽性，表示實際道路像素被預測為道路像素；FP 代表假陽性，表示非道路像素被預測為道路像素；FN 代表假陰性，表示道路信息被預測成非道路信息；TN 代表真陰性，表示非道路信息被預測為非道路信息；k表示目標類總數(shù)，式（9）中k+1 表示類別數(shù)目（k個目標類和1 個背景類）；pij表示將實際類別為第i類預測為第j類的像素數(shù)目；pji表示將實際類別為第j類預測為第i類的像素數(shù)目；pii表示將實際類別為第i類預測為第i類的像素數(shù)目。

3 實驗結果對比與分析

為驗證本文所提出的改進后的HRNet 各模塊后的有效性，在相同實驗條件下，比較了原始HRNet、原始HRNet+ASPP 模塊、原始HRNet+SE-Block 模塊及本文方法的性能。如表1 所示，加入SE-Block 的HRNet 其Accuracy、Precision、Recall 及F-Score 等指標結果，相較原始HRNet 分別提高了4.85%、1.8%、3.85%和2.85%，表明在原始HRNet 結構上增加通道注意力機制，提高了網(wǎng)絡特征提取質(zhì)量。加入ASPP 模塊的HRNet 相較原始HRNet，上述各指標分別提高了4.96%、1.34%、4.41%和2.90%，表明空洞空間金字塔池化模塊有效擴大了網(wǎng)絡感受野范圍，增強了模型提取全局特征的能力。

表1 消融實驗的評價指標對比Tab.1 Comparison of evaluation metrics for ablation experiment %

為驗證本文所提算法在高分辨率遙感影像道路提取任務中的性能，使用不同的深度學習網(wǎng)絡（UNet、FCN、PSPNet[24]、DeepLabV3+[25]、D-LinkNet、原始HRNet 及本文算法），在相同條件下對選取的CHN6-CUG 數(shù)據(jù)集圖像進行預測和驗證。利用準確率、召回率等參數(shù)對驗證集進行評估對比，場景主要覆蓋了城市中多種復雜路網(wǎng)。訓練得出的具體模型評估結果如表2 所示。

表2 不同模型的評估結果Tab.2 Assessment results from different models %

不同模型各評估指標對比如圖9 所示，可以看出，原始HRNet 網(wǎng)絡的總體性能優(yōu)于UNet、FCN、PSPNet、D-LinkNet，在準確率、召回率、F1 分數(shù)、MIoU 等方面也不同程度的優(yōu)于UNet、FCN、PSPNet 和D-LinkNet，證明了利用原始HRNet 提取高分辨率遙感圖像中道路信息的可行性。但原始HRNet 相較其他網(wǎng)絡精確率較低，說明原始HRNet易將背景成分誤判為道路信息。DeepLabV3+網(wǎng)絡評估數(shù)據(jù)相較原始HRNet、UNet、FCN、PSPNet、DLinkNet 網(wǎng)絡有明顯提升，其中召回率達到93.11%，MIoU 指數(shù)達到72.46%。由于DeepLabV3+網(wǎng)絡使用了空洞空間金字塔池化結構，有效擴大了網(wǎng)絡感受野范圍，增強了網(wǎng)絡提取全局道路特征信息的能力，表明在圖像語義分割網(wǎng)絡中引入空洞空間金字塔池化結構，可以有效提高模型對道路全局特征信息提取的能力。因此，在DeepLabV3+網(wǎng)絡啟發(fā)下，本文在原始HRNet 網(wǎng)絡特征融合結構之后添加ASPP 模塊，以擴大原始HRNet 網(wǎng)絡的感受野范圍。同時，在ASPP 模塊后添加SE 通道注意力機制，優(yōu)化原始HRNet 網(wǎng)絡的特征提取質(zhì)量。通過引入ASPP 模塊和SE 通道注意力機制，共同改進原始的HRNet 網(wǎng)絡結構，構成本文所提出的改進后的HRNet 網(wǎng)絡。根據(jù)表2 數(shù)據(jù)分析，本文所提算法在準確率、精確率、召回率、F1 分數(shù)、MIoU 指數(shù)方面的評估結果相較原始HRNet 分別提高了5.35%、2.15%、4.1%、3.15%和14.34%，性能提升明顯。

圖9 不同指標評估模型性能Fig.9 Model performance evaluation with different

進一步分析各模型預測圖像與標簽圖的差異，結果如圖10 所示。圖10 所選示例圖像包括城市密集道路網(wǎng)絡、有陰影遮擋的道路、有植被覆蓋的道路、密集高樓間的道路、河道旁道路、不規(guī)則曲線道路等多種道路情況。UNet、FCN、PSPNet、D-LinkiNet 預測結果與標簽圖相比，出現(xiàn)漏檢情況較多，主要表現(xiàn)為預測結果中道路不連續(xù)；原始HRNet 網(wǎng)絡預測結果中出現(xiàn)較多漏檢情況，無法完整預測遙感圖像中的道路信息，但細節(jié)信息相較其他網(wǎng)絡更豐富；DeepLabV3+網(wǎng)絡預測結果較為準確，能較為全面的預測出遙感圖像中的道路信息，但在道路細節(jié)處，預測結果較為模糊，道路邊界不明晰；本文所提算法繼承了原始HRNet 高分辨率與分割細節(jié)優(yōu)良的特點，利用ASPP 模塊提高模型綜合多尺度語義信息能力，同時增加SE 通道注意力機制，網(wǎng)絡預測結果與標簽圖像重合程度高，預測結果中道路細節(jié)豐富清晰，道路完整性、連續(xù)性好，能有效地從遙感圖像中提取完整的道路信息。

為實現(xiàn)輕量化部署，本文所提算法中引入了深度可分離卷積方法，引入前后算法的網(wǎng)絡參數(shù)量結果如表2 所示。本文方法剔除深度可分離卷積模塊后網(wǎng)絡參數(shù)量約為9.71 ×106個，引入深度可分離卷積的本文算法網(wǎng)絡參數(shù)量約為6.21 ×106個，網(wǎng)絡參數(shù)量減少了約36.1%，有效減少了網(wǎng)絡參數(shù)量，降低了模型訓練的計算復雜度與運算成本。

4 結束語

針對高分辨率遙感影像中道路形狀結構錯綜復雜，出現(xiàn)窄小型道路提取錯誤或漏分的問題，本文以原始HRNet 網(wǎng)絡為主干框架，引入空洞空間金字塔池化模塊，有效擴大了網(wǎng)絡感受野，提高了網(wǎng)絡提取多尺度道路信息的能力；引入擠壓激勵通道注意力機制，改善網(wǎng)絡特征提取質(zhì)量，突出了模型中細小道路特征；使用深度可分離卷積方法，改進網(wǎng)絡的殘差模塊，在不損失模型精確度條件下，有效減少了網(wǎng)絡參數(shù)量，提高了網(wǎng)絡訓練速度。在CHN6-CUG 道路數(shù)據(jù)集上，通過不同區(qū)域的提取結果，本文所提算法對細窄道路的提取效果更明顯，同時道路預測結果連續(xù)性、完整性良好。后續(xù)改進的重點是在已有模型的基礎上，設計實現(xiàn)針對線性地物復雜、噪聲明顯的遙感影像道路提取算法。