欒曉梅，劉恩海，武鵬飛，張 軍

1.河北工業(yè)大學 人工智能與數(shù)據(jù)科學學院，天津 300401

2.北京仿真中心 航天系統(tǒng)仿真重點實驗室，北京 100854

遙感圖像因其豐富的地物信息，已成為對地觀測的重要數(shù)據(jù)來源。遙感圖像語義分割可實現(xiàn)為圖像中的每一個像素點分配一個語義類別，被廣泛應用于測繪、精準農(nóng)業(yè)、土地觀測等領域。隨著全卷積神經(jīng)網(wǎng)絡（fully convolutional neural network，F(xiàn)CN）[1]及其改進網(wǎng)絡U-Net[2]、SegNet[3]、Deeplab[4]等被用于語義分割[5]，分割精度得到大大提升。馬宇等人[6]基于U-Net網(wǎng)絡采用空洞卷積的方式提升了交通標志中小目標分割的精確度。王鑫等人[7]則加入了激活層與Dropout層，實現(xiàn)對耕地、河流、建筑的快速檢測分割。DeepLab網(wǎng)絡中的空間金字塔池化雖然能夠增加網(wǎng)絡的感受野，初步達到上下文結(jié)合的效果，但是，該方法學習到的是分布在圖像平面空間距離上的信息。為此，Yan等人[8]采用關聯(lián)非本地語境的方法，提出了一種結(jié)合自注意力機制和RNN實現(xiàn)上下文相關性的方法。

上述基于深度學習的全監(jiān)督語義分割方法在訓練過程需要依靠大量的帶有像素級標簽的數(shù)據(jù)，但這些數(shù)據(jù)人工標注成本很高。近年來許多研究者致力于通過圖像類別、邊界框、涂鴉等更易獲取的標注數(shù)據(jù)進行語義分割，大大降低了數(shù)據(jù)成本。同時，遙感圖像地物信息復雜、目標尺寸不一的特點，為遙感圖像弱監(jiān)督語義分割帶來了巨大挑戰(zhàn)。

目前，使用圖像級標簽的弱監(jiān)督語義分割方法大多是基于可視化的兩階段方法[8-9]。首先，訓練分類網(wǎng)絡，通過初始定位獲得偽像素級掩碼；其次，利用生成的偽掩碼單獨訓練語義分割網(wǎng)絡。在分類網(wǎng)絡中獲得的初始可視化激活區(qū)域很大程度上決定了偽分割掩碼的質(zhì)量，進一步?jīng)Q定了最終語義分割網(wǎng)絡的分割質(zhì)量。因此，目前弱監(jiān)督語義分割方法的注意力主要集中在生成一個質(zhì)量較好的偽像素級掩碼上。

Zhou等人[10]利用類激活圖生成一個粗略的特征映射來定位物體的空間位置。原方法中CAM只能覆蓋目標最具有判別性的部分，存在著過激活或欠激活的問題。為此，多層次特征融合方法[11-13]通過不同方式融合多層次的特征實現(xiàn)遙感圖像中不同尺寸目標的激活。Ma等人[14]和Chen等人[15]更是在多層次特則融合的基礎上加入超像素池化為網(wǎng)絡提供低層特征，以提升目標激活的完整性?；诩せ顓^(qū)域獲得的初始偽分割掩碼是極粗糙的，為了進一步提高偽分割掩碼的質(zhì)量，條件隨機場（conditional random field，CRF）[16]被廣泛用作映射函數(shù)。左宗成等人[17]、熊昌鎮(zhèn)等人[18]提出將條件隨機場與可變形卷積融合，進一步對遙感圖像的激活區(qū)域進行細化。但是，遙感圖像地物信息復雜，通過CRF的顏色約束對激活區(qū)域的輪廓進行微調(diào)是有限的。為了更準確地分割遙感圖像，陳琴等人[19]將邊緣信息和網(wǎng)絡的多尺度特征圖進行組合，提高了遙感圖像分割的準確性和完整性。

Nivaggioli等人[20]改進自然場景中的像素間親和力方法[21]，通過學習像素間的語義關系對激活區(qū)域進行修正，有效提升了遙感圖像偽分割掩碼質(zhì)量。此外，為獲得額外的監(jiān)督信息，自監(jiān)督學習理念[22]被用于弱監(jiān)督語義分割。Wang等人[23]利用理想分割函數(shù)的等方差設計自監(jiān)督的輔助任務，以尋求額外的監(jiān)督來縮小差距；Shimoda等人[24]通過加強對分割映射函數(shù)結(jié)果的自監(jiān)督，從差異區(qū)域中學習有用信息，進一步細化偽分割掩碼的邊緣。兩者都是通過從輸出域生成受監(jiān)控的監(jiān)督信息，作為網(wǎng)絡的優(yōu)化方向。

但是，上述方法都是基于可視化的兩階段方法，模型訓練繁瑣。劉雨溪等人[25]基于生成對抗網(wǎng)絡設計的端到端弱監(jiān)督語義分割網(wǎng)絡僅使用少量樣本標簽，在ISPRS 2D數(shù)據(jù)集上實現(xiàn)較好的分割。但生成對抗網(wǎng)絡往往需要源域、目標域兩個域的數(shù)據(jù)集，且這兩個域要求有一定的相似性。

針對上述問題，本文結(jié)合遙感圖像的特點，設計了一個基于邊緣增強算法的端到端弱監(jiān)督語義分割方法，僅使用圖像級標簽實現(xiàn)遙感圖像的多類別語義分割。為驗證本文方法的有效性，本文還將特征空間邊緣增強模塊擴展到兩階段方法中，并在ISPRS的Postdam和Vaihingen兩個城市數(shù)據(jù)集上進行了實驗。

本文主要創(chuàng)新包括以下幾個方面：

（1）為準確激活出遙感圖像中的小目標，本文提出了特征空間邊緣增強模塊，以自監(jiān)督的方式在激活出小目標的同時提升偽分割掩碼質(zhì)量。

（2）為提升分割結(jié)果的語義完整性，本文利用特征空間邊緣增強模塊生成的偽分割掩碼為輸出空間提供邊緣信息。

（3）為降低模型訓練的繁瑣度，本文提出聯(lián)合細化損失配合交叉熵損失優(yōu)化訓練過程，設計了一個新的端到端弱監(jiān)督語義分割網(wǎng)絡。

1 網(wǎng)絡整體結(jié)構(gòu)

本文網(wǎng)絡整體結(jié)構(gòu)如圖1所示，主要由兩個平行模塊構(gòu)成，兩個模塊共享相同的主干網(wǎng)絡，在訓練過程中同時更新整個網(wǎng)絡。

圖1 遙感圖像弱監(jiān)督語義分割網(wǎng)絡整體結(jié)構(gòu)Fig.1 Overall structure of remote sensing image weakly-supervised semantic segmentation network

1.1 特征空間邊緣增強模塊

整個特征空間邊緣增強模塊利用自監(jiān)督的方式將小目標激活與邊緣降噪進行聯(lián)合，最終生成可靠的偽標簽。其主要從兩個方面來提升偽像素級掩碼的質(zhì)量。在原圖及下采樣后的圖通過共享主干網(wǎng)絡得到不同大小的特征圖后，本文首先利用尺度等變正則化保證原圖及下采樣圖之間CAM激活映射的一致性，以激活出遙感圖像中的小目標；其次，本文在不同尺度的激活區(qū)域基礎上，分別利用隨機游走PSA和CRF得到效果不同的特征圖，通過等變差異檢測模塊從差異區(qū)域中學習有用信息，進行邊緣特征增強。

1.1.1 尺度等變正則化

理想狀態(tài)下基于CNN的非線性映射函數(shù)可表示為Fσ(x)=y,y表示輸入圖像x的分割掩碼，σ表示網(wǎng)絡參數(shù)。用C表示圖片中包含的目標類別數(shù)量，具體類別用c表示，弱監(jiān)督語義分割網(wǎng)絡在CNN網(wǎng)絡基礎上附加額外的全局平均池化函數(shù)P()解決分類任務，分類任務可以表示為P(Fω(x))=c,ω表示此時的網(wǎng)絡參數(shù)，用c表示圖像x對應的類別標簽。通常情況下弱監(jiān)督語義分割方法假設其分類網(wǎng)絡與全監(jiān)督分割網(wǎng)絡的最優(yōu)參數(shù)滿足σ=ω。但是每個樣本在訓練前都會進行數(shù)據(jù)增強，顯然這種做法是不正確的。本文算法將對原圖進行的尺度改變操作視為數(shù)據(jù)增強的一種，其仿射變換矩陣用A表示，則弱監(jiān)督任務的映射不變性為P(Fω(Ax))=c。其中分類不變性任務主要是由池化函數(shù)P()實現(xiàn)的，但是對于映射函數(shù)Fω()沒有明確的不變性約束，無法實現(xiàn)分割函數(shù)的相同目標。

為此，Wang等人[23]在弱監(jiān)督前提下，集成額外的尺度等變正則化（SER），使用自監(jiān)督標簽以縮小分類和語義分割最優(yōu)解的差距：

基于對遙感圖像尺度多變性的考慮，本文利用尺度等變正則化方法，采用權(quán)重共享的網(wǎng)絡，將原圖及下采樣后的圖分別送入網(wǎng)絡，通過主干網(wǎng)絡分別獲得C-1通道的特征圖（不包含背景類）。

類別c的CAM圖可表示為：

其中，ωc表示類別c的分類權(quán)重，fcamu表示全局平均池化前獲得的像素u處的特征向量?？紤]到原圖與下采樣后得到的激活圖尺度不一致，通過雙線性差值對原圖得到的CAM輸出進行下采樣，通過自監(jiān)督的方式保證CAM在不同尺度下的激活映射一致。此外，本文分別校驗了上采樣和下采樣對遙感圖像CAM激活映射的影響，如圖2所示。通過自監(jiān)督尺度等變正則化處理后，本文方法獲得的目標類激活圖效果更好。

圖2 不同尺度輸入圖像生成的CAM圖對比Fig.2 Comparisons of CAMs generated by different scale input images

1.1.2 等變差異檢測

Wang等人[23]直接將激活區(qū)域可視化作為語義分割的偽分割掩碼，但是這些偽掩碼的邊緣粗糙。為此，考慮到1.1.1小節(jié)的尺度等變正則化只對映射函數(shù)F進行了仿射變換的監(jiān)督，本小節(jié)從將可視化結(jié)果轉(zhuǎn)換為語義分割的映射函數(shù)G入手，假設分割映射函數(shù)G的結(jié)果含有噪點，通過消除噪點來提高映射函數(shù)的精度，從而達到細化分割掩碼邊緣的目的。

映射函數(shù)G的輸入和輸出分別定義為：mknowledge（簡寫為mK）、madvice（簡寫為mA）。映射函數(shù)G的輸出結(jié)果mA中含有正確和不正確的信息，本文將其視為包含噪聲的監(jiān)督，為函數(shù)G提供監(jiān)督信息。根據(jù)兩者之間的差異區(qū)域，從mA（含有噪點）中獲取有用信息，并更正已有的分割掩碼。差異區(qū)域DK,A定義為：

其中，u∈{1,2,…,n}表示像素的位置，n是像素的數(shù)量。差異檢測模塊結(jié)構(gòu)如圖3所示。

圖3 差異檢測結(jié)構(gòu)圖Fig.3 Difference detection module

它由三個卷積層和一個殘差模塊組成，本文將原始掩碼、后處理的掩碼以及與目標具有相同通道數(shù)的0-1向量輸入該模塊，輸出得到差異掩碼的置信度圖d。該模塊的損失為：

式中，S是輸入空間的一組像素，函數(shù)J()返回二值交叉熵的損失，θd表示其參數(shù)。

因為原始掩碼對差異檢測模塊影響較大，本文未對主干網(wǎng)絡的輸出特征直接使用全局平均池化，而是利用像素親和力矩陣（PSA）[21]分別將不同尺度下的初始定位激活傳播到屬于同一語義目標的附近區(qū)域。本文用PK0=PSA(x;θpsa)表示由PSA獲得的概率圖，其CRF結(jié)果表示為PA0。本文假設從概率映射(pK0,pA0)中獲得初始的分割掩碼為(mK0,mA0)。然后把兩者輸入到SSDD模塊中分別得到置信度圖dK0、dA0。本文通過dK0如何接近dA0的角度來計算mA0的置信分數(shù)?：

其中，biasu是差異檢測用于選擇閾值的超參數(shù)。通過置信分數(shù)?u進一步獲得細化掩碼mD0：

此時，差異檢測模塊的損失為：

通過差異檢測得到大小不同的細化掩碼mD0、mD0d（這里，對原圖及下采樣圖差異檢測的處理方式一樣，便不再贅述）。由于原圖及下采樣的圖分別經(jīng)過差異檢測模塊后的概率圖尺寸不一致，邊緣特征增強模塊最終對細化掩碼mD0、mD0d進行尺度等變監(jiān)督，其損失函數(shù)Lser為：

式中，i表示樣本索引，η控制正則化的影響參數(shù)，在本文將其設置為1，不需要再對其進行調(diào)整。在1.1.1節(jié)中對原圖進行下采樣獲得新的大小概率圖，這里A表示1/2下采樣的雙線性差值矩陣。

1.2 輸出空間邊緣增強模塊

特征空間邊緣增強模塊獲得的偽分割掩碼質(zhì)量得到大幅提高，以此訓練的分割網(wǎng)絡其分割性能也被大大提升。但上述研究均是建立在多階段的基礎上，并沒有實現(xiàn)端到端的訓練分割。此外，在CAM生成過程中，全局平均池化層（global average pooling，GAP）使得特征圖中所有的像素點參與到目標類識別中，增加了分類器對上下文的依賴，無法保證目標的語義完整性。

因此，本節(jié)利用特征空間邊緣增強模塊（第1.1節(jié)）獲得的可靠的偽分割掩碼作為偽標簽，為輸出空間邊緣細化模塊增加額外的語義信息，從而達到掩碼邊緣細化的目的。與其他利用偽標簽單獨訓練語義分割網(wǎng)絡的兩階段方法不同，本文網(wǎng)絡的兩大特征增強模塊共享相同的主干網(wǎng)絡。

為融合特征空間邊緣增強模塊中偽分割掩碼的語義信息，本文首先用1×1卷積替代了CAM生成過程中的全局平均池化層。雖然兩者計算效果是一樣的，但是，GAP是將所有的像素點進行了目標分類計算，這會降低網(wǎng)絡對小目標的定位能力，而1×1卷積則可以避免這個問題。其次，本文通過1×1卷積獲得的特征預測分數(shù)圖與偽分割掩碼進行相應分類分數(shù)的相對加權(quán)，共同生成類分數(shù)。類別c的類分數(shù)可表示為：

給定特征x:,:,:本文首先預測每個像素大小為C×H×W的分類分數(shù)y:,:,:。然后，添加一個背景通道，以獲得具有置信值的遮罩m:,:,:。

本文方法使用的分類損失是多標簽分類損失函數(shù)（multi-label soft margin loss）：

式中，mD0是模型預測向量，z是地面真值標簽的二進制向量，C={c0,c1,…,cN}表示包含背景類c0的類別數(shù)。但是，交叉熵損失Lcls主要利用了偽標簽中的標記數(shù)據(jù)，并沒有考慮未標記數(shù)據(jù)。為了同時考慮標記數(shù)據(jù)和未標記數(shù)據(jù)，本文利用PCA學習像素級親和力的思想，充分利用RGB顏色和像素空間位置，設計了一個新的淺層損失，即語義細化損失Lthinning。本文采用像素相鄰標簽的組合來迭代地更新融合特征空間偽分割掩碼后獲得的偽標簽mD0。

式中，mD0,t即為迭代細化后的像素級掩碼。G(i,j)表示由高斯函數(shù)獲得的像素級親和力。

式中，1/W是標準化權(quán)重，S同公式（4）中一樣，表示像素的空間位置，I則表示RGB顏色。σd和σr是控制高斯函數(shù)核大小的超參數(shù)。高斯核的大小決定了公式（13）迭代更新偽標簽的次數(shù)。

通常情況下，交叉熵損失認定標簽信息是100%正確的，但是這與事實不符。通過邊緣降噪模塊得到的所有像素標簽都不是100%可靠的，這意味著交叉熵損失可能會引入一些錯誤。本文的語義細化損失為減輕這一問題，為像素i添加了濾波器D(i)：

最終，本文的語義細化損失可以表示為：

通過不斷迭代，偽分割掩碼不斷得到細化，為分割提供良好的自我監(jiān)督信息。

本文方法通過自監(jiān)督的訓練策略，利用訓練集中的圖像級信息和細化后的CAM圖得到更加良好的偽標簽，進而訓練得到良好的網(wǎng)絡結(jié)構(gòu)參數(shù)，使得整個網(wǎng)絡訓練過程中通過一個標準的反向傳播算法進行了端到端的優(yōu)化，從而在預測過程中獲得更好的分割結(jié)果。

本文網(wǎng)絡最終的損失函數(shù)L為：

網(wǎng)絡整體算法如算法1所示。

算法1端到端弱監(jiān)督語義分割算法流程

2 實驗

2.1 數(shù)據(jù)集介紹

為驗證本文方法對遙感圖像的分割效果，在ISPRS 2D語義分割數(shù)據(jù)集[26]上進行驗證，其包含Postdam和Vaihingen兩個城市圖像數(shù)據(jù)。兩個數(shù)據(jù)集都包含6類，即Impervious surface、Building、Low vegetation、Tree、Car、Clutter。為了更直觀地展現(xiàn)最終的多分類語義分割效果，將Low vegetation和Tree合并為一類，即Plant。受硬件條件限制，本文方法將原始數(shù)據(jù)及標簽都進行了隨機切割，切割為500×500像素大小的圖像。

2.2 評估指標

為了評估語義分割效果，本文通過平均交并比（mean intersection over union，MIoU）、重疊度（intersection over union，IoU）及總體精度（overall accuracy，OA）等評估指標進行了比較。其中IoU用于評估每個類別的精確度，并通過MIoU及（OA）來評估模型的整體性能。

一般來說，根據(jù)預測的像素值和地面真值，像素分割結(jié)果可分為四種情況：真陽性（TP）、假陽性（FP）、真陰性（TN）和假陰性（FN）。IoU可以計算真實值和預測值兩個集合的相似性，并由以下等式定義：

MIoU是所有類別IoU的平均值，其等式可寫作：

其中，i表示真值，j表示預測值，pij表示i被預測為j。OA是具有正確標記的像素與總像素之比。

2.3 實驗設置

實驗主要基于Linux系統(tǒng)的Pytorch環(huán)境下完成，Python版本為3.6.10，使用GPU加速，服務器處理器為Intel Xeon?CPU E5-2620 0@2.00 GHz。本文采用具有38個卷積層的ResNet38模型[27]作為主干網(wǎng)絡，刪除了原始網(wǎng)絡的平均池化層和全連接層。下采樣分支經(jīng)過多次實驗驗證下采樣率為0.5時效果最好，因此訓練時，將原圖的下采樣率設置為0.5，同時將網(wǎng)絡學習率設置為1E-4，批大小設置為8。

為了保證相同的感受野，本文算法將最后三個殘差塊進行擴張卷積（殘差塊是具有相同大小的殘留單元）。倒數(shù)第三層的擴張率為2，最后兩層擴張率為4。隨后將獲取的特征圖利用PSA及CRF進行處理，采用作者提供的訓練參數(shù)，并設置了最佳超參數(shù)。隨后將PSA最后的上采樣率設置為2，分別獲得大小為512×112×112和128×112×112的特征圖。將其作為等變差異檢測機制的高級特征及低級特征。對于輸出空間邊緣增強模塊，本文在主干網(wǎng)絡之后增加了兩層相同配置的空洞卷積，其卷積核大小為3，擴張率為12，填充率為12。密集能量損失中的參數(shù)分別設置為5和10，對背景和前景分別計算交叉熵損失。

在訓練期間，這兩個主要并行模塊都會更新該主干網(wǎng)絡，在測試過程中，本文僅使用等變差異檢測機制中的原圖分支獲取最終的分割結(jié)果，只需使用輸出空間分支來進行預測。

2.4 實驗結(jié)果及分析

2.4.1 特征空間有效性驗證

為驗證特征空間邊緣增強模塊中各部分方法對于偽分割掩碼邊緣質(zhì)量提升的作用，本文分別比較了不同方法獲得的偽分割掩碼質(zhì)量。表1給出了Potsdam和Vaihingen兩個城市數(shù)據(jù)集上不同方法獲得的偽標簽質(zhì)量結(jié)果。為更明顯地體現(xiàn)特征空間邊緣增強模塊的有效性，本小節(jié)對類激活圖進行了可視化展示，如圖4所示。

表1 偽分割掩碼質(zhì)量Table 1 Quality of pseudo-segmentation mask單位：%

圖4 Potsdam數(shù)據(jù)集偽分割掩碼對比Fig.4 Comparisons of pseudo segmentation mask on Potsdam datasets

（1）定量分析

通過表1的定量對比，本文提出的尺度等變正則化方法在兩個數(shù)據(jù)集上對于偽分割掩碼質(zhì)量的提升均起到正向作用，其中在Vaihingen上較基線CAM方法提升5.5個百分點。此外，僅使用差異檢測方法獲得的偽分割掩碼效果比尺度等變正則化方法的結(jié)果更好，原因是它能更好地保證類激活圖邊緣的完整性。當兩者結(jié)合后，偽分割掩碼質(zhì)量達到最佳，在Potsdam和Vaihingen數(shù)據(jù)集上的MIoU分數(shù)分別為45.3%和47.4%，大大超過了基線CAM方法。

（2）定性分析

圖4展示了Vaihingen數(shù)據(jù)集中“汽車”類的類激活圖，如（c）中紅框所示，尺度等變正則化方法采用自監(jiān)督的策略，比基線傳統(tǒng)的CAM方法能夠更加準確地激活出遙感圖像中的小目標；單獨使用差異檢測方法獲得的類激活圖（d）也較好地保證了目標的完整性；兩者結(jié)合后，類激活圖的效果達到最好，如（e）所示。

2.4.2 輸出空間有效性驗證

本小節(jié)實驗主要是驗證了融合偽分割掩碼中的語義信息對偽標簽精度提升的有效性，以及語義細化損失對于原始粗糙掩碼質(zhì)量的提升作用。

（1）融合語義信息

表2展示了在Potsdam數(shù)據(jù)集上融合不同質(zhì)量的偽分割掩碼對最終分割精度的影響。

表2 融合語義信息對比分析Table 2 Contrastive analysis of fusion semantic information 單位：%

通過表2可知，當輸出空間融合任意偽分割掩碼的語義信息后獲得的偽標簽均比傳統(tǒng)的CAM獲得的偽分割掩碼質(zhì)量要高。

（2）語義細化損失

為了驗證語義細化損失中高斯核大小（迭代次數(shù)）對掩碼細化的作用，本文在Potsdam數(shù)據(jù)集上進行了實驗對比，具體實驗數(shù)據(jù)如圖5所示。

圖5 語義細化損失迭代次數(shù)對比Fig.5 Comparison of semantic refinement loss iterations

通過圖5數(shù)據(jù)可知，在本文的自監(jiān)督模型中，語義細化損失是一個至關重要的組件，因為未使用語義細化損失時，分割的MIoU準確率從57.72%顯著下降到47.95%，OA更是下降9.8個百分點。此外，內(nèi)核的大小也會影響精度，隨著迭代次數(shù)增加，掩碼精度不斷提升，當達到24時，增長趨勢出現(xiàn)緩和現(xiàn)象，因此，本文實驗最終選取迭代次數(shù)為24。因為小的感受野不足以修正與物體邊界存在較大偏差的粗糙掩模的邊界。

2.4.3 模型有效性驗證

偽分割掩碼不能代表最終的語義分割結(jié)果，因此，本文分別在Potsdam和Vaihingen兩個城市數(shù)據(jù)集上進行了大量的語義分割實驗，通過最終的語義分割結(jié)果對比來證明，本文主要從兩個方面進行了橫向?qū)Ρ葘嶒?，實驗?shù)據(jù)如表3、4所示。此外，圖6和圖7分別展示了在Potsdam和Vaihingen數(shù)據(jù)集上本文方法與SSENet[23]、DDNet[24]與本文方法對其中兩張遙感圖像的語義分割結(jié)果對比。在圖6和圖7中，（a）表示原始圖像，（b）表示原始的語義標簽，（c）和（d）分別為SSENet和DDNet的語義分割結(jié)果，（e）表示本文方法的語義分割結(jié)果。

圖6 Potsdam數(shù)據(jù)集語義分割結(jié)果對比Fig.6 Comparisons of semantic segmentation results on Potsdam datasets

圖7 Vaihingen數(shù)據(jù)集語義分割結(jié)果對比Fig.7 Comparisons of semantic segmentation results on Vaihingen datasets

（1）消融實驗

為驗證特征空間邊緣增強模塊的偽分割掩碼對最終分割精度提升的作用，本文利用輸出空間邊緣增強模塊生成的偽分割掩碼訓練了Deeplab-v2（使用ResNet-101主干），擴展了兩階段框架（EEA-two），進行了消融實驗對比。

通過表3、4中本文單階段WS-EEA及兩階段的EEA-two消融對比可以看出，在Potsdam數(shù)據(jù)集上本文方法比基于相同偽掩碼的兩階段方法（EEA-two）的MIoU分數(shù)提升了0.85個百分點，OA精度提升了1.65個百分點；在Vaihingen數(shù)據(jù)集上MIoU提升了1.06個百分點，OA精度提升了2.08個百分點。通過縱向?qū)Ρ葘嶒灴梢宰C明本文提出的輸出空間邊緣細化模塊不僅可以降低網(wǎng)絡的繁瑣度，對于最終分割精度的提升也是有效的。

表3 Potsdam數(shù)據(jù)集各算法分割結(jié)果Table 3 Several methods’quantitative evaluation of semantic segmentation results on Potsdam datasets單位：%

（2對比實驗

為證明本文端到端弱監(jiān)督語義分割方法可以在降低網(wǎng)絡訓練繁瑣度的同時，仍然保持較高分割精度，本文與當前較好的弱監(jiān)督語義分割方法[27]進行了對比。

通過表3、表4的定量對比可以得出，與多階段弱監(jiān)督語義分割方法的比較，本文算法在Potsdam和Vaihingen兩個數(shù)據(jù)集上均優(yōu)于SSENet，其中Potsdam數(shù)據(jù)集上MIoU及OA分別提升了4.18、2.71個百分點，在Vaihingen數(shù)據(jù)集上分別提高了4.2、5個百分點。在Potsdam城市數(shù)據(jù)集上，雖然本文方法的MIoU分值比DD-Net網(wǎng)絡低了0.95個百分點，但是本文的OA精度高于DD-Net，且DD-Net需要三個訓練步驟，模型繁瑣。

表4 Vaihingen數(shù)據(jù)集各算法分割結(jié)果Table 4 Several methods’quantitative evaluation of semantic segmentation results on Vaihingen datasets單位：%

與單階段語義分割方法的對比中，本文方法與全監(jiān)督方法還是有一定的差距。但是，在Potsdam和Vaihingen兩個數(shù)據(jù)集上本文算法比單階段的弱監(jiān)督語義分割方法TransferNet均有提升，其中MIoU及OA分數(shù)在Potsdam數(shù)據(jù)集上分別提升了1.77、4.35個百分點，在Vaihingen數(shù)據(jù)集上分別提升了1.49、1.39個百分點。

此外通過圖6、圖7的定性分析對比可以看出，本文方法可以很好地分割出遙感圖像中的小目標，例如小汽車及小的建筑物。對于較大的目標，分割也較為準確，并不存在大面積的過分割問題，每個目標分割出的結(jié)果較為連續(xù)完整。

綜上，通過以上定量分析及定性分析，本文算法對于偽標簽質(zhì)量的提升，及單階段弱監(jiān)督語義分割結(jié)果精度的提升都達到了不錯的效果。

3 結(jié)束語

本文針對遙感圖像地物復雜、目標尺寸不一的特點，打破傳統(tǒng)弱監(jiān)督語義分割方法的多階段訓練步驟，提出一種端到端的遙感圖像弱監(jiān)督語義分割方法，主要結(jié)論如下：

（1）在ISPRS兩個城市數(shù)據(jù)集上的實驗結(jié)果表明，本文方法相較于多階段方法及最新的單階段方法在MIoU、OA提取指標上均表現(xiàn)優(yōu)異，可以很好地分割出遙感圖像中的小目標，達到多類別分割效果，性能顯著。

（2）相較于基于CAM的多階段弱監(jiān)督語義分割方法，本文模型簡單易用，大大降低了訓練的繁瑣度，且不會產(chǎn)生過大的GPU占用，為解決端到端弱監(jiān)督語義分割問題提供了新的研究思路。

（3）本文特征空間特征增強模塊進一步擴展到兩階段方法中，對于偽分割掩碼質(zhì)量的提升也具有促進作用。

本文方法在對比實驗中表現(xiàn)優(yōu)異，但特征空間邊緣強模塊擴展到兩階段方法的分割結(jié)果仍然有上升空間，且與全監(jiān)督方法相比仍然有較大差距?？紤]到弱監(jiān)督本身監(jiān)督信息不足，本研究未來會考慮從底層網(wǎng)絡入手，在CAM的初始獲得過程中提升淺層信息可靠性，即考慮特征圖中的每個空間位置信息。