顧興健 劉子儒 任守綱,2 鄭恒彪 徐煥良

(1.南京農(nóng)業(yè)大學(xué)人工智能學(xué)院, 南京 210095; 2.國家信息農(nóng)業(yè)工程技術(shù)中心, 南京 210095;3.南京農(nóng)業(yè)大學(xué)農(nóng)學(xué)院, 南京 210095)

0 引言

近地?zé)o人機遙感圖像分割實現(xiàn)農(nóng)田田埂提取是數(shù)字化農(nóng)業(yè)管理的重要前提。早期,遙感圖像的分割通常是基于閾值、顏色、分水嶺等形態(tài)學(xué)方法[1-4]。隨著深度學(xué)習(xí)方法的發(fā)展,其在遙感領(lǐng)域的應(yīng)用也越來越廣泛。黃亮等[5]提出一種基于結(jié)合RGB波段和輕量級U-Net實現(xiàn)無人機遙感燈盞花種植信息提取。趙靜等[6]提出將FCN用于玉米田壟線區(qū)域的提取工作,但面對不同寬度的壟田區(qū)域,FCN的分割精度并不理想,仍需依靠后期的霍夫變換進一步提升精度。楊蜀秦等[7]提出將SegNet深度語義分割網(wǎng)絡(luò)和霍夫變換結(jié)合實現(xiàn)冬小麥種植行的檢測。SONG等[8]基于SegNet網(wǎng)絡(luò)實現(xiàn)向日葵種植區(qū)域的分割,盡管在細節(jié)上SegNet較FCN有了較大保留,并且準確率也提升至86.2%,但在復(fù)雜特征的學(xué)習(xí)和分割結(jié)果的平滑程度上仍存在較為明顯的問題。

為使卷積核感受野更好地捕獲目標的上下文信息,張永輝[9]通過PSPNet模型對濕地的蘆葦草甸區(qū)域進行提取,實驗結(jié)果表明該方法的準確率為79.2%,盡管PSPNet在全局信息的挖掘上確有較大改進,但由于其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,在處理具有多信息的高分辨率圖像時其效率有所欠缺。蘇健民等[10]則選擇采用U-Net網(wǎng)絡(luò)對城市遙感圖像進行道路提取工作,該網(wǎng)絡(luò)不僅滿足了平滑邊沿和豐富上下文的需求,同時也具備了輕量的特點,最終使得分割準確率達90%。在以上語義分割網(wǎng)絡(luò)的引入下,復(fù)雜背景下的目標分割效果均得到了較大提升。其中,針對高分辨率遙感圖像大尺度小樣本及紋理細節(jié)難以分辨等情況,U-Net因其清晰結(jié)構(gòu)、兼顧深淺層特征以及良好的遷移性,在該領(lǐng)域體現(xiàn)出了較為明顯的優(yōu)勢。

農(nóng)田田間自然環(huán)境較為復(fù)雜,給田塊自動提取帶來困難。田間因播種不均等原因造成的“斑禿”區(qū)域與田梗的紋理特征相似度高,通過單一的基礎(chǔ)模型難以得到很好的分割結(jié)果。王施云等[11]提出一種基于空洞卷積的特征融合策略擴大U-Net的特征捕獲范圍,從而提升遙感圖像的分割效果,實驗證明該方案的分割準確率較原網(wǎng)絡(luò)提升3.5%,但該方法在多類且目標差異性大的數(shù)據(jù)集上體現(xiàn)的效果更為顯著,而針對少類且多信息高分辨率的數(shù)據(jù)時其分割效果卻差強人意。同時,由于作物真實生長情況的不可控性,時常會出現(xiàn)田梗被作物遮擋的情況,這勢必對后續(xù)分割產(chǎn)生顯著影響。王斌等[12]基于U-Net對城市道路的提取結(jié)果,對斷點區(qū)域運用K-means聚類算法進行了修復(fù),而該方法并未從網(wǎng)絡(luò)層面進行改進,而是利用骨架法和鄰域檢測實現(xiàn)道路修復(fù)工作。

傳統(tǒng)的將邊緣特征或邊緣引導(dǎo)的分割方法應(yīng)用于灰度不均、邊緣信息弱的農(nóng)田遙感圖像時,邊緣會出現(xiàn)許多非封閉區(qū)域的現(xiàn)象。將邊緣檢測算法和區(qū)域分割算法有效地結(jié)合,可得到封閉的區(qū)域邊界。YUAN等[13]提出了一種模型無關(guān)的后處理方案,即用內(nèi)部像素的預(yù)測代替原來不可靠的邊界像素預(yù)測,以提高由任何現(xiàn)有分割模型生成的分割結(jié)果的邊界質(zhì)量。FREIXENET等[14]提出嵌入式結(jié)合分割方法和后處理結(jié)合分割方法,有效地形成了閉合區(qū)域。但該方法對光譜豐富的區(qū)域會造成錯分現(xiàn)象。GUO等[15]提出了一種新的從粗到細的邊界細化網(wǎng)絡(luò)來提取建筑物,保留了層次特征的高級語義和低級空間細節(jié),通過利用 BR 模塊中高分辨率特征的空間詳細信息,進一步細化了建筑物的預(yù)測。但該方法并未在編碼部分加強對物體的深層特征的提取。此外,田埂目標區(qū)域占比失調(diào)的情況在遙感圖像中也十分常見。由于田埂自身存在狹窄稀少的特點,在麥田的遙感圖像中尤為突出。陳燕生等[16]基于淺層特征和損失函數(shù)對U-Net進行了改進,解決了小且零散小宗作物區(qū)域分割問題,實驗表明該模型的準確率提升5%,但該方案忽略了對深層信息的運用而僅關(guān)注了淺層空間特征的處理效果。因此,為了有效解決田間復(fù)雜背景下田埂的提取問題,本文在田間自然環(huán)境下,采集麥田的近地高分辨率遙感圖像,并提出一種基于多信息注意力機制和邊緣感知模塊的U-Net分割網(wǎng)絡(luò),實現(xiàn)大田環(huán)境下的田埂的精確提取。模型中通過加入兼顧通道和空間信息的多信息注意力模塊(Multi information attention mechanism,MIAM),加強對于麥田斑禿區(qū)域和田埂相似特征差異的學(xué)習(xí)。同時,在上采樣過程中的每一階段增加邊緣感知模塊,提高田埂區(qū)域語義分割精度。通過量化指標評估和可視化結(jié)果的方式,對模型及結(jié)果進行分析,為后期小麥田塊自動劃分工作提供理論基礎(chǔ)和技術(shù)保障。

1 材料與方法

1.1 圖像采集

實驗時麥田遙感圖像采集地點為安徽省淮北市濉溪縣小麥基地(面積約96 667 m2),采集時間分別為2020年5月4日(圖1a)和2020年5月27日(圖1b)。使用大疆(DJI)精靈Phantom 4 RTK型無人機設(shè)備,其搭載2 000萬像素的RGB相機。設(shè)定飛行高度30 m,飛行路線覆蓋整個基地。經(jīng)過無人機航拍影像的拼接、正射等處理得到尺寸為20 788像素×15 094像素的小麥實驗基地影像。

圖1 小麥實驗基地遙感圖像

1.2 訓(xùn)練集和測試集建立

為驗證本文所提模型的有效性,實驗選取小麥基地遙感圖像的區(qū)域①(圖1)為訓(xùn)練集數(shù)據(jù)源,區(qū)域②為測試集的數(shù)據(jù)源。由于模型輸入特征維度限制,需要對小麥實驗基地圖像進行裁剪,生成每幅圖像為512像素×512像素×3通道規(guī)格的數(shù)據(jù)集。利用滑動窗法對兩區(qū)域進行統(tǒng)一尺寸的圖像集獲取,其中訓(xùn)練集采用步長為0.6倍窗口寬度的重疊滑動方式進行采集,測試集采用無重疊滑動方式進行采集,得到訓(xùn)練數(shù)據(jù)集1 456幅和測試數(shù)據(jù)集502幅。將田埂作為目標提取對象,通過LabelMe軟件[17]人工標注田埂區(qū)域生成像素級標簽文件,如圖2所示。

圖2 數(shù)據(jù)集示意圖

為提高模型的泛化能力,本文使用Pytorch框架下的數(shù)據(jù)增強方法。在訓(xùn)練過程中對每個 batch 數(shù)據(jù)隨機選擇一種增強方法,無需增加原有數(shù)據(jù)集數(shù)量。主要數(shù)據(jù)增強手段包括:①旋轉(zhuǎn):對圖像進行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)2種翻轉(zhuǎn)方式,可以防止模型訓(xùn)練過擬合。②隨機亮度、對比度增強: 改變圖像亮度或飽和度,模擬不同時間段的光照差異。

2 麥田圖像的語義分割模型

本文提出一種適用于近地高分辨率遙感麥田圖像的新型語義分割網(wǎng)絡(luò)。網(wǎng)絡(luò)從注意力模塊和邊緣感知兩方面,對U-Net進行了改進,主要解決田埂與田塊特征差異小及區(qū)域占比少的問題,使其能夠適用于實際自然環(huán)境場景。

2.1 模型結(jié)構(gòu)

設(shè)計一種基于U-Net[18]的遙感圖像分割模型,如圖3所示。模型包括3部分:①由嵌入多信息注意力模塊的卷積塊組成的編碼器進行特征提取,得到經(jīng)過加強的新特征X1′～X5′。②將得到的高維特征通過反卷積進行逐層上采樣,使其重塑為原始特征圖的分辨率。③通過跳躍連接結(jié)構(gòu),將編碼器提取到的特征信息同上采樣的特征圖進行拼接,并通過卷積層實現(xiàn)特征融合,同時,在解碼器每層的卷積之后都加入邊緣感知模塊,它可以結(jié)合邊緣信息和方向信息,對本層的分割結(jié)果進行優(yōu)化。最終通過1×1卷積層實現(xiàn)麥田分割。

圖3 本文網(wǎng)絡(luò)結(jié)構(gòu)

2.2 融合多信息的注意力模塊

注意力機制(Attention)通過合理分配目標對象的特征權(quán)重[19],改善卷積在局部感受野上對特征圖的無差別信息處理,關(guān)注有效信息,提升模型魯棒性。經(jīng)過U-Net分割的麥田圖像仍因外界因素干擾導(dǎo)致田埂特征學(xué)習(xí)不佳,而注意力機制的加入能夠改善模型的學(xué)習(xí)效果,達到良好分割的效果。

本文從通道和空間[20]2個維度分別建立多信息注意力模塊(Multi-information attention module,MIAM),其結(jié)構(gòu)如圖4所示。該模塊主要包含2個分支,一個是基于非局部(Non-local)思想的空間注意力模塊[21-22],另一個是基于壓縮激發(fā)(Squeeze-and-excitation,SENet)思想的通道注意力模塊[23]。將編碼器輸出特征圖F依次通過通道注意力模塊和空間注意力模塊,分別獲取在通道維度上具有更強指向性和注意力信息的中間特征Fm,以及融合空間和通道注意力信息的復(fù)合特征F′。

圖4 多信息注意力模塊結(jié)構(gòu)示意圖

圖5 邊緣感知分割模塊結(jié)構(gòu)圖

通道注意力模塊由平均池化(Average pooling)、最大池化(Max pooling)和多層感知機(Multi-layer perception,MLP)組成。經(jīng)過2種不同的池化方法實現(xiàn)對特征圖的空間匯聚,生成2類通道注意力向量。由共享的MLP網(wǎng)絡(luò)對所得2類注意力向量生成2個維度C×1×1的注意力向量,其中C表示通道數(shù)。最后通過加權(quán)和Softmax函數(shù)獲得通道維度上具有更強指向性的新特征Fm[24]。該模塊的計算公式為

Mc=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

(1)

式中Mc——通道注意力σ——Sigmoid函數(shù)

MLP——特征共享網(wǎng)絡(luò)

AvgPool(F)——平均池化特征

MaxPool(F)——最大池化特征

空間注意力模塊則利用潛在信息關(guān)系建立[21-22],在局部特征上捕獲更為豐富的上下文內(nèi)容。該模塊由1×1卷積、重塑層(Reshape)組成。將前一階段所得特征Fm作為本模塊輸入特征A,通過3個1×1卷積映射成3個新特征{B,C,D}∈RC×N。通過點積矩陣分別對特征B、C,以及二者的空間注意力特征S∈RN×N與特征D進行關(guān)系矩陣計算,得到新空間注意力T∈RC×N,最后通過對空間注意力T與初始特征圖A進行點積運算,完成空間維度上的新特征E標定。綜上,空間注意力模塊表達式為

(2)

式中i、j——特征圖中像素點位置

N——像素點總數(shù)

α——尺度系數(shù),且初始值為0,在訓(xùn)練過程中α將被逐步分配到更大權(quán)重

2.3 邊緣感知的分割模塊

參考文獻[25]將邊緣提取和語義分割2個任務(wù)同時訓(xùn)練有助于提高分割精度。為充分利用不同層的語義信息,在解碼器部分每層上采樣特征后都加入邊緣感知的分割模塊(Edge perception based segmentation module,EPSM)。圖 5給出了邊緣感知模塊EPSM 的整體結(jié)構(gòu)。

每個EPSM模塊輸入包括:上一層輸出特征、上一層分割結(jié)果以及同尺度編碼器跳躍連接的特征。將同尺度編碼器特征與上層的輸出特征沿通道進行融合,并經(jīng)過2個卷積模塊(步長為1,卷積核為3×3卷積層、批歸一化層和整流線性單元)得到融合特征。

融合特征經(jīng)過2次上采樣操作,作為下一層的特征輸入。另外,將融合特征分別送入邊緣預(yù)測分類器、分割預(yù)測分類器和方向預(yù)測分類器,得到邊緣預(yù)測、分割預(yù)測及方向預(yù)測。每個分類器由1×1卷積層、歸一化層、整流線性單元3部分組成。將融合特征與上層分割結(jié)果作為分割分類器的輸入,達到同時借助低分率分割結(jié)果、同尺度編碼特征及深度特征實現(xiàn)高分辨率的分割。

方向分類器為每個邊界像素點計算其到所屬對象中心的方向。以45°為間隔劃分8個方向,分別是上、右上、右、右下、下、左下、左、左上 8個方向。采用包含8個3×3卷積核的卷積層來自動細化分割預(yù)測權(quán)重,而這個卷積層中每個卷積核初始化為一個元素為1,其余元素為0。例如,給定一個方向預(yù)測為左上角的邊界像素,目標是將該像素的方向預(yù)測構(gòu)建置信度值替換為其左上角的置信度值。由邊緣分類器結(jié)果計算二進制邊緣預(yù)測

p=Sigmoid()>0.5

(3)

使用Softmax應(yīng)用于方向預(yù)測

(4)

利用生成的方向圖,通過從邊界像素沿該方向移動一定距離來識別相應(yīng)的內(nèi)部像素并進行替換生成新的邊緣圖。將新生成的邊緣圖用于校正分割預(yù)測結(jié)果的邊緣,生成每層的最終分割預(yù)測結(jié)果。

2.4 網(wǎng)絡(luò)損失函數(shù)

模型訓(xùn)練需同時最小化田埂像素分類損失、邊緣感知損失、邊緣像素方向損失,因此本模型損失函數(shù)定義為

(5)

2.5 模型訓(xùn)練

2.5.1實驗配置

實驗基于Linux Ubuntu 18.04操作系統(tǒng)使用Python 3.7和Pytorch深度學(xué)習(xí)框架來實現(xiàn),實驗配備16 GB內(nèi)存和A100-SXM4顯卡。

2.5.2模型訓(xùn)練及實驗參數(shù)

卷積層選用Kaiming[26]均勻分布初始化方法,同時固定初始權(quán)值,便于后期對比實驗。模型學(xué)習(xí)率(Learning rate)設(shè)置為0.001,訓(xùn)練輪數(shù)(Epoch)為45次,迭代次數(shù)(Iteration)共計111 510次,批處理量(Batch size)設(shè)置為3,使用Adam優(yōu)化模型。訓(xùn)練時損失值變化曲線如圖6所示,本文模型訓(xùn)練損失值為0.004, U-Net模型訓(xùn)練損失值為0.006。本文模型在收斂速度以及最小收斂值上都有一定的改進。

圖6 訓(xùn)練過程中損失值變化曲線

3 實驗結(jié)果與分析

基于無人機采集的近地麥田數(shù)據(jù)集進行實驗,在保持性能的同時降低對數(shù)據(jù)集的需求量。為驗證本文模型的優(yōu)勢,分別將模型中的注意力模塊和損失函數(shù)模塊同現(xiàn)有方法進行比對,并通過指標和局部可視化的分割結(jié)果加以展示。此外,針對形態(tài)學(xué)方法的優(yōu)勢,也將通過與幾種分割網(wǎng)絡(luò)比對的形式加以體現(xiàn)。

3.1 分割評價指標

選取平均交并比(Mean intersection over union,MIoU)、平均像素準確率(Mean pixel accuracy,MPA)、平均Dice相似系數(shù)(Mean Dice similariy coefficient,MDSC)、平均召回率(Mean recall,MR)作為評價指標。平均像素準確率為預(yù)測正確像素與總像素比率均值,平均交并比為預(yù)測值與真實值的交并集比率均值,平均Dice相似系數(shù)為預(yù)測值與真實值的Dice相似度均值,平均召回率為樣本正例被預(yù)測正確的比率均值。

3.2 注意力模塊性能對比

以1 456幅帶標注圖像作為訓(xùn)練集,以502幅圖像作為測試集,針對注意力模塊進行評估,并以測試集均值作為最終結(jié)果。表1為各注意力算法下的分割精度對比結(jié)果,由表1可知,原始U-Net模型加入MIAM模塊后,取得了93.85%的平均像素準確率以及74.12%的平均交并比,相較原始的U-Net以及附加DA、CBAM和CA注意力模塊后的分割網(wǎng)絡(luò)均有明顯提高,平均像素準確率分別提升2.84、5.36、2.23、0.88個百分點,而平均交并比分別提升9.26、14.8、7.17、3.99個百分點。同時,與其它需每層加入注意力模塊的網(wǎng)絡(luò)比較而言,本文所提出的注意力模塊能夠?qū)崿F(xiàn)僅在編碼器的第3、4層添加,就可得到高于原始精度的結(jié)果,這也正是本文方法的優(yōu)勢所在。

表1 附加不同注意力模塊的網(wǎng)絡(luò)分割結(jié)果

圖7展示了麥田圖像在U-Net、U-Net+CBAM、U-Net+CA、U-Net+DA以及本文模型這5個模型上的局部分割結(jié)果,可以看出,只使用原始U-Net所得的分割效果會出現(xiàn)較多的田埂缺失和斷裂問題,而在加入DA、CBAM、CA和MIAM這些注意力模塊后,在一定程度上解決了上述問題。其中,相較其余幾種注意力,在加入本文的多信息注意力模塊(Multi-information attention module,MIAM)后,能夠獲得最為理想的分割效果。

圖7 不同Attention模塊局部分割圖

3.3 邊緣感知模塊性能對比

選取1 456幅帶標注圖像作為訓(xùn)練集,502幅圖像作為測試集。針對EPSM模塊進行評估,表2給出加入EPSM模塊前后的分割精度對比。由表2可知,本文的分割網(wǎng)絡(luò)加入了EPSM模塊后,取得了95.57%的平均像素準確率以及77.48%的平均交并比,相比于之前,平均交并比提升3.36個百分比,平均像素準確率提升1.72個百分比,平均Dice相似系數(shù)提升4.74個百分比,平均召回率提升0.69個百分比。圖8為局部分割結(jié)果,加入EPSM模塊后,網(wǎng)絡(luò)改善了邊緣模糊與田埂斷裂問題。

表2 加入EPSM模塊前后的網(wǎng)絡(luò)分割結(jié)果

圖8 EPSM模型效果對比

為更好地評估本文模型,在數(shù)據(jù)集和網(wǎng)絡(luò)參數(shù)相同的條件下,本文選取了PSPNet、SegNet、U-Net 3個經(jīng)典分割模型同本文模型進行比較和評估。實驗證明,本文所提出的模型平均像素準確率達95.57%,較PSPNet、SegNet和U-Net均有較大程度提升,詳細的對比結(jié)果如表3所示。選取表中前3個模型進行分析,盡管PSPNet擁有強大的捕獲上下文信息能力,但是在處理本文這種高分辨率的遙感圖像上,其效果卻不如另外兩者;雖然SegNet和U-Net的分割結(jié)果相近,但在圖像的細節(jié)和邊緣信息處理上,U-Net仍優(yōu)于SegNet,這也是本文選擇U-Net作為基礎(chǔ)網(wǎng)絡(luò)的原因。而本文也通過加入注意力模塊以及邊緣感知模塊的方式,優(yōu)化了原始U-Net的分割結(jié)果,部分結(jié)果如圖9所示。由實驗結(jié)果可知,本文方案在復(fù)雜的大田背景下,對于識別高度相似的田埂特征、解決田埂區(qū)域占比少、田埂遮擋等問題均具有較強魯棒性,同時也體現(xiàn)出模型在訓(xùn)練期間提取到了有用且豐富的特征信息,進而證明本文模型對田埂提取的有效性。

表3 不同網(wǎng)絡(luò)模型分割性能對比

圖9 不同模型分割結(jié)果

為評估所提模型在不同光照強度下的分割效果,本文選擇PSPNet、SegNet、U-Net與本文所提模型進行實驗比較,在原始測試集和亮度分別降低40%、50%和60%的數(shù)據(jù)集上測試,分割準確率如表4所示。實驗結(jié)果表明降低光照強度后,4種模型的分割效果都有所下降, 但本文模型分割準確率仍是最高且下降緩慢。

表4 不同模型在各測試集上的分割準確率

對測試集內(nèi)所有數(shù)據(jù)進行了分割,將所得結(jié)果通過裁剪和拼接的方式,還原了初始麥田圖像的完整分割結(jié)果圖,如圖10所示。

圖10 麥田分割結(jié)果

4 結(jié)論

(1)針對無人機高分辨率麥田圖像分割易受遮擋物干擾,田埂特征信息少、差異小,以及田埂區(qū)域分散且稀少的問題,提出了結(jié)合多信息注意力和區(qū)域結(jié)構(gòu)損失函數(shù)的U-Net分割網(wǎng)絡(luò)模型,并輔以形態(tài)學(xué)方法,最終實現(xiàn)提升麥田圖像分割精度的效果。

(2)采用U-Net模型作為原始特征提取網(wǎng)絡(luò),鑒于其關(guān)系建模能力好、分割精度高且適合處理大圖的特點,為后續(xù)模型改進提供基礎(chǔ)。

(3)加入注意力模塊,分配特征學(xué)習(xí)過程中的關(guān)注點,加強高低階特征的學(xué)習(xí)和融合,進一步提高目標特征捕獲的準確性。

(4)在模型解碼器加入邊緣感知分割模塊,使高級語義和低級空間細節(jié)都得到了保留。同時邊緣感知模塊利用方向信息和邊界位置引導(dǎo)邊緣像素定位至正確位置,提升了邊緣分割精度。

(5)實驗表明本文模型對無人機高分辨率麥田圖像的語義分割平均像素準確率達到95.57%,平均交并比達到77.48%,平均召回率達到90.17%,平均Dice相似系數(shù)達到87.53%,滿足相關(guān)領(lǐng)域的需求。