禹政陽 陳 軍 江明樺 馬世巖 秦 鑫

(1.成都信息工程大學資源與環(huán)境學院,四川 成都 610225;2.四川省水利科學研究院,四川 成都 610072)

0 引言

從海量的、有噪聲和模糊隨機的遙感影像中提取出有用信息,一直是遙感信息提取和識別領域的研究難點與熱點。隨著人工智能技術,尤其是深度學習的突破,基于人工智能的遙感信息提取已成為重要的研究方向[1-2]。隨著研究的深入,大量人工智能模型應用于圖像處理領域,如 AlexNet[3],VGGNet[4],GoogleNet[5]、UNET[6]、Mask R-CNN[7]等。Mask RCNN模型屬于一種實例分割的圖像智能算法,不僅能準確識別出感興趣目標在圖像上的位置,而且還能以掩膜方式標記目標[8-15]。將其應用于遙感圖像的目標提取,是地表機器智能感知的重要手段。

然而,遙感目標智能提取的研究目前主要集中于本地遙感影像[16-17]。作為一種寶貴的在線資源,在線遙感影像的空間目標智能提取具有重大的理論意義和實踐價值,但該領域目前仍鮮有相關研究。受限于顯卡的存儲和計算能力限制,Mask R-CNN模型的輸入圖像大小受一定限制。區(qū)別于本地影像,在線遙感影像覆蓋全球范圍。如何從大量在線遙感瓦片中有效提取空間目標,是亟待解決的關鍵問題。

本文以18級在線遙感影像為數(shù)據(jù)源,開展了在線遙感影像的目標提取研究,提出了一種瓦片重疊法的在線高分遙感圖像目標智能提取方法。該方法在保證目標提取效率的同時,提高了目標檢測精度,為地表機器智能感知提供了新的途徑。

1 空間目標與數(shù)據(jù)源選擇

1.1 空間目標選擇

在高分遙感影像上,人工構筑物一般具有相對的穩(wěn)定形態(tài)特征和光譜特征,是Mask R-CNN模型容易提取的目標。圖1展示了幾種典型的空間目標(運動場、城市路口、跨河大橋)的形態(tài)特征和光譜特征。從形態(tài)特征上看,運動場主要由球場和周圍的塑膠跑道構成,一般呈現(xiàn)為橢圓形或矩形;城市路口是城市道路交叉的地方,道路交叉是其典型的形態(tài)特征,具體分為十字型路口、三叉型路口等,城市路口往往可見人工繪制的斑馬線;跨河大橋為跨越河流的道路部分,呈現(xiàn)為條形。從光譜特征上看,由人造草坪或者塑膠構成的球場區(qū)域在真彩色圖像上呈現(xiàn)淺綠色,由塑膠構成的跑道一般呈現(xiàn)橙色;城市路口、跨河大橋光譜特征主要取決于鋪面材料,水泥沙路反射率較高,在干爽狀態(tài)下呈灰白色,瀝青路反射率較低,呈暗色調(diào)。本文以運動場、城市路口、跨河大橋為例,探討在線遙感影像的空間目標智能提取方法。

圖1 典型樣本的空間目標標記

1.2 數(shù)據(jù)源選擇

運動場、城市路口、跨河大橋等屬于微觀地物。18級在線遙感影像的空間分辨率約為0.6 m,運動場、城市路口、跨河大橋清晰可見。因此,以在線遙感影像18級為數(shù)據(jù)源,嘗試提取指定空間范圍內(nèi)的空間目標。

2 基于Mask R-CNN的高分遙感影像空間目標提取模型的建立

2.1 Mask R-CNN模型概述

Mask R-CNN模型是經(jīng)典的實例分割模型,從Faster R-CNN發(fā)展而來。Faster R-CNN將特征提取、區(qū)域建議、目標框定、目標分類整合到一個網(wǎng)絡中,實現(xiàn)了圖像中目標的識別及框定。由于Faster R-CNN僅能預測出目標在圖像上的范圍,He等[7]將Faster R-CNN中的RoI Pooling層替換成RoIAlign層,提升了目標框的預測精度。同時,在網(wǎng)絡中添加了預測目標掩膜(Mask)分支,構建了Mask R-CNN模型。

Mask R-CNN模型所返回的目標數(shù)據(jù)有兩部分,即目標的預測框和掩膜數(shù)據(jù)。預測框包含目標的分布范圍、目標類別和概率。其中,分布范圍由矩形的4個角點的圖像坐標確定,即像素點在柵格圖像上的序號;目標類別以編碼方式表示,來源于訓練時的目標類別編碼;目標概率是指該目標框?qū)儆谠撃繕祟悇e的概率。掩膜數(shù)據(jù)為一個大小為28×28的二維數(shù)據(jù),它將預測框劃分為28行、28列具有相同大小的單元,每一個單元給出目標在該位置上存在的概率。通過設定掩膜的概率閾值,即可得到目標在預測框中的分布區(qū)域。

2.2 訓練與測試樣本數(shù)據(jù)集的建立

Mask R-CNN是一種監(jiān)督學習型神經(jīng)網(wǎng)絡,需要準備訓練數(shù)據(jù)集和測試數(shù)據(jù)集。訓練數(shù)據(jù)集和測試數(shù)據(jù)集的每一張圖片均為18級在線遙感影像的某一個局部區(qū)域,且需事先勾繪出其上的所有運動場、城市路口和跨河大橋。將球場的外邊界封閉成的規(guī)則區(qū)域作為運動場的勾繪區(qū)域;將人行斑馬線封閉形成區(qū)域作為城市路口的勾繪區(qū)域;跨河大橋則勾繪出橫跨河流的橋梁部分,見圖1,紅色方框為目標標繪輪廓。

為提高模型的魯棒性,采集不同光照條件、不同拍攝角度和不同區(qū)域的遙感影像作為訓練樣本。為提高模型訓練精度,應正確標繪每一個樣本包含的所有空間目標。以全國為范圍,隨機采集一定數(shù)量的樣本,構建訓練數(shù)據(jù)集和測試數(shù)據(jù)集。其中,訓練數(shù)據(jù)集共1000個樣本,包含1258個目標;測試數(shù)據(jù)集共200個樣本,包含266個目標,見表1。

表1 樣本數(shù)據(jù)集各目標數(shù)量及測試精度

2.3 模型訓練與測試

將數(shù)據(jù)集代入模型中學習。采用隨機梯度下降法(SGD)進行學習,學習率為0.001,權重衰減設置為0.0005;訓練共計800輪,損失值達到最低并趨于穩(wěn)定。訓練完成后,利用測試數(shù)據(jù)集進行測試,并設定目標類別概率閾值和掩膜概率閾值提取圖像上的空間目標及掩膜。實驗發(fā)現(xiàn),類別概率閾值越低,召回率越高,但精確率越低,這說明較低的類別概率閾值將導致在沒有目標的區(qū)域預測出大量無效的目標。為降低模型的錯誤率,需要較高的類別概率閾值,但又會出現(xiàn)部分目標無法預測。通過反復實驗,將運動場、城市路口和跨河大橋的類別概率閾值分別設為0.98、0.97和0.97,測試數(shù)據(jù)集總體召回率為84.5%,精確率為96.4%;當掩膜概率閾值設定為0.5時,預測的掩膜區(qū)域與目標分布區(qū)域擬合效果最佳,掩膜精度為83.5%(表1)。

3 基于瓦片重疊法的在線遙感影像空間目標提取

以在線遙感影像為數(shù)據(jù)源提取空間目標,需要以瓦片為基本單元,利用前述模型進行目標檢測與提取。基于瓦片重疊法的在線遙感影像空間目標提取方法,是將若干瓦片組合成一個檢測單元,通過相互重疊的檢測單元來實現(xiàn)在指定空間范圍內(nèi)的空間目標提取。

3.1 瓦片序列的求取

在線遙感影像以瓦片金字塔進行組織,將全球范圍的遙感影像,按照固定的若干個比例尺(瓦片級別)和指定圖片尺寸切成若干行及列的正方形圖片,以指定的格式保存為圖像文件,按一定的命名規(guī)則和組織方式存儲到目錄系統(tǒng)或數(shù)據(jù)庫系統(tǒng)中,形成金字塔模型的靜態(tài)地圖緩存。以google和天地圖在線遙感影像為例,它們以Web墨卡托投影組織影像金字塔數(shù)據(jù)。每一個瓦片的寬度和高度均為256個像素。

在在線遙感影像上提取空間目標,需要先指定提取的空間范圍,依據(jù)空間范圍獲取瓦片序列。設地圖上某一點的經(jīng)緯度為(gx,gy),求取在層級為L時該點的像素坐標:

式中,Px、Py為該點在層級L上的像素坐標。其中:

根據(jù)像素坐標,求取該點所處的瓦片在給定層級L的瓦片行列位置:

式中,Tx、Ty為瓦片在層級L下的行列位置,int為取整函數(shù)。

設待提取空間目標的經(jīng)緯度范圍的左上角和右上角分別為(gx1,gy1)、(gx2,gy2),利用式(1)～(3)可求得待提取的瓦片序列:

式中,Ts為瓦片序列,txy為序列中的每一個瓦片,(Tx1,Ty1)、(Tx2,Ty2)分別表示待提取的空間范圍左上角和右下角的瓦片行列位置。

3.2 在線遙感影像目標檢測單元的空間目標提取

3.2.1 檢測單元的定義

在18級高分遙感影像上,瓦片的一個像元的分辨率約為0.6 m,單個瓦片在水平和垂直方向上代表實地距離約154 m。這種空間尺度,對于空間尺寸稍大的空間目標,一個瓦片難以完整地表示。本文以單個瓦片的寬度和高度的2倍作為一個檢測單元,其寬度和高度均為512個像素。

3.2.2 檢測單元上空間目標的矢量化與空間坐標的求取

首先,將檢測單元的局部遙感影像代入前述模型,提取其空間目標預測框及掩膜;然后,利用空間目標的預測框,將空間目標的掩膜重采樣至原圖像分辨率,并以0.5為閾值,對空間目標掩膜逐像素處理。當掩膜值≥0.5賦值為1,否則賦值為0;在此基礎上,將掩膜二值圖值為1的像素塊矢量化得到空間目標的外邊界。

空間目標的掩膜按雙線性插值方式進行重采樣。設待插值位置坐標為(x,y),(x0,y0)、(x1,y0)、(x0,y1)、(x1,y1)分別為待插值位置左上、右上、左下和右下最鄰近掩膜像元的坐標,其概率值分別為z00、z10、z01和z11。首先,在x方向進行內(nèi)插,得到z0和z1:

然后,在y方向插值得到待插值位置的掩膜概率z:

設檢測單元的左上角空間坐標為(L,T),空間分辨率為(Cx,Cy),將空間目標的矢量轉換為空間坐標:

式中,(x,y)和(X,Y)為分別為空間目標的像素坐標和空間坐標。

3.3 基于瓦片重疊法的空間目標提取

3.3.1 無縫不重疊瓦片拼接法及其問題

無縫不重疊瓦片拼接法是在線遙感影像上提取空間目標的最簡單直接的方式。從瓦片序列的左上角第一個瓦片開始,步長為2,按從左向右、從上到下的順序依次遍歷每一個瓦片,與右側和下側的3個相鄰瓦片合并為一個檢測單元,構成512×512的局部遙感影像,利用模型提取其上的空間目標。當所有檢測單元的空間目標提取完成后,匯總得到最終的空間目標序列。

由于瓦片的劃分是固定的和靜態(tài)的,不可避免出現(xiàn)空間目標跨越瓦片的情況,如圖2所示(圖中綠線劃分的每一個方形格網(wǎng)為一個檢測單元)。這些跨域瓦片的空間目標,在局部遙感影像上表現(xiàn)為目標“碎片”。雖然在訓練數(shù)據(jù)集中,添加了部分區(qū)域的目標碎片作為訓練樣本,使模型具有空間目標“碎片”的提取能力。但如果在局部遙感影像范圍的“碎片”過小,超出了模型的識別能力,將導致目標提取不完整。如圖2(a)所示,圖中最大的運動場跨越了4個相鄰瓦片,由于左側的運動場“碎片”比重過小,導致模型無法識別,該運動場最終只提取到右側的兩個“碎片”。在運動場左側的城市路口,被劃分為上下2個“碎片”,這兩個“碎片”均超出了模型的提取能力,導致該路口未被識別。

圖2 無縫不重疊瓦片拼接法與瓦片重疊法的空間目標提取效果對比

3.3.2 瓦片重疊法的算法描述

瓦片重疊法的核心是瓦片重疊,即檢測單元之間存在一定的重疊率。通過相互覆蓋的瓦片以提高跨越瓦片的目標提取率和空間完整度。設瓦片重疊率為o,則目標檢測單元的移動步長為

設待提取區(qū)域有m列、n行在線瓦片,則待提取空間目標的檢測單元數(shù)N為

瓦片重疊法遍歷瓦片序列的示意圖如圖3所示。

圖3 瓦片重疊法示意

使用瓦片重疊法提取空間目標時,重疊區(qū)域的空間目標存在重復提取的情況。需要通過融合得到最終的空間目標集。首先,分別提取每一個檢測單元的目標集;然后,對于所有檢測單元的每一個目標,搜索與之空間相互重疊并且類別編碼相同的所有目標,這些目標被認為是同一個空間目標在不同檢測單元重復提取的目標。利用空間融合算法將它們?nèi)诤蠟橐粋€空間目標。

圖2(b)為重疊率50%時空間目標的提取效果。對比圖2(a)發(fā)現(xiàn),瓦片重疊法在一定程度上解決了在線地圖上無縫瓦片法的空間目標“碎片”難以提取的問題,提高了空間目標的提取率和空間完整度。

3.3.3 不同重疊率的空間目標提取性能評價

以成都市區(qū)部分范圍(面積為33.4 km2)為實驗區(qū)域,設定不同的重疊率進行空間目標提取,統(tǒng)計不同瓦片重疊率提取的性能和精度。實驗計算機的CPU為Inter(R)Core(TM)i7-7700HQ,顯卡為NVIDA Geforce GTX 1070。為降低網(wǎng)絡傳輸不穩(wěn)定對性能評價的影響,研究區(qū)域內(nèi)的所有瓦片事先下載到本地。同時,通過目視判斷方法統(tǒng)計各重疊率對應的空間目標提取數(shù)、漏提數(shù)和誤提數(shù),并計算提取精度:

式中,p表示提取精度,Nt表示總提取數(shù),Ne表示誤提數(shù),Na表示漏提數(shù)。

見表2,當重疊率為0時,采用無縫不重疊瓦片拼接法提取空間目標,其提取精度僅為58.45%,因此需要利用瓦片重疊法提高提取精度。隨著瓦片重疊率越高,漏提數(shù)不斷減少,提取精度不斷提高。當重疊率≥50%時,提取精度在80%以上。這說明,較高的重疊率,增加了相同位置從不同的“片段”反復識別目標的機會,從而減少了漏提率。但反復識別同一位置,也增加了錯誤識別的比率,即誤提數(shù)也相應增加。若僅考慮提取精度,其重疊率在75%左右達到最佳。

表2 不同重疊率的空間目標提取性能對比

從性能上分析,忽略瓦片下載時間,單個檢測單元目標提取平均耗時約為0.13 s,這意味著每秒可處理7個左右的檢測單元。對于同一空間范圍,瓦片重疊率越高,待提取空間目標的檢測單元越多,總耗時也隨之增加。總耗時包括檢測單元數(shù)據(jù)準備時間、目標提取時間和空間目標融合時間。當重疊率為0和50%時,單個檢測單元僅需拼接相鄰4個瓦片;其余重疊率的單個檢測單元則需拼接相鄰9個瓦片。因此,無論是網(wǎng)絡傳輸還是瓦片拼接,當重疊率為0和50%時,其性能為最佳;隨著重疊率的增加,被檢測出來的總目標數(shù)越大,其融合所需時間越多。綜合以上分析,若僅考慮提取時間性能,其重疊率為0和50%時達到最佳。

若要求提取精度在80%左右,并要求時間性能最優(yōu),則重疊率50%為最優(yōu)參數(shù),其流程為,將步長設定為1個瓦片。對于瓦片序列的每一個瓦片,將其與右側、下側及右下側的相鄰瓦片組合成一個512×512大小的局部遙感影像,代入模型中進行空間目標的提取。

4 在線高分遙感影像空間目標提取實驗

以中國部分城市為例,利用18級天地圖影像按瓦片重疊率50%提取市域某范圍內(nèi)的運動場、城市路口、跨河大橋,共計提取5595個空間目標。通過目視判斷方法獲取各空間目標的漏提數(shù)和誤提數(shù),并采用式(9)計算提取精度,實驗結果見表3。由表3可知,本文方法的目標提取率約為80%,為地表機器智能感知奠定了基礎。

表3 中國部分城市在線遙感影像空間目標提取結果

圖4為實驗城市某局部范圍對應的空間目標提取效果。由圖4可見,雖然存在1處誤提取(A)和2處漏提取(B),但絕大部分空間目標均被正確地提取出來。

圖4 在線遙感影像空間目標提取效果

5 結束語

為提高機器智能感知地表的能力,以在線遙感影像為研究對象,提出了一種基于瓦片重疊法的在線遙感影像的空間目標智能提取方法。本文不僅驗證了瓦片重疊法能提高目標提取精度,還通過不同的重疊率對空間目標提取精度和性能進行了分析,發(fā)現(xiàn)了重疊率為50%時,在線遙感影像的目標提取性能最優(yōu),且具有較高的提取精度。其研究成果對于在線遙感影像空間目標提取的深入研究具有一定的指導意義。

本文不足之處在于僅以三類空間目標為例,進行了高分遙感影像上空間目標提取的研究。若要進一步提高機器智能感知地表領域的能力,還需要增加空間目標的類別,并利用樣本數(shù)據(jù)集訓練模型。