付發(fā)　未建英　張麗娜

摘 要：Mask RCNN是當(dāng)前最高水平的實(shí)例分割算法，本文將該算法應(yīng)用到高分辨率遙感圖像建筑物提取中，提出了一種高效、準(zhǔn)確的高分辨率遙感圖像建筑物提取方法。首先，利用Tensorflow和Keras深度學(xué)習(xí)框架搭建Mask RCNN網(wǎng)絡(luò)模型；然后，通過有監(jiān)督學(xué)習(xí)方式在IAILD數(shù)據(jù)集上進(jìn)行模型學(xué)習(xí)。利用訓(xùn)練出的模型對測試集進(jìn)行建筑物提取實(shí)驗(yàn)，通過與基于KNN和SVM等建筑物提取方法對比可以看出，本文方法可以更加完整的、準(zhǔn)確的提取出建筑物。采用mAP評價(jià)指標(biāo)對實(shí)驗(yàn)結(jié)果進(jìn)行定量評價(jià)，本文算法的查全率和查準(zhǔn)率均大于對比算法，且多次實(shí)驗(yàn)中本文算法的mAP均在81%以上，驗(yàn)證了基于卷積網(wǎng)絡(luò)的高分辨率遙感圖像建筑物提取的有效性和準(zhǔn)確性。

關(guān)鍵詞：深度學(xué)習(xí)；建筑物提取；Mask RCNN；卷積網(wǎng)絡(luò)

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A

1 引言（Introduction）

提取遙感圖像建筑物信息是遙感圖像解譯中的重要研究課題之一。一方面，快速準(zhǔn)確地提取遙感圖像中的建筑物能夠滿足遙感圖像制圖、地理信息系統(tǒng)的數(shù)據(jù)獲取、城市空間數(shù)據(jù)庫的更新和建設(shè)“數(shù)字化城市”的需要；另一方面，建筑物提取方法也能為其他類型地物的提取提供一定的思路，因此建筑物提取方法的研究具有重要意義，特別是高空間分辨率遙感影像的投入使用，對遙感信息處理與分析提出了更多的要求和挑戰(zhàn)[1]。

目前，國內(nèi)外對于遙感圖像建筑物提取研究有很多成果，主要分為基于邊緣提取、基于紋理提取和基于分類提取三大類。Huertas等人[2]通過檢測建筑物邊緣的線條，然后根據(jù)空間關(guān)系，進(jìn)而提取出建筑物；葉盛[3]根據(jù)幅度譜信息將建筑物的邊緣特征和紋理特征結(jié)合起來，從而對建筑物提??；Atz M等人[4]提出區(qū)域合并分割技術(shù)進(jìn)行建筑物提??；Zheng等[5]首次訓(xùn)練了一個(gè)將CNN和CRF結(jié)合的端到端的神經(jīng)網(wǎng)絡(luò)，從而對建筑物提取；Noh等人[6]設(shè)計(jì)了一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)提高了對小物體、有遮擋物體的分割準(zhǔn)確率。

由于遙感圖像建筑物提取主要針對城區(qū)，但城區(qū)綠化區(qū)域較多，植被對建筑物提取嚴(yán)重干擾，而且建筑物類型復(fù)雜，除了單幢的、規(guī)則的矩形建筑物，還有不規(guī)則的、復(fù)雜的建筑物，這對建筑物提取也帶來了困難?；谶吘壓图y理特征提取建筑物的準(zhǔn)確率不高，而且有較高的誤檢率，因此，本文采用Mask RCNN深度卷積網(wǎng)絡(luò)進(jìn)行遙感圖像建筑物提取。實(shí)驗(yàn)表明，深度卷積網(wǎng)絡(luò)模型對植被信息干擾、建筑物類型復(fù)雜等問題具有很好的擼棒性，可以達(dá)到較高的查全率和查準(zhǔn)率。

2 算法描述（Algorithm description）

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

Mask RCNN[7]是在Faster RCNN[8]的基礎(chǔ)上融合了FCN[9]和FPN[10]思想的一種多任務(wù)深度神經(jīng)網(wǎng)絡(luò)。Mask RCNN有兩個(gè)階段：第一階段，由Mask RCNN主干網(wǎng)絡(luò)（即ResNet101[11]和FPN）提取出遙感圖像的特征圖，然后使用區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）生成目標(biāo)的建議框，并對建議框篩選得到感興趣區(qū)域（Regions Of Interest，ROIs）；第二階段，對每個(gè)ROIs預(yù)測類別、位置和對應(yīng)的建筑物的二值掩膜。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1所示。

圖1 Mask RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.1 Mask RCNN structure chart

2.2 損失函數(shù)

損失函數(shù)表達(dá)了預(yù)測值與真實(shí)標(biāo)簽的差距程度，本文通過減小預(yù)測值與真實(shí)標(biāo)簽之間的損失函數(shù)來訓(xùn)練模型，Mask RCNN的損失函數(shù)定義為：

（1）

式（1）中表示分類誤差；表示邊界框回歸誤差；表示掩碼誤差。

（2）

式（2）中i表示特征圖中ROIs的下標(biāo)；表示類別數(shù)；表示第i個(gè)ROIs預(yù)測為正樣本的概率；當(dāng)ROIs為正樣本時(shí)，=1，當(dāng)ROIs為負(fù)樣本時(shí)，=0。

（3）

式（3）中表示正樣本ROIs到預(yù)測區(qū)域的四個(gè)平移縮放參數(shù)；表示正樣本ROIs到真實(shí)標(biāo)簽的四個(gè)平移縮放參數(shù)；R（）是函數(shù)，即

（4）

式（4）中表示掩碼分支對每個(gè)ROIs產(chǎn)生的m*m大小的掩碼；K表示分類物體的種類數(shù)目；i表示當(dāng)前ROIs的類別。

3 數(shù)據(jù)集及預(yù)處理（Dataset and preprocessing）

在本文中，我們采用了法國國家信息與自動化研究所提供的Inria Aerial Image Labeling Dataset（簡稱IAILD數(shù)據(jù)集）。該數(shù)據(jù)集中每張圖片是覆蓋面積405公里，空間分辨率為0.3米的航空正射彩色圖像，每張圖像分為建筑物和非建筑物。這些圖像覆蓋了不同的城市居民點(diǎn)，從人口稠密地區(qū)（例如舊金山的金融區(qū)）到高山城鎮(zhèn)（例如利恩茨在奧地利蒂羅爾，美國的一個(gè)城鎮(zhèn)）。IAILD數(shù)據(jù)集包含180張5000*5000像素訓(xùn)練數(shù)據(jù)，以及相應(yīng)的掩碼圖片。

我們將其分為訓(xùn)練集（150張）、驗(yàn)證集（5張）、測試集（25張）。由于圖片尺寸太大，直接使用會造成內(nèi)存溢出，所以，我們使用黑色將圖片的邊緣填充60像素，得到了5120*5120的圖片。然后，同時(shí)將圖像和掩碼分割為20行20列，共400張256*256大小的圖片。最終，得到了訓(xùn)練集（60000張）、驗(yàn)證集（2000張）、測試集（10000張）。

（a）衛(wèi)星圖 （b）掩碼圖

圖2 分割后的衛(wèi)星圖

Fig.2 Satellite map after segmentation

4 實(shí)驗(yàn)與算法評價(jià)（Experiment and algorithm

evaluation）

4.1 算法實(shí)現(xiàn)

算法：使用Mask RCNN進(jìn)行建筑物提取

Input：遙感圖像（RGB）

Output：建筑物輪廓

（1）將遙感圖像進(jìn)行分割，得到分割后的圖像P。

（2）將P輸入ResNet101+FPN卷積網(wǎng)絡(luò)中，得到圖像的特征圖集合。

（3）將特征圖集合輸入到RPN中，得到候選框。

（4）將候選框的特征交給預(yù)測器，得到每個(gè)候選框的類別、位置和掩碼的預(yù)測值。

（5）計(jì)算預(yù)測值與真實(shí)值的損失值loss。

（6）優(yōu)化損失函數(shù)loss，得到Mask RCNN網(wǎng)絡(luò)模型。

我們使用內(nèi)存為32GB，GPU（1080Ti）為11GB的主機(jī)對模型進(jìn)行模型訓(xùn)練，每8張圖片一個(gè)批次，訓(xùn)練25小時(shí)左右損失函數(shù)不再下降，停留在1.070左右。

（a）原圖 （b）效果圖

圖3 模型識別效果圖

Fig.3 Model recognition effect diagram

4.2 算法評價(jià)

為了定量評價(jià)遙感圖像提取算法的性能，本文采用的評價(jià)標(biāo)準(zhǔn)是mAP（mean Average Precision）。mAP是目標(biāo)檢測中衡量識別精度的指標(biāo)，多個(gè)類別物體檢測中每個(gè)類別都可以根據(jù)查準(zhǔn)率（Precision）和查全率（Recall）繪制一條P-R曲線，AP就是該曲線下的面積，mAP是多個(gè)類別AP的平均值。分類結(jié)果混淆矩陣，見表1。

表1 分類結(jié)果混淆矩陣

Fig.1 Mixed matrix of categorized results

實(shí)際類別

預(yù)測類別 Positive Negative

Ture TruePositive（TP） TrueNegative（TN）

False FaslePositive（FP） FalseNegative（FN）

TP（真正例）是將正類預(yù)測為正類的數(shù)量；TN（真負(fù)例）是將負(fù)類預(yù)測為負(fù)類的數(shù)量；FP（假正例）是將負(fù)類預(yù)測為正類的數(shù)量；FN（假負(fù)例）是將真累預(yù)測為負(fù)類的數(shù)量。

查全率、查準(zhǔn)率和mAP的計(jì)算公式分別是：

（5）

（6）

（7）

式（7）表示數(shù)據(jù)集中所有類別的平均精度的平均值

本文采用IOU（Intersection Over Union）來判斷檢測到的建筑物是否正確，即IOU>0.5時(shí)，說明檢測到的是建筑物。

（7）

通過對測試集進(jìn)行實(shí)驗(yàn)，得到mAP：0.8111。

為了驗(yàn)證本文算法在遙感圖像建筑物提取方面優(yōu)于其他算法。本文使用基于K-means、KNN、SVM的遙感圖像建筑物提取方法對IAILD數(shù)據(jù)集進(jìn)行了測試，評價(jià)結(jié)果見表2。

表2 算法性能評價(jià)

Tab.2 Algorithms performance evaluation

方法 K-means KNN SVM 本文方法

mAP 0.6838 0.6947 0.7075 0.8111

從上表可以看出本文算法的mAP高于其他方法10%以上，本文算法的查全率和查準(zhǔn)率均大于對比算法，表明基于卷積網(wǎng)絡(luò)的高分辨率遙感圖像建筑物提取的有效性和準(zhǔn)確性。

5 結(jié)論（Conclusion）

本研究基于MaskRCNN提出一種建筑物提取方法，通過使用深度學(xué)習(xí)框架Keras和Tensorflow搭建Mask RCNN網(wǎng)絡(luò)模型，并通過IAILD數(shù)據(jù)集對模型進(jìn)行有監(jiān)督學(xué)習(xí)，從而提取出建筑物。并與K-means法、KNN法和SVM法的提取效果進(jìn)行了對比。研究結(jié)果表明，本文方法提取的mAP較高，能有效提取出建筑物。提取建筑物時(shí)，只需遙感圖像輸入到網(wǎng)絡(luò)模型中，即可提取建筑物的大致輪廓，不需另外的步驟，具有效率性和準(zhǔn)確性。

本文方法仍存在一些不足，實(shí)驗(yàn)過程中發(fā)現(xiàn)在分割建筑物時(shí)，部分建筑物提取存在輪廓不規(guī)則；部分圖像紋理特征類似建筑物的海洋和山地地區(qū)有4%左右的誤檢率。上述問題可作為今后研究的重點(diǎn)。

我們秉承開源，開放的技術(shù)分享思想，已經(jīng)將代碼放到了GitHub上：https：//github.com/fusimeng/maskrcnn_building。該代碼基于Tensorflow和Keras框架，簡單易懂。

參考文獻(xiàn)（References）

[1] 江華.基于eCongnition面向?qū)ο蠹夹g(shù)的高分辨率遙感影像土地利用分類—以福州瑯屹島為例[J].海峽科學(xué)，2014（8）：

12-17.

[2] A.Huertas and R.Nevatia.Detecting Building in Aerial Images.Computer Vision[J].Graphics and Image Processing，1998，41（2）：131-152.

[3] 葉盛.基于紋理特征的高分辨率遙感圖像建筑物信息識別與提取方法研究[D].南京大學(xué)博士學(xué)位論文，2008：10-13.

[4] Atz M and Schape A.Multiresolution segmentation：an optimization approach for high quality multiscale image segmentation[J].Journal of Photogrammetry and Remote Sensing，2000，58：12-23.

[5] Zheng S，Jayasumana S，Romera-Paredes B，et al.Conditional Random Fields as Recurrent Neural Networks.Proceedings of 2015 IEEE International Conference on Computer Vision（ICCV），2015：1529-1537.

[6] Noh H，Hong S，Han B.Learning Deconvolution Network for Semantic Segmentation.Proceedings of 2015 IEEE International Conference on Computer Vision（ICCV），2015：1520-1528.

[7] Kaiming He，Georgia Gkioxari，Piotr Dollar，et al.Mask RCNN[C].In CVPR，2018，1：1703-1078.

[8] Kaiming He，Shaoqing Ren，Ross Girshich，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks[C].In CVPR，2016，1：1506-1611.

[9] Jonathan Long，Evan Shelhamer，Trevor Darrell，et al.Fully Convolutional Networks for Semantic Segmentation[C].In CVPR，2015，5：1411-1445.

[10] Tsung-Yi Lin，Piotr Dollar，Ross Girshick，et al.Feature Pyramid Networks for Object Detection[C].In CVPR，2017，4：1612-1618.

[11] Kaiming He，Xiangyu Zhang，Shaoqing Ren，et al.Deep Residual Learning for Image Recognition[C].In CVPR，2015，12：1512-1516.

作者簡介：

付 發(fā)（1993-），男，碩士生.研究領(lǐng)域：人工智能與機(jī)器學(xué)習(xí).

未建英（1993-），女，碩士生.研究領(lǐng)域：演化算法.

張麗娜（1993-），女，碩士生.研究領(lǐng)域：推薦系統(tǒng).