焦云清

摘 要：傳統(tǒng)的建筑物遙感提取主要是基于人工設(shè)計特征在滑窗內(nèi)提取建筑物信息，具有特征魯棒性差、檢測率不穩(wěn)定等缺點。本文通過分析航空傾斜攝影影像中建筑物的特點，提出傾斜攝影影像中的建筑物提取必須將建筑物屋頂與建筑物墻體分別提取的觀點，在此基礎(chǔ)上，引入計算機視覺領(lǐng)域主流的Faster R-CNN目標檢測模型，采用改進的Faster RCNN分別對屋頂與墻體進行檢測。本文以武漢市航空傾斜攝影影像作為數(shù)據(jù)集開展實驗，將圖像中單體建筑作為一類的平均精度均值為89.8%，將建筑物屋頂與墻體分開檢測的mAP值為93.5%，表明該方法可有效提高航空傾斜攝影影像中建筑物提取的精度，下一步研究方向為降低墻體的漏檢率。

關(guān)鍵詞： 航空傾斜攝影? 建筑物提取? 深度學習? 目標檢測

中圖分類號：P231

Abstract： Traditional building remote sensing extraction is mainly based on artificial design features to extract building information in sliding Windows， which has disadvantages such as poor feature robustness and unstable detection rate. Based on the analysis of the characteristics of buildings in aerial oblique photography images， this paper proposes that buildings must be extracted from roof and wall separately. On this basis， the mainstream Faster R-CNN target detection model in the field of computer vision is introduced， and the improved Faster RCNN is used to detect roof and wall respectively. In this paper， Wuhan aerial oblique photography image is used as the data set to carry out the experiment. The average accuracy of taking the single building in the image as a class is 89.8%， and the mAP value of detecting the building roof and wall separately is 93.5%. It shows that this method can effectively improve the accuracy of building extraction in aerial oblique photography image. The next research direction is to reduce the missed detection rate of wall.

Key Words： Aerial oblique photography; Building extraction; Deep learning; Target detection

建筑物是反映人類活動的主要標志，建筑物提取是遙感目標檢測與識別領(lǐng)域中的重要方向，該方向的研究成果在災害應急、軍事偵察、城市規(guī)劃等方面具有廣闊的應用前景[1]。建筑物根據(jù)其用途有娛樂、居住、觀賞、存儲、辦公等不同類型，外形多種多樣，更新速度快，這使得建筑物的提取和檢測難度很大。

傳統(tǒng)的建筑物提取主要基于光譜、形狀、紋理、等影像特征檢測建筑物。建筑物提取的研究思路主要有兩種——數(shù)據(jù)驅(qū)動型和模型驅(qū)動型。前者把目標看作眾多低層特征結(jié)構(gòu)的組合，通過某種規(guī)則將這些結(jié)構(gòu)合并成為目標整體;后者把建筑物目標抽象為一個整體模型，從全局特征出發(fā)基于模型將其從圖像背景中提取出來[2]。

為解決傳統(tǒng)建筑物提取方法計算量大，魯棒性差等問題，以及建筑物在航空影像上的變化多樣性，遮擋多，航空影像在深度學習上的應用難點，本文在深度學習卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上研究了一種航空傾斜攝影影像建筑物提取方法，這種方法在實驗數(shù)據(jù)上針對航空攝影影像構(gòu)建樣本庫，從建筑物的結(jié)構(gòu)出發(fā)，結(jié)合建筑物在影像上的特點對建筑物進行分結(jié)構(gòu)檢測。經(jīng)實驗證實，該方法可有效提升建筑物在航空影像上的檢測精度。

1 實驗數(shù)據(jù)

1.1 傾斜攝影樣本構(gòu)建方法

深度學習通過對大量樣本進行特征學習，根據(jù)特征映射圖進行判斷來完成目標的識別與提取，一般需要高質(zhì)量、大量、多樣性的樣本集，以應對不同情況下對目標的提取任務[3]。針對航空傾斜攝影影像特殊性，在構(gòu)建樣本集時需要對圖像進行預處理，明確影像的拍攝高度、角度、相機型號等影響目標檢測的因素，記錄樣本信息。

實驗數(shù)據(jù)選取新疆城鎮(zhèn)地區(qū)拍攝的航空傾斜攝影影像作為數(shù)據(jù)源，影像空間分辨率為10cm，包括接近垂直方向的影像和45度傾角的影像，垂直攝影的相機采用的是Canon EOS 5DS。45度角攝影采用的相機是Canon EOS 5DS。影像為真彩色（RGB），單幅影像尺寸為8688×5792。本實驗使用LabelImage對樣本圖片進行人工標記，用生成的XML文件記錄樣本信息——目標建筑物的地理坐標、圖像來源、圖像尺寸等信息。

1.2數(shù)據(jù)處理

Faster R-CNN，根據(jù)輸入層的設(shè)置，輸入的影像在正式進入網(wǎng)絡(luò)前會經(jīng)歷拉伸過程，統(tǒng)一尺寸為600×1000。為了得到有效的訓練數(shù)據(jù)，最大限度地減小拉伸形變，將原始圖像切分為同等大小圖片與對應切分的XML文件一起作為實驗數(shù)據(jù)。本實驗共使用圖片707張訓練數(shù)據(jù)。XML切分過程中需考慮的技術(shù)細節(jié)包括。

（1）考慮到XML記錄的目標框坐標是以圖片左上角點為原點的相對坐標值，要考慮到圖像切分后坐標變換問題，因此，在圖像切分時記錄切分處左上角點在原圖中的坐標[4]。

（2）在切分時會產(chǎn)生被切分開的目標框，即要解決切分時在邊緣的目標框的問題。根據(jù)目標框在切分邊緣位置的情況可以具體分為6種情況，分步解決。

（3）XML在刪除節(jié)點時導致的節(jié)點序號變化的問題，可以利用指針的思想解決[5]。

最后將整個樣本集分為3個部分：訓練集、驗證集、檢測集。其中訓練集占總樣本數(shù)的60%，測試集占40%。

2 方法描述

本文使用Faster R-CNN作為實驗應用基礎(chǔ)，并在此基礎(chǔ)上進行改進，將建筑物按屋頂、墻體結(jié)構(gòu)分開檢測。

經(jīng)過多次測試證明對建筑物進行提取，迭代7萬次就可以loss曲線達到要求，經(jīng)過再多的迭代，在耗費時間的情況下，精度基本保持不變。根據(jù)測試結(jié)果將IOU（Intersection over Union）正樣本閾值改為0.7，負樣本閾值為0.3。因為建筑物遮擋較多[6]，將NMS（最大值抑制）算法改為Soft-NMS（Bodla N等，2017）。

本節(jié)主要介紹實驗中所使用的技術(shù)方法。具體方法流程如圖1所示。

本實驗主要有3個部分：標記樣本，制作樣本集（見第二節(jié)實驗數(shù)據(jù)所述）;通過改進的Faster R-CNN對建筑物分結(jié)構(gòu)檢測;對檢測結(jié)果做精度評價。

建筑物作為一個整體主要由兩部分結(jié)構(gòu)構(gòu)成——屋頂和墻體。屋頂多為瓦片或涂有防曬層，墻體多刷有漆層，這兩者在結(jié)構(gòu)上、使用材料上完全不同，紋理信息不一致，因此，分為兩種類別檢測是十分自然合理的。

航空傾斜圖像在拍攝時跟傳統(tǒng)自然圖像相比房屋在圖像中并不是絕對垂直的，會出現(xiàn)多角度、多方向的建筑物，因此屋頂和墻體作為整體，即以單體建筑分為一類進行檢測時特征的同一性，相較于傳統(tǒng)自然圖像較低，屋頂與墻體的方向性也不一致，同時因為在制作樣本集過程中需要對圖片進行切分，在切分時只考慮圖像大小會導致部分墻體和屋頂“分家”的情況出現(xiàn)，在這種情況下經(jīng)常會出現(xiàn)漏檢與錯檢情況。將墻體與屋頂分開，作為兩類進行目標識別可以有效避免此類問題。

為了更好地了解分結(jié)構(gòu)檢測建筑物的優(yōu)勢，本文采取兩種標注方式并進行對比：（1）對整個建筑物整體進行標記;（2）對建筑物屋頂與墻體進行分開標記。通過Faster R-CNN算法獲取檢測精度，對比驗證最優(yōu)樣本標記方式。

3 實驗與分析

本文首先將建筑物屋頂與墻體分結(jié)構(gòu)標注的樣本放入網(wǎng)絡(luò)訓練，經(jīng)過多次迭代保存訓練好的參數(shù)，再將樣本送入網(wǎng)絡(luò)檢測對建筑物整體檢測效果如圖2所示。

通過圖2可以看出建筑物整體作為一類檢測時圖像上單獨的墻體和屋頂都不能檢測出來，導致了很多的漏檢，并且對陰影鑒別能力差，導致很多錯檢。而建筑物分結(jié)構(gòu)檢測不僅可以檢測出只有部分結(jié)構(gòu)的建筑物，對陰影的敏感度也有了一定的提高。

為了更好地驗證建筑物分結(jié)構(gòu)檢測的優(yōu)勢，本文選取mAP作為衡量標準，對建筑物整體與建筑物分結(jié)構(gòu)檢測的實驗結(jié)果進行對比。結(jié)果表明建筑物分結(jié)構(gòu)檢測效果更優(yōu)。

綜合得出整體對建筑物的檢測精度定量評價——mAP，如表1所示。

根據(jù)表1可以明顯看出建筑物分結(jié)構(gòu)檢測后檢測精度有了很大的提升，經(jīng)試驗表明將屋頂與墻體分開標記的方式有效提高了檢測精度。

4 結(jié)語

本文利用深度學習技術(shù)實現(xiàn)了建筑物在航空傾斜影像上的自動化提取，通過分結(jié)構(gòu)檢測提高了建筑物的檢測精度。

本次使用的Faster R-CNN利用遷移學習思想有效實現(xiàn)小樣本建筑物提取任務，相比于大多傳統(tǒng)檢測方式精度有顯著提升，由于建筑物在圖像上多有遮擋情況，本文在Faster R-CNN最終測試時將NMS替換為Soft-NMS，用以降低因遮擋引起的漏檢。在此基礎(chǔ)上將建筑物屋頂與墻體進行分開標記也有效地提高了檢測精度。目前對建筑物的誤檢多為將大棚檢測為了建筑物，下一步會在此基礎(chǔ)上進行改進，之后利用多層特征融合等方式，相信檢測精度也會達到更好的效果。

目前，對墻體檢測的P-R曲線表現(xiàn)不如屋頂穩(wěn)定，在接下來的研究中將首要分析并改善此問題。在更深入的研究里將會更傾向于網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化和調(diào)整，為目標檢測加入先驗知識，希望可以在提高檢測精度的同時提高并驗證方法的普適性。

參考文獻

[1]馬茜芮，黃振華.無人機傾斜攝影測量技術(shù)在地籍調(diào)查中的應用[J].測繪通報，2020（S1）：118-121.

[2]于大鵬，梁玉斌，馮晨陽，等.模擬地形輔助的無人機傾斜攝影測量圖像匹配[J].天津師范大學學報：自然科學版，2020，40（4）：64-70.

[3]俞建康.無人機傾斜攝影測量在立交橋三維重建中的應用[J].測繪通報，2020（10）：106-109.

[4]杜芙蓉. 基于無人機傾斜攝影測量的違章建筑探測技術(shù)研究[D].西安科技大學，2020.

[5]符鐘壬. 基于傾斜攝影測量與激光雷達點云匹配的建筑物三維模型研究[D].昆明：云南大學，2020.

[6]陳明杰.無人機傾斜攝影測量三維建模及模型可視化研究[D].西安：西安科技大學，2019.

3421500338252