王 雪，黃建華，蒙鈺天，孫希延

1. 桂林電子科技大學(xué) 廣西精密導(dǎo)航技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004；

2. 桂林電子科技大學(xué) 衛(wèi)星導(dǎo)航與位置服務(wù)國(guó)家與地方聯(lián)合工程研究中心，廣西 桂林 541004；

3. 桂林市國(guó)土資源研究中心，廣西 桂林 541004

0 引 言

自然資源執(zhí)法監(jiān)督監(jiān)管工作的一項(xiàng)重要任務(wù)是及時(shí)發(fā)現(xiàn)在城鄉(xiāng)建設(shè)過(guò)程中，不經(jīng)審批改建、擴(kuò)建或者違規(guī)占用農(nóng)田等違規(guī)建房現(xiàn)象。傳統(tǒng)監(jiān)控“兩違”建房，主要是利用衛(wèi)星遙感數(shù)據(jù)變化檢測(cè)技術(shù)，結(jié)合人工舉報(bào)、人工實(shí)地調(diào)查等方法對(duì)建筑物進(jìn)行調(diào)查和篩選，需要大量的人力、物力和財(cái)力[1]。但衛(wèi)星遙感變化檢測(cè)通常利用的是正射影像數(shù)據(jù)，不容易發(fā)現(xiàn)高度上的變化，同時(shí)衛(wèi)星回返周期長(zhǎng)，導(dǎo)致發(fā)現(xiàn)違法建筑物變化周期長(zhǎng)，拆除經(jīng)濟(jì)損失大。與衛(wèi)星遙感變化檢測(cè)相比較，城市周邊建設(shè)的長(zhǎng)焦距攝像頭可以從建筑物側(cè)面更清晰地觀(guān)測(cè)到建筑物高度的變化。長(zhǎng)焦距監(jiān)控?cái)z像頭監(jiān)控距離可達(dá)5 km 以上，通常用于海域監(jiān)控、森林防火、自然保護(hù)區(qū)保護(hù)等領(lǐng)域。在城鄉(xiāng)結(jié)合部部署或利用已有的帶云臺(tái)控制的長(zhǎng)焦距攝像頭，結(jié)合人工智能圖像分析技術(shù)，可實(shí)現(xiàn)實(shí)時(shí)、較大范圍的違規(guī)建房的早期發(fā)現(xiàn)，是一種成本較低、發(fā)現(xiàn)變化快的自然資源監(jiān)測(cè)管理技術(shù)。

目前，建筑物變化檢測(cè)方法可分為兩類(lèi)：非深度學(xué)習(xí)變化檢測(cè)方法和深度學(xué)習(xí)變化檢測(cè)方法[2]。深度學(xué)習(xí)方法先利用語(yǔ)義分割網(wǎng)絡(luò)模型精確檢測(cè)圖像中的建筑物，再將檢測(cè)結(jié)果進(jìn)行像元差值從而得到建筑物變化檢測(cè)區(qū)域。王明常等[3]提出用FPN Res-Unet 語(yǔ)義分割網(wǎng)絡(luò)對(duì)建筑物進(jìn)行變化檢測(cè)。王民水等[4]提出用DeepLabv3+語(yǔ)義分割網(wǎng)絡(luò)對(duì)建筑物進(jìn)行變化檢測(cè)。余曉娜等[5]基于Segnet 網(wǎng)絡(luò)對(duì)街區(qū)影像進(jìn)行變化檢測(cè)。但是城市景觀(guān)下建筑物密集，遮擋嚴(yán)重，不能精確檢測(cè)出各個(gè)建筑物。非深度學(xué)習(xí)變化檢測(cè)方法一般先提取變化區(qū)域，然后利用建筑物的陰影特性提取變化圖像中的建筑物。盧麗琛等[6]提出將BMI 和CVA 算法結(jié)合的方法對(duì)建筑物進(jìn)行變化檢測(cè)。王慧賢[7]提出顧及多特征的建筑物變化檢測(cè)方法。劉升龍等[8]提出用影像差值法和主成分分析法融合對(duì)變化區(qū)域進(jìn)行提取。利用長(zhǎng)焦距攝像頭開(kāi)展建筑物變化檢測(cè)，通常是采集相同地理位置不同時(shí)相的兩幅影像進(jìn)行利用上述算法進(jìn)行分析，但由于變化受到光照、攝像頭抖動(dòng)等環(huán)境影響，導(dǎo)致攝像頭不同時(shí)相的兩幅影像不能精確配準(zhǔn)，難以實(shí)現(xiàn)建筑物的變化檢測(cè)。

為解決上述問(wèn)題，提出一種基于深度學(xué)習(xí)的監(jiān)控建筑變化影像的識(shí)別算法。本文從亮度、對(duì)比度和結(jié)構(gòu)性3 個(gè)方面對(duì)攝像頭采集的每個(gè)圖像子塊的結(jié)構(gòu)相似度進(jìn)行計(jì)算，結(jié)合像元之間的紋理聯(lián)系，采用自適應(yīng)閾值方法對(duì)變化進(jìn)行篩選，弱化城市景觀(guān)下建筑物密集、遮擋嚴(yán)重的影響，得到粗略變化區(qū)域影像。然后再利用Faster R-CNN 目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)上述的粗略變化區(qū)域影像進(jìn)行建筑物的識(shí)別與提取，從而分析提取出長(zhǎng)焦距監(jiān)控?cái)z像頭下的建筑物變化情況。

1 研究區(qū)概況

本文的數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。測(cè)試數(shù)據(jù)所用的監(jiān)控建筑物影像，由架設(shè)在桂林西站的長(zhǎng)焦攝像頭獲得，能夠清晰觀(guān)測(cè)到桂林西站半徑5 km 范圍內(nèi)的建筑物及周?chē)匀毁Y源變化情況。訓(xùn)練數(shù)據(jù)以桂林市監(jiān)控建筑影像為主，公開(kāi)建筑數(shù)據(jù)為輔，共1200 張監(jiān)控建筑物影像，每幅影像大小為1000×1500 像素，用于目標(biāo)檢測(cè)網(wǎng)絡(luò)的訓(xùn)練。圖1 顯示了3 組6 幅長(zhǎng)焦監(jiān)控下建筑物有變化的實(shí)驗(yàn)數(shù)據(jù)，用于測(cè)試變化檢測(cè)的有效性。實(shí)驗(yàn)數(shù)據(jù)以在建區(qū)域?yàn)橹鳎幸韵绿攸c(diǎn)：相同地理位置不同時(shí)相的兩幅影像光照條件有差別；背景環(huán)境存在像素點(diǎn)抖動(dòng)現(xiàn)象，如風(fēng)吹動(dòng)樹(shù)葉導(dǎo)致樹(shù)木背景的變化。

圖1 研究區(qū)建筑物前時(shí)相與后時(shí)相數(shù)據(jù)樣例Fig.1 Examples of pre-and post-temporal image in study area

2 研究方法

2.1 數(shù)據(jù)預(yù)處理

圖2 顯示了變化區(qū)域的提取流程。首先將輸入的兩幅前、后時(shí)相影像分別裁為N×N 個(gè)圖像子塊，然后將對(duì)應(yīng)位置的圖像子塊采用高斯加權(quán)方法計(jì)算每一窗口的均值、方差以及協(xié)方差，從而計(jì)算對(duì)應(yīng)圖像子塊的結(jié)構(gòu)相似度[9]。結(jié)構(gòu)相似度SSIM 可表示為：

圖2 變化區(qū)域影像提取Fig.2 Image extraction of changing regions

上3 式中，? ，β，γ＞0；l(x，y)為亮度比較；c(x，y)為對(duì)比度比較；s（x，y）為結(jié)構(gòu)比較；μx、μy分別為x、y的平均值；σx、σy分別為x、y的標(biāo)準(zhǔn)差；σxy為x、y的協(xié)方差；c 為常數(shù)，避免分母為0。

由于每幅影像中變化區(qū)域尺寸不同，從而導(dǎo)致每幅影像的圖像子塊的結(jié)構(gòu)相似度大小不同。為了提高模型的泛化能力，利用自適應(yīng)閾值方法對(duì)變化的圖像子塊進(jìn)行篩選，提取變化區(qū)域，將所有圖像子塊結(jié)構(gòu)相似度的均值作為閾值。同時(shí)為了避免環(huán)境因素對(duì)變化區(qū)域提取的影響，將每行圖像所保留的圖像子塊個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，若圖像子塊個(gè)數(shù)大于等于N/2，則保留整行的圖像子塊，否則舍去整行影像。

2.2 模型原理

2.2.1 Faster R-CNN模型

與RCNN 和Fast RCNN 算法相比，F(xiàn)aster R-CNN[10]算法創(chuàng)造性地使用RPN(特征提取網(wǎng)絡(luò))代替原來(lái)的Selective Search 方法產(chǎn)生建議窗口，通過(guò)共享特征層大大減少了計(jì)算量[11]，從而提高了算法的檢測(cè)速度。Faster R-CNN 算法原理圖如圖3 所示。

圖3 Faster R-CNN 算法原理圖Fig.3 Algorithm structure of Faster R-CNN

Faster R-CNN 算法對(duì)輸入進(jìn)來(lái)的粗略變化區(qū)域影像在保持原有縱橫比的前提下重新調(diào)整為固定尺寸大小，然后通過(guò)主干網(wǎng)絡(luò)進(jìn)行特征提取得到特征圖，將特征層輸入到卷積層，再分別對(duì)每個(gè)先驗(yàn)框進(jìn)行分類(lèi)和計(jì)算對(duì)應(yīng)先驗(yàn)框的偏移量，然后計(jì)算出proposals，Roi Pooling 層利用proposals 從特征層中提取的proposal feature 送入后續(xù)全連接層和Softmax 網(wǎng)絡(luò)進(jìn)行分類(lèi)[12]，從而得到粗略變化區(qū)域影像的建筑物部分，實(shí)現(xiàn)建筑物的變化檢測(cè)。

2.2.2 主干特征提取網(wǎng)絡(luò)

模型訓(xùn)練是在Telsa P100 GPU，以及CUDA、Python、Tensorflow 等環(huán)境下進(jìn)行的。Faster R-CNN 主干特征提取網(wǎng)絡(luò)[13]采用殘差網(wǎng)絡(luò)Resnet50，每個(gè)殘差網(wǎng)絡(luò)包括兩條路徑，一條路徑是輸入特征的直通路徑，另一條路徑是對(duì)該路徑進(jìn)行卷積操作得到的該路徑的殘差，最后將兩條路徑上的特征相加[14]。如圖4 所示，假設(shè)輸入的特征為x，經(jīng)卷積操作得到的殘差為F(x)，最終學(xué)習(xí)到的特征為H(x)=F(x)+x[15]。

圖4 殘差網(wǎng)絡(luò)架構(gòu)Fig.4 Residual network architecture

2.3 模型訓(xùn)練

模型訓(xùn)練等流程如圖5 所示。數(shù)據(jù)預(yù)處理后得到粗略變化區(qū)域影像，同時(shí)對(duì)Faster R-CNN 進(jìn)行參數(shù)設(shè)置及模型訓(xùn)練，然后調(diào)用最優(yōu)模型對(duì)粗略變化區(qū)域影像進(jìn)行目標(biāo)地物信息的提取。

圖5 Faster R-CNN 模型應(yīng)用流程圖Fig.5 Application flow chart of Faster R-CNN model

本文將epoch 訓(xùn)練周期設(shè)置為200，訓(xùn)練樣本個(gè)數(shù)設(shè)置為960，測(cè)試樣本個(gè)數(shù)設(shè)置為240，RPN 批處理數(shù)量設(shè)置為128 進(jìn)行模型訓(xùn)練。通過(guò)對(duì)訓(xùn)練得到的模型進(jìn)行測(cè)試，得到目標(biāo)地物信息。研究結(jié)果表明通過(guò)訓(xùn)練，模型訓(xùn)練中損失函數(shù)輸出結(jié)果隨著epoch 的增加，損失函數(shù)越來(lái)越小，表明了整個(gè)模型的收斂狀態(tài)。PR 曲線(xiàn)反映了對(duì)正例的識(shí)別準(zhǔn)確度，PR 曲線(xiàn)越靠近右上方時(shí)，PR 曲線(xiàn)所包圍的面積越大，表明模型性能越好。其中，Precision 指的是查準(zhǔn)率，Recall 指的是召回率，將Precision 作為PR 曲線(xiàn)的縱坐標(biāo)，當(dāng)Precision=1.0 時(shí)表示查準(zhǔn)率為100%，Recall 作為PR1 曲線(xiàn)的橫坐標(biāo)，當(dāng)Recall=1.0 時(shí)代表召回率為100%（圖6）。

圖6 訓(xùn)練周期至200 次時(shí)的PR 曲線(xiàn)Fig.6 PR curve when training cycle reaches 200 times

3 結(jié)果與分析

本文對(duì)桂林市西站的建筑物進(jìn)行建筑物變化檢測(cè)。為了定量進(jìn)行精度評(píng)價(jià)，以正確率、虛檢率、漏檢率、完整率和檢測(cè)質(zhì)量來(lái)衡量檢測(cè)結(jié)果，具體計(jì)算方法如下：

式中，Ctd為檢測(cè)出的真實(shí)變化建筑物像元總數(shù)；Ct為研究區(qū)域中真實(shí)變化建筑物的像元總數(shù)；Ptd為變化檢測(cè)正確率，表示建筑物變化檢測(cè)結(jié)果的可靠程度，越大表明建筑物變化結(jié)果越可靠；Cfd為實(shí)際沒(méi)有發(fā)生變化卻被檢測(cè)為變化的虛檢建筑物的像元數(shù)量；Cd為實(shí)驗(yàn)檢測(cè)出的變化建筑物的像元總數(shù)；Pfd為虛檢率，表示非建筑物變化像元被檢測(cè)到的概率，越小表明建筑物變化結(jié)果錯(cuò)誤越低；Cod為漏檢的真實(shí)變化建筑物像元數(shù)量；Pod為漏檢率，表示建筑物變化像元被漏檢的概率，概率越低建筑物變化結(jié)果越準(zhǔn)確；Pcd為完整率，表示變化建筑物像元被實(shí)際檢出的概率，完整率越大表明檢測(cè)效果越好；Q為檢測(cè)質(zhì)量，表示實(shí)際檢測(cè)出的像元占真實(shí)變化像元的比率，是建筑物變化檢測(cè)精度的總體度量，檢測(cè)質(zhì)量越大，變化檢測(cè)的效果越好。

3.1 分割尺度的影響分析

影像的分割尺度對(duì)建筑物變化檢測(cè)結(jié)果具有重要影響。以桂林西站采集的變化區(qū)域數(shù)據(jù)為例，為了得到最佳的分割閾值，將分割尺度N 分別設(shè)為1 到20 的整數(shù)，分別計(jì)算正確率、完整率、檢測(cè)質(zhì)量、虛檢率、漏檢率。圖7為不同分割尺度下對(duì)應(yīng)的正確率、完整率、檢測(cè)質(zhì)量、虛檢率、漏檢率的折線(xiàn)圖及其平均值。從圖中綜合5 個(gè)指標(biāo)進(jìn)行分析，可以得出當(dāng)分割尺度N 為2、4、5、7、16 時(shí)，各個(gè)指標(biāo)均大于平均值，建筑物變化檢測(cè)結(jié)果較為理想。表1 為分割尺度N 為2、4、5、7、16 時(shí)的具體評(píng)價(jià)數(shù)值，當(dāng)分割尺度為7，建筑物變化檢測(cè)精度最佳。圖8 為分割尺度為7 時(shí)建筑物變化檢測(cè)得到的檢測(cè)結(jié)果，圖中紅框標(biāo)定部分“build 1.00”表示檢測(cè)到的變化區(qū)域?yàn)榻ㄖ锏母怕蕿?.00(100%)。

圖7 不同分割尺度的指標(biāo)Fig.7 Indicators of different segmentation scales

表1 不同分割尺度檢測(cè)精度比較Tab.1 Comparison of detection accuracies of different segmentation scales

圖8 分割尺度為7 的檢測(cè)結(jié)果Fig.8 Building change detection when the segmentation scale is 7

3.2 不同方法結(jié)構(gòu)比較

由于長(zhǎng)焦監(jiān)控易受到風(fēng)等環(huán)境的影響，使得攝像頭抖動(dòng)，導(dǎo)致相同地理位置不同時(shí)相的兩幅影像對(duì)應(yīng)像元不能精確配準(zhǔn)，利用差值法[16]提取變化區(qū)域時(shí)，對(duì)建筑物變化檢測(cè)結(jié)果產(chǎn)生嚴(yán)重干擾。利用圖像的亮度、對(duì)比度和結(jié)構(gòu)相似度分析影像的變化區(qū)域，對(duì)配準(zhǔn)精度要求不高，以桂林西站的影像為例，圖9a 為本文方法可視化結(jié)果，其中變化部分為建筑的概率為1.0，圖9b 為差值法可視化結(jié)果，變化部分為建筑的概率為0.99。不同方法的檢測(cè)精度見(jiàn)表2，從中可以看出本文方法的各項(xiàng)精度指標(biāo)都優(yōu)于差值法。

圖9 不同方法檢測(cè)結(jié)果Fig.9 Detection results of different methods

表2 不同方法檢測(cè)精度比較Tab.2 Comparison of detection accuracy of different methods

4 結(jié) 論

本文結(jié)合圖像結(jié)構(gòu)相似性和深度學(xué)習(xí)算法對(duì)長(zhǎng)焦距攝像頭相同地理位置不同時(shí)相的兩幅影像進(jìn)行分析比較，弱化了光照強(qiáng)度變化、攝像頭抖動(dòng)等復(fù)雜環(huán)境對(duì)像素灰度值的影響，實(shí)現(xiàn)了兩幅前、后時(shí)相監(jiān)控影像的變化區(qū)域提取以及建筑物變化檢測(cè)。實(shí)驗(yàn)表明，本文方法比差值法提取得到的變化區(qū)域圖像質(zhì)量更高，輪廓效果更好，且受環(huán)境因素影響較小，實(shí)現(xiàn)了對(duì)建筑物的變化檢測(cè)，為自然資源違法監(jiān)督提供了新方法。