丁亞洲，馮發(fā)杰，吏軍平，胡 艷，崔衛(wèi)紅

1. 湖北省電力勘測設(shè)計(jì)院有限公司，湖北 武漢 430000； 2. 西安科技大學(xué)測繪學(xué)院，陜西 西安 710000； 3. 武漢大學(xué)遙感信息工程學(xué)院，湖北 武漢 430000

建筑物作為地理空間主要要素之一，在城市規(guī)劃與建設(shè)、變化檢測及人口密度估計(jì)等領(lǐng)域占據(jù)重要地位。高分遙感影像能更清楚地反映面狀地物的幾何、紋理等空間特征，可相對(duì)精確地描述地物，這使得利用高分遙感影像對(duì)建筑物進(jìn)行精確提取成為可能[1-3]。目前，根據(jù)人工參與程度可將高分遙感影像建筑物提取方法分為自動(dòng)和半自動(dòng)提取。自動(dòng)提取方法多基于建筑物的邊緣、角點(diǎn)及陰影特征。文獻(xiàn)[4]提出了一種結(jié)合邊緣保護(hù)、雙邊濾波和直線檢測提取建筑物的方法，通過檢測影像上的線段，并進(jìn)行連接得到建筑物輪廓。文獻(xiàn)[5]基于建筑物的陰影特征，先檢測建筑物和植被陰影，保留建筑物陰影，再根據(jù)陰影位置確定建筑物位置，最后結(jié)合超像素分割、合并及線段檢測得到建筑物輪廓。文獻(xiàn)[6]提出了一種結(jié)合圖像分割和角點(diǎn)檢測的建筑提取方法，先利用Graph Cuts方法獲取建筑物圖斑，再檢測建筑物拐角點(diǎn)，連接拐角點(diǎn)獲取建筑物。然而，這些方法僅適用于提取形狀簡單且輪廓清晰的建筑物。文獻(xiàn)[7]提出了一種利用差分形態(tài)學(xué)剖面構(gòu)建形態(tài)學(xué)建筑物指數(shù)自動(dòng)提取高分辨率遙感影像建筑物的方法，且進(jìn)一步優(yōu)化了該方法[8-9]。文獻(xiàn)[10]基于深度學(xué)習(xí)方法自動(dòng)提取影像上的建筑物，但該方法在建筑物準(zhǔn)確輪廓和復(fù)雜建筑物提取方面還有待進(jìn)一步提高。

由于遙感影像包含的地物復(fù)雜多樣、建筑物類型較多，以及建筑物受噪聲、遮擋、陰影、低對(duì)比度的影響，自動(dòng)提取建筑物的方法難以實(shí)現(xiàn)較高的提取精度。實(shí)際上一些學(xué)者提出的半自動(dòng)提取建筑物方法取得了更好的效果。文獻(xiàn)[11]提出了一種交互式半自動(dòng)提取高分辨率遙感影像上建筑物的方法，先指定建筑物中心，再采用徑向投射算法獲取Snake初始化輪廓，最后得到建筑物真實(shí)輪廓。文獻(xiàn)[12]結(jié)合Snake模型和動(dòng)態(tài)規(guī)劃方法，在房角處指定幾個(gè)種子點(diǎn)，即可提取建筑物輪廓。文獻(xiàn)[13]提出一種結(jié)合影像分割和區(qū)域合并的半自動(dòng)提取建筑物的方法,先利用Mean Shift方法將包含建筑物的影像圖塊分割成一些小區(qū)域，再基于人工交互合并相似區(qū)域得到建筑物輪廓。文獻(xiàn)[14]結(jié)合幾何約束和影像分割實(shí)現(xiàn)直角平頂房屋的半自動(dòng)提取。然而上述方法針對(duì)復(fù)雜建筑物，不僅交互復(fù)雜且不能保證提取精度，因此提取復(fù)雜形狀和紋理的建筑物仍然是目前亟待解決的難題。隨著圖割優(yōu)化方法的發(fā)展，許多學(xué)者將形狀先驗(yàn)信息作為約束項(xiàng)融入圖割優(yōu)化框架，以提高分割結(jié)果的準(zhǔn)確性[15-16]。文獻(xiàn)[17]將橢圓形狀約束加入圖割模型中，文獻(xiàn)[18]將凸形狀約束加入圖割模型中，文獻(xiàn)[19]提出一種單星形先驗(yàn)的圖割方法。文獻(xiàn)[20]將單星形擴(kuò)展為多星形，并引入Graph Cuts模型中。已有一些學(xué)者將形狀約束加入圖割中用于道路和建筑物的提取。文獻(xiàn)[21]提出了一種基于先驗(yàn)形狀約束水平集模型的建筑物提取方法，將多個(gè)先驗(yàn)形狀競爭模型引入水平集方法中,利用先驗(yàn)形狀來約束曲線的演化,在對(duì)圖像進(jìn)行分割的同時(shí)完成建筑物的檢測和提取。文獻(xiàn)[22]提出了一種結(jié)合形狀先驗(yàn)的圖割和動(dòng)態(tài)外推思路自動(dòng)提取高分遙感影像上道路的方法。

基于上述分析，由于高分遙感影像上絕大多數(shù)建筑物具有直角結(jié)構(gòu)和星形形狀特征，因此本文在人工交互獲得目標(biāo)前景與背景的基礎(chǔ)上，結(jié)合多星形約束的Graph Cuts模型和輪廓規(guī)則化方法，提取高分遙感影像上的直角建筑物，以實(shí)現(xiàn)在建筑物上簡單交互即可快速準(zhǔn)確地提取建筑物輪廓。

1 研究方法

本文基于分割獲取建筑物圖斑以及與建筑物方向一致的邊緣直線，通過連接直線交點(diǎn)得到建筑物準(zhǔn)確輪廓。該方法主要分為人工交互、影像預(yù)處理、建筑物圖斑獲取和圖斑規(guī)則化4步，具體流程如圖1所示。首先，通過人工交互，在原始影像的目標(biāo)建筑物上畫種子線確定目標(biāo)建筑物的大致范圍，獲取包含目標(biāo)建筑物的影像圖塊；其次，通過雙邊濾波對(duì)影像塊進(jìn)行預(yù)處理，并探測建筑物主方向；再次，用SLIC超像素分割方法對(duì)預(yù)處理后的影像塊進(jìn)行超像素分割，根據(jù)種子線得到目標(biāo)候選前景與背景超像素，用多星形約束的圖割方法獲取建筑物圖斑；最后，利用Harris算子檢測建筑物圖斑上的角點(diǎn)，并對(duì)角點(diǎn)進(jìn)行分組擬合，將擬合的直線旋轉(zhuǎn)至建筑物主方向，連接直線交點(diǎn)得到規(guī)則的直角建筑物。

圖1 建筑物提取過程Fig.1 The framework of building extraction

1.1 人工交互

本文方法需人工在建筑物上指定種子線得到目標(biāo)建筑物大致位置與范圍，對(duì)種子線有兩點(diǎn)要求：①種子線盡量處于建筑物的中間位置；②種子線外包矩形長度應(yīng)當(dāng)長于建筑物的2/3。如圖2所示，綠色線為人工交互的種子線，Wseed和Hseed分別為種子線外包矩形S1的寬和高，O為S1的中心。建筑物的大致范圍S2是一個(gè)以O(shè)為中心，邊長為2×max(Wseed,Hseed)的正方形。根據(jù)目標(biāo)建筑物的大概范圍，選取以O(shè)為中心，邊長為2.5×max(Wseed,Hseed)的正方形區(qū)域S3作為包含目標(biāo)建筑物的影像圖塊。

圖2 建筑物大致位置與范圍Fig.2 The approximate location of the building

1.2 影像預(yù)處理

由于高分遙感影像上的大量噪聲降低了影像質(zhì)量，因此對(duì)影像預(yù)處理是必不可少的。雙邊濾波[23]是一種簡單有效的非線性濾波方法，與傳統(tǒng)的高斯濾波器相比，其考慮了圖像的空域信息和灰度相似性，因此能夠達(dá)到保邊去噪的目的。以BF代表雙邊濾波的運(yùn)算，其定義如式(1)所示

(1)

式中，Wp是一個(gè)標(biāo)準(zhǔn)量，如式(2)所示

(2)

式中，σd和σr分別控制空間域和亮度域特征；

Gδd是一個(gè)空間函數(shù)，用于減少遠(yuǎn)距離像素影響；Gδr是一個(gè)范圍函數(shù)，用于減少灰度值不同于Ip的像素q的影響。本文利用雙邊濾波對(duì)影像圖塊進(jìn)行預(yù)處理，σd和σr分別取10和30，以圖3(a)為例，濾波結(jié)果如圖3(b)所示。

圖3 雙邊濾波器預(yù)處理結(jié)果Fig.3 Result of bilateral filter prepocessing

1.3 獲取建筑物圖斑

1.3.1 SLIC超像素分割

利用超像素取代單個(gè)像素將有效降低圖像處理的復(fù)雜度。簡單線性迭代聚類算法(SLIC)[24]通過構(gòu)造一個(gè)由CIELAB顏色空間的[lab]值和像素坐標(biāo)值[x,y]組成的五維特征參數(shù)，采用融合顏色相似度和像素空間位置鄰近程度的歸一化距離度量來對(duì)像素進(jìn)行簡單線性局部聚類，從而得到一系列具有相似特征且不破壞影像邊界信息的均勻超像素。其算法簡單、耗時(shí)少且需用戶調(diào)節(jié)參數(shù)少。本文利用SLIC方法對(duì)預(yù)處理后的影像進(jìn)行過分割得到超像素，再以人工交互所得種子線來確定目標(biāo)候選前景與背景超像素。為使得過分割結(jié)果盡量準(zhǔn)確，每個(gè)超像素大小設(shè)為10，如圖4(a)為均勻超像素，圖4(b)中的綠色線為種子線，將種子線所在的超像素作為前景，以1.1節(jié)中所得建筑物范圍矩形S2與影像塊邊界S3之間的超像素為背景，如圖4(c)中的紅色和藍(lán)色部分所示。

圖4 目標(biāo)前景與背景獲取Fig.4 Obtain the foreground and background of the building object

1.3.2 星形形狀約束下建筑物圖斑獲取

星形形狀[19]即輪廓點(diǎn)對(duì)中心點(diǎn)可見，如圖5(a)所示，閉合曲線y為一個(gè)單點(diǎn)星形形狀例子。其中c是y的星形中心，p為y內(nèi)的任意一點(diǎn)，c與p連線Γc,p上的任意點(diǎn)q仍在y內(nèi)。即若用1和0分別標(biāo)記目標(biāo)前景與背景，那么根據(jù)定義可知，如果Lp=1，有Lq=1。則定義在c上的星形形狀約束的能量函數(shù)表示如式(3)所示

(3)

圖5 星形形狀約束Fig.5 The star shape constraint

由于單星形形狀約束只能處理凸形狀的目標(biāo)，文獻(xiàn)[20]對(duì)該模型進(jìn)行了改進(jìn)，將一個(gè)星形中心改為具有多個(gè)中心的集合O，并將單條直線Γc,p擴(kuò)展為O與p連線的集合ΓO,p。多點(diǎn)星形形狀即該輪廓上的點(diǎn)至少被一個(gè)中心點(diǎn)可見，如圖5(b)所示，y為一個(gè)多星形形狀，其中c1、c2分別為星形形狀中心，p點(diǎn)對(duì)于c1可見但對(duì)于c2不可見，因此該多邊形形狀屬于以{c1,c2}為中心的星形形狀?？梢姸嘈切芜m于形狀復(fù)雜圖形分割，多星形約束的能量函數(shù)如式(4)所示

(4)

圖割即對(duì)像素點(diǎn)進(jìn)行標(biāo)號(hào)的過程[25]，其核心是設(shè)計(jì)能量最小函數(shù)，并基于最大流最小割優(yōu)化理論，運(yùn)用圖映射和網(wǎng)絡(luò)流知識(shí)，通過加權(quán)圖的最小割來實(shí)現(xiàn)全局優(yōu)化下的前景提取，能量函數(shù)為式(5)[26]

(5)

式中，L={Lp|p∈P}表示圖像P的標(biāo)記；Lp∈{0，1}；N為圖像中所有鄰接像素對(duì)組成的邊集合；Dp(Lp)為數(shù)據(jù)項(xiàng)，表示像素p取標(biāo)記Lp的代價(jià)；Vp,q(Lp,Lq)為邊界項(xiàng)，表示相鄰像素p、q分別取Lp、Lq的代價(jià)。

對(duì)于絕大多數(shù)建筑物而言，通過簡單交互，很容易保證建筑物是關(guān)于種子線的星形形狀，即使是對(duì)于特別復(fù)雜的建筑物也可通過添加多個(gè)中心保證建筑物具有多星形形狀。因此本文采用基于多星形約束的圖割模型，能量函數(shù)表達(dá)為式(6)

λE*(y|O)

(6)

式(6)是在式(5)的基礎(chǔ)上增加多星形約束項(xiàng)E*(y|O)得到的，其中，γ、λ為平衡系數(shù)。

1.4 建筑物主方向探測

EDLines[27]是一種自動(dòng)、快速且無需任何參數(shù)調(diào)整，能夠準(zhǔn)確提取影像上直線的直線檢測算法。本文利用EDLines檢測到的直線線段方向直方圖確定建筑物的主方向。由于建筑物有復(fù)雜背景，導(dǎo)致很多無關(guān)直線對(duì)建筑物主方向的確定造成干擾，因此需要進(jìn)一步確定建筑物的準(zhǔn)確位置。本文在獲取建筑物圖斑后，利用圖斑的外接矩形獲取建筑物更準(zhǔn)確的位置，如圖6(a)上的藍(lán)色矩形，(b)上藍(lán)色矩形以內(nèi)的圖塊作為建筑物的準(zhǔn)確位置。然后利用EDLines提取(b)中矩形內(nèi)部影像上的線段L=(l1,l2,…,ln)，如圖6(c)上的紅色線段；再將種子線中點(diǎn)作為建筑物的中心，計(jì)算影像上所有線段中點(diǎn)到建筑物中心的距離，根據(jù)提取的線段距離建筑物中心越近則位于建筑物上的概率越大的原則，利用距離值對(duì)線段賦權(quán)值，如圖6(d)為影像上所有像素點(diǎn)到建筑物中心的歸一化距離，稱其為種子線距離圖。線段方向直方圖取值方式和建筑物主方向計(jì)算方式分別如式(7)和式(8)所示

(7)

θM=arg max(nθ+nθ+90)θM∈[0,90]

(8)

式中，θ∈[0,180)表示線段方向，同時(shí)也代表直方圖橫軸；nθ是直方圖方向值為θ處的強(qiáng)度；li表示一條線段；Len(li)表示線段li的長度；D(xli,yli)表示線段li的中點(diǎn)到建筑物中心的歸一化距離值；θM為建筑物主方向。通過上述計(jì)算，分別得到圖6(e)所示的線段方向直方圖與圖6(f)所示的建筑物主方向。

圖6 建筑物主方向探測Fig.6 Detection of main direction of building

1.5 圖斑規(guī)則化

由于僅通過圖割得到的建筑物并不是規(guī)則的建筑物，其邊緣線條不夠平滑，不滿足建筑物為規(guī)則形狀的特點(diǎn)，因此有必要對(duì)獲取的建筑物圖斑進(jìn)行規(guī)則化處理，以得到準(zhǔn)確的建筑物輪廓。本文利用Harris角點(diǎn)檢測算法[28]提取建筑物圖斑上的角點(diǎn)，然后依次經(jīng)過角點(diǎn)分組、直線擬合與直線旋轉(zhuǎn)相交3個(gè)步驟得到建筑物輪廓。首先進(jìn)行角點(diǎn)檢測(圖7(a)中的綠色點(diǎn))，采用每個(gè)角點(diǎn)與其距離最近的初始輪廓點(diǎn)的次序，對(duì)角點(diǎn)進(jìn)行排序；然后利用角度閾值對(duì)檢測到的角點(diǎn)分組，再對(duì)每組角點(diǎn)進(jìn)行直線擬合(圖7(b)中的綠色線)，最后將擬合直線旋轉(zhuǎn)至與建筑物主方向一致或垂直方向(圖7(c))，連接相鄰直線交點(diǎn)(圖7(c)中的紅色點(diǎn))得到建筑物輪廓(圖7(d))。具體步驟如下：

(1) 對(duì)建筑物圖斑輪廓上的點(diǎn)Ni按照順時(shí)針進(jìn)行編號(hào)，每個(gè)點(diǎn)的編號(hào)為i(i=0,1,2,…,N-1)；

(2) 計(jì)算每個(gè)角點(diǎn)到建筑物圖斑輪廓上點(diǎn)Ni的歐氏距離di，若dj最小,則角點(diǎn)標(biāo)號(hào)為j；

(3) 按照角點(diǎn)標(biāo)號(hào)順序?qū)λ械慕屈c(diǎn)進(jìn)行排列得到有序的角點(diǎn)；

(4) 利用余弦定理計(jì)算相鄰3個(gè)角點(diǎn)連線的夾角，根據(jù)角度閾值得到建筑物的近似拐角點(diǎn)，將相鄰拐角點(diǎn)之間的點(diǎn)分為一組，完成對(duì)角點(diǎn)分組；

圖7 圖斑規(guī)則化過程Fig.7 The procedure of regulating building

(5) 采用最小二乘方法對(duì)每組角點(diǎn)擬合得到直線，將直線旋轉(zhuǎn)至建筑物主方向或垂直于建筑物主方向；

(6) 依次連接相鄰直線的交點(diǎn)，獲得建筑物外輪廓。

2 試驗(yàn)結(jié)果與分析

為比較本文方法的有效穩(wěn)健性，分別選取兩個(gè)不同地區(qū)不同分辨率的高分辨率航空影像來進(jìn)行試驗(yàn)分析，原始影像如圖8所示，其中，數(shù)據(jù)1的空間分辨率為0.2 m，該地區(qū)位于廣東省的惠州市，區(qū)域內(nèi)房屋相對(duì)獨(dú)立，且大部分為直角建筑物(圖8(a))。數(shù)據(jù)2來源于國際攝影測量與遙感協(xié)會(huì)(ISPRS)，其空間分辨率為9 cm(圖8(b))。兩幅影像分別選取了82和57棟直角建筑物來定量評(píng)價(jià)本文方法，通過人工手動(dòng)勾繪獲取建筑物輪廓真值。

圖8 試驗(yàn)原始影像Fig.8 Original imageries

選取常用的兩種交互式算法GrabCut[29]及OneCut[30]與本文方法作定性和定量評(píng)價(jià)對(duì)比，為獲取更好的結(jié)果，GrabCut算法迭代次數(shù)設(shè)為5次，OneCut算法中的直方圖設(shè)置為64級(jí)。本文采用常用的評(píng)價(jià)指標(biāo)，準(zhǔn)確率(Precision)、召回率(Recall)和F1值(F1-measure)來定量評(píng)價(jià)3種方法的提取結(jié)果，3個(gè)指標(biāo)的定義為

(9)

(10)

(11)

式中，Sauto為算法提取結(jié)果的總像素；Smanual為人工勾選的建筑物真值像素總數(shù)；Sauto∩manual為Sauto與Smanual匹配的總像素。

對(duì)兩種數(shù)據(jù)上的建筑物提取結(jié)果分別如圖9、圖10所示。其中圖9(a)、圖10(a)中綠色標(biāo)記為建筑物真值，(b)、(c)和(d)分別為GrabCut、OneCut及本文方法提取結(jié)果，兩幅影像上提取差異較為明顯的建筑物分別用藍(lán)色和黃色圈標(biāo)記。由圖9的試驗(yàn)結(jié)果可知對(duì)于矩形形狀、與背景差異明顯的建筑物，3種方法提取結(jié)果均較好，但對(duì)于復(fù)雜形狀，與周圍背景差異小的建筑物，本文方法明顯優(yōu)于其他兩種方法。由于數(shù)據(jù)2的分辨率較高，絕大多數(shù)建筑物為矩形形狀且其輪廓較為清晰，因此圖10中GrabCut與OneCut方法提取結(jié)果也較好。

為使得本文方法與其他方法具有更加明顯的對(duì)比性，圖11列出了3種方法對(duì)數(shù)據(jù)1中部分建筑物提取結(jié)果的對(duì)比示意圖。由于OneCut分割模型應(yīng)用直方圖取代GrabCut的高斯混合模型(GMM)計(jì)算前景背景，同時(shí)在圖割模型中引入了一些輔助節(jié)點(diǎn)使得分割結(jié)果更加準(zhǔn)確，OneCut提取結(jié)果優(yōu)于GrabCut。從試驗(yàn)結(jié)果上可以看出，多星形形狀約束分割與本文規(guī)則化方法在建筑物提取上的有效性。

圖9 數(shù)據(jù)1的3種方法提取結(jié)果對(duì)比Fig.9 The extraction results comparison of the three methods on the first aerial imagery

表1為兩幅影像上所有建筑物提取結(jié)果的平均F1值和平均處理時(shí)間，其中本文方法對(duì)兩幅影像上建筑物提取精度分別為92.4%和92.7%，相對(duì)于GrabCut和OneCut方法提取精度更高，這表明將形狀約束集成在圖割中能夠提高分割精度。在多星形形狀約束分割前對(duì)影像進(jìn)行過分割，大大減少了計(jì)算量。本文方法提取每個(gè)建筑物的平均時(shí)間在0.6s左右，對(duì)于交互式分割而言這樣的耗時(shí)是可以接受的。從表1可以看出，GrabCut提取建筑物需要的時(shí)間最長，這是因?yàn)镚rabCut需要迭代更新。而本文算法由于增加了形狀約束，使得速度比OneCut慢。圖12和圖13分別顯示了3種方法提取每個(gè)建筑物結(jié)果的F1值，顯然，本文方法提取結(jié)果的F1值波動(dòng)較平緩，而GrabCut和OneCut方法波動(dòng)幅度較大，這表明本文方法更穩(wěn)定。

表1 不同方法提取兩種數(shù)據(jù)建筑物的精度對(duì)比

圖10 數(shù)據(jù)2的3種方法提取結(jié)果對(duì)比Fig.10 The extraction results comparison of the three methods on the second aerial imagery

圖11 3種方法提取結(jié)果對(duì)比(數(shù)據(jù)1)Fig.11 The comparison of the three methods for some buildings on the first aerial imagery

圖12 數(shù)據(jù)1上建筑物提取結(jié)果的F1值Fig.12 The F1-measure of building extraction result of the first aerial imagery

圖13 數(shù)據(jù)2上建筑物提取結(jié)果的F1值Fig.13 The F1-measure of building extraction result of the second aerial imagery

3 結(jié) 論

本文在人工交互畫種子線的基礎(chǔ)上，結(jié)合多星形約束的圖割和輪廓規(guī)則化方法，實(shí)現(xiàn)了對(duì)高分辨率遙感影像上直角建筑物的交互式半自動(dòng)提取。分別對(duì)兩幅不同地區(qū)和空間分辨率的遙感影像上的建筑物進(jìn)行了提取試驗(yàn)。結(jié)果表明，多星形形狀約束的圖割適用于建筑物提取，且能夠有效地提高分割精度，從而提高規(guī)則化精度。但本文方法基于圖割，且受建筑物背景干擾影響較大，若建筑物與周圍差異較小，輪廓不清晰，則導(dǎo)致建筑物圖斑提取不準(zhǔn)確。為了獲取精確的建筑物輪廓，建議采用0.5 m以上分辨率的影像。同時(shí)，提出的規(guī)則化方法僅針對(duì)各種形狀的直角建筑物，故對(duì)于非直角建筑物，本文方法無法對(duì)其規(guī)則化。如何實(shí)現(xiàn)各種非直角建筑物的精確提取及規(guī)則化將是下一步開展研究的內(nèi)容。