俞佳朋 宋 環(huán) 孫麗霞 王連妹

天津師范大學(xué)地理與環(huán)境科學(xué)學(xué)院 天津 300387

1 研究背景

美國副總統(tǒng)戈爾與1998年1月21日提出數(shù)字地球的概念之后,中國學(xué)者特別是地學(xué)界的專家認(rèn)識到“數(shù)字地球”戰(zhàn)略將會是推動中國信息建設(shè)和經(jīng)濟(jì)發(fā)展,資源可持續(xù)的重要武器,并于1999年末在北京召開的首屆國際“數(shù)字地球”大會后提出了更多與“數(shù)字地球”相似的概念:“數(shù)字城市”、“數(shù)字中國”等。隨著人類社會的不斷發(fā)展,未來城市將承載著越來越多的人口,而當(dāng)前我國正處于城鎮(zhèn)化加速發(fā)展的時期,“城市病”問題日益嚴(yán)峻,為了解決城市發(fā)展的難題,實現(xiàn)城市可持續(xù)發(fā)展,建設(shè)智慧城市已是迫在眉睫。“智慧城市”的建設(shè)需要計算機(jī)網(wǎng)絡(luò),遙感測繪技術(shù),全球定位系統(tǒng)以及空間信息系統(tǒng)作為支撐,同時獲取三維城市的輪廓是建設(shè)“智慧城市”的前提與基礎(chǔ)。

在現(xiàn)實世界中,城市中最重要的地物就是建筑物,或而言之,建筑物的建設(shè)是城市的建設(shè)最重要的部分,因此獲取三維城市的輪廓從根本上講就是獲取建筑物的輪廓。

隨著科技的不斷發(fā)展,我們在傳統(tǒng)的攝影測量技術(shù)上提出了一種新的技術(shù)---傾斜攝影技術(shù),傳統(tǒng)的攝影技術(shù)只能獲取建筑物頂部信息,對于地物側(cè)面信息則無法獲取;而傾斜影像可以讓用戶從不同的角度觀察建筑物,彌補(bǔ)了基于正射影像分析的不足,同時傾斜攝影技術(shù)對于發(fā)展智慧城市有很大的推動力,其提供的一系列的地物信息,可以構(gòu)建三維城市模型,為智能化的管理提供了便利條件。

通過傾斜攝影技術(shù)我們得到的是一幅較大區(qū)域的影像數(shù)據(jù),其實質(zhì)是獲得某一區(qū)域內(nèi)的三維影像,即柵格圖像,沒有辦法幫我們將地物區(qū)分開來,無法得到建筑物的單體模型,更無法對建筑物進(jìn)行屬性編輯、更新等,因此我們需要將單個建筑物從大區(qū)域影像中提取出來。

2 國內(nèi)外研究現(xiàn)狀

2.1 傳統(tǒng)的人機(jī)交互式建筑物單體化建模

傳統(tǒng)的人機(jī)交互式建筑物單體化建模的方法是人工提取建筑物的點、線、面特征,并將它們按照一定的規(guī)則組織起來,最終形成建筑物的輪廓。但由于我國在圖像輪廓自動提取方面的技術(shù)較為欠缺,一直以來都是采用傳統(tǒng)人工提取輪廓線的方法來繪制建筑物的輪廓。工作效率非常低,相關(guān)人員的工作量大;無法在短期內(nèi)實現(xiàn)大規(guī)模建筑物的輪廓提;不符合信息化時代人工智能的發(fā)展現(xiàn)狀和社會的需要。

2.2 基于LiDAR建筑物單體化建模

利用LiDAR的方法,可以實時的獲得地物點的三維坐標(biāo)信息及三維點云圖像,而近年來機(jī)載激光雷達(dá)可以幫助我們快速直接的獲取三維影像數(shù)據(jù)。LiDAR技術(shù)分為地面激光雷達(dá)技術(shù)和機(jī)載激光雷達(dá)技術(shù)。地面LiDAR技術(shù)可以在不同的地方設(shè)立站點以獲取數(shù)據(jù),然后將不同站點獲取的數(shù)據(jù)結(jié)合起來得到整個區(qū)域的三維影像,這種方法所得到的模型是較為精準(zhǔn)的,但是由于需要設(shè)立較多站點,對于大規(guī)模的場景是不適用的;機(jī)載LiDAR技術(shù)可以獲取大規(guī)模的影像數(shù)據(jù),但是對于水體的反射、森林的遮擋,激光雷達(dá)無法獲得被遮擋的數(shù)據(jù),造成三維影像數(shù)據(jù)部分缺失。

2.3 自動化提取單體化建模

目前已有研究主要是采用直接從傾斜攝影三維點云中通過不規(guī)則三角網(wǎng)的構(gòu)建以及內(nèi)插擬合來提取建筑物輪廓,未能有效減小密集匹配點云由于噪聲和不均勻等因素導(dǎo)致的精度低、效率低的影響。

3 研究目標(biāo)、技術(shù)流程以及技術(shù)創(chuàng)新

3.1 研究目標(biāo)

改進(jìn)輪廓自動提取方法,利用二維圖像與三維點云在不同維度上信息的融合與約束,使建筑物輪廓能夠更精確、高效穩(wěn)定地被提取出來。

3.2 研究的技術(shù)路線

(1)建立三維模型。無人機(jī)搭載多相機(jī)傾斜攝影獲取具有地理位置、地面控制點以及各相機(jī)參數(shù)的影像數(shù)據(jù),通過將坐標(biāo)轉(zhuǎn)換到統(tǒng)一的坐標(biāo)系下,進(jìn)行影像數(shù)據(jù)處理,通過高效自動化的三維建模技術(shù),快速構(gòu)建精確的三維空間點云模型。

(2)緩沖區(qū)處理。在點云模型的基礎(chǔ)上,根據(jù)建筑物高度不同進(jìn)行點云的深度緩沖區(qū)處理,實現(xiàn)在三維模型上建筑物輪廓的自動獲取;

(3)協(xié)同約束技術(shù)。根據(jù)傾斜影像的雙目影像匹配技術(shù),提取建筑物二維輪廓,利用SAD匹配算法在二維影像層面進(jìn)行建筑物輪廓的匹配,利用三維恢復(fù)技術(shù),從二維建筑輪廓信息中恢復(fù)三維輪廓場景并與深度緩沖區(qū)法獲取的建筑物輪廓進(jìn)行協(xié)同約束,從而實現(xiàn)高效、穩(wěn)定的城市建筑三維輪廓自動提取,最終實現(xiàn)單體化建模。

3.3 創(chuàng)新特色

(1)目前側(cè)視地圖中建筑物的輪廓線通常采用三維點云自動擬合的方法,該方法只是實現(xiàn)了輪廓線的自動提取,但精度和效率并不高。實際中,三維點云的擬合需要我們提取部分特征點,而一條建筑物輪廓線就由成千上萬個散點組成且一條直線上特征點分布呈現(xiàn)鋸齒狀,擬合出的輪廓線會發(fā)生偏離。因此研究小組采用協(xié)同約束的方法:

(2)基于無人機(jī)傾斜攝影獲取兩張不同視角下的同名點的二維影像,兩張影像導(dǎo)入計算機(jī)可以自動提取同一建筑物不同視角下的二維直線輪廓,所提取的直線輪廓通過外方位元素轉(zhuǎn)化成三維直線輪廓。(3)已有的基于三維點云的輪廓提取方法是使用不規(guī)則三角網(wǎng)內(nèi)插法擬合出三維輪廓,而本項目的三維點云處理則采用深度緩沖區(qū)方法,與之相比,本項目方法具備更高的效率;同時本項目將二維影像恢復(fù)的三維直線輪廓和三維點云輪廓進(jìn)行協(xié)同約束,可以實現(xiàn)更高精度的建筑物輪廓自動獲取。

(4)將輪廓提取技術(shù)嵌入到當(dāng)前的傾斜攝影三維建模軟件和圖像處理中(如:Smart3D、Photoscan、Photoshop等),使研究成果真正得到應(yīng)用。

4 研究內(nèi)容

4.1 建模原理

基于傾斜攝影技術(shù)的三維建模采用了三維匹配建模的方式,根據(jù)重疊度較高的傾斜影像立體像對,通過同名點匹配技術(shù),自動獲取一定數(shù)量的控制點并進(jìn)行空中三角測量計算,計算出二維影像中每個像點在空間中的位置,形成三維點云,在此基礎(chǔ)上構(gòu)建三維模型[1]。

4.2 二維影像輪廓提取

根據(jù)無人機(jī)傾斜攝影獲取的影像,對建筑物輪廓進(jìn)行提取,用到了輪廓提取算法。常用的輪廓提取算子有sobel、canny、prewitt、log等。根據(jù)小組對比實驗,最終選用對建筑物輪廓提取效果最好的canny算子進(jìn)行研究

4.2.1 現(xiàn)有canny算子的不足

圖像在進(jìn)行輪廓提取前需要去除圖像含有的噪聲,現(xiàn)有的canny算子利用高斯濾波器對圖像進(jìn)行噪聲的去除[2]。然而高斯濾波器需要人為選取他的閾值δ,當(dāng)δ偏小時,濾波器的頻帶很寬,能夠保留更多的輪廓信息,但噪聲的去除效果差,提取的無用輪廓多;當(dāng)δ偏大時,頻帶很窄,在濾去噪聲的同時也會過濾掉有用的輪廓信息,導(dǎo)致輪廓不連續(xù)。根據(jù)以上遇到的問題,研究小組決定用形態(tài)學(xué)處理的方法改進(jìn)原有算法[3]。

4.2.2 基于形態(tài)學(xué)的圖像輪廓提取

1)腐蝕

腐蝕可以使目標(biāo)區(qū)域范圍“變小”,其實質(zhì)造成圖像的邊界收縮,可以用來消除小且無意義的目標(biāo)物。式子表達(dá)為:AΘB={x,y|(B)xy?A}。該式子表示用結(jié)構(gòu)B腐蝕A,需要注意的是B中需要定義一個原點,而B的移動的過程與卷積核移動的過程一致,同卷積核與圖像有重疊之后再計算一樣,當(dāng)B的原點平移到圖像A的像元(x,y)時,如果B在(x,y)處,完全被包含在圖像A重疊的區(qū)域,(也就是B中為1的元素位置上對應(yīng)的A圖像值全部也為1)則將輸出圖像對應(yīng)的像元(x,y)賦值為1,否則賦值為0。

2)膨脹

膨脹會使目標(biāo)區(qū)域范圍“變大”,將于目標(biāo)區(qū)域接觸的背景點合并到該目標(biāo)物中,使目標(biāo)邊界向外部擴(kuò)張。作用就是可以用來填補(bǔ)目標(biāo)區(qū)域中某些空洞以及消除包含在目標(biāo)區(qū)域中的小顆粒噪聲。式子表達(dá)為A⊕B={x,y|(B)xy∩A≠?}

3)開運(yùn)算和閉運(yùn)算

開運(yùn)算即先腐蝕后膨脹的過程,開運(yùn)算可以用來消除小物體、在纖細(xì)點處分離物體、平滑較大物體的邊界的同時并不明顯改變其面積。

先膨脹后腐蝕的過程稱為閉運(yùn)算,能夠排除圖像中的小空洞。

4.2.3 形態(tài)學(xué)改進(jìn)的輪廓提取算法

使用頂帽變換和底帽變換相結(jié)合的形態(tài)學(xué)操作來消除噪聲[4]。頂帽運(yùn)算是由輸入圖像與圖像開運(yùn)算操作后的邊緣圖像做差運(yùn)算得到的,可以消除暗背景上亮物質(zhì)的噪聲。底帽運(yùn)算的作用正好與頂帽運(yùn)算相反,可以消除亮背景上的暗物質(zhì)的噪聲。將這兩種變換相融合,不但能夠有效地平滑圖像中的噪聲,而且能夠增強(qiáng)圖像的邊界信息。

4.3 深度緩沖區(qū)處理

4.3.1 緩沖區(qū)處理原理原理

深度緩沖區(qū)是用來存儲每一像點深度信息的一塊內(nèi)存緩沖區(qū),它為每一像點存儲一個深度值(Z值),Z值代表像點與相機(jī)之間的距離,以灰度值或顏色來表示像點在空間中的位置關(guān)系,因此深度緩沖區(qū)的處理方法能夠以二維圖像的方式保存三維信息,使得數(shù)據(jù)處理更加高效精確。

4.3.2 深度圖像預(yù)處理

利用Visual studio搭建pcl環(huán)境,將點云文件轉(zhuǎn)換成深度圖像。為了減少深度圖像中的噪聲對后續(xù)操作產(chǎn)生影響,利用中值濾波對噪聲進(jìn)行平滑處理,通過規(guī)定一定大小的鄰域,計算鄰域中像素點灰度均值并賦予中心像素點,以此消除噪聲[5]。由于建筑物高度不一,它們在深度圖像上的灰度差值可能過大,導(dǎo)致后續(xù)二值化的操作中缺失部分建筑物;并且處理數(shù)據(jù)過大將降低處理效率和精度,研究小組決定將一張深度圖像裁剪成多張圖像進(jìn)行處理以提高精度和效率。

4.3.3 深度圖像二值化

深度圖像二值化是指選取一個合適的閾值,將圖像中的背景與目標(biāo)物體分離出來,以達(dá)到快速對目標(biāo)區(qū)域進(jìn)行處理的效果。

建筑圖圖像

Canny算子

改進(jìn)后的canny算子

1)灰度閾值法

當(dāng)裁剪后的深度圖像中目標(biāo)物區(qū)域與背景區(qū)域灰度值存在較大差異時,計算它們之間的灰度差值并以此為基礎(chǔ)設(shè)置一個合適的灰度閾值T,將T與各像素點灰度進(jìn)行比較。若像素點灰度值大于T值,那么賦予此像素點灰度值1;若像素點灰度值小于T值,那么將此像素點灰度值設(shè)置為0。

2)固定閾值法

當(dāng)裁剪后的深度圖像中灰度分布比較均勻時,選取深度圖像灰度直方圖中的波峰值或波谷值作為閾值,大于峰值的像素點灰度值設(shè)置為1,小于峰值的像素點設(shè)置為0[6]。

4.3.4 圖像輪廓提取與空間還原

同樣采用形態(tài)學(xué)改進(jìn)的輪廓提取算法對二值化處理后的深度圖像進(jìn)行輪廓提取,根據(jù)提取出來的作為輪廓的像素點含有的Z值,將像點還原到三維空間中,形成三維輪廓。

經(jīng)過圖像裁剪、二值化處理后獲得的建筑物屋頂輪廓

4.4 雙目影像匹配及三維恢復(fù)

本三維恢復(fù)不同于以往常用的三維建模,而是一種新型的效率更高的建模方法。它是基于立體像對的輪廓提取匹配與三維恢復(fù)技術(shù),即使用線段進(jìn)行三維重建。

基于影像的直線特征提取技術(shù),將建筑物輪廓規(guī)則地提取出來;然后利用輪廓法,同時結(jié)合直線匹配和相機(jī)的位姿信息,實現(xiàn)建筑物輪廓信息的空間三維恢復(fù),從而構(gòu)建一個精確的立體視覺系統(tǒng)。

本方法引用了Line3D++的建模方法及基本框架,主要包括幾個步驟[7]:

(1)建立不同圖像線段之間的潛在對應(yīng)關(guān)系;

(2)根據(jù)同名點對它們的支持來評價這些對應(yīng)關(guān)系;

(3)為每個二維線段選擇最合理的對應(yīng)作為其三維位置假設(shè);

(4)根據(jù)二維段在三維空間的鄰近度進(jìn)行聚類,得到最終的對應(yīng)集和三維模型。

Line3D++能夠很好地且較快地提取并恢復(fù)建筑物的線段三維模型,但是它本身存在一些不足,或是說是不能滿足本項目研究的地方。它適用于單個建筑物的線框模型恢復(fù),比如一座教堂或者一幢樓房,而不適用于傾斜攝影得到的大片建筑物,所適用的面積范圍小。而本項目是旨在解決智慧城市建設(shè)中的大面積建筑物三維輪廓提取難題,故需要對此方法進(jìn)行改進(jìn)。

我們將Line3D++的線段提取方法改成利用canny邊緣算子對影像進(jìn)行輪廓提取,再經(jīng)過直線檢測,對提取得到的線段進(jìn)行簡化,此處用到的是霍夫變換檢測直線的算法。我們通過OpenCV中的hough變換來檢測圖像中的線條[8]。它的輸入是一個二值的輪廓圖像,往往是邊緣檢測得到的結(jié)果圖像;它的輸出是一個包含多個Vec2f點的數(shù)組,這個函數(shù)輸出得到的直線并沒有指定在圖像中的開始點與結(jié)束點,需要我們自己去計算,如果我們想把直接顯示在圖像中就會比較麻煩,而且會有很多角度接近的直線,其實它們是重復(fù)的,為了解決上面這些問題,我們利用OpenCV提供的另外一個函數(shù)Hough LinesP()。它的輸出是一個Vector of Vec4i。Vector每一個元素代表一條直線,是由一個4元浮點數(shù)組構(gòu)成,前兩個點一組,后兩個點一組,代表了在圖像中直線的起始和結(jié)束點。算法中還指定了檢測直線中的最小寬度和最小距離,如果低于最小寬度則舍棄掉,那些通過同一點的直線,如果距離小于指定距離,就會將其進(jìn)行合并。

最后,我們將處理得到的結(jié)果利用Line3D++進(jìn)行三維恢復(fù),可以得到一個較為精簡的三維線框模型。

三維恢復(fù)得到的線框模型

被提取建筑物照片

4.5 協(xié)同約束

4.5.1 原理

由于深度緩沖區(qū)處理得到的點云輪廓并不直,而且三維恢復(fù)得到的線框模型也是由大量的線段組成的,并不是一個完整的輪廓。所以,我們設(shè)想將深度緩沖區(qū)處理所得的點云輪廓與三維恢復(fù)得到的線框模型(實質(zhì)上也是由點云構(gòu)成的)進(jìn)行疊加,前者可以彌補(bǔ)后者的斷點處,后者可以對前者進(jìn)行約束。利用RANSAC函數(shù)對疊加后的點云進(jìn)行處理,可以得到一個較為精確、完整的建筑物輪廓。

4.5.2 RANSAC算法擬合三維直線

1、算法簡介:

隨機(jī)抽樣一致算法(RANSAC)最早由Fischler和Bolles于1981年提出[9],采用迭代的方法從一組數(shù)據(jù)中估算出數(shù)學(xué)模型的參數(shù)。該算法將集合中的點分為內(nèi)點(符合模型的點)和外點(不符合模型的點)假設(shè)抽樣數(shù)據(jù)都為正確數(shù)據(jù),通過這些數(shù)據(jù)構(gòu)建模型,利用其余點進(jìn)行計算、評分和判斷。

2、算法流程[10]:

1)輸入中心點集,隨機(jī)選擇兩個點構(gòu)建模型

2)將點集中的所有數(shù)據(jù)點代入模型計算誤差

3)判斷誤差是否滿足預(yù)設(shè)的誤差閾值,滿足則歸為內(nèi)點,不滿足則歸為外點

4)重復(fù)上述過程,當(dāng)?shù)螖?shù)達(dá)到k值后,選出內(nèi)點最多的模型作為此點集擬合的結(jié)果。

3、k值(迭代次數(shù))的計算:

假設(shè)點云集合中一個點是內(nèi)點的概率為t,那么隨機(jī)選取的n個點都是內(nèi)點的概率為tn,那么隨機(jī)選取的n個點中至少有一個外點的概率為1-tn。假設(shè)P為算法得到正確解的概率,那么,由此可得因此可以通過增加迭代次數(shù)來提高算法的準(zhǔn)確率。

5 結(jié)語

本文解決了現(xiàn)有的人工提取建筑物輪廓提取效率低、自動化提取輪廓效果差的問題,從而推動智慧城市建設(shè)工程的進(jìn)程。但是尚且存在局限性,本研究主要適用于常見的方形規(guī)則建筑物,對于特殊形狀的建筑物不太適用,我們將在之后的研究中加以改進(jìn)。