王 濱
(蘭州鐵道設(shè)計(jì)院有限公司,蘭州 730000)
傾斜攝影測(cè)量技術(shù)近些年得到了廣泛的研究和應(yīng)用,尤其在城市規(guī)劃和災(zāi)害評(píng)估等多個(gè)領(lǐng)域中,表現(xiàn)出了其不凡的應(yīng)用價(jià)值[1-2]。該技術(shù)能夠提供各種環(huán)境場(chǎng)景下的高分辨率三維影像數(shù)據(jù),成為地理信息科學(xué)領(lǐng)域中的一項(xiàng)關(guān)鍵技術(shù)[3]。然而,盡管傾斜攝影技術(shù)在多個(gè)應(yīng)用場(chǎng)景中都展現(xiàn)出了顯著的優(yōu)勢(shì)和價(jià)值,但在數(shù)據(jù)整合、特征提取和融合方面的具體應(yīng)用潛力還有許多未被完全發(fā)掘的空間。因此,探討如何在地理信息與地理信息系統(tǒng)(GIGIS,geographic information and geographic information system)技術(shù)的框架下,將傾斜攝影與機(jī)載激光雷達(dá)(LiDAR,light detection and ranging)技術(shù)有機(jī)融合,優(yōu)化建筑物的測(cè)量過程,成為當(dāng)前研究的重中之重。與此同時(shí),傳統(tǒng)的測(cè)量方法通常因依賴單一數(shù)據(jù)源而在準(zhǔn)確性、完整性和可視化等方面表現(xiàn)出一定的局限性[4-5]。王金等人[6]對(duì)于車載激光掃描技術(shù)處理數(shù)據(jù)難度較大的問題,提出了一種用于高速立交中線提取點(diǎn)云數(shù)據(jù)的處理方法,通過多種濾波算法對(duì)非道路點(diǎn)云進(jìn)行處理,并利用Alpha shapes算法識(shí)別道路邊界,最后采用B-spline曲線擬合算法對(duì)道路中線進(jìn)行擬合。這種方法可以幫助建立智能道路并進(jìn)行維護(hù)工作。然而,由于車載激光掃描技術(shù)采集的數(shù)據(jù)量大且噪聲較多,因此道路中值提取仍存在不足之處,需要繼續(xù)完善。王利媛等人[7]為解決地表物體點(diǎn)云數(shù)據(jù)密度不均的問題,引入了一種密度相關(guān)的點(diǎn)云卷積算子PointConv,并提出了一種注意力機(jī)制模塊來調(diào)整局部信息的權(quán)重,提高網(wǎng)絡(luò)對(duì)不同點(diǎn)云實(shí)例的識(shí)別能力。通過在城市室外場(chǎng)景車載點(diǎn)云數(shù)據(jù)集GML_DataSetA和三維語義標(biāo)注基準(zhǔn)數(shù)據(jù)集ISPRS Vaihingen上進(jìn)行分類實(shí)驗(yàn),驗(yàn)證了所提方法的有效性。但在實(shí)際應(yīng)用中,受初始數(shù)據(jù)的影響,該方案的準(zhǔn)確率和效率仍然難以讓人滿意。此次研究力圖突破這些局限性,探索融合這傾斜攝影和LiDAR測(cè)量技術(shù),以開辟建筑物測(cè)量應(yīng)用的新路徑。在此基礎(chǔ)上,研究對(duì)點(diǎn)云數(shù)據(jù)的特征提取和融合方法進(jìn)行了進(jìn)一步的優(yōu)化研究,確保在建筑測(cè)量領(lǐng)域能夠獲得更精確和全面的數(shù)據(jù)特征。研究期望能夠推動(dòng)建筑測(cè)量技術(shù)朝著更加成熟和先進(jìn)的方向發(fā)展,為整個(gè)建筑測(cè)量領(lǐng)域帶來更多的創(chuàng)新和啟示。
LiDAR是一種遠(yuǎn)程感測(cè)技術(shù),主要依靠發(fā)射脈沖光線并接收其反射回來的信號(hào)來測(cè)量目標(biāo)與傳感器之間的距離。LiDAR系統(tǒng)通過發(fā)射激光脈沖并接收被地面或其他目標(biāo)反射回來的脈沖來工作。通過計(jì)算發(fā)射激光與接收反射之間的時(shí)間差,可以確定激光脈沖與目標(biāo)之間的距離[8]。研究總結(jié)LiDAR的主要類型及其重要組成部分,如圖1所示。
圖1 LiDAR的主要類型及其重要組成部分
在圖1中,與其他兩類LiDAR相比,機(jī)載LiDAR獲取數(shù)據(jù)的速度更快,精度更高,受天氣影響更小[9]??紤]到建筑測(cè)量的現(xiàn)實(shí)需求,此次研究在機(jī)載LiDAR的基礎(chǔ)上,構(gòu)建建筑測(cè)量模型。在傳統(tǒng)的機(jī)載LiDAR建筑測(cè)量模型中,由于點(diǎn)云重建缺少紋理信息,因此得到的三維模型不夠真實(shí)。而作為近年來迅速發(fā)展的無人機(jī)傾斜攝影技術(shù),從不同的角度捕捉目標(biāo)地面的照片來獲取三維信息[10]。研究將無人機(jī)傾斜攝影技術(shù)與機(jī)載LiDAR集成,使建筑模型更真實(shí);又發(fā)揮機(jī)載LiDAR高精度的優(yōu)勢(shì),得到高精度的建筑三維測(cè)量模型。在機(jī)載LiDAR系統(tǒng)中,點(diǎn)P坐標(biāo)計(jì)算如式(1)所示:
(1)
式中,(x,y,z)為掃描點(diǎn)P的三維坐標(biāo);S為P點(diǎn)與掃描點(diǎn)中心O的距離;θ為觀測(cè)的垂直方向角;α為觀測(cè)的水平方向角。激光測(cè)距系統(tǒng)是機(jī)載LiDAR系統(tǒng)的核心組成,主要功能是測(cè)量傳感器到目標(biāo)物之間的距離。此次研究采用的是脈沖式測(cè)距法,該方法利用光速計(jì)算激光走過的總距離,計(jì)算傳感器到目標(biāo)物的距離,如式(2)所示:
(2)
式中,S為機(jī)載LiDAR與待測(cè)建筑之間的距離;c為光速;Δt為脈沖信號(hào)發(fā)射和返回的時(shí)間。傳統(tǒng)攝影測(cè)量法只能采集地面物體的垂直影像。然而,伴隨著無人機(jī)和航空數(shù)字?jǐn)z影技術(shù)的進(jìn)步,新一代的傾斜攝影測(cè)量技術(shù)已逐漸浮現(xiàn)[11]。傾斜攝影測(cè)量技術(shù)利用無人機(jī)裝載5個(gè)相機(jī),分別從垂直、前、后、左、右共5個(gè)方位捕捉物體的全方位影像。這種無人機(jī)傾斜攝影測(cè)量法徹底改變了傳統(tǒng)攝影測(cè)量?jī)H從正面角度采集影像的模式,拓寬了遙感影像的應(yīng)用領(lǐng)域。對(duì)比傾斜攝影測(cè)量與傳統(tǒng)攝影測(cè)量的處理流程,如圖2所示。
圖2 傾斜攝影測(cè)量與傳統(tǒng)攝影測(cè)量的處理流程對(duì)比
如圖2所示,傾斜攝影測(cè)量經(jīng)過數(shù)據(jù)預(yù)處理、三維重建、數(shù)據(jù)處理和分析以及成果提取與應(yīng)用等一系列嚴(yán)格的處理流程,能夠生成高質(zhì)量的三維模型。而傳統(tǒng)攝影測(cè)量技術(shù)僅能從垂直角度獲取地物影像,其生成的模型多為二維,應(yīng)用范圍較為有限[12]。此次研究探索了傾斜攝影測(cè)量技術(shù)與GIGIS技術(shù)的深度結(jié)合,以挖掘并增強(qiáng)其在建筑測(cè)量中的應(yīng)用潛力。傾斜攝影測(cè)量技術(shù)在獲取三維數(shù)據(jù)時(shí)具有獨(dú)特優(yōu)勢(shì),而GIGIS平臺(tái)為這些數(shù)據(jù)提供了更廣泛的應(yīng)用場(chǎng)景,從而不僅能為用戶提供詳細(xì)和精確的地圖和查詢工具,還能進(jìn)行更復(fù)雜和深入的空間分析和模擬。具體來說,GIGIS平臺(tái)能夠?qū)A斜攝影得到的影像和點(diǎn)云數(shù)據(jù)與其他空間數(shù)據(jù),如衛(wèi)星圖像和地形圖,進(jìn)行高效融合。這種融合技術(shù)充分展現(xiàn)了GIGIS在空間分析、數(shù)據(jù)管理和可視化方面的強(qiáng)大功能。通過GIGIS平臺(tái),研究首先利用高精度、低噪聲的機(jī)載LiDAR技術(shù)對(duì)建筑進(jìn)行點(diǎn)云信息采集,同時(shí)捕捉其紋理和色彩特征信息。隨后,使用GIGIS對(duì)采集的數(shù)據(jù)進(jìn)行整合和管理,并運(yùn)用其空間分析工具深化對(duì)建筑物的認(rèn)知,如進(jìn)行陽光照射和視線分析等模擬。此外,GIGIS的高級(jí)可視化工具允許用戶從多種視角探索場(chǎng)景,為他們提供一種沉浸式的三維可視化體驗(yàn),使觀察更加貼近真實(shí)環(huán)境。
建筑的三維重建是測(cè)量學(xué)中的一大挑戰(zhàn),這需要依賴精確且高效的算法。此次研究利用GIGIS進(jìn)行高效的數(shù)據(jù)預(yù)處理,包括去噪、濾波和數(shù)據(jù)格式轉(zhuǎn)換,以建立準(zhǔn)確、穩(wěn)定的算法基礎(chǔ)。其次,GIGIS允許從多個(gè)源,包括LiDAR、衛(wèi)星圖像和傾斜攝影融合數(shù)據(jù)[14]。這種多源數(shù)據(jù)整合為建筑物的三維模型提供了更豐富且精確的信息。進(jìn)一步的空間分析能夠深入挖掘建筑物的幾何特性、空間分布和相互關(guān)系,這有助于更細(xì)致、更準(zhǔn)確地重建建筑物的形狀和結(jié)構(gòu)。三維重建算法涉及深度圖采集、圖像預(yù)處理、點(diǎn)云生成、點(diǎn)云配準(zhǔn)和數(shù)據(jù)融合等多個(gè)階段。在深度圖采集階段,深度相機(jī)被用于捕捉深度圖,同時(shí),它也能像普通相機(jī)一樣,捕捉環(huán)境的彩色圖像。在GIGIS技術(shù)的支持下,可以從不同視角捕捉圖像,能夠獲取被拍攝環(huán)境的全方位信息。然而,在圖像數(shù)據(jù)預(yù)處理階段,受到設(shè)備分辨率等限制,深度圖信息在獲取過程中也存在著諸多缺點(diǎn),通常采用高斯濾波法和中值濾波法進(jìn)行降噪處理。高斯濾波法常用二維零均值的離散高斯函數(shù)作為平滑過濾器,其本質(zhì)是對(duì)像素點(diǎn)進(jìn)行加權(quán)平均,目標(biāo)像素點(diǎn)與比較像素點(diǎn)之間的距離越大,權(quán)值越大,其權(quán)值如式(3)所示:
(3)
式中,w(i,j)為濾波器在(i,j)處的權(quán)值。中值濾波法是將像素值的大小像素排序后所獲得的像素值均值,濾波后的圖像如式(4)所示:
g(x,y)=med[f(x-k,y-l),(k,l∈W)]
(4)
式中,g(x,y)為濾波后的圖像,f(x,y)為深度圖像,W為二維中值濾波模版。點(diǎn)云計(jì)算是一種基于三維重建技術(shù)的模型重建方法,能將真實(shí)世界的三維模型通過算法進(jìn)行重建。點(diǎn)云模型中的點(diǎn)云計(jì)算指的是將點(diǎn)云數(shù)據(jù)并行處理,計(jì)算每個(gè)點(diǎn)的三維坐標(biāo),并根據(jù)這些坐標(biāo)計(jì)算出該點(diǎn)的云模型[15]。點(diǎn)云匹配是指將點(diǎn)云數(shù)據(jù)集與真實(shí)世界的三維模型進(jìn)行匹配,以確定每個(gè)點(diǎn)的三維坐標(biāo)和云模型中的位置。點(diǎn)云匹配是三維重建模型中的一項(xiàng)關(guān)鍵技術(shù),可以提高三維重建模型的準(zhǔn)確性和可靠性。通過點(diǎn)云匹配,可以實(shí)現(xiàn)真實(shí)世界與虛擬世界之間的交互,從而構(gòu)建更加逼真的虛擬世界。數(shù)據(jù)融合是將不同參考視圖的深度圖融合過濾成為一個(gè)密集的點(diǎn)云,其中圖像坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換如式(5)所示:
Pω=dT-1K-1Px
(5)
式中,Pω為圖像坐標(biāo)系中像素點(diǎn)的坐標(biāo),Px為世界坐標(biāo)系下像素點(diǎn)的坐標(biāo),T和K分別為相機(jī)內(nèi)外參數(shù)矩陣。在融合后的點(diǎn)云中,并非所有像素點(diǎn)都能夠被保存,為解決這一問題,研究通過多視角立體視覺算法(MVS,multiple view stereo)對(duì)三維模型進(jìn)行重建。MVS能夠?qū)ι疃葓D進(jìn)行濾波處理,對(duì)于每一張深度圖,都有一張與之對(duì)應(yīng)的置信度圖產(chǎn)生,其映射過程如圖3所示。
圖3 深度圖像映射過程
圖3為深度圖像素點(diǎn)映射過程。圖3中P點(diǎn)表示深度圖的像素。Ii表示原始深度圖像,Ij則表示經(jīng)過映射后的相鄰視圖。通過估計(jì)深度Di(P),從而將圖像Ii中的像素P映射到其他的相鄰視圖Ij,會(huì)得到一個(gè)新的像素P′。深度圖像素點(diǎn)閾值的計(jì)算如式(6)所示:
(6)
式中,τ1為閾值,P″則表示P點(diǎn)在原始深度圖像中的另一個(gè)位置。另一個(gè)閾值τ2的定義如式(7)所示:
(7)
式中,τ2表示另一個(gè)閾值,Dj(P″)為P″的投影深度。由于Ij也有自己的深度圖,因此也可以得到對(duì)應(yīng)的深度Dj(P′)。通過公式(6)、(7)可以進(jìn)一步得到深度圖的過濾約束公式,只有在至少3個(gè)相鄰的視圖下滿足上述約束的像素點(diǎn)才能被認(rèn)定為是有效的像素點(diǎn)。
衡量三維重建算法性能好壞的指標(biāo)通常有精度、點(diǎn)云完整度和F值等。準(zhǔn)確度的計(jì)算如式(8)所示:
(8)
式中,Pp表示三維重建模型中的任意一個(gè)點(diǎn)云的位置,Pg則為真值點(diǎn)云集合。Argmin表示使后面這個(gè)式子達(dá)到最小值時(shí)相關(guān)參數(shù)的取值。完整度是指真值三維點(diǎn)云在重建后的點(diǎn)云中可以匹配的像素點(diǎn)百分比度量,其計(jì)算如式(9)所示:
(9)
式中,(Pp)為真值點(diǎn)云的集合,完整度也可以通過絕對(duì)平均距離進(jìn)行衡量。
建筑測(cè)量技術(shù)受到數(shù)據(jù)特征精度的直接影響,在融合GIGIS技術(shù)的傾斜影像中,提供了豐富的紋理和色彩信息,而機(jī)載LiDAR確保了點(diǎn)云數(shù)據(jù)的高精度和低噪聲,兩者的結(jié)合實(shí)現(xiàn)了對(duì)地物特征的全方位、多角度捕捉。這一綜合方法有助于更全面細(xì)致地理解和描繪地表物體,為不同領(lǐng)域的研究和應(yīng)用提供了強(qiáng)大的支持。此次研究針對(duì)融合過程中可能遇到的問題進(jìn)行優(yōu)化探索,以期獲得更為精確且完整的建筑測(cè)量數(shù)據(jù)。研究?jī)?yōu)化基于GIGIS傾斜影像和機(jī)載LiDAR的點(diǎn)云特征提取和融合的技術(shù)流程如圖4所示。
圖4 點(diǎn)云信息特征提取與融合流程圖
在傾斜影像色彩特征的提取與轉(zhuǎn)換中,首步需要形成傾斜影像的匹配點(diǎn)云[16]。借助裝備多鏡頭相機(jī)的無人機(jī),傾斜攝影技術(shù)能從多角度迅速并精準(zhǔn)地收集地面的影像資料。這種多角度拍攝可以將三維空間特性轉(zhuǎn)化為二維圖像信息并保存。通過密集匹配技術(shù),這種轉(zhuǎn)化被逆向處理,即從二維圖像恢復(fù)到具有三維坐標(biāo)的空間點(diǎn)。此流程主要包括稀疏和密集的點(diǎn)云重建,最后產(chǎn)出是一個(gè)帶有色彩屬性的三維點(diǎn)云,如圖5所示。
圖5 影像密集匹配流程圖
如圖5所示,點(diǎn)云的生成可以劃分為稀疏和密集兩個(gè)步驟??紤]到稀疏點(diǎn)云無法完全描繪每個(gè)對(duì)象的結(jié)構(gòu),研究進(jìn)一步對(duì)MVS算法進(jìn)行優(yōu)化,以獲得更密集的點(diǎn)云數(shù)據(jù)。與單視角算法相比,MVS算法具有更高的精度和可靠性,并且可以處理復(fù)雜的光照變化和背景干擾等問題。為進(jìn)一步提高M(jìn)VS算法的性能,有學(xué)者利用深度學(xué)習(xí)模型構(gòu)建了MVSNet模型,雖然MVSNet提升了場(chǎng)景的整體完整度,但是卻犧牲了局部紋理的完整度[17-18]。造成這一情況的原因是忽略了特征提取網(wǎng)絡(luò)的作用,因此,此次研究將空間注意力機(jī)制(SA,spatial attention)和通道注意力機(jī)制(CA,channel attention)進(jìn)行結(jié)合,最終生成了一個(gè)雙通道注意力機(jī)制(CBAM,convolutional block attention module),并將該機(jī)制用于MVSNet中,旨在提高M(jìn)VSNet特征提取網(wǎng)絡(luò)的特征提取能力,從而搭建效果更好的三維數(shù)字圖像虛擬場(chǎng)景重建模型。SA和CA的結(jié)構(gòu)如圖6所示。
圖6 SA與CA的結(jié)構(gòu)示意圖
在特征圖中,每個(gè)通道均被認(rèn)為是一個(gè)特征檢測(cè)器,這主要是為了對(duì)各個(gè)特征的重要性進(jìn)行建模,并據(jù)此對(duì)不同任務(wù)的輸入進(jìn)行特征分配。由此,通道注意力模塊主要是通過調(diào)節(jié)不同通道的表達(dá)來強(qiáng)化或減弱特征的表達(dá)。在復(fù)雜紋理或漫反射區(qū)域的情況下,簡(jiǎn)化的特征提取網(wǎng)絡(luò)可能會(huì)導(dǎo)致一些原視圖轉(zhuǎn)換過程中特征圖的細(xì)節(jié)丟失,這會(huì)阻止獲取完全的特征信息,繼而影響重建點(diǎn)云的完整性。因此,在通道注意力機(jī)制模塊中,采用了最大池化與平均池化的組合,并通過共享權(quán)重的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。而在空間注意力機(jī)制的應(yīng)用中,特征圖中樣本點(diǎn)的空間位置極為關(guān)鍵。如果位置存在偏差,那么在概率選擇過程中,將不能保證概率最大的點(diǎn)確實(shí)是原本屬于該空間坐標(biāo)的真實(shí)點(diǎn)。為了更有效地突顯重要信息區(qū)域,將通過沿通道軸對(duì)通道注意力圖進(jìn)行平均池化和最大池化操作,然后經(jīng)Sigmoid函數(shù)處理生成空間注意力圖。采用雙通道注意力機(jī)制的MVSNet特征網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。
圖7 融合SA與CA的MVSNet模塊圖
圖7展示的是基于雙通道注意力策略的MVSNet結(jié)構(gòu)圖。首先,遍歷待重建場(chǎng)景的各個(gè)視角圖像。每幅圖像都被視作參考視角,并與其相鄰的源視角圖像一起被輸入。接著,MVSNet對(duì)這些參考和源視圖進(jìn)行特征化,從而生成的特征映射會(huì)被用于進(jìn)行單應(yīng)性調(diào)整和雙線性內(nèi)插。在MVSNet的深層中,CBAM雙通道注意力策略被采納,這樣在特征達(dá)到一定深度后,能夠突出關(guān)鍵特征并強(qiáng)化特征間的互相關(guān)聯(lián)。為了集中特征數(shù)據(jù),結(jié)合了最大池化和平均池化的策略,然后將得到的二維特征傳入一個(gè)共享權(quán)重的神經(jīng)網(wǎng)絡(luò),產(chǎn)生通道注意力映射。該注意力映射與原始圖像執(zhí)行乘和加運(yùn)算,之后的通道注意力映射會(huì)進(jìn)行連續(xù)的最大池化和平均池化,并經(jīng)過Sigmoid處理來生成相應(yīng)的權(quán)重映射。這些權(quán)重與輸入側(cè)的通道注意力映射進(jìn)行按元素的乘和加運(yùn)算,從而輸出的空間注意力映射成為最后的特征映射。
通過MVSNet-CBAM算法獲得密集點(diǎn)云后,研究首先選擇一張參考影像,利用前述的攝像機(jī)姿態(tài)估計(jì),為其選擇鄰近的影像來形成立體像對(duì)。隨后,基于這些像對(duì)和特征點(diǎn),計(jì)算每個(gè)影像的深度[19-20]。最后,合并所有深度信息,形成整個(gè)場(chǎng)景的密集點(diǎn)云。由于密集匹配點(diǎn)云數(shù)據(jù)與機(jī)載LiDAR點(diǎn)云數(shù)據(jù)獲取方式有所不同,這導(dǎo)致同一區(qū)域內(nèi)的點(diǎn)云不能完全對(duì)應(yīng)。因此,在特征融合時(shí)不能簡(jiǎn)單地將這兩組數(shù)據(jù)組合。為解決這一問題,研究使用KDTree索引進(jìn)行最近鄰點(diǎn)搜索,將距離激光點(diǎn)最近的密集匹配點(diǎn)的顏色信息賦給激光點(diǎn),并將兩者的特征融合。這一系統(tǒng)化的方法確保了點(diǎn)云特征融合的準(zhǔn)確性和高效性,也為建筑測(cè)量提供了更準(zhǔn)確的數(shù)據(jù)。
技術(shù)的改進(jìn)與優(yōu)化需要在實(shí)踐中經(jīng)受嚴(yán)格的驗(yàn)證,因此,研究將結(jié)合理論分析和實(shí)際實(shí)驗(yàn),全面驗(yàn)證改進(jìn)后的LiDAR建筑測(cè)量技術(shù)性能,以期確保每一項(xiàng)改進(jìn)都能夠在實(shí)際應(yīng)用中帶來顯著的效果提升。研究采用常規(guī)的LiDAR技術(shù)與研究改進(jìn)的LiDARA測(cè)量技術(shù)進(jìn)行對(duì)比,比較點(diǎn)云特征提取與融合的效果。研究首先進(jìn)行對(duì)優(yōu)化的MVSNet-CBAM算法進(jìn)行測(cè)試,數(shù)據(jù)集為MVS的經(jīng)典數(shù)據(jù)集,包括DTU、Eth3D和BlendedMVS。其中DTU包含來自49個(gè)場(chǎng)景的圖像,每個(gè)場(chǎng)景都包含從已知相機(jī)參數(shù)的不同視點(diǎn)捕獲的圖像,由于不同的場(chǎng)景復(fù)雜性,該數(shù)據(jù)集提供了一系列的挑戰(zhàn),包括不同的表面屬性、深度和遮擋。Eth3D集來自蘇黎世聯(lián)邦理工學(xué)院,旨在為多視圖立體和表面重建算法提供基準(zhǔn)測(cè)試。它具有高分辨率的圖像和多樣的真實(shí)世界場(chǎng)景,包括室內(nèi)和室外環(huán)境。BlendedMVS是一個(gè)專為室內(nèi)場(chǎng)景量身定制的大規(guī)模多視圖立體數(shù)據(jù)集。它結(jié)合了幾個(gè)真實(shí)捕獲的數(shù)據(jù)集,并通過混合不同的場(chǎng)景和光照條件,旨在提高深度MVS模型的訓(xùn)練效果。對(duì)比模型選用MVSNet、MVSNet-SA和MVSNet-CA與此次研究提出的MVSNet-CBAM模型進(jìn)行實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)在同一環(huán)境下進(jìn)行,開發(fā)語言為C++;開發(fā)平臺(tái)為Visual Studio 2019;實(shí)驗(yàn)使用的計(jì)算設(shè)備CPU為Inter(R) Core(TM) i5-10210U,操作系統(tǒng)為Windows 10 Home,內(nèi)存為8 G,顯卡為NVIDIA GeForce GTX 1080ti。模型的輸入均為基于GIGIS傾斜攝影得到的多角度影像資料,并結(jié)合攝像機(jī)的姿態(tài)和已有的稀疏點(diǎn)云信息。輸出均為密集的三維點(diǎn)云。先對(duì)4個(gè)不同的模型進(jìn)行訓(xùn)練,訓(xùn)練過程中的損失函數(shù)曲線如圖8所示。
圖8 迭代訓(xùn)練曲線
如圖8所示,在前2 000次的迭代中,各模型的損失函數(shù)曲線呈現(xiàn)快速下降的趨勢(shì)。其中MVSNet-CBAM的下降趨勢(shì)最為明顯。隨著迭代次數(shù)的增加,各模型的損失函數(shù)曲線已經(jīng)接近收斂,說明參與訓(xùn)練的模型均采取了正確的訓(xùn)練策略。在損失函數(shù)值穩(wěn)定后,MVSNet-CBAM的損失函數(shù)值最低,為4左右,相較于其他3個(gè)模型分別減少了53.77%、49.49%和42.71%。并且MVSNet-CBAM在達(dá)到穩(wěn)定時(shí)所經(jīng)過的迭代次數(shù)最少,更快地接近收斂。訓(xùn)練結(jié)果表明,此次研究構(gòu)建的模型收斂速度更快,損失函數(shù)值更低,模型的性能更優(yōu)秀。在訓(xùn)練結(jié)束后,使用以上4種模型進(jìn)行測(cè)試,研究統(tǒng)計(jì)了在不同數(shù)據(jù)集的測(cè)試中數(shù)據(jù),如表1所示。
表1 不同數(shù)據(jù)集下各評(píng)價(jià)指標(biāo)數(shù)據(jù)
如表1所示,研究選用的模型評(píng)價(jià)指標(biāo)包括準(zhǔn)確度、完整度和綜合評(píng)分。其中準(zhǔn)確度越高越好,完整度越高越好。綜合評(píng)分是準(zhǔn)確度與完整度的平均數(shù),綜合評(píng)分越低越好。整體來看,在準(zhǔn)確度方面,按照從優(yōu)至差進(jìn)行排序,分別為MVSNet-CBAM、MVSNet-CA、MVSNet-SA和MVSNet;在完整度方面,按照從優(yōu)至差進(jìn)行排序,分別為MVSNet-CBAM、MVSNet-CA、MVSNet-SA和MVSNet;在綜合評(píng)分中,按照從優(yōu)至差進(jìn)行排序,分別為MVSNet-CBAM、MVSNet-CA、MVSNet-SA和MVSNet。統(tǒng)計(jì)結(jié)果證明MVSNet-CBAM模型具有最好的表現(xiàn),驗(yàn)證了此次研究的有效性。
為了驗(yàn)證研究方法在實(shí)際測(cè)試中的準(zhǔn)確性,研究選用天津市某郊區(qū)建筑群機(jī)載點(diǎn)云數(shù)據(jù)的兩處區(qū)域作為實(shí)驗(yàn)對(duì)象。天津市某郊區(qū)建筑群點(diǎn)云數(shù)據(jù)信息如表2所示。
表2 天津市某郊區(qū)建筑群機(jī)載點(diǎn)云數(shù)據(jù)
對(duì)比不同方法的特征提取的精度,如圖9所示。
圖9 不同方法的特征提取準(zhǔn)確率對(duì)比
圖9為不同方法的目標(biāo)建筑物測(cè)量特征提取精度對(duì)比結(jié)果。其中圖9(a)為A區(qū)域的點(diǎn)云數(shù)據(jù)特征提取準(zhǔn)確率對(duì)比情況,從圖中可以看出LiDAR在20次測(cè)試中的平均準(zhǔn)確率為81.05%,最高準(zhǔn)確率為87.03%,最低準(zhǔn)確率為76.87%;研究改進(jìn)的LiDAR在20次測(cè)試中的平均準(zhǔn)確率為93.56%,最高準(zhǔn)確率為97.05%,最低準(zhǔn)確率為90.11%。圖9(b)為B區(qū)域的點(diǎn)云數(shù)據(jù)特征提取準(zhǔn)確率對(duì)比情況,從圖中可以看出LiDAR在20次測(cè)試中的平均準(zhǔn)確率為79.75%,最高準(zhǔn)確率為86.12%,最低準(zhǔn)確率為74.22%;研究改進(jìn)的LiDAR在20次測(cè)試中的平均準(zhǔn)確率為92.14%,最高準(zhǔn)確率為95.85%,最低準(zhǔn)確率為92.72%。實(shí)驗(yàn)結(jié)果表明,研究在GIGIS技術(shù)支持下改進(jìn)LiDAR的方法是有效的,使建筑測(cè)量中點(diǎn)云數(shù)據(jù)特征提取的準(zhǔn)確率得到了極大的提升。對(duì)比不同方法的特征提取的召回率,如圖10所示。
圖10 不同方法的特征提取召回率對(duì)比
召回率通常被用于衡量一個(gè)模型正確識(shí)別正樣本的能力。在點(diǎn)云數(shù)據(jù)的建筑物特征提取中,召回率可以幫助使用者了解有多少真實(shí)的建筑物特征被正確地提取出來。召回率高意味著大部分真實(shí)的建筑物特征都被正確識(shí)別,而召回率低則意味著許多真實(shí)的建筑物特征被漏掉了。圖10為不同方法的目標(biāo)建筑物測(cè)量特征提取的召回率對(duì)比結(jié)果。其中圖10(a)為A區(qū)域的點(diǎn)云數(shù)據(jù)特征提取召回率對(duì)比情況,從圖中可以看出LiDAR在20次測(cè)試中的平均召回率為70.12%,最高召回率為77.65%,最低召回率為66.63%;研究改進(jìn)的LiDAR在20次測(cè)試中的平均召回率為91.02%,最高召回率為92.44%,最低召回率為88.51%。圖10(b)為B區(qū)域的點(diǎn)云數(shù)據(jù)特征提取召回率對(duì)比情況,從圖中可以看出LiDAR在20次測(cè)試中的平均召回率為68.82%,最高召回率為71.31%,最低召回率為66.03%;研究改進(jìn)的LiDAR在20次測(cè)試中的平均召回率為90.14%,最高召回率為92.23%,最低召回率為87.85%。實(shí)驗(yàn)結(jié)果表明,研究對(duì)LiDAR的改進(jìn)是成功的,使建筑測(cè)量中點(diǎn)云數(shù)據(jù)特征提取的召回率得到了極大的提升。最后,研究統(tǒng)計(jì)了不同方法的準(zhǔn)確率與召回率,繪制了準(zhǔn)確度-召回率(PR,precision recall)曲線,如圖11所示。
圖11 不同方法PR曲線對(duì)比
PR曲線是一個(gè)用于衡量二分類模型效果的工具。PR曲線的下方面積可以用來衡量模型的整體性能。曲線下方面積越大,模型的性能通常越好。在建筑物點(diǎn)云數(shù)據(jù)特征提取的場(chǎng)景中,使用PR曲線對(duì)比可以幫助研究者或工程師明確哪些方法在平衡精確率和召回率方面表現(xiàn)得更好。圖11(a)為區(qū)域A中不同方法的PR曲線對(duì)比情況,從圖中可以明顯看出,改進(jìn)LiDAR曲線下面積顯著大于LiDAR,結(jié)果表示在區(qū)域A中,研究改進(jìn)的LiDAR很好地平衡了準(zhǔn)確率和召回率的關(guān)系,性能更好。圖11(b)為區(qū)域B中不同方法的PR曲線對(duì)比情況,圖中改進(jìn)LiDAR曲線下面積更大,LiDAR曲線下面積更小。結(jié)果表示研究方法的整體性能更加優(yōu)秀,驗(yàn)證了改進(jìn)是有效的。
隨著全球城市化的加速推進(jìn),對(duì)建筑和城市結(jié)構(gòu)的精確測(cè)量成了一個(gè)越來越重要的需求。傳統(tǒng)的測(cè)量方法在處理復(fù)雜的建筑結(jié)構(gòu)和環(huán)境時(shí)顯示出了明顯的局限性。結(jié)合現(xiàn)代傾斜攝影測(cè)量技術(shù)和機(jī)載LiDAR技術(shù),以便在GIGIS技術(shù)的支持下實(shí)現(xiàn)更精確和完整的建筑測(cè)量。研究通過GIGIS的傾斜影像技術(shù)獲取了豐富的紋理和色彩特征信息,并利用機(jī)載LiDAR技術(shù)獲取高精度和低噪聲的點(diǎn)云信息,從而克服了單一數(shù)據(jù)源的局限性。為了驗(yàn)證研究對(duì)點(diǎn)云特征提取與融合方法優(yōu)化的效果,研究首先對(duì)MVSNet-CBAM優(yōu)化算法進(jìn)行了性能驗(yàn)證,發(fā)現(xiàn)優(yōu)化模型在準(zhǔn)確度、完整度和綜合評(píng)分上的評(píng)價(jià)均優(yōu)于其他3種模型。進(jìn)一步驗(yàn)證研究所提建筑測(cè)量技術(shù)的性能,在兩個(gè)不同區(qū)域?qū)嶒?yàn)結(jié)果中,研究方法的平均召回率分別為91.02%和90.14%,而傳統(tǒng)方法的平均召回率分別為70.12%和68.82%。此外,在PR曲線的對(duì)比中,研究方法的曲線下面積也顯著大于改進(jìn)前的LiDAR測(cè)量方法。實(shí)驗(yàn)結(jié)果表明,基于GIGIS的機(jī)載LiDAR可以為提供更高質(zhì)量的點(diǎn)云數(shù)據(jù),從而保證了測(cè)量的準(zhǔn)確性。更重要的是,研究中提出的點(diǎn)云特征提取和融合方法進(jìn)一步優(yōu)化了這兩種數(shù)據(jù)的結(jié)合,使得在建筑測(cè)量應(yīng)用中能夠獲得更為精確和完整的數(shù)據(jù)特征。不過,由于實(shí)驗(yàn)條件有限,郊區(qū)建筑群機(jī)載點(diǎn)云數(shù)據(jù)不可避免地會(huì)與城市建筑機(jī)載點(diǎn)云數(shù)據(jù)存在差異,因此研究所提方法還需要在今后的研究中得到進(jìn)一步的驗(yàn)證和優(yōu)化。