摘要:隨著我國(guó)道路網(wǎng)絡(luò)的不斷擴(kuò)展,瀝青路面出現(xiàn)的各種病害已成為道路安全的重大隱患。其中,坑槽作為瀝青路面的一種主要病害類型,其評(píng)估測(cè)量目前主要依賴于人工方法,不僅耗時(shí),而且還效率低下。為了更有效地防范道路安全事故,需實(shí)現(xiàn)路面病害的高效、精準(zhǔn)識(shí)別。針對(duì)此問題,文章采用基于機(jī)械視覺的三維重建數(shù)據(jù)技術(shù),在深入研究多視角三維重建理論的基礎(chǔ)上,總結(jié)了兩幅及多幅圖像的三維重建算法,并針對(duì)三維重建云坐標(biāo)的預(yù)處理進(jìn)行分析,提出相應(yīng)的解決方案。通過探討圖像處理與建模參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響,將人工測(cè)量結(jié)果與坑槽的三維重建模型進(jìn)行對(duì)比分析,驗(yàn)證了三維重建計(jì)算的精度能夠滿足實(shí)際需求,為彌補(bǔ)人工及其他設(shè)備檢測(cè)方法的不足提供了研究基礎(chǔ)。
關(guān)鍵詞:三維重建;瀝青路面;坑槽檢測(cè);云坐標(biāo)
中圖分類號(hào):U418.6 " " " 文獻(xiàn)標(biāo)識(shí)碼:A " " "文章編號(hào):1674-0688(2024)10-0064-05
0 引言
截至2022年底,我國(guó)公路總里程已達(dá)535萬公里,10年間增長(zhǎng)了112萬公里,其中高速公路通車?yán)锍虨?7.7萬公里,居世界第一。同時(shí),公路養(yǎng)護(hù)里程達(dá)到535.03萬公里,?占比高達(dá)99.9%,反映了我國(guó)公路養(yǎng)護(hù)工作的重要性和成效,確保了公路網(wǎng)絡(luò)的暢通與安全[1]。在道路建設(shè)中,道路養(yǎng)護(hù)管理始終占據(jù)重要地位。瀝青路面的坑槽是一種常見且嚴(yán)重的病害,若未能及時(shí)治理,將嚴(yán)重威脅行車安全。根據(jù)《“十三五”公路養(yǎng)護(hù)管理發(fā)展綱要》(交公路發(fā)〔2016〕96號(hào))的指引,并結(jié)合當(dāng)前的國(guó)內(nèi)外研究進(jìn)展,利用先進(jìn)的自動(dòng)化檢測(cè)技術(shù)為路面養(yǎng)護(hù)及管理提供支撐,已成為推動(dòng)該領(lǐng)域發(fā)展的重要方向。
當(dāng)前,路面破壞檢測(cè)技術(shù)主要分為兩類:傳統(tǒng)的人工調(diào)查方法和車載自動(dòng)化檢測(cè)方法。傳統(tǒng)的人工調(diào)查方法依賴于檢測(cè)人員使用電腦,將現(xiàn)場(chǎng)收集的數(shù)據(jù)與病害手冊(cè)進(jìn)行對(duì)比與分析,并做出評(píng)價(jià)。例如,籍石磊[2]深入研究了坑槽破損的形態(tài)及成因,并基于瀝青路面的坑槽損傷機(jī)制,重點(diǎn)試驗(yàn)分析了水損害、凍融循環(huán)及交通荷載加劇導(dǎo)致的坑槽擴(kuò)展等3種主要路面破損類型。但是,此方法易受檢測(cè)人員經(jīng)驗(yàn)與主觀判斷的影響。車載自動(dòng)化檢測(cè)方法則是基于測(cè)量車輛的震動(dòng)信號(hào)探測(cè)路面狀況。例如,顧軍華[3]利用圖像處理、智能計(jì)算及數(shù)據(jù)庫技術(shù),構(gòu)建了道路圖像管理、識(shí)別與檢測(cè)系統(tǒng),實(shí)現(xiàn)了公路路面圖像信息的移動(dòng)采集與損傷識(shí)別。然而,該方式雖然能結(jié)合力學(xué)信號(hào)與智能優(yōu)化檢測(cè),但是易受路況干擾導(dǎo)致誤檢。以上兩種方法均難以準(zhǔn)確描述坑槽特征,增加了坑槽信息提取與分析的難度,提高了錯(cuò)誤決策的風(fēng)險(xiǎn),從而降低了管理效率。梁棟[4]在射影重建算法的基礎(chǔ)上,融合了L-M(列文伯格-馬夸爾特法)算法與Bundle Adjustment技術(shù),對(duì)線性求解、空間架構(gòu)及投影矩陣進(jìn)行了優(yōu)化,預(yù)估了攝像機(jī)的外部參數(shù),并構(gòu)建了三維場(chǎng)景模型。同時(shí),通過自適應(yīng)標(biāo)定方法精確預(yù)估攝像機(jī)內(nèi)部參數(shù),實(shí)現(xiàn)了歐式空間中的場(chǎng)景重建。鑒于此,本文嘗試引入三維重建技術(shù),以實(shí)現(xiàn)坑槽的自動(dòng)檢測(cè)與病害嚴(yán)重程度的評(píng)估。通過詳細(xì)闡述多視角三維重建技術(shù)的工作原理,構(gòu)建室外檢測(cè)模型,并利用Matlab軟件還原模型信息,計(jì)算坑槽的各項(xiàng)參數(shù)。本研究旨在提供一種更為精確且高效的坑槽檢測(cè)與評(píng)估手段。
1 多視角三維重建技術(shù)工作原理
三維重建技術(shù)基于多視角圖像,是一項(xiàng)具有廣泛代表性的技術(shù),已在多個(gè)領(lǐng)域得到應(yīng)用,其本質(zhì)上是以多視幾何的相關(guān)理論和計(jì)算數(shù)據(jù)結(jié)果為基礎(chǔ)[4],重建真實(shí)世界的模型。
1.1 三維重建相關(guān)理論
多視角三維重建技術(shù)中的攝像機(jī)模型構(gòu)建于3個(gè)坐標(biāo)系之上[5],分別為圖像坐標(biāo)系(x,y)、相機(jī)坐標(biāo)系(Xj,Yj,Zj)、世界坐標(biāo)系(Xs,Ys,Zs)。圖像坐標(biāo)系利用圖像處理芯片,將攝像機(jī)捕獲的物體光信號(hào)轉(zhuǎn)換為數(shù)字圖像,并將圖像中的每個(gè)像素以A×B矩陣的形式按行或列存儲(chǔ)。相機(jī)坐標(biāo)系是攝像機(jī)內(nèi)部的一個(gè)三維坐標(biāo)系,用于描述物體相對(duì)于攝像機(jī)的位置。世界坐標(biāo)系則是為描述空間而建立的三維坐標(biāo)系,其原點(diǎn)可任意設(shè)定。相機(jī)坐標(biāo)系和世界坐標(biāo)系之間可通過一個(gè)包含特殊旋轉(zhuǎn)和平移的轉(zhuǎn)換矩陣實(shí)現(xiàn)相互轉(zhuǎn)換,其轉(zhuǎn)換公式如下:
[XuYuZu1=MN0N1XvYvZv1] 。 " " " " " " " " " " (1)
在應(yīng)用相機(jī)投影矩陣之后,可以利用極幾何理論知識(shí)對(duì)由多個(gè)攝像機(jī)捕捉的圖像中的三維物體坐標(biāo)進(jìn)行計(jì)算[6]。極幾何主要包括以下3種類型:①極限幾何。極限幾何能夠預(yù)估相機(jī)姿態(tài)并推算出三維坐標(biāo),是圖像匹配和三維重建的重要理論基礎(chǔ)[7]。②基本矩陣F?;揪仃嘑包含2個(gè)子矩陣及7個(gè)未知變量,主要用于描述兩個(gè)視圖之間的內(nèi)在映射關(guān)系。③本質(zhì)矩陣E。本質(zhì)矩陣E是結(jié)合空間中某X點(diǎn)在相機(jī)坐標(biāo)系中的位置求解相機(jī)之間相對(duì)應(yīng)姿態(tài)的變換矩陣[8]。
1.2 三維重建的具體方法
在了解三維重建理論基礎(chǔ)后,需說明運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)的整體架構(gòu)及細(xì)節(jié)。SFM的主要流程如下:首先,從每張二維圖片中提取特征點(diǎn),并計(jì)算圖片之間的匹配關(guān)系;其次,篩選出滿足極線幾何約束的特征點(diǎn);再次,對(duì)每個(gè)圖像進(jìn)行相對(duì)位姿的迭代計(jì)算,恢復(fù)攝像機(jī)的內(nèi)參數(shù)和外參數(shù);最后,采用三角測(cè)量方法對(duì)三維場(chǎng)景進(jìn)行初步重建,并利用捆綁調(diào)整(BA)技術(shù)進(jìn)行全局非線性優(yōu)化。SFM框架流程圖見1,其中RGB表示特征顏色。
輸入的圖像序列經(jīng)過SFM處理后,恢復(fù)了相機(jī)的三維姿態(tài)坐標(biāo),并分別闡述了兩幅圖像及多幅圖像序列的三維重建算法。兩幅圖像之間的重建算法流程見圖2,多幅圖像序列的重建算法流程見圖3。
2 構(gòu)建三維坑槽模型
2.1 三維坑槽模型重建
為準(zhǔn)確反映坑槽損害深度的變化,需使用數(shù)碼相機(jī)進(jìn)行三維重建。通過坑槽的二維圖像信息推導(dǎo)出其三維立體信息,進(jìn)而精確計(jì)算坑槽的深度值及體積等數(shù)據(jù)[9]??硬廴S重建流程見圖4。
2.2 云坐標(biāo)預(yù)處理
在云坐標(biāo)預(yù)處理過程中,經(jīng)常會(huì)遇到一些問題,以下從4個(gè)角度分別進(jìn)行解釋。
2.2.1 標(biāo)定精度
在視覺測(cè)量中,相機(jī)的標(biāo)定精度是確保測(cè)量準(zhǔn)確性的依據(jù)。為了獲得精確的視覺測(cè)量結(jié)果,必須獲取相機(jī)在各個(gè)位置的姿態(tài)信息、精確的坐標(biāo)系轉(zhuǎn)換關(guān)系以及詳盡的光學(xué)元件的畸變參數(shù)。
2.2.2 坐標(biāo)關(guān)系轉(zhuǎn)換
在獲取相機(jī)參數(shù)之后,還需明確相機(jī)與外部世界的坐標(biāo)轉(zhuǎn)換關(guān)系,以獲取物體的三維坐標(biāo),3種坐標(biāo)系的立體關(guān)系如圖5所示。為了將空間點(diǎn)與圖像點(diǎn)相結(jié)合,需要構(gòu)建針孔模型實(shí)現(xiàn)圖像與相機(jī)坐標(biāo)的轉(zhuǎn)換。通過簡(jiǎn)化計(jì)算公式,可以得到相機(jī)內(nèi)參數(shù)的矩陣公式:
[c=h000h0001] 。 " " " " " " " " " " " " " (2)
不同攝像機(jī)之間的坐標(biāo)轉(zhuǎn)換需要利用平移和旋轉(zhuǎn)矩陣實(shí)現(xiàn):
[XYZ1=M3×3N3×10T0XvYvZv1] 。 " " " " " " "(3)
2.2.3 相機(jī)標(biāo)定
相機(jī)標(biāo)定方法[10]主要包括3種,本文采用“張正友標(biāo)定法”,該方法操作簡(jiǎn)便且精度高,能自動(dòng)識(shí)別并標(biāo)記標(biāo)定板棋盤上的所有角點(diǎn)?!皬堈褬?biāo)定法”的操作流程見圖6,其基本原理在于根據(jù)坐標(biāo)系與相機(jī)參數(shù)之間的約束關(guān)系對(duì)數(shù)據(jù)進(jìn)行分析求解。
2.2.4 坐標(biāo)標(biāo)準(zhǔn)化
初始的云坐標(biāo)系統(tǒng)是以相機(jī)位置為原點(diǎn)且存在姿態(tài)上的傾斜,為了優(yōu)化后續(xù)的數(shù)據(jù)處理步驟,需將云坐標(biāo)的主方向與Z軸對(duì)齊,確保其姿態(tài)標(biāo)準(zhǔn)化。姿態(tài)還原前見圖7,姿態(tài)還原后見圖8。
2.3 坐標(biāo)云投影處理方式
在某些情況下,云坐標(biāo)數(shù)據(jù)可能會(huì)出現(xiàn)不連續(xù)的狀態(tài),導(dǎo)致相機(jī)重建后的圖片無法提供有效的測(cè)量數(shù)據(jù),進(jìn)而形成缺失空洞。造成這種缺失空洞的主要原因有以下3種:待測(cè)坑槽未處于相機(jī)的視野中心、存在視野盲區(qū)以及光線不足。為避免這種情況的發(fā)生,確保所測(cè)量的坑槽三維重建云坐標(biāo)數(shù)據(jù)的精確性,本實(shí)驗(yàn)嚴(yán)格遵循以下實(shí)驗(yàn)規(guī)范:①在進(jìn)行圖像采樣時(shí),必須確保坑槽完全位于圖像內(nèi)且盡量居中。②光線入射角的角度需控制在20°或以上。③實(shí)驗(yàn)必須在光線充足的環(huán)境條件下進(jìn)行。
2.4 坑槽模型參數(shù)化信息
坑槽是一種形態(tài)不規(guī)則的模型,依據(jù)其在高度方向上的變化特性[11],本文采用三維參數(shù)化信息描述坑槽的體積、深度,并通過計(jì)算得出的表面積與平均深度。實(shí)驗(yàn)數(shù)據(jù)通過異常點(diǎn)處理方法獲得,并在Matlab軟件中進(jìn)行坑槽建模及參數(shù)計(jì)算。
在Matlab界面對(duì)重建數(shù)據(jù)進(jìn)行可視化處理,并計(jì)算坑槽的三維等高線。其中,最高的等高線代表坑槽的上表面,最低的等高線代表坑槽的下表面,兩條等高線之間的高度差即為坑槽的深度。三維模型中上表面面積為坑槽面積(s),其計(jì)算公式如下[12]:
[s=12n=1zxnxn+1ynyn+1], " " " " " " " " " " " (4)
其中,xn、yn為頂點(diǎn)坐標(biāo)。
結(jié)合上下表面積數(shù)據(jù),得到體積(V)的計(jì)算公式:
[V=16dD1,D2,…,DN] 。 " " " " " " (5)
3 坑槽試驗(yàn)
3.1 人工測(cè)量
首先,將精度為0.02 mm的水平尺放置于坑槽之上;其次,使用游標(biāo)卡尺沿坑槽的直徑方向進(jìn)行多次垂直測(cè)量,確保能夠準(zhǔn)確獲取坑槽的最大深度(圖9)。對(duì)于坑槽體積的測(cè)量,一般采用灌砂法,該方法要求先清理坑槽表面,然后利用精度為2 mL的量筒量取砂料并將其倒入坑槽。此時(shí),量得的砂料體積即為坑槽體積。本試驗(yàn)需進(jìn)行3次測(cè)量,并取各組數(shù)據(jù)的平均值作為坑槽參數(shù)的真實(shí)值,確保數(shù)據(jù)的精準(zhǔn)度。
以某廠門前路段為例進(jìn)行病害圖像采集工作,選擇光線充足的地段進(jìn)行拍攝,相機(jī)與道路路面的距離控制在80 cm以內(nèi),采集面積設(shè)定為450 cm×350 cm,這一尺寸略窄于車道的橫斷面。同時(shí),在拍攝過程中,確保相機(jī)光心與地面的夾角大于20°(圖10)。
3.2 圖像處理影響分析
圖像處理方法主要包括濾波法、多分辨率分析法和重建圖片數(shù)量分析法,以下是對(duì)這3種方法的詳細(xì)分析,旨在觀察并比較它們?cè)谔幚韴D像時(shí)展現(xiàn)的不同效果。
3.2.1 濾波法
濾波法分為均值濾波和高斯濾波兩種類型。在數(shù)字圖像處理中,為了減少圖片噪聲對(duì)試驗(yàn)結(jié)果產(chǎn)生的影響,常采用均值濾波與高斯濾波對(duì)信號(hào)進(jìn)行平滑處理。均值濾波通過在圖像上進(jìn)行單位卷積操作,實(shí)現(xiàn)圖像像素的均勻分布,而高斯濾波則為每個(gè)像素分配一個(gè)權(quán)重系數(shù),并利用計(jì)算機(jī)進(jìn)行降噪處理。對(duì)比兩種濾波方法處理后的重建云坐標(biāo)點(diǎn)陣數(shù)量(表1)發(fā)現(xiàn),不同的濾波預(yù)處理方式對(duì)云坐標(biāo)的數(shù)量及重建時(shí)間的影響較小,表明這兩種方法在亮度變化、尺度縮放及旋轉(zhuǎn)等圖像變換方面具有良好的抵抗性[13],能有效削弱噪聲對(duì)實(shí)驗(yàn)數(shù)據(jù)的負(fù)面影響。
3.2.2 多分辨率分析法
三維重建的精度與圖片分辨率之間存在密切的關(guān)聯(lián),因此在實(shí)驗(yàn)過程中所選用的分辨率對(duì)坑槽序列圖片的重建有至關(guān)重要的影響。在進(jìn)行分辨率分析時(shí),以坑槽為中心,在20°~160°的范圍內(nèi),以5度 / 幀的間隔進(jìn)行拍攝,并針對(duì)3組不同分辨率的序列圖片進(jìn)行三維重建(表2)。表2中的重建結(jié)果顯示,分辨率為4 000×3 000時(shí),重建效果最為適宜。在該分辨率下,云坐標(biāo)的數(shù)量充足,既能夠確保重建的精度,又不會(huì)顯著增加重建時(shí)間。
3.2.3 重建圖片數(shù)量分析法
不同圖片的數(shù)量越多,重建信息越豐富,精度越高。對(duì)比不同數(shù)量圖片的4組數(shù)據(jù)(見表3)可以明顯看出,為獲得相對(duì)優(yōu)質(zhì)且稠密的云坐標(biāo),圖片數(shù)量需達(dá)到15張以上。因此,本文選取了20張圖片,并以5度/幀的間隔進(jìn)行坑槽重建。
3.3 試驗(yàn)結(jié)果分析
為了研究三維重建指標(biāo)計(jì)算過程中網(wǎng)絡(luò)劃分所產(chǎn)生的影響,以2號(hào)坑槽樣本數(shù)據(jù)為實(shí)例,通過調(diào)節(jié)模型網(wǎng)格的數(shù)量(從100逐步增至1 000),重復(fù)構(gòu)建模型并進(jìn)行數(shù)據(jù)計(jì)算。網(wǎng)絡(luò)密度計(jì)算誤差如圖11所示,隨著網(wǎng)格數(shù)量的增加,坑槽的最大深度和體積均呈現(xiàn)逐漸減小的趨勢(shì)。
為了獲取相對(duì)優(yōu)質(zhì)且精準(zhǔn)的云坐標(biāo),本文首先采用20張分辨率為4 000×3 000的坑槽照片進(jìn)行三維重建,得到了坑槽模型。其次對(duì)坑槽模型進(jìn)行3次重復(fù)性測(cè)量以提升數(shù)據(jù)的準(zhǔn)確性。最后將處理后的坐標(biāo)數(shù)據(jù)輸入Matlab軟件中,采用精密算法對(duì)坑槽的深度與體積進(jìn)行對(duì)比和分析。坑槽深度對(duì)比見圖12;坑槽體積對(duì)比見圖13。
綜上所述,坑槽的深度和體積的實(shí)測(cè)數(shù)據(jù)與重建數(shù)據(jù)之間存在一定的誤差。這些誤差主要源于相機(jī)本身的參數(shù)差異以及溫度和光照等環(huán)境對(duì)采集效果的影響。盡管如此,誤差仍保持在可接受的范圍內(nèi),并對(duì)坑槽的修補(bǔ)及病害調(diào)查起到了輔助作用。這也證明了三維重建模型在計(jì)算參數(shù)方面的精準(zhǔn)度能夠滿足檢測(cè)工作的要求。
4 結(jié)論
本文利用三維重建技術(shù)對(duì)坑槽進(jìn)行測(cè)量,實(shí)現(xiàn)了坑槽信息的參數(shù)化。此外,基于多視角三維重建理論,總結(jié)了三維重建的計(jì)算公式,分析了預(yù)處理過程中可能遇到的問題并提出了解決方案。
(1)通過三維重建理論,掌握了相機(jī)投影矩陣,明確了極限幾何、基本矩陣F和本質(zhì)矩陣E在多視圖幾何計(jì)算中的基礎(chǔ)作用,闡述了運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的整體架構(gòu)及其細(xì)節(jié),并實(shí)現(xiàn)了兩幅及多幅圖像的三維重建算法。
(2)構(gòu)建了能準(zhǔn)確反映坑槽傷害深度變化的三維重建模型。在云坐標(biāo)預(yù)處理中,明確了相機(jī)坐標(biāo)之間的關(guān)系,并采用“張正友標(biāo)定法”完成相機(jī)標(biāo)定。遵循實(shí)驗(yàn)規(guī)范,獲取了精確的坑槽三維重建云坐標(biāo)數(shù)據(jù),并在Matlab軟件中進(jìn)行坑槽建模及參數(shù)計(jì)算,利用坑槽上下表面的高度差推算出坑槽體積的計(jì)算公式。
(3)通過人工測(cè)量的方式獲取了坑槽的真實(shí)數(shù)值,選取最佳分辨率及合適的圖片數(shù)量,觀察建模網(wǎng)格數(shù)量從100增加至1 000時(shí),坑槽計(jì)算參數(shù)的誤差范圍。最后,選取了20張分辨率為4 000×3 000的坑槽照片進(jìn)行計(jì)算,證明了可以以此為依據(jù),確定合理的網(wǎng)格數(shù)量作為坑槽的檢測(cè)參數(shù)。
5 參考文獻(xiàn)
[1]佚名.數(shù)說交通[J].道路交通管理,2023(12):4-5.
[2]籍石磊.瀝青路面坑槽破損形式分析及機(jī)理研究[J].交通世界,2019(16):56-57.
[3]顧軍華,公路路面破損智能檢測(cè)系統(tǒng)[D].天津:河北工業(yè)大學(xué),2011.
[4]梁棟.基于圖像序列的三維重建技術(shù)及其應(yīng)用[D].西安:西安科技大學(xué),2003.
[5]任鏷.基于幾何造型和圖像的三維重建方法研究[D].太原:山西大學(xué),2014.
[6]朱袁旭.基于多視角圖片的三維重建算法實(shí)現(xiàn)[D].南京:東南大學(xué),2019.
[7]劉姍娜.基于雙目立體視覺圖像匹配和三維空間點(diǎn)重建[D].長(zhǎng)沙:中南大學(xué),2013.
[8]陳玲.基于單目視覺的高速目標(biāo)柔性化位姿測(cè)量技術(shù)[D].大連:大連理工大學(xué),2016.
[9]魏沖.基于數(shù)碼相機(jī)圖像的三維重建技術(shù)研究[D].太原:中北大學(xué),2009.
[10]馮煥飛.三維重建中的相機(jī)標(biāo)定方法研究[D].重慶:重慶交通大學(xué),2013.
[11]竇剛.基于工程視圖的三維重建算法研究與實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2005.
[12]陳玲.基于單目視覺的高速目標(biāo)柔性化位姿測(cè)量技術(shù)[D].大連:大連理工大學(xué),2016.
[13]傅德友,趙秀影,梁心,等.基于點(diǎn)不變特征的亞像素級(jí)圖像配準(zhǔn)技術(shù)[J].光電技術(shù)應(yīng)用,2010,25(3):72-74,80.