關(guān)鍵詞:露天礦山;無人駕駛礦卡;可通行區(qū)域識(shí)別;區(qū)域連通性濾波;時(shí)空連續(xù)補(bǔ)償;點(diǎn)云分割
中圖分類號(hào):TD67 文獻(xiàn)標(biāo)志碼:A
0引言
隨著自動(dòng)駕駛技術(shù)的不斷進(jìn)步及人們對(duì)智能化和自動(dòng)化需求的日益增長,無人駕駛礦用卡車(礦卡)技術(shù)迅速落地使用[1]。與城市結(jié)構(gòu)化道路場景相比,礦山非結(jié)構(gòu)化道路場景具有一定特征,包括激光雷達(dá)點(diǎn)云特征稀疏、道路邊界模糊不清及路面平坦度不一致,這些差異給礦山場景自動(dòng)駕駛技術(shù)帶來了很多挑戰(zhàn)。
無人駕駛礦卡的高效運(yùn)行依賴于對(duì)道路可行駛區(qū)域的精確提取,這不僅是其感知和規(guī)劃能力的核心,也是實(shí)現(xiàn)車輛安全運(yùn)行[2-3]的基礎(chǔ)。三維激光雷達(dá)憑借其高精度、廣泛的感知范圍和強(qiáng)大的魯棒性,在點(diǎn)云分割任務(wù)中變得尤為重要[4]。而礦山道路場景崎嶇不平,道路邊界不清且路面平坦度不一,使得基于單一平面擬合的傳統(tǒng)可通行區(qū)域識(shí)別方法效果較差。加之激光雷達(dá)高線束化產(chǎn)生的大量數(shù)據(jù),對(duì)點(diǎn)云分割方法的實(shí)時(shí)處理能力提出了更高的要求。因此,有必要開發(fā)一種能夠準(zhǔn)確迅速地從礦山道路環(huán)境中分割提取可通行點(diǎn)的方法。
近年來,許多學(xué)者對(duì)三維激光雷達(dá)道路可通行區(qū)域識(shí)別問題進(jìn)行了研究。文獻(xiàn)[5-6]提出基于高斯過程的方法,使用非恒定分辨率的地面模型進(jìn)行處理,提供了連續(xù)的概率表面或基于范圍圖像結(jié)構(gòu)構(gòu)建的地形網(wǎng)格,用于表示地面可通行性。文獻(xiàn)[7-8]提出了基于馬爾可夫隨機(jī)場的方法,考慮了傳感器姿態(tài)和測量不確定性、測量與地圖關(guān)聯(lián)及單元內(nèi)測量融合,通過最大似然估計(jì)來估計(jì)地形粗糙度參數(shù),進(jìn)而獲取地面可通行性。以上方法都取得了較好的可通行區(qū)域識(shí)別效果,但這些方法計(jì)算復(fù)雜度較高,在礦車上搭載的計(jì)算平臺(tái)難以實(shí)現(xiàn)實(shí)時(shí)運(yùn)行。文獻(xiàn)[9]提出了RangeNet++模型,將三維點(diǎn)云投影為二維距離圖像作為網(wǎng)絡(luò)的輸入,實(shí)現(xiàn)了準(zhǔn)確高效的可通行區(qū)域識(shí)別結(jié)果。然而,礦山場景中路面結(jié)構(gòu)不規(guī)則,點(diǎn)云語義標(biāo)簽標(biāo)注難度大,難以構(gòu)建足以供網(wǎng)絡(luò)訓(xùn)練的大規(guī)模數(shù)據(jù)集,因此該類方法在此場景下較難應(yīng)用。文獻(xiàn)[10]將三維點(diǎn)云投影為帶有高程信息的二維柵格地圖,并設(shè)定高程閾值來判斷柵格的可通行性。 文獻(xiàn)[11]在文獻(xiàn)[10]的基礎(chǔ)上為每個(gè)柵格添加了平均高度及協(xié)方差信息,豐富了柵格的可通行性評(píng)價(jià)指標(biāo)。然而,礦山場景下道路常常存在坡度,會(huì)導(dǎo)致單一平面擬合效果變差,造成可通行區(qū)域識(shí)別錯(cuò)誤。文獻(xiàn)[12-13]的多平面擬合方法通過對(duì)扇形柵格內(nèi)的點(diǎn)云擬合直線獲取地面信息,進(jìn)而實(shí)現(xiàn)柵格內(nèi)的可通行點(diǎn)云提取。但該方法因使用的直線模型較為簡單,分割效果易受崎嶇路面影響。文獻(xiàn)[14]將點(diǎn)云沿X 軸分成3 個(gè)部分,并假設(shè)斜坡通常沿此軸變化,但這一假設(shè)在崎嶇道路或復(fù)雜交叉口的情況下可能不成立。為了解決這一問題,文獻(xiàn)[15]引入了一種斜坡魯棒性方法,該方法利用掃描數(shù)據(jù)中連續(xù)的環(huán)形模式及沿徑向方向的區(qū)域來估計(jì)平面的連續(xù)性。然而,該方法沒有考慮激光雷達(dá)在不同距離及不同入射角條件下的差異。針對(duì)該問題,文獻(xiàn)[16]開發(fā)了一種基于點(diǎn)云密度或入射角度的自適應(yīng)方法來設(shè)置網(wǎng)格大小,進(jìn)一步提升了文獻(xiàn)[15]的高程估計(jì)精度。文獻(xiàn)[17]提出了一種基于區(qū)域的可通行區(qū)域識(shí)別方法,根據(jù)激光雷達(dá)的距離,使用近密遠(yuǎn)疏的同心區(qū)域模型進(jìn)行地面分割,然而該方法測量噪聲存在一些異常值。在文獻(xiàn)[17]的基礎(chǔ)上,文獻(xiàn)[18]優(yōu)化了基于反射噪聲原理的異常值移除方法,并增強(qiáng)遺漏點(diǎn)云的恢復(fù)。然而,該方法對(duì)于崎嶇度多變的場景難以實(shí)現(xiàn)魯棒的地面分割。
針對(duì)礦山道路場景特點(diǎn),本文提出了一種基于時(shí)空連續(xù)補(bǔ)償?shù)牡V山可通行區(qū)域識(shí)別方法。分別利用區(qū)域生成方法和基于密度的噪聲應(yīng)用空間聚類方法,對(duì)初始可通行區(qū)域進(jìn)行區(qū)域級(jí)別連通性濾波及點(diǎn)級(jí)別連通性濾波,并根據(jù)濾波結(jié)果得到符合空間連通性的可通行區(qū)域?;跁r(shí)間區(qū)域一致性對(duì)不同點(diǎn)云幀中可通行性不一致的不穩(wěn)定區(qū)域進(jìn)行濾除,根據(jù)正態(tài)分布變換方法構(gòu)建柵格地圖,再利用時(shí)間穩(wěn)定權(quán)重判斷柵格穩(wěn)定性,最終通過區(qū)域柵格投影實(shí)現(xiàn)不穩(wěn)定區(qū)域的濾除。
1方法概述
基于時(shí)空連續(xù)補(bǔ)償?shù)牡V山可通行區(qū)域識(shí)別方法包括自適應(yīng)平面擬合、連通性地面濾波、時(shí)序地面濾波3 個(gè)部分,如圖1 所示。三維激光雷達(dá)點(diǎn)云為輸入數(shù)據(jù),經(jīng)過可通行區(qū)域識(shí)別后得到可通行點(diǎn)云和不可通行點(diǎn)云2 種輸出數(shù)據(jù)。
1.2連通性地面濾波
初始可通行區(qū)域識(shí)別結(jié)果中存在一些距離車輛較遠(yuǎn)的點(diǎn),盡管滿足了高程、垂直度及平坦度的要求,被分類為可通行點(diǎn),但是這些點(diǎn)被不可通行點(diǎn)完全包裹住,車輛實(shí)際上并不能到達(dá)此類可通行點(diǎn),因此將此類點(diǎn)劃分為不可通行點(diǎn)。連通性地面濾波方法可分為區(qū)域?yàn)V波及點(diǎn)濾波2 部分。
1.2.1區(qū)域?yàn)V波
設(shè)所有符合垂直度和平坦度閾值的可通行區(qū)域組成區(qū)域集合Z。對(duì)于集合Z中的每一個(gè)可通行區(qū)域元素,使用區(qū)域生長方法獲取區(qū)域與車輛之間的連通性。
在初始化階段,任取區(qū)域集合Z中的一個(gè)可通行區(qū)域zi,查詢當(dāng)前區(qū)域上下左右4 個(gè)鄰域的可通行性,將其中可通行的鄰域加入?yún)^(qū)域集合L中,并繼續(xù)迭代遍歷集合L中的元素,在遍歷全部區(qū)域元素后,若集合內(nèi)存在車輛所在區(qū)域,則將全部區(qū)域標(biāo)記為連通區(qū)域,否則標(biāo)記為非連通區(qū)域。然后,繼續(xù)任選區(qū)域集合Z中未被連通標(biāo)記過的可通行區(qū)域zj,并重復(fù)初始化操作,直到遍歷區(qū)域集合Z中的全部元素。對(duì)于不符合連通性要求的所有非連通區(qū)域,將該區(qū)域更改為不可通行區(qū)域,區(qū)域中所有點(diǎn)標(biāo)記為不可通行點(diǎn)。
1.2.2點(diǎn)濾波
在對(duì)可通行點(diǎn)進(jìn)行區(qū)域級(jí)別濾波后,還需對(duì)符合連通性的可通行區(qū)域進(jìn)一步進(jìn)行點(diǎn)級(jí)別的地面濾波操作。
首先,將區(qū)域?yàn)V波得到的全部連通區(qū)域中的點(diǎn)構(gòu)建為點(diǎn)集C;然后,使用基于密度的噪聲應(yīng)用空間聚類(Density-Based Spatial Clustering of Applicationwith Noise, DBSCAN)方法[20]遍歷點(diǎn)集中的所有點(diǎn),劃分出不符合密度要求的離群點(diǎn)。該類點(diǎn)周圍相鄰點(diǎn)密度較小,連通性較低,因此將其歸類為不可通行點(diǎn),其余中心點(diǎn)仍保存為可通行點(diǎn)。
1.3時(shí)序地面濾波
在自適應(yīng)平面擬合后,被分類為可通行的區(qū)域可能是時(shí)序不穩(wěn)定的。在連續(xù)幾幀激光點(diǎn)云中(時(shí)間小于1 s),理論上一個(gè)區(qū)域的幾何特征不會(huì)發(fā)生較大變化,該區(qū)域的可通行性也應(yīng)保持不變。因此,一旦出現(xiàn)在連續(xù)幾幀激光點(diǎn)云中方法對(duì)于同一個(gè)區(qū)域的可通行性判斷發(fā)生變化,則稱該方法出現(xiàn)了時(shí)序不穩(wěn)定問題。
時(shí)序不穩(wěn)定問題主要與方法的自適應(yīng)閾值調(diào)整有關(guān)。為了提高方法對(duì)于礦山崎嶇道路的適應(yīng)性,在設(shè)置區(qū)域各參數(shù)閾值時(shí),會(huì)根據(jù)區(qū)域周圍鄰域的平整條件自適應(yīng)更新。這種方法雖然實(shí)現(xiàn)了單幀點(diǎn)云分割效果對(duì)于不同崎嶇程度路面的適應(yīng)性,但由于車輛運(yùn)動(dòng),導(dǎo)致以車體為中心的區(qū)域劃分結(jié)果改變,造成同一區(qū)域鄰域的粗糙度發(fā)生變化,進(jìn)而在自適應(yīng)閾值調(diào)整后導(dǎo)致閾值更改。因此,對(duì)于同一區(qū)域不同時(shí)間戳的道路可通行區(qū)域識(shí)別結(jié)果出現(xiàn)分歧,從而形成不穩(wěn)定區(qū)域。
為濾除不穩(wěn)定區(qū)域,首先,通過激光里程計(jì)Fast?LIO[21]估計(jì)相鄰幀間點(diǎn)云的位姿變換關(guān)系,并使用正態(tài)分布變換方法(Normal Distribution Transform,NDT)[22]構(gòu)建高程可通行柵格地圖。然后,根據(jù)時(shí)間衰減公式計(jì)算每個(gè)柵格的穩(wěn)定性,并將小于穩(wěn)定性閾值sτ的區(qū)域分類為不穩(wěn)定柵格。最后,通過區(qū)域柵格投影獲取區(qū)域中穩(wěn)定性柵格所占比例q,將小于比例閾值qτ的區(qū)域視為不穩(wěn)定區(qū)域,即將該區(qū)域中的所有點(diǎn)標(biāo)記為不可通行點(diǎn)。
2測試設(shè)置
目前公開數(shù)據(jù)集中沒有礦山道路場景,因此,本文采用無人駕駛礦卡測試平臺(tái)在露天礦山場景下錄制了礦山場景數(shù)據(jù)集。
2.1測試平臺(tái)介紹
用于采集礦山場景數(shù)據(jù)集的無人駕駛礦卡測試平臺(tái)如圖2 所示。礦卡在車輛前方和后方共配置了2 臺(tái)Livox?HAP 固態(tài)激光雷達(dá),用于車輛感知,并使用Nvidia Orin 作為上位工控機(jī)。
2.2測試數(shù)據(jù)采集與真值標(biāo)注
礦山鏟裝區(qū)域中石塊等障礙物較多,路面較主路更加崎嶇,對(duì)礦山可通行區(qū)域識(shí)別方法更具挑戰(zhàn)性,因此將該場景作為數(shù)據(jù)集的目標(biāo)場景。礦山鏟裝區(qū)區(qū)域如圖3所示。
本文方法的應(yīng)用場景為礦山鏟裝區(qū),其道路往往缺少清晰邊界且崎嶇不平,自動(dòng)化真值標(biāo)注方法的標(biāo)注質(zhì)量不佳。因此,根據(jù)礦山實(shí)際生產(chǎn)經(jīng)驗(yàn),使用點(diǎn)云處理工具CloudCompare 對(duì)礦山鏟裝區(qū)域點(diǎn)云數(shù)據(jù)集進(jìn)行可通行性語義真值標(biāo)注。標(biāo)注后的點(diǎn)云如圖4(俯視圖)、圖5(正視圖)所示,其中橙色山體點(diǎn)云和綠色挖機(jī)點(diǎn)云為不可通行點(diǎn)云,藍(lán)色地面部分代表可通行點(diǎn)云。數(shù)據(jù)集共標(biāo)注點(diǎn)云20幀。
3方法測試
本文進(jìn)行方法測試的計(jì)算平臺(tái)配置: i7?12700H 處理器、RTX 3060 顯卡及40 GiB 內(nèi)存,系統(tǒng)環(huán)境為Ubuntu 20. 04。
為定量評(píng)估對(duì)比各方法的分割精度,本文采用精度(Precision)和召回率(Recall)2 個(gè)指標(biāo)進(jìn)行分析,精度和召回率越高,說明方法的可通行區(qū)域識(shí)別效果越好。
選取多平面擬合方法Patchwork++[18]和單平面擬合方法RANSAC[23]與本文方法進(jìn)行對(duì)比。為評(píng)估各可通行區(qū)域識(shí)別方法在礦山數(shù)據(jù)集中的平均表現(xiàn)效果,對(duì)所有點(diǎn)云幀的精確率P和召回率R取平均值,并計(jì)算點(diǎn)云分割的平均時(shí)間,對(duì)比結(jié)果見表1 。
由表1 可看出,本文方法的精度較Patchwork++方法提升了2.27%,召回率提升了8.26%,方法處理每幀點(diǎn)云的平均耗時(shí)為49 ms,滿足場景可通行區(qū)域識(shí)別的實(shí)時(shí)性要求。
為驗(yàn)證本文方法在連通性濾波部分的優(yōu)化效果,選取數(shù)據(jù)集中點(diǎn)云感知道路區(qū)域存在不連通問題的場景進(jìn)行驗(yàn)證,如圖6 所示。從圖6(a)可看出,紫色框區(qū)域中點(diǎn)云與當(dāng)前車輛位置并不連通。 本文方法將紫色框中所有點(diǎn)云均判定為不可通行點(diǎn),而Patchwork++方法和RANSAC 方法在紫色框中均出現(xiàn)錯(cuò)檢情況,證明了本文方法在道路不連通區(qū)域仍能實(shí)現(xiàn)準(zhǔn)確的可通行區(qū)域識(shí)別。
3種方法的時(shí)序穩(wěn)定性對(duì)比如圖7 所示。選取圖7 中紫色框區(qū)域的點(diǎn)云為主要研究對(duì)象。由于時(shí)序不穩(wěn)定問題是因多平面擬合方法的不合理區(qū)域劃分導(dǎo)致,基于單平面擬合的RANSAC 方法不會(huì)出現(xiàn)時(shí)序穩(wěn)定性問題,因而本測試的主要對(duì)比對(duì)象為基于多平面擬合的Patchwork++方法。從圖7(a)可看出,紫色框區(qū)域在3 幀點(diǎn)云中(即0.3 s 時(shí)間內(nèi))均為可通行。Patchwork++方法檢測結(jié)果在第2 幀中將紫色框中的點(diǎn)云識(shí)別為不可通行,即出現(xiàn)了不穩(wěn)定的檢測效果。本文方法將3 幀點(diǎn)云中紫色框區(qū)域點(diǎn)云識(shí)別為可通行,實(shí)現(xiàn)了穩(wěn)定的檢測效果,證明了本文方法為時(shí)序穩(wěn)定的多平面擬合方法。
4結(jié)論
1) 提出了一種基于時(shí)空連續(xù)補(bǔ)償?shù)牡V山可通行區(qū)域識(shí)別方法。該方法首先對(duì)激光點(diǎn)云進(jìn)行自適應(yīng)平面擬合,得到初始可通行區(qū)域識(shí)別結(jié)果;然后基于空間連通性對(duì)可通行區(qū)域進(jìn)行區(qū)域?yàn)V除和點(diǎn)濾除;最后基于時(shí)間區(qū)域一致性對(duì)不穩(wěn)定的可通行區(qū)域進(jìn)行濾除。
2) 經(jīng)礦山實(shí)地測試,基于時(shí)空連續(xù)補(bǔ)償?shù)牡V山可通行區(qū)域識(shí)別方法的精確率為93.44%,較現(xiàn)有主流方法提升2.27%;召回率為99.14%,較現(xiàn)有主流方法提升8.26%。
3) 通過連通性測試驗(yàn)證了基于時(shí)空連續(xù)補(bǔ)償?shù)牡V山可通行區(qū)域識(shí)別方法對(duì)非連通場景的魯棒性。
4) 通過穩(wěn)定性測試驗(yàn)證了基于時(shí)空連續(xù)補(bǔ)償?shù)牡V山可通行區(qū)域識(shí)別方法對(duì)平坦度變化劇烈場景的魯棒性。