周夢(mèng)如，陳慧巖，熊光明，關(guān)海杰，劉慶霄

(北京理工大學(xué) 機(jī)械與車輛學(xué)院, 北京 100081)

0 引言

環(huán)境感知技術(shù)是無人平臺(tái)中最重要的一環(huán)[1],道路的可通行性分析作為環(huán)境感知系統(tǒng)首先要解決的問題之一，為平臺(tái)提供了周圍環(huán)境的可通行性地圖，是后續(xù)駕駛決策和規(guī)劃控制的基礎(chǔ)[2]。然而，目前對(duì)道路可通行性的分析研究多針對(duì)路面平坦、道路邊界清晰的城市道路，對(duì)于越野環(huán)境，其路面屬性多，起伏程度不一，道路邊界不夠顯著，這些問題給道路的可通行性分析帶來了巨大挑戰(zhàn)。

針對(duì)越野環(huán)境的可通行性分析，目前的主流方案可以按照輸入分成基于點(diǎn)云的方案、基于圖像的方案和基于點(diǎn)云和圖像融合的方案。以點(diǎn)云為輸入的方案主要利用點(diǎn)云的幾何和拓?fù)湫畔z測(cè)可通行區(qū)域，以構(gòu)建環(huán)境局部地圖。袁夏等[3]以激光雷達(dá)點(diǎn)云作為輸入，基于最大熵的模糊模型和時(shí)空關(guān)聯(lián)分析對(duì)可通行區(qū)域進(jìn)行了提取。劉忠澤等[4]則提出一種拓?fù)鋵哟蔚貓D，將整個(gè)地圖劃分為多個(gè)具有層級(jí)結(jié)構(gòu)的三維體素子地圖，進(jìn)而對(duì)環(huán)境的可通行性進(jìn)行表示。這些方法大多通過環(huán)境的距離、幾何信息進(jìn)行檢測(cè)，難以識(shí)別路面屬性，對(duì)于崎嶇地面、雜草元素不規(guī)則出現(xiàn)的越野環(huán)境準(zhǔn)確度較差。

早期的相機(jī)圖像方法大多基于人工設(shè)計(jì)的圖像特征進(jìn)行像素分類，隨著深度學(xué)習(xí)方法的興起，圖像語義分割研究逐步涌現(xiàn)。黃庭鴻等[5]對(duì)特征進(jìn)行分區(qū)塊自適應(yīng)加權(quán)融合，有效提高了實(shí)時(shí)語義分割精度。針對(duì)越野環(huán)境數(shù)據(jù)集數(shù)據(jù)量較少、場(chǎng)景單一、類別不平衡等缺點(diǎn)，遷移學(xué)習(xí)[6]、對(duì)比學(xué)習(xí)[7]等方法被應(yīng)用于越野環(huán)境的語義分割任務(wù)。但一般的語義分割輸出在2D圖像空間中，缺乏對(duì)地面的幾何描述，在復(fù)雜的越野環(huán)境中平臺(tái)規(guī)劃控制需要更多信息[8]。

點(diǎn)云和圖像融合的方案綜合了點(diǎn)云的距離信息和圖像的色彩紋理信息。Chen等[9]提出了自適應(yīng)的基于高度差的點(diǎn)云變換和級(jí)聯(lián)特征融合結(jié)構(gòu)，在KITTI道路檢測(cè)數(shù)據(jù)集上取得了比較好的檢測(cè)效果，但主要針對(duì)的還是城市環(huán)境。Maturana等[10]構(gòu)建了一個(gè)包含語義和幾何信息的2.5D柵格地圖，但其幾何特征僅包含地面高度，沒有考慮相鄰柵格的高度梯度關(guān)系。

目前深度學(xué)習(xí)方法通常具有能夠適應(yīng)多種不同類型環(huán)境的優(yōu)勢(shì)，但代價(jià)是需要大量的數(shù)據(jù)離線訓(xùn)練。而關(guān)于越野地面幾何特征描述的點(diǎn)云數(shù)據(jù)集幾乎沒有，并且無法考慮數(shù)據(jù)與特定平臺(tái)的幾何通過性約束，所提取出的可通行區(qū)域無法給予規(guī)劃控制強(qiáng)引導(dǎo)作用。另外，對(duì)于復(fù)雜越野環(huán)境，僅依靠語義分割結(jié)果，準(zhǔn)確度不高，對(duì)地面的幾何分析可以彌補(bǔ)分割不準(zhǔn)確的缺陷。

本文提出一種由激光雷達(dá)和可見光相機(jī)作為傳感器的道路幾何通行性分析方法，基于圖像語義分割方法獲得道路表面屬性并大致劃分出可通行區(qū)域，提取三維點(diǎn)云特征描述地面幾何信息。在結(jié)合無人履帶平臺(tái)幾何通過性約束的基礎(chǔ)上，利用高斯混合聚類對(duì)道路的可通行性進(jìn)行分類，并且采用3D可通行性柵格地圖對(duì)環(huán)境的可通行程度進(jìn)行描述，同時(shí)利用相對(duì)定位信息不斷更新柵格地圖。通過實(shí)車試驗(yàn)證明，本文提出的道路可通行性分析方法為無人履帶平臺(tái)理解復(fù)雜越野道路環(huán)境提供了良好的支撐，有利于平臺(tái)安全高效地自主導(dǎo)航。

1 系統(tǒng)框架

本文旨在實(shí)現(xiàn)一種適用于復(fù)雜越野環(huán)境的道路可通行性分析系統(tǒng)。如圖1所示，該系統(tǒng)框架分為三個(gè)部分：可通行區(qū)域粗提取、道路可通行性分析以及可通行性地圖構(gòu)建。基于拓?fù)渎窂綄?shí)時(shí)采集的可見光相機(jī)圖像和激光雷達(dá)點(diǎn)云共同作為該系統(tǒng)的輸入。

激光雷達(dá)點(diǎn)云探測(cè)距離準(zhǔn)確，但缺少顏色紋理信息，且數(shù)據(jù)量較大。為了減少后續(xù)道路可通行性分析時(shí)點(diǎn)云量的輸入，加快算法運(yùn)行速度，需要利用圖像語義分割結(jié)果獲取語義點(diǎn)云，完成可通行區(qū)域的粗提取。采用雙通道卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，進(jìn)行圖像像素級(jí)分類，并基于傳感器坐標(biāo)系轉(zhuǎn)換關(guān)系將圖像語義分割結(jié)果轉(zhuǎn)化為語義點(diǎn)云，在考慮履帶平臺(tái)較強(qiáng)的通行能力和場(chǎng)景語義理解的基礎(chǔ)上進(jìn)行可通行區(qū)域內(nèi)點(diǎn)云的提取。

點(diǎn)云獲取關(guān)于路面屬性的語義信息后，還需要根據(jù)其幾何特征及平臺(tái)的通過性約束進(jìn)一步對(duì)道路的可通行性進(jìn)行分析。首先提取點(diǎn)云局部特征向量，用于描述道路的坡度、不平度等幾何信息。其次考慮道路的可通行程度與平臺(tái)幾何通過性約束的強(qiáng)耦合關(guān)系，分析履帶平臺(tái)在不同屬性道路上的縱向、橫向行駛及跨越垂直墻穩(wěn)定性能。在此基礎(chǔ)上，利用高斯混合聚類將各類不同屬性道路進(jìn)行可通行程度的分類。

針對(duì)可通行性地圖構(gòu)建，采用3D可通行性柵格地圖對(duì)環(huán)境的可通行性進(jìn)行表示，主要包括單幀地圖構(gòu)建與多幀地圖融合兩個(gè)部分。單幀地圖構(gòu)建基于貝葉斯核推理方法，將帶有類別語義和可通行性信息的點(diǎn)云進(jìn)行三維柵格重建，獲取柵格的類別語義和可通行性概率。多幀地圖融合利用了激光雷達(dá)里程計(jì)的相對(duì)定位信息不斷更柵格占據(jù)狀態(tài)及語義和可通行性的估計(jì)。

2 基于圖像語義的可通行區(qū)域粗提取

考慮激光雷達(dá)點(diǎn)云探測(cè)距離準(zhǔn)確與相機(jī)圖像色彩紋理信息豐富的特點(diǎn)，利用圖像進(jìn)行可通行區(qū)域特征識(shí)別，獲取周圍環(huán)境語義標(biāo)簽，并基于傳感器坐標(biāo)系轉(zhuǎn)換關(guān)系將圖像識(shí)別結(jié)果賦予點(diǎn)云，最后通過語義映射區(qū)分出可通行區(qū)域，以實(shí)現(xiàn)可通行區(qū)域內(nèi)點(diǎn)云的初步提取。

2.1 圖像語義分割

基于圖像進(jìn)行可通行區(qū)域特征識(shí)別，需要在圖像上提取與可通行區(qū)域有關(guān)的特征。早期的圖像特征主要由人工設(shè)計(jì)特征描述子和特征提取方式。近年來，基于深度神經(jīng)網(wǎng)絡(luò)的圖像特征提取展現(xiàn)出較強(qiáng)的特征自動(dòng)提取能力和學(xué)習(xí)能力，并逐漸應(yīng)用在圖像語義分割領(lǐng)域。

在語義分割任務(wù)中，由于需要在原始圖像空間對(duì)每個(gè)像素進(jìn)行分類，為保持網(wǎng)絡(luò)性能的優(yōu)越，需要盡可能地用到圖像的原始尺寸信息或高分辨率信息。一種方法是取消下采樣和相應(yīng)的上采樣操作，以保持高分辨率的特征表示，如PSPNet[11]、Deeplabv3[12]等；另一種方法是利用編碼器-解碼器的結(jié)構(gòu)來擴(kuò)大特征圖尺寸，如Seg-Net[13]、HRNet[14]等。這兩類網(wǎng)絡(luò)都同時(shí)對(duì)低層細(xì)節(jié)和高層語義進(jìn)行編碼，雖然它們達(dá)到了較高的精度，但大多數(shù)方法的推理速度很慢。

BiSeNet V2[15]則是一種雙邊分割架構(gòu)，可以分別處理空間細(xì)節(jié)和分類語義，寬通道淺層數(shù)的細(xì)節(jié)分支用于捕獲低層細(xì)節(jié)并生成高分辨率的特征表示，窄通道深層數(shù)的語義分支用于獲取高層次語義語境，同時(shí)語義分支采用減少通道容量和快速下采樣的策略進(jìn)行輕量化處理，以實(shí)現(xiàn)在分割精度和推理速度之間的良好權(quán)衡。

對(duì)于越野環(huán)境，影響無人平臺(tái)通行的環(huán)境因素主要包括土路、鋪面路、草地、灌木及其他障礙物。本文通過使用完整的BiSeNet V2網(wǎng)絡(luò)在數(shù)據(jù)集上訓(xùn)練來提取圖像特征，以實(shí)現(xiàn)上述6種類別的像素級(jí)分類。由于BiSeNet V2包含了一種增強(qiáng)訓(xùn)練策略，損失函數(shù)采用1個(gè)主損失函數(shù)和4個(gè)輔助損失函數(shù)組合的形式，5個(gè)損失函數(shù)均定義為逐像素的交叉熵?fù)p失函數(shù)：

(1)

式中：W、H分別為圖像的寬和高；N為分類的類別數(shù)；Iij為符號(hào)變量，當(dāng)像素i的真實(shí)類別等于類別j時(shí)取1，否則為0；pij為像素i屬于類別j的概率。通過遍歷圖像上每個(gè)像素計(jì)算其分類的交叉熵?fù)p失，最終累加得到總的損失函數(shù)值。

2.2 基于語義映射的可通行區(qū)域粗提取

為賦予點(diǎn)云關(guān)于路面屬性的語義信息，同時(shí)過濾無用點(diǎn)云，減少后續(xù)點(diǎn)云量的輸入，需要基于傳感器坐標(biāo)系轉(zhuǎn)換關(guān)系將圖像分割結(jié)果轉(zhuǎn)化為語義點(diǎn)云，并通過語義映射大致提取可通行區(qū)域內(nèi)點(diǎn)云。

(2)

(3)

式中：(u,v)為圖像像素坐標(biāo)系中的像素坐標(biāo)值；dx、dy分別表示單個(gè)像素在U軸、V軸方向上的物理尺寸；u0、v0表示由圖像物理坐標(biāo)系原點(diǎn)到圖像像素坐標(biāo)系原點(diǎn)的平移像素量；f為相機(jī)焦距；(xc,yc,zc)為相機(jī)坐標(biāo)系中點(diǎn)Pc的坐標(biāo)值。

從點(diǎn)云中篩選一定距離和高度范圍內(nèi)的點(diǎn)投影到圖像原始像素上，投影后點(diǎn)的顏色設(shè)置為像素位置對(duì)應(yīng)的類別顏色，并賦予同樣的分類信息，點(diǎn)云語義投影效果如圖2所示。圖2左側(cè)為原始點(diǎn)云，右側(cè)分別為原始圖像、圖像分割結(jié)果和點(diǎn)云投影結(jié)果，在圖像分割結(jié)果中，灰色代表鋪面路，淺綠色代表草地，深綠色代表灌木，紅色代表其他障礙物，藍(lán)色為背景。

獲取語義點(diǎn)云后，需要基于語義映射大致提取出可通行區(qū)域?？紤]履帶平臺(tái)的通行能力較強(qiáng)，因此認(rèn)為語義類別中的鋪面路、土路和草地均為可通行區(qū)域，即為可行駛道路，灌木和其他障礙物為不可通行區(qū)域。對(duì)于不可通行區(qū)域的點(diǎn)云，直接賦予不可通行屬性，后續(xù)只對(duì)可通行區(qū)域的點(diǎn)云進(jìn)行特征分析。

3 基于點(diǎn)云特征的道路可通行性分析

在復(fù)雜的越野環(huán)境中，道路起伏較大，多有縱坡、橫坡等，且松軟的泥土導(dǎo)致路面車轍多且深，平整度較差。場(chǎng)景語義信息輸出在二維圖像空間中，缺乏對(duì)地面的幾何描述，因此在獲取路面屬性信息后，還需要根據(jù)三維點(diǎn)云的幾何特征及平臺(tái)的幾何通過性約束，進(jìn)一步對(duì)道路的可通行性進(jìn)行分析。

3.1 點(diǎn)云特征提取

為描述道路的幾何特征，在Bellone等[16]的啟發(fā)下提出了不均勻點(diǎn)局部描述符的概念，全面描述點(diǎn)云中每個(gè)點(diǎn)相關(guān)聯(lián)的潛在幾何信息，用于分析坡道、溝壑等復(fù)雜場(chǎng)景。另外，不均勻點(diǎn)局部描述符的估計(jì)不僅考慮了鄰域內(nèi)點(diǎn)的幾何性質(zhì)，還間接考慮了各鄰域點(diǎn)的鄰域內(nèi)點(diǎn)幾何性質(zhì)，提高了可通行性檢測(cè)的準(zhǔn)確性和魯棒性。

考慮點(diǎn)云中一查詢點(diǎn)Pq，其鄰域表示為Pq,m(m為鄰域內(nèi)點(diǎn)的數(shù)量)，則點(diǎn)Pq的局部描述符定義為U(Pq,Pq,m)={nq,x,nq,y,nq,z,lq,m},其中各元素的定義如(4)式和(5)式所示：

(4)

(5)

式中：nk(k=1,2,…,m)為各點(diǎn)的法向量，可通過計(jì)算鄰域點(diǎn)構(gòu)建的協(xié)方差矩陣的最小特征值對(duì)應(yīng)的特征向量得到；x、y、z分別為車體水平坐標(biāo)系三軸的單位向量，車體水平坐標(biāo)系OXYZ為車體坐標(biāo)系O′X′Y′Z′經(jīng)平臺(tái)俯仰角和側(cè)傾角修正后得到，平臺(tái)向右為X′軸正方向，正前方為Y′軸正方向，向上為Z′軸正方向，示意圖如圖3所示。通過將查詢點(diǎn)鄰域內(nèi)點(diǎn)的法向量求和得到nq,m，提供了局部表面的全局方向信息，而lq,m則評(píng)估了局部的粗糙程度，可以解釋為局部的負(fù)不平度指數(shù)。

在不均勻點(diǎn)局部描述符的基礎(chǔ)上，進(jìn)一步提取點(diǎn)云的局部特征向量Fq={fq,1,fq,2,fq,3}。各特征具體解釋如下：

·fq,1：查詢點(diǎn)及其鄰域點(diǎn)的法向量矢量和的模的均值，可以表示道路的不平度信息。

fq,1=lq,m

(6)

·fq,2：查詢點(diǎn)及其鄰域點(diǎn)的法向量矢量和在車體水平坐標(biāo)系OXY平面投影與Z軸的夾角，表示縱坡坡度。

(7)

·fq,3：查詢點(diǎn)及其鄰域點(diǎn)的法向量矢量和在車體水平坐標(biāo)系OXZ平面投影與Z軸的夾角，表示橫坡坡度。

(8)

3.2 履帶平臺(tái)幾何通過性分析

道路的可通行程度與履帶平臺(tái)的幾何通過性具有強(qiáng)耦合關(guān)系，因此需要考慮平臺(tái)的縱坡行駛能力、橫坡行駛能力及跨越垂直墻的能力，即在縱坡、橫坡及垂直墻上行駛時(shí)不發(fā)生傾覆或滑動(dòng)的穩(wěn)定性能[17]，本文僅考慮平臺(tái)在等速直線行駛時(shí)的幾何通過性問題。

3.2.1 平臺(tái)縱向通過性分析

平臺(tái)縱向受力簡(jiǎn)圖如圖4所示。圖4中，v表示平臺(tái)運(yùn)動(dòng)方向，lf為前負(fù)重輪著地點(diǎn)到平臺(tái)質(zhì)心距離，L為履帶接地長(zhǎng)度，G為平臺(tái)重力，αu為縱坡上坡角，αd為縱坡下坡角，hg為平臺(tái)質(zhì)心高度。平臺(tái)的縱向上坡穩(wěn)定角、下坡穩(wěn)定角分別為

αu,max=min(αu,1,αu,2,α′)

(9)

αd,max=min(αd,1,αd,2,α′)

(10)

另外，不同尺寸大小的平臺(tái)對(duì)縱坡的連續(xù)長(zhǎng)度應(yīng)該有不同的定義，在本文中認(rèn)為縱坡長(zhǎng)度應(yīng)大于等于履帶接地長(zhǎng)度。

3.2.2 平臺(tái)橫向通過性分析

平臺(tái)橫向受力簡(jiǎn)圖如圖5所示。圖5中，β為橫坡角度，B為履帶中心距，b為履帶接地寬度，e為質(zhì)心偏離縱向平面的距離，F(xiàn)z1、Fz2為地面垂向反作用力，F(xiàn)y1、Fy2為地面橫向反作用力。

其橫向穩(wěn)定角βmax可由(11)式得到：

βmax=min(β,β′)

(11)

不同尺寸大小的平臺(tái)對(duì)橫坡的寬度應(yīng)該也有不同的考慮，在本文中認(rèn)為橫坡寬度應(yīng)大于等于履帶中心距。

3.2.3 平臺(tái)跨越垂直墻通過性分析

履帶平臺(tái)跨越垂直墻時(shí)，分為前段履帶接觸壁緣、前端負(fù)重輪升上壁緣、重心前進(jìn)至與垂直壁緣線重合的位置以及平緩地與垂直壁的頂部平面接觸4個(gè)階段。平臺(tái)能跨越的垂直墻最高高度主要與第1和第3階段有關(guān)。第1和第3階段的受力簡(jiǎn)圖如圖6所示。圖6中，hd為主動(dòng)輪中心離地距離，rd為主動(dòng)輪半徑，H1=hd-rd為第一階段垂直墻最大高度，H2=(L-lf-hgtanδ)sinδ為第三階段垂直墻最大高度，δ為此時(shí)履帶傾斜角，δ≤αu,max。

平臺(tái)能跨越的垂直墻最高高度為

Hmax=min(H1,H2)

(12)

當(dāng)繼續(xù)增大垂直墻高度時(shí)，平臺(tái)重心始終無法與垂直壁緣線重合，即無法通過該垂直墻。

3.3 基于高斯混合聚類的可通行性分析

為描述道路的可通行程度，可以將各類不同屬性道路按照其地面幾何特點(diǎn)劃分為5個(gè)等級(jí)，分別為容易通行、較難通行、困難通行、不可通行和未知通行。容易通行為道路較平坦區(qū)域；較難通行為存在緩坡或地面不平度較差區(qū)域；困難通行為存在可通行陡坡或可通行垂直墻區(qū)域；不可通行為超過平臺(tái)通過性約束的區(qū)域；未知通行為距離車體較遠(yuǎn)或點(diǎn)云局部密度過于稀疏的區(qū)域。

高斯混合模型(GMM)是一種常用的無監(jiān)督聚類方法，其采用概率模型來表達(dá)聚類原型，可以擬合出任意形狀的數(shù)據(jù)分布。由于GMM并不是通過硬截?cái)噙M(jìn)行分割類別，而是估計(jì)每個(gè)樣本點(diǎn)屬于各類別的概率，因此相比于k-Means算法，其魯棒性更好，更適用于數(shù)據(jù)分布不均勻且各類數(shù)據(jù)間有相關(guān)關(guān)系的情況下。

本文針對(duì)上述提取得到的點(diǎn)云特征，利用履帶平臺(tái)的幾何通過性約束、點(diǎn)云語義信息和點(diǎn)云局部密度對(duì)數(shù)據(jù)進(jìn)行過濾，即不滿足平臺(tái)幾何通過性約束的點(diǎn)云直接賦予不可通行屬性，局部密度稀疏的點(diǎn)云直接賦予未知屬性。由于點(diǎn)云各特征值取值范圍相差較大，在離線訓(xùn)練前，可先對(duì)特征值進(jìn)行均值歸一化處理。對(duì)于處理后的點(diǎn)云，利用GMM進(jìn)行多元聚類，得到容易通行、較難通行和困難通行三類可通行度標(biāo)簽。GMM的概率密度函數(shù)可以表示為

(13)

式中：Fq為點(diǎn)云特征向量；K為可通行度標(biāo)簽數(shù)目；ai為各高斯分量的先驗(yàn)概率值；g(Fq|μi,Σi)為高斯模型概率密度函數(shù)，

g(Fq|μi,Σi)=

(14)

n為變量Fq的數(shù)據(jù)維度，μi、Σi為各高斯分量的均值向量和協(xié)方差矩陣。

利用EM算法對(duì)模型進(jìn)行訓(xùn)練，可得到不同屬性路面的GMM，其參數(shù)即為所求的ai、μi、Σi，語義標(biāo)簽為d的點(diǎn)云中第i個(gè)點(diǎn)的聚類標(biāo)簽可以表示為

(15)

利用訓(xùn)練得到的GMM，便可以結(jié)合點(diǎn)云特征和履帶平臺(tái)的幾何通過性約束分析各類型路面的可通行性，具體流程如算法1所示。

算法1 道路可通行性分析算法

1.For點(diǎn)云各點(diǎn)Pido

2. 計(jì)算Pi到車體中心的距離li

3. 計(jì)算Pi鄰域內(nèi)點(diǎn)數(shù)mi

4. ifli≤距離閾值且mi≥點(diǎn)數(shù)閾值then

5. 根據(jù)(4)式、(5)式計(jì)算Pi的局部描述符

6. 根據(jù)(6)式～(8)式計(jì)算Pi特征向量

7. elsePi為未知屬性

8.End for

9.For篩選距離和密度后點(diǎn)云各點(diǎn)Pjdo

10. iffq,2<-αu,max或fq,2>αd,maxthen

11. 計(jì)算Y軸方向同樣滿足該約束的點(diǎn)最大縱向距離差值Yj

12. 計(jì)算Z軸方向同樣滿足該約束的點(diǎn)最大縱向距離差值Zj

13. ifYj≥縱坡長(zhǎng)度閾值 或Zj≥Hmaxthen

14.Pj為不可通行屬性

15. if|fq,3|>βmaxthen

16. 計(jì)算X軸方向同樣滿足該約束的點(diǎn)最大橫向距離差值Xi

17. 計(jì)算Z軸方向同樣滿足該約束的點(diǎn)最大縱向距離差值Zj

18. ifXi≥橫坡寬度閾值 或Zj≥Hmaxthen

19.Pj為不可通行屬性

20. ifPj未賦屬性then

21.Pj特征值進(jìn)行均值歸一化處理

22. 提取處理后特征值作為GMM輸入進(jìn)行實(shí)時(shí)預(yù)測(cè)

23.End for

4 基于多傳感器融合的道路可通行性地圖構(gòu)建

在無人履帶平臺(tái)架構(gòu)中，感知模塊與后續(xù)決策、規(guī)劃模塊之間的信息交互往往需要通過地圖這一層模塊。因此，本文結(jié)合對(duì)環(huán)境的語義分割結(jié)果和道路的可通行性分析，構(gòu)建包含道路屬性和地面幾何信息的3D可通行性柵格地圖。

3D可通行性柵格地圖構(gòu)建包含單幀地圖構(gòu)建與多幀地圖融合兩個(gè)部分。首先將帶有類別語義和可通行性信息的點(diǎn)云進(jìn)行三維重建，獲取柵格的類別語義概率和可通行性概率；然后通過激光里程計(jì)提供的位姿，將新的數(shù)據(jù)轉(zhuǎn)換并匹配到已有的地圖中，并對(duì)這部分地圖根據(jù)新的檢測(cè)結(jié)果進(jìn)行概率更新。

4.1 單幀地圖構(gòu)建

相比2D、2.5D柵格地圖，使用3D柵格地圖要占用更多的存儲(chǔ)資源，并且地圖的更新、擴(kuò)展也具有更高的復(fù)雜度。為提高效率，使用基于八叉樹的數(shù)據(jù)結(jié)構(gòu)管理地圖數(shù)據(jù)。由于激光雷達(dá)點(diǎn)云是離散且稀疏的，直接用其柵格化的結(jié)果建立地圖，會(huì)使得地圖表達(dá)十分稀疏。本文使用基于貝葉斯核推理的柵格屬性推理，對(duì)柵格語義和可通行性屬性的分布進(jìn)行建模，從而進(jìn)行部分鄰近柵格屬性的推理，以實(shí)現(xiàn)連續(xù)化稠密化的三維建圖[18]。

(16)

為提高柵格屬性推理的準(zhǔn)確性，需要同時(shí)考慮柵格本身概率分布和柵格之間的相互聯(lián)系?；谪惾~斯核推理的框架，滿足KL散度DKL(g‖f)的最大熵分布g，具有形式g(y)∝f(y)k(x*,x)，k(x*,x)為核函數(shù)。設(shè)g為擴(kuò)展似然函數(shù)p(ci|λ*,xi,x*)，f為似然函數(shù)p(ci|λ*)，x*為待求的空間中一點(diǎn)，λ*為點(diǎn)x*的類別概率，則可以在這兩個(gè)分布上定義有界的KL散度的語義類別平滑分布，即

(17)

根據(jù)貝葉斯定理，可以得到

p(λ*|x*,ζ)∝p(ζ|λ*,x*)p(λ*|x*)

(18)

將(17)式代入(18)式，可得

(19)

由于假設(shè)λ*服從狄利克雷分布Dir(N,α0)，且采用類別分布似然函數(shù)，(19)式可以進(jìn)一步寫為

p(λ*|x*,ζ)∝

(20)

因此p(λ*|x*,ζ)與后驗(yàn)狄利克雷分布Dir(N,α0)呈比例，(20)式通過平滑約束項(xiàng)對(duì)本柵格和鄰近柵格建立聯(lián)系，有利于推理結(jié)果更加準(zhǔn)確。

4.2 多幀地圖融合

為提高道路檢測(cè)結(jié)果的穩(wěn)定性，需要利用多傳感器融合激光里程計(jì)[19]提供的位姿信息，對(duì)數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換，并基于概率更新的方式融合多幀數(shù)據(jù)，實(shí)現(xiàn)地圖的在線更新?？紤]到多幀融合會(huì)帶來較大的計(jì)算量，可以限制融合幀數(shù)。

4.2.1 地圖數(shù)據(jù)轉(zhuǎn)換

以建圖時(shí)的第1幀數(shù)據(jù)對(duì)應(yīng)的位姿為基準(zhǔn)坐標(biāo)系，之后的新數(shù)據(jù)利用坐標(biāo)變換即可轉(zhuǎn)換到該坐標(biāo)系下。設(shè)第1幀數(shù)據(jù)的里程計(jì)輸出位姿對(duì)應(yīng)的齊次變換矩陣為T0，第i幀數(shù)據(jù)的里程計(jì)輸出位姿對(duì)應(yīng)的齊次變換矩陣為Ti，對(duì)第i幀數(shù)據(jù)中的坐標(biāo)應(yīng)用該變換：

(21)

利用(21)式即可在已有地圖中更新或擴(kuò)展地圖。

4.2.2 地圖概率更新

常用的占據(jù)柵格概率更新方式有貝葉斯更新方法、計(jì)數(shù)傳感器模型方法等。貝葉斯更新方法對(duì)柵格占據(jù)狀態(tài)的變化響應(yīng)快，而計(jì)數(shù)傳感器模型方法更擅長(zhǎng)描述柵格多個(gè)狀態(tài)的概率[20]。因此本文采用貝葉斯更新方法更新柵格占據(jù)概率，采用計(jì)數(shù)傳感器模型方法更新柵格語義及可通行性信息。

對(duì)于占據(jù)概率，在任意數(shù)據(jù)采集時(shí)刻t，根據(jù)貝葉斯定理對(duì)第i個(gè)柵格的占據(jù)概率值進(jìn)行更新：

L(mi|z1:t)=L(mi|zt)-L(mi)+L(mi|z1:t-1)

(22)

式中：mi為柵格i的占據(jù)狀態(tài)；zt為當(dāng)前時(shí)刻t對(duì)環(huán)境的觀測(cè)；z1:t為從初始時(shí)刻到當(dāng)前時(shí)刻t對(duì)環(huán)境的觀測(cè)；符號(hào)L代表一種logOdds表達(dá)式：

(23)

通過設(shè)置L(mi|z1:t)的閾值，可以判斷柵格是否被占據(jù)。對(duì)于占據(jù)概率低于閾值的柵格，認(rèn)為其未被占據(jù)，其語義類別及可通行性概率無需再維護(hù)。

對(duì)于語義類別，令柵格i的類別為ci,其觀測(cè)到屬于語義類別n(n=1,…,N)的次數(shù)為ki，則其屬于n的概率為

(24)

再對(duì)各類別概率進(jìn)行歸一化：

(25)

對(duì)于可通行性以同樣的方式進(jìn)行概率更新：

(26)

(27)

式中：ti為柵格i的可通行類別；li為觀測(cè)到屬于類別m(m=1,…,M)的次數(shù)。可通行類別為未知屬性的柵格，通常為距離較遠(yuǎn)或點(diǎn)云非常稀疏區(qū)域，此時(shí)點(diǎn)云對(duì)地面的描述并不可靠，因此對(duì)此區(qū)域的柵格也不進(jìn)行維護(hù)。

5 試驗(yàn)結(jié)果與分析

5.1 試驗(yàn)平臺(tái)與環(huán)境

對(duì)本文提出的道路可通行性分析系統(tǒng)進(jìn)行實(shí)車驗(yàn)證，所用試驗(yàn)平臺(tái)為北京理工大學(xué)智能車輛研究所自行研制的無人履帶平臺(tái)，具體參數(shù)如表1所示。平臺(tái)上配備了64線激光雷達(dá)、可見光相機(jī)等感知類傳感器和GPS接收器、慣性導(dǎo)航系統(tǒng)等定位導(dǎo)航類傳感器，如圖7所示。

表1 平臺(tái)參數(shù)表

為滿足算法的實(shí)時(shí)性要求，平臺(tái)搭載的工控機(jī)處理器型號(hào)為八核八線程的Intel Core i7-9700，GPU型號(hào)為Nvidia RTX 2080，同時(shí)該工控機(jī)含有32 G內(nèi)存，運(yùn)行Ubuntu 16.04操作系統(tǒng)以及基于ROS(Robot Operating System)的無人駕駛軟件框架。

試驗(yàn)地點(diǎn)選擇在河北省石家莊市包含鄉(xiāng)間鋪面路、越野土路等場(chǎng)景的某試驗(yàn)場(chǎng)地，其環(huán)境元素和地形條件都比較復(fù)雜，存在很多崎嶇或者難分辨的路面類型。

5.2 可通行區(qū)域粗提取驗(yàn)證與分析

本文針對(duì)實(shí)際場(chǎng)地，構(gòu)建相機(jī)與激光雷達(dá)傳感器數(shù)據(jù)集共1 083張，作為語義分割方法的訓(xùn)練與測(cè)試評(píng)估工具。圖8為部分標(biāo)注后圖像示意圖，第1行為原始圖像，第2行為對(duì)應(yīng)的標(biāo)注，在標(biāo)注中，灰色代表鋪面路，土黃色代表土路，淺綠色代表草地，深綠色代表灌木樹木，紅色代表其他障礙物，黑色代表背景。

通過各類別間均勻抽樣，取出2/3作為訓(xùn)練數(shù)據(jù)練集，剩下1/3作為驗(yàn)證數(shù)據(jù)集。在訓(xùn)練集上對(duì)已在CityScapes數(shù)據(jù)集上預(yù)訓(xùn)練的BiSeNet V2模型進(jìn)行訓(xùn)練調(diào)優(yōu)，然后在驗(yàn)證集上檢驗(yàn)?zāi)Ｐ托Ч１?列出了可通行的鋪面路、土路、草地3種類別的IoU和整體準(zhǔn)確度評(píng)價(jià)指標(biāo)mIoU，IoU和mIoU分別定義為

表2 語義分割模型試驗(yàn)效果

(28)

(29)

式中：TP、FP、FN分別為真陽性樣本數(shù)目、假陽性樣本數(shù)目、假陰性樣本數(shù)目，這里的樣本是指單個(gè)像素點(diǎn)，而不是整張圖像。

5.3 道路可通行性驗(yàn)證與分析

為驗(yàn)證本文算法的有效性，選擇橫坡、斜坡和草地3種代表性場(chǎng)景，分別采用基于點(diǎn)云相對(duì)高度差的二維柵格地圖方法[21]與本文提出的語義與幾何信息相結(jié)合的三維可通行性柵格地圖方法，進(jìn)行無人駕駛試驗(yàn)，并將兩種建圖方法下平臺(tái)的實(shí)際行駛結(jié)果進(jìn)行對(duì)比分析。圖9為橫坡場(chǎng)景平臺(tái)行駛對(duì)比。

圖9(a)展示了道路右側(cè)有一橫坡的場(chǎng)景。圖9(e)為點(diǎn)云相對(duì)高度差方法建立的二維柵格地圖，其可通行性以二值化信息給出，黑色為不可通行的障礙物區(qū)，綠色圓點(diǎn)為規(guī)劃模塊提供的離散拓?fù)渎窂健Ｓ捎谌鄙賹?duì)環(huán)境語義與地面幾何信息的引用，橫坡處被檢測(cè)為可行駛區(qū)域。本文所提方法的圖像語義分割結(jié)果、三維語義柵格地圖和三維可通行性柵格地圖分別如圖9(b)、圖9(c)和圖9(d)所示。在三維語義柵格地圖中，灌木、草地與土路被大致地區(qū)分開來。在三維可通行性柵格地圖中，基于語義分割結(jié)果和地面幾何信息，對(duì)不同屬性路面進(jìn)行了可通行性分析，右側(cè)橫坡被分類為困難通行區(qū)域，如圖9(d)中的藍(lán)色圓圈區(qū)域，并且由于平臺(tái)前方道路有較深車轍印記，地面平整度較差，被分類為較難通行區(qū)域，如圖9(d)中的紫色圓圈區(qū)域。

圖9(f)為采用兩種不同建圖方法平臺(tái)的實(shí)際行駛速度與側(cè)傾角對(duì)比，其中，方法1代表基于點(diǎn)云相對(duì)高度差的二維柵格地圖方法，方法2代表本文提出的三維可通行性柵格地圖方法。由圖9(f)可以看到，兩次試驗(yàn)的實(shí)際行駛速度大致相同，在方法1中，由于感知算法將右側(cè)斜坡草地識(shí)別為可行駛區(qū)域，同時(shí)拓?fù)渎窂狡?，無人駕駛規(guī)控算法求解軌跡為從右側(cè)橫坡通過，因此平臺(tái)的側(cè)傾角在行駛至 15 m 左右時(shí)迅速下降到-17°，平臺(tái)起伏較大，而使用本文建圖方法，無人駕駛規(guī)控算法根據(jù)可通行性求解的軌跡基本在道路中間，平臺(tái)側(cè)傾角變化較小，行駛較為平穩(wěn)。

圖10為縱坡場(chǎng)景平臺(tái)行駛對(duì)比。圖10(a)展示了道路前方有一縱坡的場(chǎng)景。圖10(e)為點(diǎn)云相對(duì)高度差方法建立的二維柵格地圖，除兩側(cè)較高的樹木被檢測(cè)為不可通行區(qū)域，其余均為可行駛區(qū)域，對(duì)于平坦路面和斜坡并沒有任何區(qū)分。本文所提方法的圖像語義分割結(jié)果、三維語義柵格地圖和三維可通行性柵格地圖分別如圖10(b)、圖10(c)和圖10(d)所示。由于通過語義分割可以直接判定兩側(cè)灌木為不可通行區(qū)域，大致劃分出可通行的土路和草地，大大減少了可通行性分析時(shí)的點(diǎn)云的輸入量。在三維可通行性柵格地圖中，前方縱坡被分類為困難通行區(qū)域，如圖10(d)中的藍(lán)色圓圈區(qū)域所示。

圖10(f)為采用兩種不同建圖方法平臺(tái)的實(shí)際行駛速度與俯仰角對(duì)比。由圖10可以看到，兩次試驗(yàn)的初始行駛速度大致相同，在方法1中，由于感知算法沒有對(duì)地面幾何特征的識(shí)別能力，車速基本保持不變，而在本文建圖方法中，感知算法在預(yù)測(cè)到前方存在困難通行區(qū)域后，無人駕駛規(guī)控算法求解得到的速度遠(yuǎn)低于拓?fù)渎窂絽⒖妓俣龋虼嗽谛旭傊辽掀虑?，平臺(tái)開始降速。

圖11為雜草交錯(cuò)復(fù)雜場(chǎng)景平臺(tái)行駛對(duì)比。圖11(a)展示了土路與草地交錯(cuò)且左側(cè)有一橫坡的復(fù)雜場(chǎng)景。圖11(e)為點(diǎn)云相對(duì)高度差方法建立的二維柵格地圖，從中可以看到在障礙物高度約束不足的場(chǎng)景下，該方法提取的可通行區(qū)域邊界并不明顯。本文所提方法的圖像語義分割結(jié)果、三維語義柵格地圖和三維可通行性柵格地圖分別如圖11(b)、圖11(c)和圖11(d)所示。在三維語義柵格地圖中，土路與草地區(qū)分的效果并不是太準(zhǔn)確，但從可通行性的角度考慮，低矮草地與平坦土路均為容易通行區(qū)域。圖11(d)中藍(lán)色圓圈區(qū)域處的橫坡由于連續(xù)長(zhǎng)度較長(zhǎng)，且越往左側(cè)橫坡坡度越大，因此部分區(qū)域被分類為不可通行，部分被分類為困難通行。

圖11(f)為采用兩種不同建圖方法平臺(tái)的實(shí)際行駛速度與橫向偏差對(duì)比，其中，橫向偏差為實(shí)際行駛路徑與輸入拓?fù)渎窂降臋M向相差距離。由于道路邊界不清晰，規(guī)劃模塊提供的拓?fù)渎窂狡x了中間平坦道路。由圖11可以看到，兩次試驗(yàn)的行駛速度大致相同，在方法1中，感知算法未將左側(cè)橫坡識(shí)別為障礙物，故平臺(tái)大致沿著提供的拓?fù)渎窂叫旭?，橫向偏差較小，導(dǎo)致平臺(tái)行駛到左側(cè)橫坡上；而使用本文建圖方法，無人駕駛規(guī)控算法根據(jù)可通行性求解的軌跡更偏向于平坦道路，即沿著中間道路行駛，因此橫向偏差在路徑長(zhǎng)度為15～30 m時(shí)均較大。

通過對(duì)本文提出的道路可通行性分析方法進(jìn)行大量測(cè)試，在輸入圖像寬高像素為640×480，點(diǎn)云過濾距離為20 m，限制融合幀數(shù)為80幀的情況下，圖像語義分割平均耗時(shí)為12 ms，從點(diǎn)云特征提取到獲得可通行性分析結(jié)果的平均耗時(shí)為63 ms，三維可通行性柵格地圖構(gòu)建平均耗時(shí)為55 ms。

6 結(jié)論

對(duì)于復(fù)雜越野環(huán)境，僅依靠圖像語義分割結(jié)果，準(zhǔn)確度不高，且無法考慮平臺(tái)與環(huán)境的強(qiáng)耦合關(guān)系，因此需要結(jié)合三維點(diǎn)云的距離信息，對(duì)道路的可通行性進(jìn)行分析。本文提出了一種基于相機(jī)與激光雷達(dá)融合的無人履帶平臺(tái)越野道路可通行性分析方法。得出主要結(jié)論如下：

1)算法通過雙通道卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像特征提取，獲得了環(huán)境語義信息；基于傳感器坐標(biāo)系轉(zhuǎn)換關(guān)系和語義映射，大致提取出可通行區(qū)域內(nèi)語義點(diǎn)云，減少了后續(xù)點(diǎn)云數(shù)據(jù)的處理量。

2)算法基于不均勻點(diǎn)描述符的概念，提取可通行區(qū)域的三維點(diǎn)云特征，提高了地面幾何描述的準(zhǔn)確性和魯棒性。

3)算法利用高斯混合聚類，結(jié)合道路表面屬性、地面幾何特征及平臺(tái)的通過性約束，對(duì)道路可通行性進(jìn)行分類，實(shí)現(xiàn)了對(duì)越野環(huán)境可通行程度的詳細(xì)描述。

4)算法基于激光里程計(jì)提供的位姿信息，在線更新3D可通行性柵格地圖，提高了檢測(cè)結(jié)果的穩(wěn)定性，為復(fù)雜越野環(huán)境下的無人履帶平臺(tái)提供了詳盡的周邊環(huán)境描述模型。

5)算法通過相機(jī)與激光雷達(dá)融合檢測(cè)建立地圖，為無人平臺(tái)規(guī)劃控制模塊提供了良好的引導(dǎo)，使得平臺(tái)的規(guī)劃路徑與行駛速度更加合理，姿態(tài)更加平穩(wěn)。