龍 騰，劉斯斯，胡云卿，李曉光，袁希文，潘文波，羅意平，宇文天

（1. 中車株洲電力機(jī)車研究所有限公司，湖南 株洲 412001；2. 中南大學(xué) 交通運(yùn)輸工程學(xué)院，湖南 長(zhǎng)沙 410075）

0 引言

在國(guó)家戰(zhàn)略機(jī)遇下，新一代人工智能技術(shù)的崛起促使智能運(yùn)載工具迅速發(fā)展，智軌電車正是在這種背景下發(fā)展起來的一種新型城市公共交通運(yùn)載工具，其特點(diǎn)表現(xiàn)為膠輪無軌、與傳統(tǒng)汽車共享路權(quán)、不沿固定鋼軌運(yùn)行、自動(dòng)駕駛[1]。其車載環(huán)境感知系統(tǒng)用于快速、穩(wěn)定地檢測(cè)出道路入侵物，是實(shí)現(xiàn)電車自動(dòng)駕駛的重要前提。

基于圖像識(shí)別的道路入侵物檢測(cè)技術(shù)發(fā)展比較成熟，但會(huì)受光線變化、物體遮擋、背景復(fù)雜等多種因素影響，精確性與魯棒性不高，并且由于相機(jī)的覆蓋范圍有限，并不能全面反映智軌電車周圍的環(huán)境信息。近年來，隨著深度學(xué)習(xí)圖像識(shí)別技術(shù)的發(fā)展，通過利用大數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，圖像識(shí)別的精度和魯棒性有一定的提升，但仍無法有效地確定道路入侵物的相對(duì)位置?；诩す饫走_(dá)的道路入侵物檢測(cè)技術(shù)采用多線激光雷達(dá)對(duì)智軌電車周界進(jìn)行掃描以獲取環(huán)境信息，通過點(diǎn)云數(shù)據(jù)處理，得到對(duì)象的距離、方向、高度、姿態(tài)角等信息，在可用的測(cè)距范圍內(nèi)，激光雷達(dá)具有厘米級(jí)測(cè)距精度[2-3]。

因智軌電車車身長(zhǎng)、無軌道約束、運(yùn)行環(huán)境復(fù)雜，采集到的點(diǎn)云數(shù)據(jù)復(fù)雜、紊亂，需采用對(duì)象分割算法對(duì)數(shù)據(jù)進(jìn)行處理。網(wǎng)格圖分割是最常用的方法之一，它將點(diǎn)云轉(zhuǎn)換為夾點(diǎn)圖并按屬性評(píng)估每個(gè)網(wǎng)格上的數(shù)據(jù)。文獻(xiàn)[4]提出了一種基于局部凸性概念的分割算法，并比較了法向量的屬性。文獻(xiàn)[5]提出了一種評(píng)估每個(gè)網(wǎng)格中垂直位移的算法，如果位移超過給定閾值，則將網(wǎng)格標(biāo)記為已占用。文獻(xiàn)[6]將數(shù)據(jù)映射到偏振網(wǎng)格圖中，并使用非參數(shù)地面模型擬合地平面。除了網(wǎng)格圖分割法，還有學(xué)者提出根據(jù)空間數(shù)據(jù)結(jié)構(gòu)進(jìn)行分割，如Kd-tree[7]和oc-trees[8]。文獻(xiàn)[9]比較了迭代最近點(diǎn)的八叉樹和Kd樹的不同實(shí)現(xiàn)。文獻(xiàn)[10]為映射應(yīng)用程序提供了一個(gè)概率和內(nèi)存有效的八叉樹算法。文獻(xiàn)[11-12]評(píng)估了半徑鄰域搜索的不同方法并得出結(jié)論，Kd 樹是任意維度的最有效和靈活的空間數(shù)據(jù)結(jié)構(gòu)。文獻(xiàn)[13]采用Kd-tree 通過使用高程信息消除異常值后管理車載激光雷達(dá)數(shù)據(jù)。

近年來，許多研究學(xué)者開展了基于點(diǎn)云數(shù)據(jù)的目標(biāo)檢測(cè)的研究，包括美國(guó)加利福尼亞大學(xué)的Wen 和Tomizuka[14]等學(xué)者提出的動(dòng)態(tài)車輛檢測(cè)和高清晰度地圖輔助的LiDAR 匹配（ULM）估計(jì)方法，與傳統(tǒng)的基于Hessian 矩陣的ULM 估計(jì)方法相比，所提出的方法通過對(duì)周圍動(dòng)態(tài)車輛建模來估計(jì)ULM，然后使用匹配算法將ULM 結(jié)果與檢測(cè)到的動(dòng)態(tài)車輛收斂特征相關(guān)聯(lián)。亞利桑那大學(xué)圖森分校的學(xué)者建立特征提取和數(shù)據(jù)關(guān)聯(lián)風(fēng)險(xiǎn)預(yù)測(cè)算法，假設(shè)提取的特征集與映射的地標(biāo)級(jí)相匹配，通過結(jié)合基于卡爾曼濾波器的測(cè)試方法來檢測(cè)不需要的對(duì)象[15]。

在基于點(diǎn)云數(shù)據(jù)的目標(biāo)分類、跟蹤的研究方面，文獻(xiàn)[16]提出了一種基于激光雷達(dá)的自動(dòng)駕駛汽車感知解決方案，其利用激光雷達(dá)傳感器測(cè)量每個(gè)單點(diǎn)的位置和高度作為三維坐標(biāo)來捕獲和表示對(duì)象；然而，由于激光雷達(dá)掃描的方式特性使得這些點(diǎn)在計(jì)算機(jī)中以無組織結(jié)構(gòu)的形式保存，因此需要采用與現(xiàn)有圖像處理算法明顯不同的特定數(shù)據(jù)組織和處理技術(shù)。文獻(xiàn)[17]提出了一種使用3D 激光雷達(dá)的多目標(biāo)跟蹤魯棒算法MTT(multitarget tracking robust algorithm)，為補(bǔ)償由形狀變化或遮擋引起的非預(yù)期的變化而引入了基于目標(biāo)幾何信息的特征，以精確估計(jì)系統(tǒng)的狀態(tài)。在文獻(xiàn)[18]中提出了一種基于3D 激光雷達(dá)的實(shí)時(shí)交叉檢測(cè)方法，其對(duì)于兩種不同形狀的交叉點(diǎn)的分類性能達(dá)到了80%以上，并且實(shí)時(shí)分類速率達(dá)到了5 Hz。這些方案的局限性在于對(duì)雷達(dá)傳感器的精細(xì)性程度以及處理器的要求過高，大多數(shù)算法是基于64 線激光雷達(dá)的掃描數(shù)據(jù)才能夠?qū)崿F(xiàn)理想的效果；并且，為了保證點(diǎn)云數(shù)據(jù)處理的實(shí)時(shí)性，64線激光雷達(dá)掃描的點(diǎn)云數(shù)據(jù)量龐大，對(duì)數(shù)據(jù)處理器的要求很高，導(dǎo)致列車硬件設(shè)備成本大幅增加。

針對(duì)上述研究成果，本文提出一種基于雙16 線激光雷達(dá)(VLP-16)的3D 點(diǎn)云的智軌電車道路入侵物檢測(cè)算法。此算法在保證目標(biāo)檢測(cè)精準(zhǔn)度的情況下，僅啟用了數(shù)據(jù)量只有64 線激光雷達(dá)1/4 的16 線激光雷達(dá)，而且16 線激光雷達(dá)的成本大概只有64 線激光雷達(dá)的1/8。因?yàn)樗矔r(shí)數(shù)據(jù)量的大幅度減少，對(duì)智軌電車感知傳感模塊的計(jì)算量要求也大幅度降低，這在保證數(shù)據(jù)處理時(shí)效性的同時(shí)也降低了硬件成本。本文將從多雷達(dá)點(diǎn)云數(shù)據(jù)的融合、點(diǎn)云去噪、入侵目標(biāo)的識(shí)別和分類、實(shí)驗(yàn)驗(yàn)證幾個(gè)方面來闡述基于多激光雷達(dá)的道路入侵物檢測(cè)方法。

1 基于多激光雷達(dá)的道路入侵物檢測(cè)流程

本文提出的道路入侵物檢測(cè)技術(shù)分為5 個(gè)步驟：首先通過固定于智軌電車上的多個(gè)雷達(dá)進(jìn)行掃描，采集運(yùn)行環(huán)境的點(diǎn)云數(shù)據(jù)；接著，根據(jù)時(shí)間戳信息對(duì)多個(gè)點(diǎn)云數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換與融合，獲取智軌電車完整的環(huán)境信息；之后，通過擬合算法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行去噪處理，獲得噪聲低、背景簡(jiǎn)單的點(diǎn)云數(shù)據(jù)；再對(duì)點(diǎn)云數(shù)據(jù)解包、聚類；最后，采用道路入侵物支持向量機(jī)（support vector machine, SVM）分類器對(duì)輸入的點(diǎn)云數(shù)據(jù)進(jìn)行處理，獲取道路入侵物的分類信息、位置信息及尺寸信息等（圖1）。

圖1 道路入侵物檢測(cè)總體流程Fig. 1 Overall flowchart of the proposed method

2 多雷達(dá)的點(diǎn)云數(shù)據(jù)融合

智軌電車通過配備感知模塊對(duì)多雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行處理，如圖2所示。感知模塊由中央處理器、交換機(jī)及多個(gè)16 線Velodyne 雷達(dá)組成，所有硬件均由千兆網(wǎng)線進(jìn)行連接，并經(jīng)預(yù)先配置將其設(shè)置在同一網(wǎng)段下，用來保證數(shù)據(jù)傳輸?shù)姆€(wěn)定性與實(shí)時(shí)性。

圖2 感知模塊結(jié)構(gòu)Fig. 2 Structure of perception module

圖3 數(shù)據(jù)融合流程圖Fig. 3 Flowchart of data merging

點(diǎn)云數(shù)據(jù)的融合是點(diǎn)云數(shù)據(jù)預(yù)處理重要的一部分。雷達(dá)安裝位置位于列車頭部?jī)蓚?cè)，一般激光雷達(dá)的掃描范圍為360°，采用單個(gè)雷達(dá)即可完成對(duì)運(yùn)行環(huán)境的構(gòu)建；但由于車體的遮擋，單個(gè)雷達(dá)的掃描范圍存在局限，而多雷達(dá)的掃描又會(huì)導(dǎo)致掃描范圍的重疊，如圖4 所示。直接采用點(diǎn)云數(shù)據(jù)進(jìn)行檢測(cè)很難直接得到清晰的道路入侵物信息，并極有可能導(dǎo)致信息的誤報(bào)、謊報(bào)。因此，本文采用坐標(biāo)轉(zhuǎn)換信息與雷達(dá)GPS 時(shí)間戳信息對(duì)多雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行轉(zhuǎn)換、過濾及融合，從而得到完整的列車運(yùn)行環(huán)境點(diǎn)云數(shù)據(jù)。

圖4 車載雷達(dá)掃描范圍Fig. 4 Scanning range of vehicle LiDARs before data merging

首先獲取智軌電車的雷達(dá)安裝高度、安裝距離、安裝歐拉角等物理數(shù)據(jù)，之后以各雷達(dá)中心為子坐標(biāo)系、列車頭部中心為父坐標(biāo)系建立空間坐標(biāo)系（圖5），最后對(duì)雷達(dá)數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換。對(duì)兩個(gè)雷達(dá)進(jìn)行數(shù)據(jù)采集處理后，利用父坐標(biāo)系的y 軸、z 軸與智軌列車的車頭前側(cè)、車頭頂部垂直的特性，分別將子坐標(biāo)系1 轉(zhuǎn)換后的點(diǎn)云x 方向小于0、子坐標(biāo)系2 轉(zhuǎn)換后的點(diǎn)云x 方向大于0的數(shù)據(jù)進(jìn)行過濾，獲取無疊加的智軌電車運(yùn)行環(huán)境的點(diǎn)云數(shù)據(jù)，坐標(biāo)轉(zhuǎn)換融合后雷達(dá)掃描范圍如圖6 所示。

圖5 坐標(biāo)轉(zhuǎn)換Fig. 5 Transformation of coordinates

圖6 融合后雷達(dá)掃描范圍Fig. 6 Scanning range of vehicle LiDARs after data merging

對(duì)各雷達(dá)的信息進(jìn)行接收，截取雷達(dá)每一幀點(diǎn)云數(shù)據(jù)相對(duì)應(yīng)的時(shí)間戳，采用自適應(yīng)時(shí)間過濾器對(duì)雷達(dá)間的時(shí)間進(jìn)行精準(zhǔn)匹配，并將融合后的點(diǎn)云數(shù)據(jù)傳遞到下階段。融合后的點(diǎn)云如圖7 所示。

圖7 融合后的點(diǎn)云數(shù)據(jù)Fig. 7 Illustration of merged data, collected by vehicle LiDARs

3 點(diǎn)云數(shù)據(jù)去噪

在確定獲得無重疊且唯一的運(yùn)行環(huán)境點(diǎn)云數(shù)據(jù)后，需要對(duì)輸出點(diǎn)云數(shù)據(jù)進(jìn)行去噪處理，淡化與道路入侵物連接的點(diǎn)云數(shù)據(jù)。由于在點(diǎn)云數(shù)據(jù)中地面數(shù)據(jù)與道路入侵物數(shù)據(jù)之間無明顯界限，兩者之間豐富的互動(dòng)信息使得道路入侵物的正確識(shí)別更為困難，因此，需要濾除點(diǎn)云中的噪聲。圖8 示出點(diǎn)云數(shù)據(jù)去噪流程。

圖8 點(diǎn)云數(shù)據(jù)去噪流程圖Fig. 8 Flowchart of point cloud data denoising

采用Dimitris Zermas 提出的GPF(ground plane fitting)算法[19]通過控制閾值迭代關(guān)鍵點(diǎn)來對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行地面數(shù)據(jù)的去噪處理。首先將點(diǎn)云數(shù)據(jù)沿著x 軸方向等分為多段，并同時(shí)對(duì)多個(gè)分段數(shù)據(jù)進(jìn)行處理，根據(jù)z 軸數(shù)據(jù)選取一定量的最低點(diǎn)作為關(guān)鍵點(diǎn)，采用加權(quán)線性回歸（weighted linear regression, WLR）算法建立地平面模型；之后計(jì)算其余點(diǎn)到達(dá)模型的歐幾里得距離，小于預(yù)設(shè)閾值的點(diǎn)將會(huì)加入地平面模型，對(duì)模型擬合更新，進(jìn)行下一次的迭代；當(dāng)?shù)竭_(dá)一定量的迭代次數(shù)或者達(dá)到模型擬合所需的點(diǎn)數(shù)之后，迭代停止，此時(shí)已經(jīng)得到一個(gè)具有高精度且能充分代表地平面的點(diǎn)云數(shù)據(jù)，并在原始數(shù)據(jù)中將其去除，獲取低復(fù)雜度的環(huán)境點(diǎn)云數(shù)據(jù)。具體處理效果如圖9 ～圖11 所示。

圖9 原始數(shù)據(jù)Fig. 9 Raw data

圖10 擬合模型Fig. 10 Fitting simulation model

圖11 去噪后數(shù)據(jù)Fig. 11 Denoised data

4 道路入侵物目標(biāo)識(shí)別

低復(fù)雜度的點(diǎn)云數(shù)據(jù)包含智軌電車行駛環(huán)境的所有道路入侵物，因此需要對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行識(shí)別框選處理，以使道路入侵物分類的輸入為單個(gè)障礙物數(shù)據(jù)。由于部分障礙物過于接近，相互之間會(huì)產(chǎn)生數(shù)據(jù)交融，因此，準(zhǔn)確、穩(wěn)定、誤差小的道路入侵物識(shí)別將更好地為分類處理提供數(shù)據(jù)基礎(chǔ)。圖12 為道路入侵物識(shí)別流程圖。

圖12 道路入侵物識(shí)別流程圖Fig. 12 Road intruder identification flowchart

在道路入侵物識(shí)別處理上，由于16 線雷達(dá)的數(shù)據(jù)量比較少，所以在處理時(shí)間加快的同時(shí)伴隨著識(shí)別難度的提高。為保證運(yùn)行快速與精準(zhǔn)，采用Dimitris Zermas提出的SLR（scan line run）算法，通過標(biāo)簽從上到下掃描線的點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)道路入侵物的識(shí)別。對(duì)從頂部掃描線所返回的點(diǎn)云數(shù)據(jù)進(jìn)行處理，這部分點(diǎn)云數(shù)據(jù)首先獲得自己的標(biāo)簽；之后由已標(biāo)簽化的點(diǎn)對(duì)下一層的點(diǎn)云數(shù)據(jù)進(jìn)行評(píng)估，利用尋找最近鄰的方法使舊標(biāo)簽只對(duì)周圍點(diǎn)感興趣，利用雙層閾值解決新的點(diǎn)云數(shù)據(jù)是否屬于舊標(biāo)簽及屬于具體哪一個(gè)舊標(biāo)簽的問題。利用該方法，可以達(dá)到高效、高精度的道路入侵物識(shí)別，獲取了道路入侵物的具體位置及點(diǎn)云數(shù)據(jù)等信息，由此可進(jìn)行最后一步道路入侵物分類。

5 道路入侵物分類

在獲取目標(biāo)識(shí)別信息后，候選目標(biāo)仍然是特征不明顯的，因此，需要對(duì)已識(shí)別出的障礙物信息進(jìn)行特征提取，為道路入侵物分類輸入數(shù)據(jù)。

采用SVM 作為區(qū)分有效目標(biāo)與無效目標(biāo)的分類器，對(duì)道路入侵物進(jìn)行特征向量提取后，將其直接輸入到(m+1)個(gè)SVM 分類器，用于識(shí)別m 個(gè)入侵物種類與其他入侵物。具體步驟如下：第一，人工提取訓(xùn)練集對(duì)象的最大反射強(qiáng)度、最小反射強(qiáng)度、平均反射強(qiáng)度、反射強(qiáng)度方差、高度方差、距離方差、球度、直線性、平面性、體積、三維點(diǎn)總點(diǎn)數(shù)、發(fā)射器數(shù)量和中心坐標(biāo)點(diǎn)等15 個(gè)特征向量，即將訓(xùn)練對(duì)象映射到高維度的特征空間；第二，將1×15 個(gè)特征向量與相應(yīng)標(biāo)簽輸入到權(quán)值為15×(m+1)的SVM 網(wǎng)絡(luò)中，SVM 網(wǎng)絡(luò)經(jīng)過訓(xùn)練，將訓(xùn)練集中的正負(fù)樣本采用一個(gè)高維平面進(jìn)行分割，達(dá)到設(shè)定的訓(xùn)練次數(shù)或者訓(xùn)練精度后，生成權(quán)值適宜的模型；第三，將測(cè)試集中的對(duì)象輸入網(wǎng)絡(luò)以獲取其特征向量，將其與模型中的權(quán)值相乘后直接輸出道路入侵物的種類（智軌電車行駛環(huán)境中主要的道路入侵物對(duì)象為人和車）。圖13 示出道路入侵物對(duì)象為人的分類處理效果；為更清楚地展示所識(shí)別出的物體，其頂部標(biāo)記出了各自的編號(hào)。圖14 為部分道路入侵物的信息返回值，包含道路入侵物的編號(hào)、長(zhǎng)、寬、高，及其中心點(diǎn)x 值、y 值、z 值。

圖13 道路入侵物分類效果圖Fig. 13 Road intruder identification effect

圖14 道路入侵物的信息Fig. 14 Road intruder information

6 實(shí)驗(yàn)驗(yàn)證

本方法在配有單個(gè)NVIDIA 1080 型圖像處理器（graphic processing unit, GPU）的電腦上進(jìn)行數(shù)據(jù)驗(yàn)證，實(shí)驗(yàn)數(shù)據(jù)由智軌電車?yán)脙蓚€(gè)Velodyne 16 線激光雷達(dá)在國(guó)家智能網(wǎng)聯(lián)汽車測(cè)試區(qū)（長(zhǎng)沙）實(shí)際運(yùn)行環(huán)境信息中采集提供。SVM 分類器被應(yīng)用于NVIDIA 1080 GPU處理器上以實(shí)現(xiàn)道路入侵物分類，其測(cè)試集數(shù)據(jù)為晴天采集的，雷達(dá)數(shù)據(jù)輸入頻率為10 幀/s，車輛運(yùn)行速度為20 km/h；能夠在測(cè)試集上正確框選并且標(biāo)記出來的，則認(rèn)為其能被正確識(shí)別。

圖15 為實(shí)際運(yùn)行環(huán)境中檢測(cè)目標(biāo)為人和車時(shí)檢測(cè)效果圖?？梢钥闯?，在激光雷達(dá)采集點(diǎn)云數(shù)據(jù)稀疏的情況下，當(dāng)點(diǎn)云對(duì)象激光線束多于4 條時(shí)，可以穩(wěn)定并精確地識(shí)別分類道路入侵物，并以不同顏色的標(biāo)定框框選，且在其頂部進(jìn)行標(biāo)簽標(biāo)記。

圖15 算法實(shí)現(xiàn)驗(yàn)證圖Fig. 15 Verification of the algorithm results

7 結(jié)語

本文提出了一種使用多個(gè)激光雷達(dá)混合數(shù)據(jù)并結(jié)合SVM 分類器對(duì)道路入侵物進(jìn)行識(shí)別與分類的方法。該方法在保證高精度、高魯棒性的前提下，解決了單雷達(dá)的盲區(qū)問題，并且高效地實(shí)現(xiàn)了目標(biāo)的識(shí)別和分類。在進(jìn)行道路入侵物識(shí)別分類的研究中，我們將進(jìn)一步嘗試將該方法應(yīng)用于其他方面，例如人流監(jiān)控、安全預(yù)警等，并在保證檢測(cè)效果的前提下，盡可能地降低硬件成本，使該方法能廣泛應(yīng)用于市場(chǎng)。