王華東，李 剛，李曉綱，張 東

(1.遼寧工業(yè)大學(xué)汽車與交通工程學(xué)院，遼寧錦州 121001；2.林肯大學(xué)，英國林肯市 LN1 1AB；3.布魯內(nèi)爾大學(xué)，英國倫敦市 UB8 3PH)

隨著社會發(fā)展和科學(xué)技術(shù)的不斷進步，人們越來越追求社會發(fā)展的智能化，汽車作為最主要的交通工具之一，早已成為人們生活不可或缺的一部分[1]?？萍嫉陌l(fā)展和進步，帶動智能汽車產(chǎn)業(yè)迅速發(fā)展，許多企業(yè)開始啟動智能汽車的研究。為了培養(yǎng)新一代汽車科技創(chuàng)新人才，中國汽車工程學(xué)會(SAE)舉辦了大學(xué)生無人駕駛方程式大賽(FSAC)[2]。同智能網(wǎng)聯(lián)汽車一樣，無人駕駛方程式賽車主要分為3大模塊：環(huán)境感知、決策規(guī)劃以及運動控制。環(huán)境感知技術(shù)是實現(xiàn)無人駕駛的第1步，其結(jié)果的好壞對于決策規(guī)劃和運動控制有重要的影響，近年來成為許多學(xué)者研究的熱點問題。

WANG等[3]提出了激光點云與圖像實時融合的方法，利用YOLO檢測ROI內(nèi)障礙物的點云，在自動駕駛數(shù)據(jù)集上驗證，結(jié)果表明該方法對車輛的檢測有較高的精確度和實時性。LEE等[4]提出了一種基于激光雷達(dá)和相機融合的道路檢測方法，引入球面坐標(biāo)變換來減小3D激光雷達(dá)數(shù)據(jù)點云之間的差距，并將相機的顏色數(shù)據(jù)和3D激光雷達(dá)的高度數(shù)據(jù)轉(zhuǎn)換到同一個球面坐標(biāo)下，然后送入到卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練以實現(xiàn)路面分割。KOTUR等[5]提出了將LiDAR原始點云集成到相機的圖像中，并使用深度學(xué)習(xí)方法檢測相機圖像中的對象，結(jié)果表明二者融合的方法對車輛的檢測效果最好。DANAPAL等[6]提出了一種基于YOLO的改進傳感器融合框架，聯(lián)合處理來自相機和LiDAR的原始數(shù)據(jù)，該框架在車輛檢測性能方面優(yōu)于傳統(tǒng)的決策融合框架，與傳統(tǒng)的融合框架相比精度提高了5%。RAVINDRAN等[7]提出了一種貝葉斯神經(jīng)網(wǎng)絡(luò)用于相機和雷達(dá)傳感器的融合，該方法提高了檢測精度并降低了傳感設(shè)備在不同駕駛情況下的不確定性。GU等[8]將離散的3D激光雷達(dá)點云轉(zhuǎn)換成連續(xù)的2D激光雷達(dá)點云圖像，提出了一種基于距離感知高度差的檢測方法，以快速獲得道路估計，并在攝像頭的部分應(yīng)用輕量級遷移學(xué)習(xí)的方法實現(xiàn)對道路的分割。MEYER等[9]提出利用激光點云和相機圖像相結(jié)合的方式來實現(xiàn)三維對象檢測，通過訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)對車輛的檢測。DING等[10]提出了一種基于深度相機的視覺定位方法，該方法通過使用改進的激光地圖，引入了一種地圖學(xué)習(xí)算法對激光地圖中的集合進行采樣，具有成本低，檢測精度高的優(yōu)點。王剛等[11]提出基于深度學(xué)習(xí)的三維目標(biāo)檢測改進方法，使用激光雷達(dá)點云與圖像融合的方式，提高了對車輛檢測的效果。ASVADI等[12]提出了基于激光雷達(dá)和彩色攝像機數(shù)據(jù)融合的車輛檢測體系，利用單目彩色相機校準(zhǔn)激光雷達(dá)，提高對車輛的檢測效率。代加喜等[13]提出了一種基于激光雷達(dá)的錐桶檢測算法，該算法對RANSAC算法進行了優(yōu)化并用于地面的剔除，但在實際應(yīng)用中可能會出現(xiàn)角度偏差，導(dǎo)致賽車觸碰到較遠(yuǎn)位置的錐桶。PARK等[14]針對單獨使用激光雷達(dá)或相機進行3D重建時檢測密度和精度較低的問題，提出了一種用于高精度深度估計的深度傳感器融合框架，解決了對于未校準(zhǔn)的激光雷達(dá)和深度相機進行3D重建精度較低的問題。王凱歌等[15]對傳統(tǒng)歐式聚類算法進行改進，較好地解決了傳統(tǒng)歐式聚類選取大距離閾值時造成的欠分割問題。

上述研究主要針對道路車輛的檢測，由于目標(biāo)相對較大，易于實現(xiàn)，而基于深度學(xué)習(xí)的目標(biāo)檢測算法對車輛硬件的計算能力要求較高。對于方程式賽車，需要檢測的目標(biāo)錐桶相對較小，如果僅用攝像頭進行檢測，受光照、天氣等環(huán)境干擾大，且由于比賽車速高，要求算法實時性好。本文根據(jù)比賽實際需要，針對賽場環(huán)境下方程式賽車對錐桶檢測率較低的問題，進行基于激光雷達(dá)和攝像頭的標(biāo)定融合錐桶檢測算法研究，將錐桶點云的空間位置信息與顏色信息相融合，解決賽場環(huán)境下錐桶檢測的問題。

1 錐桶空間位置信息獲取

賽場的環(huán)境比較空曠，需要檢測的目標(biāo)錐桶尺寸較小，并且賽道兩側(cè)錐桶之間的距離較近，錐桶擺放較為密集，考慮到算法的實時性和準(zhǔn)確率，需要對激光雷達(dá)檢測的范圍進行合理限制，對距離車體較近的錐桶進行檢測，舍棄較遠(yuǎn)的錐桶；由于賽場上錐桶的尺寸是確定的，因此可以結(jié)合激光雷達(dá)在車體中的位置限制激光雷達(dá)檢測的寬度和高度，提高對錐桶的檢測準(zhǔn)確度。

無人駕駛方程式賽車采用以激光雷達(dá)為主、攝像頭為輔的感知策略，基于激光雷達(dá)的錐桶檢測算法流程如圖1所示。利用Pandar40線激光雷達(dá)采集環(huán)境中的原始點云，進行感興趣區(qū)域(ROI)提取、體素濾波等數(shù)據(jù)預(yù)處理工作，擬合并剔除地面點云，對錐桶及其附近的點云進行歐式聚類，將提取出聚類的中心點作為錐桶的空間位置信息。

圖1 錐桶檢測算法流程圖Fig.1 Flow chart of cone bucket detection algorithm

1.1 感興趣區(qū)域(ROI)的提取

圖2 激光雷達(dá)和攝像頭的安裝位置圖 Fig.2 Installation position diagram of the LiDAR and camera

為了更加精確地限制激光雷達(dá)在X，Y和Z軸上的掃描距離，依據(jù)大賽規(guī)則，以激光雷達(dá)的中心作為坐標(biāo)系的原點，通過限定掃描的半徑來限制激光雷達(dá)的掃描范圍，有效濾除近處打在車體上的點云和遠(yuǎn)處無用的點云。激光雷達(dá)和攝像頭在賽車上的具體安裝位置如圖2所示。

1.2 體素化網(wǎng)格算法

為降低系統(tǒng)執(zhí)行機構(gòu)的反應(yīng)時間、保證錐桶檢測算法的實時性，采用體素化網(wǎng)格算法[16-17]對提取ROI之后的錐桶點云進行下采樣。計算下采樣之后的錐桶點云在各個坐標(biāo)軸方向上的最大值和最小值之差，確定出一個能充分容納所有點云最大的長方體，根據(jù)錐桶大小劃分出立方體，邊長設(shè)定的大小取決于激光雷達(dá)檢測出錐桶點云數(shù)量的多少，過程如下。

1) 計算出待檢測區(qū)域內(nèi)目標(biāo)錐桶的分布范圍，進而確定采樣的分辨率和立方體柵格的大小，設(shè)定立方體長度為L。

2)計算立方體柵格和每個點的對照關(guān)系，假設(shè)某點的點云坐標(biāo)值為(x,y,z)。

3)對應(yīng)的立方體柵格編碼為(i,j,k)，由式(1)計算得出。

(1)

4) 計算立方體柵格的重心坐標(biāo)，其中sum為激光點云的激光點總數(shù)，見式(2)。

(2)

5) 對該幀點云中的所有激光點云進行遍歷，并且重復(fù)以上步驟，就可以得到立方體柵格和每個激光點的對應(yīng)關(guān)系。

1.3 隨機采樣一致性算法(RANSAC)

為了提高錐桶檢測算法的運行效率，根據(jù)激光雷達(dá)的位置和地面上的錐桶高度，使用隨機采樣一致性算法(RANSAC)對地平面擬合并分割[18]，設(shè)置合理的參數(shù)，過濾掉地面的點云，從而獲得只包含錐桶的點云。RANSAC[19-20]實際的擬合情況如下：隨機從激光雷達(dá)檢測到的點云中選取3個點，引入一個允許誤差的范圍值，找到誤差范圍內(nèi)所有的點云并記錄個數(shù)，重復(fù)以上2個步驟，經(jīng)過反復(fù)迭代，直至找到一個盡可能包含更多點的平面，擬合結(jié)束。包含最多點的那次擬合所確定的平面即為最終需要過濾掉的地面點云。經(jīng)過該算法處理，實現(xiàn)將地面點云和錐桶點云分開，對地面點云濾除，為下一步的錐桶點云聚類奠定基礎(chǔ)。

1.4 歐式距離聚類算法

為使錐桶點云數(shù)據(jù)盡可能聚集成簇群，考慮算法的實時性和賽場環(huán)境下錐桶之間的距離，采用基于歐式距離聚類的方法對錐桶點云進行聚類。通過以上點云處理可以有效降低點云數(shù)量，盡可能只留下錐桶的點云。

定義歐式距離來描述2個點集之間的距離：

圖3 歐式距離聚類流程圖Fig.3 Flow chart of Euclidean distance clustering

(3)

2個點集中的點索引為i，j。

歐式聚類算法在進行預(yù)處理時采用Kdtree樹來實現(xiàn)，預(yù)處理可以加快算法的運行效率，如圖3所示。

經(jīng)過歐式距離算法處理之后，聚類前后點云只保留目標(biāo)錐桶的點云數(shù)據(jù)，濾除除目標(biāo)錐桶之外的噪聲點，錐桶檢測算法處理的流程效果圖如圖4所示。

圖4 錐桶檢測算法處理過程綜合對比圖Fig.4 Comprehensive comparison diagram of cone bucket detection algorithm processing process

圖5 坐標(biāo)系位置圖Fig.5 Each coordinate system shows the specific location map

2 激光雷達(dá)與攝像頭的時空匹配

無人駕駛方程式賽車的環(huán)境感知模塊由激光雷達(dá)和攝像頭組成。針對二者的安裝位置和角度都不相同，需要對激光雷達(dá)和攝像頭進行標(biāo)定，以此來建立二者之間的空間位置關(guān)聯(lián)，同時二者的采樣時間各異，還需要對二者進行時間同步處理。因此需要建立車體坐標(biāo)系(OV-XVYVZV)、激光雷達(dá)坐標(biāo)系(OL-XLYLZL)和攝像頭坐標(biāo)系(Oc-XcYcZc)來實現(xiàn)激光雷達(dá)和攝像頭的時空匹配，各個坐標(biāo)系位置如圖5所示。

2.1 激光雷達(dá)與攝像頭的空間標(biāo)定

圖6 針孔攝像頭成像模型Fig.6 Camera imaging model

(4)

設(shè)空間中點P對應(yīng)的像素坐標(biāo)系下的坐標(biāo)為(Xp,Yp)，像素坐標(biāo)系在Xp軸方向上的比例系數(shù)為α，在Yp軸方向上的比例系數(shù)為β，沿原點的偏移為(cx，cy)。將點P′在虛擬像平面下的坐標(biāo)轉(zhuǎn)化為在像素平面下的坐標(biāo)得到：

(5)

將式(4)代入式(5)，整理得：

(6)

其中αxf用fx替代；βyf用fy替代；K為攝像頭的內(nèi)參矩陣。

激光雷達(dá)和攝像頭在空間的坐標(biāo)系不同，需要坐標(biāo)系的轉(zhuǎn)換，使用R與t組成的增廣矩陣來描述攝像頭坐標(biāo)系和激光雷達(dá)坐標(biāo)系的轉(zhuǎn)換，二者構(gòu)成攝像頭的外參矩陣。則有：

(7)

內(nèi)參矩陣使用Matlab標(biāo)定工具箱標(biāo)定獲得，將標(biāo)定結(jié)果代入式(7)得到：

(8)

進一步化簡，可以得到約束方程：

(9)

定義行向量T=(t1，t2，t3)，其中T為

(10)

得到：

(11)

由式(11)得知，1個特征點可以建立2個T的線性約束，T是12維，選取6組特征點使用奇異值分解法(SVD)求解T矩陣[22]，即得到激光雷達(dá)和攝像頭的空間轉(zhuǎn)換矩陣。圖7為激光雷達(dá)和攝像頭空間標(biāo)定示意圖。

圖7 激光雷達(dá)和攝像頭空間標(biāo)定示意圖Fig.7 Lidar and camera calibration diagram

2.2 激光雷達(dá)和攝像頭的時間同步

針對激光雷達(dá)和攝像頭的采樣頻率不一致問題，采用ROS操作系統(tǒng)中的時間同步模塊實現(xiàn)二者的時間同步，在ROS節(jié)點中分別訂閱激光雷達(dá)和攝像頭的話題消息，通過時間同步模塊實現(xiàn)統(tǒng)一接收多個傳感器的話題消息，當(dāng)所有的話題有相同的時間戳?xí)r，才會激發(fā)回調(diào)函數(shù)進行二者的數(shù)據(jù)處理，完成時間同步。

圖8 激光雷達(dá)和攝像頭時空匹配驗證Fig.8 Joint calibration result of LiDAR and camera

在完成激光雷達(dá)和攝像頭的時空同步后，放到賽車上進行驗證。如圖8所示，前景錐桶點云與背景圖片中的錐桶一一對應(yīng)，實現(xiàn)對激光雷達(dá)和攝像頭的時空匹配。

3 錐桶顏色識別與信息融合

賽場中需要檢測的錐桶大小一致，但顏色不同，僅靠激光雷達(dá)檢測無法獲得錐桶的顏色信息，且賽場中不同顏色的錐桶擺放有序(左紅右藍(lán))，將激光雷達(dá)和攝像頭融合后不僅可以得到錐桶的空間信息，還可以得到錐桶的顏色信息，為接下來賽車路徑的決策和規(guī)劃打下基礎(chǔ)。

3.1 HSV顏色空間的顏色識別算法設(shè)計

1)RGB顏色模型圖像轉(zhuǎn)化為HSV顏色模型圖像

攝像頭采集到的錐桶圖片是在RGB顏色空間下表示的，將錐桶RGB顏色模型圖像轉(zhuǎn)化為HSV顏色模型圖像，易于對錐桶的顏色特征進行提取，并且圖像角度、尺寸和分辨率對HSV顏色模型的影響較小。RGB圖像是一種三通道圖像，對于空間中任意一點可以由R，G，B分量構(gòu)成的向量來表示[23]。HSV顏色模型從RGB顏色模型演化而來，HSV顏色模型是建立在顏色本身的特征基礎(chǔ)上，3個分量分別表示色調(diào)、飽和度和亮度[24]。圖9、圖10分別為RGB顏色模型和HSV顏色模型。

圖9 RGB顏色模型Fig.9 RGB color model

圖10 HSV顏色模型Fig.10 HSV color model

圖11 H通道顏色分布圖Fig.11 Color distribution of H channel

在HSV顏色模型中，H通道的像素值表示色調(diào)，取值范圍0°～360°，將其看成角度，即一個閉環(huán)的取值范圍，H通道顏色分布如圖11所示。

對于圖像坐標(biāo)系下的任意坐標(biāo)點，在RGB顏色空間表示為(R,G,B)，轉(zhuǎn)化為在HSV顏色空間下，表示為(H,S,V)。將R，G，B數(shù)值轉(zhuǎn)換到0～1之間，見式(12)。

(12)

然后分別計算該坐標(biāo)點對應(yīng)的H，S，V數(shù)值，見式(13)。

(13)

式中H≥0，則保留該數(shù)值；反之如果H<0，則需要對該值加上360，得到的新的數(shù)值作為最終的H值，即H=H+360。

2)遍歷H通道

將采集到的錐桶圖片轉(zhuǎn)換為在HSV顏色空間下的圖片，只保留每個像素點H通道的分量，對H通道的分量進行處理，通過對圖像中顏色識別區(qū)域內(nèi)像素點H通道進行遍歷，記錄該區(qū)域內(nèi)所有像素點H通道數(shù)值并進行比較。具體處理過程是：將點云處理算法處理得到的錐桶的中心點投影到像素平面內(nèi)，在像素平面內(nèi)以該點為中心做一個矩形的框，矩形框的大小由數(shù)次實驗得到，最終確定矩形框大小為60×60。

3)顏色基準(zhǔn)范圍匹配

對顏色識別算法中錐桶的H分量值進行探索，讀出其H通道分量數(shù)值并記錄。通過多次實驗得到各個錐桶顏色H分量所對應(yīng)經(jīng)驗值的取值范圍，完成顏色基準(zhǔn)范圍的匹配。其中得到的紅色錐桶H分量的取值范圍為160～179，黃色錐桶H分量的取值范圍為22～38，藍(lán)色錐桶H分量取值范圍為75～130。

3.2 信息融合算法設(shè)計

信息融合是對來自多個信息源進行多級、多層次的處理。本文采用信息融合方法，將激光雷達(dá)得到的錐桶的空間位置信息和攝像頭在HSV顏色空間下得到錐桶的顏色信息，在時間和空間的匹配下進行標(biāo)定融合，得到錐桶的空間位置和顏色信息，壓縮了大量冗余信息并提高了算法的運行效率。信息融合流程圖如圖12所示。

圖12 信息融合流程圖Fig.12 Information fusion flow chart

4 實驗驗證與分析

4.1 實驗環(huán)境

表1 工控機配置參數(shù)表Tab.1 Industrial computer configuration parameter table

實驗地點選擇在校園內(nèi)一片開闊的平地，按照賽場規(guī)則擺放錐桶，雷達(dá)選用禾賽科技40線激光雷達(dá)，攝像頭選用大恒圖像MER-231-41U3C，工控機信息配置見表1。

使用方程式賽車對本文提出的算法進行驗證，將激光雷達(dá)與攝像頭的融合算法布置在工控機上并進行合理調(diào)試，在ROS操作系統(tǒng)下調(diào)出Rviz可視化界面對實驗結(jié)果進行驗證。

4.2 實驗結(jié)果與分析

在校園內(nèi)模仿賽場環(huán)境，在靜態(tài)和動態(tài)2種場景下對提出的標(biāo)定融合算法進行驗證，并針對比賽要求，將賽車在8字環(huán)繞的場景下進行實車測試，證明本文提出的標(biāo)定融合算法的有效性。

其中靜態(tài)場景下對錐桶的檢測效果如圖13所示。從圖13 a)可以觀察到經(jīng)過對點云進行濾波、地平面濾除、歐式聚類之后顯示出的錐桶點云的空間位置；圖13 b)為激光雷達(dá)與攝像頭融合之后的效果圖，可以看到錐桶點云被賦予了顏色信息，顯示出了錐桶的顏色。

圖13 靜態(tài)場景下的融合算法效果圖Fig.13 Image of fusion algorithm in static scene

在校園內(nèi)模仿賽場環(huán)境進行動態(tài)測試，設(shè)定方程式賽車以25 km/h的速度行駛，在ROS操作系統(tǒng)下調(diào)出Rviz可視化界面，并訂閱激光雷達(dá)和攝像頭的話題消息，觀察實驗結(jié)果。動態(tài)場景下融合算法對錐桶的檢測效果如圖14所示。其中圖14 a)中為左右相機對錐桶顏色的識別情況，對錐桶的顏色識別具有較高的準(zhǔn)確度；圖14 b)為激光雷達(dá)和攝像頭融合之后的效果，可以看到錐桶的空間位置信息和顏色信息匹配良好，具有較高的準(zhǔn)確度和實時性。

圖14 動態(tài)場景下融合算法效果圖Fig.14 Effect of fusion algorithm in dynamic scene

圖15 8字賽道示意圖Fig.15 Schematic diagram of the figure-eight track

依據(jù)比賽要求，方程式賽車需要進行直線加速測試、8字環(huán)繞測試和高速循跡測試。其中8字環(huán)繞測試布局圖如圖15所示。紅色錐桶和藍(lán)色錐桶為行徑錐桶，中間的黃色錐桶為換向錐桶，比賽要求賽車先右圈行駛2圈后在黃色切點處換道再進入左圈行駛2圈后出道，即完成比賽。如果僅依靠激光雷達(dá)執(zhí)行感知任務(wù)，賽車雖然能在直線加速和高速循跡測試中完成行駛，但在8字賽道切點處無法完成賽車換道的決策任務(wù)。

為了更好地測試本文提出的融合算法在8字賽場環(huán)境下的有效性，在校園內(nèi)依照8字環(huán)繞的比賽要求擺放錐桶，對算法進行驗證。測試結(jié)果如圖16所示。賽車在完成右側(cè)的2圈行駛后完成換道并順利完賽，證明了本文提出的標(biāo)定融合算法的有效性。

5 結(jié) 語

為了解決賽場環(huán)境下無人駕駛方程式賽車感知系統(tǒng)中錐桶檢測準(zhǔn)確度較低的問題，提出了一種基于激光雷達(dá)和攝像頭標(biāo)定融合的錐桶檢測算法。通過對ROI內(nèi)的錐桶點云采用地平面分割、歐式聚類的方法，實現(xiàn)了對地平面點云的濾除，在獲取錐桶空間位置信息的同時，達(dá)到了檢測算法的實時性；通過對激光雷達(dá)和攝像頭的空間位置進行聯(lián)合標(biāo)定和時間同步，實現(xiàn)了激光雷達(dá)和攝像頭較為準(zhǔn)確的時空匹配。將激光雷達(dá)采集的錐桶空間位置信息與攝像頭采集的錐桶顏色信息進行匹配，實現(xiàn)了激光雷達(dá)和攝像頭的信息融合，更好地發(fā)揮了激光雷達(dá)和攝像頭融合的優(yōu)勢，提高了對錐桶檢測的準(zhǔn)確度。實驗結(jié)果表明，該算法能夠滿足方程式賽車在賽場環(huán)境下對錐桶的檢測要求，具有良好的準(zhǔn)確性和實時性，解決了僅使用單一傳感器造成的檢測錐桶的信息丟失問題，為方程式大賽中使用激光雷達(dá)和攝像頭傳感器的融合方法提供了參考。

圖16 模擬8字賽道實車測試Fig.16 Simulated real-life test of the figure-eight track

本文主要針對激光雷達(dá)和攝像頭的標(biāo)定融合檢測算法進行了研究，還存在一定的局限性，在基于激光雷達(dá)的目標(biāo)檢測方面，需要多次實驗才能確定激光雷達(dá)對錐桶檢測設(shè)置的參數(shù)。未來可以考慮在點云處理過程中加入特征提取模塊，提高錐桶檢測的精度，有效降低誤檢率，并減少為獲取經(jīng)驗值而進行實驗的次數(shù)。