李曉威， 袁春， 李楊， 郭宗環(huán)， 李昊， 王瑞虎

（1. 重慶理工大學，重慶 400054；2. 重慶金康賽力斯新能源汽車設計院有限公司，重慶 401133；3. 重慶交通職業(yè)學院，重慶 402247）

道路檢測在自動駕駛領域是一個重要研究課題，能對自動駕駛車輛提供強有力的安全保障。單一的傳感器用于道路檢測不可避免地存在“感知不到”的缺陷，因此，國內外學者對道路檢測算法進行了大量研究。XIAO Liang 等［1］提出了基于條件隨機場的道路檢測法，基于條件隨機場聯合點云數據和圖像數據對道路進行粗分割。但該方法只使用最簡單的點云特征，并且在像素點上建立隨機場模型，因此隨機變量較多，耗時較長。LIU Ziyi 等［2］提出基于單目視覺和激光雷達點云數據融合的無監(jiān)督道路檢測方法，但該方法沒有將行駛區(qū)域進行分層標記。CALTAGIRONE 等［3］提出基于全卷積網絡的多源數據融合，在網絡訓練過程中實現圖像和激光點云的交叉融合?；谙鄼C的卷積網絡中，在良好的照明條件下表現良好。但在另一組數據集中，檢測效果表現不佳。XU Kai 等［4］通過設計單層特征映射和利用多層特征映射的結構，增加特征映射與相應圖像特征映射之間的交互性，實現更穩(wěn)定的3D 目標檢測。但兩種方法都依靠大量的數據訓練來保證檢測結果，算法計算量大。

本文提出一種融合激光雷達點云和視覺特征的道路檢測算法。一方面，激光雷達不僅能擁有準確的幾何測量精度且基本不受光照條件的限制［5］，還能提供準確的定位和點云豐富的道路邊緣信息。另一方面，視覺信息可以提供道路的最基本特征。本研究是基于貝葉斯理論框架下進行的特征級融合，實現結構化道路區(qū)域檢測。

1 激光雷達點云似然圖

1.1 激光雷達道路邊沿檢測

激光點云中的點由(x，y，z)和反射強度組成，p(x，y，z)代表激光雷達檢測到的三維位置信息，數據單位為m，反射強度是測量激光雷達脈沖強度的一種指標，與激光雷達掃描到的目標有關系，體現目標的反射特性［6］。本文使用的是城市帶車道標記的道路中的um-41，其中，圖1 為um-41 對應的未校準激光點云3D示意圖；圖2為激光雷達點云對應的原圖像。

圖1 激光雷達點云

圖2 激光雷達點云對應的原圖像

對激光雷達點云數據進行點云預處理，包括感興趣區(qū)域提取和地面點去除。再進行車道點檢測，包括峰值強度檢測和窗口搜索。激光雷達點云中的車道點有明顯的強度分布，計算激光雷達坐標系中x軸的強度直方圖。窗口搜索的目的是通過沿車道曲率滑動窗口來檢測車道點。尋找車道點實現結果，如圖3所示。

圖3 檢測到的車道點

激光雷達點云中車道線的點云，如圖3 所示。圖中的黃色和紅色標志分別為道路左側和右側車道點。

1.2 激光雷達點云投影至二維圖像

激光雷達能對周圍環(huán)境進行水平方向360°掃描，每幀圖像數據約為120 000 個激光點，這些激光點云中，大部分點都不在視覺圖像數據內，需要剔除。此外，激光雷達與視覺存儲數據方式的不同，會造成原始點云與圖像間沒有一一對應的關系，所以需要先進行數據校準［6］。KITTI 傳感器布置［7］如圖4所示。

圖4 傳感器安裝位置

圖4 為官方采集數據集傳感器的安裝位置。本研究需要用到圖4 中的Cam 0 （gray） 和Cam 2（color）參數，目的是將激光雷達點p(x，y，z)投影到二維圖像平面上。首先，將激光點p(x，y，z)投影到圖4 中的Cam 0 相機坐標系下。然后，對Cam 0 號灰度相機坐標系下的數據進行校準。最后，將校準結果投影到圖4 中的Cam 2 彩色相機坐標系下，建立激光點云與圖像像素點的對應關系。激光雷達點云投影到二維圖像的計算，如式（1）所示。

式中：Cpoint-img(x，y，z，u，v)中（u，v）為投影后的二維圖像平面坐標，（x，y，z）為激光點云的坐標；Prect2為圖4 中Cam 2 彩色相機的內參矩陣；R0_rect 為圖4 中Cam 0 灰度相機的旋轉校準矩陣；為從激光雷達點云坐標系到相機坐標系的外參矩陣。

經過公式變換，保留有效道路邊沿的激光點云，完成激光雷達點云與圖像之間的校準工作。城市帶車道標記的城市道路中的um-41 與對應的激光雷達點云車道點聯合校準后的結果，如圖5所示。

圖5 um-41與其對應的道路邊沿激光點云

圖5a 為圖像數據，圖5b 為校準后將道路邊沿激光點云投影到圖像面。

1.3 求解似然圖

在二維圖像中獲取道路邊沿激光點云位置，通過式（2）計算激光點云似然圖。

式中：xi為圖像（u，v）坐標系的位置；dxi為道路邊沿兩側到最近邊沿點云的距離。若xi在道路邊沿內，則選擇賦值為1；若xi在道路邊沿外，則選擇點云似然圖的第2個公式。激光點云似然圖，如圖6所示。

圖6 激光雷達點云似然圖

2 視覺線索似然圖

2.1 顏色線索

光度和顏色信息是廣泛用于道路檢測的強大提示。但是，道路的顏色外觀因采集條件而變化［8］。因此，需要光度不變性來提供對光度條件的魯棒性。本研究采用的光度不變性方法［9］，如式（3）所示，根據此方法，可以獲得無陰影的圖像I(xi)。

式中：R(xi)，G(xi)，B(xi)分別為輸入圖像像素的紅色值、綠色值和藍色值；角度θ為定值。攝像頭的校準使用FINLAYSON 等［10］提出的方法，彩色相機的不變方向θ選為37.5°［8］。無陰影圖像結果，如圖7所示。

圖7 是根據式（3）對原彩色圖像進行計算的結果。在無陰影圖像中，選擇道路區(qū)域建立7×7 的歸一化參考直方圖，如圖8 所示，位于像素點p的候選直方圖，是其周圍的包圍盒Np計算。似然圖中像素點p的計算由巴氏系數確定［11］，如式（4）所示。

圖8 巴氏系數示意圖

圖8 是根據道路特征建立的參考直方圖，其他位置建立候選直方圖，根據巴氏系數確定似然圖中的值。

式中：B為直方圖分支數量；為候選直方圖；為參考直方圖；為第b個候選直方圖；為第b個參考直方圖。道路似然圖描述了像素作為道路模型的概率，像素值越高，道路的可能性越大。道路似然圖Linv(xi)如式（5）所示，效果如圖9所示。

圖9 道路似然圖

圖9 是根據巴氏系數提取道路顏色信息的效果，顯示出所提取的道路特征信息清晰。

2.2 消失點

從視覺圖像中，通過特征準確檢測消失點的位置是保證道路位置特征的關鍵，紋理信息是自然界中廣泛存在的一種物體表面特征［12］。

本研究基于Gabor 濾波器對圖像進行處理，提取圖像中的道路紋理方向［13］，并使用KONG Hui等［14］提出的投票方法。道路消失點效果，如圖10所示。

圖10 道路消失點

圖10 的消失點是根據確定道路的紋理方向和通過軟投票確定下來的。確定道路消失點和道路邊界，計算消失點似然圖Lvp(xi)，如式（6）所示。

道路消失點似然圖的效果，如圖11所示。

圖11 道路消失點似然圖

2.3 水平線

水平線包含用于推斷道路在每個圖像中位置的信息，道路通常位于地平線以下，為了估計圖像中地平線的垂直位置，本研究利用確定消失點的橫坐標作為水平線的位置ht，即確定圖像中的位置。水平線似然圖的計算如式（7）所示。

式中：Lh(·，i)為第i行中的所有像素指定相同的值；Lh的范圍為0～1，其中值越大，成為道路像素值的可能性越高［8］。道路水平線似然圖的效果，如圖12所示。

圖12 道路水平線似然圖

圖12 是根據消失點的位置確定ht，低于ht的區(qū)域賦值為1，其他區(qū)域則選擇水平線似然圖的第2個公式。

2.4 車道標記

車道標記能提供強有力的信息來推斷道路的走向。車道線檢測是無人駕駛環(huán)境感知部分的重要模塊之一［15］。本研究采用LOPEZ 等［16］提出的基于脊線和隨機樣本一致性的單車道算法。灰度圖像中的脊線是細長明亮結構的中心線。對于車道線，它是縱向中心。因此，脊度是衡量像素領域與脊的相似程度的指標。脊度度量值必須沿直線中心具有較高的值，并朝邊界減小。存在對比度良好且均勻的脊度度量，通過簡單的閾值化獲得與中心線對應的二值脊線圖像。利用一對具有公共漸近線的雙曲線對車道標記進行建模，通過RANSAC 算法擬合出道路曲線。給定車道標記，計算道路似然圖，如式（8）所示。

式中：xi為圖像（u，v）坐標系的位置；dxi為道路邊沿兩側到最近邊沿點云的距離。若xi在道路邊沿內，則選擇賦值為1，若xi在道路邊沿外，則選擇道路似然圖的第2 個公式。圖13 為車道標記圖像，圖14為車道標記似然圖。

圖13 車道標記圖像

圖14 車道標記似然圖

3 似然圖融合

3.1 貝葉斯融合框架

貝葉斯框架逐幀執(zhí)行，估計每個像素成為道路像素的概率。將每一個線索視為一個似然圖，提供5 個不同的似然圖，范圍全為0～1，分別為Llidar、Linv、Lvp、Lh、Llm。貝葉斯原理是給定圖像I，來推斷出檢測道路區(qū)域的位置r，即計算P(r|I)。貝葉斯推理計算［8］如式（9）所示。

式中：P(L|I)為先驗概率；P(r|L)為似然概率；Pr(xi)為圖像xi屬于道路的概率，正比于先驗概率（激光雷達似然圖）與其他似然圖的乘積。

結合視覺線索和激光雷達所獲得的先驗知識的道路檢測算法描述如下。

1）通過式（2）計算Llidar。

2）通過式（5）～（8）計算Linv、Lvp、Lh、Llm。

3）通過式（11）計算Pr(xi)結合先驗信息和視覺多個線索。

4）對于單幀圖片計算，如式（10）所示。

式中：融合的概率Pr(xi)賦值于便于式（11）計算。

5）計算道路二進制圖像O，如式（11）所示。

式中：B根據設置閾值大小，計算二進制圖像。

3.2 融合結果

基于激光點云與視覺共同融合實現道路檢測任務，拓寬道路檢測的方法，實現更魯棒性的檢測算法。然而，激光點云數據和視覺圖像數據在數據獲取和數據存儲方面都存在許多不同［6］?；趦煞N類型完全不同的數據共同實現道路檢測任務，本文并沒有直接采用特征級融合的方法，而是分別根據道路的不同特征構建似然圖，然后在貝葉斯框架下，融合上述過程中生成的似然圖。貝葉斯融合似然圖效果，如圖15 所示。KITTI 數據集提供的原圖真值，如圖16所示。

圖15 融合效果

圖16 官方提供融合結果

4 算法評估

在道路可行駛區(qū)域檢測過程中，像素級評價指標主要包括：精度（Precision）、召回率（Recall）、F測度（F-measure）、準確率（Accuracy）、最大F測度（Fmax）、平均精度（Average Precision，AP）、負正類率（False Positive Rate，FPR）等［7］。精度、召回率、準確率、F測度計算式為：

式中：對于F-measure，β=1；P1為精度；R為召回率；A為準確率；TP為正確檢測的道路像素；TN為正確檢測的非道路檢測；FP為被錯誤檢測的非道路像素；FN為被錯誤檢測的道路像素。

式中：PA為平均精度；RFP為負正類率；r為不同的召回率。

根據激光雷達與視覺圖像融合的算法，用KITTI 數據集測試，在Matlab 中編寫評價指標代碼，測試用似然圖融合的道路檢測與官方KITTI 提供的道路真值。評價指標如圖17所示。

圖17 道路評價指標

測試融合算法的評價指標，如圖17所示，橫軸為根據式（11）選擇不同的閾值，范圍選擇為0～1；縱軸為根據式（12）～（15）計算算法評價指標。由圖可知，精度和準確率分別能達到94%和86%。

目前，常通過ANN［17］、PGW-ARS［18］、FCNLC［19］、HybridCRF［20］、multi-task CNN［21］檢測算法進行道路檢測，本文方法和前述幾種道路檢測方法的對比，見表1。

表1 城市道路數據道路檢測方法對比

由表1 可知，本文方法在城市道路檢測方法中具有較高的精度和較低的假陽率，優(yōu)于上述5 種城市道路檢測方法。

5 結語

本文提出并驗證了激光點云與視覺圖像融合以實現道路檢測的方法。采用KITTI 數據集驗證測試該融合算法，由道路評價指標（圖17）可知，采用本文提出的方法在精度、召回率、準確率等方面具有較好的檢測效果。與神經網絡用于道路檢測方法不同，該方法基于激光雷達點云與視覺圖像的道路多線索特征提取，生成對應似然圖并進行信息融合，達到識別道路區(qū)域的目的。