王立琦,張汝波

(大連民族大學(xué) 機(jī)電工程學(xué)院,遼寧 大連 116650)

近年來,依附于各類學(xué)科的深入研究,汽車產(chǎn)業(yè)的智能化轉(zhuǎn)型,無人駕駛技術(shù)受到了各國學(xué)者的廣泛關(guān)注。2017年,德國大學(xué)生無人方程式賽車比賽(FSD)成功舉辦,使得各大高校組建自己的車隊(duì)參與投入到無人方程式賽車的研究中來,在全世界范圍內(nèi)開創(chuàng)了大學(xué)生無人駕駛方程式賽車競(jìng)賽的先河;同年,SAE China成功舉辦中國首屆無人駕駛方程式汽車大賽(FSAC),是中國高校無人方程式汽車競(jìng)賽的開端。兩大賽事均已無人駕駛技術(shù)為主題,旨在由高校學(xué)生自行開發(fā)制作一輛無人駕駛方程式汽車,為無人駕駛領(lǐng)域培養(yǎng)技術(shù)人才,推動(dòng)無人駕駛技術(shù)的發(fā)展。

無人駕駛技術(shù)可繼續(xù)分為環(huán)境感知、路徑規(guī)劃及跟蹤控制三個(gè)技術(shù)模塊。其中,環(huán)境感知模塊基于車輛部署的傳感器來獲取外界環(huán)境信息,返回前進(jìn)區(qū)域內(nèi)物體的位置、顏色等信息。而在無人方程式汽車大賽背景下,由于場(chǎng)景空曠、障礙物目標(biāo)較小及比賽要求,對(duì)環(huán)境感知的準(zhǔn)確度與實(shí)時(shí)性提出了新的要求。

因此,以FSAC賽事為背景,通過對(duì)不同感知方案的特點(diǎn)進(jìn)行分析,重點(diǎn)分析視覺、雷達(dá)及傳感器結(jié)合三種感知方案的算法內(nèi)容,總結(jié)現(xiàn)階段存在的感知方法,并結(jié)合賽事要求提出現(xiàn)階段存在或可能存在的問題和挑戰(zhàn),最后對(duì)無人駕駛方程式賽車環(huán)境感知技術(shù)未來的發(fā)展方向進(jìn)行展望。

1 FSAC賽事要求及環(huán)境特點(diǎn)

FSAC的設(shè)計(jì)背景是假定參賽車隊(duì)在為一家設(shè)計(jì)公司設(shè)計(jì)、制造、測(cè)試并展示一輛目標(biāo)市場(chǎng)為未來智能賽車或無人駕駛賽車的原型車或設(shè)計(jì)理念,并要求賽車具備優(yōu)秀的加速、制動(dòng)以及操縱性能,并兼顧安全性和穩(wěn)定性,從而根據(jù)規(guī)則評(píng)優(yōu)的賽事。其賽事要求大致如下[1]:

(1)自主駕駛。參賽車輛需要實(shí)現(xiàn)自主駕駛,即無需人工干預(yù)即可完成任務(wù)和挑戰(zhàn)。

(2)傳感器技術(shù)。無人駕駛方程式汽車大賽強(qiáng)調(diào)參賽車輛的傳感器技術(shù),包括激光雷達(dá)、攝像頭等,以提高車輛的感知和識(shí)別能力。

(3)高精度地圖。參賽車輛需要具備高精度地圖匹配能力,以實(shí)現(xiàn)精準(zhǔn)的定位和導(dǎo)航。

(4)多種任務(wù)。無人駕駛方程式汽車大賽設(shè)置了多種任務(wù)和挑戰(zhàn),如自動(dòng)駕駛、避障、停車等,參賽車輛需要完成各種任務(wù)和挑戰(zhàn)。

(5)創(chuàng)新思維。無人駕駛方程式汽車大賽鼓勵(lì)參賽車輛團(tuán)隊(duì)發(fā)揮創(chuàng)新思維,采用新的算法和技術(shù),提高自己的競(jìng)爭(zhēng)力。

由于FSAC賽事在能夠發(fā)揮參賽車隊(duì)最大的設(shè)計(jì)靈活性和自由性,充分表達(dá)參賽車隊(duì)和選手們的創(chuàng)造力和想象力,因此對(duì)賽車本身的整體設(shè)計(jì)給予了很大的自主空間。同時(shí),FSAC賽事主要在封閉場(chǎng)地內(nèi)進(jìn)行,在賽事事先規(guī)定賽道進(jìn)行比賽,通過視覺感知三種顏色的錐桶標(biāo)識(shí)實(shí)現(xiàn)無人賽車的規(guī)劃與決策,進(jìn)而完成比賽。因此,針對(duì)無人駕駛賽車的眼睛——環(huán)境感知技術(shù)而言,目前各參賽車隊(duì)主要討論的問題包括如何選擇傳感器的搭配方案和如何設(shè)計(jì)基于不同傳感器的感知算法,從而更精準(zhǔn)、快速的感知和識(shí)別出賽道中的三色錐桶,進(jìn)而完成比賽。

2 無人駕駛方程式賽車環(huán)境感知技術(shù)

環(huán)境感知系統(tǒng)是實(shí)現(xiàn)無人駕駛方程式賽車關(guān)鍵環(huán)節(jié),該系統(tǒng)一般由激光雷達(dá)、相機(jī)等傳感器共同構(gòu)成。環(huán)境感知不僅需要識(shí)別到各種工況下的不同障礙物,還需要進(jìn)行高精度定位及獲取物體的語義信息。近年來,無人駕駛車輛對(duì)環(huán)境感知系統(tǒng)的要求不斷提高,這也使得雷達(dá)、相機(jī)等傳感器技術(shù)得到迅速發(fā)展。目前環(huán)境感知方案主要以相機(jī)和激光雷達(dá)傳感器為主,其它傳感器輔助進(jìn)行檢測(cè),但基于傳感器本身的限制,兩種方案在一些方面上互有優(yōu)劣。因此,使各傳感器共同作用將是下一步發(fā)展的趨勢(shì)。本章將針對(duì)上述三種方案現(xiàn)狀進(jìn)行概述分析。

2.1 基于視覺的環(huán)境感知技術(shù)

以相機(jī)傳感器為主進(jìn)行目標(biāo)檢測(cè)的方法又稱為基于視覺的目標(biāo)檢測(cè),即通過相機(jī)采集圖像從而獲取外界信息,憑借其豐富的語義信息、較高的分辨率等優(yōu)點(diǎn)優(yōu)于激光雷達(dá)傳感器,是無人車輛及各高校車隊(duì)的選擇之一。就FSAC賽事而言,相機(jī)傳感器的檢測(cè)目標(biāo)為三色錐桶,因此以下問題需要重點(diǎn)關(guān)注:(1)錐桶顏色作為決策標(biāo)識(shí),需要精準(zhǔn)識(shí)別語義信息,避免其他干擾;(2)識(shí)別的精度問題,三色錐桶個(gè)體目標(biāo)較小,并且可能存在重疊、不完整的情況;(3)檢測(cè)效率問題,由于賽車在行駛過程中需要對(duì)錐桶進(jìn)行實(shí)時(shí)檢測(cè),所以需要確保檢測(cè)的實(shí)時(shí)性問題。

針對(duì)上述問題,整理概括國內(nèi)外專家學(xué)者提出的目標(biāo)檢測(cè)算法,針對(duì)方程式賽車實(shí)用背景,分析傳統(tǒng)目標(biāo)檢測(cè)算法的弊端,并重點(diǎn)分析基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法的針對(duì)上述問題的適應(yīng)性。

2.1.1 傳統(tǒng)目標(biāo)檢測(cè)算法

傳統(tǒng)目標(biāo)檢測(cè)方法以人工提取特征信息,針對(duì)特征提取與分類方法進(jìn)行研究。常用的檢測(cè)與分類方法包括方向梯度直方圖(HOG)、尺度不變特征轉(zhuǎn)換(SIFT),K最鄰近法(KNN)、支持向量機(jī)(SVM)等。但由于傳統(tǒng)目標(biāo)檢測(cè)實(shí)時(shí)響應(yīng)性不高,檢測(cè)速度慢,并且傳統(tǒng)特征檢測(cè)主要是通過人為設(shè)計(jì),因此泛化能力不佳,在檢測(cè)特定的目標(biāo)上需要特殊設(shè)計(jì)。因此,方程式賽車多采用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行解決。對(duì)比傳統(tǒng)的檢測(cè)方法,卷積神經(jīng)網(wǎng)絡(luò)的最大優(yōu)點(diǎn)是提取特征能力優(yōu)秀,不需要人工設(shè)計(jì)特征,能夠根據(jù)不同數(shù)據(jù)的特點(diǎn)自適應(yīng)獲取特征,讓模型學(xué)習(xí)數(shù)據(jù)的本質(zhì),具有非常強(qiáng)的普適性。另外,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法模型簡(jiǎn)單,計(jì)算量較小,在實(shí)時(shí)性上有顯著的優(yōu)勢(shì)。

2.1.2 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法按照模式通常分為兩大類:一類是基于區(qū)域的目標(biāo)檢測(cè)算法,又稱為two-stage算法,其將目標(biāo)檢測(cè)的問題劃分為兩個(gè)階段,先是通過算法產(chǎn)生候選區(qū)域提取特征,然后根據(jù)候選區(qū)域內(nèi)的特征進(jìn)行目標(biāo)對(duì)象的分類和定位。該類算法在無人駕駛方程式賽車目標(biāo)檢測(cè)的應(yīng)用上,主要需要克服檢測(cè)速度帶來的影響。具有代表性的算法包括R-CNN[2]、Fast R-CNN[3]和Faster R-CNN[4]等;另一類是基于回歸的目標(biāo)檢測(cè)算法,又稱為one stage算法,采用回歸的思想實(shí)現(xiàn)端到端解決目標(biāo)檢測(cè)的問題,大幅提高了檢測(cè)速度。該類算法在無人駕駛方程式賽車目標(biāo)檢測(cè)的應(yīng)用上,主要需要克服面對(duì)小目標(biāo)物體帶來的檢測(cè)精確度以及適用性問題。該類算法典型的代表為SSD[5]和YOLO[6-9]。

2014年,Girshick R等人提出R-CNN算法,第一次實(shí)現(xiàn)了深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用。R-CNN將候選區(qū)域算法和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,使得檢測(cè)速度和精度得到了大幅提升。但在對(duì)原始圖片進(jìn)行候選區(qū)域選擇時(shí),需要不斷對(duì)可能包含重復(fù)部分進(jìn)行計(jì)算,導(dǎo)致計(jì)算量過大,直接影響了計(jì)算效率。隨后在2015年和2017年,Girshick R再次提出Fast R-CNN算法和Faster R-CNN算法,分別在上述的基礎(chǔ)上進(jìn)行改進(jìn),提高了檢測(cè)性能。但作為two-stage算法 ,其在面對(duì)較小物體時(shí)的檢測(cè)性能仍有待提升,且檢測(cè)速率相對(duì)較慢。針對(duì)檢測(cè)物體較小的問題,王忠塬等人[10]提出了一種基于Faster R-CNN的改進(jìn)方法,設(shè)計(jì)了基于多卷積核的深度可分離分組卷積Res Net,并使用分組卷積的方式壓縮參數(shù)量與計(jì)算量, 在保證速度的前提下有效的提高了小目標(biāo)檢測(cè)準(zhǔn)確率。

針對(duì)檢測(cè)速度問題,曹之君等人[11]提出了一種快速目標(biāo)檢測(cè)算法,該算法在Faster R-CNN基礎(chǔ)上改進(jìn)網(wǎng)絡(luò)模型,在RPN網(wǎng)絡(luò)中引入了反饋機(jī)制,并調(diào)整訓(xùn)練過程中選擇候選區(qū)域的數(shù)量,減少開銷,提高了檢測(cè)速度,在實(shí)時(shí)性上有了進(jìn)一步改善,改進(jìn)后的算法框架如圖1。

圖1 改進(jìn)Faster-RCNN算法框架[11]

One-stage算法由于其端對(duì)端的思想,在實(shí)時(shí)性上占據(jù)著天然的優(yōu)勢(shì),其主要代表方法包括SSD算法和YOLO算法。2015年Joseph Redmon首次提出YOLO算法,這是YOLO系列算法的開山之作,奠定了之后系列的基礎(chǔ),其中YOLO歷代算法改進(jìn)見表1。

表1 YOLO系列算法的主要變化

在方程式賽車目標(biāo)檢測(cè)中,由于Darknet框架的簡(jiǎn)易靈活等特點(diǎn),經(jīng)常通過使用YOLO輕量化模型,對(duì)錐桶目標(biāo)進(jìn)行檢測(cè),一定程度上對(duì)性能有所優(yōu)化。針對(duì)小目標(biāo)檢測(cè)精度的問題,Li等[12]改進(jìn)YOLOv3算法,參照ShuffleNet和通道注意力機(jī)制的思想構(gòu)造BackBone,并借鑒殘差網(wǎng)絡(luò)思想實(shí)現(xiàn)多尺度目標(biāo)圖像的預(yù)測(cè)功能。該方法有效利用和融合目標(biāo)圖像的多特征信息,但改進(jìn)后的模型較為復(fù)雜,使得檢測(cè)速度降低。而Wang等[13]在YOLOv5的基礎(chǔ)上引入 DenseNet,增加 Bottleneck 結(jié)構(gòu)數(shù)量,壓縮了模型的參數(shù)量,大大提高檢測(cè)速度。另外,Ju等人[14]將YOLOv4原始的連續(xù)卷積運(yùn)算被替換為殘差連接,從而生成多個(gè)不同尺度的特征圖,使得能夠同時(shí)提取待檢測(cè)目標(biāo)圖像的類別和位置信息,對(duì)于密集分布和混合分布的目標(biāo)檢測(cè)場(chǎng)景,可以獲得較好的檢測(cè)效果。趙梓杉等人[15]針對(duì)錐桶檢測(cè)設(shè)計(jì)了YOLOv5錐桶檢測(cè)模型,直接以FSAC賽事為背景進(jìn)行實(shí)驗(yàn),通過設(shè)計(jì)數(shù)據(jù)集進(jìn)行訓(xùn)練,調(diào)整網(wǎng)絡(luò)參數(shù),并與YOLOv3進(jìn)行對(duì)比實(shí)驗(yàn),大幅度提升了錐桶檢測(cè)的速度與準(zhǔn)確率。

為了更直觀的觀察各算法優(yōu)勢(shì),對(duì)上述算法在經(jīng)典測(cè)試集進(jìn)行測(cè)試,各算法檢測(cè)速度和精度對(duì)比見表2[4,9,11,15-17]。

表2 各算法在測(cè)試集上的對(duì)比

經(jīng)以上分析介紹,基于視覺的目標(biāo)檢測(cè)應(yīng)用于無人駕駛方程式賽車主要以深度學(xué)習(xí)的方法為主。其中,one-stage方法具備高響應(yīng)、高實(shí)時(shí)性的優(yōu)勢(shì),但在小目標(biāo)檢測(cè)方向上存在準(zhǔn)確率較低或檢測(cè)不完全的缺點(diǎn),可以針對(duì)選擇數(shù)據(jù)集進(jìn)行訓(xùn)練,并在激光雷達(dá)的配合下完成檢測(cè)任務(wù)。two-stage方法具備高準(zhǔn)確率的優(yōu)勢(shì),但同樣沒有針對(duì)小目標(biāo)物體進(jìn)行訓(xùn)練的模型,并且相應(yīng)計(jì)算量過大,實(shí)時(shí)性較低,一定程度上無法滿足方程式賽車的實(shí)時(shí)性要求。下一步可以繼續(xù)在檢測(cè)速率上進(jìn)行研究,并訓(xùn)練針對(duì)性模型,從而完成方程式賽車的感知任務(wù)。

2.2 基于激光雷達(dá)的環(huán)境感知技術(shù)

激光雷達(dá)是一種非接觸式光學(xué)測(cè)量?jī)x器,其通過自身旋轉(zhuǎn)發(fā)射激光,當(dāng)激光觸及目標(biāo)被反射后,激光雷達(dá)接收到物體反射的激光,從而檢測(cè)目標(biāo)。激光雷達(dá)擁有高精度的測(cè)距能力及高響應(yīng)特性,并且不受光照影響。較視覺傳感器相比,激光雷達(dá)表達(dá)環(huán)境中障礙物信息更加精準(zhǔn)優(yōu)秀,在無人駕駛方程式賽車環(huán)境感知系統(tǒng)中占據(jù)很大的比重。無人駕駛方程式賽車中基于激光雷達(dá)環(huán)境感知任務(wù)可以細(xì)化為對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理,從而進(jìn)行物體檢測(cè)的任務(wù)。

2.2.1 點(diǎn)云分割算法

物體檢測(cè)主要用以描述范圍內(nèi)物體的輪廓及位置。在方程式賽車中,障礙物即錐桶都是垂直于地面的,且錐桶高度受限,所以雷達(dá)安裝高度相對(duì)較低,地面點(diǎn)云數(shù)據(jù)將是提取錐桶數(shù)據(jù)的最大干擾。而點(diǎn)云分割通過將具備同一種屬性的點(diǎn)云聚類,從而將目標(biāo)點(diǎn)云與冗余的點(diǎn)云數(shù)據(jù)區(qū)分開來,達(dá)到獲取目標(biāo)點(diǎn)云的目的。但在進(jìn)行地面點(diǎn)云數(shù)據(jù)分割過程中,以下問題需要重點(diǎn)關(guān)注:地面并不都是平坦的,可能存在部分崎嶇不平路段;處理的效率問題,能否滿足方程式賽車的實(shí)時(shí)響應(yīng)性;分割準(zhǔn)確度與完全度問題,由于錐桶目標(biāo)較小,可能會(huì)影響到分割的準(zhǔn)確度,或影響道路平面擬合的完整性。

為解決上述問題,總結(jié)歸納國內(nèi)外學(xué)者提出的地面點(diǎn)云分割算法,可分為基于地面估計(jì)的方法、基于柵格圖的方法、基于平面擬合的方法與基于學(xué)習(xí)的分割方法。

(1)地平面估計(jì)算法。地平面估計(jì)算法主要以確定地面詳細(xì)點(diǎn)為主,準(zhǔn)確提取地面點(diǎn)云。Byun[18]與Rummelhard[19]等人則采用基于條件隨機(jī)場(chǎng)的方法,結(jié)合高斯模型和迭代期望最大化方法進(jìn)行預(yù)測(cè),實(shí)現(xiàn)了對(duì)任意地形下精確地面分割。Chen C等人[20]利用不同尺度的曲率信息來判斷點(diǎn)云中的地面點(diǎn)和非地面點(diǎn),并通過分層聚合的方式來獲得最終的地面點(diǎn)云。與傳統(tǒng)方法相比,該方法能夠更好地處理地形變化、建筑物和樹木等非地面物體的影響,提高地面點(diǎn)提取的準(zhǔn)確性和魯棒性。以上方法在地表平面估計(jì)具備很大的優(yōu)勢(shì),但其劣勢(shì)也很明顯,需要大量的計(jì)算時(shí)間,無法滿足方程式賽車所需的實(shí)時(shí)響應(yīng)性。

(2)基于柵格圖的方法。基于柵格圖的方法的思想是將點(diǎn)云數(shù)據(jù)柵格化,針對(duì)柵格內(nèi)點(diǎn)云特性進(jìn)行分割。其中魯小偉等[21]提出了一種基于二次柵格化的方法進(jìn)行地面分割。該方法主要針對(duì)地面凹凸不平甚至存在坡度的情況。在第一次柵格化劃分后,對(duì)相鄰的柵格內(nèi)的高度信息設(shè)置一定條件進(jìn)行檢測(cè),第二次柵格化在檢測(cè)出的地面點(diǎn)云上進(jìn)行柵格劃分,劃分后采用滑動(dòng)窗口的方法將連續(xù)的、不屬于地面點(diǎn)云的高架點(diǎn)進(jìn)行更新。最終,實(shí)現(xiàn)在彎道處以及直道處良好的地面分割效果;鄒兵等[22]同樣將點(diǎn)云進(jìn)行柵格化,并計(jì)算柵格單元高度差、平均高度,同時(shí)在柵格單元引入點(diǎn)云高度方差信息,綜合三個(gè)分割指標(biāo)實(shí)現(xiàn)地面點(diǎn)云準(zhǔn)確快速分割,根據(jù)設(shè)定閾值對(duì)地面與非地面點(diǎn)云進(jìn)行分割。以上方法的效果均決于柵格劃分與閾值設(shè)定的優(yōu)劣,針對(duì)于非結(jié)構(gòu)化路面具有良好的效果,閾值設(shè)定也更為簡(jiǎn)單。應(yīng)用于方程式賽車中需要進(jìn)行大量實(shí)驗(yàn)選取合適柵格和閾值,以避免錐桶與地面高度差過低或錐桶點(diǎn)云目標(biāo)較小引起的分割不準(zhǔn)確問題。

(3)基于平面擬合的方法?；谄矫鏀M合的方法的核心思想是將點(diǎn)云數(shù)據(jù)擬合為不同平面,從而完成地面分割。在二維空間中該思想主要建立在霍夫變換的思想上擬合直線,在三維點(diǎn)云空間中則通過隨機(jī)樣本一致性(RANSAC)[23]算法擬合平面。RANSAC算法通過隨機(jī)采取數(shù)據(jù)點(diǎn)擬合平面,設(shè)定閾值判斷點(diǎn)云內(nèi)屬于該平面的點(diǎn),不斷迭代,從而實(shí)現(xiàn)平面擬合與分割。該算法主要針對(duì)地面點(diǎn)云在整體點(diǎn)云數(shù)據(jù)中占比過大的情況,非常適合用于方程式賽車的地面分割中來,但點(diǎn)云數(shù)據(jù)過多時(shí),會(huì)導(dǎo)致迭代次數(shù)增加,對(duì)滿足實(shí)時(shí)性產(chǎn)生了挑戰(zhàn)。在迭代次數(shù)方面,黃瑤[24]在FSAC賽事環(huán)境下做了針對(duì)性的實(shí)驗(yàn),通過實(shí)車測(cè)試做了最佳的迭代次數(shù)。在提升實(shí)時(shí)性方面,左勇[25]等人提出了一種LP-RANSAC算法,在基于RANSAC的基礎(chǔ)上利用高度最值信息提高了地面點(diǎn)云占比,減少了計(jì)算量,并且在分割地面點(diǎn)云的同時(shí)仍能保留較好的原始數(shù)據(jù)特征。

(4)基于深度學(xué)習(xí)的方法。隨著深度學(xué)習(xí)在各領(lǐng)域內(nèi)嶄露頭角,基于學(xué)習(xí)的點(diǎn)云分割方法也在逐漸被提出。這種分割多為語義分割,即將點(diǎn)云標(biāo)注不同的語義特征,從而實(shí)現(xiàn)分割。文獻(xiàn)[26-27]通過將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為二維圖像,像素與點(diǎn)云相對(duì)應(yīng),并將圖像輸入至CNN卷積神經(jīng)網(wǎng)絡(luò)中以分割點(diǎn)云中的實(shí)例。但該方法需要大量數(shù)據(jù)集作為支撐,并且針對(duì)大規(guī)模點(diǎn)云時(shí)速率較低。為了解決缺少大量數(shù)據(jù)集支撐的問題,ZHANG等人[28]提出了一種無監(jiān)督學(xué)習(xí)方法,通過使用深度圖卷積神經(jīng)網(wǎng)絡(luò)(GCNN)的部分對(duì)比和對(duì)象聚類來學(xué)習(xí)未標(biāo)記的點(diǎn)云數(shù)據(jù)集的特征,但同樣存在計(jì)算量過大的問題。因此基于學(xué)習(xí)的點(diǎn)云分割方法仍待進(jìn)一步研究發(fā)展,以輕量化與針對(duì)訓(xùn)練為方向,在保留準(zhǔn)確賦予語義特征的前提下,提高實(shí)時(shí)響應(yīng)性以應(yīng)用于方程式賽車當(dāng)中。

2.2.2 點(diǎn)云聚類算法

在進(jìn)行地面點(diǎn)云數(shù)據(jù)分割后,原始點(diǎn)云數(shù)據(jù)中除了存在錐桶數(shù)據(jù)還存在離散的噪聲數(shù)據(jù)等。這時(shí)進(jìn)行檢測(cè)仍會(huì)由于噪聲、物體堆疊、樁桶信息斷裂等情況造成誤差,因此需要進(jìn)行聚類分析。其主要思想是選取一個(gè)點(diǎn)云,根據(jù)距離、密度等特征值設(shè)置閾值,通過閾值對(duì)其鄰近點(diǎn)云進(jìn)行判斷是否可以聚為一類。常用方法包括k-means聚類、DBSCAN聚類與歐氏聚類等。

k均值聚類旨在將點(diǎn)云數(shù)據(jù)依據(jù)平均距離分為k個(gè)簇,其算法簡(jiǎn)單但對(duì)初始聚類中心值難以確定。為了解決這個(gè)問題,ZHANG 等[29]基于密度選取初始聚類中心的思想對(duì)其進(jìn)行改進(jìn),研究結(jié)果表明,改進(jìn)的 K-means 聚類算法具有更高的穩(wěn)定性和準(zhǔn)確性;馬克勤等[30]將距離最遠(yuǎn)的兩個(gè)樣本點(diǎn)作為初始聚類中心,將剩余樣本點(diǎn)與已知聚類中心距離最小值組成的集合中選取最大值所對(duì)應(yīng)的樣本作為下一個(gè)聚類中心,以此達(dá)到確定初始樣本中心的目的。而在FSAC賽事中,由于賽道兩旁的錐桶目標(biāo)不確定,即無法確定k值,因此常使用該算法來對(duì)冗余點(diǎn)云進(jìn)行簡(jiǎn)化。

DBSCAN聚類是基于密度的聚類方法,其參數(shù)少易于改進(jìn),抗干擾能力優(yōu)秀,并且能夠聚類點(diǎn)云數(shù)據(jù)中的任意形狀障礙物。但實(shí)時(shí)性較低,在點(diǎn)云密度不均勻時(shí)容易誤檢,并且對(duì)參數(shù)敏感,在多密度的數(shù)據(jù)集下使用全局參數(shù),無法確保局部的聚類質(zhì)量。針對(duì)上述問題,Kim JH等[31]人提出了一種基于密度的聚類算法,稱為AA-DBSCAN。該算法是DBSCAN的擴(kuò)展,能夠更好地識(shí)別具有不同密度的簇。AA-DBSCAN通過適應(yīng)性地調(diào)整DBSCAN算法的參數(shù)來自適應(yīng)不同密度的數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明,AA-DBSCAN在識(shí)別具有不同密度的簇方面表現(xiàn)出色,且具有更高的聚類準(zhǔn)確性和更快的運(yùn)行速度。另外,張長(zhǎng)勇[32]等人提出一種自適應(yīng)的DBSCAN算法,針對(duì)分析傳統(tǒng)DBSCAN算法在密度不均與計(jì)算量過大等方面存在的局限性,根據(jù)不同掃描距離采用不同參數(shù),并提出“核心點(diǎn)”概念,達(dá)到了對(duì)不同距離障礙物快速準(zhǔn)確聚類的目的。

歐氏聚類是通過距離作為限制條件,通過設(shè)定距離閾值進(jìn)行聚類。該方法聚類效果好,但由于需要對(duì)近鄰點(diǎn)云比較,帶來的計(jì)算量大的問題。同時(shí)由于點(diǎn)云具有密度近大遠(yuǎn)小的特點(diǎn),這也使得固定閾值在密度不均勻的點(diǎn)云聚類中容易產(chǎn)生誤差。王凱歌等[33]從改進(jìn)算法的角度出發(fā),提出給點(diǎn)云賦值來區(qū)分目標(biāo)點(diǎn)云和干擾點(diǎn)云,雖然檢測(cè)的準(zhǔn)確率有所提升,但是計(jì)算過程復(fù)雜,耗時(shí)多。針對(duì)實(shí)時(shí)性問題,Cao Y等人[34]提出一種快速歐幾里得聚類(FEC)算法,通過采用具有索引的逐點(diǎn)搜索方案,降低了對(duì)kd-tree的調(diào)用次數(shù),使得聚類速度得到大幅提升。而在無人駕駛方程式賽車的應(yīng)用上,黃瑞欽等人[35]針對(duì)賽道環(huán)境提出改進(jìn)歐氏聚類的方法,找到感興趣區(qū)域,并利用隨機(jī)采樣算法分離地面和錐桶的點(diǎn)云,最后設(shè)計(jì)出面向賽道環(huán)境的區(qū)域劃分方法來改進(jìn)歐氏聚類算法,利用動(dòng)態(tài)閾值聚類分割出錐桶點(diǎn)云,從而完成聚類任務(wù)。

通過以上分析介紹,無人駕駛方程式賽車基于激光雷達(dá)的環(huán)境感知系統(tǒng)主要任務(wù)聚焦于地面點(diǎn)云的分割與非地面點(diǎn)云即錐桶點(diǎn)云的聚類兩部分。目前大多算法主要關(guān)注在三維空間內(nèi)平面分割、多物體目標(biāo)識(shí)別及語義分割等方向,而FSAC賽事場(chǎng)地平坦,障礙物目標(biāo)單一,主要關(guān)注小目標(biāo)物體檢測(cè)的準(zhǔn)確性、實(shí)時(shí)性及地面雜物的干擾問題,后續(xù)可以繼續(xù)根據(jù)以上問題改進(jìn)創(chuàng)新。

2.3 基于多傳感器融合的環(huán)境感知技術(shù)

通過對(duì)上述方案的分析,結(jié)合方程式賽車環(huán)境感知背景,車載相機(jī)能夠捕捉環(huán)境中目標(biāo)的顏色、紋理、位置等信息,較激光雷達(dá)傳感器而言具有檢測(cè)語義特征豐富、價(jià)格低廉的優(yōu)點(diǎn)。但其缺點(diǎn)也較為明顯,受到光源影響。此外,單目相機(jī)無法提供三維數(shù)據(jù)信息,而雙目或深度相機(jī)價(jià)格昂貴且檢測(cè)精度、范圍、分辨率等都不如激光雷達(dá)傳感器。單一傳感器存在著各自的優(yōu)勢(shì)與劣勢(shì),因此將傳感器進(jìn)行組合使用,互相彌補(bǔ)不足,克服在某一領(lǐng)域內(nèi)單一傳感器的局限性,提高感知外界環(huán)境信息精度是非常必要的。

2.3.1 多傳感器融合結(jié)構(gòu)

多傳感器融合技術(shù)根據(jù)輸入融合網(wǎng)絡(luò)數(shù)據(jù)的不同,分為數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合三類[36]。其中,數(shù)據(jù)級(jí)融合是最基礎(chǔ)的融合方式,通過將來自多個(gè)傳感器的數(shù)據(jù)進(jìn)行整理對(duì)齊的預(yù)處理,直接融合各傳感器的原始數(shù)據(jù)。數(shù)據(jù)級(jí)融合能夠最大程度的保留原始數(shù)據(jù),同時(shí)多源數(shù)據(jù)之間相互補(bǔ)償,避免了單一數(shù)據(jù)的局限性,例如相機(jī)與激光雷達(dá)融合就可以補(bǔ)償激光雷達(dá)語義信息的不足[37]。但由于原始數(shù)據(jù)信息類型不同,這要導(dǎo)致了在融合過程中需要大量計(jì)算對(duì)數(shù)據(jù)進(jìn)行時(shí)間、空間上的數(shù)據(jù)對(duì)齊。而且融合算法的架構(gòu)比較固定,不容易在原始架構(gòu)中增加新的傳感器模塊。其次,多源數(shù)據(jù)之間存在互補(bǔ)也存在相互沖突的數(shù)據(jù),這也導(dǎo)致數(shù)據(jù)級(jí)融合的噪聲過多,抗干擾性較差。這也導(dǎo)致在方程式賽車中,傳統(tǒng)的數(shù)據(jù)級(jí)融合方法已經(jīng)被淘汰,乃至被各種特征融合方式所替代。

特征級(jí)融合為中間層融合方式,其通過對(duì)各傳感器節(jié)點(diǎn)的原始數(shù)據(jù)進(jìn)行特征提取,并以特征向量的方式來表示物體信息,最后傳入特征融合網(wǎng)絡(luò)完成融合。該方法在特征提取階段,不同的傳感器數(shù)據(jù)將提取不同的特征。以圖像和點(diǎn)云為例,圖像數(shù)據(jù)提取的特征多為檢測(cè)目標(biāo)的輪廓、類別、顏色等;激光雷達(dá)數(shù)據(jù)提取的特征多為檢測(cè)目標(biāo)的表面信息、三維數(shù)據(jù)及位置距離信息等。大多數(shù)基于深度學(xué)習(xí)的特征提取通過神經(jīng)網(wǎng)絡(luò)來進(jìn)行,如RoarNet[38]、AVOD[39]、MV3D[40]、F-PointNet[41]等。特征級(jí)融合不僅一定程度上保留了原始數(shù)據(jù)中的重要特征信息,還大大減少了原始數(shù)據(jù)到融合模塊的帶寬,對(duì)數(shù)據(jù)進(jìn)行有效的壓縮,提高了系統(tǒng)的實(shí)時(shí)性。相對(duì)數(shù)據(jù)級(jí)融合相比,減少了傳入融合模塊的數(shù)據(jù)量,故檢測(cè)速度大幅提升,但相對(duì)會(huì)丟失部分細(xì)節(jié)信息,融合精度不如數(shù)據(jù)級(jí)融合。

決策級(jí)融合屬于最高級(jí)的融合,其通過對(duì)多個(gè)傳感器傳入的數(shù)據(jù)進(jìn)行決策分析,隨后對(duì)每個(gè)決策信息進(jìn)行融合,根據(jù)決策之間的相關(guān)性得出滿足實(shí)際需要的高級(jí)決策[42]。決策級(jí)融合在方程式賽車環(huán)境感知中具備獨(dú)特的優(yōu)勢(shì),其模塊化的傳感器封裝,可以使得最終決策結(jié)果不因某一傳感器故障而發(fā)生改變,其次由于其不存在中間數(shù)據(jù)的融合過程,精簡(jiǎn)了復(fù)雜結(jié)構(gòu),大大提升了實(shí)時(shí)性,融合速度更快捷高效。

2.3.2 基于圖像和點(diǎn)云融合的目標(biāo)檢測(cè)算法

對(duì)于方程式賽車來講,主要需要將圖像和激光點(diǎn)云數(shù)據(jù)相融合,融合方式大概分為2D proposal與3Dproposal,2Dproposal通過將目標(biāo)檢測(cè)生成二維的感興趣區(qū)域投射到三維空間,包括基于點(diǎn)的融合方式、基于視錐體的融合方式,3Dproposal直接從二維或者三維空間中預(yù)測(cè)出三維候選區(qū)域,包括基于多視角的融合方式、基于體素的融合方式等[43]。

基于點(diǎn)的融合方式通過將點(diǎn)云投影到平面,使得圖像的高語義特征與點(diǎn)云中的點(diǎn)一一對(duì)應(yīng)?；邳c(diǎn)云本身語義信息不足,分辨率不高等問題,Point Painting[44]和PI-RCNN[45]模型將圖像分支和原始激光雷達(dá)點(diǎn)云中的語義特征融合在一起典型模型。這種模型通過思考圖像本身具備的高語義信息與雷達(dá)所具備的精確的檢測(cè)范圍互相彌補(bǔ),提出將RGB圖像與雷達(dá)點(diǎn)云相融合,網(wǎng)絡(luò)示意圖如圖2。Yang等在該思想的基礎(chǔ)上,針對(duì)目標(biāo)存在遮擋或目標(biāo)較多的問題,提出基于密集型點(diǎn)的目標(biāo)檢測(cè)模型 IPOD[46]。該方法通過將點(diǎn)云投影到圖像并使用二維語義關(guān)聯(lián)的方法過濾背景,生成的前景點(diǎn)保留了上下文信息和細(xì)粒度的位置信息,在之后的逐點(diǎn)提案生成和包圍框回歸階段,使用兩個(gè)基于 PointNet++[47]的網(wǎng)絡(luò)進(jìn)行特征提取和包圍框預(yù)測(cè),在密集場(chǎng)景具備更好的檢測(cè)性能。

圖2 Point Painting網(wǎng)絡(luò)示意圖[44]

基于視錐體的融合方式通過將二維的感興趣區(qū)域邊界框投影到三維空間內(nèi),形成視錐體以實(shí)現(xiàn)融合。Qi等提出F-PointNet模型將成熟的CNN目標(biāo)檢測(cè)算法和pointnet處理點(diǎn)云方法相結(jié)合,通過frustum(視錐體)的方式將二維邊界框映射到三維空間進(jìn)行處理,最后利用輕量級(jí)回歸PointNet(T-Net)網(wǎng)絡(luò)預(yù)測(cè)邊界框中心,通過三維邊界框估計(jì)模塊獲取檢測(cè)結(jié)果,其網(wǎng)絡(luò)結(jié)構(gòu)如圖3。隨后WANG等[48]在F-PointNet的基礎(chǔ)上進(jìn)行改進(jìn),為提高檢測(cè)效率提出生成視錐體序列的辦法,減少了遍歷點(diǎn)云的數(shù)量。

圖3 F-PointNet網(wǎng)絡(luò)結(jié)構(gòu)圖[41]

基于多視角的融合方式通過利用鳥瞰圖法生成三維感興趣區(qū)域,并回歸三維檢測(cè)框。2019年,Gu等[49]將分割結(jié)果組合在一起解決道路檢測(cè)問題的方法,與Melotti等[50]提出的融合一樣,將三維檢測(cè)方案不同分支的權(quán)重匯總為一個(gè)最終權(quán)重,進(jìn)行候選框的選取。Chen等創(chuàng)新性的提出了一種用多傳感器不同視角相融合的模型MV3D,其輸入為點(diǎn)云的鳥瞰圖、點(diǎn)云的前視圖及二維原始圖像,通過在鳥瞰圖中使用三維區(qū)域候選網(wǎng)絡(luò)獲得三維候選區(qū)域,并將其分別映射到不同視角中以獲得了3個(gè)不同的候選區(qū)域。隨后融合來自3種形式數(shù)據(jù)特征,并利用定向三維框回歸實(shí)現(xiàn)檢測(cè)。但在針對(duì)小目標(biāo)時(shí),點(diǎn)云鳥瞰圖中經(jīng)過下采樣之后占據(jù)像素少,容易產(chǎn)生漏檢的情況MV3D網(wǎng)絡(luò)結(jié)構(gòu)圖如圖4。

圖4 MV3D網(wǎng)絡(luò)結(jié)構(gòu)圖

基于體素的融合方式將點(diǎn)云看作3D空間,并分成一個(gè)個(gè)體素塊,將體素與圖像對(duì)應(yīng)融合。Sindagi等人首先提出基于體素進(jìn)行融合的算法MVX-Net[51],其通過Faster-RCNN算法進(jìn)行圖像特征提取,并將點(diǎn)云投影至圖像,與其生成的特征圖進(jìn)行匹配,隨后再對(duì)匹配完成的圖像提取特征。另一方面,在上述過程中同時(shí)對(duì)原始點(diǎn)云進(jìn)行了體素化處理,并與上述匹配處理后的特征圖進(jìn)行特征融合操作,逐點(diǎn)進(jìn)行拼接。最后進(jìn)行多層的體素特征編碼操作,生成三維候選區(qū)域進(jìn)行3D檢測(cè)。

綜上所述,相機(jī)與激光雷達(dá)組合被用于感知系統(tǒng)具備一定的可靠性與提升,能夠使得自動(dòng)駕駛汽車更好的理解復(fù)雜場(chǎng)景。但該技術(shù)并不成熟,由于噪聲的存在,使得融合時(shí)點(diǎn)云與像素的對(duì)齊不夠準(zhǔn)確。其次,現(xiàn)有的大多數(shù)方法都以精準(zhǔn)為目標(biāo),無法達(dá)到實(shí)時(shí)性的要求。在方程式賽車中需要保證以高速度實(shí)現(xiàn)高精度感知,因此仍需繼續(xù)進(jìn)行研究。

3 無人駕駛方程式賽車環(huán)境感知技術(shù)發(fā)展趨勢(shì)

無人駕駛系統(tǒng)由于其靈活自主和高智能等優(yōu)點(diǎn),已經(jīng)成為了國內(nèi)外學(xué)者研究的熱點(diǎn)問題,目前已經(jīng)在各種場(chǎng)合進(jìn)行了實(shí)驗(yàn)與模擬,已經(jīng)取得了不錯(cuò)的成果。但針對(duì)于方程式賽車而言,針對(duì)于目前動(dòng)態(tài)賽成果尚且不足,在面對(duì)更加復(fù)雜環(huán)境背景下,將帶來更多的挑戰(zhàn)。無人駕駛方程式賽車環(huán)境感知技術(shù)目前面臨的關(guān)鍵性難題主要包括:

(1)視覺系統(tǒng)檢測(cè)性能的不穩(wěn)定性。目前FSAC的賽事大多處于結(jié)構(gòu)化的場(chǎng)地,但仍存在道路環(huán)境的復(fù)雜多變光照特性與天氣狀況帶來的問題。

(2)多傳感器融合。環(huán)境感知系統(tǒng)主要通過相機(jī)和激光雷達(dá)傳感器發(fā)揮作用,但二者之間的融合算法仍不完善。同時(shí)成本相對(duì)較高,在惡劣條件下效果較差。

(3)實(shí)時(shí)性。FSAC動(dòng)態(tài)項(xiàng)目中,主要針對(duì)靜態(tài)障礙物進(jìn)行檢測(cè)規(guī)劃,對(duì)實(shí)時(shí)性相對(duì)要求較低。但在未來賽事中,可能出現(xiàn)更多的動(dòng)態(tài)障礙物,要求方程式賽車更加的靈活多變,對(duì)實(shí)時(shí)性提出了更高的要求。

面對(duì)上述難點(diǎn),無人駕駛系統(tǒng)應(yīng)具備更高的智能感知能力,甚至可以具備一定的認(rèn)知能力。在硬件方面,需要對(duì)各傳感器特性充分融合,互補(bǔ)互足?？梢钥紤]使用更多的傳感器,如激光雷達(dá)、毫米波雷達(dá)與相機(jī)共同作用。同時(shí),車載計(jì)算單元算力有限,應(yīng)進(jìn)一步提升算力。在面對(duì)無人駕駛系統(tǒng)目標(biāo)檢測(cè)、目標(biāo)跟蹤、決策與規(guī)劃多個(gè)任務(wù)同時(shí)進(jìn)行時(shí),將進(jìn)一步壓縮算力,對(duì)實(shí)時(shí)響應(yīng)產(chǎn)生影響。

在算法方面,面對(duì)復(fù)雜的非結(jié)構(gòu)化環(huán)境,可同時(shí)利用多傳感器共同作用帶來的信息,實(shí)現(xiàn)更精確、范圍更廣的感知。多傳感器融合算法目前多為基于有監(jiān)督的方式,需要優(yōu)秀的數(shù)據(jù)集進(jìn)行訓(xùn)練,但目前針對(duì)極端情況的數(shù)據(jù)集較少,且耗費(fèi)資源。因此?；跓o監(jiān)督的多傳感器融合算法將更適合方程式賽車。在實(shí)時(shí)響應(yīng)性方面,應(yīng)盡可能降低算法的復(fù)雜度,并根據(jù)規(guī)則在第一圈感知時(shí)即可完成先驗(yàn)工作,為實(shí)時(shí)計(jì)算留出算力空間,以得出更好的檢驗(yàn)結(jié)果。

4 結(jié) 語

方程式賽車屬于智能無人駕駛下的一個(gè)子集,其具備著智能無人駕駛所具備的自主性、智能性與無人化等特點(diǎn),同時(shí)又有自身所處賽事的背景環(huán)境特點(diǎn),是結(jié)合智能感知、自主規(guī)劃、智能決策多門學(xué)科技術(shù)的產(chǎn)物[52]。以FSAC賽事為背景,在自動(dòng)駕駛領(lǐng)域環(huán)境感知技術(shù)方面對(duì)近些年的研究發(fā)展進(jìn)行闡述,并分析算法在無人駕駛方程式賽車上的適用性。在未來,隨著FSAC大賽的持續(xù)發(fā)展,專家學(xué)者的不斷研究,方程式賽車將成為智能無人駕駛的典型應(yīng)用實(shí)例,也必將推動(dòng)目標(biāo)檢測(cè)與跟蹤、slam建圖和決策規(guī)劃等多項(xiàng)技術(shù)的蓬勃發(fā)展。