李愛娟，鞏春鵬，黃欣，曹家平，劉剛

1.山東交通學(xué)院 汽車工程學(xué)院，山東 濟南 250357；2.山東交通學(xué)院 信息科學(xué)與電氣工程學(xué)院，山東 濟南 250357；3.山東交通學(xué)院 教務(wù)處，山東 濟南 250357

0 引言

汽車自動駕駛技術(shù)主要包括環(huán)境感知、定位導(dǎo)航、軌跡規(guī)劃和執(zhí)行控制4個方面[1]，其中環(huán)境感知為自動駕駛汽車的決策和控制提供外界環(huán)境信息，是自動駕駛的前提和保障，目標檢測是環(huán)境感知的重要內(nèi)容[2-3]。綜合分析國內(nèi)外部分研究文獻，以目標檢測采用的傳感器數(shù)量和種類對目標檢測方法進行分類，綜述各檢測方法的特點及研究現(xiàn)狀，并對目標檢測方法未來發(fā)展方向進行展望。自動駕駛汽車目標檢測方法分類如圖1所示。

圖1 自動駕駛汽車目標檢測方法分類

1 基于單傳感器的目標檢測方法

自動駕駛汽車目標檢測的傳感器主要有相機、超聲波雷達、毫米波雷達、激光雷達等[4]，目標檢測常用傳感器的特性如表1所示。

表1 目標檢測常用傳感器的特性

1.1 基于視覺的目標檢測方法

相機是自動駕駛汽車獲取周圍環(huán)境信息的主要來源之一。早期的目標檢測多采用視覺獲取信息，基于視覺的目標檢測方法是先選擇候選區(qū)域，再對候選區(qū)域提取特征并判斷目標類型，包括基于傳統(tǒng)視覺的目標檢測方法和基于深度學(xué)習的目標檢測方法。

1.1.1 基于傳統(tǒng)視覺的目標檢測方法

基于傳統(tǒng)視覺的目標檢測方法采用手工提取特征[5]，主要檢測方法有VJ檢測器[6]、方向梯度直方圖(histogram of oriented gradient，HOG)檢測器[7]、可變形部件模型(deformable part-based model，DPM)[8]等。

VJ檢測器采用滑動窗口遍歷整個圖像，判斷目標是否存在。文獻[6]通過VJ檢測器實現(xiàn)對人臉的實時檢測，采用檢測級聯(lián)增加對有效目標的計算，提高了檢測速度。但該方法檢測的目標種類及大小均不固定，滑動窗口不能適應(yīng)物體大小的改變。

文獻[7]改進VJ檢測器的缺點，采用HOG檢測器，沿用VJ檢測器滑動窗口的思想，引入多尺度圖像金字塔適應(yīng)檢測目標的變化。文獻[9]采用HOG檢測器與支持向量機分類器相結(jié)合的方法識別前方車輛，并可刪除提取區(qū)域中的非車輛目標。

文獻[8]改進HOG檢測器，采用DPM，將整體檢測目標分解為局部檢測目標，分別檢測目標的各個部件，再整合檢測結(jié)果。傳統(tǒng)的DPM主要檢測目標圖像的梯度特征，容易過濾一些信息。文獻[10]提出基于車輛顏色的DPM檢測方法，目標檢測準確率大于90%，相比傳統(tǒng)目標檢測方法的檢測效率和準確率均較高。

VJ檢測器對自動駕駛汽車目標檢測方法的進步做出了較大貢獻，為后來的目標檢測方法提供了思想支持；HOG檢測器克服了VJ檢測器不能適應(yīng)物體大小改變的缺點；DPM將整體目標化為局部目標進行檢測，一定程度上提升了檢測效率。但上述方法均基于手工選取特征區(qū)域，存在計算量大、實時性差等問題，不能滿足自動駕駛汽車高可靠性的要求[11]。

1.1.2 基于深度學(xué)習的目標檢測方法

基于深度學(xué)習與基于傳統(tǒng)視覺的目標檢測方法主要區(qū)別為特征區(qū)域的提取方式不同，前者采用神經(jīng)網(wǎng)絡(luò)解決檢測目標的分類和回歸問題，按檢測原理不同分為單階段和兩階段目標檢測方法。

1.1.2.1 單階段目標檢測方法

單階段目標檢測方法是直接應(yīng)用單個檢測網(wǎng)絡(luò)，代表算法有“你只需看一次”(you only look once, YOLO)[12]系列算法、單點多框檢測器(single shot multibox detector，SSD)[13]、RetinaNet[14]等。

文獻[12]提出了1種統(tǒng)一的、實時的檢測框架YOLO，將目標檢測轉(zhuǎn)化為回歸類問題，可實現(xiàn)檢測目標與背景環(huán)境的區(qū)分與關(guān)聯(lián)，降低誤檢率。但對小目標和集群目標的檢測較低。目前YOLO系列算法已經(jīng)發(fā)展到v5版本，在保證高檢測速度的同時，提升了檢測準確率[15]。

針對YOLO v1版本存在的問題，文獻[13]采用SSD方法引入多尺度檢測，在神經(jīng)網(wǎng)絡(luò)的不同層檢測多個不同尺度的目標，提升了小目標的檢測準確率。文獻[16]將SSD應(yīng)用于小型交通標志的檢測，具有較高準確率。為解決單階段目標檢測方法無法兼顧速度與準確率的問題，文獻[14，17]提出了新的單階段檢測框架RetinaNet，該算法引入焦點損失函數(shù)，使檢測框架的關(guān)注焦點放在難分類的檢測目標上，極大地提升了單階段檢測方法的檢測效果。

YOLO v1作為第1個單階段目標檢測方法，解決了檢測速度慢的問題，滿足實時檢測要求，但對不同尺度目標尤其是小目標的檢測效果較差；SSD引入多尺度檢測，有效提升了小目標的檢測性能，這一思想也被應(yīng)用到Y(jié)OLO v3算法中。單階段目標檢測方法的主要缺點是檢測準確率低，而引入焦點損失函數(shù)的RetinaNet算法，在保持高檢測速度的同時，達到了兩階段算法的檢測準確率。

1.1.2.2 兩階段目標檢測方法

兩階段目標檢測方法將目標檢測問題分2步解決，先產(chǎn)生候選區(qū)域，再對候選區(qū)域分類，主要包括區(qū)域卷積網(wǎng)絡(luò)(region proposals with CNN，R-CNN)[18]、空間金字塔池化網(wǎng)絡(luò)(spatial pyramid pooling networks，SPPNet)[19]和特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)[20]等系列算法。兩階段目標檢測方法比單階段目標檢測方法更準確，但檢測速度較慢。

文獻[18]首次提出在自動駕駛汽車目標檢測領(lǐng)域應(yīng)用R-CNN，成為兩階段算法的研究基礎(chǔ)。R-CNN在神經(jīng)網(wǎng)絡(luò)中輸入1個固定大小的圖像進行訓(xùn)練并提取目標特征，比傳統(tǒng)目標檢測方法的檢測準確率高，但會產(chǎn)生大量重復(fù)計算，降低目標檢測速度。文獻[21-22]分別在R-CNN算法的基礎(chǔ)上提出了Fast R-CNN、Faster R-CNN兩階段目標檢測方法，但仍存在重復(fù)計算，達不到單階段目標檢測方法的實時性。

針對R-CNN存在需輸入固定大小圖像導(dǎo)致檢測速度慢的問題，文獻[19]引入空間金字塔模型，消除固定尺寸約束，提出了SPPNet，該算法不需要將目標縮放，減少了多余計算，提高了檢測速度，但仍無法適應(yīng)自動駕駛環(huán)境的實時檢測目標。

上述目標檢測方法只在神經(jīng)網(wǎng)絡(luò)的頂層進行檢測，不利于檢測目標的分類，文獻[20]提出了FPN算法，充分利用神經(jīng)網(wǎng)絡(luò)檢測多尺度目標。文獻[23]將FPN算法用于小目標檢測，該算法簡單易實現(xiàn)，對小目標的檢測效果明顯。

SPPNet、FPN等算法的核心思想，不但應(yīng)用在兩階段目標檢測算法中提升檢測準確率，也被引入單階段檢測算法，如在YOLO v3算法中引入FPN結(jié)構(gòu)，將不同特征層融合后的結(jié)果用作目標檢測，在小目標檢測中起到關(guān)鍵作用；在YOLO v4算法中加入SPP模塊，實現(xiàn)了局部特征和全局特征的融合。兩階段目標檢測方法雖然檢測準確率高，但會產(chǎn)生一些冗余計算導(dǎo)致檢測速度慢，F(xiàn)aster R-CNN是R-CNN系列算法中檢測速度最快、最接近實時檢測要求的兩階段目標檢測算法。

綜上所述，基于視覺的目標檢測方法的發(fā)展框架如圖2所示。基于傳統(tǒng)視覺的目標檢測方法實時性差、檢測準確率低，不能適應(yīng)復(fù)雜的自動駕駛運行環(huán)境；基于深度學(xué)習的神經(jīng)網(wǎng)絡(luò)目標檢測算法的檢測速度與準確率一直未達到最優(yōu)平衡點[24]。

圖2 基于視覺的目標檢測方法的發(fā)展框架

1.2 基于雷達的目標檢測方法

自動駕駛汽車運行環(huán)境復(fù)雜多變，基于視覺的目標檢測方法易受環(huán)境光照影響出現(xiàn)誤檢和漏檢情況。雷達檢測范圍擴大，分辨率不斷提高，已成為最主要的目標檢測傳感器。基于雷達的目標檢測方法多采用點云特征，首先在三維點云數(shù)據(jù)中提取感興趣區(qū)域(regions of interest，ROI)，再提取檢測目標的特征，對檢測目標進行分類[25]。

傳統(tǒng)基于點云特征的檢測方法與基于視覺的檢測方法相似，均采用手工方式提取特征。基于雷達的目標檢測方法受基于深度學(xué)習目標檢測方法的啟發(fā)，將神經(jīng)網(wǎng)絡(luò)運用到雷達提取點云特征。文獻[26]將圖像檢測方法引入基于點云特征的目標檢測，提出1種實時三維點云檢測網(wǎng)絡(luò)Complex-YOLO，能夠?qū)崟r檢測多種類型的目標；文獻[27]提出采用二維全卷積網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)，將三維信息投影到二維點圖中預(yù)測目標的置信度和邊界框。上述2種檢測方法均采用三維信息投影到二維點圖的方法，容易缺失部分信息。文獻[28]直接在點云信息上進行目標檢測，提出PointNet算法，該算法結(jié)構(gòu)簡單，引入最大值池化將每個點獨立分類檢測，再通過FCN將各點云特征整合獲得全局特征。文獻[29]將PointNet運用到行人檢測，結(jié)合點云的多尺度局部特征和全局特征在激光雷達上實現(xiàn)行人檢測，試驗表明檢測效果良好。PointNet在局部處理上存在缺陷，在此基礎(chǔ)上文獻[30]提出了PointNet++算法。

基于雷達與基于視覺的目標檢測方法有類似之處，也分為單階段和雙階段檢測方法。毫米波雷達的分辨率較低，激光雷達的成本較高，基于深度學(xué)習的視覺檢測方法提升了檢測效率和準確率，但易受天氣影響且不能獲取目標的距離、速度等信息，無法提供準確可靠的環(huán)境信息[31]。由于自身特性的局限性和天氣等影響因素，基于視覺和雷達的單一傳感器目標檢測方法不能適應(yīng)復(fù)雜的自動駕駛環(huán)境[32]。

2 基于多傳感器融合的目標檢測方法

相機檢測到的目標特征信息比雷達更豐富，但無法獲取目標的距離、速度及三維信息[33]。將雷達與相機進行數(shù)據(jù)融合，既能獲取圖像信息，又能獲取檢測目標的深度信息[34]，目前目標檢測最常用的傳感器融合方式是相機與毫米波雷達融合[35]。文獻[36]研究了基于相機和毫米波雷達融合的目標檢測方法，相機識別目標特征的能力和毫米波雷達在惡劣環(huán)境中的抗干擾能力相結(jié)合，提升了目標檢測準確率。文獻[37]基于密度的聚類算法(density-based spatial clustering of applications with noise，DBSCAN)對激光雷達采集的點云數(shù)據(jù)進行聚類，利用Faster R-CNN算法識別圖像信息，提出了基于激光雷達和視覺信息融合的框架，能快速準確地識別目標信息。

多傳感器融合的目標檢測方法是國內(nèi)外高校及汽車行業(yè)的研究熱點[38]。多倫多大學(xué)和Uber公司提出了1種通過神經(jīng)網(wǎng)絡(luò)連續(xù)融合圖像和激光雷達點云信息的檢測方法，通過融合2種傳感器的數(shù)據(jù)信息準確獲取目標的三維空間信息[39]；百度與清華大學(xué)研發(fā)團隊提出了多視圖3維網(wǎng)絡(luò)(multi-view 3D networks, MV3D)[40]，融合框架采用點云的主視圖和俯視圖，同時處理相機的光學(xué)三原色圖像和激光雷達點云2種信息，縮短了信息處理時間，保證了目標檢測的實時性[41]。

信息融合是一門交叉學(xué)科，涵蓋概率統(tǒng)計、估計理論及神經(jīng)網(wǎng)絡(luò)等[42]。信息融合的方法主要包括基于隨機模型的加權(quán)平均融合法[43]、卡爾曼濾波(Kalman filtering，KF)融合法[44]、貝葉斯估計融合法[45]、D-S證據(jù)推理融合法[46]等傳統(tǒng)融合算法和正在蓬勃發(fā)展的神經(jīng)網(wǎng)絡(luò)法、模糊邏輯法、遺傳算法等人工智能融合法。

2.1 基于隨機模型的目標檢測融合方法

2.1.1 加權(quán)平均融合法

加權(quán)平均融合法是按不同權(quán)重處理多個傳感器的數(shù)據(jù)。文獻[47]加權(quán)分配2個超聲波雷達的觀測值，研究表明：當觀測值權(quán)重取值合適時可獲取最優(yōu)估計值，結(jié)論推廣到多個超聲波雷達及激光雷達數(shù)據(jù)融合同樣具有較高的可行性。但加權(quán)平均融合法不易確定各傳感器數(shù)據(jù)的權(quán)重，影響采集信息的準確率。文獻[48]提出了1種自適應(yīng)加權(quán)平均融合法，采用不同方法處理高頻、低頻數(shù)據(jù)，較傳統(tǒng)加權(quán)平均融合方法的準確率更高，但不易處理傳感器自身誤差及環(huán)境干擾。文獻[49]通過設(shè)置權(quán)重淘汰檢測結(jié)果差的傳感器數(shù)據(jù)，減少多傳感器的測量誤差和不確定性，在實際應(yīng)用中提高了融合系統(tǒng)的準確率。

2.1.2 KF融合法

KF是1種常見的數(shù)據(jù)處理方法，實時性好，廣泛應(yīng)用于計算機視覺、圖像檢測及自動駕駛環(huán)境感知等領(lǐng)域。KF融合法基于KF進行拓展，目前主要有不變擴展KF算法[50]、加權(quán)測量融合KF算法[51]、無跡KF與神經(jīng)網(wǎng)絡(luò)結(jié)合算法[52]等。文獻[53]研究目標關(guān)聯(lián)后的不同融合方法，提出了基于KF的多傳感器信息融合算法。由于復(fù)雜的運行環(huán)境及目標的不確定性，文獻[54]基于KF提出了1種實時多目標追蹤(multiple object trackin，MOT)框架。文獻[55]改進迭代擴展KF，提出了多傳感器融合狀態(tài)估計算法，考慮獲取信息的不確定性，先將各傳感器獲取的信息單獨處理再進行并聯(lián)，提高目標檢測的可靠性。

2.1.3 貝葉斯估計融合法

貝葉斯估計理論[56]通過先驗信息與檢測目標信息相結(jié)合預(yù)測事件發(fā)生的概率。文獻[57]通過試驗得到貝葉斯估計融合法，可有效融合多個傳感器獲取的數(shù)據(jù)，但該方法需要大量先驗信息，在實際應(yīng)用中先驗信息并不容易獲取。文獻[58]提出了1種利用置信距離理論與貝葉斯估計相結(jié)合的多傳感器信息融合法，充分利用2種理論的特性，提高了檢測系統(tǒng)性能，但該方法只適用于同類型傳感器檢測同一目標的情況。貝葉斯估計融合法對不確定的信息處理較困難，文獻[59]提出將KF與貝葉斯估計理論相結(jié)合的多傳感器信息融合法，該方法能有效解決各傳感器獲取信息的不確定性和不一致性，提高了檢測準確率。

2.1.4 D-S證據(jù)推理融合法

相較于貝葉斯估計理論，D-S證據(jù)推理在處理不確定信息方面有一定優(yōu)勢，是貝葉斯估計融合法的改進。文獻[60]通過試驗驗證了D-S證據(jù)推理應(yīng)用在多傳感器融合的自動駕駛汽車目標檢測方面的可行性和有效性。由于自動駕駛環(huán)境的復(fù)雜性和單一傳感器的檢測缺陷，對遠距離目標及小目標的檢測存在準確率低、可靠性差等問題[61]。文獻[62]采用D-S證據(jù)推理對可見光和紅外熱圖像進行決策級融合，提出了基于決策級融合的遠距離目標檢測方法。D-S證據(jù)推理融合法雖然在解決不確定信息問題上有良好的效果，但無法較好地處理證據(jù)沖突情況。文獻[63]提出了1種結(jié)合加權(quán)法改進的D-S證據(jù)推理融合法，通過均值加權(quán)思想將D-S證據(jù)推理中的矛盾證據(jù)弱化，通過仿真驗證了改進后的算法能有效彌補D-S證據(jù)推理融合法的缺陷。

2.2 基于人工智能的目標檢測融合方法

基于人工智能的目標檢測融合方法主要包括神經(jīng)網(wǎng)絡(luò)融合法、模糊邏輯融合法、遺傳算法等，目前多傳感器融合常用的方法是神經(jīng)網(wǎng)絡(luò)融合法。通過給神經(jīng)網(wǎng)絡(luò)輸入大量信息，經(jīng)過訓(xùn)練產(chǎn)生固定邏輯獲得最佳的融合權(quán)值[64]。為解決雷達與紅外傳感器的融合問題，文獻[65]在協(xié)方差未知的環(huán)境下，采用神經(jīng)網(wǎng)絡(luò)融合2種傳感器獲取的信息，通過仿真分析驗證算法的可行性。文獻[66]提出1種多傳感器融合神經(jīng)網(wǎng)絡(luò)，將毫米波雷達的先驗信息添加到卷積神經(jīng)網(wǎng)絡(luò)中得到新的注意力機制模塊，再將該模塊與SSD目標檢測網(wǎng)絡(luò)相結(jié)合，這種基于深度學(xué)習的融合算法提高了目標檢測的穩(wěn)定性和可靠性。文獻[67]發(fā)現(xiàn)利用神經(jīng)網(wǎng)絡(luò)可有效解決多傳感器融合的固有問題，但要達到最佳融合結(jié)果，需收集全部可能發(fā)生的事件數(shù)據(jù)。

綜上所述，面對復(fù)雜的自動駕駛環(huán)境，融合方法的應(yīng)用使自動駕駛汽車充分利用各傳感器獲取更多、更豐富的環(huán)境信息，提高了目標檢測的準確率和可靠性，減少了獲取信息的時間和費用[49]。加權(quán)平均融合法和KF融合法直接處理原始數(shù)據(jù)，屬于低層次的數(shù)據(jù)級融合方法，原始數(shù)據(jù)丟失少，需集中處理大量信息，影響目標檢測的實時性；貝葉斯估計融合法、D-S證據(jù)推理融合法相比前2種方法，計算量小，屬于高層次的融合方法，但先驗信息不易獲得、適用范圍較?。簧窠?jīng)網(wǎng)絡(luò)融合法以神經(jīng)元的形式輸入，無需大量的先驗信息，有較強的自適應(yīng)性。

基于隨機模型的目標檢測融合方法是多傳感器融合方法的發(fā)展基礎(chǔ)，基于人工智能的目標檢測融合方法是多傳感器融合方法的發(fā)展趨勢，但傳感器融合方法均存在計算量大、規(guī)則難建立等缺點。只有充分利用各傳感器的特點，綜合多種融合方法，才能為自動駕駛汽車提供安全保障。

2.3 目標檢測方法存在的問題和解決方法

自動駕駛的目的是降低交通事故的發(fā)生概率，保證行車安全?；趩蝹鞲衅鞯哪繕藱z測方法無法滿足復(fù)雜的自動駕駛行車環(huán)境，基于多傳感器融合的目標檢測方法需要結(jié)合多種學(xué)科、多個領(lǐng)域的技術(shù)。現(xiàn)有的目標檢測方法只能實現(xiàn)在特定環(huán)境下的自動駕駛，目標較小或天氣環(huán)境惡劣時對自動駕駛系統(tǒng)的穩(wěn)定性提出了較大挑戰(zhàn)。為滿足自動駕駛高可靠性的要求，可通過增加目標檢測傳感器的數(shù)量增加獲取的目標信息量，或通過增強自動駕駛目標檢測方法的魯棒性，提高系統(tǒng)穩(wěn)定性。針對自動駕駛目標檢測方法的問題與難點，文獻[68]提出將YOLO與Faster R-CNN結(jié)合，利用YOLO將整張圖像輸入神經(jīng)網(wǎng)絡(luò)的特點，解決兩階段Fast-RCNN算法背景檢測錯誤率高的問題，增強目標檢測的效果；文獻[69]將視覺、毫米波雷達和激光雷達3種傳感器融合，實時獲取環(huán)境的點云信息、方位角、速度和距離等深度信息，極大地提高了目標檢測的準確率和實時性；文獻[70]通過融合深度相機和激光雷達傳感器提高了小目標檢測的準確率；文獻[71]將毫米波雷達與相機融合用于惡劣天氣環(huán)境下的目標檢測；文獻[72]研究了自動駕駛汽車在坑洼路段及濕地運行時的目標檢測，采用YOLO作為檢測算法并在數(shù)據(jù)集上增加對坑洼、濕地等環(huán)境運行時的訓(xùn)練，使自動駕駛汽車更安全可靠。

3 展望

自動駕駛汽車目標檢測方法研究與應(yīng)用已取得較大進步，但與實現(xiàn)真正的自動駕駛?cè)源嬖诓罹唷Ｄ繕藱z測方法未來研究與發(fā)展的重點和趨勢如下：1)基于視覺的目標檢測方法多依賴高性能計算機及強大的顯卡算力，而汽車上的內(nèi)存和計算資源有限，無法滿足要求，因此基于視覺目標檢測方法的發(fā)展趨勢是發(fā)展計算量小、識別速度快、便于在移動設(shè)備上安裝的輕量級車載應(yīng)用；2)目前基于多傳感器融合的目標檢測方法較多對2種傳感器的融合技術(shù)進行研究，未來發(fā)展趨勢是應(yīng)用3種及以上傳感器進行數(shù)據(jù)融合，采用的傳感器種類越多，獲取目標信息越豐富，更能反映目標的特性，檢測結(jié)果更準確可靠；3)對遠距離目標、小目標和集群等特殊目標檢測的研究較少，獲取目標特征較少的小目標檢測是最具挑戰(zhàn)的目標檢測任務(wù)之一，所以采用提高采集和輸入圖像信息分辨率和融合多種傳感器獲取多尺度特征的目標檢測方法是未來發(fā)展趨勢；4)目前研究的汽車自動駕駛技術(shù)多在路況良好的城市道路進行，對路況差及某種傳感器在復(fù)雜環(huán)境下被遮擋或失效等問題的研究較少[73]，未來發(fā)展趨勢是在復(fù)雜環(huán)境中應(yīng)用多傳感器融合技術(shù)。