郝非凡,馬翔越,李昊洋,劉忠富

(大連民族大學(xué)信息與通信工程學(xué)院,遼寧 大連 116600)

1 研究背景

大多數(shù)自動(dòng)駕駛系統(tǒng)在現(xiàn)實(shí)生活中都存在共同的弊端。例如，極端惡劣天氣條件下無法保證安全的駕駛和導(dǎo)航；強(qiáng)光、雪、霧、雨會(huì)顯著影響用于感知和導(dǎo)航的傳感器的性能等。不同傳感器都有其固有的優(yōu)點(diǎn)和缺點(diǎn)。即使在惡劣的天氣條件下，雷達(dá)可以精準(zhǔn)地判斷車距和車速，但無法識(shí)別街道標(biāo)志和分辨紅綠燈的顏色。相反，攝像頭可以很好地識(shí)別街道標(biāo)志和對(duì)物體進(jìn)行分類，如行人、自行車或其他車輛。但是，攝像頭很容易被灰塵、雨水、雪等所影響。激光雷達(dá)可以準(zhǔn)確地探測(cè)物體，但它的探測(cè)距離和價(jià)格都不如攝像頭或雷達(dá)。

在自動(dòng)駕駛汽車中，傳感器對(duì)感知周圍環(huán)境和定位車輛的路徑規(guī)劃和決策至關(guān)重要，目前使用的傳感器主要有攝像頭、激光雷達(dá)、毫米波雷達(dá)傳感器等。不同傳感器的性能各不相同，在不同的使用環(huán)境中可以發(fā)揮各自的優(yōu)勢(shì)。

傳感器融合技術(shù)就是將多個(gè)傳感器獲取的數(shù)據(jù)、信息集中在一起綜合分析以便更加準(zhǔn)確可靠地描述外界環(huán)境，從而提高系統(tǒng)決策的正確性。目前，傳感器的融合已成為一個(gè)研究熱點(diǎn)。

2 自動(dòng)駕駛中常用傳感器

傳感器作為一種檢測(cè)裝置，在整個(gè)自動(dòng)駕駛系統(tǒng)中具有至關(guān)重要的作用，其主要目的是將感受到的被測(cè)量的信息按一定規(guī)律轉(zhuǎn)換為其它所需形式的信息輸出。自動(dòng)駕駛傳感器組成如圖1所示。自動(dòng)駕駛汽車主要利用攝像頭，雷達(dá)傳感器，激光雷達(dá)傳感器等來感知它的環(huán)境。

圖1 常見的自動(dòng)駕駛傳感器組成

2.1 攝像頭

自動(dòng)駕駛汽車通常具有攝像機(jī)傳感器，利用攝像頭數(shù)據(jù)感知周圍環(huán)境中的物體，以便識(shí)別道路上的物體。其工作原理為鏡頭采集圖像后，由攝像頭內(nèi)的感光組件電路及控制組件對(duì)圖像進(jìn)行處理并轉(zhuǎn)化為能處理的數(shù)字信號(hào)，從而感知車輛周邊的環(huán)境情況，實(shí)現(xiàn)碰撞預(yù)警，車道偏移報(bào)警和行人檢測(cè)等功能[1]。幾乎所有的研發(fā)車輛都配備了一些用于檢測(cè)道路標(biāo)記的可見光攝像頭，用于構(gòu)建車輛環(huán)境的360度視圖。但其缺點(diǎn)在于可見光相機(jī)在低能見度條件下的能力有限。此外，使用多個(gè)攝像頭產(chǎn)生大量的視頻數(shù)據(jù)的處理需要大量的計(jì)算硬件。

目前自動(dòng)駕駛系統(tǒng)中主要使用兩種攝像頭傳感器：CCD和CMOS。CCD代表電荷耦合器件，在CCD中，光點(diǎn)是無源的，放大器和ADC也發(fā)生在傳感器外部。CMOS代表互補(bǔ)金屬氧化物半導(dǎo)體，與CCD不同的是，光點(diǎn)是有源的，每個(gè)光點(diǎn)都有自己的放大器和ADC。由于CMOS成本較低、功耗較低、數(shù)據(jù)讀取速度較快，所以主要用于汽車應(yīng)用。而CCD相對(duì)于CMOS的優(yōu)勢(shì)在于其高光敏度，從而以高功耗為代價(jià)獲得更好的圖像質(zhì)量，但這會(huì)影響散熱并且CCD價(jià)格高昂。

2.2 激光雷達(dá)

在過去的幾十年里，激光雷達(dá)技術(shù)不斷發(fā)展，目前仍然是高級(jí)駕駛輔助系統(tǒng)(ADAS)和自動(dòng)駕駛汽車的核心感知技術(shù)之一。當(dāng)激光雷達(dá)掃描其周圍環(huán)境時(shí)，它將以點(diǎn)云的形式生成3D場(chǎng)景來輸出一系列數(shù)據(jù)(也稱為點(diǎn)云數(shù)據(jù))，估計(jì)脈沖的發(fā)射和接收之間所需要的距離。

由于目前激光雷達(dá)視野更廣、探測(cè)距離更遠(yuǎn)、深度感知更強(qiáng)，可以提供可靠、精確的數(shù)據(jù)，因此在無人駕駛汽車中應(yīng)用更為普遍。但與攝像頭傳感器相比，激光雷達(dá)傳感器不能提供周圍環(huán)境的顏色信息，這也是點(diǎn)云數(shù)據(jù)經(jīng)常使用傳感器融合算法的一個(gè)原因[2]。

2.3 毫米波雷達(dá)

毫米波雷達(dá)(Radio Detection and Ranging, or Radar)是電磁波探測(cè)和測(cè)距的縮寫，其工作原理是在指定區(qū)域輻射電磁波，接收目標(biāo)的散射波(或反射波)，為進(jìn)一步信號(hào)處理提供目標(biāo)的距離信息。它利用電磁波的多普勒特性來確定探測(cè)到的障礙物的相對(duì)速度和相對(duì)位置，多普勒效應(yīng)也稱為多普勒頻移，是指波源和目標(biāo)之間的相對(duì)運(yùn)動(dòng)引起的波的頻率變化或偏移[3]。例如，當(dāng)目標(biāo)向雷達(dá)系統(tǒng)的方向移動(dòng)時(shí)，接收信號(hào)的頻率(短波)增加。

毫米波雷達(dá)是自動(dòng)駕駛系統(tǒng)中最常用的傳感器之一，通常用于自動(dòng)駕駛汽車在白天和夜晚提供可靠和精確的障礙物感知。因?yàn)樗峁┑男畔⒖梢詸z測(cè)到移動(dòng)的障礙物，并可以根據(jù)配置模式在短、中或長(zhǎng)范圍內(nèi)執(zhí)行操作，所以它能夠在不利天氣條件下工作。然而毫米波雷達(dá)傳感器一般不適合雙向識(shí)別應(yīng)用，因?yàn)樗鼈兊姆直媛时容^低。因此，自動(dòng)駕駛車輛研究人員經(jīng)常將毫米波雷達(dá)信息與其他傳感數(shù)據(jù)進(jìn)行融合，以彌補(bǔ)毫米波雷達(dá)傳感器的局限性。

3 多傳感器融合技術(shù)和算法

3.1 傳感器融合

傳感器融合是大多數(shù)自動(dòng)駕駛系統(tǒng)的一個(gè)重要研究方向，例如道路自動(dòng)駕駛汽車和無人地面車輛(UGV)。該方法將多個(gè)傳感器采集到的數(shù)據(jù)進(jìn)行集成，減少了檢測(cè)數(shù)據(jù)的不確定性，彌補(bǔ)了單個(gè)傳感器獨(dú)立工作的缺點(diǎn)。此外，傳感器融合有助于建立一致的模型，在各種環(huán)境條件下準(zhǔn)確感知周圍環(huán)境。例如，相機(jī)和雷達(dá)融合可以提供高分辨率的圖像和感知場(chǎng)景中檢測(cè)到的障礙物的相對(duì)速度[4]。

多個(gè)同類或不同類傳感器分別獲得不同局部和類別的信息，這些信息之間能相互補(bǔ)充，也可能存在冗余和矛盾，而控制中心最終只能下達(dá)唯一正確的指令，這就要求控制中心必須對(duì)多個(gè)傳感器所得到的信息進(jìn)行融合，綜合判斷。據(jù)分析，由自動(dòng)駕駛引發(fā)的安全事故原因中，相關(guān)傳感器的可能誤判成為了主要原因之一。因此在使用多種傳感器的情況下，要想保證安全性，就必須對(duì)傳感器進(jìn)行信息融合。多傳感器融合可顯著提高系統(tǒng)的冗余度和容錯(cuò)性，從而保證決策的快速性和正確性，是自動(dòng)駕駛的必然趨勢(shì)。

針對(duì)自動(dòng)駕駛汽車環(huán)境感知和目標(biāo)檢測(cè)的多傳感器融合系統(tǒng)，目前，主要有三種用于障礙物檢測(cè)的傳感器組合，包括相機(jī)-激光雷達(dá)(camera-LiDAR, CL);相機(jī)-毫米波雷達(dá)(camera-radar CR);和相機(jī)-激光雷達(dá)-雷達(dá)(camera-LiDAR-radar CLR)傳感器組合。CR傳感器組合提供高分辨率圖像，同時(shí)獲取周圍障礙物的額外距離和速度信息。而CLR傳感器組合可以提供更大范圍的分辨率，并通過激光雷達(dá)點(diǎn)云和深度信息精確了解周圍環(huán)境，提高了整體自主駕駛的安全冗余度系統(tǒng)。

3.2 算法

傳感器融合技術(shù)和算法在近幾年里得到了廣泛的研究。目前的技術(shù)和算法可分為經(jīng)典傳感器融合算法和深度學(xué)習(xí)傳感器融合算法。

首先，經(jīng)典的傳感器融合算法，如基于知識(shí)的方法、統(tǒng)計(jì)方法、概率方法等，利用來自數(shù)據(jù)不完整性的不確定性理論來融合傳感器數(shù)據(jù)。圖2所示。

圖2 經(jīng)典傳感器融合算法

另一方面，深度學(xué)習(xí)傳感器融合算法涉及生成各種多層網(wǎng)絡(luò)，使其能夠處理原始數(shù)據(jù)并提取特征，以執(zhí)行具有難度的智能任務(wù)，卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是感知系統(tǒng)中應(yīng)用最廣泛的算法。目前也廣泛應(yīng)用一種加權(quán)均值YOLO算法，用于融合RGB攝像機(jī)和LiDAR點(diǎn)云數(shù)據(jù)，提高目標(biāo)檢測(cè)的實(shí)時(shí)性。2020年4月發(fā)布的最新YOLOv4采用CSPDarknet5作為主干特征提取網(wǎng)絡(luò)，在達(dá)到減少計(jì)算量目的的同時(shí)仍可以保持較好的檢測(cè)準(zhǔn)確率[5]。

此外，隨著3D傳感器的出現(xiàn)和了解自動(dòng)駕駛車輛周圍的3D環(huán)境的各種應(yīng)用的出現(xiàn)，對(duì)3D物體檢測(cè)的研究也越來越多。隨著深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的逐漸成熟，識(shí)別和分割三維點(diǎn)云場(chǎng)景成為可能。2019 CCDC提出了一種新的基于PointNet和VoxelNet的場(chǎng)景分割方法來提高語義分割的效率和準(zhǔn)確性。首先，采用體素網(wǎng)格方法對(duì)點(diǎn)云場(chǎng)景進(jìn)行采樣，然后對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行濾波去除噪聲，平滑點(diǎn)云表面。最后，對(duì)處理后的點(diǎn)云場(chǎng)景進(jìn)行訓(xùn)練。

圖3 深度學(xué)習(xí)傳感器融合算法

3.3 傳感器融合領(lǐng)域的挑戰(zhàn)

毋庸置疑，多傳感器融合技術(shù)經(jīng)過廣泛研究，在自動(dòng)駕駛汽車等自主系統(tǒng)中取得了較為全面的優(yōu)勢(shì)。這些系統(tǒng)通常配備一組傳感器，每小時(shí)可以產(chǎn)生大量數(shù)據(jù)。因此，處理這些數(shù)據(jù)需要很大的計(jì)算能力。

然而，訓(xùn)練來自所有可能場(chǎng)景的數(shù)據(jù)是具有挑戰(zhàn)性的，所以評(píng)估所有可能的解決方案和可能的傳感器和系統(tǒng)故障風(fēng)險(xiǎn)，以及傳感器或系統(tǒng)故障時(shí)的替代解決方案，對(duì)自主系統(tǒng)進(jìn)行進(jìn)一步的研究和廣泛測(cè)試至關(guān)重要。

4 結(jié)論和未來的研究建議

本文對(duì)自動(dòng)駕駛系統(tǒng)中的探測(cè)傳感器進(jìn)行了較為全面的調(diào)查。重點(diǎn)闡述了攝像頭、激光雷達(dá)傳感器和毫米波雷達(dá)傳感器，以及此類傳感器在實(shí)踐中的運(yùn)行。最后，回顧了文獻(xiàn)中已經(jīng)建立的一些融合算法，并指出了傳感器融合領(lǐng)域的一些挑戰(zhàn)和自動(dòng)駕駛系統(tǒng)未來可能的研究方向。

自動(dòng)駕駛汽車涉及到的領(lǐng)域十分廣泛，其中，傳感器是探測(cè)車輛周圍環(huán)境的基礎(chǔ)。由于自動(dòng)駕駛汽車中包含多個(gè)傳感器，必須在算法處理前通過傳感器融合來得到更精確的數(shù)值[6]。精確的傳感器融合可以使自動(dòng)駕駛車輛了解其在真實(shí)的坐標(biāo)中的位置。由于傳感器融合的精度很容易受到外部因素影響，如：溫度，車輛的振動(dòng)等。因此，提高傳感器融合的精度，開發(fā)更精確、更可靠的自動(dòng)駕駛車輛障礙物檢測(cè)技術(shù)是現(xiàn)在以及未來發(fā)展的關(guān)鍵?？梢酝ㄟ^強(qiáng)化深度學(xué)習(xí)方法強(qiáng)化現(xiàn)有的傳感器融合算法，來開發(fā)更可靠和準(zhǔn)確的障礙物檢測(cè)方法。