李寧，沈子鑒，婁素鋒，李剛

汽車(chē)ACC毫米波雷達(dá)和視覺(jué)傳感器目標(biāo)級(jí)融合方法研究*

李寧1，沈子鑒1，婁素鋒2，李剛1

（1.遼寧工業(yè)大學(xué)，遼寧 錦州 121001；2.遼寧省陸軍預(yù)備役后勤保障旅，遼寧 錦州 121000）

自適應(yīng)巡航控制系統(tǒng)是實(shí)現(xiàn)未來(lái)智能化汽車(chē)輔助駕駛的重要功能之一，以往該系統(tǒng)主要采用毫米波雷達(dá)感知周?chē)h(huán)境，但是容易出現(xiàn)較多的誤識(shí)別和漏識(shí)別情況。針對(duì)現(xiàn)存的問(wèn)題，文章研究了自適應(yīng)巡航感知系統(tǒng)，不同于以往單一雷達(dá)的方案，本設(shè)計(jì)采用毫米波雷達(dá)和視覺(jué)傳感器融合的辦法改善感知系統(tǒng)的性能。通過(guò)搭建電動(dòng)車(chē)傳感器數(shù)據(jù)采集系統(tǒng)，編寫(xiě)CAN通信報(bào)文解析程序，分析毫米波雷達(dá)和視覺(jué)傳感器特性等，完成了對(duì)雷達(dá)和視覺(jué)信號(hào)的采集及處理，實(shí)現(xiàn)了感知系統(tǒng)目標(biāo)級(jí)融合。并在巡航和跟車(chē)工況下進(jìn)行離線(xiàn)仿真，驗(yàn)證了目標(biāo)級(jí)融合方案能夠有效地提高感知系統(tǒng)的準(zhǔn)確性和合理性。

自適應(yīng)巡航控制系統(tǒng)；毫米波雷達(dá)；視覺(jué)傳感器；目標(biāo)級(jí)融合

前言

自適應(yīng)巡航控制系統(tǒng)[1-5]（Adaptive Cruise Control，ACC）是實(shí)現(xiàn)未來(lái)智能化汽車(chē)輔助駕駛的重要功能之一[6]，以往該系統(tǒng)主要采用毫米波雷達(dá)感知周?chē)h(huán)境[7]，但是容易出現(xiàn)較多的誤識(shí)別和漏識(shí)別情況。本設(shè)計(jì)針對(duì)這個(gè)問(wèn)題，研究毫米波雷達(dá)和視覺(jué)傳感器目標(biāo)級(jí)融合的ACC感知系統(tǒng)，并將其應(yīng)用于汽車(chē)的自適應(yīng)巡航控制上，發(fā)揮視覺(jué)處理對(duì)目標(biāo)類(lèi)型和橫向運(yùn)動(dòng)狀態(tài)的識(shí)別優(yōu)勢(shì)，提高整個(gè)系統(tǒng)的準(zhǔn)確率和合理性。

1 雷達(dá)信號(hào)的采集及處理

1.1 毫米波雷達(dá)數(shù)據(jù)解析

ARS傳感器使用雷達(dá)輻射來(lái)探測(cè)其周?chē)h(huán)境，通過(guò)CAN口與上位機(jī)進(jìn)行數(shù)據(jù)通信來(lái)完成傳輸，處理反射信號(hào)以Cluster和Object的形式展示出來(lái)。Cluster反映了目標(biāo)原始的位置、速度和信號(hào)強(qiáng)度等信息，每個(gè)周期都進(jìn)行新的評(píng)估。而Object由Cluster聚類(lèi)和跟蹤后組成，反映了目標(biāo)的歷史軌跡和緯度。本設(shè)計(jì)使用雷達(dá)傳感器處理好的目標(biāo)數(shù)據(jù)信息，在MATLAB環(huán)境下使用m語(yǔ)言實(shí)現(xiàn)代碼的編寫(xiě)。

1.2 毫米波雷達(dá)信息處理

首先對(duì)單獨(dú)的毫米波雷達(dá)信號(hào)進(jìn)行處理，經(jīng)過(guò)對(duì)雷達(dá)CAN報(bào)文解析后，得到100個(gè)目標(biāo)的運(yùn)動(dòng)狀態(tài)信息。具體方法分為四個(gè)步驟：無(wú)目標(biāo)通道處理；去除虛假目標(biāo)；區(qū)域運(yùn)動(dòng)目標(biāo)提??；主目標(biāo)篩選。

1.2.1無(wú)目標(biāo)通道處理

將空通道的縱向相對(duì)距離設(shè)定為200m，避免這類(lèi)目標(biāo)在后續(xù)處理中造成干擾。

1.2.2去除干擾目標(biāo)

大部分虛假目標(biāo)可以通過(guò)設(shè)定參數(shù)閾值過(guò)濾掉。如果雷達(dá)截面積Object_RCS和目標(biāo)存在概率Obj_ProbOfExist滿(mǎn)足表達(dá)式（1）的條件，則輸出該目標(biāo)的實(shí)際狀態(tài)信息，否則認(rèn)定為無(wú)效目標(biāo)。

將雷達(dá)截面積閾值RCS Threshold取值為32，目標(biāo)存在概率閾值Prob Threshold取值為5。其次對(duì)于護(hù)欄、路牌等對(duì)主目標(biāo)的選取有很強(qiáng)干擾的目標(biāo)，利用雷達(dá)截面積累加值的變化趨勢(shì)進(jìn)行分析，并且增大目標(biāo)存在概率閾值，多個(gè)周期篩選來(lái)剔除部分干擾目標(biāo)。具體表達(dá)式如式（2）所示，其中N為當(dāng)前時(shí)刻，n取值為0、1、2，累計(jì)10個(gè)周期的雷達(dá)截面積值作為參數(shù)。

1.2.3區(qū)域運(yùn)動(dòng)目標(biāo)提取

1.2.4主目標(biāo)篩選

根據(jù)就近目標(biāo)提取邏輯，選擇距離本車(chē)縱向距離最近的車(chē)輛作為最終篩選出來(lái)的主目標(biāo)。最后，根據(jù)選出來(lái)的縱向相對(duì)距離的ID，提取同一目標(biāo)所對(duì)應(yīng)的縱向速度和橫向距離信息，以便與視覺(jué)信息的融合匹配。

2 視覺(jué)信號(hào)采集及處理

2.1 視覺(jué)傳感器數(shù)據(jù)解析

本設(shè)計(jì)中傳感器融合采用的是以毫米波雷達(dá)為基礎(chǔ)，視覺(jué)傳感器補(bǔ)充、優(yōu)化為原則的方案，所以把視覺(jué)傳感器按要求安裝標(biāo)定，提取其探測(cè)的目標(biāo)類(lèi)型和位置等信息。

大陸毫米波雷達(dá)更新周期為80ms左右，視覺(jué)傳感器每80~90ms更新一次，同一時(shí)刻兩傳感器在時(shí)間上無(wú)法嚴(yán)格同步。因此編寫(xiě)解析程序時(shí)以車(chē)速為基準(zhǔn)，對(duì)兩個(gè)傳感器進(jìn)行時(shí)間上的對(duì)齊。

2.2 視覺(jué)傳感器信息處理

視覺(jué)需要先進(jìn)行目標(biāo)識(shí)別，然后根據(jù)目標(biāo)在圖像中像素大小來(lái)估算目標(biāo)的距離。使用視覺(jué)傳感器的優(yōu)點(diǎn)是成本低，可以識(shí)別不同的物體，在物體高度和寬度測(cè)量精度、車(chē)道線(xiàn)識(shí)別、行人識(shí)別準(zhǔn)確度等方面有優(yōu)勢(shì)，但是作用距離和測(cè)量距離精度不如毫米波雷達(dá)，并且容易受到光照、天氣等因素的影響。

視覺(jué)的目標(biāo)處理歸納為以下兩個(gè)步驟：

（1）無(wú)目標(biāo)通道處理

縱向距離均為200m，所以取縱向距離最近的五個(gè)目標(biāo)即可找出視覺(jué)傳感器的輸出結(jié)果。

（2）主要目標(biāo)運(yùn)動(dòng)狀態(tài)提取

首先將最近的目標(biāo)提取出來(lái)后，將標(biāo)志位傳遞給次近的目標(biāo)提取模塊，按照目標(biāo)與本車(chē)的縱向距離由近及遠(yuǎn)地依次輸出標(biāo)志位，給下一個(gè)篩選模塊，以免重復(fù)對(duì)一個(gè)目標(biāo)做提取處理。

3 信息融合處理方案

由于A(yíng)RS408雷達(dá)的波束只有水平方向左右掃描，沒(méi)有在垂直方向掃描，所以不能識(shí)別目標(biāo)的高度信息，只能識(shí)別目標(biāo)在雷達(dá)水平方向的方位角。即使雷達(dá)可以測(cè)量目標(biāo)高度但垂直視場(chǎng)角很小，也只能優(yōu)化平直路面的虛警情況，但在路面有坡度或車(chē)輛顛簸時(shí)可能檢測(cè)到井蓋、高處的交通標(biāo)志牌，且若上位機(jī)程序中簡(jiǎn)單將高處的目標(biāo)當(dāng)成交通標(biāo)志牌忽略，可能會(huì)導(dǎo)致忽略的目標(biāo)實(shí)際是上陡坡的車(chē)輛。所以，在雷達(dá)不能處理好的情況下，需要融合其他傳感器和上位機(jī)程序的優(yōu)化處理。因此，本設(shè)計(jì)中還需要融合攝像頭等傳感器去檢測(cè)目標(biāo)是車(chē)輛、行人，還是井蓋、交通路牌、護(hù)欄等，進(jìn)而得出不同處理結(jié)果。融合方案是必要的，并且其在系統(tǒng)可靠性、魯棒性、可信度等方面都具有很大的優(yōu)勢(shì)。

目前，在智能駕駛場(chǎng)景下視覺(jué)和毫米波雷達(dá)的數(shù)據(jù)融合大致有三種策略：圖像級(jí)融合、信號(hào)級(jí)融合、目標(biāo)級(jí)融合。本設(shè)計(jì)采用的融合方案是毫米波雷達(dá)與視覺(jué)傳感器目標(biāo)級(jí)融合，對(duì)兩個(gè)感知傳感器輸出的目標(biāo)分別處理后，將各自處理后的目標(biāo)再進(jìn)行匹配融合。

根據(jù)行人優(yōu)先原則，如果視覺(jué)傳感器的關(guān)鍵主目標(biāo)的標(biāo)志位CIPV_Flag為1并且目標(biāo)物體的類(lèi)型Obstacle_type也為1時(shí)，目標(biāo)類(lèi)型是行人，則此時(shí)自適應(yīng)巡航系統(tǒng)應(yīng)停止驅(qū)動(dòng)或者制動(dòng)，等待駕駛員操作。如果駕駛員通過(guò)交互系統(tǒng)告知繼續(xù)執(zhí)行ACC控制，那么系統(tǒng)將會(huì)繼續(xù)探測(cè)前方環(huán)境，決策接下來(lái)的巡航或是跟隨控制。本設(shè)計(jì)采取的融合方案框圖如圖1所示。

圖1 毫米波雷達(dá)與視覺(jué)傳感器目標(biāo)級(jí)融合方案框圖

前方視覺(jué)傳感器認(rèn)為的關(guān)鍵主目標(biāo)類(lèi)型不是行人，則對(duì)毫米波雷達(dá)信號(hào)處理后的主目標(biāo)運(yùn)動(dòng)狀態(tài)與視覺(jué)傳感器輸出的五個(gè)目標(biāo)逐一進(jìn)行匹配。

兩傳感器輸出的橫向距離、縱向距離的差值范圍不超過(guò)設(shè)定的閾值即認(rèn)為有匹配目標(biāo)。此時(shí)根據(jù)毫米波雷達(dá)篩選的主目標(biāo)與視覺(jué)傳感器選出的五個(gè)目標(biāo)能夠成功匹配的目標(biāo)數(shù)量從無(wú)目標(biāo)匹配到五個(gè)目標(biāo)匹配六種情況。

（1）無(wú)目標(biāo)匹配的情況。采取的方案首先判斷視覺(jué)設(shè)備是否有關(guān)鍵主目標(biāo)輸出，即標(biāo)志位CIPV_Flag是否為1，若是，則直接輸出視覺(jué)主目標(biāo)的運(yùn)動(dòng)狀態(tài)信息，若不是，則輸出毫米波雷達(dá)的處理后的狀態(tài)信息。

（2）有一個(gè)目標(biāo)匹配上的情況，輸出兩傳感器的最優(yōu)值，毫米波雷達(dá)的縱向距離和縱向速度，視覺(jué)傳感器的橫向距離。

（3）針對(duì)多目標(biāo)成功匹配上的情況，將進(jìn)一步計(jì)算橫縱向距離測(cè)量誤差最小的最終匹配的目標(biāo)，并輸出該目標(biāo)的毫米波雷達(dá)的縱向距離和縱向速度，視覺(jué)傳感器的橫向距離。

4 感知信號(hào)處理實(shí)驗(yàn)驗(yàn)證

感知部分由毫米波雷達(dá)和視覺(jué)傳感器組成，駕駛汽車(chē)分別模擬巡航工況和跟車(chē)工況，采集前方有車(chē)和無(wú)車(chē)行駛時(shí)感知傳感器的數(shù)據(jù)。

4.1 巡航工況

在前方同車(chē)道內(nèi)沒(méi)有目標(biāo)車(chē)時(shí)，帶有自適應(yīng)巡航控制功能的車(chē)設(shè)定自車(chē)期望行駛速度為80km/h，本車(chē)加速到設(shè)定車(chē)速的過(guò)程作為巡航工況進(jìn)行分析。

圖2中（a）、（b）、（c）分別為毫米波雷達(dá)、視覺(jué)傳感器和融合后的縱向相對(duì)距離、橫向相對(duì)距離，縱向相對(duì)速度隨時(shí)間變化曲線(xiàn)。顯然100個(gè)雷達(dá)目標(biāo)和5個(gè)視覺(jué)目標(biāo)的狀態(tài)信息經(jīng)過(guò)各自單獨(dú)處理后均為200m，6m，0m/s2，而且感知融合程序處理后，最終篩選出的結(jié)果同樣是無(wú)目標(biāo)狀態(tài)的信息，因此與實(shí)際巡航工況的目標(biāo)狀態(tài)一致，證明感知部分的處理結(jié)果是合理的。

4.2 跟車(chē)工況

跟車(chē)工況為前方較遠(yuǎn)處有目標(biāo)車(chē)輛一以較快速度行駛，旁車(chē)道有目標(biāo)車(chē)二逐漸切入本車(chē)道，并以更快的速度向前行駛，與自車(chē)縱向相對(duì)距離越來(lái)越遠(yuǎn)，行駛一段距離后目標(biāo)車(chē)二減速，自車(chē)靠近前車(chē)的行駛過(guò)程。毫米波雷達(dá)在跟隨前車(chē)的實(shí)際工況下探測(cè)100個(gè)目標(biāo)的縱向相對(duì)距離隨時(shí)間變化的曲線(xiàn)如圖3所示。若干條軌跡比較光滑且連續(xù)的曲線(xiàn)，代表著實(shí)際目標(biāo)的運(yùn)動(dòng)變化情況。

圖3 毫米波雷達(dá)全目標(biāo)縱向相對(duì)距離

視覺(jué)傳感器設(shè)備輸出探測(cè)到前方五個(gè)目標(biāo)，通過(guò)無(wú)目標(biāo)通道處理和輸出目標(biāo)提取兩個(gè)步驟的處理，將五個(gè)目標(biāo)挑選出來(lái)，如圖4所示。

圖4 視覺(jué)輸出目標(biāo)的縱向相對(duì)距離

圖5 感知程序處理結(jié)果

經(jīng)雷達(dá)和視覺(jué)單獨(dú)處理和感知融合程序處理后的結(jié)果對(duì)比如圖5所示。視覺(jué)主目標(biāo)標(biāo)志位如圖6所示。

圖6 視覺(jué)主目標(biāo)標(biāo)志位

5 結(jié)論

本文設(shè)計(jì)了能夠采集到毫米波雷達(dá)和視覺(jué)傳感器信號(hào)的采集系統(tǒng)，完成了傳感器處理信息的提取，實(shí)現(xiàn)了兩傳感器目標(biāo)級(jí)融合。針對(duì)感知系統(tǒng)的融合方案，采集了巡航和跟車(chē)兩種實(shí)驗(yàn)工況數(shù)據(jù)。實(shí)驗(yàn)證明：感知系統(tǒng)的融合方案改善了單一傳感器誤檢和漏檢的情況，具有合理性和準(zhǔn)確性。

[1] 李剛,崔昕旭,宗長(zhǎng)富,等.四輪輪轂電機(jī)電動(dòng)車(chē)自適應(yīng)巡航控制[J].科學(xué)技術(shù)與工程, 2017,17(30):86-91.

[2] 趙偉杰.基于智能網(wǎng)聯(lián)汽車(chē)高級(jí)輔助駕駛系統(tǒng)技術(shù)的分析[C].四川:四川省汽車(chē)工程學(xué)會(huì)會(huì)議論文集,2020:232-235.

[3] 陳康.面向車(chē)聯(lián)網(wǎng)的協(xié)同自適應(yīng)巡航控制研究[D].廣州:華南理工大學(xué)碩士學(xué)位論文,2017.

[4] 高振海,嚴(yán)偉,李紅建.汽車(chē)自適應(yīng)巡航線(xiàn)性參變間距控制算法[J]. 吉林大學(xué)學(xué)報(bào), 2016,46(4):1023-1029.

[5] 高振海,嚴(yán)偉,李紅建.基于模擬駕駛員多目標(biāo)決策的汽車(chē)自適應(yīng)巡航控制算法[J].汽車(chē)工程, 2015(6): 667-673.

[6] 譚學(xué)治,韓藝.動(dòng)態(tài)背景下運(yùn)動(dòng)車(chē)輛的檢測(cè)與跟蹤研究[J].移動(dòng)通信, 2015, 39(11):80-85.

[7] Guiru Liu,Mingzheng Zhou, Lulin Wang, et al. A blind spot detection and warning system based on millimeter wave radar for driver assis -tance[J].Optik-International Journal for Light and Electron Optics, 2017:353-365.

Research on Target Level Fusion Scheme for Automotive ACC Based on Millimeter-wave Radar and Visual Sensor*

Li Ning1, Shen Zijian1, Lou Sufeng2, Li Gang1

( 1.Liaoning University of Technology, Liaoning Jinzhou 121001; 2.Liaoning Army Reserve Logistics Support Brigade, Liaoning Jinzhou 121000 )

The adaptive cruise control system is one of the important functions to realize the intelligent vehicle driving in the future. In the past, the system mainly used millimeter wave radar to sense the surrounding environment, but it is easy to appear more false identification and missing identification.Aiming at the existing problems, the adaptive cruise sensing system is studied in this paper, which is different from the previous single radar scheme. In this design, millimeter wave radar and visual sensor fusion are used to improve the performance of the sensing system. By building the sensor data acquisition system of electric vehicle, writing the CAN communication message analysis program, analyzing the characteristics of millimeter wave radar and visual sensor, the acquisition and processing of radar and visual signal are completed, the target level fusion of the perception system is realized. Under cruise and car-following conditions, the off-line simulation is carried out, which proves that the target level fusion scheme effectively improves the accuracy and rationality of the perception system.

Adaptive cruise control system; Millimeter-wave radar; Visual sensor; Target level fusion

10.16638/j.cnki.1671-7988.2021.07.007

U469.5

B

1671-7988(2021)07-19-04

U469.5

B

1671-7988(2021)07-19-04

李寧（1979-），女，碩士，講師，就職于遼寧工業(yè)大學(xué)，研究方向：智能網(wǎng)聯(lián)汽車(chē)。

國(guó)家自然基金項(xiàng)目（51675257）。