高繼東，焦 鑫，劉全周，賈鵬飛，李占旗，楊偉東

(1. 中汽研（天津）汽車工程研究院有限公司，天津 300300; 2. 河北工業(yè)大學機械學院，天津 300130)

0 引 言

隨著汽車持有量的日益增加，出行安全問題越來越受人關注。智能輔助駕駛系統(tǒng)（ADAS）可為駕駛員實時提供安全預判信息，具有降低交通事故，提升汽車安全性，減少生命財產(chǎn)損失的優(yōu)點，逐步成為汽車配件開發(fā)的熱點[1]。

車輛行駛環(huán)境的感知作為輔助駕駛系統(tǒng)的輸入，對于系統(tǒng)的預警和決策起著至關重要的作用，對危險目標實現(xiàn)有效的檢測是精確預警的前提。如今，機器視覺和毫米波雷達為輔助駕駛系統(tǒng)中常用的傳感器，兩者都具有各自的優(yōu)勢，機器視覺獲取環(huán)境信息豐富，在目標檢測與分類上極具優(yōu)勢，但易受天氣影響；毫米波雷達可以準確探測障礙物的距離和速度信息，對環(huán)境有較強的適應性，但無法識別障礙物的類型，易受噪聲的影響[2]。如何有效的利用兩者傳感器的信息，國內外學者做了大量研究工作。FLORIAN F等[3]在車輛上配置多個雷達，采用對象級融合構造了不同雷達數(shù)據(jù)的融合結果，并對探測的目標結果進行濾波處理與目標追蹤，提高了對前方危險目標的探測能力；NATNAEL S等[4]將機器視覺與雷達信息進行了融合用于前方車輛的感知，采用機器視覺對前方車輛進行探測與追蹤，目標車輛距離的輸出依據(jù)于雷達數(shù)據(jù)信息，提升了對目標車輛的檢測與定位能力；國內，李鵬等[5]提出了雷達與攝像頭空間對準的標定算法，保證了兩種傳感器對同一目標的信息探測；陳曉偉等[6]將車牌檢測算法與雷達探測信息進行融合，用于前方目標車輛的檢測，充分利用了機器視覺與毫米波雷達的優(yōu)勢。

機器視覺雖在目標檢測上具有優(yōu)勢，但基于特征與顏色的傳統(tǒng)車輛檢測算法，難以區(qū)分類似車輛的虛假目標，結果往往不太理想。雷達易受噪聲信號的影響，若要利用雷達數(shù)據(jù)需對其噪聲進行過濾，并設定合適的閾值篩選出有效目標，因此，為提高輔助駕駛系統(tǒng)對前方目標的感知能力，充分利用機器視覺與毫米波雷達的數(shù)據(jù)優(yōu)勢，需提升機器視覺目標檢測與雷達有效目標的檢測與篩選能力，本文對深度學習SSD算法進行改進，提升算法對于目標的探測能力，借助于雷達模擬器確定出雷達目標篩選的合適閾值參數(shù)，提取出有效的目標信息，并采用卡爾曼濾波對數(shù)據(jù)噪聲進行過濾，通過雷達數(shù)據(jù)生成目標的感興趣區(qū)域，由SSD算法對感興趣區(qū)域進行車輛檢測，消除了雷達的誤檢測，同時也縮小了圖像檢測范圍，從兩方面對于車輛檢測的準確性進行了提升。

1 機器視覺車輛檢測算法

1.1 改進SSD算法

傳統(tǒng)目標檢測算法雖可以對車輛特征進行提取，但由于車輛信息特征復雜，行駛環(huán)境不確定的因素，往往檢測結果的準確性與魯棒性較差，本文通過改進的SSD深度學習算法對目標車輛進行檢測，通過多次訓練和學習，多層卷積網(wǎng)絡可對車輛特征進行提取，在目標的檢測方面深度學習算法具有較高的精度[7]。

SSD算法為端對端的目標檢測算法，以直接回歸的方式進行分類和定位，檢測速度相比于其它深度學習算法較快，它的網(wǎng)絡架構與Faster rcnn類似，相比于Faster rcnn算法，檢測速度雖得以提升但是犧牲了目標的檢測精度，尤其是對小目標的識別能力[8]。本文對SSD算法進行了改進，對網(wǎng)絡中淺層特征圖進行圖像分辨率重建，增加特征圖像的分辨率，并刪除冗余的候選框尺寸，保證檢測速度的同時提升對小目標的檢測能力。

淺層特征圖進行圖像分辨率重建過程如圖1所示，包含了特征提取、縮小、特征映射擴充和反卷積操作，可將低分辨率圖像映射為高分辨率圖像。網(wǎng)絡的輸入為SSD VGG16主網(wǎng)絡中conv4-3卷積層提取的特征圖像，特征圖像FP1經(jīng)過圖像縮小降低維度以及非線性特征映射去除冗余的特征參數(shù)得到特征圖像FP2，再將特征圖像FP2擴充至原來圖像維度，然后由反卷積層重建出高分辨率圖像。

圖1 圖像分辨率重建結構圖

為提升算法檢測速度，本文對樣本候選框長寬比以及卷積層的關系進行了研究，通過選取5000個圖片樣本進行測試，得到候選框長寬比與卷積層的對應關系如圖2所示。

圖2 候選框尺度分布圖

對實驗數(shù)據(jù)進行分析，可以得到候選框長寬比為1/3的候選框設置匹配率較低，甚至測試結果中出現(xiàn)一些誤檢。其次在卷積層conv10-2進行特征提取后候選框分布變化很小，即為冗余的卷積層。因此在算法中將刪除寬高比為1/3的候選框以及conv10-2卷積層。刪除冗余后的特征提取網(wǎng)絡結構與超分辨率重建結構的特征進行融合就構成了改進SSD算法的網(wǎng)絡結構，如圖3所示。

圖3 改進SSD算法網(wǎng)絡結構圖

1.2 車輛檢測結果測試

為獲得SSD網(wǎng)絡學習的訓練集，在車輛上安裝高清攝像頭，采集不同路況下的車輛圖片，訓練集圖片如圖4所示。

圖4 采集的車輛圖片

然后利用標注工具對圖片訓練集進行標注，形成xml標注文件，在Ubuntu系統(tǒng)中對SSD網(wǎng)絡學習框架進行配置，計算機的硬件資源是CPU為i7-8700K、顯卡為 NVIDIA GeForce TX1080Ti、顯存為 8 GB、硬盤容量為 512GSSD+2 TB，依次配置Tensorflow、 Anaconda、 Opencv、 Cuda、 Cudnn 和SSD資源，配置成功后輸入學習文件對網(wǎng)絡進行訓練。

模型訓練完成后，調用SSD算法對圖片中的車輛進行識別，識別結果如圖5所示。通過BITVehicle車輛數(shù)據(jù)集對算法準確率進行測試，以平均準確率mAP為評價指標[9]，測試結果如表1所示。

圖5 SSD算法與改進的SSD算法車輛檢測結果對比圖

表1 車輛數(shù)據(jù)集測試結果對比表

通過檢測準確率的結果對比，改進后的SSD算法提升了車輛識別的置信度，對于近距離和遠距離的車輛都有了較好的檢測效果。但是，在車輛行駛與城市工況，算法會將護欄、樹木、灌木等類似車輛特征的物體誤認為目標車輛，存在一定的誤檢，如圖6所示。

圖6 復雜環(huán)境下改進的SSD算法車輛檢測結果

為了進一步提升車輛的檢測精度，實現(xiàn)目標的精確定位，下面將雷達數(shù)據(jù)與改進的SSD算法相融合進行車輛檢測，以更好滿足ADAS系統(tǒng)的要求。

2 雷達有效目標確定

2.1 雷達信號預處理

毫米波雷達工作波段為毫米波波段，具備微波制導與光波制導的優(yōu)點，工作過程中能夠同時探測到多個障礙物的距離、速度、角度等信息，受限于雷達工作的不穩(wěn)定性、金屬障礙物的干擾、回波能量的不均勻等因素的影響，探測結果中常?；煊袩o效目標、靜止目標和非危險目標[10]。

為確保攝像頭和雷達融合結果的準確性，前提要保證雷達探測目標的有效性。無效目標持續(xù)時間段，連續(xù)次數(shù)少，可設定目標生命周期濾除此類目標；靜止目標多為樹木、護欄等固定目標，反射能量往往與車輛相差較大，通過設定RCS閾值進行過濾；非危險目標可通過目標的橫向距離和縱向距離信息進行過濾，去除不在危險區(qū)域內的目標。

本文選用大陸ARS408雷達，雷達的參數(shù)如表2所示。信息通信方式為CAN通信，加載雷達dbc文件，對雷達的信息數(shù)據(jù)進行解析，得到目標的距離、速度、角度、反射截面積等信息，通過設定lifetime、RCS、Distance和Azimuth的參數(shù)閾值對目標進行過濾和篩選，得到有效目標的信息數(shù)據(jù)，合適參數(shù)的閾值將通過具體工程實驗進行確定。

表2 雷達參數(shù)表

2.2 雷達數(shù)據(jù)信息濾波

獲取雷達有效目標之后，數(shù)據(jù)中會存在一定的系統(tǒng)噪聲和觀測噪聲，本文采用卡爾曼濾波算法對目標數(shù)據(jù)進行過濾以減少跳動誤差，提高數(shù)據(jù)精度[11]。

3 多傳感器信息融合車輛檢測

3.1 雷達預處理參數(shù)閾值確定

在對雷達數(shù)據(jù)進行有效目標篩選時，為了確定lifetime、RCS、Distance和Azimuth參數(shù)的合適閾值，本文采用NI雷達模擬器對不同目標進行模擬，觀測不同參數(shù)下雷達對目標的探測結果。目標信息采集過程，如圖7、圖8所示。

圖7 雷達模擬器

圖8 探測目標信息采集

對雷達進行安裝時，利用模擬器對雷達的chip波進行抓取，確定雷達的波束中心點，通過上位機軟件設定不同目標，通過CAN卡對雷達輸出結果進行采集，雷達探測的結果如圖9、圖10所示。

圖9 動態(tài)目標模擬時雷達探測結果

圖10 Lifetime參數(shù)對雷達探測結果的影響

從測試結果中觀測，當lifetime參數(shù)設定為0.1 s時，雷達能夠過濾絕大多數(shù)噪聲目標，過濾效果比較理想；家用轎車的RCS值一般為5 dB，選取RCS值大于5 dB的目標進行篩選，以去除非車輛目標[12]；我國道路寬度標準為3.75 m[13]，通過Distance和Azimuth確保雷達縱向60 m，橫向5 m區(qū)域內的目標進行探測。

確定有效目標之后，采用卡爾曼濾波算法對數(shù)據(jù)信息進行濾波處理，將濾波處理的數(shù)據(jù)與實際數(shù)據(jù)進行對比，得到算法的估計誤差，濾波結果如圖11、12所示。

圖11 卡爾曼濾波對目標距離的跟蹤曲線

圖12 估計位置誤差與觀測位置誤差對比曲線

圖11為卡爾曼濾波算法對雷達數(shù)據(jù)的處理結果曲線，經(jīng)過濾波處理之后，卡爾曼濾波算法可對目標數(shù)據(jù)進行穩(wěn)定追蹤，相比于雷達的模擬數(shù)據(jù)，經(jīng)過濾波處理的數(shù)據(jù)跳動誤差有所減少，對過程噪聲和量測噪聲起到了一定的抑制作用。圖12數(shù)據(jù)的誤差曲線，原始觀測數(shù)據(jù)的誤差最大為0.45 m，經(jīng)過濾波處理之后，誤差最大為0.3 m，并且跳動的幅度明顯好于原始觀測數(shù)據(jù)，提升了目標數(shù)據(jù)的精度。

3.2 攝像頭和雷達聯(lián)合標定

確定雷達預處理的合適參數(shù)閾值后，將雷達與攝像頭分別安裝于實車上，對前方行駛環(huán)境進行感知，安裝位置如圖所示，雷達固定于車輛保險上方，攝像頭固定于汽車前擋風玻璃下，傳感器安裝如圖13所示。

圖13 攝像頭和雷達實車安裝位置

安裝完成之后，對傳感器的參數(shù)進行標定，通過攝像頭對不同距離和姿態(tài)的標定板進行采集，然后對圖片中的棋盤格角點進行檢測，利用張正友標定算法，得到相機的內外參數(shù)，并對校正采集圖像中的畸變。

由于攝像頭與雷達的安裝位置不同，在進行數(shù)據(jù)融合之前，需要對兩者傳感器數(shù)據(jù)進行空間數(shù)據(jù)的統(tǒng)一，確保兩者采集的數(shù)據(jù)在同一個坐標系之下。傳統(tǒng)算法通過相機坐標系、雷達坐標系和世界坐標系三者的轉換進行統(tǒng)一，但因雷達和攝像頭安裝點之間的距離參數(shù)難以精確測量，并且坐標轉換公式復雜，轉換結果并不理想[14]。

為了快速確定雷達與攝像頭的轉換關系，本文采用曲線擬合進行完成，主車處于靜止狀態(tài)下，駕駛一輛目標車在車輛危險區(qū)域內由近及遠的運動，啟動攝像頭車輛識別算法對目標車輛進行識別，記錄下目標車輛檢測中心的圖像坐標和雷達數(shù)據(jù)信息，去除數(shù)據(jù)中的異指點，基于Matlab的曲線擬合工具箱對數(shù)據(jù)進行擬合[15]，擬合結果如圖14所示。

圖14 曲線擬合關系曲線

圖14為圖像的像素坐標和目標距離的擬合關系曲線，通過多項式對數(shù)據(jù)進行擬合，得到結果：

標定完成后，對標定結果進行測試，選取不同數(shù)據(jù)點形成測試集，測試結果如表3所示。

表3 標定結果的圖像殘差值和總體誤差

從表中標定誤差的對比，傳統(tǒng)聯(lián)合標定的總體像素誤差為0.3712，本文標定的總體像素誤差為0.2713，相比于傳統(tǒng)的標定算法，誤差要小，標定精度較高。

3.3 信息融合的車輛檢測

雷達數(shù)據(jù)借助Cancase進行采集，由Simulink的CAN解析模塊對雷達信息進行解析，通過有效閾值參數(shù)得到雷達有效目標信息，根據(jù)式（8）將雷達數(shù)據(jù)轉換成圖像坐標信息，由UDP通信協(xié)議發(fā)送至圖像處理程序，生成目標的感興趣區(qū)域，信息數(shù)據(jù)的采集如圖15所示，感興趣區(qū)域生成如圖16所示。

圖15 信息數(shù)據(jù)的采集與通信

根據(jù)雷達數(shù)據(jù)生成的感興趣區(qū)域，輸入雷達適配參數(shù)后可以對護欄、樹木和安全區(qū)域的車輛進行過濾，由感興趣區(qū)域的坐標信息，設計圖像的蒙板，提取出圖像中目標的感興趣區(qū)域，然后調用SSD目標檢測算法對感興趣區(qū)域進行車輛檢測，以剔除感興趣區(qū)域的非車輛目標，并且進一步收縮車輛外形的識別邊框。融合算法流程圖如圖17所示，檢測結果，如圖18所示。

圖17 信息融合車輛檢測流程圖

圖18 車輛檢測結果

3.4 信息融合的車輛檢測

受限于雷達有效目標的選取，信息融合車輛檢測算法只對本車道和相鄰車道距離為0.2 ～60 m范圍內的目標車輛進行檢測，通過采集晴天、陰天、夜晚（有光照）等不同天氣條件下的2000張視頻圖片進行前方車輛檢測，采用車輛檢測準確率（true position rate，TPR）和誤檢率（false detection rate，F(xiàn)DR）對算法的有效性進行評價[16]，計算公式為：

式中：TP——分類器檢測出的車輛數(shù)；

AP——實際車道中的車輛總數(shù)；

FP——被分類器誤檢為車輛的數(shù)目。

表4為信息融合算法在不同天氣條件下的檢測結果，在晴天、陰天和夜晚有光照的情況下，對于目標車輛檢測的準確率分別達到了95.3%、93.8%和91.7%，誤檢率分別為0.3%，0.4%和0.6%，相比于單傳感器車輛檢測的準確率得以提升，實現(xiàn)了前方目標車輛的精確感知。

表4 車輛檢測準確率對比表

4 結束語

1）配置SSD深度學習框架，并對算法網(wǎng)絡結構進行了改進，制作汽車數(shù)據(jù)集進行學習訓練，提升了算法對于車輛的檢測精度。

2）對雷達數(shù)據(jù)進行處理，確定合適的閾值參數(shù)，得到有效目標信息的信息數(shù)據(jù)，根據(jù)標定公式生成目標存在的感興趣區(qū)域。

3）采用攝像頭和雷達信息融合技術對前方車輛進行檢測，并對測試結果進行測試，對于晴天環(huán)境中車輛的檢測準確率最高達到了95.3%，實現(xiàn)了車輛的準確檢測，提高了輔助系統(tǒng)預警的精確性。