張 翔，鄭 玲，李以農(nóng),，張志達(dá)

(重慶大學(xué) a.機(jī)械與運(yùn)載工程學(xué)院;b.機(jī)械傳動(dòng)國家重點(diǎn)實(shí)驗(yàn)室, 重慶 400044)

隨著汽車數(shù)量的不斷增加，人們出行得到便利的同時(shí)，交通事故也引發(fā)越來越多的人員傷亡與財(cái)產(chǎn)損失[1]。對(duì)于智能汽車而言，實(shí)現(xiàn)對(duì)前方車輛快速準(zhǔn)確地檢測與預(yù)警能夠有效降低交通事故概率[2]。國內(nèi)外在智能車輛研究領(lǐng)域已經(jīng)提出許多車輛檢測的方法，包括基于圖像特征的方法[3]、基于模型的方法[4]、基于機(jī)器學(xué)習(xí)的方法[5-6]等。近幾年基于深度學(xué)習(xí)的方法在通用目標(biāo)檢測領(lǐng)域取得了很好的效果[7-10]，也逐漸應(yīng)用于自動(dòng)駕駛的環(huán)境感知算法中。

在基于單幀圖像的車輛檢測過程中，由于光照條件與道路交通背景變化復(fù)雜，可能會(huì)出現(xiàn)目標(biāo)漏檢或誤檢的情況。此外，智能車輛在進(jìn)行路徑規(guī)劃時(shí)需要考慮障礙目標(biāo)的運(yùn)動(dòng)軌跡，需要提取車輛目標(biāo)運(yùn)動(dòng)的時(shí)序特征。為了解決車輛檢測方法魯棒性不足與無法結(jié)合時(shí)序信息的問題，車輛跟蹤方法受到大量研究者的關(guān)注。解文華等[11]研究一種引入主動(dòng)輪廓(C-V)模型的MeanShift車輛目標(biāo)跟蹤算法，通過C-V模型實(shí)現(xiàn)對(duì)車輛多目標(biāo)的跟蹤管理。但是MeanShift中的窗口尺寸是固定值，難以適應(yīng)車距變化引起的圖像尺寸改變。丁曉娜[12]基于Gaussian模型及卡爾曼濾波實(shí)現(xiàn)車輛跟蹤，但卡爾曼濾波無法解決交通車輛遮擋情況下的收斂問題，對(duì)尺度和運(yùn)動(dòng)狀態(tài)波動(dòng)性較大的車輛目標(biāo)跟蹤的魯棒性和實(shí)時(shí)性不足。近年來基于誤差最小平方和的MOSSE(minimum output sum of squarederror)濾波器[13]、基于學(xué)習(xí)的TLD(tracking learning detection)跟蹤器[14]、核相關(guān)KCF(kernelized correlation filters)濾波器[15]、基于判別式尺度空間的DSST(discriminative scale space tracking)跟蹤器[16]等相關(guān)濾波方法被提出并在目標(biāo)跟蹤中引起重視，由于其在頻域中點(diǎn)乘運(yùn)算的方式極大減少了運(yùn)算量，使得跟蹤的實(shí)時(shí)性得到極大提高。但是相關(guān)濾波方法不直接適用于多目標(biāo)跟蹤，難以解決道路車輛跟蹤中目標(biāo)加入、消失、遮擋等問題。鑒于粒子濾波( PF, particle filtering)算法具有高魯棒性與易拓展性，學(xué)者們將圖像特征與粒子濾波算法結(jié)合進(jìn)行車輛多目標(biāo)跟蹤[17-18]。為了提高跟蹤精度，一些改進(jìn)粒子濾波算法也被提出。田夢楚等[19]將螢火蟲群體的吸引和移動(dòng)機(jī)制引入粒子濾波，利用螢火蟲優(yōu)化算法解決粒子濾波的粒子退化問題，提高了目標(biāo)跟蹤的效率。韓錕等[20]利用果蠅優(yōu)化算法約束粒子群的區(qū)域，提高了跟蹤精度。Zhou等[21]基于遺傳算法提出改進(jìn)的粒子濾波重采樣策略，改善粒子退化，提高了目標(biāo)跟蹤的精確度。然而，這些跟蹤算法在解決復(fù)雜背景下的目標(biāo)跟蹤、目標(biāo)長期遮擋等情況時(shí)仍存在問題，無法實(shí)現(xiàn)實(shí)時(shí)穩(wěn)定的道路車輛跟蹤。

毫米波雷達(dá)具有環(huán)境適應(yīng)性強(qiáng)、體積小、成本低等優(yōu)點(diǎn)，因此也得到研究者的廣泛采用。Xu等[22]基于聯(lián)合集成概率數(shù)據(jù)關(guān)聯(lián)與交互式多模型(JIPDA-IMM)結(jié)合方法，使用毫米波雷達(dá)實(shí)現(xiàn)前方多目標(biāo)準(zhǔn)確跟蹤。Huang等[23]基于極坐標(biāo)系下的卡爾曼濾波實(shí)現(xiàn)單目標(biāo)跟蹤，并通過閾值方法進(jìn)行目標(biāo)的區(qū)分和關(guān)聯(lián)，實(shí)現(xiàn)車輛多目標(biāo)跟蹤。Aihara等[24]提出將CNN卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于毫米波雷達(dá)，模擬激光雷達(dá)點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)道路可行駛區(qū)域分割。此外，利用毫米波雷達(dá)與視覺信息融合具有極大提升車載環(huán)境感知能力的潛力，信息融合的方法也成為研究熱點(diǎn)。王寶鋒等[25]首先根據(jù)雷達(dá)目標(biāo)投影獲取圖像中的車輛識(shí)別感興趣區(qū)域，然后通過對(duì)稱性、底部陰影、車輛寬度等特征進(jìn)行驗(yàn)證，實(shí)現(xiàn)高魯棒性的車輛識(shí)別。Wang等[26]利用YOLOv2進(jìn)行車輛檢測，針對(duì)雨天道路反光造成的圖像干擾，以雷達(dá)投影點(diǎn)提取水平線，利用與邊界框的交點(diǎn)坐標(biāo)計(jì)算車輛寬度，提高寬度估計(jì)的精確。以上基于視覺與雷達(dá)信息融合的研究在車輛檢測領(lǐng)域表現(xiàn)成熟，但仍無法解決車輛跟蹤中尺度變化問題。Chen等[27]在圖像感知哈希編碼的跟蹤算法中引入毫米波雷達(dá)探測信息進(jìn)行尺度更新，但是其僅針對(duì)單目標(biāo)跟蹤問題，無法適用于道路環(huán)境中的多車輛目標(biāo)跟蹤。

針對(duì)視覺圖像中車輛目標(biāo)尺度變化導(dǎo)致跟蹤丟失問題，提出一種基于視覺與毫米波雷達(dá)信息融合的改進(jìn)粒子濾波車輛跟蹤與尺度修正算法[28-29]。首先采用遺傳算法改進(jìn)粒子濾波的重采樣策略，根據(jù)實(shí)時(shí)有效采樣粒子數(shù)求取動(dòng)態(tài)自適應(yīng)的遺傳交叉概率，并在交叉操作中利用單個(gè)子代替換小權(quán)重粒子，以提高平均精度。利用高斯函數(shù)計(jì)算種群適應(yīng)度、計(jì)算遺傳變異狀態(tài)，使跟蹤估計(jì)窗口更符合真實(shí)運(yùn)動(dòng)。然后，在改進(jìn)粒子濾波車輛多目標(biāo)跟蹤算法中，引入毫米波雷達(dá)的深度信息對(duì)跟蹤邊界框尺寸進(jìn)行修正。利用雷達(dá)目標(biāo)投影點(diǎn)與視覺跟蹤框的位置關(guān)系，設(shè)計(jì)判別策略實(shí)現(xiàn)關(guān)聯(lián)匹配，通過推導(dǎo)目標(biāo)的圖像尺寸與縱向距離呈現(xiàn)反比例關(guān)系，融合雷達(dá)探測的運(yùn)動(dòng)信息實(shí)現(xiàn)關(guān)聯(lián)目標(biāo)的跟蹤邊界框尺寸修正，實(shí)現(xiàn)了智能汽車對(duì)道路車輛的連續(xù)準(zhǔn)確跟蹤。

1 雷達(dá)與機(jī)器視覺的時(shí)空同步

德爾福ESR毫米波雷達(dá)集成了長距離雷達(dá)與中距離雷達(dá)的檢測功能，獲取目標(biāo)的距離、角度、相對(duì)速度等運(yùn)動(dòng)信息。長距離雷達(dá)的最大探測距離為175 m，探測角度為20°；中距離雷達(dá)的最大探測距離為60米且探測角度為90°。選用的車載相機(jī)為羅技C920 Pro，其探測視角為78°。雷達(dá)安裝于車輛前方保險(xiǎn)杠中部，相機(jī)的安裝位置于車輛前擋風(fēng)玻璃上方，如圖1(a)所示。傳感器探測范圍見圖1(b)。

圖1 傳感器布置與探測范圍Fig. 1 Sensor layout and detection range

雷達(dá)與相機(jī)的空間坐標(biāo)轉(zhuǎn)換需要標(biāo)定內(nèi)外參數(shù)。首先利用相機(jī)采集不同視角下的標(biāo)準(zhǔn)棋盤格圖片不少于20張，然后利用Matlab標(biāo)定工具箱自動(dòng)提取每張圖片的角點(diǎn)，其中需要輸入棋盤尺寸，即可通過張正友標(biāo)定法的迭代計(jì)算可以得到相機(jī)內(nèi)外部參數(shù)。再經(jīng)過測量與迭代計(jì)算獲取雷達(dá)與相機(jī)的外部平移與旋轉(zhuǎn)參數(shù)后，代入透視變換中的內(nèi)外參數(shù)矩陣，即可完成雷達(dá)坐標(biāo)與圖像像素坐標(biāo)的轉(zhuǎn)換

(1)

其中，(u,v)表示圖像像素坐標(biāo)中的目標(biāo)位置，(XR,YR,Z)表示雷達(dá)坐標(biāo)系下的目標(biāo)位置，M1與M2分別表示內(nèi)外參數(shù)矩陣。

由于雷達(dá)與相機(jī)的工作頻率不同，要實(shí)現(xiàn)多傳感器數(shù)據(jù)關(guān)聯(lián)，還需要完成時(shí)間上的對(duì)準(zhǔn)。毫米波雷達(dá)的采樣幀頻率為20 Hz，而相機(jī)的采樣幀頻率為30 Hz，按照采樣頻率低的傳感器向下兼容，提取雷達(dá)每間隔一幀數(shù)據(jù)、相機(jī)每間隔2幀數(shù)據(jù)為有效數(shù)據(jù)。

2 毫米波雷達(dá)數(shù)據(jù)濾波

2.1 雷達(dá)數(shù)據(jù)預(yù)處理

德爾福ESR雷達(dá)每一幀掃描時(shí)返回64個(gè)通道的目標(biāo)數(shù)據(jù)，并包含每個(gè)目標(biāo)的速度、距離、角度、加速度等運(yùn)動(dòng)信息。由于產(chǎn)生的數(shù)據(jù)量過大，若每次調(diào)用數(shù)據(jù)時(shí)全部讀取，將十分費(fèi)時(shí)、且占用大量內(nèi)存空間，因此需要對(duì)雷達(dá)原始數(shù)據(jù)進(jìn)行預(yù)處理。具體過程如下：

1)提取運(yùn)動(dòng)參數(shù)。考慮到毫米波雷達(dá)所探測各運(yùn)動(dòng)參數(shù)的精確度，篩選出每個(gè)通道目標(biāo)的速度、距離、角度三組參數(shù)。

2)去除空目標(biāo)。根據(jù)雷達(dá)解算協(xié)議，雷達(dá)未探測到目標(biāo)時(shí)返回的空信號(hào)數(shù)據(jù)為相對(duì)距離d=0、相對(duì)速度v=81.91、角度α=0。根據(jù)這些特征值，可以濾除返回信號(hào)中的空目標(biāo)。

3)基于閾值的有效目標(biāo)初選。在實(shí)際應(yīng)用中通常需要識(shí)別的道路車輛目標(biāo)為同車道的前方車輛、及左右兩側(cè)鄰車道的同向車輛，如圖2所示。為此需要設(shè)置橫向距離與相對(duì)速度閾值，濾除非目標(biāo)區(qū)域的車輛與逆向車輛。

圖2 道路前方車輛分布Fig. 2 Preceding vehicles distribution

此外，由于長距離毫米波雷達(dá)的最大探測距離為175 m，而其返回?cái)?shù)據(jù)的精度不高；且遠(yuǎn)處目標(biāo)在相機(jī)采集圖像中尺寸過小，難以實(shí)現(xiàn)準(zhǔn)確關(guān)聯(lián)。因此需要設(shè)置縱向距離閾值濾除遠(yuǎn)處目標(biāo)。綜上得到的閾值篩選模型如下

(2)

其中:dx為橫向相對(duì)距離;vy為縱向相對(duì)速度;dy為縱向相對(duì)距離；Wth為橫向距離閾值，由車道寬度與閾值的乘積表示(根據(jù)中國道路技術(shù)規(guī)范，設(shè)置行車道的寬度Wth為3.75 m);系數(shù)k通常取1.5；vth是相對(duì)速度閾值，為負(fù)數(shù)，取-20 m/s；dth為縱向距離閾值，取60 m。

2.2 車輛目標(biāo)關(guān)聯(lián)濾波

除了交通車輛，毫米波雷達(dá)還會(huì)探測到道路上的其他障礙物目標(biāo)，比如行人、交通標(biāo)志、金屬護(hù)欄等。此外，數(shù)據(jù)中還存在誤檢無效目標(biāo)、漏檢有效目標(biāo)等非連續(xù)目標(biāo)。因此，需要利用車輛目標(biāo)關(guān)聯(lián)濾波從毫米波雷達(dá)數(shù)據(jù)中獲取更精確的車輛目標(biāo)。

首先使用三階卡爾曼濾波方法對(duì)有效目標(biāo)運(yùn)動(dòng)信息進(jìn)行預(yù)測，選取的觀測向量為[dn,vn,an]，即毫米波雷達(dá)檢測到目標(biāo)在n時(shí)刻的距離、速度、加速度。

(3)

其中，雷達(dá)的掃描頻率為20 Hz，則每個(gè)周期的間隔為0.05 s；而多傳感器時(shí)間對(duì)準(zhǔn)后，雷達(dá)數(shù)據(jù)為每間隔一幀提取一次，所以取t=0.1 s。

由于毫米波雷達(dá)對(duì)加速度的分辨力較低，返回?cái)?shù)據(jù)中同一個(gè)目標(biāo)的加速度數(shù)值存在較大波動(dòng)，以及車輛目標(biāo)在道路的運(yùn)動(dòng)多為縱向運(yùn)動(dòng)，因此對(duì)濾波模型作出改進(jìn)：剔除加速度數(shù)據(jù)a，由相對(duì)距離與角度計(jì)算出縱向距離dy與橫向距離dx

(4)

最終獲得關(guān)聯(lián)濾波模型如下

(5)

考慮到存在有效目標(biāo)漏檢的情況，為檢驗(yàn)有效目標(biāo)的連續(xù)性，針對(duì)每一幀雷達(dá)掃描數(shù)據(jù)，分別提取其前后各3幀數(shù)據(jù)進(jìn)行上述檢驗(yàn)，從而濾除無效目標(biāo)

(6)

其中，j={-3,-2,-1,1,2,3}表示前后各三幀的雷達(dá)數(shù)據(jù)，found_radar(j)表示第j時(shí)刻下是否存在目標(biāo)滿足關(guān)聯(lián)濾波閾值要求，值為0或1。若相鄰6幀數(shù)據(jù)中存在至少4幀數(shù)據(jù)滿足式(5)的閾值要求，則判定當(dāng)前幀的目標(biāo)為連續(xù)有效的車輛目標(biāo)(如圖3所示)。

圖3 雷達(dá)數(shù)據(jù)關(guān)聯(lián)濾波效果對(duì)比圖Fig. 3 Effect of radar data association filtering

3 基于改進(jìn)粒子濾波的車輛跟蹤

3.1 改進(jìn)粒子濾波算法

標(biāo)準(zhǔn)粒子濾波算法中，重要性采樣多次迭代后存在嚴(yán)重的粒子退化現(xiàn)象，即多數(shù)新生粒子的觀測值與跟蹤模板間的相似性越來越低，連續(xù)多幀后粒子權(quán)重逐漸變成0，其后驗(yàn)概率也失去意義。為了解決粒子退化問題，經(jīng)典重采樣方法采用復(fù)制大權(quán)重粒子、刪除小權(quán)重粒子的策略，但是多次濾波后會(huì)使得粒子多樣性降低，導(dǎo)致樣本枯竭，在場景劇變時(shí)難以準(zhǔn)確跟蹤。遺傳算法是一種自適應(yīng)全局優(yōu)化搜索算法，模擬生物進(jìn)化過程，將其引入粒子濾波重采樣，可以利用優(yōu)勝劣汰的規(guī)則繁殖(復(fù)制)更優(yōu)質(zhì)的粒子，以產(chǎn)生更好的近似解，解決粒子退化問題同時(shí)保持粒子多樣性。

遺傳算法主要包括基因編碼、適應(yīng)度評(píng)價(jià)、選擇、交叉、變異等運(yùn)算步驟。對(duì)于選擇樣本參與交叉和變異操作的策略通常有2種，即全部參與、或以一固定概率參與，沒有考慮種群適應(yīng)度。若定義有效粒子數(shù)為

(7)

考慮粒子退化程度，基于實(shí)時(shí)有效采樣粒子數(shù)Neff，求取動(dòng)態(tài)自適應(yīng)的交叉概率為[21]

(8)

其中，k是遺傳概率系數(shù)，Ns是粒子總數(shù)，Nth為設(shè)定閾值。

動(dòng)態(tài)自適應(yīng)的交叉概率能夠有效解決粒子退化問題，并保持多樣性，但是其計(jì)算成本會(huì)增大，因此不適用于實(shí)時(shí)的目標(biāo)跟蹤系統(tǒng)。為了在不降低跟蹤精度的同時(shí)提升計(jì)算時(shí)效性，對(duì)遺傳交叉和變異部分進(jìn)行改進(jìn)。具體工作如下：

1)基因編碼：針對(duì)視覺跟蹤問題，選用目標(biāo)在圖像中的位置及尺寸為基本狀態(tài)模型。由于車輛跟蹤問題涉及到目標(biāo)運(yùn)動(dòng)與尺度變化，選取基因編碼s=[x,y,h,w,vx,vy,sc]，包括目標(biāo)窗口的位置及尺寸、運(yùn)動(dòng)速度、尺度變化因子。

2)個(gè)體適應(yīng)度評(píng)價(jià)：選取圖像HSV顏色直方圖特征，設(shè)置bins=8進(jìn)行色彩壓縮，可將360×100×100維的直方圖數(shù)據(jù)壓縮為8×8×8維，以減少存儲(chǔ)量、提高計(jì)算效率。再利用巴氏系數(shù)度量每個(gè)粒子表征窗口的直方圖pi與模板直方圖q之間的相似度

(9)

巴氏距離ρ越大則表明2個(gè)直方圖分布越相似。然后利用一維高斯函數(shù)處理，使適應(yīng)度fi符合正態(tài)分布

(10)

3)選擇：計(jì)算前一幀粒子集中每個(gè)粒子的適應(yīng)度(權(quán)重)，并據(jù)此計(jì)算當(dāng)前有效粒子數(shù)，利用動(dòng)態(tài)自適應(yīng)概率式(8)，計(jì)算得到交叉概率Pc，再以輪盤賭策略執(zhí)行N/2次隨機(jī)選擇粒子對(duì)作為父代，逐次參與遺傳交叉操作。

4)交叉：利用每對(duì)父代粒子交叉產(chǎn)生一個(gè)子代

C=α×P1+(1-α)×P2，

(11)

其中：P1與P2為父代粒子的基因編碼；C為生成的子代粒子基因編碼。為了彌補(bǔ)單個(gè)子代可能帶來種群多樣性的不足，設(shè)置比例因子α非固定值，其隨機(jī)數(shù)生成區(qū)間為[0.3,0.7]。

完成選擇與交叉操作后，利用生成的N/2個(gè)子代替換前一幀粒子集中個(gè)體適應(yīng)度排名靠后的相應(yīng)粒子，記錄形成新的粒子集，參與后續(xù)運(yùn)算。此策略可以使重采樣結(jié)果的平均期望更接近跟蹤模板，提高跟蹤精度，同時(shí)減少每一幀運(yùn)算量，提高目標(biāo)跟蹤的時(shí)效性。

5)變異：以一定概率在種群內(nèi)隨機(jī)挑選粒子，針對(duì)第i個(gè)粒子編碼si，對(duì)窗口坐標(biāo)與尺度進(jìn)行隨機(jī)變異，以提高種群的多樣性。利用正態(tài)分布計(jì)算粒子變異狀態(tài)，使概率分布更接近目標(biāo)運(yùn)動(dòng)規(guī)律

(12)

其中，r為服從[0,1]均勻分布的隨機(jī)數(shù)，設(shè)置變異概率rth=0.1。

所提出的改進(jìn)粒子濾波算法基于遺傳算法改進(jìn)重采樣策略，以正態(tài)分布而非均勻分布來計(jì)算種群適應(yīng)度、及實(shí)現(xiàn)遺傳變異操作，使數(shù)值計(jì)算更接近真實(shí)運(yùn)動(dòng)軌跡。且利用每對(duì)父代粒子生成單個(gè)子代，可以提高平均期望，同時(shí)避免大量迭代，能夠優(yōu)化計(jì)算效率。改進(jìn)算法能夠保證權(quán)重較大的粒子依然有更大概率保留，避免粒子退化導(dǎo)致的濾波發(fā)散，同時(shí)提高粒子的多樣性，避免樣本衰竭導(dǎo)致車載相機(jī)環(huán)境劇變時(shí)難以跟蹤。

3.2 改進(jìn)粒子濾波在車輛跟蹤中的實(shí)現(xiàn)

所提出的改進(jìn)粒子濾波算法在車輛跟蹤中的主要實(shí)現(xiàn)步驟如下：

1)首幀初始化：對(duì)于每一個(gè)目標(biāo)，根據(jù)先驗(yàn)密度函數(shù)采樣N個(gè)粒子。與前文遺傳算法的基因編碼相同，粒子狀態(tài)表征模型為s=[x,y,h,w,vx,vy,sc]。窗口位置與尺寸的初始化主要由檢測結(jié)果給定，在置初始速度vx=vy=0，并且由于車載相機(jī)中前方車輛尾部尺寸變化幅度一般不大，限定sc=0.01。此外需要設(shè)置粒子集初始化權(quán)重wi=1/N。

2)重采樣：依據(jù)前文提出的基于遺傳算法改進(jìn)重采樣方法，針對(duì)前一幀粒子集的個(gè)體適應(yīng)度進(jìn)行自然選擇、遺傳交叉、變異等操作，得到新的粒子集合。

3)觀測權(quán)值：與前文個(gè)體適應(yīng)度評(píng)價(jià)方法相同，利用式(9)度量窗口HSV直方圖與模板直方圖間相似度，并利用式(10)離散化，再進(jìn)行歸一化處理，得到粒子權(quán)值wi。

(13)

式(13)返回Oid為被遮擋粒子的序號(hào)。若連續(xù)遮擋達(dá)到一定幀數(shù)，則判定該目標(biāo)行駛出視野之外，刪除對(duì)應(yīng)的直方圖模板。

5)狀態(tài)輸出：根據(jù)各粒子的權(quán)重與狀態(tài)模型計(jì)算加權(quán)平均狀態(tài)，求得的結(jié)果可作為目標(biāo)在新一時(shí)刻的估計(jì)狀態(tài)輸出。

6)返回步驟2進(jìn)入下一視頻幀的目標(biāo)跟蹤，直至連續(xù)跟蹤幀數(shù)達(dá)到設(shè)定值。

4 基于信息融合的跟蹤結(jié)果修正

對(duì)于視覺跟蹤算法，通常在長時(shí)間跟蹤后會(huì)出現(xiàn)跟蹤框尺寸過大或過小的情況，致使跟蹤窗口出現(xiàn)目標(biāo)漂移問題，導(dǎo)致目標(biāo)丟失。針對(duì)此問題，引入毫米波雷達(dá)獲取目標(biāo)的深度信息，對(duì)跟蹤邊界框尺寸進(jìn)行修正。

4.1 雷達(dá)與視覺跟蹤目標(biāo)關(guān)聯(lián)匹配

首先需要將濾波后的毫米波雷達(dá)數(shù)據(jù)與視覺跟蹤結(jié)果關(guān)聯(lián)。根據(jù)式(4)，可利用雷達(dá)探測到的目標(biāo)距離與角度信息，由雷達(dá)坐標(biāo)轉(zhuǎn)換得到以車直角坐標(biāo)系下。同時(shí)由式(1)的多傳感器空間坐標(biāo)轉(zhuǎn)換關(guān)系，可將雷達(dá)目標(biāo)點(diǎn)投影到圖像上，得到其圖像坐標(biāo)[u,v]。同時(shí)，基于遺傳算法改進(jìn)的粒子濾波在車輛跟蹤中的實(shí)現(xiàn)，可得到當(dāng)前幀的跟蹤結(jié)果，包括位置與尺寸參數(shù)[x,y,w,h]。

如圖4所示，綠色圓點(diǎn)表示雷達(dá)目標(biāo)中心點(diǎn)投影，紅色矩形框表示視覺跟蹤結(jié)果。根據(jù)雷達(dá)投影點(diǎn)與視覺跟蹤框的位置關(guān)系，可以確定目標(biāo)關(guān)聯(lián)匹配算法。

取“2.2”項(xiàng)下固定后的肝組織，脫水，石蠟包埋，按4 μm厚度切片。然后進(jìn)行常規(guī)蘇木精-伊紅（HE）染色，于倒置顯微鏡下觀察，并依據(jù)《非酒精性脂肪性肝病診療指南》[10]，判定肝細(xì)胞脂肪變性程度。

(14)

設(shè)計(jì)的目標(biāo)關(guān)聯(lián)匹配判別策略如下：

判據(jù)1：若跟蹤框內(nèi)沒有雷達(dá)投影點(diǎn)，則該視覺跟蹤目標(biāo)沒有雷達(dá)目標(biāo)與之關(guān)聯(lián)匹配；判據(jù)2：若一個(gè)跟蹤框內(nèi)存在且僅有一個(gè)雷達(dá)投影點(diǎn)，則直接將其關(guān)聯(lián)匹配；判據(jù)3：若一個(gè)跟蹤框內(nèi)存在多個(gè)雷達(dá)投影點(diǎn)，則將距離中心點(diǎn)(x+w/2,y+h/2)處最近的雷達(dá)目標(biāo)與之關(guān)聯(lián)。

其中判據(jù)2的優(yōu)先級(jí)高于判據(jù)3。若兩跟蹤框存在部分重疊(如圖4a)，通常遠(yuǎn)處車輛目標(biāo)(跟蹤框也較小)投影點(diǎn)可能同時(shí)包含于近處目標(biāo)跟蹤框(尺寸較大)中，為避免匹配錯(cuò)誤，可以通過處理判據(jù)2實(shí)現(xiàn)遠(yuǎn)處目標(biāo)匹配。其次，為解決同一車道出現(xiàn)多輛車導(dǎo)致圖像中遠(yuǎn)處目標(biāo)被完全遮擋的情況(如圖4b)，可采用判據(jù)3解決大多數(shù)遮擋目標(biāo)的匹配。

圖4 雷達(dá)投影點(diǎn)與視覺跟蹤框Fig. 4 Radar projection points and visual tracking bounding boxes

4.2 跟蹤邊界框修正

根據(jù)相機(jī)透視變換關(guān)系式(1)，相機(jī)內(nèi)外參數(shù)矩陣確定時(shí)，雷達(dá)坐標(biāo)系與圖像像素坐標(biāo)之間的轉(zhuǎn)換為線性關(guān)系。因此對(duì)于一個(gè)尺度不變的目標(biāo)，在縱向距離更大的時(shí)候，其在圖像中尺寸呈現(xiàn)對(duì)應(yīng)反比例的縮小。

W·D=Con，

(15)

其中：W為目標(biāo)在相機(jī)成像中的寬度；D為縱向距離；Con表示常數(shù)。

鑒于此，在視覺跟蹤中引入毫米波雷達(dá)探測的目標(biāo)深度信息，實(shí)現(xiàn)對(duì)跟蹤邊界框的修正。假設(shè)前一時(shí)刻下，跟蹤目標(biāo)窗口的位置與尺寸由向量[x1,y1,w1,h1]表示，對(duì)應(yīng)的縱向距離為D1；而當(dāng)前時(shí)刻，目標(biāo)的位置與尺寸表示為[x2,y2,w2,h2]，對(duì)應(yīng)的縱向距離為D2。則可由式(15)推導(dǎo)的反比例關(guān)系得

w1·D1=w2·D2。

(16)

在跟蹤修正中，主要考慮當(dāng)前時(shí)刻的跟蹤框?qū)挾扰c高度不準(zhǔn)確，但是仍要依據(jù)跟蹤框的中點(diǎn)位置。此外，由于前一時(shí)刻的檢測結(jié)果作為真實(shí)值、或跟蹤結(jié)果已經(jīng)過修正，也可直接沿用。由此，得到修正后的當(dāng)前時(shí)刻下車輛目標(biāo)的位置與尺寸[x’,y’,w’,h’]如下

(17)

對(duì)每一幀下所有關(guān)聯(lián)匹配的跟蹤目標(biāo)邊界框完成位置與尺寸修正后，即可以迭代循環(huán)方式進(jìn)入下一幀，實(shí)現(xiàn)車輛多目標(biāo)的連續(xù)跟蹤。

5 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證所提融合算法的有效性，與標(biāo)準(zhǔn)粒子濾波和改進(jìn)粒子濾波的跟蹤效果進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)采集于重慶市日間內(nèi)環(huán)快速路、高速公路及部分城市道路場景，天氣為晴天或多云。視頻幀數(shù)為30FPS，圖像分辨率為1280*720，包含了部分樹木陰影、天橋、路面損毀等場景，有效涵蓋多數(shù)車輛高速運(yùn)行的復(fù)雜場景。ESR毫米波雷達(dá)數(shù)據(jù)離線存儲(chǔ)為csv格式文件。實(shí)驗(yàn)軟件平臺(tái)為MATLAB 2016B，硬件平臺(tái)為8 G內(nèi)存、I5處理器的筆記本電腦。

分別采用標(biāo)準(zhǔn)粒子濾波算法、改進(jìn)粒子濾波算法、及融合雷達(dá)運(yùn)動(dòng)信息的粒子濾波方法進(jìn)行道路車輛多目標(biāo)跟蹤實(shí)驗(yàn)，在典型工況下采集的視頻數(shù)據(jù)與毫米波雷達(dá)數(shù)據(jù)中選取25段數(shù)據(jù)，每段長度約為20幀?；跇?biāo)準(zhǔn)粒子濾波算法和改進(jìn)粒子濾波算法的部分車輛跟蹤結(jié)果圖5和圖6所示，在改進(jìn)粒子濾波基礎(chǔ)上引入毫米波雷達(dá)信息的跟蹤修正實(shí)驗(yàn)結(jié)果如圖7所示。

圖5 基于標(biāo)準(zhǔn)粒子濾波算法的車輛跟蹤Fig. 5 Vehicle tracking based on standard particle filter algorithm

圖6 基于改進(jìn)粒子濾波算法的車輛跟蹤Fig. 6 Vehicle tracking based on improved particle filter algorithm

圖7 融合雷達(dá)信息的跟蹤修正實(shí)驗(yàn)Fig. 7 Tracking bounding box correction fusing radar data

從圖5(b)、圖6(b)和圖7(b)中可以看出，連續(xù)跟蹤10幀后，標(biāo)準(zhǔn)粒子濾波算法的跟蹤框與真實(shí)值存在一定偏差，而改進(jìn)粒子濾波算法與融合雷達(dá)信息的跟蹤框仍能準(zhǔn)確表征車輛尾部。由圖5(c)與圖6(c)可見，由于連續(xù)跟蹤產(chǎn)生的累積誤差，視覺跟蹤邊界框的位置與尺寸均已經(jīng)與真實(shí)目標(biāo)偏差較大。相比之下，融合雷達(dá)信息的跟蹤框修正后尺寸更符合目標(biāo)實(shí)際尺寸，如圖7(c)所示，所提出的融合算法能夠有效避免僅采用視覺跟蹤時(shí)窗口尺寸的累積誤差導(dǎo)致目標(biāo)丟失。

對(duì)應(yīng)時(shí)刻的毫米波雷達(dá)測距信息曲線如圖8所示。

圖8 雷達(dá)測量目標(biāo)縱向距離Fig. 8 Longitudinal distance of vehicle targets by radar measurements

在25段數(shù)據(jù)測試后，3種算法的平均準(zhǔn)確率與平均精度隨幀數(shù)的關(guān)系如圖9(a)與圖9(b)所示，統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果數(shù)據(jù)如表1所示。其中平均準(zhǔn)確率(MOTA, multi-object tracking accuracy)表示跟蹤算法濾除目標(biāo)誤報(bào)與漏報(bào)的能力，平均精度(MOTP, multi-object tracking precision)表示跟蹤框與真實(shí)目標(biāo)邊界框的重疊度[29]。

圖9 3種跟蹤算法平均準(zhǔn)確率與平均精度的視頻序列變化曲線Fig. 9 MOTA and MOTP performance of 3 tracking algorithms in video sequences

表1 3種跟蹤算法性能比較

分析實(shí)驗(yàn)結(jié)果可以看出，相比于標(biāo)準(zhǔn)粒子濾波算法，改進(jìn)粒子濾波算法在跟蹤平均準(zhǔn)確率與跟蹤精度上有顯著提升，分別提高22.1%與21.1%。但是跟蹤一段時(shí)間后精度會(huì)降低，跟蹤框尺寸累積誤差導(dǎo)致難以有效表征跟蹤目標(biāo)。而引入毫米波雷達(dá)深度信息后，跟蹤平均精度獲得進(jìn)一步提升，達(dá)到87.8%，表明修正后的視覺跟蹤框位置與尺寸更加接近車輛目標(biāo)尾部在圖像中呈現(xiàn)的真實(shí)值。雖然兩種改進(jìn)算法在耗時(shí)上有小幅增加，但是能夠基本滿足傳感器時(shí)間對(duì)準(zhǔn)后每秒10幀的實(shí)時(shí)性需求。

6 結(jié) 論

為提高智能汽車對(duì)道路車輛多目標(biāo)跟蹤精度，基于視覺與毫米波雷達(dá)信息融合，提出一種引入深度信息的改進(jìn)粒子濾波車輛跟蹤與尺寸修正方法。主要結(jié)論如下：

1)提出一種基于遺傳算法改進(jìn)重采樣的粒子濾波算法。根據(jù)粒子退化程度計(jì)算動(dòng)態(tài)自適應(yīng)交叉概率，利用高斯替代平均分布以逼近真實(shí)運(yùn)動(dòng)規(guī)律。實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法顯著提升了車輛多目標(biāo)跟蹤的平均準(zhǔn)確率與精度，并保證了實(shí)時(shí)性。

2)引入毫米波雷達(dá)深度信息對(duì)跟蹤邊界框尺寸修正。利用雷達(dá)目標(biāo)透視投影點(diǎn)與視覺跟蹤框的位置關(guān)系實(shí)現(xiàn)關(guān)聯(lián)匹配，通過圖像尺寸與縱向距離的反比例關(guān)系完成關(guān)聯(lián)目標(biāo)的跟蹤邊界框坐標(biāo)與尺寸修正。實(shí)驗(yàn)結(jié)果表明，此方法進(jìn)一步提高了平均跟蹤精度，避免車輛連續(xù)跟蹤時(shí)的由于窗口尺寸累積誤差導(dǎo)致目標(biāo)丟失。