陳 強(qiáng)

(廣西交科集團(tuán)有限公司,廣西 南寧 530007)

0 引言

隨著我國(guó)機(jī)動(dòng)車保有量突破4億輛,高速公路里程數(shù)突破16×104km,高速公路的通行效率和通行安全成了智慧高速領(lǐng)域重點(diǎn)的關(guān)注對(duì)象[1]。對(duì)高速公路上的車輛進(jìn)行跟蹤不但可以為高速公路的調(diào)度提供有效的數(shù)據(jù)支撐,提高高速公路的通行效率,還可以對(duì)重點(diǎn)車輛進(jìn)行跟蹤,保障高速公路的行車安全。然而,目前的路側(cè)感知通常以單獨(dú)的視頻或者雷達(dá)為主[2-3],前者雖然可以提供車輛的有效特征和具體的可視化靜態(tài)信息,卻難以獲取精確的車輛行駛速度、位置等動(dòng)態(tài)信息,無(wú)法對(duì)車輛的進(jìn)行準(zhǔn)確的軌跡跟蹤[4];后者雖然可以得到精確的車輛行駛狀態(tài),但是稀疏的數(shù)據(jù)使得其難以標(biāo)識(shí)車輛的類型、顏色等靜態(tài)信息,且由于缺乏可視化的車輛特征,使其無(wú)法快速識(shí)別重點(diǎn)車型。因此,高速公路迫切需要一套可以兼顧車輛行駛狀態(tài)和車輛靜態(tài)特征的路側(cè)感知系統(tǒng)。

針對(duì)這一需求,本文研究設(shè)計(jì)了一種基于雷視融合的車輛跟蹤系統(tǒng)?；谏疃葘W(xué)習(xí)、數(shù)據(jù)增強(qiáng)等技術(shù),依托毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù)融合,構(gòu)建一套完整的基于雷視融合的車輛跟蹤軟硬件系統(tǒng)。系統(tǒng)可以通過(guò)融合毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù)達(dá)到對(duì)車輛的精準(zhǔn)識(shí)別與跟蹤,彌補(bǔ)了毫米波雷達(dá)或者高清相機(jī)等單一路側(cè)難以全方面感知高速公路行駛狀態(tài)的缺點(diǎn),為高速公路的高效安全通行提供有效的數(shù)據(jù)感知支撐。

1 系統(tǒng)總體架構(gòu)

基于雷視融合的車輛跟蹤系統(tǒng)指的是對(duì)毫米波雷達(dá)和高清交通攝像頭數(shù)據(jù)進(jìn)行處理及融合,綜合二者的數(shù)據(jù)特點(diǎn)進(jìn)行車輛精準(zhǔn)跟蹤。由于系統(tǒng)是對(duì)動(dòng)態(tài)多源數(shù)據(jù)進(jìn)行融合,數(shù)據(jù)大且需要較高的實(shí)時(shí)性,因此需要算法的部署設(shè)備與數(shù)據(jù)采集直接進(jìn)行鏈接以降低數(shù)據(jù)傳輸?shù)臅r(shí)延。為了降低時(shí)延,在設(shè)計(jì)中采用了邊-端的二級(jí)物聯(lián)網(wǎng)總體架構(gòu),如圖1所示。在前端,毫米波雷達(dá)和高清交通攝像頭使用剛性較大的結(jié)構(gòu)進(jìn)行連接,通過(guò)位置標(biāo)定、時(shí)間標(biāo)定同步采集數(shù)據(jù)。在邊緣端,部署毫米波雷達(dá)數(shù)據(jù)的優(yōu)化算法對(duì)雷達(dá)數(shù)據(jù)進(jìn)行濾波、平滑及修正等數(shù)據(jù)增強(qiáng),提高雷達(dá)點(diǎn)云數(shù)據(jù)的檢測(cè)精度;部署基于CNN的車輛識(shí)別算法,提取車輛的車型和顏色等靜態(tài)信息,以彌補(bǔ)毫米波雷達(dá)難以進(jìn)行車輛識(shí)別的問(wèn)題;通過(guò)位置和時(shí)間標(biāo)定參數(shù)進(jìn)行空間坐標(biāo)系和時(shí)間坐標(biāo)系數(shù)據(jù)的融合,完成車輛的精準(zhǔn)跟蹤。在完成雷視融合后,將結(jié)果以視頻的形式上傳到中心。雷視融合系統(tǒng)在全域、全天候進(jìn)行車輛跟蹤的同時(shí),可以得到車輛運(yùn)行現(xiàn)場(chǎng)的各種信息,為高速公路的應(yīng)急保障、調(diào)度指揮提供直觀可視的圖像,彌補(bǔ)單一傳感器在應(yīng)用中數(shù)據(jù)單一的問(wèn)題,具有較高的應(yīng)用價(jià)值與技術(shù)優(yōu)勢(shì)。

圖1 系統(tǒng)的總體框架設(shè)計(jì)圖

2 系統(tǒng)設(shè)計(jì)

2.1 前端數(shù)據(jù)采集系統(tǒng)

雷視融合的前端由一臺(tái)毫米波雷達(dá)和一臺(tái)高清相機(jī)組成,部署在進(jìn)行車輛跟蹤的重要交通路段,對(duì)路面數(shù)據(jù)進(jìn)行實(shí)時(shí)采集。在前端,毫米波雷達(dá)主要作用是采集高速公路中車輛的行駛速度、空間位置、運(yùn)行狀態(tài)、車流量等關(guān)鍵交通信息。然而,毫米波雷達(dá)的數(shù)據(jù)較為稀疏,缺乏可用于車輛顏色、大小、類型的識(shí)別數(shù)據(jù),難以對(duì)車輛本身進(jìn)行識(shí)別判斷。高清相機(jī)則是一種數(shù)據(jù)稠密的傳感器,可以采集路面上的全部信息,用于車輛特征的提取及提供直觀可視的現(xiàn)場(chǎng)數(shù)據(jù)。

系統(tǒng)前端采用的毫米波雷達(dá)和高清相機(jī)分別是H1200長(zhǎng)距毫米波雷達(dá)和HIC2641-FW高清相機(jī)。與目前的車輛跟蹤與檢測(cè)傳感器包括超聲波雷達(dá)、激光雷達(dá)、雙目相機(jī)等設(shè)備相比,毫米波雷達(dá)具有跟蹤目標(biāo)多、數(shù)據(jù)量小、抗干擾能力更強(qiáng)等優(yōu)點(diǎn)。(1)與超聲波雷達(dá)相比,H1200長(zhǎng)距離毫米波雷達(dá)可以同時(shí)跟蹤多達(dá)512個(gè)目標(biāo),可以保證系統(tǒng)在交通繁忙的路段進(jìn)行多車跟蹤。(2)與精密的激光雷達(dá)相比,H1200長(zhǎng)距離毫米波雷達(dá)具有更好的抗霧、煙、灰塵等干擾的能力,具有規(guī)模更小的點(diǎn)云數(shù)據(jù)和更好的可維護(hù)性能。(3)與雙目相機(jī)等光學(xué)傳感器相比,毫米波雷達(dá)具有全天候監(jiān)測(cè)的優(yōu)點(diǎn),且可以在無(wú)算法情況下實(shí)時(shí)提供包括停車、超速、逆行等交通異常事件信息。另外,與現(xiàn)有的普通毫米波雷達(dá)相比,H1200毫米波雷達(dá)具有超視距的探測(cè)距離,由于可以檢測(cè)更遠(yuǎn)的距離,可以極大地降低部署密度,且在雷視融合中可以為融合算法提供更長(zhǎng)融合時(shí)間。雖然毫米波具有以上優(yōu)點(diǎn),但其無(wú)法進(jìn)行車型、顏色的識(shí)別。因此,本系統(tǒng)選用了HIC2641-FW高清相機(jī)作為數(shù)據(jù)的補(bǔ)充,相機(jī)的最大分辨率達(dá)到2 688×1 520,可以滿足基于卷積神經(jīng)網(wǎng)絡(luò)的車輛識(shí)別等算法要求。

2.2 邊緣處理系統(tǒng)

系統(tǒng)的邊緣設(shè)備是部署雷視融合算法的重要載體,一方面接收毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù),另一方面需要部署多種算法進(jìn)行數(shù)據(jù)的處理。在系統(tǒng)設(shè)計(jì)中邊緣設(shè)備應(yīng)該綜合考慮設(shè)備的算力性能、接口、價(jià)格等特點(diǎn)。本系統(tǒng)在設(shè)計(jì)中選擇在搭載Intel I7的服務(wù)器上進(jìn)行部署運(yùn)行,所選服務(wù)器搭載了HDMI+DP雙顯示接口、4個(gè)USB3.0端口、2個(gè)USB2.0端口、1個(gè)Mini PCIe插槽、2個(gè)千兆網(wǎng)口,具有穩(wěn)定可靠、接口豐富、尺寸小巧等優(yōu)點(diǎn),符合雷視融合算法快速部署的要求。

2.3 數(shù)據(jù)流系統(tǒng)

數(shù)據(jù)流設(shè)計(jì)是保障數(shù)據(jù)能在硬件系統(tǒng)中快速處理的重要手段。通過(guò)高清相機(jī)對(duì)路面情況進(jìn)行圖像采集,并且在邊緣計(jì)算設(shè)備進(jìn)行預(yù)處理。其中,本系統(tǒng)使用的圖像預(yù)處理包括兩部分:(1)由于本系統(tǒng)設(shè)計(jì)的算法模型在部署后能處理的圖像大小是固定的,因此,第一步需要將視頻流逐幀轉(zhuǎn)換成固定尺寸;(2)為了提高數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中流水化處理速度,需要將雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行同步采樣,并將其打包成一個(gè)數(shù)據(jù)包進(jìn)行傳輸。

系統(tǒng)傳輸使用的PCIe高速接口作為邊緣設(shè)備處理器和圖形計(jì)算卡直接傳輸?shù)財(cái)?shù)據(jù)接口。PCIe是一種串行擴(kuò)展總線標(biāo)準(zhǔn),用于連接計(jì)算機(jī)到一個(gè)或多個(gè)外圍設(shè)備。根據(jù)系統(tǒng)要求,單個(gè)邊緣設(shè)備需要對(duì)接三臺(tái)高清相機(jī)和三臺(tái)毫米波雷達(dá),因此產(chǎn)生的數(shù)據(jù)量是巨大的,需要使用高速接口進(jìn)行數(shù)據(jù)傳輸。如圖1所示,為了提高傳輸效率,本文使用的PCIe傳輸都是以直接存儲(chǔ)器存取(Direct Memory Access,DMA)的方式進(jìn)行傳輸。所有數(shù)據(jù)的下載與結(jié)果的上傳都是通過(guò)PCIe進(jìn)行傳輸以降低系統(tǒng)延時(shí)。

3 雷視融合系統(tǒng)

3.1 毫米波雷達(dá)數(shù)據(jù)的優(yōu)化模塊

毫米波雷達(dá)可以獲得車輛的位置、速度等關(guān)鍵信息,且雷達(dá)數(shù)據(jù)的精確程度影響著整個(gè)系統(tǒng)的精度。然而在實(shí)際的數(shù)據(jù)采集中,雷達(dá)的數(shù)據(jù)比較容易受到干擾,產(chǎn)生錯(cuò)誤的數(shù)據(jù)。(1)由于路面、路邊設(shè)施等對(duì)微波的反射干擾,會(huì)產(chǎn)生虛假目標(biāo)或者一輛車分裂成多個(gè)目標(biāo)的情況。(2)在實(shí)際的應(yīng)用中,需要對(duì)車輛進(jìn)行一段時(shí)間的跟蹤,而雷達(dá)在對(duì)車輛進(jìn)行跟蹤的過(guò)程中,會(huì)出現(xiàn)部分幀無(wú)法探測(cè)到車輛的情況。前一種誤差會(huì)導(dǎo)致車輛在映射到視頻中時(shí)出現(xiàn)問(wèn)題,產(chǎn)生映射錯(cuò)誤;后一種誤差會(huì)導(dǎo)致在跟蹤中出現(xiàn)跟丟或者位置跳躍的情況。針對(duì)以上問(wèn)題,系統(tǒng)對(duì)毫米波雷達(dá)進(jìn)行數(shù)據(jù)優(yōu)化。使用k-mean聚類對(duì)數(shù)據(jù)進(jìn)行二次聚類,消除虛假目標(biāo)和目標(biāo)分裂的問(wèn)題。對(duì)雷達(dá)的持續(xù)數(shù)據(jù)使用時(shí)間滑窗的辦法,保證數(shù)據(jù)的連貫性。使用車輛的運(yùn)動(dòng)模型,對(duì)雷達(dá)的跟蹤軌跡使用Kalman濾波,使得跟蹤結(jié)果更為平滑。通過(guò)以上三個(gè)數(shù)據(jù)優(yōu)化算法,可以有效提高雷達(dá)數(shù)據(jù)的準(zhǔn)確性,進(jìn)一步保證系統(tǒng)的跟蹤效果。

3.2 基于卷積神經(jīng)網(wǎng)絡(luò)的車輛跟蹤與識(shí)別模塊

雖然雷達(dá)可以對(duì)車輛的軌跡進(jìn)行比較精確的跟蹤,但雷達(dá)的點(diǎn)云數(shù)據(jù)過(guò)于稀疏,且難以提供車輛的有效特征。因此,需要高清相機(jī)的視頻數(shù)據(jù)作為車輛識(shí)別的主要數(shù)據(jù)來(lái)源。本系統(tǒng)使用Yolo v5 Deepsort模型對(duì)多車輛進(jìn)行識(shí)別與跟蹤。為了提高識(shí)別精度,系統(tǒng)使用手工標(biāo)注的高速公路車輛數(shù)據(jù)對(duì)Yolo v5 Deepsort進(jìn)行進(jìn)一步訓(xùn)練。訓(xùn)練后的模型部署在邊緣設(shè)備的圖形計(jì)算卡中進(jìn)行車輛的跟蹤與識(shí)別。

3.3 雷視數(shù)據(jù)融合模塊

根據(jù)以上方法對(duì)毫米波雷達(dá)和視頻數(shù)據(jù)進(jìn)行處理后,可以得到車輛的位置、速度等信息和車輛的標(biāo)識(shí)結(jié)果,然后將雷達(dá)的位置、速度等信息通過(guò)雷視融合算法融合到視頻的車輛標(biāo)識(shí)框中。雷視融合算法模塊主要包括三個(gè)步驟:(1)通過(guò)相機(jī)的安裝位置,對(duì)車道線的距離進(jìn)行標(biāo)定和劃分,得到一個(gè)像素和距離的映射關(guān)系;(2)根據(jù)車輛的實(shí)際運(yùn)行情況,離線計(jì)算毫米波雷達(dá)和相機(jī)之間的旋轉(zhuǎn)和平移矩陣;(3)將毫米波雷達(dá)的數(shù)據(jù)通過(guò)旋轉(zhuǎn)和平移矩陣映射到視頻的像素點(diǎn)中。

4 測(cè)試結(jié)果與分析

表1展示了本文提出的雷視融合系統(tǒng)在實(shí)際運(yùn)行中各個(gè)模塊的運(yùn)行時(shí)間。表1中的統(tǒng)計(jì)方法為使用服務(wù)器自帶時(shí)間進(jìn)行10 000次運(yùn)行,取其平均時(shí)間。如表1所示,整個(gè)系統(tǒng)的運(yùn)行時(shí)間為52.8 ms,因此系統(tǒng)可以以18.9幀/s的速度實(shí)時(shí)處理高清圖像。其中最耗時(shí)的計(jì)算模塊為圖像識(shí)別,占據(jù)了整個(gè)運(yùn)行時(shí)間的52.7%,這是因?yàn)楸疚氖褂昧松疃染矸e網(wǎng)絡(luò)進(jìn)行特征提取,需要較高的算力。

表1 雷視融合算法各模塊的運(yùn)行時(shí)間表

除了運(yùn)行時(shí)間,還對(duì)系統(tǒng)進(jìn)行了實(shí)地測(cè)試,具體測(cè)試結(jié)果如表2所示。由表2可知,雷視融合的有效距離為140 m,這是由于圖像識(shí)別的有效距離僅有150 m;系統(tǒng)可以對(duì)雙向十車道進(jìn)行全監(jiān)控,可以有效滿足目前高速公路的要求;融合檢測(cè)準(zhǔn)確率為92%,準(zhǔn)確率的計(jì)算方式為:在有效范圍內(nèi),系統(tǒng)可以完整地跟蹤車輛信息則記為一次正確檢測(cè),否則記為一次錯(cuò)誤檢測(cè);速度的測(cè)量精度為96%,可以較為準(zhǔn)確地顯示車輛速度。

表2 雷視融合系統(tǒng)的測(cè)試結(jié)果表

以上所有的模塊獨(dú)立部署在邊緣設(shè)備上并且獨(dú)立運(yùn)行,模塊之間使用總線進(jìn)行數(shù)據(jù)通信。在完成以上全部模塊的計(jì)算后,系統(tǒng)將得到如圖2所示的結(jié)果傳回中心進(jìn)行雷視融合可視化輸出。

圖2 雷視融合的可視化結(jié)果輸出示例圖

5 結(jié)語(yǔ)

路側(cè)感知是保障高速公路高效、安全通行的數(shù)據(jù)保障。本文通過(guò)融合毫米波雷達(dá)和高清相機(jī)的數(shù)據(jù),設(shè)計(jì)實(shí)現(xiàn)了一套完整的車輛跟蹤系統(tǒng)。該系統(tǒng)由前端數(shù)據(jù)采集、邊緣計(jì)算系統(tǒng)和雷視融合算法三部分組成。通過(guò)使用數(shù)據(jù)增強(qiáng)、深度學(xué)習(xí)等技術(shù),得到準(zhǔn)確的車輛識(shí)別與跟蹤,有效解決了單一路側(cè)識(shí)別難以同時(shí)提供車輛的動(dòng)態(tài)和靜態(tài)特征的問(wèn)題,為保障高速公路高效、安全通行提供有效的數(shù)據(jù)支持。