孫永安

（山西交通控股集團(tuán) 運(yùn)城北高速公路管理有限公司，山西 運(yùn)城 044000）

1 研究背景

山西省通車運(yùn)營高速公路隧道共計(jì)684座，累計(jì)長(zhǎng)度達(dá)到945.222 km，隧道數(shù)量多距離長(zhǎng)，并且隧道是交通事故的高發(fā)路段，對(duì)公路隧道的日常維護(hù)、事故處置和安全管理帶來巨大的挑戰(zhàn)。在傳統(tǒng)的隧道監(jiān)控視頻模式下，隧道監(jiān)控人員需要人工監(jiān)控大量的視頻畫面，并要及時(shí)通過視頻監(jiān)控發(fā)現(xiàn)事故事件信息，這要求隧道監(jiān)控人員具有高度集中的注意力，但實(shí)際監(jiān)控效果不夠理想。

經(jīng)過多年的技術(shù)投入和發(fā)展，基于對(duì)車輛運(yùn)動(dòng)目標(biāo)檢測(cè)的隧道事故事件監(jiān)測(cè)系統(tǒng)已經(jīng)在隧道現(xiàn)場(chǎng)投入應(yīng)用較長(zhǎng)時(shí)間，但是由于傳統(tǒng)圖像處理算法在技術(shù)性能上的局限性，造成系統(tǒng)識(shí)別精度差、誤報(bào)高和漏報(bào)頻繁，需要很多人工對(duì)事件加以確認(rèn)，浪費(fèi)大量的人力和物力。因此，有必要研究應(yīng)用新一代的隧道車輛目標(biāo)檢測(cè)技術(shù)，以實(shí)現(xiàn)對(duì)車輛目標(biāo)的準(zhǔn)確高效識(shí)別和異常狀態(tài)自動(dòng)報(bào)警功能[1]。

隧道車輛目標(biāo)檢測(cè)技術(shù)的檢測(cè)結(jié)果將直接影響隧道監(jiān)控人員應(yīng)對(duì)事件的指揮和決策。本文根據(jù)當(dāng)前公路隧道車輛目標(biāo)識(shí)別的要求，在準(zhǔn)確感知的基礎(chǔ)上，運(yùn)用毫米波雷達(dá)全天候、抗遮擋的感知技術(shù)特點(diǎn)，進(jìn)一步解決視頻監(jiān)控技術(shù)易受背景多變、光照環(huán)境、遮擋等影響的問題，實(shí)現(xiàn)隧道內(nèi)車輛目標(biāo)狀態(tài)的準(zhǔn)確采集，并進(jìn)行適度的調(diào)整、預(yù)警和引導(dǎo)，從而提高高速公路運(yùn)營的安全水平和道路通行能力。

2 研究現(xiàn)狀

2.1 基于機(jī)器視覺的隧道車輛目標(biāo)檢測(cè)

機(jī)器視覺技術(shù)已廣泛應(yīng)用于人臉識(shí)別、交通監(jiān)控、城市安防等各個(gè)領(lǐng)域。在智能交通技術(shù)的研究中，基于機(jī)器視覺的目標(biāo)檢測(cè)方法可實(shí)現(xiàn)對(duì)交通標(biāo)志檢測(cè)、車道線檢測(cè)、車輛和行人檢測(cè)等多個(gè)應(yīng)用場(chǎng)景[2]?；跈C(jī)器視覺的隧道車輛目標(biāo)檢測(cè)方法大致可分為3類：基于車輛特征的目標(biāo)檢測(cè)方法、以機(jī)器學(xué)習(xí)方法為基礎(chǔ)的目標(biāo)檢測(cè)方法和以深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的目標(biāo)檢測(cè)方法。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法通過從訓(xùn)練樣本圖像中來提取車輛特征，在訓(xùn)練中容易出現(xiàn)過擬合，且算法模型復(fù)雜，對(duì)模型訓(xùn)練有較高的要求。但圖形處理器硬件技術(shù)的快速發(fā)展在一定程度上彌補(bǔ)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不足，使基于深度學(xué)習(xí)的隧道車輛目標(biāo)檢測(cè)方法取得較好的應(yīng)用前景。圖1展示了基于視覺的隧道車輛目標(biāo)檢測(cè)技術(shù)。

圖1 基于視覺的隧道車輛檢測(cè)技術(shù)

2.2 基于交通雷達(dá)的隧道車輛目標(biāo)檢測(cè)

交通雷達(dá)通過微帶陣列天線向外發(fā)射雷達(dá)波，接收目標(biāo)反射信號(hào)，處理后獲取交通目標(biāo)的相對(duì)距離、相對(duì)速度、方位角度等。毫米波雷達(dá)是定義在毫米波頻段（波長(zhǎng)1～10 nm）內(nèi)工作的雷達(dá)，受環(huán)境影響較小[3]。目前在毫米波雷達(dá)領(lǐng)域占據(jù)較大份額的四家主要制造商有博世（Bosch）、大陸（Continental）、德爾福（Delphi）和美安（Autoliv），其產(chǎn)品在車輛安全領(lǐng)域被廣泛使用。圖2顯示基于毫米波雷達(dá)的車輛目標(biāo)檢測(cè)情況。

圖2 基于毫米波雷達(dá)的車輛目標(biāo)檢測(cè)技術(shù)

毫米波雷達(dá)通常只能夠獲取二維數(shù)據(jù)，而目前的研究人員已開展激光雷達(dá)的研究工作來獲取交通空間三維數(shù)據(jù)，并且已經(jīng)對(duì)相應(yīng)的車輛目標(biāo)檢測(cè)進(jìn)行了大量研究。隨著技術(shù)的成熟和成本進(jìn)一步下降，將在隧道車輛目標(biāo)檢測(cè)應(yīng)用場(chǎng)景迎來更廣泛的應(yīng)用[4]。

2.3 基于毫米波雷達(dá)和機(jī)器視覺融合的隧道車輛目標(biāo)檢測(cè)

由于傳感器工作原理的不同，單個(gè)傳感器通常只能獲得被檢測(cè)目標(biāo)的部分特征，難以在復(fù)雜隧道環(huán)境下滿足對(duì)車輛目標(biāo)檢測(cè)的復(fù)合要求。為更準(zhǔn)確地描述所檢測(cè)交通目標(biāo)的特征，通過對(duì)多傳感器信息進(jìn)行融合從而獲得更全面的目標(biāo)信息，實(shí)現(xiàn)對(duì)車輛目標(biāo)檢測(cè)的全天候和高可靠性。圖3顯示基于毫米波雷達(dá)和機(jī)器視覺融合的車輛目標(biāo)檢測(cè)情況。

圖3 基于毫米波雷達(dá)和機(jī)器視覺融合的車輛目標(biāo)檢測(cè)

考慮到隧道內(nèi)的實(shí)際工作環(huán)境和檢測(cè)要求，且激光雷達(dá)目前的成本較高。隧道車輛目標(biāo)檢測(cè)技術(shù)可充分結(jié)合機(jī)器視覺和毫米波雷達(dá)的技術(shù)特點(diǎn)，采用多傳感器信息融合的方法來開展目標(biāo)檢測(cè)技術(shù)研究。經(jīng)過多項(xiàng)研究表明，該方法在實(shí)時(shí)性和準(zhǔn)確性方面具有明顯的優(yōu)勢(shì)。

3 技術(shù)路線

在車輛檢測(cè)中，將毫米波雷達(dá)和機(jī)器視覺的檢測(cè)結(jié)果進(jìn)行融合可以有效提高最終檢測(cè)效果。本文技術(shù)路線主要介紹機(jī)器視覺和毫米波雷達(dá)信息融合的方法，通過對(duì)采集數(shù)據(jù)進(jìn)行空間、時(shí)間和事件信息的融合，實(shí)現(xiàn)對(duì)各傳感器多層次、多空間的信息互補(bǔ)和優(yōu)化組合處理[5]。

3.1 傳感器空間融合

由于視覺傳感器和毫米波雷達(dá)的安裝位置不同，需要將不同傳感器坐標(biāo)系的測(cè)量值轉(zhuǎn)換到同一個(gè)坐標(biāo)系中。實(shí)現(xiàn)多傳感器數(shù)據(jù)空間融合的關(guān)鍵是建立三維世界坐標(biāo)系、毫米波雷達(dá)坐標(biāo)系、攝像機(jī)坐標(biāo)系、圖像顯示坐標(biāo)系和傳感器像素坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系。視覺傳感器和毫米波雷達(dá)的空間融合就是將不同傳感器坐標(biāo)系的采集數(shù)據(jù)轉(zhuǎn)換到同一個(gè)坐標(biāo)系中。在實(shí)際融合中，可通過將毫米波雷達(dá)坐標(biāo)系下的采集目標(biāo)坐標(biāo)通過坐標(biāo)系轉(zhuǎn)換到攝像機(jī)對(duì)應(yīng)的像素坐標(biāo)系下實(shí)現(xiàn)多傳感器的空間同步。圖4顯示了各坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。

圖4 各坐標(biāo)系之間的轉(zhuǎn)換關(guān)系

3.2 傳感器時(shí)間融合

在進(jìn)行多源傳感器融合時(shí)，還需要保證每個(gè)傳感器輸出的數(shù)據(jù)是在同一時(shí)刻獲得的，即需要保障采集數(shù)據(jù)的同步性，從而保障信息融合結(jié)果的準(zhǔn)確性。由于不同類型傳感器的采樣頻率存在差異，對(duì)采集數(shù)據(jù)進(jìn)行后處理的時(shí)間也不相同，通過對(duì)毫米波雷達(dá)傳感器和視覺傳感器采集數(shù)據(jù)在同步性上進(jìn)行統(tǒng)一，以保證多傳感器之間檢測(cè)數(shù)據(jù)在融合處理時(shí)的時(shí)間同步性。

為了方便后續(xù)進(jìn)行數(shù)據(jù)的時(shí)間同步，文中使用的視覺傳感器的圖像采集頻率設(shè)置為40 Hz，毫米波雷達(dá)的采集頻率設(shè)置為20 Hz。由于視覺傳感器采集圖像的采樣頻率較高，將以毫米波雷達(dá)的采集頻率設(shè)置為基準(zhǔn)，對(duì)視覺傳感器采集的圖像進(jìn)行抽幀，將對(duì)應(yīng)時(shí)刻的視覺傳感器數(shù)據(jù)與雷達(dá)傳感器數(shù)據(jù)進(jìn)行融合處理。多傳感器時(shí)間同步采集時(shí)刻如圖5所示。

圖5 多傳感器時(shí)間同步采集時(shí)刻

3.3 車輛目標(biāo)信息融合

通過將不同傳感器坐標(biāo)系的測(cè)量值轉(zhuǎn)換到同一個(gè)坐標(biāo)系中，可將毫米波雷達(dá)傳感器檢測(cè)到的車輛交通目標(biāo)在圖像坐標(biāo)系上進(jìn)行投影轉(zhuǎn)換，在視覺傳感器檢測(cè)的相應(yīng)區(qū)域進(jìn)行投影?？紤]到車輛目標(biāo)在世界坐標(biāo)系中的空間尺寸，將毫米波雷達(dá)檢測(cè)到的交通目標(biāo)位置為中心，將矩形框基于距離和空間透視變換原理投影到視覺圖像上。采用視覺目標(biāo)檢測(cè)算法對(duì)感興趣區(qū)域進(jìn)行檢測(cè)，檢測(cè)到有效交通目標(biāo)和矩形檢測(cè)框。取所有矩形包圍框的最外圍輪廓邊線，并進(jìn)一步放大10%后將形成新的最大矩形[5]。

如圖6所示，圖中白色矩形為對(duì)應(yīng)的視覺目標(biāo)檢測(cè)框。圖中白色矩形為毫米波雷達(dá)轉(zhuǎn)換到圖像顯示坐標(biāo)系的目標(biāo)檢測(cè)框。白色虛線矩形區(qū)域?yàn)閭鞲衅魅诤虾蟮哪繕?biāo)檢測(cè)框。

圖6 基于視覺和毫米波雷達(dá)傳感器的車輛目標(biāo)信息融合示意圖

4 系統(tǒng)組成與應(yīng)用

4.1 系統(tǒng)結(jié)構(gòu)與功能

融合毫米波雷達(dá)與機(jī)器視覺技術(shù)的隧道車輛目標(biāo)檢測(cè)系統(tǒng)的構(gòu)成主要包括4部分：融合毫米波雷達(dá)和視覺傳感的前端傳感器、通信數(shù)據(jù)傳輸系統(tǒng)、運(yùn)行服務(wù)器和事件檢測(cè)功能平臺(tái)。在隧道內(nèi)安裝融合毫米波雷達(dá)和視覺傳感的前端傳感器，按照隧道內(nèi)原有監(jiān)控?cái)z像機(jī)的安裝位置，間隔150 m進(jìn)行安裝。前端采集單元的數(shù)據(jù)信號(hào)利用遠(yuǎn)程光端機(jī)通過光纖傳輸至就近的網(wǎng)絡(luò)交換機(jī)。系統(tǒng)架構(gòu)如圖7所示。

圖7 融合視覺和毫米波雷達(dá)信息的隧道車輛目標(biāo)檢測(cè)系統(tǒng)結(jié)構(gòu)

系統(tǒng)通過采集前端采集單元的視頻通道數(shù)據(jù)，以組播碼流傳輸方式將實(shí)時(shí)圖像傳送給檢測(cè)主機(jī)；檢測(cè)主機(jī)對(duì)數(shù)字化圖像進(jìn)行預(yù)處理和特征提??；通過與毫米波雷達(dá)傳感器的采集事件進(jìn)行融合，結(jié)合目標(biāo)檢測(cè)算法進(jìn)行事件檢測(cè)，再通過服務(wù)器數(shù)據(jù)庫來保存交通流數(shù)據(jù)和異常事件結(jié)果；可以在客戶端功能界面對(duì)需要查詢的交通流數(shù)據(jù)、交通事件信息進(jìn)行查看和導(dǎo)出[6]。

4.2 隧道車輛目標(biāo)檢測(cè)與預(yù)警算法

系統(tǒng)能根據(jù)基于信息融合的車輛目標(biāo)檢測(cè)器識(shí)別車輛狀態(tài)，自動(dòng)檢測(cè)各類異常事件類型，包括：隧道車輛停駛、車輛逆行、交通事故等。系統(tǒng)可在檢測(cè)到異常事件后，通過數(shù)據(jù)后臺(tái)向隧道監(jiān)控人員發(fā)布預(yù)警信息。為便于監(jiān)控人員查看，可自動(dòng)將事件所在位置附近的攝像機(jī)圖像投射到監(jiān)視墻上顯示。

為便于管理人員調(diào)查事件和交通事故，系統(tǒng)可設(shè)置保存時(shí)段自動(dòng)對(duì)事件前后的視頻數(shù)據(jù)進(jìn)行儲(chǔ)存。系統(tǒng)根據(jù)部署的隧道情況，可進(jìn)行個(gè)性化的功能配置，對(duì)于部署的前端采集單元，可對(duì)檢測(cè)閾值、檢測(cè)事件類型、檢測(cè)區(qū)域等參數(shù)進(jìn)行設(shè)置，以便更準(zhǔn)確高效地完成對(duì)事件的采集。

4.3 系統(tǒng)的統(tǒng)計(jì)與查詢功能

通過前端采集單元，系統(tǒng)平臺(tái)可利用后臺(tái)服務(wù)器數(shù)據(jù)庫對(duì)交通事件信息進(jìn)行存儲(chǔ)。系統(tǒng)管理人員可通過數(shù)據(jù)管理平臺(tái)對(duì)事件進(jìn)行自定義查詢，了解經(jīng)常發(fā)生的事故類型和時(shí)間規(guī)律。數(shù)據(jù)管理平臺(tái)可利用數(shù)據(jù)庫管理功能，靈活地定義各類型統(tǒng)計(jì)報(bào)表和交通日志，并按照日常管理需要，導(dǎo)出相關(guān)的報(bào)表和報(bào)告。

5 結(jié)語

本文研究了融合毫米波雷達(dá)與機(jī)器視覺的新一代隧道車輛目標(biāo)檢測(cè)技術(shù)，通過系統(tǒng)的信息交互和處理，實(shí)現(xiàn)對(duì)多源傳感單元數(shù)據(jù)的動(dòng)態(tài)融合感知、對(duì)車輛交通事件的智能管控和智能預(yù)警信息發(fā)布。通過在隧道內(nèi)部署融合毫米波雷達(dá)與機(jī)器視覺的傳感器，將車輛目標(biāo)檢測(cè)信息傳輸給運(yùn)算服務(wù)器進(jìn)行融合分析，檢測(cè)隧道內(nèi)風(fēng)險(xiǎn)事件，為隧道監(jiān)控人員進(jìn)行事件綜合判斷提供依據(jù)，在保障隧道交通安全運(yùn)營方面發(fā)揮重要作用。