基于雙視角學(xué)習(xí)原理的交通視頻車輛事件魯棒檢測(cè)*

辛樂1▲崔海龍2傅宇浩2許永存2于泉1陳陽(yáng)舟1

(1.北京工業(yè)大學(xué)城市交通學(xué)院北京100124；2.中咨泰克交通工程集團(tuán)有限公司北京100083)

摘要提出了1種基于雙視角學(xué)習(xí)原理的高速公路交通視頻車輛事件魯棒檢測(cè)算法。針對(duì)道路交通結(jié)構(gòu)化特點(diǎn)提出了分車道外極面圖(Epipolar Plane Image，簡(jiǎn)稱EPI)，以此反映交通斷面車流整體特征?；陔p視角學(xué)習(xí)原理，融合現(xiàn)有廣泛應(yīng)用的反映車輛獨(dú)立行為的行駛軌跡特征，實(shí)現(xiàn)高速公路車輛事件魯棒檢測(cè)。針對(duì)多種典型車輛事件(包括交通擁堵，車輛逆行，車輛違規(guī)停車，交通事故等)，本文算法總體檢測(cè)率為94.09%，誤檢率為4.51%，漏檢率為1.40%，其性能與傳統(tǒng)單視角方法比較有較大的提高。

關(guān)鍵詞交通工程；車輛事件檢測(cè)；交通視頻；雙視角學(xué)習(xí)；車輛軌跡分析；外極面圖

中圖分類號(hào)：U491.31；TP391.41文獻(xiàn)標(biāo)志碼：A

收稿日期：2014-12-18修回日期：2015-05-04

基金項(xiàng)目*教育部高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研(批準(zhǔn)號(hào)：20111103120015)資助

A Robust Video Detection Method for Traffic Incidents based

on the Perception Theory of Dual Perspectives

XIN Le1CUI Hailong2FU Yuhao2XU Yongcun2YU Quan1CHEN Yangzhou1

(1.SchoolofMetropolitanTransportation,BeijingUniversityofTechnology,Beijing100124,China;

2.TECHTrafficEngineeringCo.Ltd.,Beijing100083,China)

Abstract:A new highway incident detection algorithm is proposed based on a perception theory of dual perspectives. The epipolar plane image (EPI) features with each separate traffic lane were developed, which described the overall characteristics of traffic in each pre-defined lane. When fused with the separated behavior of each vehicle trajectories, the higher performance as well as lower complexity with algorithm is achieved based on the integrated dual perspective perceiving framework. Extensive experimental results with variety of typical traffic incidents (such as traffic congestion, retrograde driving vehicles, vehicle parking violations, and traffic collisions) showed that this new highway incident detection algorithm has the detection rate 94.09%, the false detection rate 4.51%, and the false negative rate1.40%.

Key words:traffic engineering; vehicle incident detection; traffic video; dual perspective perceiving; vehicle trajectory analysis; Epipolar Plane Images

▲第一作者(通信作者)簡(jiǎn)介：辛樂(1978-)，博士、講師.研究方向：交通視頻處理.E-xinle@bjut.edu.cn

0引言

交通事件(特別是交通擁堵、車輛逆行、車輛違規(guī)停車、交通事故等車輛事件)自動(dòng)檢測(cè)是高速公路視頻監(jiān)控系統(tǒng)的1個(gè)重要組成部分[1-2]。車輛事件視頻自動(dòng)檢測(cè)技術(shù)(automatic incident detection, AID)具有成本低，安裝與維護(hù)方便，不會(huì)影響道路壽命和交通正常通行等優(yōu)點(diǎn)，得以在實(shí)際中廣泛應(yīng)用[3]。高速公路車輛事件多發(fā)生在復(fù)雜天氣情況下，交通視頻質(zhì)量嚴(yán)重下降，影響交通視頻處理應(yīng)用。目前，需要研究新技術(shù)進(jìn)一步提高總體水平[4-5]。

同計(jì)算機(jī)視覺、模式識(shí)別和信息檢索等領(lǐng)域一樣，各種車輛事件都屬于高層語(yǔ)義內(nèi)容，不可避免地存在語(yǔ)義鴻溝問題，不能由底層簡(jiǎn)單特征充分準(zhǔn)確地表達(dá)?，F(xiàn)有大量圖像分類及醫(yī)學(xué)圖像檢測(cè)證明，由于單一特征的特異性以及分類器本身的樣本依賴性等限制，基于多視角學(xué)習(xí)原理將多特征及其決策結(jié)果結(jié)合在一起，往往可以得到比單視角更好的性能[6-8]。

目前常用車輛事件檢測(cè)技術(shù)主要采用單視角的思路，提取車輛軌跡分析并識(shí)別交通事件。針對(duì)各種室外復(fù)雜環(huán)境，無論車輛[9]或車燈[10]檢測(cè)與跟蹤，車輛軌跡提取算法的魯棒性有待進(jìn)一步提高。針對(duì)車輛事件檢測(cè)的高層語(yǔ)義理解本質(zhì)，需要融合車輛事件多視角特征完成底層特征到高層語(yǔ)義之間全方面聯(lián)系，有效提高車輛事件檢測(cè)算法的性能。

本文針對(duì)道路結(jié)構(gòu)化的特點(diǎn)提出分車道時(shí)空外極面圖[11]反映交通斷面車流整體特征，并在雙視角學(xué)習(xí)框架下融合現(xiàn)有廣泛應(yīng)用的反映車輛獨(dú)立行為的車輛行駛軌跡特征，實(shí)現(xiàn)高速公路車輛事件魯棒檢測(cè)。車輛事件的發(fā)生，既是車輛各自獨(dú)立行為的結(jié)果，也是交通斷面車流整體特征的反映?；谲囕v各自運(yùn)動(dòng)特征的AID方法可以分析車輛事件，提供最直接的行為信息。基于車流整體特征的AID方法可以獲得道路的整體車流特征參數(shù)，評(píng)估交通斷面事件影響。1種理想的辦法是將兩者結(jié)合起來，基于雙視覺學(xué)習(xí)原理實(shí)現(xiàn)更高性能的車輛事件檢測(cè)。以4種車輛事件(交通擁堵、車輛逆行、車輛違規(guī)停車、交通事故)為例進(jìn)行實(shí)驗(yàn)分析，本文算法復(fù)雜性低，實(shí)時(shí)性好， 針對(duì)多種車輛交通事件都有較高的性能表現(xiàn)。

1基于外極面圖的車流整體態(tài)勢(shì)分析

1.1車道線自動(dòng)檢測(cè)及跟蹤線設(shè)置

結(jié)構(gòu)化道路場(chǎng)景中車道線的信息完全表現(xiàn)了車輛的正常行駛狀態(tài)。本文基于Hough變換技術(shù)完成車道線的自動(dòng)提取(見圖1)。根據(jù)車道檢測(cè)線，分別為各車道設(shè)置貫通攝像機(jī)視野范圍的跟蹤線。分車道車輛跟蹤線可選定為車道線，也可選定為車道中心線。只要保證車輛行駛?cè)我鈺r(shí)刻，都必須通過某條跟蹤線(見圖2(a))，表示3車道所設(shè)定的總共7條跟蹤線。

圖1　基于Hough變換的車道線自動(dòng)檢測(cè) Fig.1　Automatic traffic line detection based on Hough transform

1.2分車道外極面圖生成及線段特征檢測(cè)

分別將每條跟蹤線上的像素沿時(shí)間軸累積，從而生成外極面圖，由圖2所示。其中：圖2(a)是對(duì)應(yīng)于由左向右數(shù)第4條跟蹤線的外極面圖。橫坐標(biāo)表示跟蹤線像素空間，縱坐標(biāo)表示時(shí)間信息。3條豎線表示不同時(shí)刻圖像幀沿該跟蹤線的像素排列。圖2(b) 交通視頻序列對(duì)應(yīng)EPI3條豎線的圖像幀。

圖2　基于跟蹤線的分車道外極面圖生成 Fig.2　Epipolar plane image generation based on the track lines in each traffic lane

交通斷面車輛整體態(tài)勢(shì)的分析就轉(zhuǎn)化為EPI圖像上線段特征的提取及其斜率分析。圖3表示了外極面圖透視投影修正，以及線段特征檢測(cè)結(jié)果。其中：圖3(a)是外極面圖原始圖像，可以看到車輛遠(yuǎn)小近大的透視投影效應(yīng)。圖3(b)表示外極面圖透視投影修正結(jié)果，保證同輛車長(zhǎng)度始終保持一致。圖3(c)是線段特征檢測(cè)結(jié)果(由白線表示)。計(jì)算外極面圖所檢測(cè)線段的斜率，獲得車輛行駛速度，并求得車輛行駛方向以及車輛行駛加速度等特征。

圖3　外極面圖透視投影修正及線段特征檢測(cè) Fig.3　The perspective projection correction and the line detection in the epipolar plane images

1.3基于分車道外極面圖的車流整體特征提取

基于外極面圖的車輛事件檢測(cè)主要?dú)w結(jié)為車流整體特征的計(jì)算：①平均空間速度。此特征可以檢測(cè)交通擁堵、交通事故等事件。②車輛行駛方向。車輛行進(jìn)的兩種方向，無論由近及遠(yuǎn)或者相反，由外極面圖上線段斜率相反方向來表示，可檢測(cè)車輛逆行和車輛停駛等事件。③空間速度變化幅度。反映該交通事件短時(shí)間內(nèi)變化的劇烈程度，可用于區(qū)分交通擁堵、交通事故等事件。

2運(yùn)動(dòng)目標(biāo)時(shí)空軌跡模式學(xué)習(xí)

車輛檢測(cè)及跟蹤的目的是從連續(xù)的交通視頻圖像中提取運(yùn)動(dòng)車輛目標(biāo)并進(jìn)行連續(xù)的識(shí)別跟蹤，以此獲取每輛車的行駛軌跡等信息，為后續(xù)事件檢測(cè)提供支持[9-10]。筆者采用了背景差分法進(jìn)行車輛檢測(cè)，包括背景獲取與更新，通過對(duì)檢測(cè)區(qū)當(dāng)前幀和背景圖像進(jìn)行差分處理，進(jìn)一步提取車輛運(yùn)動(dòng)前景信息[13]。車輛檢測(cè)涉及聯(lián)通區(qū)域標(biāo)記、矩形提取、車輛合并及目標(biāo)檢測(cè)等。

車輛跟蹤采用傳統(tǒng)的基于矩形區(qū)域目標(biāo)中心的跟蹤方法，具體使用偏心矩向量進(jìn)行目標(biāo)特征表達(dá)[14]。該特征在矩形區(qū)域目標(biāo)的運(yùn)動(dòng)過程中具有較好的穩(wěn)定性，不受區(qū)域目標(biāo)的位置、大小和角度改變的影響。而且該特征具有較好的抗噪性，能夠克服環(huán)境變化等因素造成的影響。

基于車輛行駛軌跡的車輛事件檢測(cè)主要?dú)w結(jié)為車輛個(gè)體行為特征的分析：①車輛速度變化。在該區(qū)域上可能有交通事件發(fā)生。②車輛停駛。由于車輛相撞、車輛拋錨、車輛故障或其他難以預(yù)計(jì)的原因引發(fā)的。③車輛轉(zhuǎn)換車道和方向。

3基于雙視角學(xué)習(xí)的車輛事件檢測(cè)系統(tǒng)框架

圖4表示本文基于多視角學(xué)習(xí)的車輛事件視頻檢測(cè)系統(tǒng)整體框架。針對(duì)交通監(jiān)控視頻輸入，視角一完成運(yùn)動(dòng)車輛的自動(dòng)檢測(cè)和跟蹤，生成車輛運(yùn)動(dòng)真實(shí)軌跡并提取車輛個(gè)體行為特征，并學(xué)習(xí)運(yùn)動(dòng)目標(biāo)時(shí)空軌跡模式[9-10]；視角2自動(dòng)檢測(cè)高速公路交通場(chǎng)景的車道線，以此生成分車道的時(shí)空外極面圖并實(shí)現(xiàn)線段的檢測(cè)[11]，最終實(shí)現(xiàn)空間車輛速度、加速度及車輛速度斜率方向等反映路段車輛運(yùn)動(dòng)態(tài)勢(shì)分析的車流整體特征的提取。各視角分別檢測(cè)交通擁堵、車輛逆行、違法停車及交通事故等4類交通事件，并針對(duì)各視角所建立的交通事件初步檢測(cè)結(jié)論，通過關(guān)聯(lián)處理進(jìn)行決策層融合判決，最終獲得聯(lián)合推斷結(jié)果。

3.1決策層融合

基于雙視角學(xué)習(xí)的車輛事件決策層融合主要分為車輛事件融合評(píng)判和圖像融合定位。本文選用“或”準(zhǔn)則完成對(duì)于雙視角各自識(shí)別檢測(cè)結(jié)果的決策層融合評(píng)判。只要任意1個(gè)子系統(tǒng)通過了檢測(cè)，“或”準(zhǔn)則將允許車輛事件被接納為真正的檢測(cè)結(jié)果。該規(guī)則會(huì)產(chǎn)生1個(gè)較低的錯(cuò)誤拒絕率和較高的錯(cuò)誤接受率。

圖 4　系統(tǒng)框圖 Fig.4　System framework

4實(shí)驗(yàn)結(jié)果分析

4.1實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)具體分為2部分。第一部分包括了國(guó)內(nèi)多個(gè)高速監(jiān)控調(diào)度指揮中心記錄的交通事故及交通事件的真實(shí)視頻，總共包括79起交通事件。第二部分是通過公路監(jiān)控視頻等簡(jiǎn)單關(guān)鍵詞所檢索的網(wǎng)絡(luò)開放資源，并考慮視頻數(shù)據(jù)的長(zhǎng)度，以及視頻拍攝條件等因素進(jìn)行取舍，共有379段視頻，大部分時(shí)長(zhǎng)約2min。最終總計(jì)458 條車輛事件視頻文件，共計(jì)1470min。

圖5～圖8依次表示了基于雙視角學(xué)習(xí)的4種車輛事件的檢測(cè)過程。在各圖中，圖(a1)～圖(a2)是基于車輛運(yùn)動(dòng)軌跡跟蹤的事件檢測(cè)；圖(b1)～圖(b2)是基于外極面圖的事件檢測(cè)；圖(c1)～圖(c2)是基于雙視角學(xué)習(xí)的融合評(píng)判檢測(cè)結(jié)果。其中：圖(a1)是原始視頻；圖(a2)是車輛運(yùn)動(dòng)軌跡跟蹤及事件檢測(cè)結(jié)果；圖(b1)是分車道外極面圖；圖(b2)是外極面圖的線段特征及事件檢測(cè)結(jié)果；圖(c1)是原始車輛事件；圖(c2)是基于雙視角學(xué)習(xí)的車輛事件檢測(cè)結(jié)果。對(duì)于各種典型車輛事件，分別按照如下具體考慮提取雙視角特征：

4.2.1交通擁堵

車輛運(yùn)動(dòng)軌跡表示車輛位置隨時(shí)間變化的實(shí)時(shí)信息。通過計(jì)算每輛車的位移變換，得到車輛的行駛速度。當(dāng)所有車輛的行駛速度都有減小的趨勢(shì)，則認(rèn)為該路段發(fā)生了車輛擁堵(見圖5)?；谕鈽O面圖的檢測(cè)算法主要分析車道平均速度隨時(shí)間的變化趨勢(shì)。如果所有車道的平均速度低于預(yù)先設(shè)定值，就認(rèn)為發(fā)生了車輛擁堵。

圖5　基于雙視角學(xué)習(xí)的車輛擁堵檢測(cè) Fig.5　Test results of congestion detection by dual perspective perceiving

4.2.2交通事故

基于車輛運(yùn)動(dòng)軌跡的檢測(cè)算法計(jì)算車輛兩兩之間的間距變化。當(dāng)有間距小于給定的閾值時(shí)，則發(fā)生了車輛碰撞(見圖6)，而且主要體現(xiàn)為車輛軌跡的異常變化。基于外極面圖的檢測(cè)算法主要比較車道平均速度的變化。如果某車道空間平均速度變化幅度較大，就認(rèn)為發(fā)生了交通事故事件。

圖6　基于雙視角學(xué)習(xí)的交通事故檢測(cè) Fig.6　Test results of traffic accident detection by dual perspective perceiving

4.2.3車輛逆行

基于車輛運(yùn)動(dòng)軌跡的檢測(cè)算法計(jì)算車輛前后2幀之間的方向向量，得到車輛逆行行為的判斷(見圖7)?；谕鈽O面圖的檢測(cè)算法以速度方向?qū)⑺芯€段劃分為兩類。如果與正常行駛方向相反且聚集于較大的范圍，就認(rèn)為發(fā)生了車輛逆行事件。

黃昏時(shí)回到豪宅，秦川的身邊，坐著他們的私人醫(yī)生。菲兒過來。秦川表情痛苦地說，盡管我很傷心，不過我還是想請(qǐng)你面對(duì)現(xiàn)實(shí)……

圖7　基于雙視角學(xué)習(xí)的交通逆行檢測(cè) Fig.7　Test results of vehicle retrograde motion detection by dual perspective perceiving

4.2.4車輛違規(guī)停車

基于車輛軌跡跟蹤的檢測(cè)算法分析車輛軌跡位置隨時(shí)間變化的過程。當(dāng)車輛違規(guī)停車時(shí)，前后幀位移不斷減小直至最后停止不動(dòng)(見圖8)?；谕鈽O面圖的檢測(cè)算法主要分析車道平均速度，而且這些變化區(qū)域能夠聚集于較大的范圍。

圖8　基于雙視角學(xué)習(xí)的違規(guī)停車檢測(cè) Fig.8　Test results of traffic parking by dual perspective perceiving

4.3實(shí)驗(yàn)結(jié)果分析

本文具體采用檢測(cè)率、誤檢率、漏檢率及平均檢測(cè)時(shí)間等4項(xiàng)指標(biāo)對(duì)車輛事件視頻檢測(cè)算法的性能進(jìn)行評(píng)價(jià)：

(1)

其中，P、N分別為正負(fù)樣本數(shù)，TP為正樣本檢測(cè)正確的樣本數(shù)，F(xiàn)P為負(fù)樣本誤檢測(cè)為正確的樣本數(shù)，M是所檢測(cè)的交通事件的數(shù)目，ta是交通事件檢測(cè)算法檢測(cè)到事件的時(shí)間，而tinc是交通事件所發(fā)生的時(shí)間。通過人工方式已將所有視頻所屬的交通事件進(jìn)行標(biāo)定。

表1統(tǒng)計(jì)了基于雙視角算法的車輛事件檢測(cè)結(jié)果(每格前1個(gè)數(shù)字)，并與傳統(tǒng)單視角算法(車輛運(yùn)動(dòng)軌跡)進(jìn)行對(duì)比(每格后1個(gè)數(shù)字)。雙視角算法的最終檢測(cè)率為94.09%，誤檢率為4.51%，漏檢率為1.40%。而單視角算法的最終檢測(cè)率為87.33%，誤檢率為6.99%，漏檢率為5.68%。平均檢測(cè)時(shí)間沒有顯著變化。與單視角檢測(cè)算法相比較，基于雙視角融合的事件檢測(cè)算法針對(duì)多種交通事件性能普遍都有較大的提高。

表1　基于雙視角學(xué)習(xí)的車輛事件檢測(cè)結(jié)果統(tǒng)

5結(jié)束語(yǔ)

本文針對(duì)車輛事件提取多種獨(dú)立的交通視頻特征，并在雙視角學(xué)習(xí)的框架下進(jìn)行有效融合檢測(cè)具體的車輛交通事件。實(shí)驗(yàn)結(jié)果充分表明該算法復(fù)雜性低，實(shí)時(shí)性好。當(dāng)然，本文工作有待進(jìn)一步深入：①針對(duì)交通事故展開細(xì)致的研究，明確多種交通事故類型的雙視角魯棒檢測(cè)應(yīng)用；②進(jìn)一步構(gòu)建高速公路車輛事件檢測(cè)系統(tǒng)，并在長(zhǎng)期實(shí)際運(yùn)行中，檢驗(yàn)該算法的有效性。

參考文獻(xiàn)

[1]VERSAVEL J. Road safety through video detection [C]. IEEE International Conference on Intelligent Transportation Systems,Tokyo:IEEE, 1999.

[2]MICHALOPOULOS P G. Vehicle detection video through image processing: the Autoscore system [J]. IEEE Trans. on Vehicular Technology, 1991, 40(1): 21-29.

[3] 湯淑明, 王坤峰, 李元濤. 基于視頻的交通事件自動(dòng)檢測(cè)技術(shù)綜述[J]. 公路交通科技, 2006, 23(8): 116-121.

TANG Shuming, WANG Kunfeng, LI Yuantao. Survey of vision-based automatic incident detection technology [J]. Journal of Highway and Transportation Research and Development. 2006, 23(8): 116-121. (in Chinese)

[4]唐飛岳. 基于車流分析的車輛檢測(cè)器性能測(cè)試應(yīng)用研究[J]. 企業(yè)技術(shù)開發(fā), 2011, 30(9): 15-16.

TANG Feiyue. Application of vehicle detector performance testing based on traffic flow analysis [J].Technological Development of Enterprise, 2011, 30(9): 15-16. (in Chinese)

[5]李鵬飛, 陳朝武, 李曉峰. 智能視頻算法評(píng)估綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào). 2010, 22(2): 352-360.

LI Pengfei, CHEN Zhaowu, LI Xiaofeng. Review for the performance evaluation of intelligent video algorithms [J]. Journal of Computer Aided Design & Computer Graphics. 2010, 22(2): 352-360. (in Chinese)

[6]毛金蓮. 自適應(yīng)多視角學(xué)習(xí)及其在圖像分類中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用, 2013, 33(7): 1955-1959.

MAO Jinlian. Adaptive multi-view learning and its application to image classification[J]. Journal of Computer Applications, 2013, 33(7): 1955-1959. (in Chinese)

[7]張慶久. 近鄰法與多視角學(xué)習(xí)的理論與算法研究[J]. 上海：華東師范大學(xué). 2010.

ZHANG Qingjiu. Theory and agorithms for nearest neighbor method and nultiple-view learning [D]. Shanghai： East China Normal University. 2010. (in Chinese)

[8]孫利, 徐偉棟. 基于雙視角和多分類器信息融合的乳腺鉬靶圖像腫塊分類研究[J]. 中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào), 2011, 30(1): 46-54.

SUN Li, XU Weidong. Classification of Masses in Mammography Based on Information Fusion of Multi-view and Multi-classifier [J]. Chinese Journal of Biomedical Engineering, 2011, 30(1): 46-54. (in Chinese)

[9]趙有婷, 李熙瑩, 羅東華. 基于視頻車輛軌跡模型的交通事件自動(dòng)檢測(cè)方法研究[J]. 中山大學(xué)學(xué)報(bào)：自然科學(xué)版，2011, 50(4): 56-64.

ZHAO Youting, LI Xiying, LUO Donghua, Study on the methods of automatic incident detection based on the video vehicle trajectory model [J]. ACTA Scientiarum Naturalium Universitatis Sunyatseni, 2011, 50(4): 56-64. (in Chinese)

[10] 王鵬, 黃凱奇. 基于視頻的夜間高速公路車輛事件檢測(cè)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2010, 15(2): 301-306.

WANG Peng, HUANG Kaiqi. Highway vehicle incident detection at night video [J]. Journal of Image and Graphics, 2010, 15(2): 301-306. (in Chinese)

[11]朱志剛, 徐光佑, 楊波. 自動(dòng)交通監(jiān)測(cè)系統(tǒng)的二維時(shí)空?qǐng)D象方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 1996(2): 101-107.

[12]ZHU Zhigang, XU Guangyou, YANG Bo.Automatic traffic monitoring system using 2D spatio-temporal images [J]. Journal of Image and Graphics, 1996, 1(2): 101-107. (in Chinese)

[13]PICCARDI M. Background subtraction techniques: a review [C]. IEEE International Conference on Systems, Man and Cybernetics, Washington D.C.:IEEE,2004.

[14]YILMAZ A, JAVED O, SHAH M. Object tracking: a survey [J]. ACM Computing Surveys, 2006, 38(4): 1-45.