任亞婧 張宏立

摘 ?要： 為了對(duì)道路車(chē)輛進(jìn)行流量的統(tǒng)計(jì)與監(jiān)控跟蹤，提出一種聯(lián)合檢測(cè)與跟蹤思想的方法。該方法利用初始分割時(shí)產(chǎn)生的目標(biāo)數(shù)量的沖突集描述分割階段產(chǎn)生的錯(cuò)誤以及遮擋問(wèn)題，并通過(guò)建立車(chē)輛近鄰關(guān)聯(lián)事件和與之對(duì)應(yīng)的關(guān)聯(lián)標(biāo)簽變量， 將汽車(chē)監(jiān)控跟蹤建模為一個(gè)結(jié)構(gòu)化預(yù)測(cè)問(wèn)題，利用相應(yīng)的關(guān)聯(lián)標(biāo)簽變量建立全局目標(biāo)函數(shù)，從而將車(chē)輛跟蹤問(wèn)題轉(zhuǎn)化為一個(gè)通過(guò)求解帶約束的整數(shù)規(guī)劃問(wèn)題，最后求解得到車(chē)輛軌跡的全局最優(yōu)解。

關(guān)鍵詞： 交通監(jiān)控; 隨機(jī)森林分類(lèi)器; 聯(lián)合檢測(cè)跟蹤; 整數(shù)規(guī)劃; 結(jié)構(gòu)化預(yù)測(cè); 支持向量機(jī)

中圖分類(lèi)號(hào)： TN911.73?34; TP391 ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）15?0029?04

Vehicle joint detection and tracking with structural prediction

REN Yajing， ZHANG Hongli

（School of Electrical Engineering， Xinjiang University， Urumchi 830002， China）

Abstract： A joint detection and tracking method for traffic statistics and monitoring tracking of vehicles on road is proposed. In this method， the errors and occlusion problems produced in the segmentation stage are described by using the conflict set of the number of targets in the initial segmentation. The vehicle monitoring and tracking is modeled as a structural prediction mode by establishing the vehicle adjacent correlation event and the associated label variable corresponding to the event， and the global objective function is established by the corresponding associated label variables， so as to transform the vehicle tracking problem into an integer programming problem with constraint. The global optimal solution of vehicle trajectory is obtained.

Keywords： traffic monitoring; random forest classifier; joint detection tracking; integer programming; structural prediction; support vector machine

多目標(biāo)跟蹤技術(shù)是智能視頻監(jiān)控系統(tǒng)的核心。文獻(xiàn)[1]提出一種基于時(shí)變?yōu)V波算法的多目標(biāo)概率假設(shè)密度（PHD）濾波器，該算法有較好的實(shí)時(shí)性但在解決遮擋問(wèn)題中還有待提高;文獻(xiàn)[2]利用目標(biāo)的融合特征在線學(xué)習(xí)判別性外觀模型，再將判別性外觀模型引入到基于目標(biāo)多級(jí)關(guān)聯(lián)的多目標(biāo)跟蹤框架中，該方法能有效監(jiān)測(cè)跟蹤目標(biāo)，但存在欠分割與過(guò)分割的問(wèn)題。此外還有CT[3]（Compressive Tracking）、TLD[4]（Tracking?Learning?Detection）、DFT[5]（Distribution Fields Tracker）、DLT[6]（Deep Learning Tracker）等方法。

1 ?預(yù)處理

1.1 ?前景目標(biāo)分割

選取頻幀訓(xùn)練二值隨機(jī)森林分類(lèi)器[7]，選取高斯差分、Hessian值、像素灰度值以及梯度值的特征進(jìn)行訓(xùn)練。初始分割的結(jié)果如圖1所示。

圖1 ?初始分割圖

將所得到的前景圖像利用Sobel算子進(jìn)行目標(biāo)圖像的邊緣提取，然后利用邊緣數(shù)據(jù)進(jìn)行多邊形擬合[8]，尋找邊緣圖像中多邊形連接的邊緣角度較大的拐點(diǎn)，并用這些斷點(diǎn)將邊緣分類(lèi)為不同單元的輪廓以解決車(chē)輛前后遮擋的問(wèn)題，如圖2所示。

圖2 ?生成目標(biāo)集合

1.2 ?產(chǎn)生車(chē)輛目標(biāo)的數(shù)量沖突集

對(duì)目標(biāo)矩形擬合，生成矩形目標(biāo)[Cj]，[j=1，][2，…，2k-1]。規(guī)定每個(gè)單元輪廓至多只能被使用1次，對(duì)于一個(gè)前景區(qū)域可以構(gòu)造出[k]個(gè)矛盾橢圓集合[Mr]，[r=1，2，…，k]，其中，[Mr]由包含了第[r]段單元輪廓的所有組合輪廓對(duì)應(yīng)的橢圓構(gòu)成，以三個(gè)相互遮擋車(chē)輛為例，對(duì)每個(gè)輪廓（[a1]，[a2]，[a3]）可能存在的目標(biāo)進(jìn)行邏輯賦值，1代表目標(biāo)存在，0代表目標(biāo)不存在，則可能存在的目標(biāo)的邏輯表示如表1所示。

表1 ?可能存在目標(biāo)的邏輯表示

2 ?聯(lián)合檢測(cè)跟蹤

2.1 ?車(chē)輛近鄰關(guān)聯(lián)事件與關(guān)聯(lián)標(biāo)簽

首先，定義時(shí)刻[t]圖像經(jīng)過(guò)預(yù)處理后分割得到的前景圖像中目標(biāo)集合為[Ci] ，并定義目標(biāo)集合[Ci]中的兩兩相鄰的目標(biāo)為一個(gè)目標(biāo)對(duì)，從而得到目標(biāo)對(duì)集合 [Pβ]。[Pβ]可以有效描述車(chē)輛近鄰關(guān)聯(lián)事件中的分離和合并事件。根據(jù)車(chē)輛之間的關(guān)系定義移動(dòng)、合并、分離、出現(xiàn)、消失，如圖3所示。

2.2 ?全局約束

將關(guān)聯(lián)標(biāo)簽組合成[N]維向量[Lnum]，[N]為所有關(guān)聯(lián)標(biāo)簽的數(shù)目，num指的是事件的編號(hào)。組成的向量[Lnum]滿(mǎn)足如下條件：

1） 任何一個(gè)車(chē)輛目標(biāo)每個(gè)可能發(fā)生的近鄰關(guān)聯(lián)事件的關(guān)聯(lián)標(biāo)簽的數(shù)量都要滿(mǎn)足在相鄰幀中的相等關(guān)系，即：

式中：（1）代表遷移;（2）代表合并;（3）代表分離;（4）代表出現(xiàn);（5）代表消失;[R1j] 和[R2j] 分別代表車(chē)輛目標(biāo)[Cj]的鄰近車(chē)輛目標(biāo)集合和鄰近目標(biāo)對(duì)集合。

2） 一個(gè)車(chē)輛目標(biāo)在相鄰幀中只能滿(mǎn)足一個(gè)事件的發(fā)生條件，即：

3） 在車(chē)輛目標(biāo)數(shù)量沖突集中，最多只能有一個(gè)目標(biāo)的值為1，即：

通過(guò)分析得到車(chē)輛目標(biāo)的事件關(guān)聯(lián)標(biāo)簽滿(mǎn)足的條件后，便可以定義全局約束向量[L]滿(mǎn)足的關(guān)系式，即：

以上關(guān)系式均滿(mǎn)足車(chē)輛在道路中行駛事件的基本發(fā)生規(guī)律。

圖3 ?目標(biāo)集合、目標(biāo)對(duì)和車(chē)輛臨近事件

2.3 ?全局目標(biāo)

圖像序列中車(chē)輛行駛的每一種軌跡都能與關(guān)聯(lián)標(biāo)簽[L]的一種取值相對(duì)應(yīng)，所以目的就是找到與目標(biāo)跟蹤軌跡最匹配的關(guān)聯(lián)標(biāo)簽[L*]即可。因此定義內(nèi)積[fnum#，ωnum]來(lái)描述近鄰關(guān)聯(lián)事件的匹配度，其中[fnum#]是從圖像中提取的近鄰關(guān)聯(lián)事件的特征向量，[ωnum] 是從訓(xùn)練樣本中學(xué)習(xí)到的各個(gè)事件的參數(shù)向量，num指的是事件的編號(hào)，至此得到如下關(guān)系式：

由式（6）可以定義出從特征空間到標(biāo)簽空間的預(yù)測(cè)函數(shù)[?ω：X→L]，函數(shù)中包含參數(shù)[ω∈RD]，其中，[D]為參數(shù)的個(gè)數(shù)。使用整數(shù)規(guī)劃求解器yalmip[9]中的線性規(guī)劃（linprog）工具包求解。

2.4 ?參數(shù)學(xué)習(xí)

將特征與相應(yīng)的事件標(biāo)簽關(guān)聯(lián)，給定[N]個(gè)與特征關(guān)聯(lián)的訓(xùn)練樣本，樣本集合記為[fN，LN]。

應(yīng)用結(jié)構(gòu)風(fēng)險(xiǎn)最小化支持向量機(jī)算法[10]對(duì)參數(shù)[ω]進(jìn)行訓(xùn)練。首先引入一個(gè)期望風(fēng)險(xiǎn)的經(jīng)驗(yàn)估計(jì)，并定義損失函數(shù)為真實(shí)關(guān)聯(lián)事件標(biāo)簽[L]和預(yù)測(cè)標(biāo)簽的關(guān)聯(lián)事件[L=?ωf]的漢明距離：

3 ?實(shí)驗(yàn)及討論

實(shí)驗(yàn)給出部分跟蹤結(jié)果，從跟蹤結(jié)果中可以看出，本文算法在車(chē)輛發(fā)生遮擋時(shí)依舊能穩(wěn)定跟蹤，如圖4所示。

如圖5所示為采用中心位置誤差作為跟蹤算法的精度指標(biāo)、采用成功率和精度作為跟蹤算法的有效性指標(biāo)。本文算法精度與成功率與其他4種算法相比均為最優(yōu)，在道路復(fù)雜環(huán)境下對(duì)車(chē)輛識(shí)別有較強(qiáng)的優(yōu)勢(shì)。

4 ?結(jié) ?語(yǔ)

本文提出一種基于聯(lián)合檢測(cè)與跟蹤思想的方法對(duì)道路車(chē)輛進(jìn)行流量的統(tǒng)計(jì)與監(jiān)控跟蹤，該方法將檢測(cè)階段的信息傳遞到跟蹤階段，將汽車(chē)監(jiān)控跟蹤建模為一個(gè)結(jié)構(gòu)化預(yù)測(cè)問(wèn)題。通過(guò)對(duì)比試驗(yàn)的結(jié)果表明，該方法相對(duì)于主流的跟蹤方法能更有效地結(jié)合檢測(cè)與跟蹤階段的車(chē)輛信息，從而對(duì)分割階段產(chǎn)生的欠分割以及過(guò)分割現(xiàn)象進(jìn)行修正，有效地避免了將檢測(cè)階段產(chǎn)生的錯(cuò)誤信息引入到跟蹤階段中，充分利用車(chē)輛行駛時(shí)軌跡連接的信息進(jìn)行預(yù)測(cè)和學(xué)習(xí)，提高了識(shí)別跟蹤的準(zhǔn)確性。

圖5 ?測(cè)試結(jié)果的精度曲線和成功率曲線

參考文獻(xiàn)

[1] 吳鑫輝，黃高明，高俊.未知探測(cè)概率下多目標(biāo)PHD跟蹤算法[J].控制與決策，2014，29（1）：57?63.

WU Xinhui， HUANG Gaoming， GAO Jun. Multi?target PHD tracking algorithm under unknown detection probability [J]. Control and decision， 2014， 29（1）： 57?63.

[2] 黃奇，項(xiàng)俊，侯建華，等.聯(lián)合特征融合和判別性外觀模型的多目標(biāo)跟蹤[J].中國(guó)圖象圖形學(xué)報(bào)，2015，20（9）：1188?1198.

HUANG Qi， XIANG Jun， HOU Jianhua， et al. Joint feature fusion and discriminatory appearance model multi target tracking [J]. Chinese image graphics， 2015， 20（9）： 1188?1198.

[3] CHEN T， SAHLI H， ZHANG Y， et al. Improved compressive tracking based on pixelwise learner [J]. Journal of electronic imaging， 2018， 27（1）： 1?5.

[4] TIAN Y， DENG L， LI Q. A KNN match based tracking?learning?detection method with adjustment of surveyed areas [C]// International Conference on Computational Intelligence and Security. Hangzhou： IEEE， 2018： 447?451.

[5] WANG Y， CHEN H， LI S， et al. Object tracking by color distribution fields with adaptive hierarchical structure [J]. Visual computer， 2017， 33（2）： 235?247.

[6] WANG N Y， YEUNG D. Learning a deep compact image representation for visual tracking [C]// Proceedings of Advances in Neural Information Processing Systems. Nevada： NIPS Press， 2013： 809?817.

[7] 張乾.基于隨機(jī)森林的視覺(jué)數(shù)據(jù)分類(lèi)關(guān)鍵技術(shù)研究[D].廣州：華南理工大學(xué)，2016.

ZHANG Qian. Research on key technologies of visual data classification based on random forests [D]. Guangzhou： South China University of Technology， 2016.

[8] 王彥芳，馮琦，鄧秀劍.基于幾何差異的目標(biāo)識(shí)別算法[J].計(jì)算機(jī)測(cè)量與控制，2016，24（7）：156?158.

WANG Yanfang， FENG Qi， DENG Xiujian. Object recognition algorithm based on geometric difference [J]. Computer measurement and control， 2016， 24（7）： 156?158.

[9] ZHANG X， FAN X F， WU L G. Reduced?and full?order observers for delayed genetic regulatory networks [J]. IEEE tran?sactions on cybernetics， 2018， 48（7）： 1989?2000.

[10] LOU Zhongyu， ALNAJAR F， ALVAREZ J M， et al. Expression?invariant age estimation using structured learning [J]. IEEE transactions on pattern analysis & machine intelligence， 2018， 40（2）： 365?375.

[11] HARE Sam， GOLODETZ Stuart， SAFFARI Amir， et al. Struck： structured output tracking with kernels [J]. IEEE transactions on pattern analysis & machine intelligence， 2016， 38（10）： 2096?2109.

[12] KHALID S S， ABRAR S. A low?complexity interacting multiple model filter for maneuvering target tracking [J]. AEU?international journal of electronics and communications， 2017， 73： 157?164.

[13] YOUNG Shin Ahn， AHMED Mohammed， JAE Ho Choi. Mo?ving object tracking using multiple views and data association [J]. Applied mechanics and materials， 2014， 666： 226?229.