史 紅, 劉 濤, 李 鳴, 沈敏潔

(1. 吉林師范大學(xué) 信息技術(shù)學(xué)院, 吉林 四平 136000; 2. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 長春 130012; 3. 吉林省經(jīng)濟(jì)信息中心, 長春 130061; 4. 國家專利局專利審查協(xié)作北京中心, 北京 100083)

低空平臺下的車輛檢測和跟蹤, 對提取實(shí)時路況信息有重要作用. 由于低空平臺的攝像頭架設(shè)角度較高, 視頻中目標(biāo)車輛較小, 因此在檢測算法提取出道路車輛后, 如何穩(wěn)健地跟蹤這些車輛是一個較困難的任務(wù). Wu等[1]對當(dāng)前交通路口車輛目標(biāo)的檢測做了較全面的分析, 對多種檢測算法從運(yùn)行速度、 內(nèi)存占用、 檢測精度和視覺效果等方面進(jìn)行了比較, 并指出了各自的優(yōu)缺點(diǎn).

目前已有較多針對低空平臺的跟蹤方法, 如基于最優(yōu)化迭代查找的Meanshift算法[2-7]和基于目標(biāo)狀態(tài)估計(jì)的粒子濾波算法[8-11]. Meanshift算法較穩(wěn)定, 運(yùn)算速度快, 一般情況下能實(shí)現(xiàn)穩(wěn)健地跟蹤, 但對小目標(biāo)的跟蹤不理想, 且迭代過程容易陷入局部最優(yōu)解. 粒子濾波算法的跟蹤魯棒性較強(qiáng), 適用于低空平臺下的小目標(biāo)車輛跟蹤, 但算法的復(fù)雜度較高, 很難滿足多目標(biāo)下的實(shí)時跟蹤. 因此, 本文將Meanshift算法與粒子濾波算法相結(jié)合, 在大幅度減小粒子數(shù)目的同時實(shí)現(xiàn)穩(wěn)健跟蹤, 算法的運(yùn)行速度也有了很大改善.

1 Meanshift算法和粒子濾波算法

1.1 Meanshift算法

Meanshift算法是一種基于核密度估計(jì)的無參估計(jì)迭代算法, 迭代的每步都使得一個點(diǎn)向其概率密度更大的方向移動, 不斷循環(huán), 直至收斂到概率密度分布的最大值. 假設(shè)目標(biāo)矩形窗口中心位置為y0, 其迭代移動至新中心位置y1的迭代公式為

(1)

其中:xi表示以y0為中心的目標(biāo)矩形區(qū)域的第i個像素點(diǎn)坐標(biāo);N表示目標(biāo)區(qū)域中的像素點(diǎn)數(shù);wi表示相應(yīng)點(diǎn)的權(quán)值;h表示核窗口帶寬. 本文取g(x)=-k′(x), 其中k(x)是本文選定的核函數(shù). Meanshift 算法迭代過程是原目標(biāo)位置不斷向新位置靠近的過程. 若干次迭代后, 收斂到目標(biāo)的最新位置, 從而實(shí)現(xiàn)跟蹤.

1.2 粒子濾波算法

2 基于Meanshift粒子濾波的低空平臺車輛跟蹤

低空平臺下的城市交通情況較復(fù)雜, 特別是城市的交通路口, 來往車輛較多, 車流量很大, 車輛的堵塞現(xiàn)象也較常見, 是交通管理部門需要主要監(jiān)控和管理之處. 由于低空平臺的高度相對較高, 所以車輛的遮擋情況與陰影對目標(biāo)的影響較小. 但目標(biāo)車輛較小, 因此在這種情況下的檢測和跟蹤算法的準(zhǔn)確度要求更高.

2.1 基于顏色特征的Meanshift粒子濾波算法

粒子濾波已經(jīng)被證明能很好地應(yīng)用于非線性、 非Gauss的估計(jì)中. 而顏色作為目標(biāo)跟蹤的首要特征, 在部分遮擋、 旋轉(zhuǎn)、 尺度變換和光照變化下都較穩(wěn)健, 能很好地標(biāo)示目標(biāo)物體. 所以本文選擇目標(biāo)的顏色分布作為跟蹤目標(biāo)的特征. 使用基于彩色特征的粒子濾波實(shí)現(xiàn)跟蹤, 并在跟蹤過程中加入Meanshift粒子優(yōu)化減少跟蹤單個目標(biāo)所需的粒子數(shù).

2.1.1 基于顏色的跟蹤目標(biāo)表示 當(dāng)選擇了需要跟蹤的目標(biāo)車輛區(qū)域后, 需對目標(biāo)區(qū)域做彩色直方圖. 這里對彩色圖像的RGB三通道圖像分別做直方圖, 每個通道分為8個區(qū)間, 總區(qū)域分為512個數(shù)組指針, 使用這個512維的直方圖即可表示目標(biāo). 當(dāng)前目標(biāo)區(qū)域的空間核加權(quán)特征直方圖記為p(y)={pu(y)}u=1,2,…,m, 其中

(2)

(3)

2.1.2 候選區(qū)域的標(biāo)示 候選區(qū)域的標(biāo)示方法即以每個粒子為中心區(qū)域的空間核加權(quán)特征直方圖q(y0), 該特征直方圖表示方法如式(2)目標(biāo)區(qū)域的表示方法, 仍按區(qū)域的色彩直方圖進(jìn)行表示. 本文引入巴氏系數(shù)[12]度量候選區(qū)域與目標(biāo)區(qū)域的匹配程度:

(4)

計(jì)算觀測值的概率密度函數(shù)為

(5)

因此, 粒子的權(quán)值更新為

(6)

利用加權(quán)準(zhǔn)則確定目標(biāo)的最終位置為

(7)

2.2 算法步驟

本文提出的基于Meanshift優(yōu)化的粒子濾波算法相對原有的經(jīng)典跟蹤算法在跟蹤精度和運(yùn)行速度方面都有較明顯的優(yōu)勢, 算法步驟如下.

1) 初始化： 選擇跟蹤區(qū)域, 初始化粒子濾波. 初始粒子數(shù)設(shè)為40, 提取目標(biāo)粒子模板, 產(chǎn)生40個粒子的初始狀態(tài), 并加入Gauss隨機(jī)噪聲. 由于光照和陰影對檢測算法的干擾, 使檢測部分提供給跟蹤目標(biāo)車輛的矩形框通常都比目標(biāo)區(qū)域的車輛輪廓大很多, 如果直接對這些目標(biāo)區(qū)域初始化目標(biāo)直方圖模板進(jìn)行跟蹤, 結(jié)果可能不準(zhǔn)確. 通過大量的實(shí)驗(yàn), 統(tǒng)計(jì)出檢測部分的目標(biāo)區(qū)域大小和實(shí)際車輛的大小比例為1 ∶0.8, 所以, 對檢測的目標(biāo)區(qū)域均先進(jìn)行縮放, 再將其用于下一步的跟蹤, 這樣跟蹤的效果較好.

2) 選擇初始跟蹤區(qū)域后, 進(jìn)行粒子濾波的跟蹤.

③ Meanshift粒子優(yōu)化： 使用式(1)進(jìn)行一次迭代優(yōu)化粒子;

④ 觀測： 根據(jù)式(7)重新計(jì)算粒子的權(quán)值.

3) 輸出目標(biāo)信息： 在原始視頻上輸出目標(biāo)的當(dāng)前(位置)狀態(tài):

(8)

4) 更新粒子狀態(tài)： 使用

(9)

更新目標(biāo)模板模型.

3 實(shí)驗(yàn)結(jié)果及分析

在Visual Studio 2005下結(jié)合OpenCV實(shí)現(xiàn)視頻的采集和圖像算法的處理. 運(yùn)行環(huán)境為Intel(R) Core(TM)2 Duo CPU E7200 2.53 GHz, 內(nèi)存為2 G的PC機(jī). 為了單獨(dú)測試跟蹤效果, 下列實(shí)驗(yàn)只針對單目標(biāo)的跟蹤. 選擇的視頻分辨率為326×246, 視頻長度為223, 幀率為25幀/s. 圖1為單目標(biāo)視頻序列跟蹤結(jié)果, 其中第一行為傳統(tǒng)粒子濾波算法, 第二行為基于Meanshift優(yōu)化的粒子濾波算法, 圖中分別為視頻序列的第71,97,112,131幀.

圖1 單目標(biāo)視頻序列跟蹤結(jié)果Fig.1 Tracking results of a single target

由圖1可見, 基于Meanshift優(yōu)化的粒子濾波算法相對于傳統(tǒng)粒子濾波算法跟蹤效果更理想, 但經(jīng)測試前者的運(yùn)行速度達(dá)到幀平均處理時間15.75 ms, 后者的幀平均處理時間為28.24 ms, 速度上提高了近一倍, 這能夠?yàn)榈涂掌脚_下的車輛跟蹤提供實(shí)時的跟蹤效率.

為了對道路車輛監(jiān)控系統(tǒng)進(jìn)行驗(yàn)證, 本文在兩個低空平臺下的城市交通路口視頻上測試算法性能. 實(shí)驗(yàn)選取城市交通路口的標(biāo)準(zhǔn)視頻1的視頻分辨率為768×576, 總幀數(shù)為1 540幀. 圖2為監(jiān)控系統(tǒng)在視頻序列1上的實(shí)驗(yàn)結(jié)果. 由圖2可見, 視頻序列中檢測到的車輛都可以進(jìn)行穩(wěn)健的跟蹤, 特別是在第304～305幀中出現(xiàn)的車輛遮擋情況下也能實(shí)現(xiàn)穩(wěn)健地跟蹤. 視頻序列2為某高速公路的車輛視頻序列, 視頻分辨率為320×240, 共342幀. 圖3為監(jiān)控系統(tǒng)在視頻序列2上的實(shí)驗(yàn)結(jié)果. 由圖3可見, 本文算法對于高速公路上的車輛跟蹤較準(zhǔn)確, 視頻序列中的車輛在全過程中都被穩(wěn)健地跟蹤.

圖2 低空平臺下某交通路口的車輛視頻序列跟蹤結(jié)果Fig.2 Tracking results of vehicles at traffic crossing in the low-altitude platform by the proposed method

圖3 某高速公路的車輛視頻序列跟蹤結(jié)果Fig.3 Tracking results of vehicles on highway by the proposed method

綜上所述, 本文提出一種融合Meanshift和粒子濾波算法的適合低空平臺下的車輛跟蹤算法. 該算法用顏色表示目標(biāo), 通過Meanshift算法對粒子濾波進(jìn)行迭代優(yōu)化, 從而減少了穩(wěn)健跟蹤一個目標(biāo)所需的粒子數(shù), 提高了算法的運(yùn)行效率, 使得在小目標(biāo)和多目標(biāo)的情況下也能穩(wěn)健跟蹤. 雖然基于Meanshift 迭代優(yōu)化的粒子濾波在很大程度上改善了跟蹤算法的速度, 但在目標(biāo)較多的情況下算法復(fù)雜度仍然較高, 所以研究低空平臺下的多目標(biāo)快速跟蹤, 才能使監(jiān)控的時效性更好.

[1] WU You-fu, SHEN Jun, DAI Mo. Traffic Object Detections and Its Action Analysis [J]. Pattern Recognition Letters, 2005, 26(13): 1963-1984.

[2] Comaniciu D, Meer P. Mean Shift Analysis and Applications [C]//7th IEEE International Conference on Computer Vision(ICCV’99). Washington DC: IEEE Computer Society, 1999: 1197-1203.

[3] Comaniciu D, Ramesh V, Meer P. Real-Time Tracking of Non-rigid Objects Using Mean Shift [C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR2000). Washington DC: IEEE Computer Society, 2000: 2142.

[4] Comaniciu D, Meer P. Mean Shift: A Robust Approach toward Feature Space Analysis [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[5] Comaniciu D, Ramesh V, Meer P. Kernel-Based Object Tracking [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564-577.

[6] Comaniciu D, Ramesh V. Mean Shift and Optimal Prediction for Efficient Object Tracking [C]//2000 International Conference on Image Processing. Washington DC: IEEE Computer Society, 2000: 70-73.

[7] Irsard M, Blake A. Condensation-Conditional Density Propagation for Visual Tracking [J]. Int J Comput Vision, 1998, 29(1): 5-28.

[8] Nummiaro K, Koller-Meier E, Gool L, Van. A Color-Based Particle Filter [C]//First International Workshop on Generative-Model-Based Vision, in Conjunction with ECCV’02. Copenhagen, Denmark: [s.n.], 2002: 53-60.

[9] Nummiaro K, Koller-Meier E, Gool L, Van. Object Tracking with an Adaptive Color-Based Particle Filter [C]//Proceedings of the 24th DAGM Symposium for Pattern Recognition. London: Springer-Verlag, 2002: 353-360.

[10] Nummiaro K, Koller-Meier E, Gool L, Van. An Adaptive Color-Based Particle Filter [J]. Image and Vision Computing, 2002, 21(1): 99-110.

[11] Tanizaki H. Non-Gaussian State-Space Modeling of Nonstationary Time Series [J]. J Amer Statist Assoc, 1987, 82: 1032-1063.

[12] Bhattacharayya A. On a Measure of Divergence between Two Statistical Populations Defined by Their Probability Distributions [J]. Bulletin of the Calcutta Mathematical Society, 1943, 35: 99-109.