孫煒+薛敏+孫天宇+胡夢云+呂云峰

摘 要：提出一種基于SVM（Support Vector Machine）優(yōu)化的TLD（Track-Learning-Detection）行人檢測跟蹤算法.將行人作為正樣本，背景作為負樣本，提取出行人的HOG特征并投入線性SVM中進行訓練，得到行人檢測分類器，并標定出目標區(qū)域，實現(xiàn)行人自動識別；然后在TLD算法的基礎上對行人進行跟蹤和在線學習，估計檢測出的正負樣本并實時修正檢測器在當前幀中的誤檢，利用相鄰幀間特征點配準剔除誤配點，同時更新跟蹤器數(shù)據(jù)，以避免后續(xù)出現(xiàn)類似錯誤.實驗表明，該算法能夠適應遮擋變化且自動識別并穩(wěn)定跟蹤目標行人，較傳統(tǒng)跟蹤算法具有更強的魯棒性.

關鍵詞：支持向量機；行人檢測跟蹤；TLD

中圖分類號：TP391.4 文獻標識碼：A

文章編號：1674-2974（2016）10-0102-08

Abstract：A new method based on optimized TLD （Track-Learning-Detection） and SVM （Support Vector Machine） for tracking pedestrian was proposed. First， with pedestrians as positive samples and the background as negative samples respectively， HOG （Histogram of Oriented Gradient） descriptor of pedestrian was extracted and combined with linear SVM to train the pedestrian classifier，which was used to obtain the calibrated pedestrian area accurately. Then， adaptive tracking and online learning on the pedestrians on the basis of TLD were integrated to estimate the reliability of the positive and negative samples， to rectify error existing in the current frame caused by detection and to update the tracking data simultaneously to avoid subsequent similar mistakes. The experiment results demonstrate that， compared with the conventional tracking algorithm， the proposed algorithm can not only significantly adapt to occlusions and appearance changes but also automatically identify and track pedestrian targets at arbitrary position， manifesting stronger robustness.

Key words：support vector machine； pedestrian detection and tracking； TLD

在計算機視覺應用中，長期穩(wěn)定實時檢測跟蹤運動物體已經(jīng)成為一個重要的研究課題，隨著技術的不斷成熟，該領域的應用也相當廣泛，比如：工業(yè)生產(chǎn)、實時監(jiān)督、自動目標定位、自動導航、人機交互、增強現(xiàn)實技術、SLAM、游戲開發(fā)等.研究人員根據(jù)實際應用的需要提出不同的跟蹤方案，其中D.Comaniciu等[1]利用改進的mean-shift來跟蹤運動物體，該方法可通過迭代步驟找到離跟蹤目標最近的位置，但其不能解決目標被遮擋或發(fā)生形變等問題，在前后背景顏色相似的環(huán)境中，容易發(fā)生目標跟丟的情況.Martinez等[2]用背景差分法提取目標，根據(jù)軌跡建立數(shù)學模型實現(xiàn)行人跟蹤，該方法可取得較好的檢測效果，但由于計算時間長，跟蹤的實時性不能得到保證.季玉龍等[3]提出的對運動目標建模的方法需要大量的先驗知識，對視頻幀中出現(xiàn)的相似目標干擾沒有很好的魯棒性，不能保證長期的跟蹤性和適應性.

TLD算法[4-7]將檢測過程和跟蹤過程融合起來并引入學習機制，當目標發(fā)生形變或被遮擋時，可以實時更新目標模型，實現(xiàn)在線學習和評估，在一定程度上可以克服目標外觀變化及運動模糊，具有較強的穩(wěn)定性.但是TLD算法中的跟蹤目標并不能自動識別，當目標移動過快時，跟蹤準確度也有所下降，因此泛化性仍有待提高.本文在其基礎上提出了一種基于支持向量機分類優(yōu)化的行人跟蹤學習檢測方法，該方法利用SVM分類器檢測到待跟蹤目標，保留TLD算法在復雜背景下對目標區(qū)域?qū)崟r學習與跟蹤的基礎上在檢測模塊中加入圖像特征點配準[8]以實現(xiàn)更高的跟蹤精度.

1 方法概述

本文利用視頻初始幀中行人方向梯度直方圖和支持向量機檢測出行人在視頻幀中的特征及位置，將目標行人提取出來，記錄行人位置左上角坐標與行人的寬和高.確認目標后將視頻幀輸入到檢測模塊與跟蹤模塊并產(chǎn)生相應的實時正負樣本，學習模塊根據(jù)捕捉到的正負樣本不斷將信息反饋給檢測模塊與跟蹤模塊，利用圖像特征點配準進一步剔除圖像元中的誤配點，達到良好的檢測跟蹤效果.算法具體框架如圖1所示.

2 基于HOG與線性SVM的行人檢測方法

2.1 行人特征提取

行人特征可以用灰度、邊緣、SIFT特征、Haar特征等來描述.由于HOG[9]屬于對局部目標進行檢測，對陰影、光照條件的變化、小角度旋轉(zhuǎn)以及微小行人動作有較好的魯棒性.因此本文采用HOG來提取行人特征.目標的HOG提取過程[10]如下：

1）對圖像進行gamma校正以實現(xiàn)標準化，降低噪聲干擾及光照影響，如圖2所示.

2）對各像素點求梯度大小及方向，捕捉目標區(qū)域的輪廓.

3）構(gòu)建細胞單元梯度方向直方圖.

本文中行人檢測樣本取自Navneet Dalal， Bill Triggs建立的INRIA數(shù)據(jù)庫，庫中圖片像素為64×128.以8×8像素作為一個cell單元，對單元內(nèi)每個像素梯度進行統(tǒng)計并投影到9個bin中.將2×2個cell作為一個block，掃描步長為單個cell，依次對圖像進行遍歷，則共有105塊block，每個block中有2×2×9=36個特征描述子，最終整個圖片包括36×105=3 780個HOG特征描述子.

4）根據(jù)式（5）對HOG特征描述子進行L2 范數(shù)歸一化后用作后續(xù)分類識別的特征向量：

2.2 使用支持向量機（SVM）檢測行人具體位置

在機器學習中，SVM[11-12]被廣泛應用于訓練感知器與統(tǒng)計分析及分類中.該算法可將低維向量投影到高維空間中，并在此空間中形成一個最大分離超平面，使其距離平面兩端的數(shù)據(jù)間隔最大，如圖3所示.最大分離超平面如式（6）表示：

為訓練分類器，本文選擇包含不同姿勢及形態(tài)的行人圖像作為正樣本，不包含行人的任意背景圖片作為負樣本.本文選擇3 000張正樣本（如圖4（a）所示），2 000張負樣本（如圖4（b）所示）并將其標準化為64×128像素作為訓練樣本.

用初次訓練好的分類器檢測不包含人體的圖像，有時會得到錯誤的目標區(qū)域[13-14]，將這些錯誤區(qū)域（Hard Example）歸到負樣本中，再次進行訓練，迭代多次，可明顯改善分類器效果.最終訓練好的分類器可將行人區(qū)域很好地劃分出來，效果圖如圖5（a），（b）所示.

3 利用改進的TLD對行人進行跟蹤

在初始幀利用SVM分類器得到待跟蹤行人位置后，將位置信息傳遞給TLD中的bounding box以對該算法進行目標區(qū)域的初始化.TLD（Tracking-Learning-Detection）是一種對特定目標進行自適應檢測與在線學習并實現(xiàn)實時跟蹤的算法[15]，該算法將目標跟蹤任務分成3部分：跟蹤模塊、學習模塊和檢測模塊.3部分協(xié)同組合，并以并行方式運行發(fā)揮各自優(yōu)勢[16]，具有較高的可靠性和魯棒性.

3）PN學習過程中[18]，先給定一個視頻和掃描框，同時用分類器標定出視頻區(qū)域中的目標和背景，用跟蹤器來提供正的訓練樣本，檢測器提供負的訓練樣本.跟蹤器跟蹤目標后，靠近目標窗口的掃描窗口通過P約束來更新檢測器，若掃描窗口中不存在目標物體，則N約束更新檢測器.P約束利用時間連續(xù)性，根據(jù)前一幀目標出現(xiàn)的位置預測目標軌跡，估計目標在當前幀的位置，若檢測器將此位置定義為負樣本，則P約束生成正樣本；N約束分析出當前幀目標可能出現(xiàn)的最優(yōu)位置，與此位置重疊度低的區(qū)域標記為負樣本，繼續(xù)更新跟蹤器.PN約束通過在線處理視頻幀逐步提高檢測器正確率，相互補償來確保學習模塊的穩(wěn)定性與可靠性，利用誤檢來提高學習性能.

4 實驗結(jié)果與分析

本實驗編程平臺：VS2010與opencv2.4.3開發(fā)庫；MATLAB R2013a.

微機環(huán)境配置：CPU Intel（R）Core（TM）i3-4150 3.50 GHz，內(nèi)存為4 G.

4.1 實驗測試集說明

為了更好地驗證本算法檢測跟蹤目標的魯棒性和準確性，將實驗結(jié)果與文獻[19]中高斯混合模型改進的meanshift跟蹤算法[19]，文獻[20]中kalman濾波和模板匹配跟蹤算法[20]及基本TLD算法分別在4種不同的數(shù)據(jù)集中進行驗證比較，并分析各算法的準確性、實時性及魯棒性.其中shooting和football序列來自網(wǎng)上公開測試集VTD_data_images，pedestrian1及 pedestrian2數(shù)據(jù)集為實時采集.測試集序列內(nèi)容如表1所示.

4.2 性能分析

4.2.1 算法準確性比較

將本文算法、改進的meanshift算法、kalman濾波和模板匹配算法、基本TLD算法在不同的測試集中進行實驗，對比跟蹤效果.用式（16）來表示跟蹤成功率：

score=area（RT∩RG）area（RTRG）.（16）

式中：RT表示跟蹤算法跟蹤到的目標區(qū)域，RG表示目標實際所在區(qū)域.若score>0.5，則認為該算法正確跟蹤此幀.測試集實驗結(jié)果如表2所示.由表2可知，在未遮擋情況下，各算法均可以獲得較準確的跟蹤結(jié)果，但在有遮擋時，本文算法正確率均高于其他各算法.

本文算法、文獻[19]改進的mean-shift算法、文獻[20]kalman濾波和模板匹配算法及基本TLD算法在pedestrian1測試集中跟蹤部分結(jié)果（分別選取測試集第30幀、第53幀、第174幀、第350幀）如圖8所示.從圖8可知，當目標未被遮擋時，3種算法都可以準確跟蹤行人，目標被遮擋后，基本TLD算法、文獻[19]與文獻[20]中的跟蹤算法均出現(xiàn)目標跟丟甚至誤檢現(xiàn)象，而本文算法可始終追蹤到行人，對目標定位跟蹤表現(xiàn)出良好的抗干擾性和準確性.

4.2.2 算法實時性比較

本文采用平均幀率（average frame per second）作為算法實時性分析的評價指標.各算法在測試集中的平均幀率如表3所示.由表3可知，基本TLD算法與本文算法在測試集的處理上速度高于其他兩種算法，而由跟蹤準確性分析可知，本文算法比基本TLD算法獲得了更準確的跟蹤結(jié)果，表現(xiàn)出較強的跟蹤性能.

4.2.3 算法魯棒性分析

在pedestrian2序列中（如圖9所示），行人檢測分類器確定目標位置后，當目標姿勢變化較大時，學習模塊通過在線學習不斷更新跟蹤模塊和檢測模塊樣本，確定新的正樣本.本算法在目標側(cè)身，轉(zhuǎn)身，消失然后重現(xiàn)時均可以準確跟蹤行人，當相似目標出現(xiàn)時則不返回跟蹤框，表現(xiàn)出良好的抗干擾性.

5 結(jié) 論

檢測跟蹤一直是計算機視覺研究的熱點和難點，而TLD算法通過在線學習與檢測，根據(jù)產(chǎn)生地正負樣本不斷更新跟蹤結(jié)果，具有較好的實時性與準確性.本文在其基礎上引入SVM行人檢測分類器，確定并讀取目標區(qū)域位置信息，實現(xiàn)行人的自動識別，同時聯(lián)合圖像配準技術，將誤配點排除，跟蹤精度得到進一步提高.最后進行實驗驗證，通過與當前兩種主流跟蹤算法及基本TLD算法在不同測試集上進行試驗比較，可知本算法在長時間跟蹤過程中能夠不斷適應目標形變帶來的干擾，表現(xiàn)出更好的跟蹤效果與魯棒性能.

參考文獻

[1] CQMANICIU D， RAMESH V ， MEER P. Real-time tracking of nonrigid objects using mean shift[C]//Proceedings in Computer Vision and Pattern Recognition， Hilton Head Island， SC： IEEE Conference，2000：2，142-149.

[2] ANTONINI G，MARTINEZ S V，BIERLAIRE M，et al.Behavioral priors for detection and tracking of pedestrians in video sequences[J]. International Journal on Computer Vision，2006，69（ 2） ： 159-180.

[3] 季玉龍，董天罡，梁海軍，等.基于粒子濾波的多區(qū)域辨識性建模跟蹤算法[J].四川大學學報：工程科學版，2013，45（1）：79-83.

JI Yu-long，DONG Tian-gang，LIANG Hai-jun，et al. Robust particle tracking via multi- region based discriminative modeling[J]. Journal of Sichuan University：Engineering Science Edition， 2013，45（1）：79-83. （In Chinese）

[4] KALAL Z，MATAS J，MIKOLAJCZYK K. Online learning of robust object detectors during unstable tracking[C]∥Proceedings of 12th International Conference on Computer vision workshops. New York： IEEE Xplore，2009： 1417-1424.

[5] KALAL Z，MATAS J，MIKOLAJCZYK K. Pn learning： bootstrapping binary classifiers by structural constraints[C]∥ Proceedings of Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2010： 49-56.

[6] ALALZ K，MIKOLAJCZYK K，MATAS J. Forward-backward error： automatic detection of tracking failures[C]∥Proceedings of International Conference on Pattern Recognition. New York： IEEE Press，2010： 23-26.

[7] KALAL Z，MIKOLAJCZYK K，M ATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（ 7） ： 1409-1422.

[8] 魏國劍，侯志強，李 武，等. 融合光流檢測與模板匹配的目標跟蹤算法[J]. 計算機應用研究，2014，31 （ 11） ： 3498-3501.

WEI Guo-jian， HOU Zhi-qiang， LI Wu，et al. Object tracking algorithm fused with optical flow detection and template matching[J]. Application Research of Computers， 2014，31 （ 11） ： 3498-3501. （In Chinese）

[9]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition，International Conference.Beijing：2005：886-893.

[10]DALAL N，TRIGGS B. Histograms of oriented gradients for human detection[C]//Proceedings of Computer Vision and Pattern Recognition，IEEE Computer Society Conference on. San：CA ：IEEE， 2005，1： 886-893.

[11]曹文明，王耀南，文益民. 輸電線路除冰機器人基于小波矩及SVM 的障礙物識別研究[J]. 湖南大學學報： 自然科學版，2012，39（9） 33-38.

CAO Wen-ming，WANG Yao-nan，WEN Yi-ming. Research on obstacle recognition based on wavelet moments and SVM for deicing robot on high voltage transmission line[J]. Journal of Hunan University： Natural Sciences，2012，39（9） 33-38.（In Chinese）

[12]于海濱，劉濟林.應用于公交客流統(tǒng)計的機器視覺方法[J]. 中國圖像圖形學報，2008，13（4）：716-722.

YU Hai-bin，LIU Ji-lin. A vision-based method to estimate passenger flow in bus[J]. Journal of Image and Graphics，2008，13（4）：716-722.（In Chinese）

[13]HUANG Dong-ze ，CAI Zhi-hao，XIANG HE Xiang，et al.A SVM embedded particle filter for multi-object detection and tracking [C]//Proceedings of 2014 IEEE Chinese Guidance，Navigation and Control Conference.Yantai：IEEE Press，2014：2094-2099.

[14]方衛(wèi)寧.基于 RBF 神經(jīng)網(wǎng)絡的復雜場景人群目標的識別[J]. 北京交通大學學報，2009，33（ 4） ： 29-33.

FANG Wei-ning. Recognizing the passenger number in ccomplex scenes by RBF neural network[J]. Journal of Beijing Jiao tong University，2009，33（ 4） ： 29-33.（In Chinese）

[15]ANDRILUKA M，ROTH S，SCHIELE B. People-tracking-by-detection and people-detection-by-tracking [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press，2008： 1-8.

[16]COLLINS R T，LIUY，LEORDEANU M. Online selection of discriminative tracking features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（ 10） ： 1631-1643.

[17]YAMAZAWA K， YOKOYA N. Detecting moving objects from omnidirectional dynamic images based on adaptive background subtraction[C]/ / Proceedings of International Conference on Image processing. Institute of Electrical and Electronics Engineers Computer Society，Barcelona， Spain：2003， 953-956.

[18]FENARI V， TUYTELAARS T， VAN G L. Real-time affine region tracking and coplanar grouping[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai， HI： Institute of Electrical and Electronics Engineers Computer Society， 2001：226-233.

[19]QUAST K， KAUP A. Shape adaptive mean shift object tracking using Gaussian mixture models[M].Lecture Notes in Electrical Engineering. Heidelberg： Springer， 2013， 158： 107-122.

[20]陳金令，苗東，康博，等. 基于Kalman濾波和模板匹配的目標跟蹤技術研究[J].光學與光電技術， 2014，12（ 6） ： 9-12.

CHEN Jin-ling，MIAO Dong，KANG Bo，et al. Research of target tracking based on kalman filtering and template matching[J].Optics &Optoelectronic Technology， 2014，12（ 6） ： 9-12.（In Chinese）