史殊凡 孫光民

摘? 要：研究了傳統(tǒng)跟蹤—學(xué)習(xí)—檢測(cè)（Tracking-Learning-Detecting）目標(biāo)跟蹤算法的結(jié)構(gòu)和特點(diǎn)，提出改進(jìn)思路;雖然TLD算法采用P-N學(xué)習(xí)機(jī)制，在應(yīng)對(duì)長(zhǎng)時(shí)間跟蹤方面有很好的魯棒性，但是當(dāng)目標(biāo)發(fā)生嚴(yán)重遮擋、形變，或者場(chǎng)景發(fā)生較大的光照、旋轉(zhuǎn)變化時(shí)，也會(huì)導(dǎo)致跟蹤的失敗?；趯?duì)以上問(wèn)題的研究，提出TLD改進(jìn)跟蹤算法。改進(jìn)算法在跟蹤模塊運(yùn)用SIFT特征匹配算法來(lái)代替原算法中LK光流法，減少了計(jì)算的復(fù)雜度，提高了算法的環(huán)境適應(yīng)能力。

關(guān)鍵詞：目標(biāo)跟蹤;TLD算法;LK光流法;P-N學(xué)習(xí);SIFT

中圖分類(lèi)號(hào)：TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：In this paper，the structure and characteristics of the traditional tracking-learning-detecting （TLD） target tracking algorithm are studied and the improved idea is proposed.Although the TLD algorithm adopts the PN learning mechanism，it has good robustness in dealing with long-term tracking.However，when the target is severely occluded，deformed，or when there is a large illumination or rotation change for the scene，it may also lead to failure of tracking.Based on the research on the above-mentioned problems，an improved TLD tracking algorithm is proposed.The improved algorithm uses the SIFT feature matching algorithm in the tracking module to replace the LK optical flow method in the original algorithm，which reduces the computational complexity and improves the environment adaptability of the algorithm.

Keywords：target tracking;TLD algorithm;LK optical flow method;P-N learning;SIFT

1? ?引言（Introduction）

視覺(jué)作為人類(lèi)認(rèn)知世界的重要方式之一，人類(lèi)所獲得的外部世界信息大多來(lái)自人類(lèi)視覺(jué)系統(tǒng)，人類(lèi)視覺(jué)系統(tǒng)承擔(dān)了人類(lèi)生活中的大量繁雜的信息與處理工作，它可以快速并且正確地完成圖形描述、識(shí)別與處理等任務(wù)。因此，在洞悉人類(lèi)視覺(jué)本質(zhì)的基礎(chǔ)上，計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)運(yùn)而生，該技術(shù)用各種成像系統(tǒng)代替人類(lèi)視覺(jué)器官，用計(jì)算機(jī)取代大腦，來(lái)完成對(duì)人類(lèi)接收的圖像信息的處理和理解。計(jì)算機(jī)視覺(jué)技術(shù)的最終研究目標(biāo)就是能夠使計(jì)算機(jī)擬人化，使計(jì)算機(jī)能夠像人類(lèi)那樣思考，通過(guò)視覺(jué)觀摩和了解世界，且具有自主的環(huán)境適應(yīng)能力[1]。

對(duì)于視頻跟蹤來(lái)說(shuō)，常用的方法主要有兩種，方法之一是使用跟蹤器[2]，運(yùn)用物體在上一幀的位置信息預(yù)測(cè)它在下一幀的位置情況，但這樣做有一個(gè)很大的缺點(diǎn)，就是會(huì)積累誤差，并且一旦物體在視頻幀中消失，跟蹤器就會(huì)失效，即使物體再出現(xiàn)也無(wú)法完成追蹤;方法之二是使用檢測(cè)器[3]，對(duì)視頻中的每幀單獨(dú)進(jìn)行處理，來(lái)達(dá)到檢測(cè)物體的位置的目的，但是同樣的，這種方法的不足之處在于需要提前對(duì)檢測(cè)器進(jìn)行離線訓(xùn)練，因此只能用于跟蹤事先已知的目標(biāo)。因此，TLD算法便被提出[4]。該算法結(jié)合了傳統(tǒng)的目標(biāo)跟蹤技術(shù)與目標(biāo)檢測(cè)技術(shù)，當(dāng)跟蹤目標(biāo)發(fā)生遮擋或者目標(biāo)在鏡頭中消失從而導(dǎo)致跟蹤失敗時(shí)，然后運(yùn)用檢測(cè)器檢測(cè)出再次出現(xiàn)的目標(biāo)，再利用跟蹤器去重新跟蹤，如此循環(huán)下去，便可以滿(mǎn)足長(zhǎng)時(shí)間跟蹤的需求。并且加入一種在線學(xué)習(xí)機(jī)制，使整個(gè)系統(tǒng)更加穩(wěn)定、可靠。

但是，當(dāng)目標(biāo)出現(xiàn)嚴(yán)重遮擋、形變、光照變化時(shí)，仍會(huì)出現(xiàn)跟蹤失敗的問(wèn)題，基于以上問(wèn)題，提出了本文的改進(jìn)方法。

2 TLD目標(biāo)跟蹤算法（TLD target trackingalgorithms）

TLD算法是英國(guó)薩里大學(xué)的博士生Zdenek Kalal提出[5]。主體結(jié)構(gòu)由跟蹤模塊、檢測(cè)模塊和學(xué)習(xí)模塊構(gòu)成。結(jié)構(gòu)如圖1所示。

2.1? ?跟蹤模塊

在TLD算法中，跟蹤模塊采用的是一種基于雙向軌跡的LK光流跟蹤法[6]。光流，是背景中可見(jiàn)點(diǎn)的三維速度矢量在二維平面上的投影，它表示了背景表面的點(diǎn)在圖像中位置的瞬間變化趨勢(shì)。LK方法的三個(gè)假設(shè)：亮度恒定、時(shí)間連續(xù)和空間一致。

在TLD算法里，把視頻幀均勻畫(huà)成網(wǎng)格狀，并且將每個(gè)網(wǎng)格中的左上角位置的頂點(diǎn)作為特征點(diǎn)，接著采用雙向軌跡光流法[8]，將這些特征點(diǎn)在下一幀中的位置通過(guò)跟蹤預(yù)測(cè)出來(lái)。假設(shè)當(dāng)前幀為下一幀為，普通光流法僅由當(dāng)前幀預(yù)測(cè)得到，缺乏反向校驗(yàn)。而雙向軌跡光流法則在由預(yù)測(cè)出之后，利用中預(yù)測(cè)得到的點(diǎn)，再做反向預(yù)測(cè)，即由預(yù)測(cè)到，由這種雙向軌跡預(yù)測(cè)法，得到一個(gè)位移差值。假如由反向預(yù)測(cè)得到的中的特征點(diǎn)和之前得到的中的特征點(diǎn)位移差值超過(guò)了設(shè)定閾值，則把中預(yù)測(cè)出的偏差較大的特征點(diǎn)排除[9]。如圖2所示，即為雙向軌跡光流法的基本原理圖。

2.2? ?檢測(cè)模塊

檢測(cè)模塊的主要功能是定位視頻中每一幀目標(biāo)的具體位置。TLD中的檢測(cè)模塊可以看作是一個(gè)級(jí)聯(lián)分類(lèi)器，它由方差濾波器、集成分類(lèi)器和最近鄰分類(lèi)器這三部分構(gòu)成。

方差濾波器作為級(jí)聯(lián)分類(lèi)器的第一部分，采用方差比較法，比較候選區(qū)域的方差與目標(biāo)區(qū)域的方差，將候選區(qū)域中方差小于目標(biāo)區(qū)域方差一半?yún)^(qū)域納入被拒區(qū)域，通過(guò)這樣的操作，大量的非目標(biāo)區(qū)域便被排除在外。

集成分類(lèi)器是第二部分。該部分采用隨機(jī)蕨叢林[10]進(jìn)行分類(lèi)。隨機(jī)蕨叢林是一個(gè)包含多個(gè)隨機(jī)蕨的分類(lèi)器。每一個(gè)隨機(jī)蕨K都初始目標(biāo)的像素點(diǎn)和在候選區(qū)域采集的像素點(diǎn)對(duì)灰度做差，生成二進(jìn)制編碼X。X指向決策樹(shù)的后驗(yàn)概率。對(duì)于所有的決策樹(shù)的這些后驗(yàn)概率取半樸素貝葉斯輸出值M，進(jìn)入下個(gè)分類(lèi)器條件為M大于50%。當(dāng)該種情況發(fā)生時(shí)那么就認(rèn)為當(dāng)前圖像塊含有目標(biāo)，否則就進(jìn)入拒絕區(qū)域。

最近鄰分類(lèi)器[11]為第三部分，將通過(guò)前兩個(gè)分類(lèi)器剩下的矩形框，計(jì)算其相關(guān)相似度。相關(guān)相似度大于0.6的區(qū)域，即認(rèn)定為最終前景目標(biāo)。檢測(cè)模塊原理如圖3所示。

2.3? ?學(xué)習(xí)模塊

TLD學(xué)習(xí)模塊采用的機(jī)器學(xué)習(xí)方法是P-N學(xué)習(xí)[12]。P-N學(xué)習(xí)是一種半監(jiān)督模式[13]的機(jī)器學(xué)習(xí)算法，它的獨(dú)到之處在于，檢測(cè)模塊對(duì)樣本分類(lèi)時(shí)大多會(huì)有錯(cuò)誤發(fā)生，錯(cuò)誤主要分為兩種，P-N學(xué)習(xí)采用P和N這兩種專(zhuān)家對(duì)錯(cuò)誤進(jìn)行糾正：

P專(zhuān)家：測(cè)出漏檢（正樣本誤分類(lèi)為負(fù)）的正樣本;N專(zhuān)家：修正誤檢（負(fù)樣本誤分類(lèi)為正）的正樣本。

3? ?TLD目標(biāo)跟蹤算法的改進(jìn)（Improvement of TLDtarget tracking algorithms）

經(jīng)典TLD算法的跟蹤模塊采用的是基于雙向軌跡的LK光流法，其中假設(shè)亮度守恒是光流法使用的前提，但在實(shí)際應(yīng)用中，由于遮擋、光度變化和噪聲等干擾源的存在，亮度守恒定律往往不能滿(mǎn)足。較大的光照變化可能導(dǎo)致目標(biāo)的丟失，并且目標(biāo)平面旋轉(zhuǎn)、形變等情況也會(huì)導(dǎo)致光流法無(wú)法形成運(yùn)動(dòng)矢量場(chǎng)，大大增加目標(biāo)位置的確定難度，甚至導(dǎo)致跟蹤失敗。

為了解決上面的問(wèn)題，采用SIFT特征匹配算法[14]來(lái)進(jìn)行目標(biāo)的跟蹤。SIFT全稱(chēng)尺度不變特征變換。它的原理是將在圖像中檢測(cè)到的特征點(diǎn)，采用一個(gè)維數(shù)為128的特征向量來(lái)進(jìn)行描述，所以根據(jù)上面的說(shuō)法，一幅圖像經(jīng)由SIFT算法描述后，即成為一個(gè)維數(shù)是128的特征向量集，轉(zhuǎn)化后的特征向量集具有下列性質(zhì)：（1）對(duì)圖像縮放、平移、旋轉(zhuǎn)不變等特征，具有一定不變性;（2）對(duì)于應(yīng)對(duì)光照變化，仿射和投影變換，穩(wěn)定性同樣上一個(gè)臺(tái)階。

該算法的實(shí)現(xiàn)主要可分為六個(gè)步驟：

（1）建立高斯差分金字塔模型，進(jìn)行尺度空間的構(gòu)建。對(duì)原始圖像進(jìn)行尺度變換，得到圖像多尺度下的尺度空間表示序列，并從這些序列中，提取尺度空間主輪廓部分。

（2）空間極值點(diǎn)檢測(cè)[15]。

（3）關(guān)鍵點(diǎn)的精確定位。由于DOG值對(duì)噪聲和邊緣敏感[16]這一特點(diǎn)，在上步檢測(cè)到的局部極值點(diǎn)還要進(jìn)一步的篩選，以便去掉不穩(wěn)定和誤檢出的極值點(diǎn)。

（4）關(guān)鍵點(diǎn)方向信息分配。通過(guò)求極值點(diǎn)的梯度來(lái)完成對(duì)方向的分配。對(duì)于上述關(guān)鍵點(diǎn)，其梯度幅值表述為：

（5）關(guān)鍵點(diǎn)表征。David G.Lowed[17]的實(shí)驗(yàn)結(jié)果表明：對(duì)每個(gè)關(guān)鍵點(diǎn)，運(yùn)用128維向量的描述子進(jìn)行關(guān)鍵點(diǎn)表征時(shí)，綜合效果最好。

（6）特征點(diǎn)匹配。量比較兩組特征點(diǎn)的128維關(guān)鍵點(diǎn)的歐式距離[18]來(lái)實(shí)現(xiàn)。得到的結(jié)果越小，說(shuō)明相似度越高，當(dāng)結(jié)果小于設(shè)定的閾值時(shí)，便可以判定匹配成功。

4? ?實(shí)驗(yàn)結(jié)果及分析（Experimental results and

SIFT特征作為圖像的局部特征，應(yīng)對(duì)較差的跟蹤環(huán)境時(shí)穩(wěn)定性很好。首先對(duì)于David視頻測(cè)試集，在跟蹤過(guò)程中目標(biāo)發(fā)生了較大的光照變化、平面旋轉(zhuǎn)和目標(biāo)短時(shí)間被遮擋的問(wèn)題，TLD算法跟蹤到了628幀，改進(jìn)算法跟蹤到699幀。對(duì)于Football測(cè)試集，在跟蹤過(guò)程中，視頻目標(biāo)發(fā)生了自身形變和遮擋等問(wèn)題，且目標(biāo)消失一段時(shí)間后，又出現(xiàn)在視野范圍中，針對(duì)該種情況TLD算法跟蹤效果較差，只成功跟蹤了168幀，而改進(jìn)算法跟蹤效果較好，成功跟蹤了329幀。對(duì)于FaceOcc2測(cè)試集，目標(biāo)幾乎發(fā)生了在前兩個(gè)測(cè)試集中所遇到的全部變化，測(cè)試結(jié)果為：TLD算法跟蹤到727幀，而改進(jìn)算法幾乎成功跟蹤到每幀的目標(biāo)。對(duì)于Jumping測(cè)試集，出現(xiàn)攝像頭抖動(dòng)問(wèn)題，TLD算法成功跟蹤了303幀，改進(jìn)算法成功跟蹤到了每一幀目標(biāo)。最后對(duì)于Carchase測(cè)試集，由于幀數(shù)很多，TLD跟蹤到了2655幀，改進(jìn)后的TLD則成功跟蹤了3349幀的目標(biāo)。以下為具體分析。

5? ?結(jié)論（Conclusion）

TLD跟蹤算法是近些年來(lái)提出的高性能跟蹤方法之一，受到了人們的極大關(guān)注。采用在線學(xué)習(xí)的方法，即使先驗(yàn)信息很少，也能通過(guò)學(xué)習(xí)追蹤到目標(biāo)的位置，為長(zhǎng)時(shí)間跟蹤開(kāi)拓了道路。本文在原始TLD算法框架的基礎(chǔ)上，引入SIFT特征匹配算法，使其與TLD進(jìn)行結(jié)合從而得到了一種TLD改進(jìn)跟蹤方法。本文通過(guò)相應(yīng)的視頻數(shù)據(jù)集分別對(duì)原始TLD算法和TLD改進(jìn)算法進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果顯示改進(jìn)后的TLD算法在應(yīng)對(duì)嚴(yán)重遮擋、形變，或者場(chǎng)景發(fā)生較大的光照、旋轉(zhuǎn)變化時(shí)，同樣有很好的跟蹤效果，并且在長(zhǎng)時(shí)間跟蹤方面也不受影響。下一步對(duì)TLD的研究方向可以轉(zhuǎn)向目標(biāo)選擇自動(dòng)化和多目標(biāo)跟蹤，大大節(jié)約跟蹤時(shí)間和成本，構(gòu)建更加完整的跟蹤體系。

參考文獻(xiàn)（References）

[1] DalalN，Triggs B.Histograms of oriented gradients for human detection[C].Computer Vision and Pattern Recognition，2005.IEEE Computer Society Conference on.IEEE，2005，1：886-893.

[2] Park J M，Choi H C，Oh S Y.Real-time vehicle detection in urban traffic using Ada Boost[C].International Conference on Intelligent Robots and Systems，2010：3598-3603.

[3] X.Li，W.Hu，C.Shen，et al.A Survey of Appearance Models in Visual Object Tracking[C].TIST，2013.

[4] 岡薩雷斯.數(shù)字圖像處理[M].北京：電子工業(yè)出版社，2004.

[5] Yilmaz A，Javed O，Shah M.Object tracking：A survey[J].Acm computing surveys（CSUR），2006，38（4）：13.

[6] Moravec H P.Visual mapping by a robot rover[C].Proceedings of the 6th international joint conference on Artificial intelligence-Volume 1.Morgan Kaufmann Publishers Inc.，1979：598-600.

[7] Shi C，Stephens M.A combined corner and edge detector[C].Alvey vision conference，1988，15：50.

[8] Lowe DG.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision，2004，60（2）：91-110.

[9] Kuehnle A.Symmetry-based recognition of vehicle rears[J].Pattern recognition letters，1991，12（4）：249-258.

[10] Srinivasa N.Vision-based vehicle detection and tracking method for forward collision warning in automobiles[C].Intelligent Vehicle? Symposium，2002.IEEE，2002（2）：626-631.

[11] 伍健榮，杜向龍，劉海濤.一種基于Kalman濾波器的自適應(yīng)背景建模改進(jìn)算法[J].傳感器與微系統(tǒng)，2012，31（1）：52-54.

[12] 張蕾.基于視頻的交通運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱工程大學(xué)，2007.

[13] 李敏敏.基于TLD模型的目標(biāo)跟蹤方法[D].西安電子科技大學(xué)，2013.

[14] 張佳威，支瑞峰.光流算法比較分析研究[J].現(xiàn)代電子技術(shù)，2013，36（13）：39-42.

[15] Funk N.A study of the Kalman filter applied to visual tracking[R].University of Alberta，Project for CMPUT，2003（1）：26.

[16] 薛陳，朱明，劉春香.遮擋情況下目標(biāo)跟蹤算法綜述[J].中國(guó)光學(xué)與應(yīng)用光學(xué)，2009，2（5）：388-394.

[17] 張帥領(lǐng).基于TLD的視頻目標(biāo)跟蹤算法研究[D].西安電子科技大學(xué)，2014.

[18] 薛亞陽(yáng).基于圖像處理的運(yùn)行目標(biāo)跟蹤算法研究[D].西安工業(yè)大學(xué)，2012.