易 詩(shī)，林凡強(qiáng)，周姝穎

(成都理工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都 610059)

基于改進(jìn)TLD的自動(dòng)目標(biāo)跟蹤方法

易 詩(shī)，林凡強(qiáng)，周姝穎

(成都理工大學(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都 610059)

視覺(jué)跟蹤一直是機(jī)器視覺(jué)研究熱點(diǎn)，TLD(tracking-learning-detection)算法是近年來(lái)出現(xiàn)的一種高效的視覺(jué)跟蹤算法，針對(duì)TLD算法中Lucas-Kanade(LK)光流法無(wú)法有效跟蹤物體快速移動(dòng)和尺度變化的問(wèn)題，采用金字塔光流法對(duì)TLD算法進(jìn)行改進(jìn)。并將所跟蹤物體形心作為圖像定位參考點(diǎn)，提取物體定位信息，通過(guò)定位信息運(yùn)用比例-積分-微分(proportion-integral-derivative，PID)控制算法控制攝像頭舵機(jī)云臺(tái)轉(zhuǎn)向，使攝像頭快速、靈活、精確地自動(dòng)跟蹤指定物體。通過(guò)系統(tǒng)測(cè)試，與傳統(tǒng)TLD算法對(duì)比，采用金字塔光流法改進(jìn)的TLD目標(biāo)跟蹤算法在跟蹤目標(biāo)發(fā)生光照變化、尺度變化等情況時(shí)，具有更加優(yōu)良的跟蹤性能，準(zhǔn)確將跟蹤目標(biāo)形心位置提供給控制部分，控制算法高效靈活，在獲取信息后精確、快速地控制攝像頭方位，使其正對(duì)跟蹤目標(biāo)。該系統(tǒng)對(duì)目標(biāo)跟蹤技術(shù)、安防技術(shù)、自動(dòng)瞄準(zhǔn)系統(tǒng)具有重大意義。

TLD算法；金字塔光流法；圖像定位；比例-積分-微分(PID)控制算法

0 引 言

目標(biāo)跟蹤是機(jī)器視覺(jué)的研究熱點(diǎn)，在機(jī)器視覺(jué)研究領(lǐng)域，對(duì)任意目標(biāo)的鎖定和跟蹤具有很大的研究意義。目標(biāo)跟蹤要求設(shè)備根據(jù)輸入視頻流檢測(cè)發(fā)現(xiàn)目標(biāo)、鎖定目標(biāo)、跟蹤目標(biāo)[1]。

近年來(lái)出現(xiàn)眾多目標(biāo)跟蹤算法，如連續(xù)自適應(yīng)均值漂移(continuously adaptive mean-shift，cam shift)算法、快速壓縮跟蹤算法、核相關(guān)濾波器(kernelized correlation filters,KCF)算法、(tracking-learning-detection，TLD)算法等。其中，TLD算法以其需要先驗(yàn)信息較少、具備在線(xiàn)學(xué)習(xí)能力、長(zhǎng)期對(duì)目標(biāo)跟蹤的魯棒性?xún)?yōu)良，適應(yīng)于視頻采集系統(tǒng)與目標(biāo)均為動(dòng)態(tài)的場(chǎng)合。TLD算法實(shí)時(shí)、高效、跟蹤穩(wěn)定，但也存在無(wú)法有效跟蹤光線(xiàn)變化和尺度變化的目標(biāo)，本文對(duì)TLD算法中跟蹤器采用的LK光流法進(jìn)行改進(jìn)，采用金字塔光流法，改進(jìn)后的TLD算法對(duì)光線(xiàn)和尺度變化的目標(biāo)的跟蹤性能提升顯著[2]。

本文同時(shí)設(shè)計(jì)了根據(jù)所跟蹤物體形心作為圖像定位參數(shù)的自動(dòng)跟蹤攝像頭，根據(jù)被跟蹤物體的在視頻中的位置信息，采用比例-積分-微分(proportion-integral-derivative，PID)控制算法控制攝像頭舵機(jī)云臺(tái)，使攝像頭跟隨鎖定物體各個(gè)方向轉(zhuǎn)動(dòng)，達(dá)到自動(dòng)跟蹤的目的，這種改進(jìn)的TLD目標(biāo)跟蹤方法對(duì)于智能機(jī)器人技術(shù)有非常重大意義[3]。

1 目標(biāo)跟蹤算法

1.1 TLD目標(biāo)跟蹤算法

TLD算法是一種目前相當(dāng)高效、運(yùn)用廣泛的目標(biāo)檢測(cè)跟蹤算法，算法主體為3部分：跟蹤模塊、在線(xiàn)學(xué)習(xí)模塊和檢測(cè)模塊[4]。算法首先指定跟蹤目標(biāo)，通過(guò)目標(biāo)檢測(cè)模塊捕捉目標(biāo)運(yùn)動(dòng)特性，將檢測(cè)模塊初始化、跟蹤模塊與檢測(cè)模塊協(xié)同工作，對(duì)跟蹤目標(biāo)位置進(jìn)行鎖定；在線(xiàn)學(xué)習(xí)模塊通過(guò)鎖定與預(yù)測(cè)數(shù)據(jù)不斷對(duì)跟蹤模塊與檢測(cè)模塊的參數(shù)進(jìn)行更新；同時(shí)，跟蹤模塊與檢測(cè)模塊對(duì)在線(xiàn)學(xué)習(xí)模塊進(jìn)行數(shù)據(jù)反饋，更新在線(xiàn)學(xué)習(xí)模塊參數(shù)。3個(gè)模塊工作于閉環(huán)狀態(tài)，形成一個(gè)在線(xiàn)學(xué)習(xí)系統(tǒng)，高效準(zhǔn)確地確定運(yùn)動(dòng)目標(biāo)所處位置[5]。算法流程如圖1所示。

現(xiàn)行TLD算法的核心跟蹤部分位于跟蹤模塊中，跟蹤模塊使用Lucas-Kanade(LK)光流法。LK算法基本原理在于捕捉運(yùn)動(dòng)物體特征點(diǎn)，利用視頻每幀間目標(biāo)特征點(diǎn)所產(chǎn)生的矢量光流場(chǎng)進(jìn)行跟蹤，用均值的方法對(duì)下一幀跟蹤目標(biāo)位移方向進(jìn)行預(yù)測(cè)。根據(jù)該原理，視頻幀產(chǎn)生的新特征點(diǎn)均被捕捉跟蹤，目標(biāo)跟蹤具有很強(qiáng)魯棒性，然而，LK光流法對(duì)目標(biāo)跟蹤具備如下3個(gè)假設(shè)。

圖1 TLD算法流程圖Fig.1 TLD algorithm flow chart

1)跟蹤目標(biāo)光照和亮度恒定，目標(biāo)像素與外觀在相鄰幀間基本保持不變；

2)跟蹤目標(biāo)運(yùn)動(dòng)幅度不大，在連續(xù)時(shí)間點(diǎn)上為小運(yùn)動(dòng)；

3)相同背景空間上，跟蹤目標(biāo)鄰近點(diǎn)運(yùn)動(dòng)相似，在圖像上鄰近區(qū)域投影相同。

而對(duì)于自動(dòng)視覺(jué)跟蹤系統(tǒng)，目標(biāo)和識(shí)別設(shè)備都處于動(dòng)態(tài)環(huán)境中，跟蹤物體的亮度、運(yùn)動(dòng)中的尺度變化、物體所處空間環(huán)境變化均存在，因此，需要對(duì)經(jīng)典TLD算法做出一定改進(jìn)[6]。

1.2 改進(jìn)的目標(biāo)跟蹤器

在動(dòng)態(tài)環(huán)境中，為更好使用TLD算法對(duì)物體進(jìn)行跟蹤，需要對(duì)跟蹤器中的LK光流算法做出一定改進(jìn)。

在動(dòng)態(tài)應(yīng)用的跟蹤環(huán)境下，目標(biāo)運(yùn)動(dòng)速度較快，難以滿(mǎn)足光流估計(jì)方法的約束條件，為了解決這個(gè)問(wèn)題，引入金字塔光流法。金字塔光流法的特點(diǎn)在于其采用多分辨率的表現(xiàn)方法，不同分辨率層可以表示不同尺度目標(biāo)。首先，在金字塔頂層計(jì)算光流，得到的運(yùn)動(dòng)估計(jì)特征作為下一層的初始點(diǎn)；然后，重復(fù)該過(guò)程直至底層，從而實(shí)現(xiàn)目標(biāo)快速跟蹤[7]。其原理如圖2所示。

圖2 金字塔光流法原理圖Fig.2 Schematic diagram pyramid optical flow method

金字塔光流法將原圖像作為金字塔最頂層輸入，將圖像減采樣至原來(lái)尺寸的1/2N(N=1)，運(yùn)行一次LK算法后獲得下一層圖像輸入，該層相鄰幀間像素移動(dòng)距離為D/2N，D為幀間目標(biāo)像素運(yùn)動(dòng)距離，當(dāng)層數(shù)達(dá)到一定值時(shí)(通常3～5層),可滿(mǎn)足光流法約束條件，其算法流程如圖3所示。

圖3 金字塔光流法流程圖Fig.3 Pyramid optical flow method flow chart

Vf為初始目標(biāo)運(yùn)動(dòng)速度，在金字塔頂層Vf=0，細(xì)節(jié)最少，ΔVf為f層的光流計(jì)算結(jié)果，作為下層圖像運(yùn)動(dòng)估計(jì)，并根據(jù)這一規(guī)則計(jì)算該幀光流，直至金字塔底層。

采用金字塔光流法使目標(biāo)跟蹤算法對(duì)物體光線(xiàn)變化、運(yùn)動(dòng)、尺度變化的跟蹤有了明顯改善。

2 自動(dòng)跟蹤控制算法

2.1 圖像定位算法

系統(tǒng)采用改進(jìn)的TLD算法對(duì)目標(biāo)進(jìn)行跟蹤，對(duì)跟蹤鎖定的目標(biāo)物體提取其形心，以確定當(dāng)前物體位于圖像中的精確位置信息[8]。

物體形心的計(jì)算需先將圖像轉(zhuǎn)化為二值圖像，根據(jù)形心計(jì)算公式

(1)

(1)式中：x0，y0為形心坐標(biāo)；f(x,y)為二值圖像在(x,y)處坐標(biāo)值。根據(jù)(1)式計(jì)算出跟蹤物體的形心，通過(guò)形心計(jì)算，可以確定跟蹤物體中心在圖像中具體坐標(biāo)，提供該物體的定位信息。

2.2 攝像頭自動(dòng)跟蹤控制算法

系統(tǒng)采用舵機(jī)控制板連接二自由度舵機(jī)云臺(tái)架設(shè)攝像頭，目標(biāo)跟蹤算法將舵機(jī)轉(zhuǎn)向數(shù)據(jù)與命令通過(guò)串口發(fā)送給舵機(jī)控制板，控制舵機(jī)云臺(tái)轉(zhuǎn)向，使攝像頭具備在二維平面自由旋轉(zhuǎn)跟蹤的功能，跟蹤系統(tǒng)框架如圖4所示。

圖4 跟蹤系統(tǒng)框架圖Fig.4 Tracking system frame diagram

為控制舵機(jī)云臺(tái)架設(shè)的攝像頭能精確、快速跟蹤物體，采用PID算法控制舵機(jī)進(jìn)行轉(zhuǎn)向跟蹤[9]。舵機(jī)控制PID算法公式為

(2)

(2)式中：u(t)為輸出函數(shù)；KP為比例系數(shù)[10]；KI為積分系數(shù)；KD為微分系數(shù)；e(t)為時(shí)域控制函數(shù)。PID算法中，通過(guò)比例部分P進(jìn)行舵機(jī)角度粗調(diào)整，通過(guò)積分部分I對(duì)轉(zhuǎn)向累積誤差進(jìn)行調(diào)整，通過(guò)微分部分D對(duì)轉(zhuǎn)向誤差做出預(yù)期調(diào)整。根據(jù)目標(biāo)運(yùn)動(dòng)速度和舵機(jī)轉(zhuǎn)向速度，通過(guò)調(diào)試。取比例系數(shù)KP=0.000 5，積分系數(shù)KI=0.18，微分系數(shù)KD=0.08[11]。

3 系統(tǒng)測(cè)試

系統(tǒng)算法在Visual2012+opencv2.49環(huán)境下實(shí)現(xiàn)，通過(guò)串口連接舵機(jī)控制板，控制2自由度舵機(jī)云臺(tái)，掛載640像素×480像素高清網(wǎng)絡(luò)攝像頭對(duì)系統(tǒng)的目標(biāo)進(jìn)行跟蹤[12]，做出了完整的測(cè)試。

為對(duì)比系統(tǒng)算法改進(jìn)效果，首先采用傳統(tǒng)TLD跟蹤算法[5]對(duì)目標(biāo)在光線(xiàn)強(qiáng)度變化下的跟蹤效果進(jìn)行測(cè)試，測(cè)試中將茶杯正面翻蓋處作為跟蹤目標(biāo)[13]，系統(tǒng)在第3幀時(shí)鎖定該目標(biāo)進(jìn)行跟蹤，如圖5所示。

由測(cè)試可以看出，采用傳統(tǒng)TLD跟蹤算法在光照強(qiáng)度變化時(shí)，跟蹤形心偏離了目標(biāo)中心點(diǎn)[14]。

再次測(cè)試傳統(tǒng)TLD算法對(duì)跟蹤目標(biāo)尺度變化跟蹤效果，如圖6所示。

由測(cè)試可以看出，采用傳統(tǒng)TLD跟蹤算法在目標(biāo)尺度發(fā)生變化時(shí)，跟蹤形心嚴(yán)重偏離了目標(biāo)中心點(diǎn)，基本失去跟蹤特性[15]。

圖5 目標(biāo)光照強(qiáng)度變化跟蹤測(cè)試Fig.5 Target light intensity change tracking test

圖6 目標(biāo)尺度變化跟蹤測(cè)試Fig.6 Target scale change tracking test

下面使用金字塔光流法改進(jìn)的TLD算法進(jìn)行目標(biāo)跟蹤測(cè)試。

首先，對(duì)目標(biāo)檢測(cè)和跟蹤做出測(cè)試，如圖7所示。

圖7 目標(biāo)檢測(cè)跟蹤測(cè)試Fig.7 Target detection and tracking test

由測(cè)試可以看出，改進(jìn)的TLD算法可以有效鎖定目標(biāo)[16]，同時(shí)攝像頭轉(zhuǎn)向，將目標(biāo)原來(lái)形心(450，280)調(diào)整至(330，250)。

對(duì)目標(biāo)旋轉(zhuǎn)與光照變化的跟蹤測(cè)試如圖8所示。

圖8中，將茶杯翻蓋左旋45°，目標(biāo)光照隨即發(fā)生變化，系統(tǒng)仍然能有效跟蹤目標(biāo)，攝像頭微轉(zhuǎn)向，保持物體形心位于圖像中央部分。

圖8 目標(biāo)旋轉(zhuǎn)和光照變化跟蹤測(cè)試Fig.8 Target rotation and illumination change tracking test

對(duì)目標(biāo)尺度變化的跟蹤測(cè)試如圖9所示。

圖9 目標(biāo)尺度變化跟蹤測(cè)試Fig.9 Target scale change tracking test

圖9中，將茶杯移至離原位置50 cm外，跟蹤目標(biāo)尺度發(fā)生很大變化，同時(shí)一定程度右旋，系統(tǒng)仍然快速鎖定跟蹤目標(biāo)，并微調(diào)攝像頭使目標(biāo)形心處于(300～340，220～260)中。

通過(guò)以上測(cè)試，對(duì)比傳統(tǒng)TLD跟蹤算法，無(wú)論目標(biāo)旋轉(zhuǎn)、位移或光照變化，改進(jìn)的TLD目標(biāo)跟蹤算法具有更高的魯棒性[17]，能夠更準(zhǔn)確地跟蹤指定目標(biāo)。自動(dòng)跟蹤控制算法靈活高效地控制攝像頭轉(zhuǎn)向，隨時(shí)對(duì)準(zhǔn)跟蹤目標(biāo)中心位置。

4 結(jié) 論

采用改進(jìn)TLD算法的自動(dòng)跟蹤攝像頭系統(tǒng)，可以對(duì)任意目標(biāo)進(jìn)行跟蹤，鎖定時(shí)間為3～5幀視頻，目標(biāo)鎖定后，將目標(biāo)旋轉(zhuǎn)10o～90o均可有效鎖定跟蹤。光照發(fā)生一定變化時(shí)，目標(biāo)仍能鎖定。目標(biāo)在0.1～3 m存在移動(dòng)尺度變化的情況下，跟蹤效果良好。攝像頭由舵機(jī)驅(qū)動(dòng)轉(zhuǎn)向，在二維平面內(nèi)自動(dòng)對(duì)準(zhǔn)跟蹤目標(biāo)，調(diào)整時(shí)間為1～3 s，快速靈活，使跟蹤目標(biāo)形心時(shí)刻保持在圖像(300～340，220～260)內(nèi)，處于圖像中心位置。該系統(tǒng)運(yùn)用于安放監(jiān)控、智能機(jī)器人視覺(jué)、無(wú)人機(jī)目標(biāo)跟蹤等領(lǐng)域具有較大意義與潛力。

[1] 王瀛，郭雷，梁楠，等.基于線(xiàn)性變換的高光譜圖像端元提取算法[J].計(jì)算機(jī)仿真，2014，29(12)：329-333. WANG Ying , GUO Lei,LIANG Nan, et al. Based on the linear transformation of the hyperspectral image endmember extraction algorithm [J]. Computer simulation，2014, 29 (12): 329-333

[2] 姜傳賢，楊鐵軍，董明剛，等.基于線(xiàn)性空間隱藏模型的可逆圖像水印算法[J].自動(dòng)化學(xué)報(bào)，2014，12(10)：2324-2333. CHUAN Xianjiang, YANG Tiejun, DONG Minggang,et al.The model of reversible image watermarking algorithm [J]. Automation of hiding based on linear space, 2014, 12 (10): 2324-2333.

[3] 劉祺,王銀玲,吳林恒.基于STM32的圖像采集與顯示系統(tǒng)的研究與設(shè)計(jì)[J].數(shù)字技術(shù)與應(yīng)用,2012(2):94. LIU Qi,WANG Yinling,WU Linheng.Research and design of image acquisition and display system based on[J].STM32 digital technology and application,2012(2):94.

[4] 楊耿.運(yùn)動(dòng)目標(biāo)的圖像識(shí)別與跟蹤研究[D].江蘇:江蘇大學(xué),2005. YANG Geng. Research on image recognition and tracking of moving objects[D]. Jiangsu: Jiangsu University, 2005.

[5] 陳明潔.智能視頻監(jiān)控系統(tǒng)目標(biāo)檢測(cè)和跟蹤技術(shù)分析[J].電視技術(shù)，2008，32(10)：85-91. CHEN Mingjie. Target detection and tracking technology of intelligent video surveillance system [J]. TV technology, 2008, 32 (10): 85-91.

[6] 詹曙，李敏，徐甲甲，等．局域化互信息度量的ACM 下醫(yī)學(xué)圖像的分割[J].電子測(cè)量與儀器學(xué)報(bào)，2013，27(4) : 340-346． ZHAN Shu, LI Min, XU Jiajia,et al. Localization of the mutual information metric ACM medical image segmentation [J]. Journal of electronic measurement and instrument, 2013, 27 (4): 340-346.

[7] 魏星．基于SVM 的山體滑坡災(zāi)害圖像識(shí)別方法[J].電子測(cè)量技術(shù)，2013，36( 8)：65-70． WEI Xing. Image recognition method of landslide disaster based on SVM [J]. Electronic measurement technology, 2013, 36 (8): 65-70.

[8] BABENKO B，YANG M H，BELONGIE S.Visual tracking with online multiple instance learning[C]//Proc. CVPR 2009.New York：IEEE Press，2009：983-990.

[9] VIOLA P A，PLATT J C，ZHANG C. Multiple instance Boosting for object detection[J].Advances in Neural Information Processing Systems，2006(18)：1417-1424.

[10] LIM T Y，RATNAM M M，KHALID M A．Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight,2007,49(3):154-159.

[11] VILAR R，ZAPATA J，RUIZ R．An automatic system of classification of weld defects in radiographic images[J]．NDT and E International， 2009，42(5): 467-476．

[12] ZAPATA J,VILAR R,RUIZ R.An adaptive-network based fuzzy inference system for classification of welding defects[J].NDT & E International,2010,43(3):191-199．

[13] MIRAPEIX J，GARCIA-ALLENDE P B，COBO A，et a1．Real-time arc-welding defect detection and classification with principal component analysis and artificial neural networks[J]．NDT & E International,2007,40(4):315-323．

[14] VINCENT P，LAROCHELLE H，LAJOIE I， et al．Stacked de noising auto encoders: learning useful representations in a deep network with a local de noising criterion[J]．Journal of Machine Learning Research，2010，11(12):3371-3408．

[15] BENGIO Y．Learning deep architectures for AI[J]．Foundations and Trends in Machine Learning，2009，2(1):1-127．

[16] YANG L W，ZENG CH Y，ZHANG Y J．Method for the edge detection of gray-scale image based on the mathematical morphology[J]． Foreign Electronic Measurement Technology，2012，31(2):27-30．

[17] 陳佳，朱長(zhǎng)仁，羅賓．一種 camshift 算法與 brisk 特征點(diǎn)相結(jié)合的運(yùn)動(dòng)目標(biāo)跟蹤方法[J]．重慶理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2015，29(12):112-119． CHEN Jia，ZHU Changren，LUO Bin.A Combination of Camshift Algorithm and Brisk Feature Point for Real Time Moving Target Tracking [J]．Journal of Chongqing University of Technology：Natural Science，2015，29(12):112-119．

易 詩(shī)(1983-)，男，四川成都人，碩士研究生，主要從事機(jī)器視覺(jué)研究，深度學(xué)習(xí)算法研究，信號(hào)與信息處理，嵌入式技術(shù)研究。E-mail:549745481@qq.com。

(編輯：王敏琦)

Automatic tracking method based on improved TLD

YI Shi, LIN Fanqiang, ZHOU Shuying

(College of Information Science and Technology,Chengdu University of Technology, Chengdu 610059,P.R.China)

Visual tracking has been a hot research topic in machine vision, and tracking-learning-detection(TLD) algorithm is a kind of efficient visual tracking algorithm emerging in recent years. Aimed at solving the problem that the Lucas Kanade(LK)optical flow method can not effectively track the object’s rapid moves and scale changes, this paper uses the pyramid optical flow method to improve the TLD algorithm. Tracking the center of the object as the reference point for the image positioning to extract the object location information, using the positioning information and the algorithm PID control algorithm to control the camera gear steering, this way camera can rapidly, flexibly, precisely and automatically track the specified object. By testing the system, improved TLD target tracking algorithm using pyramid optical flow method under illumination and changes has more excellent tracking performance, compared with the traditional TLD algorithm for target tracking. The flexible algorithm can provide accurate target center position for the controlled part, it can steer camera accurately and fast to face the target directly after accessing the information. The system is of great significance to the target tracking technology, security technology, and automatic targeting system.

tracking-learning-detection(TLD) algorithm; pyramid optical flow method; image positioning;proportion-integral-derivative(PID) control algorithm

10.3979/j.issn.1673-825X.2016.06.023

2016-03-22

2016-10-09

易 詩(shī) 549745481@qq.com

TN919.5

A

1673-825X(2016)06-0892-05