張文明 侯建平 朱向東 李海濱 高雅昆 李雅倩

摘要：視覺目標(biāo)跟蹤在智能監(jiān)控和人機(jī)交互等領(lǐng)域有著廣泛的應(yīng)用。該文針對時(shí)空上下文（sTc）跟蹤算法尺度適應(yīng)性不強(qiáng)的問題進(jìn)行研究，提出一種尺度優(yōu)化的時(shí)空上下文目標(biāo)跟蹤算法。首先，提出一種新型加權(quán)濾波函數(shù)，濾除圖像的高頻信息，提升算法的精度;其次，定義兩種判別標(biāo)準(zhǔn)，實(shí)現(xiàn)時(shí)空上下文模型的自適應(yīng)更新;最后，通過相關(guān)性原理訓(xùn)練尺度濾波器，估計(jì)出目標(biāo)的尺度大小，提高算法的尺度適應(yīng)性。實(shí)驗(yàn)表明：提出的跟蹤算法能有效改善sTc跟蹤算法的尺度更新缺陷問題，提高sTc跟蹤算法的跟蹤精度，與近年來出現(xiàn)的基本跟蹤算法相比，該算法有著良好的跟蹤效果。該算法在AMD-A6處理器、2.7GHZ主頻、4GB內(nèi)存的計(jì)算機(jī)硬件平臺下，實(shí)現(xiàn)68f/s的實(shí)時(shí)跟蹤速度。

關(guān)鍵詞：目標(biāo)跟蹤;時(shí)空上下文;尺度優(yōu)化;濾波函數(shù)

中圖分類號：TP391.4文獻(xiàn)標(biāo)志碼：A 文章編號：1674-5124（2019）04-0001-08

0引言

基于視覺的目標(biāo)跟蹤是計(jì)算機(jī)視覺研究領(lǐng)域中的一個(gè)重要課題，它被廣泛應(yīng)用到智能交通、運(yùn)動(dòng)分析等領(lǐng)域。雖然近年來目標(biāo)跟蹤技術(shù)取得了良好進(jìn)展，但是仍然面臨著尺度變化、光照變化、部分遮擋等挑戰(zhàn)，因此設(shè)計(jì)出一種可以解決這些問題的跟蹤器顯得尤為重要。根據(jù)目標(biāo)的外觀模型，可以將現(xiàn)有的跟蹤方法分成判別式跟蹤方法和生成式跟蹤方法兩類。其中，生成式跟蹤方法主要是通過建立的表觀模型找到與其相似度最大的區(qū)域來確定目標(biāo)，而判別式跟蹤方法是借助訓(xùn)練出的分類器隔離出目標(biāo)和背景區(qū)域從而確定目標(biāo)位置。

近年來，相關(guān)濾波器的目標(biāo)跟蹤算法表現(xiàn)出良好的跟蹤性能，這些算法利用均方誤差模型所建立的分類器學(xué)習(xí)濾波模型，通過響應(yīng)評分的峰值預(yù)估出目標(biāo)的位置，并且在跟蹤期間通過傅里葉變換來提升處理速度。相關(guān)濾波的目標(biāo)跟蹤方法作為一種判別式跟蹤方法，逐漸由最初的基于最小均方誤差和濾波器的跟蹤（MOSSE），和基于核循環(huán)矩陣的跟蹤方法（CSK）逐步發(fā)展為多模板、多特征的跟蹤方法。

相關(guān)濾波理論提出之后，Zhang等結(jié)合貝葉斯估計(jì)理論提出了高速的時(shí)空上下文（sTC）跟蹤方法，這種方法是一種生成式跟蹤算法，它將目標(biāo)周圍的上下文信息考慮在內(nèi)，利用目標(biāo)在上下文區(qū)域各位置的置信圖估計(jì)出目標(biāo)的最佳位置，該方法不僅跟蹤速度快，而且加入了尺度更新機(jī)制，但是尺度的自適應(yīng)性并不強(qiáng);隨后，劉威等在STC跟蹤器的基礎(chǔ)上加入了類似于中值流跟蹤算法的運(yùn)動(dòng)估計(jì)模塊，有效避免了跟蹤目標(biāo)丟失的情況;文獻(xiàn)[11]和文獻(xiàn)[12]建立了相應(yīng)的遮擋判別機(jī)制，利用峰值旁瓣比（PSR）判斷目標(biāo)跟蹤是否失敗，有效提升了STC跟蹤器的抗干擾特性;Jiang等在STC跟蹤器的基礎(chǔ)上利用多特征融合后的置信圖求取目標(biāo)的預(yù)測位置，并且采用元細(xì)胞動(dòng)機(jī)理論更新不同特征對應(yīng)的置信圖，實(shí)現(xiàn)了魯棒性跟蹤效果。盡管近幾年的這些算法有效提升了STC算法的跟蹤精度，然而這些方法并沒有優(yōu)化尺度更新策略，對目標(biāo)尺度不斷變化的序列處理效果仍然不佳。鑒于目前大多數(shù)算法存在忽略尺度變化的問題，文獻(xiàn)[14]和文獻(xiàn)[15]陸續(xù)提出了一系列尺度更新方案，一定程度上解決了尺度自適應(yīng)問題，但這些算法的穩(wěn)定性和實(shí)時(shí)性較差。

本文針對STC跟蹤器尺度估計(jì)不準(zhǔn)確問題，結(jié)合相關(guān)性理論提出一種尺度優(yōu)化的時(shí)空上下文目標(biāo)跟蹤方法。首先對圖像序列進(jìn)行預(yù)處理濾波濾除圖像的高頻信息，然后利用提出的判別條件實(shí)現(xiàn)時(shí)空上下文模型的自適應(yīng)更新，最后按照文獻(xiàn)[9]的跟蹤流程實(shí)現(xiàn)目標(biāo)的位置估計(jì)。此外，本文通過尺度金字塔估計(jì)目標(biāo)的尺度大小，優(yōu)化了原有的尺度更新策略，有效減少了由于尺度適應(yīng)性不強(qiáng)造成目標(biāo)丟失的情況。

1.STC跟蹤器

STC跟蹤算法主要是利用可以反映目標(biāo)位置的概率（目標(biāo)位置似然的置信圖）來實(shí)現(xiàn)整體的跟蹤過程。假如x表示目標(biāo)搜索區(qū)域內(nèi)任意位置，o為需要跟蹤的目標(biāo)，X*為目標(biāo)中心位置，Ωc（X*）為目標(biāo)的上下文搜索區(qū)域，則目標(biāo)在X處出現(xiàn)的概率為

sTc跟蹤器利用目標(biāo)的上下文信息有效提高了跟蹤的效果，但依然存在問題：式（9）表明時(shí)空上下文模型的更新是無條件的，忽略了運(yùn)動(dòng)期間目標(biāo)靜止不動(dòng)等情況;跟蹤前的預(yù)處理濾波工作并不徹底;尺度估計(jì)依賴于置信圖，一旦置信圖求解出錯(cuò)，算法將無法正確估計(jì)出目標(biāo)的尺度大小。

2尺度優(yōu)化的時(shí)空上下文目標(biāo)跟蹤

本文針對以上問題，對文獻(xiàn)[9]提出的跟蹤方法加以改進(jìn)，圖1給出了本算法的基本流程圖。流程圖顯示，本算法整體的跟蹤過程包括位置估計(jì)、尺度估計(jì)兩部分，本文首先利用sTc跟蹤框架確定目標(biāo)的位置，然后利用求得的位置構(gòu)建尺度特征金字塔估計(jì)出目標(biāo)的尺度。

2.1位置估計(jì)

位置估計(jì)期間利用傅里葉變換可以顯著改善處理速度，但會對圖像邊緣產(chǎn)生一定的影響，引起頻域泄露現(xiàn)象。因此，傅里葉變換之前采用一種加權(quán)濾波函數(shù)，過濾掉這些高頻信息，如式（11）。實(shí)際上，這種加權(quán)濾波函數(shù)完全可以看成一種低通濾波器。

由于圖像的預(yù)處理過程直接對算法的置信圖產(chǎn)生影響，對此可以通過置信圖評判該方案的優(yōu)劣性。以basketball為例，圖2為預(yù)處理濾波后算法和原算法的置信圖每一幀的峰值數(shù)據(jù)曲線，圖3為該序列對應(yīng)的中心位置誤差對比曲線（中心位置誤差的定義在后續(xù)實(shí)驗(yàn)部分進(jìn)行了說明）。圖4跟蹤效果對比圖曲線顯示500幀以后，原算法的目標(biāo)中心位置誤差達(dá)100像素以上，很明顯發(fā)生目標(biāo)丟失的情況;同樣此時(shí)置信圖的峰值波動(dòng)也比較明顯，圖給出了相應(yīng)的跟蹤效果圖。效果圖顯示485幀時(shí)目標(biāo)靠近到其他物體附近，此幀后目標(biāo)逐步跟丟;而進(jìn)行圖像預(yù)處理濾波之后目標(biāo)框體并未發(fā)生漂移，一直跟隨物體運(yùn)動(dòng)，和原算法的處理方案相比有著良好的跟蹤效果。

常規(guī)模型更新由于沒有考慮到置信圖的能量變化，不具備一定的判別性，因此需要對其更新策略加以優(yōu)化，實(shí)現(xiàn)模型的自適應(yīng)更新，且文獻(xiàn)[5]和文獻(xiàn)[17]已經(jīng)通過判別標(biāo)準(zhǔn)PSR取得了良好的跟蹤效果。對此，本文提出干擾判別標(biāo)準(zhǔn)δ1、δ2用于優(yōu)化時(shí)空上下文模型的更新策略，如式（12）、式（13）所示：

為了評估尺度優(yōu)化對文獻(xiàn)[9]跟蹤效果的影響，驗(yàn)證本文提出的尺度優(yōu)化的跟蹤方法的有效性，將只改進(jìn)尺度估計(jì)部分的算法定義為多尺度時(shí)空上下文目標(biāo)跟蹤算法（s-STC），將本文最終算法定義為尺度優(yōu)化的時(shí)空上下文跟蹤算法（s-WWSTC）。

3實(shí)驗(yàn)評估

3.1實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的硬件環(huán)境為AMD-A6處理器，主頻為2.7GHz，內(nèi)存4GB配置的計(jì)算機(jī)，算法的開發(fā)平臺為Matlab R2014a。實(shí)驗(yàn)測試序列來源于標(biāo)準(zhǔn)跟蹤數(shù)據(jù)集VOT、benchmark，視頻序列中包含了目標(biāo)跟蹤當(dāng)中常見的挑戰(zhàn)性場景，包括光照變化、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、目標(biāo)遮擋、尺度變化等情況。

3.2評價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用文獻(xiàn)常見的評估標(biāo)準(zhǔn)對算法性能進(jìn)行測試。這些評估標(biāo)準(zhǔn)包括中心位置誤差CLE（實(shí)際的目標(biāo)中心位置坐標(biāo)與人工標(biāo)定坐標(biāo)之間的歐式距離，該值越大，跟蹤效果不好）、距離精度DP（CLE小于設(shè)定閾值的視頻幀數(shù)與圖像序列總幀數(shù)的比值，DP值越大，跟蹤效果越好）、重疊率OR（跟蹤獲得的目標(biāo)區(qū)域與人工標(biāo)定目標(biāo)區(qū)域交集和并集的面積比，OR越大，跟蹤效果越好）、成功率SR（OR大于設(shè)定閾值的幀數(shù)與圖像序列總幀數(shù)的比值，SR的高低反應(yīng)了跟蹤性能的優(yōu)劣）。此外，以每秒處理視頻的幀數(shù)（f/s）來評估各跟蹤算法的跟蹤效率。

3.3實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文位置估計(jì)部分提出的WWSTC算法較STC算法相比有著較好的跟蹤性能，本文選取了公開數(shù)據(jù)集中的14個(gè)視頻序列，它們包含了光照變化，遮擋，尺度變化，雜亂變化等干擾。由于WWSTC是在位置估計(jì)部分對原算法進(jìn)行改進(jìn)，進(jìn)而主要影響著CLE、OP兩種指標(biāo)。表1給出了STC，WWSTC兩種算法的CLE對比結(jié)果（由于STC跟蹤器的尺度適應(yīng)性不強(qiáng)，從而導(dǎo)致Women，RedTeam，Tunnel3個(gè)序列跟蹤出錯(cuò)，無法計(jì)算出最終的結(jié)果，文中采用S-STC算法求得的數(shù)據(jù)代替，在表中用括號表示），相應(yīng)的距離精度對比結(jié)果如圖5所示（此時(shí)的閾值固定為20個(gè)像素）。

結(jié)果顯示，WWSTC算法較原有的STC跟蹤器相比在各類視頻中取得了良好的跟蹤性能，平均中心位置誤差比STC算法減少了26.63個(gè)像素（其中BlurFace序列的中心位置誤差由原來的112個(gè)像素減少到5.82個(gè)像素值，basketball序列由74.9個(gè)像素減小到8.7個(gè)像素）。

為了證實(shí)尺度估計(jì)部分對算法的影響，同樣選取上述視頻序列，將S-STC算法、WWSTC算法、最后的S-WWSTC算法與STC算法進(jìn)行對比實(shí)驗(yàn)。由于算法中的尺度估計(jì)與位置估計(jì)兩部分相互獨(dú)立的，因此尺度部分主要影響著跟蹤的重疊率和成功率。圖6給出了這四種算法在測試視頻序列中的重疊率和成功率對比結(jié)果（鑒于STC算法在個(gè)別視頻中效果較差，導(dǎo)致跟蹤期間跟蹤窗體消失，無法計(jì)算出women、RedTeam、tunnel序列的重疊率和成功率;WWSTC算法雖然一定程度上提升了跟蹤效果，對于RedTeam序列仍然出現(xiàn)跟蹤出錯(cuò)的情況。因此圖6中women序列為3個(gè)顏色條，RedTeam為兩個(gè)顏色條，tunnel為3個(gè)顏色條）。由此可見，不僅S-STC算法改善了STC跟蹤器的跟蹤重疊率和成功率，而且提出的S-WWSTC算法進(jìn)一步提升了WWSTC算法的跟蹤性能，足以體現(xiàn)本文尺度優(yōu)化算法的優(yōu)越性。綜合以上位置估計(jì)和尺度估計(jì)的對比實(shí)驗(yàn)，可以證明，本文提出的S-WWSTC算法明顯提高了STC算法的跟蹤效果。

為了進(jìn)一步評估算法的整體性能，選取近年來出現(xiàn)的4種方法CSK、TLD、CT、ST和本文最終的S-WWSTC算法進(jìn)行比較，圖7給出了這些算法在部分具有代表性的圖像序列的跟蹤結(jié)果。圖7（a）中的目標(biāo)存在快速運(yùn)動(dòng)、旋轉(zhuǎn)、光照變化等情況，只有本文算法和CSK算法一直準(zhǔn)確跟蹤到目標(biāo)，其他算法均出現(xiàn)漂移現(xiàn)象;圖7（b）出現(xiàn)背景相似和遮擋情況，本文算法始終能夠跟蹤到圖中的易拉罐，并且能夠準(zhǔn)確適應(yīng)目標(biāo)的尺度變化;圖7（c）中的目標(biāo)姿態(tài)發(fā)生明顯變化，除了本文算法，其他算法均出現(xiàn)了明顯的漂移現(xiàn)象。

圖8給出了上述視頻集中5種算法的精度及成功率對比曲線。曲線顯示，本文算法較其他算法相比有著較高的距離精度和成功率。

為了體現(xiàn)本文算法的跟蹤效率，在AMD-A6處理器、2.7GHz主頻、4GB內(nèi)存的計(jì)算機(jī)硬件平臺下，對上述5種算法進(jìn)行了仿真對比。表2為這些算法的平均速度對比結(jié)果。數(shù)據(jù)顯示，雖然本文提出的算法雖然速度上與STC跟蹤器、CSK跟蹤器相比略有不足，但68f/s的平均跟蹤速度足以滿足實(shí)時(shí)跟蹤的需要。

4結(jié)束語

本文針對原有STC跟蹤器尺度適應(yīng)能力不強(qiáng)的問題，提出了自適應(yīng)尺度的目標(biāo)跟蹤方法，使得該算法對尺度變化的運(yùn)動(dòng)目標(biāo)具有更強(qiáng)的適應(yīng)能力，有效提高了跟蹤的準(zhǔn)確度和成功率。首先，通過對圖像序列進(jìn)行預(yù)處理濾波，濾除圖像的高頻信息量;其次，利用干擾判別條件優(yōu)化時(shí)空模型的更新策略，實(shí)現(xiàn)模型的自適應(yīng)更新;此外，利用相關(guān)性原理構(gòu)建尺度金子塔，實(shí)現(xiàn)目標(biāo)的尺度自適應(yīng)。實(shí)驗(yàn)表明，本算法在目標(biāo)發(fā)生尺度變化、光照變化、姿態(tài)變化、部分遮擋、旋轉(zhuǎn)及快速運(yùn)動(dòng)等復(fù)雜情況下均能獲得良好的跟蹤效果。本算法在AMD-A6處理器、2.7GHz主頻、4GB內(nèi)存的計(jì)算機(jī)硬件平臺下，實(shí)現(xiàn)了68f/s的實(shí)時(shí)跟蹤速度。