蔣秋萍 付小雁,2*

1(首都師范大學(xué)信息工程學(xué)院 北京 100048) 2(電子系統(tǒng)可靠性技術(shù)北京市重點實驗室 北京 100048)

0 引 言

目標(biāo)跟蹤是指根據(jù)圖像信息，應(yīng)用圖像處理技術(shù)對視頻中目標(biāo)進行檢測識別并估計目標(biāo)的位置、軌跡、尺寸等信息以完成更復(fù)雜的高層應(yīng)用任務(wù)。目標(biāo)跟蹤是計算機視覺領(lǐng)域的重要研究課題，在視頻監(jiān)控、行為理解、智能交通、人機交互及自動駕駛等應(yīng)用領(lǐng)域中都發(fā)揮著關(guān)鍵作用。經(jīng)過幾十年的發(fā)展，目標(biāo)跟蹤技術(shù)已取得很大的進展[1-3]，但仍面臨著許多挑戰(zhàn)。物體在視頻中出現(xiàn)的各種無法預(yù)測的變化，如目標(biāo)尺度變化、遮擋、光照變化、目標(biāo)形變及背景干擾等都會對跟蹤結(jié)果產(chǎn)生影響。因此，克服干擾因素，設(shè)計出符合應(yīng)用需求的快速、準(zhǔn)確的跟蹤算法具有重要意義。

近年來，基于判別式相關(guān)濾波(DCF)[7]的跟蹤方法受到廣泛關(guān)注[4-22]。相關(guān)濾波類算法采用循環(huán)移位操作增加樣本數(shù)量，使分類器在密集樣本的訓(xùn)練下更具判別能力，同時借助循環(huán)樣本的對角化特性大大簡化了計算，縮短了計算時間，有效提高了算法的跟蹤速度。但DCF中目標(biāo)框大小固定不變，算法不能實時更新目標(biāo)框的大小，跟蹤精度較低。Martin等[9]采用多尺度手工特征單獨訓(xùn)練尺度濾波器專門用于目標(biāo)尺度更新，實時改變目標(biāo)框的大小，解決了DCF的目標(biāo)框尺度問題，但算法精度為0.72仍有待提高。2013年以來隨著深度學(xué)習(xí)技術(shù)的興起，跟蹤領(lǐng)域中的學(xué)者們也開始去嘗試著將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用該領(lǐng)域中：一方面是端到端深度網(wǎng)絡(luò)的設(shè)計，以SINT和Siamese fc為代表的孿生網(wǎng)絡(luò)跟蹤算法給大家展現(xiàn)了一個較好的跟蹤速度和精度。另一方面是僅使用預(yù)訓(xùn)練的網(wǎng)絡(luò)提取深度卷積特征，特別是相關(guān)濾波結(jié)合深度卷積特征的方法[10,12-14]在精度上優(yōu)勢顯著。分層卷積(HCF)算法[13]將KCF的手工特征替換為VGG-19的卷積層特征，達到了0.83的精確度。Wang等[12]基于DCF框架，結(jié)合深度卷積及手工特征訓(xùn)練了多個跟蹤器，算法較HCF精度又提高了10.8%，但算法的跟蹤速度為1.3 FPS。

傳統(tǒng)尺度算法[9,15-18]中，位置濾波器的訓(xùn)練僅考慮單一尺度，導(dǎo)致算法在目標(biāo)尺度變化較大的視頻序列中發(fā)生跟蹤漂移甚至丟失現(xiàn)象?，F(xiàn)有的很多深度算法[10-14]中卷積特征使用頻率高，而相較手工特征，卷積特征提取耗時較長，因此造成算法跟蹤速度較慢。

綜上所述，深度卷積算法可有效解決復(fù)雜場景下的跟蹤漂移問題，但實時性不夠理想；傳統(tǒng)手工算法跟蹤速度快，然而精度有待提高。本文考慮到手工及深度卷積算法的不同特性，提出以手工算法為主線，適時切入深度輔線算法的自適應(yīng)雙路間隔調(diào)控算法(ATIR)，算法的創(chuàng)新性主要包括以下幾個方面：

1) 本文提出了一種將手工算法和深度卷積算法自適應(yīng)結(jié)合的調(diào)控跟蹤框架。在手工主線算法跟蹤過程中，實時評估目標(biāo)的運動狀態(tài)，依據(jù)目標(biāo)狀態(tài)自適應(yīng)調(diào)整深度算法輔助插入的間隔，以實現(xiàn)深度卷積特征的低頻高效使用。

2) 在手工主線算法中，本文結(jié)合多尺度、主成分分析操作訓(xùn)練了多個相關(guān)濾波跟蹤器。算法采用一種能同時反映精確性和魯棒性的質(zhì)量評估策略，用來進行跟蹤決策。

3) 在深度輔線算法中，本文構(gòu)造了既包含外觀信息又包含高層語義信息的卷積特征。多層次卷積特征的融合使用有效提高了算法的跟蹤精度。

本文在OTB 2015和Temple Color128數(shù)據(jù)集上進行評估測試，并與多種算法進行對比。實驗結(jié)果表明本算法自適應(yīng)融合了手工特征和深度卷積特征，達到優(yōu)勢互補，在保證跟蹤精度的同時又盡可能地減少深度卷積特征的時間消耗。

1 DCF跟蹤框架

相關(guān)濾波算法較CT[23]、TLD[24]等算法，實現(xiàn)了快速跟蹤且跟蹤精度也有較大提升。因此，應(yīng)用相關(guān)濾波框架訓(xùn)練跟蹤器是近年來常用的跟蹤方法，這些算法主要利用循環(huán)矩陣的相關(guān)特性快速訓(xùn)練分類器。自相關(guān)濾波提出以來，其一系列的改進算法層出不窮，以該框架為基礎(chǔ)，多通道算法[7-8,25]將DCF從單通道[5-6]擴展到多維通道特征[7-8]，改進了傳統(tǒng)算法中單一的灰度特征，使得跟蹤精度有很大提高。而尺度算法[9,15]的出現(xiàn)將DCF框架中融入了尺度濾波器，實現(xiàn)目標(biāo)尺度估計。核相關(guān)算法[6-7]在DCF框架中加入了非線性核，將特征數(shù)據(jù)映射到高維空間，使得數(shù)據(jù)變得“更容易”線性可分，有利于目標(biāo)分類。

在跟蹤任務(wù)中，DCF的應(yīng)用是設(shè)計一個與輸入特征圖尺寸相同的濾波器模板，并與輸入的特征圖作卷積，得到響應(yīng)圖。根據(jù)響應(yīng)得到目標(biāo)的預(yù)測位置，并以該位置為中心提取特征圖，反向傳播給濾波器用以更新模型。

本文使用核相關(guān)濾波[5,7]作為基礎(chǔ)操作框架，用x表示目標(biāo)特征圖，尺度為M×N。通過循環(huán)矩陣得到的特征圖集合為xm,n。相關(guān)濾波器w求取過程如式(1)所示。

(1)

式中：(m,n)∈{0,1,…，M-1}×{0,1,…，N-1}，λ參數(shù)是用來約束濾波器的正則化參數(shù)。

標(biāo)簽函數(shù)y(m,n)及d(d∈{1,2，…，D})通道相關(guān)濾波器如式(2)和式(3)所示。

(2)

(3)

在跟蹤階段，將特征圖Z(M×N×D)輸入相關(guān)濾波器得到響應(yīng)圖，式(4)用來表示該過程。

(4)

式中：Res代表響應(yīng)圖。

2 自適應(yīng)雙路間隔調(diào)控跟蹤算法

本文提出了自適應(yīng)雙路間隔調(diào)控算法，自適應(yīng)融合了手工主線算法和深度輔線算法。在主線算法跟蹤過程中，實時評估目標(biāo)的運動狀態(tài)，依據(jù)目標(biāo)狀態(tài)自適應(yīng)調(diào)整深度算法輔助插入的間隔，以實現(xiàn)深度卷積特征的低頻高效使用。算法大大減少了提取深度卷積特征的時間消耗，既保證算法的跟蹤精度又盡可能地提高深度卷積算法的跟蹤速度。本文算法框架可移植性較強，可實現(xiàn)不同的手工與深度卷積算法的自適應(yīng)融合。

如圖1所示，本文算法整體框架分為兩條跟蹤線路和一個調(diào)控策略，從左到右依次是基于手工特征的主線算法、雙路間隔調(diào)控策略、基于深度卷積特征的輔線算法。通過間隔調(diào)控策略，算法在持續(xù)使用主線算法的同時適時切入深度輔線算法，應(yīng)對不同跟蹤場景可自主控制是否使用深度卷積特征。圖中，虛線表示主線跟蹤結(jié)果不一定會作為最終跟蹤結(jié)果，而一旦采用深度輔線算法，則一定將輔線跟蹤結(jié)果作為最終跟蹤結(jié)果。

圖1 自適應(yīng)雙路間隔調(diào)控算法流程

2.1 基于多尺度手工特征的組合跟蹤主線算法

在目標(biāo)跟蹤任務(wù)中，目標(biāo)尺度經(jīng)常會發(fā)生較大變化，若采用單一尺度特征，會導(dǎo)致算法在目標(biāo)尺度變化較大的視頻序列中發(fā)生跟蹤漂移甚至丟失現(xiàn)象。本文著眼于目標(biāo)尺度變化問題，提出基于多尺度手工特征的組合跟蹤主線算法。首先，考慮到不同的特征表征目標(biāo)信息的差異性，算法使用FHOG、CN以及灰度特征得到更豐富的目標(biāo)特征表達。其次，為提高跟蹤器對于尺度變化問題的魯棒性，算法將多尺度操作同時用于位置和尺度濾波器的訓(xùn)練中，并為減少多尺度帶來的計算開銷采用主成分分析(PCA)進行特征降維。最后，算法將多尺度特征自由組合為三種混合特征，訓(xùn)練出三個相關(guān)濾波器，并采用質(zhì)量評估策略從三種跟蹤結(jié)果中決策出最佳跟蹤結(jié)果。為實時調(diào)整模型學(xué)習(xí)率、提高跟蹤模型魯棒性，算法利用PSR和質(zhì)量評估進行模型更新。

本文基于多尺度手工特征的主線算法框架示意圖如圖2所示。

圖2 基于多尺度手工特征的組合跟蹤主線算法

圖2中上部虛線框內(nèi)表示DSST多尺度算法，DSST為同時訓(xùn)練位置和尺度濾波器，每幀圖片都需要提兩次特征。下部實線框內(nèi)代表本文主線算法，主要分為以下幾步：

(1) 對輸入的圖像進行多尺度圖像變換，得到33種多尺度圖。

(2) 分別對多尺度圖像提取MFHOG(33)、MCN(33)和MGray(33)多尺度特征，訓(xùn)練尺度濾波器。

(3) 依據(jù)特征尺度選擇策略從33種尺度中選擇5種尺度的特征圖MFHOG(5)、MCN(5)和MGray(5)，用于訓(xùn)練位置濾波器。

(4) 將5種多尺度特征進行PCA降維，并進行特征組合得到三種組合特征，使用三種組合特征分別訓(xùn)練3個位置濾波器。

(5) 使用質(zhì)量評估策略對3種跟蹤響應(yīng)圖進行評估，決策出最佳目標(biāo)位置。

(1) 多尺度特征提取模塊。算法中多尺度特征的使用大大增加了樣本的特征多樣性，有利于提高算法的跟蹤精度。除此之外，本文多尺度特征提取策略僅提取一次多尺度特征，較傳統(tǒng)多尺度算法，相對減少了特征提取次數(shù)。本文的多尺度搜索策略[9,11,22]設(shè)置了33種尺度，并設(shè)定相對比例因子為1.02。本文的多尺度特征有兩層應(yīng)用：一方面，使用33種多尺度特征進行尺度濾波器的訓(xùn)練，從而進行實時目標(biāo)框尺度更新；另一方面，依據(jù)特征尺度選擇策略從33種尺度中選取5種多尺度特征用于訓(xùn)練位置濾波器，從而進一步提高算法的跟蹤精度。

本文的特征尺度選擇策略如圖3所示。S1～S33為尺度濾波器中使用的33種尺度，其中，Si表示上一幀尺度濾波器預(yù)測的目標(biāo)尺度，算法選擇使用33種尺度中的S1(輸入圖像原始尺度)、Si以及Si左右相鄰在內(nèi)的共5種尺度對應(yīng)的特征圖。當(dāng)Si-1≤1時，選擇Si右側(cè)相鄰的尺度。

圖3 特征尺度選擇策略

(2) PCA降維模塊。采用多尺度豐富特征集合及目標(biāo)信息的同時，特征圖的計算量也隨之倍增，這對算法實現(xiàn)快速跟蹤是非常不利的。降維常被用于跟蹤任務(wù)中，文獻[11]為提高CCOT的速度，使用因式分解操作將D維濾波器降至C維。文獻[8]基于PCA思想，實時選擇圖片中比較顯著的顏色，將11維顏色通道降為2維。多維特征中只有部分特征發(fā)揮了重要作用，因此，為減少多尺度帶來的時間消耗，本文在提取多尺度特征基礎(chǔ)上加入了主成分分析PCA降維。

(5)

表1展示了特征的原始通道數(shù)及PCA降維后的特征維度。MFHOG和MCN特征分別從31×5、10×5維降到13×5和5×5維，數(shù)據(jù)量分別降低了58%和50%。

表1 多尺度特征圖通道數(shù)

(3) 多跟蹤器組合跟蹤模塊。單一跟蹤器性能不穩(wěn)定，而從多個追蹤器的決策層得出的融合結(jié)果可以有效地提高算法魯棒性[12]。本文采用多尺度組合特征訓(xùn)練三個相關(guān)濾波跟蹤器，通過魯棒性評估策略[12,33]從多種預(yù)測位置中自適應(yīng)選擇最優(yōu)的結(jié)果，并將該結(jié)果共享反饋給三個跟蹤器用以濾波器更新。在此階段，本文將多尺度灰度特征拼接到多尺度梯度特征的前5維，拼接后MFHOG尺寸為13×5+5，表2為本文的多尺度特征組合方式。

表2 特征組合方式

不同的特征具有不同的屬性，能反映目標(biāo)多方面的信息，灰度特征反映的是最基礎(chǔ)的圖像信息，和原圖相比，灰度特征除去了顏色信息，使圖像所含信息量減少，從而也減少了后續(xù)跟蹤處理的計算量；MFHOG特征表征目標(biāo)梯度信息，與灰度特征一樣色彩幾乎對該特征沒有貢獻，但MFHOG梯度方向直方圖可用來表達形狀及邊緣信息，并通過局部梯度信息特征化目標(biāo)圖像的局部或全局外觀及形狀。MCN特征彌補了顏色信息的缺失，把RGB三原色細(xì)化為11種不同的顏色。本文對于三種手工特征的疊加混合使用，目標(biāo)信息表述更全面，使算法更好地適應(yīng)光照變化及小范圍的目標(biāo)形變。

為了從三種跟蹤結(jié)果中決策出最優(yōu)結(jié)果，算法采用一種能同時反映精確性和魯棒性的質(zhì)量評估策略。質(zhì)量評估Qt定義如下：

(6)

Δ(τ)=1-e-k|τ|2

(7)

式中：k控制著函數(shù)值從0到1的變化速度。Δ是二次連續(xù)函數(shù)，Δ(0)=0,limτ→∞Δ(τ)=1。k=8max(w,h)，w、h是第一幀給定目標(biāo)框的寬高。

圖4直觀展示了質(zhì)量評估過程。圖中曲線表征響應(yīng)圖的剖面輪廓，最左側(cè)為最高峰值(主峰)，1～3號峰與主峰的偏離間隔分別為4A、A和3A，與主峰的位置距離為0.2、0.4和0.6。根據(jù)式(6)的質(zhì)量評估公式，三個峰的質(zhì)量評估值分別為20A、2.5A和5A，2號峰的質(zhì)量評估值是最小的，則該峰為次峰，同時將2.5A作為響應(yīng)圖Ri的質(zhì)量評估值Qt(Ri)。

圖4 質(zhì)量評估示意圖

使用Qt(R1)、Qt(R2)和Q(R3)分別表示響應(yīng)圖R1、R2和R3的質(zhì)量評估值，將質(zhì)量評估值從大到小排列，選擇最高質(zhì)量評估值max(Qt(Ri))對應(yīng)的跟蹤結(jié)果作為當(dāng)前幀的預(yù)測目標(biāo)位置。

2.2 基于分層卷積特征的深度輔線算法

深度網(wǎng)絡(luò)[26-29]可針對性的從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到更有效的特征表示，有利于提高跟蹤精度，近來被較多跟蹤算法所采用。本文設(shè)計了基于分層卷積特征的深度輔線算法(HCFF)，算法架構(gòu)如圖5所示。算法使用VGGNet-19的Conv4- 4(低層)和Conv5- 4(高層)層卷積特征加權(quán)融合構(gòu)造出既包含外觀信息又包含高層語義信息的Fusion4- 5(中層)卷積特征；算法通過加權(quán)融合響應(yīng)獲得目標(biāo)位置。

圖5 基于分層卷積特征的深度輔線算法框架

VGGNet-19[27]模型使用3×3以及少數(shù)1×1尺寸的小型卷積核和2×2大小的最大池化層，網(wǎng)絡(luò)深度為19層，常被應(yīng)用到目標(biāo)檢測、分類及跟蹤任務(wù)中。在同一個深度網(wǎng)絡(luò)中，相比全連接層特征，卷積層特征具有更好的圖片分類性能表現(xiàn)[30]。卷積層的不同深度也表述了不同層面的信息。淺層CNN特征保留了原圖目標(biāo)的更多空間信息，比如目標(biāo)的外形、目標(biāo)的精確位置等；而深層CNN特征基本不包含目標(biāo)外形等信息，僅能提供大致目標(biāo)范圍，但其提取的高層語義信息，不易隨目標(biāo)外形變化而失真的，應(yīng)對環(huán)境變化具有更強的穩(wěn)健性。Conv4- 4和Conv5- 4層卷積特征提取的目標(biāo)信息區(qū)別較大，卷積層次由淺入深，對應(yīng)著深度特征由表觀到抽象，兩種特征均有優(yōu)勢與不足，能夠互補結(jié)合?；诖耍惴ㄌ岢隼肅onv4- 4和Conv5- 4層卷積特征通過加權(quán)疊加的方式構(gòu)造出中間過渡層特征。一方面，這樣做可以構(gòu)造出更加全面的卷積特征，另一方面，也補充了特征表達從直觀到抽象的中間層，形成深度特征由表觀到抽象的逐漸過渡。用Fusion4- 5來表示構(gòu)造的特征，該特征介于兩者之間，既包含低層特征的外觀輪廓信息，又含有高層特征的深度語義信息，良好地結(jié)合了Conv4- 4和Conv5- 4層卷積特征。融合特征Fusion4- 5構(gòu)造過程如下：

Fusion4- 5=μ*Conv4- 4+σ*Conv5- 4

(8)

隨著卷積深度的增加，卷積特征的像素逐漸減小，Conv5- 4層比Conv4- 4層卷積特征像素小得多。因此，為更好地融合兩種特征，算法設(shè)置了相差較大的μ和σ值，分別為0.05和1。Conv4- 4和Conv5- 4層卷積特征維度均為512維，同一視頻序列中，特征尺寸被固定到相同大小以便特征疊加。

Fusion4- 5融合卷積特征可視化展如圖6所示，兩邊分別是Conv4- 4和Conv5- 4層卷積特征，中間一列是Fusion4- 5層卷積特征。Fusion4- 5融合了低層和高層的特征，在基本保留目標(biāo)輪廓信息的同時更加強調(diào)了目標(biāo)位置信息，還降低了背景信息的噪聲。令Fusion4- 5融合特征作為中層特征，三種特征由直觀到抽象逐漸過渡，形成良好的特征層次性。

(a) Conv4- 4層 卷積特 (b) Fusion4- 5層 卷積特 (c) Conv5- 4層 卷積特征圖6 Fusion4- 5融合卷積特征可視化

隨著卷積層次的深入，特征表征目標(biāo)信息也極具層次性，逐漸從直觀到抽象，基于此訓(xùn)練而得的相關(guān)濾波器fL、fM和fH相應(yīng)也具有功能層次結(jié)構(gòu)。fL得到的響應(yīng)結(jié)果ResL有助于精準(zhǔn)確定目標(biāo)位置，但當(dāng)目標(biāo)自身及背景發(fā)生較大變化時跟蹤結(jié)果不夠穩(wěn)定；fH的響應(yīng)結(jié)果ResH穩(wěn)定性高不易受到目標(biāo)外觀變化等影響，可粗略地確定目標(biāo)位置范圍，但精準(zhǔn)定位效果有待提高；fM對應(yīng)的響應(yīng)圖ResM介于fL和fH之間，為由粗到細(xì)地定位目標(biāo)提供了有效的中間過渡保障。高層用于估計目標(biāo)大致范圍，中層逐漸縮小目標(biāo)范圍，在此基礎(chǔ)上，低層用于精準(zhǔn)定位，三層濾波器的加權(quán)融合有助于提高算法的魯棒性，融合權(quán)重α、β和γ分別為1、0.75和0.5。

2.3 自適應(yīng)雙路間隔調(diào)控策略

現(xiàn)有的采用相關(guān)濾波和深度卷積特征融合訓(xùn)練跟蹤器的算法[13,31-33]由于高頻使用深度卷積特征而普遍存在特征提取時間長、跟蹤實時性較低問題。

本文針對該問題，提出自適應(yīng)雙路間隔調(diào)控跟蹤算法。算法通過間隔調(diào)控策略，在持續(xù)使用基于手工特征的主線算法的同時適時切入深度算法，應(yīng)對不同跟蹤場景，可自主調(diào)控是否使用深度卷積特征。

為實現(xiàn)在目標(biāo)發(fā)生運動突變時及時調(diào)用深度算法，算法引入?yún)?shù)T，用來決定深度輔線算法是否參與跟蹤以及確定在哪一幀進行跟蹤。圖7描述了雙路間隔T值更新的流程：目標(biāo)運動變化量獲取、目標(biāo)運動狀態(tài)判斷和更新T值。其中，輸入的目標(biāo)位置和尺度均為主線算法的跟蹤結(jié)果。

圖7 自適應(yīng)雙路間隔T值更新流程

(1) 目標(biāo)運動變化量U。運動狀態(tài)評估是本文算法調(diào)節(jié)深度特征使用頻率的關(guān)鍵步驟。為判斷目標(biāo)運動狀態(tài)，本文采用目標(biāo)框中心點位移變化和尺度位移變化的加權(quán)值來表征相鄰幀的目標(biāo)運動變化情況，即u。設(shè)當(dāng)前幀的幀數(shù)為t，(xt,yt)、(Wt,Ht)分別代表主線算法在第t幀預(yù)測目標(biāo)框的中心位置坐標(biāo)和寬高。

d1t=(xt-xt-1)2+(yt-yt-1)2

(9)

(10)

ut=αd1t+βd2t

(11)

式中：α、β值分別為0.7和0.3。通過綜合估計中心位置和目標(biāo)尺度變化信息，可評估每一幀圖像的目標(biāo)運動變化量。

(12)

(3)T值更新。若當(dāng)前幀屬于運動突變幀，則設(shè)置間隔T等于1，代表間隔一幀使用一次深度特征；若目標(biāo)狀態(tài)不屬于運動突變，則增加T值，更新方式為從1開始依次遞增1個單位。從當(dāng)前幀開始算起，下一次使用深度輔線算法是在第t+T幀。

雙路間隔T值更新算法偽代碼如算法1所示，算法設(shè)定在目標(biāo)出現(xiàn)運動突變時，立即切入深度輔線算法，設(shè)置間隔T值為1；否則，依次遞增深度間隔，不斷減少深度特征使用次數(shù)。

算法1雙路間隔T值更新算法ATIR

Input:

Frame number t,t>=5;j=0,Tj=1 s=4

The value of motion change ui,i∈(2,3,…,t-1,t}

Output:

Twin-channel interval:Tj

LOOP

3:Whent=s+Tj

4:Set: j=j+1;s=t

5:Ifut?Uthen

6:Set:

7:elseTj=1

8:Set:

9:endifTj=Tj-1+1

10:endwhen

11. The number of frames that using VGG- 19

features:t=s+Tj

圖8 自適應(yīng)雙路間隔調(diào)控策略演示

2.4 模型在線更新

主線算法與輔線算法相對獨立，在更新濾波器環(huán)節(jié)，主線算法利用PSR峰值旁瓣比以及質(zhì)量評估值Qt(Ri)進行模型更新，實時調(diào)整模型學(xué)習(xí)率、提高跟蹤模型魯棒性。峰值旁瓣比常被應(yīng)用于目標(biāo)跟蹤算法中，用來檢測是否跟丟，先計算響應(yīng)圖中峰值與響應(yīng)平均值之差，再比上響應(yīng)標(biāo)準(zhǔn)差P=(Rmax-μ)/σ，比值越大，代表響應(yīng)圖越干凈，跟蹤效果越好可靠性越高。在第t幀，計算三個跟蹤器的平均PSR值和平均質(zhì)量評估值如下：

(13)

(14)

(15)

(16)

式中：C=0.01表示學(xué)習(xí)率，α=0.6，β=3。將η代入式(17)、式(18)即可實現(xiàn)位置濾波器的更新。

(17)

(18)

尺度濾波器fs更新方法與位置濾波器更新過程類似，同樣使用式(17)和式(18)進行更新。

本文ATIR算法屬于間隔性的跟蹤，在調(diào)控策略的作用下深度輔線算法僅跟蹤了視頻序列中的部分幀，因此，用于模型更新的幀數(shù)較少。為了提高跟蹤的魯棒性，算法設(shè)置在每次使用深度輔線算法后及時更新模型，避免模型不能及時地學(xué)習(xí)到目標(biāo)信息。更新公式如式(17)和式(18)所示，其中，模型學(xué)習(xí)率為η=0.02。

3 實 驗

3.1 實驗環(huán)境及評估基準(zhǔn)

本文實驗所用的軟件平臺是MATLAB 2015b和Visual Studio 2016，編程語言是MATLAB和C++，處理器配置Intel(R)Core(TM)i7- 4790CPU 3.60 GHz，8 GB RAM，Win10硬件操作系統(tǒng)。

實驗使用OTB 2015和Temple Color 128數(shù)據(jù)集分別進行測試，前者視頻序列包含灰度及彩色圖像，涉及到11種不同的跟蹤屬性，包括尺度變化、背景干擾、尺度變化、快速運動等。Temple Color 128數(shù)據(jù)集，含有128個視頻序列，與OTB最大的不同之處在于，Temple Color 128數(shù)據(jù)庫中均是彩色圖像，該數(shù)據(jù)集的提出強調(diào)了顏色信息對于跟蹤的重要意義。

基于OTB和Temple Color 128數(shù)據(jù)集，實驗采用Visual Tracker Benchmark評估算法的性能，使用精確度和成功率做定量分析：(1) 跟蹤精度Precision plot，也稱中心位置誤差，定義為預(yù)測位置中心點與benchmark數(shù)據(jù)庫中手工標(biāo)注的中心位置之間的平均歐氏距離，是以像素為單位進行的計算。通常使用20像素處的Precision值(DP)作為標(biāo)準(zhǔn)。(2) 成功率圖Success plot，主要指的是預(yù)測目標(biāo)框尺度與benchmark數(shù)據(jù)庫手工標(biāo)注的目標(biāo)框的重疊率。通常情況下，使用成功率圖的曲線下面積AUC值作為標(biāo)準(zhǔn)，用于跟蹤算法的排序。

3.2 實驗結(jié)果與分析

本文實驗分為多個部分：1) 針對主線算法的多個改進設(shè)置了遞進對比實驗，為針對性的評估不同改進策略的有效性。2) 在深度輔線算法中，為驗證分層卷積特征融合的方式有利于提高跟蹤精度，實驗對比統(tǒng)計了VGG-19中不同層次的卷積特征以及不同的特征組合方式的跟蹤精度。3) 針對本文整體算法ATIR的定性實驗，直觀評估算法性能。4) 針對本文整體算法ATIR的定量實驗，使得評估結(jié)果更具有說服力。

1) 主線算法中不同改進模塊遞進對比實驗。

實驗基于OTB 2015數(shù)據(jù)庫，設(shè)計了不同改進模塊的對比實驗，跟蹤精確度Precision plot如圖9所示。圖中，不同顏色塊表征不同的改進，經(jīng)典核相關(guān)濾波算法KCF為基準(zhǔn)算法，Algorithm1～Algorithm5代表基準(zhǔn)算法以及基于基準(zhǔn)算法的層層遞進的改進算法，其中，每個算法均是前一個算法加上改進模塊組成。圖中黑色文本數(shù)字值表示對應(yīng)模塊的數(shù)值，紅色文本數(shù)值表示對應(yīng)的Algorithmi的跟蹤精確度。

圖9 不同改進模塊遞進對比實驗

本文主線算法的跟蹤精確度為0.812。相較基準(zhǔn)算法的0.715，多特征(FHOG+CN+Gray)的使用使算法跟蹤精度提高了0.02；多尺度操作的加入不僅可以實時更新目標(biāo)框尺度大小，并且將算法精度進一步提高至0.765；PCA降維降低了算法的計算量，對于跟蹤精度沒有較大影響；多跟蹤器融合跟蹤的使用，將算法精度提高了0.044。上述實驗，表明了本文提出的不同改進模塊均有效提升了傳統(tǒng)相關(guān)濾波算法的跟蹤性能。幾種改進部分對于算法跟蹤效果提升度，從大到小排序為多跟蹤器、多尺度、多特征以及PCA降維。

2) 深度輔線算法中分層卷積特征對比實驗。

深度輔線算法中分層卷積特征對比實驗結(jié)果(OTB 2015數(shù)據(jù)庫)如表3所示。表中，Layer1、Layer2分別代表使用Conv4- 4和Conv5- 4層卷積特征的跟蹤結(jié)果；Layer3表示同時使用Conv4- 4和Conv5- 4層卷積特征；Layer4代表使用Fusion4- 5層卷積特征；Layer5使用的特征組合為Conv4- 4、Conv5- 4和Fusion4- 5層卷積特征。實驗中使用統(tǒng)一的跟蹤框架KCF，僅僅改變不同特征層次的使用。觀察表中數(shù)據(jù)可得，算法構(gòu)造出的Fusion4- 5層卷積特征取得了較高的跟蹤精度，相較Conv4- 4層，精度提高了3.9%。最后一列的Layer5跟蹤精度最高，為0.885。實驗結(jié)果說明：(1) 使用Conv4- 4和Conv5- 4層卷積特征構(gòu)造出的Fusion4- 5層融合卷積特征表現(xiàn)良好。(2) 本文輔線算法采用的Conv4- 4、Conv5- 4以及Fusion4- 5三層卷積特征的融合使用有助于取得更高的跟蹤精度。

表3 不同深度層次的精確度和成功率

3) ATIR算法定性實驗。

基于Temple color 128數(shù)據(jù)庫進行了定性實驗，選取數(shù)據(jù)庫中的Biker、Skiing、Matrix視頻序列，探究本文ATIR算法對于運動突變幀的良好適應(yīng)性。

跟蹤結(jié)果如圖10所示。在主線算法明顯發(fā)生跟蹤漂移的視頻如第一行到第三行中，目標(biāo)出現(xiàn)了運動突變幀，此時使用穩(wěn)定性更強的深度卷積特征可及時糾正主線算法的失誤，進而可以準(zhǔn)確定位目標(biāo)。如第四行，該目標(biāo)在運動過程中，起初是勻速運動，此時使用手工特征就足夠了。但目標(biāo)從一側(cè)跳到另一側(cè)的過程中出現(xiàn)運動突變，此時相鄰幀運動變化過快，超過了手工特征能跟蹤到的穩(wěn)定范圍，此時深度輔線算法發(fā)揮關(guān)鍵作用，給主線提供了更準(zhǔn)確的目標(biāo)位置。

圖10 不同視頻跟蹤效果展示

4) ATIR算法定量實驗。

本文算法分別與多種經(jīng)典相關(guān)濾波類的算法進行對比實驗。其中，對比算法均采用作者提供的源代碼，且設(shè)置使用默認(rèn)參數(shù)。

(1) OTB 2015數(shù)據(jù)庫實驗。

本文選取了CSK、KCF、DSST、SRDCF、CCOT、MCCT等算法進行對比。

表4詳細(xì)展示了本文算法與經(jīng)典相關(guān)系列算法基于OTB-2015數(shù)據(jù)庫的跟蹤效果對比。其中，前六種算法均為基于手工特征的相關(guān)濾波算法，后九種除了Siamese-fc，其余八種均為相關(guān)濾波結(jié)合卷積特征算法。表中，DeepSRDCF、CCOT、以及MCCT等算法在使用深度網(wǎng)絡(luò)時，每幀都提取深度特征，而本文算法自適應(yīng)間隔性使用深度特征。由于節(jié)省了部分幀圖提取深度特征的時間，本文算法較傳統(tǒng)深度算法在速度上有明顯提高。相較2018年的MCCT算法，本文算法ATIR的跟蹤速度為MCCT的3.23倍，基于GPU的速度可達到17.5 FPS。觀察表中數(shù)據(jù)可得，Siamese-fc算法屬于端到端的孿生網(wǎng)絡(luò)，在跟蹤速度上優(yōu)勢顯著。

表4 不同算法跟蹤效果對比

續(xù)表4

得益于多尺度以及深度特征的極大優(yōu)勢，本文算法(ATIR)達到了91.2%的最高精度，AUC為68.8%。如圖11所示，較基準(zhǔn)算法MCCTH，跟蹤精度和AUC分別提升了12.3%和8%；與經(jīng)典多尺度相關(guān)濾波算法DSST對比，精度和AUC分別提高26.4%和24.8%；較經(jīng)典KCF算法，精度和成功率分別提高27.3%和33.8%。實驗結(jié)果表明，本文提出的自適應(yīng)間隔調(diào)控算法在提高跟蹤精度的同時提升了算法的跟蹤速度。

(a) 精確度圖

(b) 成功率圖圖11 OTB 2015上精確度圖和成功率圖

(2) Temple Color128數(shù)據(jù)庫實驗。

基于Temple Color128數(shù)據(jù)庫，本文算法分別與CSK、L1APG、MEEN、KCF、MCCTH等多種經(jīng)典算法進行對比實驗。本文算法ATIR跟蹤精度達到78.87%，AUC為59.66%。觀察圖12，較算法MCCTH，跟蹤精度和AUC分別提升了8.5%和9.3%；較KCF算法，精度和成功率分別提高40.6%和47.2%。實驗結(jié)果反映本文算法具有一定優(yōu)勢，能較好解決傳統(tǒng)相關(guān)濾波算法精度不高問題，除此之外，還有效平衡了使用深度特征帶來的時間消耗問題。

(a) 精確度圖

(b) 成功率圖圖12 Temple Color 128上精確度圖和成功率圖

4 結(jié) 語

本文提出的自適應(yīng)間隔調(diào)控算法，在手工主線算法基礎(chǔ)上間隔性調(diào)用深度算法，既保證了深度特征發(fā)揮作用，精度極大提高，又盡可能地降低了時間開銷，為平衡深度特征和手工特征提出了新思路。本文算法取得了較高的跟蹤精度，跟蹤速度相較結(jié)合卷積特征的深度算法也有些許提升，但仍未達到實時。未來，我們將進一步探索更加實時的跟蹤算法，嘗試結(jié)合Siamese端到端的網(wǎng)絡(luò)結(jié)構(gòu)，進一步提高跟蹤速度。