高 陽，徐長(zhǎng)波，曹少中

(北京印刷學(xué)院 信息工程學(xué)院，北京 102600)

視覺目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺領(lǐng)域內(nèi)的研究熱點(diǎn)之一，已經(jīng)被廣泛應(yīng)用到了日常生活、社會(huì)保障、軍事和醫(yī)療等各個(gè)重要領(lǐng)域[1-2]。目前，應(yīng)用視覺目標(biāo)跟蹤技術(shù)面臨著一些挑戰(zhàn)，如跟蹤環(huán)境光照的變化、目標(biāo)遮擋、目標(biāo)快速移動(dòng)和復(fù)雜背景等因素會(huì)影響跟蹤效果。

跟蹤學(xué)習(xí)檢測(cè)(Tracking Learning Detection，TLD)算法[3]通過相關(guān)的訓(xùn)練和學(xué)習(xí)技術(shù)對(duì)跟蹤目標(biāo)與背景區(qū)域進(jìn)行分類，以達(dá)到目標(biāo)跟蹤的目的，適用于長(zhǎng)時(shí)間的目標(biāo)跟蹤。但是，TLD算法的特征點(diǎn)無法準(zhǔn)確表達(dá)目標(biāo)特征，另外，還存在檢測(cè)模塊計(jì)算量大，無法適應(yīng)遮擋場(chǎng)景等問題。采用支持向量機(jī)(Support Vector Machine，SVM)技術(shù)代替TLD算法檢測(cè)模塊[4]，能夠提高算法的實(shí)時(shí)性，改善目標(biāo)受到嚴(yán)重遮擋時(shí)算法的準(zhǔn)確性，但是，在目標(biāo)受到完全遮擋時(shí)，仍然不能準(zhǔn)確地預(yù)測(cè)到目標(biāo)位置。多實(shí)例學(xué)習(xí)(Multiple Instance Learning，MIL)算法[5]采用多個(gè)圖像塊作為一個(gè)樣本集，若樣本集中存在至少一個(gè)正樣本，則設(shè)置樣本集的標(biāo)簽為正，這種方式具有更好的靈活性。核相關(guān)濾波(Kernel Correlation Filter，KCF)算法[6]采用核函數(shù)和嶺回歸的方式，減小了算法復(fù)雜度，有效提升了算法速度。

已經(jīng)有許多研究者對(duì)抗遮擋目標(biāo)跟蹤算法進(jìn)行了研究。目前的主流的抗遮擋目標(biāo)跟蹤算法主要分為基于有效特征信息的目標(biāo)跟蹤算法、基于狀態(tài)估計(jì)信息的目標(biāo)跟蹤算法和基于穩(wěn)定時(shí)空信息的目標(biāo)跟蹤算法等3種[7]，其中，基于狀態(tài)信息的目標(biāo)跟蹤算法又包括應(yīng)用卡爾曼濾波(Kalman Filter，KF)和粒子濾波(Particle Filter，PF)兩種技術(shù)。采用經(jīng)典Kalman濾波器對(duì)遮擋目標(biāo)進(jìn)行位置預(yù)測(cè)[8-9]，能夠有效地針對(duì)目標(biāo)遮擋的場(chǎng)景實(shí)施跟蹤，但是，在運(yùn)動(dòng)的場(chǎng)景下，該方法無法達(dá)到預(yù)期效果。采用多特征融合的粒子濾波進(jìn)行短期跟蹤[10]，或在判定目標(biāo)受到遮擋后采用粒子濾波方法進(jìn)行狀態(tài)預(yù)測(cè)[11]，能夠改善遮擋情況下的跟蹤狀況，但是，與經(jīng)典TLD算法相比，該類算法速度較慢，實(shí)時(shí)性較差。

為提升目標(biāo)跟蹤算法對(duì)遮擋目標(biāo)跟蹤的準(zhǔn)確性和目標(biāo)跟蹤過程中的精確度和實(shí)時(shí)性，本文擬在經(jīng)典TLD算法的基礎(chǔ)上進(jìn)行改進(jìn)，提出一種運(yùn)動(dòng)背景下的抗遮擋TLD改進(jìn)算法。將魯棒性較好的面向加速分段測(cè)試特征和旋轉(zhuǎn)二進(jìn)制魯棒獨(dú)立基本特征(Oriented FAST and Rotated BRIEF，ORB)[12]作為跟蹤模塊的主要特征，采用局部和全局搜索策略，并且引入Kalman濾波與特征點(diǎn)匹配算法，以使得改進(jìn)的算法在運(yùn)動(dòng)背景下遇到目標(biāo)遮擋時(shí)依然能夠準(zhǔn)確地跟蹤，并且具有較高的運(yùn)行速度。

1 經(jīng)典TLD算法

經(jīng)典TLD算法主要由跟蹤模塊、檢測(cè)模塊和學(xué)習(xí)模塊等模塊組成[3]，特別適用于對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行長(zhǎng)時(shí)間的跟蹤。經(jīng)典TLD算法框架示意圖如圖1所示。

圖1 經(jīng)典TLD算法框架示意圖

1.1 跟蹤模塊

跟蹤模塊采用Median-Flow追蹤算法，該算法基本原理為，在時(shí)刻t，跟蹤框中產(chǎn)生10×10均勻分布的特征點(diǎn)。將這100個(gè)點(diǎn)的位置作為初始位置，然后，運(yùn)用盧卡斯-卡納德(Lucas-Kanade，L-K)光流法[13]正向追蹤這100個(gè)初始位置點(diǎn)在t+1時(shí)刻圖像中的前向位置，根據(jù)前向位置反向追蹤這些點(diǎn)在t時(shí)刻圖像的后向位置，作為預(yù)測(cè)位置。

1.2 檢測(cè)模塊

檢測(cè)模塊使用級(jí)聯(lián)分類器，對(duì)從搜索框獲得的樣本進(jìn)行分類，級(jí)聯(lián)分類器由方差分類器、集成分類器和最近鄰分類器構(gòu)成。首先，使用方差分類器對(duì)樣本進(jìn)行方差過濾，濾除方差比較小的樣本；其次，采用集成分類器對(duì)通過方差分類器的樣本進(jìn)行隨機(jī)蕨分類，計(jì)算10棵樹對(duì)該樣本的編碼(長(zhǎng)度為13的0/1序列)，得到10棵樹對(duì)該樣本的10個(gè)后驗(yàn)概率累加和的平均值，濾除平均值小于閾值的樣本；最后，應(yīng)用最近鄰分類器計(jì)算剩余樣本與在線模型的相關(guān)相似度，選擇與在線模型中相似度最高的圖像塊作為最終的檢測(cè)結(jié)果。

1.3 學(xué)習(xí)模塊

學(xué)習(xí)模塊使用的方法為正負(fù)約束(Positive-Negative，P-N)學(xué)習(xí)方法[14]。P-N學(xué)習(xí)方法是一種半監(jiān)督學(xué)習(xí)方法，P專家能夠改正被誤分為負(fù)樣本的正樣本，N專家能夠檢出被誤分為正樣本的負(fù)樣本，并更新樣本集。另外，學(xué)習(xí)模塊還不斷更新集成分類器和最近鄰分類器的閾值，以保證檢測(cè)模塊的魯棒性。

經(jīng)典TLD算法跟蹤模塊存在的主要問題是，TLD算法的特征點(diǎn)無法準(zhǔn)確地表達(dá)目標(biāo)的特征，在目標(biāo)受到嚴(yán)重遮擋時(shí)跟蹤模塊和檢測(cè)模塊都無法準(zhǔn)確地找出目標(biāo)的位置，而且，檢測(cè)模塊采用全局搜索策略，使得算法的計(jì)算時(shí)間較長(zhǎng)。

2 改進(jìn)的TLD跟蹤算法

提出一種新的遮擋判定方法，選擇引入ORB特征點(diǎn)與均勻分布特征點(diǎn)相結(jié)合的特征點(diǎn)提取算法來代替經(jīng)典TLD算法中提取均勻分布特征點(diǎn)的方法。當(dāng)目標(biāo)受到遮擋時(shí)，選擇Kalman濾波器結(jié)合基于網(wǎng)格的運(yùn)動(dòng)統(tǒng)計(jì)(Grid-Based Motion Statistics，GMS)特征點(diǎn)匹配算法[15]對(duì)運(yùn)動(dòng)背景下被遮擋的目標(biāo)進(jìn)行運(yùn)動(dòng)預(yù)測(cè)。檢測(cè)模塊選擇局部搜索與全局搜索相結(jié)合的方法，將搜索策略與遮擋判定和跟蹤模塊的結(jié)果相對(duì)應(yīng)。改進(jìn)算法的原理框架圖如圖2所示。

圖2 改進(jìn)算法原理框架示意圖

2.1 結(jié)合ORB特征點(diǎn)的跟蹤模塊

特征點(diǎn)提取是目標(biāo)跟蹤過程中的關(guān)鍵步驟，特征點(diǎn)提取的質(zhì)量將直接影響后續(xù)的目標(biāo)跟蹤效果?？紤]到ORB結(jié)合了加速分段測(cè)試特征[16](Features from Accelerated Segment Test，F(xiàn)AST)特征點(diǎn)檢測(cè)和二進(jìn)制魯棒獨(dú)立基本特征[17](Binary Robust Independent Elementary Features，BRIEF)特征描述子算法，速度比較快，而且在一定程度上對(duì)噪聲和圖像變換的抵抗力較高，為此，在跟蹤模塊中采用ORB方法提取圖像的特征點(diǎn)。特征點(diǎn)提取原理示意圖如圖3所示，以像素點(diǎn)P為中心，選取半徑為3的圓上的16個(gè)像素點(diǎn)的像素值與點(diǎn)P的像素值作比較，如果圓上有連續(xù)的12個(gè)像素點(diǎn)的像素值比點(diǎn)P的像素值大或者小，則認(rèn)為點(diǎn)P為特征點(diǎn)。

圖3 特征點(diǎn)提取原理示意圖

將引入的ORB特征點(diǎn)提取算法與經(jīng)典TLD算法均勻分布特征點(diǎn)提取方法相結(jié)合。在ORB特征點(diǎn)數(shù)目超過100個(gè)時(shí)，采用ORB特征點(diǎn)作為跟蹤模塊的特征點(diǎn)；在ORB提取的特征點(diǎn)不夠100個(gè)時(shí)，采用均勻分布特征點(diǎn)提取方法對(duì)特征點(diǎn)進(jìn)行補(bǔ)足。這樣做是為了保證特征點(diǎn)的數(shù)量足夠表達(dá)目標(biāo)的關(guān)鍵特征信息，以提升跟蹤模塊的魯棒性和穩(wěn)定性。

均勻分布特征點(diǎn)的間距為

(1)

(2)

式中：ls表示水平方向間距；lv表示垂直方向間距；P0為ORB特征點(diǎn)個(gè)數(shù)；w0和h0分別表示目標(biāo)框的寬和高。

以David測(cè)試集第500幀為例，方法改進(jìn)前后跟蹤窗口的對(duì)比效果如圖4所示?？梢钥闯?，選取的特征點(diǎn)主要集中在目標(biāo)的眼睛、鼻子和嘴巴上，一方面，可以較好地表達(dá)目標(biāo)的特征；另一方面，減小了無效特征點(diǎn)數(shù)量，有利于提高算法的準(zhǔn)確率。

圖4 方法改進(jìn)前后跟蹤窗口的對(duì)比效果

2.2 Kalman濾波與特征點(diǎn)匹配融合算法

由于經(jīng)典的Kalman濾波算法對(duì)運(yùn)動(dòng)背景下的目標(biāo)遮擋情形的適應(yīng)性較低，因此，考慮將Kalman濾波器與特征點(diǎn)匹配融合算法，對(duì)運(yùn)動(dòng)背景下被遮擋的目標(biāo)位置進(jìn)行預(yù)測(cè)，以改善運(yùn)動(dòng)背景下對(duì)受到遮擋目標(biāo)的跟蹤效果。

如何正確判斷目標(biāo)是否發(fā)生遮擋，是解決目標(biāo)遮擋問題的一個(gè)關(guān)鍵前提。為了保證判斷結(jié)果的準(zhǔn)確性，在目標(biāo)跟蹤框的基礎(chǔ)上分割出4個(gè)警戒區(qū)域，并延展出8個(gè)警戒區(qū)域，共設(shè)定12個(gè)警戒區(qū)域。改進(jìn)算法的遮擋檢測(cè)方法的警戒區(qū)域示意圖如圖5所示。

圖5 遮擋檢測(cè)方法警戒區(qū)域示意圖

分別計(jì)算12個(gè)警戒區(qū)域的色彩-飽和度-值(Hue-Saturation-Value，HSV)直方圖。以圖5(a)中的右警戒區(qū)為例，采用巴氏(Bhattacharyya)距離[18]系數(shù)，分別計(jì)算t時(shí)刻的外側(cè)警戒區(qū)域HSV直方圖與t-1時(shí)刻中部警戒區(qū)域HSV直方圖的匹配度ρ(Rout,t,Rmed,t-1)，以及t-1時(shí)刻中部警戒區(qū)域HSV直方圖與t-2時(shí)刻內(nèi)側(cè)警戒區(qū)域HSV直方圖的匹配度ρ(Rmed,t-1,Rin,t-2)，其計(jì)算表達(dá)式分別為

(3)

(4)

其中：Rout,t(i)表示t時(shí)刻外側(cè)警戒區(qū)域HSV直方圖第i個(gè)分區(qū)的相關(guān)數(shù)據(jù)；Rmed,t-1表示t-1時(shí)刻中部警戒區(qū)域HSV直方圖第i個(gè)分區(qū)的數(shù)據(jù)；Rin,t-2(i)表示t-2時(shí)刻內(nèi)側(cè)警戒區(qū)域HSV直方圖第i個(gè)分區(qū)的相關(guān)數(shù)據(jù)；n為樣本分區(qū)總數(shù)。

HSV直方圖的匹配度ρ的取值范圍在0到1之間，ρ越接近0，代表兩張圖像越相似。若t時(shí)刻ρ(Rout,t,Rmed,t-1)和ρ(Rmed,t-1,Rin,t-2)小于閾值(一般為0.5)，且目標(biāo)框HSV直方圖與目標(biāo)模型的相似度大于閾值，則判定t時(shí)刻跟蹤目標(biāo)受到遮擋，采用Kalman濾波器與特征點(diǎn)匹配融合算法對(duì)被遮擋目標(biāo)的位置進(jìn)行預(yù)測(cè)。反之，在左警戒區(qū)，t+j-2時(shí)刻外側(cè)警戒區(qū)域HSV直方圖與t+j-1時(shí)刻中部警戒區(qū)域HSV直方圖的匹配度和t+j-1時(shí)刻中部警戒區(qū)域HSV直方圖與t+j時(shí)刻內(nèi)側(cè)警戒區(qū)域HSV直方圖的匹配度大于閾值，則判定t+j時(shí)刻目標(biāo)遮擋消失，重新采用經(jīng)典TLD算法進(jìn)行目標(biāo)跟蹤。

依據(jù)上述方法，無論目標(biāo)從哪個(gè)方向受到遮擋，均能準(zhǔn)確地判斷遮擋的發(fā)生。為了保證TLD算法的跟蹤準(zhǔn)確性，當(dāng)判定目標(biāo)受到遮擋時(shí)，不再使用學(xué)習(xí)模塊更新集成分類器和最近鄰分類器的閾值。

在時(shí)刻k，改進(jìn)算法所采用的Kalman濾波方法的核心方程組為

(5)

由于在目標(biāo)跟蹤過程中，目標(biāo)背景圖像大多會(huì)隨著目標(biāo)的移動(dòng)而變化，從而導(dǎo)致目標(biāo)框的位置和目標(biāo)的運(yùn)動(dòng)速度難以確定。為此，以視頻第一幀為基準(zhǔn)，構(gòu)建坐標(biāo)系?？梢詫⒛繕?biāo)狀態(tài)表示為

x=[x,y,w,h,dx,dy]T

(6)

其中：x，y分別表示目標(biāo)框的橫向、縱向位置坐標(biāo)；dx，dy分別表示目標(biāo)的橫向、縱向移動(dòng)速率；w，h分別表示目標(biāo)框的寬和高。

采用ORB特征點(diǎn)提取方法，對(duì)視頻幀圖像背景區(qū)域進(jìn)行特征點(diǎn)的提取，對(duì)相鄰的兩幀圖像的背景區(qū)域特征點(diǎn)采用GMS方法進(jìn)行特征匹配。以Jogging測(cè)試集第11和第12幀圖像為例，相鄰幀背景區(qū)域特征點(diǎn)匹配效果如圖6所示。在對(duì)視頻幀圖像背景區(qū)域進(jìn)行特征點(diǎn)提取操作之后，使用經(jīng)過特征匹配的相似特征點(diǎn)對(duì)計(jì)算兩幀間背景移動(dòng)的距離。

圖6 相鄰幀背景區(qū)域特征點(diǎn)匹配效果

對(duì)匹配到的特征點(diǎn)對(duì)的坐標(biāo)作差，累加后取平均值即為背景圖像移動(dòng)的距離，由此得到x,y,dx,dy分別為

(7)

(8)

(9)

(10)

式中：x′t、y′t分別表示第t幀的測(cè)量值；x′t-1、y′t-1分別為第t-1幀的測(cè)量值；Pt(x,j)和Pt-1(x,j)、Pt(y,j)和Pt-1(y,j)分別表示第t幀和第t-1幀圖像匹配到的第j個(gè)特征點(diǎn)對(duì)的橫向、縱向位置坐標(biāo)；N為匹配到特征點(diǎn)對(duì)的個(gè)數(shù)。

如果在第t幀檢測(cè)到目標(biāo)受到遮擋，則使用第t-1幀Kalman濾波器的最優(yōu)估計(jì)值直接作為觀測(cè)值，即

(11)

直到目標(biāo)遮擋消失后，調(diào)用檢測(cè)模塊，將檢測(cè)模塊的最優(yōu)結(jié)果作為跟蹤結(jié)果。

2.3 改進(jìn)的掃描框方法

在經(jīng)典TLD算法檢測(cè)模塊初始化時(shí)，產(chǎn)生的掃描框可能有上萬個(gè)甚至十萬個(gè)，其中大多掃描框中不含有前景目標(biāo)。排除這些不含前景目標(biāo)的掃描框?qū)z測(cè)模塊的干擾，有利于提升算法的效率和實(shí)時(shí)性。

引入感興趣區(qū)域(Region of Interest，ROI)方法，在上一幀目標(biāo)跟蹤框的基礎(chǔ)上向四周拓展20個(gè)像素，生成目標(biāo)局部檢測(cè)區(qū)域。當(dāng)跟蹤模塊跟蹤失敗時(shí)，采用全局搜索策略；反之，當(dāng)跟蹤模塊跟蹤到目標(biāo)時(shí)，則采用局部搜索策略。采用改進(jìn)后的搜索策略，以有效地排除不含有前景目標(biāo)搜索框的干擾，減少進(jìn)入檢測(cè)模塊搜索框的數(shù)量，提升算法速度。以David測(cè)試集第770幀為例，算法改進(jìn)前后效果對(duì)比如圖7所示?？梢钥闯霾缓星熬澳繕?biāo)的搜索框相比經(jīng)典TLD算法大大減少。

圖7 算法改進(jìn)前后效果對(duì)比

3 實(shí)驗(yàn)結(jié)果及分析

為測(cè)試改進(jìn)算法的性能，對(duì)Jumping、Walking、Dog1、Jogging、Human4、Dog和Fish共7組測(cè)試序列集進(jìn)行測(cè)試，并將改進(jìn)算法的目標(biāo)跟蹤性能與KCF算法、MIL算法和經(jīng)典TLD算法進(jìn)行比較。

在7組測(cè)試序列集中，Jumping、Walking、Dog1、Jogging和Human4測(cè)試集來自文獻(xiàn)[19]，Dog和Fish測(cè)試集來自文獻(xiàn)[20]。這些測(cè)試集中場(chǎng)景包含了光照變換，尺度變換，遮擋、形變，運(yùn)動(dòng)模糊，快速移動(dòng)，目標(biāo)在圖像平面內(nèi)旋轉(zhuǎn)，目標(biāo)在圖像平面外旋轉(zhuǎn)等情況。

Jumping序列描述了目標(biāo)快速運(yùn)動(dòng)而產(chǎn)生目標(biāo)模糊的現(xiàn)象，主要用來測(cè)試算法對(duì)于運(yùn)動(dòng)模糊以及目標(biāo)快速移動(dòng)的魯棒性。Dog序列描述了小狗沖向主人的運(yùn)動(dòng)過程，其中包含了目標(biāo)奔跑過程中身體形狀與拍攝視角的變化，主要用來測(cè)試算法對(duì)尺度變化和形變的魯棒性。Walking序列描述了目標(biāo)在經(jīng)過輕微遮擋后由近到遠(yuǎn)的行走過程，其中包含了目標(biāo)行走過程中的姿態(tài)變化和尺度變化，主要用來測(cè)試算法對(duì)輕微遮擋、尺度變化和形變的魯棒性。Dog1序列描述了小狗玩偶在運(yùn)動(dòng)過程中俯仰、傾斜、搖擺和尺度變化的情形，主要用來測(cè)試算法對(duì)物體旋轉(zhuǎn)和多尺度的魯棒性。Fish序列描述了目標(biāo)物體在快速運(yùn)動(dòng)過程中環(huán)境光照條件發(fā)生變化的過程，主要用來測(cè)試算法對(duì)于快速運(yùn)動(dòng)和光照變化的魯棒性。Jogging序列和Human4序列描述了目標(biāo)經(jīng)過遮擋物的過程，主要用來測(cè)試算法對(duì)運(yùn)動(dòng)背景下目標(biāo)被完全遮擋的適應(yīng)性。

實(shí)驗(yàn)的硬件環(huán)境為AMD Ryzen 7 3700U 2.30 GHz處理器，8 G內(nèi)存。軟件環(huán)境為Visual Studio 2019和OpenCV3.4.15。

3.1 綜合性能分析

選取Jumping、Dog、Walking、Dog1和Fish共5種測(cè)試集進(jìn)行綜合性能測(cè)試，比較改進(jìn)算法與經(jīng)典TLD算法、KCF算法和MIL算法在跟蹤目標(biāo)時(shí)的魯棒性、準(zhǔn)確性和實(shí)時(shí)性。4種跟蹤算法的目標(biāo)跟蹤結(jié)果如圖8所示，圖中實(shí)線為改進(jìn)算法的跟蹤結(jié)果，點(diǎn)型虛線為經(jīng)典TLD算法的跟蹤結(jié)果，間斷型虛線為MIL算法的跟蹤結(jié)果，點(diǎn)線型虛線為KCF算法的跟蹤結(jié)果。

從圖8(a)中可以看出，對(duì)于Jumping測(cè)試集中快速移動(dòng)的跟蹤目標(biāo)，相對(duì)來說，改進(jìn)算法的跟蹤精度和成功率均為最高，其他算法或多或少都存在目標(biāo)框丟失和漂移現(xiàn)象。特別是MIL算法和KCF算法均產(chǎn)生了較嚴(yán)重的漂移現(xiàn)象，算法的魯棒性較差。

從圖8(b)中可以看出，在Dog測(cè)試集中的第86幀和第101幀，當(dāng)目標(biāo)發(fā)生大幅形變時(shí)，經(jīng)典TLD算法的跟蹤框發(fā)生了輕微漂移現(xiàn)象，而MIL算法和KCF算法無法對(duì)尺度變化進(jìn)行檢測(cè)，依舊維持初始框大小。

從圖8(c)中可以看出，在Walking測(cè)試集中的第86幀，當(dāng)目標(biāo)在受到輕微遮擋時(shí)，經(jīng)典TLD和MIL算法目標(biāo)框均發(fā)生小幅偏移，KCF算法目標(biāo)框則是發(fā)生漂移現(xiàn)象，而且在后續(xù)的目標(biāo)尺度逐漸變化的過程中MIL算法無法對(duì)尺度變化進(jìn)行檢測(cè)，始終維持初始框大小直到跟蹤結(jié)束。

從圖8(d)中可以看出，對(duì)于Dog1測(cè)試集，經(jīng)典TLD算法、KCF算法和改進(jìn)算法對(duì)物體旋轉(zhuǎn)的魯棒性較高，而MIL算法發(fā)生了漂移現(xiàn)象。從對(duì)目標(biāo)尺度變化的適應(yīng)能力上看，經(jīng)典TLD算法和改進(jìn)算法表現(xiàn)較好，而KCF算法適應(yīng)性較差。

從圖8(e)中可以看出，對(duì)于Fish測(cè)試集，在初始目標(biāo)發(fā)生快速運(yùn)動(dòng)的過程中，KCF算法的目標(biāo)框發(fā)生了漂移。在第157幀，當(dāng)環(huán)境光照發(fā)生突變時(shí)，改進(jìn)算法和經(jīng)典TLD算法目標(biāo)跟蹤框均丟失，而MIL算法具有良好的光照變化魯棒性。

圖8 4種跟蹤算法的目標(biāo)跟蹤結(jié)果

3.1.1 算法的魯棒性

從圖8的實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)算法和經(jīng)典TLD算法對(duì)物體模糊、旋轉(zhuǎn)、形變以及尺度變化均有著良好的魯棒性，而MIL算法和KCF算法在穩(wěn)定環(huán)境下的跟蹤效果較好，特別是MIL算法對(duì)于光線突變變化適應(yīng)性較好。另外，當(dāng)物體發(fā)生仿射變換時(shí)，改進(jìn)算法的目標(biāo)跟蹤成功率明顯高于經(jīng)典TLD算法，但是，對(duì)于光照突變的魯棒性較差。這是因?yàn)?，光照突變?duì)經(jīng)典TLD算法中跟蹤模塊所使用的L-K光流法影響較大，會(huì)直接導(dǎo)致跟蹤失敗。

3.1.2 算法的準(zhǔn)確性

采用準(zhǔn)確率[20](Success Plot，SP)和平均像素誤差[20](Average Pixel Error，APE)作為算法準(zhǔn)確性的評(píng)價(jià)標(biāo)準(zhǔn)。使用TLD算法、MIL算法、KCF算法和改進(jìn)算法分別對(duì)Walking、Dog、Jumping、Dog1和Fish測(cè)試集進(jìn)行測(cè)試，4種算法在不同測(cè)試集中的準(zhǔn)確率和平均像素誤差測(cè)試結(jié)果分別如表1和表2所示。

表1 4種算法在不同測(cè)試集中的準(zhǔn)確率

表2 4種算法在不同測(cè)試集中的平均像素誤差

從表1可以看出，改進(jìn)算法的跟蹤準(zhǔn)確率均高于經(jīng)典TLD算法和KCF算法。除了對(duì)于光照變換較劇烈的Fish測(cè)試集之外，改進(jìn)算法的跟蹤準(zhǔn)確率也明顯高于MIL算法。從表2可以看出，改進(jìn)算法的平均像素誤差在多數(shù)測(cè)試集也優(yōu)于其他3種算法。這是由于跟蹤模塊采用了更能表達(dá)出目標(biāo)特征的特征點(diǎn)，從而導(dǎo)致算法跟蹤準(zhǔn)確率較高，平均像素誤差較低。

但是，從表2還可以看出，在對(duì)Dog測(cè)試集和Fish測(cè)試集進(jìn)行的測(cè)試中，改進(jìn)算法的平均像素誤差略高于經(jīng)典TLD算法。這是由于，一方面，Dog測(cè)試集目標(biāo)圖像塊較小，改進(jìn)算法采集不到較優(yōu)的特征點(diǎn)，導(dǎo)致跟蹤框產(chǎn)生了小幅偏移，提高了平均像素誤差。另一方面，在對(duì)Fish測(cè)試集進(jìn)行的實(shí)驗(yàn)中，經(jīng)典TLD算法丟失的幀數(shù)較多，而這些丟失的幀并不會(huì)出現(xiàn)在計(jì)算平均像素誤差的過程中，從而導(dǎo)致經(jīng)典TLD算法的平均像素誤差略低。

3.1.3 算法的實(shí)時(shí)性

采用平均幀率作為算法準(zhǔn)確性的評(píng)價(jià)標(biāo)準(zhǔn)。平均幀率即每秒鐘算法處理幀數(shù)(Frames Per Second，F(xiàn)PS)的平均值。采用TLD算法、MIL算法、KCF算法和改進(jìn)算法分別對(duì)Walking測(cè)試集、Dog測(cè)試集、Jumping測(cè)試集、Dog1測(cè)試集和Fish測(cè)試集進(jìn)行測(cè)試，4種算法在不同測(cè)試集中的平均幀率測(cè)試結(jié)果如表3所示。

表3 4種算法在不同測(cè)試集中的平均幀率

從表3可以看出，MIL算法的檢測(cè)速度相對(duì)穩(wěn)定。KCF算法在跟蹤過程中的速度一般，但是，在目標(biāo)發(fā)生丟失時(shí)，KCF算法的速度會(huì)明顯提高。整體而言，改進(jìn)算法對(duì)較高分辨率和較低分辨率的視頻序列均有較好的實(shí)時(shí)性。特別是，當(dāng)改進(jìn)算法處理目標(biāo)圖像塊分辨率相對(duì)于視頻分辨率較小的視頻序列如Walking時(shí)，在目標(biāo)不發(fā)生丟失的情況下檢測(cè)速度明顯高于經(jīng)典TLD算法。這是由于，一方面，改進(jìn)算法采用ROI方法動(dòng)態(tài)劃分檢測(cè)區(qū)域，通過方差分類器剔除了大量不含有前景目標(biāo)的樣本，大大減少了樣本數(shù)量，從而導(dǎo)致了算法的運(yùn)行速度和實(shí)時(shí)性較高；另一方面，只有當(dāng)跟蹤過程中目標(biāo)發(fā)生丟失時(shí)，改進(jìn)算法才采用全局搜索的策略，從而運(yùn)行速度較高。

但是，對(duì)Dog1測(cè)試集和Fish測(cè)試集進(jìn)行測(cè)試的結(jié)果顯示，改進(jìn)算法整體的平均幀率略低于經(jīng)典TLD算法。這是因?yàn)?，而改進(jìn)算法在對(duì)Dog1測(cè)試集和Fish測(cè)試集跟蹤過程中，產(chǎn)生的正樣本過多，檢測(cè)模塊中最近鄰分類器的耗時(shí)增大，從而導(dǎo)致整體的平均幀率較低。

3.2 抗遮擋性能

為了對(duì)比改進(jìn)算法與經(jīng)典TLD算法在處理嚴(yán)重遮擋問題上的性能差異，選取Jogging和Human4測(cè)試集進(jìn)行測(cè)試和比較。

3.2.1 定性分析

使用改進(jìn)算法與經(jīng)典TLD算法，選取Jogging和Human4測(cè)試集中的關(guān)鍵幀進(jìn)行定性分析。兩種算法對(duì)Jogging測(cè)試集目標(biāo)1和目標(biāo)2跟蹤結(jié)果對(duì)比分別如圖9和圖10所示，對(duì)Human4測(cè)試集跟蹤結(jié)果對(duì)比如圖11所示。

從圖9、圖10和圖11的實(shí)驗(yàn)結(jié)果中可以看出，在目標(biāo)受到輕度遮擋時(shí)，經(jīng)典TLD算法會(huì)將含有遮擋物的目標(biāo)框作為正樣本進(jìn)行訓(xùn)練，導(dǎo)致經(jīng)典TLD算法在一定程度上能夠處理目標(biāo)受到輕度遮擋的情況。但是，當(dāng)目標(biāo)受到嚴(yán)重遮擋后，例如，當(dāng)目標(biāo)進(jìn)入遮擋物并消失在視頻幀中時(shí)，經(jīng)典TLD算法的目標(biāo)框會(huì)發(fā)生漂移現(xiàn)象，不能進(jìn)行準(zhǔn)確地跟蹤。

圖9 兩種算法Jogging測(cè)試集目標(biāo)1跟蹤結(jié)果對(duì)比

圖10 兩種算法Jogging測(cè)試集目標(biāo)2跟蹤結(jié)果對(duì)比

圖11 兩種算法Human4測(cè)試集跟蹤結(jié)果對(duì)比

而在判定為目標(biāo)受到遮擋后，改進(jìn)算法能夠預(yù)測(cè)后續(xù)幀中目標(biāo)的位置。當(dāng)后續(xù)幀判定遮擋消失后，改進(jìn)算法使用檢測(cè)模塊的最優(yōu)結(jié)果作為該幀的跟蹤結(jié)果，能夠更加準(zhǔn)確地追蹤目標(biāo)。

3.2.2 定量分析

采用平均重疊率[20](Average Overlap Rate，AOR)作為算法抗遮擋性能準(zhǔn)確性的評(píng)價(jià)標(biāo)準(zhǔn)。使用經(jīng)典TLD算法和改進(jìn)算法分別對(duì)Jogging測(cè)試集目標(biāo)1、Jogging測(cè)試集目標(biāo)2和Human4測(cè)試集進(jìn)行測(cè)試。兩種算法對(duì)不同測(cè)試對(duì)象的平均重疊率測(cè)試結(jié)果如表4所示。

表4 兩種算法對(duì)不同測(cè)試對(duì)象的平均重疊率

從表4可以看出，相比于經(jīng)典TLD算法，改進(jìn)算法的平均重疊率更高，說明改進(jìn)算法有著更好的抗遮擋性能。這是因?yàn)椋倪M(jìn)算法中加入了遮擋物判定機(jī)制，當(dāng)判定有遮擋物時(shí)，不使用學(xué)習(xí)模塊進(jìn)行樣本更新，調(diào)用Kalman濾波器進(jìn)行運(yùn)動(dòng)預(yù)測(cè)，因此，當(dāng)目標(biāo)在重新回到視野當(dāng)中時(shí)，依然能夠準(zhǔn)確地跟蹤到目標(biāo)。而經(jīng)典TLD算法將包含遮擋物的目標(biāo)框作為正樣本訓(xùn)練之后，可能會(huì)影響后續(xù)幀的跟蹤結(jié)果。

4 結(jié)語

針對(duì)經(jīng)典TLD跟蹤算法無法準(zhǔn)確地表達(dá)目標(biāo)的特征，在目標(biāo)受到嚴(yán)重遮擋時(shí)，跟蹤不準(zhǔn)確，以及采用全局搜索策略，導(dǎo)致的實(shí)時(shí)性較差等問題，引入ORB特征點(diǎn)與均勻分布特征點(diǎn)相結(jié)合的特征點(diǎn)作為跟蹤模塊的特征點(diǎn)集，并采用劃分ROI區(qū)域的方法排除非目標(biāo)圖像塊的干擾，以增強(qiáng)算法的實(shí)時(shí)性和準(zhǔn)確性。另外，通過引入Kalman濾波器結(jié)合特征點(diǎn)匹配算法對(duì)目標(biāo)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，從而使得運(yùn)動(dòng)背景下的目標(biāo)在受到嚴(yán)重遮擋時(shí)，算法依舊能準(zhǔn)確地跟蹤到目標(biāo)。

但是，改進(jìn)算法仍然存在一些問題，例如，當(dāng)光照變換較劇烈時(shí)，改進(jìn)算法的魯棒性較差；當(dāng)跟蹤目標(biāo)丟失后，幀處理時(shí)間較長(zhǎng)等。這兩個(gè)問題將是下一步的研究的關(guān)鍵。