李養(yǎng)曉,趙建偉

(中國(guó)計(jì)量大學(xué) 理學(xué)院,浙江 杭州 310018)

視頻目標(biāo)跟蹤作為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要分支,因其在無(wú)人機(jī)、智能監(jiān)控、機(jī)器人視覺、虛擬現(xiàn)實(shí)、軍事成像制導(dǎo)等領(lǐng)域的重要應(yīng)用受到學(xué)者的廣泛關(guān)注[1]。然而,由于在跟蹤過(guò)程中常出現(xiàn)局部遮擋、變形、快速變化、光照劇烈變化、背景干擾和運(yùn)動(dòng)模糊等因素的影響,在跟蹤過(guò)程中容易出現(xiàn)跟蹤異常,導(dǎo)致跟蹤目標(biāo)丟失。因此,設(shè)計(jì)可靠、魯棒的目標(biāo)跟蹤算法仍然是一個(gè)極具挑戰(zhàn)性的問(wèn)題。

近年來(lái),基于判別相關(guān)濾波器(discriminant correlation filter,DCF)的跟蹤算法因其在頻域中的快速計(jì)算和優(yōu)良的定位性能而獲得了學(xué)者的極大關(guān)注。這類跟蹤算法主要通過(guò)將待檢測(cè)圖像與濾波器進(jìn)行卷積運(yùn)算,將獲得的最大響應(yīng)值的位置定位為下一幀圖像中的目標(biāo)。不同于傳統(tǒng)的跟蹤器隨機(jī)提取目標(biāo)區(qū)域和背景信息作為訓(xùn)練樣本,DCF通過(guò)循環(huán)位移操作進(jìn)行密集采樣,并在傅里葉頻域中學(xué)習(xí)相關(guān)濾波。因此,基于DCF的跟蹤器具有良好的跟蹤精度和速度。本文研究DCF類框架下的目標(biāo)跟蹤算法。

2010年,Bolme等[2]首次將相關(guān)濾波引用到了目標(biāo)跟蹤領(lǐng)域,提出了基于誤差最小平方和濾波(minimum output sum of squared error filter,MOSSE)跟蹤算法,其跟蹤速度達(dá)到每秒600—700幀。為了充分利用圖片的特征信息并增加訓(xùn)練樣本的數(shù)量,Henriques等人[3]提出了高速的基于核相關(guān)濾波(kernelized correlation filters,KCF)跟蹤算法。該算法通過(guò)循環(huán)位移操作,實(shí)現(xiàn)對(duì)圖片的密集采樣來(lái)增加訓(xùn)練樣本的數(shù)量,其學(xué)習(xí)濾波器的優(yōu)化模型如下:

(1)

式(1)中,y表示目標(biāo)響應(yīng)圖,X表示訓(xùn)練樣本,h表示要學(xué)習(xí)的相關(guān)濾波。

為了消除跟蹤過(guò)程中產(chǎn)生的邊界效應(yīng),Danelljan等[4]提出了一種基于空間正則化相關(guān)濾波(spatially regularized correlation filters,SRDCF)跟蹤算法。該算法在多尺度判別濾波(discriminative scale space tracker,DSST[5])跟蹤算法的外觀模型中,添加了空間正則項(xiàng),能有效地區(qū)分目標(biāo)區(qū)域和背景區(qū)域。接著,Li等[6]在SRDCF的基礎(chǔ)上引入了時(shí)間正則項(xiàng),提出了一種基于時(shí)空正則化相關(guān)濾波(spatial temporal regularized correlation filters,STRCF)跟蹤算法,其學(xué)習(xí)濾波器的優(yōu)化模型如下:

(2)

式(2)中,ht-1表示從第t-1幀圖片中學(xué)習(xí)到的濾波器,第二項(xiàng)是空間正則項(xiàng),第三項(xiàng)是時(shí)間正則項(xiàng)。

2019年,針對(duì)搜索區(qū)域變大而增加的背景干擾信息,Huang等[7]在外觀模型中引入了變異抑制正則項(xiàng),提出了基于變異抑制相關(guān)濾波(aberrance repressed correlation filters,ARCF)跟蹤算法,其優(yōu)化模型如下:

(3)

通過(guò)上述文獻(xiàn)分析,ARCF跟蹤算法只考慮了背景響應(yīng)圖的異常抑制,沒有考慮前后幀濾波器的關(guān)系;而STRCF跟蹤算法考慮了濾波器在空間和時(shí)間上的關(guān)系,沒有考慮目標(biāo)跟蹤過(guò)程中出現(xiàn)的異常檢測(cè)。因此,本文結(jié)合ARCF跟蹤算法和STRCF跟蹤算法的優(yōu)勢(shì),在外觀模型中引入時(shí)間正則項(xiàng)和變異抑制正則項(xiàng),并運(yùn)用交替方向乘子法(alternating direction method of multipliers,ADMM[9])快速迭代求解,提出了基于時(shí)間變異抑制相關(guān)濾波(temporal and aberrance repressed correlation filter,TARCF)跟蹤算法。該算法通過(guò)時(shí)間正則項(xiàng),建立相鄰兩幀濾波器之間的聯(lián)系,充分捕捉前后幀濾波器的變化,有效地解決因目標(biāo)遮擋、快速移動(dòng)等因素引起的濾波器退化問(wèn)題。同時(shí),通過(guò)變異抑制正則項(xiàng)抑制背景響應(yīng)圖的異常信息干擾,從而避免因響應(yīng)圖的突然更改而導(dǎo)致的目標(biāo)丟失問(wèn)題。

1 TARCF跟蹤算法

首先,在外觀模型中引入時(shí)間正則項(xiàng)和變異抑制正則項(xiàng),給出基于時(shí)間變異抑制的優(yōu)化模型訓(xùn)練相應(yīng)的相關(guān)濾波。其次,利用ADMM優(yōu)化算法快速迭代求解上述模型。最后,利用插值公式更新訓(xùn)練樣本。

1.1 外觀模型

考慮到目標(biāo)因?yàn)檎趽鯇?dǎo)致的跟蹤精度下降,初始目標(biāo)附近的循環(huán)位移導(dǎo)致的邊界效應(yīng),以及背景信息中相似目標(biāo)干擾帶來(lái)的響應(yīng)圖的異常改變等因素,我們?cè)贐ACF跟蹤算法的基礎(chǔ)上,引入時(shí)間正則項(xiàng)和變異抑制正則項(xiàng),提出基于時(shí)間變異抑制的優(yōu)化模型:

(4)

式(4)中,B∈RM×N是刻畫背景感知的二進(jìn)制矩陣,λi(i=1,2,3)是正則化參數(shù),*表示空間域上的卷積運(yùn)算;第三項(xiàng)是變異抑制正則項(xiàng),抑制跟蹤過(guò)程中響應(yīng)圖的異常改變;第四項(xiàng)是時(shí)間正則項(xiàng),建立相鄰兩幀濾波器之間的聯(lián)系,有效防止跟蹤目標(biāo)丟失的現(xiàn)象發(fā)生。

為了計(jì)算方便,我們將式(4)改寫成如下矩陣形式:

(5)

其中,IK表示K階單位陣,?表示Kronecker運(yùn)算,BT表示B的轉(zhuǎn)置,Mt-1=Xt-1(IK?BT)ht-1表示t-1幀檢測(cè)得到的響應(yīng)圖。

1.2 模型求解

接下來(lái),我們利用ADMM優(yōu)化算法對(duì)外觀模型進(jìn)行求解。因?yàn)榭臻g域上的卷積運(yùn)算計(jì)算量大,所以我們將優(yōu)化模型(5)通過(guò)傅里葉變換轉(zhuǎn)換到頻域中進(jìn)行計(jì)算,其轉(zhuǎn)化后的形式如下:

(6)

注意到式(6)是凸的,因此可以利用ADMM優(yōu)化算法進(jìn)行求解。首先我們將式(6)寫成如下增廣拉格朗日形式:

(7)

其次,利用ADMM優(yōu)化算法最小化(7)式,得到如下迭代解:

(8)

對(duì)于式(8)中的ht子問(wèn)題的優(yōu)化求解,我們對(duì)右端的目標(biāo)函數(shù)關(guān)于h求偏導(dǎo),并令其偏導(dǎo)數(shù)等于零,得到下列公式解:

(9)

式(9)中,ξ和gt-1是由下列傅里葉逆變換得到的:

(10)

(11)

(12)

而每個(gè)子問(wèn)題又可以由以下公式求解:

(13)

然而,上述公式中含有矩陣逆運(yùn)算,直接運(yùn)算計(jì)算量比較大。因此,我們利用如下Sherman-Morrison公式:

(A+uvT)-1=A-1-
A-1u(Im+vTA-1u)-1vTA-1。

(14)

進(jìn)一步優(yōu)化和加速計(jì)算,得到

(15)

到此,我們可以利用學(xué)習(xí)到的相關(guān)濾波ht對(duì)第t+1幀進(jìn)行卷積作用,得到相應(yīng)的預(yù)測(cè)響應(yīng)圖,再根據(jù)響應(yīng)圖峰值確定目標(biāo)位置。

1.3 模型更新

在進(jìn)行下一幀訓(xùn)練之前,要更新樣本特征。本文用如下插值公式更新樣本:

(16)

式(6)中η代表學(xué)習(xí)率參數(shù)。

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文所提方法的有效性,本節(jié)將在OTB50[10],OTB100[11]和DTB70[12]數(shù)據(jù)集上進(jìn)行本文方法與增量視頻跟蹤器(incremental visual tracker,IVT[13]),基于上下文跟蹤器(context tracker,CT[14]),基于分布片段跟蹤器(distribution field tracker,DFT[15]),尺度自適應(yīng)多特征(scale adaptive multi-Features,SAMF[16])跟蹤器,KCF[3],SRDCF[4],BACF[8],STRCF[6]和ARCF[7]等9種跟蹤器的比較實(shí)驗(yàn)。

2.1 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)中,參數(shù)λ1=0.01,λ2=0.71,λ3=0.1,學(xué)習(xí)率η=0.019 2,參數(shù)μ=1,ADMM迭代次數(shù)為5。所有實(shí)驗(yàn)都是在MatlabR2018b上進(jìn)行,其電腦配置為Intel?Core(TM) i5-9500 CPU @3.00 GHz。

2.2 綜合量化分析

表1給出了我們的方法和其它9種跟蹤算法在3個(gè)數(shù)據(jù)庫(kù)上的跟蹤成功率和精確度的比較結(jié)果,其中根據(jù)跟蹤性能的高低,將性能好的跟蹤算法排在表格的右側(cè)。

表1 本文跟蹤算法與其它9個(gè)跟蹤算法在3個(gè)數(shù)據(jù)庫(kù)上的成功率與精確度比較

從表1可以看出,本文提出的跟蹤算法在3個(gè)數(shù)據(jù)庫(kù)上的跟蹤性能都高于其它9種跟蹤算法。特別地,它比相關(guān)的SRDCF、BACF、STRCF和ARCF跟蹤算法的性能都高。這是因?yàn)楸疚母櫵惴ǖ耐庥^模型中融合了背景感知、時(shí)間正則項(xiàng)和響應(yīng)圖異常抑制正則項(xiàng),融合了這些跟蹤算法的優(yōu)點(diǎn),說(shuō)明本文的跟蹤算法的外觀模型具有重要的設(shè)計(jì)意義。

圖1展示了表1中10種跟蹤算法在OTB50,OTB100和DTB70三個(gè)數(shù)據(jù)庫(kù)上的成功率圖和精確度圖。

從圖1可以看出,本文所提跟蹤算法在3個(gè)數(shù)據(jù)庫(kù)上都高于其它9種跟蹤算法,排名第一。在OTB50數(shù)據(jù)庫(kù)上,本文的成功率達(dá)到了0.668,精確度達(dá)到了0.822;在OTB100數(shù)據(jù)庫(kù)上,本文的成功率達(dá)到了0.690,精確度達(dá)到了0.839;在DTB70數(shù)據(jù)庫(kù)上,本文的成功率達(dá)到了0.489,精確度達(dá)到了0.655。在DTB70數(shù)據(jù)庫(kù)上的跟蹤性能低于OTB50和OTB100數(shù)據(jù)庫(kù)上的原因是DTB70數(shù)據(jù)庫(kù)的視頻序列較復(fù)雜,增加了追蹤的難度。

圖1 10個(gè)跟蹤器在3個(gè)數(shù)據(jù)庫(kù)上的成功率圖和精確度圖Figure 1 Success rate and accuracy of 10 trackers in three datasets

2.3 屬性量化分析

數(shù)據(jù)庫(kù)OTB50,OTB100和DTB70中的視頻序列通常包含以下11種屬性:低分辨率(low resolution,LR)、平面內(nèi)旋轉(zhuǎn)(in-plane rotation,IPR)、平面外旋轉(zhuǎn)(out-of-plane rotation,OPR)、尺度變化(scale variation,SV)、遮擋(occlusion,OCC)、變形(deformation,DEF)、背景干擾(ackground clutter,BC)、光照變化(Illumination variation,IV)、運(yùn)動(dòng)模糊(motion blur,MB)、快速運(yùn)動(dòng)(fast motion,FM)和超出視野(out of view,OV)。本小節(jié)將展示本文的跟蹤算法與ARCF、STRCF和BACF跟蹤算法在遮擋及快速運(yùn)動(dòng)和背景干擾三個(gè)屬性方面的跟蹤效果圖的比較。

圖2展示了本文所提TARCF跟蹤算法與ARCF、STRCF和BACF跟蹤算法在遮擋(OCC)屬性方面的跟蹤效果圖。從圖2可知,足球視頻序列中出現(xiàn)嚴(yán)重的遮擋情況,目標(biāo)周圍有許多紅色紙屑飄下來(lái),遮擋住目標(biāo)人物的臉,使得目標(biāo)與背景不容易分清,如第132幀。在跟蹤過(guò)程中,ARCF和STRCF跟蹤算法出現(xiàn)了嚴(yán)重的漂移,見第118幀和132幀中的綠色框和藍(lán)色框,而本文方法和BACF跟蹤算法都保持了比較好的跟蹤效果。飛鳥視頻序列中由于目標(biāo)周圍出現(xiàn)云層遮擋和相似的飛鳥,使得目標(biāo)與背景不容易分清。在跟蹤過(guò)程中,只有本文所提方法一直跟蹤到目標(biāo),其它三種跟蹤算法都出現(xiàn)了不同程度的漂移現(xiàn)象,見第185幀。這說(shuō)明本文方法具有很好的跟蹤性能。

圖2 本文TARCF追蹤器(紅色框)、ARCF追蹤器(綠色框)、STRCF追蹤器(藍(lán)色框)和BACF追蹤器(黑色框)在OTB50數(shù)據(jù)庫(kù)中的足球序列和飛鳥序列上的跟蹤比較Figure 2 Comparison of our TARCF tracker(red box)、ARCF tracker(green box)、STRCF tracker(blue box) and BACF tracker(black box) on the Soccer and Bird1 videos of OTB50 dataset

圖3展示了本文所提TARCF跟蹤算法與ARCF、STRCF和BACF跟蹤算法在快速運(yùn)動(dòng)(FM)屬性方面的跟蹤效果圖。從圖3可知,MotorRolling視頻序列中目標(biāo)騎著摩托車,因此移動(dòng)速度非常快,容易引起跟蹤器跟不上動(dòng)作的快速變化,從而產(chǎn)生漂移現(xiàn)象。在跟蹤過(guò)程中,只有本文所提方法一直跟蹤到目標(biāo),其它三種跟蹤算法都出現(xiàn)了不同程度的漂移現(xiàn)象,見第36幀。BMX4視頻中目標(biāo)騎在自行車上,發(fā)生了快速移動(dòng)。在跟蹤過(guò)程中,BACF和STRCF跟蹤算法出現(xiàn)了一定的漂移,見第64幀和90幀中的藍(lán)色框和黑色框,而本文方法和ARCF跟蹤算法仍能快速準(zhǔn)確的捕捉目標(biāo)。

圖3 本文TARCF追蹤器(紅色框)、ARCF追蹤器(綠色框)、STRCF追蹤器(藍(lán)色框)和BACF追蹤器(黑色框)在OTB100數(shù)據(jù)庫(kù)中的MotorRolling和BMX4上的跟蹤比較Figure 3 Comparison of TARCF tracker(red box)、ARCF tracker(green box)、STRCF tracker(blue box) and BACF tracker(black box) on the MotorRolling and BMX4 videos of OTB100 dataset

圖4展示了本文所提TARCF跟蹤算法與ARCF、STRCF和BACF跟蹤算法在背景干擾(BC)屬性方面的跟蹤效果圖。從圖4可知,Gull1視頻序列中由于目標(biāo)海鷗較小,受背景海洋的干擾性較大。而Hourse1視頻序列中目標(biāo)周圍出現(xiàn)了許多馬一起奔跑,對(duì)目標(biāo)造成干擾,容易降低跟蹤精度。在跟蹤過(guò)程中,其它三種跟蹤算法都出現(xiàn)了不同程度的漂移現(xiàn)象,只有本文所提方法的模型中擁有時(shí)間正則項(xiàng)和變異抑制正則項(xiàng),當(dāng)追蹤過(guò)程中出現(xiàn)突然變異時(shí),仍能正確跟蹤目標(biāo)。

3 結(jié) 論

針對(duì)遮擋、循環(huán)位移產(chǎn)生的邊界效應(yīng)以及相似目標(biāo)干擾引起的響應(yīng)圖異常改變的問(wèn)題,本文結(jié)合ARCF跟蹤算法和STRCF跟蹤算法的優(yōu)勢(shì),在外觀模型中引入時(shí)間正則項(xiàng)和變異抑制正則項(xiàng),并運(yùn)用交替方向乘子法快速迭代求解,提出了基于時(shí)間變異抑制相關(guān)濾波跟蹤算法。該跟蹤算法利用目標(biāo)運(yùn)動(dòng)的時(shí)間連續(xù)性在外觀模型中引入時(shí)間正則項(xiàng)約束,利用相鄰兩幀濾波器之間的聯(lián)系,實(shí)現(xiàn)目標(biāo)被遮擋、快速移動(dòng)等情形下的跟蹤效果;同時(shí),通過(guò)在模型中引入響應(yīng)圖背景異常抑制正則項(xiàng),有效地抑制了因背景中相似目標(biāo)干擾導(dǎo)致的響應(yīng)圖的異常改變,進(jìn)而提高了目標(biāo)跟蹤的魯棒性。標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)表明,本文所提算法在遮擋、快速移動(dòng)、背景干擾等檢測(cè)異常情況下,對(duì)目標(biāo)能夠進(jìn)行準(zhǔn)確的跟蹤。