胡秀華 王長(zhǎng)元 肖鋒 王亞文
摘 要:為解決在典型相關(guān)濾波框架模型中樣本信息判別性低引起的跟蹤漂移問題,提出一種利用空間結(jié)構(gòu)信息的相關(guān)濾波目標(biāo)跟蹤算法。首先,引入空間上下文結(jié)構(gòu)約束進(jìn)行模型構(gòu)建的優(yōu)化,同時(shí)利用正則化最小二乘與矩陣分解思想實(shí)現(xiàn)閉式求解;然后,采用互補(bǔ)特征用于目標(biāo)表觀描述,并利用尺度因子池處理目標(biāo)尺度變化情況;最后,借助目標(biāo)運(yùn)動(dòng)連續(xù)性進(jìn)行目標(biāo)受遮擋影響情況的判定,設(shè)計(jì)相應(yīng)的模型更新策略。實(shí)驗(yàn)結(jié)果表明,在多種典型測(cè)試場(chǎng)景中所提算法的準(zhǔn)確率較傳統(tǒng)算法提高了17.63%,成功率提高了24.93%,可以取得較為魯棒的跟蹤效果。
關(guān)鍵詞:目標(biāo)跟蹤;相關(guān)濾波;空間結(jié)構(gòu)信息;模型優(yōu)化;更新策略
中圖分類號(hào):TP391.4
文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1001-9081(2019)04-1150-07
Abstract: To solve the tracking drift problem caused by the low discriminability of sample information in typical correlation filtering framework, a correlation filter based object tracking algorithm with spatial structure information was proposed. Firstly, the spatial context structure constraint was introduced to optimize the model construction, meanwhile, the regularized least square and matrix decomposition idea were exploited to achieve the closed solution. Then, the complementary features were used for the target apparent description, and the scale factor pool was utilized to deal with target scale changing. Finally, according to the occlusion influence of target judged by motion continuity, the corresponding model updating strategy was designed. Experimental results demonstrate that compared with the traditional algorithm, the precision of the proposed algorithm is increased by 17.63%, and the success rate is improved by 24.93% in various typical test scenarios, achieving more robust tracking effect.
Key words: object tracking; correlation filter; spatial structure information; model optimization; updating strategy
0?引言
作為計(jì)算機(jī)視覺領(lǐng)域的重要研究方向,目標(biāo)跟蹤技術(shù)得到了越來越多的關(guān)注,并廣泛應(yīng)用在視頻監(jiān)控、智能導(dǎo)航、遠(yuǎn)程醫(yī)療等諸多方面。盡管目前已取得多類別框架的研究成果,但由于受到自身形變及運(yùn)動(dòng)變化、外界光照及相似物體干擾等復(fù)雜因素影響,目標(biāo)的表觀模型持續(xù)發(fā)生變化,研究能夠有效自適應(yīng)多種復(fù)雜條件的目標(biāo)跟蹤算法仍然是一項(xiàng)棘手且重要的任務(wù)[1-3]。
相關(guān)濾波理論將輸入特征回歸為目標(biāo)高斯分布來訓(xùn)練濾波器,并通過分類器置信圖響應(yīng)值進(jìn)行目標(biāo)位置估計(jì),由于采用密集采樣并將空域中的卷積操作變換為了頻域中元素的點(diǎn)乘運(yùn)算,使得其在跟蹤性能及計(jì)算效率方面具有諸多優(yōu)勢(shì),得到了研究學(xué)者越來越多的重視[4]。Henriques等[5]指出通過循環(huán)位移操作可以近似得到樣本采樣窗口位移,并利用二維分塊循環(huán)矩陣表示樣本目標(biāo)周圍的循環(huán)位移采樣,進(jìn)而借助傅里葉變換實(shí)現(xiàn)高效學(xué)習(xí)與檢測(cè)。在此基礎(chǔ)上,Henriques等[6]又分析了模型數(shù)據(jù)與核矩陣的循環(huán)特性,指出循環(huán)矩陣的對(duì)角化可以借助離散傅里葉變換進(jìn)行高時(shí)效的處理,并基于線性回歸與核脊回歸模型分別給出了線性相關(guān)與對(duì)偶相關(guān)的濾波器。Zhang等[7]基于貝葉斯框架建立了目標(biāo)與其周圍區(qū)域的時(shí)空上下文關(guān)系,將目標(biāo)跟蹤問題轉(zhuǎn)化為了分類器置信圖的求解,通過最大化目標(biāo)位置似然函數(shù)求得最佳目標(biāo)狀態(tài)估計(jì),采用的傅里葉變換方法保證了算法的計(jì)算實(shí)時(shí)性?;谙嚓P(guān)濾波框架,Li等[8]給出了一種尺度自適應(yīng)跟蹤策略,利用尺度池的思想解決了典型核相關(guān)濾波跟蹤算法中目標(biāo)圖像塊搜索窗尺寸固定的問題,同時(shí),采用的特征融合方法進(jìn)一步增強(qiáng)了算法性能。通過學(xué)習(xí)狀態(tài)轉(zhuǎn)移和尺度估計(jì)兩個(gè)相對(duì)獨(dú)立的濾波器,Danelljan等[9]給出了尺度空間特征金字塔描述學(xué)習(xí)的判別式相關(guān)濾波模型,能夠有效用于尺度變化問題。錢堂慧等[10]通過采集多尺度圖像訓(xùn)練得到多尺度分類器,實(shí)現(xiàn)了目標(biāo)最佳尺度檢測(cè),一定程度上解決了基于檢測(cè)的核相關(guān)濾波跟蹤算法不能有效處理目標(biāo)尺度變化的問題。胡秀華等[11]利用物體建議邊界框檢測(cè)原理對(duì)核相關(guān)濾波器求得的目標(biāo)初步預(yù)測(cè)狀態(tài)進(jìn)行精處理,同時(shí)設(shè)計(jì)了遮擋情況判定準(zhǔn)則,能夠有效用于目標(biāo)表觀信息判別性低的場(chǎng)景,為后續(xù)研究提供了有益思路。
但是值得注意的是,典型的相關(guān)濾波跟蹤算法假設(shè)目標(biāo)所處環(huán)境背景單一或均勻變化且運(yùn)動(dòng)狀態(tài)變化緩慢,當(dāng)實(shí)際應(yīng)用中視頻序列受多種復(fù)雜因素干擾影響且目標(biāo)快速運(yùn)動(dòng)或嚴(yán)重形變時(shí),這種假設(shè)往往不再成立,典型相關(guān)濾波算法的跟蹤效果也受到了一定程度的影響。針對(duì)相關(guān)濾波模型存在的典型邊界受限問題,Danelljan等[12]通過引入空間正則化項(xiàng)對(duì)相關(guān)濾波器系數(shù)空間進(jìn)行位置補(bǔ)償,在更大范圍內(nèi)采樣得到強(qiáng)判別性的負(fù)樣本,同時(shí)給出了基于高斯塞德爾方法的優(yōu)化策略,為后續(xù)研究提供了有益思路。Mueller等[13]提出了一種新的相關(guān)濾波框架,通過增加目標(biāo)塊的上下左右四部分圖像塊進(jìn)行模型約束,增加了更多的背景信息,可以有效處理旋轉(zhuǎn)等變化,而且新的模型框架具有閉環(huán)解,計(jì)算效率較高。Bibi等[14]旨在基于精確的變換檢測(cè)得分解決濾波優(yōu)化與目標(biāo)響應(yīng)問題,給出的模型框架側(cè)重于處理邊界影響,更適合處理快速運(yùn)動(dòng)與目標(biāo)遮擋情況。Lukezic等[15]將通道可靠性與空域可靠性引入典型判別式相關(guān)濾波框架,并利用通道可靠性得分作為特征加權(quán)系數(shù)實(shí)現(xiàn)目標(biāo)定位,可以有效擴(kuò)大搜索區(qū)域,改善非矩形目標(biāo)跟蹤效果。
因此,整體看來,相關(guān)濾波器的循環(huán)采樣過程容易受圖像邊界限制影響,且候選目標(biāo)搜索范圍大多局限在小的局部區(qū)域內(nèi),這使得相關(guān)典型算法在目標(biāo)存在快速運(yùn)動(dòng)或外界遮擋干擾影響時(shí)出現(xiàn)跟蹤漂移?,F(xiàn)有研究成果雖然在一定程度上考慮了邊界受限,但在空間結(jié)構(gòu)信息的利用、樣本選擇與模型構(gòu)建等方面還有待深入研究。
1?問題分析
典型相關(guān)濾波算法在樣本目標(biāo)圖像塊循環(huán)移位至圖像邊緣附近時(shí)易受到邊界效應(yīng)影響,由此產(chǎn)出的錯(cuò)誤樣本會(huì)減弱分類器的判別性能,采用的余弦窗處理雖然在一定程度上緩解了邊界影響,但是余弦窗將圖像塊的邊緣區(qū)域像素全部變?yōu)榱?,過濾掉了大量的需要學(xué)習(xí)的背景信息,降低了分類器的判別力。現(xiàn)有研究方法中采用了較大檢測(cè)區(qū)域的圖像塊與較小作用域的濾波器來提高真實(shí)樣本的比例,雖然可以提升快速運(yùn)動(dòng)目標(biāo)的跟蹤魯棒性,但卻大幅削弱了相關(guān)濾波類別算法的實(shí)時(shí)性優(yōu)勢(shì)。本文擬利用空間結(jié)構(gòu)約束進(jìn)行目標(biāo)模型優(yōu)化,可在不降低計(jì)算有效性的同時(shí)提升樣本信息的多樣性,并通過模型學(xué)習(xí)有效降低背景干擾信息的影響。
2?本文算法
針對(duì)典型相關(guān)濾波算法模型容易受到圖像邊界范圍限制的問題,考慮到依靠余弦窗濾波處理雖然可以緩解邊界受限但卻降低了背景信息的利用,本文引入空間結(jié)構(gòu)約束進(jìn)行模型構(gòu)建的優(yōu)化,以提高樣本信息的多樣性與判別性;借助互補(bǔ)特征提高目標(biāo)表觀描述的有效性,并利用尺度因子池處理目標(biāo)尺度變化情況;同時(shí),通過目標(biāo)受遮擋影響情況的判定,設(shè)計(jì)模型更新策略,用于改善目標(biāo)在復(fù)雜場(chǎng)景中的跟蹤性能。所提算法整體框架如圖2所示。
2.1?目標(biāo)模型的優(yōu)化
對(duì)于典型的核相關(guān)濾波跟蹤算法,分類器的訓(xùn)練過程可以看作嶺回歸問題,即
對(duì)于多通道特征,需要進(jìn)一步利用多特征的相互獨(dú)立性及共軛梯度下降方法進(jìn)行求解。
由式(5)可看出,上下文圖像塊的選擇對(duì)模型優(yōu)化結(jié)果起著重要影響,為充分利用空間結(jié)構(gòu)信息,本文擬在全局空間中選取先前幀數(shù)中被判定為干擾背景所對(duì)應(yīng)的圖像塊及其周圍區(qū)域采樣得到的與先前幀跟蹤結(jié)果不重疊的圖像塊作為上下文圖像塊,可以在保證計(jì)算效率的同時(shí)增強(qiáng)樣本的多樣性和判別性。通過求解式(5)可以得到優(yōu)化的相關(guān)濾波器訓(xùn)練模型,進(jìn)而用于當(dāng)前幀候選圖像塊最佳位置預(yù)測(cè)。部分特征通道下上下文圖像塊及其對(duì)偶值的點(diǎn)乘結(jié)果示意效果如圖3所示。
是否利用空間結(jié)構(gòu)信息進(jìn)行分類器模型優(yōu)化所得到的目標(biāo)響應(yīng)效果如圖4所示。
圖4(a)給出了第39幀目標(biāo)位置框信息。從圖4(b)、(c)可看出:在外界物體遮擋干擾情況下,考慮空間結(jié)構(gòu)信息的目標(biāo)模型得到的最大響應(yīng)值受周圍干擾影響相對(duì)較小,在最佳目標(biāo)狀態(tài)確定時(shí)能夠更好地區(qū)分目標(biāo)與背景。
2.2?目標(biāo)表觀描述與尺度自適應(yīng)
為提高樣本信息的多樣性與判別性,文中采用顏色特征與方向梯度直方圖(Histogram of Oriented Gradients, HOG)兩種互補(bǔ)特征進(jìn)行表觀描述。在顏色特征提取方面,將紅綠藍(lán)(Red Green Blue, RGB)三種顏色屬性細(xì)化為11種基本顏色;在HOG特征提取方面,對(duì)于圖像塊中每一個(gè)細(xì)胞單元,提取得到31維HOG特征向量,其中27維對(duì)應(yīng)不同的方向通道,4維對(duì)應(yīng)不同的歸一化因子;最終將提取得到的HOG特征與顏色特征串聯(lián)起來形成具有42通道的融合特征。
與此同時(shí),尺度變化是跟蹤過程中不容忽視的基本問題,對(duì)于因目標(biāo)與傳感器相對(duì)距離變化以及因外界遮擋或自身形變所導(dǎo)致的尺度變化情況,如果不考慮尺度因子,當(dāng)目標(biāo)尺度相對(duì)縮小時(shí),大量背景信息容易引入跟蹤濾波器,當(dāng)目標(biāo)尺度相對(duì)增大時(shí),目標(biāo)局部信息便容易丟失,這兩種情況都很導(dǎo)致跟蹤漂移乃至失敗。本文利用多尺度縮放檢測(cè)的思想解決目標(biāo)尺度變化問題,定義尺度因子池S={s1,s2,…,sL},L為尺度變化數(shù)目,假定模板尺寸為rT,初始目標(biāo)搜索窗尺寸為rs,對(duì)于依據(jù)各個(gè)尺度因子sl采集到的圖像塊尺寸slrs,在求取響應(yīng)值時(shí)將其歸一化為rT,然后依據(jù)式(8)求得最佳響應(yīng)值及其對(duì)應(yīng)的目標(biāo)尺度,即
其中:zsl為尺寸對(duì)應(yīng)于slrs的候選樣本圖像塊。通過在多尺度縮放的圖像塊集合上進(jìn)行目標(biāo)檢測(cè),可以求得響應(yīng)值最大的候選圖像塊位置及相應(yīng)尺度。
2.3?模型更新策略
目標(biāo)表觀在連續(xù)幀間動(dòng)態(tài)變化,需要對(duì)樣本及分類器進(jìn)行適時(shí)更新,尤其當(dāng)目標(biāo)受遮擋或外界干擾影響時(shí),合理的更新處理才能避免出現(xiàn)跟蹤漂移。通過研究當(dāng)前幀與先前幀之間的相關(guān)性以及目標(biāo)連續(xù)幀之間的時(shí)間平滑性,可以定義目標(biāo)表觀變化率,并部分描述目標(biāo)表觀受遮擋或干擾影響等情況[11]。
峰值旁瓣比(Peak to Sidelobe Ratio, PSLR)可用來量化相關(guān)性峰值的銳度,PSLR的值OPSLR越高,表明當(dāng)前幀與先前幀之間的相關(guān)程度越高,則在第t幀有
其中:dtmax為置信圖峰值; μt、σt分別為置信圖旁瓣的均值與標(biāo)準(zhǔn)差。
置信圖平滑約束(Smooth Constraint of Confidence Map, SCCM)可用來描述目標(biāo)連續(xù)幀之間具有的時(shí)間平滑性,SCCM的值OSCCM越高,表明當(dāng)前幀與先前幀之間的平滑程度越差,且有
其中:為置信圖在連續(xù)幀間的偏移操作,Δ為連續(xù)幀間置信圖最大值位置之間的偏移量,dt-1、dt分別為第t-1與第t幀對(duì)應(yīng)的置信響應(yīng)圖。
因此,可以定義目標(biāo)表觀變化率η,即
其中:ζ為相關(guān)性銳度與置信圖平滑度之間的平衡因子,依據(jù)目標(biāo)表觀變化率及設(shè)置的表觀變化閾值可以對(duì)目標(biāo)受外界遮擋或背景干擾影響情況作出初步判定。
對(duì)于某測(cè)試序列,可以得出目標(biāo)跟蹤過程中各時(shí)刻的目標(biāo)表觀變化情況,如圖5所示。
設(shè)置遮擋閾值為ξ,依據(jù)當(dāng)前幀最佳目標(biāo)受遮擋情況完成系數(shù)矩陣與樣本目標(biāo)表觀更新。
2.4?時(shí)間復(fù)雜度分析
本文算法計(jì)算耗時(shí)主要集中在模型優(yōu)化求解、目標(biāo)狀態(tài)估計(jì)以及模型更新方面。在模型求解方面,計(jì)算耗時(shí)主要取決于式(6),時(shí)間復(fù)雜度可表示為O(CMN),對(duì)于多通道特征,則需要對(duì)所有維特征通道進(jìn)行計(jì)算,利用求和得出;在最佳目標(biāo)估計(jì)方面,需要求解檢測(cè)響應(yīng)置信圖峰值,計(jì)算耗時(shí)主要取決于式(7),涉及點(diǎn)積、傅里葉變換及逆傅里葉變換等操作,時(shí)間復(fù)雜度可表示為O( log ),其中,×為考慮尺度因子的目標(biāo)跟蹤區(qū)域;在模型更新方面,計(jì)算耗時(shí)取決于式(12)~(13),主要涉及矩陣求和運(yùn)算,時(shí)間復(fù)雜度可以記為O(RcRl),其中Rc×Rl為模型系數(shù)矩陣大小。
3?實(shí)驗(yàn)與結(jié)果分析
本文算法的實(shí)現(xiàn)環(huán)境為Matlab2018a,CPU為i5-7200U,雙核四線程,主頻為2.5GHz,內(nèi)存為8GB。設(shè)每個(gè)細(xì)胞單元大小為4×4個(gè)像素,高斯核函數(shù)帶寬σ1=0.5,上下文圖像塊采樣個(gè)數(shù)為4,多尺度因子池取為[1,0.985,0.99,0.995,1.005,1.01,1.015],平衡因子為ζ=1,遮擋閾值為ξ=0.7,模型更新學(xué)習(xí)率為ρ=0.01。為驗(yàn)證本文算法的有效性,選擇基準(zhǔn)庫中的8組具有背景干擾、光照變化、尺度變化、旋轉(zhuǎn)與形變、運(yùn)動(dòng)模糊及遮擋等復(fù)雜情況的視頻序列進(jìn)行測(cè)試,并與6種典型算法相比,包括:利用核的循環(huán)結(jié)構(gòu)(Circulant Structure of tracking-by-detection with Kernels, CSK)[5]、時(shí)空上下文學(xué)習(xí)(Spatio-Temporal Context learning, STC)[7]、核相關(guān)濾波(Kernelized Correlation Filter, KCF)[6]、判別性尺度空間跟蹤(Discriminative Scale Space Tracking, DSST)[9]、多特征尺度自適應(yīng)濾波(Scale Adaptive filter with Multiple Features, SAMF)[8]、空間正則化判別性相關(guān)濾波(Spatially Regularized Discriminative Correlation Filter, SRDCF)算法[12],
并采用中心位置誤差(Center Location Error, CLE),即人工手動(dòng)標(biāo)定給出的目標(biāo)中心位置標(biāo)準(zhǔn)值與各跟蹤算法得到的目標(biāo)中心位置大小估計(jì)求得的值之間的距離,以及邊界框重疊率(Bounding Box Overlap Rate, BBOR),即基準(zhǔn)結(jié)果區(qū)域與跟蹤算法跟蹤結(jié)果區(qū)域的交與并結(jié)果中像素個(gè)數(shù)比值定量評(píng)價(jià)各跟蹤算法性能。
3.1?定量評(píng)價(jià)
不同時(shí)刻不同算法在各測(cè)試序列中的中心位置誤差值如圖6所示,不同時(shí)刻不同算法在各測(cè)試序列中的邊界框重疊率如圖7所示,不同算法在各測(cè)試序列中的中心位置誤差平均值、整體跟蹤準(zhǔn)確率(Precision Rate, PR)(依據(jù)中心位置誤差閾值(20個(gè)像素))、邊界框重疊率平均值、整體跟蹤成功率(Success Rate, SR)(依據(jù)邊界框重疊率閾值(0.6)),以及各算法在測(cè)試序列中的每幀平均耗時(shí)(Average Time Per Frame, ATPF)如表1~2所示。
由圖6~7可看出,本文算法充分利用了目標(biāo)空間上下文結(jié)構(gòu)信息,在求得最佳目標(biāo)狀態(tài)時(shí)能夠更好地區(qū)分目標(biāo)與背景。通過引入的尺度因子池可以更有效地估計(jì)出目標(biāo)中心位置及尺寸大小,同時(shí),引入的運(yùn)動(dòng)連續(xù)性及模型更新過程中目標(biāo)表觀受遮擋影響情況的判定,使得新算法能夠更有效地適應(yīng)外界遮擋及干擾等復(fù)雜情況,適用性好。
從表1~2可看出:本文算法可以充分利用空間結(jié)構(gòu)信息優(yōu)化分類器模型的構(gòu)建,并通過尺度自適應(yīng)處理和遮擋情況判定提高算法對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力,在各典型測(cè)試環(huán)境下均取得了相對(duì)較優(yōu)的跟蹤效果,雖然計(jì)算實(shí)時(shí)性相對(duì)較低,但整體跟蹤性能穩(wěn)定。與SRDCF算法相比,本文算法的跟蹤準(zhǔn)確率提高了17.63%,成功率提高了24.93%。
3.2?定性評(píng)價(jià)
部分時(shí)刻各算法在不同典型測(cè)試序列上的部分跟蹤效果如圖8所示。
bird2測(cè)試序列中存在目標(biāo)自身的旋轉(zhuǎn)運(yùn)動(dòng)形變和背景物體的遮擋干擾等情況,如圖8(a)所示。在第10幀,受外界物體遮擋影響,CSK和STC算法出現(xiàn)了明顯的跟蹤漂移;在第46幀時(shí),目標(biāo)做反方向運(yùn)動(dòng),各算法跟蹤誤差都有所增加,DSST和SRDCF等算法逐漸丟失了目標(biāo),在后續(xù)的跟蹤過程中也沒有能夠重新找回目標(biāo),但SAMF和本文算法能夠快速地找準(zhǔn)目標(biāo),有效實(shí)現(xiàn)較為完整的跟蹤過程。
box測(cè)試序列中目標(biāo)受外界遮擋影響嚴(yán)重,并存在背景干擾、旋轉(zhuǎn)形變與尺度變化等復(fù)雜因素,如圖8(b)所示。在第88幀,目標(biāo)在旋轉(zhuǎn)過程中出現(xiàn)運(yùn)動(dòng)模糊,CSK算法跟蹤誤差明顯增加并導(dǎo)致跟蹤失敗;在第447幀后,目標(biāo)逐漸被外界遮擋并移入復(fù)雜背景中,KCF和SRDCF等算法不能重新找回目標(biāo),跟蹤誤差明顯增加直至丟失目標(biāo),整體看來,SAMF和本文算法能有效實(shí)現(xiàn)完整跟蹤,跟蹤性能相對(duì)較優(yōu)。
coke測(cè)試序列中目標(biāo)做持續(xù)旋轉(zhuǎn)運(yùn)動(dòng),并在部分時(shí)刻被完全遮擋,如圖8(c)所示。在第36幀,受外部遮擋影響,STC算法存在明顯跟蹤漂移乃至跟蹤失敗;在第56~75幀,受目標(biāo)旋轉(zhuǎn)變形影響,KCF和SAMF算法跟蹤誤差顯著增加;而在第251~273幀,目標(biāo)受外界遮擋干擾,SAMF、SRDCF和本文算法跟蹤誤差都有所增加,但在遮擋情況消失時(shí)本文算法能快速重新準(zhǔn)確估計(jì)出目標(biāo)運(yùn)動(dòng)狀態(tài),其中,由于本文算法考慮了目標(biāo)空間結(jié)構(gòu)信息與遮擋情況判定,跟蹤性能相對(duì)較優(yōu)。
dudek測(cè)試序列中目標(biāo)受光照和背景干擾影響,并伴隨持續(xù)運(yùn)動(dòng)與尺寸變化,如圖8(d)所示。在第681~746幀,目標(biāo)在背景干擾中運(yùn)動(dòng),各算法跟蹤誤差都有明顯增加;在第786幀之后,目標(biāo)表觀變化明顯,STC算法出現(xiàn)明顯跟蹤漂移,而在第927幀,目標(biāo)面部旋轉(zhuǎn)明顯,KCF和SAMF等算法也出現(xiàn)不同程度的跟蹤漂移,而利用空間結(jié)構(gòu)信息和表觀變化情況判定的本文算法跟蹤效果較為穩(wěn)定。
faceocc1測(cè)試序列中目標(biāo)受外界遮擋與干擾情況顯著,如圖8(e)所示。隨著外界遮擋面積的逐漸增加及減小,各跟蹤算法性能出現(xiàn)明顯波動(dòng),而在第216幀之后,隨著遮擋物的出現(xiàn)與移走,STC算法跟蹤誤差明顯增大,并逐漸丟失目標(biāo);整體看來,SAMF和本文算法跟蹤效果相對(duì)較優(yōu)。
jogging測(cè)試序列中目標(biāo)受嚴(yán)重遮擋及相似物體干擾影響,如圖8(f)所示。在第62幀,受外界遮擋物干擾影響,各算法跟蹤誤差都有明顯增加,隨著遮擋物的移除,KCF和DSST等算法出現(xiàn)明顯跟蹤漂移,而SRDCF和本文算法能夠快速找回目標(biāo),跟蹤效果良好。
suv測(cè)試序列中目標(biāo)受外部遮擋和背景干擾嚴(yán)重,如圖8(g)所示。在第511幀,受嚴(yán)重遮擋影響,目標(biāo)逐漸淡出視野,CSK算法出現(xiàn)明顯的跟蹤偏差;在第793幀,隨著遮擋物的移除,STC算法出現(xiàn)明顯跟蹤漂移直至跟蹤失敗;整體看來,KCF和本文算法對(duì)目標(biāo)運(yùn)動(dòng)趨勢(shì)判定基本正確,且KCF跟蹤性能明顯優(yōu)于其他算法。
trellis測(cè)試序列中目標(biāo)受到強(qiáng)烈背景光照變化的干擾,并存在自身旋轉(zhuǎn)與尺度變化,如圖8(h)所示。受旋轉(zhuǎn)形變與光照變化影響,在第241~439幀,CSK算法跟蹤誤差相對(duì)較大;在第412幀之后,受光照變化和背景干擾影響,STC算法出現(xiàn)明顯跟蹤漂移乃至丟失目標(biāo);整體看來,SAMF和本文算法取得了較為魯棒的跟蹤效果。
4?結(jié)語
針對(duì)典型相關(guān)濾波算法中樣本信息判別性不足的問題,本文給出了一種利用空間結(jié)構(gòu)信息的目標(biāo)跟蹤算法。通過引入空間結(jié)構(gòu)約束實(shí)現(xiàn)了模型構(gòu)建的優(yōu)化,一定程度上減少了圖像邊界范圍受限的影響,提高了樣本信息的多樣性與判別性;采用的互補(bǔ)特征能夠有效表征目標(biāo)表觀描述,引入的尺度因子池有助于處理目標(biāo)尺度變化情形;此外,依據(jù)目標(biāo)受遮擋影響情況設(shè)計(jì)了模型更新策略,可以有效適應(yīng)目標(biāo)表觀變化。實(shí)驗(yàn)的定量和定性分析結(jié)果驗(yàn)證了所提算法在多種復(fù)雜場(chǎng)景中能有效解決目標(biāo)跟蹤性能低的問題。下一步的工作將著重研究不同通道特征之間的加權(quán)融合,并利用分塊處理解決遮擋問題。
參考文獻(xiàn)(References)
[1] WU Y, LIM J, YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.
[2] KRISTAN M, LEONARDIS A, MATAS J, et al. The visual object tracking VOT2016 challenge results[C]// ICCV 2016: Proceedings of the 2016 IEEE International Conference on Computer Vision Workshops. Washington, DC: IEEE Computer Society, 2016: 98-111.
[3] 胡秀華. 復(fù)雜場(chǎng)景中目標(biāo)跟蹤算法研究[D]. 西安: 西北工業(yè)大學(xué), 2017:19-28. (HU X H. Research on object tracking algorithm in complex environment[D]. Xi'an: Northwestern Polytechnical University, 2017: 19-28.)
[4] CHEN Z, HONG Z, TAO D. An experimental survey on correlation filter-based tracking [EB/OL]. [2018-05-26].https://arxiv.org/pdf/1509.05520.
[5] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]// ECCV 2012: Proceedings of the 2012 European Conference on Computer Vision. Berlin: Springer, 2012: 702-715.
[6] HENRIQUES J F, RUI C, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.
[7] ZHANG K H, ZHANG L, LIU Q S, et al. Fast visual tracking via dense spatio-temporal context learning[C]// ECCV 2014: Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 127-141.
[8] LI Y, ZHU J. A scale adaptive kernel correlation filter tracker with feature integration[C]// ECCV 2014: Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 254-265.
[9] DANELLJAN M, HAGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking[C]// CVPR 2014: Proceedings of the 2014 Proceedings of the British Machine Vision Conference. Nottingham: British Machine Vision Association Press, 2014: 65.1-65.11.
[10] 錢堂慧, 羅志清, 李果家, 等. 核相關(guān)濾波跟蹤算法的尺度自適應(yīng)改進(jìn)[J]. 計(jì)算機(jī)應(yīng)用, 2017, 37(3): 811-816. (QIAN T H, LUO Z Q, LI G J, et al. Scale adaptive improvement of kernel correlation filter tracking algorithm [J]. Journal of Computer Applications, 2017, 37(3): 811-816.)
[11] 胡秀華, 郭雷, 李暉暉. 一種利用物體性檢測(cè)的目標(biāo)跟蹤算法[J]. 西安電子科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017, 44(4): 86-94. (HU X H, GUO L, LI H H. An object tracking algorithm based on objectness detection[J]. Journal of Xidian University, 2017, 44(4): 86-94.)
[12] DANELLJAN M, HAGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]// ICCV 2015: Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2015: 4310-4318.
[13] MUELLER M, SMITH N, GHANEM B. Context-aware correlation filter tracking[C]// CVPR 2017: Proceedings of the 2017 IEEE International Conference on Computer Vision and Pattern Recognition. ?Washington, DC: IEEE Computer Society, 2017: 1387-1395.
[14] BIBI A, MUELLER M, GHANEM B. Target response adaptation for correlation filter tracking[C]// ECCV 2016: Proceedings of the 2016 European Conference on Computer Vision. Berlin: Springer, 2016: 419-433.
[15] LUKEZIC A, VOJIR T, ZAJC L C, et al. Discriminative correlation filter with channel and spatial reliability[J]. International Journal of Computer Vision, 2018, 126(7): 671-688.
[16] RIFKIN R, YEO G, POGGIO T. Regularized least squares classification[EB/OL]. [2018-07-26]. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.7.3463&rep=rep1&type=pdf.