張?jiān)瓐@，艾斯卡爾·艾木都拉，瑪依熱·依布拉音

（新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046）

0 引 言

計(jì)算機(jī)視覺是指利用計(jì)算機(jī)處理圖像、視頻的科學(xué)研究，單目標(biāo)跟蹤是其中最主要的一個(gè)分支[1]。單目標(biāo)跟蹤是指通過(guò)計(jì)算機(jī)處理視頻數(shù)據(jù)，實(shí)現(xiàn)對(duì)感興趣的目標(biāo)跟蹤，比如在大型廣場(chǎng)對(duì)某人的行蹤進(jìn)行監(jiān)控定位。其跟蹤的策略主要是在視頻圖像的第一幀通過(guò)特征提取得到目標(biāo)信息的特征，在后續(xù)跟蹤過(guò)程中通過(guò)與前一幀對(duì)比運(yùn)算，實(shí)現(xiàn)對(duì)目標(biāo)進(jìn)行持續(xù)跟蹤，從而得到所需要的信息。

目標(biāo)跟蹤在生活中有許多應(yīng)用場(chǎng)景，包括交通視頻的監(jiān)控、智能人機(jī)交互、自動(dòng)駕駛技術(shù)、軍事偵察技術(shù)等[2]。目標(biāo)跟蹤發(fā)展從早期的均值漂移算法、粒子濾波、卡爾曼濾波等經(jīng)典算法[3]，到基于檢測(cè)的方法、相關(guān)濾波方法，再到近幾年熱門的深度學(xué)習(xí)和孿生網(wǎng)絡(luò)方法[4]，經(jīng)歷了幾十年的發(fā)展，其結(jié)果也越來(lái)越好?？墒悄繕?biāo)跟蹤研究面臨的問(wèn)題依然嚴(yán)峻，主要是因?yàn)槟繕?biāo)外觀形變、背景光照變化、目標(biāo)的快速移動(dòng)、背景相似干擾等復(fù)雜狀況導(dǎo)致的跟蹤失敗[5]，這些問(wèn)題依然需要不斷探索創(chuàng)新來(lái)解決復(fù)雜環(huán)境下的目標(biāo)精確跟蹤。MOSSE（Minimum Output Sum of Squared Error）[6]是最早將通信中的相關(guān)思想用到目標(biāo)跟蹤領(lǐng)域的，通過(guò)峰值判斷目標(biāo)位置，峰值越大，得到的響應(yīng)也就越大。CSK（Circulant Structure of Tracking-by-detection with Kernels）[7]通過(guò)使用高斯核計(jì)算相鄰兩幀之間的相關(guān)性，取響應(yīng)最大的點(diǎn)為預(yù)測(cè)的目標(biāo)中心，通過(guò)循環(huán)矩陣解決訓(xùn)練量問(wèn)題，僅使用單通道灰度特征。該算法是固定目標(biāo)大小的，對(duì)發(fā)生尺度變化的目標(biāo)效果不好。KCF（Kernel Correlation Filter）[8]是在CSK基礎(chǔ)上加了HOG（Histogram of Oriented Gradient）特征使得效果有了很大的提升，使用嶺回歸方法降低了運(yùn)算量，提高了運(yùn)算速度，使算法滿足實(shí)時(shí)性要求。CN（Color Name）[9]目標(biāo)跟蹤算法主要的貢獻(xiàn)就是將圖片的顏色屬性擴(kuò)展到了CSK 跟蹤器中，文中將顏色分為11 類，通過(guò)增加特征來(lái)提高跟蹤效果，結(jié)果表明顏色屬性對(duì)于視覺跟蹤問(wèn)題具有優(yōu)越的表現(xiàn)并且速度可達(dá)到實(shí)時(shí)性要求。DSST（Discriminative Scale Space Tracker）[10]在CN 基礎(chǔ)上增加了尺度更新方法，使其準(zhǔn)確率又有了新的提升。

BACF（Background-aware Correlation Filter）[11]通 過(guò)擴(kuò)大循環(huán)矩陣采樣區(qū)域增加樣本數(shù)量，通過(guò)裁剪樣本區(qū)域優(yōu)化樣本質(zhì)量，使其效果在以上算法中表現(xiàn)突出。

但是BACF 算法在使用特征過(guò)程中較為單一，在復(fù)雜場(chǎng)景中跟蹤結(jié)果不是很理想，沒(méi)有進(jìn)行尺度更新等操作。所以本文在BACF 算法基礎(chǔ)上提出了一種多特征融合尺度自適應(yīng)跟蹤算法。通過(guò)在HOG 特征中添加CN 以及Gray 特征，增加特征識(shí)別，在跟蹤第一步能很好地提取目標(biāo)信息。通過(guò)對(duì)圖片的多峰檢測(cè)進(jìn)行選擇更新[12-13]，對(duì)各個(gè)尺度對(duì)比選擇效果最好的結(jié)果來(lái)更新目標(biāo)位置[14]，減小遮擋等帶來(lái)的不良影響。通過(guò)對(duì)算法進(jìn)行優(yōu)化，在背景干擾等幾種環(huán)境下都有很好的表現(xiàn)。

1 基于背景感知的相關(guān)濾波跟蹤

BACF 是Galoogahai 于2017 年 發(fā) 表 在ICCV 上 的 論文，算法的主要思想是：

1）通過(guò)擴(kuò)大循環(huán)矩陣的采樣區(qū)域；

2）通過(guò)裁剪使得每個(gè)樣本質(zhì)量明顯提高，所以能夠有較好的結(jié)果。在BACF 算法中，濾波器h為式（1）求解結(jié)果最小二乘加正則項(xiàng)：

式中：xk∈RD，hk∈RD，x表示正樣本；中括號(hào)中是進(jìn)行循環(huán)移位操作；h是所要訓(xùn)練的濾波器。

式（2）是通過(guò)P矩陣進(jìn)行裁剪的式子，之后經(jīng)過(guò)快速傅里葉變換投影到頻域，如式（3），為使用增廣拉格朗日法，構(gòu)造出輔助變量g，利用增廣拉格朗日法得到式（4）：

之后就是用ADMM（Alternating Direction Method of Multipliers）優(yōu)化算法，將問(wèn)題轉(zhuǎn)化成濾波器h的求解和輔助變量g的求解，通過(guò)式（5）和式（6）分別求解h*和*：

至此化簡(jiǎn)式（6）即可得到最優(yōu)解，同時(shí)式（7）為更新濾波器公式，由此可以根據(jù)相關(guān)濾波器進(jìn)行目標(biāo)定位。

2 多特征融合尺度自適應(yīng)目標(biāo)跟蹤算法

2.1 算法改進(jìn)

本文在BACF 基礎(chǔ)之上，提出了多特征融合尺度自適應(yīng)目標(biāo)跟蹤算法。跟蹤過(guò)程中，在目標(biāo)區(qū)域提取梯度直方圖（HOG）特征、顏色（CN）特征以及灰度（Gray）特征，通過(guò)峰值旁瓣比來(lái)減弱遮擋對(duì)跟蹤的影響，通過(guò)對(duì)原圖多尺度估計(jì)對(duì)比選擇效果最好的結(jié)果來(lái)更新目標(biāo)位置。本文所提出的算法框架如圖1 所示。

2.1.1 特征提取

梯度直方圖特征對(duì)圖像的梯度變化十分敏感，是跟蹤過(guò)程中比較能反映目標(biāo)特征的一類特征，在一般運(yùn)動(dòng)中效果還是比較好的，只是在遮擋、背景復(fù)雜、快速變化等環(huán)境中，單獨(dú)的一種特征不能準(zhǔn)確地對(duì)目標(biāo)進(jìn)行表達(dá)，難免在跟蹤過(guò)程中出現(xiàn)目標(biāo)丟失的問(wèn)題。于是選擇加入顏色以及灰度特征。顏色特征是區(qū)別于RGB 三色劃分的顏色系統(tǒng)，將顏色信息劃分為11 類，因?yàn)樾枰獙?duì)顏色屬性進(jìn)行規(guī)范化操作，將11 維的顏色空間降低為10 維，在跟蹤過(guò)程中再通過(guò)PCA 降維的方式將10 維顏色屬性降低至2 維，減少運(yùn)算，提高跟蹤速率。對(duì)于灰度特征的加入，側(cè)重于圖像的亮暗變化，可以作為特征加強(qiáng)特征表達(dá)，三個(gè)特征相互補(bǔ)充以提高跟蹤魯棒性。

2.1.2 峰值檢測(cè)

在跟蹤過(guò)程中，往往在多種類似目標(biāo)出現(xiàn)時(shí)，目標(biāo)的響應(yīng)圖通常會(huì)顯示多個(gè)差別很小的峰值，如圖2所示。

圖2a）和圖2c）是背景環(huán)境比較干凈，峰值響應(yīng)就是目標(biāo)的響應(yīng)結(jié)果，圖2b）和圖2d）因?yàn)檎趽鯁?wèn)題，出現(xiàn)多峰值情況，如果在這種情況下更新濾波器，很有可能將錯(cuò)誤信息作為目標(biāo)特征，影響跟蹤效果。在其跟蹤過(guò)程中利用峰值旁瓣比（Peak to Sidelobe Ratio，PSR）削弱遮擋對(duì)跟蹤的影響。其旁瓣比比值越小，響應(yīng)圖越干凈，跟蹤效果越好。將跟蹤響應(yīng)圖的最高響應(yīng)點(diǎn)設(shè)為主瓣峰值，峰值附近13×13 之外區(qū)域定義為旁瓣，通過(guò)實(shí)驗(yàn)選取理想比值，小于閾值正常更新，大于閾值停止更新，減弱遮擋影響。其中g(shù)表示峰值，μ是旁瓣均值，σ是旁瓣標(biāo)準(zhǔn)差。

2.1.3 尺度更新

以原樣本為中心，按照一定比例的尺度獲取多個(gè)樣本，通過(guò)計(jì)算不同尺度樣本所對(duì)應(yīng)的響應(yīng)值，選擇最優(yōu)的尺度響應(yīng)完成濾波器更新。

假設(shè)當(dāng)前幀目標(biāo)所在圖像的大小是M×N，尺度濾波器大小為P，以圖像塊目標(biāo)位置為中心，在周圍提取大小為αn M×αn N的圖像塊，α表示特征層之間的尺度因子，n∈，通過(guò)不同尺度圖像塊訓(xùn)練跟蹤模板，在得到的眾多相關(guān)濾波器中選擇響應(yīng)值最大的作為尺度更新結(jié)果。

在跟蹤過(guò)程中設(shè)置提取33 種不同的尺度樣本，以得到最大響應(yīng)值所對(duì)應(yīng)的尺度濾波器。

2.2 實(shí)驗(yàn)結(jié)果分析

2.2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)是在Windows 10 環(huán)境下、Intel coreTMi5-8300H CPU @ 2.30 GHz，8 GB 內(nèi) 存，Visual studio S2019，Matlab 2019b 軟件中完成的。

2.2.2 實(shí)驗(yàn)數(shù)據(jù)集以及評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)數(shù)據(jù)集是OTB2015，其數(shù)據(jù)集在OTB50 中擴(kuò)充至100 個(gè)視頻序列，包含59 040 幀圖片，和OTB50 相同，都是以室內(nèi)、室外場(chǎng)景為圖片特性。每幀圖片都標(biāo)注目標(biāo)中心位置和目標(biāo)的大小。數(shù)據(jù)集的不同序列有不同的特性，同一序列包含多種特性，總共有11 個(gè)類別，分別是：光照變化、平面外旋轉(zhuǎn)、尺度變化、遮擋、形變、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、出視野、背景雜亂、低分辨率[15]。其評(píng)價(jià)指標(biāo)有距離精度（Distance Precision，DP）、重疊率精度（Overlap Precision，OP）和算法運(yùn)行速度：幀率（Frame per Second，F(xiàn)PS）。距離精度是在所有圖像幀中跟蹤結(jié)果的中心位置誤差（Center Location Error）小于20 像素的幀數(shù)的占比，反映了跟蹤算法的魯棒性。成功率曲線面積表示成功率曲線與坐標(biāo)軸圍成的面積。成功率表示的是在總幀數(shù)中重疊率大于閾值的幀數(shù)占比[16]，通常情況下，該閾值取0.5。OPE（One-pass Evaluation）表示每個(gè)圖像序列運(yùn)行一次，SRE（Spatial Robustness Evaluation）和 TRE（Temporal Robustness Evaluation）分別代表空間魯棒性和時(shí)間魯棒性測(cè)試，SRE 通過(guò)平移或縮放第一幀中的初始邊界框，對(duì)每個(gè)跟蹤器進(jìn)行了12 次評(píng)估繪制成功率和精確率圖。TRE 通過(guò)視頻序列在時(shí)間軸上平均找出20個(gè)點(diǎn)作為起點(diǎn)，每個(gè)序列重復(fù)20次，繪制平均的成功率和精確率圖。

選擇CSK、KCF、SAMF、BACF 與本文算法進(jìn)行對(duì)比，在同一環(huán)境下進(jìn)行測(cè)試，實(shí)驗(yàn)分析如下。

2.2.3 定性分析

通過(guò)實(shí)驗(yàn)分析，本文優(yōu)化算法OURBACF在各個(gè)方面都優(yōu)于其他算法。5種算法的精確率和成功率如圖3所示。

圖3 中，OURBACF 算法精確率OPE 為84.1%、SRE為79.1%、TRE 為84.7%，分別提升了9.2%，3.5%，2.9%。成功率OPE 為79.5%、SRE 為71.4%、TRE 為77.9%，分別提升了11.8%，2.4%，1.0%。優(yōu)化算法整體效果有了明顯的提升。

圖4 為各算法在不同跟蹤環(huán)境下的SRE 跟蹤表現(xiàn)。優(yōu)化算法精確率SRE 在平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜亂、光照變化、尺度變化情況下精確率均優(yōu)于原算法，分別為75.7%，78.0%，75.2%，73.7%，72.3%，分別提升了3.1%，3.7%，4.8%，1.7%，0.7%。成功率SRE 在平面內(nèi)旋轉(zhuǎn)、快速運(yùn)動(dòng)、平面外旋轉(zhuǎn)、背景雜亂、光照變化情況下均優(yōu)于原算法，分別為66.8%，55.8%，68.5%，64.2%，63.7%，分別提升了2.9%，0.3%，3.0%，2.2%，0.8%。優(yōu)化算法OURBACF 除了快速運(yùn)動(dòng)環(huán)境下精確率和尺度變化下成功率略有下降，其余方面均有所改善。

圖5為各個(gè)算法在不同跟蹤環(huán)境下的TRE跟蹤表現(xiàn)。

圖5 中精確率TRE 在背景雜亂、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、光照變化情況下均優(yōu)于原算法，分別為81.9%，69.8%，81.5%，83.0%，81.4%，分別提升了6.6%，2.2%，4.1%，3.7%，4.6%。成功率SRE 在背景雜亂、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、尺度變化、平面外旋轉(zhuǎn)、光照變化情況下均優(yōu)于原算法，分別為72.4%，62.8%，73.8%，71.1%，74.5%，73%，分別提升了2.3%，2.2%，2.3%，0.1%，0.9%，2.3%。

通過(guò)TRE 結(jié)果分析，優(yōu)化算法OURBACF 較原算法在精確率和成功率上面都有了明顯的提升，在背景雜亂、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、尺度變化、平面外旋轉(zhuǎn)、光照變化等方面效果都有顯著的改善。

2.2.4 定量分析

選取如下幾個(gè)視頻序列分析跟蹤結(jié)果，表1是不同序列的環(huán)境特性，圖6是不同算法在不同序列中的跟蹤結(jié)果。

表1 選取的視頻序列的特性

分析Jogging-2 序列中5 種算法跟蹤過(guò)程，從第10 幀開始跟蹤，在第79 幀遮擋物跟蹤框出現(xiàn)明顯漂移，第90 幀SAMF 和KCF 跟蹤丟失，至此直至跟蹤結(jié)束，優(yōu)化算法與BACF 在Jogging-2 序列遮擋、形變、平面外旋轉(zhuǎn)的變化下都保持準(zhǔn)確的跟蹤定位。

分析woman 序列中5 種算法跟蹤過(guò)程，從第10 幀開始跟蹤，整個(gè)跟蹤過(guò)程中目標(biāo)有光照變化、尺度變化、遮擋、形變、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、平面外旋轉(zhuǎn)等多情景變化，第135 幀出現(xiàn)SAMF 跟蹤丟失，再到第563 幀除優(yōu)化算法外，其余均未出現(xiàn)目標(biāo)丟失，能體現(xiàn)出優(yōu)化算法的良好性能。

分析Soccer 序列中5 種算法跟蹤過(guò)程，從第10 幀開始跟蹤，整個(gè)跟蹤過(guò)程目標(biāo)環(huán)境變化有光照變化、尺度變化、遮擋、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜亂，第82 幀KCF 出現(xiàn)跟丟情況，第132 幀在復(fù)雜環(huán)境下各個(gè)跟蹤框出現(xiàn)明顯漂移，直至跟蹤結(jié)束，僅優(yōu)化算法和SAMF 結(jié)果較為理想。

分析jumping 序列中5 種算法跟蹤過(guò)程，從第10 幀開始跟蹤，目標(biāo)包含的變化有尺度變化、遮擋、形變、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)，隨著目標(biāo)的跳躍跟蹤框漂移十分劇烈，只有優(yōu)化算法能夠持續(xù)對(duì)目標(biāo)進(jìn)行跟蹤。

綜上所述，優(yōu)化算法OURBACF 能在大部分狀況下優(yōu)于其他4 種經(jīng)典算法，提升了跟蹤的準(zhǔn)確性及魯棒性。

分析算法在選取的視頻序列中的幀率和平均幀率，如表2 所示。

表2 OURBACF、BACF 算法在選取的視頻序列中的幀率和平均幀率 f/s

從表2中可以看到：BACF算法的幀率整體還是不錯(cuò)，能夠滿足視覺要求（＞30 幀），大部分都在50 f/s 以上，平均幀率也是55 f/s；OURBACF 在優(yōu)化過(guò)程中幀率稍微有所下降，但是依然滿足實(shí)時(shí)性要求，基本上在40 f/s 以上，平均幀率為45 f/s，通過(guò)優(yōu)化跟蹤精度和準(zhǔn)確率，降低一點(diǎn)幀率還是比較可行的。

3 結(jié) 語(yǔ)

為了解決跟蹤過(guò)程中目標(biāo)外觀形變、背景光照變化、背景相似干擾等復(fù)雜狀況導(dǎo)致的跟蹤失敗問(wèn)題，在BACF 算法基礎(chǔ)之上提出了多特征融合尺度自適應(yīng)目標(biāo)跟蹤算法。通過(guò)跟蹤過(guò)程中特征提取部分增加了顏色（CN）特征以及灰度（Gray）特征以提高目標(biāo)的特征識(shí)別，降低因特征提取不足引起的跟蹤丟失問(wèn)題。在跟蹤過(guò)程中通過(guò)添加空間正則項(xiàng)，減少跟蹤框漂移，提升跟蹤精度。通過(guò)峰值旁瓣比來(lái)減弱遮擋對(duì)跟蹤的影響，通過(guò)對(duì)原圖多尺度對(duì)比，選擇效果最好的結(jié)果來(lái)更新目標(biāo)位置。

實(shí)驗(yàn)表明，優(yōu)化算法OURBACF 較BACF 有了不錯(cuò)的提升，跟蹤的整體精確率和成功率都有了很好的提升。通過(guò)定量分析也能看出在整個(gè)連續(xù)跟蹤過(guò)程中本文算法表現(xiàn)很好。對(duì)于平面內(nèi)旋轉(zhuǎn)、平面外旋轉(zhuǎn)、背景雜亂、光照變化、遮擋等問(wèn)題能夠得到很好的解決，但在個(gè)別跟蹤情形下如尺度變化、快速運(yùn)動(dòng)等結(jié)果還是不太理想，以后可以針對(duì)這幾種跟蹤環(huán)境進(jìn)行算法優(yōu)化。通過(guò)對(duì)幀率的分析，幀率從55 f/s 降低至45 f/s，在提高準(zhǔn)確性和魯棒性過(guò)程中使得幀率有所降低，不過(guò)幀率下降還是在可控范圍內(nèi)，能夠滿足實(shí)時(shí)跟蹤要求。