王明銘，王 鵬，李曉艷，楊永俠，郭 嘉

（西安工業(yè)大學，陜西 西安 710000）

0 引言

視覺目標跟蹤是計算機視覺領域中具有挑戰(zhàn)性的一項課題，主要目的是估計目標在整個視頻序列中的位置及大小信息。隨著現(xiàn)代化的發(fā)展，視覺目標跟蹤得到了廣泛應用，如人機交互[1]、視頻監(jiān)控[2]、機器人技術[3]以及醫(yī)療診斷技術[4]等。但是，由于目標在運動過程中可能會存在光照變化、形體變化、部分遮擋以及完全遮擋等問題，為實現(xiàn)精確的目標跟蹤帶來了較大挑戰(zhàn)。

近年來，由于基于相關濾波的目標跟蹤算法在運算速度和魯棒性上具有更大的優(yōu)勢，因此相關濾波算法在目標跟蹤領域受到了廣泛關注。2013年，Henriques[5]等人提出了循環(huán)結構的核跟蹤檢測算法（Exploiting the Circulant Structure of Trackingby-detection with Kernels，CSK），通過循環(huán)矩陣擴展了樣本數(shù)量并用于分類器的訓練；2014 年，Danelljan[6]等人提出了基于顏色屬性的目標跟蹤器（Color Names，CN），并通過使用顏色屬性特征提升了算法的分辨力；2015 年，Henriques[7]等人提出了核相關濾波器（Kernel Correlation Filter，KCF），通過將CSK 擴展為多通道方向梯度直方圖（Histogram of Oriented Gradient，HOG），提高了目標定位精度；同年，Galoogahai[8]等人提出了限制邊界的相關濾波器（Correlation Filters with Limited Boundaries，CFLB），采用較大的圖像塊與較小的濾波器進行目標檢測，可有效解決邊界效應問題；2017 年，Galoogahai[9]等人提出了背景感知的相關濾波算法BACF，在CFLB 的基礎上將其擴展為多通道HOG 特征，從而提升了算法的準確率。但是，上述相關濾波算法使用的特征均較為單一，導致在面對復雜變化的場景進行跟蹤時，算法的跟蹤能力受限，分辨能力不強，且尺度更新能力一般。

因此，本文在BACF 算法的基礎上提出了一種多特征的背景感知相關濾波跟蹤算法。通過在被檢測圖像中提取HOG 與CN 特征，增加濾波器的判別能力；將訓練好的濾波器與檢測圖像塊進行卷積，以獲得目標位置；對圖片中的特征響應進行多峰檢測，進行模型更新；最后通過構建尺度濾波器，利用不同尺度上提取的特征進行尺度更新，從而解決目標跟蹤在運動模糊、形變、背景干擾以及遮擋等復雜條件下產(chǎn)生的問題。

1 基于BACF 的改進多特征背景感知相關濾波跟蹤算法

1.1 BACF 簡介

BACF 算法于2017 年發(fā)表在ICCV17 上，由Galoogahai 等人提出。該算法的主要貢獻是通過擴大循環(huán)矩陣采樣的區(qū)域和通過在每個樣本上裁剪出有用的樣本區(qū)域，增大了樣本數(shù)量，提高了樣本質(zhì)量，故訓練的相關濾波器效果更好，且可以保證以較快的運算速率用于目標跟蹤。

在BACF 算法中，假設目標初始大小為M×N,然后將目標區(qū)域擴大5 倍并轉換為正方形區(qū)域，以方便算法的后續(xù)計算，公式表達為設樣本x的大小為T×T；位置濾波器設為h，大小為D×D，其中l(wèi)為特征采樣率；設P為二值矩陣，大小為D×T；y為樣本標簽函數(shù)，大小為T×T。

在BACF算法中，濾波器h可由式（1）求解獲得：

式中，K為特征通道數(shù)量。在原本的BACF 算法中采用了31 維的HOG 特征，因此K=31。

由于式（1）中的二值矩陣P可以通過預計算獲取，因此將P與xk合并，直接寫為XK，表示裁剪過后的樣本，并將式（1）轉換至頻域，得：

通過交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）將問題換分為兩個子問題進行迭代求解。通過求解獲得的濾波器h，將其與檢測目標塊進行卷積，尋找響應值最大值位置，即為目標估計位置：

將S^ 做逆傅里葉變換（Inverse Fast Fourier Transform，IFFT）后得到最終響應圖，尋找響應值最大值位置作為目標估計位置。

1.2 BACFDSST 改進算法

本文算法在BACF 的基礎上，提出了結合多特征尺度估計的改進背景感知跟蹤算法。首先，在目標區(qū)域提取梯度直方圖（Histogram of Oriented Gradient，HOG）和顏色屬性（Color Names，CN）兩種特征作為樣本；其次，在循環(huán)采樣的基礎上進行裁剪；再次，通過加入空間約束的目標函數(shù)計算濾波器系數(shù)，并采用多峰檢測的模型更新策略抑制相似特征；最后，在下一幀圖像輸入時，提取不同尺度的目標特征，并與濾波器系數(shù)做相關運算計算響應圖，以此獲取目標估計位置及尺度估計。本文所提跟蹤算法整體框架如圖1 所示。

圖1 算法原理

1.2.1 顏色屬性提取

在BACF 原算法中，特征提取只是僅在目標區(qū)域內(nèi)提取了31 維的HOG 特征。然而，在實際跟蹤環(huán)境中，在面對光照變化等情況時，HOG 特征具有良好的跟蹤性能，但當因形變或其他原因出現(xiàn)與目標形狀相近的物體時，以及跟蹤期間出現(xiàn)遮擋等問題時，會對跟蹤結果產(chǎn)生較大影響，可能會導致跟蹤失敗。因此，為進一步提高算法的分辨能力，本文在BACF 的HOG 特征基礎上又加入了顏色屬性。

CN 是將RGB 空間的顏色信息投影至11 維的顏色空間上，其中11種顏色分別是黑、藍、棕、灰、綠、橙、粉、紫、紅、白以及黃。但是，在跟蹤領域中，為增加循環(huán)矩陣帶來的正樣本數(shù)量，需要對顏色屬性進行規(guī)范化操作，將11 維顏色空間降低為10 維顏色空間，但10 維的顏色屬性并沒有全部在本次跟蹤中起到作用，即部分顏色屬性并未提供有用的目標信息。因此，本文通過PCA 降維的方式將10維顏色屬性降低至2 維，減少不必要的運算，以提高算法的運行速率。

設在目標區(qū)域提取的CN 特征為xCN，其傅里葉變換為為降低特征維度，需要構建降維矩陣Bp（下角標p是指第p幀圖像），使得其中為降維后的CN 特征。降維矩陣Bp可通過求解式（4）獲得：

式中，αp和αj為權重系數(shù)，ηdata則可表示為：

式中，是指第p幀圖像提取到的CN 特征進行傅里葉變換的結果。ηdata僅利用當前幀即第p幀圖像求解降維矩陣Bp，但由ηdata學習到的降維矩陣對特征進行降維會降低目標模型判別能力，因此需要加入前幾幀圖像進行訓練即ηjsmooth（上角標j代表第j幀圖像），可由式（6）獲得：

式中，Q表示基向量總數(shù)，通過加入平滑項使得獲取到的降維矩陣Bp更具魯棒性。

通過在目標區(qū)域提取到的HOG 及降維后的CN特征按照第三維度結合起來當作目標樣本。目標樣本更新方式如下：

式中，xp是指由式（2）求解的濾波器表示最終的濾波器模型，σ為學習率參數(shù)。通過在本幀求解獲得的濾波器模型加入歷史幀濾波器模型的方式，提升算法的魯棒性，最終將目標區(qū)域與濾波器模型進行卷積以此獲取目標位置。

1.2.2 模型更新的多峰檢測

在視覺目標跟蹤中，得到的濾波器響應往往存在多峰響應，往往是因為在圖像的搜索區(qū)域中出現(xiàn)了若干與目標相似的特征。當干擾特征的響應大于目標特征響應時，多峰響應會導致跟蹤模型出現(xiàn)漂移而導致跟蹤失敗[10]。因此，本文為解決目標跟蹤中多峰響應問題，提出了一種多峰檢測更新的方法。首先將提取最大的目標響應S，通過設置一個小于1 的閾值η，再將搜索域中所有大于η·S的響應的坐標映射在二維掩碼矩陣中，其中符合條件的設為1，其余為0，然后求解其在X和Y方向的方差：

式中，N為在X軸方向中掩碼為1 的像素點的數(shù)量，M為在Y軸方向中掩碼為1 的像素點的數(shù)量，Xi為掩碼為1 的像素點的X方向坐標，Yi為掩碼為1 的像素點的Y方向坐標。當出現(xiàn)多峰響應的時候，在X與Y方向上的方差會較無多峰響應的情況更大，故提出參數(shù)W表示此時刻的多峰參數(shù)：

聯(lián)立模型更新式（7），當W＜γ時，即可進行模型更新；當W≥γ，則視為出現(xiàn)多峰響應情況，即停止模型更新。在多次仿真實驗后，γ取值在2～3較為合適，本文取2.5。

1.2.3 添加尺度變換

原本的BACF 算法并未考慮到被追蹤目標在運動過程中因為離鏡頭遠近而引起的尺度變化，所以本文單獨訓練尺度濾波器來進行尺度估計。設F為尺度濾波器，在不同尺度上提取HOG 特征作為樣本xscale，濾波器求解如下：

式中，g為尺度濾波樣本標簽函數(shù)。通過求解式（10），可獲得尺度濾波器F。

尺度估計方式與位置濾波相同，計算不同尺度對應的尺度響應值，響應值最大的值即為目標估計尺度。響應值計算如下：

式中，λ為控制正則項的參數(shù)，A、B為中間變量，具體為：

式中，ρ為尺度濾波學習參數(shù)，D表示尺度數(shù)目，本文設置為33 個尺度。參數(shù)更新方式同樣采用考慮歷史幀參數(shù)的方式，可增強尺度濾波器的魯棒性。

2 實驗與分析

2.1 實驗環(huán)境

本文在Window 10操作系統(tǒng)、Intel（R） Core（TM）CPU i7-4710HQ 12 GB 內(nèi)存電腦平臺上采用Matlab 2016a 軟件進行仿真實驗。為進一步體現(xiàn)算法的優(yōu)越性，選取BACF 算法以及KCF、CSK、DFT、CT 共5 種算法進行對比。它們均在相同環(huán)境下運行。

OTB 數(shù)據(jù)集[10]是目前視覺目標跟蹤領域公認的測試數(shù)據(jù)集之一，其中不同的數(shù)據(jù)集還標有不同的屬性，可以代表目標跟蹤領域的常見難點。例如，IV（Illumination Variation）表示光照變化，SV（Scale Variation）表示尺度變化，OCC（Occlusion）表示遮擋，DEF（Deformation）表示變形，MB（Motion Blur）表示運動模糊，F(xiàn)M（Fast Motion）表示快速移動，IPR（In-Plane Rotation）表示平面內(nèi)旋轉，OPR（Out-of-Plane Rotation）表示平面外旋轉，OV（Out-of-View）表示離開視野，BC（Background Clutters）表示相似的背景，LR（Low Resolution）表示低的分辨率[11]，OPE（One-Pass Evaluation）表示平均精度與成功率。

2.2 性能評估

本文利用OTB-100 測試集提出的評估方法，對本文提出的算法、BACF 算法、KCF 算法、CT 算法、DFT 算法以及CSK 算法在OTB-100 測試集的所有序列上進行了測試，并利用OTB 測試集對5 個算法在不同環(huán)境下的跟蹤精準度與成功率進行比較。實驗表明，本文所提算法優(yōu)于BACF 算法以及其他算法。

在所有測試序列獲得的整體準確率和成功率得出的結果如圖2 所示。可以看出，本文所提算法整體精確率和成功率都排名第一。

在準確率上，如圖2（a）所示，本文所提算法達到86.2%，BACF 算法為84.9%，提升了1.3%。其中，KCF 算法為74.0%，CSK 為54.5%，DFT 為49.6%，CT 為40.1%。

圖2 在OTB 測試集下算法的準確率與成功率對比

在成功率上，如圖2（b）所示，本文算法達到80.9%，BACF 算法為79.5%，提升了1.4%。其中，KCF 算法為60.8%，DFT 為44.3%，CSK 為43.9%，CT 為25.0%。

除此之外，在對OTB-100 的所有序列測試實驗中，本算法在針對運動模糊、形變、背景干擾以及遮擋等情況的視頻序列，相比BACF 算法以及其他算法在精準度和成功率上提升顯著，如圖3所示。

在背景干擾條件下，本算法的跟蹤精準率為82.6%，BACF 算法為79.2%，提升了3.4%；本算法的跟蹤成功率為76.4%，BACF 算法為75.0%，提升了1.4%。

圖3 在不同屬性場景下算法的準確率與成功率對比

在運動模糊條件下，本算法的跟蹤精準率為78.6%，BACF 算法為74.6%，提升了4.0%；本算法的跟蹤成功率為77.8%，BACF 算法為74.9%提升了2.9%。在目標形變條件下，本算法的跟蹤精準率為85.7%，BACF 算法為81.4%，提升了4.3%；本算法的跟蹤成功率為79.3%，BACF 算法為78.7%，提升了0.6%。

在目標被遮擋情況下，本算法的跟蹤精準率為84.2%，BACF 算法為82.3%，提升了1.9%；本算法的跟蹤成功率為79.6%，BACF 算法為79.6%。

由實驗可得，本文所提算法較原算法在跟蹤效果的精確率和成功率提升較明顯，較其他相關濾波跟蹤算法更優(yōu)秀。相較于全部數(shù)據(jù)集測試結果的提升效果而言，本文算法在運動模糊、形變、背景干擾以及遮擋等情況的視頻序列中提升效果更明顯，同時也證明了本文算法在對目標跟蹤的運動模糊、形變、背景干擾以及遮擋情況處理的有效性。

2.3 定性分析

本文在OTB-100 數(shù)據(jù)集中選取了5 個視頻序列對6 個算法進行測試。這5 個視頻序列包含了多種不同場景要素，主要針對算法在背景干擾、運動模糊、目標形變以及遮擋情況下進行定性分析，其視頻序列的不同屬性如表1 所示。本文在5 個典型視頻序列上進行分析，以測試算法性能。6 種算法在5 個序列下的跟蹤結果如圖4 所示。

表1 選取的視頻序列

圖4 6 種算法在5 個序列下的跟蹤結果

可以看到，在Soccer 序列中，6 種算法同時進行跟蹤，第90 幀開始，視頻序列出現(xiàn)背景干擾，KCF、CT、DFT、CSK 算法跟蹤開始出現(xiàn)跟蹤丟失，本文算法與BACF 算法則可以保持跟蹤；第251 幀時，目標出現(xiàn)較為快速的尺度變換，BACF 算法與其他算法跟蹤出現(xiàn)并不能很好地適應尺度變換，BACF 算法開始出現(xiàn)跟蹤丟失；本文算法得益于尺度估計的設計，通過單獨的尺度濾波能夠很好地應對目標的尺度變換，保證對目標的準確跟蹤。

在Ironman 序列中，第47 幀開始，背景干擾嚴重，目標開始劇烈運動模糊，BACF 算法、KCF算法與CT 算法開始出現(xiàn)丟失，DFT 算法出現(xiàn)完全丟失跟蹤目標，并未再重新跟蹤上，本文算法以及CSK 則可以保持對目標的跟蹤；在74 幀，因目標臉部遮擋較多時且背景相似物較多時跟蹤出現(xiàn)偏差，但當遮擋物減少后可以快速重新定位目標位置，后重新跟上；在111 幀，目標出現(xiàn)較大形變，CSK 算法丟失跟蹤目標，本文算法得益于利用了多特征融合的方法，提高了算法的辨別力，在目標周圍出現(xiàn)相似目標能夠?qū)崿F(xiàn)準確跟蹤，保證了對目標的跟蹤。

在Jogging-2 序列中，在目標被全部遮擋出現(xiàn)的第51 幀，除本文算法與BACF 算法以外，其余跟蹤算法出現(xiàn)跟蹤丟失。遮擋結束的第61 幀開始，BACF 算法丟失目標，跟蹤失敗，本文算法則因采用較大的搜索域重新定位目標。由于在大區(qū)域內(nèi)訓練濾波器學習到了較多的背景信息，可以實現(xiàn)目標在遮擋時的精確定位，并長時保持跟蹤。

在序列CarScale 中，第162 幀目標被遮擋；第169 幀時，CT、DFT、CSK 算法跟蹤失敗。該視頻序列整體尺度變化較為緩慢，本文算法、BACF 以及KCF 算法都保持全程跟蹤，但是本文算法的尺度估計更為精確，表明本算法在緩慢的尺度變化下可準確跟蹤。在序列Trellis 中，目標光照變化頻繁，尺度變化也較為緩慢，背景相似度干擾大，在212幀CSK 算法出現(xiàn)跟蹤丟失，在第383 幀CT 與KCF算法也出現(xiàn)跟蹤丟失，第505 幀DFT 出現(xiàn)目標丟失，本文算法則可保持長時間跟蹤。

由定性實驗可得，本文所提算法較其他相關濾波算法在OTB-100 數(shù)據(jù)集的視頻序列中跟蹤成功效果更優(yōu)秀。在目標相似物較多、發(fā)生較大形變以及目標被完全遮擋后，本文算法可迅速重新定位目標，保持對目標跟蹤，并對目標大小進行尺度估計。

2.4 定量分析

本文將從中心位置誤差、重疊率以及運算幀率3 個指標對6 個算法進行評估。

2.4.1 中心位置誤差

中心位置誤差計算公式為[11]：

式中，O表示由算法估計獲得的目標中心位置，Ot為數(shù)據(jù)集人工標定的真實目標中心位置。中心位置誤差單位為像素，表示兩個中心點之間像素點的個數(shù)。中心位置誤差越小，表示算法越好。計算結果如圖5 所示。

圖5 5 個視頻序列的中心位置誤差對比

可以看出，本文算法在各序列中誤差均處于較低水平。為使結果呈現(xiàn)更加直觀，各個視頻序列下各個算法的平均中心誤差值如表2 所示。除了在序列Soccer 中的中心誤差，本文算法較KCF 算法相比誤差較高，約14.64 個像素點，但較基礎算法BACF 仍有提高；全部視頻序列中，本文算法較BACF 在中心位置誤差上平均降低67.23 個像素點。

表2 平均中心位置誤差對比表

2.4.2 重疊率

重疊率計算公式為[12]：

式中，S-表示算法估計的目標覆蓋范圍，S表示由數(shù)據(jù)集人工標定的目標真是覆蓋范圍。算法目標尺度估計越準確，重疊率越高。計算結果如圖6 所示。

圖6 5 個視頻序列的重疊率對比

從圖6 可以看出，在5 個視頻序列中，本文算法在大部分時間內(nèi)的重疊率均高于其他5 種算法。為更直觀地呈現(xiàn)，本文計算了6 種算法在5 個視頻序列下的平均重疊率，如表3 所示。

表3 平均重疊率對比

從表3 可得，本文算法獲得了最高平均重疊率，較BACF 平均提高16.1%，重疊率僅在CarScale 序列中較基礎BACF 算法低0.05；在遮擋嚴重的序列Jogging-2 中，本文算法的平均重疊率最高，較基礎算法BACF 提升0.64。

2.4.3 運算幀率

運算幀率公式如下[13]：

式中，St表示的是視頻的總幀數(shù)，Tt表示的是算法在該視頻序列上花費的總時間。運算幀率的計算數(shù)據(jù)如表4 所示。

表4 運算幀率對比

由表4 可得，CSK 算法在全部視頻序列中運行速率最高。本文所提算法在BACF 算法基礎上犧牲了一定運算速率，平均運算幀率可達到10.09 幀/s。

由定量實驗可得，本文所提算法在實驗中的平均中心位置誤差值較其他算法更低，而跟蹤過程中的平均重疊率較其他算法更高，并同時可以保證算法在運行時進行跟蹤的實時性。

3 結語

為解決目標跟蹤中遮擋、運動模糊、形變以及背景干擾問題，本文提出了結合多特征尺度估計的改進背景感知跟蹤算法。

（1）在HOG 特征基礎上加入包括CN 等多種特征，增加了算法在復雜條件下的辨別能力，以解決在背景干擾條件下的跟蹤問題；

（2）在大區(qū)域內(nèi)訓練濾波器，使濾波器學習到了背景信息，解決了在遮擋條件下的跟蹤問題；

（3）采用多峰檢測的模型更新策略抑制相似特征，解決了相似目標干擾問題；

（4）通過訓練單獨的尺度濾波器，解決了在跟蹤中的尺度變換問題。

實驗結果表明，本算法對比BACF 算法以及其他經(jīng)典的相關濾波算法，跟蹤準確率和成功率有一定提升。特別是在面對運動模糊、形變、背景干擾研究遮擋等情況，本算法的提升效果更顯著，可有效解決在目標跟蹤中的運動模糊、形變、背景干擾以及遮擋等問題，提升了復雜背景環(huán)境下目標跟蹤準確率，具有較高的理論價值和工程應用價值。