吳世宇，李志華，王 威

(河海大學能源與電氣學院，江蘇 南京 211100)

0 引 言

視覺跟蹤在視頻監(jiān)控[1-2]、自動駕駛[3-4]、醫(yī)學研究[5-6]等領域有著廣泛的應用，是計算機視覺領域的一項具有挑戰(zhàn)性的任務。跟蹤的目的是根據(jù)目標在首幀中的位置，預測出目標在后續(xù)視頻序列中的位置。近年來，涌現(xiàn)出了大量的目標跟蹤算法，也取得了顯著的成果，但由于目標會出現(xiàn)嚴重遮擋、外觀變化明顯以及運動出視線之外等[7]情況，如何實現(xiàn)對目標精準、快速的跟蹤仍是一個難題。

通常情況下，跟蹤算法可分為生成式跟蹤[8-11]和判別式跟蹤[12-16]。生成式跟蹤使用生成模型對物體表觀特征進行描述，通過搜索尋找最佳的匹配窗口定位目標。生成跟蹤不需要訓練大量的數(shù)據(jù)，但是易受背景干擾而產生誤跟蹤現(xiàn)象。判別式跟蹤把視覺跟蹤看作為分類問題，通過對目標和背景的學習，將預測的區(qū)域作為目標所在的位置。在目標跟蹤時，判別式方法可以充分利用背景信息，但是通常需要大量的數(shù)據(jù)進行訓練來實現(xiàn)良好的跟蹤性能。雖然這2類跟蹤算法已經(jīng)取得了很大的進展，但從有限的訓練樣本集中歸納出目標的外觀模型仍然是一個具有挑戰(zhàn)性的任務。在判別式跟蹤中，相關濾波[17](Correlation Filter， CF)由于快速的運行速度以及定位的精確度在跟蹤領域取得了巨大的成功。Bolme等[18]首次將CF算法應用到跟蹤領域，提出了誤差最小平方和濾波器(MOSSE)，每秒可以處理上百幀的圖像序列。Henriques等[19]提出了CSK算法，使用循環(huán)矩陣的結構，通過增加負樣本數(shù)來增強分類器的訓練。為了進一步提高CSK跟蹤器的性能，Danelljan等[20]提出了顏色命名方法(Color Name, CN)，充分應用了目標的顏色特征。Danelljan等[21]提出的DSST算法分為位置濾波器和尺度濾波器2大部分，其中尺度濾波器可以與其他相關濾波算法結合，對解決目標尺度變化有較好表現(xiàn)?；贑SK跟蹤算法，Henriques等[22]提出了KCF算法。為了提高跟蹤算法的精確度和穩(wěn)定性，KCF計算目標的HOG特征而不是原始的像素值而且簡化了計算過程，提高了運算效率。Bertinetto等[23]將HOG特征和CN特征進行融合，提出了Staple算法，在模糊、光照變化明顯的情況下可以完成有效跟蹤。Danelljan等[24]提出了ECO算法，簡化訓練樣本，解決模型的過擬合問題，在運行速率和跟蹤效果上都有很好的表現(xiàn)。Zuo等[25]基于支持向量機對相關濾波算法進行改進，擴大樣本間的差異性從而優(yōu)化了分類效果。但在大多數(shù)相關濾波算法中，并沒有對預測結果可信度進行判斷，直接作為樣本訓練分類器。在背景誤判為目標的情況下，容易污染訓練樣本集，無法對目標重新定位，導致跟蹤失敗。

針對樣本污染、目標重定位等問題，本文對KCF算法進行改進，提出一種樣本更新機制，評價跟蹤結果的可信度，自適應地選取樣本對跟蹤模型進行更新。使用Kalman濾波算法估計目標位置，然后評價其估計結果。若判斷為目標丟失時，使用ORB特征點匹配算法完成對目標的重定位。

1 KCF跟蹤算法

KCF跟蹤算法中，構建樣本的循環(huán)矩陣，擴充分類器的樣本集，結合循環(huán)矩陣的性質，提高跟蹤效率，然后通過核函數(shù)確定輸出響應最大的區(qū)域作為新的目標區(qū)域，最后根據(jù)當前區(qū)域的信息對分類器進行更新，實現(xiàn)對目標實時跟蹤。

1.1 循環(huán)矩陣

正樣本的獲取一直是目標跟蹤工作關注的重點，但是用判別式方法進行跟蹤時，需要給訓練器足夠的負樣本，負樣本的采樣不足對跟蹤精確度的提升有著重要影響。在KCF跟蹤算法中，將目標作為基礎樣本即正樣本，通過循環(huán)移位轉換獲得足夠多的負樣本。設基礎樣本表示為x=[x1,x2,…,xn]T，移位矩陣為P，故一次移位之后的結果可表示為Px=[xn,x1,x2,…,xn-1]T。循環(huán)矩陣X為：

X=C(x)=(P0x,P1x,P2x，…,Pn-1x)

(1)

循環(huán)矩陣可由離散傅里葉變換進行對角化：

(2)

1.2 分類器訓練與檢測

本文使用線性嶺回歸對樣本進行訓練。訓練的目的是找到函數(shù)f(z)=ωTz，使樣本與其目標值的誤差平方和最小，即：

(3)

寫成矩陣形式：

(4)

其中，列向量y為樣本標簽，λ為保證系統(tǒng)的泛化性能的參數(shù)，列向量ω表示權重系數(shù)。求公式(4)的閉式解：

ω=(XHX+λI)-1XHy

(5)

其中，I為單位矩陣，XH表示X的共軛轉置矩陣。應用式(2)對式(5)進行計算簡化，可得：

(6)

其中，⊙表示向量間的點積運算。該方法在提取圖像特征以及求解一般回歸問題上節(jié)約了計算的成本?？紤]到非線性回歸問題，為了獲得更有效的分類器，引入核技巧，將線性問題映射到非線性空間，非線性回歸函數(shù)可表示為：

(7)

其中，k(z,xi)為核函數(shù)。此時的權重系數(shù)列向量為α=[α1,α2,…,αn]T，同樣運用式(2)，即循環(huán)矩陣的性質，可以快速對其進行求解：

(8)

同樣可以應用循環(huán)矩陣的技巧來加速整個檢測過程。設在下一幀中相同位置處的圖像塊為z，將其視為基礎矩陣，計算其響應值：

(9)

1.3 尺度自適應

在原KCF算法中，沒有解決跟蹤目標尺度上的變化問題。使用固定大小的跟蹤框容易產生漂移現(xiàn)象，導致跟蹤精度不夠、跟蹤失敗。為此，將KCF算法與DSST中的尺度濾波器相結合。

訓練階段在目標所在位置，按不同尺度截取一系列圖像塊并計算每一個圖像塊的HOG特征，計算圖像塊的響應值，得到濾波器模版。檢測階段則是在預測位置處分別計算不同尺度圖像塊的響應值，根據(jù)響應的最大值確定目標的大小。

2 改進的KCF算法

2.1 樣本更新機制

在長期目標跟蹤中，目標可能會存在遮擋、模糊以及變形等問題。通常情況下，相關濾波算法沒有對跟蹤結果的可靠性進行判斷，直接更新跟蹤模型。在這種情況下，由于測量誤差的不斷積累和傳播，即使是短暫的遮擋，也有可能導致跟蹤目標的丟失。因此，評估跟蹤結果的可信度非常有必要。針對以上問題，本文提出樣本評價與更新機制。

KCF的跟蹤機制是選擇響應值最大的圖像塊來確定跟蹤目標的位置，但是在目標受到遮擋、模糊以及變形等情況影響時的響應值不足以將目標和背景區(qū)分開來。尤其是在背景與目標相似度較高的情況下，背景處的響應大于目標處的響應，極易造成目標跟蹤的丟失，致使跟蹤失敗。

圖1 目標有、無遮擋時的響應圖

如圖1所示，在模糊和遮擋情況下的目標樣本響應的最大值，與鄰域的響應值非常相近。此時，背景有可能被判斷為前景，并且直接進行樣本更新，污染樣本集。因此對樣本進行選擇性的更新是很有必要的。

圖2 可信度評價示意圖

如圖2所示，令響應的最大值為Pa,b，與其去心鄰域內響應平均值的比值作為判斷是否進行樣本更新的標準，即：

(10)

其中，N=(2n+1)2-1，為Pa,b去心鄰域內的響應的個數(shù)。當I比值大于某一閾值γ，此時的預測目標有較高的可信度。反之，區(qū)分度較弱，可信度較低。只取可信度高的目標圖像對模型進行更新。這種更新機制不僅可以解決訓練樣本污染的問題，而且可以為目標遮擋等情況的發(fā)生提供預警功能，從而進行后續(xù)操作。

2.2 結合Kalman濾波進行跟蹤

狀態(tài)方程：

(11)

觀測方程：

(12)

其中，Zk為預測目標位置構成的向量，向量Wk-1為過程噪聲，向量Vk為觀測噪聲。在跟蹤過程中，KCF可優(yōu)先在Kalman預測的位置處計算區(qū)域的響應值，迅速對目標定位。

2.3 目標的重定位

當跟蹤結果的可信度低時，需要在之后的序列中重新確定目標位置。本文使用ORB特征點匹配的方法，對目標進行重新定位。

ORB采用FAST算法來確定特征點的位置。比較候選點與周圍點的差值，如果差值大于某一閾值的點對超過一定的數(shù)目，則將其視為角點。為了加速特征點的檢測過程，如圖3所示，選取候選點P周圍的1、5、9、13等4個點中，至少有3個符合要求，否則不將其作為特征點，不再進行其他鄰域點的計算。

圖3 特征點的選取

ORB的描述子選擇BRIEF算法計算。將計算所得的二進制串描述子，比較它們的漢明距離進行特征點的匹配。相比于其他特征點算法，ORB可以較快地完成特征點之間的匹配。使用ORB特征點對目標進行重定位，可以滿足跟蹤的實時性要求。

當根據(jù)判斷結果需要重新確定目標位置時，保留當前時刻的目標圖像，在之后的圖像序列中，使用ORB特征點進行匹配，獲得目標在當前圖像中的位置信息，完成重新定位。

圖4 使用ORB特征點匹配對目標重新定位

如圖4所示，在跟蹤小女孩時出現(xiàn)遮擋、模糊等問題，故保留前一時刻的目標圖像，在后續(xù)圖像中對其進行匹配，直到匹配成功獲得目標的位置信息，確保后續(xù)跟蹤的順利進行。

2.4 算法流程

首先，框選出目標進行初始化，采用KCF-DSST框架，結合Kalman濾波對目標進行跟蹤，根據(jù)圖像塊響應的峰值與去心鄰域平均值的比值I，當I大于閾值γ時，采用當前位置的圖像目標對樣本集進行更新操作，否則保留當前位置圖像，在后續(xù)圖像序列中使用ORB特征點匹配算法對目標進行重新定位。具體流程如圖5所示。

圖5 算法流程圖

3 實驗結果與分析

3.1 實驗環(huán)境與參數(shù)

實驗的環(huán)境為Intel(R) Core(TM) i5-3230M CPU 2.60 GHz 6 GB的Win7 64 bit操作系統(tǒng)，使用Python3.5完成算法的實現(xiàn)工作。實驗中的比值參數(shù)γ=2.25,其他參數(shù)繼承了原KCF算法里的參數(shù)值。最后使用TB數(shù)據(jù)集[26]對算法進行對比驗證。

3.2 跟蹤性能對比

在TB數(shù)據(jù)集中選取具有遮擋、模糊、運動變化明顯等干擾特征的視頻序列，本文使用精確度與成功率對算法性能進行評估。對比情況如圖6、圖7所示。

圖6 精確度圖

圖7 成功率圖

由圖6、圖7可知，在如Jogging等存在遮擋的視頻序列中，KCF、KCF-DSST跟蹤算法由于缺少對跟蹤結果可靠性的評價機制和重定位方法，所以在目標丟失、樣本污染后，無法進行重新定位跟蹤，而本文提出的方法在精確度和成功率上都有著突出的提升。在如MotorRolling等存在背景復雜、目標突變的序列中，也有著較為明顯的改善。在其他視頻序列中，跟蹤性能也有一定的提高。直觀的跟蹤結果如圖8所示。

…KCF，--KCF-DSST，—本文方法圖8 跟蹤結果對比

3.3 跟蹤時間效率對比

在實現(xiàn)有效跟蹤的同時，跟蹤算法的實時性也是跟蹤算法的重要評價標準之一。本文在測試視頻中統(tǒng)計并對比了相關跟蹤算法的時間效率，即算法平均每秒處理的視頻幀數(shù)，如表1所示。

表1 相關跟蹤算法運行速率

跟蹤算法KCFKCF-DSST本文算法平均速率/(幀數(shù)·s-1)121.7430.327.81

由表1可知，本文提出的算法的運行速率達到了27.81幀/s，雖不及KCF算法上百幀的運行速率，但與KCF-DSST算法相差無幾，可以滿足實時性的要求。

4 結束語

本文使用KCF-DSST框架結合Kalman濾波對目標位置進行預測，提出目標樣本更新機制，目標發(fā)生遮擋、模糊等強干擾時，跟蹤結果可信度較低，當前目標不加入訓練樣本進行模型更新，保留前一時刻的可信度高的圖像，提取角點并計算描述子，在后續(xù)序列中通過特征點的匹配操作，定位出目標當前位置，重新進行跟蹤。本文算法相比于原KCF算法在運行速度上有所降低，但在跟蹤性能上都有一定的提升，在遮擋、模糊等情況下改進明顯，可以滿足跟蹤實時性的要求。但在運動位置突變、場景變化迅速、高速運動等情況下，跟蹤精確度和成功率還有很大的提升空間。在優(yōu)化跟蹤性能的同時，如何提高算法的運行速率也將是今后研究工作的重點之一。