朱明敏，胡茂海

(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，南京 210094)

基于相關(guān)濾波器的長時(shí)視覺目標(biāo)跟蹤方法

朱明敏，胡茂海*

(南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，南京 210094)

(*通信作者電子郵箱h_mhai@163.com)

為解決相關(guān)濾波器(CF)在跟蹤快速運(yùn)動(dòng)目標(biāo)時(shí)存在跟蹤失敗的問題，提出一種結(jié)合了核相關(guān)濾波(KCF)跟蹤器和基于光流法的檢測(cè)器的長時(shí)核相關(guān)濾波(LKCF)跟蹤算法。首先,使用跟蹤器跟蹤目標(biāo)，并計(jì)算所得跟蹤目標(biāo)的峰值響應(yīng)強(qiáng)度(PSR)；然后,通過比較峰值響應(yīng)強(qiáng)度(PSR)與經(jīng)驗(yàn)閾值大小判斷目標(biāo)是否跟蹤丟失，當(dāng)目標(biāo)跟蹤丟失時(shí)，在上一幀所得目標(biāo)附近運(yùn)用光流法檢測(cè)運(yùn)動(dòng)目標(biāo)，得到目標(biāo)在當(dāng)前幀中的粗略位置；最后,在此粗略位置處再次運(yùn)用跟蹤器得到精確位置。與核相關(guān)濾波(KCF)、跟蹤-學(xué)習(xí)-檢測(cè)(TLD)、壓縮跟蹤(CT)、時(shí)空上下文(STC)等4種跟蹤算法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提算法在距離精確度和成功率上都表現(xiàn)最優(yōu)，且分別比核相關(guān)濾波(KCF)跟蹤算法高6.2個(gè)百分點(diǎn)和5.1個(gè)百分點(diǎn)，表明所提算法對(duì)跟蹤快速運(yùn)動(dòng)目標(biāo)有很強(qiáng)的適應(yīng)能力。

相關(guān)濾波；光流法；長時(shí)目標(biāo)跟蹤；快速運(yùn)動(dòng)；目標(biāo)再檢測(cè)

0 引言

視覺目標(biāo)跟蹤是指對(duì)視頻序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)與跟蹤，是當(dāng)今計(jì)算機(jī)視覺最活躍、最具挑戰(zhàn)性的研究領(lǐng)域之一，并在人機(jī)交互、安防監(jiān)控、增強(qiáng)現(xiàn)實(shí)等方面發(fā)揮著重要作用。由于實(shí)際場(chǎng)景復(fù)雜多變，視頻中目標(biāo)的形變、旋轉(zhuǎn)、快速移動(dòng)、運(yùn)動(dòng)模糊及光照變化等因素都會(huì)影響跟蹤的準(zhǔn)確性，設(shè)計(jì)一個(gè)快速、魯棒的跟蹤算法仍然非常困難，為解決這些問題，各種跟蹤方法被相繼提出[1]。目標(biāo)跟蹤算法通常分為兩類：判別式(discriminative models)和生成式(generative models)。判別式跟蹤是通過學(xué)習(xí)一個(gè)分類器來區(qū)分目標(biāo)和背景，而生成式跟蹤是在視頻幀中尋找與目標(biāo)最相似的窗口。

近年來，判別式跟蹤方法中基于相關(guān)濾波理論的跟蹤方法發(fā)展迅速，由于它的高速和高效，得到了廣泛的關(guān)注和應(yīng)用。相關(guān)濾波理論在信號(hào)處理領(lǐng)域中用來比較兩個(gè)信號(hào)的相似性，Bolme等[2]基于此理論提出了最小誤差輸出平方和(Minimum Output Sum of Squared Error，MOSSE)的跟蹤算法，把相關(guān)濾波首次引入跟蹤。借助于快速離散傅里葉變換，相關(guān)濾波是把時(shí)域上的卷積轉(zhuǎn)換為頻域上的點(diǎn)積，極大減少了計(jì)算開銷，顯著提高了目標(biāo)跟蹤速度，達(dá)到了驚人的669幀每秒，完全滿足實(shí)時(shí)性要求。由于該算法在實(shí)時(shí)目標(biāo)跟蹤上的優(yōu)秀表現(xiàn)，此后基于此算法框架的改進(jìn)算法被相繼提出，其中最有影響力的為Henriques等[3-4]提出的循環(huán)結(jié)構(gòu)跟蹤算法(Circulant Structure of tracking-by-detection with Kernels, CSK)，它通過對(duì)單幅圖像的密集采樣得到具有周期性循環(huán)結(jié)構(gòu)的樣本，利用循環(huán)矩陣在傅氏變換中的特殊性質(zhì)實(shí)現(xiàn)高效采樣訓(xùn)練，最終實(shí)現(xiàn)快速跟蹤，然后用方向梯度直方圖(Histogram of Oriented Gradient, HOG)[5]特征代替原算法中像素灰度值特征，提出了核相關(guān)濾波跟蹤算法(Kernelized Correlation Filter, KCF)，極大提高了跟蹤準(zhǔn)確性。除HOG特征， CN(Color-Naming)顏色特征[6]也加入到基于相關(guān)濾波器的跟蹤算法中，并取得了不錯(cuò)的效果[7]。文獻(xiàn)[8-9]在相關(guān)濾波器中引入尺度金字塔，很好地解決了跟蹤過程中目標(biāo)的尺度變化問題，但依舊無法在跟蹤失敗時(shí)恢復(fù)跟蹤。由于相關(guān)濾波跟蹤器沒有再檢測(cè)機(jī)制，當(dāng)目標(biāo)被遮擋或消失時(shí)跟蹤器會(huì)失效，因此，為實(shí)現(xiàn)目標(biāo)跟蹤丟失后再次獲得目標(biāo)，Ma等[10]訓(xùn)練了一個(gè)隨機(jī)蕨分類器的，當(dāng)相關(guān)濾波器跟蹤失敗后，該分類器以滑動(dòng)窗口的形式在視頻幀上重新獲得目標(biāo)，以實(shí)現(xiàn)長時(shí)目標(biāo)跟蹤。基于相關(guān)濾波理論的跟蹤算法還有文獻(xiàn)[11-16]，文獻(xiàn)[17]對(duì)主流相關(guān)濾波跟蹤算法進(jìn)行了比較和總結(jié)。

針對(duì)基于相關(guān)濾波理論的跟蹤算法在跟蹤快速運(yùn)動(dòng)目標(biāo)時(shí)目標(biāo)丟失問題，本文在核相關(guān)濾波算法(KCF)[4]的基礎(chǔ)上引入基于光流法的目標(biāo)再檢測(cè)機(jī)制，提出了長時(shí)核相關(guān)濾波器(Long-term Kernelized Correlation Filter, LKCF)。跟蹤模塊使用HOG和CN顏色特征，目標(biāo)再檢測(cè)模塊基于光流法[18]，并加入高斯分布權(quán)值，整個(gè)算法采用新的在線更新策略，所提算法能在目標(biāo)跟蹤丟失后再次恢復(fù)跟蹤。

1 跟蹤器

本文所提跟蹤器由跟蹤模塊和目標(biāo)再檢測(cè)模塊組成，其中跟蹤模塊使用引入CN顏色特征的核相關(guān)濾波器(KCF)，檢測(cè)模塊使用光流法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)及位置預(yù)測(cè)。

1.1 核相關(guān)濾波器

KCF的原始模型是線性回歸，即f(t)=wTt，參數(shù)w需要通過訓(xùn)練得到，t為樣本的特征向量。令i為樣本序號(hào)，yi為ti對(duì)應(yīng)的目標(biāo)回歸值，訓(xùn)練的目的是求最小化平方誤差下的w，即：

(1)

其中：λ為正則化參數(shù)。

現(xiàn)實(shí)中很多問題的解都是非線性的，非線性問題往往不好求解，所以希望能用解線性分類的方法求解，所采用的方法是進(jìn)行非線性變換，將非線性問題變換為線性問題，通過解變換后的線性問題的方法求解原來的非線性問題[19]，這種方法稱為核方法，核相關(guān)濾波器(KCF)就是通過它求解濾波器參數(shù)w。

為獲得KCF的濾波器參數(shù)w，首先需要對(duì)目標(biāo)進(jìn)行采樣訓(xùn)練，傳統(tǒng)的采樣方法是在目標(biāo)周圍選取若干圖像塊，而KCF只需采集一幅圖片x∈M×N，并將x分別以m、n個(gè)像素為單位進(jìn)行水平和垂直方向循環(huán)偏移，從而得到不同樣本xm,n，其中m∈{0,1,…,M-1}，n∈{0,1,…,N-1}，每個(gè)樣本對(duì)應(yīng)的回歸值ym,n服從二維高斯分布。訓(xùn)練的目的是找到最優(yōu)化權(quán)值的參數(shù)w，即：

(2)

根據(jù)快速傅里葉變換和嶺回歸法[20]，解式(2)得：

(3)

其中：F、F-1分別為傅里葉變換及其逆變換；y為M×N的矩陣，相應(yīng)元素是ym,n。

訓(xùn)練上一幀目標(biāo)圖像塊x得到參數(shù)α，再在當(dāng)前幀中，于前一幀目標(biāo)位置處采集相同尺寸的圖像塊z,根據(jù)式(3)～式(4)獲得目標(biāo)在當(dāng)前幀中的位置，即f(z)最大元素所在位置。

f(z)=F-1(F(α)⊙F(φ(x)·φ(z)))

(4)

其中⊙表示對(duì)應(yīng)元素點(diǎn)乘。

1.2 特征選擇

KCF使用的是大小為M×N×31方向梯度直方圖(HOG)特征值，本文所提跟蹤器在其基礎(chǔ)上引入11通道的CN顏色特征，該特征比RGB灰度特征有更好的表現(xiàn)能力，它根據(jù)語言學(xué)把顏色分為11種，和人眼感知到的顏色非常相似，已廣泛應(yīng)用于目標(biāo)檢測(cè)、識(shí)別及行為識(shí)別[21-23]，因此，本文把RGB空間三通道特征轉(zhuǎn)化為11通道的CN顏色特征使用。本文跟蹤器所用的兩種特征，HOG能更好地表現(xiàn)目標(biāo)的空間梯度信息，CN顏色特征能更好地表現(xiàn)顏色信息，兩者級(jí)聯(lián)在一起共42個(gè)通道。

1.3 目標(biāo)再檢測(cè)

相關(guān)濾波器跟蹤目標(biāo)的原理是把當(dāng)前幀中與濾波模板作用后響應(yīng)最大的地方作為目標(biāo)位置，而每次進(jìn)行濾波的位置是上一幀目標(biāo)所在位置，當(dāng)目標(biāo)快速運(yùn)動(dòng)時(shí)，目標(biāo)在當(dāng)前幀中實(shí)際位置超出濾波模板濾波范圍，這就造成跟蹤失敗。除此之外，當(dāng)目標(biāo)遇到遮擋、形變等情況也會(huì)造成跟蹤失敗，為了能重新找到目標(biāo)以持續(xù)跟蹤，引入目標(biāo)再檢測(cè)機(jī)制非常必要。不同于文獻(xiàn)[24]在每一幀中都重新檢測(cè)，本文所提再檢測(cè)機(jī)制只有當(dāng)目標(biāo)的峰值響應(yīng)強(qiáng)度(Peak-to-Sidelobe Ratio，PSR)[2]小于閾值T時(shí)才開始作用。PSR的定義為式(5)：

PSR=(gmax-μ)/σ

(5)

其中：gmax為濾響應(yīng)峰值，μ為響應(yīng)平均值，σ為響應(yīng)值標(biāo)準(zhǔn)差，濾波響應(yīng)值即為式中的f(z)所得矩陣元素值。

本文再檢測(cè)機(jī)制使用LK(Lucas-Kanade)[18]光流法檢測(cè)運(yùn)動(dòng)目標(biāo)，因?yàn)橐曨l目標(biāo)和背景會(huì)有相對(duì)運(yùn)動(dòng)，通過檢測(cè)相對(duì)運(yùn)動(dòng)就可以重新檢測(cè)到目標(biāo)，以下將簡(jiǎn)要介紹光流法。

假設(shè)相鄰兩幀目標(biāo)對(duì)應(yīng)位置像素點(diǎn)亮度不變，即：

I(x,y,t)=I(x+dx,y+dy,t+dt)

(6)

其中：x，y為橫縱坐標(biāo)；I(x,y,t)為前一幀某一位置像素點(diǎn)亮度；I(x+dx,y+dy,t+dt)為當(dāng)前幀對(duì)應(yīng)位置處像素點(diǎn)亮度。對(duì)式(6)右邊進(jìn)行泰勒展開，得式(7)：

I(x+dx,y+dy,t+dt)=

(7)

由式(6)～(7)得式(8)～(9)：

(8)

Ixu+Iyv=-It

(9)

式(9)可表示為矩陣相乘，如式(10)：

(10)

一個(gè)方程求兩個(gè)未知數(shù)顯然不可解，假設(shè)目標(biāo)局部區(qū)域具有運(yùn)動(dòng)一致性，即可聯(lián)立方程式(11)：

Ad=b

(11)

由最小二乘法得式(12)：

d=(ATA)-1ATb

(12)

在實(shí)際計(jì)算中，角點(diǎn)可以得到相對(duì)穩(wěn)定的光流[25]，所以本文使用角點(diǎn)作為特征點(diǎn)計(jì)算光流，找出上一幀目標(biāo)上的角點(diǎn)，假設(shè)共k個(gè)角點(diǎn)，記為(x1,y1)，(x2,y2)，…，(xk,yk)。由于光流法是基于相鄰幀物體微小運(yùn)動(dòng)的，當(dāng)物體運(yùn)動(dòng)較大時(shí)，傳統(tǒng)光流法效果并不好，為此本文使用金字塔光流法[26]計(jì)算角點(diǎn)的光流，記為(u1,v1)，(u2,v2)， …， (uk,vk)。

1.4 跟蹤流程

本文算法是在KCF的基礎(chǔ)上引入再檢測(cè)機(jī)制來實(shí)現(xiàn)長時(shí)目標(biāo)跟蹤的，因此跟蹤時(shí)首先利用KCF跟蹤目標(biāo)，計(jì)算跟蹤每一幀目標(biāo)的PSR，當(dāng)值小于經(jīng)驗(yàn)閾值T時(shí)，再檢測(cè)機(jī)制生效。

再檢測(cè)機(jī)制的作用是通過計(jì)算前一幀目標(biāo)區(qū)域的光流場(chǎng)，預(yù)測(cè)出目標(biāo)在當(dāng)前幀中的位置，由于視頻中非目標(biāo)物也會(huì)運(yùn)動(dòng)產(chǎn)生光流，給判斷目標(biāo)位置帶來干擾，為減輕干擾，將特征點(diǎn)的光流乘以一個(gè)權(quán)值，距離上一幀目標(biāo)中心越近的特征點(diǎn)光流越重要，其權(quán)值越大。本文使用高斯分布表示權(quán)重ω(x,y)，則第k個(gè)角點(diǎn)的權(quán)值為式(13)：

(13)

將1.3節(jié)中所有角點(diǎn)的光流加權(quán)平均即得目標(biāo)光流：

利用光流法，通過以上計(jì)算預(yù)測(cè)目標(biāo)在當(dāng)前幀中的位置為(x,y)，其中x=x0+U，y=y0+V，此位置為目標(biāo)的粗略位置，為獲得更精確位置需在(x,y)處再次運(yùn)用核相關(guān)濾波器。

2 實(shí)驗(yàn)結(jié)果分析

為了評(píng)估本文所提算法在跟蹤快速運(yùn)動(dòng)目標(biāo)時(shí)的性能，實(shí)驗(yàn)使用文獻(xiàn)[27]中標(biāo)記為快速運(yùn)動(dòng)的視頻作為視頻測(cè)試，并使用距離精確度(Distance Precision, DP)和成功率(Success Rate,SR)作為評(píng)估標(biāo)準(zhǔn)。精確度是指跟蹤目標(biāo)的中心坐標(biāo)與人工標(biāo)定的準(zhǔn)確值間的歐氏距離小于某個(gè)閾值的幀數(shù)占全部視頻幀數(shù)的百分比，閾值越低時(shí)精確度越高，跟蹤效果越好。成功率是指包圍跟蹤目標(biāo)的邊框區(qū)域與人工標(biāo)定的準(zhǔn)確值間的重疊率大于某個(gè)閾值的幀數(shù)占全部視頻幀數(shù)的百分比，閾值越高時(shí)成功率越高，跟蹤效果越好。

實(shí)驗(yàn)除了驗(yàn)證所提算法再檢測(cè)模塊的有效性，還與當(dāng)前主流跟蹤算法比較，以此證明它的整體優(yōu)越性。

實(shí)驗(yàn)平臺(tái) Matlab 2015b，intel-i7-6700，3.4 GHz，8 GB內(nèi)存。

2.1 LKCF與KCF對(duì)比實(shí)驗(yàn)

為說明CN顏色特征和再檢測(cè)機(jī)制對(duì)提高KCF跟蹤效果的作用，本文進(jìn)行了對(duì)比實(shí)驗(yàn)?，F(xiàn)定義在KCF上只引入CN顏色特征的算法記為cKCF，只引入再檢測(cè)機(jī)制的算法記為rKCF，兩者都引入則為本文長時(shí)核相關(guān)濾波器(LKCF)。

實(shí)驗(yàn)使用OTB-50數(shù)據(jù)集[27]中的Deer視頻比較KCF、cKCF、rKCF及LKCF性能差異。首先繪制精確度圖，如圖1所示，并使用20個(gè)像素點(diǎn)時(shí)的精確度作為評(píng)價(jià)標(biāo)準(zhǔn)。其次，為直觀地呈現(xiàn)個(gè)算法的差異，還繪制了中心距離誤差圖，如圖2所示。

圖1 中心距離精確度Fig. 1 Center distance precision

圖2 中心距離誤差Fig. 2 Center distance error

從圖1可以看出rKCF和LKCF的精度達(dá)到了100%，即在所有幀中，跟蹤目標(biāo)的中心坐標(biāo)與真實(shí)標(biāo)定值之間的歐氏距離都小于20個(gè)像素值。KCF的距離精度達(dá)到了87%，cKCF為90%，只比KCF多3個(gè)百分點(diǎn)，相比而言，在KCF基礎(chǔ)上引入再檢測(cè)機(jī)制的rKCF則增加了13個(gè)百分點(diǎn)，可看出再檢測(cè)機(jī)制可以顯著提高跟蹤效果。

從圖2可以觀察到，KCF和cKCF在25幀附近中心距離產(chǎn)生了巨大偏差，而rKCF和LKCF此時(shí)表現(xiàn)出色，具體從圖3可看出在24幀所有跟蹤器都能較準(zhǔn)確跟蹤，在25幀KCF和cKCF跟蹤失敗，引入再檢測(cè)機(jī)制的rKCF和LKCF此時(shí)卻跟蹤成功，證明再檢測(cè)機(jī)制對(duì)提高跟蹤魯棒性的作用(注：圖3中目標(biāo)框線型對(duì)應(yīng)圖1中各跟蹤器線型，圖3(a)中4個(gè)跟蹤框重合)。在圖2中55幀附近KCF產(chǎn)生較大偏差，而cKCF此刻卻沒有產(chǎn)生較大偏差，說明CN顏色特征也可以提高跟蹤的魯棒性。

圖3 4個(gè)跟蹤器在第24、25幀的跟蹤位置Fig. 3 Tracking position of 4 trackers in the 24th～25th frames

2.2 多跟蹤器對(duì)比

實(shí)驗(yàn)選取OTB-50數(shù)據(jù)集[27]中標(biāo)記為快速運(yùn)動(dòng)的15組視頻序列作為測(cè)試視頻，將本文所提長時(shí)核相關(guān)濾波跟蹤算法(LKCF)與核相關(guān)濾波跟蹤算法(KCF)[4]、跟蹤-學(xué)習(xí)-檢測(cè)(Teach-Learn-Detection，TLD)[24]、壓縮跟蹤(Compressive Tracking， CT)[28]、時(shí)空上下文(Spatio-Temporal Context，STC)[29]進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)選用閾值為20個(gè)像素點(diǎn)時(shí)的距離精確度(DP)和閾值為0.5的成功率(SR)作為評(píng)測(cè)標(biāo)準(zhǔn)，結(jié)果如表1所示。

表1 5種跟蹤算法在視頻序列上的性能比較Tab. 1 Performance comparison of 5 tracking algorithms over the video sequences

從表1中可看出，本文算法的距離精確度均值為0.651，成功率均值為0.569，是5種跟蹤算法中綜合表現(xiàn)最好的，且分別比KCF高6.2個(gè)百分點(diǎn)和5.1個(gè)百分點(diǎn)。為更形象地表現(xiàn)測(cè)試結(jié)果，圖4、圖5分別給出了5種跟蹤算法在15組測(cè)試視頻中，在不同閾值下的距離精確度和成功率。

圖4 5種跟蹤算法在不同閾值下的距離精度Fig. 4 DP of 5 tracking algorithms at different thresholds

圖5 5種跟蹤算法在不同閾值下的成功率Fig. 5 SR of 5 tracking algorithms at different thresholds

表2為5種跟蹤算法在測(cè)試視頻序列上的運(yùn)行速度對(duì)比結(jié)果，從結(jié)果可看出，本文提出的LKCF算法運(yùn)行速度排名第4，與最快的789.5幀每秒尚有差距，但仍能滿足實(shí)時(shí)跟蹤要求。

表2 5種跟蹤算法運(yùn)行速度對(duì)比Tab. 2 Running speed comparison of 5 tracking algorithms

3 結(jié)語

為解決基于相關(guān)濾波理論的跟蹤器在跟蹤快速運(yùn)動(dòng)目標(biāo)時(shí)目標(biāo)丟失問題，本文在核相關(guān)濾波(KCF)跟蹤算法的基礎(chǔ)上引入CN顏色特征及基于光流法的再檢測(cè)機(jī)制，提出了一種長時(shí)核相關(guān)濾波(LKCF)跟蹤算法，該算法可在目標(biāo)跟蹤丟失時(shí)重新獲得目標(biāo)并繼續(xù)跟蹤。實(shí)驗(yàn)表明，本文算法在距離精確度均值和準(zhǔn)確度均值分別比KCF跟蹤算法高6.2、5.7個(gè)百分點(diǎn)，與近年來4個(gè)優(yōu)秀算法比較，在跟蹤快速運(yùn)動(dòng)目標(biāo)時(shí)魯棒性最好，能滿足實(shí)時(shí)跟蹤要求，有實(shí)際應(yīng)用價(jià)值。不足的是本文算法運(yùn)行速度較慢，造成速度慢的原因是基于光流法的運(yùn)動(dòng)物體檢測(cè)算法計(jì)算復(fù)雜度較高，因此，后續(xù)將對(duì)優(yōu)化再檢測(cè)機(jī)制作進(jìn)一步研究。

References)

[1] SMEULDERS A W M, CHU D M, CUCCHIARA R, et al. Visual tracking: an experimental survey[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(7): 1442-1468.

[2] BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 2544-2550.

[3] HENRIQUES J F, CASEIRO R, MARTINS P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]// Proceedings of the 2012 European Conference on Computer Vision. Berlin: Springer, 2012: 702-715.

[4] HENRIQUES J F, RUI C, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3): 583-596.

[5] FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32 (9): 1627-1645.

[6] Van De WEIJER J, SCHMID C, VERBEEK J, et al. Learning color names for real-world applications[J]. IEEE Transactions on Image Processing, 2009, 18(7): 1512-1523.

[7] DANELLJAN M, KHAN F S, FELSBERG M, et al. Adaptive color attributes for real-time visual tracking[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 1090-1097.

[8] DANELLJAN M, HGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking[EB/OL].[2016-05-20]. http://www.bmva.org/bmvc/2014/files/abstract038.pdf.

[9] LI Y, ZHU J. A scale adaptive kernel correlation filter tracker with feature integration [C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 254-265.

[10] MA C, YANG X, ZHANG C, et al. Long-term correlation tracking [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015: 5388-5396.

[11] HONG Z, CHEN Z, WANG C, et al. Multi-Store Tracker (MUSTer): a cognitive psychology inspired approach to object tracking[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015:749-758.

[12] LIU T, WANG G, YANG Q. Real-time part-based visual tracking via adaptive correlation filters[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015: 4902-4912.

[13] LI Y, ZHU J, HOI S C H. Reliable patch trackers: robust visual tracking by exploiting reliable patches[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2015: 353-361.

[14] GALOOGAHI H K, SIM T, LUCEY S. Correlation filters with limited boundaries[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 4630-4638.

[15] DANELLJAN M, HAGER G, KHAN F S, et al. Learning spatially regularized correlation filters for visual tracking[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2015:4310-4318.

[16] LANG J, LAGANI R. Scalable kernel correlation filter with sparse feature integration[C]// Proceedings of the 2015 IEEE International Conference on Computer Vision Workshop. Piscataway, NJ: IEEE, 2015: 587-594.

[17] CHEN Z, HONG Z, TAO D. An experimental survey on correlation filter-based tracking[J]. Computer Science, 2015, 53(6025): 68-83.

[18] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[C]// Proceedings of the 7th International Joint Conference on Artificial Intelligence. San Francisco, CA: Morgan Kaufmann, 1981:285-289.

[19] 李航.統(tǒng)計(jì)學(xué)習(xí)方法[M]. 北京：清華大學(xué)出版社, 2012:116.(LI H. Statistical Learning Method[M]. Beijing: Tsinghua University Press, 2012:116.)

[20] RIFKIN R, YEO G, POGGIO T. Regularized least-squares classification[J]. Acta Electronica Sinica, 2003, 190(1): 131-154.

[21] KHAN F S, VAN DE WEIJER J, VANRELL M. Modulating shape features by color attention for object recognition [J]. International Journal of Computer Vision, 2012, 98(1): 49-64.

[22] KHAN F S, ANWER R M, VAN DE WEIJER J, et al. Color attributes for object detection[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2012: 3306-3313.

[23] KHAN F S, ANWER R M, VAN DE WEIJER J, et al. Coloring action recognition in still images[J]. International Journal of Computer Vision, 2013, 105(3): 205-221.

[24] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(7): 1409-1422.

[25] SHI J, TOMASI C. Good features to track[C]// Proceedings of the 1994 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 1994: 593-600.

[26] BOUGUET J Y. Pyramidal Implementation of the Lucas Kanade feature tracker description of the algorithm[J]. OpenCV Documents, 2000, 22(2): 363-381.

[27] WU Y, LIM J, YANG M H. Online object tracking: a benchmark[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2013: 2411-2418.

[28] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]// Proceedings of the 2012 European Conference on Computer Vision. Berlin: Springer, 2012:864-877.

[29] ZHANG K, ZHANG L, LIU Q, et al. Fast visual tracking via dense spatio-temporal context learning[C]// Proceedings of the 2014 European Conference on Computer Vision. Berlin: Springer, 2014: 127-141.

ZHU Mingmin, born in 1990, M. S. candidate. His research interests include gesture recognition, object detection, object tracking.

HU Maohai, born in 1967, Ph. D., associate professor. His research interests include image processing, optical pattern recognition, biomicroscopic imaging.

Long-term visual object tracking algorithm based on correlation filter

ZHU Mingmin, HU Maohai*

(SchoolofElectronicandOpticalEngineering,NanjingUniversityofScienceandTechnology,NanjingJiangsu210094,China)

Focusing on the issue that the Correlation Filter (CF) has poor performance in tracking fast motion object, a Long-term Kernelized Correlation Filter (LKCF) tracking algorithm based on optical flow combining with Kernel Correlation Filter (KCF) was proposed. Firstly, while tracking with the tracker, a value of Peak-to-Sidelobe Ratio (PSR) was calculated. Secondly, the position was achieved in the last frame, optical flow was used to calculate coarse position when the value of PSR less than a threshold in the current frame, which means tracking failure. Finally, accurate position was calculated using the tracker again according to the coarse position. The results of experiment compared with four kinds of tracking algorithms such as Compressive Tracking (CT), Tracking-Learning-Detection (TLD), KCF and Spatio-Temporal Context (STC) show that the proposed algorithm is optimal in distance accuracy and success rate which are 6.2 percentage points and 5.1 percentage points higher than those of KCF. In other words, the proposed algorithm is robust to the tracking of fast motion object.

correlation filter; optical flow; long-term object tracking; fast motion; object redetection

2016-10-17;

2016-12-21。

朱明敏(1990—)，男，江蘇句容人，碩士研究生，主要研究方向：手勢(shì)識(shí)別、目標(biāo)檢測(cè)、目標(biāo)跟蹤； 胡茂海(1967—)，男，安徽馬鞍山人，副教授，博士，主要研究方向：圖像處理、光學(xué)模式識(shí)別、生物顯微成像。

1001-9081(2017)05-1466-05

10.11772/j.issn.1001-9081.2017.05.1466

TP391.4

A