林玲鵬，黃添強(qiáng)，林 晶

(1.福建師范大學(xué) 軟件學(xué)院，福州 350007; 2.福建省公共服務(wù)大數(shù)據(jù)挖掘與應(yīng)用工程技術(shù)研究中心，福州 350007;3.福建師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福州 350007)

融合前景判別和圓形搜索的目標(biāo)跟蹤算法

林玲鵬1,2，黃添強(qiáng)1,2*，林 晶3

(1.福建師范大學(xué) 軟件學(xué)院，福州 350007; 2.福建省公共服務(wù)大數(shù)據(jù)挖掘與應(yīng)用工程技術(shù)研究中心，福州 350007;3.福建師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福州 350007)

針對(duì)運(yùn)動(dòng)目標(biāo)在發(fā)生遮擋、形變、旋轉(zhuǎn)和光照等變化時(shí)會(huì)導(dǎo)致跟蹤誤差大甚至丟失目標(biāo)以及傳統(tǒng)跟蹤算法實(shí)時(shí)性差的問題，提出了一種融合前景判別和圓形搜索(CS)的目標(biāo)跟蹤算法。該算法采用了圖像感知哈希技術(shù)來描述與匹配跟蹤目標(biāo)，跟蹤過程使用了兩種跟蹤策略相結(jié)合的方法，能夠有效地解決上述問題。首先，根據(jù)目標(biāo)運(yùn)動(dòng)方向的不確定性和幀間目標(biāo)運(yùn)動(dòng)的緩慢性，通過CS算法搜索當(dāng)前幀局部(目標(biāo)周圍)最佳匹配位置；然后，采用前景判別PBAS算法搜索當(dāng)前幀全局最優(yōu)目標(biāo)前景；最終,選取兩者與目標(biāo)模板相似度更高者為跟蹤結(jié)果，并根據(jù)匹配閾值判斷是否更新目標(biāo)模板。實(shí)驗(yàn)結(jié)果表明，所提算法在精度、準(zhǔn)確率和實(shí)時(shí)性上都比MeanShift算法更好，在目標(biāo)非快速運(yùn)動(dòng)時(shí)有較好的跟蹤優(yōu)勢(shì)。

目標(biāo)跟蹤；圓形搜索算法；前景判別；感知哈希；跟蹤策略

0 引言

視頻目標(biāo)跟蹤[1]是計(jì)算機(jī)視覺領(lǐng)域研究的核心內(nèi)容之一，同時(shí)也是圖像處理的主要分支之一。在對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)和跟蹤過程中，應(yīng)用了多個(gè)研究領(lǐng)域的內(nèi)容，比如圖像處理、模式識(shí)別、人工智能和機(jī)器學(xué)習(xí)等。視頻目標(biāo)跟蹤在智能視頻監(jiān)控、人機(jī)交互、機(jī)器人視覺導(dǎo)航、虛擬現(xiàn)實(shí)、醫(yī)學(xué)圖像分析和視頻壓縮等領(lǐng)域中有很大的理論意義和應(yīng)用價(jià)值[2]。

簡(jiǎn)而言之，視頻目標(biāo)跟蹤是一個(gè)只知道目標(biāo)的初始位置去估計(jì)它在一個(gè)圖像序列中軌跡的問題。對(duì)目標(biāo)的跟蹤方法則成為各種跟蹤算法中的重要組成部分。由于有限的目標(biāo)先驗(yàn)知識(shí)，解決這個(gè)問題是特別具有挑戰(zhàn)性的；而且，跟蹤算法必須是靈活的，以應(yīng)對(duì)快速的目標(biāo)外觀的變化，同時(shí)對(duì)發(fā)生遮擋和背景干擾應(yīng)該是魯棒的。

在最近幾年，學(xué)者們運(yùn)用tracking-by-detection的方法[3-6]，使上述問題得到了一定的解決。在這類算法中，跟蹤方法采用機(jī)器學(xué)習(xí)技術(shù)來訓(xùn)練目標(biāo)樣本的外觀模型和背景模型。比如，監(jiān)督學(xué)習(xí)方法中的支持向量機(jī)(Support Vector Machine, SVM)[7]和嶺回歸[8]方法通常構(gòu)建一個(gè)有區(qū)分能力的分類器或回歸量。在常用的目標(biāo)跟蹤算法中，基于均值漂移的MeanShift目標(biāo)跟蹤算法[9-10]通過顏色直方圖分別描述目標(biāo)模型和候選模型，然后利用Bhattacharyya相似函數(shù)度量候選模板的相似性，選擇使相似函數(shù)最大的候選模型并通過不斷迭代計(jì)算MeanShift向量，實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。該算法實(shí)時(shí)性較好，并在目標(biāo)發(fā)生形變、旋轉(zhuǎn)時(shí)仍能有效跟蹤目標(biāo)，受到廣泛的應(yīng)用[11]。

同時(shí)，此類跟蹤模型的質(zhì)量很大程度上依賴于它的訓(xùn)練集[12]。當(dāng)訓(xùn)練集不能正確表達(dá)目標(biāo)時(shí)，標(biāo)準(zhǔn)的tracking-by-detection跟蹤算法的結(jié)果會(huì)受到很大的影響。這些不正確的訓(xùn)練樣本通常是因?yàn)槟繕?biāo)發(fā)生了形變、旋轉(zhuǎn)、遮擋和尺度變換，跟蹤的不準(zhǔn)確也會(huì)帶來不正確的訓(xùn)練樣本，從而導(dǎo)致分類器的退化。當(dāng)訓(xùn)練集出錯(cuò)時(shí)，跟蹤模型會(huì)出現(xiàn)目標(biāo)漂移，最終導(dǎo)致目標(biāo)跟蹤失敗。

因此，一個(gè)正確的訓(xùn)練集對(duì)此類算法至關(guān)重要，可避免發(fā)生目標(biāo)漂移和跟蹤失敗。為了避免此類瓶頸的出現(xiàn)，本文算法在tracking-by-detection的基礎(chǔ)上，采用了匹配跟蹤和搜索跟蹤，通過兩種跟蹤策略的結(jié)合，一定程度上防止了在跟蹤過程中訓(xùn)練集出錯(cuò)，從而防止了在跟蹤過程中出現(xiàn)目標(biāo)漂移，提高了算法的準(zhǔn)確性和魯棒性。

本文提出了一種融合前景判別和圓形搜索(Foreground Discrimination and Circle Search, FDCS)的目標(biāo)跟蹤算法，該算法利用本文提出的圓形搜索(Circle Search, CS)算法對(duì)目標(biāo)進(jìn)行搜索跟蹤，同時(shí)結(jié)合PBAS(Pixel-Based Adaptive Segmenter)前景判別算法進(jìn)行匹配跟蹤。其中，CS算法在應(yīng)對(duì)目標(biāo)移動(dòng)時(shí)具有良好的跟蹤效率； PBAS在跟蹤過程中應(yīng)對(duì)目標(biāo)發(fā)生形變、部分遮擋、尺度變化和外部光照變化有較好的魯棒性。

1 系統(tǒng)概述

本文在融合前景判別和CS的跟蹤算法框架下，使用了圖像感知哈希特征描述子，所提出的FDCS跟蹤算法框架如圖1所示。其中，為了能夠準(zhǔn)確提取目標(biāo)圖像摘要，所采取的圖像感知哈希算法使用了離散余弦變換(Discrete Cosine Transform, DCT)[13]提取圖像的低頻信息來近似表示圖像。DCT對(duì)圖像的處理效果如圖2所示，DCT會(huì)將圖片的低頻信息集中在左上角，低頻信息所對(duì)應(yīng)的DCT系數(shù)會(huì)相對(duì)較大，而靠近右下角的高頻信息對(duì)應(yīng)的DCT系數(shù)較小。同時(shí)，F(xiàn)DCS采用搜索跟蹤策略和匹配跟蹤策略對(duì)視頻運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，兩種跟蹤策略如下所述。

圖1 算法框架Fig. 1 Algorithm framework

搜索跟蹤策略 采用本文提出的CS算法，其思想是根據(jù)目標(biāo)運(yùn)動(dòng)方向的不確定性和幀間目標(biāo)運(yùn)動(dòng)的緩慢性，對(duì)跟蹤目標(biāo)周邊區(qū)域(以目標(biāo)為中心、半徑為2的圓)的13個(gè)跟蹤點(diǎn)進(jìn)行判斷搜索。

匹配跟蹤策略 使用的是PBAS前景檢測(cè)算法，它引入了控制論的思想和背景復(fù)雜程度的度量方法，使得前景判斷閾值和背景模型更新率可以根據(jù)背景復(fù)雜程度自適應(yīng)調(diào)整，保證了前景提取的正確率和魯棒性。

圖2 DCT結(jié)果Fig. 2 Results of DCT

2 圖像感知哈希技術(shù)

本文算法使用了圖像感知哈希(Image Perceptual Hashing)技術(shù)來描述圖像特征，由于哈希的二值特性使得算法在特征描述與匹配的效率上得到了提高。

2.1 圖像感知哈希性質(zhì)

圖像感知哈希又稱為圖像指紋(Image Fingerprinting)，是近幾年新發(fā)展的一個(gè)圖像特征描述算子[14]。它用一個(gè)二進(jìn)制比特串來近似表示圖像，通過對(duì)圖像數(shù)據(jù)的二值化提高了匹配算法的效率，增強(qiáng)了實(shí)用性。圖像感知哈希技術(shù)的總體框架如圖3所示。

圖3 圖像哈?；究蚣?/p>

Fig. 3 Basic framework of image Hash

圖像感知哈希技術(shù)要求所使用的哈希算法應(yīng)當(dāng)滿足以下4個(gè)性質(zhì)：

1)摘要性(Compactness)。經(jīng)過哈希算法生成的Hash值應(yīng)遠(yuǎn)小于原圖像的大小。

2)唯一性(Uniqueness)。一幅圖像經(jīng)過同一哈希算法生成的Hash值是相同的。

3)差異性(Otherness)。差異明顯的圖像經(jīng)過同一哈希算法生成的Hash值是不相近的。

4)魯棒性(Robustness)。相似的圖像經(jīng)過同一哈希算法生成的Hash值是相同或相近的。

2.2 哈希特征值的生成

目前，比較流行的對(duì)圖像構(gòu)造Hash值的算法有均值哈希算法、感知哈希算法和差異哈希算法。由于均值哈希不能很好地以人類的視覺角度表達(dá)圖像信息，更適合搜索縮略圖；差異哈希側(cè)重于局部差異，忽略了圖像總體信息；為了模擬人類視覺對(duì)低頻信息比較敏感的特點(diǎn)，并獲得更精確的結(jié)果，本文選擇感知哈希算法，它采用DCT算法，通過提取的DCT低頻系數(shù)近似表示圖像信息的方法，量化此低頻信息生成圖像感知Hash值。本文構(gòu)造圖像感知Hash值的流程如圖4所示。

圖4 圖像哈希生成流程Fig. 4 Flow chart of image Hash generation

本文圖像感知Hash值生成定義為如下單向函數(shù)[15]：

h=PHGen(I)

(1)

其中：h表示由圖像I生成的感知摘要，PHGen代表感知哈希的生成算法，PHGen的主要步驟如下：

1)去噪。將圖像進(jìn)行灰度處理，轉(zhuǎn)化為256階的灰度圖，并采用中值濾波法去除圖像噪聲。

2)采樣。通過采樣處理，將圖像分辨率置為32×32，有利于DCT的計(jì)算。

3)分塊。將得到的32×32圖片分成4個(gè)16×16小塊。

4)提取DCT系數(shù)。計(jì)算4個(gè)小塊經(jīng)過DCT得到的DCT系數(shù)，分別選擇各個(gè)系數(shù)矩陣的左上角4×4的低頻系數(shù)，組成8×8的矩陣。

5)量化。計(jì)算8×8系數(shù)矩陣的均值，將大于或等于均值的矩陣元素置為1，否則置為0，得到量化后的8×8二維二進(jìn)制矩陣。

6)生成Hash值。逐行讀取8×8二維矩陣，得到長(zhǎng)度為64的哈希二進(jìn)制比特串。

2.3 哈希特征值的匹配

基于圖像感知哈希算法的匹配，是通過其感知摘要的距離大小來表達(dá)兩幅圖像的相似程度。圖像間的感知距離是通過Hash值的匹配算法完成的，用式(2)[15]來表示：

pd=PHMatch(hi,hj)

(2)

在本文中，PHMatch表示所使用的感知哈希匹配算法，輸入?yún)?shù)hi和hj是兩幅圖像通過PHGen(感知哈希生成算法)生成的二進(jìn)制感知摘要，輸出參數(shù)pd表示兩幅圖像的感知距離，pd越大表示兩幅圖像越不相似，pd越小表示其相似度越高。因輸入的Hash值為二進(jìn)制數(shù)，所以本文使用漢明距離(Hamming Distance)[16]計(jì)算Hash值的差異性，即兩個(gè)二進(jìn)制數(shù)對(duì)應(yīng)位置的不同字符的個(gè)數(shù)，如式(3)所示，dis表示兩個(gè)哈希字符串hi和hj的漢明距離。dis越小，hi和hj的差異性越小，即相似度越高。

dis=HamDis(hi,hj)

(3)

3 FDCS跟蹤算法

為了清晰描述FDCS算法及其跟蹤步驟，將其中涉及到的一些新概念和相關(guān)定義給出如下。

3.1 CS算法

在實(shí)際生活中，運(yùn)動(dòng)目標(biāo)在視頻相鄰兩幀中的移動(dòng)是緩慢的，根據(jù)FS(Full Search)算法(全局搜索算法)實(shí)驗(yàn)數(shù)據(jù)表明，50%～90%的運(yùn)動(dòng)目標(biāo)在原目標(biāo)中心旁的2個(gè)像素點(diǎn)移動(dòng)。由于拍攝角度的不確定性和運(yùn)動(dòng)目標(biāo)方向的不規(guī)則性，運(yùn)動(dòng)目標(biāo)可能在原中心位置360°范圍進(jìn)行移動(dòng)。所以，如圖5所示，在以原目標(biāo)中心為圓心、半徑為2的圓中的13個(gè)像素點(diǎn)，認(rèn)為是具有最高匹配概率的搜索點(diǎn)。基于上述理論，本文提出了一種新的運(yùn)動(dòng)估計(jì)方法——圓形搜索(CS)算法。以下將先介紹算法中搜索點(diǎn)的分類，并描述算法的基本思想，再通過算法步驟具體介紹所提出的圓形搜索算法。

3.1.1 搜索點(diǎn)分類

CS算法對(duì)13個(gè)搜索點(diǎn)進(jìn)行歸類：圓環(huán)搜索點(diǎn)(Circle Ring Search Point, CRSP)和內(nèi)圓搜索點(diǎn)(Inner Circle Search Point, ICSP)，如圖6所示。在目標(biāo)跟蹤算法中，搜索點(diǎn)表示與當(dāng)前目標(biāo)模板同大的矩形框的中心；同時(shí)，它們具備以下兩個(gè)性質(zhì)：

性質(zhì)1 CRSP的四連通區(qū)域上的搜索點(diǎn)不全在大圓內(nèi)。

性質(zhì)2 ICSP的四連通區(qū)域上的搜索點(diǎn)全在大圓內(nèi)。

圖5 圓形搜索13個(gè)搜索點(diǎn)Fig. 5 13 search points of circle search

圖6 CRSP和ICSP搜索點(diǎn)Fig. 6 Search points of CRSP and ICSP

3.1.2 算法基本思想

根據(jù)目標(biāo)運(yùn)動(dòng)的緩慢性，CS算法先以上次目標(biāo)中心為圓心、兩個(gè)像素點(diǎn)為半徑作圓，計(jì)算以圓內(nèi)13個(gè)搜索點(diǎn)為中心的目標(biāo)矩形框與目標(biāo)模板的相似度，得到最大相似度搜索點(diǎn)(Max Similar Point, MSP)。若得到的MSP屬于ICSP，則停止搜索，因?yàn)镮CSP的四連通區(qū)域全部在圓內(nèi)，則認(rèn)為此時(shí)得到的MSP可靠性較強(qiáng)，達(dá)到局部最優(yōu)，可作為此次的搜索結(jié)果；若得到的MSP屬于CRSP，則將此MSP作為新的圓心，循環(huán)CS，直到得到的MSP屬于ICSP為止。

3.1.3 算法步驟

步驟1 以上一次目標(biāo)中心為圓心、半徑為2作圓，分別計(jì)算圓內(nèi)13個(gè)搜索點(diǎn)代表的矩形框與目標(biāo)模板的相似度，若MSP屬于ICSP，則進(jìn)行步驟3；若MSP屬于CRSP，進(jìn)行步驟2。

步驟2 以當(dāng)前找到的MSP所在位置作為新的圓心，得到新的搜索區(qū)域的13個(gè)搜索點(diǎn)，分別計(jì)算它們與目標(biāo)模板的相似度，若MSP屬于ICSP，則進(jìn)行步驟3；若MSP屬于CRSP，重復(fù)步驟2。

步驟3 以找到的MSP所在位置作為此次跟蹤結(jié)果，即MSP所在位置為當(dāng)前目標(biāo)中心。

3.2 PBAS前景判別算法

PBAS前景檢測(cè)算法是基于像素的無參數(shù)模型[17]，該算法結(jié)合了經(jīng)典的SACON(SAmple CONsensus)[18]和ViBE(Visual Background Extractor)[19]兩個(gè)算法在計(jì)算速度和判斷結(jié)果上的優(yōu)勢(shì)，并在這兩個(gè)算法的基礎(chǔ)上改進(jìn)而來。其基本框架如圖7所示。

圖7中，R(xi)為自適應(yīng)的閾值，T(xi)為自適應(yīng)的更新率，dmin(xi)為背景復(fù)雜度的度量。

主要步驟如下：

1)建立背景模型。

PBAS算法采用類似SACON算法背景建模方法，收集前N幀像素以及梯度幅值作為背景模型,構(gòu)建方法如下：

B(xi)={B1(xi),B2(xi),…,Bk(xi),…,BN(xi)}

(4)

其中:B(xi)表示像素點(diǎn)xi的背景模型，是由像素點(diǎn)xi的一系列過去被觀察的背景像素值所構(gòu)成;Bk(xi)表示像素點(diǎn)xi的背景模型中的第k個(gè)像素值。

2)前景檢測(cè)。

PBAS前景檢測(cè)過程與ViBE算法類似，計(jì)算樣本集合中滿足匹配條件的樣本個(gè)數(shù)，若小于閾值Tmin，則認(rèn)為是前景，不同之處在于不同像素的判斷閾值R(xi)不同；

(5)

式(5)中：F(xi)存儲(chǔ)像素點(diǎn)xi的判斷結(jié)果，1表示為前景，0表示為背景；R(xi)為距離閾值，該參數(shù)取決于像素位置并可以動(dòng)態(tài)變化；閾值Tmin是一個(gè)固定的全局參數(shù)。

圖7 PBAS基本框架[17]Fig. 7 Basic framework of PBAS[17]

3)背景模型的更新。

由于被判定為前景的區(qū)域是不會(huì)被用來進(jìn)行更新的，因此，只有像素被判為背景點(diǎn)F(xi)=0，才能進(jìn)行背景模板更新。其更新過程與ViBE算法類似，被判斷為背景的像素只有p=1/T(xi)的概率來進(jìn)行更新，同樣，也有p=1/T(xi)的概率去隨機(jī)選擇目標(biāo)像素的相鄰像素yi∈N(xi)來進(jìn)行更新。不同之處在于更新率不同，ViBE是固定的更新率，而PBAS的更新率是自適應(yīng)的，并且更新使用的像素值是鄰域樣本集合中yi的新像素值，而不是用xi本身的新像素值。

4)判決閾值R(xi)的更新。

R(xi)=

(6)

式(6)中：Rinc/dec是閾值的變化量，Rscale用于控制背景復(fù)雜度對(duì)判斷閾值的調(diào)整。

5)學(xué)習(xí)參數(shù)T(xi)的更新。

當(dāng)視頻幀中的背景越復(fù)雜，其出現(xiàn)判斷錯(cuò)誤的概率越大，對(duì)應(yīng)的背景更新的頻率應(yīng)該越低，為了減少判斷錯(cuò)誤對(duì)背景模型的影響，學(xué)習(xí)參數(shù)T(xi)的更新策略如下：

(7)

式(7)中：F(xi)表示前景檢測(cè)結(jié)果，Tinc和Tdec分別表示更新率增加、減小的幅度。此外，本文還為學(xué)習(xí)參數(shù)T(xi)定義了上限和下限Tlower

3.3 算法實(shí)現(xiàn)

根據(jù)以上敘述，下面給出FDCS跟蹤算法的流程思想：首先，本文算法根據(jù)用戶手動(dòng)劃定的跟蹤目標(biāo)區(qū)域建立目標(biāo)模板的哈希特征描述算子；其次，使用CS算法作為搜索跟蹤算法，得到當(dāng)前幀目標(biāo)的搜索跟蹤結(jié)果，并計(jì)算跟蹤得到的目標(biāo)Hash值與目標(biāo)模板Hash值的相似度；再次，使用前景判別PBAS算法作為匹配跟蹤算法，獲取當(dāng)前幀目標(biāo)的匹配跟蹤結(jié)果，并計(jì)算跟蹤得到的目標(biāo)Hash值與目標(biāo)模板Hash值的相似度；然后，將匹配跟蹤結(jié)果和搜索跟蹤結(jié)果進(jìn)行比較，取其與目標(biāo)模板相似度更高者為當(dāng)前幀目標(biāo)位置；最后，計(jì)算包含匹配跟蹤與搜索跟蹤結(jié)果最小矩形框的重疊率，并結(jié)合跟蹤得到的目標(biāo)與目標(biāo)模板的相似度，根據(jù)閾值判斷條件更新目標(biāo)模板。下面給出在線目標(biāo)跟蹤算法:

1)讀入視頻幀序列，在初始幀手動(dòng)選擇目標(biāo)跟蹤區(qū)域robj(x0,y0,w0,h0)，令frame=1。

2)在新的一幀中，以上次目標(biāo)中心(xi,yi)為起點(diǎn)，進(jìn)行如下循環(huán)：

①以(xi,yi)為圓心、半徑為2作圓，分別計(jì)算以圓內(nèi)13個(gè)搜索點(diǎn)為中心的目標(biāo)的Hash值，并使用漢明距離計(jì)算其與目標(biāo)模板的哈希距離search1,search2, …,search13；

②若min(search1,search2, …,search13)對(duì)應(yīng)的搜索點(diǎn)屬于ICSP，則將此搜索點(diǎn)作為當(dāng)前幀搜索跟蹤得到的目標(biāo)的中心，break；

③若min(search1,search2, …,search13)對(duì)應(yīng)的搜索點(diǎn)屬于CRSP，則將此搜索點(diǎn)作為新圓形搜索的圓心，返回①。

3)對(duì)當(dāng)前幀使用PBAS前景提取算法，得到包含前景的最小矩形框的集合fg1,fg2,…,fgk，計(jì)算這k個(gè)前景的Hash值，并使用漢明距離計(jì)算其與目標(biāo)模板的哈希距離match1,match2,…,matchk，取min(match1,match2,…,matchk)對(duì)應(yīng)的前景為當(dāng)前幀匹配跟蹤得到的結(jié)果。

4)若min(search1,search2, …,search13) ≤min(match1,match2, …,matchk)，則將搜索跟蹤得到的結(jié)果作為當(dāng)前幀的跟蹤結(jié)果; 否則將匹配跟蹤得到的結(jié)果作為當(dāng)前幀的跟蹤結(jié)果。

5)計(jì)算跟蹤結(jié)果與目標(biāo)模板的匹配相似度σframe，這里使用漢明距離表示相似度，漢明距離越小，即圖像的相似度越高。

6)根據(jù)式(8)計(jì)算當(dāng)前幀搜索跟蹤結(jié)果Rsearch與匹配跟蹤結(jié)果Rmatch的重疊率：

(8)

7)若(δ>Tδ)∩(σframe

8)frame++，若frame≤N(N為總幀數(shù))，返回2)；否則跟蹤結(jié)束。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證新算法的效果，本文使用了標(biāo)準(zhǔn)攝像機(jī)拍攝的Walker視頻和目標(biāo)跟蹤視頻庫Visual Tracker Benchmark[20]中的4個(gè)具有代表性的測(cè)試視頻序列進(jìn)行實(shí)驗(yàn)，并與MeanShift 算法在運(yùn)行精度、準(zhǔn)確率和實(shí)時(shí)性等3個(gè)方面進(jìn)行了比較。同時(shí)，由于兩個(gè)算法對(duì)目標(biāo)跟蹤過程中都存在隨機(jī)的因素，為了提高實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確性，在提取每組實(shí)驗(yàn)數(shù)據(jù)時(shí)分別對(duì)兩個(gè)算法進(jìn)行了5次實(shí)驗(yàn)，取5次實(shí)驗(yàn)結(jié)果的平均值作為該組最終的實(shí)驗(yàn)數(shù)據(jù)結(jié)果。本實(shí)驗(yàn)的計(jì)算機(jī)配置為: Intel Core i5- 4590 3.30 GHz處理器，8 GB內(nèi)存，實(shí)驗(yàn)平臺(tái)為Visual Studio 2012。

表1分別列出了兩個(gè)算法在精度、準(zhǔn)確率和實(shí)時(shí)性的對(duì)比結(jié)果。兩個(gè)算法精度的對(duì)比，即對(duì)比兩個(gè)算法實(shí)驗(yàn)結(jié)果中跟蹤得到的目標(biāo)位置與實(shí)際目標(biāo)位置的誤差，誤差單位為像素點(diǎn)(pixel)，計(jì)算所有幀的跟蹤誤差，取其平均值作為最終的精度對(duì)比結(jié)果；當(dāng)該幀目標(biāo)的跟蹤位置與實(shí)際位置的跟蹤誤差超過20像素，則認(rèn)為該幀跟蹤錯(cuò)誤，計(jì)算每個(gè)視頻幀序列中非跟蹤錯(cuò)誤的幀數(shù)占總幀數(shù)的比例，作為兩個(gè)算法準(zhǔn)確率的對(duì)比結(jié)果；兩個(gè)算法的實(shí)時(shí)性對(duì)比用每幀所需的處理時(shí)間(單位s·frame-1) 來表示。

表1 兩個(gè)算法實(shí)驗(yàn)結(jié)果對(duì)比Tab. 1 Experimental results comparison of two algorithms

David視頻(320×240)目標(biāo)在移動(dòng)的過程中，發(fā)生了明顯的形變和光照變化。從圖8(a)中可以看出本文跟蹤算法表現(xiàn)出色，跟蹤誤差較小，在目標(biāo)受到干擾(如178幀左右目標(biāo)戴眼鏡動(dòng)作)時(shí)能夠保持持續(xù)跟蹤，在目標(biāo)光照強(qiáng)度變化之下(188幀左右)也能保持穩(wěn)定的跟蹤;而MeanShift跟蹤算法在跟蹤過程中發(fā)生了明顯的偏移，跟蹤效果較差，如圖8(b)所示。

圖8 兩個(gè)算法跟蹤David的部分結(jié)果Fig. 8 Partial results of tracking David by two algorithms

在BlurCar2視頻(640×480)中，由于是在行車過程中拍攝，視頻中的目標(biāo)不間斷地發(fā)生劇烈抖動(dòng)(如142幀所示)，抖動(dòng)造成了視頻幀模糊，使得算法容易跟丟目標(biāo)。如圖9(a)所示，可見本文算法在目標(biāo)發(fā)生抖動(dòng)的過程中仍能跟蹤目標(biāo)；而MeanShift跟蹤結(jié)果發(fā)生嚴(yán)重偏移，導(dǎo)致跟蹤失敗，如 圖9(b)所示。

圖9 兩個(gè)算法跟蹤BlurCar2的部分結(jié)果Fig. 9 Partial results of tracking BlurCar2 by two algorithms

在Couple視頻(320×240中，目標(biāo)的背景比較復(fù)雜，移動(dòng)的過程中有車輛駛過目標(biāo)，同時(shí)目標(biāo)在移動(dòng)的過程中發(fā)生了形變和尺度變化，兩個(gè)跟蹤算法均能跟蹤到目標(biāo)，但本文算法跟蹤結(jié)果偏移量更小，如圖10所示。

圖10 兩個(gè)算法跟蹤C(jī)ouple的部分結(jié)果Fig. 10 Partial results of tracking Couple by two algorithm

Girl視頻(128 Pixel×96 Pixel)中，視頻的分辨率較低，且目標(biāo)在移動(dòng)的過程中發(fā)生了旋轉(zhuǎn)、遮擋和尺度變化等，對(duì)目標(biāo)的跟蹤產(chǎn)生較大的影響。如圖11(a)所示，本文跟蹤結(jié)果較為穩(wěn)定，只發(fā)生輕微偏移；但MeanShift算法在跟蹤過程中發(fā)生了較明顯的偏移，如圖11(b)所示。

圖11 兩個(gè)算法跟蹤Girl的部分結(jié)果Fig. 11 Partial results of tracking Girl by two algorithms

為了對(duì)比兩種算法的實(shí)際跟蹤效果，不僅使用了上述4個(gè)目標(biāo)跟蹤視頻庫中的測(cè)試視頻，還使用了標(biāo)準(zhǔn)攝像機(jī)拍攝的視頻進(jìn)行實(shí)驗(yàn)。如圖12中的Walker(320×240)視頻中，目標(biāo)與背景較為相近，且目標(biāo)的尺度較小，不利于對(duì)目標(biāo)進(jìn)行特征描述，并在行走的過程中目標(biāo)發(fā)生了形變，在視頻后半部分出現(xiàn)了類似的行人，容易導(dǎo)致目標(biāo)跟蹤錯(cuò)誤。通過實(shí)驗(yàn)表明，本文算法仍能準(zhǔn)確跟蹤目標(biāo)，而MeanShift算法發(fā)生了輕微偏移，跟蹤結(jié)果如圖12所示。

5 結(jié)語

為了能在目標(biāo)在發(fā)生遮擋、形變、旋轉(zhuǎn)和光照等變化時(shí)仍能保持準(zhǔn)確的跟蹤，本文提出了一種融合前景判別和CS的目標(biāo)跟蹤算法。該算法通過搜索策略與跟蹤策略的結(jié)合，并利用圖像感知哈希技術(shù)表達(dá)目標(biāo)，使其能夠有效解決以上問題。其中，圖像感知哈希技術(shù)的引入使算法具有了較好的實(shí)時(shí)性，前景判別PBAS算法通過全局搜索提高了跟蹤的魯棒性，CS算法能夠快速地定位到局部最優(yōu)，并有效進(jìn)行實(shí)時(shí)跟蹤。實(shí)驗(yàn)結(jié)果表明，本文算法在應(yīng)對(duì)目標(biāo)發(fā)生遮擋、形變、旋轉(zhuǎn)和光照等變化下仍能保持準(zhǔn)確跟蹤，且在精度、準(zhǔn)確率和實(shí)時(shí)性上都優(yōu)于MeanShift算法。但當(dāng)目標(biāo)在動(dòng)態(tài)的背景下發(fā)生快速移動(dòng)時(shí)，會(huì)丟失目標(biāo)。在未來的工作中，將針對(duì)快速移動(dòng)的目標(biāo)跟蹤作進(jìn)一步的研究。

圖12 兩個(gè)算法跟蹤Walker的部分結(jié)果Fig. 12 Partial results of tracking Walker by two algorithms

References)

[1] 陳晨樹,張駿,謝昭,等. 隨機(jī)場(chǎng)中運(yùn)動(dòng)一致性的多線索目標(biāo)跟蹤[J]. 中國圖象圖形學(xué)報(bào), 2015, 20(1): 59-71.(CHEN C S, ZHANG J, XIE Z, et al. Multi-cues object tracking based on motion consistence in random field[J]. Journal of Image & Graphics, 2015, 20(1): 59-71.)

[2] YILMAZ A, JAVED O, SHAH M. Object tracking: a survey[J]. ACM Computing Surveys, 2006, 38(4):81-93.

[3] HARE S, SAFFARI A, TORR P H S. Struck: structured output tracking with kernels[C]// Proceedings of the 2011 International Conference on Computer Vision. Washington, DC: IEEE Computer Society, 2011:263-270.

[4] DANELLJAN M, HAGER G, KHAN F S, et al. Accurate scale estimation for robust visual tracking[EB/OL].[2016- 11- 20]. http://www.diva-portal.org/smash/get/diva2:785778/FULLTEXT01.pdf.

[5] HENRIQUES J F, RUI C, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 37(3):583-596.

[6] ZHANG J, MA S, SCLAROFF S. MEEM: robust tracking via multiple experts using entropy minimization[C]// Proceedings of the 13th European Conference on Computer Vision. Berlin: Springer, 2014:188-203.

[7] TIAN M, ZHANG W, LIU F. On-line ensemble SVM for robust object tracking[C]// Proceedings of the 8th Asian Conference on Computer Vision. Berlin: Springer-Verlag, 2007:355-364.

[8] RIFKIN R, YEO G, POGGIO T. Regularized least-squares classification[EB/OL].[2016- 11- 20].http://yeolab.github.io/papers/2003/10.1.1.7.3463.pdf.

[9] COMANICIU D, RAMESH V, MEER P. Real-time tracking of non-rigid objects using mean shift[C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2000: 2142.

[10] COMANICIU D, RAMESH V, MEER P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2003, 25(5):564-575.

[11] 白蕾. 基于meanshift的目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 電子測(cè)量技術(shù), 2016, 39(4):1-3.(BAI L. Design and realization of the tracking system based on meanshift algorithm[J]. Electronic Measurement Technology, 2016, 39(4):1-3.)

[12] DANELLJAN M, HAGER G, KHAN F S, et al. Adaptive decontamination of the training set: a unified formulation for discriminative visual tracking[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016:1430-1438.

[13] AHMED N, NATARAJAN T, RAO K R. Discrete cosine transform[J]. IEEE Transactions on Computers, 1974, c-23(1):90-93.

[14] 劉兆慶. 圖像感知哈希若干關(guān)鍵技術(shù)研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2013.(LIU Z Q. Research on key techniques of image[D]. Harbin: Harbin Institute of Technology, 2013.)

[15] 牛夏牧, 焦玉華. 感知哈希綜述[J]. 電子學(xué)報(bào), 2008, 36(7):1405-1411. (NIU X M, JIAO Y H. An overview of perceptual hashing[J]. Acta Electronica Sinica, 2008, 36(7):1405-1411.)

[16] 朱雪龍.應(yīng)用信息論基礎(chǔ)[M]. 北京: 清華大學(xué)出版社, 2001: 173-183. (ZHU X L. Fundamentals of Applied Information Theory[M]. Beijing: Tsinghua University Press, 2001: 173-183.)

[17] HOFMANN M, TIEFENBACHER P, RIGOLL G. Background segmentation with feedback: the pixel-based adaptive segmenter[C]// Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2012: 38-43.

[18] WANG H, SUTER D. Background subtraction based on a robust consensus method[C]// Proceedings of the 18th International Conference on Pattern Recognition. Washington, DC: IEEE Computer Society, 2006:223-226.

[19] BAMICH O, VAN DROOGENBROECK M. ViBE: a powerful random technique to estimate the background in video sequences[C]// Proceedings of the 2009 IEEE International Conference on Acoustics, Speech and Signal Processing. Washington, DC: IEEE Computer Society, 2009:945-948.

[20] WU Y, LIM J, YANG M H. Online object tracking: a benchmark[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2013:2411-2418.

This work is partially supported by the National Natural Science Foundation of China (61070062, 61502103), the Industry-University Cooperation Major Project in Fujian Province (2015H6007), the Program for New Century Excellent Talents in Universities of Fujian Province (JAI1038), the K-Class Foundation Project of Science and Technology Department of Fujian Province (2011007), the A-Class Foundation Project of Education Department of Fujian Province (JA10064), the Science and Technology Program of Fuzhou (2014-G- 76).

LINLingpeng, born in 1993, M. S. candidate. His research interests include machine learning, video target tracking.

HUANGTianqiang, born in 1971, Ph. D., professor. His research interests include machine learning, data mining, multimedia tampering detection.

LINJing, born in 1992, M. S. candidate. Her research interests include data mining, video tampering detection.

Objecttrackingbasedonforegrounddiscriminationandcirclesearch

LIN Lingpeng1,2, HUANG Tianqiang1,2*, LIN Jing3

(1.FacultyofSoftware,FujianNormalUniversity,FuzhouFujian350007,China;2.FujianEngineeringResearchCenterofPublicServiceBigDataMiningandApplication,FuzhouFujian350007,China;3.SchoolofMathematicsandComputerScience,FujianNormalUniversity,FuzhouFujian350007,China)

Aiming at the problems of low accuracy and even object lost in moving object tracking under occlusion, deformation, rotation, and illumination changes and poor real-time performance of the traditional tracking algorithm, a target tracking algorithm based on foreground discrimination and Circle Search (CS) was proposed. The image perceptual hashing technique was used to describe and match tracked object, and the tracking process was based on the combination of the above was tracking strategies, which could effectively solve the above problems. Firstly, because the direction of motion uncertain and the inter-frame motion was slow, CS algorithm was used to search the local best matching position (around the tracked object) in the current frame. Then, the foreground discrimination PBAS (Pixel-Based Adaptive Segmenter) algorithm was adopted to search for the global optimal object foreground in the current frame. Finally, the one with higher similarity with the object template was selected as the tracking result, and whether to update the target template was determined according to the matching threshold. The experimental results show that the proposed algorithm is better than the MeanShift algorithm in precision, accuracy, and has a better tracking advantage when the target is not moving fast.

object tracking; Circle Search (CS) algorithm; foreground discrimination; perceptual hashing; tracking strategy

2017- 05- 16;

2017- 06- 01。

國家自然科學(xué)基金資助項(xiàng)目(61070062,61502103);福建省高校產(chǎn)學(xué)合作科技重大項(xiàng)目(2015H6007);福建省高等學(xué)校新世紀(jì)優(yōu)秀人才支持計(jì)劃項(xiàng)目(JAI1038);福建省科學(xué)廳K類基金資助項(xiàng)目(2011007);福建省教育廳A類基金資助項(xiàng)目(JA10064);福州市科技計(jì)劃項(xiàng)目(2014-G- 76)。

林玲鵬(1993—)，男，福建莆田人，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)、視頻目標(biāo)跟蹤； 黃添強(qiáng)(1971—)，男，福建莆田人，教授，博士，主要研究方向：機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、多媒體篡改檢測(cè)； 林晶( 1992—)，女，福建莆田人，碩士研究生，主要研究方向: 數(shù)據(jù)挖掘、視頻篡改檢測(cè)。

1001- 9081(2017)11- 3128- 06

10.11772/j.issn.1001- 9081.2017.11.3128

(*通信作者電子郵箱fjnu510@163.com)

TP391.41

A