邱曉榮+彭力+劉全勝

摘 要： 針對(duì)由遮擋、光照、形變等干擾產(chǎn)生的漂移問題，提出基于超像素和BoF的運(yùn)動(dòng)目標(biāo)跟蹤算法。此算法首先利用SLIC方法對(duì)運(yùn)動(dòng)目標(biāo)的觀測(cè)區(qū)域進(jìn)行超像素分割，然后基于超像素構(gòu)造中層視覺線索的超像素字典以及低層像素特征的BoF字典，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)表觀模型的混合建模，最后引入粒子濾波框架和在線字典更新，以適應(yīng)目標(biāo)和背景的變化。實(shí)驗(yàn)結(jié)果表明，該算法能夠很好地應(yīng)對(duì)嚴(yán)重遮擋、非剛性變換、復(fù)雜背景等干擾因素的影響，具有很好的穩(wěn)定性和魯棒性。

關(guān)鍵詞： 目標(biāo)跟蹤； 表觀模型； 中層視覺線索； 超像素； BoF； 粒子濾波框架

中圖分類號(hào)： TN820.4?34； TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）06?0037?04

Abstract： In allusion to the drift problems caused by occlusion， illumination and deformation， a motion target tracking algorithm based on superpixel and BoF is proposed. The SLIC method is adopted to perform superpixel segmentation for observation area of motion target. The superpixel dictionary with mid?level visual cues and BoF dictionary with low?level superpixel characteristic are constructed based on superpixel to realize hybrid modeling for motion target appearance model. Particle filtering framework and online dictionary update are introduced to adapt the variations of targets and background. The experimental results show that the algorithm can tackle the effects of severe occlusion， non?rigid deformation， complex background and other interference factors， and has good stability and robustness.

Keywords： target tracking； appearance model； mid?level visual cue； superpixel； BoF； particle filtering framework

0 引 言

作為機(jī)器視覺領(lǐng)域的研究熱點(diǎn)，運(yùn)動(dòng)目標(biāo)跟蹤融合圖像處理、人工智能、模式識(shí)別等眾多不同領(lǐng)域的相關(guān)基礎(chǔ)知識(shí)，已經(jīng)被廣泛應(yīng)用于智能交通、工業(yè)機(jī)器人、醫(yī)療診斷等領(lǐng)域。Wu等人總結(jié)了近年來眾多學(xué)者提出的31種有效跟蹤算法[1]，用于解決常見的11種干擾問題，例如光照變換、非剛性變換、目標(biāo)遮擋等。

根據(jù)算法中對(duì)運(yùn)動(dòng)目標(biāo)表觀模型相似度的判別方式，運(yùn)動(dòng)目標(biāo)跟蹤算法可以分為生成式算法和判別式算法兩大類。其中，生成式算法是根據(jù)運(yùn)動(dòng)目標(biāo)的全局特征在后續(xù)的場(chǎng)景中搜索最相似的狀態(tài)作為跟蹤結(jié)果。當(dāng)運(yùn)動(dòng)目標(biāo)受干擾因素影響發(fā)生較為劇烈的特征變化時(shí)，算法會(huì)產(chǎn)生較大的漂移問題。經(jīng)典的生成式算法有VTD[2]，L1T[3]等。Bao等人改進(jìn)了L1T方法，使用L1APG方法加速求解稀疏系數(shù)[4]，提高了跟蹤的效率和精度。Cheng等人提出粒子濾波框架下目標(biāo)狀態(tài)的多個(gè)片段和SIFT特征點(diǎn)匹配相結(jié)合的算法[5]，較好地應(yīng)對(duì)了遮擋、光照、尺度等復(fù)雜場(chǎng)景的運(yùn)動(dòng)變化。

判別式算法基于運(yùn)動(dòng)目標(biāo)的局部特征建立表觀模型，把運(yùn)動(dòng)目標(biāo)跟蹤轉(zhuǎn)換成目標(biāo)與背景的二元分類問題。此類算法能夠較好地應(yīng)對(duì)跟蹤過程中遇到的多種復(fù)雜干擾。經(jīng)典的生成式算法有MIL[6]，TLD[7]等。Yang等人提出了BoFT算法[8]，該算法基于傳統(tǒng)的IVT算法，結(jié)合RGB和LBP兩種類型的局部BoF，獲得了良好的跟蹤效果。近年來，綜合上述兩大類算法的互補(bǔ)性，Zhong等人提出了生成式算法和判別式算法相結(jié)合的稀疏跟蹤模型[9]。Yang等人提出了SPT算法[10]，先獲取目標(biāo)與背景區(qū)域中超像素和特征簇的概率分布，然后通過在線字典學(xué)習(xí)和MAP方法推導(dǎo)出最佳的候選運(yùn)動(dòng)目標(biāo)區(qū)域，能夠較好地應(yīng)對(duì)嚴(yán)重遮擋、大幅度非剛性變換等干擾因素的影響。

受上述研究的啟發(fā)，本文提出一種新的運(yùn)動(dòng)目標(biāo)跟蹤算法，該算法在文獻(xiàn)[10] SPT算法的基礎(chǔ)上加入BoF特征包，結(jié)合超像素字典和BoF字典進(jìn)行運(yùn)動(dòng)目標(biāo)跟蹤，克服了SPT算法對(duì)相似背景干擾應(yīng)對(duì)能力較差的缺陷。同文獻(xiàn)[5]提及的算法相比，本算法的BoF字典提取了圖像低層像素對(duì)應(yīng)的超像素，可以充分利用超像素對(duì)光照、速度、形變的不變性，更為魯棒地重構(gòu)受外界干擾的目標(biāo)。實(shí)驗(yàn)結(jié)果表明，本算法構(gòu)建了自適應(yīng)的運(yùn)動(dòng)目標(biāo)表觀模型，提高了多種嚴(yán)重干擾因素影響下相似度的匹配值，降低了目標(biāo)跟蹤結(jié)果漂移的概率，最終提高了算法的魯棒性和有效性。

1 構(gòu)建超像素字典和BoF字典的表觀模型

1.1 超像素字典的構(gòu)建

為了能夠在跟蹤階段快速準(zhǔn)確地找到運(yùn)動(dòng)目標(biāo)，一般選取前5幀待測(cè)圖像作為訓(xùn)練階段的訓(xùn)練圖像，并以此構(gòu)建運(yùn)動(dòng)目標(biāo)表觀模型中的字典信息。超像素字典的構(gòu)建共分為4個(gè)步驟：endprint

1） 以前5幀待測(cè)圖像中的運(yùn)動(dòng)目標(biāo)為中心，構(gòu)建一個(gè)包含運(yùn)動(dòng)目標(biāo)前景和背景的矩形觀測(cè)區(qū)域，該區(qū)域的邊長(zhǎng)為運(yùn)動(dòng)目標(biāo)區(qū)域?qū)蔷€長(zhǎng)度的1.5倍。如圖1a）所示，白色虛線矩形內(nèi)部為觀測(cè)區(qū)域，白色實(shí)線矩形內(nèi)部為運(yùn)動(dòng)目標(biāo)區(qū)域。

2） 運(yùn)用SLIC算法對(duì)各訓(xùn)練幀的觀測(cè)區(qū)域進(jìn)行超像素分割，分割時(shí)設(shè)置超像素個(gè)數(shù)為300、顏色空間相似度為10。結(jié)果如圖1b）所示，并用[sp（n，r）]表示第[n]幀的第[r]個(gè)超像素。

3） 對(duì)訓(xùn)練階段得到的所有超像素進(jìn)行特征提取。由于超像素在通常情況下具有不規(guī)則的形狀，不能簡(jiǎn)單地提取其邊緣特征或紋理特征。因此，本文選用的是歸一化后的HIS顏色直方圖，并用[frn]表示第[n]幀第[r]個(gè)超像素的特征向量，如圖1c）所示。

4） 使用K?Means算法對(duì)前[n]幀獲取的所有超像素特征向量進(jìn)行聚類，聚類所得的結(jié)果就是超像素字典Dsp。該字典中的第[i]個(gè)聚類包含3部分信息：聚類的前景背景置信值[ciclst]，如式（1）所示；聚類中心對(duì)應(yīng)超像素的特征向量[fi]；該聚類中所含超像素特征向量的集合為[frnfrn∈cluster（i）]。

[ciclst=s+（i）s+（i）+s-（i）] （1）

式中：[s+（i）]表示該超像素聚類與前景的重合面積；[s-（i）]表示該超像素聚類與背景的重合面積。[ciclst]的取值范圍是[0，1]，某一時(shí)刻[ciclst]越大，表明該超像素聚類是運(yùn)動(dòng)跟蹤目標(biāo)的可能性更大。如圖1d）所示，當(dāng)某超像素聚類中所有超像素都位于目標(biāo)區(qū)域時(shí)，其置信值為1；當(dāng)某超像素聚類中的所有超像素都在目標(biāo)區(qū)域外的觀測(cè)區(qū)域中時(shí)，其置信值為0。

1.2 BoF字典的構(gòu)建

為了更好地提高運(yùn)動(dòng)目標(biāo)跟蹤算法的精度和魯棒性，本文在超像素字典的基礎(chǔ)上進(jìn)一步引入了BoF字典。該BoF字典只基于運(yùn)動(dòng)目標(biāo)的前景，整個(gè)過程為：

1） 如圖2a）所示，先運(yùn)用SLIC算法對(duì)前5幀圖像中的運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行超像素分割。再使用傳統(tǒng)的規(guī)則網(wǎng)格分割方法將待測(cè)圖像分割為尺寸大小完全相同的矩形塊（本文選定為5×5像素）。

2） 以各矩形塊中心點(diǎn)像素為基準(zhǔn)點(diǎn)，獲取該像素所屬超像素的HIS顏色直方圖特征向量[frn]，見圖2b）所示。

3） 使用K?Means算法對(duì)前5幀圖像中所有矩形塊對(duì)應(yīng)超像素的特征向量進(jìn)行聚類，生成BoF字典DBoF，如圖2c）所示。

4） 最后根據(jù)該BoF字典生成訓(xùn)練階段各幀圖像的BoF直方圖，并用[bn]表示第[n]幀圖像的BoF直方圖特征向量，如圖2d）所示。

2 基于超像素和BoF的運(yùn)動(dòng)目標(biāo)跟蹤

2.1 粒子濾波框架

粒子濾波是一種基于貝葉斯重要性采樣原理的序貫蒙特卡洛方法，在非線性、非高斯分布的目標(biāo)跟蹤系統(tǒng)中，具有較好的魯棒性，一般可以分為預(yù)測(cè)和更新兩個(gè)階段，如下：

[p（XtY1：t-1）=p（XtXt-1）p（Xt-1Y1：t-1）dXt-1] （2）

[p（XtY1：t）∝p（YtXt）p（XtXt-1）p（Xt-1Y1：t-1）dXt-1] （3）

式中：[p（YtXt）]表示目標(biāo)的表觀模型；[p（XtXt-1）]表示目標(biāo)的運(yùn)動(dòng)模型。在粒子濾波框架下，[p（XtY1：t）]可以通過t時(shí)刻N(yùn)個(gè)帶有重要性權(quán)值[ωit]的采樣粒子[Xiti=1，2，…，N]通過MAP方法近似求解。

2.2 相似度度量

粒子濾波框架下，需要度量粒子候選目標(biāo)與表觀模型中字典的相似度，從中選出相似度最大的最優(yōu)粒子作為當(dāng)前幀的跟蹤結(jié)果，相關(guān)過程如下：

1） 新一幀圖像的特征提?。阂陨弦粠\(yùn)動(dòng)目標(biāo)的跟蹤結(jié)果為均值，隨機(jī)生成600個(gè)候選粒子。然后以每個(gè)候選粒子為中心，構(gòu)建包含目標(biāo)區(qū)域的觀測(cè)區(qū)域，經(jīng)超像素分割后，用[fjm]表示候選粒子[m]的第[j]個(gè)超像素的HIS直方圖特征向量，[εjm]表示該超像素包含的像素個(gè)數(shù)。

2） 求解候選粒子[m]與超像素字典的相似度[Ψspm]：先求出候選粒子中第[j]個(gè)超像素與超像素字典中第[i]個(gè)聚類的最大相似度[ωspm（j，i）]，如式（4）所示。[ωspm（j，i）]越大，表明該超像素與聚類[i]的相似度越高。

[argmaxiωspm（j，i）=argmaxiexp-fjm-fi22] （4）

再由[ωspm（j，i）]、對(duì)應(yīng)聚類的前景背景置信值[ci]以及該超像素所含像素?cái)?shù)目[εjm]進(jìn)行加權(quán)求和，最終得到[Ψspm]，如下：

[Ψspm=εjm*ωspm（j，i）*ciclst] （5）

3） 求解候選粒子[m]與BoF字典的相似度[ΨBoFm]：先求出候選粒子[m]的第[j]個(gè)超像素[fjm]與BoF字典中第[i]個(gè)聚類[DiBoF]之間的最大相似度，如下：

[Ijm=argmaxiexp-DiBoF-fjm22] （6）

然后由[Ijm]得到該候選粒子基于超像素BoF字典的特征向量[bm]。再由式（7）求解該候選粒子與各訓(xùn)練幀BoF特征向量[bn]的最大相似值，即得該候選粒子與BoF字典的相似度[ΨBoFm]：

[ΨBoFm=argmaxiexp-bm-bn22] （7）

4） 由[Ψspm]和[ΨBoFm]可以得到候選粒子[m]與運(yùn)動(dòng)目標(biāo)表觀模型的相似度[Ψm]，如式（8）所示，并由此求出相似度最大的最優(yōu)粒子。

[Ψm=μ1Ψspm+μ2ΨBoFms.t. μ1+μ2=1] （8）endprint

2.3 在線字典更新

為了能夠使算法更好地應(yīng)對(duì)遮擋、光照、形變等干擾因素的影響，需要在運(yùn)動(dòng)目標(biāo)跟蹤過程中對(duì)表觀模型中的字典進(jìn)行在線更新。通過更新可以及時(shí)獲取運(yùn)動(dòng)目標(biāo)表觀模型前景和背景的變化，更新得越頻繁，得到的表觀模型越相似，但計(jì)算量會(huì)急劇增大。本算法中，字典的在線更新包括樣本選擇和聚類更新兩個(gè)階段，其中字典樣本集中包含12幀圖像的跟蹤結(jié)果。

樣本選擇階段，需要判定是否存在遮擋。本算法根據(jù)式（5）和式（7）求解最優(yōu)粒子的[Ψsp]和[ΨBoF]，當(dāng)兩者分別低于指定閾值[λsp]和[λBoF]，即判定存在遮擋。當(dāng)不存在遮擋時(shí)，剔除樣本集中第一幀（時(shí)間最早）的相關(guān)信息，并把當(dāng)前幀的相關(guān)信息放在樣本集的末尾。當(dāng)存在遮擋時(shí)，同樣剔除時(shí)間最早一幀的相關(guān)信息，但在樣本集中保留最后3幀的位置不變，將當(dāng)前幀的信息存放到倒數(shù)第4幀的位置。聚類更新階段，本算法每隔12幀（也就是常用幀率的[12）]，通過聚類算法更新一次超像素字典和BoF字典，更新的方式可參考第1.1節(jié)和1.2節(jié)中的相關(guān)內(nèi)容。因此在實(shí)際跟蹤過程中，當(dāng)運(yùn)動(dòng)目標(biāo)被遮擋時(shí)，聚類結(jié)果仍然保留了未遮擋時(shí)運(yùn)動(dòng)目標(biāo)的相關(guān)信息，提高了跟蹤算法的有效性和魯棒性。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法能在復(fù)雜環(huán)境下實(shí)現(xiàn)有效而準(zhǔn)確的跟蹤，本文基于bird2，lemming，woman等復(fù)雜場(chǎng)景的視頻圖像序列，將其與MIL，L1APG，SPT，TLD四種算法做了定量和定性兩方面的對(duì)比分析。相關(guān)視頻序列和算法源碼可參考文獻(xiàn)[1]提供的網(wǎng)址：http：//cvlab.hanyang.ac.kr/tracker_benchmark/index.html。本文相關(guān)實(shí)驗(yàn)都基于Matlab平臺(tái)，遮擋閾值[λsp]和[λBoF]統(tǒng)一設(shè)定為0.8。

3.1 定量分析

本算法使用以下2個(gè)評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行定量分析：

1） 跟蹤成功率：定義如式（9）所示，當(dāng)[P>0.5]時(shí)表明算法跟蹤成功。

[P=area（Rgt?Ral）area（Rgt?Ral）] （9）

式中：[Rgt]表示各視頻序列中原先標(biāo)定好的真實(shí)目標(biāo)區(qū)域；[Ral]表示算法實(shí)時(shí)在線跟蹤后得到的目標(biāo)區(qū)域。表1顯示了5種算法跟蹤成功率的平均值，并用黑色粗體標(biāo)識(shí)了各視頻圖像序列的最優(yōu)算法。

3.2 定性分析

視頻序列的跟蹤結(jié)果比較見圖4。

1） 實(shí)驗(yàn)一：bird2圖像序列中的運(yùn)動(dòng)目標(biāo)主要受到遮擋、非剛性變換、快速移動(dòng)等內(nèi)外部因素的影響。例如，13幀處目標(biāo)被遮擋，58幀處目標(biāo)外觀第一次反轉(zhuǎn)，97幀處發(fā)生第二次反轉(zhuǎn)。本文算法和SPT算法精確跟蹤目標(biāo)，且本文算法的跟蹤精度更高。主要原因是在傳統(tǒng)SPT算法的基礎(chǔ)上結(jié)合了超像素BoF字典，使表觀模型能夠更好地反應(yīng)低層像素所對(duì)應(yīng)的超像素特征信息。

2） 實(shí)驗(yàn)二：lemming圖像序列中的目標(biāo)在運(yùn)動(dòng)過程中主要受到遮擋、快速移動(dòng)、尺度變換等干擾因素的影響。例如，557幀處目標(biāo)部分移出了取景框，896幀處目標(biāo)受到了相似背景的干擾，1 130幀前目標(biāo)經(jīng)歷了多次前后翻轉(zhuǎn)。傳統(tǒng)SPT算法發(fā)生了較大的漂移甚至完全丟失目標(biāo)，在結(jié)合了BoF字典的相關(guān)信息后，使得本文算法精準(zhǔn)地跟蹤到了目標(biāo)。

3） 實(shí)驗(yàn)三：woman圖像序列中的運(yùn)動(dòng)目標(biāo)受到了遮擋、光照變換、尺度變換、運(yùn)動(dòng)模糊等干擾因素的影響。例如，126幀處運(yùn)動(dòng)目標(biāo)的下半部分受到了相似背景的大面積遮擋，MIL，L1APG，TLD算法產(chǎn)生了漂移并丟失了目標(biāo)，513幀處運(yùn)動(dòng)目標(biāo)的頭部受到了相似背景的遮擋，562幀處目標(biāo)發(fā)生了快速的尺度變化。本文算法能夠比SPT算法更快更準(zhǔn)地追蹤到目標(biāo)的變化，其原因主要是基于規(guī)格網(wǎng)格中心點(diǎn)像素對(duì)應(yīng)超像素BoF字典的輔助作用。

4 結(jié) 語

本文提出一種粒子濾波框架和在線字典更新相結(jié)合的運(yùn)動(dòng)目標(biāo)跟蹤算法。該算法將運(yùn)動(dòng)目標(biāo)表觀問題轉(zhuǎn)化為中層視覺線索的超像素字典和低層像素特征的BoF字典的最大相似度匹配，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)表觀模型的混合建模。其優(yōu)點(diǎn)在于當(dāng)目標(biāo)處于重度遮擋、非剛性變換、相似背景等嚴(yán)重干擾因素的影響下，該算法仍能準(zhǔn)確地跟蹤到物體，具有較好的穩(wěn)定性和魯棒性。

參考文獻(xiàn)

[1] WU Y， LIM J， YANG M H. Object tracking benchmark [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 37（9）： 1834?1848.

[2] KWON J， LEE K M. Visual tracking decomposition [C]// Proceedings of IEEE Computer Society Conference on Computer Vision & Pattern Recognition. San Francisco： IEEE Computer Society， 2010： 1269?1276.

[3] MEI X， LING H. Robust visual tracking and vehicle classification via sparse representation [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（11）： 2259?2272.

[4] BAO C， WU Y， LING H， et al. Real time robust L1 tracker using accelerated proximal gradient approach [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Providence： IEEE， 2012： 1830?1837.endprint

[5] CHENG X， LI N， ZHANG S， et al. Robust visual tracking with SIFT features and fragments based on particle swarm optimization [J]. Circuits systems & signal processing， 2014， 33（5）： 1507?1526.

[6] BABENKO B， YANG M H， BELONGIE S. Visual tracking with online multiple instance learning [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Miami： IEEE， 2009： 983?990.

[7] KALAL Z， MIKOLAJCZYK K， MATAS J. Tracking?learning?detection [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 34（7）： 1409?1422.

[8] YANG F， LU H， ZHANG W， et al. Visual tracking via bag of features [J]. IET image processing， 2012， 6（2）： 115?128.

[9] YANG M H， LU H， ZHONG W. Robust object tracking via sparsity?based collaborative model [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Providence： IEEE， 2012： 1838?1845.

[10] YANG F， LU H， YANG M H. Robust superpixel tracking [J]. IEEE transactions on image processing， 2014， 23（4）： 1639?1651.endprint