吉訓(xùn)生，陳 賽，王榮飛

?

局部自適應(yīng)加權(quán)的逆結(jié)構(gòu)稀疏表示跟蹤算法

吉訓(xùn)生，陳 賽，王榮飛

( 江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122 )

傳統(tǒng)的稀疏表示跟蹤算法直接利用較為簡單的灰度特征進(jìn)行稀疏表示系數(shù)計(jì)算，易受遮擋、形變等影響。為此，提出一種局部自適應(yīng)加權(quán)算法來增加受遮擋、形變等影響的候選目標(biāo)與未受遮擋、形變等影響的候選目標(biāo)之間的區(qū)分度。另外，一般稀疏表示算法利用數(shù)量較少的目標(biāo)模板構(gòu)建過完備字典。無法獲得較好的稀疏系數(shù)。提出逆稀疏表示算法，利用包含豐富目標(biāo)特征和背景特征的候選目標(biāo)構(gòu)建過完備字典來重構(gòu)目標(biāo)模板，相同維度的目標(biāo)模板條件下可以獲得更好的稀疏系數(shù)。實(shí)驗(yàn)表明，該算法在目標(biāo)背景差異小或嚴(yán)重遮擋、形變情況下，都能夠較好的跟蹤目標(biāo)。

稀疏表示；自適應(yīng)加權(quán)；過完備字典；候選目標(biāo)

0 引 言

目標(biāo)跟蹤在智能監(jiān)控、人機(jī)交互、機(jī)器人導(dǎo)航、自動(dòng)駕駛和自動(dòng)交通控制等方面具有重要的應(yīng)用價(jià)值。雖然已經(jīng)提出了許多優(yōu)異的跟蹤算法，但是因?yàn)樵肼?、光照、遮擋、快速運(yùn)動(dòng)和突然運(yùn)動(dòng)等干擾因素存在，目標(biāo)跟蹤仍然是一個(gè)具有挑戰(zhàn)性的研究課題。Wu詳述了近年來視覺跟蹤的主要方法[1]。目標(biāo)跟蹤中，外觀模型用于每幀中的目標(biāo)表示和驗(yàn)證目標(biāo)預(yù)測。運(yùn)動(dòng)模型(如Meanshift和粒子濾波[2]等)用于預(yù)測目標(biāo)狀態(tài)。本文重點(diǎn)研究外觀模型，因?yàn)槠涫歉櫵惴ㄖ凶钪匾牟糠帧?/p>

目標(biāo)跟蹤主要包括外觀表示和目標(biāo)預(yù)測兩步，外觀表示可分為全局表示和局部表示。全局表示反應(yīng)的是目標(biāo)外觀全局的統(tǒng)計(jì)特性。如灰度特征、顏色特征、紋理特征等。Bradski等人在HSV顏色空間中使用顏色直方圖來表示目標(biāo)[3]。然而當(dāng)目標(biāo)發(fā)生遮擋和形變時(shí)全局特征變化較大，使跟蹤魯棒性較差。局部表示主要是提取目標(biāo)局部區(qū)域的信息來來表示目標(biāo)外觀信息。如分塊，超像素[4]、梯度方向直方圖特征[5]等。侯躍恩等人對目標(biāo)局部分塊，提高了算法對遮擋抵抗能力[6]，但沒考慮到分塊之間的聯(lián)系，失去目標(biāo)的空間信息。導(dǎo)致在嚴(yán)重遮擋時(shí)跟蹤精度下降。Jia等人利用疊加局部圖像塊構(gòu)建目標(biāo)的結(jié)構(gòu)稀疏表示模型，利用了目標(biāo)空間信息提高對遮擋的抵抗能力[7]。稀疏表示是近年來比較流行的目標(biāo)預(yù)測方法。Mei等人首先將稀疏表示理論應(yīng)用到目標(biāo)跟蹤領(lǐng)域，提出基于-范式最小化的目標(biāo)跟蹤算法[8]，其在目標(biāo)模板和單位模板上重構(gòu)候選目標(biāo)，提高了對遮擋目標(biāo)的魯棒性，但是它也存在速度慢等不足。文獻(xiàn)[9]利用APG(accelerated proximal gradient)方法計(jì)算稀疏表示，提高了稀疏表示過程的計(jì)算速度。Wang等認(rèn)為稀疏表示是一種帶稀疏約束的線性回歸問題。提出一種新的距離函數(shù)來計(jì)算候選目標(biāo)和目標(biāo)模板之間的相似性，提高了跟蹤精度[10]。

本文在粒子濾波框架下提出一種快速、高效局部自適應(yīng)加權(quán)的逆稀疏表示跟蹤算法。這種算法利用視頻的時(shí)間和空間連續(xù)性設(shè)計(jì)了一個(gè)魯棒的局部自適應(yīng)加權(quán)算法，該算法利用Adaboost算法[11]計(jì)算每個(gè)像素的權(quán)值，統(tǒng)計(jì)出局部像素權(quán)值來對局部圖像塊加權(quán)。當(dāng)遮擋、形變導(dǎo)致外觀變化，沒有被遮擋、形變影響的目標(biāo)區(qū)域?qū)毁x予比那些受到遮擋、形變影響的目標(biāo)區(qū)域更大的權(quán)值，增加了外觀變化的候選目標(biāo)與沒有變化候選目標(biāo)之間的區(qū)分度。稀疏表示算法要求構(gòu)建過完備字典重構(gòu)候選目標(biāo)，但目標(biāo)模板數(shù)量較少很難構(gòu)造過完備字典，導(dǎo)致跟蹤精度不高。提出利用候選目標(biāo)構(gòu)建過完備字典，候選目標(biāo)數(shù)量龐大并包含大量目標(biāo)特征和背景特征，比較容易構(gòu)建過完備字典。相同維度的目標(biāo)模板條件下獲得更好的稀疏系數(shù)。

1 粒子濾波算法

粒子濾波算法可以很好地解決復(fù)雜環(huán)境中存在的非線性、非高斯等問題，對目標(biāo)狀態(tài)、觀測模型等分布沒有限制，已廣泛應(yīng)用于目標(biāo)跟蹤中。該算法包括預(yù)測和更新兩個(gè)步驟。

2 局部自適應(yīng)加權(quán)

本文提出一種局部自適應(yīng)加權(quán)算法對圖像塊進(jìn)行自適應(yīng)動(dòng)態(tài)加權(quán)，以此增加受到遮擋、形變等影響的候選目標(biāo)與沒受到遮擋、形變等影響的候選目標(biāo)之間的區(qū)分度，該算法利用的先驗(yàn)知識是視頻信息的空間和時(shí)間的連續(xù)性，主要分為兩步：1) 利用Adaboost算法計(jì)算前一幀跟蹤到的目標(biāo)區(qū)域每個(gè)像素的權(quán)值，得到目標(biāo)區(qū)域的置信圖；2) 根據(jù)置信圖得到局部圖像塊的自適應(yīng)權(quán)值。

為了得到目標(biāo)區(qū)域的置信圖，我們利用Adaboost算法訓(xùn)練一個(gè)強(qiáng)分類器。在訓(xùn)練階段，初始訓(xùn)練樣本在第一幀中手動(dòng)提取，每個(gè)樣本都是一個(gè)三維的特征，由對應(yīng)像素的RGB值組成。所有在手動(dòng)標(biāo)定的目標(biāo)區(qū)域(圖1實(shí)線框)內(nèi)的像素對應(yīng)的特征為正樣本，在目標(biāo)區(qū)域周圍(圖1實(shí)線外點(diǎn)畫線內(nèi))的像素對應(yīng)的特征為負(fù)樣本。負(fù)樣本的數(shù)量是正樣本的三倍。本文中的Adaboost分類器由五個(gè)弱分類器組成，弱分類器為通過權(quán)值線性回歸得到的正負(fù)樣本之間的分類超平面。強(qiáng)分類器。

圖1 由像素的RGB特征組成的訓(xùn)練樣本許多弱分類器組成初始強(qiáng)分類器

圖2 第t幀中，從t-1幀跟蹤結(jié)果中采集測試樣本，利用強(qiáng)分類器計(jì)算置信圖

3 逆結(jié)構(gòu)稀疏表示

在稀疏表示目標(biāo)跟蹤過程中，由于目標(biāo)樣本有限，很難構(gòu)建較完備的稀疏表示模板字典。文獻(xiàn)[7]利用目標(biāo)模板和單位矩陣來構(gòu)建稀疏模板字典，這種方法額外增加了模板字典的維度，計(jì)算量隨之增加。與之相反，本文利用候選目標(biāo)構(gòu)建完備稀疏模板字典，在不增加目標(biāo)模板維度的情況下提高目標(biāo)跟蹤精度。為與傳統(tǒng)稀疏表示區(qū)別開來，稱本文的稀疏表示模型為逆稀疏表示。另外提取目標(biāo)區(qū)域一系列局部圖像塊表示目標(biāo)，增加局部變化對跟蹤的影響。如圖3所示。

在第幀中，首先利用粒子濾波算法在前一幀跟蹤目標(biāo)周圍提取個(gè)候選目標(biāo)。根據(jù)第二節(jié)的算法統(tǒng)計(jì)每個(gè)候選目標(biāo)的權(quán)值得到，將這些權(quán)值排序，排除和目標(biāo)相似度非常低的個(gè)候選目標(biāo)，降低背景信息對跟蹤的影響。在剩余的個(gè)候選目標(biāo)中按照和目標(biāo)模板同樣的方法重疊的采樣個(gè)局部圖像塊，利用這些候選目標(biāo)的局部圖像塊構(gòu)成完備稀疏表示字典。用稀疏表示字典對局部目標(biāo)模板集系數(shù)編碼：

結(jié)構(gòu)稀疏的核心思想是只考慮目標(biāo)模板中局部目標(biāo)塊和候選目標(biāo)中局部目標(biāo)塊對應(yīng)位置之間的稀疏系數(shù)。這樣利用了目標(biāo)區(qū)域局部塊之間的幾何信息，消除顏色和目標(biāo)局部相似，但是幾何位置不正確的干擾信息對跟蹤的仍具有干擾。

圖3 逆稀疏表示過程.目標(biāo)模板由一系列對應(yīng) 正稀疏系數(shù)的候選目標(biāo)重構(gòu)

圖4 a的整體結(jié)構(gòu)。a1~aN是第一個(gè)目標(biāo)模板所有局部圖 像塊的稀疏系數(shù)，橢圓圈中系數(shù)平均化后得到v

4 Adaboost分類器和目標(biāo)模板更新

為了適應(yīng)目標(biāo)的外觀變化，提出了一種更新Adaboost分類器和目標(biāo)模板的方法。與之前構(gòu)造目標(biāo)的外觀模型過程相反，把目標(biāo)模板中的局部圖像塊作為字典去對跟蹤結(jié)果圖像區(qū)域內(nèi)采樣得到的局部圖像塊進(jìn)行編碼，即：

為了更新Adaboost分類器，我們首先要判斷分類器是否需要更新，若，是一個(gè)預(yù)設(shè)的閾值。在當(dāng)前跟蹤目標(biāo)處按照圖1所示方法重新采樣正、負(fù)樣本來訓(xùn)練弱分類器，并替換強(qiáng)分類器中權(quán)值較小的弱分類器。否則，不更新強(qiáng)分類器。

關(guān)于目標(biāo)模板的更新，提出一種局部更新方法使目標(biāo)模板適應(yīng)目標(biāo)的變化。該方法獨(dú)立考慮目標(biāo)模板中各個(gè)局部圖像塊。令，：

5 實(shí)驗(yàn)分析

以Matlab R2011a為開發(fā)工具，為了驗(yàn)證本文所提跟蹤算法的性能，將它與ivt[12]、L1APG[9]、ODFS[13]和ALSA[7]四種跟蹤算法在都存在嚴(yán)重干擾的視頻序列Tiger1序列、Coke 序列、jumping序列、shaking序列進(jìn)行比較。其中，L1APG和ALSA跟蹤算法和本文算法同屬于基于稀疏表示跟蹤算法。本文中，參數(shù)，，，分別設(shè)為0.2，0.95，0.2和0.1。所有采用粒子算法的跟蹤算法中粒子數(shù)都設(shè)定為600。按照文獻(xiàn)[12]中的方法將所有目標(biāo)模板和候選目標(biāo)先仿射到[32，32]空間，疊加8個(gè)像素提取[16，16]目標(biāo)塊來用于下面的計(jì)算。利用SPAMS包[14]計(jì)算式(6)和式(7)。

5.1 定量分析

本文使用兩個(gè)標(biāo)準(zhǔn)來衡量跟蹤的精度，分別為中心點(diǎn)距離誤差和重疊率。其中，中心點(diǎn)距離誤差是和的中心點(diǎn)之間的歐氏距離，重疊率定義為

本文將每種跟蹤算法在視頻序列各幀中的中心點(diǎn)距離誤差和重疊率分別繪制成曲線圖形式，如圖5所示?？梢钥闯鲈诟饕曨l序列中，相比其它幾種跟蹤算法，本文算法具有更低的中心點(diǎn)距離誤差和較高的重疊率。這主要得益于本文提出的局部自適應(yīng)加權(quán)算法賦予目標(biāo)像素較大權(quán)值，賦予受干擾像素小權(quán)值，這樣降低遮擋等干擾對跟蹤的影響，另外利用候選目標(biāo)構(gòu)造過完備字典來提高稀疏表示系數(shù)的精確度，從而提高稀疏表示的判別能力。

圖5 5種跟蹤算法在4個(gè)視頻集上的中心距離誤差(像素)和重疊率

表1中給出了各種跟蹤算法在每個(gè)視頻序列上的平均中心點(diǎn)距離誤差(Center Err [Pixel])、成功率(Success Rate[%])和幀率。可以看出基于稀疏表示的跟蹤算法、L1APG算法、ALSA算法和本文算法在存在遮擋、形變的視頻序列(Tiger1、Coke)上成功率相對較高。說明基于稀疏表示跟蹤算法在處理這方面的干擾具有較強(qiáng)的優(yōu)勢。另外，本文算法在目標(biāo)和背景分辨率較低的Jumping和shaking中也具有較高的成功率，說明本文算法對這方面干擾的抵抗能力也比較強(qiáng)。幀率定義為總幀數(shù)與算法總的運(yùn)行時(shí)間的比值。幀率越大，運(yùn)行時(shí)間越短?？梢钥闯霰疚乃惴ê虯LSA算法的幀率相近，主要是本文算法和ALSA算法實(shí)時(shí)性相近。L1APG算法中目標(biāo)模板包含瑣碎模板，額外增加了目標(biāo)模板的尺寸，從而導(dǎo)致實(shí)時(shí)性較差。IVT和ODFS算法沒有計(jì)算量較大的稀疏表示計(jì)算過程，所以實(shí)時(shí)性較好。

5.2 定性分析

Tiger1序列(圖6(a))中存在不同尺度的遮擋、形變、不同程度的光照和快速運(yùn)動(dòng)等。其中遮擋和形變導(dǎo)致目標(biāo)區(qū)域中部分區(qū)域像素值徹底變化。光照和快速運(yùn)動(dòng)會降低目標(biāo)和背景區(qū)域的分辨率。60幀時(shí)目標(biāo)被完全遮擋，只有ALSA和本文算法成功跟蹤目標(biāo)。主要因?yàn)檫@兩種算法都利用目標(biāo)區(qū)域的局部信息和空間信息，增強(qiáng)了對遮擋目標(biāo)的抵抗能力。之后ODFS又成功找回目標(biāo)。120幀時(shí)目標(biāo)發(fā)生快速運(yùn)動(dòng)，使目標(biāo)變得模糊，降低了其與周圍環(huán)境的差異。ODFS和本文算法成功跟蹤。兩種算法采用的分類算法都利用了目標(biāo)和背景信息，降低了目標(biāo)漂移的概率。225幀處同時(shí)存在強(qiáng)光和快速運(yùn)動(dòng)的影響。只有本文算法跟蹤成功。說明本文算法對多種干擾有較強(qiáng)的抵抗力。

表1 跟蹤算法性能指標(biāo)和幀率

Coke序列(圖6(b))中存在全遮擋、旋轉(zhuǎn)的影響。40幀處大部分的目標(biāo)都被葉子遮擋。L1APG、ALSA和本文算法這三種基于稀疏表示的跟蹤算法都跟蹤成功。得益于稀疏表示算法在處理遮擋方面的優(yōu)勢。88幀時(shí)目標(biāo)發(fā)生旋轉(zhuǎn)。ALSA和本文算法跟蹤成功。主要是因?yàn)閮煞N算法都利用率目標(biāo)的局部信息和空間信息來增強(qiáng)對目標(biāo)內(nèi)部變化的抵抗力。191幀左右，目標(biāo)被全遮擋之前ALSA和本文算法成功跟蹤目標(biāo)，全遮擋發(fā)生之后只有本文算法跟蹤成功。ALSA算法和本文算法都采用局部目標(biāo)塊表示目標(biāo)來降低像素徹底變化類干擾的影響，但本文另外利用局部自適應(yīng)加權(quán)算法來提高對干擾抵抗力。

Jumping序列(圖6(c))中目標(biāo)持續(xù)快速的運(yùn)動(dòng)。整個(gè)過程中只有L1APG跟蹤失敗。主要是其采用新跟蹤到的目標(biāo)整體直接替換目標(biāo)模板集中權(quán)值小的目標(biāo)模板。在目標(biāo)變化較快時(shí)這種方法會使目標(biāo)模板集過度頻繁更新，而且背景信息會被整體的加入到目標(biāo)模板集中。從而導(dǎo)致目標(biāo)模板集漂移。

Shaking序列(圖6(d))中目標(biāo)和背景之間差異較小，而且目標(biāo)發(fā)生劇烈的搖晃，整個(gè)過程只有Ivt算法跟蹤失敗。主要原因是其采用的增量PCA更新目標(biāo)模板算法不能有效更新發(fā)生較大變化的目標(biāo)，而Shaking中目標(biāo)存在劇烈的搖晃使目標(biāo)發(fā)生大尺度的變化。

圖6 5種跟蹤算法在4個(gè)視頻集上的跟蹤結(jié)果

6 總 結(jié)

本文提出的局部自適應(yīng)加權(quán)算法，其通過Adaboost分類算法對目標(biāo)區(qū)域的目標(biāo)像素和受到遮擋等干擾的像素分類，并賦予目標(biāo)像素較大權(quán)值，賦予受干擾像素小權(quán)值，這樣降低遮擋等干擾對跟蹤的影響。另外利用候選目標(biāo)構(gòu)造過完備字典，提高稀疏表示系數(shù)的精確度，從而提高稀疏表示的判別能力。實(shí)驗(yàn)表明，本文提出的跟蹤算法對嚴(yán)重遮擋、形變、光照變化等干擾有較強(qiáng)的抵抗能力。

[1] WU YI，LIM Jongwoo，YANG Ming-Hsuan. Online object tracking：A benchmark [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Portland，USA，June 23-28，2013：2411–2418.

[2] Doucet A，de Freitas N，Gordon N. Sequential Monte Carlo Methods In Practice [M]. New York，Springe，2001.

[3] Bradski G R. Real time face and object tracking as a component of a perceptual user interface [C]// Workshop on Applications of Computer Vision，Princeton，USA，Oct 19-21，1998：214-219.

[4] YANG Fan，LU Huchuan，YANG Ming-Hsuan. Robust superpixel tracking [J]. IEEE Transactions on Image Processing (S1057-7149)，2014，23(4)：1639-1651.

[5] HOANG Vandung，Le Myha，Jo Kanghyun. Hybrid cascade boosting machine using variant scale blocks based HOG features for pedestrian detection [J]. Neurocomputing(S0925-2312)，2014，135(8)：357-366.

[6] 侯躍恩，李偉光，容愛瓊，等. 融合背景信息的分塊稀疏表示跟蹤算法[J]. 華南理工大學(xué)報(bào)(自然科學(xué)版)，2013，41(8)：21-27.

HOU Yue￠en，LI Weiguang，RONG Aiqiong，. Tracking Algorithm of Block Sparse Representation with Background Information [J]. Journal of South China University of Technology(Natural Science Edition)，2013，41(8)：21-27.

[7] JIA Xu，LU Huchuan，YANG Minghsuan. Visual tracking via adaptive structural local sparse appearance model [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，USA，June 16-21，2012：1822–1829.

[8] MEI Xue，LING Haibin. Robust visual tracking using l1 minimization [C]// IEEE International Conference on Computer Vision (ICCV)，Kyoto，Japan，Sept. 29-Oct. 2，2009：1436–1443.

[9] BAO Chenglong，WU Yi，LING Haibin，. Real time robust L1 tracker using accelerated proximal gradient approach [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，USA，June 16-21，2012：1830–1837.

[10] WANG Dong，LU Huchuan，YANG Ming-Hsuan. Least soft-threshold squares tracking [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，Portland，USA，June 23-28，2013：2371-2378.

[11] Freund Yoav，Schapire Robert E. A desicion-theoretic generalization of on-line learning and an application to boosting [M] Computational Learning Theory：Springer Berlin Heidelberg，1995：23-37.

[12] LIM Jongwoo，ROSS David，LIN Ruci-Sung，. Incremental learning for robust visual tracking [J]. International Journal of Computer Vision(S0920-5691)，2008，77(1)：125–141.

[13] ZHANG Kaihua，ZHANG Lei，YANG Ming-Hsuan. Real-time object tracking via online discriminative feature selection [J]. IEEE Transactions on Image Processing(S1057-7149)，2013，22(12)：4664-4677.

[14] WebLink. SPAMS: http://www.di.ens.fr/willow/ SPAMS/downloads.html, 2015, October.

Local Adaptive Weighted Tracking Via Inverse Structure Sparse Representation

JI Xunsheng，CHEN Sai，WANG Rongfei

( School of Internet of Things, Jiangnan University, Wuxi 214122, Jiangsu, China )

Traditional sparse representation tracker use simple grayscale characteristics in calculating sparse coefficient, which is easily affected by the heavy occlusions and deformation. To this end, a local adaptive weighting algorithm is put forward to increase degree of differentiation between the candidate targets affected by shade, deformation, etc and not affected by the shade, deformation, etc. In addition, the general sparse representation algorithm use a small number of target templates to build a complete dictionary, which unable to get a better sparse coefficient. Inverse structure sparse representation algorithm, using the candidate target which contains rich target and background features to build a complete dictionary to reconstruct the target template under the condition of the same dimension target template better sparse coefficient can be obtained, is proposed. Experiments show that the proposed algorithm in the small differences between target and background or serious barrier, deformation, can better track the target.

sparse representation; adaptive weighting; over-complete dictionary; candidate target

1003-501X(2016)12-0085-07

TP391

A

10.3969/j.issn.1003-501X.2016.12.014

2016-02-29；

2016-09-18

國家自然科學(xué)基金資助項(xiàng)目(61170120)

吉訓(xùn)生(1969-)，男(漢族)，江蘇南通人。碩士生導(dǎo)師，副教授，主要研究工作是信號處理。

陳賽(1990-)，男(漢族)，江蘇徐州人。碩士研究生，研究計(jì)算機(jī)視覺跟蹤。E-mail: chenvssai@163.com。