楊 嬌, 陳 強(qiáng), 周 玲, 孫海靜

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院,上海 201600)

0 引 言

視覺跟蹤是指識別、定位、跟蹤一個(gè)或多個(gè)運(yùn)動的物體,在很多領(lǐng)域被廣泛使用,如環(huán)境監(jiān)測分析、智能人機(jī)交互、運(yùn)動分析等[1]。視覺跟蹤根據(jù)跟蹤時(shí)間可分為兩類,即短期視覺跟蹤和長期視覺跟蹤,短期的視覺追蹤,檢測物體的外形不會發(fā)生很大變化,照明條件也不會發(fā)生太大的變化,大部分的視覺跟蹤算法屬于短期跟蹤,技術(shù)相對成熟。長期的視覺追蹤,面臨很多問題,主要是能夠檢測出重新出現(xiàn)在視頻里的運(yùn)動物體,良好的長期視覺跟蹤方法應(yīng)該能夠有效處理尺度變化、光照變化、復(fù)雜背景、局部遮擋等因素的影響。

實(shí)現(xiàn)有效的長期跟蹤,跟蹤和檢測兩個(gè)環(huán)節(jié)要聯(lián)動,不可獨(dú)立完成任務(wù)。Phadke G等人提出了利用Mean—局部二值模式(local binary pattern,LBP)結(jié)合改進(jìn)的模糊C—均值(fuzzy C-means,MFCM)聚類算法,得到圖像的顏色紋理直方圖,再通過Mean-Shift完成目標(biāo)的追蹤[2]。Yang Y X等人提出了灰度級別的LBP算法,考慮到像素點(diǎn)本身而不是與鄰域像素點(diǎn)之間的差異,對于提取低分辨率場景,或者與背景相似的目標(biāo)的紋理特征有更好的魯棒性[3]。同時(shí),對跟蹤—學(xué)習(xí)—檢測(tracking-learning-detection,TLD)算法也提出了很多的改進(jìn)措施。通過將Kalman濾波器應(yīng)用于神經(jīng)網(wǎng)絡(luò),預(yù)測運(yùn)動物體的位置,減小圖像中的搜索區(qū)域。采用Kalman濾波器預(yù)測目標(biāo)所在區(qū)域,提升算法性能[4,5]。利用視覺背景提取的前景分類算法,加快目標(biāo)檢測速度,用核相關(guān)濾波器實(shí)現(xiàn)TLD框架中的跟蹤器,提升算法的跟蹤精度[6]。將TLD的光流法跟蹤器替換為Mean-Shift算法,提高了效率[7]。通過提取特征點(diǎn),提高跟蹤效果[8]。將TLD算法結(jié)合時(shí)空上下文跟蹤算法,更好應(yīng)對復(fù)雜情況下的目標(biāo)跟蹤[9]。以上這些研究成果中提出的跟蹤算法,實(shí)現(xiàn)效果比傳統(tǒng)的TLD算法雖然有了很大改進(jìn),但實(shí)驗(yàn)表明：對于長距離的目標(biāo)追蹤,若光照條件發(fā)生變化,跟蹤效果不是很好。

為了增強(qiáng)TLD對光照變化條件的魯棒性,本文嘗試將LBP與TLD 相融合,LBP算法具有灰度不變性和旋轉(zhuǎn)不變性等優(yōu)點(diǎn),適合提取圖片的紋理檢測特征。通過融合LBP算法與TLD的最近鄰分類器,跟蹤結(jié)果有較大改善。并且對于遮擋問題,采用了Kalman濾波器,預(yù)測目標(biāo)可能出現(xiàn)的區(qū)域,提高算法的效率。

1 TLD跟蹤算法

TLD算法是一種單目標(biāo)長時(shí)間跟蹤算法,融合了傳統(tǒng)的目標(biāo)檢測算法以及目標(biāo)跟蹤算法,并在此基礎(chǔ)上增加了改進(jìn)的在線學(xué)習(xí)機(jī)制,解決了目標(biāo)在被跟蹤過程中出現(xiàn)丟失,部分遮擋問題。TLD算法分3個(gè)部分：跟蹤(tracking)模塊,學(xué)習(xí)(learning)模塊,檢測(detection)模塊，如圖1。

圖1 TLD跟蹤模型

其中,跟蹤模塊是在中值流跟蹤算法的基礎(chǔ)上增加了跟蹤失敗檢測算法。在上一幀的目標(biāo)框中選取若干點(diǎn)作為特征點(diǎn),在下一幀中尋找特征點(diǎn)在當(dāng)前幀對應(yīng)的位置,比較所有特征點(diǎn)在相鄰兩幀之間的位移變化,得到位移變化的中值作為閾值,位移變化值小于閾值的這些特征點(diǎn)將作為下一幀的特征點(diǎn)。為了應(yīng)對目標(biāo)發(fā)生遮擋時(shí)跟蹤失敗,可定義位移的殘差值為|變化值—中值|,若殘差值大于設(shè)定的像素值,則跟蹤失敗不會返回目標(biāo)框。

檢測模塊由方差分類器,集成分類器和最近鄰分類器組成,每個(gè)可能出現(xiàn)待檢測目標(biāo)的區(qū)域都會依次通過三個(gè)分類器,只有通過這三個(gè)分類器,才能被認(rèn)定為被檢測的目標(biāo)。

學(xué)習(xí)模塊采用P-N學(xué)習(xí)算法,根據(jù)跟蹤檢測過程得到的結(jié)果,將圖像分成正負(fù)樣本,即目標(biāo)和背景。學(xué)習(xí)模塊不斷對檢測模塊進(jìn)行評估,獲取誤差并實(shí)時(shí)更新修正檢測器。其中，P專家識別錯(cuò)分為正樣本的負(fù)樣本,N專家識別錯(cuò)分為負(fù)樣本的正樣本,兩者彼此獨(dú)立,相互補(bǔ)償。

2 TLD的改進(jìn)算法

TLD算法在目標(biāo)追蹤過程中存在很大的弊端就是對光照的改變十分敏感,當(dāng)目標(biāo)出現(xiàn)遮擋時(shí)易造成跟蹤目標(biāo)丟失。因此本文對TLD目標(biāo)跟蹤算法加以改進(jìn),在檢測模塊中,前兩個(gè)分類器是基于圖像的灰度特征,第三個(gè)分類器結(jié)合圖像的LBP特征,LBP算法具有灰度不變性,能夠降低光照對于圖像跟蹤的影響。當(dāng)目標(biāo)有很好的紋理特征時(shí),結(jié)合LBP算法的TLD方法比原有的TLD能有更好的跟蹤效果；反之,當(dāng)紋理特征不是很好時(shí),采用原始的TLD方法進(jìn)行跟蹤。所以在檢測器工作之前,首先要計(jì)算目標(biāo)的LBP特征,得到每個(gè)區(qū)域的直方圖,并將直方圖進(jìn)行歸一化處理,計(jì)算直方圖的方差,如若方差小于設(shè)定的閾值,則采用LBP與TLD相結(jié)合的方式對目標(biāo)進(jìn)行跟蹤.不僅減少了光照對于目標(biāo)跟蹤造成的影響,也加快了檢測模塊的初始化速度。在跟蹤模塊結(jié)合Kalman濾波器,預(yù)測目標(biāo)可能出現(xiàn)的區(qū)域,減小圖像中的搜索區(qū)域,降低了目標(biāo)遮擋導(dǎo)致跟蹤失敗的概率。改進(jìn)后的方法流程圖如圖2所示。

圖2 改進(jìn)的TLD算法流程

2.1 LBP特征部分提取

LBP特征即局部二值模式,被用來描述圖像的紋理特征,在灰度不變性和旋轉(zhuǎn)不變性上有很大的優(yōu)勢,對光照具有很強(qiáng)的魯棒性。如圖3所示,構(gòu)造一個(gè)3×3的模板,以中心像素的灰度值為閾值,分別與領(lǐng)域像素進(jìn)行比較,大于閾值的記為1,小于閾值的記為0,因此對于圖像的每個(gè)像素進(jìn)行處理,得到的就是原圖像的LBP圖像。

圖3 LBP算子示意

為了能夠提取不同尺寸的圖像的紋理特征,并且達(dá)到灰度和旋轉(zhuǎn)不變性的要求,提出了用圓形區(qū)域代替固定的正方形區(qū)域,使得更多的像素點(diǎn)出現(xiàn)在鄰域內(nèi),其中，P表示樣本的數(shù)量,R表示圓的半徑。對于半徑為R的圓的中心點(diǎn)為(xc,yc),點(diǎn)為其鄰域點(diǎn)(xp,yp),則(xp,yp)可表示為

xp=xc+Rcos(2πp/P),yp=yc-Rsin(2πp/P)

(1)

區(qū)分鄰域比中心亮度大小,計(jì)算公式

(2)

經(jīng)過LBP提取特征后的圖像,與原圖像相比更能清晰地體現(xiàn)出圖像的紋理特征,同時(shí)避免了部分不必要的特征,降低了特征點(diǎn)維數(shù),對于光照改變有很強(qiáng)的魯棒性。

2.2 Kalman濾波區(qū)域檢測

在實(shí)際的追蹤過程中,相鄰兩幀之間間隔很小,可以將其看為線性的。在TLD追蹤過程中加入Kalman濾波器,將從兩個(gè)方面來改善TLD的準(zhǔn)確度。一方面,根據(jù)TLD初始邊框的值作為Kalman濾波器初始值,通過Kalman濾波器對下一幀進(jìn)行預(yù)測,計(jì)算預(yù)測的邊框值與第三個(gè)最近鄰分類器中目標(biāo)模板的相似程度,可以設(shè)定閾值,當(dāng)相似度大于閾值時(shí),可以使用預(yù)測邊框代替光流法檢測的邊框,反之,則用光流法檢測到的邊框?qū)alman濾波去進(jìn)行糾正,重新初始化。另一方面,由于TLD算法在檢測模塊時(shí),是采用對圖片的全部信息進(jìn)行掃描是否有目標(biāo)出現(xiàn),為了提高算法的運(yùn)行效率,使用Kalman濾波預(yù)測目標(biāo)出現(xiàn)的位置,將此位置作為TLD檢測區(qū)域,縮小了TLD的檢測范圍。Kalman算法引入了2個(gè)重要的方程：1)狀態(tài)方程X(k)=AK(k-1)+BU(k)+W(k);2)觀測方程Z(k)=HX(k)+V(k)。其中，X(k)為k時(shí)刻的系統(tǒng)狀態(tài),U(k)為k時(shí)刻對系統(tǒng)的控制量,A,B,H為系統(tǒng)參數(shù),對于多測量系統(tǒng)來說,A為狀態(tài)轉(zhuǎn)移矩陣,H為觀測矩陣,W(k),V(k)為噪聲,Z(k)為k時(shí)刻的測量值。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)是基于Windows 7系統(tǒng),利用VS2013與OpenCV 2.4.10來完成的。為了驗(yàn)證本文提出來的改進(jìn)算法,選取了2種方式來進(jìn)行驗(yàn)證,第一種采取攝像頭捕捉視頻,設(shè)置好需要跟蹤的目標(biāo),分別進(jìn)行光照環(huán)境改變,目標(biāo)晃動導(dǎo)致模糊,利用外物對目標(biāo)進(jìn)行遮擋3個(gè)實(shí)驗(yàn)。并將跟蹤后的結(jié)果與原始TLD算法跟蹤結(jié)果進(jìn)行對比,如圖4所示。

圖4 方式一實(shí)驗(yàn)效果

另一種方式選取幾段視頻,同樣分別進(jìn)行光照環(huán)境改變,攝像機(jī)晃動導(dǎo)致目標(biāo)模糊,利用外物對目標(biāo)進(jìn)行遮擋3個(gè)實(shí)驗(yàn)。并對結(jié)果進(jìn)行對比記錄，如圖5所示。

圖5 方式二實(shí)驗(yàn)效果

根據(jù)不同場景下TLD與改進(jìn)后的TLD跟蹤結(jié)果對比,明顯可以看出,改進(jìn)后的算法對目標(biāo)跟蹤更加不容易受到外界條件的干擾,完成原有的TLD無法做到的實(shí)時(shí)追蹤。通過不斷地實(shí)驗(yàn),統(tǒng)計(jì)目標(biāo)出現(xiàn)幀數(shù)和捕捉到的目標(biāo)幀數(shù),利用追蹤的準(zhǔn)確率來判斷算法的優(yōu)越性。統(tǒng)計(jì)結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果

在目標(biāo)的追蹤過程,本文使用Kalman濾波器對監(jiān)測區(qū)域進(jìn)行預(yù)測,縮小了檢測時(shí)間,減少了系統(tǒng)的負(fù)擔(dān),提升了算法的效率。統(tǒng)計(jì)了在4個(gè)視頻中,TLD算法與改進(jìn)的TLD算法運(yùn)行時(shí)間,統(tǒng)計(jì)結(jié)果如圖6所示。

圖6 算法運(yùn)行時(shí)間對比

4 結(jié)束語

本文在傳統(tǒng)TLD算法的基礎(chǔ)上融合了LBP特征,提升了算法性能。在TLD的檢測模塊中,最近鄰分類器選擇LBP特征作為基本特征,光照改變的情況下,改進(jìn)后的算法具有很好的追蹤效果。當(dāng)目標(biāo)發(fā)生遮擋而導(dǎo)致丟失,或者運(yùn)動速度過快導(dǎo)致模糊的,則引入Kalman濾波器進(jìn)行跟蹤區(qū)域預(yù)測,提高了TLD算法的檢測效率。實(shí)驗(yàn)結(jié)果證明：本文所提出的改進(jìn)算法跟蹤效果更好,性能優(yōu)于傳統(tǒng)的TLD算法,在光照改變或者遮擋使圖像模糊情況下的處理能力也優(yōu)于部分改進(jìn)算法,使得對目標(biāo)的跟蹤更加精確,并對光照強(qiáng)度的改變、遮擋、目標(biāo)模糊有更好的魯棒性。