許婉君,侯志強(qiáng),余旺盛,張 浪
目標(biāo)跟蹤是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域研究的熱點(diǎn)課題之一,在各個(gè)領(lǐng)域有著廣泛的應(yīng)用,如導(dǎo)彈防御系統(tǒng)、智能導(dǎo)航、人機(jī)交互等[1-3]?;诙嗵卣魅诤系母櫢墙陙?lái)研究的熱點(diǎn),它考慮目標(biāo)多方面的信息,以使跟蹤更魯棒更穩(wěn)定。
目標(biāo)特征的表示方法對(duì)跟蹤性能有很重要的影響[4],通常采用的特征包括顏色、紋理、邊緣、運(yùn)動(dòng)等[5]。其中顏色特征以其對(duì)目標(biāo)部分遮擋和旋轉(zhuǎn)的魯棒性強(qiáng)以及尺度不變等特性,被廣泛用于目標(biāo)跟蹤[6]。文獻(xiàn)[7]采用經(jīng)典的 Mean Shift算法,利用核函數(shù)加權(quán)的顏色直方圖建立顏色模型,該方法實(shí)現(xiàn)簡(jiǎn)單,但該顏色模型將整個(gè)顏色空間進(jìn)行均勻剖分,弱化了對(duì)目標(biāo)顏色分布的描述能力,且當(dāng)目標(biāo)和背景相似程度較大時(shí)容易造成跟蹤的不穩(wěn)定。如果粗略地表達(dá)目標(biāo)的顏色分布,算法的跟蹤速度會(huì)提高,然而由于無(wú)法準(zhǔn)確地刻畫目標(biāo)的顏色密度,很容易導(dǎo)致跟蹤誤差增大甚至跟蹤失敗。對(duì)此,文獻(xiàn)[8]提出一種改進(jìn)的Mean Shift跟蹤算法,建立一種新的顏色模型,對(duì)目標(biāo)顏色進(jìn)行聚類分析,根據(jù)聚類結(jié)果通過(guò)矩陣分解和正交變換自適應(yīng)地剖分目標(biāo)的顏色空間,從而確定對(duì)應(yīng)于每一個(gè)聚類的子區(qū)間。該顏色模型比經(jīng)典的Mean Shift算法具有更好的性能,但理論推導(dǎo)和計(jì)算復(fù)雜。文獻(xiàn)[9]提出的顏色紋理改進(jìn)算法在跟蹤速度和跟蹤性能上均比顏色直方圖表示法有顯著提高,但在實(shí)現(xiàn)時(shí)丟失了部分顏色信息,損失了一定的描述能力。此外,當(dāng)被跟蹤的目標(biāo)發(fā)生旋轉(zhuǎn)、位姿變化或背景中出現(xiàn)相似顏色干擾時(shí),由于缺少空間信息,僅利用顏色特征對(duì)目標(biāo)跟蹤的效果不佳。文獻(xiàn)[10]提出一種用空間直方圖信息的目標(biāo)跟蹤算法,空間直方圖與傳統(tǒng)的顏色直方圖相比,包含了目標(biāo)的空間信息,能夠更加有效地描述目標(biāo)顏色特征。
對(duì)此,本文提出一種基于自適應(yīng)顏色直方圖的多特征融合目標(biāo)跟蹤算法。采用自適應(yīng)顏色直方圖作為目標(biāo)顏色模型,根據(jù)目標(biāo)顏色分布自適應(yīng)地劃分顏色直方圖區(qū)間。同時(shí),引入空間直方圖作為目標(biāo)跟蹤的第二特征。在粒子濾波框架下采用文獻(xiàn)[11]提出的融合策略實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。實(shí)驗(yàn)結(jié)果表明,算法在目標(biāo)表示和跟蹤性能上均有所提高。
粒子濾波又稱為蒙特卡洛濾波,它通過(guò)非參數(shù)的蒙特卡洛模擬方法來(lái)實(shí)現(xiàn)遞推貝葉斯濾波,它的有效性主要表現(xiàn)在適用于處理非高斯、非線性的濾波問(wèn)題[12]。其基本原理是假設(shè)動(dòng)態(tài)系統(tǒng)可以用以下的狀態(tài)空間模型表示:
式中:xk表示系統(tǒng)狀態(tài)向量;zk表示量測(cè)向量;vk-1、wk為獨(dú)立同分布的系統(tǒng)噪聲和觀測(cè)噪聲。根據(jù)貝葉斯濾波的基本原理,有下面2種情況。
預(yù)測(cè):
更新:
然而,通常狀態(tài)的概率密度函數(shù)(PDF)是未知的,這 時(shí) 需 要 從 一 個(gè) 容 易 采 樣 的 權(quán) 值 q(x0:k/z1:k-1)中獨(dú)立抽取 N 個(gè)樣本{x(i)0:k,i=1,…,N},狀態(tài)的PDF逼近為
然而,由于粒子濾波存在隨機(jī)性,使其對(duì)目標(biāo)定位存在一定的誤差。對(duì)此,文獻(xiàn)[11]根據(jù)粒子分布情況的不同,定義了一種目標(biāo)特征的不確定性度量,以減小這種隨機(jī)性帶來(lái)的誤差,使跟蹤更加準(zhǔn)確。本文算法也用到了這種特征的不確定性度量方法。
在目標(biāo)跟蹤過(guò)程中,每種目標(biāo)特征對(duì)不同場(chǎng)景目標(biāo)位置估計(jì)的準(zhǔn)確度是不一樣的,為了描述每種目標(biāo)特征在目標(biāo)跟蹤過(guò)程中的不確定性,文獻(xiàn)[11]提出一種自適應(yīng)的目標(biāo)特征不確定性度量:
式中:Uik表示k時(shí)刻第i種特征的不確定性;vark是時(shí)刻k所有粒子空間位置的方差,表示粒子空間分布的分散程度。vark=tr(∑),∑表示粒子2個(gè)位置坐標(biāo)的協(xié)方差矩陣,var越大,粒子的空間位置越分散;pi為似然函數(shù),即觀測(cè)概率值,為第i種特征對(duì)應(yīng)的目標(biāo)模板與候選模板的Bhattacharyya系數(shù);H(pit)是時(shí)刻k第i種特征下所有粒子觀測(cè)概率值的熵,表示觀測(cè)概率值在粒子上的分散程度。在信息論中,熵是不確定性的量度[12]:
式中H(pi)值越小,表示目標(biāo)第i種特征對(duì)目標(biāo)位置估計(jì)的準(zhǔn)確度越高。
由(8)式可知,特征的不確定性既包含了粒子的空間位置信息,又表征了似然函數(shù)pi的尖銳程度。k時(shí)刻,粒子分布越集中,vark越小,不確定性越小,反之不確定性越大。而對(duì)似然函數(shù)來(lái)說(shuō),似然函數(shù)的尖銳程度越高,說(shuō)明該特征的鑒別能力越強(qiáng),不確定性越小,反之亦然。
本節(jié)分別給出目標(biāo)顏色特征和空間直方圖特征的的提取方法,以及2種特征目標(biāo)模型與候選模型相似度的計(jì)算方法,并由此給出特征融合策略。
2.1.1 顏色分布模型
針對(duì)傳統(tǒng)顏色直方圖均勻劃分顏色空間造成許多空的直方圖且不能準(zhǔn)確表達(dá)目標(biāo)顏色分布的缺點(diǎn),本文在文獻(xiàn)[8]提出的顏色模型的基礎(chǔ)上,提出一種自適應(yīng)顏色直方圖的方法,即根據(jù)目標(biāo)的顏色分布自適應(yīng)地劃分顏色區(qū)間,以獲取目標(biāo)更準(zhǔn)確的顏色模型。
如圖1所示,m為累積直方圖曲線。y軸表示歸一化的均勻劃分的像素顏色刻度值,范圍為[0,1],x軸表示自適應(yīng)非均勻劃分的顏色值刻度,范圍為[0,255]。這里以4個(gè)區(qū)間的直方圖為例。首先將y軸均勻劃分為4個(gè)區(qū)間[0,A1]、[A1,A2]、[A2,A3]、[A3,A4],然后通過(guò)曲線m 將A1、A2、A3、A4映射到x軸上的B1、B2、B3、B4,得到直方圖劃分對(duì)應(yīng)的刻度。
輸入視頻到計(jì)算機(jī)后,在首幀圖像中利用上述方法確定刻度,即可得到自適應(yīng)非均勻劃分的特征區(qū)間,區(qū)間大小表征了顏色分布的集中程度。在后續(xù)的跟蹤中,根據(jù)確定的直方圖區(qū)間刻度對(duì)目標(biāo)模板進(jìn)行直方圖統(tǒng)計(jì),即可得到自適應(yīng)顏色直方圖。
圖1 一種自適應(yīng)劃分顏色直方圖的方法Fig.1 Adaptive approach for selecting color histogram
如圖2所示,(a)和(b)分別為傳統(tǒng)顏色直方圖和自適應(yīng)顏色直方圖對(duì)三維顏色空間的劃分結(jié)果,x,y,z分別表示三維顏色空間的坐標(biāo)軸。前者將顏色空間均勻劃分,而后者對(duì)顏色分布相對(duì)集中的區(qū)域,劃分較多的“窗格”,即顏色區(qū)間(也就是說(shuō),每個(gè)“窗格”空間相對(duì)較小),以突出該區(qū)域的顏色分布。反之,在顏色分布相對(duì)分散的區(qū)域,劃分較少的“窗格”。
圖2 2種劃分三維顏色空間的方法Fig.2 Two methods for distributing 3D color space
自適應(yīng)顏色直方圖根據(jù)目標(biāo)的顏色分布,對(duì)顏色空間進(jìn)行非均勻劃分,能夠更加準(zhǔn)確地描述目標(biāo)顏色特征,相比空間直方圖具有明顯的優(yōu)勢(shì)。
2.1.2 空間直方圖模型
空間信息在目標(biāo)跟蹤中也起著重要的作用。二階空間直方圖不但計(jì)算了像素顏色特征的頻率,還統(tǒng)計(jì)了直方圖中每個(gè)區(qū)間中所有像素對(duì)應(yīng)坐標(biāo)的均值和協(xié)方差,在目標(biāo)跟蹤中表現(xiàn)了很好的性能[10]。
圖像的二階空間直方圖[10]可表示為
式中:nb是像素值落入第b個(gè)單元的像素總數(shù);μb和∑b分別是這些像素點(diǎn)的坐標(biāo)均值向量和協(xié)方差矩陣;B是單元總個(gè)數(shù)。
對(duì)于目標(biāo)的多特征描述,如果直接將目標(biāo)的多個(gè)特征組合在一起,那么隨著特征空間維數(shù)的增加,運(yùn)算量會(huì)大大增加[12]。因此本文分別建立自適應(yīng)顏色直方圖模型與空間直方圖模型來(lái)描述目標(biāo),以降低特征維數(shù)。
2.2.1 自適應(yīng)顏色直方圖相似性度量
顏色特征對(duì)應(yīng)的目標(biāo)模板與候選模板:
目標(biāo)模板Q={^qu}u=1,…,N
候選模板P={^pu}u=1,…,N
得到候選模板與目標(biāo)模板后,二者之間的相似度可采用Bhattacharyya距離[13]來(lái)描述:
式中ρ越大,表示候選模板與目標(biāo)模板越相似。Bhattacharyya距離:
2.2.2 空間直方圖相似性度量
兩空間直方圖h=<nb,μb,∑b>和h′=<n′b,μ′b,∑′b>的相似度ρ(h,h′)可表示[14]為
式中權(quán)值ψb取自高斯分布(x′b,∑′b),表示空間相似程度[15]:
根據(jù)文獻(xiàn)[11]中提出的融合策略,在假設(shè)n種觀測(cè)特征是條件獨(dú)立的情況下,將每種特征的觀測(cè)概率值加上一個(gè)正比于該特征不確定性的均勻分布,作歸一化處理后,再取乘積,表達(dá)式如下:
若n取2,則有融合規(guī)則:
式中:U1,U2分別表示顏色和空間直方圖特征對(duì)應(yīng)的不確定性;U(x)是一個(gè)離散的均勻分布,設(shè)粒子數(shù)為N,則U(x)=1/N。這里的觀測(cè)概率值即為特征目標(biāo)模板與候選模板之間的相似度。
綜上所述,算法流程如圖3所示,主要步驟如下:
1)初始化。初始時(shí)刻(k=0),手動(dòng)選取目標(biāo),利用自適應(yīng)顏色直方圖得到非均勻劃分的特征區(qū)間,提取目標(biāo)模板顏色特征直方圖q10,同時(shí)提取空間直方圖q20,從先驗(yàn)分布中抽取N 個(gè)初始粒子,權(quán)值均設(shè)為{ωi0}iN=1=1/N;
2)狀態(tài)預(yù)測(cè)。在時(shí)刻k(k>0),根據(jù)狀態(tài)轉(zhuǎn)移模型xk=Axk-1+Nk和粒子xk-1,預(yù)測(cè)粒子xk的狀態(tài);
3)計(jì)算粒子空間位置方差vark和2種特征的概率熵。由目標(biāo)矩形框內(nèi)粒子位置坐標(biāo)計(jì)算vark,由(13)式和(17)式分別計(jì)算2種特征目標(biāo)模板與候選模板之間相似度,即似然函數(shù)p(z1/x),p(z2/x),從而得到2種特征的概率熵H(p11)和 H(p21);
4)計(jì)算特征不確定性。由3)中得到vark和H(p11),H(pt2)根據(jù)(7)式分別計(jì)算顏色特征不確定性U1和U2;
5)狀態(tài)更新由(19)式得到特征融合后似然函數(shù)p(z1,z2/x),再由ωit=ωit-1·p(z1,z2/x)更新當(dāng)前幀粒子權(quán)值,并作歸一化處理;
6)重采樣。根據(jù)融合后粒子權(quán)值分布決定是否重采樣;
7)轉(zhuǎn)回2)進(jìn)行下一幀的跟蹤。
圖3 算法流程圖Fig.3 Flow chart of our tacking algorithm
為了測(cè)試本文算法在動(dòng)態(tài)場(chǎng)景下跟蹤的魯棒性,我們對(duì)大量視頻進(jìn)行實(shí)驗(yàn)測(cè)試,這里選取了其中4組標(biāo)準(zhǔn)測(cè)試視頻序列進(jìn)行實(shí)驗(yàn)結(jié)果展示。實(shí)驗(yàn)中,粒子數(shù)目設(shè)為N=200,均勻分布U(x)=1/N。
為了驗(yàn)證算法對(duì)目標(biāo)描述的有效性,在融合策略一致的條件下采用文獻(xiàn)[11]提出的算法,基于空間直方圖的單一特征跟蹤算法作為對(duì)比。為了驗(yàn)證本文算法在融合策略上的魯棒性,在目標(biāo)描述一致的條件下,采用加性融合、乘性融合算法作為對(duì)比。在跟蹤性能上,采用CT[16]算法作為對(duì)比。圖4是部分跟蹤結(jié)果,每一幀中不同算法的跟蹤結(jié)果分別采用不同顏色的實(shí)線矩形框表示,左上角為幀序號(hào)。
1)David3序列
圖4(a)為David3部分跟蹤結(jié)果。在該序列中,背景變化較大,目標(biāo)經(jīng)歷了部分遮擋,跟蹤結(jié)果顯示本文算法經(jīng)歷遮擋后仍能很好地捕捉到目標(biāo),從圖中第141幀可以看出,文獻(xiàn)[11]介紹的算法及CT算法都出現(xiàn)較大跟蹤誤差,而本文算法對(duì)目標(biāo)背景變化適應(yīng)性最好。
2)Basketball序列
圖4(b)為Basketball部分跟蹤結(jié)果。由于目標(biāo)的局部背景中存在其他相似運(yùn)動(dòng)目標(biāo),使目標(biāo)的顏色特征受到干擾,但由于目標(biāo)的空間直方圖特征能有效地鑒別目標(biāo),融合跟蹤的性能并未受到較大影響。由第616幀可以看出,當(dāng)跟蹤目標(biāo)經(jīng)過(guò)相似運(yùn)動(dòng)目標(biāo)時(shí),本文算法仍能很好地跟蹤目標(biāo)。
3)Bolt序列
圖4(c)為Bolt序列部分跟蹤結(jié)果。就該序列而言,目標(biāo)經(jīng)歷了背景顏色變化,使顏色特征可分性降低,其相應(yīng)權(quán)值減小,而空間直方圖特征權(quán)值增加,從而克服背景干擾的影響。從第254幀可以看出,單一特征跟蹤算法和CT算法跟蹤失效,本文算法跟蹤性能最佳。
4)MountainBike序列
圖4(d)為 MountainBike部分跟蹤結(jié)果。該測(cè)試序列為室外車輛跟蹤視頻,目的是測(cè)試背景與目標(biāo)顏色相近情況下算法的跟蹤性能。由第171幀可以看出,在摩托車飛離車道時(shí),運(yùn)動(dòng)速度突然加快,CT、加性融合算法跟蹤失效,本文算法跟蹤效果最好。
從中心位置誤差和實(shí)時(shí)性2個(gè)方面定量分析本文算法對(duì)于復(fù)雜背景下跟蹤目標(biāo)的魯棒性。
3.2.1 中心位置誤差比較
為了對(duì)跟蹤結(jié)果進(jìn)行定量分析,引入中心位置誤差,該指標(biāo)表示目標(biāo)中心位置與真實(shí)目標(biāo)中心位置之間的誤差,單位為像素,其值越小跟蹤精度越高,反之越低[17]。
圖4 各算法跟蹤結(jié)果比較Fig.4 Results comparison of 5 tracking algorithms
表1 平均中心位置誤差比較 像素Table 1 Comparison of average center location errors
3.2.2 實(shí)時(shí)性
算法實(shí)時(shí)性方面,在未對(duì)算法作任何優(yōu)化的情況下,取200個(gè)粒子,經(jīng)測(cè)試,本文算法在仿真條件下能夠達(dá)到平均11幀/s的運(yùn)行速度。由于基于多特征融合的跟蹤算法需要同時(shí)提取和處理多種特征,故運(yùn)行效率上比基于單一特征的要低。若對(duì)算法進(jìn)行一定的優(yōu)化,跟蹤速度能夠得到進(jìn)一步提升。
本研究在粒子濾波框架內(nèi),采用自適應(yīng)顏色直方圖和空間直方圖具有一定互補(bǔ)性的2個(gè)特征對(duì)目標(biāo)進(jìn)行聯(lián)合概率跟蹤。該方法根據(jù)實(shí)際場(chǎng)景,自動(dòng)調(diào)整特征權(quán)值,有效應(yīng)對(duì)場(chǎng)景變化,避免了單一顏色特征跟蹤穩(wěn)定性較差的問(wèn)題。通過(guò)對(duì)比各算法的平均中心位置誤差可知,本文算法在序列David3,MountainBike,Bolt中分別以大小為7.963像素,13.613像素和11.682像素平均中心位置誤差取得最好的跟蹤精度,而在序列Basketball中平均中心位置誤差為6.967像素,僅次于乘性融合算法的6.599像素。從而,驗(yàn)證了本文方法對(duì)場(chǎng)景及目標(biāo)變化具有良好的適應(yīng)性,能夠?qū)崿F(xiàn)魯棒的目標(biāo)跟蹤。
[1] Wu Yi,Lim J,Yang M H.Online object tracking:a benchmark[C].Washington,D.C.:IEEE,2013:2411-2418.
[2] Yang F,Lu H C,Yang M H.Robust superpixel tracking[J].IEEE Transactions on Image Processing,2014,23(4):1639-1651.
[3] Li Wu,Hou Zhiqiang,Wei Guojian,et al.Algorithm of scale-variant objects tracking based on ellipse log-polar transform [J].Journal of Applied Optics,2014,35(1):65-70.
李武,侯志強(qiáng),魏國(guó)劍,等.基于橢圓對(duì)數(shù)極坐標(biāo)變換的尺度變化目標(biāo)跟蹤算法[J].應(yīng)用光學(xué),2014,35(1):65-70.
[4] Xin Yang,Cheng K T.Local difference binary for ultrafast and distinctive feature description[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(1):188-194.
[5] Yan Hui,Xu Tingfa,Wu Qingqing,et al.Multi-object tracking based on multi-feature joint matching[J].Chinese Optics,2013,6(2):163-170.
閆輝,許廷發(fā),吳青青,等.多特征融合匹配的多目標(biāo)跟蹤[J].中國(guó)光學(xué),2013,6(2):163-170.
[6] Zhong Xiaopin,Xue Jianru,Zheng Nanning,et al.An adaptive fusion strategy based multiple-cue tracking[J].Journal of Electronics &Information Technology,2007,29(5):1017-1022.
鐘小品,薛建儒,鄭南寧,等.基于融合策略自適應(yīng)的多線索跟蹤方法[J].電子與信息學(xué)報(bào),2007,29(5):1017-1022.
[7] Wang Yongzhong,Liang Yan,Zhao Chunhui,et al.Kernal-based tracking based on adaptive fusion of multiple cues[J].Acta Automatica Sinica,2008,34(4):393-399.
王永忠,梁彥,趙春暉,等.基于多特征自適應(yīng)融合的核跟蹤方法[J].自動(dòng)化學(xué)報(bào),2008,34(4):393-399.
[8] Li Peihua.An improved mean shift algorithm for object tracking[J].Acta Automatica Sincia,2007,33(4):347-354.
李培華.一種改進(jìn)的Mean Shift跟蹤算法[J].自動(dòng)化學(xué)報(bào),2007,33(4):347-354.
[9] Yuan Guowu,Xu Dan.A moving objects tracking al-gorithm that combins texture and color[J].Computer Applications and Software,2011,28(11):81-84.
袁國(guó)武,徐丹.一種結(jié)合了紋理和顏色的運(yùn)動(dòng)目標(biāo)跟蹤算法[J].計(jì)算機(jī)應(yīng)用與軟件,2011,28(11):81-84.
[10]Birchfield S T,Rangarajan S.Spatiograms versus histograms for region-based tracking[C].United States:IEEE,2005:1158-1163.
[11]Gu Xin,Wang Haitao,Wang Lingfeng,et al.Fusing multiple features for object tracking based on uncertainty measurement[J].Acta Automatica Sinica,2011,37(5):550-559.
顧鑫,王海濤,汪凌峰,等.基于不確定性度量的多特征融合跟蹤[J].自動(dòng)化學(xué)報(bào),2011,37(5):550-559.
[12]Liu Qing,Tang Linbo,Zhao Baojun,et al.Infrared target tracking based on adaptive multiple features fusion and mean shift[J].Journal of Electronics &Information Technology.2012,34(5):1137-1141.
劉晴,唐林波,趙保軍,等.基于自適應(yīng)多特征融合的均值遷移紅外目標(biāo)跟蹤[J].電子與信息學(xué)報(bào),2012,34(5):1137-1141.
[13]Katja N,Esther K M,Luc V G.An adaptive colorbased filter[J].Image Vision Computing,2003,21(1):99-110.
[14]Yao Zhijun.A new spatiogram similarity measure method and its application to object tracking[J].Journal of Electronics & Information Technology,2013,35(7):1644-1649.
姚志均.一種新的空間直方圖相似性度量方法及其在目標(biāo)跟蹤中的應(yīng)用[J].電子與信息學(xué)報(bào),2013,35(7):1644-1649.
[15]Xu Kun,Yang Xiaojun,Guo Lanying.A multi-feature tracking algorithm based on spatial histogram[J].Computer Engineering and Applications,2012,48(19):28-31.
徐坤,楊小軍,郭蘭英.一種基于空間直方圖的多特征目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(19):28-31.
[16]Zhang K.Real-time compressive tracking[C].Berlin:Springer-Verlag,2012:864-877.
[17]Xu Wanjun,Hou Zhiqiang,Yu Wangsheng,et al.Fusing multi-feature for object tracking algorithm based on color and space[J].Journal of Air Force &Engineering University,2015,16(6):39-43.
許婉君,侯志強(qiáng),余旺盛,等.基于背景加權(quán)的多特征融合目標(biāo)跟蹤算法[J].空軍工程大學(xué)學(xué)報(bào),2015,16(6):39-43.