顧 鑫,王 華,李 喆,李志國,王 倩,鄧志均
(中國運載火箭技術(shù)研究院研究發(fā)展中心,北京100076)
目標(biāo)跟蹤在眾多領(lǐng)域都有應(yīng)用,如視頻監(jiān)控、運動目標(biāo)捕捉、飛行器自主導(dǎo)航等[1]。在實際應(yīng)用中,目標(biāo)跟蹤會面臨著各種環(huán)境的干擾,跟蹤的魯棒性會受到影響[2]。
目標(biāo)跟蹤的一個核心是選擇表征目標(biāo)的特征,常用跟蹤算法僅選取顏色、光流等單一特征表征目標(biāo),由于跟蹤系統(tǒng)的復(fù)雜性,單一特征跟蹤魯棒性較低[2]。本文采用一種可融合目標(biāo)灰度、梯度和空間位置分布的協(xié)方差矩陣來表征目標(biāo),該特征不含特征點數(shù)量和順序信息,對目標(biāo)旋轉(zhuǎn)、尺度變化及光線變化都具有較強適應(yīng)性[3]。跟蹤在實際應(yīng)用中的另一個重要問題是計算的實時性,為了提高計算效率,本文在粒子濾波的框架下引入積分圖的概念,用協(xié)方差矩陣表征目標(biāo),實現(xiàn)對目標(biāo)的跟蹤。
協(xié)方差區(qū)域描述子的表征如圖1所示,令I(lǐng)為圖像幀,從I中提取一個大小為W×H×d維的特征圖像:
其中,Φ表示任意一種映射,N=W×H,區(qū)域R用d×d維的協(xié)方差矩陣表示[4]:
其中μR是區(qū)域R內(nèi)像素點的均值;N表示像素點的數(shù)目。
圖1 協(xié)方差矩陣表征目標(biāo)區(qū)域示意圖
粒子濾波算法中的每個粒子用協(xié)方差矩陣來表征,計算復(fù)雜度太高,難以實現(xiàn)實時運算,為了實現(xiàn)快速計算,引入積分圖的概念[5],將式(2)中的均值μ代入展開得:
定義向量Px,y和矩陣Qx,y:
通 過 積 分 圖 計 算 Px,y和 Qx,y,則 區(qū) 域的表征因子計算如下:
其中,N= ( x″+1 )× ( y″+1 ),經(jīng)過一系列的變換可以得到區(qū)域R( x',y',x″,y″)內(nèi)的協(xié)方差區(qū)域描述因子為:
兩協(xié)方差矩陣的相似度用兩者之間的距離來度量[6]:
其中,xk為廣義特征向量;λk( Ci,Cj)是廣義特征值,每個粒子的觀測概率定義為:
式中,Cmod和Ctar分別為目標(biāo)模板和每個觀測粒子的協(xié)方差矩陣。
本文算法實現(xiàn)流程如下:
(1)根據(jù)目標(biāo)初始狀態(tài)x0,計算協(xié)方差矩陣模板C0,令
(2)預(yù)測:由xt=Axt-1+W,預(yù)測下一幀狀態(tài)^xt;
(3)在目標(biāo)狀態(tài)xt-1周圍一定區(qū)域內(nèi)計算每個粒子的協(xié)方差矩陣及其觀測概率;
(5)計算目標(biāo)的當(dāng)前估計狀態(tài):珋xt=
(7)轉(zhuǎn)向步驟(2)。
用目標(biāo)區(qū)域內(nèi)的每個像素點位置、灰度、一階導(dǎo)數(shù)和二階導(dǎo)數(shù)等9維特征向量得出一個9×9協(xié)方差矩陣。為了驗證算法的普適性,在數(shù)據(jù)源的選取上,選擇在公共視頻集上進行驗證,該視頻集共773幀,圖像的大小為640×480。在同一數(shù)據(jù)源上,針對同一目標(biāo),在人工標(biāo)定初始位置的前提下,分別進行顏色跟蹤、邊緣跟蹤和本文算法跟蹤的仿真。如圖2所示,第一行是選擇顏色作為目標(biāo)區(qū)域描述子的實驗結(jié)果,第二行為選擇邊緣作為目標(biāo)區(qū)域描述子的實驗結(jié)果,第三行為本文算法跟蹤的結(jié)果。在第725幀,由于跟蹤目標(biāo)進入陰影區(qū),光線發(fā)生較大變化,導(dǎo)致目標(biāo)的顏色特征發(fā)生較大變化,顏色跟蹤失效,本文算法和邊緣跟蹤可以一直跟蹤目標(biāo)。在第758幀,目標(biāo)受到部分樹木的遮擋,背景周圍存在較大邊緣特征的干擾,導(dǎo)致了邊緣跟蹤跟丟目標(biāo),協(xié)方差描述子中除了梯度特征外,還有灰度特征,因此本文算法可以穩(wěn)定跟蹤目標(biāo)。
圖2 試驗結(jié)果
表1是三種實驗結(jié)果的對比,由于相似目標(biāo)、背景邊緣等外界因素干擾,單個特征(如顏色、邊緣)的跟蹤結(jié)果往往是不穩(wěn)定的,通常情況下難以確定哪種特征的跟蹤效果更好。協(xié)方差矩陣包含目標(biāo)區(qū)域每個像素點的位置信息,當(dāng)特征的分布產(chǎn)生平移,對協(xié)方差矩陣的影響較小,因此該特征對光線變化不敏感。協(xié)方差矩陣中除了有目標(biāo)區(qū)域每個像素點的梯度外,還包含了目標(biāo)的灰度特征,因此對邊緣干擾有一定的糾錯能力。
表1 試驗結(jié)果對比
本文中的所有算法均在Intel(R)Core(TM)i7 2.93 GHz 4G內(nèi)存計算機上用Matlab R2010a仿真實現(xiàn)。本文的三種算法粒子數(shù)目均為100,采樣點數(shù)均為120,表1給出了不同算法的跟蹤速度(幀/秒),由表1可知,本文算法的復(fù)雜度比顏色跟蹤及邊緣跟蹤的算法復(fù)雜度都低,計算效率更高。
本文提出了一種基于積分協(xié)方差矩陣的粒子濾波目標(biāo)跟蹤,協(xié)方差矩陣可融合目標(biāo)區(qū)域的不同特征實現(xiàn)復(fù)雜背景下目標(biāo)的穩(wěn)定跟蹤,利用積分圖實現(xiàn)區(qū)域協(xié)方差快速計算。試驗證明本文的跟蹤結(jié)果較單一特征跟蹤結(jié)果更穩(wěn)定,算法的計算復(fù)雜度低,計算實時性更好。本文的跟蹤算法除了可以在公共安全、視頻監(jiān)控等領(lǐng)域應(yīng)用外,還可用于視覺導(dǎo)航、視覺導(dǎo)航、自主定位等方面。
[1] HOU Zhiqiang,HAN Chongzhao.A survey of visual tracking[J].Acta Automatica Sinica,2006,32(4):603-617.(in Chinese)侯志強,韓崇昭.視覺跟蹤技術(shù)綜述[J].自動化學(xué)報,2006,32(4):603-617.
[2] GU Xin,WANG Haitao,WANG Lingfeng,et al.Fusing multiple features for object tracking based on uncertainty measurement[J].Acta Automatica Sinica,2011,37(5):550-559.(in Chinese)顧鑫,王海濤,汪凌鋒,等.基于不確定性度量的多特征融合跟蹤[J].自動化學(xué)報,2011,37(5):550-559.
[3] F Porikli,O Tuzel,PMeer.Covariance tracking using model update based on lie algebra[J].IEEE Computer Vision and Pattern Recognition,2006,pages:728-735.
[4] LI Shaojun,LI Liren,LIU Zhongling,et al.Terminal guidance target tracking based on region covariance matrix[J].Laser&Infrared,2010,40(3):330-333.(in Chinese)李少軍,李立仁,劉忠領(lǐng),等.基于區(qū)域協(xié)方差矩陣的末制導(dǎo)目標(biāo)跟蹤[J].激光與紅外,2010,40(3):330-333.
[5] F Porikli.Integral histogram:a fast way to extract histograms in cartesian spaces[J].IEEE Conf.on Computer Vision and Pattern Recognition,2005,829-836.
[6] W Forstner,B Moonen.A metric for covariance matrices technical report,dept of geodesy and geoinformatics[J].Stuttgart University,1999.