魏天舒，尹麗菊，高明亮，鄒國鋒,臧圓茹

(山東理工大學(xué) 電氣與電子工程學(xué)院,山東 淄博 255049)

一種自適應(yīng)融合顏色和梯度方向特征的粒子濾波跟蹤算法

魏天舒，尹麗菊，高明亮，鄒國鋒,臧圓茹

(山東理工大學(xué) 電氣與電子工程學(xué)院,山東 淄博 255049)

針對傳統(tǒng)的粒子濾波通常采用單一的特征信息，會導(dǎo)致跟蹤精度低、魯棒性差等問題，提出一種自適應(yīng)融合顏色特征和梯度方向特征的粒子濾波跟蹤算法.首先提取出能夠描述目標的顏色和梯度方向特征，并分別采用空間核函數(shù)加權(quán)顏色直方圖和梯度方向直方圖對特征進行描述，然后在跟蹤過程采用民主融合策略，根據(jù)兩個特征在跟蹤時的可靠性，自適應(yīng)的調(diào)節(jié)各自權(quán)重，最后采用融合后特征來對目標進行建模和跟蹤. 實驗結(jié)果表明，算法能夠很好地處理目標尺度縮放、旋轉(zhuǎn)、光照變化等復(fù)雜環(huán)境下的跟蹤問題.

視覺跟蹤;多特征融合;粒子濾波

近年來，目標跟蹤在智能視頻監(jiān)控、人機交互、機器人導(dǎo)航等諸多領(lǐng)域得到了廣泛應(yīng)用[1-3]，成為計算機視覺領(lǐng)域中最熱門的研究課題之一.粒子濾波與傳統(tǒng)濾波方法相比，具有簡單易行、適用于非線性及非高斯噪聲環(huán)境的優(yōu)點，在目標跟蹤領(lǐng)域得到了廣泛應(yīng)用[4-5].

傳統(tǒng)的粒子濾波跟蹤算法大多采用單一的特征信息.例如：Perez等人[6]將顏色特征作為粒子濾波的觀測模型，解決了目標發(fā)生遮擋情況下的跟蹤.但是該算法的不足之處在于當(dāng)背景中出現(xiàn)與目標顏色分布相似的干擾物時，容易造成粒子發(fā)散.為此，Birchfield等在粒子濾波框架下提出了空間顏色模型，利用像素點之間的空間關(guān)系改善了跟蹤的性能[7].楊大為等[8]在粒子濾波框架內(nèi)，提取出基于局部二值模式(LBP)的紋理特征，并采用稀疏表達實現(xiàn)目標跟蹤，實驗結(jié)果表明該方法對光照變化較為魯棒，但對形狀變化較大的目標，跟蹤效果較差.

針對單信息進行目標跟蹤的缺陷，許多學(xué)者提出利用目標的多種特征信息對目標進行跟蹤.Spengler等[9]提出了一種融合多特征信息的跟蹤算法，但該算法屬于尋求局部最優(yōu)的匹配算法，當(dāng)目標發(fā)生遮擋時容易導(dǎo)致跟蹤失敗.張峰等[10]采用模糊邏輯的思想，將顏色和LBP特征融入到粒子濾波跟蹤算法中，提高了目標跟蹤算法在復(fù)雜環(huán)境下的魯棒性和準確性，但算法較復(fù)雜. 本文提出了一種基于民主融合策略的多信息融合模型，將顏色和梯度方向信息自適應(yīng)的融入到粒子濾波跟蹤方法，根據(jù)當(dāng)前跟蹤結(jié)果自適應(yīng)地調(diào)節(jié)每個特征信息的權(quán)值，增強了跟蹤特征的可靠性，取得了良好的跟蹤效果.

1 粒子濾波

xk=F(xk-1,uk)

(1)

zk=H(xk,vk)

(2)

式中：F為狀態(tài)轉(zhuǎn)移方程；uk為過程噪聲;H是測量方程；vk為系統(tǒng)的測量噪聲.

(3)

粒子濾波算法引入重要性采樣的概念，即對另一個與p(xk|zk)非常接近的分布q(xk|zk)進行采樣，從而有:

(4)

為便于迭代預(yù)測系統(tǒng)狀態(tài)，q(xk|zk)滿足:

q(xk|zk)=q(xk|xk-1,zk)q(xk-1|zk-1)

(5)

根據(jù)概率統(tǒng)計理論，有如下關(guān)系:

p(xk|zk)∝p(zk|xk)p(xk|xk-1)

p(xk-1|zk-1)

(6)

將式(5) 、( 6) 帶入式( 4) ，得

(7)

實際操作中常有如下近似:

(8)

對于粒子濾波算法而言，一個重要缺陷是算法存在粒子退化現(xiàn)象[11]. 為了避免粒子退化問題，粒子濾波算法引入了重采樣技術(shù). 在重采樣之前，應(yīng)該首先確定粒子的退化程度，以確定是否進行重采樣.Liu等人[12]給出了一種衡量粒子數(shù)匱乏程度的方法. 他們定義了“有效粒子數(shù)”Neff

(9)

當(dāng)Neff

2 目標特征提取與融合

2.1 顏色特征

由于顏色特征具有平移、尺度不變性，且計算簡單，因此在跟蹤領(lǐng)域得到了廣泛的應(yīng)用. 現(xiàn)有的圖像采集設(shè)備最初采集到的顏色信息是RGB值，但RGB顏色空間不符合人對顏色的感知心理.HSV顏色空間是一種面向視覺感知的顏色模型[13].HSV顏色空間有兩個特點:(1)亮度分量與圖像的彩色信息無關(guān);(2)色調(diào)與飽和度分量與人感受顏色的方式緊密相連.這些特點使得HSV顏色空間非常適合以人的視覺系統(tǒng)來感知彩色特性的圖像處理算法[13]. 因此，本文將目標的顏色空間從RGB轉(zhuǎn)化為HSV空間.

為了使得到的顏色直方圖更加準確，提取出目標的基于核函數(shù)加權(quán)空間顏色模型[14]:

(10)

(11)

式中‖r‖為像素距離目標中心的歐式距離.

得到目標區(qū)域和候選區(qū)域的顏色信息后，采用Bhattacharyya距離來度量兩者的相似性. 顏色特征信息的觀測似然函數(shù)為

(12)

2.2 梯度方向特征

通過提取圖像中每一點的梯度值并按照不同梯度變化方向?qū)@些點進行歸類，生成該圖像的梯度方向特征(HOG)[15].HOG特征提取過程如下：

(1)利用水平Sobel算子Kx和垂直的Sobel算子Ky計算感興趣區(qū)域內(nèi)所有像素點(x,y)的梯度：

(13)

(2)計算梯度的幅值大小和梯度方向：

(14)

θ= actan2(Gy(x,y)/Gx(x,y))

(15)

得到了候選位置的梯度方向直方圖后，定義梯度方向特征信息的觀測似然函數(shù)為

(16)

2.3 多特征自適應(yīng)融合

融合顏色信息和梯度方向信息，總的似然模型可以表示為

(17)

其中wc和we分別表示顏色信息和梯度方向信息的權(quán)重，也稱為信息的可靠性. 通過歸一化保證wc+we=1. 圖1顯示了兩種特征信息的獲取.

圖1 顏色信息和梯度信息的提取

在目標跟蹤過程中，顏色信息權(quán)重wc和梯度方向信息權(quán)重we根據(jù)目標實際狀態(tài)自適應(yīng)的進行更新. 當(dāng)顏色可靠時，則權(quán)重wc值變大，反之梯度方向信息權(quán)重we變大.

為了能夠自適應(yīng)的調(diào)整兩種信息的權(quán)重，本文采用一種民主融合的策略對兩種信息進行自適應(yīng)的調(diào)整. 民主融合策略是Spengler等[9]提出的一種自適應(yīng)融合各個特征信息的方法，它利用期望最大(EM)算法來在線調(diào)節(jié)每個特征信息的權(quán)重. 此融合方法根據(jù)各個信息在跟蹤時的可靠性，給不同的信息賦予不同的加權(quán)值. 若一個信息在某個時刻的可靠性大，其加權(quán)值就大，則此信息跟蹤的結(jié)果對最終的跟蹤結(jié)果貢獻就大.

在公式(17)的基礎(chǔ)上，通過最大似然估計可得到最終的目標狀態(tài)，即

(18)

(19)

式中：sign是一個符號，分別代表兩種信息；a是一個常量，根據(jù)實際情況而定.

由于相鄰兩幀圖像之間變化很小，因此各個信息的加權(quán)在下一幀中可以預(yù)測為

(20)

2.4 算法流程

算法的具體流程圖如圖2所示，包括以下幾個步驟.

圖2 算法流程圖

步驟1 在初始幀中采用矩形框選定初始目標，記初始狀態(tài)為X0=[x,y,s]，其中，(x,y)表示矩形框的中心位置，s表示矩形框的放縮比例. 分別統(tǒng)計目標模板的核函數(shù)加權(quán)空間顏色直方圖和梯度方向直方圖.

步驟6 判斷是否有新圖像輸入，如果沒有，程序結(jié)束. 否則，根據(jù)公式(9)判斷是否滿足重采樣的條件，如果滿足重采樣條件，對粒子進行重采樣，否則執(zhí)行步驟3.

3 實驗結(jié)果及分析

采用兩組典型的測試視頻序列對算法的有效性進行測試. 在第一組測試視頻中，對室內(nèi)女子頭部進行跟蹤，這組視頻序列包括了目標的平動、轉(zhuǎn)動、遮擋、相似物干擾，以及光照變化等一系列復(fù)雜的情況. 為了客觀地描述算法的跟蹤精度(誤差)，分別計算出幾種跟蹤方法的跟蹤結(jié)果(x,y)與真實目標位置(xtrue,ytrue)的歐氏距離：

(21)

在跟蹤實驗中，跟蹤位置與真實目標位置之間的歐氏距離d稱為跟蹤的誤差，用來客觀地描述某種跟蹤算法的準確度. 對比實驗結(jié)果如圖3所示.

圖3 粒子濾波算法在不同的特征下跟蹤室內(nèi)女子頭部結(jié)果比較

—單獨采用顏色信息—單獨采用梯度方向信息—融合信息圖4 室內(nèi)女子頭部跟蹤效果

從實驗結(jié)果看，本算法在處理任意平動、轉(zhuǎn)動、遮擋、相似物干擾，以及光照變化等較復(fù)雜的情況均有較好的效果. 部分跟蹤實驗結(jié)果如圖4所示(彩分圖見網(wǎng)絡(luò)版). 其中，黃色框為單獨利用顏色信息進行跟蹤的結(jié)果. 這種方法在目標顏色發(fā)生很大變化時(如人體頭部發(fā)生旋轉(zhuǎn))，會跟蹤失敗. 紅色框是單獨利用邊緣信息進行跟蹤的結(jié)果，該方法能對目標發(fā)生旋轉(zhuǎn)的時候進行較準確地跟蹤，但是該方法不夠穩(wěn)定，因此適合于在簡單的背景下進行跟蹤. 藍色框為融合兩個信息的跟蹤結(jié)果，可以看出自適應(yīng)融合特征的粒子濾波跟蹤算法優(yōu)于單特征的跟蹤效果.

圖5為室外場景的車輛跟蹤結(jié)果. 在跟蹤過程中，目標有較大的尺度變化，并且，車輛的尾燈的開關(guān)會改變目標的顏色特征. 部分對比跟蹤實驗結(jié)果如圖6所示.

圖5 粒子濾波算法在不同的特征下跟蹤室外車輛結(jié)果比較

—單獨采用顏色信息—單獨采用梯度方向信息—融合信息圖6 室外車輛跟蹤效果

圖中，黃色框為單獨利用顏色信息進行跟蹤的結(jié)果，顏色特征對于目標的縮放有一定的魯棒性，但對于目標的顏色變化比較敏感. 紅色框是單獨利用邊緣信息進行跟蹤的結(jié)果，該方法對于顏色變化較為魯棒，但對于目標的縮放比較敏感. 藍色框為本章算法跟蹤結(jié)果，從實驗結(jié)果看，本文算法能夠很好地處理目標尺度縮放、光照變化等復(fù)雜情況下的跟蹤問題.

4 結(jié)束語

對于復(fù)雜背景下的目標跟蹤，利用目標的單一特征信息往往很難實現(xiàn)魯棒的跟蹤. 本文算法自適應(yīng)的融合顏色和梯度方向信息描述目標的觀測信息，提高了跟蹤的魯棒性和準確性；在跟蹤過程中，根據(jù)當(dāng)前幀目標顏色和梯度方向信息的可靠性，利用民主融合策略在線調(diào)節(jié)下一幀觀測信息中顏色和梯度方向信息的權(quán)重，實現(xiàn)了兩個信息的自適應(yīng)加權(quán). 通過多組視頻測試，算法對目標的相似性干擾、部分遮擋、不同方向的運動旋轉(zhuǎn)、攝像機的移動和光照變化具有較高的精度和魯棒性.

[1]MAQUEDAAI,DEL-BLANCOCR.Human-computerinteractionbasedonvisualhand-gesturerecognitionusingvolumetricspatiogramsoflocalbinarypatterns[J].ComputerVisionandImageUnderstanding, 2015, 141:126-137.

[2]SHARMAKD,CHATTERJEEA,RAKSHITA.APSO-Lyapunovhybridstableadaptivefuzzytrackingcontrolapproachforvision-basedrobotnavigation[J].IEEETransactionsonInstrumentationandMeasurement, 2012, 61(7):1 908-1 914.

[3]ARROYOR,YEBESJJ.Expertvideo-surveillancesystemforreal-timedetectionofsuspiciousbehaviorsinshoppingmalls[J].ExpertSystemswithApplications, 2015,42(21):7 991-8 005.

[4]NUMMIAROK,KOLLER-MEIERE,VANGOOLL.Anadaptivecolor-basedparticlefilter[J].ImageandVisionComputing, 2003,21(1):99-110.

[5]王法勝,魯明羽,趙清杰,等. 粒子濾波算法[J],計算機學(xué)報, 2013, 37(8):1 679-1 694.

[6]PEREZP,HUEC,VERMAAKJ,etal.Color-basedprobabilistictracking[M]//BERLIN:Springer-verlagberlin, 2002:661-675.

[7]BIRCHFIELDST,RANGARAJANS.Spatialhistogramsforregion-basedtracking[J].ETRIJOURNAL, 2007,29(5):697-699.

[8]揚大為, 叢楊, 唐延?xùn)|. 基于粒子濾波與稀疏表達的目標跟蹤方法[J]．模式 識別與人工智能，2013, 26(7):680-687.

[9]SPENGLERM,SCHIELEB．Towardsrobustmulti-cueintegrationforvisualtracking[J]．MachineVisionandApplications, 2003,14(1): 50-58．[10] 張峰, 何小海, 楊曉敏, 等. 基于模糊邏輯的多特征融合的粒子濾波跟蹤算法[J], 四川大學(xué)學(xué)報(工程科學(xué)版), 2013,45(S2):335-340.

[11]GAOML,LILL,SUNXM,etal.Fireyalgorithm(FA)basedparticlefiltermethodforvisualtracking[J],Optik, 2015, 26(18):1 705-1 711.

[12]LIUJS,CHENR.SequentialMonteCarlomethodsfordynamicsystems[J].Journaloftheamericanstatisticalassociation, 1998, 93(443):1 032-1 044.

[13]姜蘭池, 沈國強, 張國煊. 基于HSV分塊顏色直方圖的圖像檢索算法[J], 機電工程, 2009,26(11):54-57.

[14]COMANICIUD,RAMESHV,MEERP.Kernel-basedobjecttracking[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2003, 25(5): 564-577.

[15]DALALN,TRIGGSB.HistogramsofOrientedGradientsforHumanDetection[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. (CVPR),2005,886-893.

(編輯：劉寶江)

Avisualtrackingmethodbasedonadaptivecolorandorientationgradientfeaturesfusioninparticlefilter

WEITian-shu,YINLi-ju,GAOMing-liang,ZOUGuo-feng,ZANGYuan-ru

(SchoolofElectricalandElectronicEngineering,ShandongUniversityofTechnology,Zibo, 255049,China)

Thetrackingresultsareoftendisappointingwithpooraccuracyandrobustnessbecauseonlysinglecueisadoptedinthetraditionalparticlefilteralgorithm．Tosolvethisproblem,aparticlefiltertrackingalgorithmwithadaptivecolorandorientedgradientfeaturesisproposed.Firstly,thecolorandorientedgradientfeaturesarecalculatedandaredescribedbyspatialkernel-weightedcolorhistogramandedgeorientationhistogram,respectively.Thenthetwofeaturesarefusedadaptivelyusingdemocraticintegrationmethodandtheweightsareadjustedbythetheirreliabilityinthetrackingprocess.Last,thetargetismodeledandlocatedusingthefusedfeatures.Experimentalresultsshowedthattheproposedtrackingmethodhasagoodtrackingperformanceinagooddealofchallengingenvironmentandtheresultsareaccurateandrobust．

visualtracking;multi-featurefusion;particlefilter

2016-03-29

國家自然科學(xué)基金項目(61601266);山東省自然科學(xué)基金項目(ZR2015FL034，ZR2015FL029);山東理工大學(xué)青年教師支持計劃項目

魏天舒，女，weitianshu13@163.com; 通信作者：高明亮， 男，sdut_mlgao@163.com

1672-6197(2017)02-0017-05

TP

A