林淵燦，陳鍛生，胡小平

（華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，福建 泉州 362021）

嵌入尺度可變均值漂移算法的粒子濾波方法

林淵燦，陳鍛生，胡小平

（華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，福建 泉州 362021）

將尺度可變均值漂移算法嵌入到粒子的擴(kuò)散過(guò)程中，引導(dǎo)粒子擴(kuò)散到后驗(yàn)概率密度函數(shù)的高密度區(qū)，提出一種嵌入尺度可變均值漂移算法的粒子濾波跟蹤方法.利用對(duì)數(shù)極坐標(biāo)圖像的尺度不變性，在粒子擴(kuò)散過(guò)程中同時(shí)進(jìn)行位置、尺度空間漂移.實(shí)驗(yàn)表明，該方法不僅能順利跟蹤非連續(xù)尺度變化目標(biāo)，而且需要更少的粒子數(shù).

粒子濾波；均值漂移算法；尺度可變；對(duì)數(shù)極坐標(biāo)；目標(biāo)跟蹤

均值漂移算法（Mean-Shift，MS）［1］和粒子濾波（Particle Filter，PF）［2］是實(shí)時(shí)目標(biāo)跟蹤技術(shù)中廣泛采用的兩種方法.PF是一種非線性、參數(shù)化的目標(biāo)跟蹤方法，適用于非線性動(dòng)態(tài)系統(tǒng)，能夠跟蹤部分遮擋，甚至完全遮擋的目標(biāo).MS具有簡(jiǎn)單、快速、強(qiáng)魯棒性等特點(diǎn)，只在位置子空間內(nèi)搜索最優(yōu)目標(biāo)估計(jì)值，不存在有效的核窗尺寸更新模型.當(dāng)目標(biāo)尺度發(fā)生變化時(shí)，特別是在目標(biāo)放大的情況下［3］，MS的跟蹤效果很差.Maggio等［4］提出PF和MS結(jié)合的跟蹤方法（簡(jiǎn)稱HT）.即將MS嵌入到PF的粒子擴(kuò)散過(guò)程中，用MS指導(dǎo)粒子在位置子空間中進(jìn)行漂移，使得擴(kuò)散后的粒子群聚集在后驗(yàn)概率密度函數(shù)的高密度區(qū)，有效地減少粒子數(shù)；同時(shí)，它利用PF的狀態(tài)轉(zhuǎn)移模型對(duì)目標(biāo)的尺寸進(jìn)行預(yù)測(cè)，能夠跟蹤尺度連續(xù)變化的目標(biāo).但當(dāng)目標(biāo)進(jìn)行非連續(xù)尺度變化時(shí)，HT的狀態(tài)轉(zhuǎn)移模型無(wú)法預(yù)測(cè)目標(biāo)的尺度信息，導(dǎo)致跟蹤失敗.Han等［5］提出了一種尺度可變均值漂移算法（簡(jiǎn)稱KBT-VRM）.它通過(guò)對(duì)數(shù)極坐標(biāo)變換［6］，將目標(biāo)尺度變換轉(zhuǎn)換為在對(duì)數(shù)極坐標(biāo)下的平移變換，使得目標(biāo)的位置變化和尺度變化統(tǒng)一到MS算法框架中，實(shí)現(xiàn)對(duì)尺度變化目標(biāo)的跟蹤.與MS一樣，KBT-VRM也無(wú)法跟蹤有遮擋的目標(biāo).為解決該問(wèn)題，本文提出一種嵌入尺度可變均值漂移算法的粒子濾波方法（簡(jiǎn)稱PF-KBT-VRM）.

1 狀態(tài)轉(zhuǎn)移模型

狀態(tài)轉(zhuǎn)移方程的形式對(duì)最終跟蹤效果的影響很大.文中提出一種改進(jìn)的自適應(yīng)狀態(tài)轉(zhuǎn)移模型，以文［4］的狀態(tài)轉(zhuǎn)移模型為基礎(chǔ)，加入前一時(shí)刻運(yùn)動(dòng)趨勢(shì)信息項(xiàng)ΔSt-1.即

2 目標(biāo)表示模型

假設(shè)用橢圓近似目標(biāo)區(qū)域，t時(shí)刻的第i個(gè)候選區(qū)域表示為St，i=（x，y，hx，hy）.其中：x，y為橢圓中心，hx，hy分別為橫軸、縱軸的半軸長(zhǎng).一個(gè)候選區(qū)域的核直方圖（B）可定義為

由于遮擋、背景干擾等因素，候選區(qū)域的邊緣像素不太可靠，相應(yīng)的權(quán)重值應(yīng)該較小.一般選用中心區(qū)域權(quán)重較大，邊緣區(qū)域權(quán)重較小的核函數(shù)，如高斯核或者Epanichnikov核等.后者的導(dǎo)數(shù)為一個(gè)常量，可以簡(jiǎn)化均值漂移向量的計(jì)算.因此，采用Epanichnikov核，其表達(dá)式為

候選區(qū)域與目標(biāo)的相似度，用候選區(qū)域核直方圖與目標(biāo)核直方圖之間的Bhattacharyya距離（DB）［7］來(lái)度量，則有

式（4）中：ρ為候選區(qū)域核直方圖；q為目標(biāo)區(qū)域的核直方圖.由于光照變化、攝像角度、相機(jī)參數(shù)變化，以及目標(biāo)進(jìn)行非平面旋轉(zhuǎn)等因素的影響，目標(biāo)的外觀會(huì)隨著時(shí)間的推移會(huì)不斷變化.為了反映目標(biāo)外觀的變化，采用文［8］的自適應(yīng)目標(biāo)表示模型，即

式（5）中：Et（S）為時(shí)刻t目標(biāo)狀態(tài)的估計(jì)值，β為遺忘系數(shù).

這個(gè)自適應(yīng)的目標(biāo)模型實(shí)際上是一個(gè)遺忘過(guò)程.隨著時(shí)間的推進(jìn)，舊目標(biāo)模型對(duì)新目標(biāo)模型的影響越來(lái)越小.為了提高自適應(yīng)目標(biāo)模型的魯棒性，避免在跟蹤失敗時(shí)進(jìn)行模型更新，可以設(shè)置一個(gè)閾值PT，只有在當(dāng)前幀狀態(tài)估計(jì)值與目標(biāo)的相似度大于PT時(shí)，才進(jìn)行目標(biāo)模型更新.

3 算法步驟

提出的算法的一次迭代過(guò)程，有以下5個(gè)步驟：（1）重采樣；（2）根據(jù)式（1）進(jìn)行狀態(tài)轉(zhuǎn)移；（3）對(duì)每個(gè)粒子進(jìn)行尺度可變均值漂移；（4）計(jì)算每個(gè)粒子與目標(biāo)的相似度，更新各個(gè)粒子的權(quán)重，計(jì)算當(dāng)前幀的估計(jì)值；（5）更新目標(biāo)表示模型.

實(shí)驗(yàn)中，各個(gè)參數(shù)設(shè)定：bt初始值為0.25，β值為0.01，PT為0.7，Ns為768，Nθ為576；HT的Nk和n（粒子數(shù)）分別為65，80；PF-KBT-VRM的Nk和n（粒子數(shù)）分別為20，15.

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提方法能夠成功跟蹤非連續(xù)尺度變化目標(biāo)和有遮擋目標(biāo)，分別在3個(gè)自拍的視頻數(shù)據(jù)上進(jìn)行實(shí)驗(yàn).3個(gè)實(shí)驗(yàn)均選用具有視覺(jué)均勻特性的HMMD顏色空間.與MPEG-7相同，選取Hue，Sum，Diff 3個(gè)分量，各個(gè)分量的量化等級(jí)：Hue為18，Sum為8，Diff為4.在部分遮擋，甚至完全遮擋情況下，所提方法的跟蹤結(jié)果如圖1（a）所示.在目標(biāo)進(jìn)行非連續(xù)尺度變化時(shí)，所提方法和HT方法的跟蹤結(jié)果，如圖1（b），（c）所示.圖1（b），（c）中：上、下視頻分別為HT和PF-KBT-VRM的跟蹤結(jié)果；圖1（b），（c）的視頻分別是在白天和晚上拍攝的，目標(biāo)的尺寸剛開(kāi)始保持不變，接著目標(biāo)的尺寸不斷增大.

圖1 視頻跟蹤結(jié)果比較Fig.1 Comparison of video face tracking

從圖1（b），（c）可以看出，在目標(biāo)尺寸不變的情況下，所提出的PF-KBT-VRM跟蹤算法和文［4］中的HT方法都能夠成功跟蹤.然而，在目標(biāo)尺寸突然變大的非連續(xù)變化情況下，HT方法出現(xiàn)跟蹤失敗，而PF-KBT-VRM仍然能夠正常跟蹤，如圖1（b）中的幀編號(hào)206的視頻和圖1（c）中幀編號(hào)115，123，131的視頻所示.

PF-KBT-VRM和HT兩種方法在視頻2，3上各自跟蹤結(jié)果與真實(shí)目標(biāo)的相似度曲線，如圖2所示.圖2中：n為視頻幀編號(hào)；DB為跟蹤結(jié)果核直方圖與目標(biāo)核直方圖的Bhattacharyya距離.從圖2可以看出，在目標(biāo)尺寸不變時(shí)，兩種跟蹤方法的性能很接近；然而，在目標(biāo)尺寸突然變大的非連續(xù)變化情況下，HT方法的跟蹤性能明顯低于提出的PF-KBT-VRM方法的跟蹤性能.

圖2 跟蹤結(jié)果與真實(shí)目標(biāo)狀態(tài)的相似度曲線Fig.2 Similarity curves of object tracking and their real states

視頻2，3的粒子群尺寸分布的方差，如圖3所示.圖3中：橫軸為幀編號(hào)（n），縱軸為當(dāng)前幀所有粒子橫軸半軸長(zhǎng)的方差（σ）.從圖3可知，剛開(kāi)始一段時(shí)間內(nèi)，目標(biāo)的尺寸保持不變，使得狀態(tài)轉(zhuǎn)移模型中的和變量趨于零.也就是說(shuō)，粒子經(jīng)過(guò)狀態(tài)轉(zhuǎn)移后，尺寸基本沒(méi)變，而加上粒子濾波中的重采樣過(guò)程，粒子群將發(fā)生“退化”現(xiàn)象，所有粒子的尺寸基本一致.因此，在視頻2，3中，當(dāng)目標(biāo)的尺寸突然變大時(shí)，所有粒子的尺寸依然保持不變且基本等于上一幀目標(biāo)的尺寸，從而導(dǎo)致跟蹤的失敗.

圖3 粒子群尺寸分布的方差Fig.3 Variance of particle scales

從圖3可以看出，在目標(biāo)尺寸保持不變一段時(shí)間后，所有粒子尺寸的方差趨于零，即各個(gè)粒子的尺寸基本一樣.提出的PF-KBT-VRM方法嵌入的是具有尺度變化能力的MS方法，因此，在狀態(tài)轉(zhuǎn)移模型無(wú)法預(yù)測(cè)目標(biāo)尺寸的情況下，各個(gè)粒子仍然能夠自適應(yīng)地更新各自的窗寬，實(shí)現(xiàn)對(duì)非連續(xù)尺度變化目標(biāo)的有效跟蹤.

5 結(jié)論

粒子濾波跟蹤結(jié)果的尺寸取決于粒子群的尺寸分布.在正常情況下，粒子群的尺寸在整個(gè)尺寸空間中隨機(jī)分布.為了使得跟蹤結(jié)果的尺寸接近于真實(shí)目標(biāo)的尺寸，除了給接近真實(shí)目標(biāo)尺寸的粒子賦以更高的權(quán)重外，還應(yīng)該使得盡可能多的粒子分布在真實(shí)目標(biāo)尺寸附近.如果粒子數(shù)目越多，那么分布在真實(shí)目標(biāo)尺寸附近的粒子數(shù)也就越多，最后跟蹤結(jié)果的尺寸也越接近于真實(shí)尺寸.這也就是在一般情況下粒子數(shù)目越多，粒子濾波跟蹤效果越好的原因.

在HT方法中，由于嵌入的是傳統(tǒng)的MS算法，因此在粒子漂移過(guò)程中，MS算法不能夠指導(dǎo)粒子漂向真實(shí)目標(biāo)尺寸的周圍.PF-KBT-VRM方法中，由于嵌入的是尺度可變的MS算法，在粒子漂移過(guò)程中，尺度可變MS算法不僅在位置空間上進(jìn)行漂移，同時(shí)也在尺度空間上進(jìn)行漂移，能夠指導(dǎo)大部分粒子漂向真實(shí)目標(biāo)尺寸附近.因此，雖然所提方法在3個(gè)實(shí)驗(yàn)中均只采用20個(gè)粒子，而HT方法卻采用了80個(gè)粒子，由于尺度可變MS算法的指導(dǎo)，PF-KBT-VRM中的大部分粒子分布在真實(shí)目標(biāo)尺寸附近，使得PF-KBT-VRM在使用更少粒子的情況下反而取得比HT更好的跟蹤結(jié)果.

提出的跟蹤方法假設(shè)目標(biāo)的外觀變化在幀與幀之間比較輕微，傳統(tǒng)均值漂移算法和嵌入傳統(tǒng)均值漂移算法的粒子濾波方法同樣也必須在這個(gè)前提下才能有效地跟蹤目標(biāo).該假設(shè)前提大大縮小了提出方法的適用范圍.在下一步的工作中，將進(jìn)一步研究如何有效地更新目標(biāo)表觀模型，實(shí)現(xiàn)對(duì)旋轉(zhuǎn)目標(biāo)、明顯表觀變化目標(biāo)的跟蹤.

［1］COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking［J］.Pattern Analysis and Machine Intelligence，2003，25（5）：564-577.

［2］ISARD M，BLAKE A.Condensation：Conditional density propagation for visual tracking［J］.International Journal of Computer Vision，1998，29（1）：5-28.

［3］PENG Ning-song，YANGJie，LIU Zhi.Performance analysis for tracking of variable scale objects using mean-shift algorithm［J］.Optical Engineering，2005，44（7）：070505.

［4］MAGGIO E，CAVALLARO A.Hybrid particle filter and mean shift tracker with adaptive transition model［C］//IEEE Signal Processing Society International Conference on Acoustics，Speech，and Signal Processing.Philadelphia：IEEE，2005：19-23.

［5］HAN R，J ING Z，LI Y.Kernel based visual tracking with variant spatial resolution model［J］.Electronics Letters，2008，44（8）：517-518.

［6］SCHWARTZ E L.Anatomical and physiological correlates of visual computation from striate to infero-temporal cortex［J］.IEEE Transactions on Systems，Man and Cybernetics，1984，14（2）：257-271.

［7］KAILATH T.The divergence and bhattacharyya distance measures in signal delection［J］.IEEE Transactions on Communication Technology，1967，15（1）：52-60.

［8］NUMMIARO K，KOLL ER-MEIERB E，VAN GOOL L.An adaptive color-based particle filter［J］.Image and Vision Computing，2003，22（1）：99-110.

［9］張波.基于粒子濾波的圖像跟蹤算法研究［D］.上海：上海交通大學(xué)，2007.

A Particle Filter Method Embedded with a Variable Scale Mean-Shift Algorithm

LIN Yuan-can，CHEN Duan-sheng，HU Xiao-ping
（College of Computer Science and Technology，Huaqiao University，Quanzhou 362021，China）

Embedding variable scale mean-shift algorithm into particle diffusion process，particles are diffusion into the high density area of the post probability density function，this paper proposed a particle filter tracking method embedded with a variable scale mean-shift algorithm.The scale invariable characters of image in logarithmic polar coordinates was used in the particle diffusion process，in which position space and scale space are shifted at the same time.The experiment shows the method can not only track object smoothly with discontinuous scale variation，but also need less particles.

particle filter；mean-shift；variable scale；logarithmic polar coordinate；object tracking

TP 391.41

A

1000-5013（2010）04-0408-05

（責(zé)任編輯：魯斌 英文審校：吳逢鐵）

2009-05-19

陳鍛生（1959-），男，教授，主要從事圖像處理與計(jì)算機(jī)視覺(jué)的研究.E-mail：dschen@hqu.edu.cn.

福建省科技計(jì)劃重點(diǎn)項(xiàng)目（2008I0021）；福建省自然科學(xué)基金計(jì)劃資助項(xiàng)目（2009J01289）