陳麗君，馬永杰

西北師范大學(xué) 物理與電子工程學(xué)院，蘭州 730070

自適應(yīng)融合角點特征的Camshift目標(biāo)跟蹤

陳麗君，馬永杰

西北師范大學(xué) 物理與電子工程學(xué)院，蘭州 730070

1 引言

目標(biāo)跟蹤是計算機(jī)視覺重要的研究方向之一，被廣泛應(yīng)用于監(jiān)控、視覺導(dǎo)航、軍事制導(dǎo)、交通等領(lǐng)域[1]，但是，目標(biāo)和背景的外觀發(fā)生改變，或者目標(biāo)的突然運動等因素都會加大目標(biāo)跟蹤的難度。近年來隨著科技的發(fā)展，家庭服務(wù)機(jī)器人的研究和開發(fā)成為一個熱點，其中，機(jī)器人對普通運動目標(biāo)跟蹤的有效性和穩(wěn)定性成為一項重要指標(biāo)。Camshift（Continuously Adaptive Mean-Shift）算法是對普通運動目標(biāo)進(jìn)行跟蹤的經(jīng)典算法之一，它是Mean-Shift算法的改進(jìn)，是連續(xù)自適應(yīng)的Mean-Shift算法，其基本思想是用Mean-Shift算法對視頻序列的所有幀做運算，并將上一幀得到的結(jié)果作為下一幀初始窗口，如此迭代下去，實現(xiàn)對運動目標(biāo)的跟蹤[2]。傳統(tǒng)的Camshift跟蹤算法只是利用目標(biāo)的顏色特征進(jìn)行跟蹤，雖然該算法能夠自動調(diào)節(jié)窗口大小以適應(yīng)被跟蹤目標(biāo)在視頻序列中的大小，但是在顏色相近或者大面積顏色干擾時，不能實現(xiàn)有效的跟蹤。

針對上述問題，可以通過自適應(yīng)特征融合來實現(xiàn)目標(biāo)的有效跟蹤。文獻(xiàn)[3]通過采用顏色空間三基色權(quán)重直方圖建立目標(biāo)模型，并用目標(biāo)邊緣特征增加目標(biāo)權(quán)重，實現(xiàn)了多彩色目標(biāo)的跟蹤。文獻(xiàn)[4]提出的基于角點特征融合的Mean-Shift跟蹤算法，能夠有效地解決目標(biāo)遮擋出現(xiàn)的問題，但是子塊大小和區(qū)域重復(fù)子塊會對目標(biāo)估計有一定程度的影響。文獻(xiàn)[5]提出了一種融合角點特征與顏色特征的目標(biāo)跟蹤算法，利用角點的特征不變性并融合目標(biāo)的顏色特征提高了Mean-Shift跟蹤算法的穩(wěn)定性。文獻(xiàn)[6]實現(xiàn)了目標(biāo)的顏色、邊緣特征以及紋理特征自適應(yīng)融合的目標(biāo)跟蹤，有效地對復(fù)雜背景下的運動目標(biāo)進(jìn)行了跟蹤。文獻(xiàn)[7]采用H分量和S分量作為顏色特征參數(shù)并融合運動信息，將Camshift算法嵌入到粒子濾波中，實現(xiàn)了目標(biāo)的快速、穩(wěn)健的跟蹤。

上述特征融合的算法選擇的融合策略大多是以顏色特征作為主分量，以角點特征、邊緣特征等作為輔助分量來實現(xiàn)的，但是在顏色特征變化較大或者不明顯的情況下跟蹤會出現(xiàn)一定的難度，為了改善這種情況下目標(biāo)跟蹤的效果本文提出了一種新的自適應(yīng)融合角點特征和顏色特征的Camshift目標(biāo)跟蹤算法，該方法采用Mean-Shift算法提供的非參數(shù)核密度估計的統(tǒng)計思想分別計算各特征的概率密度函數(shù)，并自適應(yīng)地將目標(biāo)的顏色特征與角點特征進(jìn)行融合，然后將融合的新特征作為總目標(biāo)特征采用Camshift算法對動態(tài)環(huán)境下的普通運動目標(biāo)進(jìn)行跟蹤。

2 Mean-shift算法與檢點檢測

2.1 Mean-shift算法

設(shè) d維Educlidean空間 Rd內(nèi)的樣本集 xi(i=1，2，…，n)，在某一點x處的多變量核概率密度估計[8]為：

其中，h為帶寬，K(x)是核函數(shù)，常用的核函數(shù)是Epanechnikov核和高斯核。

設(shè)核函數(shù)K(x)的剖面函數(shù)為k(x)，求核概率密度估計 fk(x)的梯度估計：

其中，k′(x)是剖面函數(shù)k(x)的導(dǎo)數(shù)，式（3）第一部分可以看作是以k′(x)為剖面函數(shù)的核概率密度估計，第二部分表示采樣均值所移動的向量，Mean-Shift向量。

Mean-Shift算法是一個迭代過程，當(dāng)核函數(shù)是凸函數(shù)且單調(diào)遞減時，{xk，k=1，2，…}，可有以下迭代形式：

2.2 Harris角點檢測原理

角點是描述圖像的一個重要的局部特征，在目標(biāo)跟蹤領(lǐng)域有著重要的意義。Harris角點在旋轉(zhuǎn)、光照、噪聲、平移及灰度變化時有一定的不變性，實時性強(qiáng)，定位精度高，因此常被作為目標(biāo)跟蹤過程中的一個重要特征[9]。Harris算法計算窗口沿任何方向移動后的灰度變化，并用解析形式表達(dá)[10]。

設(shè)以像素點(x，y)為中心的小窗口在X方向上移動u，Y方向移動v，Harris定義的灰度強(qiáng)度變化公式為[11]：

定義像素點(x，y)的自相關(guān)矩陣為：

設(shè)矩陣M 的兩個特征值分別為λ1，λ2。則Harris定義的角點響應(yīng)函數(shù)表達(dá)式為：

其中，detM表示矩陣M 的行列式，且detM=λ1×λ2，trM表示矩陣的跡且trM=λ1+λ2。k是一個大于0的參數(shù)，一般取值為0.04。detM 在邊緣處較小而在角點處較大，trM 在邊緣和角點處保持一致。因此，當(dāng)像素點(x，y)的Rh值大于給定的閾值時，該像素點即為角點。

3 角點特征和顏色特征的自適應(yīng)融合策略

單一的顏色特征并不能保證跟蹤的準(zhǔn)確性，并且在一幀圖像中顏色作為一個整體的特征有一定的局限性，為了使跟蹤更加準(zhǔn)確，本文采用了自適應(yīng)的融合圖像的角點這一局部特征，并把融合后的特征作為新特征實現(xiàn)跟蹤過程。首先利用Mean-Shift算法提供的非參數(shù)核密度估計統(tǒng)計思想，分別計算顏色特征和角點特征的概率密度函數(shù)，然后對各特征進(jìn)行相似性度量，由于不同的特征在同一幀圖像中的可信度不同，相似性度量值也就不同，因此，提出了一種新的融合策略將相似性度量值的比值作為融合規(guī)則進(jìn)行不同特征的融合。

設(shè)對跟蹤區(qū)域內(nèi)的所有像素點為{xi}i=1，2，…，n計算其目標(biāo)模板的概率密度函數(shù)[12]：

其中，k(x)為等方性的、凸面單調(diào)遞減的核輪廓函數(shù)，δ為單位沖積函數(shù)，b(x*i)為 x*i處的量化特征值，u=1，2，…，m為模版特征的量化特征值。

角點特征概率密度函數(shù)具體的算法描述法如下：將跟蹤區(qū)域劃分為m（本文m為48）個區(qū)域，第一幀選定的位置作為中心位置，分別統(tǒng)計每一個區(qū)域內(nèi)的角點，并對m個區(qū)域依次進(jìn)行編號，然后采用核密度估計的方法計算角點分布概率，表示如下：

式中，x*Harris是角點的坐標(biāo)，b(x*Harris)是角點所在區(qū)域的編號。

對于不同的特征其目標(biāo)模型與候選模型的相似性是不同的，相似性較大的特征能較好地描述目標(biāo)，對目標(biāo)的總的特征描述貢獻(xiàn)應(yīng)該相對大一點[5]。目標(biāo)在運動過程中顏色特征和角點特征都會發(fā)生不同的變化，本文對兩個特征的相似性度量值做了量化，并將兩個特征自適應(yīng)地融合，根據(jù)不同特征的變化確定其貢獻(xiàn)度，而不對其中的某個特征做定量規(guī)定，與以往確定顏色特征比重的融合方式有很大的不同，具體融合規(guī)則如下：

設(shè)Ih、Ic分別為顏色概率密度分布圖和角點概率密度分布圖，ρ1、ρ2分別是它們的相似性度量值，α，β為顏色特征和角點特征的權(quán)重，則總的概率密度分布圖為：

根據(jù)式（11）的融合規(guī)則，當(dāng)顏色特征在跟蹤過程中的變化較大時，其相似性度量值相對較小，對跟蹤過程的貢獻(xiàn)也較小，因此，為顏色特征賦以較小的權(quán)值，在此跟蹤過程中角點特征相對穩(wěn)定，則賦以相對較大的權(quán)值，隨時校準(zhǔn)跟蹤目標(biāo)，反之亦可。所以根據(jù)不同條件下目標(biāo)跟蹤，上式可自適應(yīng)地進(jìn)行調(diào)整。

4 跟蹤算法

4.1 Camshift算法流程

Camshift是基于目標(biāo)顏色特征的跟蹤算法，其基本思想是對視頻序列中的每一幀做Mean-Shift運算，并將前一幀的質(zhì)心位置和搜索窗口大小作為下一幀的Mean-Shift算法的中心和搜索窗口，通過迭代實現(xiàn)目標(biāo)跟蹤。算法流程如下：

（1）初始化搜索窗的質(zhì)心位置和大小。

（2）建立H分量目標(biāo)直方圖。

（3）投影生成二維顏色概率密度分布圖。

（4）運行Mean-Shift算法迭代尋找目標(biāo)的位置。

（5）從上一幀目標(biāo)位置開始，計算搜索窗內(nèi)的質(zhì)心位置并確定搜索窗口大小，處理下一幀圖像，返回（4），直至視頻序列結(jié)束。

此時設(shè)(x，y)為搜索窗口中的像素點，I(x，y)是投影圖中對應(yīng)(x，y)點的像素值。定義搜索窗口的零階矩M00和一階矩M10、M01如下：

目標(biāo)長軸的方向角為：

4.2 自適應(yīng)融合角點特征的Camshift算法

（1）初始化跟蹤目標(biāo)的初始位置和大小。

（2）利用核密度估計思想建立顏色核概率密度分布Ih和角點特征的核概率密度分布Ic。

（3）結(jié)合Bhattacharyya相似性度量值分別計算各特征在該幀圖像中的權(quán)重，融合生成新的核概率密度分布I。

（4）運行Mean-Shift算法迭代尋找目標(biāo)的位置。

（5）調(diào)用Camshift算法計算質(zhì)心位置和搜索窗口大小，進(jìn)行下一幀的處理，返回第（3）步，直至視頻結(jié)束。

5 實驗結(jié)果及分析

為了驗證本文算法，選取了幀率為25 frame/s的兩段視頻序列，其中，室內(nèi)簡單環(huán)境下的視頻序列大小為1 280×720，戶外復(fù)雜環(huán)境下的圖像序列的大小為1 024× 768，選取不同大小的運動目標(biāo)分別進(jìn)行測試，圖中藍(lán)色的小方塊（可通過程序設(shè)置）是角點檢測的結(jié)果。當(dāng)所選的目標(biāo)較小時，目標(biāo)框內(nèi)的角點檢測準(zhǔn)確率不高，但是目標(biāo)框內(nèi)的顏色變化較小，由測試結(jié)果可以看出，此時的角點特征較少，顏色特征所占比例較大，跟蹤能夠正常進(jìn)行。圖1～圖3是本文算法在復(fù)雜環(huán)境下選擇較小運動目標(biāo)時的結(jié)果，從15幀到95幀隨著視頻中干擾物的逐漸增多，選擇框有細(xì)微的變化，算法對選擇框做了自適應(yīng)調(diào)整，實現(xiàn)了較為完整的跟蹤，并且在跟蹤過程中本文算法能夠在干擾物影響以及閃光等情況下較好地跟蹤目標(biāo)。圖4～圖6是本文算法在室內(nèi)簡單環(huán)境下選擇較小運動目標(biāo)的跟蹤結(jié)果，與前面相比角點檢測的難度加大，由圖可以看出角點檢測結(jié)果不及前面，受顏色特征的影響較大，會出現(xiàn)跟丟的情況，跟蹤效果不及復(fù)雜環(huán)境下的跟蹤。圖7和圖8是Camshift算法的跟蹤結(jié)果，開始的跟蹤效果和本文算法的跟蹤效果接近，都可以完成準(zhǔn)確有效的跟蹤，只是在目標(biāo)選擇時Camshift算法要求快速準(zhǔn)確地選擇，否則會引起跟蹤框的形變而導(dǎo)致跟蹤失敗，而本文算法只要求選擇時盡可能準(zhǔn)確即可，當(dāng)跟蹤過程中有鏡頭的變換引起選擇框形變且形變不太大時，本文算法在跟蹤過程中都可以自適應(yīng)地調(diào)整選擇框的大小和形狀，順利完成跟蹤過程，若鏡頭變換較快，則跟蹤也會失效。

圖1 第15幀

圖2 第50幀

圖3 第95幀

圖4 第60幀

圖5 第85幀

圖6 第110幀

圖7 Camshift算法第15幀

圖8 Camshift算法第125幀

測試環(huán)境相對比較復(fù)雜時，里面不只有來回人物的干擾，還有環(huán)境中相似顏色的干擾，尤其是在視頻中有與目標(biāo)顏色相似的干擾物和目標(biāo)選擇較大時本文算法便略顯優(yōu)勢。Camshift算法易受到顏色的干擾，當(dāng)選擇框有偏差的時候就會出現(xiàn)選擇框擴(kuò)大，將有相近顏色的物體當(dāng)做跟蹤目標(biāo)，選擇目標(biāo)較大時，跟蹤效果不是很好，容易跟丟目標(biāo)。圖9、圖10和圖11、圖12是本文算法在復(fù)雜環(huán)境下選擇相比前面較大的中目標(biāo)和大目標(biāo)時的跟蹤結(jié)果，在這種情況下角點檢測結(jié)果比較準(zhǔn)確，能夠與顏色特征一起來決定跟蹤效果，相比而言要比小目標(biāo)情況下的跟蹤效果還好一點，由圖可以看出在復(fù)雜環(huán)境下本文算法可以實現(xiàn)穩(wěn)定的跟蹤，并且在有干擾的情況下跟蹤效果也較好。

圖9 第15幀

圖10 第100幀

圖11 第20幀

圖12 第50幀

本文算法是在Intel?Pentium?Dual 2.40 GHz的PC上運行的，程序是在Microsoft Visual Studio2010上實現(xiàn)的。為了驗證本文算法的跟蹤效果，對兩種算法在不同條件下分別做了50次實驗，按照目標(biāo)選取和環(huán)境的不同對復(fù)雜環(huán)境小目標(biāo)，簡單環(huán)境小目標(biāo)跟蹤、中目標(biāo)跟蹤、大目標(biāo)跟蹤以及Camshift算法跟蹤的成功率進(jìn)行了統(tǒng)計。在實驗過程中可以發(fā)現(xiàn)Camshift算法只要跟蹤框有輕微的偏差就會導(dǎo)致跟蹤失敗，而本文算法可以對這樣的偏差作調(diào)整完成跟蹤過程。因為本文算法是將角點特征和顏色特征自適應(yīng)融合之后進(jìn)行跟蹤的，當(dāng)目標(biāo)顏色有較大的變動時給此特征賦予較小的權(quán)重，相對的角點特征賦予較大的權(quán)重，在跟蹤的過程中能夠按比例自適應(yīng)地將不同特征分配不同的權(quán)重，統(tǒng)計結(jié)果如表1，可以看出本文算法成功率比Camshift算法要高一點，尤其是對復(fù)雜環(huán)境大目標(biāo)的跟蹤更準(zhǔn)確。但是由于本文算法的計算量較大，算法的處理速度相比Camshift較慢，這也是今后工作中需要優(yōu)化的一方面，并且當(dāng)運動目標(biāo)速度較快或者鏡頭變化較大時，跟蹤過程會出現(xiàn)較大的誤差。由于在前面的相似性度量過程中，各特征的貢獻(xiàn)度相差不確定，度量過程也存在誤差，造成后面的跟蹤也會出現(xiàn)一定的偏差。

表1 跟蹤結(jié)果統(tǒng)計表

6 結(jié)束語

本文提出了一種新的自適應(yīng)融合角點特征與顏色特征的Camshift目標(biāo)跟蹤算法，主要創(chuàng)新點在于融合策略的設(shè)計，特征的選取不再是以顏色為主，而是自適應(yīng)地計算各特征的權(quán)重，使跟蹤效果不只受某個特征變化的影響。該算法首先采用核密度估計思想計算了Harris角點特征和顏色特征的核概率密度函數(shù)，然后利用目標(biāo)模型與候選模型的相似度之比確定融合規(guī)則，并根據(jù)各特征的貢獻(xiàn)程度計算融合系數(shù)，將自適應(yīng)融合的目標(biāo)模型與Camshift算法相結(jié)合實現(xiàn)對目標(biāo)的跟蹤。文獻(xiàn)[13]和文獻(xiàn)[14]分別是船舶和灰度目標(biāo)的跟蹤，而本文算法是彩色的運動目標(biāo)的跟蹤，并且采用了一種新的融合規(guī)則，每個特征的權(quán)重不是固定不變的，而是隨著跟蹤條件的改變而改變的，避免了某一特征比重固定而在另一個特征為主要特征時對跟蹤的影響。實驗表明該算法實現(xiàn)了對目標(biāo)的較好，較準(zhǔn)確的跟蹤。

本文算法主要實現(xiàn)了動態(tài)環(huán)境下針對普通運動目標(biāo)的跟蹤，在過于簡單的環(huán)境下本文算法適用度不高，大目標(biāo)跟蹤相比小目標(biāo)跟蹤效果要好，但是對于快速運動的目標(biāo)和多目標(biāo)情況下的跟蹤需要繼續(xù)進(jìn)行研究。此外，目標(biāo)跟蹤過程中的遮擋問題也是近年來的研究熱點，這也是以后的研究過程將要考慮和解決的問題。

[1]Deilamani M J，Asli R N.Moving object tracking based on Mean-Shift algorithm and feature fusion[C]//Proc of the International Conference on Artificial Intelligence and Signal Processing，2011：48-53.

[2]Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）：546-577.

[3]丁業(yè)兵，王年，唐俊，等.基于顏色和邊緣特征Camshift目標(biāo)跟蹤算法[J].華東理工大學(xué)學(xué)報，2012，38（1）：69-74.

[4]周治平，陶利.基于角點特征融合的Mean-shift跟蹤算法[J].計算機(jī)工程，2012，38（2）：192-194.

[5]宋丹，趙保軍，唐林波.融合角點特征與顏色特征的Mean-Shift目標(biāo)跟蹤算法[J].系統(tǒng)工程與電子技術(shù)，2012，34（1）：199-203.

[6]尹宏鵬，柴毅，匡金駿，等.一種基于多特征自適應(yīng)融合的運動目標(biāo)跟蹤算法[J].光電子·激光，2010，21（6）：917-923.

[7]王鑫，唐振民.一種改進(jìn)的基于CamShift的粒子濾波實時目標(biāo)跟蹤算法[J].中國圖象圖形學(xué)報，2010，15（10）：1507-1514.

[8]李培華.序列圖像中運動目標(biāo)跟蹤[M].北京：科學(xué)出版社，2010：78-82.

[9]Guo C G，Li X L，Zhong L F.A fast and accurate conner detector based on Harris algorithm[C]//Proc of the 3rd International Conference on Intelligent Information Technology Application，2009：49-51.

[10]王葳，唐一平，任娟莉，等.一種改進(jìn)的Harris角點提取算法[J].光學(xué)精密工程，2008，16（10）：1995-2012.

[11]房超，王小鵬，牛云鵬，等.基于改進(jìn)Harris算法的角點檢測[J].計算機(jī)與數(shù)字工程，2011，39（5）：142-144.

[12]盧璇，雷航，郝宗波.聯(lián)合多特征的自動CamShift跟蹤算法[J].計算機(jī)應(yīng)用，2010，30（3）：650-652.

[13]云霄，肖剛.基于Camshift的多特征自適應(yīng)融合船舶跟蹤算法[J].光電工程，2012，38（5）：52-58.

[14]陳愛華，朱明，王艷華，等.融合梯度特征的灰度目標(biāo)跟蹤[J].微電子學(xué)與計算機(jī)，2009，26（2）：69-71.

[15]張建安，趙修斌，李思佳.一種用于目標(biāo)跟蹤的改進(jìn)粒子濾波算法[J].計算機(jī)工程，2012，38（5）：176-178.

CHEN Lijun,MAYongjie

College of Physical&Electronic Engineering,Northwest Normal University,Lanzhou 730070,China

In order to track moving targets in real time and effectively,in this paper,a new Camshift target tracking algorithm is proposed,in which corner features and color features are fused adaptively.The invariance of the corner is combined in this algorithm,and the kernel probability density estimation of the Mean-Shift algorithm is used to calculate the probability density function for each feature.Bhattacharyya coefficient is adopted as similarity measure function,then using the ratio of similarity to achieve adaptive fusion of corner and color features.The new probability density distribution and the Camshift tracking algorithm will be combined to achieve the target tracking.Simulation results show that the algorithm is better than traditional Camshift algorithm,and tracks object more accurately.

Camshift;feature fusion;Harris conner;Bhattacharyya coefficient;adaptive

為了能夠?qū)崟r有效地跟蹤運動目標(biāo)，提出了一種新的自適應(yīng)融合角點特征和顏色特征的Camshift目標(biāo)跟蹤算法。該算法融合了角點的特征不變性，并采用Mean-Shift算法提供的非參數(shù)核密度估計的統(tǒng)計思想，計算各特征的概率密度函數(shù)，用Bhattacharyya系數(shù)作為相似性度量函數(shù)，利用相似性度量值之比自適應(yīng)地融合角點特征和顏色特征，將得到的新的概率密度分布結(jié)合Camshift跟蹤算法實現(xiàn)目標(biāo)跟蹤。測試結(jié)果表明，該算法比傳統(tǒng)的Camshift算法跟蹤效果更好，更準(zhǔn)確。

Camshift；特征融合；Harris角點；Bhattacharyya系數(shù)；自適應(yīng)

A

TP391

10.3778/j.issn.1002-8331.1212-0205

CHEN Lijun,MA Yongjie.Camshift target tracking of adaptive fusion of corner features.Computer Engineering and Applications,2014,50（24）：178-182.

甘肅省省屬高校2011年度基本科研業(yè)務(wù)費專項資金項目。

陳麗君（1987—），女，碩士研究生，主要研究方向為數(shù)字圖像處理；馬永杰（1967—），男，博士，教授，主要研究方向為軟件技術(shù)，智能控制。E-mail：chenlijun87516@126.com

2012-12-17

2013-04-09

1002-8331（2014）24-0178-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-04-18，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130418.1618.022.html