谷帥

摘 要：針對(duì)無(wú)遮擋情況下的跟蹤問(wèn)題，利用卡爾曼濾波的預(yù)測(cè)性與特征匹配相結(jié)合的方法對(duì)目標(biāo)臺(tái)球進(jìn)行跟蹤，以期提高跟蹤的實(shí)時(shí)性和準(zhǔn)確性。針對(duì)有遮擋情況下的跟蹤問(wèn)題，根據(jù)運(yùn)動(dòng)臺(tái)球具有明顯的顏色特性，采用卡爾曼濾波與Mean Shift相結(jié)合的方法，實(shí)驗(yàn)結(jié)果表明該方法具有良好的穩(wěn)健性和實(shí)時(shí)性。

關(guān)鍵詞：卡爾曼濾波；特征匹配；Mean Shift；實(shí)時(shí)性

近年來(lái)，隨著中國(guó)選手在國(guó)際斯諾克比賽中佳績(jī)頻頻，使得這項(xiàng)運(yùn)動(dòng)倍受關(guān)注。然而，一場(chǎng)臺(tái)球比賽持續(xù)兩三個(gè)小時(shí)很平常，這就對(duì)裁判的注意力和體力的要求很高，稍一分心就有可能報(bào)錯(cuò)分?jǐn)?shù)或者不能對(duì)臺(tái)球進(jìn)行復(fù)位。在一些國(guó)內(nèi)外的比賽中，基于視頻的智能輔助系統(tǒng)的研究 [1-3]已經(jīng)應(yīng)用到比賽中，因此，對(duì)臺(tái)球比賽視頻的分析研究是非常必要的。

隨著科技水平的不斷提高，運(yùn)用計(jì)算機(jī)視頻幫助并逐漸取代人工監(jiān)督和分析任務(wù)的情景越來(lái)越多。由此產(chǎn)生了計(jì)算機(jī)視覺(jué)[4]。計(jì)算機(jī)視覺(jué)主要包括運(yùn)動(dòng)目標(biāo)檢測(cè)，目標(biāo)提取，目標(biāo)識(shí)別與跟蹤幾個(gè)方面。其中，最具有挑戰(zhàn)的是對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤的一些常用方法有：基于子空間的跟蹤方法，基于背景建模的跟蹤方法，基于確定性運(yùn)動(dòng)建模的跟蹤方法，基于貝葉斯濾波的跟蹤方法，基于特征匹配的跟蹤方法等。

基于子空間的跟蹤方法能夠在跟蹤目標(biāo)外在特征變化時(shí)很好的對(duì)目標(biāo)進(jìn)行跟蹤，但是，它需要事先進(jìn)行訓(xùn)練，這就局限了它的應(yīng)用范圍?；诒尘敖５姆椒梢蕴幚砉庹兆兓捅尘爸兄芷谛缘倪\(yùn)動(dòng)，該方法的缺點(diǎn)是它需要存儲(chǔ)每個(gè)樣本點(diǎn)，而且每個(gè)樣本點(diǎn)都要參加核函數(shù)的計(jì)算。這就帶來(lái)了很高的存儲(chǔ)開(kāi)銷(xiāo)和計(jì)算代價(jià)?；诖_定性運(yùn)動(dòng)建模的跟蹤方法具有執(zhí)行速度快的優(yōu)點(diǎn)，然而，該方法大多是采用局部?jī)?yōu)化的方法來(lái)獲得運(yùn)動(dòng)參數(shù)，容易陷入局部極小點(diǎn)?；谔卣髌ヅ涞母櫡椒?，即使當(dāng)場(chǎng)景中的光照條件，亮度等不斷發(fā)生變化時(shí)，目標(biāo)跟蹤仍然不受影響；而且它能利用目標(biāo)的局部特征來(lái)實(shí)現(xiàn)目標(biāo)的跟蹤，就算目標(biāo)部分被遮擋的情況也能實(shí)現(xiàn)目標(biāo)的跟蹤。它的計(jì)算量小，適于對(duì)實(shí)時(shí)性有要求的應(yīng)用場(chǎng)景。

1 基于卡爾曼濾波與特征匹配的臺(tái)球跟蹤

1.1 基于臺(tái)球特征匹配的跟蹤方法

基于臺(tái)球特征匹配的跟蹤方法是利用臺(tái)球的特征信息實(shí)現(xiàn)其從一幀圖象到下一幀圖象的匹配。進(jìn)行圖象特征匹配的特征可以是運(yùn)動(dòng)目標(biāo)的形狀，也可以是顏色，面積，還可以是位置信息等，本文中目標(biāo)的匹配主要是通過(guò)臺(tái)球特征信息的相似性來(lái)實(shí)現(xiàn)的。根據(jù)臺(tái)球的特殊性，在此主要選取了臺(tái)球的位置特征，面積特征和顏色特征。在對(duì)臺(tái)球的跟蹤中，通過(guò)檢測(cè)臺(tái)球目標(biāo)在每幀圖像上的位置信息和幾何信息，將相鄰兩幀圖象中同一臺(tái)球的這些特征對(duì)應(yīng)起來(lái)就可以實(shí)現(xiàn)對(duì)該臺(tái)球的匹配。為此，文章選用的視頻是每秒25幀，在相鄰幀之間臺(tái)球的運(yùn)動(dòng)比較平緩，短時(shí)間內(nèi)的位移距離較小，幾何特征信息相近，因此根據(jù)臺(tái)球目標(biāo)在相鄰兩幀圖像中幾何特征具有很高的相似性就可以實(shí)現(xiàn)臺(tái)球目標(biāo)的匹配。

1.2 Kalman濾波與特征匹配相結(jié)合的臺(tái)球跟蹤

基于區(qū)域的目標(biāo)跟蹤是利用相鄰幀圖象之間目標(biāo)的特征具有較高的相似性進(jìn)行匹配，從而實(shí)現(xiàn)目標(biāo)跟蹤，文章中是對(duì)每一幀圖象做目標(biāo)分割、識(shí)別、特征提取等處理，因此，匹配是以前一幀的目標(biāo)特征信息為模板，在當(dāng)前幀圖象的所有候選目標(biāo)中尋找特征相近的目標(biāo)即可實(shí)現(xiàn)匹配。應(yīng)用基于Kalman濾波的運(yùn)動(dòng)估計(jì)的方法能夠預(yù)測(cè)運(yùn)動(dòng)目標(biāo)下一狀態(tài)的運(yùn)動(dòng)信息，縮小運(yùn)動(dòng)目標(biāo)檢測(cè)的范圍，如此可以節(jié)省對(duì)目標(biāo)的全局搜索處理，提高搜索的可靠性和實(shí)時(shí)性。

應(yīng)用Kalman濾波進(jìn)行運(yùn)動(dòng)估計(jì)，可以有效地減小噪聲帶來(lái)的干擾，只需要在當(dāng)前跟蹤窗口的范圍內(nèi)進(jìn)行檢測(cè)，這樣就大大的減少了計(jì)算量。利用當(dāng)前幀檢測(cè)到的目標(biāo)狀態(tài)信息對(duì)下一幀的目標(biāo)狀態(tài)信息進(jìn)行預(yù)測(cè)，根據(jù)預(yù)測(cè)的目標(biāo)信息在下一幀圖像中對(duì)應(yīng)出跟蹤窗口范圍，在該范圍內(nèi)依據(jù)選定的目標(biāo)特征匹配方法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，此過(guò)程反復(fù)迭代即實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的連續(xù)跟蹤。

最后，對(duì)視頻序列實(shí)現(xiàn)連續(xù)多幀圖像中同一目標(biāo)的匹配跟蹤即可獲得目標(biāo)的運(yùn)動(dòng)軌跡。

2 Mean Shift與卡爾曼濾波相結(jié)合的運(yùn)動(dòng)臺(tái)球跟蹤

2.1 Mean Shift與卡爾曼濾波結(jié)合算法

Kalman濾波與特征匹配相結(jié)合的方法在沒(méi)有遮擋的情況下具有很好的跟蹤效果，但當(dāng)目標(biāo)在運(yùn)動(dòng)過(guò)程被遮擋的時(shí)候，如被選手遮擋，在視頻中就無(wú)法獲得目標(biāo)的質(zhì)心、面積等特征，無(wú)法對(duì)后續(xù)幀提供可靠的觀(guān)測(cè)值及匹配特征，就會(huì)導(dǎo)致跟蹤失效。因?yàn)榕_(tái)球的顏色特征明顯，在遮擋前與重現(xiàn)出現(xiàn)之后的顏色基本不變可以考慮用均值漂移（Mean Shift）與卡爾曼濾波想結(jié)合的方法來(lái)解決目標(biāo)被遮擋的問(wèn)題。

卡爾曼濾波器與Mean Shift相結(jié)合的算法如下：

⑴根據(jù)斯諾克視頻中對(duì)目標(biāo)臺(tái)球的初始化位置，推算出初始狀態(tài)向量和其它一些參數(shù)。⑵通過(guò)卡爾曼濾波器來(lái)預(yù)測(cè)臺(tái)球在當(dāng)前幀中的可能位置。⑶把2中預(yù)測(cè)的臺(tái)球可能位置作為Mean Shift算法的迭代起點(diǎn)，開(kāi)始進(jìn)行運(yùn)算，直到收斂，得到臺(tái)球的真實(shí)位置。⑷把3中得到的臺(tái)球真實(shí)位置當(dāng)做卡爾曼濾波器的觀(guān)測(cè)向量，進(jìn)而更新卡爾曼濾波器。⑸利用4中的濾波器反復(fù)第2步到第4步的過(guò)程，得出下一幀中臺(tái)球的位置，如此反復(fù)，就可以完成對(duì)臺(tái)球的跟蹤過(guò)程。

2.2 目標(biāo)遮擋情況的跟蹤

針對(duì)運(yùn)動(dòng)臺(tái)球在臺(tái)球被大比例遮擋情況下的跟蹤問(wèn)題，利用Mean Shift與卡爾曼濾波相結(jié)合的算法進(jìn)行跟蹤，Mean Shift與卡爾曼濾波相結(jié)合的算法可以不用斯諾克視頻前一幀中臺(tái)球的位置初始化迭代起點(diǎn)，而是利用卡爾曼濾波的預(yù)測(cè)性預(yù)測(cè)出下一幀中臺(tái)球的可能位置，并把這個(gè)位置作為初始化Mean Shift算法的迭代起點(diǎn)，這樣就使得該算法能夠更快速的搜索臺(tái)球的真實(shí)位置。

當(dāng)目標(biāo)臺(tái)球被大面積或者是全部遮擋的時(shí)候，根據(jù)Bhattacharyya系數(shù)可以判斷臺(tái)球是否被嚴(yán)重遮擋，如果臺(tái)球被大面積遮擋，就利用線(xiàn)性估計(jì)的方法來(lái)估計(jì)臺(tái)球的質(zhì)心位置，并把此位置當(dāng)做卡爾曼濾波的觀(guān)測(cè)值來(lái)跟新卡爾曼濾波器來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)臺(tái)球的跟蹤；當(dāng)運(yùn)動(dòng)臺(tái)球完整出現(xiàn)的時(shí)候，就利用Mean Shift與卡爾曼濾波相結(jié)合繼續(xù)對(duì)臺(tái)球進(jìn)行跟蹤。

3 實(shí)驗(yàn)數(shù)據(jù)與分析

實(shí)驗(yàn)通過(guò)提取一段斯諾克視頻的部分片段來(lái)實(shí)現(xiàn)跟蹤過(guò)程，具體的跟蹤結(jié)果如下：

如圖1所示，a為第61幀剛開(kāi)始擊打臺(tái)球的匹配跟蹤軌跡圖，b，c分別為第68幀和第75幀的匹配跟蹤軌跡圖。

如圖2所示，a為跟蹤的起始幀第48幀，b為第52幀跟蹤軌跡圖，此時(shí)臺(tái)球已被完全遮擋，c為第56幀臺(tái)球完整重現(xiàn)的跟蹤軌跡圖。Mean Shift與卡爾曼濾波相結(jié)合的方法在目標(biāo)臺(tái)球遇到大比例遮擋和重新完整出現(xiàn)時(shí)也能很好的跟蹤。

4 結(jié)語(yǔ)

文章利用卡爾曼濾波對(duì)運(yùn)動(dòng)狀態(tài)的預(yù)測(cè)性，通過(guò)預(yù)測(cè)出下一幀圖象中運(yùn)動(dòng)臺(tái)球的可能位置，縮小檢測(cè)與跟蹤的范圍，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)臺(tái)球的快速跟蹤。針對(duì)運(yùn)動(dòng)臺(tái)球是否被遮擋的情況，分別提出了Kalman與Mean Shift相結(jié)合的算法和Kalman與特征匹配相結(jié)合的方法來(lái)實(shí)現(xiàn)對(duì)臺(tái)球的快速跟蹤。實(shí)驗(yàn)結(jié)果表明在臺(tái)球比賽中，這兩種方法在運(yùn)動(dòng)臺(tái)球的跟蹤上具有良好的效果。

[參考文獻(xiàn)]

[1]Bo-Ru Cheng，Je-Ting Li，Jr-Syu Yang.Design of the Neural-Fuzzy Compensator for a Billiard Robot.Networking， Sensing and Control，2004 IEEE International Conference on Volume 2，2004 Page（s）：909-913 Vol.2.

[2]Lin Z.M.，Yang J.S.，Yang C.Y.Grey decision-making for a billiard robot. Systems，Man and Cybernetics，2004 IEEE International Conference on Volume 6，10-13 Oct.2004 Page（s）：5350-5355 vol.6.

[3]Ho K.H.L.，Martin T.，Baldwin J..Snooker robot player-20 years on Computational Intelligence and Games，2007.CIG 2007.IEEE Symposium on 1-5 April 2007 Page（s）：1-8.

[4]馬頌德，張正友.計(jì)算機(jī)視覺(jué)計(jì)算理論與算法基礎(chǔ)[M].北京：科學(xué)出版社，1998：2-8.