邵靜雯，孟朝暉

（河海大學(xué) 江蘇 南京 211100）

基于質(zhì)心的籃球運動員跟蹤與檢測

邵靜雯，孟朝暉

（河海大學(xué) 江蘇 南京 211100）

在現(xiàn)代職業(yè)籃球比賽中，視頻注釋、裁判規(guī)則驗證和自動跟蹤統(tǒng)計是熱門話題。本文在攝像頭靜止的基礎(chǔ)上，提出了一種基于質(zhì)心的籃球運動員跟蹤與檢測。這篇文章分為3個部分:首先利用最大后驗概率（MAP）檢測器來分割場地和檢測球員；然后利用球員的質(zhì)心來進(jìn)行跟蹤；最后用單應(yīng)性變換將球員的位置自上而下地映射到球場中。該算法用MATLAB搭建實驗平臺，采用C語言進(jìn)行編程。在一個125幀的視頻樣本中，在不出現(xiàn)場上球員重疊的情況下，該算法能夠準(zhǔn)確的檢測和跟蹤每個球員。

球員跟蹤與檢測；MAP檢測器；質(zhì)心；單應(yīng)性矩陣；MATLAB

在體育視頻中檢測和跟蹤運動員具有非常重要的意義，它有助于實現(xiàn)體育視頻的自動分析，從而為體育訓(xùn)練提供先進(jìn)的工具和手段。運動員的運動是不規(guī)則的，他們在運動過程中姿態(tài)會發(fā)生各種變化，運動員與場景的顏色可能會比較相似。運動員之間還經(jīng)常存在相互遮擋，體育視頻的特殊性給運動員的檢測與跟蹤過程帶來了許多挑戰(zhàn)。在當(dāng)代體育世界中，籃球運動占了很重要的比重?；@球運動員的自動跟蹤與檢測，對職業(yè)和高校體育有很大好處。通過自動統(tǒng)計數(shù)據(jù)，可以了解對方球員的組成、策略等團(tuán)隊信息。實時圖像分析也可以加強(qiáng)對裁判判斷的驗證，減少對比賽的人為誤判。為了有效實現(xiàn)體育視頻中運動員的檢測和跟蹤功能，并驗證算法的正確性。本文提出一種基于質(zhì)心的跟蹤算法來實現(xiàn)該功能。

1　算法介紹

1.1場地分割

本文利用最大后驗概率（MAP）檢測器來進(jìn)行場地分割。

假設(shè)給定兩幀fk（當(dāng)前幀）和fk-1（搜索幀），根據(jù)我們定義的運動場（V），顏色場（G），以及它們與最后的分割標(biāo)記場（L）之間的關(guān)聯(lián)性，在一定的運動矢量場和顏色均值場的條件下求取計算分割標(biāo)記場的最大后驗概率密度。利用貝葉斯公式，其后驗概率密度函數(shù)可表示為

上式中，分母p（V，G/fk-1）相對于其他標(biāo)記場來說是不變的常數(shù)，因此其最大后驗概率的標(biāo)記場可表示為

上式右邊第1個p為條件概率密度函數(shù)提供了在第k-1幀情況下，當(dāng)前位移和分割估計與第k幀相一致的程度。

在描述圖像條件概率密度函數(shù)中，馬爾可夫隨機(jī)場（MarkovRandomField，MRF）模型提供了一種有力的工具。在MRF中，隨機(jī)場中某個點的局部條件概率密度僅僅依賴于該點領(lǐng)域內(nèi)的隨機(jī)場分布，而且MRF可以將局部相關(guān)性加以傳播，MRF模型還可有效地描述圖像的許多屬性。但是MRF一般都是通過條件分布或聯(lián)合分布來表達(dá)的，這帶來了計算上的不便。根據(jù)Gibbs分布與MFR之間等價性的理論，可以用Gibbs分布來描述MRF。因此上式中的條件概率可以用Gbibs分布模型可表示成

其中Q1是分割函數(shù)（常量），且

稱為Gibbs勢能。式（2）中第2個p是在給定運動分割和搜索幀的條件下，運動場的條件概率密度函數(shù)，忽略其對搜索幀的依賴性，用Gibbs分布作為模型，可表示為

其中Q2是常量，U2（·）由下式給出：

式中Nm，n是像素點（m，n）的鄰域。δ（·）是沖激函數(shù)。

式（2）中第3個p是分割場的先驗概率模型，忽略其對當(dāng)前幀和搜索幀的依賴性，為了鼓勵形成連續(xù)的區(qū)域，用Gibbs分布模型可表示為

Q3是常量，U3由下式給出：

γ是能量控制項。上式中二階鄰域勢能能量為

基于以上分析，其后驗概率密度函數(shù)可重新表示為

本文首先在視頻前十幀使用訓(xùn)練掩碼訓(xùn)練MAP檢測器，通過在這些幀中分割已知場地像素，我們利用MAP檢測器來確定場地像素的平均RGB值。經(jīng)過測定RGB的平均值后，MAP檢測器對每個像素的二值閾值的平均值在10%以內(nèi)，產(chǎn)生一個嘈雜但是輪廓清晰的場地。如圖1為原始樣本視頻的第一幀。我們通過形態(tài)學(xué)運算來填充黑洞和光滑邊緣，產(chǎn)生一個清晰的二值掩碼圖（如圖2）。這里存在兩個干擾：第一個是有球員多次出現(xiàn)在球場邊緣，因此他的身體在球場邊界外，正如右上方的紅隊球員（如圖1）。為了保留這些在球場邊緣的球員，要擴(kuò)大整個場地的二值圖的范圍。第二個是每個籃筐上的記分板，由于計分的顏色和球員球衣的顏色類似，這會導(dǎo)致錯誤的檢測。但是，由于記分牌在每個視頻幀處于靜態(tài)位置，可以利用二值掩碼［3］過濾掉。

1.2球員檢測

這一步是檢測每一個球員個體以及區(qū)分他是哪支球隊的。類似于場地分割，通過使用二值掩碼，訓(xùn)練MAP檢測器來確定每個球隊球衣的平均YCbCr值。

圖1　原始樣本視頻的第一幀F(xiàn)ig．1　The original first frame of the sample video

圖2　第一幀中球場的二值掩碼圖Fig．2　The final binary court mask of the first frame

訓(xùn)練MAP檢測器之后，球員檢測的每一幀都要用到圖像處理。首先，圖像乘以一個二值掩碼來消除干擾噪（如圖3），然后在每個球隊的預(yù)期YCbCr值的基礎(chǔ)上確定圖像的二值閾值（如圖4）。接著，形態(tài)學(xué)相似運算通過使用一個25*20的矩形結(jié)構(gòu)化元素來增加最大檢查的規(guī)模（圖4）。使用25*20的矩形結(jié)構(gòu)化元素是考慮到它與運動員的相似之處，因為球員相較于體寬，身高總是更長。最后，10個最大的相連白點被用來檢測其中一隊球員們在球隊中的位置。用10個最大的點代替5個是因為最大的點不一定總是正確的球員。通過檢測更多的對象，才能在跟蹤函數(shù)上實現(xiàn)過濾（圖5）。

圖3　增加了球場二值掩碼的一幀視頻Fig．3　A video frame multipliedby the binary court mask

圖4　用紅隊訓(xùn)練過的YCbCr值來界定閾值之后的球場二值掩碼圖Fig．4　The binary court masked video frame after beingthresholded based on Ohio St．'s trained YCbCrvalues

圖5　經(jīng)過形態(tài)學(xué)閉運算之后的二值閾值圖Fig．5　The binary thresholded image after a morphologicalclose operation

圖6　標(biāo)記后的圖Fig．6　A video frame marked

1.3球員跟蹤

在其中一個球隊中可能的球員檢測出來之后，系統(tǒng)建立新的跟蹤，并且自動關(guān)聯(lián)到另外一個球隊的軌跡上。在第一幀中，最大的5個相連區(qū)域是球員的正確位置。球員的像素坐標(biāo)（X，Y）就是這些相連區(qū)域的幾何中心位置，在Y方向額外增加30個像素，這個偏移使得重心下降，這樣能使像素點位置接近球員的腳，而不是他們的腰。

第一幀中的五個球員檢測出來之后，系統(tǒng)通過后續(xù)幀循環(huán)進(jìn)行軌跡關(guān)聯(lián)。對于檢測到的10個可能球員，它檢測了10個可能的（X，Y）位置，與文獻(xiàn)［1］，［2］，［5］中提到的球員跟蹤類似，它與10個已經(jīng)建立的軌跡比較坐標(biāo)位置（X，Y）。如果（X，Y）間的歐氏距離是在50個像素內(nèi)，且檢測到是同一球隊的，那么跟蹤函數(shù)與軌跡相關(guān)，將跟新當(dāng)前的像素位置。如果在已經(jīng)建立的跟蹤軌跡的50像素內(nèi)沒有檢測到球員，那么重復(fù)之前（X，Y）位置的軌跡構(gòu)建。

1.4視頻幀的單應(yīng)性變換

最后一步是將每幀中球員的位置映射到球場自上而下視圖的實際位置。一個關(guān)鍵的假設(shè)是，視頻有一個靜態(tài)攝像機(jī)角度，不需要單應(yīng)性矩陣的動態(tài)計算。通過這樣的假設(shè)，要使用仿射變換，需要預(yù)先計算一個3*3的單應(yīng)矩陣。每個球員的（X，Y）像素的位置乘以單應(yīng)矩陣，就對應(yīng)到他們在自上而下視圖球場中的真正位置（圖7）。

圖7　經(jīng)過仿射變換后紅隊和藍(lán)隊球員的位置Fig．7　The detected player positions for red and blue after projection using an affine transformation

2　實驗結(jié)果

如圖6顯示，基于質(zhì)心的球員檢測是相當(dāng)清晰明了和可靠的。在一個125幀的視頻樣本中，球員檢測捕獲了兩支球隊中95．6%的球員。如圖8所示，黃色路徑跟丟了一個球員，是由于同一個球隊中的球員有交叉路徑，降低了系統(tǒng)的整體精度。

水平質(zhì)心方差近似達(dá)到了30像素，垂直質(zhì)心方差達(dá)到了15像素。投影到2D的場地中，大約有1米的未經(jīng)過濾的跟蹤誤差（圖8和圖9）。

圖8　視頻樣例中紅隊球員的運動軌跡（①和②代表球員開始和結(jié)束的位置）Fig．8　Player in the red detections and tracking for a frame of the samplevideo（Large①and②dots represent the players starting and endingpositions，respectively）

圖9　視頻樣例中藍(lán)隊球員的運動軌跡（①和②代表球員開始和結(jié)束的位置）Fig．9　Player in the blue detections and tracking for a frame of the samplevideo（Large①and②dots represent the players starting and endingpositions，respectively）

3　結(jié)　論

對于固定攝像機(jī)跟蹤，球員的位置跟蹤精度控制在一米，這個值的偏差達(dá)到了項目的既定目標(biāo)。細(xì)化和過濾球員檢測和跟蹤，精度可以作為有效的標(biāo)準(zhǔn)。說明基于質(zhì)心的球員跟蹤有很大的應(yīng)用前景。該方法不考慮改變相機(jī)的角度，因此它不支持移動攝像的觀點。目前的算法下，當(dāng)兩個球員完全重疊，將跟丟一個球員，或者使得兩個球員的跟蹤被交換。目前缺少的關(guān)鍵功能是自動球場單應(yīng)性測定。有幾種方法可以實現(xiàn)，包括SIFT關(guān)鍵點的球場以及球場掩碼邊緣及角點檢測的匹配。這兩種方法都有自身的復(fù)雜性以及與之相關(guān)的問題。

球員的位置過濾可以大大提高系統(tǒng)的保真度。球員的貝葉斯過濾將大大減少基于質(zhì)心檢測的抖動。在同一隊中，在屏幕或攝像機(jī)角度切換的時候，為了消除球員交叉軌跡歧義，確定替換和恢復(fù)球員的時候，必須區(qū)分使用SIFT檢測或其他類似的識別技術(shù)。

［1］WL L，JA T，JJ L，et al．Learning to track and identify players from broadcast sports videos［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（7）: 1704-1716．

［2］Ekin，A．；Tekalp，A．M．；Robust dominant color region detectionand color-based applications for sports video［C］//Image Processing，International Conference，2003．

［3］Hu M，Chang M，Ja-Ling Wu，et al．Robust camera calibration and player tracking in broadcast basketball video［J］．Multimedia，IEEE Transactions on，2011，13（2）:266-279．

［4］J X，H A，L L，et al．Multiple player tracking in sports video: a dual-mode two-way bayesian inference approach with progressive observation modeling［J］．IEEE Trans Image Process，2011，20（6）:1652-1667．

［5］Nebehay G，Pflugfelder R．Consensus-based matching and tracking of keypoints for object tracking［C］//Applications of Computer Vision（WACV），IEEE Conference，2014．

［6］Nebehay G，Pflugfelder R．TLM:Tracking-learning-matching of keypoints［C］//Distributed Smart Cameras（ICDSC），Seventh International Conference，2013

［7］Kuan C，Huang M，Chen D．Capturing and Tracking Performance of patent portfolio using complement area centroid［J］．NgnrngManagmnRanaon on，2013，60（3）:496-505．

［8］林輝．基于MATLAB/Simulink的感應(yīng)電機(jī)控制系統(tǒng)仿真［J］．工業(yè)儀表與自動化裝置，2015（1）:89-93．

［9］高靜，楊楠，賀元康．基于Matlab/Simulink的直流輸電系統(tǒng)異常引起的發(fā)電機(jī)組失步保護(hù)動作仿真分析［J］．陜西電力，2014（2）：70-73．

［10］康海龍，姜秀杰．基于MATLAB的探空火箭測控系統(tǒng)仿真［J］．電子設(shè)計工程，2014（10）:1-3．

Basketball player tracking and detecting based on centroids

SHAO Jing-wen，MENG Zhao-hui
（HoHai University，Nanjing 211100，China）

In themodern game of professional and collegiate basketball，automated stat tracking，referee rule verification，and video annotation are popular topics．This paperpresents techniques for players’tracking and detecting based on players’centroid when the camera is still．This article is divided into three parts:First，using themaximum posteriorprobability（MAP）detector to cut the field and detect players；Then extracting the player's centroid for tracking；Finally，usinghomography to project each player’sframe position to their actual position on a top-down view ofthe court．Thisalgrithmbuild the experimental platformon MATLAB by C language．In a video sample of 125 frames，until morecomplex situations arose，such as players overlapping on thecourt．In ideal situations，these techniques provided reliabledetection and tracking．

player tracking and detection；the MAP detector；the centroid；homography；MATLAB

TN99

A

1674－6236（2016）02-0176-04

2015-03-26稿件編號：201503368

邵靜雯（1991—），女，江蘇蘇州人，碩士研究生。研究方向：計算機(jī)視覺，圖像處理。