吳超侯慶昆

（1.對外經(jīng)濟(jì)貿(mào)易大學(xué)體育部 北京 100029；2.聊城大學(xué)體育學(xué)院 山東 聊城 252000)

1、介紹

隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，它越來越多地應(yīng)用到人類社會的各個部門，擴(kuò)展了人類的大腦和感知能力。在視覺技術(shù)方面，計(jì)算機(jī)的利用可以模擬人類的視覺感知，促進(jìn)了計(jì)算機(jī)視覺(Computer vision,CV)的產(chǎn)生和發(fā)展，使計(jì)算機(jī)實(shí)現(xiàn)了人類的視覺功能，最終理解了三維世界。CV中的視頻目標(biāo)跟蹤 (Video Target Tracking,VTT)技術(shù)是通過計(jì)算機(jī)不斷推斷視頻中目標(biāo)位置的過程。具體來說，計(jì)算機(jī)在視頻的每一幀中定位目標(biāo)，然后生成盡可能完整的目標(biāo)活動軌跡。VTT技術(shù)廣泛應(yīng)用于日常和軍事目的，包括視頻監(jiān)控、虛擬現(xiàn)實(shí)(VR)、交通監(jiān)控、人機(jī)交互(HCI)、公共安全等方面，具有重要的理論意義和實(shí)用價(jià)值。對目標(biāo)檢測的研究，對于更好地分析球員的技術(shù)特點(diǎn)尤為重要。

目標(biāo)跟蹤需要解決的問題是在視頻中選擇要跟蹤的目標(biāo)，在下一幀視頻中找到目標(biāo)的準(zhǔn)確位置。體育賽事作為一項(xiàng)積極健康的大眾娛樂項(xiàng)目，更多的是以視頻的形式呈現(xiàn)，受到大眾的關(guān)注和討論。因此，體育視頻的自動分析技術(shù)變得越來越關(guān)鍵。足球視頻是一種受眾極其廣泛的體育視頻。在這些視頻中，會對球員進(jìn)行追蹤和檢測。一方面，教練和球員可以根據(jù)視頻分析數(shù)據(jù)，討論整體戰(zhàn)術(shù)和個人技術(shù)特點(diǎn)；另一方面，在轉(zhuǎn)播過程中，視頻分析可以增強(qiáng)比賽的觀看體驗(yàn)，從而滿足觀眾的需求。如果能夠利用圖像處理領(lǐng)域最流行的深度學(xué)習(xí)(Deep Learning,DL)算法，針對足球比賽場景設(shè)計(jì)一種魯棒的多目標(biāo)檢測與跟蹤算法，得到的算法將具有很高的實(shí)用價(jià)值和意義。從2012年開始，DL技術(shù)經(jīng)歷了8年的發(fā)展；目前，它已廣泛應(yīng)用于CV任務(wù)，并在視覺檢測和跟蹤領(lǐng)域取得了巨大成功。隨著數(shù)據(jù)規(guī)模的不斷增長，基于DL的目標(biāo)跟蹤算法的提出，也使得目標(biāo)跟蹤領(lǐng)域有了更大的突破。有學(xué)者利用貝葉斯網(wǎng)絡(luò)推理方法，帶目標(biāo)地在構(gòu)造圖中尋找最優(yōu)路徑。在此基礎(chǔ)上，通過預(yù)測位置、顏色、運(yùn)動方向、選手的平均速度等，可以在短時(shí)間內(nèi)解決遮擋等問題。

2、研究方法

2.1、目標(biāo)的特征表達(dá)

在目標(biāo)跟蹤和檢測任務(wù)中，玩家的特征表達(dá)將直接影響目標(biāo)跟蹤效果。在足球游戲中，要避免遮擋球員被不同隊(duì)伍的其他人所攻擊并造成跟蹤誤差的情況下，研究局部特征以增強(qiáng)目標(biāo)的表達(dá)，提高跟蹤效果是很重要的。定向梯度直方圖 (Histograms of Oriented Gradients，HOG)特征最早是由法國研究者Dalal等人提出的，是為了解決人體目標(biāo)檢測的問題。HOG特征是在CV和圖像處理中用于目標(biāo)檢測的特征描述符。它通過計(jì)算和計(jì)數(shù)圖像局部區(qū)域的梯度方向直方圖來組成特征，在描述人體方面有很好的效果。在足球比賽視頻中，HOG用梯度或邊緣信息來描述圖像中局部目標(biāo)的外觀和形狀。因此，它可以描述局部形狀信息，然后將球員從背景中區(qū)分出來。在HOG特征提取過程中，首先將其劃分為若干個小的連通區(qū)域(Cells)，并統(tǒng)計(jì)每個像素的HOG；其次為了保證特征的光照不變性，需要在更大范圍內(nèi)(Block)對局部直方圖的對比度進(jìn)行歸一化處理。HOG特征提取的主要步驟如圖1所示，包括圖像歸一化(灰度和Gamma校正)、梯度計(jì)算、Cell HOG統(tǒng)計(jì)以及Block內(nèi)歸一化；最后，生成HOG特征。為了減少光照的影響，處理光照過弱或過強(qiáng)的情況，需要對整個圖像進(jìn)行灰度和Gamma校正的歸一化處理。在圖像的紋理強(qiáng)度中，局部表面曝光貢獻(xiàn)了更大的比例。這種處理可以有效地減少圖像中的局部陰影和光照變化。HOG特征考慮了代表邊緣和形狀特征的梯度信息。顏色幾乎沒有貢獻(xiàn)，可以直接轉(zhuǎn)換成灰度圖像。灰度結(jié)果表示為：(1)中，R、G、B分別表示紅、綠、藍(lán)3種原色的成分。

圖1 HOG特征提取的主要步驟

為了減少圖像中的局部陰影和照度變化，首先，需要對整個圖像進(jìn)行Gamma校正，以增加或減少圖像的整體亮度。在實(shí)際操作中，可以使用兩種不同的方法進(jìn)行Gamma標(biāo)準(zhǔn)化:平方根法或?qū)?shù)法。

計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)的梯度，并相應(yīng)計(jì)算每個像素位置的梯度方向值；差分運(yùn)算不僅捕捉了輪廓、人體陰影和一些紋理信息，還削弱了光照的影響。

2.2、基于深度學(xué)習(xí)的目標(biāo)檢測算法改進(jìn)

一般情況下，視覺輸入由相機(jī)拍攝，然后連接到計(jì)算機(jī)。攝像機(jī)可以是靜止的，也可以是動態(tài)的。計(jì)算機(jī)利用跟蹤結(jié)果執(zhí)行必要的跟蹤和任何更高級別的任務(wù)。目前，基于深度學(xué)習(xí)的檢測方法已經(jīng)逐漸成為圖像檢測領(lǐng)域的主流技術(shù)。然而，在視頻分析方面，考慮到CNN在提取圖像中高級語義方面的優(yōu)異表現(xiàn)，除了對物體具有較強(qiáng)的魯棒性外，還將其作為目標(biāo)檢測的基礎(chǔ)。雖然已經(jīng)提出了端到端的學(xué)習(xí)方法，但是R-CNN系列模型作為一種基于區(qū)域提議(Region Proposal,RP)的目標(biāo)檢測算法，對于深度學(xué)習(xí)目標(biāo)檢測有著極其本質(zhì)的價(jià)值。R-CNN算法的總體思路是利用選擇性搜索(Selective Search,SS)算法在輸入圖像中獲取2000個獨(dú)立的RP；然后通過CNN提取每個固定RP中的目標(biāo)特征；最后利用支持向量機(jī)(Support Vector Machine,SVM)算法進(jìn)行目標(biāo)分類。利用CNN強(qiáng)大的特征提取能力，提高目標(biāo)檢測的性能。雖然通過SS算法可以直接獲得2000個RP，但由于每個RP都需要卷積，會造成大量的工作負(fù)載。測量發(fā)現(xiàn)，通過R-CNN模型完成對圖像的識別需要47s，在實(shí)時(shí)性方面存在較大的劣勢。在此基礎(chǔ)上，F(xiàn)ast-RCNN算法顯著縮短了模型訓(xùn)練和測試的時(shí)間，圖像識別的整體時(shí)間減少到1s以下。Fast-RCNN算法的優(yōu)化表現(xiàn)在在歸一化過程中利用了ROI Pooling方法，可以保證提取的特征向量具有相同的維數(shù)，從而使RP的失真較小，同時(shí)有效保留了RP的主要特征。此外，F(xiàn)ast-RCNN在CNN上進(jìn)行了分類和回歸。R-CNN算法返回邊界信息再對信息進(jìn)行分類的過程相比，這使得整個訓(xùn)練過程無需額外存儲。隨著R-CNN系列模型的發(fā)展，基于視覺幾何組16(Visual Geometry Group 16，VGG16)的fast-rcnn算法只需要進(jìn)行一次具有多個共享卷積層的卷積計(jì)算，即可獲得RP及其邊界。在fastrcnn算法中，首先通過conv層提取圖像特征，得到特征圖。然后，通過區(qū)域建議網(wǎng)絡(luò) (Regional Proposal Network,RPN)層生成Rps，通過興趣區(qū)域(Region of Interest,ROI)池化層完成歸一化過程。輸出固定大小的提議特征圖并發(fā)送到全連接層，在全連接層中完成目標(biāo)RP的計(jì)算，獲得目標(biāo)最終的精確位置。而對于足球比賽視頻中球員目標(biāo)的檢測，原來的Faster R-CNN(FRCN)算法是不適合小目標(biāo)。因此，會出現(xiàn)漏檢的情況。因此，有必要對算法進(jìn)行改進(jìn)。

2.3、球員運(yùn)動軌跡提取

當(dāng)探測器在足球比賽視頻的每一幀中檢測到目標(biāo)時(shí)，目標(biāo)跟蹤問題可以看作是現(xiàn)有軌跡集與新檢測到的目標(biāo)之間的匹配問題。在跟蹤球員的過程中，首先需要通過CNN對圖像進(jìn)行實(shí)時(shí)檢測，以獲取目標(biāo)集。在第一次檢測到每個目標(biāo)時(shí)，初始化其狀態(tài)向量，并表示為四維列向量xk：

圖2 多尺度特征提取算法

(1)中，x,y 表示目標(biāo)的位置信息 |（vy）|，vx，vy 表示目標(biāo)的速度信息。由于在視頻中只能檢測到目標(biāo)的位置信息，x.k初始化為(x0y0)，目標(biāo)的觀測向量可表示為zk=(x,y)T。由于視頻中相鄰幀之間的時(shí)間間隔約為30 ms，因此可以將目標(biāo)的運(yùn)動近似為均勻線性運(yùn)動。

綜合考慮目標(biāo)的運(yùn)動特征和檢測特征后，構(gòu)造t?1時(shí)刻設(shè)定的軌跡與t時(shí)刻設(shè)定的目標(biāo)之間的相似矩陣。相似矩陣表示新檢測到的目標(biāo)與現(xiàn)有運(yùn)動軌跡中的目標(biāo)之間的相似度，并表示出來

(2)Tt-1表示在t-1和D時(shí)刻設(shè)置的軌跡t表示t時(shí)刻設(shè)置的檢測目標(biāo)。

在構(gòu)建相似矩陣后，利用匈牙利方法求解數(shù)據(jù)關(guān)聯(lián)問題。為了避免誤關(guān)聯(lián)，設(shè)置了相似度閾值。如果軌跡與按照匈牙利方法分配的探測目標(biāo)之間的相似度低于設(shè)置的閾值，則不進(jìn)行關(guān)聯(lián)。如果在軌跡集或目標(biāo)檢測集中仍然存在不相關(guān)的元素，則認(rèn)為該目標(biāo)被遮擋、消失或新增。比較復(fù)雜的目標(biāo)遮擋問題在這里進(jìn)行分析。

足球比賽中的目標(biāo)遮擋包括部分遮擋和完全遮擋。如果目標(biāo)被部分遮擋(玩家B遮擋玩家A)，探測器將兩個目標(biāo)作為一個目標(biāo)進(jìn)行探測。此時(shí)，檢測到的特征信息包括2個目標(biāo)，因此A和B的軌跡可能是相關(guān)的，最終會導(dǎo)致一個目標(biāo)的軌跡存在，另一個目標(biāo)軌跡消失。如果目標(biāo)被完全遮擋(參與人B幾乎完全遮擋參與人A)，探測器就會智能檢測到一個目標(biāo)(參與人B)，參與人A就會消失。對目標(biāo)的部分遮擋會導(dǎo)致對目標(biāo)的漏檢。當(dāng)出現(xiàn)這種情況時(shí)，檢測結(jié)果可以通過已有的軌跡信息進(jìn)行校正，滑動窗口可以將新目標(biāo)分離并添加到軌跡集合中。

圖3 目標(biāo)遮擋后的分離算法流程

3、結(jié)論

隨著計(jì)算機(jī)技術(shù)的發(fā)展，對足球比賽視頻分析技術(shù)的性能要求不斷提高。在目標(biāo)跟蹤和檢測領(lǐng)域，已經(jīng)挖掘和應(yīng)用了很多算法，這對目標(biāo)跟蹤很有幫助。但考慮到在足球比賽中，傳統(tǒng)的目標(biāo)跟蹤方法無法滿足比賽視頻目標(biāo)跟蹤的要求，由于場地、運(yùn)動模式等因素的影響，需要進(jìn)行優(yōu)化。DL技術(shù)的發(fā)展對目標(biāo)檢測具有重要意義。因此，在這里將其與目標(biāo)檢測結(jié)合起來。首先，討論了R-CNN模型系列的應(yīng)用，改進(jìn)了FRCN模型在小目標(biāo)檢測方面的缺陷。對FRCN算法進(jìn)行了優(yōu)化，并在數(shù)據(jù)集OTB2013上測試了準(zhǔn)確率和成功率。結(jié)果表明，優(yōu)化后的FRCN算法的目標(biāo)跟蹤精度達(dá)到89.1%，目標(biāo)跟蹤成功率達(dá)到64.5%，運(yùn)行幀率保持在25fps左右。目標(biāo)跟蹤的準(zhǔn)確性超過了用來完成再檢測任務(wù)的SINT算法。為了更有效地測試所提出的玩家軌跡提取算法的性能，在公共數(shù)據(jù)集上測試了玩家軌跡提取的效果。在80個運(yùn)動軌跡上，優(yōu)化后的FRCN算法的優(yōu)點(diǎn)是平均檢測結(jié)果更好，每個軌跡的檢測結(jié)果波動不大。在正常情況下，F(xiàn)RCN算法在大多數(shù)幀中都不會丟失目標(biāo)。但是，隨著重疊的增加，它的AUC迅速下降，這可能與基于dl的非尺度檢測器有關(guān)。在目標(biāo)被遮擋的情況下，與其他算法相比，優(yōu)化后的FRCN算法的AUC下降幅度較小。綜上所述，基于DL技術(shù)的優(yōu)化FRCN算法能夠更好地跟蹤足球比賽視頻中的球員目標(biāo)，并且對于球員互相遮擋的情況具有魯棒性。由于沒有討論不同球隊(duì)球員遮擋情況下的目標(biāo)跟蹤問題，因此存在一定的局限性，未來將加以改進(jìn)，以便更好地利用深度學(xué)習(xí)現(xiàn)代技術(shù)分析足球比賽中球員的技術(shù)特點(diǎn)，優(yōu)化觀眾體驗(yàn)，帶動源自足球的經(jīng)濟(jì)產(chǎn)品的發(fā)展，促進(jìn)足球運(yùn)動的傳播推廣。