国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

足球比賽視頻中的球員目標(biāo)跟蹤與檢測研究

2022-11-01 09:01:34吳超侯慶昆
文體用品與科技 2022年21期
關(guān)鍵詞:足球比賽軌跡球員

吳超侯慶昆

(1.對外經(jīng)濟(jì)貿(mào)易大學(xué)體育部 北京 100029;2.聊城大學(xué)體育學(xué)院 山東 聊城 252000)

1、介紹

隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展,它越來越多地應(yīng)用到人類社會的各個部門,擴(kuò)展了人類的大腦和感知能力。在視覺技術(shù)方面,計(jì)算機(jī)的利用可以模擬人類的視覺感知,促進(jìn)了計(jì)算機(jī)視覺(Computer vision,CV)的產(chǎn)生和發(fā)展,使計(jì)算機(jī)實(shí)現(xiàn)了人類的視覺功能,最終理解了三維世界。CV中的視頻目標(biāo)跟蹤 (Video Target Tracking,VTT)技術(shù)是通過計(jì)算機(jī)不斷推斷視頻中目標(biāo)位置的過程。具體來說,計(jì)算機(jī)在視頻的每一幀中定位目標(biāo),然后生成盡可能完整的目標(biāo)活動軌跡。VTT技術(shù)廣泛應(yīng)用于日常和軍事目的,包括視頻監(jiān)控、虛擬現(xiàn)實(shí)(VR)、交通監(jiān)控、人機(jī)交互(HCI)、公共安全等方面,具有重要的理論意義和實(shí)用價(jià)值。對目標(biāo)檢測的研究,對于更好地分析球員的技術(shù)特點(diǎn)尤為重要。

目標(biāo)跟蹤需要解決的問題是在視頻中選擇要跟蹤的目標(biāo),在下一幀視頻中找到目標(biāo)的準(zhǔn)確位置。體育賽事作為一項(xiàng)積極健康的大眾娛樂項(xiàng)目,更多的是以視頻的形式呈現(xiàn),受到大眾的關(guān)注和討論。因此,體育視頻的自動分析技術(shù)變得越來越關(guān)鍵。足球視頻是一種受眾極其廣泛的體育視頻。在這些視頻中,會對球員進(jìn)行追蹤和檢測。一方面,教練和球員可以根據(jù)視頻分析數(shù)據(jù),討論整體戰(zhàn)術(shù)和個人技術(shù)特點(diǎn);另一方面,在轉(zhuǎn)播過程中,視頻分析可以增強(qiáng)比賽的觀看體驗(yàn),從而滿足觀眾的需求。如果能夠利用圖像處理領(lǐng)域最流行的深度學(xué)習(xí)(Deep Learning,DL)算法,針對足球比賽場景設(shè)計(jì)一種魯棒的多目標(biāo)檢測與跟蹤算法,得到的算法將具有很高的實(shí)用價(jià)值和意義。從2012年開始,DL技術(shù)經(jīng)歷了8年的發(fā)展;目前,它已廣泛應(yīng)用于CV任務(wù),并在視覺檢測和跟蹤領(lǐng)域取得了巨大成功。隨著數(shù)據(jù)規(guī)模的不斷增長,基于DL的目標(biāo)跟蹤算法的提出,也使得目標(biāo)跟蹤領(lǐng)域有了更大的突破。有學(xué)者利用貝葉斯網(wǎng)絡(luò)推理方法,帶目標(biāo)地在構(gòu)造圖中尋找最優(yōu)路徑。在此基礎(chǔ)上,通過預(yù)測位置、顏色、運(yùn)動方向、選手的平均速度等,可以在短時(shí)間內(nèi)解決遮擋等問題。

2、研究方法

2.1、目標(biāo)的特征表達(dá)

在目標(biāo)跟蹤和檢測任務(wù)中,玩家的特征表達(dá)將直接影響目標(biāo)跟蹤效果。在足球游戲中,要避免遮擋球員被不同隊(duì)伍的其他人所攻擊并造成跟蹤誤差的情況下,研究局部特征以增強(qiáng)目標(biāo)的表達(dá),提高跟蹤效果是很重要的。定向梯度直方圖 (Histograms of Oriented Gradients,HOG)特征最早是由法國研究者Dalal等人提出的,是為了解決人體目標(biāo)檢測的問題。HOG特征是在CV和圖像處理中用于目標(biāo)檢測的特征描述符。它通過計(jì)算和計(jì)數(shù)圖像局部區(qū)域的梯度方向直方圖來組成特征,在描述人體方面有很好的效果。在足球比賽視頻中,HOG用梯度或邊緣信息來描述圖像中局部目標(biāo)的外觀和形狀。因此,它可以描述局部形狀信息,然后將球員從背景中區(qū)分出來。在HOG特征提取過程中,首先將其劃分為若干個小的連通區(qū)域(Cells),并統(tǒng)計(jì)每個像素的HOG;其次為了保證特征的光照不變性,需要在更大范圍內(nèi)(Block)對局部直方圖的對比度進(jìn)行歸一化處理。HOG特征提取的主要步驟如圖1所示,包括圖像歸一化(灰度和Gamma校正)、梯度計(jì)算、Cell HOG統(tǒng)計(jì)以及Block內(nèi)歸一化;最后,生成HOG特征。為了減少光照的影響,處理光照過弱或過強(qiáng)的情況,需要對整個圖像進(jìn)行灰度和Gamma校正的歸一化處理。在圖像的紋理強(qiáng)度中,局部表面曝光貢獻(xiàn)了更大的比例。這種處理可以有效地減少圖像中的局部陰影和光照變化。HOG特征考慮了代表邊緣和形狀特征的梯度信息。顏色幾乎沒有貢獻(xiàn),可以直接轉(zhuǎn)換成灰度圖像。灰度結(jié)果表示為:(1)中,R、G、B分別表示紅、綠、藍(lán)3種原色的成分。

圖1 HOG特征提取的主要步驟

為了減少圖像中的局部陰影和照度變化,首先,需要對整個圖像進(jìn)行Gamma校正,以增加或減少圖像的整體亮度。在實(shí)際操作中,可以使用兩種不同的方法進(jìn)行Gamma標(biāo)準(zhǔn)化:平方根法或?qū)?shù)法。

計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)的梯度,并相應(yīng)計(jì)算每個像素位置的梯度方向值;差分運(yùn)算不僅捕捉了輪廓、人體陰影和一些紋理信息,還削弱了光照的影響。

2.2、基于深度學(xué)習(xí)的目標(biāo)檢測算法改進(jìn)

一般情況下,視覺輸入由相機(jī)拍攝,然后連接到計(jì)算機(jī)。攝像機(jī)可以是靜止的,也可以是動態(tài)的。計(jì)算機(jī)利用跟蹤結(jié)果執(zhí)行必要的跟蹤和任何更高級別的任務(wù)。目前,基于深度學(xué)習(xí)的檢測方法已經(jīng)逐漸成為圖像檢測領(lǐng)域的主流技術(shù)。然而,在視頻分析方面,考慮到CNN在提取圖像中高級語義方面的優(yōu)異表現(xiàn),除了對物體具有較強(qiáng)的魯棒性外,還將其作為目標(biāo)檢測的基礎(chǔ)。雖然已經(jīng)提出了端到端的學(xué)習(xí)方法,但是R-CNN系列模型作為一種基于區(qū)域提議(Region Proposal,RP)的目標(biāo)檢測算法,對于深度學(xué)習(xí)目標(biāo)檢測有著極其本質(zhì)的價(jià)值。R-CNN算法的總體思路是利用選擇性搜索(Selective Search,SS)算法在輸入圖像中獲取2000個獨(dú)立的RP;然后通過CNN提取每個固定RP中的目標(biāo)特征;最后利用支持向量機(jī)(Support Vector Machine,SVM)算法進(jìn)行目標(biāo)分類。利用CNN強(qiáng)大的特征提取能力,提高目標(biāo)檢測的性能。雖然通過SS算法可以直接獲得2000個RP,但由于每個RP都需要卷積,會造成大量的工作負(fù)載。測量發(fā)現(xiàn),通過R-CNN模型完成對圖像的識別需要47s,在實(shí)時(shí)性方面存在較大的劣勢。在此基礎(chǔ)上,F(xiàn)ast-RCNN算法顯著縮短了模型訓(xùn)練和測試的時(shí)間,圖像識別的整體時(shí)間減少到1s以下。Fast-RCNN算法的優(yōu)化表現(xiàn)在在歸一化過程中利用了ROI Pooling方法,可以保證提取的特征向量具有相同的維數(shù),從而使RP的失真較小,同時(shí)有效保留了RP的主要特征。此外,F(xiàn)ast-RCNN在CNN上進(jìn)行了分類和回歸。R-CNN算法返回邊界信息再對信息進(jìn)行分類的過程相比,這使得整個訓(xùn)練過程無需額外存儲。隨著R-CNN系列模型的發(fā)展,基于視覺幾何組16(Visual Geometry Group 16,VGG16)的fast-rcnn算法只需要進(jìn)行一次具有多個共享卷積層的卷積計(jì)算,即可獲得RP及其邊界。在fastrcnn算法中,首先通過conv層提取圖像特征,得到特征圖。然后,通過區(qū)域建議網(wǎng)絡(luò) (Regional Proposal Network,RPN)層生成Rps,通過興趣區(qū)域(Region of Interest,ROI)池化層完成歸一化過程。輸出固定大小的提議特征圖并發(fā)送到全連接層,在全連接層中完成目標(biāo)RP的計(jì)算,獲得目標(biāo)最終的精確位置。而對于足球比賽視頻中球員目標(biāo)的檢測,原來的Faster R-CNN(FRCN)算法是不適合小目標(biāo)。因此,會出現(xiàn)漏檢的情況。因此,有必要對算法進(jìn)行改進(jìn)。

2.3、球員運(yùn)動軌跡提取

當(dāng)探測器在足球比賽視頻的每一幀中檢測到目標(biāo)時(shí),目標(biāo)跟蹤問題可以看作是現(xiàn)有軌跡集與新檢測到的目標(biāo)之間的匹配問題。在跟蹤球員的過程中,首先需要通過CNN對圖像進(jìn)行實(shí)時(shí)檢測,以獲取目標(biāo)集。在第一次檢測到每個目標(biāo)時(shí),初始化其狀態(tài)向量,并表示為四維列向量xk:

圖2 多尺度特征提取算法

(1)中,x,y 表示目標(biāo)的位置信息 |(vy)|,vx,vy 表示目標(biāo)的速度信息。由于在視頻中只能檢測到目標(biāo)的位置信息,x.k初始化為(x0y0),目標(biāo)的觀測向量可表示為zk=(x,y)T。由于視頻中相鄰幀之間的時(shí)間間隔約為30 ms,因此可以將目標(biāo)的運(yùn)動近似為均勻線性運(yùn)動。

綜合考慮目標(biāo)的運(yùn)動特征和檢測特征后,構(gòu)造t?1時(shí)刻設(shè)定的軌跡與t時(shí)刻設(shè)定的目標(biāo)之間的相似矩陣。相似矩陣表示新檢測到的目標(biāo)與現(xiàn)有運(yùn)動軌跡中的目標(biāo)之間的相似度,并表示出來

(2)Tt-1表示在t-1和D時(shí)刻設(shè)置的軌跡t表示t時(shí)刻設(shè)置的檢測目標(biāo)。

在構(gòu)建相似矩陣后,利用匈牙利方法求解數(shù)據(jù)關(guān)聯(lián)問題。為了避免誤關(guān)聯(lián),設(shè)置了相似度閾值。如果軌跡與按照匈牙利方法分配的探測目標(biāo)之間的相似度低于設(shè)置的閾值,則不進(jìn)行關(guān)聯(lián)。如果在軌跡集或目標(biāo)檢測集中仍然存在不相關(guān)的元素,則認(rèn)為該目標(biāo)被遮擋、消失或新增。比較復(fù)雜的目標(biāo)遮擋問題在這里進(jìn)行分析。

足球比賽中的目標(biāo)遮擋包括部分遮擋和完全遮擋。如果目標(biāo)被部分遮擋(玩家B遮擋玩家A),探測器將兩個目標(biāo)作為一個目標(biāo)進(jìn)行探測。此時(shí),檢測到的特征信息包括2個目標(biāo),因此A和B的軌跡可能是相關(guān)的,最終會導(dǎo)致一個目標(biāo)的軌跡存在,另一個目標(biāo)軌跡消失。如果目標(biāo)被完全遮擋(參與人B幾乎完全遮擋參與人A),探測器就會智能檢測到一個目標(biāo)(參與人B),參與人A就會消失。對目標(biāo)的部分遮擋會導(dǎo)致對目標(biāo)的漏檢。當(dāng)出現(xiàn)這種情況時(shí),檢測結(jié)果可以通過已有的軌跡信息進(jìn)行校正,滑動窗口可以將新目標(biāo)分離并添加到軌跡集合中。

圖3 目標(biāo)遮擋后的分離算法流程

3、結(jié)論

隨著計(jì)算機(jī)技術(shù)的發(fā)展,對足球比賽視頻分析技術(shù)的性能要求不斷提高。在目標(biāo)跟蹤和檢測領(lǐng)域,已經(jīng)挖掘和應(yīng)用了很多算法,這對目標(biāo)跟蹤很有幫助。但考慮到在足球比賽中,傳統(tǒng)的目標(biāo)跟蹤方法無法滿足比賽視頻目標(biāo)跟蹤的要求,由于場地、運(yùn)動模式等因素的影響,需要進(jìn)行優(yōu)化。DL技術(shù)的發(fā)展對目標(biāo)檢測具有重要意義。因此,在這里將其與目標(biāo)檢測結(jié)合起來。首先,討論了R-CNN模型系列的應(yīng)用,改進(jìn)了FRCN模型在小目標(biāo)檢測方面的缺陷。對FRCN算法進(jìn)行了優(yōu)化,并在數(shù)據(jù)集OTB2013上測試了準(zhǔn)確率和成功率。結(jié)果表明,優(yōu)化后的FRCN算法的目標(biāo)跟蹤精度達(dá)到89.1%,目標(biāo)跟蹤成功率達(dá)到64.5%,運(yùn)行幀率保持在25fps左右。目標(biāo)跟蹤的準(zhǔn)確性超過了用來完成再檢測任務(wù)的SINT算法。為了更有效地測試所提出的玩家軌跡提取算法的性能,在公共數(shù)據(jù)集上測試了玩家軌跡提取的效果。在80個運(yùn)動軌跡上,優(yōu)化后的FRCN算法的優(yōu)點(diǎn)是平均檢測結(jié)果更好,每個軌跡的檢測結(jié)果波動不大。在正常情況下,F(xiàn)RCN算法在大多數(shù)幀中都不會丟失目標(biāo)。但是,隨著重疊的增加,它的AUC迅速下降,這可能與基于dl的非尺度檢測器有關(guān)。在目標(biāo)被遮擋的情況下,與其他算法相比,優(yōu)化后的FRCN算法的AUC下降幅度較小。綜上所述,基于DL技術(shù)的優(yōu)化FRCN算法能夠更好地跟蹤足球比賽視頻中的球員目標(biāo),并且對于球員互相遮擋的情況具有魯棒性。由于沒有討論不同球隊(duì)球員遮擋情況下的目標(biāo)跟蹤問題,因此存在一定的局限性,未來將加以改進(jìn),以便更好地利用深度學(xué)習(xí)現(xiàn)代技術(shù)分析足球比賽中球員的技術(shù)特點(diǎn),優(yōu)化觀眾體驗(yàn),帶動源自足球的經(jīng)濟(jì)產(chǎn)品的發(fā)展,促進(jìn)足球運(yùn)動的傳播推廣。

猜你喜歡
足球比賽軌跡球員
精彩的足球比賽
軌跡
軌跡
足球比賽
啟蒙(3-7歲)(2018年9期)2018-08-30 08:55:58
我不只是球員
NBA特刊(2018年11期)2018-08-13 09:29:16
軌跡
進(jìn)化的軌跡(一)——進(jìn)化,無盡的適應(yīng)
中國三峽(2017年2期)2017-06-09 08:15:29
足球比賽里的“排兵布陣”(七)
足球比賽
宝丰县| 石屏县| 高安市| 唐海县| 郑州市| 遂昌县| 五大连池市| 晋江市| 延庆县| 揭西县| 合川市| 乳源| 广昌县| 华亭县| 太原市| 怀宁县| 南澳县| 荥经县| 沐川县| 新干县| 南城县| 库伦旗| 和顺县| 阿勒泰市| 曲麻莱县| 金沙县| 德州市| 拜泉县| 八宿县| 吉水县| 乐至县| 河间市| 双峰县| 麻栗坡县| 电白县| 青海省| 南宫市| 涞水县| 伽师县| 古交市| 呼图壁县|