基于顏色分布特征的足球視頻禁區(qū)檢測(cè)

侯小剛，王曉宏

(中國(guó)傳媒大學(xué) 計(jì)算機(jī)學(xué)院，北京 100024 )

摘要：足球視頻影響著人們的日常生活，人們對(duì)足球視頻的關(guān)注更多地體現(xiàn)在對(duì)其中進(jìn)球、射門等精彩事件上。而這些事件大都發(fā)生在左右禁區(qū)附近，顯然左右禁區(qū)的準(zhǔn)確檢測(cè)在足球視頻處理中起著關(guān)鍵的作用。本文在研究當(dāng)前主流檢測(cè)算法的基礎(chǔ)上提出了一種基于顏色分布特征的足球視頻禁區(qū)檢測(cè)算法，該算法利用SVM對(duì)足球左右禁區(qū)顏色分布特征進(jìn)行監(jiān)督學(xué)習(xí)，進(jìn)而檢測(cè)出左右禁區(qū)。通過(guò)實(shí)驗(yàn)證明該方法高效并且可以達(dá)到較高精準(zhǔn)度。

關(guān)鍵詞：足球視頻；禁區(qū)；SVM；顏色分布

SoccerPenaltyAreaDetectionBasedontheColorDistribution

HOUXiao-gang，WANGXiao-hong

(SchoolofComputer，CommunicationUniversityofChina，Beijing100024)

Abstract：Football video is affecting people's daily lives.People pay close attention to the football video of them reflected in the scoring，shooting and other exciting events .What is more，these events take place all around the penalty area nearby. Obviously，the accurately detection of penalty area plays a key role in the football video processing. Based on the study of the current mainstream detection algorithm，this paper presents an algorithm of soccer penalty area detection，which using color distribution characteristics by SVM supervised learning. Experiments show that this method can achieve high efficiency and accuracy.

Keywords：football video；soccer penalty；SVM；color distribution

1引言

關(guān)鍵詞當(dāng)前基于內(nèi)容的圖像的搜索已經(jīng)逐漸被應(yīng)用到各個(gè)領(lǐng)域，人們已經(jīng)逐漸從過(guò)往基于的文本搜索向基于內(nèi)容的搜索過(guò)渡，越來(lái)越多的學(xué)者開始關(guān)注基于視頻的內(nèi)容檢索。然而因?yàn)楦黝愐曨l的復(fù)雜性和不規(guī)則性決定了其研究進(jìn)展的緩慢。足球廣播視頻，因其龐大的觀眾群體和巨大的市場(chǎng)潛力而受到學(xué)術(shù)界和工業(yè)界的關(guān)注，并且因?yàn)樽闱驈V播視頻有著與其他視頻不同的規(guī)則性，更容易處理，所以更多的學(xué)者開始把研究重點(diǎn)放在對(duì)足球廣播視頻的處理上面來(lái)。研究的重點(diǎn)基本是通過(guò)檢測(cè)禁區(qū)、球門、球場(chǎng)線、足球位置這些底層的特征，對(duì)鏡頭進(jìn)行語(yǔ)義分類進(jìn)而對(duì)比如進(jìn)球、射門、犯規(guī)等高層事件進(jìn)行推理判斷。

中圖分類號(hào)：TN941.1文獻(xiàn)標(biāo)識(shí)碼：A

收稿日期：2015-01-19

作者簡(jiǎn)介：侯小剛(1986-)，男(漢族)，河北邯鄲人，中國(guó)傳媒大學(xué)計(jì)算機(jī)學(xué)院研究生.E-mail：xgengine@sina.com

足球場(chǎng)地的禁區(qū)作為一個(gè)關(guān)鍵位置，它檢測(cè)的準(zhǔn)確度和效率直接決定著后續(xù)鏡頭分類和事件推理

的結(jié)果好壞。文獻(xiàn)[8]提出了一種基于場(chǎng)線特征的禁區(qū)檢測(cè)技術(shù)，通過(guò)提取球場(chǎng)線的數(shù)目、傾角的分布、位置等特征，用SVM進(jìn)行機(jī)器學(xué)習(xí)檢測(cè)。雖然取得了很好的檢測(cè)結(jié)果，但是因?yàn)樽闱蛞曨l中有時(shí)快速晃動(dòng)的鏡頭會(huì)干擾場(chǎng)線檢測(cè)的準(zhǔn)確度，所以本文提出了一種基于顏色特征分布特征的禁區(qū)檢測(cè)方法。該算法對(duì)劇烈晃動(dòng)的鏡頭有更強(qiáng)的適應(yīng)性，且檢測(cè)效率更高效。

2場(chǎng)區(qū)主顏色提取

在足球視頻中綠色場(chǎng)地是其主要顏色特征，如何準(zhǔn)確地提取是對(duì)場(chǎng)地進(jìn)行分割的關(guān)鍵步驟。但是因?yàn)榫G色草地因場(chǎng)地的不同往往呈現(xiàn)出不同的色調(diào)偏差，并且因?yàn)楣庹找蛩氐挠绊?，如何自適應(yīng)地確定顏色閾值非常困難。目前圖像視頻多采用基于相加混色原理的RGB顏色空間來(lái)描述其數(shù)據(jù)，盡管該顏色空間具有清楚的物理意義，且適合顯像設(shè)備，但是RGB顏色空間在感知上具有不均勻的特性，它所描述的是一個(gè)三維的顏色空間，而HSV顏色空間恰好與之相反。它是根據(jù)顏色的直觀特征而創(chuàng)建的一種顏色空間，顏色參數(shù)分別是色調(diào)(H)，飽和度(S)，亮度(V)。可以看到該顏色模型把色調(diào)和亮度進(jìn)行了分離，所以在基于色調(diào)進(jìn)行圖像分割時(shí)能在一定程度下減小光照的干擾。本文算法是先把足球視頻幀圖像轉(zhuǎn)換到HSV顏色空間，建立基于色調(diào)H的直方圖，如圖1，可以看到含有足球場(chǎng)地的圖像綠色成分構(gòu)成一個(gè)主峰，從而可以分析直方圖主峰兩側(cè)的峰谷從而計(jì)算出分割的高低閾值。但是因?yàn)楣庹盏囊蛩?，所?jì)算的直方圖有時(shí)會(huì)呈現(xiàn)雙峰值的現(xiàn)象，如圖2，可以看到在直方圖中綠色軸附近有兩個(gè)峰值，本文判斷算法如下：

圖1　沒光照的色調(diào)直方圖

圖2　有光照影響的色調(diào)直方圖

(1)計(jì)算直方圖最大值M1和次大值M2。

(2)如果M2>M1*1/3 并且兩個(gè)值的位置在綠色軸附近，則為雙峰，否則為單峰。

3足球場(chǎng)地分割

判斷出主顏色的高低閾值后就可以對(duì)場(chǎng)地進(jìn)行分割，因?yàn)楸疚牟捎玫氖腔谌珠撝档膱D像分割，這種分割雖然簡(jiǎn)單高效但是分割的結(jié)果會(huì)有很多小的干擾區(qū)域，如圖3，為了使分割的結(jié)果更加精準(zhǔn)，需要對(duì)分割的圖像進(jìn)行形態(tài)學(xué)的開閉運(yùn)算。形態(tài)學(xué)的開閉運(yùn)算的基本操作是腐蝕和膨脹。

圖3　形態(tài)學(xué)處理前場(chǎng)區(qū)分割圖

腐蝕：A被B腐蝕的結(jié)果是所有使B平移Z后仍在A中的元素的集合

AΘB={z|(B)z?A}

膨脹：A被B膨脹的結(jié)果是，先對(duì)B做關(guān)于原點(diǎn)的映射，然后平移至少有一個(gè)非零元素相交時(shí)B的圖像的原點(diǎn)的位置的集合。

開運(yùn)算是對(duì)圖像先腐蝕后膨脹的過(guò)程，可以用來(lái)消除小物體，在纖細(xì)點(diǎn)出分離物體，平滑較大物體的邊界的同時(shí)并不明顯改變其面積。閉運(yùn)算是對(duì)圖像先膨脹后腐蝕的過(guò)程，可以用來(lái)填充小空洞，連接鄰近物體，平滑其邊界并不明顯改變其面積。

本文對(duì)分割好的圖像用圓形結(jié)構(gòu)分別進(jìn)行開運(yùn)算和閉運(yùn)算，結(jié)果如圖4 ，可以看到經(jīng)過(guò)開閉運(yùn)算，分割的結(jié)果有了很大的改善。

圖4　形態(tài)學(xué)處理后場(chǎng)區(qū)分割圖

4場(chǎng)地綠色分布特征提取

場(chǎng)地分割后，得到如圖4的分割圖像，其中白色代表綠色場(chǎng)地區(qū)域，黑色為非綠色區(qū)域，為了提取更好的具有代表性的綠色分布特征，本文把圖像等分成4*6總共24個(gè)小的區(qū)域，分別計(jì)算各個(gè)小區(qū)域的綠色像素的百分比，這樣就會(huì)得到關(guān)于場(chǎng)地綠色分布的24個(gè)特征向量。為了提高算法的魯棒性，使分類算法結(jié)果更好，本文對(duì)這24個(gè)特征進(jìn)行如下處理：

如果綠色百分比大于0.8，則設(shè)置特征值為1。

如果綠色百分比大于0.5 并且小于0.8，則設(shè)置特征值為0.5。

如果綠色百分比大于0.2 并且小于0.5，則設(shè)置特征值為0.3。

如果綠色半分比小于0.2 ，則設(shè)置特征值為0。

5基于SVM的機(jī)器學(xué)習(xí)及檢測(cè)結(jié)果

支持向量機(jī)，簡(jiǎn)稱SVM，它并不是一臺(tái)機(jī)器，而是一種算法，并且一直被認(rèn)為是效果最好的現(xiàn)成可用的分類算法之一，這里“現(xiàn)成可靠”其實(shí)是很重要的，因?yàn)橐恢币詠?lái)學(xué)術(shù)界和工業(yè)界，甚至學(xué)術(shù)界做的理論和工業(yè)界做的應(yīng)用之間都有一種“鴻溝”，有些非?？犰呕蛘邚?fù)雜的算法，在抽象出來(lái)的模型里很完美，然而在實(shí)際問(wèn)題上卻顯得脆弱，效果很差，然而SVM卻在兩邊都混得開。

SVM有著嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)推導(dǎo)模型，可以說(shuō)它有理可依，在此就不再贅述了，討論它將超出本文的主題。不過(guò)它的原理卻非常簡(jiǎn)單，簡(jiǎn)單地來(lái)說(shuō)它是對(duì)線性可分的問(wèn)題的一種擴(kuò)展，把任何線性不可分的問(wèn)題，通過(guò)擴(kuò)展維數(shù)從而達(dá)到線性可分。就好比對(duì)一間房子內(nèi)的人進(jìn)行分類，你剛開始可能一籌莫展，但一旦對(duì)每個(gè)人加上性別、職業(yè)等類似于這樣的標(biāo)簽、那么這就是一個(gè)線性可分的問(wèn)題了。

本文實(shí)驗(yàn)用的視頻圖片來(lái)自2014巴西世界杯，分別從各場(chǎng)比賽中提取包含左禁區(qū)，總共1000張圖片，包含右禁區(qū)的圖片1000張作為正樣本，提取其他鏡頭圖片1000張作為負(fù)樣本。左右禁區(qū)是分別用1000張的正樣本和1000張的負(fù)樣本單獨(dú)進(jìn)行訓(xùn)練。因?yàn)樵赟VM進(jìn)行機(jī)器學(xué)習(xí)時(shí)，SVM對(duì)錯(cuò)誤樣本非常敏感，所以為了保證訓(xùn)練的質(zhì)量，本文將會(huì)詳盡整個(gè)訓(xùn)練過(guò)程，學(xué)習(xí)過(guò)程如下：

(一)生成隨機(jī)樣本文件列表文件，并分別對(duì)其打上正樣本 “+1”，負(fù)樣本“-1”標(biāo)簽，之所以一開始不生成特征向量文本，而是生成包含“樣本文件名”和正負(fù)標(biāo)簽這樣一種文件，是為了以后對(duì)錯(cuò)誤推測(cè)分析做準(zhǔn)備。文件格式可以如下：

[[“/n/1.jpg”，“-1”]，[“/p/2.jpg”，“+1”}...]

這是一種標(biāo)準(zhǔn)的json格式，整個(gè)文件存儲(chǔ)的是一個(gè)大隨機(jī)正負(fù)樣本文件目錄的列表，子列表中有兩項(xiàng)內(nèi)容，分別是文件目錄和標(biāo)簽。

(二) 生成特征文本，用步驟(一)得到的文件，通過(guò)上面已經(jīng)論述的方法分布提取各樣本圖像的24維的特征向量，存儲(chǔ)為特征文本文件，為訓(xùn)練做準(zhǔn)備。生成文本格式如下：

+1 1：0 2：0.5 3：0.5 4：0....23：0 24：0

-1 1：1 2：1 3：0.3 4：1 ...23：1 24：1

(三)用SVM對(duì)特征進(jìn)行訓(xùn)練，本文采用的是libsvm，它是臺(tái)灣大學(xué)林智仁教授開發(fā)的一個(gè)簡(jiǎn)單、易于使用和快速有效的SVM模式識(shí)別與回歸的軟件包，它可以直接讀取一定格式的特征文件，進(jìn)行訓(xùn)練，可以保存訓(xùn)練好的模型，并且可以返回模型的識(shí)別率以及各個(gè)測(cè)試樣本的識(shí)別結(jié)果。本文采用1500張樣本做訓(xùn)練，另外500張作為測(cè)試樣本，進(jìn)而對(duì)訓(xùn)練好的分類模型進(jìn)行評(píng)估，對(duì)判斷出錯(cuò)的測(cè)試樣本通過(guò)第一個(gè)步驟的樣本文件列表進(jìn)行定位，并進(jìn)行后續(xù)的二次分析，進(jìn)而更好地改進(jìn)算法。

本文進(jìn)行了多次隨機(jī)測(cè)試結(jié)果如下：

右禁區(qū)：

訓(xùn)練正樣本723，負(fù)樣本777

測(cè)試正樣本277，負(fù)樣本223

檢測(cè)結(jié)果正確462錯(cuò)誤38準(zhǔn)確率92.4

右禁區(qū)：

訓(xùn)練正樣本735，負(fù)樣本765

測(cè)試正樣本265，負(fù)樣本235

檢測(cè)結(jié)果正確449錯(cuò)誤51準(zhǔn)確率89.8

上面僅列舉了一次結(jié)果，多次測(cè)試結(jié)果基本都在90%左右，且90%以上的居多，有時(shí)甚至能達(dá)到96%的精準(zhǔn)度。

6結(jié)語(yǔ)

本文提出了一種基于SVM的足球廣播視頻左右禁區(qū)的檢測(cè)算法，通過(guò)對(duì)足球場(chǎng)地的主顏色進(jìn)行進(jìn)行自適應(yīng)閾值提取，進(jìn)而對(duì)整個(gè)綠色場(chǎng)地進(jìn)行分割，通過(guò)形態(tài)學(xué)后續(xù)處理提高分割精度，然后把圖片分成4*6=24個(gè)小區(qū)域，分別統(tǒng)計(jì)其顏色分布特征，組成24維特征向量，用SVM進(jìn)行監(jiān)督的機(jī)器學(xué)習(xí)，進(jìn)而對(duì)足球視頻左右禁區(qū)進(jìn)行檢測(cè)。實(shí)驗(yàn)證明該方法有一定的魯棒性和精準(zhǔn)度。但是算法也有其應(yīng)用的局限性，本文中算法把場(chǎng)地綠色作為主特征，其要求視頻中足球場(chǎng)區(qū)的綠色覆蓋質(zhì)量要好，不然會(huì)直接影響算法的精準(zhǔn)度。因?yàn)樗惴ㄖ猩婕暗膱D像處理都是基本操作，處理效率非常高，可以用來(lái)對(duì)視頻禁區(qū)鏡頭進(jìn)行粗分類，從而大大提高視頻圖像處理的速度。下一步，將會(huì)聯(lián)合其他一些底層特征，比如球場(chǎng)線、球門柱等，通過(guò)整合和度量這些特征，來(lái)提高算法的精度和適用性。

參考文獻(xiàn)：

[1]LiSun，GuizhongLiu.Fieldlinesandplayersdetectionandrecognitioninsoccervideo[J].Acoustics，SpeechandSignalProcessing，ICASSP2009，IEEEInternationalConferenceon2009，1237-1240.

[2]GaoL.Content-awarebroadcastsoccervideoretargetingusingfuzzylogic[J].ElectronicsLetters，2011，9：694-695.

[3]Zawbaa，HMEl-Bendary，NellaHassanien，AAbraham.ASVM-basedSoccerVideoSummarizationSystem[J].NatureandBiologicallyInspiredComputing(NaBIC)，2011ThirdWorldCongresson2011，10：7-11.

[4]岡薩雷斯.數(shù)字圖像處理[M].北京：電子工業(yè)出版社.

[5]吳鵬，林新棋，李海濤，高智，詹曉珊.基于顏色紋理和SVM的體育視頻分類[J].福建師范大學(xué)學(xué)報(bào)，2014，3.

[6]李玉珍，何欣，王建宇，戴躍維，范伯超.一種基于SVM的高效球門檢測(cè)方法[J].南京理工大學(xué)學(xué)報(bào)，2010，2，第34卷，第1期.

[7]張強(qiáng).基于回放場(chǎng)景的足球視頻精彩鏡頭檢測(cè)[D].華中科技大學(xué)碩士論文.

[8]閆龍川，杜軍.基于SVM的足球場(chǎng)地禁區(qū)檢測(cè)[J].計(jì)算機(jī)應(yīng)用，第27卷，2007，12.

[9]嚴(yán)紅平.模式識(shí)別簡(jiǎn)述[J].自動(dòng)化博覽，2006，2.

[10]王磊.特征標(biāo)志檢測(cè)與場(chǎng)景識(shí)別技術(shù)在體育視頻中的應(yīng)用研究[D].杭州電子科技大學(xué)碩士論文，2009，12.

[11]殷偉良，陳臨強(qiáng)，李偉.體育視頻中場(chǎng)地自動(dòng)檢測(cè)方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2012，第21卷，第5期.

[12]林彬，劉群，王群，聶燕柳.足球視頻鏡頭分類方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2012，4，第33卷，第4期.

(責(zé)任編輯：宋金寶)