王超鋒， 黃俊杰,2*， 包嘉琪， 胡暢， 金沐祥

(1.武漢紡織大學(xué)計算機(jī)與人工智能學(xué)院， 武漢 430200;2.湖北省服裝信息化工程技術(shù)研究中心， 武漢 430200)

近些年來各類體育賽事火熱，每年都有大量的比賽舉辦，各種球類運(yùn)動在體育賽事中扮演重要角色，由于球類運(yùn)動速度快以及運(yùn)動員競技水平的愈發(fā)嫻熟，僅僅依靠裁判員現(xiàn)場的觀察很難保證賽事的公正，隨著計算機(jī)視覺技術(shù)的不斷成熟，鷹眼系統(tǒng)問世，它依靠在賽場周圍布置多臺高速攝像機(jī)實(shí)時捕捉網(wǎng)球的圖像提取其運(yùn)動特征參數(shù)通過一系列變換處理記錄網(wǎng)球的運(yùn)動軌跡[1]，根據(jù)記錄的軌跡數(shù)據(jù)，觀眾和裁判可以清晰地看到網(wǎng)球的飛行路線和落點(diǎn)，既可以保證賽事的公平，又可以提高比賽的觀賞性。

對于鷹眼系統(tǒng)，運(yùn)動目標(biāo)檢測是提高其準(zhǔn)確率的關(guān)鍵，當(dāng)前運(yùn)動物體檢測主要有3種方法分別是背景減差法、幀間差分法和光流法[2-8]。背景減差法是目前應(yīng)用非常廣泛的方法之一[9]，其通過預(yù)先背景建模和需處理的視頻幀作差，根據(jù)設(shè)定的閾值判斷檢測的目標(biāo)，算法簡單，操作性強(qiáng)，但是該算法檢測效果受背景模型的制約，并且背景模型需要實(shí)時更新；幀間差分法是利用相鄰視頻幀差分相減檢測運(yùn)動物體，計算量小、檢測速度快，對動態(tài)環(huán)境有較強(qiáng)的適應(yīng)能力和魯棒性，尤其對于運(yùn)動快目標(biāo)小的物體檢測效果更佳，但是該算法目標(biāo)檢測完整性差，易產(chǎn)生空洞現(xiàn)象[10]；光流法通過圖像幀中像素的矢量特征檢測物體的運(yùn)動狀態(tài)，該算法計算較為復(fù)雜，硬件性能要求高，而且難以對圖像進(jìn)行實(shí)時檢測[11]。

由于網(wǎng)球的外輪廓接近標(biāo)準(zhǔn)圓，在使用傳統(tǒng)Hough圓變換算法來完成網(wǎng)球的識別和特征參數(shù)提取時，Hough變換運(yùn)算量大，識別效率低，無法滿足賽場上高速飛行網(wǎng)球的精準(zhǔn)識別和提取，并且賽場環(huán)境復(fù)雜，網(wǎng)球圖像在提取中容易受到一些因素的干擾，這些問題對網(wǎng)球識別準(zhǔn)確率提出了挑戰(zhàn)，因此網(wǎng)球特征參數(shù)提取算法的研究對鷹眼系統(tǒng)有重要意義。

該算法充分研究了鷹眼系統(tǒng)運(yùn)動目標(biāo)檢測和參數(shù)提取過程并考慮了網(wǎng)球運(yùn)動場的相關(guān)特點(diǎn)，其中包括可能出現(xiàn)其他飛行運(yùn)動物體以及多個網(wǎng)球在同一圖像的情況，如網(wǎng)球在光照下產(chǎn)生的影子等，針對這些可能的情況，采用不同算法相結(jié)合的方法共同完成對圖像分割，可以避免上述情況的影響，并且使用的分割算法復(fù)雜度低、易操作，可以有效去除圖像中其他無關(guān)信息減少運(yùn)動物體檢測的運(yùn)算量，并對檢測到的網(wǎng)球圖像進(jìn)行圖像平滑處理減弱噪音，為了更加精準(zhǔn)獲取目標(biāo)特征參數(shù)采用梯度Hough變換對網(wǎng)球的邊緣進(jìn)行識別提取。

1 算法流程

網(wǎng)球特征參數(shù)精確提取算法流程如下圖1所示，首先使用專用高清相機(jī)在網(wǎng)球場采集圖像，然后將采集的網(wǎng)球圖像進(jìn)行圖像背景分割，接著把分割后的圖像去噪處理，并使用Sobel算子完成邊緣提取，采用梯度Hough變換實(shí)現(xiàn)網(wǎng)球識別提取，最后計算求取網(wǎng)球特征參數(shù)。

圖1 網(wǎng)球特征參數(shù)提取流程圖Fig.1 Flow chart of tennis feature parameter extraction

2 圖像預(yù)處理

2.1 基于HSV顏色空間網(wǎng)球檢測

國際網(wǎng)球聯(lián)合會為了使網(wǎng)球在賽場上區(qū)別于其他背景顏色協(xié)定網(wǎng)球的顏色為一種專用的“視覺黃”，因此本文中首先基于顏色特征差異對網(wǎng)球圖像進(jìn)行分割，目前常用的顏色模型類型有很多，如RGB(red,green,blue)顏色模型和HSV(hue,saturation,value)模型，RGB顏色模型是從硬件角度提出的顏色模型，與人眼視覺匹配過程中可能存在一些差異，并且對光線變化比較敏感，而HSV顏色模型是從心理學(xué)和視覺出發(fā)的面向視覺感知的色彩模型，其H、S和V3個分量分別表示不同的信息，其中色調(diào)H主要反映顏色信息，不受光照強(qiáng)度的影響[12]，因此在本研究中采用基于色調(diào)H均值進(jìn)行圖像分割。則常用的RGB圖像轉(zhuǎn)換為HSV顏色空間公式如式(1)～式(5)，轉(zhuǎn)換效果如圖2所示。

圖2 圖像處理效果圖Fig.2 Image processing effect picture

V=max(R,G,B)

(1)

M=min(R,G,B)

(2)

(3)

(4)

當(dāng)計算結(jié)果出現(xiàn)H<0情況時，則

H=H+360

(5)

本研究對收集到的網(wǎng)球彩色訓(xùn)練[13]圖像進(jìn)行像素H值統(tǒng)計，根據(jù)大量的圖像統(tǒng)計結(jié)果顯示，H通道直方圖灰度值在40～50區(qū)間范圍時出現(xiàn)峰值，且聚類效果明顯，如圖3所示，因此可基于此閾值對HSV顏色空間的網(wǎng)球圖像逐個像素的判斷比較完成圖像的分割操作，基于色調(diào)H值圖像分割偽代碼如下：

圖3 網(wǎng)球H通道直方圖Fig.3 Tennis H-channel histogram

ifH(x,y)>40 &H(x,y)<50，

then Pixel(x,y)∈foreground；

else Pixel(x,y)∈background。

2.2 幀間差分與混合高斯模型融合算法

對于幀間差分難以檢測完整目標(biāo)，易出現(xiàn)空洞以及拖影情況，本算法對多幀圖像進(jìn)行目標(biāo)檢測然后利用累積幀差分法的優(yōu)勢，通過多幀累積對檢測目標(biāo)進(jìn)行增強(qiáng)，然后將差分結(jié)果和混合高斯模型相融合，提高目標(biāo)檢測準(zhǔn)確性。

2.2.1 幀間差分法原理

幀間差分法將相鄰圖像幀序列作差分處理，將差分結(jié)果和預(yù)先設(shè)定的閾值進(jìn)行比較，從而獲得圖像中的運(yùn)動目標(biāo)，表達(dá)式為

(6)

式(6)中：Dt(x,y)為二值圖像;Ft(x,y)和Ft-1(x,y)表示相鄰幀序列；T為分割閾值。

在圖像處理過程中，通常對相鄰的三幀或四幀圖像序列進(jìn)行作差，然后采用“與”和“或”邏輯操作，得到最終的差分圖像。

2.2.2 混合高斯背景建模

在一段時間圖像幀中，可采用K個高斯分布組成的混合模型來模擬圖像中像素的值[14]，K的適宜值一般為3～5，由于本文中對背景模板精度要求不高，為了減少計算量，K值取3。t時刻像素值X出現(xiàn)的概率計算公式為

(7)

(8)

2.2.3 高斯模型更新

高斯模型更新基本原理為：根據(jù)當(dāng)前圖像幀的像素值和背景模型中的混合高斯分布匹配結(jié)果來更新高斯模型，即將當(dāng)前幀圖像的單個像素值與K個混合高斯分布按照式(9)進(jìn)行匹配，若滿足式子則認(rèn)為匹配成功，則按照式(10)更新高斯分布權(quán)重[15]，否則淘汰掉現(xiàn)有高斯分布中權(quán)值最小的分布，再以該像素值的均值為基礎(chǔ)構(gòu)建一個新的高斯分布，并為其賦上一個較小的權(quán)值和一個較大的方差，均值和方差計算公式見式(11)和式(12)，最后對各高斯分布的權(quán)重值做歸一化處理。

|Xt-μi,t-1|≤2.5σi,t-1

(9)

ωi,t=(1-α)ωi,t-1+αMi,t

(10)

μi,t=(1-α)μt-1+αXt

(11)

(12)

式中：α為學(xué)習(xí)率，在0～1取值。

一般來講，由于圖像背景像素值在圖像幀中變化不大，則標(biāo)準(zhǔn)差小，權(quán)重值大的像素點(diǎn)越可能被描述為背景。計算出權(quán)重和標(biāo)準(zhǔn)差的比值ω/σ2，根據(jù)計算結(jié)果從大到小排序，取大于閾值T的前B個高斯模型作為背景模型，表達(dá)式為

(13)

在進(jìn)行前景提取時，將像素值按照式(9)規(guī)則和B個背景高斯模型進(jìn)行匹配，匹配成功即為背景，不成功則為前景。

2.2.4 幀間差分與混合高斯模型融合

本算法利用連續(xù)幀間差分檢測目標(biāo)快速并能很好適應(yīng)變化環(huán)境的優(yōu)勢，混合高斯模型能夠較為完整檢測運(yùn)動目標(biāo)的特性，結(jié)合二者的優(yōu)點(diǎn)將檢測結(jié)果進(jìn)行融合，快速精準(zhǔn)的獲取檢測目標(biāo)，融合過程原理如圖4所示。

圖4 幀差法與混合高斯模型融合原理Fig.4 Fusion principle of frame difference method and Gaussian mixture model

為了進(jìn)一步優(yōu)化圖像，減少無關(guān)環(huán)境信息的干擾，降低后續(xù)步驟的運(yùn)算量，將前述分割后的圖像使用形態(tài)學(xué)腐蝕和膨脹運(yùn)算操作，填充圖像中的空洞，閉合內(nèi)部小孔去除圖像中噪聲和黑點(diǎn)。

2.3 圖像邊緣檢測

在使用Hough圓檢測算法對目標(biāo)圖像檢測識別前，由于Hough圓變換算法主要是在圖像的邊緣上運(yùn)算，則可以對網(wǎng)球圖像進(jìn)行邊緣提取減少Hough變換處理數(shù)據(jù)量提高運(yùn)行效率，圖像邊緣檢測算法一般有LOG算子、Prewitt算子、Canny算子、Sobel算子以及Robert算子等[16]，本研究采用Sobel算子完成圖像邊緣的檢測，Sobel算子是一種離散基于一階導(dǎo)數(shù)的微分算子，該算子利用局部差分尋找邊緣，計算簡單定位精度高，對噪聲的抑制作用好，適合對背景分割后的網(wǎng)球圖像邊緣進(jìn)行精確提取,Sobel算子對邊緣像素值檢測分為水平方向和垂直方向，其3×3卷積核計算公式為

(14)

(15)

式中：Gx表示水平方向的偏導(dǎo)數(shù)；Gy表示垂直方向偏導(dǎo)數(shù)；s表示原始圖像。

3 網(wǎng)球識別和特征參數(shù)提取

Hough變換是一種經(jīng)典的圓檢測算法，采用類似投票方式選取圓，有較高的容錯性[17]，在對網(wǎng)球輪廓進(jìn)行檢測時，可用標(biāo)準(zhǔn)圓方程擬合網(wǎng)球外輪廓，在笛卡爾坐標(biāo)系中，網(wǎng)球輪廓的擬合方程可表示為

(16)

式(16)中：(x0,y0)為擬合網(wǎng)球圓心坐標(biāo)；r為網(wǎng)球圓形輪廓半徑。

傳統(tǒng)Hough圓變換算法將網(wǎng)球圖像邊緣信息從圖像空間映射到對應(yīng)x0-y0-r三維參數(shù)空間進(jìn)行窮舉累加，即網(wǎng)球邊緣上的每一個像素點(diǎn)(x,y)，根據(jù)式(16)對應(yīng)到參數(shù)空間的(x0,y0,r)組合，并進(jìn)行投票計數(shù)，使用預(yù)設(shè)的閾值得到可能圓心(x0,y0)，因此Hough圓變換算法對邊緣信息有缺失以及輪廓非標(biāo)準(zhǔn)的情況仍然有很好的魯棒性。

但是，傳統(tǒng)的Hough圓變換需要遍歷整個三維參數(shù)空間導(dǎo)致出現(xiàn)耗時長計算量大，消耗內(nèi)存的問題，并且易受參數(shù)空間量化間隔的制約。對于這些問題，本研究中使用梯度Hough圓變換對網(wǎng)球輪廓進(jìn)行檢測識別，減少無效累加計數(shù)，改善內(nèi)存使用情況。該算法計算分為兩個過程：計算網(wǎng)球邊緣梯度信息和提取特征參數(shù)。首先利用Sobel算子來完成圖像邊緣梯度的計算[18]，計算公式為

(17)

(18)

由式(17)和式(18)可得

(19)

式中：G(x,y)為圖像邊緣上某一像素點(diǎn)的總梯度；Gx為該像素點(diǎn)在x方向的梯度；Gy為該像素點(diǎn)在y方向上的梯度；θ為該像素點(diǎn)梯度方向與水平方向夾角。

將圓標(biāo)準(zhǔn)方程[式(16)]用圓極坐標(biāo)方程描述為

(20)

遍歷二值圖像邊緣上所有像素點(diǎn)，沿著Sobel算子計算的邊緣梯度反方向畫線，將直線交點(diǎn)累加計數(shù)，根據(jù)預(yù)先設(shè)定的閾值獲取大于該閾值的交點(diǎn)(xn,yn)示意圖如圖5所示，將交點(diǎn)(xn,yn)對應(yīng)的邊緣上像素點(diǎn)坐標(biāo)(x,y)代入式(20)并結(jié)合式(19)分別得到二維累加數(shù)組(x0,r)和(y0,r)，采用photoshop軟件對視頻圖像中的網(wǎng)球進(jìn)行半徑測量統(tǒng)計，確定網(wǎng)球輪廓半徑的范圍在24～49像素，基于r對(x0,r)和(y0,r)進(jìn)行篩選，雖然網(wǎng)球輪廓比較平滑規(guī)則，但是在計算過程中，網(wǎng)球邊緣仍可能存在離散點(diǎn)以及在圖像邊緣中呈現(xiàn)鋸齒狀不規(guī)則分布情況，即使是相同的圓，求取過程中也可能存在偏差影響后續(xù)投票結(jié)果，出現(xiàn)多個圓心相近半徑相似的圓，因此為了降低可能存在的虛假圓影響提取結(jié)果，采用聚類方法提高計算結(jié)果的精準(zhǔn)度，根據(jù)數(shù)值大小通過聚類把(x0,r)和(y0,r)分別聚為一類，求取均值作為最終所求取圓的特征參數(shù)。

圖5 梯度線圓內(nèi)交點(diǎn)Fig.5 Intersection point of gradient lines in circle

該Hough圓檢測算法步驟流程如圖6所示。

圖6 圓特征參數(shù)提取流程圖Fig.6 Flow chart of circle feature parameter extraction

4 實(shí)驗與結(jié)果分析

4.1 網(wǎng)球圖像分割結(jié)果分析

本實(shí)驗采用FUJIFILM XT-3相機(jī)在網(wǎng)球場采集分辨率為3 840×2 160的視頻圖像，幀速率30 f/s，網(wǎng)球選用標(biāo)準(zhǔn)比賽網(wǎng)球直徑6.72 cm左右，質(zhì)量約56.9 g，為了模擬復(fù)雜現(xiàn)場環(huán)境驗證本算法對網(wǎng)球檢測效果，拍攝時間選在光照較差的18:00左右，以雜亂的樹木，行人不斷往來的大路為背景，并且圖像中含有兩個地面上的網(wǎng)球作為背景干擾，由于網(wǎng)球目標(biāo)小飛行速度快，不同圖像幀差別較大，經(jīng)過實(shí)驗對比選取連續(xù)的三幀圖像作差分處理效果較好。本文實(shí)驗平臺為Windows 10企業(yè)版，Intel(R) Core(TM)i7-4790 @3.6 GHz 處理器，10 GB RAM,測試環(huán)境為MATLAB R2019b和OpenCV。

圖像分割實(shí)驗結(jié)果如圖7所示，圖7(a)為選取的視頻圖像，圖7(b)是顏色分割后的圖像，圖中的行人和其他背景圖像已被基本除去，但是新發(fā)嫩葉的色調(diào)和網(wǎng)球較為接近，圖中可以明顯看到許多樹葉顏色分割不完全產(chǎn)生的一些噪點(diǎn)，地面上的網(wǎng)球也被作為前景圖像檢測出來，圖7(c)為三幀差分法結(jié)果，圖中網(wǎng)球出現(xiàn)了空洞拖影情況，圖7(d)為混合高斯模型檢測結(jié)果，除了檢測到的網(wǎng)球還有運(yùn)動的行人和運(yùn)動員，圖7(e)為本算法結(jié)果圖，通過幀間差分與混合高斯模型融合算法，去除了圖7(b)中的樹葉噪點(diǎn)和地面上的網(wǎng)球，得到精確的圖像分割結(jié)果。

圖7 圖像分割實(shí)驗結(jié)果Fig.7 Experimental results of image segmentation

本文研究拍攝視頻中隨機(jī)抽取第140 幀、191 幀、258 幀和309 幀四幀圖像進(jìn)行實(shí)驗結(jié)果如圖8所示，實(shí)驗引入查準(zhǔn)率，以查準(zhǔn)率為指標(biāo)將上述圖像分割算法實(shí)驗結(jié)果進(jìn)行對比分析，圖中的數(shù)據(jù)表明在復(fù)雜背景條件下，單一算法圖像分割查準(zhǔn)率普遍都較低，特別是混合高斯模型中運(yùn)動行人被作為前景圖像檢測到使其查準(zhǔn)率偏低，本文算法查準(zhǔn)率在80%～90%，相比之下查準(zhǔn)率有很大提升，可滿足正常比賽條件下網(wǎng)球參數(shù)提取的背景分割需求。查準(zhǔn)率公式為

圖8 不同算法實(shí)驗對比Fig.8 Comparison of experiments with different algorithms

(21)

式(21)中：TP表示前景像素被正確識別為前景像素的數(shù)量；FP表示背景像素被錯誤識別為前景像素的數(shù)量；P為查準(zhǔn)率。

4.2 網(wǎng)球特征參數(shù)提取結(jié)果分析

網(wǎng)球中心點(diǎn)坐標(biāo)參數(shù)提取是鷹眼系統(tǒng)的核心算法之一，為了驗證本研究算法提取特征參數(shù)的準(zhǔn)確性，對飛行網(wǎng)球圖像進(jìn)行特征參數(shù)提取,將網(wǎng)球圖像分別進(jìn)行傳統(tǒng)圓識別檢測和本文圓檢測算法實(shí)驗，圖9所示識別結(jié)果表明，由于網(wǎng)球在飛行過程中受光線照射陰影等因素影響，傳統(tǒng)圓識別檢測算法在對如下場景網(wǎng)球識別過程中出現(xiàn)一個網(wǎng)球被識別為多個圓形問題，從而圖像中網(wǎng)球出現(xiàn)多個圓心，而本算法可以較為準(zhǔn)確地對網(wǎng)球進(jìn)行識別。

圖9 網(wǎng)球識別對比Fig.9 Contrast of tennis recognition

引入查準(zhǔn)率指標(biāo)定量分析本算法在網(wǎng)球識別和提取過程中的效果，基于Hough檢測主要提取出的是網(wǎng)球的圓心參數(shù)，公式為

(22)

式(22)中：參數(shù)E為相對偏差；D為網(wǎng)球圖像真實(shí)圓心與梯度Hough變換擬合圓心的距離；S為網(wǎng)球圖像面積。

首先從采集到的視頻中選取10張網(wǎng)球飛行圖像借助軟件工具人工對網(wǎng)球圓心坐標(biāo)位置數(shù)據(jù)進(jìn)行標(biāo)注，然后采用本研究算法計算并提取網(wǎng)球擬合圓心坐標(biāo)和半徑，詳細(xì)的網(wǎng)球坐標(biāo)數(shù)據(jù)以及相對偏差計算結(jié)果如表1所示。

從表1數(shù)據(jù)可以看出，編號1、4、6、9圖像反映網(wǎng)球距離相機(jī)較近情況，擬合半徑大，和真實(shí)坐標(biāo)接近，相對偏差較小在0.3%上下，擬合相對更準(zhǔn)確，當(dāng)網(wǎng)球距離相機(jī)較遠(yuǎn)時，如編號2、3、10圖像，擬合半徑小，相對偏差較大在0.7%左右，識別精準(zhǔn)度稍低一些。根據(jù)大量的圖像實(shí)驗數(shù)據(jù)，在一般背景條件下，網(wǎng)球擬合的相對偏差數(shù)據(jù)90%以上處于0.3%～0.7%，綜合分析上述情況網(wǎng)球識別相對偏差基本符合事實(shí)總體趨勢，且在大多數(shù)情況下識別相對偏差處在較低水平。

表1 本文算法擬合結(jié)果Table 1 The fitting results of the algorithm in this paper

5 結(jié)論

(1)在基于顏色特征分割的基礎(chǔ)上，運(yùn)用幀間差分與混合高斯模型相融合算法對運(yùn)動目標(biāo)進(jìn)行檢測完成圖像預(yù)處理，解決了單一算法處理運(yùn)算量大，準(zhǔn)確率低的問題。

(2)采用梯度Hough圓變換提取特征參數(shù)，在目標(biāo)特征參數(shù)提取過程中，借助Sobel算子獲取的圖像邊緣梯度信息，采用梯度Hough變換算法提高了效率，并融入聚類思想，降低了虛假圓參與投票的可能性，網(wǎng)球特征參數(shù)提取的精確度得到了很大的提升。

(3)本研究提出的網(wǎng)球特征參數(shù)提取算法，基于圖像學(xué)方法處理，算法簡潔易于實(shí)現(xiàn)，魯棒性好，且對計算機(jī)硬件處理性能要求低，并仍可獲得較高的準(zhǔn)確率，可在一定程度上滿足賽場網(wǎng)球參數(shù)精確提取的需要，對運(yùn)動目標(biāo)特征參數(shù)提取算法具有一定的研究參考價值。