孔祥魁，樊翠紅

(長(zhǎng)江大學(xué) 教育與體育學(xué)院，湖北 荊州 434023)

近年來(lái)，人們逐漸注重身體健康狀態(tài)，而運(yùn)動(dòng)鍛煉是提升身體健康狀態(tài)的一種重要途徑。為了更加科學(xué)、合理運(yùn)動(dòng)，出現(xiàn)了許多運(yùn)動(dòng)視頻采集系統(tǒng)，與運(yùn)動(dòng)視頻相關(guān)的信息急劇增加，如何對(duì)運(yùn)動(dòng)視頻進(jìn)行有效管理，方便人們從中檢索出最合適的運(yùn)動(dòng)視頻十分重要[1，2]。運(yùn)動(dòng)視頻圖像分類利用一些特征進(jìn)行精準(zhǔn)分類，在智能監(jiān)控、視頻分析等領(lǐng)域得到了成功應(yīng)用。運(yùn)動(dòng)視頻圖像精準(zhǔn)分類可以為人們檢索、瀏覽運(yùn)動(dòng)視頻提供良好的技術(shù)支撐，因此運(yùn)動(dòng)視頻圖像分類技術(shù)在運(yùn)動(dòng)管理領(lǐng)域具有廣闊的發(fā)展前景[3，4]。

針對(duì)運(yùn)動(dòng)視頻圖像分類問(wèn)題，國(guó)內(nèi)一些專家和學(xué)者已經(jīng)投入了大量的時(shí)間和精力進(jìn)行了相關(guān)的探索和研究，取得了一些研究成果，出現(xiàn)了許多有效的運(yùn)動(dòng)視頻圖像分類方法[5]。目前最常用方法是提取運(yùn)動(dòng)視頻圖像特征，將特征輸入機(jī)器學(xué)習(xí)算法中進(jìn)行學(xué)習(xí)，建立運(yùn)動(dòng)視頻分類器，根據(jù)分類器進(jìn)行運(yùn)動(dòng)視頻圖像精準(zhǔn)分類[6-8]。高效的特征提取、特征選擇與分類方法是運(yùn)動(dòng)視頻圖像分類中的關(guān)鍵技術(shù)[9]。李彥枝等[10]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法，利用深度卷積神經(jīng)網(wǎng)絡(luò)自組織、自學(xué)習(xí)能力，在全連接層引入隱含層，增加了學(xué)習(xí)圖像特征和二值哈希的功能，構(gòu)建了相應(yīng)的圖像分類模型。Yuan等[11]提出了基于輕量級(jí)方法的圖像分類算法，從通道和空間兩個(gè)方面重構(gòu)特征圖，將重構(gòu)特征圖與輸入特征圖融合得到增強(qiáng)特征圖，提升了特征表征能力，提高了圖像分類的精度。由于運(yùn)動(dòng)視頻圖像的類型多，變化十分復(fù)雜，當(dāng)前運(yùn)動(dòng)視頻圖像分類方法還存在一些不足，如:如采用單一特征不能全面描述運(yùn)動(dòng)視頻圖像包含的信息，運(yùn)動(dòng)視頻圖像分類誤差大，而且易受噪聲干擾，運(yùn)動(dòng)視頻圖像分類結(jié)果不穩(wěn)定[12，13]。

為了更好地利用運(yùn)動(dòng)視頻圖像特征，提高運(yùn)動(dòng)視頻圖像的分類效果，本文提出了多特征融合和最小二乘支持向量機(jī)的運(yùn)動(dòng)視頻圖像分類方法。該方法通過(guò)二值化分割運(yùn)動(dòng)視頻圖像，將目標(biāo)從運(yùn)動(dòng)視頻圖像中提取出來(lái)；采用小波變換對(duì)運(yùn)動(dòng)視頻圖像進(jìn)行去噪處理，并提取運(yùn)動(dòng)視頻圖像的多種特征；采用最小二乘支持向量機(jī)(Least squares support vector machines，LSSVM)[14，15]設(shè)計(jì)運(yùn)動(dòng)視頻圖像分類器，利用證據(jù)理論(Dempster shafer，DS)根據(jù)多特征的合成規(guī)則實(shí)現(xiàn)多個(gè)單一特征的運(yùn)動(dòng)視頻圖像分類結(jié)果融合，從而實(shí)現(xiàn)運(yùn)動(dòng)視頻圖像分類結(jié)果的判定。通過(guò)試驗(yàn)證明其運(yùn)動(dòng)視頻圖像分類效果。

1 運(yùn)動(dòng)視頻圖像分類方法設(shè)計(jì)

1.1 運(yùn)動(dòng)視頻采集以及圖像分割處理

采用電荷耦合器件攝像機(jī)采集運(yùn)動(dòng)視頻，對(duì)運(yùn)動(dòng)視頻進(jìn)行分幀處理，得到多幅連續(xù)的運(yùn)動(dòng)視頻圖像，并對(duì)運(yùn)動(dòng)視頻圖像進(jìn)行增強(qiáng)處理，提高運(yùn)動(dòng)視頻圖像清晰度，然后采用幀間差分法根據(jù)像素變化實(shí)現(xiàn)運(yùn)動(dòng)視頻圖像分割。幀間差分法的工作原理為:設(shè)定一個(gè)閾值，將運(yùn)動(dòng)視頻圖像幀像素值間的差分結(jié)果與閾值進(jìn)行比較，如果像素大于閾值，表示這個(gè)像素點(diǎn)為前景中的像素點(diǎn)，反之，認(rèn)為這個(gè)像素點(diǎn)為背景中的像素點(diǎn)。f k(x，y)表示第k幀圖像，兩幀運(yùn)動(dòng)視頻圖像幀差為D k(x，y)，具體為

與閾值進(jìn)行比較，得到運(yùn)動(dòng)視頻圖像的分割結(jié)果為

式中:T表示閾值，通常情況下，T＞0.5，本文設(shè)置為T=0.75。

利用式(2)對(duì)獲取的運(yùn)動(dòng)視頻圖像進(jìn)行分割，將運(yùn)動(dòng)目標(biāo)從背景圖像中分割出來(lái)，便于后續(xù)圖像特征提取。

1.2 運(yùn)動(dòng)視頻圖像特征提取

1.2.1 運(yùn)動(dòng)視頻圖像的極坐標(biāo)變換

利用極坐標(biāo)變換對(duì)運(yùn)動(dòng)視頻圖像進(jìn)行矢量化處理，解決了非線性畸變等因素對(duì)運(yùn)動(dòng)視頻圖像特征提取造成干擾的問(wèn)題。設(shè)圖像變換的徑向長(zhǎng)度為r，旋轉(zhuǎn)角度為θ。f(x，y)與f(r，θ):x=rsinθ，y=rcosθ分別表示二維運(yùn)動(dòng)視頻圖像和其極坐標(biāo)表達(dá)形式，為控制極坐標(biāo)轉(zhuǎn)換導(dǎo)致的誤差，設(shè)置圖像質(zhì)心作為坐標(biāo)原點(diǎn)實(shí)現(xiàn)極坐標(biāo)變換。

1.2.2 提取運(yùn)動(dòng)視頻圖像特征

(1)由于運(yùn)動(dòng)視頻圖像為二級(jí)圖像，而小波變換直接處理比較困難，因此將運(yùn)動(dòng)視頻圖像從直角坐標(biāo)中變換到極坐標(biāo)中，即:利用Δθ=2π/N等分角度(N表示圖像像素點(diǎn)的數(shù)量)，積分處理角度為

式中:m表示小波變換的縮放因子。

(2)在徑向區(qū)域(0≤r≤1)中，利用小波函數(shù)對(duì)Z q(r)進(jìn)行變換，Z q(r)的小波變換具體為

式中:ψm，n(r)表示小波函數(shù)諧波階次，n表示小波變換的平移因子。

(3)運(yùn)動(dòng)視頻圖像經(jīng)過(guò)小波變換后，得到不同的分量，這些分量之間的差別主要表現(xiàn)在小波系數(shù)取值大小，噪聲的小波系數(shù)相對(duì)較小。

(4)對(duì)有用分量的小波系數(shù)進(jìn)行重構(gòu)，將噪聲對(duì)應(yīng)的小波系數(shù)置為0，從而得到不含噪聲的運(yùn)動(dòng)視頻圖像。

(5)從無(wú)噪的運(yùn)動(dòng)視頻圖像中分別提取顏色、紋理、形狀、空間、亮度和輪廓特征。

1.2.3 選擇識(shí)別特征

為保證特征具有較高優(yōu)異性，使同類運(yùn)動(dòng)視頻圖像特征之間差別小，而異類運(yùn)動(dòng)視頻圖像中差別大，類間距最大的特征即運(yùn)動(dòng)視頻圖像所需要提取的特征。M表示訓(xùn)練樣本集中樣本類別，N j與x ij分別表示第j類樣本數(shù)量以及第j類樣本的第i個(gè)特征，樣本集類別特征均值計(jì)算公式為

相同類別的全部像素點(diǎn)特征值相近，則第j類特征x的方差估值為

對(duì)于特征x，第j類和k類的間距計(jì)算公式為

通過(guò)上述過(guò)程選取類間距較大的多個(gè)運(yùn)動(dòng)視頻圖像特征，并根據(jù)這些特征進(jìn)行運(yùn)動(dòng)視頻圖像分類。

1.3 DS-LSSVM的運(yùn)動(dòng)視頻圖像分類

1.3.1 DS理論

DS理論將證據(jù)體設(shè)置為信任函數(shù)，利用兩個(gè)或多個(gè)信任函數(shù)融合的信任函數(shù)作為決策依據(jù)，由此實(shí)現(xiàn)運(yùn)動(dòng)視頻圖像分類決策。Θ表示檢測(cè)框架，設(shè)存在符合m(?)=0條件的函數(shù)m:2Θ→[0，1]，且m(A)=1(A∈2Θ)，此時(shí)m(A)與m(Θ)分別表示框架Θ內(nèi)的基本概率指派、證據(jù)的不確定性，命題A在A≠Θ時(shí)的精確信任程度為m(A)。檢測(cè)框架為Θ時(shí)，差異證據(jù)的基本概率指派為:m1，m2，…，mn，利用其正交和m=m1⊕m2⊕…⊕mn獲取合成規(guī)則如下

1.3.2 單一特征的運(yùn)動(dòng)視頻分類模型

設(shè)x i與y i分別表示樣本輸入和輸出，訓(xùn)練集為(x i，y i)，i=1，2，…，l，l表示訓(xùn)練樣本的數(shù)量。高維空間內(nèi)最小二乘支持向量機(jī)分類器的線性函數(shù)如下

式中:w與b分別表示權(quán)值向量以及偏置。

利用拉格朗日乘子α將式(9)轉(zhuǎn)化為無(wú)約束對(duì)偶優(yōu)化問(wèn)題

式中:e表示高維空間維數(shù)。

依據(jù)KKT條件可將以上公式轉(zhuǎn)化為

式中:y表示判決函數(shù)。

引入核函數(shù)將非線性問(wèn)題轉(zhuǎn)換至高維特征空間內(nèi)實(shí)現(xiàn)問(wèn)題求解。選取徑向基核函數(shù)作為運(yùn)動(dòng)視頻圖像分類的核函數(shù)，可得LSSVM分類運(yùn)動(dòng)視頻圖像的決策函數(shù)如下

式中:η表示核寬度參數(shù)。

1.3.3 多特征的運(yùn)動(dòng)視頻分類模型

運(yùn)動(dòng)視頻圖像存在多個(gè)特征，各特征之間相互獨(dú)立，為此利用證據(jù)理論融合單一特征的運(yùn)動(dòng)視頻圖像分類結(jié)果，依據(jù)判決門限以及決策規(guī)劃獲取最優(yōu)運(yùn)動(dòng)視頻圖像分類結(jié)果。多運(yùn)動(dòng)視頻圖像分類流程如下:

(1)提取能夠描述運(yùn)動(dòng)視頻圖像類型的特征，將特征輸入LSSVM中，利用LSSVM學(xué)習(xí)設(shè)計(jì)單一特征的分類器，根據(jù)分類器可以得到每一個(gè)特征的運(yùn)動(dòng)視頻圖像分類結(jié)果。

(2)建立證據(jù)體的基本概率指派，LSSVM輸出作為證據(jù)體，可將其輸出轉(zhuǎn)化為

式中:AS、BS與h分別為后驗(yàn)概率以及分類器輸出值。

利用最大似然法對(duì)后驗(yàn)概率進(jìn)行求解，通過(guò)學(xué)習(xí)訓(xùn)練集單一特征的運(yùn)動(dòng)視頻圖像分類精度v，可得基本概率指派函數(shù)公式如下

(3)融合以及判決最終的運(yùn)動(dòng)視頻圖像分類結(jié)果。通過(guò)對(duì)運(yùn)動(dòng)視頻圖像分類的證據(jù)信度進(jìn)行加權(quán)，得到證據(jù)聯(lián)合信度，根據(jù)證據(jù)聯(lián)合信度得到運(yùn)動(dòng)視頻圖像的最終分類結(jié)果，同時(shí)應(yīng)該滿足如下條件:

①門限ε1需要低于目標(biāo)類與其它類間的信度差；

②門限ε2需要小于目標(biāo)類與不確定性信度的指派值之差；

③門限ε3需要大于不確定信度指派值。

2 仿真試驗(yàn)

2.1 運(yùn)動(dòng)視頻圖像來(lái)源

為了測(cè)試本文提出的運(yùn)動(dòng)視頻圖像分類方法的性能，在公開(kāi)的GOPRO[16]數(shù)據(jù)集上進(jìn)行仿真試驗(yàn)，從數(shù)據(jù)集中選取包含足球、籃球、羽毛球、棒球、排球、網(wǎng)球、游泳、跑步、乒乓球、斯諾克等10種類型的運(yùn)動(dòng)視頻構(gòu)建數(shù)據(jù)集。為了測(cè)試兩幀差分法對(duì)運(yùn)動(dòng)視頻圖像預(yù)處理的優(yōu)越性，采用閾值法和輪廓波模型的圖像分割方法進(jìn)行對(duì)比測(cè)試；為了體現(xiàn)多特征的運(yùn)動(dòng)視頻圖像分類優(yōu)越性，選擇了單一特征進(jìn)行運(yùn)動(dòng)視頻圖像分類對(duì)照試驗(yàn)，并且選擇了當(dāng)前經(jīng)典運(yùn)動(dòng)視頻圖像分類方法進(jìn)行運(yùn)動(dòng)視頻圖像分類整體對(duì)比試驗(yàn)，經(jīng)典方法具體為:文獻(xiàn)[10]的卷積神經(jīng)網(wǎng)絡(luò)和文獻(xiàn)[11]的輕量級(jí)方法。采用相同的試驗(yàn)環(huán)境，具體為:Windows 10操作系統(tǒng)，4 Core i7 CPU，16GB RAM，采用VC＋＋編程實(shí)現(xiàn)運(yùn)動(dòng)視頻圖像分類算法。

2.2 不同運(yùn)動(dòng)視頻圖像預(yù)處理方法的工作速度對(duì)比

采用兩幀差分法、閾值法、輪廓波模型對(duì)運(yùn)動(dòng)視頻圖像進(jìn)行分割，在不同迭代次數(shù)條件下，3種方法的收斂情況如圖1所示。從圖1試驗(yàn)結(jié)果可以看出，采用兩幀差分法對(duì)運(yùn)動(dòng)視頻圖像進(jìn)行分割，僅需60次左右的迭代次數(shù)即可實(shí)現(xiàn)收斂，收斂后趨于穩(wěn)定，運(yùn)動(dòng)視頻圖像分割速度更快，而且運(yùn)動(dòng)視頻圖像分割效果更優(yōu)；對(duì)比方法需迭代160～180次才趨于收斂，收斂速度明顯低于本文方法，兩幀差分法在較短時(shí)間內(nèi)完成運(yùn)動(dòng)視頻圖像預(yù)處理，結(jié)果表明，本文選擇兩幀差分法對(duì)運(yùn)動(dòng)視頻圖像進(jìn)行分割是合理的。

圖1 不同運(yùn)動(dòng)視頻圖像分類方法收斂情況對(duì)比

2.3 與單特征的運(yùn)動(dòng)視頻圖像分類結(jié)果比較

分別設(shè)置分類運(yùn)動(dòng)視頻圖像判決門限為0.45、0.60以及0.20，統(tǒng)計(jì)單一特征、多特征融合的運(yùn)動(dòng)視頻圖像分類檢測(cè)框架的信度值，對(duì)比結(jié)果如圖2所示。從圖2試驗(yàn)結(jié)果可以看出，多特征融合的分類運(yùn)動(dòng)視頻圖像信度值明顯高于單一特征，這是因?yàn)閱我惶卣髦荒苊枋鲞\(yùn)動(dòng)視頻圖像類別的局部、片段信息，多特征融合可以全面體現(xiàn)運(yùn)動(dòng)視頻圖像的類別信息，有利于后續(xù)運(yùn)動(dòng)視頻圖像分類。

圖2 單一特征和融合特征運(yùn)動(dòng)視頻圖像分類檢測(cè)框架信度值對(duì)比

統(tǒng)計(jì)不同單一特征、多特征融合的運(yùn)動(dòng)視頻圖像分類精度，結(jié)果如圖3所示。從圖3試驗(yàn)結(jié)果可以看出，多特征融合的運(yùn)動(dòng)視頻圖像分類精度明顯高于單一特征，這是因?yàn)椴捎肈S證據(jù)理論對(duì)單一特征的運(yùn)動(dòng)視頻圖像分類結(jié)果進(jìn)行了有效融合，可以更好地刻畫(huà)運(yùn)動(dòng)視頻圖像類型的變化特點(diǎn)，明顯提升了運(yùn)動(dòng)視頻圖像分類效果。

圖3 單一特征和融合特征的運(yùn)動(dòng)視頻圖像分類精度對(duì)比

2.4 與經(jīng)典方法的運(yùn)動(dòng)視頻圖像分類結(jié)果對(duì)比

對(duì)于每一類運(yùn)動(dòng)視頻，隨機(jī)選取20個(gè)運(yùn)動(dòng)視頻構(gòu)建成訓(xùn)練集，隨機(jī)選擇10個(gè)運(yùn)動(dòng)視頻作為測(cè)試集。統(tǒng)計(jì)采用本文方法、卷積神經(jīng)網(wǎng)絡(luò)、輕量級(jí)方法的運(yùn)動(dòng)視頻圖像的分類精度以及分類時(shí)間，結(jié)果如圖4和圖5所示。對(duì)圖4和圖5的試驗(yàn)結(jié)果進(jìn)行分析可知，本文方法的運(yùn)動(dòng)視頻圖像分類精度均高于96%；對(duì)于一幅運(yùn)動(dòng)視頻圖像，本文方法的平均分類時(shí)間低于20 ms。而卷積神經(jīng)網(wǎng)絡(luò)、輕量級(jí)方法的運(yùn)動(dòng)視頻圖像分類精度均低于90%，且一幅運(yùn)動(dòng)視頻圖像的平均分類時(shí)間均高于30 ms，對(duì)比結(jié)果表明，本文方法的運(yùn)動(dòng)視頻圖像分類精度、分類時(shí)間得到了明顯的提升，這是因?yàn)楸疚姆椒ú捎枚喾N特征對(duì)運(yùn)動(dòng)視頻圖像的類型進(jìn)行識(shí)別，可以更加全面描述運(yùn)動(dòng)視頻圖像的信息，使運(yùn)動(dòng)視頻圖像的分類精度更高，而且通過(guò)引入最小二乘支持向量機(jī)加快了運(yùn)動(dòng)視頻圖像分類的訓(xùn)練速度，提高了運(yùn)動(dòng)視頻圖像分類效率，適合于大規(guī)模的運(yùn)動(dòng)視頻圖像分類研究，實(shí)際應(yīng)用范圍更加廣泛。

圖4 不同方法的運(yùn)動(dòng)視頻圖像分類精度對(duì)比

圖5 不同方法的運(yùn)動(dòng)視頻圖像分類時(shí)間對(duì)比

2.5 運(yùn)動(dòng)視頻圖像分類方法的抗干擾能力對(duì)比

為了分析不同方法的抗噪聲干擾能力，在運(yùn)動(dòng)視頻圖像中加入一定噪聲，統(tǒng)計(jì)本文方法與卷積神經(jīng)網(wǎng)絡(luò)、輕量級(jí)方法的運(yùn)動(dòng)視頻圖像分類精度，結(jié)果如圖6所示。

圖6 噪聲情況下的運(yùn)動(dòng)視頻圖像分類精度對(duì)比

從圖6的試驗(yàn)結(jié)果可以看出，對(duì)于噪聲運(yùn)動(dòng)視頻圖像，本文方法的運(yùn)動(dòng)視頻圖像分類精度仍然高于90%，遠(yuǎn)高于經(jīng)典的運(yùn)動(dòng)視頻圖像分類方法，這說(shuō)明本文方法受噪聲影響較小，主要是因?yàn)楸疚姆椒ɡ米C據(jù)信度和證據(jù)聯(lián)合信度設(shè)立了分類門限，劃定一定的范圍避免了無(wú)關(guān)噪聲的干擾，對(duì)比試驗(yàn)結(jié)果驗(yàn)證了本文方法可有效抵抗噪聲干擾，具有較強(qiáng)的運(yùn)動(dòng)視頻圖像分類穩(wěn)定性，而對(duì)比方法在有噪聲條件下，運(yùn)動(dòng)視頻圖像分類精度下降幅度大，無(wú)法滿足運(yùn)動(dòng)視頻圖像管理的要求。

3 結(jié)束語(yǔ)

為了獲得更加理想的運(yùn)動(dòng)視頻圖像結(jié)果，本文提出了基于多特征融合和最小二乘支持向量機(jī)的運(yùn)動(dòng)視頻圖像分類方法。此方法首先提取運(yùn)動(dòng)視頻圖像的多種特征，然后采用DS證據(jù)融合單一特征的運(yùn)動(dòng)視頻圖像分類結(jié)果，解決當(dāng)前運(yùn)動(dòng)視頻圖像分類方法存在的訓(xùn)練耗時(shí)長(zhǎng)、分類精度低等問(wèn)題，以提升運(yùn)動(dòng)視頻圖像分類精度和分類速度。試驗(yàn)結(jié)果表明，當(dāng)有干擾因素存在時(shí)，本文方法仍具有較高的運(yùn)動(dòng)視頻圖像分類精度，且運(yùn)動(dòng)視頻圖像分類結(jié)果十分穩(wěn)定性。在運(yùn)動(dòng)視頻圖像分類的實(shí)際應(yīng)用中，最小二乘支持向量機(jī)的參數(shù)直接影響運(yùn)動(dòng)視頻圖像分類效果，而本文沒(méi)有對(duì)參數(shù)優(yōu)化問(wèn)題進(jìn)行研究，因此下一步將研究對(duì)最小二乘支持向量機(jī)的參數(shù)優(yōu)化問(wèn)題，以更好地適應(yīng)環(huán)境變化，獲得更加理想的運(yùn)動(dòng)視頻圖像分類效果。