張偉來(lái) 谷 林

（西安工程大學(xué)計(jì)算機(jī)科學(xué)學(xué)院 西安 710600）

1 引言

人體動(dòng)作的識(shí)別、對(duì)比與矯正等是計(jì)算機(jī)視覺(jué)技術(shù)的研究熱點(diǎn)，可以廣泛應(yīng)用于監(jiān)控分析、人機(jī)交互、體育教學(xué)、康復(fù)訓(xùn)練等領(lǐng)域。其中人體動(dòng)作對(duì)比矯正技術(shù)指從視頻或圖像信息中獲取人體目標(biāo)及其動(dòng)作特征描述，依據(jù)特征描述對(duì)人體的動(dòng)作進(jìn)行對(duì)比分析，從而給出評(píng)價(jià)和矯正指導(dǎo)，幫助用戶做出正確的動(dòng)作。Tang 等［1］提出了一種基于神經(jīng)網(wǎng)絡(luò)的相似性度量系統(tǒng)，使用對(duì)應(yīng)關(guān)節(jié)間的歐式距離為基本特征，利用受試者的主觀感受來(lái)作為標(biāo)簽評(píng)價(jià)一對(duì)運(yùn)動(dòng)是否相似，訓(xùn)練系統(tǒng)計(jì)算任意一對(duì)運(yùn)動(dòng)的相似度，并給出評(píng)價(jià)。Hu 等［2］設(shè)計(jì)了一種包含身體輪廓和關(guān)節(jié)位置、形狀和深度信息的特征描述，將被測(cè)動(dòng)作序列對(duì)齊后比較特征描述的相似度，從而給出評(píng)估結(jié)果和矯正提示。千承輝［3］等設(shè)計(jì)了一種基于視覺(jué)方法的康復(fù)訓(xùn)練系統(tǒng)，利用骨骼點(diǎn)信息比較被測(cè)人骨骼角度序列與動(dòng)作庫(kù)的標(biāo)準(zhǔn)動(dòng)作序列的相似度，從而給出評(píng)價(jià)和指導(dǎo)建議。受限于傳統(tǒng)特征描述方法，前人研究者對(duì)動(dòng)作對(duì)比分析系統(tǒng)的研究主要集中于對(duì)動(dòng)作的分析評(píng)價(jià)，往往只能給出矯正意見(jiàn)，如方向、角度、距離等方面的建議，無(wú)法給出精確的矯正位置。

為解決上述問(wèn)題，本文使用基于骨骼點(diǎn)相對(duì)位置的特征描述方法，包含單幀圖像中每個(gè)骨骼點(diǎn)與其他骨骼點(diǎn)的二維向量信息，結(jié)合余弦相似度僅對(duì)方向敏感的特點(diǎn)計(jì)算目標(biāo)人體與被測(cè)人體的相似度，建立基于統(tǒng)計(jì)方法的對(duì)比分析模型對(duì)圖像中被測(cè)動(dòng)作中的骨骼點(diǎn)位置進(jìn)行正誤判斷，最后基于目標(biāo)動(dòng)作的特征描述計(jì)算錯(cuò)誤骨骼點(diǎn)的正確位置，給出矯正建議。

2 相關(guān)研究

對(duì)人體動(dòng)作進(jìn)行對(duì)比分析主要有兩個(gè)關(guān)鍵環(huán)節(jié)，選取合適的特征和特征描述方法，以及設(shè)計(jì)高效、準(zhǔn)確的對(duì)比分析方法。

圖像中人體特征主要有包含完整信息的全局特征和對(duì)部分興趣點(diǎn)敏感的局部特征［4～6］。全局特征是對(duì)檢測(cè)出的整個(gè)人體進(jìn)行描述，通常采用邊緣、輪廓等信息，其包含更多、更完整的信息，但對(duì)噪聲、遮擋、視角變化等敏感。局部特征提取是對(duì)圖像或者視頻中的一個(gè)塊進(jìn)行描述，通常檢測(cè)到人體動(dòng)作時(shí)變化顯著的關(guān)鍵點(diǎn)，以這些點(diǎn)為中心在鄰域內(nèi)捕獲局部形狀、外觀和運(yùn)動(dòng)等特征進(jìn)行描述。此外還有近年來(lái)應(yīng)用廣泛的人體骨骼點(diǎn)特征［7～8］，使用骨骼點(diǎn)特征能更準(zhǔn)確描述出人體肢體姿態(tài)，減小背景環(huán)境和攝像機(jī)等因素的干擾和影響，且由于骨骼點(diǎn)特征數(shù)據(jù)規(guī)模小，研究者可以進(jìn)行更為復(fù)雜的計(jì)算。

對(duì)特征的對(duì)比分析的經(jīng)典方法是建立算法模型，對(duì)單個(gè)動(dòng)作之間特征描述的位移、角度、加速度等變化，或?qū)φ麄€(gè)運(yùn)動(dòng)過(guò)程中特征信號(hào)的時(shí)域、頻域特征等進(jìn)行采集，并進(jìn)行計(jì)算分析［9～10］。此外還有近來(lái)在計(jì)算機(jī)視覺(jué)領(lǐng)域運(yùn)用廣泛的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方法［11～13］，通過(guò)足量的數(shù)據(jù)和時(shí)間訓(xùn)練神經(jīng)網(wǎng)絡(luò)，自動(dòng)從數(shù)據(jù)中提取出便于識(shí)別對(duì)比的特征，并進(jìn)行分析，最后輸出結(jié)果。

3 對(duì)比矯正模型

3.1 特征描述

基于骨骼點(diǎn)的人體特征描述方法主要保存人體骨骼的位置信息、距離信息、角度信息、加速度信息等，骨骼點(diǎn)特征信息可由傳感器直接獲取或由人體姿態(tài)估計(jì)（Human pose estimation）技術(shù)獲得。傳感器通常為陀螺儀、加速度傳感器、磁力強(qiáng)度計(jì)等，其直接獲取的數(shù)據(jù)較為準(zhǔn)確、迅速，不受光照、陰影、遮擋等因素影響，能較好地保護(hù)用戶隱私，但此方法受器材、場(chǎng)地等條件制約，難以推廣、普及［14］。人體姿態(tài)估計(jì)技術(shù)是采用圖像處理的方法，對(duì)圖像中的特征進(jìn)行處理分析，獲得人體骨骼點(diǎn)的特征。此方法對(duì)軟硬件要求較低，只需輸入圖像信息即可通過(guò)算法模型或機(jī)器學(xué)習(xí)等方法獲取需要的特征，但其準(zhǔn)確率和速度受圖像質(zhì)量、數(shù)據(jù)預(yù)處理效果和算法模型設(shè)計(jì)等多種因素影響［15］。目前常用的人體姿態(tài)估計(jì)系統(tǒng)有基于圖像和深度學(xué)習(xí)方法的Openpose、Alphapose等，以及基于深度攝像機(jī)的Kinect等。

基于骨骼點(diǎn)間相對(duì)位置信息的人體特征描述方法，對(duì)于一個(gè)動(dòng)作的特征描述，由連續(xù)多幀圖像中的人體姿態(tài)特征組合而成。單幀中的人體姿態(tài)特征包含每個(gè)骨骼點(diǎn)與其他骨骼點(diǎn)的向量信息，形成二維矩陣，如式（1）。

其中vij表示在該幀中骨骼點(diǎn)i與骨骼點(diǎn)j的相對(duì)位置信息，即由點(diǎn)i指向j的二維向量，則矩陣Ft包含了在第t幀中所有骨骼點(diǎn)之間的相對(duì)位置信息，由連續(xù)的特征矩陣Ft組成的集合F即為一個(gè)含有n個(gè)骨骼特征點(diǎn)的人體動(dòng)作特征描述。

3.2 錯(cuò)誤點(diǎn)檢測(cè)

獲取動(dòng)作特征描述后進(jìn)行對(duì)比分析，針對(duì)人體動(dòng)作對(duì)比矯正，分析的重點(diǎn)在于錯(cuò)誤動(dòng)作點(diǎn)的檢測(cè)和矯正。由于余弦相似度只對(duì)方向敏感，可減小體型、拍攝遠(yuǎn)近等距離層面的影響，故本文采用余弦相似度來(lái)衡量同一動(dòng)作中，兩個(gè)進(jìn)行對(duì)比的人體特征描述的相似程度，并形成相似度矩陣。再結(jié)合統(tǒng)計(jì)分析方法分析、篩選出錯(cuò)誤動(dòng)作點(diǎn)。余弦相似度通過(guò)兩個(gè)向量的夾角余弦值來(lái)評(píng)估兩個(gè)向量的相似程度，值越接近1 即夾角越小，表示兩個(gè)向量越相似，如式（2）。

由此方法結(jié)合所獲取的特征描述矩陣，對(duì)兩個(gè)矩陣中對(duì)應(yīng)的向量計(jì)算余弦相似度，可獲得相似度矩陣，如式（3），其中sij指目標(biāo)圖像中向量vij與被測(cè)圖像中向量vij之間的余弦相似度。

對(duì)相似度矩陣數(shù)據(jù)進(jìn)行分析，可以發(fā)現(xiàn)一些能夠區(qū)分正確點(diǎn)和錯(cuò)誤點(diǎn)的數(shù)據(jù)特征。如圖1 為兩個(gè)骨骼點(diǎn)的相似度數(shù)據(jù)和它們與其他骨骼點(diǎn)的平均相似度數(shù)據(jù)，其中點(diǎn)A 是錯(cuò)誤動(dòng)作的骨骼點(diǎn)，點(diǎn)B 是正確動(dòng)作骨骼點(diǎn)?？梢园l(fā)現(xiàn)：1）正確點(diǎn)的平均相似度明顯高于錯(cuò)誤點(diǎn)。2）在一個(gè)骨骼點(diǎn)與其他骨骼點(diǎn)的相似度數(shù)據(jù)中，錯(cuò)誤點(diǎn)的相似度數(shù)據(jù)明顯低于正確點(diǎn)的相似度數(shù)據(jù)，表現(xiàn)為偏低的異常值。針對(duì)這兩種特點(diǎn)，設(shè)計(jì)兩種方法來(lái)綜合判斷一個(gè)骨骼點(diǎn)在動(dòng)作中的正確性。

圖1 骨骼點(diǎn)相似度

由于正確點(diǎn)的平均相似度數(shù)據(jù)要明顯高于錯(cuò)誤點(diǎn)，因此可以使用平均相似度來(lái)判斷骨骼點(diǎn)是否正確。但由于動(dòng)作的錯(cuò)誤程度不同，所表現(xiàn)出的平均相似度難以用固定閾值進(jìn)行衡量，因此使用所有點(diǎn)平均相似度的平均值，再結(jié)合均方差作為閾值進(jìn)行判斷，如式（4）、（5）。最后將低于閾值的數(shù)據(jù)認(rèn)為是異常值，將其的相對(duì)差記錄下來(lái)并累加，用于最終判斷，如式（6）。

針對(duì)錯(cuò)誤骨骼點(diǎn)的相似度在其他骨骼點(diǎn)相似度數(shù)據(jù)中體現(xiàn)為低異常值的特點(diǎn)，同樣可以設(shè)計(jì)方法加以判斷。由圖可發(fā)現(xiàn)此類異常值一般遠(yuǎn)低于正常值，又由于均值和均方差的耐抗性較差，在多錯(cuò)誤點(diǎn)動(dòng)作的特征中，此類低異常值可能會(huì)大幅影響平均值與均方差，造成判斷不準(zhǔn)確，所以不適合使用此類方法進(jìn)行篩選。使用四分位數(shù)和四分位距能更好地針對(duì)這種數(shù)據(jù)進(jìn)行分析，四分位數(shù)是將數(shù)據(jù)均勻劃分為四部分，其中每部分包含四分之一的數(shù)據(jù)，由此得出上四分位數(shù)、中位數(shù)和下四分位數(shù)，再由上、下四分位數(shù)的差得出四分位距，如式（7）。四分位數(shù)具有一定的耐抗性，允許多達(dá)四分之一的數(shù)據(jù)有較大誤差而不會(huì)大幅影響四分位數(shù)，所以異常值不能對(duì)這個(gè)標(biāo)準(zhǔn)施加影響。在上、下四分位數(shù)的基礎(chǔ)上結(jié)合四分位距可以得出異常值的內(nèi)限和外限，由內(nèi)限和外限可將異常值劃分為溫和異常值和極端異常值。本文方法將內(nèi)限作為判斷閾值，且由于本文數(shù)據(jù)特征，錯(cuò)誤點(diǎn)只會(huì)產(chǎn)生相似度較低的低異常值，因此只需計(jì)算下內(nèi)限，如式（8），最后記錄異常值與閾值的相對(duì)差并累加，如式（9）。

最后將兩種方法的相對(duì)誤差相加形成相對(duì)誤差矩陣，用于判斷。

3.3 動(dòng)作矯正

將所有骨骼點(diǎn)區(qū)分為正確骨骼點(diǎn)和錯(cuò)誤骨骼點(diǎn)后，需要對(duì)錯(cuò)誤骨骼點(diǎn)進(jìn)行矯正。針對(duì)錯(cuò)誤點(diǎn)的矯正需要使用正確骨骼點(diǎn)的位置信息，以及正確的相對(duì)位置信息來(lái)預(yù)測(cè)錯(cuò)誤點(diǎn)應(yīng)屬的正確位置，從而實(shí)現(xiàn)動(dòng)作矯正。經(jīng)判斷為正確的骨骼點(diǎn)可以提供正確骨骼點(diǎn)的位置信息，而正確的相對(duì)位置信息可以從正確動(dòng)作的特征描述中獲得，將所有正確點(diǎn)算得的矯正點(diǎn)坐標(biāo)取平均，可得最終矯正點(diǎn)坐標(biāo)，因此有公式如式（11）。

其中k 是設(shè)定用于判斷骨骼點(diǎn)正誤的閾值，ei＜k表示第i 個(gè)骨骼點(diǎn)的相對(duì)誤差小于閾值，即判斷該點(diǎn)為正確點(diǎn)，m為正確骨骼點(diǎn)的個(gè)數(shù)。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文使用自建數(shù)據(jù)集對(duì)模型進(jìn)行實(shí)驗(yàn)和分析，由于一個(gè)動(dòng)作視頻可由連續(xù)多幀圖像表達(dá)，將目標(biāo)動(dòng)作與被測(cè)動(dòng)作關(guān)鍵幀對(duì)齊后，圖像中的對(duì)比矯正即可拓展至視頻層面，因此本文只設(shè)計(jì)圖像數(shù)據(jù)集對(duì)模型進(jìn)行實(shí)驗(yàn)驗(yàn)證。數(shù)據(jù)集由46 組正確動(dòng)作和錯(cuò)誤動(dòng)作圖像組成的對(duì)照?qǐng)D像組成，對(duì)照?qǐng)D像為固定靜態(tài)動(dòng)作或?qū)φ談?dòng)作視頻中的關(guān)鍵幀，出處為實(shí)驗(yàn)室拍攝和網(wǎng)絡(luò)視頻。其中正確動(dòng)作為一名教師或?qū)嶒?yàn)人員做出的目標(biāo)動(dòng)作，錯(cuò)誤動(dòng)作為受試者模仿正確動(dòng)作做出的包含錯(cuò)誤點(diǎn)的模仿動(dòng)作。錯(cuò)誤動(dòng)作包含單點(diǎn)錯(cuò)誤、單肢體錯(cuò)誤、多點(diǎn)錯(cuò)誤、多肢體錯(cuò)誤，涵蓋常見(jiàn)錯(cuò)誤類型。

4.2 骨骼點(diǎn)定義及獲取

相較于傳感器方法，計(jì)算機(jī)視覺(jué)方法在獲取骨骼點(diǎn)時(shí)不受硬件條件制約，應(yīng)用范圍更廣泛，因此實(shí)驗(yàn)中人體骨骼點(diǎn)獲取方式采取Openpose［16～17］開源模型。Openpose 基于卷積神經(jīng)網(wǎng)絡(luò)和有監(jiān)督學(xué)習(xí)開發(fā)，可實(shí)現(xiàn)對(duì)人軀干的主要關(guān)鍵點(diǎn)、人臉關(guān)鍵點(diǎn)的和手腳關(guān)鍵點(diǎn)的姿態(tài)估計(jì)。其模型速度快、魯棒性強(qiáng)、準(zhǔn)確度高，已被研究者們廣泛認(rèn)同。實(shí)驗(yàn)采集的關(guān)鍵點(diǎn)為對(duì)人體運(yùn)動(dòng)敏感的軀干骨骼點(diǎn)，包含15 個(gè)骨骼點(diǎn)，如圖2、表1 所示，通過(guò)這些骨骼點(diǎn)可以清楚地觀察出人體的運(yùn)動(dòng)姿態(tài)。

圖2 骨骼點(diǎn)結(jié)構(gòu)圖

表1 骨骼點(diǎn)對(duì)照表

4.3 模型效果驗(yàn)證

使用本文模型對(duì)46 組對(duì)照?qǐng)D像進(jìn)行分析發(fā)現(xiàn)，共690個(gè)骨骼點(diǎn)數(shù)據(jù)中，有312個(gè)骨骼點(diǎn)被記錄了本文所定義的相對(duì)誤差值，但大部分為相對(duì)誤差值較低，如圖3。實(shí)驗(yàn)說(shuō)明本文模型對(duì)動(dòng)作錯(cuò)誤導(dǎo)致的骨骼點(diǎn)位置異常較為敏感，后設(shè)置合適閾值驗(yàn)證對(duì)比效果和矯正效果。

圖3 相對(duì)誤差值分布圖

為驗(yàn)證本文模型對(duì)錯(cuò)誤點(diǎn)識(shí)別的準(zhǔn)確度，首先對(duì)數(shù)據(jù)集中錯(cuò)誤節(jié)點(diǎn)進(jìn)行人工標(biāo)注，其中自行拍攝的圖像在拍攝時(shí)已對(duì)錯(cuò)誤動(dòng)作中的錯(cuò)誤骨骼點(diǎn)進(jìn)行了設(shè)計(jì)、記錄，網(wǎng)絡(luò)圖像部分則是由多位動(dòng)作對(duì)比領(lǐng)域研究者共同進(jìn)行觀察與經(jīng)驗(yàn)分析。通過(guò)計(jì)算本模型錯(cuò)誤點(diǎn)檢測(cè)準(zhǔn)確率和F1 對(duì)模型進(jìn)行評(píng)測(cè)，公式如下。其中準(zhǔn)確率表示所有樣本中分類正確的比率，精確率為被分為正例中實(shí)際也為正例的比率，召回率為真是為正例中被分為正例的比率，由于精確率與準(zhǔn)確率通常情況下此消彼長(zhǎng)，F(xiàn)1 值是對(duì)這兩種指標(biāo)的綜合評(píng)價(jià)。

表2 評(píng)測(cè)指標(biāo)參數(shù)定義

根據(jù)圖4 結(jié)果可見(jiàn)隨著閾值k 值增加，準(zhǔn)確率與F1 值呈先上升后下降趨勢(shì)，二者在近似k=0.1 處取得最大值，準(zhǔn)確率可達(dá)90%，F(xiàn)1 值達(dá)86%，效果較為理想。因此近似取k=0.1，在此閾值下使用數(shù)據(jù)集中圖像驗(yàn)證對(duì)比與矯正模型，如圖5。

圖4 評(píng)測(cè)指標(biāo)

圖5 矯正效果圖

圖中淺色點(diǎn)、線表示正確的骨骼點(diǎn)及其所連接的肢體，黑色加粗點(diǎn)、線表示錯(cuò)誤骨骼點(diǎn)及其所連接的肢體，淺色圓圈及其相連線表示本文模型所預(yù)測(cè)的動(dòng)作矯正點(diǎn)及其所連接的肢體。經(jīng)觀察在數(shù)據(jù)集中圖像上矯正效果良好，可實(shí)現(xiàn)預(yù)期目標(biāo)，在性能有限的個(gè)人PC 上對(duì)46 組對(duì)照?qǐng)D片處理速度可達(dá)3.6組/秒，整體效果良好。

5 結(jié)語(yǔ)

受限于傳統(tǒng)特征描述方法，前人研究者對(duì)動(dòng)作對(duì)比分析系統(tǒng)的研究主要集中于對(duì)動(dòng)作的分析評(píng)價(jià)，往往只能給出矯正意見(jiàn)，如方向、角度、距離等方面的建議。本文使用基于骨骼點(diǎn)相對(duì)位置的動(dòng)作特征描述方法，在對(duì)動(dòng)作對(duì)比分析后可根據(jù)骨骼點(diǎn)相對(duì)位置計(jì)算出錯(cuò)誤骨骼點(diǎn)的正確位置，矯正效果更為清晰、準(zhǔn)確。從實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)，本文模型在閾值k 取0.1 時(shí)能有較好的效果，準(zhǔn)確率、召回率可達(dá)近90%，基本能滿足動(dòng)作對(duì)比矯正系統(tǒng)的要求。本模型可應(yīng)用于康復(fù)訓(xùn)練、體育教學(xué)等領(lǐng)域，相較于傳統(tǒng)的現(xiàn)實(shí)教學(xué)訓(xùn)練方法可幫助教師提高教學(xué)效率和教學(xué)效果。

在自建數(shù)據(jù)集的小部分實(shí)驗(yàn)中，發(fā)現(xiàn)了分析矯正效果略不理想的情況，經(jīng)研判可能原因有：1）余弦相似度只對(duì)方向敏感，缺少距離維度的數(shù)據(jù)；2）在錯(cuò)誤點(diǎn)較多的情況下，模型克服極值影響的能力仍然有限；3）由于人體肢體動(dòng)作總是由相近的骨骼、肌肉帶動(dòng)，因此距離相近的正確骨骼點(diǎn)在矯正過(guò)程中應(yīng)擁有更大的權(quán)值。在后續(xù)的研究工作中期望針對(duì)上述原因?qū)δＰ瓦M(jìn)行改進(jìn)。