国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

帶有關(guān)節(jié)權(quán)重的DTW動(dòng)作識(shí)別算法研究

2016-12-01 06:56:35汪成峰張瑞萱朱德海梅樹(shù)立
圖學(xué)學(xué)報(bào) 2016年4期
關(guān)鍵詞:骨架權(quán)重人體

汪成峰, 陳 洪, 張瑞萱, 朱德海, 王 慶, 梅樹(shù)立

(1. 中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院,北京 100083;2. 北京九藝同興科技有限公司,北京 100083)

帶有關(guān)節(jié)權(quán)重的DTW動(dòng)作識(shí)別算法研究

汪成峰1, 陳 洪1, 張瑞萱2, 朱德海1, 王 慶1, 梅樹(shù)立1

(1. 中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院,北京 100083;2. 北京九藝同興科技有限公司,北京 100083)

大多數(shù)動(dòng)作僅包含部分關(guān)節(jié)的運(yùn)動(dòng),現(xiàn)有方法未對(duì)運(yùn)動(dòng)劇烈的關(guān)節(jié)與幾乎不參與運(yùn)動(dòng)的關(guān)節(jié)進(jìn)行區(qū)分,一定程度上降低了動(dòng)作識(shí)別精度。針對(duì)這個(gè)問(wèn)題,提出一種自適應(yīng)關(guān)節(jié)權(quán)重計(jì)算方法。結(jié)合動(dòng)態(tài)時(shí)間規(guī)整(DTW)方法,利用獲得的關(guān)節(jié)權(quán)重進(jìn)行動(dòng)作識(shí)別。首先對(duì)分類動(dòng)作序列進(jìn)行分段,每段動(dòng)作序列中運(yùn)動(dòng)較劇烈的關(guān)節(jié)選擇分配更高權(quán)重,其余關(guān)節(jié)平均分配權(quán)重;然后提取特征向量,計(jì)算兩段動(dòng)作序列的DTW距離;最后采用K近鄰方法進(jìn)行動(dòng)作識(shí)別。實(shí)驗(yàn)結(jié)果表明,該算法的總體分類識(shí)別準(zhǔn)確率較高,且對(duì)于較相似的動(dòng)作也能獲得較好的識(shí)別結(jié)果。關(guān) 鍵 詞:動(dòng)作識(shí)別;人體運(yùn)動(dòng)分析;動(dòng)態(tài)時(shí)間規(guī)整;關(guān)節(jié)權(quán)重;姿態(tài)特征

人體動(dòng)作識(shí)別是計(jì)算機(jī)視覺(jué)的重要研究領(lǐng)域之一,在視頻監(jiān)控、人機(jī)交互和虛擬現(xiàn)實(shí)等方向具有廣泛的應(yīng)用。在以往的研究中,人們提出了許多人體動(dòng)作識(shí)別的方法,Galna等[1]基于 Vicon動(dòng)作分析系統(tǒng)和M icrosoft Kinect,提出了一種用于準(zhǔn)確的檢測(cè)帕金森病癥的動(dòng)作分析方法。王向東等[2]提出了一種軌跡引導(dǎo)下的舉重視頻關(guān)鍵姿態(tài)自動(dòng)提取方法,分析關(guān)鍵姿態(tài)和杠鈴運(yùn)動(dòng)軌跡

的關(guān)系,為運(yùn)動(dòng)分析提供了技術(shù)基礎(chǔ)??傮w來(lái)說(shuō),人體動(dòng)作識(shí)別方法大多選用一個(gè)或多個(gè)特征參數(shù)表示人體動(dòng)作,并在其特征參數(shù)下研究動(dòng)作比較和分類算法。

人體骨架結(jié)構(gòu)能夠?qū)⑸眢w部位簡(jiǎn)化表示為具有層次結(jié)構(gòu)的骨骼數(shù)據(jù),使用該結(jié)構(gòu)的時(shí)間序列數(shù)據(jù)能夠很直觀地表現(xiàn)人體動(dòng)作。近年來(lái),隨著若干成本較低且相對(duì)精確的動(dòng)捕系統(tǒng)的普及,例如 M icrosoft Kinect[3]使得實(shí)時(shí)骨骼數(shù)據(jù)提取已變得更加容易,基于人體骨架結(jié)構(gòu)的動(dòng)作識(shí)別越來(lái)越吸引研究者的關(guān)注。Wang等[4]提出了一種結(jié)合時(shí)間和空間信息的人體結(jié)構(gòu)模型進(jìn)行動(dòng)作識(shí)別,獲得了較好的效果。張丹等[5]針對(duì)基于視覺(jué)的體態(tài)識(shí)別對(duì)環(huán)境要求較高、抗干擾性差等問(wèn)題,提出了一種基于人體骨骼預(yù)定義的動(dòng)作識(shí)別方法。李學(xué)相和安學(xué)慶[6]提出一種 Murkowski距離三維圖像動(dòng)作識(shí)別算法,采用非線性優(yōu)化方法進(jìn)行求解獲取人體三維行為特征模型,進(jìn)而實(shí)現(xiàn)對(duì)人體行為的準(zhǔn)確判斷。朱國(guó)剛和曹林[7]利用Kinect深度傳感器獲取動(dòng)作數(shù)據(jù),根據(jù)坐標(biāo)系變換構(gòu)建人體骨骼拓?fù)浣Y(jié)構(gòu),通過(guò)多類支持向量機(jī)訓(xùn)練以及動(dòng)作識(shí)別。

雖然文獻(xiàn)[4-7]的方法能夠較好地進(jìn)行動(dòng)作識(shí)別,但這些方法未針對(duì)不同關(guān)節(jié)設(shè)置不同權(quán)重。對(duì)于一些簡(jiǎn)單全身動(dòng)作如跑步,將肢體軀干關(guān)節(jié)設(shè)置相同的權(quán)重即可獲得較好的結(jié)果;但是對(duì)于一些局部關(guān)節(jié)運(yùn)動(dòng)較劇烈的動(dòng)作,如拳擊或跳躍等,不同關(guān)節(jié)的運(yùn)動(dòng)劇烈程度差異較大,如對(duì)所有關(guān)節(jié)賦予相同權(quán)重,將對(duì)動(dòng)作識(shí)別的結(jié)果造成影響。針對(duì)這個(gè)問(wèn)題,本文提出了自適應(yīng)關(guān)節(jié)權(quán)重的計(jì)算方法,并使用動(dòng)態(tài)時(shí)間規(guī)整方法(dynam ic time warping, DTW)計(jì)算兩個(gè)動(dòng)作序列的距離,最后采用K近鄰方法進(jìn)行動(dòng)作分類。

1 基于自適應(yīng)關(guān)節(jié)權(quán)重的特征提取

1.1 基于人體骨架結(jié)構(gòu)的動(dòng)作序列表示

人體動(dòng)作序列是人體姿態(tài)的時(shí)間序列數(shù)據(jù),而人體姿態(tài)可以由骨架結(jié)構(gòu)近似表示,因此人體動(dòng)作序列可以采用人體骨架結(jié)構(gòu)中每個(gè)關(guān)節(jié)的時(shí)間序列數(shù)據(jù)表示。關(guān)節(jié)動(dòng)作的時(shí)間序列數(shù)據(jù)可以簡(jiǎn)單地表示為三維位置的時(shí)間序列數(shù)據(jù),即三維軌跡。這種動(dòng)作數(shù)據(jù)表示方法不具有平移和縮放不變性,對(duì)于同一動(dòng)作,不同體型的數(shù)據(jù)采集人員會(huì)得到不同的結(jié)果,而使用關(guān)節(jié)方向的時(shí)間序列數(shù)據(jù)描述關(guān)節(jié)運(yùn)動(dòng)則可以很好地解決這個(gè)問(wèn)題。因此,本文采用關(guān)節(jié)方向而非位置對(duì)人體骨架姿態(tài)進(jìn)行描述。動(dòng)作序列可以表示為,其中ip為第i個(gè)關(guān)節(jié)方向的時(shí)間序列數(shù)據(jù),T為關(guān)節(jié)數(shù)量。本文采用公開(kāi)動(dòng)作數(shù)據(jù)集Florence3D-Action[8]進(jìn)行實(shí)驗(yàn),該動(dòng)作數(shù)據(jù)集所使用的骨骼模型包含15個(gè)關(guān)節(jié),如圖1所示。在人體骨架結(jié)構(gòu)中,關(guān)節(jié)之間存在父子關(guān)系,關(guān)節(jié)的方向由其父關(guān)節(jié)坐標(biāo)空間中的相對(duì)方向進(jìn)行描述,根骨(如圖1中的3號(hào)關(guān)節(jié))采用模型坐標(biāo)空間中的位置和方向進(jìn)行描述。

圖1 動(dòng)作數(shù)據(jù)集Florence3D-Action使用的骨骼模型,包含15個(gè)關(guān)節(jié)

1.2 動(dòng)作序列分割

為了計(jì)算關(guān)節(jié)權(quán)重,本文首先將動(dòng)作序列P劃分為N個(gè)片段。令為第i個(gè)關(guān)節(jié)的第n個(gè)片段的時(shí)間序列數(shù)據(jù),則,其中為第i個(gè)關(guān)節(jié)的第m幀位置和方向數(shù)據(jù),T為關(guān)節(jié)數(shù)量,分別為第n個(gè)片段的開(kāi)始和結(jié)束幀。令i p為第i個(gè)關(guān)節(jié)的時(shí)間序列數(shù)據(jù),則。

一個(gè)動(dòng)作序列通常是由多個(gè)原子動(dòng)作組成,動(dòng)作序列分割方式會(huì)影響動(dòng)作相似度評(píng)價(jià)的結(jié)果,而動(dòng)作序列分割為原子動(dòng)作的方法到目前為止還是一個(gè)開(kāi)放問(wèn)題。自頂向下的方法通常依賴于專家知識(shí)和訓(xùn)練數(shù)據(jù),將動(dòng)作序列分割為若干原子動(dòng)作[9-10];而自底向上的方法通常采用主成分分析與數(shù)據(jù)壓縮理論分割動(dòng)作序列[11-12]。這些方法都有各自的局限性,例如需要大量的訓(xùn)練數(shù)據(jù)及時(shí)間復(fù)雜度過(guò)高,因此,通常采用 2種方法進(jìn)行動(dòng)作序列分割:

(1) 固定片段數(shù)量。該方法將不同的動(dòng)作序列均勻分割為相同數(shù)量的片段。對(duì)于較短的動(dòng)作序

列,其分割后的片段也較短;對(duì)于較長(zhǎng)的動(dòng)作序列,其分割后的片段也比較長(zhǎng)。由于該方法分割不同長(zhǎng)度的動(dòng)作序列都能得到相同數(shù)量的片段,因此該方法時(shí)序上具有歸一化特性。

(2) 固定時(shí)間長(zhǎng)度。該方法將不同的動(dòng)作序列分割為相同長(zhǎng)度的片段。對(duì)于較短的動(dòng)作序列,其分割后的片段數(shù)量較少;對(duì)于較長(zhǎng)的動(dòng)作序列,其分割后的片段數(shù)量較多。由于該方法對(duì)動(dòng)作片段提取的特征僅用于關(guān)節(jié)權(quán)重計(jì)算,每個(gè)動(dòng)作序列單獨(dú)處理,因此不會(huì)受到動(dòng)作片段數(shù)量不同的影響。

固定片段數(shù)量劃分法的優(yōu)點(diǎn)是在時(shí)序上具有歸一化的特性,但若不同類型的動(dòng)作長(zhǎng)度差異較大,將導(dǎo)致每個(gè)片段包含的信息量差異較大,而固定時(shí)間長(zhǎng)度的劃分方法可以很好地克服這個(gè)問(wèn)題。由于本文使用DTW進(jìn)行動(dòng)作序列匹配,該方法實(shí)現(xiàn)了兩個(gè)不同長(zhǎng)度動(dòng)作序列的歸一化,因此本文選用固定時(shí)間長(zhǎng)度的動(dòng)作片段劃分方法。

1.3 關(guān)節(jié)權(quán)重計(jì)算

本文按照關(guān)節(jié)運(yùn)動(dòng)劇烈程度,即運(yùn)動(dòng)能量大小進(jìn)行權(quán)重分配。令為能量大小相對(duì)值,為參考動(dòng)作序列P的第n個(gè)動(dòng)作片段所有關(guān)節(jié)能量相對(duì)大小的向量。在信息論中,熵用來(lái)對(duì)信息進(jìn)行度量,其定義如下

其中,x為隨機(jī)變量,f為概率密度函數(shù)。對(duì)于方差為2σ的高斯分布,熵定義為[13]

其中,函數(shù)sort按照關(guān)節(jié)的運(yùn)動(dòng)能量按降序排列,向量Tn為第n個(gè)片段運(yùn)動(dòng)能量降序排序的關(guān)節(jié)ID,。取Tn的前H個(gè)關(guān)節(jié)ID,記為,令,關(guān)節(jié)權(quán)重將根據(jù)每個(gè)關(guān)節(jié) ID在HT中出現(xiàn)的次數(shù)進(jìn)行計(jì)算。定義關(guān)節(jié)i能量最大的片段占所有片段的比例

其中,count函數(shù)計(jì)算HT 中第i個(gè)關(guān)節(jié)出現(xiàn)的次數(shù)。圖2為Si的可視化表示,橫坐標(biāo)為關(guān)節(jié)的ID,縱坐標(biāo)為不同動(dòng)作,每個(gè)方格用灰度值表示Si的大小。由圖 2可以看出,不同類型的動(dòng)作在不同關(guān)節(jié)的能量分布有較大的差異。

圖2 不同關(guān)節(jié)的Si可視化表示

當(dāng)輕微運(yùn)動(dòng)及靜止不動(dòng)時(shí),關(guān)節(jié)的Si接近0,但在進(jìn)行動(dòng)作相似度評(píng)價(jià)時(shí)也需賦予一定的權(quán)重。因此本文對(duì)運(yùn)動(dòng)較劇烈的關(guān)節(jié)按Si進(jìn)行權(quán)重分配,這些關(guān)節(jié)占所有權(quán)重的比例為α,對(duì)其余關(guān)節(jié)平均分配剩余權(quán)重。對(duì)Si進(jìn)行降序排序,得到

取S′的前m個(gè)元素直到這些元素相加大于α,并將其所對(duì)應(yīng)的關(guān)節(jié)ID加入集合C中,計(jì)算得到每

個(gè)關(guān)節(jié)的權(quán)重

其中,比例α為運(yùn)動(dòng)較劇烈關(guān)節(jié)所占的總體權(quán)重,動(dòng)作相似度評(píng)價(jià)結(jié)果將受到α取值的影響,具體取值將在實(shí)驗(yàn)章節(jié)進(jìn)行討論。自適應(yīng)關(guān)節(jié)權(quán)重計(jì)算可由以下4個(gè)步驟完成:

(1) 將動(dòng)作序列P劃分為N個(gè)片段;

(3) 統(tǒng)計(jì)每個(gè)關(guān)節(jié) ID(i=1,…,T)在向量HT中出現(xiàn)的次數(shù),則可以求得關(guān)節(jié)i能量較大的片段占所有片段的比例Si;

(4) 取′S中最大的m個(gè)元素直到其相加大于α,這些關(guān)節(jié)的權(quán)重為,其余關(guān)節(jié)按式(6)平分剩余權(quán)重。

2 基于關(guān)節(jié)權(quán)重特征的 DTW 動(dòng)作識(shí)別

2.1 經(jīng)典DTW算法

假設(shè)有兩個(gè)長(zhǎng)度分別為n和m時(shí)間序列Q和C,令

為了對(duì)齊兩個(gè)時(shí)間序列Q和C,需要構(gòu)造一個(gè)大小為n×m的矩陣M,該矩陣的第i行第j列的元素Mi,j為qi和cj的距離 d( qi, cj),該距離通常使用歐氏距離,即 d( qi, cj) =(qi-cj)2。該路徑為矩陣M中的連續(xù)元素,用于表示時(shí)間序列Q和C之間的映射關(guān)系,定義其中第k個(gè)元素為wk=(i, j)k。W可以表示為

DTW方法基于動(dòng)態(tài)規(guī)劃的原理求解出最優(yōu)匹配路徑,該路徑使兩個(gè)時(shí)間序列Q和C的總匹配距離達(dá)到最小

其中,路徑長(zhǎng)度 K作為分母用于消除規(guī)整路徑長(zhǎng)度不同所帶來(lái)的影響。

DTW 尋找最優(yōu)匹配路徑的過(guò)程如下:從w1= (1,1)開(kāi)始,循環(huán)計(jì)算路徑距離γ(i,j),基于上述規(guī)整的3個(gè)條件,到達(dá) wk=(i, j)k的前一個(gè)匹配只能為 γ(i - 1, j - 1)、 γ(i- 1,j)和 γ( i,j- 1)其中一個(gè),因此只需要挑選出其中最小的一個(gè),加上當(dāng)前距離即可得到路徑的最小距離[14]

2.2 人體動(dòng)作識(shí)別

動(dòng)作序列P由若干幀骨架數(shù)據(jù)組成,本文逐幀對(duì)骨架特征進(jìn)行提取,并基于該特征進(jìn)行動(dòng)作識(shí)別。動(dòng)作序列的每一幀可以看作靜態(tài)人體骨架結(jié)構(gòu)數(shù)據(jù),其包含了每個(gè)關(guān)節(jié)的位置和方向數(shù)據(jù)。由于采用關(guān)節(jié)的方向數(shù)據(jù)描述人體骨架結(jié)構(gòu)具有平移和縮放不變性,因此本文在預(yù)處理階段通過(guò)關(guān)節(jié)位置數(shù)據(jù)計(jì)算出關(guān)節(jié)方向數(shù)據(jù),再采用關(guān)節(jié)方向數(shù)據(jù)即關(guān)節(jié)的級(jí)聯(lián)四元數(shù)對(duì)人體骨架結(jié)構(gòu)進(jìn)行描述。

文獻(xiàn)[15]定義了兩個(gè)四元數(shù)距離的度量方式,本文將此用于對(duì)靜態(tài)骨架結(jié)構(gòu)進(jìn)行相似性度量。設(shè)參考向量 E0∈R3,q1、q2為兩個(gè)單位四元數(shù),如圖3所示,將E1旋轉(zhuǎn)到E2,若= [x, y, z, w] =[n ·sinφ, cosφ],則q1、q2的距離可以定義為

圖3 四元數(shù)距離計(jì)算

輸入動(dòng)作序列為 P= [ p1, p2,…,pr,…, pR]和Q = [q1, q2,…,qr′,…,qR′],其中R和R′分別為P和

計(jì)算DTW的代價(jià)矩陣,通過(guò)式(10)得到最優(yōu)規(guī)整路徑 W= w1, w2,…,wk,… ,wK,其中K為路徑W的長(zhǎng)度,wk為采用式(12)計(jì)算的每對(duì)匹配幀的距離,最后得到規(guī)整路徑距離的平均值

即動(dòng)作序列P和Q的距離度量結(jié)果。圖 4為Florence3D-Action動(dòng)作數(shù)據(jù)集中兩個(gè)“Sit down”動(dòng)作采用動(dòng)態(tài)規(guī)整路徑進(jìn)行幀匹配的示意圖。

圖4 兩個(gè)動(dòng)作序列的幀匹配示意圖

基于式(13)的距離度量函數(shù),本文采用K近鄰分類器對(duì)未知?jiǎng)幼餍蛄械念愋瓦M(jìn)行分類。設(shè)L={λ1,λ2,… ,λl}為l個(gè)訓(xùn)練樣本標(biāo)記,訓(xùn)練動(dòng)作數(shù)據(jù)集 C={(Pi,λi)|1 ≤i≤ N}包含N個(gè)動(dòng)作序列,λi∈ L為動(dòng)作序列Pi所屬的類別。輸入待分類動(dòng)作序列Q,采用式(13)計(jì)算Pi與Q的距離

將訓(xùn)練樣本按照Di進(jìn)行升序排序,前K個(gè)訓(xùn)練樣本構(gòu)成近鄰樣本集。統(tǒng)計(jì)訓(xùn)練樣本中第j個(gè)(1≤j≤l)標(biāo)記的樣本個(gè)數(shù),采用多數(shù)表決原則決定未知?jiǎng)幼餍蛄蠶的所屬類別λ

其中,函數(shù)I為指示函數(shù),定義為

算法總體流程如圖5所示。

圖5 算法總體流程

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用真實(shí)世界中采集的動(dòng)作數(shù)據(jù)集測(cè)試本文方法的性能。實(shí)驗(yàn)環(huán)境為CPU:Intel i7-4790K,內(nèi)存:8 G,操作系統(tǒng):Windows 8,集成開(kāi)發(fā)環(huán)境:Matlab 2012。

3.1 實(shí)驗(yàn)數(shù)據(jù)

采用公開(kāi)的動(dòng)作數(shù)據(jù)集Florence3D-Action對(duì)本文方法的有效性進(jìn)行驗(yàn)證。采用微軟 Kinect對(duì)人體動(dòng)作數(shù)據(jù)以每秒15幀進(jìn)行采集,其人體骨架包含15個(gè)關(guān)節(jié)位置。該數(shù)據(jù)集包含9類動(dòng)作,每類動(dòng)作由10人重復(fù)2~3次完成,共獲得215個(gè)動(dòng)作序列。該數(shù)據(jù)集中包含一些較為相似但類型不同的動(dòng)作,例如“Drink from a bottle”與“Answer phone”這兩個(gè)動(dòng)作不屬于同類動(dòng)作,但是較為相似,僅在手部的高度有些差異,如圖6所示。

圖6 “Drink from a bottle”與“Answer phone”動(dòng)作比較

3.2 實(shí)驗(yàn)結(jié)果

本文在動(dòng)作數(shù)據(jù)集Florence3D-Action采樣交叉驗(yàn)證的策略進(jìn)行實(shí)驗(yàn),即一半的數(shù)據(jù)用于訓(xùn)練分類器,另一半數(shù)據(jù)用于驗(yàn)證分類準(zhǔn)確度。定義測(cè)試數(shù)據(jù)集中每個(gè)類型動(dòng)作的分類準(zhǔn)確率為

其中,x為動(dòng)作類型, correct( x)為測(cè)試數(shù)據(jù)集中屬于x的動(dòng)作序列被正確分類的次數(shù),total(x)為測(cè)試數(shù)據(jù)集中屬于x的動(dòng)作序列的總數(shù)。圖7顯示了該動(dòng)作數(shù)據(jù)集中五類動(dòng)作在不同參數(shù)下的分類準(zhǔn)確率,其中,參數(shù)H分別取5、6和7,參數(shù)α分別取0.6、0.7、0.8和0.9。

圖7 采用自適應(yīng)關(guān)節(jié)權(quán)重的分類結(jié)果

從圖7可以看出,選擇較小的H和α能夠提高相似動(dòng)作的識(shí)別率,但是太小的H或α容易造成差異較大的動(dòng)作識(shí)別率下降;選擇較大的H和α則降低了權(quán)重選擇方法的效果,相似的動(dòng)作識(shí)別率出現(xiàn)明顯的下降,總體來(lái)說(shuō)H=6,α=0.7時(shí)分類準(zhǔn)確率較高。此外,在不同的H和α的條件下,動(dòng)作分段長(zhǎng)度在0.8附近具有較高的識(shí)別率。

圖8為動(dòng)作分段長(zhǎng)度在0.8的條件下,取不同H和α得到的動(dòng)作識(shí)別率??梢钥闯觯琀=6,α= 0.7時(shí)能夠得到最優(yōu)的分類準(zhǔn)確率。結(jié)合圖 7的結(jié)果,得到本文方法的最優(yōu)參數(shù),即動(dòng)作分段長(zhǎng)度取0.8,H=6和α=0.7。

將動(dòng)作數(shù)據(jù)集Florence3D-Action采用4種隨機(jī)的訓(xùn)練集和測(cè)試集劃分方式,在選取本文算法參數(shù)H=6,α=0.7,分割時(shí)間片段為0.8 s條件下,表 1給出了本文方法與其他方法實(shí)驗(yàn)結(jié)果比較,結(jié)果顯示本文方法有較好地識(shí)別結(jié)果。本文方法的平均混淆矩陣如圖 9所示,可以看出,本文方法對(duì)動(dòng)作具有較高的識(shí)別率。

圖8 選取不同H和α得到的分類結(jié)果

表1 Florence3D-Action動(dòng)作數(shù)據(jù)集上分類準(zhǔn)確率對(duì)比(%)

圖9 本文方法在選擇最優(yōu)參數(shù)下在Florence3D-Action進(jìn)行實(shí)驗(yàn)獲得的混淆矩陣

4 結(jié) 束 語(yǔ)

本文提出了一種自適應(yīng)關(guān)節(jié)權(quán)重計(jì)算方法,該方法從運(yùn)動(dòng)特性出發(fā),將動(dòng)作序列劃分為多個(gè)子片段,通過(guò)每個(gè)子片段不同關(guān)節(jié)的熵值計(jì)算關(guān)節(jié)權(quán)重,再將關(guān)節(jié)權(quán)重與DTW結(jié)合計(jì)算兩個(gè)動(dòng)作序列的距離,最后采用K近鄰方法進(jìn)行動(dòng)作識(shí)別。本文方法充分利用了不同關(guān)節(jié)的運(yùn)動(dòng)特性,對(duì)運(yùn)

動(dòng)較為劇烈的關(guān)節(jié)與幾乎靜止不動(dòng)的關(guān)節(jié)在權(quán)重上進(jìn)行區(qū)分。實(shí)驗(yàn)結(jié)果表明,該算法具有較高的識(shí)別準(zhǔn)確率,對(duì)相似動(dòng)作也能有較好的區(qū)分。在后續(xù)研究中,將考慮基于本文的自適應(yīng)關(guān)節(jié)權(quán)重,進(jìn)一步研究動(dòng)作特征及分類策略,以提高識(shí)別準(zhǔn)確率。

[1] Galna B, Barry G, Jackson D, et al. Accuracy of the M icrosoft Kinect sensor for measuring movement in people w ith Parkinson’s disease [J]. Gait & Posture, 2014, 39(4): 1062-1068.

[2] 王向東, 張靜文, 毋立芳, 等. 一種運(yùn)動(dòng)軌跡引導(dǎo)下的舉重視頻關(guān)鍵姿態(tài)提取方法[J]. 圖學(xué)學(xué)報(bào), 2014, 35(2): 256-261.

[3] Zhang Z Y. M icrosoft Kinect sensor and its effect [J]. IEEE MultiMedia, 2012, 19(2): 4-10.

[4] Wang C Y, Wang Y Z, Yuille A L. An approach to pose-based action recognition [C]//CVPR 2013: 26th Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 915-922.

[5] 張 丹, 陳興文, 趙姝穎, 等. 基于 Kinect 骨骼預(yù)定義的體態(tài)識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用, 2014, 34(12): 3441-3445.

[6] 李學(xué)相, 安學(xué)慶. 基于三維圖像動(dòng)作識(shí)別算法研究[J].計(jì)算機(jī)仿真, 2013, 30(9): 374-377.

[7] 朱國(guó)剛, 曹 林. 基于 Kinect傳感器骨骼信息的人體動(dòng)作識(shí)別[J]. 計(jì)算機(jī)仿真, 2014, 31(12): 329-333.

[8] Seidenari L, Varano V, Berretti S, et al. Recognizing actions from depth cameras as weakly aligned multi-part bag-of-poses [C]//Computer Vision and Pattern Recognition Workshops (CVPRW), IEEE Conference on. New York: IEEE Press, 2013: 479-485.

[9] Beaudoin P, Coros S, van de Panne M, et al. Motion-motif graphs [C]//ACM Siggraph/Eurographics Symposium on Computer Animation (2008). New York: ACM Press, 2008: 117-126.

[10] Müller M, Baak A, Seidel H P. Efficient and robust annotation of motion capture data [C]//ACM Siggraph/ Eurographics Symposium on Computer Animation (2009). New York: ACM Press, 2009: 17-26.

[11] Barbi? J, Safonova A, Pan J Y, et al. Segmenting motion capture data into distinct behaviors [J]. Proceedings of Graphics Interface 2004. Canadian Human-Computer Communications Society, 2004, (5): 185-194.

[12] López-Méndez A, Gall J, Casas J R, et al. Metric learning from poses for temporal clustering of human motion [CD]. Proceedings BMVC 2012 Pages: CD-rom, 2012: CD-rom.

[13] Shannon C E, Weaver W. A mathematical theory of communication, 1949 [M]. Urbana: University of Illinois Press, 1949: 24-30.

[14] Berndt D J, Clifford J. Using dynamic time warping to find patterns in time series [C]//Working Notes of the Know ledge Discovery in Databases Workshop, United States, Massachusetts: Association for the Advancement of A rtificial Intelligence Press, 1994: 359-370.

[15] 沈軍行, 孫守遷, 潘云鶴. 從運(yùn)動(dòng)捕獲數(shù)據(jù)中提取關(guān)鍵幀[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2004, 16(5): 719-723.

[16] Ohn-Bar E, Trivedi M M. Joint angles sim ilarities and HOG2for action recognition [C]//Computer Vision and Pattern Recognition Workshops (CVPRW), 2013 IEEE Computer Society Conference on, New York: IEEE Press, 2013: 465-470.

[17] Xia L, Chen C C, Aggarwal J K. View invariant human action recognition using histograms of 3D joints [C]// Computer Vision and Pattern Recognition Workshops (CVPRW), 2012 IEEE Computer Society Conference on, New York: IEEE Press, 2012: 20-27.

[18] 應(yīng) 銳, 蔡 瑾, 馮 輝, 等. 基于運(yùn)動(dòng)塊及關(guān)鍵幀的人體動(dòng)作識(shí)別[J]. 復(fù)旦學(xué)報(bào): 自然科學(xué)版, 2014, (6): 815-822.

Research on DTW Action Recognition A lgorithm w ith Joint Weighting

Wang Chengfeng1, Chen Hong1, Zhang Ruixuan2, Zhu Dehai1, Wang Qing1, Mei Shuli1

(1. College of Information and Electrical Engineering, China Agricultural University, Beijing 100083, China; 2. Beijing Jiu Yi Tong Xing Technology Co., Ltd, Beijing 100083, China)

Human motions always contain only motions of some body parts, but much of the existing methods on action recognition don’t take the motion intensity of each joint into account, which lower the accuracy of action recognition in some extent. To solve this problem, an adaptive joint weighting scheme is proposed to calculate the weight of each joint and combined the weights w ith dynam ic time warping (DTW) to recognize actions. Firstly, the action sequence was segmented into several segments and some most violent joints in each segment are assigned higher weight while the remaining joints are evenly weighted. Then feature vectors of two action sequences were extracted and the distance between two action sequences were calculated by DTW. Finally the action recognition was achieved by K-nearest neighbor method. The experiments showed that the overall classification accuracy of the proposed method is higher, and the result is also good for some similar actions.

action recognition; human motion analysis; dynam ic time warping; joint weight; pose feature

TP 301.6

10.11996/JG.j.2095-302X.2016040537

A

2095-302X(2016)04-0537-08

2016-03-08;定稿日期:2016-05-04

國(guó)家科技支撐計(jì)劃項(xiàng)目(2013BAH48F02)

汪成峰(1988–),男,福建南平人,博士研究生。主要研究方向?yàn)樘摂M現(xiàn)實(shí)與人機(jī)交互技術(shù)。E-mail:147750373@qq.com

陳 洪(1976–),男,四川大竹人,副教授,博士。主要研究方向?yàn)樘摂M現(xiàn)實(shí)與人機(jī)交互技術(shù)、數(shù)字游戲與虛擬學(xué)習(xí)環(huán)境。

E-mail:norman_chen@263.net

猜你喜歡
骨架權(quán)重人體
人體“修補(bǔ)匠”
淺談管狀骨架噴涂方法
人體冷知識(shí)(一)
排便順暢,人體無(wú)毒一身輕
權(quán)重常思“浮名輕”
骨架密度對(duì)炭/炭多孔骨架壓力浸滲銅的影響
為黨督政勤履職 代民行權(quán)重?fù)?dān)當(dāng)
奇妙的人體止咳點(diǎn)
特別健康(2018年3期)2018-07-04 00:40:10
基于公約式權(quán)重的截短線性分組碼盲識(shí)別方法
內(nèi)支撐骨架封抽技術(shù)在突出煤層瓦斯抽采中的應(yīng)用
吉首市| 灌南县| 定日县| 津南区| 木里| 三穗县| 桓台县| 莒南县| 府谷县| 桃江县| 夏河县| 建水县| 建昌县| 洛扎县| 迁安市| 凌源市| 舟山市| 内黄县| 高要市| 濮阳县| 舞钢市| 海安县| 鸡东县| 常山县| 南通市| 景宁| 福泉市| 武城县| 巴彦县| 台南市| 涪陵区| 邳州市| 前郭尔| 绥宁县| 白银市| 施秉县| 高安市| 花莲县| 开鲁县| 襄汾县| 拜城县|