谷學(xué)靜，沈 攀+，劉海望，郭 俊，位占鋒

(1.華北理工大學(xué) 電氣工程學(xué)院，河北 唐山 063210；2.唐山市科技中心 數(shù)字媒體工程技術(shù)研究中心，河北 唐山 063000；3.華北理工大學(xué)輕工學(xué)院 電氣信息學(xué)院，河北 唐山 063000)

0 引 言

就目前而言，人體行為識別[1]研究主要分為3個(gè)方向，分別是基于靜態(tài)圖片信息、視頻序列片段信息以及骨骼點(diǎn)的特征信息的研究方向，通過對3種不同數(shù)據(jù)類型進(jìn)行建模，分析人體姿態(tài)的行為特征，從而識別出人體的具體行為類型。目前，針對前兩種方法的研究已經(jīng)取得很大進(jìn)展，例如文獻(xiàn)[3]采用雙流法(TWO-stream)分別對輸入視頻的每幀RGB圖像和幀與幀之間的密集光流序列信息進(jìn)行建模，用CNN的方法訓(xùn)練得到的靜態(tài)信息和短時(shí)序列模型進(jìn)行融合(fusion)[3]，從而完成對視頻行為的識別和分類，取得良好效果；文獻(xiàn)[4]中分析了視頻和圖像在維度上的不同之處，采用三維卷積(C3D)的方法用于視頻中的行為特征提取，卷積核由二維變成三維來進(jìn)行端到端的訓(xùn)練，其識別速度得到很大提升[4]。相比較而言，基于人體骨骼信息的行為識別關(guān)注較少，但是其蘊(yùn)含著人體重要行為信息用來表示人體的行為特征，因此考慮如何對人體的動態(tài)骨骼信息進(jìn)行深入挖掘，獲得更有效的特征來提高人體識別的準(zhǔn)確率仍然有待探索。

基于骨骼信息的研究仍然具有很大的挑戰(zhàn)，骨骼的動態(tài)信息可以通過人體的關(guān)節(jié)位置和時(shí)間序列的組合來表示，然后通過分析其關(guān)節(jié)點(diǎn)的聯(lián)合坐標(biāo)向量來提取動作特征并完成預(yù)測。隨著機(jī)器學(xué)習(xí)的發(fā)展，利用深度學(xué)習(xí)方法處理骨骼數(shù)據(jù)是當(dāng)前研究的主流方向[5]，比如yang等利用在視頻幀間的關(guān)節(jié)坐標(biāo)距離變化量矩陣生成視頻特征，然后把視頻特征輸入到支持向量機(jī)中進(jìn)行訓(xùn)練和分類[6]，yong等在此基礎(chǔ)上提出了一種端到端的分層神經(jīng)網(wǎng)絡(luò)用于提取骨骼特征，將骨骼信息進(jìn)行劃分，分塊輸入到神經(jīng)網(wǎng)絡(luò)中，突出了整體結(jié)構(gòu)與部分的關(guān)系[7]，liu等在RNN的基礎(chǔ)上通過引入新的門控單元對輸入數(shù)據(jù)序列進(jìn)行學(xué)習(xí)，可以有效解決三維骨架中的遮擋問題[8]。Song等通過加入注意力機(jī)制對每一幀的骨骼數(shù)據(jù)進(jìn)行不同程度的關(guān)注，從而能夠更有效獲取骨骼的動態(tài)數(shù)據(jù)信息[9]。

由此可見，行為識別的關(guān)鍵在于如何設(shè)計(jì)網(wǎng)絡(luò)模型提取人體骨骼的動態(tài)信息，受到圖卷積(GCN)研究的啟發(fā)，考慮保留骨骼信息中關(guān)節(jié)在運(yùn)動中的自然連接的空間結(jié)構(gòu)，將骨架整體作為拓?fù)鋱D輸入到圖卷積網(wǎng)絡(luò)，結(jié)合多尺度時(shí)間卷(multi scale TCN)對骨骼的時(shí)間動態(tài)進(jìn)行建模，使得骨骼信息可以從時(shí)空維度進(jìn)行整合，從而學(xué)習(xí)更有效的信息來提升行為識別的模型效果。

1 圖卷積網(wǎng)絡(luò)

1.1 圖卷積概述

卷積神經(jīng)網(wǎng)絡(luò)對圖像數(shù)據(jù)具有很強(qiáng)的特征抽取與整合能力，廣泛應(yīng)用于圖像處理工作，但是其應(yīng)用有一定限制，輸入的圖像數(shù)據(jù)必須是具有規(guī)則的網(wǎng)格化結(jié)構(gòu)的類型，也就是說需要將數(shù)據(jù)類型先轉(zhuǎn)化成規(guī)則排列的矩陣類型，如圖1所示。

圖1 規(guī)則的網(wǎng)格結(jié)構(gòu)

因此對骨骼信息的應(yīng)用必須將骨骼的坐標(biāo)序列轉(zhuǎn)換成2D的網(wǎng)格形式，從本質(zhì)來講還是圖像的識別。但是在實(shí)際研究和生活過程中并非都具備規(guī)則的序列結(jié)構(gòu)，比如社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)等都是一定數(shù)量的節(jié)點(diǎn)相互連接構(gòu)成的不規(guī)則拓?fù)鋱D，如圖2所示。

圖2 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

即圖論中點(diǎn)和邊構(gòu)成的集合，用G(E,V)表示，其中E表示邊的集合，V表示點(diǎn)的集合[10]。圖卷積就是在傳統(tǒng)卷積(CNN)的基礎(chǔ)上將其拓展應(yīng)用到拓?fù)鋱D的結(jié)構(gòu)上，更好捕捉圖上節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接特征關(guān)系，并且對連接邊賦予一定權(quán)值來進(jìn)行節(jié)點(diǎn)的特征提取過程。

1.2 圖卷積原理

卷積的本質(zhì)實(shí)質(zhì)是對一定范圍內(nèi)的像素加權(quán)求平均的過程，圖卷積則是對每個(gè)節(jié)點(diǎn)的特征和與其相連接的鄰居結(jié)點(diǎn)進(jìn)行加權(quán)求平均后，傳遞到下一層的過程，如圖3和圖4所示。

圖3 卷積原理

圖4 圖卷積原理

不難看出，同卷積過程類似，將拓?fù)鋱D上的頂點(diǎn)理解成像素點(diǎn)，人為給定其傳播方向，將卷積核函數(shù)作用得到的聚合特征值作為一個(gè)特征圖(featuremap)傳遞到下一個(gè)網(wǎng)絡(luò)層，同一個(gè)卷積核的權(quán)值共享，在應(yīng)用GCN時(shí)需要注意由于拓?fù)鋱D沒有規(guī)則的網(wǎng)絡(luò)結(jié)構(gòu)，因此本質(zhì)上并無明確核函數(shù)的概念[11]，為了便于理解，在圖中添加了陰影區(qū)域，將這個(gè)區(qū)域視為卷積中的核函數(shù)，其權(quán)重為所有參與聚合的節(jié)點(diǎn)按一定規(guī)則劃分的不同子集構(gòu)成的集合，例如圖中距離中間節(jié)點(diǎn)w0的距離劃分為1和2的不同子集，在對每個(gè)鄰域子集的內(nèi)的節(jié)點(diǎn)進(jìn)行特征值聚合時(shí)保持權(quán)重不變從而實(shí)現(xiàn)權(quán)值共享。特征在層與層之間的傳播方式可以用式(1)表示

Mi=f(Mi-1,A),其中M0=X，

f(Mi,A)=σ(AMiWi)

(1)

在式(1)中，M表示特征矩陣，i表示層數(shù)，當(dāng)i=0時(shí)，M0表示節(jié)點(diǎn)自身的特征矩陣，A表示鄰接矩陣，W為權(quán)重，節(jié)點(diǎn)特征矩陣分別左乘和右乘鄰接矩陣與權(quán)重，可以實(shí)現(xiàn)對特征的聚合和加權(quán)，因此，如何設(shè)計(jì)鄰接矩陣A和權(quán)重分配策略W是基于骨骼圖卷積研究的重點(diǎn)。

2 基于骨骼的時(shí)空圖卷積

2.1 骨骼時(shí)空圖構(gòu)建

人體的骨骼構(gòu)成也是由關(guān)節(jié)點(diǎn)和肢體連接線構(gòu)成的點(diǎn)和邊的集合，符合圖的定義，因此，可以對人體骨骼使用圖卷積，但是需要考慮的一個(gè)問題是，在人體動作過程中，并非都是一個(gè)靜止的信息，而是具有連續(xù)時(shí)間序列的一系列數(shù)據(jù)，為了更好利用圖卷積來提取骨骼的動態(tài)信息，除了對空間上的骨骼關(guān)節(jié)點(diǎn)的自然連接的空間邊以外，還加入了不同時(shí)間幀之間的時(shí)間邊信息用來描述行為在時(shí)序上的變化特征，將傳統(tǒng)的圖卷積擴(kuò)展應(yīng)用到時(shí)間鄰域上，如圖5所示。

圖5 骨骼時(shí)空

關(guān)節(jié)點(diǎn)作為圖的節(jié)點(diǎn)與時(shí)空邊的連接構(gòu)成了時(shí)空骨骼圖的結(jié)構(gòu)G(V，E)，圖的信息包含了關(guān)節(jié)點(diǎn)的數(shù)量N，以及輸入的一段視頻所包含的幀數(shù)T，每個(gè)關(guān)節(jié)點(diǎn)對應(yīng)的特征矩陣用Vi表示。所以可以得到所有節(jié)點(diǎn)在T幀的特征矩陣集合如式(2)所示

(2)

其中，單幀內(nèi)的第i個(gè)關(guān)節(jié)點(diǎn)特征向量用f(vi)表示，包含每個(gè)關(guān)節(jié)的坐標(biāo)以及置信度，在構(gòu)造骨骼時(shí)空圖的過程主要分為兩步，第一步是獲取人體骨架在動作過程中的原始連接關(guān)系，不需要進(jìn)行人為的手工設(shè)計(jì)，通過openpose工具或者相關(guān)設(shè)備獲取到視頻序列中的人體關(guān)節(jié)點(diǎn)信息，依靠獲取到的關(guān)節(jié)點(diǎn)信息構(gòu)成自然的身體骨骼結(jié)構(gòu)。多幀的連續(xù)骨骼圖還需要對時(shí)間邊進(jìn)行連接，因此邊的集合有兩部分構(gòu)成，分別用Es和Ef表示，如式(3)所示

(3)

其中，Es為單幀內(nèi)的骨骼點(diǎn)的連接，Ef為相同骨骼點(diǎn)在不同幀間的連接，通過構(gòu)建時(shí)空圖描述人體運(yùn)動過程隨時(shí)間變化的軌跡信息。

2.2 骨骼空間圖卷積

首先，對骨骼的空間信息進(jìn)行建模，按照圖卷積的定義，可以在卷積網(wǎng)絡(luò)的公式上進(jìn)行拓展，以卷積運(yùn)算為例，如式(4)所示

(4)

其中，包含兩個(gè)主要函數(shù)，分別為采樣函數(shù)和權(quán)重函數(shù)，采樣函數(shù)p主要用來對x的鄰域像素進(jìn)行獲取，即圍繞中心點(diǎn)x的一個(gè)大小為K*K的網(wǎng)格狀區(qū)域，權(quán)重矩陣w則是對采樣函數(shù)p所選擇的網(wǎng)格區(qū)域內(nèi)的數(shù)據(jù)按照一定空間順序進(jìn)行索引，用權(quán)重矩陣w與采樣區(qū)域做內(nèi)積運(yùn)算即可獲取每個(gè)鄰域像素與中心點(diǎn)的權(quán)重關(guān)系，可以對此公式進(jìn)行改進(jìn)來應(yīng)用于骨骼時(shí)空圖，分別對采樣函數(shù)和權(quán)重函數(shù)進(jìn)行改進(jìn)，上一節(jié)已經(jīng)構(gòu)造了時(shí)空骨骼圖得到關(guān)節(jié)點(diǎn)的集合V，因此采樣函數(shù)的中心點(diǎn)變成骨骼的關(guān)節(jié)點(diǎn)v，采樣區(qū)域變成與節(jié)點(diǎn)相鄰節(jié)點(diǎn)鄰域集合，用B(vti)={vtj|d(vtj,vti>=K)} 表示，其中d表示距離采樣點(diǎn)vti的最小距離，K表示距離范圍為K的集合，這里K值取1用來選取距離節(jié)點(diǎn)為1的鄰域集合。

然后對權(quán)重函數(shù)進(jìn)行重新定義，由于圖卷積在空間并無固定順序，所以需要對鄰域集合B(vti)進(jìn)行劃分，假設(shè)劃分的子集數(shù)量為N，通過一個(gè)標(biāo)簽映射函數(shù)對其中每個(gè)子集進(jìn)行編碼，如公式所示l(vi)=B(vi)→{0,1,...N}，使鄰域中的點(diǎn)映射到劃分之后特定的子集中，使其具有相同的標(biāo)簽，可以得到新的權(quán)重函數(shù)，用式(5)表示

w(vti,vtj)=w′(lti(vtj))

(5)

因此，將式進(jìn)行拓展，應(yīng)用新的權(quán)重和采樣函數(shù)可以得到骨骼的圖卷積表達(dá)式如式(6)所示

(6)

其中，Zti(vtj)=|{vtk|lti(vtk)=lti(vtj)}|等于子集的基數(shù)，用來減少不同子集對輸出結(jié)果的影響。

2.3 多尺度時(shí)間卷積

不同的行為類型具有不同的時(shí)間特征，動作的持續(xù)時(shí)間也會隨著動作類型的不同而變化。為了更好描述這一動作變化特征，提出了一種多尺度方法對不同時(shí)間跨度的動作類型同時(shí)進(jìn)行卷積，然后將卷積的結(jié)果進(jìn)行線性加權(quán)融合，這樣可以讓網(wǎng)絡(luò)模型同時(shí)捕獲不同時(shí)間長度的動作類型特點(diǎn)，適應(yīng)不同復(fù)雜度的行為變化。

將圖卷積的公式擴(kuò)展到時(shí)間域建模，上一節(jié)分析的節(jié)點(diǎn)鄰域?yàn)閱螏瑃內(nèi)的骨骼圖連接，接下來將考慮其連續(xù)幀之間的相同節(jié)點(diǎn)之間的連接，如式(7)所示

S(vti)={vqj|d(vtj,vti)≤K,|q-t|≤|Γ/2|}

(7)

式中：Γ表示時(shí)間軸的跨度，其值決定了時(shí)間卷積時(shí)時(shí)卷積核的大小，為了使節(jié)點(diǎn)vi可以在時(shí)間和空間維度生成對應(yīng)的鄰域空間，需要對上文中已經(jīng)構(gòu)建的標(biāo)簽映射函數(shù)進(jìn)行修改如公式所示

(8)

2.4 多尺度時(shí)間卷積方法框架描述

在傳統(tǒng)時(shí)間卷積TCN的單一卷積核尺度進(jìn)行擴(kuò)充，采用多尺度時(shí)間卷積(multi scale TCN)(以下簡稱(MS-TCN))，增加一個(gè)時(shí)間跨度為2Γ大小的卷積核用來提取持續(xù)時(shí)間長的行為特征，如圖6所示，在進(jìn)行時(shí)間卷積過程中增加一個(gè)尺度為原來卷積核大小兩倍的新卷積對時(shí)間特征進(jìn)行卷積，卷積核的總數(shù)量保持不變。此時(shí)網(wǎng)絡(luò)中包含兩個(gè)不同時(shí)間跨度的卷積核對骨骼向量同時(shí)進(jìn)行特征提取，這樣可以在每一個(gè)卷積層進(jìn)行多尺度卷積，獲取輸入骨骼信息在不同尺度下的特征，最后，將兩種卷積核提取到的信息進(jìn)行融合，經(jīng)過平均池化輸入到softmax完成行為分類，其原理結(jié)構(gòu)如圖6所示。

圖6 多尺度時(shí)間卷積網(wǎng)絡(luò)結(jié)構(gòu)

多尺度時(shí)間卷積中包含的每個(gè)卷積核的計(jì)算過程是相同的，其原理如式(9)所示

fi=fi-1+Wl*λfi-1

(9)

其中，f表示輸出，i表示網(wǎng)絡(luò)層數(shù)，W表示第l層所有濾波器的集合，λ為Relu激活函數(shù)，設(shè)原始TCN網(wǎng)絡(luò)濾波器個(gè)數(shù)為N，則經(jīng)過多尺度變化為兩個(gè)數(shù)量為N/2，大小分別為k*1和2k*1的卷積核，在T幀視頻上進(jìn)行卷積操作，每個(gè)節(jié)點(diǎn)的特征維度為C,首先對節(jié)點(diǎn)Xi進(jìn)行特征提取，沿著時(shí)間序列的方向按照步長為1進(jìn)行移動，卷積完成后向下移動，遍歷所有的關(guān)節(jié)點(diǎn)，在每次卷積過程中，將兩種尺度卷積的結(jié)果進(jìn)行連接形成卷積結(jié)果，依次在所構(gòu)建的10個(gè)網(wǎng)絡(luò)層之間進(jìn)行傳遞累加，然后將最終的本次網(wǎng)絡(luò)的輸入為經(jīng)過openpose處理后的關(guān)節(jié)點(diǎn)向量X，經(jīng)過多尺度卷積分別對X進(jìn)行卷積，兩個(gè)跨度卷積過程如圖中黑色實(shí)線和虛線框所示，然后將卷積后的所有結(jié)果拼接，將最后得到的結(jié)果進(jìn)行線性加權(quán)融合。

3 多尺度時(shí)空圖卷積的應(yīng)用

將時(shí)空圖卷積應(yīng)用到行為識別，首先將對輸入視頻中的人體行為利用openpose處理工具進(jìn)行姿態(tài)估計(jì)，將人體標(biāo)注的關(guān)節(jié)點(diǎn)連接成骨骼輸出，然后由BN層對不同幀的節(jié)點(diǎn)坐標(biāo)進(jìn)行批歸一化，可以消除不同量綱之間的影響，降低數(shù)據(jù)特征由于評價(jià)指標(biāo)不同而對結(jié)果產(chǎn)生的影響，進(jìn)一步增強(qiáng)數(shù)據(jù)集的可比性。同時(shí)在整個(gè)網(wǎng)絡(luò)中還加入注意力模型層(ATTENTION)，用來學(xué)習(xí)相鄰節(jié)點(diǎn)的權(quán)值。因?yàn)槿梭w運(yùn)動過程中的節(jié)點(diǎn)不斷變化，每個(gè)動態(tài)部位的建模與節(jié)點(diǎn)聯(lián)系的相關(guān)度不同，比如在跑步這個(gè)動作類型中，腿部信息的重要性要大于脖子，因此加入注意力模型層(ATTENTION)層可以讓網(wǎng)絡(luò)模型能夠自主學(xué)習(xí)每個(gè)空間邊緣的重要性，然后輸入圖卷積GCN和多尺度時(shí)間卷積(MS-TCN)融合的網(wǎng)絡(luò)模型，最后利用softmax分類器，完成人體行為的分類，網(wǎng)絡(luò)總體結(jié)構(gòu)如圖7所示。

圖7 網(wǎng)絡(luò)結(jié)構(gòu)

3.1 數(shù)據(jù)預(yù)處理

Openpose可以對預(yù)先定義好的人體關(guān)節(jié)點(diǎn)比如頸部、肩膀、手臂等關(guān)鍵部位進(jìn)行標(biāo)注，然后將標(biāo)注的關(guān)節(jié)點(diǎn)進(jìn)行連接，即人體骨架的提取，這里選取每幀平均置信度最高的兩個(gè)人，提取其關(guān)鍵點(diǎn)的坐標(biāo)向量作為輸入。

通常每次輸入網(wǎng)絡(luò)的一個(gè)批次(batch)視頻可以用一個(gè)5維矩陣來表示(N，C，T，V，M)，其中N代表一個(gè)批次中視頻的數(shù)量，C用來表示關(guān)節(jié)的特征，即x和y的坐標(biāo)，以及置信度等3個(gè)特征，T表示關(guān)鍵幀的數(shù)量，V表示關(guān)節(jié)的數(shù)量，由于openpose的標(biāo)注有不同數(shù)量的關(guān)節(jié)點(diǎn)，因此V的值不一樣所以最終輸入網(wǎng)絡(luò)的形狀為(256，3，150，18，2)。

3.2 子集劃分

在進(jìn)行空間圖卷積的時(shí)候，需要對每個(gè)節(jié)點(diǎn)的鄰域進(jìn)行劃分，這里考慮到不同行為動作的特點(diǎn)以及節(jié)點(diǎn)時(shí)空結(jié)構(gòu)特征，將鄰域按照根節(jié)點(diǎn)距離重心(所有骨骼點(diǎn)的坐標(biāo)平均值)的距離劃分為3個(gè)子圖，采樣點(diǎn)作為選取的根節(jié)點(diǎn)，以根節(jié)點(diǎn)距離重心的距離ri為標(biāo)準(zhǔn)，鄰域內(nèi)的點(diǎn)距離重心的距離rj如果大于ri，則被劃分到子集1，如果距離重心的距離小于ri，則被劃分到另子集2，如式(10)所示

(10)

劃分后的子圖有3個(gè)子圖如圖8所示。

圖8 劃分后的3個(gè)子圖

通過這樣的劃分方式，分解成3個(gè)子圖，分別表示離心、向心和靜止3種運(yùn)動形態(tài)，可以更有效捕獲行為動作的時(shí)空信息，卷積核的數(shù)量由1個(gè)變成3個(gè)，即(1,18,18)變?yōu)?3,18,18)。然后根據(jù)卷積的尺度不變特性，對3個(gè)卷積核分別進(jìn)行卷積，再進(jìn)行加權(quán)平均(和圖像卷積相同)就可以得到最終結(jié)果。

3.3 多尺度時(shí)間卷積與模型融合

對于網(wǎng)絡(luò)而言還需要考慮的一點(diǎn)是如何對模型進(jìn)行有效融合，由于采用的分類器都為softmax，考慮其函數(shù)性質(zhì)將所有的函數(shù)輸出映射到(0，1)輸出，為了體現(xiàn)每個(gè)模型的優(yōu)勢，采用線性加權(quán)融合，如式(11)所示

pfusion(yi)=αpa(yi)+(1-α)pb(yi)

(11)

其中，α為參數(shù)，p為概率矩陣，按照公式運(yùn)算即可得到模型融合之后行為類型輸出。

4 實(shí)驗(yàn)結(jié)果及分析

本次實(shí)驗(yàn)的數(shù)據(jù)集采用目前最大的3D行為識別數(shù)據(jù)集NTU RGB+D數(shù)據(jù)集，在骨架序列中，包含兩個(gè)評估基準(zhǔn)，分別是交叉受試者(cross subject，CS)，即來自一個(gè)演員的訓(xùn)練片段子集，通過其他演員的視頻片段對模型進(jìn)行評估，以及交叉視圖(cross view，CV)，即來自2號和3號攝像頭的視頻片段用于訓(xùn)練，用1號攝像頭采集的片段對模型進(jìn)行評估。本次實(shí)驗(yàn)從這兩個(gè)角度對網(wǎng)絡(luò)模型進(jìn)行評估。對網(wǎng)絡(luò)的初始參數(shù)進(jìn)行設(shè)定，整個(gè)ST GCN網(wǎng)絡(luò)配置見表1。

表1 網(wǎng)絡(luò)模型參數(shù)配置

10個(gè)網(wǎng)絡(luò)層的神經(jīng)元分成3部分，分別為前4層、中間3層以及最后3層，對應(yīng)神經(jīng)元數(shù)量分別為64，128，256，同時(shí)為了能夠在訓(xùn)練過程不斷調(diào)整模型的訓(xùn)練效果，對學(xué)習(xí)速率進(jìn)行調(diào)整，每10個(gè)epoch以后變?yōu)樵瓉淼?.1倍，然后對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，分別在CS和CV上進(jìn)行模型準(zhǔn)確率和損失率的評估，其結(jié)果如圖9所示。

圖9 訓(xùn)練準(zhǔn)確率變化

圖9顯示用多尺度ST GCN網(wǎng)絡(luò)模型在數(shù)據(jù)集CS和CV的實(shí)驗(yàn)效果，經(jīng)過100次迭代以后，模型的準(zhǔn)確率分別可以達(dá)到80.1%和89.8%，在前20個(gè)epoch準(zhǔn)確率的速率變化非常明顯，大約60個(gè)epoch以后，準(zhǔn)確率變化逐漸趨于平緩。

同時(shí)為了驗(yàn)證改進(jìn)的多尺度時(shí)間卷積與原始TCN之間的模型效果，在數(shù)據(jù)集上進(jìn)一步設(shè)計(jì)了基于骨骼特征向量的行為識別對比實(shí)驗(yàn)，構(gòu)建的網(wǎng)絡(luò)模型如2.4節(jié)的圖6所示，網(wǎng)絡(luò)參數(shù)不變的前提下，分別使用尺度為8*1的單尺度TCN以及8*1和16*1兩個(gè)尺度融合的多尺度時(shí)間卷積進(jìn)行特征提取，在相同的訓(xùn)練次數(shù)和網(wǎng)絡(luò)參數(shù)下進(jìn)行訓(xùn)練，結(jié)果如圖10所示。

圖10 不同尺度下的模型準(zhǔn)確率對比

由實(shí)驗(yàn)結(jié)果圖可以看出，在模型最終的識別準(zhǔn)確率上，多尺度的模型要優(yōu)于單尺度的模型效果，在CS和CV上分別驗(yàn)證得到的對比結(jié)果為61%和70%，78%和83%，分別提高了9個(gè)和5個(gè)百分點(diǎn)，主要是因?yàn)槎喑叨饶Ｐ涂梢圆东@不同時(shí)長下的行為特征，針對越復(fù)雜的行為動作類型，提升的效果越明顯，將長時(shí)信息和短時(shí)信息結(jié)合，獲取的動作特征具有更強(qiáng)的表征能力，使得模型學(xué)習(xí)到更具魯棒性的特征，因此，所提出的多尺度時(shí)間卷積模型具有更好的性能，相比于單尺度網(wǎng)絡(luò)具有更高的識別準(zhǔn)確率。

此外，為了進(jìn)一步驗(yàn)證模型的效果，與其它幾種主流的網(wǎng)絡(luò)模型進(jìn)行對比，結(jié)果見表2。

表2 不同網(wǎng)絡(luò)模型準(zhǔn)確率對比

從實(shí)驗(yàn)結(jié)果來看，Multi scale ST GCN的網(wǎng)絡(luò)模型準(zhǔn)確率要高于其它幾種算法，無論是和傳統(tǒng)的手工方法還是基于RNN等方法的特征提取相比，均具有一定優(yōu)勢，主要是因?yàn)闃?gòu)建的網(wǎng)絡(luò)模型可以從多尺度挖掘骨骼運(yùn)動的時(shí)空信息獲取到更高層的時(shí)空結(jié)構(gòu)特征，因此，在模型最終的識別準(zhǔn)確率上有了明顯的提升。

5 結(jié)束語

從時(shí)空層面構(gòu)建了時(shí)空圖卷積網(wǎng)絡(luò)，用于人體骨架運(yùn)動信息的特征提取，從中獲取骨架自然邊的連接關(guān)系來構(gòu)建骨骼時(shí)空圖，充分挖掘骨架運(yùn)動所蘊(yùn)含的信息，在傳統(tǒng)圖像卷積的基礎(chǔ)上，對圖卷積進(jìn)行拓展，將骨骼運(yùn)動的方式進(jìn)行劃分，從而更好描述和捕捉運(yùn)動的形態(tài)。在原始時(shí)間卷積(TCN)的基礎(chǔ)上進(jìn)行多尺度時(shí)間卷積(MS-TCN)的改進(jìn)，解決了持續(xù)時(shí)長不同的行為動作類型的識別問題，對連續(xù)動作的不同時(shí)長的行為特征疊加，同時(shí)融合了骨骼空間圖卷積的行為特征，可以更加完整的對骨骼的時(shí)空信息進(jìn)行整合，在NTU RGB+D數(shù)據(jù)集上取得了很好的效果。在今后的工作中，嘗試對通過引入自適應(yīng)的方法增加肢體方向和長度等特征，結(jié)合雙流框架對骨骼流和節(jié)點(diǎn)流進(jìn)行特征融合的行為識別。