孫滿貞，張鵬，蘇本躍

（1.安慶師范大學(xué)計算機(jī)與信息學(xué)院，安徽安慶 246133；2.銅陵學(xué)院數(shù)學(xué)與計算機(jī)學(xué)院，安徽銅陵 244061）

0 引言

人體行為識別以人為中心研究人體運動，賦予計算機(jī)“人的智能”，使之能智能地識別人的行為，因而被廣泛應(yīng)用于工業(yè)系統(tǒng)、虛擬現(xiàn)實及視頻監(jiān)控等領(lǐng)域。用于人體行為識別的數(shù)據(jù)有骨骼數(shù)據(jù)、視頻數(shù)據(jù)、深度數(shù)據(jù)和運動流數(shù)據(jù)等多種類別。由于人體可視為由關(guān)節(jié)點和骨骼連接形成的剛性鉸鏈系統(tǒng)，而運動是指骨骼空間結(jié)構(gòu)與身體姿態(tài)的連續(xù)變化，因此骨骼數(shù)據(jù)可表達(dá)人體運動信息的高級特征。

隨著Kinect、Asus Xtion和Intel RealSense等低成本深度相機(jī)的開發(fā)，以及Openpose、SDK等估計關(guān)節(jié)點坐標(biāo)算法趨于成熟，獲取關(guān)節(jié)點位置信息變得相對容易。此外，相較于視頻數(shù)據(jù)、深度數(shù)據(jù)等易受光線亮度、觀察視角、身體遮擋、背景雜亂等因素干擾，骨骼數(shù)據(jù)不易受人體外觀、光照和視角變化等因素影響，且能很好地避免噪聲干擾，從而使得基于骨骼數(shù)據(jù)的人體行為識別受到了研究者青睞。

基于骨骼數(shù)據(jù)的人體行為識別，按特征選擇方式可將相關(guān)研究方法分為：基于手工特征的機(jī)器學(xué)習(xí)方法和基于深度特征的深度學(xué)習(xí)方法。已有文獻(xiàn)主要側(cè)重于對深度學(xué)習(xí)方法的總結(jié)或從深度學(xué)習(xí)架構(gòu)改進(jìn)的角度進(jìn)行綜述，而從特征方面對相關(guān)研究工作進(jìn)行歸納的較少，但是特征選擇對正確識別人體行為至關(guān)重要。

因此，本文從機(jī)器學(xué)習(xí)方法采用的手工特征和深度學(xué)習(xí)方法自學(xué)習(xí)的深度特征兩方面對人體行為識別方法進(jìn)行綜述，從特征入手系統(tǒng)地梳理現(xiàn)階段骨骼數(shù)據(jù)行為識別相關(guān)工作。

1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的手工特征提取方法

手工特征是指研究者根據(jù)自身先驗知識定義的特征或從動作數(shù)據(jù)中提取的統(tǒng)計特征等。手工特征可較好地反映出運動本身的物理特性或數(shù)據(jù)自身的統(tǒng)計特性，進(jìn)而可在一定程度上可對動作的運動力學(xué)或統(tǒng)計學(xué)特性等進(jìn)行表征。

具有統(tǒng)計屬性的特征如均值、方差、中位數(shù)、相關(guān)系數(shù)、偏度與峰度等刻畫了動作變化的幅度、快慢和劇烈程度等。具有物理屬性的特征如關(guān)節(jié)點相對位置、距離、夾角、位移、速度和加速度等可反映出人體運動時關(guān)節(jié)點之間的空間結(jié)構(gòu)變化和時間動態(tài)演變。Su等、Vantigodi等從三維骨骼序列數(shù)據(jù)中提取統(tǒng)計屬性特征進(jìn)行人體行為識別，Tommi等、李夢荷等提取物理屬性特征進(jìn)行人體行為識別，其具體采用的手工特征及對應(yīng)的特征屬性如表1所示。

Table 1 Related research based on manual features表1 基于手工特征的相關(guān)研究

基于手工提取特征的方法充分利用研究者的先驗知識，特征的可解釋性強(qiáng)，在識別精度較高的情況下構(gòu)建的模型簡單易懂。但是手工特征往往只能反映人體行為某個方面的運動特性，不能完全地表征運動整體狀態(tài)。而且選擇的手工特征依賴于研究者的先驗知識，主觀性較強(qiáng)，不易推廣，即手工特征的泛化能力較弱。

2 基于深度學(xué)習(xí)的特征自提取方法

隨著深度學(xué)習(xí)的快速發(fā)展，將深度學(xué)習(xí)應(yīng)用于骨骼數(shù)據(jù)行為識別領(lǐng)域的工作越來越多。作為端到端的學(xué)習(xí)方式，深度學(xué)習(xí)方法較好地避免了研究者主觀因素的干擾。

深度學(xué)習(xí)網(wǎng)絡(luò)采用無監(jiān)督方式從三維骨骼序列數(shù)據(jù)中自學(xué)習(xí)到特征，這種學(xué)習(xí)方式符合人類感知世界的機(jī)理，當(dāng)訓(xùn)練樣本量足夠大時，深度網(wǎng)絡(luò)學(xué)習(xí)到的特征往往具有一定的語義特征或能抓取人體的拓?fù)浣Y(jié)構(gòu)。目前應(yīng)用于基于骨骼數(shù)據(jù)的人體行為識別研究的深度學(xué)習(xí)網(wǎng)絡(luò)主要有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network，GCN）及混合神經(jīng)網(wǎng)絡(luò)等。CNN、RNN、GCN 3種深度學(xué)習(xí)網(wǎng)絡(luò)處理的關(guān)節(jié)點數(shù)據(jù)表示方式依次為偽圖像、長向量和拓?fù)鋱D。深度特征提取方法的具體步驟為：首先將三維骨骼序列數(shù)據(jù)處理成深度學(xué)習(xí)網(wǎng)絡(luò)能學(xué)習(xí)的數(shù)據(jù)格式，然后輸入深度學(xué)習(xí)網(wǎng)絡(luò)，經(jīng)過網(wǎng)絡(luò)自學(xué)習(xí)深度特征進(jìn)行動作分類。

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)側(cè)重于從靜態(tài)面板數(shù)據(jù)中提取有效信息，主要采用兩種方式自學(xué)習(xí)特征進(jìn)行人體行為識別：①直接將原始關(guān)節(jié)點3D坐標(biāo)數(shù)據(jù)采用不同方法映射為X、Y、Z三通道數(shù)據(jù)，并采用CNN進(jìn)行分類；②在骨骼數(shù)據(jù)上自定義表示動作空間結(jié)構(gòu)和時間動態(tài)變化等特征，將其映射成彩色圖像，輸入到CNN中進(jìn)行分類，即人工特征與自學(xué)習(xí)特征相結(jié)合的方法。

2.1.1 三維骨骼坐標(biāo)映射方法

將骨骼數(shù)據(jù)的X、Y、Z坐標(biāo)看作圖像的RGB通道，把原始骨骼數(shù)據(jù)編碼成偽圖像，利用圖像識別的方式進(jìn)行動作識別。

Du等保留了動作序列的空間結(jié)構(gòu)和時間動態(tài)信息，提出一種將動作序列表示為彩色圖像的方法。Li等在此基礎(chǔ)上，提出圖像平移尺度不變映射如式（1）所示，將三維骨骼坐標(biāo)數(shù)據(jù)映射成彩色圖像。

Table 2 Related research of 3D skeletal coordinate mapping method表2 三維骨骼坐標(biāo)映射方法相關(guān)研究

將3D骨骼坐標(biāo)數(shù)據(jù)視為X、Y、Z三通道的數(shù)據(jù)，深度網(wǎng)絡(luò)能從每個通道捕捉到不同的特征表征動作，綜合多通道互補(bǔ)的特征信息有益于準(zhǔn)確識別動作。

2.1.2 人工特征與自學(xué)習(xí)特征相結(jié)合的方法

三維骨骼序列數(shù)據(jù)中既含有空間結(jié)構(gòu)信息，又含有時間動態(tài)信息，這兩者是準(zhǔn)確識別動作類型的重要因素。人工特征與自學(xué)習(xí)特征相結(jié)合的方法是將研究者自定義的表示動作空間和時間變化的特征輸入深度網(wǎng)絡(luò)進(jìn)行動作識別，例如將關(guān)節(jié)距離、關(guān)節(jié)角等特征映射為彩色圖像，輸入CNN進(jìn)行學(xué)習(xí)。

Li等設(shè)計了平移尺度不變映射公式，如式（2）所示，將骨骼序列時空信息編碼成彩色圖像用于骨骼數(shù)據(jù)動作識別。

Li等基于骨骼數(shù)據(jù)自定義了距離特征，并通過式（2）將其映射成彩色紋理圖像，結(jié)合AlexNet深度網(wǎng)絡(luò)進(jìn)行自學(xué)習(xí)，具體采用融合策略融合原始3D骨骼坐標(biāo)序列及其主、側(cè)、俯三視圖4條支路的識別結(jié)果。其隨后定義了關(guān)節(jié)點軌跡、距離、方向、點到邊距離、邊邊夾角以及關(guān)節(jié)點光譜等特征，結(jié)合CNN開展了一系列研究。Caetano等自定義了關(guān)節(jié)點大小、方向特征，并將其映射成彩色圖像。Naveenkumar等基于自定義關(guān)節(jié)點坐標(biāo)三分量各自的差分特征，以及節(jié)點在主、側(cè)、俯3個視圖下的距離映射等，將圖像轉(zhuǎn)化為彩色圖像，結(jié)合使用CNN方法開展了相關(guān)研究。結(jié)合人工特征與自學(xué)習(xí)特征的相關(guān)研究如表3所示。

Table 3 Related research on the combination of artificial features and self-learning features表3 結(jié)合人工特征與自學(xué)習(xí)特征的相關(guān)研究

續(xù)表

自定義特征結(jié)合CNN用于基于骨骼數(shù)據(jù)的人體行為識別研究，同時對骨骼數(shù)據(jù)的自定義特征和深度特征進(jìn)行學(xué)習(xí)，有利于準(zhǔn)確識別動作。

2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)能夠傳遞和積累動作數(shù)據(jù)隨時間演變更新的信息。人體動作骨骼數(shù)據(jù)作為典型的時間序列數(shù)據(jù)，關(guān)節(jié)點坐標(biāo)隨時間的推移而變化，因此RNN及其變形模型被較多地應(yīng)用于基于骨骼數(shù)據(jù)的人體動作識別。

Shahroudy等于2016年創(chuàng)建NTU RGBD數(shù)據(jù)集，并運用LSTM建模不同身體部分特征之間的長期依賴關(guān)系，在此數(shù)據(jù)集跨表演者（Cross-Subject，CS）和跨視角（Cross-View，CV）兩個評價指標(biāo)下的識別率分別達(dá)到62.93%和70.27%。此后，該團(tuán)隊又創(chuàng)建了NTU RGBD120數(shù)據(jù)集，該數(shù)據(jù)集有跨表演者（CS）和跨設(shè)置號（Cross-Setup，C-Setup）兩個評價指標(biāo)。主干網(wǎng)絡(luò)為循環(huán)神經(jīng)網(wǎng)絡(luò)，針對輸入端改變數(shù)據(jù)排列方式，在網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)中增加注意力機(jī)制，輸出端采用融合策略等相關(guān)改進(jìn)?；谘h(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究如表4所示。

將骨骼數(shù)據(jù)按關(guān)節(jié)點序號和時間幀排列成長向量，RNN利用網(wǎng)絡(luò)內(nèi)部的狀態(tài)轉(zhuǎn)移機(jī)制，學(xué)習(xí)到動作隨時間推移發(fā)生的變化用于人體行為識別。

2.3 圖卷積神經(jīng)網(wǎng)絡(luò)

CNN和RNN均針對排列規(guī)則的歐式數(shù)據(jù)進(jìn)行學(xué)習(xí)，而不能直接處理非歐式數(shù)據(jù)。人體骨骼數(shù)據(jù)具有很多非歐式數(shù)據(jù)的特性，可將人體骨骼數(shù)據(jù)視為由關(guān)節(jié)點和骨骼組成的圖數(shù)據(jù)，采用圖卷積神經(jīng)網(wǎng)絡(luò)能夠直接對圖數(shù)據(jù)進(jìn)行學(xué)習(xí)。

Yan等將歐式數(shù)據(jù)卷積推廣到骨骼數(shù)據(jù)這種非歐數(shù)據(jù)的卷積上，如式（3）所示。

Table 4 Related research based on recurrent neural network表4 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究

將骨骼數(shù)據(jù)視為圖數(shù)據(jù)，更符合骨骼數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)的本質(zhì)。GCN通過卷積能夠?qū)W習(xí)關(guān)節(jié)點自身的特性，根據(jù)相鄰關(guān)節(jié)點之間以及非相鄰關(guān)節(jié)點之間的關(guān)系，能捕獲動作變化的時空特征用于動作識別。

2.4 混合神經(jīng)網(wǎng)絡(luò)

CNN輸入的骨骼數(shù)據(jù)形式為二維偽圖像，其采用局部連接、共享權(quán)值的方式進(jìn)行學(xué)習(xí)，但局部卷積只能學(xué)習(xí)到相鄰關(guān)節(jié)點之間的關(guān)系，而不能學(xué)習(xí)到非相鄰關(guān)節(jié)點之間的關(guān)系，因此不能較好地識別大幅度動作。RNN輸入的骨骼數(shù)據(jù)形式是長向量，其利用網(wǎng)絡(luò)內(nèi)部的狀態(tài)轉(zhuǎn)移機(jī)制，可學(xué)習(xí)到動作隨時間推移發(fā)生的變化，但長向量的數(shù)據(jù)排列方式忽略了人體骨骼固有的拓?fù)浣Y(jié)構(gòu)信息。GCN同時考慮關(guān)節(jié)點自身特征與相鄰關(guān)節(jié)點之間的關(guān)系，能較好地學(xué)習(xí)到骨骼序列中的時空特征，但是對于遠(yuǎn)距離關(guān)節(jié)點之間的關(guān)系以及動作序列長時動態(tài)信息的建模能力較差。

混合神經(jīng)網(wǎng)絡(luò)是CNN、RNN、GCN等深度網(wǎng)絡(luò)之間的有機(jī)組合，通過合理組合多類型深度網(wǎng)絡(luò)使混合神經(jīng)網(wǎng)絡(luò)的整體識別性能達(dá)到最佳。主干網(wǎng)絡(luò)采用CNN+LSTM、CNN+GCN、GCN+Bi-LSTM等不同類型深度網(wǎng)絡(luò)組合的相關(guān)研究如表6所示。

混合神經(jīng)網(wǎng)絡(luò)對不同類型深度網(wǎng)絡(luò)有機(jī)組合，可捕捉動作不同方面的特征信息，以達(dá)到信息互補(bǔ)、信息增強(qiáng)的效果，進(jìn)一步提高了模型的動作識別性能。

綜上，基于深度特征的方法能充分利用各種網(wǎng)絡(luò)的優(yōu)勢從骨骼數(shù)據(jù)中學(xué)習(xí)到有利于動作識別的時空特征，且深度網(wǎng)絡(luò)的識別性能一般略優(yōu)于機(jī)器學(xué)習(xí)算法。但其缺點是深度特征的解釋性較差。深度網(wǎng)絡(luò)也存在需要訓(xùn)練的參數(shù)過多及訓(xùn)練模型耗時較長等問題。

Table5 Related research based on graph convolutional neural network表5 基于圖卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究

Table 6 Related research based on hybrid neural network表6 基于混合神經(jīng)網(wǎng)絡(luò)的相關(guān)研究

2.5 基于深度特征的各網(wǎng)絡(luò)之間對比

基于深度特征的骨骼數(shù)據(jù)行為識別方法常采用的深度網(wǎng)絡(luò)有CNN、RNN和GCN。RNN可較好地反映運動時序信號特征，但是忽略了人體骨骼的拓?fù)浣Y(jié)構(gòu)；CNN通過卷積操作獲取時間和空間域的動作特征，卷積計算易于實現(xiàn)，但不能較好地反映運動固有特性；GCN是將人體結(jié)構(gòu)表達(dá)為圖結(jié)構(gòu)，并通過卷積操作獲取相應(yīng)動作特征。圖結(jié)構(gòu)可較好地反映人體的結(jié)構(gòu)表達(dá)，但其拓?fù)浣Y(jié)構(gòu)較為復(fù)雜。同時對比基于RNN、CNN、GCN的人體行為識別方法的識別率，可以發(fā)現(xiàn)運用圖卷積網(wǎng)絡(luò)能較為精準(zhǔn)地識別出動作類型，其原因是將骨骼數(shù)據(jù)視為圖數(shù)據(jù)比表示為偽圖像和長向量更合適。基于混合網(wǎng)絡(luò)（不同類型深度網(wǎng)絡(luò)的有機(jī)組合）的整體識別性能優(yōu)于單獨使用某種深度網(wǎng)絡(luò)，但其存在模型復(fù)雜度較高的問題。

3 總結(jié)與展望

本文從手工特征和深度特征角度出發(fā)對基于骨骼數(shù)據(jù)的人體行為識別方法相關(guān)研究進(jìn)行了分析總結(jié)?；跈C(jī)器學(xué)習(xí)方法的特征提取依賴于人的先驗知識，基于深度學(xué)習(xí)方法的特征學(xué)習(xí)依賴于對數(shù)據(jù)的訓(xùn)練。觀察兩類方法的識別結(jié)果可知，深度特征較手工特征更能有效地表征動作。

在基于骨骼數(shù)據(jù)的人體行為識別研究中，仍有很多問題需要作進(jìn)一步探索，例如：真實場景下關(guān)節(jié)點之間由于存在遮擋導(dǎo)致部分關(guān)節(jié)點數(shù)據(jù)缺失時的動作識別、具有“相似運動軌跡”的動作區(qū)分，以及如何篩選出人體運動過程中位置變化較大的關(guān)節(jié)點用于動作識別等，這些問題的解決依賴于對算法的進(jìn)一步優(yōu)化與改進(jìn)。