劉 智 董世都

(重慶理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 重慶 400054)

利用深度視頻中的關(guān)節(jié)運(yùn)動(dòng)信息研究人體行為識(shí)別

劉 智 董世都

(重慶理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 重慶 400054)

由于計(jì)算開銷大等原因，基于RGB視頻和人工特征的行為識(shí)別方法在近些年的研究進(jìn)展比較緩慢。相對(duì)于RGB視頻，深度視頻能提取運(yùn)動(dòng)物體的幾何結(jié)構(gòu)信息，不會(huì)隨著光線的變化而變化，因此在視頻分割、行為識(shí)別等視覺任務(wù)中比RGB視頻具有更好的區(qū)分性。以深度視頻中的關(guān)節(jié)運(yùn)動(dòng)信息為基礎(chǔ)，提出一種簡(jiǎn)單而有效的人體行為識(shí)別方法。首先，根據(jù)深度視頻中人體關(guān)節(jié)信息分別提取表示關(guān)節(jié)之間角度和相對(duì)位置的2個(gè)特征向量，然后使用LIBLINEAR分類器分別對(duì)提取的2個(gè)特征向量進(jìn)行分類識(shí)別，最后，通過融合其分類結(jié)果得到最終的行為識(shí)別結(jié)果。該提取的特征僅包括關(guān)節(jié)間的相對(duì)位置和角度信息，不會(huì)因視角的變化而變化，具有一定的視角不變性。實(shí)驗(yàn)結(jié)果表明，所提出方法在UTKinect-Action3D數(shù)據(jù)集上能夠獲得與當(dāng)前最好方法一致的識(shí)別效果，而且該方法具有很低的時(shí)間開銷，實(shí)時(shí)性好。

深度學(xué)習(xí) 人體行為識(shí)別 深度視頻 關(guān)節(jié)信息

0 引 言

人體行為識(shí)別在視頻監(jiān)控，人機(jī)交互，視頻提取等很多領(lǐng)域都扮演著十分重要的角色。在過去的一段時(shí)間，機(jī)器視覺類任務(wù)大多數(shù)基于人工設(shè)計(jì)的特征，如尺度不變特征變換(SIFT)[1]、方向梯度直方圖(HOG)[2]等。然而，很多經(jīng)典的視覺識(shí)別方法僅僅是通過拼湊現(xiàn)有的一些成功方法來(lái)實(shí)現(xiàn)。有學(xué)者認(rèn)為，行為識(shí)別的研究在近些年的研究進(jìn)展非常緩慢[3]。幸運(yùn)的是，深度視頻相機(jī)的出現(xiàn)而且價(jià)格的進(jìn)一步降低使得研究者可以重新考慮圖像處理和機(jī)器視覺的一些問題[4]。與RGB相機(jī)僅僅拍攝顏色和紋理信息不同，深度相機(jī)能記錄人體的深度信息，從而獲得人體的幾何信息和關(guān)節(jié)信息。而且，深度相機(jī)對(duì)光線的變化不敏感，因而在視頻分割，目標(biāo)識(shí)別，行為識(shí)別等視覺任務(wù)中比傳統(tǒng)的RGB視頻具有更好的可分辨性?；诖?，本文以深度視頻為研究對(duì)象，提出了一種直觀有效的人體行為識(shí)別方法。該方法根據(jù)深度視頻的關(guān)節(jié)位置信息提取角度特征向量和相對(duì)位置特征向量，具有視角不變性的特點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在UTKinect-Action3D數(shù)據(jù)集上能獲得與當(dāng)前最好方法一致的識(shí)別效果，而且時(shí)間開銷低，便于系統(tǒng)的實(shí)時(shí)性。

本文的主要貢獻(xiàn)如下：

1) 使用深度視頻中的關(guān)節(jié)信息，提出了一種簡(jiǎn)單有效的行為識(shí)別方法，實(shí)驗(yàn)結(jié)果表明了該方法的有效性，并且方法具有視角不變性的特點(diǎn)；

2) 提出了兩種不同的基于關(guān)節(jié)位置信息的特征向量提取方法，它們分別是表示相對(duì)位置信息的以兩髖中心為基準(zhǔn)的特征向量HCBV(Hip center based vector)和表示角度信息的角度特征向量AV(Angle Vector)；

3) 通過融合HCBV和AV的分類結(jié)果，本文提出方法能夠在UTKinect-Action3D數(shù)據(jù)集上獲得與當(dāng)前最好方法一致的識(shí)別效果。并且該方法時(shí)間開銷小，實(shí)時(shí)性好。

1 相關(guān)研究

在過去的十多年間，低層次特征在傳統(tǒng)的行為識(shí)別中獲得了很成功的應(yīng)用，如SIFT[1,5]、HOG[2,6]、時(shí)空興趣點(diǎn)STIP(space-time interest points)[7]和加速魯棒特征SURF(speeded up robust features)[8]。然而近些年來(lái)，基于RGB視頻的行為識(shí)別算法的研究往往是原有成熟方法的堆積，其研究進(jìn)展似乎停滯不前?？上驳氖?，Kinect[4]等低價(jià)深度相機(jī)的出現(xiàn)重新喚起了科研工作者試圖提高屬性識(shí)別、行為識(shí)別，視頻分割等視覺任務(wù)效果的興趣。Ye等人[9]對(duì)基于深度視頻的人體行為識(shí)別研究做了一個(gè)較為詳細(xì)的綜述。在基于深度視頻的人體行為識(shí)別方法中，HOG[2]、STIP和3D詞袋模型(bag-of-3Dpoints)[10]是經(jīng)常用到的一些特征。與此同時(shí)，文獻(xiàn)[7]通過融合時(shí)空特征和關(guān)節(jié)信息來(lái)研究基于深度視頻的行為識(shí)別，其實(shí)驗(yàn)表明深度視頻中的關(guān)節(jié)信息能夠顯著提高識(shí)別的效果。此后，越來(lái)越多的行為識(shí)別研究專注于尋找人體行為和關(guān)節(jié)運(yùn)動(dòng)信息之間的潛在關(guān)系[11-12]。Shotton等人[4,13]提出為每一單獨(dú)幀來(lái)建模人體行為識(shí)別問題，使用隨機(jī)森林和條件回歸森林的方法計(jì)算每一個(gè)像素點(diǎn)的統(tǒng)計(jì)模式。在文獻(xiàn)[14]中，作者將人的靜態(tài)姿勢(shì)，運(yùn)動(dòng)屬性和基于關(guān)節(jié)的總體變化信息進(jìn)行組合形成一個(gè)新的行為屬性描述子EigenJoints，并且提出了一種人體行為識(shí)別的有效方法。Zanfir等人利用關(guān)節(jié)的結(jié)構(gòu)，速度和加速度等信息提出了運(yùn)動(dòng)姿勢(shì)描述子[11]。為降低某些關(guān)節(jié)錯(cuò)誤位置估計(jì)的影響，作者使用分割和時(shí)態(tài)約束[15]選擇最準(zhǔn)確的k個(gè)關(guān)節(jié)，并使用關(guān)節(jié)相對(duì)位置向量[16]作為描述物體運(yùn)動(dòng)的補(bǔ)充信息。和文獻(xiàn)[11]不同的是，Xia等人[17]通過構(gòu)建3D關(guān)節(jié)位置直方圖模型HOJ3D(histograms of 3D joint locations)來(lái)表示人體的一個(gè)姿勢(shì)。除此之外，Devanne[18]和Chrungoo等人[19]也利用深度視頻中的關(guān)節(jié)信息研究人體行為識(shí)別。本文將沿用利用關(guān)節(jié)運(yùn)動(dòng)信息建模人體行為的方法，提出了一種基于深度視頻中關(guān)節(jié)運(yùn)動(dòng)信息并且簡(jiǎn)單有效的人體行為識(shí)別方法。實(shí)驗(yàn)結(jié)果表明本方法在UTKinect-Action3D數(shù)據(jù)集上能獲得與當(dāng)前最好方法一致的識(shí)別效果，并且具有較低的時(shí)間開銷，算法更為簡(jiǎn)單。

2 基于關(guān)節(jié)運(yùn)動(dòng)信息的特征提取和分類融合

從深度視頻中可獲取人體的20個(gè)關(guān)節(jié)x、y、z坐標(biāo)信息，這20個(gè)關(guān)節(jié)分別是兩髖中心、脊、兩肩中心、頭、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髖、左膝、左踝、左腳、右髖、右膝、右踝、右腳。傳統(tǒng)的方法利用每一幀中所有像素點(diǎn)提取特征，而本文方法僅利用人體的關(guān)節(jié)信息來(lái)提取深度視頻中的特征，方法更簡(jiǎn)單、更高效、實(shí)時(shí)性更高。受到文獻(xiàn)[16]相對(duì)位置特征向量的啟發(fā)，本文針對(duì)每一個(gè)深度視頻，提取2個(gè)不同的特征向量，它們分別是表示關(guān)節(jié)間相對(duì)位置信息的以兩髖中心為基準(zhǔn)的特征向量HCBV和表示各關(guān)節(jié)間角度信息的角度特征向量AV。然后使用LIBLINEAR[20]分類器分別對(duì)所提取的兩種特征向量進(jìn)行分類。最后對(duì)兩種特征向量的分類結(jié)果進(jìn)行融合得到最后的識(shí)別結(jié)果。其基本框架如圖1所示。分類結(jié)果的融合是對(duì)每個(gè)分類器得出的各個(gè)類別的識(shí)別概率進(jìn)行加權(quán)求和，求和后概率最大的即為算法識(shí)別出的行為。根據(jù)實(shí)驗(yàn)結(jié)果，本文中HCBV、AV分類器的融合權(quán)值分別設(shè)置為0.4和0.6。

圖1 本文所提出方法基本框架

2.1 以兩髖中心為基準(zhǔn)的特征向量(HCBV)

本節(jié)提出了一種簡(jiǎn)單直觀的HCBV特征提取方法。HCBV特征向量提取每個(gè)關(guān)節(jié)相對(duì)于兩髖中心關(guān)節(jié)的角度信息和位置信息。圖2給出了HCBV的計(jì)算方法及過程。相對(duì)其他關(guān)節(jié)而言，兩髖中心關(guān)節(jié)位移幅度最小，所以HCBV計(jì)算方法以兩髖中心關(guān)節(jié)作為3D直角坐標(biāo)的原點(diǎn)。對(duì)于視頻的每一幀，除兩髖中心關(guān)節(jié)之外的其他關(guān)節(jié)，可以計(jì)算以下三個(gè)參數(shù)：該關(guān)節(jié)到原點(diǎn)的距離(d)、仰角(φ)和方位角(θ)。HCBV將視頻所有幀的距離，仰角和方位角參數(shù)進(jìn)行連接形成一個(gè)特征向量。因?yàn)椋齼审y中心關(guān)節(jié)之外，每幀視頻仍有19個(gè)關(guān)節(jié)，因此對(duì)于具有tNum長(zhǎng)度的視頻，最終的HCBV向量的長(zhǎng)度為3×19×tNum。

圖2 HCBV計(jì)算示意圖，對(duì)每一幀，以兩髖中心關(guān)節(jié)為原點(diǎn)， 計(jì)算其他關(guān)節(jié)到原點(diǎn)的距離(d)、仰角(φ)和方位角(θ)

2.2 角度特征向量(AV)

角度特征向量是將人體任何兩個(gè)相鄰部分之間的角度參數(shù)連接在一起而形成的向量，它旨在提取人體的全局角度信息。圖3給出了某一幀視頻的角度特征向量的計(jì)算示意圖。將視頻序列中每一幀的所有角度信息進(jìn)行連接即得到該視頻的角度特征向量。由于每幀視頻中共有19個(gè)角度參數(shù)，因此，對(duì)于長(zhǎng)度為tNum的視頻，角度特征向量的維度為19×tNum。

圖3 角度特征向量的計(jì)算示意圖，計(jì)算每幀視頻 骨架結(jié)構(gòu)中所有關(guān)節(jié)間夾角，共19個(gè)參數(shù)

3 實(shí)驗(yàn)及結(jié)果

3.1 數(shù)據(jù)集和預(yù)處理

本文提出的方法在UTKinect-Action3D數(shù)據(jù)集[17]上進(jìn)行了實(shí)驗(yàn)評(píng)估。該數(shù)據(jù)集使用靜止Kinect相機(jī)采集而成，由10個(gè)不同的被試完成10種不同的行為動(dòng)作(如表1所示)，每位被試每個(gè)行為動(dòng)作拍攝2次。該數(shù)據(jù)集總共含有199個(gè)有效視頻，數(shù)據(jù)集中給出了每個(gè)視頻所有幀的20個(gè)關(guān)節(jié)的3維坐標(biāo)。為實(shí)驗(yàn)的方便，本文實(shí)驗(yàn)中使用了200個(gè)視頻序列，即將缺失的第10位被試carry動(dòng)作的第二次行為拍攝使用原始數(shù)據(jù)中1242幀到1300幀的視頻進(jìn)行補(bǔ)充。UTKinect-Action3D數(shù)據(jù)集包含了從多個(gè)不同角度拍攝的視頻序列并且具有很高的類內(nèi)差異性，因此十分具有挑戰(zhàn)性。在實(shí)驗(yàn)前，我們對(duì)每個(gè)視頻進(jìn)行了簡(jiǎn)單的預(yù)處理，其一是使用插值技術(shù)將數(shù)據(jù)集中的所有視頻規(guī)范化到統(tǒng)一的長(zhǎng)度，該長(zhǎng)度即為所有視頻長(zhǎng)度的中間值，據(jù)此，本文將所有行為視頻均規(guī)范化到28幀。第二個(gè)簡(jiǎn)單處理是使用min-max方法將分別將所有視頻的x、y、z坐標(biāo)值規(guī)范化到[0，1]范圍。

3.2 實(shí)驗(yàn)結(jié)果評(píng)價(jià)

對(duì)于在UTKinect-Action3D數(shù)據(jù)集上的實(shí)驗(yàn)評(píng)估，本文使用交叉被試的實(shí)驗(yàn)設(shè)置，即被試{1，3，5，7，9}的行為序列用于訓(xùn)練而被試{2，4，6，8，10}的行為序列用于測(cè)試。表1和圖4分別以表和混淆矩陣的方式給出了每類行為的識(shí)別準(zhǔn)確性。從中可以看出，大部分行為能正確的識(shí)別，各行為的平均識(shí)別準(zhǔn)確率為91%。高識(shí)別率的實(shí)驗(yàn)結(jié)果表明了本文方法的有效性及視角不變性的特點(diǎn)。從圖4中的混淆矩陣可看出，carry，throw和push動(dòng)作的識(shí)別率相對(duì)較低。其中carry動(dòng)作很容易被錯(cuò)誤地識(shí)別為動(dòng)作throw和clap hand，很可能是因?yàn)閯?dòng)作carry含有的視頻幀數(shù)較少而導(dǎo)致所提供的信息量不足，而throw被錯(cuò)誤地識(shí)別為clap hand可能是它們都是正面動(dòng)作而且其手部運(yùn)動(dòng)和clap hand非常類似。

表1 UTKINECT-ACTION3D數(shù)據(jù)集上各行為 的識(shí)別率(平均:91%)

圖4 UTKINECT-ACTION3D數(shù)據(jù)集上識(shí)別結(jié)果的混淆矩陣

表2給出了本文方法和近些年最好方法的識(shí)別效果進(jìn)行了比較。本文提出的方法獲得了91%的分類性能，這一結(jié)果和當(dāng)前基于關(guān)節(jié)信息行為識(shí)別的最好方法[17-19]的結(jié)果相當(dāng)。 值得一提的是，本文使用了200個(gè)視頻，其中有個(gè)是其他方法認(rèn)為無(wú)效的視頻，而其他方法只使用了199個(gè)視頻序列。除此之外，文獻(xiàn)[17-19]方法對(duì)行為視頻每一幀逐個(gè)像素進(jìn)行特征提取，而本文方法僅根據(jù)每一幀中20個(gè)關(guān)節(jié)點(diǎn)的信息計(jì)算HCBV和AV特征，從特征提取的原理上可知本文方法更加簡(jiǎn)單和高效。在具有4核Intel(R) Core(TM) i5-4200M CPU@ 2.50 GHz處理器和4 GB內(nèi)存的計(jì)算機(jī)上，提取一個(gè)幀數(shù)為28的視頻中HCBV和AV特征的時(shí)間開銷是0.18秒，完全能夠滿足系統(tǒng)實(shí)時(shí)處理的要求。

表2 本文方法和已有方法在UTKINECT-ACTION3D 上識(shí)別效果比較

4 結(jié) 語(yǔ)

基于深度視頻提供的關(guān)節(jié)信息，本文提出了一種直觀而簡(jiǎn)單有效的人體行為識(shí)別方法，該方法通過提取視頻中關(guān)節(jié)間的相對(duì)位置信息和角度信息形成兩種不同的特征向量HCBV和AV。通過融合HCBV和AV兩個(gè)特征向量的分類結(jié)果，本文的方法在UTKinect-Action3D數(shù)據(jù)集獲得了很好的識(shí)別結(jié)果，該結(jié)果與近些年最好的方法的識(shí)別準(zhǔn)確率基本相當(dāng)。相對(duì)于其他方法，本文所提出方法更簡(jiǎn)單直觀，時(shí)間開銷小，具有很好的實(shí)時(shí)性。與此同時(shí)，UTKinect-Action3D數(shù)據(jù)集是多視角數(shù)據(jù)，本文提取的特征僅包括關(guān)節(jié)間的相對(duì)位置和角度信息，不會(huì)因視角的變化而變化，實(shí)驗(yàn)結(jié)果表明算法具有一定的視角不變性。

[1] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[2] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//Computer Vision and Pattern Recognition, 2005 IEEE Computer Society Conference on. IEEE, 2005: 886-893.

[3] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014: 580-587.

[4] Shotton J, Fitzgibbon A, Cook M, et al. Real-time human pose recognition in parts from single depth images[C]//Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on, 2011: 1297-1304.

[5]LoweDG.Objectrecognitionfromlocalscale-invariantfeatures[C]//ProceedingsoftheSeventhIEEEInternationalConferenceonComputerVision.IEEE, 1999: 1150-1157.

[6]LaptevI,MarszalekM,SchmidC,etal.Learningrealistichumanactionsfrommovies[C]//ComputerVisionandPatternRecognition, 2008IEEEConferenceon, 2008: 1-8.

[7]ZhuY,ChenW,GuoG.Evaluatingspatiotemporalinterestpointfeaturesfordepth-basedactionrecognition[J].ImageandVisionComputing, 2014, 32(8): 453-464.

[8]BayH,EssA,TuytelaarsT,etal.Speeded-uprobustfeatures(SURF)[J].ComputerVisionandImageUnderstanding, 2008, 110(3): 346-359.

[9]YeM,ZhangQ,WangL,etal.Asurveyonhumanmotionanalysisfromdepthdata[M]//Time-of-FlightandDepthImaging,Sensors,Algorithms,andApplications.Springer, 2013: 149-187.

[10]LiW,ZhangZ,LiuZ.Actionrecognitionbasedonabagof3Dpoints[C]//ComputerVisionandPatternRecognitionWorkshops(CVPRW), 2010IEEEComputerSocietyConferenceon, 2010: 9-14.

[11]ZanfirM,LeordeanuM,SminchisescuC.Themovingpose:anefficient3Dkinematicsdescriptorforlow-latencyactionrecognitionanddetection[C]//ComputerVision(ICCV), 2013IEEEInternationalConferenceon, 2013: 2752-2759.

[12]VemulapalliR,Arratef,ChellappaR.Humanactionrecognitionbyrepresenting3Dskeletonsaspointsinaliegroup[C]//ComputerVisionandPatternRecognition(CVPR), 2014IEEEConferenceon, 2014: 588-595.

[13]SunM,KohliP,ShottonJ.Conditionalregressionforestsforhumanposeestimation[C]//ComputerVisionandPatternRecognition(CVPR), 2012IEEEConferenceon.IEEE, 2012: 3394-3401.

[14]YangX,TianY.Effective3DactionrecognitionusingEigenJoints[J].JournalofVisualCommunicationandImageRepresentation, 2014, 25(1): 2-11.

[15]WangC,WangY,YuilleAL.Anapproachtopose-basedactionrecognition[C]//ComputerVisionandPatternRecognition(CVPR), 2013IEEEConferenceon.IEEE, 2013: 915-922.

[16]WangJ,LiuZ,WuY,etal.Miningactionletensembleforactionrecognitionwithdepthcameras[C]//ComputerVisionandPatternRecognition(CVPR), 2012IEEEConferenceon, 2012: 1290-1297.

[17]XiaL,ChenCC,AggarwalJK.Viewinvarianthumanactionrecognitionusinghistogramsof3Djoints[C]//ComputerVisionandPatternRecognitionWorkshops(CVPRW), 2012IEEEComputerSocietyConferenceon, 2012: 20-27.

[18]DevanneM,WannousH,BerrettiS,etal.Space-timeposerepresentationfor3Dhumanactionrecognition[C]//ProceedingsoftheICIAP2013InternationalWorkshopsonNewTrendsinImageAnalysisandProcessing.Springer, 2013: 456-464.

[19]ChrungooA,ManimaranSS,RavindranB.Activityrecognitionfornaturalhumanrobotinteraction[C]//Proceedingsofthe6thInternationalConferenceonSocialRobotics.Springer, 2014: 84-94.

[20]FanRE,ChangKW,HsiehCJ,etal.LIBLINEAR:alibraryforlargelinearclassification[J].TheJournalofMachineLearningResearch, 2008, 9: 1871-1874.

STUDY OF HUMAN ACTION RECOGNITION BY USING SKELETON MOTION INFORMATION IN DEPTH VIDEO

Liu Zhi Dong Shidu

(CollegeofComputerScienceandEngineering,ChongqingUniversityofTechnology,Chongqing400054,China)

Due to high computation overhead, little progress has been achieved in human action recognition (HAR) based on hand-crafted feature and RGB videos in recent years. Compared with RGB video, depth video sequence is able to extract geometry structural information of animated objects, it is also more insensitive to light changes and more discriminative in many vision tasks such as segmentation and activity recognition. Thus, an effective and straightforward HAR method by using joints motion information of the depth sequence is proposed. First, two feature vectors are extracted according to the human joints information in depth video to indicate the angle and position information among joints. Then, the obtained vectors are classified and identified by using Liblinear classifier. Finally, the action recognition result is achieved by fusing the classification results. The extracted features are view-invariant because the vectors contain only angle and relative position information among joints, they keep the same even though the angle of view is different. Experimental results demonstrate that the method has low computation overhead and performs comparable results on the UTKinect-Action3D dataset compared with state-of-the-art methods.

Deep learning Human action recognition Depth video Skeleton information

2015-12-30。國(guó)家自然科學(xué)基金項(xiàng)目(61202348)；重慶市教委科學(xué)技術(shù)研究項(xiàng)目(KJ1400926)。劉智，副教授，主研領(lǐng)域：行為識(shí)別，深度學(xué)習(xí)。董世都，副教授。

TP3

A

10.3969/j.issn.1000-386x.2017.02.033