張亞南，朱方，葉龍，張勤

（1.中國(guó)傳媒大學(xué)媒介音視頻教育部重點(diǎn)實(shí)驗(yàn)室，北京 100024；2.移動(dòng)網(wǎng)絡(luò)和移動(dòng)多媒體技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室中興通訊股份有限公司，深圳 518000）

1 引言

人體運(yùn)動(dòng)跟蹤是視覺監(jiān)控系統(tǒng)，虛擬現(xiàn)實(shí)，醫(yī)學(xué)分析等當(dāng)前眾多領(lǐng)域[1][2][3]中所研究的關(guān)鍵技術(shù)之一，但由于跟蹤維度高、背景混亂、遮擋現(xiàn)象嚴(yán)重等多方面原因，其效果距離復(fù)雜場(chǎng)景中的實(shí)際應(yīng)用還有一定的距離。人體運(yùn)動(dòng)跟蹤任務(wù)是從圖像中檢測(cè)出人物，并對(duì)目標(biāo)人物進(jìn)行逐幀的位置或關(guān)節(jié)運(yùn)動(dòng)狀態(tài)的定位與估計(jì)。將跟蹤問題采用動(dòng)態(tài)系統(tǒng)的貝葉斯估計(jì)方法[7]進(jìn)行解決是目前常用的人體運(yùn)動(dòng)跟蹤方法，它的思路是將目標(biāo)跟蹤問題轉(zhuǎn)換成在貝葉斯理論框架下利用狀態(tài)方程預(yù)測(cè)目標(biāo)狀態(tài)的先驗(yàn)概率密度，并利用最新的測(cè)量值對(duì)先驗(yàn)概率密度進(jìn)行修正，不斷求解從而得到目標(biāo)狀態(tài)的后驗(yàn)概率密度估計(jì)?？柭鼮V波[8][9]是建立在高斯模型上用于解決非平穩(wěn)隨機(jī)過程內(nèi)線性預(yù)測(cè)問題的方法，但是由于高斯模型是單峰模型，難以對(duì)于因遮擋所帶來的非線性運(yùn)動(dòng)情況進(jìn)行有效處理，因此適應(yīng)性更高的粒子濾波算法[10][11][21]逐漸成為實(shí)現(xiàn)人體運(yùn)動(dòng)貝葉斯跟蹤的主要手段。

然而對(duì)于粒子濾波算法而言，粒子的數(shù)量會(huì)隨著狀態(tài)空間的維度增加呈指數(shù)增長(zhǎng)。由于人體關(guān)節(jié)運(yùn)動(dòng)的高維度屬性，因此如何提高粒子采樣的有效性成為使用粒子濾波方法進(jìn)行人體關(guān)節(jié)運(yùn)動(dòng)跟蹤過程中所需解決的主要問題[4]。一種提高粒子采樣有效性的方法是在粒子權(quán)值賦值侯進(jìn)行粒子狀態(tài)的優(yōu)化，Deutscher 等人[12]提出利用模擬退火算法實(shí)現(xiàn)在高維空間中關(guān)節(jié)模型的優(yōu)化。M. Bray 等人[13]使用“隨機(jī)元下降”作為樣本優(yōu)化器來實(shí)現(xiàn)高維運(yùn)動(dòng)跟蹤。另一種方法是利用人體運(yùn)動(dòng)模型來降低狀態(tài)空間的維度，D.Ormoneit 等人[14]使用PCA 算法在低維線性子空間中呈現(xiàn)人類行走，然后估計(jì)人和活動(dòng)之間的自然變化。Rohr[15]將問題的維度降低到步行周期的階段，并使用卡爾曼濾波器進(jìn)行身體位置的估計(jì)。

使用針對(duì)特定運(yùn)動(dòng)形式的人體關(guān)節(jié)軌跡預(yù)測(cè)模型進(jìn)行粒子狀態(tài)轉(zhuǎn)移空間的約束是一種基于先驗(yàn)空間建模的預(yù)處理思想。在特定目標(biāo)的運(yùn)動(dòng)建模方面，Ling Guan[5][6]提出了分層時(shí)空人體運(yùn)動(dòng)模型，將最小運(yùn)動(dòng)單元定義為運(yùn)動(dòng)基。一個(gè)運(yùn)動(dòng)序列解析為一組運(yùn)動(dòng)片段，單個(gè)運(yùn)動(dòng)片段即為運(yùn)動(dòng)基。Simonyan 等人[16]在2014年首次提出了創(chuàng)造性的雙流網(wǎng)絡(luò)，利用單幀RGB 作為輸入處理空間維度的信息和使用多幀密度光流場(chǎng)作為輸入處理時(shí)間維度的信息并融合。為了更好的捕獲時(shí)序信息，2015年Tran.D 等人[17]提出了C3D 卷積網(wǎng)絡(luò)，利用三維卷積核處理視頻信息。在此基礎(chǔ)上Tran.D 與Y.Lecun 對(duì)時(shí)空卷積又有了新的認(rèn)知[19][20]，提出R(2+1)D 網(wǎng)絡(luò)即將2D 的空間卷積和1D的時(shí)間卷積分離開來,使用殘差網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)[18]，與C3D 對(duì)比，R(2+1)D 卷積更容易解決達(dá)到系統(tǒng)優(yōu)化的目的。

在本文中，我們提出了一種基于運(yùn)動(dòng)基識(shí)別的人體關(guān)節(jié)運(yùn)動(dòng)跟蹤粒子濾波估計(jì)方法。首先，在運(yùn)動(dòng)解析的過程中，我們先使用運(yùn)動(dòng)基定義運(yùn)動(dòng)空間，然后在運(yùn)動(dòng)空間中進(jìn)行運(yùn)動(dòng)基的識(shí)別，從而得到運(yùn)動(dòng)基的概率密度分布，再通過概率密度分布分配粒子的多少。同時(shí)在粒子狀態(tài)更新階段，選取顏色直方圖特征計(jì)算粒子適應(yīng)度，在對(duì)粒子狀態(tài)進(jìn)行重采樣更新的基礎(chǔ)上修正運(yùn)動(dòng)基的概率密度分布。本文的主要貢獻(xiàn)在于提出了一種運(yùn)動(dòng)狀態(tài)不確定條件下的基于預(yù)測(cè)空間建模的粒子濾波器實(shí)現(xiàn)方案，并將其在人體關(guān)節(jié)運(yùn)動(dòng)跟蹤應(yīng)用中進(jìn)行了應(yīng)用驗(yàn)證。實(shí)現(xiàn)結(jié)果表明，本文提出的新型粒子濾波器架構(gòu)在關(guān)節(jié)跟蹤準(zhǔn)確性上遠(yuǎn)優(yōu)于傳統(tǒng)粒子濾波器方案，并且我們還與現(xiàn)有的基于深度學(xué)習(xí)的點(diǎn)對(duì)點(diǎn)人體關(guān)節(jié)運(yùn)動(dòng)跟蹤方法進(jìn)行了對(duì)比，本文所提出方法在遮擋嚴(yán)重的情況下對(duì)于關(guān)節(jié)運(yùn)動(dòng)的預(yù)測(cè)性能對(duì)比深度學(xué)習(xí)方法也有一定的優(yōu)勢(shì)。

2 粒子濾波理論架構(gòu)

2.1 粒子濾波理論基礎(chǔ)

貝葉斯濾波是一種利用輸入觀測(cè)值和時(shí)域觀測(cè)模型遞歸地估計(jì)未知概率密度函數(shù)的方法，基于視頻的人體運(yùn)動(dòng)跟蹤的過程通常用動(dòng)態(tài)系統(tǒng)模型來描述，主要包括狀態(tài)方程和觀測(cè)方程，如公式(1)、(2)所示。

其中x為系統(tǒng)狀態(tài)，y為測(cè)量值，f,h是狀態(tài)轉(zhuǎn)移函數(shù)和測(cè)量函數(shù)，v,w 為過程噪聲和測(cè)量噪聲，噪聲都是獨(dú)立同分布的。

從貝葉斯理論的觀點(diǎn)來看，狀態(tài)估計(jì)問題就是根據(jù)之前一系列的已有數(shù)據(jù)（后驗(yàn)知識(shí)）遞推的計(jì)算出當(dāng)前狀態(tài)的可信度。它需要通過預(yù)測(cè)和更新兩個(gè)步驟來遞推計(jì)算,如公式(3)、(4)所示。

貝葉斯后驗(yàn)概率計(jì)算公式中需要對(duì)積分進(jìn)行求解，為了解決公式中積分計(jì)算較難的問題，采用蒙特卡洛采樣計(jì)算后驗(yàn)概率。粒子濾波是基于蒙特卡羅思想的貝葉斯濾波算法，基本思想是用一組樣本來近似表示系統(tǒng)的后驗(yàn)概率分布，以樣本均值代替積分計(jì)算，從而獲得狀態(tài)的最小方差估計(jì)。假設(shè)可以從后驗(yàn)概率中采樣到N 個(gè)樣本，那么后驗(yàn)概率的計(jì)算可表示為公式(5)：

在粒子濾波器的執(zhí)行過程中，隨著時(shí)間的推移，會(huì)出現(xiàn)粒子權(quán)值退化現(xiàn)象，此現(xiàn)象一般采用粒子重采樣的方法復(fù)制高權(quán)重的粒子進(jìn)行解決。粒子重采樣的操作使得算法向粒子權(quán)重高的地方收斂，進(jìn)而得到目標(biāo)狀態(tài)的最優(yōu)估計(jì)。

2.2 基于預(yù)測(cè)模式識(shí)別的粒子濾波框架

在粒子濾波算法中，狀態(tài)方程的狀態(tài)轉(zhuǎn)移函數(shù)是唯一的(圖1(1)所示)，但在現(xiàn)實(shí)情況下，基于時(shí)間序列的運(yùn)動(dòng)形式不只有一種，并且狀態(tài)轉(zhuǎn)移函數(shù)也是不唯一的，這就需要算法有運(yùn)動(dòng)模型自適應(yīng)調(diào)整的能力。因此我們提出了一種基于運(yùn)動(dòng)模式識(shí)別的粒子濾波狀態(tài)估計(jì)方法（圖1(2)所示），即從原始的求解粒子濾波算法后驗(yàn)概率p(xt|y1:t)演變成求解p(xt,mt|y1:t)。對(duì)于人體運(yùn)動(dòng)跟蹤問題來說，我們需要根據(jù)前幾幀的位置來提取特征以此匹配當(dāng)前運(yùn)動(dòng)最合適的模式，然后再對(duì)粒子狀態(tài)進(jìn)行估計(jì)。這種方法是先識(shí)別運(yùn)動(dòng)模式，再通過匹配最大似然化的模式進(jìn)行狀態(tài)的估計(jì)。方法如下公式(7)表示，其中t 屬于時(shí)間序列的某個(gè)時(shí)間段。

圖1 (1) 狀態(tài)估計(jì)的粒子濾波時(shí)間序列(2) 聯(lián)合狀態(tài)估計(jì)與模式預(yù)測(cè)的粒子濾波時(shí)間序列

3 粒子濾波理論架構(gòu)

3.1 總體架構(gòu)

根據(jù)2.2 中提出的基于預(yù)測(cè)模式識(shí)別的粒子濾波理論，本文提出一種基于運(yùn)動(dòng)基識(shí)別的人體關(guān)節(jié)運(yùn)動(dòng)跟蹤粒子濾波估計(jì)方法。人體的關(guān)節(jié)結(jié)構(gòu)具有多維度特性，單對(duì)粒子進(jìn)行預(yù)測(cè)估計(jì)會(huì)產(chǎn)生粒子分散和消失現(xiàn)象，因此在粒子狀態(tài)預(yù)測(cè)階段，我們先對(duì)人體運(yùn)動(dòng)模式進(jìn)行識(shí)別，運(yùn)動(dòng)模式被定義為運(yùn)動(dòng)基，通過R(2+1)D 網(wǎng)絡(luò)識(shí)別運(yùn)動(dòng)基以獲得預(yù)測(cè)模型中初始粒子個(gè)數(shù)的概率分布。再通過提取運(yùn)動(dòng)基的關(guān)節(jié)軌跡模式特征，對(duì)過程中的粒子進(jìn)行行為空間的有效約束。在粒子狀態(tài)更新階段，我們采用顏色直方圖特征對(duì)預(yù)測(cè)過程中的粒子進(jìn)行修正，并對(duì)權(quán)值較小的粒子進(jìn)行重采樣。最后根據(jù)模式轉(zhuǎn)移矩陣和軌跡特征樣本的似然度來更新下一階段的運(yùn)動(dòng)類型和運(yùn)動(dòng)狀態(tài)估計(jì)。圖2所示為利用運(yùn)動(dòng)模式識(shí)別對(duì)粒子濾波進(jìn)行估計(jì)來實(shí)現(xiàn)人體運(yùn)動(dòng)狀態(tài)的跟蹤。

圖2 人體運(yùn)動(dòng)跟蹤與識(shí)別的整體框架

3.2 粒子狀態(tài)預(yù)測(cè)模塊

預(yù)測(cè)模型是影響關(guān)節(jié)運(yùn)動(dòng)準(zhǔn)確跟蹤的主要因素之一。在粒子濾波預(yù)測(cè)階段，我們需要對(duì)運(yùn)動(dòng)模式進(jìn)行識(shí)別來獲得粒子初始分布狀態(tài)，再利用提取的模式特征信息對(duì)行為空間進(jìn)行有效的約束，即從原始的求解粒子濾波算法p(xt|y1:t-1)演變成求解p(xt,mt|y1:t-1)。

3.2.1 基于運(yùn)動(dòng)基模型的預(yù)測(cè)模式空間構(gòu)建

對(duì)于人體而言，需要對(duì)運(yùn)動(dòng)方向的最大最小值來定義運(yùn)動(dòng)基開始和結(jié)束的人體動(dòng)作。人的肢體所能表達(dá)的動(dòng)作類型是無限的，但是這些動(dòng)作類型的實(shí)現(xiàn)都是基于平面運(yùn)動(dòng)方向的延伸。所以為簡(jiǎn)單起見，只考慮發(fā)生在二維空間的人體運(yùn)動(dòng)，如表1所示，根據(jù)權(quán)重大小分為四種類別，可劃分成10類運(yùn)動(dòng)基。

表1 運(yùn)動(dòng)基類型

3.2.2 運(yùn)動(dòng)基識(shí)別

在進(jìn)行粒子濾波算法的預(yù)測(cè)和更新過程之前需要先對(duì)粒子進(jìn)行初始化采樣。由于人體關(guān)節(jié)具有多個(gè)自由度并且每個(gè)自由度的關(guān)節(jié)點(diǎn)位置差異明顯，故需要通過運(yùn)動(dòng)基識(shí)別來獲取運(yùn)動(dòng)關(guān)節(jié)跟蹤的先驗(yàn)信息以保證粒子預(yù)測(cè)的有效性。因此我們需要在初始化的時(shí)候?qū)\(yùn)動(dòng)基先進(jìn)行一個(gè)有效的約束，通過識(shí)別運(yùn)動(dòng)基的概率來為運(yùn)動(dòng)模式分配對(duì)應(yīng)的粒子。我們采用R(2+1)D 網(wǎng)絡(luò)來實(shí)現(xiàn)運(yùn)動(dòng)基的識(shí)別，R(2+1)D 網(wǎng)絡(luò)在三維卷積網(wǎng)絡(luò)的基礎(chǔ)上增加了殘差模塊，可以更好地提取時(shí)空域的特征。如圖3 所示，R(2+1)D 網(wǎng)絡(luò)通過初始化五層殘差卷積并根據(jù)卷積層規(guī)格設(shè)置每層中的塊數(shù)，首層只包含一個(gè)卷積層，通過在空間軸上執(zhí)行2D 卷積到中間子空間，然后在時(shí)間軸上執(zhí)行1D 卷積來輸出；第二層輸出和第一層輸出大小相同不進(jìn)行下采樣，右側(cè)分支直接相加；最后三層在每一層的第一個(gè)block 進(jìn)行下采樣，這條主線部分增加了一次卷積（包括空間卷積和時(shí)間卷積），并通過執(zhí)行全局平均池化層來為批次中的每個(gè)元素生成512 維向量，形成整個(gè)殘差網(wǎng)絡(luò)特征提取器得到訓(xùn)練模型。最后通過輸入數(shù)據(jù)集的測(cè)試視頻到訓(xùn)練模型中，得到所識(shí)別出的概率分布。

圖3 R(2+1)D網(wǎng)絡(luò)結(jié)構(gòu)

3.2.3 關(guān)節(jié)運(yùn)動(dòng)軌跡模型

（1）人體骨架模型

本文挑選了14 個(gè)人體部位的關(guān)節(jié)點(diǎn)來表示二維人體骨架模型，旨在準(zhǔn)確地表示人體動(dòng)作。動(dòng)作實(shí)例就是由這14 個(gè)骨骼關(guān)節(jié)點(diǎn)的坐標(biāo)隨時(shí)間變化的序列組成，如圖4所示。

圖4 二維骨架運(yùn)動(dòng)模型

（2）關(guān)節(jié)運(yùn)動(dòng)位移信息

每個(gè)人的身高、胖瘦、形體各不相同，以至于在表征運(yùn)動(dòng)時(shí)的初始位置也不盡相同，不同的人表征相同動(dòng)作會(huì)有一定的差異性，故我們選用幀間關(guān)節(jié)點(diǎn)相對(duì)位移近似消除差異性來擬合關(guān)節(jié)的運(yùn)動(dòng)軌跡。

公式(8)定義第i 個(gè)關(guān)節(jié)在相鄰時(shí)刻的幀間位移向量：

第i 個(gè)關(guān)節(jié)在模式m 內(nèi)的幀間位移表示為公式（9）：

所以人體在單一模式內(nèi)的幀間位移表示如公式(10)，其中N=14：

（3）運(yùn)動(dòng)軌跡模型

在進(jìn)行不同類型運(yùn)動(dòng)的時(shí)候，人體的骨架姿勢(shì)與各關(guān)節(jié)位置都具有明顯的差異性。但在進(jìn)行相同類型運(yùn)動(dòng)的時(shí)候，不同的人的骨架姿勢(shì)及關(guān)節(jié)位置的變化是類似的。因而可以通過尋找每種運(yùn)動(dòng)類型的骨架關(guān)節(jié)運(yùn)動(dòng)變化和運(yùn)動(dòng)軌跡的規(guī)律，來對(duì)每類運(yùn)動(dòng)基建立運(yùn)動(dòng)模型。關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)軌跡是由該關(guān)節(jié)點(diǎn)不同時(shí)刻的位置向量構(gòu)成的序列，因此我們采用均值歸一化的位移向量序列描述關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)軌跡,如公式(11)所示：

根據(jù)得到的位移向量模板去擬合運(yùn)動(dòng)軌跡曲線模型，模式M共含有28條關(guān)節(jié)曲線，如公式(12)所示。Tri代表關(guān)節(jié)點(diǎn)i 的運(yùn)動(dòng)軌跡，I 代表自由度的數(shù)量，M=1,2...,10。

3.3 粒子狀態(tài)更新模塊

我們利用目標(biāo)的顏色直方圖特征表示觀測(cè)值，特征是由HSV三個(gè)顏色通道組成的110維子塊直方圖，量化bin為16:16:16。在更新過程中通過提取粒子觀測(cè)圖像所對(duì)應(yīng)的顏色直方圖特征，引入巴氏距離來計(jì)算特征直方圖分布與參考模型之間的相似度和粒子的權(quán)重信息，如果相似度大于0.7，則直接用本幀的圖像特征作為下一幀的初始參考圖像，否則則結(jié)合上一幀的圖像特征以及人體關(guān)節(jié)位移信息來當(dāng)作下一幀的初始位置。巴氏距離計(jì)算公式(13)、(14)如下:

其中ρ為兩直方圖的Bhattacharyya系數(shù)；p為候選目標(biāo)直方圖分布；q為模板直方圖分布；d為兩直方圖的Bhattacharyya距離，其值越小，表明兩直方圖的相似度越高；反之，兩直方圖相似度越低。

4 人體關(guān)節(jié)運(yùn)動(dòng)跟蹤實(shí)驗(yàn)

4.1 數(shù)據(jù)準(zhǔn)備

為了簡(jiǎn)化設(shè)計(jì)，假設(shè)人體運(yùn)動(dòng)技能序列是有限的，針對(duì)上述的運(yùn)動(dòng)基概念，我們構(gòu)建了一個(gè)新的數(shù)據(jù)集來完成跟蹤與識(shí)別實(shí)驗(yàn)。具體來說，我們采集了40個(gè)人在簡(jiǎn)單背景場(chǎng)景下的廣播體操視頻，視頻包含10類運(yùn)動(dòng)基，通過剪輯將視頻分為若干個(gè)運(yùn)動(dòng)基視頻，最后一共得到了4022個(gè)視頻，每個(gè)視頻的時(shí)間在2s左右，運(yùn)動(dòng)基序列如圖5所示。

圖5 運(yùn)動(dòng)基序列

4.2 運(yùn)動(dòng)跟蹤過程及實(shí)驗(yàn)結(jié)果

在跟蹤之前需要對(duì)粒子初始化，初始化在運(yùn)動(dòng)跟蹤過程中起著重要作用,它可以利用更多的先驗(yàn)信息去進(jìn)行跟蹤。首先需要分配預(yù)測(cè)模型中的粒子個(gè)數(shù)，我們對(duì)數(shù)據(jù)集進(jìn)行分類，通過環(huán)境配置、數(shù)據(jù)預(yù)處理等步驟之后將其輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，進(jìn)而得到識(shí)別結(jié)果的概率，圖6是識(shí)別每類運(yùn)動(dòng)基的平均準(zhǔn)確率。

圖6 R(2+1)D網(wǎng)絡(luò)識(shí)別的10類運(yùn)動(dòng)基準(zhǔn)確率

我們根據(jù)已知的前幾幀的數(shù)據(jù)和初始化的粒子可以匹配到有最大似然度的特征樣本，因此就可以根據(jù)預(yù)測(cè)模型里的運(yùn)動(dòng)軌跡模型得到此刻運(yùn)動(dòng)基的模式特征軌跡，由此對(duì)運(yùn)動(dòng)基的行為空間進(jìn)行約束，使粒子能夠在可見的范圍內(nèi)采樣。人體模型的大小和初始化姿勢(shì)可以固定為先驗(yàn)信息，圖7是具體運(yùn)動(dòng)基的運(yùn)動(dòng)軌跡模型。

圖7 根據(jù)位移矢量模板擬合成運(yùn)動(dòng)軌跡曲線模型

粒子在跟蹤過程中會(huì)因權(quán)重方差越來越大導(dǎo)致退化現(xiàn)象，因此我們需要對(duì)粒子進(jìn)行重采樣，首先判斷是否需要重采樣，若需要?jiǎng)t再判斷粒子權(quán)值是否低于重采樣的閾值，重采樣過程中總的粒子數(shù)保持不變。我們對(duì)所建立的運(yùn)動(dòng)基數(shù)據(jù)庫中的測(cè)試視頻進(jìn)行運(yùn)動(dòng)跟蹤實(shí)驗(yàn)，跟蹤結(jié)果如圖8和圖9所示。

圖8 不同的人在相同運(yùn)動(dòng)序列下的關(guān)節(jié)點(diǎn)跟蹤

圖9 同一個(gè)人在不同運(yùn)動(dòng)序列下的關(guān)節(jié)點(diǎn)跟蹤

4.3 運(yùn)動(dòng)結(jié)果評(píng)估

為了更加準(zhǔn)確地體現(xiàn)改進(jìn)算法的跟蹤結(jié)果，本文采用人體運(yùn)動(dòng)跟蹤平均誤差率對(duì)算法性能進(jìn)行對(duì)比分析。利用相同的實(shí)驗(yàn)平臺(tái)環(huán)境，粒子數(shù)為100。圖10是將改進(jìn)的粒子濾波器與傳統(tǒng)粒子濾波器進(jìn)行對(duì)比，可以看出隨著時(shí)間的增加傳統(tǒng)粒子濾波器的誤差越來越大，且不能較好的適應(yīng)運(yùn)動(dòng)模型的變化。圖11是將我們的方法和深度學(xué)習(xí)的方法進(jìn)行比較，在第40，80，117幀時(shí)深度學(xué)習(xí)表現(xiàn)出較大的誤差，具體表現(xiàn)在第40幀的圖像中，實(shí)驗(yàn)者正在進(jìn)行蹲下這個(gè)行為動(dòng)作，但由于鎖骨關(guān)節(jié)被頭部所遮擋，導(dǎo)致鎖骨以上部位均未識(shí)別成功；在第80幀的圖像中，人體的各個(gè)關(guān)節(jié)距離較近且存在遮擋，造成關(guān)節(jié)點(diǎn)連接絮亂，左膝蓋與左手腕直接相連。因此深度學(xué)習(xí)所存在誤差具體表現(xiàn)為關(guān)節(jié)無法跟蹤或者跟蹤的關(guān)節(jié)點(diǎn)的位置會(huì)出現(xiàn)嚴(yán)重偏差而使得平均誤差變大。

圖10 提出的方法與傳統(tǒng)粒子濾波器的平均誤差比較

在預(yù)測(cè)過程中，我們?cè)谶\(yùn)動(dòng)狀態(tài)不確實(shí)的情況下利用運(yùn)動(dòng)基識(shí)別和關(guān)節(jié)模式特征來有效的約束粒子的采樣，從而在更新過程中得到的粒子平均權(quán)重均比深度學(xué)習(xí)以及傳統(tǒng)粒子濾波器的平均權(quán)重高。由此可知我們提出的算法在跟蹤以及關(guān)節(jié)遮擋方面具有較低的誤差，并且在處理遮擋問題的情況時(shí)會(huì)表現(xiàn)出明顯的優(yōu)勢(shì)。從圖11中也可以看出深度學(xué)習(xí)在出現(xiàn)關(guān)節(jié)遮擋的時(shí)候，如第80幀，之后的8幀都會(huì)存在一定誤差，隨時(shí)間增加誤差會(huì)逐漸降低；但我們的算法中預(yù)測(cè)模型克服了誤差積累的弱點(diǎn)，在出現(xiàn)誤差的情況下也能夠較快的適應(yīng)運(yùn)動(dòng)的變化，提高跟蹤過程的穩(wěn)定性。

圖11 提出的方法與深度學(xué)習(xí)點(diǎn)對(duì)點(diǎn)跟蹤方法的平均誤差比較

5 結(jié)論

本文提出一種基于強(qiáng)約束預(yù)測(cè)模型的關(guān)節(jié)運(yùn)動(dòng)跟蹤粒子濾波架構(gòu)，使用運(yùn)動(dòng)基定義行為運(yùn)動(dòng)空間，然后在運(yùn)動(dòng)空間中進(jìn)行運(yùn)動(dòng)基的識(shí)別，通過對(duì)預(yù)測(cè)模型中的運(yùn)動(dòng)基識(shí)別得到先驗(yàn)概率分布來約束粒子的采樣，并在預(yù)測(cè)階段利用模式軌跡特征約束人體運(yùn)動(dòng)，使其達(dá)到有效跟蹤。本文提出的方法能夠魯棒的適應(yīng)運(yùn)動(dòng)變化以及人體遮擋等跟蹤問題，并且在跟蹤性能和識(shí)別效果方面優(yōu)于傳統(tǒng)的粒子濾波算法以及點(diǎn)對(duì)點(diǎn)跟蹤的深度學(xué)習(xí)方法。但是本文的算法適用于單人動(dòng)作，多人交互運(yùn)動(dòng)時(shí)模型之間會(huì)存在影響，需要進(jìn)一步改進(jìn)。