胡 帥, 華焦寶, 顧英雙, 崔震宇

（1. 中國船舶重工集團公司第七二六研究所， 上海 201108；2. 上海博物館， 上海 200003）

復(fù)雜場景下目標跟蹤方法研究

胡 帥1, 華焦寶2, 顧英雙1, 崔震宇2

（1. 中國船舶重工集團公司第七二六研究所， 上海 201108；2. 上海博物館， 上海 200003）

在采用背景減除法提取運動目標的基礎(chǔ)上，利用人體的方向梯度直方圖HOG特征，采用線性支持向量機SVM分類器，檢測出人體區(qū)域。采用粒子濾波方法，進行人體跟蹤，研究遮擋問題。針對長時間遮擋問題進行分析，對方向梯度直方圖HOG特征結(jié)合粒子濾波的方法進行改進。通過可信度，來判斷當(dāng)前跟蹤人體，決定是否進行目標關(guān)聯(lián)，從而提高人體被遮擋情況下跟蹤的準確性。

復(fù)雜場景；目標跟蹤；粒子濾波；梯度方向直方圖；人體檢測；顏色直方圖

0 引言

人體檢測與跟蹤技術(shù)是視頻圖像處理過程中研究熱點，其中人體跟蹤建立在人體檢測的基礎(chǔ)上，由于跟蹤耗時比檢測耗時短，所以在跟蹤技術(shù)越來發(fā)揮成為研究的熱點。

楊戈與劉宏等提出多線索融合算法進行目標跟蹤，該算法采用自適應(yīng)MeanShift結(jié)合目標顏色特征，同時通過幀間差分來進行目標預(yù)測，該算法在部分遮擋情況下，表現(xiàn)出了良好的性能[7]。Min Li等提出采用HOG特征進行人體檢測，并采用粒子濾波的方法采用此HOG特征中頭肩的?形狀特征進行人體跟蹤[8]。此方法在背景復(fù)雜及目標部分遮擋上取得了好的效果。park等采用分水嶺分割的方法得到人體輪廓，可以在人體被部分遮擋下進行跟蹤，但處理速度較慢[9]。Kass等提出 Snake模型[10]通過能量函數(shù)，動態(tài)調(diào)整自身形狀，使其與目標輪廓保持一致。由于其對初始輪廓進行跟蹤，對于運動物體的快速變化的情況，不能有效進行跟蹤。杜小麗提出一種基于貝葉斯估計的增強粒子濾波的跟蹤算法來實現(xiàn)單攝像機下的人體跟蹤，取得了好的效果[11]。李文輝等人提出一種基于均值偏移粒子濾波的自適應(yīng)跟蹤算法[12]。實驗證明，在出現(xiàn)遮擋或人體運動方向改變的情況下，該算法比傳統(tǒng)均值偏移粒子濾波方法要好。

但簡單場景下的人體跟蹤已經(jīng)研究比較成熟，對于光照不均勻，人體遮擋的復(fù)雜場景，跟蹤技術(shù)有待提升。從解決復(fù)雜場景下長時間遮擋問題的角度出發(fā)，在HOG人體檢測技術(shù)的基礎(chǔ)上，結(jié)合粒子濾波的跟蹤方法進行人體跟蹤。

1 基于HOG特征的人體檢測方法

基于梯度方向直方圖（Histograms of Oriented Gradients，簡稱為HOG）的人體檢測算法由法國Dalal和 Triggs對人體檢測分析得出[1]。由于衣服顏色信息的不穩(wěn)定性，其通過圖像中人體邊緣信息作為表達人體的穩(wěn)定特征，并訓(xùn)練基于此特征（HOG特征）的線性SVM人體分類器，進行人體檢測。此方法由于要窮舉檢測窗口，比較耗時，受到快速人臉檢測思想（采用積分圖快速計算 Haar特征）的影響[2]，F(xiàn).Porikli等提出快速計算HOG特征的方法[3]。其思想是引用積分直方圖進行特征提取過程的加速。通過區(qū)域和表示積分圖，也就是每個像素點（x,y）處所對應(yīng)的左上方的所有像素點處的值，用公式表達如下：

其中，Sum(x,y)表示像素點(x,y)處的積分圖。在實際應(yīng)用中,Sum(x,y)的獲取通過增量的方式計算得到：

同時上式滿足：

實現(xiàn)圖像積分圖的計算時，只需要遍歷圖像一次，即可完成。如果需要計算cell內(nèi)某方向（40~60度）的特征值，只需要找到按cell四個坐標位置（F、E、C、D）積分圖，利用val=F+C-D-E的值來求此cell方向特征值即可。而在計算block的值時，不受block大小影響，僅需要訪問四次積分圖就可以完成特征的計算。

2 基于粒子濾波的HOG人體跟蹤方法

粒子濾波（Particle Filter），簡稱PF，是一種基于蒙特卡羅來近似模擬貝葉斯濾波的一種方法，通過一組帶權(quán)值的粒子，來預(yù)測運動目標的位置。粒子濾波變種非常多，常見的有Isard等提出的條件密度傳播方法[4]，簡稱為 CONDENSATION算法（Conditional Density Propagation），Unscented Particle Filtering[5]等。其中，貝葉斯概率框架、序列重要性采樣和重采樣是粒子濾波研究的重要組成部分。

2.1 基于粒子濾波的人體跟蹤

考慮到人體運動過程中速度及加速度等因素，應(yīng)采取高階自回歸過程（Auto-Regressive Process）動力學(xué)模型，本文采用二階ARP模型：

其中，系數(shù)A、B、C、D，是四個常數(shù)，即運動模型的確定性分量，D為偏移向量，其它三個為系數(shù)矩陣，可以通過樣本訓(xùn)練得到，wt為t時刻標準正態(tài)隨機向量，xt為t時刻人體狀態(tài)向量，包含當(dāng)前區(qū)域中心的坐標、區(qū)域面積的高度及寬度。通過t-1、t-2時刻的狀態(tài)向量來預(yù)測t時刻的狀態(tài)向量。

在人體跟蹤過程中，主要是計算候選區(qū)域與目標模板的相似度，具體的說就是用當(dāng)前候選預(yù)測的粒子集的各個人體區(qū)域與上一時刻得到的人體跟蹤區(qū)域，通過比較兩者的加權(quán)顏色直方圖，進而得到候選區(qū)域與跟蹤人體的相似度。相似度的計算過程如下：

首先，得到匹配雙方顏色直方圖，顏色直方圖指將目標區(qū)域的顏色空間分割成若干個小的顏色空間，每個小區(qū)域構(gòu)成直方圖的 bin，如取分割區(qū)域個數(shù)m，已知目標候選矩形區(qū)域的狀態(tài)向量為x，為了使運動目標的顏色模型更加準確，對于顏色直方圖進行加權(quán)處理，使距離目標中心點較遠的區(qū)域的像素權(quán)值小，較近區(qū)域的像素的權(quán)值大，這樣權(quán)值小的區(qū)域?qū)τ诮⒅狈綀D起的作用較小，這樣就降低背景像素的顏色直方圖分布。權(quán)值函數(shù)為：

其中，r為某點到中心點的距離。假設(shè)觀測的矩形區(qū)域的長半軸（高度一半）為H，短半軸（寬度一半）為W。那么候選矩形區(qū)域的顏色概率分布為：

綜上所述，在臨床上對糖尿病患者進行生化檢驗方法進行診斷，其效果較好，并在一定程度上提升了臨床檢驗結(jié)果的有效率，為醫(yī)生后期對病患進行臨床治療提供有效準確的數(shù)據(jù)支持，值得在臨床上進行廣泛的應(yīng)用和推廣。

δ表示狄拉克δ函數(shù)（Dirac Delta function），它是指除了零以外的點都等于零，在整個定義域上積分為1，定義如下：

目標矩形區(qū)域的顏色概率分布：

計算結(jié)果為：

歸一化常數(shù)C的表達方式為：

然后，計算候選區(qū)域與人體圖像的相似度。這里需要一個相似度函數(shù)來表示候選區(qū)域與目標區(qū)域的相似程度，從而計算候選區(qū)域 x的似然。這里采用Bhattacharyya系數(shù)：表示m維向量夾角的余弦值，來表示候選區(qū)域與人體圖像兩者之間相似度。其定義如下：

然后，完成粒子權(quán)值的更新。對更新的t時刻粒子的權(quán)值歸一化，方法如下：

上式中，tu>1時，運動目標特征u被部分遮擋，tu=-1時，運動目標特征u被全部遮擋。令

當(dāng)occ>，ξ∈ (0,1)則認為出現(xiàn)遮擋。人體跟蹤過程中就是通過遮擋因子來進行判斷的。

上述通過加權(quán)顏色直方圖的粒子濾波方法，可以完成人體的跟蹤，但當(dāng)背景復(fù)雜時，背景顏色分布與人體顏色分布相近時，或者當(dāng)人體被其它運動物體遮擋時，容易造成跟蹤失敗。尤其是人體被長時間遮擋的情況下，跟蹤效果更差。

2.2 基于粒子濾波結(jié)合HOG特征的人體跟蹤

根據(jù)遮擋因子判斷當(dāng)前跟蹤目標是否出現(xiàn)遮擋，如果沒有，繼續(xù)用粒子濾波方法進行粒子更新進行目標跟蹤。如果在t時刻出現(xiàn)遮擋，則擴展當(dāng)前目標模板的預(yù)測區(qū)域大小，形成新的觀測區(qū)域R[6]。

預(yù)測區(qū)域的變大，需要改變粒子數(shù)大小，在未出現(xiàn)遮擋時，采用 90個粒子即可完成目標的預(yù)測跟蹤；區(qū)域擴大后，采用均勻分布重新分配 230個粒子觀測區(qū)域R范圍內(nèi)。這里是重新分配的粒子，而不是在上一時刻的粒子數(shù)基礎(chǔ)上，增加剩余粒子，這樣做得好處會使粒子分布更加均勻，遮擋發(fā)生后，下一時刻的目標模板即為權(quán)值最大的候選區(qū)域，而不是粒子狀態(tài)向量的均值（由于是遮擋情況下，所以粒子較非遮擋情況的粒子誤差較大，選擇似然值大的粒子作為目標模板效果較好），只有在沒有遮擋的情況下才采用均值來作為估計結(jié)果。假如運動目標離開遮擋區(qū)域，采用粒子濾波方法，粒子數(shù)范圍回到90個大小，同時目標模板求解用均值方法得到。這樣就完成了短時間遮擋情況下問題的處理，但對于長時間遮擋的問題，通過此基礎(chǔ)上加入HOG特征來解決。具體思路如下：

當(dāng)采用遮擋因子在時刻t判斷出目標出現(xiàn)遮擋時，此時目標模板為 ，采用傳統(tǒng)粒子濾波的方法來解決遮擋，即增大粒子數(shù)范圍，來捕捉目標模板，在此過程處理時，加入可信度 來進行判斷，即通過保留t-1時刻未出現(xiàn)遮擋時的目標模板，得到候選區(qū)域狀態(tài)向量與目標模板的似然函數(shù)值，即相似度，作為目標模板的可信度，選出新粒子集中最大者，若其高于 ，則認為為遮擋后預(yù)測正確的目標模板，也就是上述傳統(tǒng)PF跟蹤過程。這里讓的取值為0.6。否則認為粒子濾波跟蹤失效，取消粒子濾波的跟蹤預(yù)測過程，采用HOG特征用于人體檢測的方法，在遮擋范圍R進行人體檢測，并判斷檢測人體狀態(tài)向量區(qū)域的人體相似度，選出人體狀態(tài)向量最大者且高于 者，認為是跟蹤的目標人體，進行目標關(guān)聯(lián)，并以此作為新的目標模板，繼續(xù)采用粒子濾波的方法進行人體跟蹤。若低于 ，則繼續(xù)采用HOG特征人體檢測，如果在時間t內(nèi)一直沒有檢測到，則認為此目標已經(jīng)離開視頻區(qū)域，取消HOG特征的人體檢測。若在時間t內(nèi)檢測到人體且高于 ，認為是跟蹤的目標人體，進行目標關(guān)聯(lián)，并以此作為新的目標模板。

3 實驗結(jié)果分析

粒子濾波進行跟蹤已經(jīng)在復(fù)雜環(huán)境下取得好的效果，但對于遮擋情況下的跟蹤還有待改進之處。本文結(jié)合粒子濾波方法，進行遮擋人體的跟蹤，在短時間遮擋情況下，通過擴大候選區(qū)域，增加粒子數(shù)來進行目標跟蹤，能取得不錯的效果，但對于長時間遮擋，效果不太好。

下面是長時間遮擋情況下，采用方法一（傳統(tǒng)粒子濾波的方法）進行跟蹤的效果圖，可以看到在圖 1（c）、圖1（d）中長時間發(fā)生遮擋的情況下，目標跟蹤丟失，預(yù)測區(qū)域從衣服紅色的人體轉(zhuǎn)到衣服黑色的人體，在長時間遮擋后，此時若進行跟蹤時，將跟蹤圖1（c）、圖1（d）中衣服為黑色的人體，造成人體跟蹤失敗。采用本文的基于粒子濾波的HOG特征的目標跟蹤的改進算法后，如圖1（e）、圖1（f）所示，發(fā)現(xiàn)能正確跟蹤紅色衣服人體。

圖1 長時間遮擋實驗結(jié)果圖

長時間遮擋時效果圖中的圖1（a）是遮擋前第10幀跟蹤效果，選定紅色衣服的人體作為跟蹤目標；圖1（b）為發(fā)生遮擋時第 20幀的跟蹤效果，跟蹤紅色人體目標與黑色人體目標發(fā)生遮擋；圖 1（c）為采用方法一預(yù)測的目標區(qū)域，此時圖像幀為第23幀，跟蹤由紅色衣服的人體目標變成錯誤跟蹤黑色衣服的人體目標，從此時起將經(jīng)過約三秒鐘的長時間遮擋。圖1（d）為用方法一在兩人分開后，第 71幀預(yù)測的目標區(qū)域，跟蹤目標依然為黑色人體。圖 1（e）為用方法二，即改進算法預(yù)測的目標區(qū)域，此時圖像幀為第69幀，跟蹤目標為紅色人體。圖 1（f）仍舊為方法二，即改進算法預(yù)測的目標區(qū)域，此時圖像幀為第90幀，此時跟蹤目標依然為紅色人體。

從圖 1實驗結(jié)果圖中，可以看出，采用方法一不能解決長時間遮擋，而采用方法二，即通過基于粒子濾波的HOG特征的跟蹤算法，可以很好的解決長時間目標遮擋的問題，并能正確跟蹤非遮擋人體。對于復(fù)雜場景下步態(tài)識別研究提供了技術(shù)支持。并且通過比較處理遮擋問題的算法的準確性分析，通過表 1中可以看出，MeanShift結(jié)合粒子濾波的跟蹤方法的跟蹤準確性低于本文方法的跟蹤準確性。在復(fù)雜場景，處理遮擋問題的跟蹤算法中，本方法在跟蹤準確性是比較優(yōu)秀的。

表1 遮擋人體跟蹤方法的準確性對比

4 結(jié)論

主要研究了粒子濾波的跟蹤方法，采用序列重要性采樣的方法進行粒子采樣，并采用樣本重采樣的方法處理粒子退化現(xiàn)象。對于長時間遮擋的問題，提出了基于粒子濾波的 HOG特征方法來解決人體跟蹤中長時間遮擋的問題，其中通過采用可信度 來判斷檢測人體是否是要跟蹤的物體，進而進行跟蹤目標的人體關(guān)聯(lián)。實驗表明，基于粒子濾波的HOG特征方法，可以有效解決長時間遮擋下人體跟蹤問題。通過實驗對比，也表明此方法在跟蹤準確性上優(yōu)于傳統(tǒng)的MeanShift結(jié)合粒子濾波的方法。對于復(fù)雜場景中人體跟蹤，提供了可靠的解決方法。

[1] DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[J]. CVPR, 2005:886-893.

[2] VIOLA P, JONES M, "Rapid object detection using a boosted cascade of simple features"[J]. Proc. of International Conference on Computer Vision and Pattern Recognition, 2001(l): 511-518.

[3] F. Porikli, "Integral histogram: A fast way to extract histograms in Cartesian spaces"[J]. CVPR, 2005.

[4] M. Isard, A. Blake. Condensation-conditional density Propagation for visual tracking[J]. International Journal of Computer Vision, 1998, 29(1): 5-28.

[5] R. Merwe, A. Doucet, N. Freitas, E. Wan. The Unscented Particle Filter[J]. Advances in Neural Information Processing Systems, MIT Press, 2000.

[6] 朱然. 基于粒子濾波的行人跟蹤與性能分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 黑龍江: 哈爾濱工業(yè)大學(xué)碩士學(xué)位論文, 2011: 25-31.

[7] 楊戈, 劉宏. 面向人體運動視覺跟蹤的多線索融合算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2009,21(10): 1495-1499.

[8] LI Min, ZHANG Zhao-xiang, HUANG Kai-qi, et al..Rapid and robust human detection and tracking based on Omega-shape features[C]. 16th IEEE International Conference on Image Processing, 2008:2545-2548.

[9] Park S, Lim S, Sin B, et al.. Tracking non-rigid objects using probabilistic Hausdorff distance matching[J]. Pattern Recognition, 2005, 38(12):2373-2384.

[10] KASS M, WITKIN A, TERZOPOULS D. Snake.active contour models[J]. Proceeding of International Journal of Computer Vision, 1987, 1(4): 321-331.

[11] 杜小麗. 單攝像機中人體檢測與跟蹤算法研究[D].浙江: 浙江大學(xué)碩士學(xué)位論文, 2011: 23-39.

[12] 李文輝, 周強, 王瑩, 張德才. 基于均值偏移粒子濾波的自適應(yīng)跟蹤[J]. 吉林: 吉林大學(xué)學(xué)報（工學(xué)版）, 2012, 42(2): 407-411.

Research on Human Tracking in Complex Scenes

HU Shuai1, HUA Jiao-bao2, GU Ying-shuang1, CUI Zhen-yu2
(1. No. 726 Research Institute of China Shipbuilding Industry Corporation, Shanghai 201108, China; 2. Shanghai Museum, Shanghai 200003, China)

Based upon the background subtraction method to extract a moving target, the human area is detected by using human feature for histogram of orientation gradient (HOG)and a linear support vector machine (SVM)classifier. The method of particle filter is used to track human and to research occlusion problem. By analyzing the problem of a long occlusion, the histogram of orientation gradient (HOG)feature combined with the particle filtering method has been improved. The current tracking human target is judged by credibility. It is decided whether to carry out the goals associating. The accuracy of tracking is improved.

complex scenes; human tracking; particle filter; histogram of oriented gradient ;human detection;color histogram;

TP391.413

A

胡帥（1984-），男，碩士研究生。研究方向：計算機數(shù)字圖像處理。