張寶峰，趙建平，朱均超

（天津理工大學(xué) 自動(dòng)化學(xué)院 天津市復(fù)雜系統(tǒng)控制理論及應(yīng)用重點(diǎn)實(shí)驗(yàn)室，天津 300384）

視頻跟蹤[1]是指對(duì)視頻幀圖像序列中所有動(dòng)態(tài)目標(biāo)進(jìn)行運(yùn)動(dòng)檢測(cè)、特征提取與匹配和跟蹤，獲得目標(biāo)運(yùn)行參數(shù)，如目標(biāo)質(zhì)心位置、速度、加速度以及運(yùn)動(dòng)路線等。視頻跟蹤為下一步圖像處理與分析、運(yùn)動(dòng)目標(biāo)行為理解奠定了基礎(chǔ)。多運(yùn)動(dòng)目標(biāo)跟蹤是指在相同的時(shí)刻對(duì)多個(gè)運(yùn)動(dòng)目標(biāo)進(jìn)行判斷、相似度匹配和跟蹤，其關(guān)鍵是目標(biāo)模型和背景環(huán)境模型的建立、待跟蹤目標(biāo)的判定和對(duì)遮擋問題的處理。視頻跟蹤技術(shù)在民宅安防、倉庫安全、智能交通監(jiān)控和導(dǎo)彈航跡等方面具有廣泛的應(yīng)用[2]。

目前，對(duì)室內(nèi)靜態(tài)背景下常用的跟蹤方法是基于顏色特征的運(yùn)動(dòng)目標(biāo)跟蹤方法。然而，由于背景和目標(biāo)易受顏色相似性的干擾，且人是一個(gè)非剛性運(yùn)動(dòng)物體，活動(dòng)具有靈活自主性，實(shí)時(shí)跟蹤這個(gè)運(yùn)動(dòng)對(duì)象是很困難的，尤其是當(dāng)其發(fā)生形變或被嚴(yán)重遮擋時(shí)。本文對(duì)運(yùn)動(dòng)目標(biāo)跟蹤主要分為遮擋和不遮擋兩種趨勢(shì)進(jìn)行研究，通過對(duì)兩種趨勢(shì)算法的研究，將基于特征和基于區(qū)域的運(yùn)動(dòng)目標(biāo)跟蹤方法混合進(jìn)行計(jì)算。經(jīng)過實(shí)驗(yàn)驗(yàn)證，這種混合算法可以達(dá)到多運(yùn)動(dòng)目標(biāo)跟蹤快速性、準(zhǔn)確性和實(shí)時(shí)性的要求。

1 無遮擋時(shí)多目標(biāo)跟蹤算法

對(duì)視頻序列幀圖像內(nèi)的多個(gè)目標(biāo)進(jìn)行跟蹤的算法有很多種，目前常用的算法有Kalman濾波算法[3]、基于均值偏移的 Meanshift算法[4]、Camshift算法[5]和粒子濾波算法[6]等。Kalman濾波算法是一個(gè)帶回饋估計(jì)的方法，由濾波器先作出與之相適應(yīng)的估計(jì)，然后以含有噪聲的測(cè)量信息進(jìn)行反饋。它適合于高斯分布的線性、正態(tài)系統(tǒng)狀態(tài)的預(yù)測(cè)估計(jì)，不適合具有隨意運(yùn)動(dòng)性的人體目標(biāo)的跟蹤。Camshift算法是改進(jìn)的Meanshift算法，它的搜索框可以自由變換，此外，它與粒子濾波算法一樣是基于概率統(tǒng)計(jì)的方法，需要迭代求解。Camshift算法一般情況下是根據(jù)目標(biāo)顏色特征信息進(jìn)行跟蹤，由于跟蹤特征單一，因此極易發(fā)生漂移現(xiàn)像，但是它的跟蹤速度快，尤其對(duì)沒有遮擋情況下的運(yùn)動(dòng)目標(biāo)可以快速準(zhǔn)確地進(jìn)行跟蹤。因此，通過Camshift算法可以對(duì)發(fā)生遮擋前待跟蹤目標(biāo)的運(yùn)動(dòng)區(qū)域進(jìn)行提取，并在此基礎(chǔ)上對(duì)待跟蹤目標(biāo)是否會(huì)發(fā)生遮擋進(jìn)行及時(shí)預(yù)測(cè)。若遮擋不存在，則需要通過基于顏色直方圖和分塊的方法分別對(duì)目標(biāo)的灰度特征進(jìn)行提取，并對(duì)最近提取的m幀圖像灰度特征信息進(jìn)行保存；反之，則需進(jìn)入遮擋處理過程[7]。無遮擋處理流程框圖如圖1所示。

圖1 無遮擋處理流程框圖

2 區(qū)域相應(yīng)與特征匹配相結(jié)合的跟蹤方法

基于區(qū)域的運(yùn)動(dòng)目標(biāo)跟蹤方法[8]是指：首先把圖像分為不同的小區(qū)域塊，然后對(duì)各個(gè)小區(qū)域塊采用高斯分布建立它們的目標(biāo)模型和背景模型，最后將屬于待跟蹤目標(biāo)的像素劃分為一些與背景不同的小區(qū)域塊，通過跟蹤包含目標(biāo)的小區(qū)域塊完成整個(gè)待定目標(biāo)的跟蹤。由于人體運(yùn)動(dòng)目標(biāo)在慢速運(yùn)動(dòng)時(shí)各幀之間的位移通常很小，因此可以在目標(biāo)當(dāng)前幀所處地點(diǎn)的小鄰域內(nèi)尋找是否有除待跟蹤目標(biāo)外運(yùn)動(dòng)物體的對(duì)應(yīng)像素，如果有，則表明目標(biāo)有遮擋的趨勢(shì)?；趨^(qū)域相應(yīng)跟蹤算法只能判定目標(biāo)是否存在遮擋，并不能解決遮擋問題?；谔卣鞯倪\(yùn)動(dòng)目標(biāo)跟蹤是指通過提取一些可以比較明顯地表示待跟蹤目標(biāo)信息的特征描述運(yùn)動(dòng)目標(biāo)，運(yùn)用特征匹配方法實(shí)現(xiàn)對(duì)視頻圖像中多運(yùn)動(dòng)目標(biāo)的跟蹤。通常情況下，可以用顏色、邊緣、紋理、有明顯標(biāo)記區(qū)域?qū)?yīng)的點(diǎn)、線、曲線等特征描述運(yùn)動(dòng)目標(biāo)，再通過目標(biāo)區(qū)域與候選區(qū)域進(jìn)行特征相似度匹配，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤。目前，最常用的基于特征的跟蹤方法是顏色直方圖法，對(duì)顏色直方圖的提取可以采用二階直方圖或加權(quán)顏色直方圖。當(dāng)目標(biāo)顏色與背景顏色相似度很大時(shí)，基于顏色直方圖特征的跟蹤方法會(huì)導(dǎo)致錯(cuò)誤跟蹤。本文將區(qū)域相應(yīng)和顏色特征匹配相結(jié)合，對(duì)多運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，將室內(nèi)靜態(tài)背景中的待跟蹤目標(biāo)分為進(jìn)入室內(nèi)、離開室內(nèi)、合并、分離和正常5種運(yùn)動(dòng)狀態(tài)。首先，需要對(duì)輸入視頻序列的各幀圖像進(jìn)行圖像預(yù)處理，預(yù)處理的關(guān)鍵是對(duì)目標(biāo)區(qū)域進(jìn)行分塊，得到運(yùn)動(dòng)目標(biāo)；然后，利用區(qū)域相應(yīng)法判別目標(biāo)處于哪種狀況；最后，當(dāng)目標(biāo)處于分離狀況時(shí)，采用基于顏色直方圖的特征提取方法，利用基于余弦匹配進(jìn)行顏色相似度計(jì)算，從而再次跟蹤運(yùn)動(dòng)目標(biāo)。圖2所示為存在遮擋時(shí)跟蹤算法框圖。

圖2 存在遮擋時(shí)跟蹤算法框圖

2.1 對(duì)輸入視頻圖像預(yù)處理

視頻圖像預(yù)處理主要是采用基于分塊的方法將表示目標(biāo)區(qū)域的視頻幀圖像分割成若干個(gè)均勻一致的小方塊，假設(shè)各小方塊的寬度都是M個(gè)像素，若分割得到的小方塊內(nèi)像素個(gè)數(shù)與待跟蹤目標(biāo)重合的像素個(gè)數(shù)少于一半或更多，則剔除這樣的小方塊。通常情況下，對(duì)目標(biāo)分塊后要求小方塊個(gè)數(shù)大于10，考慮到人體目標(biāo)在行進(jìn)過程中姿勢(shì)、形態(tài)或體積可能發(fā)生變化，因此需要應(yīng)自動(dòng)調(diào)整跟蹤時(shí)小方塊寬度的大小。調(diào)整方法為：

其中，s為目標(biāo)區(qū)域包含的像素個(gè)數(shù)。

2.2 基于區(qū)域的跟蹤

經(jīng)過圖像預(yù)處理，各個(gè)運(yùn)動(dòng)目標(biāo)塊在空間中所處的具體位置已經(jīng)明確，假設(shè)視頻幀率為30 f/s，則相鄰兩幀圖像間隔小于33.4 ms。對(duì)于室內(nèi)環(huán)境下運(yùn)動(dòng)的人體目標(biāo)，相鄰兩幀空間范圍上位置變化很小。所以只要第i幀與第i+1幀目標(biāo)塊有重合的部分，就可以判定前后兩幀中運(yùn)動(dòng)目標(biāo)屬于同一目標(biāo)?？赡艹霈F(xiàn)以下5種情形：

（1）合并事件：第 i幀上的兩個(gè)或兩個(gè)以上目標(biāo)塊同時(shí)與第i+1幀上的一個(gè)目標(biāo)塊在位置上重合。

（2）分離事件：第 i幀上的一個(gè)目標(biāo)塊同時(shí)與第 i+1幀上的兩個(gè)或兩個(gè)以上目標(biāo)塊重合。

（3）進(jìn)人室內(nèi)：第i+1幀上的目標(biāo)塊在第i幀上沒有一個(gè)目標(biāo)塊與其在位置上有重合，可判斷目標(biāo)在第i+1幀進(jìn)人室內(nèi)。

（4）離開室內(nèi)：第i幀上的目標(biāo)塊在第i+1幀上找不到一個(gè)目標(biāo)塊與其在位置上有重合，可判斷目標(biāo)在第i+1幀離開室內(nèi)。

（5）正常：第i幀上的一個(gè)目標(biāo)塊與第i+1幀上的一個(gè)目標(biāo)塊在位置上有重合區(qū)域，判斷它們屬于同一運(yùn)動(dòng)目標(biāo)。

從上面的分析可以看出，區(qū)域相應(yīng)法可以對(duì)目標(biāo)進(jìn)入室內(nèi)、離開室內(nèi)、一般情況和合并事件進(jìn)行直接判定，但是對(duì)于分離后的目標(biāo)還需要采用顏色特征描述對(duì)其加以區(qū)分，因?yàn)楦鱾€(gè)目標(biāo)的顏色分布不同。首先需要建立目標(biāo)顏色直方圖模型，然后按照一定的相似度匹配準(zhǔn)則對(duì)目標(biāo)進(jìn)行再次跟蹤判定。

2.3 遮擋時(shí)的處理

如果當(dāng)前幀為第i幀并已進(jìn)入遮擋處理過程，利用人體運(yùn)動(dòng)目標(biāo)慢速移動(dòng)時(shí)幀間位移較小的特點(diǎn)，重新對(duì)待跟蹤目標(biāo)做一個(gè)比上一幀大一點(diǎn)的搜索框。利用分塊方法將新搜索框內(nèi)的目標(biāo)區(qū)域分成寬度為M的若干子塊，并將子塊轉(zhuǎn)化成向量的形式 vtest=[v1，v2，…，vN]。 當(dāng)對(duì)遮擋發(fā)生前m幀提取的目標(biāo)灰度特征向量集Vsample進(jìn)行標(biāo)記后，將vtest與Vample中的各個(gè)向量進(jìn)行相似度匹配，通過匹配程度大小即可判斷該子塊是否屬于待跟蹤目標(biāo)。假定 v是 Vsample中的一個(gè)向量，記‖v-vtest‖為向量 vtest與v間的歐式距離，于是可把存在遮擋趨勢(shì)的跟蹤難點(diǎn)轉(zhuǎn)變?yōu)楹?jiǎn)單的對(duì)搜索框內(nèi)每個(gè)子塊分類。分類的方式是令 f=min‖v-vttest‖（v∈Vsample），若 f比原來設(shè)定好的閾值小，則把vtest對(duì)應(yīng)的子塊歸為待跟蹤目標(biāo)，并將其標(biāo)號(hào)設(shè)為1；反之，將其標(biāo)設(shè)為0。當(dāng)搜索框內(nèi)一切子塊都被分類后，仍然需要對(duì)其進(jìn)行平滑處理。分類后若某個(gè)子塊相鄰范圍內(nèi)的其他子塊標(biāo)號(hào)大多數(shù)與該子塊不一樣，此時(shí)需要將該子塊重新進(jìn)行標(biāo)號(hào)。

2.4 多目標(biāo)分離后對(duì)應(yīng)的跟蹤算法

2.4.1 目標(biāo)顏色模型的建立和更新

顏色直方圖Hi（X|m）統(tǒng)計(jì)了在第i幀中目標(biāo)m上顏色 X=（r，g，b）的數(shù)目，可計(jì)算目標(biāo) m 在每幀上的顏色分布（X|m）為：

其中，Ai（m）為第 m個(gè)目標(biāo)在 i幀中的總像素?cái)?shù)。由于每個(gè)目標(biāo)的顏色分布是不恒定的，因此建立并更新i幀上目標(biāo) m的顏色模型 Pi（X|m）為：

2.4.2 顏色相似度計(jì)算

用顏色相似度[9]sij（X|m，n）計(jì)算幀間兩個(gè)目標(biāo)顏色模型 Pi（X|m）和 Pj（X|n）的匹配程度，當(dāng)顏色相似度大于某一動(dòng)態(tài)閾值時(shí)，即可認(rèn)為這兩個(gè)目標(biāo)屬于同一目標(biāo)；小于某一動(dòng)態(tài)閾值時(shí)，認(rèn)為它們屬于不同的目標(biāo)。在運(yùn)動(dòng)跟蹤中，通常采用基于歐氏距離的匹配方法計(jì)算顏色相似度，即：

歸一化后：

通過實(shí)驗(yàn)發(fā)現(xiàn)，歐式距離相似度匹配方法并不能比較準(zhǔn)確地區(qū)分出運(yùn)動(dòng)目標(biāo)，因此本文利用一種新的顏色相似度匹配準(zhǔn)則——基于余弦匹配的計(jì)算方法，公式如下：

其中，“·”表示點(diǎn)積。在實(shí)際跟蹤中，可能會(huì)有多個(gè)運(yùn)動(dòng)目標(biāo)同時(shí)分裂，這多個(gè)目標(biāo)為一群，這個(gè)群分裂后可能不只分裂成單一目標(biāo)群，而是分成多個(gè)小目標(biāo)群，此時(shí)就需要判斷每一小目標(biāo)群分別包含哪些目標(biāo)。針對(duì)這個(gè)問題，本文提出的算法如下。

（1）假設(shè)有 N個(gè)單一目標(biāo)在第 i幀上發(fā)生合并，這N 個(gè)目標(biāo)的顏色模型 Pi（X|n）（n=1，2，…，N）都為已知。

（2）這N個(gè)目標(biāo)在第 j幀上分離成 M塊，M≤N，計(jì)算這 M 塊的顏色分布 Pj（X|m）（m=1，2，…，M）。

（3）可用式（7）計(jì)算第 n個(gè)目標(biāo)在分裂后分別處于第幾塊：

2.4.3 計(jì)算復(fù)雜度

實(shí)驗(yàn)過程中拍攝得到的視頻序列幀圖像是24 bit真彩色的 RGB 圖像。RGB 顏色空間 X=（r，g，b）共有 224種顏色。由于選擇的顏色種類過多會(huì)導(dǎo)致程序效率變低，因此需要對(duì)目標(biāo)的顏色特征進(jìn)行采樣，采樣公式為：

其中，r_value、g_value、b_value分別為像素 r、g、b 3 個(gè)分量的值；n表示采樣后每個(gè)通道的位數(shù)。實(shí)驗(yàn)中取n=3，這樣采樣結(jié)果的精確度符合實(shí)驗(yàn)要求，同時(shí)在程序上大大減少了計(jì)算量。

3 實(shí)驗(yàn)結(jié)果分析

按照上述混合方法設(shè)計(jì)的室內(nèi)靜態(tài)環(huán)境下多目標(biāo)跟蹤算法程序是在VC 6.0和OpenCV 1.0在Windows 7的環(huán)境下編寫的，實(shí)驗(yàn)視頻的幀率為30 f/s，每一個(gè)像素24 bit。圖3所示為一組跟蹤結(jié)果。

圖3 跟蹤結(jié)果圖

本文通過簡(jiǎn)單的Camshift跟蹤算法處理無遮擋情況下多目標(biāo)的跟蹤，采用基于區(qū)域與基于特征匹配相結(jié)合的算法處理多遮擋情況下目標(biāo)的跟蹤問題。首先采用基于區(qū)域相應(yīng)的方法進(jìn)行初次跟蹤判定，然后利用顏色模型的相似性按照一定的匹配原則進(jìn)行二次判定。但是該方法不能解決遮擋時(shí)的跟蹤問題，分塊的方法很好地解決了這一問題。當(dāng)遮擋過程中目標(biāo)的姿勢(shì)、形態(tài)和體積發(fā)生較大的變化時(shí)，這些跟蹤方法有一定的局限性。

[1]伏亞文.結(jié)合模糊理論的視覺識(shí)別與跟蹤技術(shù)研究[D].南京：南京理工大學(xué)，2009.

[2]李谷全，陳忠澤.視覺跟蹤技術(shù)研究現(xiàn)狀及其展望[J].計(jì)算機(jī)應(yīng)用研究，2010，27（8）：2814－2818.

[3]蔣戀華，甘朝暉.多目標(biāo)跟蹤綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2010，19（12）：271－274.

[4]KALMAN R E.A new approach to linear filtering and prediction problems[C].Transactions of the ASME－Journal of Basic Engineering， 1960，82：35－45.

[5]Cheng Yizong.Mean shift， mode seeking and clustering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 1995，17（8）：790－799.

[6]BRADSKI G R.Computer vision face tracking for use in a perceptual user interface[J].Intel Technology Journal， 1998，2（2）：1－15.

[7]CARPENTER J，CLIFFORD P.Improved particle filter for non linearproblems[J]. IEEE ProofRadar.Sonarand Navigation， 1999，146（1）：2－7.

[8]白金濤.視頻序列中運(yùn)動(dòng)目標(biāo)跟蹤算法的研究 [D].天津：天津大學(xué)，2009.

[9]陸玉傳.基于PTZ相機(jī)的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)研究[D].南京：東南大學(xué)，2010.