鄧志輝，路林吉

0 引言

在過去幾年中，特別是由于以安全為目的的智能監(jiān)控日益重要，智能監(jiān)控已成為在計算機視覺領(lǐng)域最活躍的研究課題之一。智能監(jiān)控是一個總體框架，包含了多個不同的計算機視覺任務(wù)-是從圖像序列檢測、跟蹤、分類感興趣的對象，并接下來理解和描述這些對象的行為。設(shè)計智能視覺監(jiān)控系統(tǒng)的最終目標，是取代現(xiàn)有的被動監(jiān)測，消除或者至少盡量減少人們監(jiān)測和分析可視化數(shù)據(jù)的需求。

由于這些原因，目前已經(jīng)存在許多智能視覺監(jiān)控系統(tǒng)，Hu等[1]給出了較好的綜述。實時監(jiān)控系統(tǒng)W4[2]使用一個單目灰度或紅外攝像機檢測、跟蹤和監(jiān)視多個人在戶外場景的活動。它結(jié)合形狀分析和跟蹤技術(shù)來定位人體及其部位，同時創(chuàng)建了目標的外觀模型，這樣即使在相互遮擋下也可以準確跟蹤。Wren等開發(fā)的Pfinder系統(tǒng)[3]通過建立單個未遮擋人體的三維模型，采用一個固定攝像頭對實現(xiàn)室內(nèi)人員行為的實時監(jiān)視與判定。1997年，美國國防部高級研究項目署（Defense advanced research projects agency, DARPA）設(shè)立了以卡內(nèi)基梅隆大學(xué)為首，麻省理工學(xué)院等高校參與的視覺監(jiān)控項目VSAM(Visual surveillance and monitoring)[4]，該系統(tǒng)采用攝像機傳感器網(wǎng)絡(luò)，能在大范圍場景中檢測、跟蹤移動物體，然后使用形狀和顏色分析將目標進行分類。MIT的監(jiān)控系統(tǒng)[5]首先使用分布式傳感器設(shè)備觀測一個站點中移動的對象，然后使用這些觀測分類場景中的行為模式，然后用于檢測異?；顒?。

本文設(shè)計了一種綜合的智能視覺監(jiān)控系統(tǒng)，通過一個固定的普通彩色攝像頭來監(jiān)控戶外或者室內(nèi)場景。我們的系統(tǒng)如圖1所示，由運動檢測模塊、團塊檢測模塊、跟蹤模塊和軌跡產(chǎn)生模塊4部分組成：

1）運動檢測模塊：檢測運動物體，將每個像素點分類為前景或者背景。

2）團塊檢測模塊：利用運動檢測模塊的結(jié)果將運動物體分割成獨立的團塊，并將這些團塊加入到跟蹤團塊鏈表中。

3）跟蹤模塊: 由團塊檢測模塊初始化單團塊跟蹤器，而多物體跟蹤器負責(zé)跟蹤跟蹤團塊鏈表中每個團塊。

4）軌跡產(chǎn)生模塊: 收集所有團塊的信息，當目標消失時保存團塊軌跡信息。

圖1 智能監(jiān)控系統(tǒng)處理流程

本文其余部分安排如下：第1節(jié)描述了運動檢測算法。第2節(jié)對團塊檢測模塊進行了探討。第3節(jié)詳細介紹了多物體跟蹤算法。第4節(jié)給出了實驗結(jié)果。最后在第5節(jié)進行了總結(jié)。

1 對運動物體的檢測

檢測運動物體是典型視覺監(jiān)控系統(tǒng)的第一階段。對運動物體檢測的目的從給定圖像中區(qū)分出與運動物體相關(guān)的圖像區(qū)域來。該階段的準確性將極大地影響后續(xù)階段處理的準確性和性能。

任何運動物體的檢測方法都可以用到這一部分。但是，考慮到戶外環(huán)境比較復(fù)雜，比如晃動的樹枝、閃光的水面、光照的變化等，本文采用了Li等提出的基于顏色空間模型的閾值化背景減法[6]。它是一種非參數(shù)估計背景模型方法，由變化檢測、變化分類、前景目標分割和背景學(xué)習(xí)與維護組成，算法的框圖如圖2所示，從左到右的白色框代表了前3個步驟，灰色框表示自適應(yīng)背景建模。該算法首先使用簡單的背景差分圖像和幀差分圖像過濾掉視頻流中沒有變化的像素點，再根據(jù)幀間變化把檢測到的變化分類為靜止的和移動的物體。然后，基于學(xué)習(xí)得到的顏色和顏色共生特征統(tǒng)計，根據(jù)貝葉斯分類規(guī)則將靜止物體或移動物體分類為背景或前景。接著，前景目標被分割出來。最后，更新背景模型。該算法在處理復(fù)雜場景時具有良好的性能，可以處理緩慢和突然的背景變化，靜態(tài)的和運動的物體等。算法詳見[6]，效果如圖3。

圖2 運動物體檢測模塊算法框圖

圖3 運動物體檢測結(jié)果

2 團塊檢測模塊

團塊檢測模塊可以被視為是運動檢測模塊和跟蹤模塊的銜接。它包括從團塊檢測模塊輸出的二進制圖像中分割移動領(lǐng)域為不相交的團塊，消除任何小的或孤立的噪音，以及計算團塊信息（如邊界框，ID，大小，速度等），將團塊添加到跟蹤團塊鏈表，并傳遞鏈表給跟蹤模塊。

本文采用了如下連通域標記算法，首先，我們執(zhí)行形態(tài)學(xué)開和關(guān)操作，在這里，我們需要確定形態(tài)學(xué)操作的迭代次數(shù)。越多的迭代次數(shù)，會有越多的腐蝕。侵蝕在消除了較大斑點狀噪聲的同時也腐蝕掉了較大的邊界區(qū)域?，F(xiàn)在的噪音已經(jīng)刪除，我們尋找所有的輪廓。下一步，我們拋棄面積過小的團塊，對剩下的團塊繪制包圍其輪廓的最小矩形框。最后，我們可以有選擇地收集團塊信息（中心、大小、速度、位置等）。這些團塊被添加進跟蹤鏈表中，傳遞給跟蹤模塊。

3 跟蹤模塊

跟蹤模塊負責(zé)估算每個團塊在新視頻幀中的位置和大小。這個模塊需確保即使運動檢測模塊由于物體遮擋或停止運動而無法檢測到的情況下，可以跟蹤對象。

多物體跟蹤可以被視為一個估計過程中，其目的是從按順序到達觀圖像幀的帶噪聲的觀測集yt=(y1…yt)中估計出未知的運動狀態(tài)xt。Vermaak等[7]根Bayesian最優(yōu)估計理論提出了一個單視點多目標跟蹤框架：

預(yù)測：

其中，

更新：

其中，

3.1 單對象跟蹤器

如上所述，目標跟蹤問題可以轉(zhuǎn)換為估計問題，即在貝葉斯（Bayesian）理論框架下，已知目標狀態(tài)的先驗概率，在獲得新的量測后不斷求解目標狀態(tài)的最大后驗概率的過程。粒子濾波作為一種序貫蒙特卡羅的方法（Sequential monte carlo methods,SMC）[8]， 既不受限于線性系統(tǒng)也不要求噪聲是服從高斯分布的，目前引起了廣泛關(guān)注。它是基于對樣本集傳播的一種遞推貝葉斯濾波器，同時保持多重假設(shè)以及使用隨機動態(tài)模型來預(yù)測目標的位置，因此，跟蹤效果很好。

目標跟蹤系統(tǒng)狀態(tài)通常有：目標位置、目標尺度以及變化率等元素組成。本文將目標區(qū)域表示為用一矩形框包圍的團快，那么可以把單個對象狀態(tài)描述為：

其中，x,y是團塊矩形框的中心位置，sw,sh分別是團塊矩形框的寬和高，從該團塊狀態(tài)矢量可以算出團塊的速度x’t, y’t和矩形框的尺度變化率s’。

選用二階自回歸過程（second-order auto-regressive process）作為系統(tǒng)的動態(tài)模型：

為了有效地區(qū)分跟蹤目標和其他目標，必須選擇合適的視覺特征來描述目標，顏色特征[9]是一個被廣泛采用的特征，因為顏色特征很適合描述變形目標，更重要的是它對于平面旋轉(zhuǎn)、非剛體和部分遮擋很穩(wěn)定。

與[9]類似，本文也采用基于Hue-Saturation-Value（HSV）空間的顏色直方圖模型。因為HSV顏色空間將亮度信息與色彩信息解耦了，使得顏色直方圖模型對于光照的變化不敏感。首先把圖像從RGB顏色空間轉(zhuǎn)換成用HSV顏色空間，并分別量化為Nh,Ns,Nv。把顏色直方圖的管腳設(shè)為個N=Nh,Ns,+Nv。b(u)∈{1,···,N}表示圖像的像素點（u）的顏色矢量yt(u)到直方圖管腳的映射。把顏色直方圖表示為h={h1,h2,···,hN}。

對于一狀態(tài)矢量xt，假如有一個檢出框Rt(xt)={d,stW}，d是檢出框的質(zhì)心，W是檢出窗口的最小尺寸，St是在第t幀的這個檢出框相對于最小檢測窗口的尺度。R(d)在第t幀的顏色分布的核密度qt(x)={qt(n;x) }n=1··N按下式計算，

其中，δ是Kronecjer delta函數(shù)，K是歸一化因子以確保；height是檢出框的高，width是檢出框的寬，a用來對檢出框進行歸一化處理以適應(yīng)檢出框的不同尺寸；w是一個權(quán)重函數(shù)，用來增強顏色直方圖的健壯性以減輕檢出框的邊緣像素屬于背景或被遮擋的情況。檢出框中的像素離檢出框的質(zhì)心越遠，則分配給這個像素的權(quán)重越小，權(quán)重的計算公式如下：

其中，r是該像素點到檢出框質(zhì)心的距離。

同樣地，可以初始時刻t0計算參考顏色分布模型q*={q*(n)}n=1··N，這些參考顏色分布模型由團塊檢測模塊的結(jié)果自動地初始化。

接下來選用 Bhattacharyya系數(shù)來度量參考顏色直方圖和參考顏色直方圖之間的相似性：

基于此 Bhattacharyya距離，我們可以計算觀測模型的似然率p(yt|xt)[9]：

在經(jīng)典的基于顏色特征的粒子濾波算法中采用了重采樣來消除粒子退化的影響，然而帶來了粒子貧乏的不良后果，降低了跟蹤性能。為了使得粒子具有多樣性，本文采用Markov Chain Monte Carlo(MCMC)[10]來進行粒子重采樣。MCMC方法是使用馬爾可夫鏈的蒙特卡羅積分。其基本思路是，如果粒子服從后驗概率p(0:t|y1:t)，那么實施核為K(x0:t|0:t)的 馬 爾 科 夫 鏈 變 換 之 后 ， 在 保 證的前提下，仍然可以得到一組滿足既定后驗概率分布的粒子群，而且這組新的粒子群可能移動到了狀態(tài)空間中更為有利的位置。實現(xiàn)MCMC重要性采樣主要有兩種方法：MH(Metropolis Hastings)采樣方法和Gibbs采樣方法。本文采用MH算法[11]產(chǎn)生各態(tài)歷經(jīng)的平穩(wěn)有限分布的馬爾可夫過程。

3.2 基于全局最近鄰法的數(shù)據(jù)關(guān)聯(lián)

在多目標跟蹤中并不是所有的觀測值都反映了被跟蹤目標的信息，部分觀測值反映了目標信息，部分觀測值并不包含目標信息而是包含了背景、噪聲、虛假目標等干擾信息。數(shù)據(jù)關(guān)聯(lián)即匹配，就是要確定哪些觀測值反映了目標信息，并確定真實的觀測值與存在狀態(tài)的對應(yīng)關(guān)系。

目前，多目標跟蹤領(lǐng)域存在許許多多數(shù)據(jù)關(guān)聯(lián)的方法，從相對簡單的最近鄰法到非常復(fù)雜的多假設(shè)跟蹤（MHT）。多目標跟蹤系統(tǒng)通常多采用簡單的方法，但這些方法的性能在復(fù)雜環(huán)境會下降。相當復(fù)雜的多假設(shè)跟蹤雖然性能有所改善，但難以實現(xiàn)，且在復(fù)雜環(huán)境中需要維護大量的假設(shè)，進而需要消耗大量的計算機資源。全局最近鄰法（Global Nearest Neighbor）[12]通過尋找一次掃描中最大可能的假設(shè)，能夠獲得比較好的數(shù)據(jù)關(guān)聯(lián)性能。

我們假設(shè)在一個新觀測值或一系列新觀測值被收到時已經(jīng)存在n條目標軌跡。這些觀測值用于更新現(xiàn)有的目標軌跡，或者初始化新的目標軌跡。假設(shè)在時刻點t，收到m個觀測值。在復(fù)雜環(huán)境中，m不一定等于n，而且也難以分辨測量值是來自于目標還是噪聲等。有效的觀測值則應(yīng)是處于已存在目標關(guān)聯(lián)門內(nèi)部或者邊界。數(shù)學(xué)上，關(guān)聯(lián)門可由式（13）給出：

其中，d=(x,y,H,W)，x,y是團塊的位置信息，H,W是團塊的形狀信息，di表示第i個已知的目標狀態(tài)，dj表示第j個觀測值，a是一個用來調(diào)節(jié)團塊位置和大小重要性的常數(shù)因子，G是門限值，可以有M自由度的$X2M分布獲得。門限值（G）的選擇要確保正確的測量將以在于指定的概率落在關(guān)聯(lián)門內(nèi)。

經(jīng)式（13）的有效性驗證后，可以將數(shù)據(jù)關(guān)聯(lián)視為一個最大匹配問題，按式（14）構(gòu)造代價矩陣（C）：

其中，代價矩陣C的元素滿足：

求最大匹配的一種顯而易見的算法是：先找出全部匹配，然后保留匹配數(shù)最多的。但是這個算法的時間復(fù)雜度為邊數(shù)的指數(shù)級函數(shù)。因此，本文采用擴展 Munkres算法[13]解決上述的二值分配問題。如果觀測值未找到匹配的目標，我們認為出現(xiàn)了新的目標，于是初始化一個新的單對象跟蹤器；如果目標找不到匹配的觀測值，則相應(yīng)增加其丟失次數(shù)，當連續(xù)丟失次數(shù)超過一定幀數(shù)時，認為該目標消失了，于是刪除該目標的單對象跟蹤器。

4 實驗結(jié)果

在Visual Studio 2005結(jié)合OpenCV、STL和DirectShow搭建了一個實驗平臺。為驗證系統(tǒng)的穩(wěn)定性以及有效性，實驗數(shù)據(jù)選自SCEPTER。該系統(tǒng)在Pentium 4，2.0GHz計算機上，對于跟蹤分辨率為320×240的序列圖像，實現(xiàn)了25f/s的處理速度。

實驗結(jié)果如圖4所示，圖中彩色框表示各個不同的跟蹤目標，框后面的線記錄了該目標的運動軌跡。通過實驗結(jié)果可以看出,即便在遮擋或有新目標出現(xiàn)的情況下, 仍能成功地檢測和跟蹤場景中的運動目標。

圖4 智能監(jiān)控系統(tǒng)實驗結(jié)果

5 結(jié)論

智能監(jiān)控是一個具有挑戰(zhàn)性的研究領(lǐng)域，既有理論研究意義，也有很強的實用價值。但由于使用背景、具體環(huán)境等因素的復(fù)雜性，目前仍需依賴人工進行不問斷分析，還未能找到“通用”的解決算法。本文主要針對室監(jiān)控這—特定背景環(huán)境，對運動目標的跟蹤監(jiān)控進行了研究，提出了利用基于顏色空間模型的閾值化背景減法提取出運動目標，并結(jié)合基于MCMC的顏色粒子濾波器和全局最近鄰法對多個目標進行跟蹤的方法，并沒計搭建了測試平臺。實驗表明，該平臺可以有效地檢測并跟蹤室內(nèi)運動目標，實現(xiàn)了部分分析任務(wù)的自動處理。運動物體分類和識別、行為識別將是下一步研究的重點。

[1]Hu W, Tan T, Wang L, and Maybank S. A survey on visual surveillance of object motion and behaviors. IEEE Transactions onSystems, Man and Cybernetics,34:334-352, 2004.

[2]D Harwood I. Haritaoglu and Davis L S. W4: Real-time surveillance of people and their activities. IEEE Transactions on Pattern Analysis and Machine Intelligence,22(8):809-830, 2000.

[3]T Darrell C,Wren R,Azarbayejani A, and Pentland A P.Pfinder:Real-time tracking of the human body.IEEE Transactions on Pattern Analysis and Machine Intelligence,19:780-785,1997.

[4]T Kanade H, Fujiyoshi D,Duggins Y,Tsin D,Tolliver N,Enomoto O,Hasegawa P,Burt R,Collins T,Lipton A J,and Wixson L.A system for video surveillance and monitoring.Technical Report CMU-RI-TR-00-12, Robotics Institute,Pittsburgh, PA, May 2000.

[5]Romano R W, Grimson E L, Stauffer C,and Lee L.Using adaptive tracking to classify and monitor activities in a site.In CVPR ’98: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,page 22, Washington, DC, USA, 1998. IEEE Computer Society.

[6]H I Y,Gu L Li, Huang W,and Qi T. Foreground object detection from videos containing complex background. In MULTIMEDIA ’03: Proceedings of the eleventh ACM international conference on Multimedia, pages 2-10, New York, NY, USA, 2003. ACM.

[7]Doucet A J. Vermaak and Perez P. Maintaining multimodality through mixture tracking. In Computer Vision, 2003. Proceedings.Ninth IEEE International Conference on, volume 2, pages 1110–1116, Oct. 2003.

[8]N Gordon M ,Arulampalam S, Maskell S,and T Clapp. A tutorial on particle filters for on-line nonlinear/nongaussian bayesian tracking. IEEE Transactions on Signal Processing, 50:174-188, 2001.

[9]J Vermaak,P Pé rez, Hue C,and Gangnet M. Color-based probabilistic tracking. In ECCV ’02: Proceedings of the 7th European Conference on Computer Vision-Part I,pages 661-675, London, UK, 2002. Springer-Verlag.

[10]Liu J S,and Chen R. Sequential monte carlo methods for dynamic systems. Journal of the American Statistical Association, 93:1032-1044,1998.

[11]Zhai Y,and Yeary M. Implementing particle filters with metropolis-hastings algorithms. In Region 5 Conference:Annual Technical and Leadership Workshop, 2004, pages 149-152, April 2004.

[12]A Udvarev,Konstantinova P,and Semerdjiev T.A study of a target tracking algorithm using global nearest neighbor approach.In CompSysTech’03:Proceedings of the 4th international conference conference on Computer systems and technologies, pages 290-295, New York, NY, USA,2003. ACM.

[13]Bourgeois F and Lassalle C J.An extension of the munkres algorithm for the assignment problem to rectangular matrices.Commun.ACM,14(12):802-804,1971.