趙志強(qiáng)，馬志剛

（深圳職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)工程學(xué)院，廣東 深圳 518055）

基于DSP平臺(tái)的自動(dòng)PTZ跟蹤研究

趙志強(qiáng)，馬志剛

（深圳職業(yè)技術(shù)學(xué)院 計(jì)算機(jī)工程學(xué)院，廣東 深圳 518055）

采用TI公司的新一代數(shù)字媒體處理器TMS320DM648，實(shí)現(xiàn)了無(wú)人值守下的PTZ自動(dòng)跟蹤．首先，對(duì)從前端設(shè)備采集的視頻進(jìn)行格式轉(zhuǎn)換，采用基于自適應(yīng)背景差分和形態(tài)學(xué)濾波的方法，獲取進(jìn)入警戒區(qū)域的運(yùn)動(dòng)目標(biāo)；然后，以基于顏色分布的核密度直方圖為跟蹤特征，采用基于均值漂移和粒子濾波結(jié)合的方法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行持續(xù)跟蹤；最后，通過(guò)計(jì)算目標(biāo)與鏡頭的相對(duì)位置實(shí)現(xiàn)球機(jī)PTZ自動(dòng)控制，使目標(biāo)始終處于視野的中央．實(shí)驗(yàn)表明，該方法跟蹤運(yùn)動(dòng)目標(biāo)較穩(wěn)定，實(shí)時(shí)性較好．

自動(dòng)PTZ跟蹤；自適應(yīng)背景差分；形態(tài)學(xué)濾波；均值漂移；粒子濾波

在安防監(jiān)控應(yīng)用中，Pan/Tilt/Zoom（PTZ）代表快球或者云臺(tái)全方位（上下、左右）移動(dòng)及鏡頭變倍、變焦控制．傳統(tǒng)的PTZ是通過(guò)人工操作鍵盤來(lái)控制PTZ球機(jī)轉(zhuǎn)動(dòng)，所需工作量大，人眼長(zhǎng)時(shí)間緊盯屏幕，很容易導(dǎo)致視覺疲勞，丟失重要信息．自動(dòng)PTZ跟蹤系統(tǒng)（以下簡(jiǎn)稱APTZ）是融合智能視頻分析和計(jì)算機(jī)視覺跟蹤技術(shù)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)和PTZ自適應(yīng)跟蹤的智能視頻監(jiān)控系統(tǒng)[1，2]，APTZ可以對(duì)進(jìn)入監(jiān)控區(qū)域的運(yùn)動(dòng)目標(biāo)進(jìn)行全方位的自動(dòng)鎖定跟蹤，自動(dòng)控制PTZ攝像機(jī)全方位旋轉(zhuǎn)，使目標(biāo)始終保持在視野中央，并可根據(jù)需要對(duì)目標(biāo)持續(xù)放大，獲取目標(biāo)豐富的細(xì)節(jié)信息．APTZ彌補(bǔ)了固定攝像機(jī)監(jiān)控視野窄的不足，是完善的安防監(jiān)控系統(tǒng)所必備的功能．

針對(duì)智能安防監(jiān)控的需求，我們提出一種基于DSP平臺(tái)下的自動(dòng)PTZ跟蹤方法．首先，采用自適應(yīng)背景差分和形態(tài)學(xué)操作方法，對(duì)圖像進(jìn)行前景和背景分離，獲取進(jìn)入警戒區(qū)域的目標(biāo)；然后，運(yùn)用計(jì)算機(jī)視覺跟蹤技術(shù)對(duì)入侵目標(biāo)進(jìn)行持續(xù)跟蹤；與此同時(shí)，計(jì)算被跟蹤目標(biāo)與PTZ攝像機(jī)的相對(duì)位置，當(dāng)目標(biāo)不處于中心區(qū)域時(shí)，系統(tǒng)自動(dòng)通過(guò)RS422/485串口將控球指令發(fā)送到球機(jī)，使目標(biāo)始終處于視野的中心．

1 DSP平臺(tái)簡(jiǎn)介

本系統(tǒng)硬件平臺(tái)選擇的是TI公司生產(chǎn)的達(dá)芬奇系列高性能DSP芯片，型號(hào)為TMS320DM648，這是一款面向多媒體數(shù)據(jù)處理的高性能定點(diǎn)處理器，主頻可達(dá)900MHz，與上一代DSP芯片DM642相比，DM648芯片的處理性能得到了極大的提升，其采用的C64x+內(nèi)核單周期處理能力提升20%，單周期執(zhí)行MMAC能力倍增，EDMA帶寬提升3倍，程序密度提升30%，完全兼容DM642平臺(tái)的算法[3]．同時(shí)，DM648平臺(tái)所使用的VICP提高了系統(tǒng)時(shí)鐘，執(zhí)行H.264編解碼運(yùn)算的效率更高．

系統(tǒng)的工作原理圖如圖1所示，通過(guò)視頻采集芯片從球機(jī)獲取原始視頻，經(jīng)過(guò)A/D采樣和視頻格式轉(zhuǎn)換為系統(tǒng)所需的圖像格式，經(jīng)DSP硬件平臺(tái)的一系列算法處理，連續(xù)跟蹤并獲取運(yùn)動(dòng)目標(biāo)的位置信息；經(jīng)過(guò)RS485串口和球機(jī)通信，獲取球機(jī)的當(dāng)前PTZ信息，根據(jù)球機(jī)和目標(biāo)的相對(duì)位置來(lái)自動(dòng)決策是否需要發(fā)送控球指令，使目標(biāo)始終處于視野的中央；與此同時(shí)，壓縮視頻通過(guò)千兆以太網(wǎng)傳輸?shù)娇蛻舳?，在PC端解壓后實(shí)時(shí)顯示；OSD疊加的跟蹤結(jié)果通過(guò)視頻輸出端口接模擬監(jiān)視器顯示．

圖1 自動(dòng)PTZ跟蹤系統(tǒng)原理圖

2 自動(dòng)PTZ跟蹤算法實(shí)現(xiàn)

本文提出的一種基于前景背景分離、粒子濾波和均值漂移跟蹤結(jié)合技術(shù)的自動(dòng)PTZ跟蹤方法，具體算法如圖2所示．首先，將當(dāng)前幀圖像由YUV422轉(zhuǎn)換為YUV420格式，取Y分量進(jìn)行前背景分離，采用形態(tài)學(xué)操作過(guò)濾圖像中的噪聲并閉合目標(biāo)輪廓，然后采用基于粒子濾波和均值漂移結(jié)合的跟蹤算法對(duì)目標(biāo)進(jìn)行持續(xù)跟蹤，并根據(jù)目標(biāo)與球機(jī)的相對(duì)位置，實(shí)現(xiàn)PTZ的自動(dòng)控球．考慮系統(tǒng)的實(shí)時(shí)性，前背景分離采用計(jì)算代價(jià)小的自適應(yīng)背景差分方法．

圖2 自動(dòng)PTZ跟蹤算法

3 運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)是智能視頻監(jiān)控系統(tǒng)的關(guān)鍵技術(shù)，傳統(tǒng)的檢測(cè)方法有：背景差分法[4，5]、高斯背景法[6]和光流法[7]等，背景差分法具有計(jì)算速度快、背景學(xué)習(xí)速度快和抗干擾能力強(qiáng)等優(yōu)點(diǎn)．本文采用自適應(yīng)背景差分算法實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)，具體如下：

1） 將第1幀圖像I0作為背景圖像B0；

2）求兩幀Ii(x, y)與Ii-1(x, y )的幀間差分圖像Di( x, y)，設(shè)置閾值T，計(jì)算如式（1）所示：

其中，i=1,2,3,K；Ii(x, y)為當(dāng)前幀圖像，Ii-1(x, y )為前一幀圖像．

3）由差分圖像Di( x, y)更新背景Bi( x, y)表述為：

其中，a為學(xué)習(xí)率，根據(jù)實(shí)際情況可取a=0.1~0.5．

4）將當(dāng)前圖像Ii( x, y)與背景圖像Bi(x, y)相減即為當(dāng)前幀的前景圖像Fi( x, y)．

實(shí)驗(yàn)表明，要獲得效果較好的背景圖像需通過(guò)一定時(shí)間的背景學(xué)習(xí)，循環(huán)步驟2)~4)30~50次，可獲得較為穩(wěn)定的背景圖像．閾值T可根據(jù)前景所占圖像比例自適應(yīng)調(diào)整, 如果所占比例超過(guò)0.2則閾值相應(yīng)增加1，所占比例小于0.05則閾值自減1．

4 形態(tài)學(xué)操作

背景差分后的前景圖像經(jīng)過(guò)二值化后即為得到的目標(biāo)區(qū)域．實(shí)際場(chǎng)景中，由于目標(biāo)過(guò)大或者表面顏色相似導(dǎo)致檢測(cè)出來(lái)的運(yùn)動(dòng)目標(biāo)存在空洞或者斷裂現(xiàn)象，同時(shí)，環(huán)境中也存在局部亮度劇變和樹葉擾動(dòng)等因素的干擾，導(dǎo)致存在噪聲，因此需對(duì)二值圖進(jìn)行空洞填充和噪聲去除．首先采用形態(tài)學(xué)閉運(yùn)算進(jìn)行填充，然后采用形態(tài)學(xué)閉運(yùn)算和連通體濾波過(guò)濾面積較小的噪聲干擾．對(duì)于存在陰影的目標(biāo)，可采取簡(jiǎn)單的去陰影算法去除長(zhǎng)陰影．為了區(qū)分跟蹤的對(duì)象是人還是車，需要對(duì)場(chǎng)景中目標(biāo)進(jìn)行高度過(guò)濾，采用基于固定參照物和設(shè)置地平線的三維模型標(biāo)定方法，可有效估計(jì)出場(chǎng)景中目標(biāo)的高度．

圖3所示為采用背景差分和形態(tài)學(xué)濾波方法所得到的處理效果，左上角圖片為原始圖像，右上角圖片為背景，左下角圖像為差分后的前景二值化圖像，可以發(fā)現(xiàn)圖像中存在空洞和斷裂等不連續(xù)圖像特征，通過(guò)形態(tài)學(xué)處理后，得到右下角圖片中連續(xù)的圖像特征．

圖3 背景差分法和形態(tài)學(xué)濾波結(jié)果

5 目標(biāo)跟蹤及結(jié)果

在智能視頻監(jiān)控中，常用的目標(biāo)跟蹤方法有：卡爾曼濾波[8]、粒子濾波[9]和均值漂移[6]等．粒子濾波跟蹤方法基于蒙特卡洛方法，使用粒子集來(lái)表示概率，可以適用于各種形式的狀態(tài)空間模型，對(duì)非線性、非高斯系統(tǒng)表現(xiàn)出明顯的優(yōu)越性，也可以用于小目標(biāo)的跟蹤，當(dāng)出現(xiàn)目標(biāo)完全遮擋時(shí)，可以自我恢復(fù)跟蹤過(guò)程．均值漂移跟蹤方法采用基于密度梯度上升的非參數(shù)方式，運(yùn)算量較小，更利于進(jìn)行實(shí)時(shí)跟蹤，但是在小目標(biāo)和快速移動(dòng)目標(biāo)跟蹤時(shí)成功率不高，并且在出現(xiàn)目標(biāo)被完全遮擋的情況下，無(wú)法恢復(fù)自動(dòng)跟蹤．本文以核密度直方圖為跟蹤特征，將均值漂移方法與粒子濾波方法相結(jié)合，提出一種新的連續(xù)跟蹤算法．

在本文的跟蹤算法中，選擇直方圖作為特征，該特征對(duì)于目標(biāo)被部分遮擋、旋轉(zhuǎn)和局部形變具有較好的魯棒性．均值漂移算法中，選取歸一化的核密度直方圖作為匹配特征，只與目標(biāo)的顏色特征相關(guān)．假定目標(biāo)圖像I由n個(gè)像素組成，表示像素坐標(biāo)，目標(biāo)圖像中心點(diǎn)坐標(biāo)為y，直方圖的級(jí)數(shù)為m，圖像的半寬和半高分別為W和H，其核密度直方圖公式如下：

其中，u=0,1,2,K,m ；pu(y)為直方圖分量u的值；h為核函數(shù)窗寬，為迪拉克函數(shù)；Ch為歸一化因子，使得

對(duì)于選定的模型和跟蹤候選區(qū)域，可以通過(guò)Bhattacharyya距離來(lái)判斷核密度直方圖p={p(u)}u=1,2,K,m和q={q(u)}u=1,2,K,m的相似性，距離公式為：

粒子濾波[10]方法是一種順序重要性采樣法，其通過(guò)從后驗(yàn)概率中抽取的隨機(jī)狀態(tài)粒子來(lái)表達(dá)分布，t時(shí)刻的狀態(tài)可用向量Xt表示，Zt表示從時(shí)刻的觀測(cè)，在t時(shí)刻的后驗(yàn)概率密度p( Xt|Zt)可由預(yù)測(cè)和更新兩步完成，其預(yù)測(cè)方程為：由

貝葉斯公式可得更新方程：

由t-1時(shí)刻概率密度函數(shù)p( Xt|Zt-1)利用重

，則t時(shí)刻的是概率密度函數(shù)為：

首先將YUV420圖像轉(zhuǎn)換到HSV空間，采集分量H和S的顏色直方圖信息，利用目標(biāo)加權(quán)核密度直方圖作為前景觀測(cè)信息來(lái)更新粒子的權(quán)值，粒子區(qū)域的顏色分布與目標(biāo)顏色分布越接近，權(quán)值越大，反之權(quán)值越?。徊捎冒褪暇嚯x來(lái)度量粒子和目標(biāo)區(qū)域相似性，經(jīng)過(guò)重采樣[9]、狀態(tài)傳播預(yù)測(cè)和權(quán)值更新一系列迭代實(shí)現(xiàn)目標(biāo)位置的預(yù)測(cè)與更新．

粒子的狀態(tài)量中包含了目標(biāo)在垂直和水平方向上的速度估計(jì)量以及寬度、高度信息，系統(tǒng)可根據(jù)這些信息自動(dòng)決策，計(jì)算目標(biāo)與鏡頭的相對(duì)位置，自動(dòng)控制PTZ球機(jī)使目標(biāo)始終處于視野的中央，并可根據(jù)目標(biāo)像素所占圖像比例自適應(yīng)調(diào)整鏡頭的倍率．

本系統(tǒng)在實(shí)驗(yàn)測(cè)試過(guò)程中采用合眾達(dá)公司提供的DM648開發(fā)板作為自動(dòng)PTZ跟蹤服務(wù)器，以海康威視公司提供的高速智能球型攝像機(jī)為測(cè)試設(shè)備，處理視頻大小為352×288（CIF）圖像，PC端硬件配置為CPU：Core Dual，主頻2.8GHz，內(nèi)存2GB DDR3，實(shí)驗(yàn)中粒子數(shù)取100~150，直方圖維數(shù)為16(H)×16(S)=256bin．實(shí)驗(yàn)表明，在場(chǎng)景干擾相對(duì)較少的情況下，該跟蹤方法穩(wěn)定有效，抗干擾能力較強(qiáng)，完全可以滿足實(shí)時(shí)跟蹤要求，且目標(biāo)較小時(shí)，能及時(shí)放大，突出目標(biāo)信息．跟蹤效果如圖4所示．

圖4 跟蹤結(jié)果

6 結(jié) 論

針對(duì)安防監(jiān)控的需求，本文提出的一種基于DM648硬件平臺(tái)下的自動(dòng)PTZ跟蹤方法，采用自適應(yīng)背景差分和形態(tài)學(xué)濾波方法確定入侵警戒區(qū)域的運(yùn)動(dòng)目標(biāo)，采用融合均值漂移和粒子濾波算法實(shí)現(xiàn)了特定場(chǎng)景下的目標(biāo)的自動(dòng)跟蹤，并通過(guò)計(jì)算目標(biāo)與球機(jī)的相對(duì)位置實(shí)現(xiàn)無(wú)人值守下的自動(dòng)控制，使目標(biāo)始終處于視野的中央．實(shí)踐證明，采用基于顏色分布的核密度直方圖為跟蹤特征，既描述了圖像中目標(biāo)的全局顏色分布，基于核密度估計(jì)的距離度量又融入了目標(biāo)像素點(diǎn)的空間位置信息，使得跟蹤算法能適應(yīng)場(chǎng)景的變化．該方法可靠性好，能對(duì)目標(biāo)進(jìn)行穩(wěn)定跟蹤，實(shí)時(shí)性好，在安防監(jiān)控市場(chǎng)有較好的應(yīng)用前景．

[1] Lei Zhang, Ke Xu, Shiqi Yu, etal. An Effective Approach for Active Tracking with a PTZ Camera.In: Robotics and Biomimetics (ROBIO)[C]//2010 IEEE International Conference on, 2010：1768-1773．

[2] Chu-Sing Yang, Ren-Hao Chen, Chao-Yang Lee, etal. PTZ camera based position tracking in IP-surveillance system[A]//ICST 2008. 3rd International Conference on 2008：142-146．

[3] 曾振民，王文武．圖像去霧的TMS320DM648實(shí)現(xiàn)[J]．科技信息，2014（06）：9-18．

[4] 林佳乙，于哲舟，張健，等．基于背景差分法和幀間差分法的視頻運(yùn)動(dòng)檢測(cè)[J]．儀器儀表學(xué)報(bào)，2008，29（4）：111-114．

[5] 李毅，孫正興，遠(yuǎn)博，等．一種改進(jìn)的幀差和背景減相結(jié)合的運(yùn)動(dòng)檢測(cè)方法[J]．中國(guó)圖象圖形學(xué)報(bào)，2009，14（6）：1162-1168．

[6] 錢惠敏，茅耀敏，王執(zhí)銓．自動(dòng)選擇跟蹤窗尺度的Mean-Shift算法[J]．中國(guó)圖象圖形學(xué)報(bào)，2007，12（2）：245-249．

[7] 張金林，萬(wàn)蔚，芮挺，等．基于改進(jìn)的 Lucas–Kanade光流估算模型的運(yùn)動(dòng)目標(biāo)檢測(cè)[J]．微計(jì)算機(jī)信息，2010（8-2）：194-196．

[8] 何娜，張彭朋．視頻監(jiān)控系統(tǒng)中運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤研究[J]．微計(jì)算機(jī)信息，2010（8-1）：229-230．

[9] 莊嚴(yán)，戰(zhàn)洪斌，王偉，等．基于加權(quán)顏色直方圖和粒子濾波的彩色物體跟蹤[J]．計(jì)算機(jī)工程，2006， 21（8）：868-872．

[10] 杜海濤，全春來(lái)，周翔．基于無(wú)線傳感器和視頻融合的室內(nèi)定位技術(shù)研究[J]．計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（01）：347-350．

Research on Automatic Pan/Tilt/Zoom Dome Tracking—Based On Digital Signal Processing Platform

ZHAO Zhiqiang, MA Zhigang

（School of Computer Engineering, Shenzhen Polytechnic, Shenzhen, Guangdong, 518055 China）

TI company’s new generation digital media processor TMS320DM648 is adopted to realize an automatic pan/tilt/zoom(PTZ) camera tracking in unattended condition. Firstly, the format of the video from front-end image acquisition device is conversed. Moving object entering into guarded area is acquired by the method of adaptive background subtraction and morphological filter. Then, tracking feature is selected with kernel density histogram based on color distribution. Persistent tracking of the moving object is based on mean-shift and particle filter, PTZ dome’s automatic control is realized by calculating the relative position between object and lens. The target is always kept in the center of vision. Experimental results show that the proposed method can offer a stable and spontaneous tracking of the moving object.

automatic PTZ tracking; adaptive background subtraction; morphological filter; mean-shift; particle filter

TP391.4

：A

：1672-0318（2017）01-0021-05

10.13899/j.cnki.szptxb.2017.01.005

2016-07-12

趙志強(qiáng)（1981-），男，河南開封人，講師，主要研究方向圖像處理、嵌入式系統(tǒng)等．