盛 平 倪冬瑋 張 凈

(1江蘇大學計算機科學與通信工程學院，鎮(zhèn)江 212013)

(2鎮(zhèn)江江大科茂信息系統有限責任公司，鎮(zhèn)江 212001)

(3江蘇大學電氣信息工程學院，鎮(zhèn)江 212013)

動態(tài)目標跟蹤與自動特寫快照系統是利用智能視頻分析技術和計算機系統實現運動目標檢測與實時PTZ跟蹤，并對目標快照自動抓拍的智能視頻監(jiān)控系統.該系統需構建高速圖像采集處理系統，主要包括圖像采集模塊、圖像處理模塊、通信接口以及云臺控制模塊［1-3］.動態(tài)目標跟蹤與自動特寫快照系統可以對監(jiān)視場景進行實時監(jiān)控，自動檢測出運動目標，并對目標進行實時跟蹤、目標全貌變焦放大拍攝，實現了智能化程度較高的計算機自主多方位視頻目標跟蹤檢測，降低了人工監(jiān)視的勞動強度，減少了實時跟蹤中的人為誤差.雖然多方位視頻目標跟蹤檢測算法的相關理論日趨成熟，但現有動態(tài)跟蹤和快照系統對于惡劣環(huán)境、低照度和光線不足等容忍度差，誤檢率高，圖像處理計算量大，難以同時達到實時、清晰、可靠、準確的跟蹤抓拍要求.

本文針對運動目標的快照抓拍特點，在PTZ跟蹤［4］的基礎上，提出一種動態(tài)目標跟蹤與自動特寫快照算法，能更好地獲取目標全貌特征，有利于事后取證.該算法運用Tsai兩步標定法實現了攝像機初始位置的標定;采用一種快速的混合高斯背景差分法分割出運動目標;使用Kalman濾波與模板匹配的方法，結合攝像機標定控制云臺進行動態(tài)跟蹤;在PTZ跟蹤過程中，提出一種基于梯度極值結合目標實際運動矢量的方法實現目標快照的抓拍.

1 自適應PTZ檢測跟蹤技術

1.1 運動目標檢測與精確定位

對預處理采集到的圖像使用基于混合高斯模型的背景差分法完成目標分割，其基本思想是每個像素利用3～5個高斯模型［5］表示屬于背景的像素值，通過判斷當前像素值與這些高斯模型的偏離距離來區(qū)分前景和背景.然后，采用投影法實現目標的精確定位(見圖1).

圖1 原圖及直方圖均衡化處理后圖(第1幀)

運動檢測與定位的主要流程如下:

1)首先利用3×3的矩形模板進行中值濾波，去除圖像采集時產生的椒鹽噪聲，并進行直方圖均衡以改善圖像質量.

2)混合高斯背景模型的建立與更新.用K個高斯分布的混合模型描述隨機過程，則概率分布可表示為

式中，It為當前圖像的像素值;Nk(It，μk，t，Ck，t)表示第 k 個均值為 μk，t、方差為 Ck.t的高斯分布;wk，t為這個高斯分布的權值.高斯分布的概率密度函數可表示為

式中，當視頻序列為灰度圖像時，μ為像素灰度均值，C為方差;對于彩色圖像，μ為像素彩色通道各分量值組成的矢量，C為各分量之間的協方差矩陣.K越大，可描述越復雜的場景，而計算量也就越大(取K=3).混合高斯背景模型的更新即為不斷利用新的當前時刻圖像的像素值更新混合高斯模型的各個參數，這些參數包括高斯分布的均值μ、方差 C 和權值 wk，t.

3)運動目標的分割.對于當前圖像中像素值It，如果服從背景模型中某個高斯分布，則該像素為背景點;如果不服從背景模型中的所有高斯分布，則該像素為前景點.判別式為

取λ=2.5，則St(x，y)=1表示該像素為前景像素點.

4)對得到的前景S(x，y)進行圖像形態(tài)學操作，利用膨脹和腐蝕去除孤立點和空洞，得到二值化圖像P.

5)采用投影法獲取目標區(qū)域的水平、垂直方向起始與終止坐標，得到目標區(qū)域的外接矩形，實現運動目標的精確定位(見圖2).

圖2 檢測定位圖

1.2 攝像機標定

攝像機標定問題［6］可描述為:給定一些三維特征對象以及對應的二維圖像平面上的特征對象，求旋轉陣R、平移陣T以及有效焦距f三個投影參數.本文采用Tsai兩步標定法實現攝像機標定:

步驟1 求解旋轉陣R、平移陣T的tx，ty分量以及圖像尺度因子β.其中，

①拍攝幾幅具有不同已知高度、若干共面特征點的標定體圖像，利用圖像處理方法確定若干個特征點的圖像坐標，設共N個點，計算機圖像坐標為(xfi，yfi)，i=1，2，…，N，實際圖像坐標為(xdi，ydi)，設這些點相應的世界坐標為(xwi，ywi，zwi).

式中，(cx，cy)為計算機圖像的中心坐標;(sx，sy)為圖像平面單位距離上的像素數.

②依據攝像機模型與徑向排列約束，對每個點P可列出一個方程，聯立這N個方程，得到Ai·B=xdiβ，其中

利用最小二乘法求解該超定方程組，可得

③依據步驟②的解，利用R的正交性，可得到整個旋轉矩陣R和T中的tx，ty分量以及圖像尺度因子β.

步驟2 求解有效焦距f，T的tz分量和透鏡畸變系數k.

考慮徑向透鏡畸變，則影像坐標(xu，yu)可表示為

設

依據攝像機模型可得

對N個特征點，利用最小二乘法對上述2個方程進行聯合最優(yōu)參數估計，得到焦距f，T的tz分量和透鏡畸變系數k.

1.3 自適應PTZ跟蹤與云臺控制

根據攝像機標定與目標檢測結果，可以獲得目標的運動狀態(tài)參數(某一時刻目標所在的位置和速度)，利用Kalman濾波并結合模板匹配的方法進行運動目標的自適應跟蹤與控制云臺移動［7-9］，跟蹤算法的流程如圖3所示.

圖3 跟蹤算法流程圖

Kalman濾波器是一個對動態(tài)系統的狀態(tài)序列進行線性最小方差誤差估計的算法，可以以任意一點作為起始點開始觀測，按照遞推公式，即可算出新的預測量估計值.Kalman濾波器簡單易行，且計算量小，可實時計算.由于相鄰k幀圖像時間間隔較短，可以假設目標在單位時間間隔內是勻速運動的.

定義Kalman濾波器系統狀態(tài)為X，X={xs，ys，vx，vy}，其中 xs，ys，vx，vy分別為目標的質心和速度.而在圖像上只能觀測到目標的位置，定義觀測狀態(tài)向量為Y={xs，ys}.

在目標跟蹤中，使用Kalman濾波器估計目標運動狀態(tài)可分為3個階段:

①初始化濾波器，即對X0賦初值，其值為目標檢測過程中得到的目標的位置和速度.

②狀態(tài)估計，設t為相鄰2幀圖像的時間間隔，根據上一幀的濾波器狀態(tài)與△t，利用Kalman狀態(tài)預測方程即可預測當前運動狀態(tài)X0，設定以X0中(xs，ys)為中心的區(qū)域為搜索區(qū)域，在該區(qū)域中尋找模式的最佳匹配，得到.

③ 利用Y0={，}更新Kalman濾波器狀態(tài).

模板匹配法可歸結為二者的某一特征值的相關性度量，通過將模板圖像與待匹配圖像進行相關運算，得到一個相關值，再根據這一相關值的大小就可以判斷二者的匹配度.選用圖像的灰度特征，利用最小平均絕對差值函數(MAD)進行匹配，即

具體的跟蹤流程總結如下:通過Kalman濾波器預測目標的可能位置，在預測區(qū)域利用模板匹配法完成匹配，判斷目標在實時圖像中的位置，并依據運動目標面積設置閾值，進行模板自動更新，從而實現目標跟蹤(見圖4).

圖4 Kalman濾波與模板匹配跟蹤效果圖

結合攝像機標定控制云臺進行水平擺動和上下仰俯，使得運動物體處于攝像機視野之內，即將運動目標實時反映在屏幕中央［10］.

假設在t時刻得到某目標在第m幀圖像中的坐標為(xm，ym)，將(xm，ym)作為 Kalman 濾波器的輸入，可得到目標在當前時刻的狀態(tài)估計(xs，ys，vx，vy).假定以間隔 k幀(本文取 k=5)后的 t+△t時刻的圖像作為輸入，就可預測出目標在間隔k幀后的圖像中的坐標(xk，yk):

假設在△t時間內只有云臺轉動，目標不動，可將視點作為原點，把三維坐標轉換成球面坐標.將云臺沿水平方向順時針繞視點旋轉θ角度可消除x方向上的偏移.在如圖5所示的坐標中，要將x軸轉到OM位置，將z軸沿垂直方向旋轉α角度即可.此時的θ角與焦距深度無關，α=90°－φ.

圖5 球心投影圖

如圖6所示，在雙角度坐標系中，M點在屏幕上投影為A點，θ為鏡頭在水平方向上的視野角度，屏幕寬度為L，要將A點移至屏幕中央，光軸需轉動α角度.同理可消除y方向上的位移，這樣就可實現將運動目標移動到屏幕中央的目的.

圖6 攝像機雙角度模型

2 運動目標抓拍與特寫

目標抓拍是指對實際的運動目標(例如人)進行實時的跟蹤觀察，并對其進行變焦拍攝，給出運動目標物的近焦距全貌特征描述.抓拍的基本要求是:① 圖像清晰，便于識別;② 圖像完整，包含鮮明的目標特征.

2.1 抓拍圖像的清晰度

清晰度描述的是一張照片的細節(jié)清楚程度，與圖像的感知清晰度相關的2個基本因素是:分辨率和銳度.銳度描述的是圖像信息在邊界上變換的快慢程度;分辨率又稱解析度，描述的是攝像機對圖像細節(jié)的分辨能力.

2.2 基于梯度極值的改進抓拍方法

抓拍的目標是要得到既清晰又完整的物體圖像，當運動物體距離攝像頭太遠，圖像中的物體會不清晰;當運動物體距離攝像頭太近，所得到的圖像會不完整.抓拍時機對于抓拍系統有重要意義.

由于本文中抓拍對象一般為人，并且目標是用矩形框框出，運動物體模型可以視為一系列由小變大的矩形模型.依據人“瘦而高”的特征，在視場內設定一個符合抓拍標準的矩形區(qū)域，面積在整個視場的1/4～1/3左右，并且在整個視場的中央位置，該區(qū)域被稱為抓拍窗Q.當處理所得的運動物體模型充滿并剛剛溢出抓拍窗時，即為抓拍時機.抓拍窗如同物理中的磁感應線圈，起到圖像抓拍的觸發(fā)作用.為了判定運動物體是否充滿抓拍窗，定義了變量B描述抓拍窗內的圖像梯度總和，即

隨著運動物體模型面積的增大，K逐漸增大，并在充滿且剛剛溢出抓拍窗時取到最大值，保證了抓拍目標圖像的完整性;同時為了保證圖像的清晰度，由于抓拍窗口在中央位置，此時可以假定鏡頭固定不動，利用Kalman濾波與攝像機標定系統，計算目標與攝像機之間的實際相對速度V，在本文中，當V＜3 m/s時，即立刻進行抓拍，獲取目標清晰完整的圖像.圖7中，本系統圖像分辨率為720×570像素.

圖7 人體抓拍效果圖

3 實驗平臺與結果分析

所設計的檢測跟蹤系統要求達到的效果是對于進入攝像頭視場中的運動目標能夠實時檢測出來，并控制云臺轉動，使目標始終以合適大小在攝像頭的視場范圍內，從而達到PTZ跟蹤的目的，并實現目標清晰圖像的自動抓拍.選擇人體作為跟蹤目標進行系統測試，實際處理速度為24 frame/s.快球安裝在公司大樓入口處，高度約為3 m.

3.1 實驗硬件平臺設計和開發(fā)環(huán)境

監(jiān)控系統的硬件部分包括個人計算機、串口連接器和Infinova一體化網絡球形攝像機.攝像機采用Infinova v1700N系列網絡快球，影像最高分辨率可達1 280×1 024像素，串口通信波特率為9 600 bit/s，后臺PC服務器采用酷睿2雙核2.0處理器.由一體化網絡球形攝像機進行監(jiān)控圖像的采集，并直接傳送到計算機，計算機通過軟件對圖像進行分析處理，產生控制信號，通過串口發(fā)送指令控制快球，以實現運動目標的PTZ自動檢測跟蹤.開發(fā)環(huán)境采用VC++.硬件結構如圖8所示.

圖8 系統硬件平臺

3.2 實驗結果和分析

3.2.1 運動檢測的結果和分析

利用檢測率和錯誤報警率對運動區(qū)域進行統計，其統計結果如表1所示.結果表明:系統在不同天氣條件(晴天、陰天、雨天)，以及不同的時間段(早晨、中午、傍晚)均可檢測得出準確的運動對象區(qū)域，證明本文的運動檢測算法具有廣泛的適應性，能適應不同的光照條件和不同的環(huán)境條件.

表1 運動區(qū)域檢測率統計表

3.2.2 自適應PTZ跟蹤與抓拍的結果和分析

從圖2、圖4和圖7可看出，系統能準確、迅速地自動檢測運動目標，控制云臺確保運動目標以合適大小始終出現在攝像頭的視場范圍內，并實現目標圖像的清晰抓拍.表2和表3對運行時間與抓拍成功率作了統計.表2說明該系統完全滿足實時系統24 frame/s的需求.表3說明了人和攝像機之間的相對位置和速度對抓拍成功率的影響，目標運動速度越快，越難抓拍，本系統對3 m/s以下的運動目標具有非常高的成功率，但有時不能很好地獲取快速運動目標的全貌特寫.

表2 運行時間統計表

表3 抓拍成功率統計表

4 結語

選用高像素網絡攝像機，在單目標PTZ跟蹤的基礎上，提出一種基于梯度極值結合目標實際運動矢量的方法實現目標快照的抓拍，能夠更好地獲取目標全貌特征.實驗結果表明:該系統對不同的光照條件和不同的環(huán)境條件具有一定的適應性，并兼顧了整個系統的運行速度和CPU利用率，具有很好的魯棒性、實時性和清晰度.未來可考慮加入目標理解等方法更精確地獲取目標顯著特征.

References)

［1］樊尚春，周游，劉長庭.基于DSP和FPGA技術的細胞圖像采集系統的設計［J］.北京航空航天大學學報，2008，34(6):707-710.Fan Shangchun，Zhou You，Liu Changting.Design of video capture system based on FPGA［J］.Journal of Beijing University of Aeronauticsand Astronautics，2008，34(6):707-710.(in Chinese)

［2］Saegusa T，Maruyama T，Yamaguchi Y.How fast is an FPGA in image processing［J］.IEICE Technical Report，2008，108(48):83-88.

［3］Chen S H Y，Huang Y W，Hsieh B Y.Fast video segmentation algorithm with shadow cancellation，global motion compensation and adaptive threshold techniques［J］.IEEE Transactions on Multimedia，2004，6(5):732-748.

［4］盛平，張凈，倪冬瑋，等.基于單運動目標的PTZ檢測跟蹤系統設計［J］.江蘇大學學報:自然科學版，2010，31(6):710-715.Sheng Ping，Zhang Jing，Ni Dongwei，et al.Design of PTZ detection and tracking system based on single moving object［J］.Journal of Jiangsu University:Natural Science Edition，2010，31(6):710-715.(in Chinese)

［5］王永忠，梁顏，潘泉，等.基于自適應混合高斯模型的時空背景建模［J］.自動化學報，2009，35(4):371-378.Wang Yongzhong，Liang Yan，Pan Quan，et al.Spatiotemporal background modeling based on adaptive mixture of Gaussians［J］.Acta Automatica Sinica，2009，35(4):371-378.(in Chinese)

［6］ Jonathan L，Joseph A，Terveen G，et al.Evaluating collaborative filtering recommender systems［J］.ACM Transactions on Information Systems，2004，22(1):5-53.

［7］ Kato J，Watanabe T，Joga S，et al.An HMM/MRF based stochastic framework for robust vehicle tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2004，5(3):142-154.

［8］王阿琴，楊萬扣，孫長根.基于子圖像的尺寸自適應mean shift目標跟蹤［J］.東南大學學報:自然科學版，2010，40(sup1):131-135.Wang Aqin，Yang Wankou，Sun Changgen.Scale adaptable mean shift object tracking based on image fragments［J］.Journal of Southeast University:Natural Science Edition，2010，40(sup1):131-135.(in Chinese)

［9］Rad R，Jamzad M.Real time classification and tracking of multiple vehicles in highways［J］.Pattern Recognition Letters，2005，26(10):1597-1607.

［10］張輝，王強，徐光祐，等.運動目標的快速檢測、跟蹤和判別［J］.清華大學學報:自然科學版，2002，42(10):1401-1404.Zhang Hui，Wang Qiang，Xu Guangyou，et al.Fast detection，tracking and classification of moving objects［J］.Journal of Tsinghua University:Science and Technology，2002，42(10):1401-1404.(in Chinese)