河南中光學(xué)集團(tuán)有限公司 張 銳 賈會(huì)梅 全曉鵬

多光電跟蹤儀目標(biāo)接力跟蹤方法設(shè)計(jì)與實(shí)現(xiàn)

河南中光學(xué)集團(tuán)有限公司 張 銳 賈會(huì)梅 全曉鵬

目標(biāo)接力跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要課題，在邊海防監(jiān)控、要地防御、城市安防等領(lǐng)域具有很強(qiáng)的應(yīng)用價(jià)值。設(shè)計(jì)并實(shí)現(xiàn)了多光電跟蹤儀的目標(biāo)接力跟蹤方法。首先，利用幀差法和背景減除法，對(duì)單臺(tái)光電跟蹤儀進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)并標(biāo)定有效跟蹤目標(biāo)；然后，利用SURF特征匹配和Kalman濾波算法，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)跟蹤；最后，通過(guò)對(duì)各光電跟蹤儀的接力方式和區(qū)域進(jìn)行定義和調(diào)配，實(shí)現(xiàn)了多光電跟蹤儀的接力跟蹤。實(shí)驗(yàn)結(jié)果表明，該方法在保證實(shí)時(shí)性的條件下，具有較高的準(zhǔn)確性。

光電跟蹤儀；目標(biāo)檢測(cè)；SURF特征；Kalman 濾波；接力跟蹤

1.引言

視覺(jué)目標(biāo)跟蹤是智能視頻監(jiān)控及其他視頻處理系統(tǒng)最基本的核心技術(shù)。實(shí)際應(yīng)用中，單臺(tái)光電跟蹤儀視野有限，往往需要多臺(tái)光電跟蹤儀聯(lián)合監(jiān)控。多臺(tái)光電跟蹤儀聯(lián)動(dòng)具有監(jiān)控范圍大、全方位、多視角等優(yōu)點(diǎn)，有利于解決目標(biāo)遮擋、混亂環(huán)境、光照突變等情況下的運(yùn)動(dòng)目標(biāo)跟蹤問(wèn)題，近年來(lái)已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域一個(gè)新的研究熱點(diǎn)[1]。

1998年，MeyerM等人[2]提出使用多攝像機(jī)進(jìn)行場(chǎng)景監(jiān)控，這樣不僅可解決單一攝像機(jī)視野有限的問(wèn)題，還有利于解決目標(biāo)的遮擋問(wèn)題。Khan和 Shah[3]使用FOV來(lái)實(shí)現(xiàn)多個(gè)視野之間的接力跟蹤。Orwell[4]和 Krumm[5]等通過(guò)比較目標(biāo)區(qū)域的顏色直方圖來(lái)建立多攝像機(jī)下多目標(biāo)之間的匹配。Mittal[6]等在目標(biāo)的運(yùn)動(dòng)區(qū)域建立高斯顏色模型，通過(guò)比較高斯顏色模型的相關(guān)度來(lái)進(jìn)行匹配。同時(shí)，對(duì)視野無(wú)重疊的多攝像機(jī)聯(lián)動(dòng)跟蹤的研究成果也有很多[7]，但在實(shí)際場(chǎng)景中的應(yīng)用效果并不太理想，目標(biāo)容易跟丟、跟錯(cuò)等。

本文以要地防御監(jiān)控系統(tǒng)目標(biāo)接力跟蹤為背景，基于目標(biāo)特征模型匹配算法，設(shè)計(jì)和實(shí)現(xiàn)了一種多光電跟蹤儀之間目標(biāo)接力跟蹤的方法。該方法在運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤和接力部分，均采用實(shí)時(shí)性較高的算法，提高了目標(biāo)跟蹤的實(shí)時(shí)性和準(zhǔn)確度。

2.算法框架

要地防御監(jiān)控場(chǎng)景要求防護(hù)等級(jí)高，監(jiān)控覆蓋面廣，全天候不間斷運(yùn)行，隨時(shí)要掌握?qǐng)龅刂腥藛T、車輛及突發(fā)事件的前端視頻信息。單光電跟蹤儀監(jiān)控范圍有限，容易產(chǎn)生監(jiān)控盲區(qū)，造成信息遺漏，難以滿足重點(diǎn)區(qū)域、重點(diǎn)防護(hù)的要求；而多臺(tái)光電跟蹤儀聯(lián)動(dòng)則有利于實(shí)現(xiàn)對(duì)目標(biāo)進(jìn)行大范圍、多視角的監(jiān)控及跟蹤。

本文對(duì)多光電跟蹤儀的目標(biāo)接力跟蹤關(guān)鍵算法進(jìn)行研究。接力跟蹤的主要分為兩個(gè)步驟：1）單光電跟蹤儀下目標(biāo)跟蹤；2）多光電跟蹤儀間協(xié)同跟蹤。目標(biāo)接力跟蹤是以單光電跟蹤儀的目標(biāo)跟蹤為基礎(chǔ)的，在每個(gè)光電跟蹤儀內(nèi)完成目標(biāo)的檢測(cè)和跟蹤后才進(jìn)行多光電跟蹤儀之間的協(xié)同跟蹤。整體算法采用網(wǎng)絡(luò)架構(gòu)模式，前端單光電跟蹤儀負(fù)責(zé)運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤，后端由調(diào)度中心服務(wù)器負(fù)責(zé)協(xié)調(diào)各光電跟蹤儀間的接力規(guī)則的制定和接力任務(wù)的調(diào)配，實(shí)現(xiàn)了多光電跟蹤儀之間的目標(biāo)交接、連續(xù)跟蹤等功能，具體框架如圖1所示。

圖1 目標(biāo)接力跟蹤算法框架圖

3.關(guān)鍵算法

3.1 運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)的跟蹤主要技術(shù)難點(diǎn)是復(fù)雜環(huán)境中的目標(biāo)檢測(cè)與特征提取。目前常用的目標(biāo)檢測(cè)算法有光流法[8]、幀差法[9]和背景減除法[10]。光流法計(jì)算復(fù)雜，難以滿足實(shí)時(shí)性要求；幀差法能夠快速有效地從背景中檢測(cè)出目標(biāo)，但分割出的目標(biāo)不完整；背景減除法算法簡(jiǎn)單且易于實(shí)現(xiàn)，但易造成目標(biāo)信息的漏檢而形成空洞。通過(guò)實(shí)驗(yàn)綜合比較，本設(shè)計(jì)采用背景減除法和幀差法相結(jié)合的方案[11]，提高目標(biāo)檢測(cè)的準(zhǔn)確度和實(shí)時(shí)性。

背景減除法是利用當(dāng)前幀圖像減去不含運(yùn)動(dòng)目標(biāo)的背景圖像，然后根據(jù)一定的閾值來(lái)檢測(cè)出前景目標(biāo)。其計(jì)算公式如下 ：

在背景模型建立時(shí)，由于實(shí)際場(chǎng)景復(fù)雜，干擾多，采用混合高斯模型，具有較好的抗干擾性，同時(shí)采用文獻(xiàn)[12]的方法更新時(shí)變權(quán)值參數(shù)，使模型能及時(shí)反映背景變化。

幀差法可以獲取目標(biāo)的輪廓，但運(yùn)動(dòng)目標(biāo)速度較快時(shí)，兩幀差分法得到的運(yùn)動(dòng)區(qū)域會(huì)大于實(shí)際目標(biāo)[11]。為提高目標(biāo)運(yùn)動(dòng)區(qū)域的準(zhǔn)確度，考慮采用三幀差分法，計(jì)算公式為：

其中：T為二值化圖像的閾值，W為中值濾波器的窗口函數(shù)。

綜上，本文采用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法的主要步驟：1）通過(guò)三幀幀差運(yùn)算得到圖像中的運(yùn)動(dòng)區(qū)域；2）在求取的運(yùn)動(dòng)區(qū)域內(nèi)運(yùn)用三幀幀差圖像和背景減除圖像的邏輯或操作，得到高精度、比較完整的前景圖像：

3.2 單光電跟蹤儀目標(biāo)跟蹤

SURF是一種與SIFT類似的尺度不變特征提取方法。與SIFT相比，SURF運(yùn)算簡(jiǎn)單，效率更高。由于單獨(dú)使用 SURF 算法無(wú)法對(duì)快速運(yùn)動(dòng)目標(biāo)進(jìn)行準(zhǔn)確跟蹤，本文采用Kalman 濾波和SURF特征相結(jié)合的方法來(lái)進(jìn)行目標(biāo)跟蹤，主要步驟如下：

1）確定跟蹤目標(biāo)：檢測(cè)出區(qū)域內(nèi)的動(dòng)目標(biāo)后，采用 SURF 算子進(jìn)行特征提取，選取特征點(diǎn)最多的目標(biāo)作為跟蹤目標(biāo)。

2）目標(biāo)的預(yù)測(cè)：在預(yù)測(cè)階段，構(gòu)建一個(gè)基于目標(biāo)定位的搜索區(qū)域。通過(guò)Kalman 濾波算法獲取下一幀目標(biāo)可能出現(xiàn)的大致方位，在這個(gè)局部區(qū)域進(jìn)行目標(biāo)的搜索定位，將大大減少運(yùn)算時(shí)間和提高跟蹤的魯棒性。

3）目標(biāo)的定位：SURF 特征點(diǎn)匹配時(shí)，采用最近鄰匹配法（NNDR）和文獻(xiàn)[13]的去除誤匹配點(diǎn)和定位目標(biāo)的算法，通過(guò)設(shè)置閾值的方式，判定特征點(diǎn)是否匹配成功。同時(shí)，在基于 SURF 的定位后，由于搜索區(qū)域中的相似特征點(diǎn)或目標(biāo)會(huì)導(dǎo)致偶然的錯(cuò)誤匹配情況，采用直方圖匹配方法進(jìn)一步排除錯(cuò)誤目標(biāo)。

3.3 多光電跟蹤儀接力跟蹤

根據(jù)要地防御監(jiān)控中對(duì)道路人員、車輛進(jìn)行接力跟蹤的需求，設(shè)計(jì)了在道路沿線架設(shè)多臺(tái)光電跟蹤儀，且相鄰光電跟蹤儀視場(chǎng)有重疊區(qū)域的實(shí)施方案，系統(tǒng)總體設(shè)計(jì)如圖2所示，圖中Si表示第i臺(tái)光電跟蹤儀（i=1,2,…, n），Ai表示Si和Si+1的視場(chǎng)重疊區(qū)域。

圖2 系統(tǒng)總體設(shè)計(jì)圖

光電跟蹤儀負(fù)責(zé)目標(biāo)檢測(cè)與跟蹤，調(diào)度服務(wù)器負(fù)責(zé)協(xié)調(diào)與各光電跟蹤儀通信及傳輸目標(biāo)特征、檢測(cè)結(jié)果、跟蹤信息等。接力跟蹤的主要流程如下：

1）目標(biāo)檢測(cè)與選定：光電跟蹤S1儀負(fù)責(zé)目標(biāo)的檢測(cè)和選定，確定跟蹤目標(biāo)并進(jìn)行跟蹤；

2）接力跟蹤階段：(a)當(dāng)目標(biāo)進(jìn)入重疊區(qū)域Ai后，光電跟蹤儀Si將重疊區(qū)域信息和目標(biāo)特征集上傳到調(diào)度服務(wù)器；(b)調(diào)度服務(wù)器接收到上傳的信息后，根據(jù)預(yù)先定義的調(diào)度規(guī)則，將重疊區(qū)域信息和特征集下發(fā)給接力的光電跟蹤儀Si+1；(c)光電跟蹤儀Si+1接收到信息后，進(jìn)行目標(biāo)的檢測(cè)，根據(jù)光電跟蹤儀Si傳遞過(guò)來(lái)的特征集進(jìn)行目標(biāo)匹配，匹配成功后進(jìn)行目標(biāo)跟蹤。

待目標(biāo)進(jìn)入下一個(gè)重疊區(qū)域Ai+1后，重復(fù)執(zhí)行步驟(a)、(b)、(c)，直到目標(biāo)跟蹤結(jié)束。接力跟蹤流程圖如圖3所示。

圖3 接力跟蹤流程圖

4.實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)在有行人和車輛通過(guò)的道路上進(jìn)行測(cè)試，主要分為運(yùn)動(dòng)目標(biāo)檢測(cè)、單光電跟蹤儀目標(biāo)跟蹤及多光電跟蹤儀間的目標(biāo)接力跟蹤。

4.1 運(yùn)動(dòng)目標(biāo)檢測(cè)

圖4(a)為通過(guò)公式(2)獲得的三幀幀差法二值圖像，可以明顯看出運(yùn)動(dòng)目標(biāo)的輪廓圖；圖4(b)為通過(guò)公式(1)得到的背景減除法二值圖像，會(huì)發(fā)現(xiàn)有大量噪點(diǎn)存在；通過(guò)三幀幀差法運(yùn)算獲得目標(biāo)的運(yùn)動(dòng)區(qū)域，如圖4(c)所示，在運(yùn)動(dòng)區(qū)域內(nèi)運(yùn)用三幀幀差法和背景減除法，如圖4(d)所示，噪點(diǎn)減少，目標(biāo)特征明顯。

圖4 目標(biāo)檢測(cè)圖

4.2 單光電跟蹤儀目標(biāo)跟蹤

當(dāng)檢測(cè)到場(chǎng)景中的運(yùn)動(dòng)目標(biāo)時(shí)，選擇特征點(diǎn)最多的運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，如圖5(a)所示，目標(biāo)進(jìn)入視頻畫(huà)面時(shí)用紅框進(jìn)行標(biāo)記。分別采集了視頻中的第1、11、31、51幀，可以看到從目標(biāo)進(jìn)入時(shí)開(kāi)始進(jìn)行跟蹤。

圖5 目標(biāo)跟蹤效果圖

4.3 多光電跟蹤儀接力跟蹤

考慮相鄰的兩個(gè)光電跟蹤儀Si和Si+1?，F(xiàn)對(duì)Si中的某一運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，如圖6(a)中所示，當(dāng)跟蹤目標(biāo)進(jìn)入Si和Si+1的重疊區(qū)域Ai后，由調(diào)度服務(wù)器協(xié)調(diào)Si+1進(jìn)行目標(biāo)搜索及接力跟蹤，如圖6(b)所示。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方案的可行性。

圖6 接力跟蹤效果圖

5.結(jié)論與展望

本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于多光電跟蹤儀運(yùn)動(dòng)目標(biāo)接力跟蹤的方法。通過(guò)幀差法、背景減除法、Kalman 濾波、SURF特征提取、目標(biāo)特征模型匹配及各光電跟蹤儀間的接力調(diào)度等步驟完成接力跟蹤。該方法目前已經(jīng)實(shí)際應(yīng)用于邊海防視頻監(jiān)控、要地防御監(jiān)控等多個(gè)領(lǐng)域。應(yīng)用結(jié)果表明，該方法保證了多光電跟蹤儀間的目標(biāo)穩(wěn)定交接和持續(xù)跟蹤，可以滿足要地防御監(jiān)控的實(shí)時(shí)性和準(zhǔn)確性要求，是一種可行的接力跟蹤方法。下一步還需研究把運(yùn)動(dòng)目標(biāo)和跟蹤算法集成到光電跟蹤儀硬件設(shè)備中，進(jìn)一步提高接力跟蹤的實(shí)時(shí)性。

[1]趙春暉,張洪才,牛恩國(guó)．多攝像機(jī)目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)[J]．計(jì)算機(jī)測(cè)量與控制,2008,16(1):128-131．

[2]M．Meyer,M．Hotter,T．Ohmacht．Newoptionsinvideosurveillancea pplicationsusingmultipleviewsofascene[C]．InternationalCarnahanConferen ceonSecurityTechnology,2002,216-219．

[3]S．Khan,M．Shah．Consistentlabelingoftrackedobjectsinmultiplecam eraswithoverlappingfieldsofview．IEEETransonpatternanalysisandmachinei ntelligence,2003,25(10):1355-1360．

[4]J．Orwell,P．Remagnino,G．A．Jones．Multi-Cameracolortracking．Proc．ofthe2ndIEEEWorkshoponVisibleSurveillance,1999,14-24．

[5]J．Krumm,S．Harris,etal．Multi-CameraMulti-Persontrackingforeasyliving[J]．Proc．ofthe3rdIEEEIntl．WorkshoponVisualSurveillance,2000,3-10．

[6]A．Mittal,L．S．Davis．M2Tracker:AMulti-Viewapproachtosegment ingandtrackingpeopleinaclutteredsceneusingRegion-Basedstereo[J]．Proc．ofthe7thEuropeanConferenceonComputerVision,2002,18-36．

[7]K．W．Chen,C．C．Lai,etal．Adaptivelearningfortargettrackingandtrue linkingdiscoveringacrossmultiplenon-overlappingcameras[J]．IEEETransac tiononMultimedia,2011,13(4):625-638．

[8]B．Horn,B．Schunck．Determiningopticalflow[J]．ArtificialIntelligen ce,1981,17(1):185-203．

[9]R．T．Collins,A．Lipton,etal．Asystemforvideosurveillanceandmonito ring[R]．CarnegieMellonUniversity,2000．

[10]L．Y．Li,W．M．Huang,elal．Statisticalmodelingofcomplexbackgro undsforforegroundobjectdetection[J]．IEEETransactionsonImageProcessi ng,2004,13(11):1459-1472．

[11]周西漢,劉勃,周荷琴．一種基于對(duì)稱差分和背景消減的運(yùn)動(dòng)檢測(cè)方法[J]．計(jì)算機(jī)仿真,2005,22(4):117-119．

[12]方帥,薛方正,徐心和．基于背景建模的動(dòng)態(tài)目標(biāo)檢測(cè)算法的研究與仿真[J]．系統(tǒng)仿真學(xué)報(bào),2005,17(1):159-165．

[13]H．Yin,C．Peng,Y．Chai．Arobustobjecttrackingalgorithmbas edonSURFandKalmanfilter．IntelligentAutomationandSoftComputi ng,2013,19(4):567-579．

張銳（1979－），男，大學(xué)本科，現(xiàn)供職于河南中光學(xué)集團(tuán)有限公司，研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺(jué)、視頻圖像處理、安防監(jiān)控。