胡輝，黃思博，胡松，蔡映雪，陳伽，蔡昭權(quán)

（惠州學(xué)院，惠州 516007)

一種基于異常事件檢測的智能視頻監(jiān)控系統(tǒng)

胡輝，黃思博，胡松，蔡映雪，陳伽，蔡昭權(quán)

（惠州學(xué)院，惠州 516007)

針對傳統(tǒng)安防視頻監(jiān)控系統(tǒng)數(shù)據(jù)存儲(chǔ)空間龐大，異常事件或行為等有用的視頻信息人工查找困難等難題，結(jié)合常見的應(yīng)用場景，在綜合運(yùn)用數(shù)字圖像處理理論、目標(biāo)跟蹤算法、神經(jīng)網(wǎng)絡(luò)理論、數(shù)據(jù)分類算法等手段的基礎(chǔ)上，設(shè)計(jì)一種適用于多狀態(tài)異常事件檢測的視頻分析方法，解決融合圖像特征和背景建模的目標(biāo)檢測、目標(biāo)跟蹤優(yōu)化和異常事件辨識(shí)分類的關(guān)鍵技術(shù)難題，最后得到一種基于異常事件檢測的智能視頻監(jiān)控系統(tǒng)。

異常事件檢測；目標(biāo)跟蹤；視頻監(jiān)控系統(tǒng)

0 引言

隨著社會(huì)文明的發(fā)展，為確保保護(hù)目標(biāo)免受犯罪手段的影響，出現(xiàn)了一種依賴人為的物理防范措施——安防系統(tǒng)。在二十一世紀(jì)的今天，安防系統(tǒng)的涵義也引申到了通過一些技術(shù)手段監(jiān)控和保存犯罪證據(jù)的視頻監(jiān)控系統(tǒng)[1]。

得益于先進(jìn)的網(wǎng)絡(luò)技術(shù)，美國是最早在視頻監(jiān)控系統(tǒng)方面開展研究的國家，卡梅隆大學(xué)、麻省理工學(xué)院以及DARPA（Defense Advanced Research Projects A-gency）等高等院校和機(jī)構(gòu)共同推進(jìn)VSAM（Video Surveillance and Monitoring）[2]項(xiàng)目，旨在利用傳感器技術(shù)對真實(shí)場景中的移動(dòng)目標(biāo)進(jìn)行動(dòng)態(tài)監(jiān)控，降低人力費(fèi)用的同時(shí)也保障了人身安全。后來DARPA陸續(xù)開展了AVS（Airborne Video Surveillance）[3]項(xiàng)目和HID（Human Identification ata Distance）[4]項(xiàng)目，研究方向?yàn)槔霉鈱W(xué)和紅外線設(shè)備進(jìn)行目標(biāo)監(jiān)控以及聯(lián)動(dòng)監(jiān)控，使其能夠進(jìn)行遠(yuǎn)距離的人體檢測和步態(tài)跟蹤。

在我國，眾多985、211等高校聯(lián)合科研機(jī)構(gòu)也正在對生物特征檢測以及視頻動(dòng)態(tài)檢測等領(lǐng)域發(fā)起沖擊，其中中科院自動(dòng)化研究所模式識(shí)別國家重點(diǎn)實(shí)驗(yàn)室譚鐵牛教授做出了大量的貢獻(xiàn)[5]。

1 智能視頻監(jiān)控技術(shù)

智能視頻監(jiān)控技術(shù)指的是可以通過視頻監(jiān)控檢測并跟蹤異常事件發(fā)生過程中被檢測出來的運(yùn)動(dòng)目標(biāo)的視頻監(jiān)控技術(shù)，智能視頻監(jiān)控技術(shù)研究如下：

（1）在運(yùn)動(dòng)目標(biāo)檢測方面，可通過光流法、幀間差法、背景差法等方法實(shí)現(xiàn)，基本原理均為檢測監(jiān)控場景中隨著時(shí)間的推移，通過檢測視頻監(jiān)控畫面前后變化來確定異常事件的發(fā)生和運(yùn)動(dòng)目標(biāo)的檢測標(biāo)記。

（2）在運(yùn)動(dòng)目標(biāo)跟蹤方面，可以采用多種跟蹤算法，如基于特征檢測的運(yùn)動(dòng)目標(biāo)跟蹤算法[6]、基于運(yùn)動(dòng)目標(biāo)輪廓特征的匹配方法[7]、基于位置預(yù)測和運(yùn)動(dòng)估計(jì)的目標(biāo)跟蹤算法等，基本原理均在視頻畫面中動(dòng)態(tài)勾勒運(yùn)動(dòng)目標(biāo)的輪廓，通過特征檢測預(yù)測運(yùn)動(dòng)位置的變化，判斷跟蹤目標(biāo)的運(yùn)動(dòng)規(guī)則。

（3）在異常事件和行為的分類方面，也創(chuàng)新性的提出了特征模型匹配、判別式模型、狀態(tài)空間模型等方法。

通常任何單一的視頻監(jiān)控技術(shù)都存在不可忽視的缺陷，檢測結(jié)果較為片面，只有把這些智能視頻監(jiān)控技術(shù)綜合起來，通過多種途徑對視頻監(jiān)控畫面進(jìn)行識(shí)別和建模分析，才能更為準(zhǔn)確地檢測出應(yīng)用場景中的異常事件以及運(yùn)動(dòng)目標(biāo)。

圖1 運(yùn)動(dòng)目標(biāo)跟蹤示意圖

2 系統(tǒng)原理

（1）基于異常事件的檢測方法要對視頻監(jiān)控畫面進(jìn)行檢測，發(fā)現(xiàn)異常事件發(fā)生過程中視頻畫面的變化特征，這就需要對視頻畫面的常態(tài)背景進(jìn)行建模，即構(gòu)建自適應(yīng)的背景圖像模型，使得該模型可以作為理論標(biāo)準(zhǔn)用以跟實(shí)時(shí)的視頻圖像進(jìn)行校對，然后通過設(shè)計(jì)的檢測算法在校對過程中前后兩幀進(jìn)行差分計(jì)算并加以閾值處理，快速捕捉圖像變化區(qū)域的像素點(diǎn)，將描述變化區(qū)域輪廓的一系列像素點(diǎn)組合起來作為特征并給予標(biāo)記。

（2）在（1）中被標(biāo)記的圖像變化區(qū)域可能是一個(gè)運(yùn)動(dòng)目標(biāo)的整體，也可能只是運(yùn)動(dòng)目標(biāo)的一部分，因此需要在（1）的基礎(chǔ)上通過設(shè)計(jì)的識(shí)別算法將被標(biāo)記的一個(gè)或多個(gè)圖像變化區(qū)域有機(jī)結(jié)合起來，形成一種可識(shí)別的行為，跟自有的已定義的行為語義進(jìn)行比對，確認(rèn)該行為是否為正常行為，若該行為未被定義，則設(shè)為預(yù)警級別的行為。

圖2 運(yùn)動(dòng)區(qū)域像素標(biāo)記示意圖

（3）設(shè)計(jì)多攝像頭多角度聯(lián)合檢測機(jī)制，將從不同角度捕捉到的標(biāo)記行為融合到一起，通過構(gòu)建運(yùn)動(dòng)目標(biāo)的立體模型并還原運(yùn)動(dòng)目標(biāo)的行為，利用目標(biāo)跟蹤算法對立體模型進(jìn)一步判別運(yùn)動(dòng)目標(biāo)的行為，最終確定該行為的性質(zhì)。

（4）將異常行為作為樣本保存到行為定義庫中，并通過目標(biāo)跟蹤機(jī)制持續(xù)跟蹤運(yùn)動(dòng)目標(biāo)的行為，聯(lián)動(dòng)其他區(qū)域的攝像頭多維度監(jiān)控運(yùn)動(dòng)目標(biāo)的行動(dòng)路線，保存運(yùn)動(dòng)目標(biāo)異常行為的視頻畫面作為證據(jù)，同時(shí)在后臺(tái)中向管理員發(fā)出警報(bào)。

圖3 檢測流程

3 系統(tǒng)實(shí)現(xiàn)

（1）圖像處理模塊。首先采集視頻圖像在時(shí)間軸上的關(guān)系序列，并分析監(jiān)控場景的變化模式，利用卡爾曼濾波器通過動(dòng)態(tài)建模的方式對背景圖像進(jìn)行實(shí)時(shí)更新，然后將當(dāng)前視頻圖像和監(jiān)控場景動(dòng)態(tài)構(gòu)建的模型進(jìn)行校對，結(jié)合相鄰兩幀的差分計(jì)算、形態(tài)學(xué)處理以及二值化運(yùn)算，采用閾值化機(jī)制達(dá)到對運(yùn)動(dòng)目標(biāo)的檢測。圖像處理模塊的結(jié)果將提交到圖像特征提取模塊進(jìn)行運(yùn)動(dòng)目標(biāo)的特征提取，并處理行為識(shí)別模塊中由于行為定義所產(chǎn)生的冗余圖像差。

（2）圖像特征提取模塊。將圖像處理模塊提供的圖像差異結(jié)果中多個(gè)分離目標(biāo)的大致輪廓提取出來，聯(lián)合多個(gè)運(yùn)動(dòng)目標(biāo)的局部輪廓，匯聚成運(yùn)動(dòng)目標(biāo)的整體輪廓，去除圖像中因環(huán)境變化等外部因素造成的圖像模糊部分以及因攝像頭分辨率低帶來的無法識(shí)別部分，最終得到相對準(zhǔn)確的運(yùn)動(dòng)目標(biāo)的圖像特征。提取出來的圖像特征將被傳遞到行為識(shí)別模塊，作為行為識(shí)別的素材。

圖4 圖像輪廓提取效果圖

（3）行為識(shí)別模塊。將圖像特征提取模塊提交的圖像特征按照時(shí)間順序序列化，在相對清晰的運(yùn)動(dòng)目標(biāo)特征的基礎(chǔ)上，利用基于位置預(yù)測和運(yùn)動(dòng)估計(jì)的目標(biāo)跟蹤方法，從一系列的圖像特征中抽象出一個(gè)具有速度和加速度的運(yùn)動(dòng)目標(biāo)，使得運(yùn)動(dòng)目標(biāo)更加形象化，通過這一更為具體形象的運(yùn)動(dòng)目標(biāo)與訓(xùn)練樣本模型進(jìn)行相似度匹配，若匹配成功則行為識(shí)別成功，若匹配失敗，則將該運(yùn)動(dòng)模型登記，返回運(yùn)動(dòng)模型和冗余的圖像差至圖像處理模塊，進(jìn)一步修輯視頻圖像使得運(yùn)動(dòng)目標(biāo)的行為更容易被辨認(rèn)。在反復(fù)的匹配識(shí)別、反饋處理的過程中成功識(shí)別行為或更新行為模型庫。

（4）多攝像機(jī)協(xié)作模塊。通過設(shè)計(jì)的多攝像機(jī)協(xié)作機(jī)制，協(xié)調(diào)多部攝像機(jī)針對可視范圍內(nèi)已識(shí)別的異常行為進(jìn)行跟蹤，多角度記錄異常行為的發(fā)生經(jīng)過，并形成行動(dòng)路線，預(yù)測行為的移動(dòng)方向，調(diào)配相鄰區(qū)域的攝像機(jī)提前做好跟蹤準(zhǔn)備，保證異常行為被完整記錄。

（5）后臺(tái)管理模塊?？晒芾磉B接到智能視頻監(jiān)控系統(tǒng)的攝像機(jī)，并可以分屏顯示多攝像機(jī)的實(shí)時(shí)視頻畫面；可管理從視頻圖像中提取出來的圖像特征以及行為識(shí)別圖像；可智能化控制多攝像機(jī)持續(xù)跟蹤已發(fā)現(xiàn)的異常行為；可單個(gè)或打包下載圖像或任意時(shí)間段內(nèi)的監(jiān)控視頻；可依賴權(quán)限分級管理智能視頻監(jiān)控系統(tǒng)的用戶。

圖5 行為識(shí)別效果圖

圖6 智能視頻監(jiān)控系統(tǒng)結(jié)構(gòu)圖

4 結(jié)語

本文通過基于異常事件檢測的智能視頻監(jiān)控技術(shù)進(jìn)行研究，提出了一種基于異常事件檢測的智能視頻監(jiān)控系統(tǒng)，依靠自主研發(fā)的圖像建模、圖像特征特區(qū)、行為識(shí)別等算法，完成異常事件的檢測及報(bào)警，為智能安防提供了一種可靠的實(shí)現(xiàn)方案。

[1]余雷，許宏科，胡欣.基于物聯(lián)網(wǎng)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26(4):139-143.

[2]Lipton A，Kanade T，F(xiàn)ujiyoshi H，et al.A System for Video Surveillance and Monitoring[M].Pittsburg:Carnegie Mellon University，the Robotics Institute，2000.

[3]Kumar R，Sawhney H，Samarasekera S，et al.Aerial Video Surveillance and Exploitation[J].Proceedings of the IEEE，2001，89(10): 1518-1539.

[4]Collins R T，Gross R，Shi J.Silhouette-Based Human Identification from Bodyshape Andgait[C].Automatic Face and Gesture Recognition，2002.Proceedings.Fifth IEEE International Conference on.IEEE，2002:366-371.

[5]Hu W，Zhou X，Hu M，et al.Occlusion Reasoning for Tracking Multiple People[J].Circuits and Systems for Video Technology，IEEETransactions on，2009，19(1):114-121.

[6]Shu G，Dehghan A，Oreifej O，et cl.Part-Based Multiple-Person Tracking with PartialOcclusion Handling[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，2012：1815-1821.

[7]Roh MC，Kim TY，Park JH，et al.Accurate Object Contour Tracking Based on Boundary Edge Selection[J].Pattern Recognition，2007，40(3).931-943.

Design of the Intelligent Video Surveillance System Based on Abnormal Events Detection

HU Hui，HUANG Si-bo，HU Song，CAI Ying-xue，CHEN Jia，CAI Zhao-quan

（Huizhou University，Huizhou 516007）

For the problems of large data storage space of traditional security video surveillance system,and difficult to find other unusual events or behavior useful video information artificial,combines the common application scenarios,integrates the use of digital image processing theory,target tracking algorithms,neural networks,data means classification algorithm based on the design of a multi-state suitable for detecting abnormal event video analysis method,to solve the fused image features and background modeling target detection,target tracking and optimization abnormal event identification key technical problems of classification,and gets the intelligent video surveillance system based on abnormal events detection.

Detection of Abnormal Events;Target Tracking;Video Surveillance System

1007-1423（2017）04-0030-04

10.3969/j.issn.1007-1423.2017.04.07

胡輝（1979-），女，江蘇鹽城人，碩士，講師，研究方向?yàn)橛?jì)算機(jī)軟件

黃思博（1984-），男，廣東人，碩士，工程師，研究方向?yàn)橹悄苄畔⑻幚?/p>

胡松（1985-），女，河北秦皇島人，碩士，講師，研究方向?yàn)樾畔⑾到y(tǒng)和信息管理

蔡映雪（1983-），女，廣東汕尾人，本科，研究方向?yàn)橛?jì)算機(jī)軟件

陳伽（1979-），男，廣東惠東人，碩士，研究方向?yàn)橛?jì)算機(jī)軟件和計(jì)算機(jī)網(wǎng)絡(luò)

蔡昭權(quán)（1970-），男，廣東陸豐人，碩士，教授，研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)、智能計(jì)算、數(shù)據(jù)庫

2016-12-06

2017-01-23

廣東省普通高校青年創(chuàng)新人才類項(xiàng)目（No.2015B010002002）、惠州市科技計(jì)劃項(xiàng)目（No.2015B010002002）