田瑞娟,雷雨能

(西南自動化研究所，四川 綿陽 621000)

?

【信息科學(xué)與控制工程】

基于DM8168的哨位安全智能視頻分析系統(tǒng)

田瑞娟,雷雨能

(西南自動化研究所，四川 綿陽 621000)

設(shè)計了一種基于DM8168嵌入式平臺的多路視頻輸入的哨位安全智能視頻分析系統(tǒng)，并采用灰度與光流雙模型的背景建模與更新，實(shí)現(xiàn)了對人員闖入、遺留物檢測，并對哨兵異常行為識別；試驗(yàn)表明：系統(tǒng)的檢測精度高，虛警率較低，系統(tǒng)性能穩(wěn)定、實(shí)時性好；本系統(tǒng)在哨位安防監(jiān)控中得到了很好的應(yīng)用，有效提升了哨位對安全威脅的預(yù)警能力，滿足武警、公安部隊(duì)哨位智能設(shè)備的應(yīng)用需求。

DM8168；哨位安全；視頻分析；背景建模

哨兵是哨位職責(zé)的執(zhí)行者，承擔(dān)著保護(hù)目標(biāo)安全的神圣使命，因此極易成為恐怖分子和黑惡勢力攻擊的對象。最近幾年國內(nèi)外針對哨兵被襲的惡性事件屢有發(fā)生，給哨兵帶來極大的生命安全威脅。如中國重慶和沈陽發(fā)生的兩起哨兵遇襲的惡性案件、印度兵營被襲擊事件等等[1]。

目前哨位安全主要靠哨兵進(jìn)行“人防”，提高哨兵的敵情觀念、增強(qiáng)哨兵的防范意識等手段來實(shí)現(xiàn)。由于受限于哨兵視線、注意力等多方面的限制，安全預(yù)警能力普遍較低，因此迫切需要采用先進(jìn)的技術(shù)手段對安全威脅進(jìn)行主動識別[1-3]，及時提醒哨兵進(jìn)行處置。通過“人防”加“技防”，有效提高哨兵的快速反應(yīng)能力和處理突發(fā)事件的能力，充分保障哨位及目標(biāo)的安全。

哨位安全智能視頻分析系統(tǒng)是以保障哨位安全為目的，通過智能視頻分析技術(shù)對哨位一定范圍內(nèi)的威脅人群或威脅物品進(jìn)行智能檢測、識別、預(yù)警，對哨兵出現(xiàn)的異常行為進(jìn)行檢測和預(yù)警。

本文的哨兵安全智能視頻分析系統(tǒng)采用基于TMS320DM8168為核心的數(shù)字視頻處理器。在該處理器上實(shí)現(xiàn)對哨位區(qū)域的多路視頻進(jìn)行采集、處理、傳輸。系統(tǒng)可根據(jù)監(jiān)控區(qū)域的具體情況設(shè)置非規(guī)則的虛擬警戒區(qū)域和虛擬警戒線，自動對警戒區(qū)域內(nèi)入侵人員進(jìn)行檢測，對出現(xiàn)的可疑滯留物進(jìn)行檢測，以及對哨兵出現(xiàn)的異常狀態(tài)檢測。

1 DM8168處理器介紹

DM8168嵌入式硬件平臺為TI公司的達(dá)芬奇架構(gòu)視頻處理器。TMS320-DM8168是TI Davinci系列數(shù)字多媒體處理芯片，是一款基于DSP+ARM架構(gòu)的高性能、高集成度、超低功耗的高清圖象處理器芯片[4-5]，集成了4個內(nèi)核和多個外設(shè)和總線接口，包括11C674x DSP，主頻可達(dá)1 GHz，處理能力可達(dá)8 000/6 000MIPS/MFLOPS；22Cortex A8 ARM，主頻可達(dá)1.2 GHz；33VPSS M3，用于控制高清視頻處理子系統(tǒng)HDVPSS，負(fù)責(zé)接收從TVP5158的數(shù)據(jù)總線進(jìn)來的視頻圖像，并進(jìn)行預(yù)處理如濾波、反交疊、融合以及圖像顯示等功能；44VIDEO M3，用于MPEG、H264、VC-1、AVS等格式的編解碼。

2 系統(tǒng)硬件組成

哨位安全智能視頻分析系統(tǒng)以DM8168處理器為核心，在其外圍擴(kuò)展存儲器、電源轉(zhuǎn)換、以太網(wǎng)接口、視頻接口等設(shè)備。其系統(tǒng)框圖如圖1。

在系統(tǒng)中視頻輸入接口采用TVP5158，支持16路D1圖像輸入，通過4片TVP5158共可輸入16路D1視頻。

DM8168的視頻輸出形式包括： 1個HDMI視頻輸出接口，4個標(biāo)清DAC視頻輸出接口，3個高清DAC視頻輸出接口；并提供了兩個高清數(shù)字視頻接口。

DM8168 處理器ARM A8運(yùn)行于linux系統(tǒng)下，而VPSS M3、VIDEO M3、C674x DSP運(yùn)行于TI的BIOS系統(tǒng)下，各核共享DDR內(nèi)存，相互之間可通過信號量和郵箱、內(nèi)存共享機(jī)制進(jìn)行同步控制和數(shù)據(jù)傳遞。應(yīng)用開發(fā)基于TI公司的DVRRDK開發(fā)工具包，目前使用版本為3.0.0.0。DVRRDK中，各軟件處理單元包裝為LINK，并賦予相應(yīng)的輸入輸出控制參數(shù)。在本系統(tǒng)的LINK鏈接，應(yīng)用從視頻端口輸入，視頻幀送至DSP進(jìn)行分析處理，處理幀經(jīng)壓縮再送至A8處理器，A8就可經(jīng)網(wǎng)絡(luò)將視頻流和分析數(shù)據(jù)送出。

自行開發(fā)的智能視頻分析處理應(yīng)用程序通過NFS服務(wù)器下載到ARM文件系統(tǒng)中。通過配置BIOS地址，系統(tǒng)上電后，自動將哨位智能視頻處理程序加載到DSP核運(yùn)行。

3 視頻分析處理與效果驗(yàn)證

DSP接收ARM A8的視頻數(shù)據(jù)后，根據(jù)ARM發(fā)送的指令對相應(yīng)的視頻流進(jìn)行虛擬警戒闖入、遺留物檢測，以及哨兵的行為分析等視頻處理。為保證實(shí)時性兼顧DSP處理能力，DSP每間隔2幀圖像處理1次視頻。

3.1 灰度與光流雙模型的背景建模

在哨位安全智能視頻分析系統(tǒng)中多為針對固定攝像機(jī)進(jìn)行視頻分析，因此，背景建模與更新是進(jìn)行虛擬警戒與遺留物檢測的基礎(chǔ)。

1) 灰度背景模型。本文采用均值法建立灰度背景模型,Pi(x,y)表示第i幀(i∈[1,n])點(diǎn)(x,y)的灰度值，m(x,y)表示點(diǎn)(x,y)的背景模型，灰度背景模型如：

2) 區(qū)分靜止背景和運(yùn)動背景。Bi(x,y)表示第i幀(i∈[1,n])點(diǎn)(x,y)是否靜止背景：

TH為閾值，目前TH值的確定主要靠經(jīng)驗(yàn)。區(qū)分靜止背景與運(yùn)動背景后，用灰度背景模型表示靜止背景。

3) 光流背景模型。令x={x1,x2,…,xn}表示用來訓(xùn)練的n個樣本，xt(t∈[1,n])包括時刻t像素的灰度信息、鄰域內(nèi)的灰度信息以及時刻t-1對應(yīng)像素的灰度信息與其鄰域內(nèi)的灰度信息；c={u,v,w}表示每個像素的光流背景模型，u,v,w如下式：

u=(umin,umax,u-diffmin,u-diffmax)

v=(vmin,vmax,v-diffmin,v-diffmax)

w=(wmin,wmax,w-diffmin,w-diffmax)

光流背景模型為

u=(mint{ut}, maxt{ut}, mint{u-difft}, maxt{u-difft}}

v=(mint{vt}, maxt{vt}, mint{v-difft}, maxt{v-difft}}

w=(mint{wt}, maxt{wt}, mint{w-difft}, maxt{w-difft}}

c={u,v,w},其中：t∈[1,n]。mint{xt}, maxt{xt}分別表示N幀樣本中的最小值和最大值。

4) 背景更新策略。灰度背景模型更新策略為

mt(x,y),mt+1(x,y)分別表示當(dāng)前幀與下一幀點(diǎn)(x，y)的背景模型，P(x,y)表示當(dāng)前幀點(diǎn)(x，y)的灰度值，a∈(1,n)是更新率，按經(jīng)驗(yàn)設(shè)定。

光流背景模型更新只針對背景運(yùn)動速度變化。目標(biāo)檢測期間，為每個像素創(chuàng)建2個隊(duì)列，分別記錄最近N幀為前景的次數(shù)和速度信息。

Z(t)表示u,v,w在0的鄰域范圍內(nèi)的次數(shù),FG(t)表示被判定為前景的次數(shù)，k，r表示背景更新閾值，主要依靠經(jīng)驗(yàn)確定。

軟件流程如圖2所示。

圖2 視頻分析處理流程

3.2 虛擬警戒區(qū)與虛擬警戒線闖入檢測

運(yùn)動目標(biāo)檢測是虛擬警戒闖入檢測的核心，針對固定攝像機(jī)的視頻分析，基于背景模型與更新的運(yùn)動目標(biāo)檢測[6-7]是比較適合的視頻處理方法。本文采用灰度與光流雙模型的背景建模與更新方法對檢測區(qū)域的視頻分析，建立灰度背景模型，區(qū)分靜止背景與運(yùn)動背景，用該模型描述靜止背景；建立光流背景模型描述運(yùn)動背景，然后檢測目標(biāo)。

在離哨兵一定距離的區(qū)域可進(jìn)行相應(yīng)的非規(guī)則警戒區(qū)域或警戒線設(shè)置，一是在哨兵視線盲區(qū)進(jìn)行設(shè)置，報警提醒哨兵對闖入情況的關(guān)注，二是哨兵的非接觸安全區(qū)域，對區(qū)域內(nèi)靠近哨兵的運(yùn)動目標(biāo)檢測與跟蹤[8-9]，闖入虛擬警戒目標(biāo)進(jìn)行預(yù)警。在一路視頻中可設(shè)置多個警戒區(qū)和警戒線，進(jìn)行不同級別的預(yù)警，相應(yīng)地可接入不同的報警設(shè)備進(jìn)行相應(yīng)的警告，如語音、強(qiáng)聲等預(yù)警手段。實(shí)驗(yàn)表明：當(dāng)闖入目標(biāo)的成像像素大于5×8像素，對比度大于8% 時，報警準(zhǔn)確率達(dá)到95%以上。分析處理效果如圖3所示。

圖3 虛擬警戒檢測效果

其中圖3(a)中設(shè)置了一條警戒線和一個非規(guī)則的警戒區(qū)，當(dāng)有人員出現(xiàn)在視場中，并接近警戒區(qū)域一定距離時，對該運(yùn)動目標(biāo)進(jìn)行綠線框標(biāo)識，但不報警；圖3(b)(c)中對碰觸警戒線或闖入警戒區(qū)的目標(biāo)進(jìn)行紅線框標(biāo)識并報警，若在一定時間內(nèi)目標(biāo)遠(yuǎn)離警戒線和警戒區(qū)，系統(tǒng)根據(jù)設(shè)置的規(guī)則自動銷警。

3.3 遺留物檢測

炸藥、爆炸裝置、易燃易爆的液體逐漸成為了恐怖分子一種恐怖襲擊武器，通過圖像處理難以進(jìn)行檢測與識別，而視頻作為輔助手段可實(shí)現(xiàn)對類似爆炸物的靜止遺留物進(jìn)行檢測，實(shí)現(xiàn)對運(yùn)動人群中出現(xiàn)的可疑遺留物品的預(yù)警，而規(guī)避流動的人群對檢測的影響。

遺留物檢測則是在背景建模與更新中，對出現(xiàn)的無運(yùn)動軌跡的非背景的靜止目標(biāo)進(jìn)行檢測。與運(yùn)動目標(biāo)檢測規(guī)則略有區(qū)別，需要多幀連續(xù)視頻的運(yùn)動特征判斷。由于進(jìn)行了實(shí)時背景更新，系統(tǒng)適應(yīng)晝夜變化。實(shí)驗(yàn)表明，當(dāng)遺留物成像像素大于5×5，對比度大于8%時，檢測精度大于90%。視頻分析處理效果如圖4所示。

圖4 遺留物檢測效果

圖4(a)對劃定虛擬警戒區(qū)內(nèi)的非背景目標(biāo)進(jìn)行檢測，具有運(yùn)動特征的目標(biāo)不報警，圖4(b)虛擬警戒內(nèi)出現(xiàn)靜止非背景目標(biāo)，對其進(jìn)行靜止時間統(tǒng)計，圖4(c)對靜止異常的目標(biāo)進(jìn)行預(yù)警提示。

3.4 哨兵行為分析

進(jìn)行識別哨兵行為分析的目的，一是規(guī)范哨兵的行為，更主要的目的是對哨兵人身安全出現(xiàn)威脅時進(jìn)行預(yù)警。通過對哨兵區(qū)域的視頻數(shù)據(jù)分析，判斷哨兵是否處于正常狀態(tài)，以及對哨兵區(qū)域的近身入侵目標(biāo)進(jìn)行判斷，規(guī)避哨兵在檢測范圍內(nèi)的運(yùn)動對檢測的影響。正面站立、側(cè)面站立、彎腰、坐下、蹲下和躺下是日常生活中幾種常見的姿態(tài)[10]，而哨兵行為分析具有其特殊性，正常狀態(tài)為站姿，可在小范圍內(nèi)進(jìn)行站姿活動，蹲下、坐下、躺下，以及離崗均為異常狀態(tài)，判斷為哨兵執(zhí)勤不規(guī)范或哨兵遇到安全威脅。

本文的行為檢測不同于一般的智能監(jiān)控中通過對運(yùn)動目標(biāo)提取運(yùn)動軌跡識別行為類型。哨兵長時間僅在小范圍內(nèi)運(yùn)動，無法進(jìn)行背景建模與目標(biāo)輪廓提取，因此將哨兵融入背景，進(jìn)行分區(qū)域灰度特征統(tǒng)計。根據(jù)各區(qū)域以及整體區(qū)域的灰度特征變化判斷哨兵行為是否出現(xiàn)異常，而在哨兵區(qū)域的外圍一定環(huán)形區(qū)域進(jìn)行運(yùn)動目標(biāo)檢測來判斷入侵事件的發(fā)生。實(shí)驗(yàn)表明，在室外非逆光環(huán)境下，當(dāng)哨兵與背景的對比度大于8%，且將哨兵行為分類為正常站姿、異常站姿(蹲下、坐下、躺下統(tǒng)稱為異常站姿)和離崗三大類，系統(tǒng)的哨兵行為識別準(zhǔn)確度大于90%，檢測的視頻效果如圖5所示。

圖5 哨兵行為檢測效果

圖5(a)確定哨兵的活動區(qū)域，圖5(b)檢測到入侵的人或物，采用雙線框標(biāo)識報警，區(qū)別于哨兵的其他行為識別，圖5(c)檢測到哨兵下蹲或臥倒等異常行為，圖5(d)檢測到哨兵離崗，將黑線框變成白線框進(jìn)行預(yù)警標(biāo)識。

4 結(jié)論

基于DM8168處理器的哨位安全智能視頻分析系統(tǒng)采用視頻分析自動預(yù)警為主要手段，對入侵哨位目標(biāo)和哨兵的異常行為進(jìn)行自動檢測。實(shí)驗(yàn)表明：基于灰度與光流雙重背景建模的方法，虛警率低，滿足工程化需求。系統(tǒng)可外接報警系統(tǒng)，實(shí)現(xiàn)對異常事件的預(yù)警；可單獨(dú)組網(wǎng)使用，也可接入其他監(jiān)控系統(tǒng)實(shí)現(xiàn)對監(jiān)控系統(tǒng)的智能化升級改造。

目前，該系統(tǒng)集成于哨位預(yù)警系統(tǒng)中，在武警部隊(duì)試用，運(yùn)行穩(wěn)定，取得了較好的應(yīng)用效果，該系統(tǒng)實(shí)現(xiàn)了對現(xiàn)有哨位預(yù)警的系統(tǒng)的智能化升級，提升現(xiàn)有哨位的預(yù)警能力，對保障哨兵的人身安全，起到了積極的作用，本系統(tǒng)可廣泛應(yīng)用于軍隊(duì)、公安、武警、國家機(jī)關(guān)等重要部門的守衛(wèi)。

[1] 劉治紅，駱云志.智能視頻監(jiān)控技術(shù)在哨位安全威脅智能識別中的應(yīng)用[J].兵工自動化,2011,30(7):82-85.

[2] 侯宏錄,李寧鳥.一種基于運(yùn)動目標(biāo)識別的智能視頻監(jiān)控系統(tǒng)[J].兵工自動化,2012,31(3)：5-9.

[3] 何諧.基于DSP優(yōu)化的行人識別算法在智能監(jiān)控中的應(yīng)用與研究[D].成都:電子科技大學(xué),2014.

[4] 周建平,劉歆瀏,賴文娟.基于DM8168的高清視頻智能分析系統(tǒng)設(shè)計與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù),2013，36(22):90-92.

[5] 管慶,朱海,王凱.基于TMS320DM8168的視頻監(jiān)控跟蹤系統(tǒng)[J].數(shù)據(jù)采集與處理,2012，27(6):60-62.

[6] 樂應(yīng)英,胡靜波.融合LBP與背景建模的自適應(yīng)目標(biāo)檢測混合算法[J].計算機(jī)與數(shù)字工程,2013，41(7)：71-75.

[7] 李亞南,周勇,田瑞娟.基于混合高斯模型和三幀差法的背景建模[J].兵工自動化,2015，34(4):33-35.

[8] 常風(fēng)華.基于粒子濾波的視頻多運(yùn)動目標(biāo)跟蹤研究[D].杭州:杭州電子科技大學(xué),2012.

[9] 李翠君,王成儒.窗口自適應(yīng)更新的柔性目標(biāo)視頻跟蹤[J].光電工程,2012，39(11):102-108.

[10]陳瑞強(qiáng).基于人體姿勢分析的智能監(jiān)控系統(tǒng)研究[D].秦皇島:燕山大學(xué),2010.

(責(zé)任編輯 楊繼森)

Intelligent Video Analysis System Based on DM8168 Security Guard

TIAN Rui-juan，LEI Yu-neng

(Southwest Automation Research Institute, Mianyang 621000, China)

We designed a kind of intelligent video analysis system sentinel security based on DM8168 embedded platform for multi-channel video input, and used background modeling and updating method of gray model and optical flow modeling of double background to realize the detection of personnel, the sentry and so on. Experiments show that the system has high detection accuracy, low false alarm rate, stable performance and good real-time performance. The system has a good application in sentinel security monitoring, and it improves the early warning ability of security threats sentinel to meet the application requirements of intelligent equipment of security forces and armed police sentry.

DM8168; sentinel security; video analysis; background modeling

2016-11-15；

2016-12-25 作者簡介：田瑞娟(1972—)，女，高級工程師，主要從事圖像處理和機(jī)器視覺研究。

10.11809/scbgxb2017.04.026

田瑞娟,雷雨能.基于DM8168的哨位安全智能視頻分析系統(tǒng)[J].兵器裝備工程學(xué)報，2017(4):118-121.

format:TIAN Rui-juan，LEI Yu-neng.Intelligent Video Analysis System Based on DM8168 Security Guard[J].Journal of Ordnance Equipment Engineering,2017(4):118-121.

TP3

A

2096-2304(2017)04-0118-04