張紀寬, 彭 力, 陳志勇

(江南大學物聯(lián)網(wǎng)工程學院,江蘇 無錫 214122)

動態(tài)復(fù)雜背景下的智能視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)

張紀寬, 彭 力, 陳志勇

(江南大學物聯(lián)網(wǎng)工程學院,江蘇 無錫 214122)

采用二重對稱幀間差分目標檢測算法和基于壓縮感知的目標跟蹤算法，設(shè)計并實現(xiàn)了一種可適應(yīng)動態(tài)復(fù)雜背景下的智能視頻監(jiān)控系統(tǒng)；基于目標檢測該系統(tǒng)能提取本地視頻文件中局部運動目標并進行視頻壓縮，減少回放、查看視頻時間，可實時播放并處理本地或網(wǎng)絡(luò)攝像頭數(shù)據(jù)，也可根據(jù)光照變化動態(tài)調(diào)整二值化閥值，實現(xiàn)實時區(qū)域入侵檢測與報警；基于目標跟蹤本系統(tǒng)能在動態(tài)背景下對選定目標進行跟蹤,可通過客戶端手動控制監(jiān)控云臺跟蹤，也可對入侵目標實現(xiàn)云臺自主大角度追蹤；實驗表明，此系統(tǒng)能在日常復(fù)雜環(huán)境下對運動目標準確檢測和大角度跟蹤，在智能家居和移動安防領(lǐng)域有很好的實用性。

目標檢測; 壓縮感知; 自主跟蹤; 復(fù)雜背景; 智能監(jiān)控; 監(jiān)控云臺

0 引言

傳統(tǒng)視頻監(jiān)控僅采集、顯示、存儲和回放等簡單的功能，僅僅記錄發(fā)生的事情，很難起到預(yù)防和報警的作用。隨著視頻監(jiān)控應(yīng)用日益廣泛，智慧城市和公共安全需求的日益增長，監(jiān)控視頻數(shù)據(jù)已成為大數(shù)據(jù)時代的重要數(shù)據(jù)對象，采用人工監(jiān)看視頻方式已經(jīng)遠遠不能滿足需求[1-3]。由此智能視頻監(jiān)控成為如今研究熱點，文獻[1-2]概括提出了當今智能監(jiān)控系統(tǒng)發(fā)展的趨勢，大規(guī)模的應(yīng)用尚處于積累階段，智能視頻監(jiān)控系統(tǒng)的需求將日益迫切。文獻[4]用三幀差分法實現(xiàn)了運動目標的跟蹤監(jiān)控，為系統(tǒng)的實際應(yīng)用打下了基礎(chǔ)；文獻[5]提出了復(fù)雜背景下的目標檢測與跟蹤，為智能視頻監(jiān)控系統(tǒng)打下了理論基礎(chǔ)；文獻[6]實現(xiàn)了視頻網(wǎng)絡(luò)傳輸，但未對視頻進行智能處理。因此，文中是在文獻[6]嵌入式前端無線視頻傳輸服務(wù)器基礎(chǔ)上,在PC端構(gòu)建智能視頻分析客戶端；優(yōu)化文獻[7]中二重對稱邊緣幀差算法完成運動目標檢測，實現(xiàn)區(qū)域入侵報警和本地視頻特征提取與視頻壓縮；采用簡單高效的基于壓縮感知的跟蹤算法[8-11]，增強其在復(fù)雜動態(tài)背景下的性能，實現(xiàn)攝像頭快速連續(xù)大角度自動跟蹤進入特定區(qū)域的目標。完成在日常生活中動態(tài)復(fù)雜背景下的智能視頻監(jiān)控。

1 系統(tǒng)設(shè)計及工作原理

文中設(shè)計的智能監(jiān)控系統(tǒng)由嵌入式前端服務(wù)器[6]和智能視頻分析客戶端兩部分組成。前端服務(wù)器采用TMS320DM365多媒體處理器，構(gòu)建流媒體服務(wù)器，完成視頻采集，H.264編碼，RTSP網(wǎng)絡(luò)傳輸，實時接收客戶端控制命令并對監(jiān)控云臺進行全方位控制?？蛻舳诉\行在windows平臺上，采用MFC編程，實現(xiàn)實時視頻流接收，本地視頻壓縮，運動目標檢測與報警，監(jiān)控云臺手動、自主跟蹤。系統(tǒng)整體結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)整體結(jié)構(gòu)圖

系統(tǒng)工作原理：系統(tǒng)上電后，前端服務(wù)器初始化硬件設(shè)備，打開攝像機，歸位云臺并構(gòu)建RTSP服務(wù)器等待客戶端連接。客戶端可通過輸入RTSP網(wǎng)絡(luò)地址連接到服務(wù)器，實時接收視頻數(shù)據(jù)，通過列表框中選擇的智能算法來對視頻進行運動目標檢測或跟蹤處理，可通過點擊云臺控制按鈕，手動向前端服務(wù)器發(fā)送云臺控制命令，也可選擇自主跟蹤，攝像機便自主跟蹤入侵區(qū)域的運動目標。前端服務(wù)器通過USART協(xié)議控制監(jiān)控云臺轉(zhuǎn)動，通過無線WiFi連入網(wǎng)絡(luò)與客戶端通信。

2 智能算法

智能算法的系統(tǒng)實現(xiàn)必須滿足算法簡單高效計算量低的特點。針對動態(tài)復(fù)雜背景時光照等條件易發(fā)生突變從而導(dǎo)致目標檢測精度低，背景誤判為運動目標的概率大這一難題，文中系統(tǒng)利用幀間差分法的簡單、快速、易實現(xiàn)[2]等優(yōu)點，采用二重對稱邊緣幀差法實現(xiàn)運動目標檢測；目標跟蹤部分采用簡單高效的壓縮感知跟蹤算法，完成對目標的精確跟蹤。

2.1 運動目標檢測算法

采用二重對稱邊緣幀間差分算法實現(xiàn)運動目標檢測，首先根據(jù)幀間灰度直方圖的巴氏距離判斷是否產(chǎn)生光線突變，若發(fā)生突變，重新建立幀差組合，保證突變瞬間不影響檢測結(jié)果，自主調(diào)整二值化閥值，自適應(yīng)光照變化后的背景。算法流程圖如圖2所示。

圖2 二重對稱幀間差分流程圖

二重對稱幀間差分步驟如下：

2)進行五幀邊緣差分并二值化處理:

(1)

二值化自適應(yīng)閥值借鑒文獻[7]中的OUT法，增加一個光照變化量ΔT，變?yōu)閯討B(tài)閥值:

T′=TH+ΔT

(2)

其中:θ為系數(shù)，參考值為0.1，S為一幀圖像像素個數(shù)。無光照突變時ΔT趨近0，閥值不變；當產(chǎn)生光照突變時，ΔT增大，閥值對應(yīng)增大，從而抑制復(fù)雜動態(tài)背景時因光照突變帶來的二值化影響。

3)對差分結(jié)果進行運算處理，如公式(3)，得到完整邊緣圖像f″n。

(3)

4)進行形態(tài)學處理，得到運動目標D。

檢測光照突變方法：根據(jù)光照突變時直方圖灰度級像素個數(shù)相應(yīng)的發(fā)生突變，因此，可通過巴氏系數(shù)d來衡量相鄰幀灰度直方圖的相似性，從而判斷是否發(fā)生光照突變，如公式(4)：

(4)

其中:H為圖像的直方圖，圖像相似度越高，d越大，接近1，反之越小，接近0，通過實驗，設(shè)置為0.7時可很好的判定是否發(fā)生光照突變。

2.2 目標跟蹤算法

文中系統(tǒng)使用基于壓縮感知的目標跟蹤算法，分為特征提取、特征向量分類、分類器更新三部分。其中特征提取選用壓縮感知提取，分類使用的樸素貝葉斯分類器，更新通過對每一幀圖像的在線學習，從而實現(xiàn)目標跟蹤的全過程。算法流程圖如圖3所示。

第t 幀時，對此幀圖像提取采樣獲得若干圖像片，其中目標的樣片作為正樣本，背景的為負樣本，經(jīng)過多尺度變換得到正負樣本的多尺度圖像特征，利用稀疏測量矩陣對其進行降維得到各自的壓縮向量，最后通過各自的壓縮向量訓(xùn)練樸素貝葉斯分類器。第t+1 幀時，在第t 幀跟蹤目標周圍采樣若干個窗口，進行多尺度變換、降維、提取特征和分類，降維和分類時分別采用跟第t 幀相同的測量矩陣和分類器，最終的跟蹤窗口便是分類中分數(shù)最大的窗口，從而完成了第t 幀到第t+1 幀的跟蹤。

圖3 目標跟蹤算法流程圖

算法實現(xiàn)步驟如下：

1)輸入：分別輸入視頻序列v ，和正、負樣本的采樣半徑α和β。

2)提取樣片：以第t-1 幀的目標窗口中心o為圓心，分別在以α為半徑的圓形區(qū)域和以β為外半徑α為內(nèi)半徑的圓環(huán)區(qū)域采集正、負樣本。

3)多尺度變換：用公式(5)所示濾波器對圖像某特定位置進行灰度卷積，其中i、j 分別是矩形濾波器的寬和高。

(5)

(6)

5)隨機投影降維：如公式7，一個m 維的圖像空間x 可以被一個n×m的稀疏矩陣變換成n 維，變換過程如圖4所示，R中灰白黑三種顏色分別代表矩陣中的正數(shù)、零、負數(shù)，帶箭頭的藍色曲線表示用R 矩陣中的非零元素感知x 圖像空間中的元素。

(7)

圖4 隨機投影降維圖解

6)分類器構(gòu)建：對每個樣本z∈Rw×h，低維表示是v=(v1,...,vn)T∈Rn，構(gòu)建樸素貝葉斯分類器：

(8)

其中樣本標簽為y∈{0,1}，0代表負樣本，1代表正樣本，假設(shè)特征中每個元素是獨立的，因此可通過公式8來建模。假定p(vi|y=1)和p(vi|y=0)也服從高斯分布，則有：

(9)

(10)

3 監(jiān)控系統(tǒng)軟件設(shè)計

前端服務(wù)器參考文獻[6]，文中主要工作是客戶端軟件設(shè)計，實時接收服務(wù)器端視頻信息并進行運動目標檢測、跟蹤，本地視頻壓縮處理，云臺控制及云臺自動跟蹤。在PC端MFC平臺上運用C++多線程編程，采用live555流媒體庫獲取視頻流，F(xiàn)FMPEG解碼庫實現(xiàn)實時H.264視頻流解碼，Opencv實現(xiàn)目標檢測和視頻壓縮，單獨的線程實現(xiàn)目標跟蹤，最后主線程變?yōu)榭刂凭€程?？蛻舳斯δ苣K圖和各線程協(xié)同工作流程圖分別如圖5和圖6所示。

圖5 客戶端功能模塊圖

圖6 線程工作流程圖

動態(tài)背景控制策略：文中系統(tǒng)可在動態(tài)背景下實現(xiàn)目標檢測與跟蹤，通過線程互斥機制使視頻處理線程和云臺控制線程互斥運行，有效解決幀差法無法適應(yīng)動態(tài)背景的問題和云臺轉(zhuǎn)動產(chǎn)生圖像漂移對壓縮感知的影響。線程互斥流程圖如圖7所示。

圖7 線程互斥運行流程圖

在進行視頻處理前，需要先訪問信號量，通過P操作申請信號量，若此時信號量為0則線程阻塞，說明此時云臺正在轉(zhuǎn)動，等待云臺控制線程的V操作釋放信號量；若信號量為1，P操作先將信號量置0后再進行視頻處理操作。

4 監(jiān)控系統(tǒng)測試

文中實現(xiàn)的智能監(jiān)控系統(tǒng)客戶端運行在Intel(R)Pentium(R)CPU主頻3.00GHz的PC機上，采用C++語言在VS2010上進行開發(fā)，系統(tǒng)用戶界面及區(qū)域入侵和云臺自主跟蹤效果如圖8所示。上面三幅是區(qū)域入侵效果圖，下面三幅是云臺自主跟蹤效果圖。

圖8 智能監(jiān)控效果圖

運動目標檢測算法的測試采用自采視頻，分別利用傳統(tǒng)幀間差分和高斯背景差分法與本文實現(xiàn)算法對有光照突變的視頻進行測試,如圖9。a1代表光照突變前一幀，可見在無光照突變時本文使用算法b1可以完整檢測出目標輪廓，傳統(tǒng)三幀差分c1則檢測不夠連續(xù)，傳統(tǒng)高斯背景建模法d1則檢測結(jié)果比較充實。在發(fā)生光照突變后，c2和d2則無法檢測目標，由于本文使用算法在光照突變時重構(gòu)幀差組合且動態(tài)調(diào)整二值化閥值，從而仍能清晰檢測出目標輪廓。

圖9 光照突變時目標檢測結(jié)果

目標跟蹤采用三組標準視頻Occludedface2、Davidindoor、Tiger1將本文實現(xiàn)算法與TLD[12]和MIL[13]算法進行對比,如圖10。

圖10 目標跟蹤結(jié)果比較

表1 跟蹤成功率(%)

表2 平均處理速度(幀/秒)對比

由以上比較結(jié)果，Davidindoor視頻序列，TLD算法表現(xiàn)最好，略好于本文使用算法；occludedface2序列，TLD算法出現(xiàn)丟失目標現(xiàn)象嚴重，本文使用算法跟蹤效果最好，MIL算法次之；Tiger2序列目標不明顯且變換復(fù)雜，文中使用算法依然保持最好的跟蹤成功率。從處理速度上，文中使用算法明顯高效于其他算法。因此文中算法高效，實時，符合系統(tǒng)實現(xiàn)要求。

5 結(jié)束語

設(shè)計并實現(xiàn)了一套適應(yīng)動態(tài)復(fù)雜背景的智能視頻監(jiān)控系統(tǒng)。該系統(tǒng)能播放處理本地視頻，對視頻文件進行區(qū)域壓縮，接收并處理網(wǎng)絡(luò)實時視頻流，實現(xiàn)實時區(qū)域目標檢測和對選定目標進行跟蹤，可手動控制監(jiān)控云臺實現(xiàn)大角度跟蹤，也可對入侵目標進行云臺自主跟蹤。與文獻[6]結(jié)合組成完整的監(jiān)控系統(tǒng)前后端，適用于眾多監(jiān)控領(lǐng)域。

[1] 黃凱奇,陳曉棠,康運鋒,等.智能視頻監(jiān)控技術(shù)綜述[J].計算機學報,2015,38(6):1093-1118.

[2] 黃鐵軍,鄭 錦,李波等.多媒體技術(shù)研究:2013——面向智能視頻監(jiān)控的視覺感知與處理[J].中國圖象圖形學報.2014,19(11):1539-1562.

[3] 管菊花,郭 波.基于DaVinci技術(shù)的嵌入式智能監(jiān)控系統(tǒng)[J].計算機測量與控制.2014,22(9):2754-2757.

[4] 謝永昌,許少凡,狄紅衛(wèi).基于DM642的運動目標實時跟蹤監(jiān)控系統(tǒng)的設(shè)計[J].光學技術(shù),2010,36(3):469-473.

[5] 李勁菊,朱 青,王耀南.一種復(fù)雜背景下運動目標檢測與跟蹤方法[J].儀器儀表學報,2010,31(10)：2242-2247.

[6] 張紀寬,彭 力,陳志勇.基于嵌入式前端服務(wù)器的音視頻監(jiān)控系統(tǒng)設(shè)計[J].江南大學學報(自然科學版)，2015,14(1):38-42.

[7] 王麗梅.基于DM642的智能視頻監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D].北京：北京工業(yè)大學,2013.

[8]ZhangK,ZhangL,YangMH.Real-timecompressivetracking[A].ComputerVision-EVCC2012[C].BerlinHeidelberg:Springer, 2012, 7574:864-877.

[9]WuY,JiaN,SunJ.Real-timemulti-scaletrackingbasedoncompressivesensing[J].TheVisualComputer, 2014, 31(4): 471-484.

[10]ZhuQ,YanJ,DengD.Compressivetrackingviaoversaturatedsub-regionclassifiers[J].ComputerVision,IET, 2013, 7(6): 448-455.

[11]JingJ,XuG,LeiB,etal.Usingappearancere-matchingtoimprovereal-timecompressivetracking[A].ProceedingsoftheFifthInternationalConferenceonInternetMultimediaComputingandService[C].ACM, 2013: 28-33.

[12]KalalZ,MikolajczykK,MatasJ,Tracking-learning-detection[J].PatternAnalysisandMachineIntelligence,IEEETransactionson, 2012, 34(7):1409-1422.

[13]BabenkoB,YangMH,BelongieS.Visualtrackingwithonlinemultipleinstancelearning[C]ProceedingsofIEEEConferenceonComputerVisionandPatternRecognition.WashingtonDC:IEEE, 2009: 983-990.

Design and Realization of Intelligent Video-surveillance System in Dynamic Complex Background

Zhang Jikuan, Peng Li, Chen Zhiyong

(Engineering College of Internet of Things,Jiangnan University,Wuxi 214122,China)

In this paper, an intelligent video surveillance system is designed and implemented in dynamic complex background based on the target detection algorithm of double symmetrical frame difference and the target tracking method based on compressive sensing. This system, based on target detection, has functions such as local moving objects extracted from local video file and compression to reduce playback time, local or network camera data real-time playing and processing, real-time area intrusion detection and alarm according to the change of illumination to dynamically adjust the binarization threshold. This system, based on target tracking, also has functions such as tracking the selected target in dynamic background, controlling monitoring PTZ through the client manually, tracking the invasion target independently with large angle,. The results showed that the system can accurately detect and track moving target in daily complex environment, have great practical needs in smart home and mobile security field.

target detection; compressive sensing; active tracking; complex background; intelligent video surveillance; monitoring PTZ

2015-12-28；

2016-02-24。

江蘇省產(chǎn)學研聯(lián)合創(chuàng)新資金--前瞻性聯(lián)合研究項目(BY2014023-25)。

張紀寬 (1990-),男,碩士研究生，主要從事網(wǎng)絡(luò)視頻傳輸方向的研究。

彭 力(1967-),男,博士,教授，主要從事視覺傳感器網(wǎng)絡(luò)、人工智能、計算機仿真方向的研究。

1671-4598(2016)07-0100-05

10.16526/j.cnki.11-4762/tp.2016.07.027

TP3 文獻標識碼：A