趙 攀,盧 彬
(重慶郵電大學(xué),a.通信新技術(shù)應(yīng)用研究所;b.重慶信科設(shè)計有限公司,重慶 400065)
隨著科技的發(fā)展,智能視頻監(jiān)控系統(tǒng)已普遍應(yīng)用于軍事、交通、商業(yè)、農(nóng)業(yè)、醫(yī)學(xué)等領(lǐng)域。傳統(tǒng)的監(jiān)控系統(tǒng)多數(shù)基于PC,由工作人員定時定點對監(jiān)控視場進行控制,其不但實時性差,而且不具備智能性,使得應(yīng)用具有局限性。
近年來,隨著高速數(shù)字信號處理器的出現(xiàn),以嵌入式系統(tǒng)為依托、以網(wǎng)絡(luò)為通信平臺的智能視頻處理系統(tǒng)成為研究的熱點。筆者設(shè)計了用FPGA作為視頻預(yù)處理器,用TMS320DM6467(簡稱DM6467)作為視頻主處理器,結(jié)合運動目標(biāo)檢測法和目標(biāo)跟蹤法的智能視頻監(jiān)控系統(tǒng)。本系統(tǒng)和其他視頻處理系統(tǒng)相比,具有體積小、功耗低、運行穩(wěn)定、便于擴展等技術(shù)優(yōu)勢,有著廣泛的應(yīng)用前景。
本系統(tǒng)是基于FPGA+DM6467的智能視頻監(jiān)控系統(tǒng),它主要包括視頻采集、視頻預(yù)處理、目標(biāo)檢測與跟蹤、網(wǎng)絡(luò)傳輸、客戶端播放、報警系統(tǒng)等模塊。如圖1所示,攝像頭在前端進行視頻采集,F(xiàn)PGA對采集圖像進行預(yù)處理,并將其結(jié)果存放在SDRAM中,DM6467從SDRAM中提取圖像進行智能目標(biāo)檢測與跟蹤,然后通過網(wǎng)絡(luò)將視頻數(shù)據(jù)發(fā)送到客戶端進行播放,當(dāng)檢測到異常事件時,自動開啟報警系統(tǒng)及時地發(fā)出警告。
圖1 總體設(shè)計圖
本系統(tǒng)的硬件主要由客戶端和監(jiān)控終端兩部分組成,客戶端硬件設(shè)計是由高配置的計算機組成,視頻終端則主要由視頻采集模塊和視頻處理模塊組成。系統(tǒng)終端硬件設(shè)計圖如圖2所示。
圖2 系統(tǒng)終端硬件設(shè)計圖
視頻采集模塊采用攝像機和高達800萬門Xilinx Virtex-4 FPGA處理器。攝像機采用CMOS的方式采集數(shù)據(jù),通過A/D轉(zhuǎn)換器TV5158將采集數(shù)據(jù)傳遞給FPGA處理器,F(xiàn)PGA處理器支持YCbCr/HDMI/HDSDI/VGA多種高清視頻輸入接口,并采用時分復(fù)用提高多路信號的輸入,利用DMA方式傳輸數(shù)據(jù)到DDR2中供DM6467使用,F(xiàn)PGA處理器的視頻預(yù)處理能力提高了監(jiān)控系統(tǒng)的實時性。
視頻處理模塊采用TI DM6467T芯片作為核心處理器,該芯片集成了高性能的TMS320C64x+DSP內(nèi)核和1個ARM926EJ-S內(nèi)核,內(nèi)置2組獨立的HDVICP協(xié)處理器單元,時鐘頻率達到1 GHz,能夠以5800 MI/s(百萬條指令/秒)的速度處理信息。其中DSP主要負(fù)責(zé)算法對視頻數(shù)據(jù)的處理,ARM主要負(fù)責(zé)與外設(shè)的通信,并將DSP處理后的數(shù)據(jù)通過網(wǎng)絡(luò)發(fā)送到監(jiān)控中心,它們之間也是通過DDR2進行數(shù)據(jù)交互的,而DDR2緩存實行兩級緩存的方式,提高了系統(tǒng)的時效性。另外DM6467T還包含豐富的外設(shè),例如USB、以太網(wǎng)接口、硬盤等,不僅擴展了系統(tǒng)的緩存,還為數(shù)據(jù)的傳輸和存儲提供了可靠性。
本系統(tǒng)的軟件客戶端采用流媒體播放器和socket通信,監(jiān)控端則采用移植在DM6467平臺上的Linux系統(tǒng)作為開發(fā)環(huán)境。圖3所示是視頻的采集、檢測、跟蹤、播放模塊的軟件流程設(shè)計。采集模塊主要負(fù)責(zé)視頻的采集和存儲,并響應(yīng)客戶端的云臺控制;檢測模塊則采用背景模型建立分割目標(biāo)的方法進行檢測,目標(biāo)跟蹤則根據(jù)檢測結(jié)果進行物體主動輪廓跟蹤法進行跟蹤,并將結(jié)果發(fā)送給客戶端播放。
運動目標(biāo)檢測常用的方法有幀間差分法、背景減除法、光流法[1-6],但其對于背景比較復(fù)雜的場景不適用,因而本文采用核密度估計(KDE)法來檢測運動物體。它是基于圖像在時間域和空間域上的馬爾可夫性,利用歷史幀數(shù)據(jù)來估計當(dāng)前幀像素的概率密度,通過閾門值來判斷當(dāng)前像素為運動前景物體或背景的。
核密度估計通過加權(quán)平均中心點位于采樣值的局部函數(shù)來估計未知的密度分布。從理論上講,只要有足夠多的樣本數(shù),它可漸進收斂于任何形式的密度函數(shù)。給定某像素特征空間的一個樣本集{x1,x1,…,xN},觀測值xt的密度分布用P(xt)來估計,公式為
圖3 系統(tǒng)軟件設(shè)計圖
式中:權(quán)值ai=,Kh=K(t/h)為核函數(shù),h 表示窗寬或帶寬,其中樣本容量N→∞ ,帶寬N→0。
在實際應(yīng)用中,核函數(shù)的選取對估計結(jié)果影響不大,但核帶寬h的選取更為重要。帶寬h過小,估計偏差過高,估計得到的密度函數(shù)不夠光滑,容易受到噪聲影響;帶寬h過大容易造成過光滑,從而丟失重要信息。
本文采用常見的高斯密度函數(shù)作為核函數(shù),采用相鄰兩幀樣本的灰度絕對差的中間位數(shù)作為背景估計的帶寬。假設(shè)局部分布服從N(μ,h2)高斯分布,那么(xixi+1)的絕對差值將服從高斯分布N(μ,2h2)。所以有高斯分布的對稱行及樣本中位數(shù)的定義,可得h=m/(0.68。其中,m為樣本中(x1-xi+1)的絕對值中位數(shù)。
運動目標(biāo)檢測如圖4所示。
目標(biāo)跟蹤算法實質(zhì)上就是基于區(qū)域、特征、模型的圖像匹配問題[7],考慮到區(qū)域匹配和特征匹配的精確性問題,本文采用基于動態(tài)輪廓snake模型的跟蹤算法,它不僅適用于復(fù)雜的環(huán)境,而且具有良好的穩(wěn)健性。
式中:α為曲線的連續(xù)性控制參數(shù),β為曲線的光滑性控制參數(shù),Xs和Xss分別為X(s,t)對s的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)。
外部能量函數(shù)Eext=γEimage(X(s,t))由圖像的灰度、邊緣等特征獲得。對于I(x,y)一般采用以下圖像能量函數(shù)
式中:Gσ(x,y)為標(biāo)準(zhǔn)差為σ的二維高斯函數(shù),▽為梯度算法。為了使能量函數(shù)最小,snake必須滿足歐拉方程,即αX"(s,t)-βX?(s,t)-▽Eext=0 。能量平衡方程可視為驅(qū)動力的平衡方程 Fint+Fext=0 。其中,F(xiàn)int=αX"(s,t)- βX?(s,t),控制著曲線的特性;Fext=-▽Eext,將活動輪廓吸引到目標(biāo)輪廓,snake在內(nèi)力Fint的吸引驅(qū)動下向目標(biāo)輪廓移動,而外力Fext在保持snake拓?fù)湫缘耐瑫r,隨著snake的移動變化,最終達到內(nèi)外力之和等于零,這時,snake就停留在目標(biāo)輪廓上。
目標(biāo)跟蹤結(jié)果如圖5所示。
本文針對以往監(jiān)控系統(tǒng)的不足,結(jié)合目標(biāo)檢測跟蹤算法和嵌入式技術(shù),設(shè)計了智能監(jiān)控系統(tǒng)。實驗結(jié)果表明,該系統(tǒng)具有良好的穩(wěn)定性和穩(wěn)健性,可廣泛應(yīng)用于遠程家居監(jiān)控、交通監(jiān)控、社區(qū)安防監(jiān)控等方面,為物聯(lián)網(wǎng)的發(fā)展奠定了基礎(chǔ)。
[1]HARITAOGLU I D H,DAVIS L.W4:Realtime surveillance of people and their activities[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):809-830.
[2]WREN C R,AZARBAYEJANI A.Pfinder:real-time tracking of the human body[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.
[3]陳鋒強.復(fù)雜場景下運動物體檢測與跟蹤算法的研究[D].上海:上海交通大學(xué),2008.
[4]龔光魯,錢敏平.應(yīng)用隨機過程教程及在算法和智能計算中的隨機模型[M].北京:清華大學(xué)出版社,2004.
[5]劉亞,艾海舟,徐光佑.一種基于背景模型的運動目標(biāo)檢測與跟蹤[J].信息與控制,2002,31(7):315-319.
[6]丁忠校.視頻監(jiān)控圖像的運動目標(biāo)檢測方法綜述[J].電視技術(shù),2008,32(5):72-76.
[7]滕游,董輝,俞立.基于DSP的運動目標(biāo)檢測與跟蹤系統(tǒng)設(shè)計[J].浙江工業(yè)大學(xué)學(xué)報,2009,37(6):607-609.