方世林
(湖南理工學(xué)院 計(jì)算機(jī)學(xué)院,湖南 岳陽 414006)
基于IP網(wǎng)的視頻監(jiān)控圖像傳輸?shù)难芯?/p>
方世林
(湖南理工學(xué)院 計(jì)算機(jī)學(xué)院,湖南 岳陽 414006)
在網(wǎng)絡(luò)化、數(shù)字化的視頻監(jiān)控系統(tǒng)中,應(yīng)用基于小波變換的視頻對象分割融合法,提出視圖定位法,讓前端的網(wǎng)絡(luò)視頻服務(wù)器實(shí)現(xiàn)前景運(yùn)動對象與背景的分割,并在監(jiān)控中心利用該視圖定位法,快速實(shí)現(xiàn)前景運(yùn)動對象圖像和背景圖像的融合.此外,對運(yùn)用上述方法的視頻監(jiān)控圖像傳輸進(jìn)行了性能分析.最后,對本領(lǐng)域的研究進(jìn)行了總結(jié).
視頻對象;視圖定位法;分割融合法;視頻監(jiān)控
在基于IP網(wǎng)的遠(yuǎn)程監(jiān)控系統(tǒng)中,面臨著一個(gè)較大的問題是:大量視頻圖像的傳輸和運(yùn)動對象的跟蹤.傳統(tǒng)的視頻監(jiān)控系統(tǒng)都是傳輸完整的視頻圖像,在低帶寬的情況下,大多數(shù)采用降低空間分辨率和幀率的方法.本文研究了在攝像監(jiān)控端采用視頻對象的分割技術(shù),實(shí)效地傳輸運(yùn)動對象,再結(jié)合視圖定位法,在監(jiān)控中心運(yùn)用圖像的融合技術(shù),以此減少圖像傳輸碼流和充分實(shí)時(shí)傳輸有效信息,解決網(wǎng)絡(luò)化視頻監(jiān)控系統(tǒng)傳輸?shù)木W(wǎng)絡(luò)帶寬問題和提高視頻監(jiān)控系統(tǒng)跟蹤運(yùn)動對象的實(shí)效性.
采用基于小波變換的分割算法[1~3]、融合算法[4~10],在改進(jìn)這些算法的基礎(chǔ)上,進(jìn)行視頻對象與背景圖像的分割與融合.根據(jù)在頻率域上前景的運(yùn)動表現(xiàn)為高頻率成分,而相對靜止的背景由于幾乎沒有變化,表現(xiàn)為低頻成分的原理,在前端的網(wǎng)絡(luò)視頻服務(wù)器上,對視頻對象采用基于小波變換的分割,分離出高頻成分的運(yùn)動前景對象和低頻成分的背景,傳輸高頻成分的運(yùn)動前景對象到監(jiān)控中心,然后使這些高頻成分的運(yùn)動對象與存儲在監(jiān)控中心的背景圖像采用基于小波變換的融合算法,結(jié)合視圖定位法,快速實(shí)現(xiàn)它們之間的融合.
a)按一定的幀率,將視頻序列劃為若干視頻分組序列;
b)對視頻分組序列在時(shí)間軸上進(jìn)行小波變換;
c)對視頻分組序列小波變換以后的高頻系數(shù)進(jìn)行處理,得到高頻圖像;
d)高頻圖像自適應(yīng)二值化,得到一個(gè)初步的掩模圖像;
e)對自適應(yīng)二值化后的掩模圖像進(jìn)行二值形態(tài)學(xué)處理(去除噪聲、邊界檢測、骨架化、區(qū)域分割)得到最終的掩模;
f)根據(jù)掩模提取該組圖像序列中的運(yùn)動視頻對象.
經(jīng)過視頻對象分割算法,最后得到運(yùn)動視頻對象圖像,步驟如圖1所示.在視頻分割時(shí)候,對運(yùn)動視頻對象圖像進(jìn)行了視圖定位處理,就是提取了運(yùn)動視頻對象的角點(diǎn),再把這些特征點(diǎn)在背景圖像中的位置以流碼的形式傳輸,使視頻運(yùn)動對象圖像和背景圖像準(zhǔn)確快速地融合.
圖1 基于小波變換的視頻對象分割步驟圖
a)由于傳輸過來的視頻對象圖像A、B、C都是高頻圖像,對他們采用小波分解,得到的是高頻子圖像A1、B1、C1,而背景圖像本來就是低頻圖像,所以不需要進(jìn)行小波分解.
b)對高頻子圖像采用相應(yīng)的融合規(guī)則及融合算法進(jìn)行融合,得到高頻的融合圖像Dh(F).在對高頻子圖像集進(jìn)行融合的過程中,結(jié)合視圖定位法,使各高頻子圖的相對位置準(zhǔn)確.
c)對融合后的低頻和高頻圖像結(jié)合視圖定位法進(jìn)行小波逆變換,重構(gòu)得到融合圖像E.首先把由分割得來的視頻對象圖像A、B、C進(jìn)行融合,得到高頻融合圖像D,圖像D再與低頻背景圖像融合,過程如圖2所示.
圖2 基于小波變換的視頻對象融合過程圖
a)進(jìn)行監(jiān)控全景的取景;
b)傳輸整個(gè)視圖全景圖像,在網(wǎng)絡(luò)視頻服務(wù)器和監(jiān)控中心分別保存一份;
c)對下次傳輸?shù)囊晥D進(jìn)行前景運(yùn)動對象和背景的分割,傳輸前景運(yùn)動對象;
d)在監(jiān)控中心,運(yùn)用視圖定位法,快速地把傳來的前景運(yùn)動對象與保存的全景背景圖像進(jìn)行融合;
e)實(shí)時(shí)地進(jìn)行監(jiān)控全景圖像背景的更新.
在圖像分割時(shí),對圖像進(jìn)行二值化,用圖像形態(tài)學(xué)的梯度、細(xì)化和修剪算法來提取邊緣輪廓.本文用Forstner算子[11,12]得到圖像的角點(diǎn).對于角點(diǎn),對最佳窗口內(nèi)通過每個(gè)像元的邊緣直線(垂直于梯度方向)進(jìn)行加權(quán)中心化,得到角點(diǎn)的定位坐標(biāo),具體如下.
a)最佳窗口
以每個(gè)像素為中心,取一個(gè)窗口N(如5×5).計(jì)算每個(gè)窗口的有利值q和w.如果有利值大于給定的閾值,則將以該像元為中心的窗口作為候選最佳窗口,閾值為經(jīng)驗(yàn)值,抑制局部非最大,得到最佳窗口.為了減少計(jì)算量,在計(jì)算q,w值之前,可以先計(jì)算像元:分別算出在x,y正方向上的4個(gè)梯度值的絕對值,取出4個(gè)值中的最小值記為T,只有T值大于某個(gè)閾值時(shí)才計(jì)算q,w值.
b)角點(diǎn)定位
最佳窗口內(nèi)任意一個(gè)像元(r,c)的邊緣直線L的方程為
其中ρ為原點(diǎn)(設(shè)為最佳窗口的左上角像元)到直線L的距離,θ為梯度角,,而gc、gr為該點(diǎn)的Robert梯度.設(shè)角點(diǎn)坐標(biāo)為(c0,r0),設(shè)v是點(diǎn)(c,r)到直線L的垂直距離,在(c,r)處給出誤差方程,即
上式的含義是:把原點(diǎn)到邊緣直線的距離ρ當(dāng)作觀測值,而保持邊緣直線的方向不變,權(quán)w(r,c)等于梯度模的平方,所以權(quán)實(shí)質(zhì)上是一個(gè)邊緣尺度.對上式法化,得到法方程
法化結(jié)果與最佳窗口內(nèi)像元的加權(quán)中心結(jié)果一致.對上式求解,可以得到角點(diǎn)坐標(biāo)(c0,r0).
在視頻圖像的傳輸過程中,運(yùn)用圖像定位法,首先對監(jiān)控全景用矩陣平面圖來表示,如圖3,以監(jiān)控全景的最左上方的為始點(diǎn),以最右下方為終點(diǎn).那么每一個(gè)像素點(diǎn)可以用矩陣點(diǎn)來表示,比如,對于按行來排列的矩陣,A[i,j]表示第(i-1)×n+j個(gè)像素點(diǎn).
圖3 全景背景矩陣平面圖
前景運(yùn)動對象用平面圖4來表示.坐標(biāo)(a,b)、(c,d)、(e,f)、(g,h)是通過Forstner算子得到的四個(gè)角點(diǎn)坐標(biāo),經(jīng)過矩陣處理得到圖5.
圖4 前景運(yùn)動對象平面圖
圖5 經(jīng)過矩陣處理的矩陣平面圖
當(dāng)前景運(yùn)動對象到達(dá)監(jiān)控中心時(shí),實(shí)現(xiàn)與背景圖像的融合.在圖6中,通過視頻圖像的定位法,把分割的前景運(yùn)動對象圖定位到全景背景圖中.
圖6 前景運(yùn)動對象在背景圖像的定位圖
基于小波變換的視頻對象分割、融合算法,在文[13]中,給出了小波融合結(jié)果與兩種金字塔(Laplace、梯度金字塔)融合結(jié)果的客觀性能評價(jià),小波融合結(jié)果在圖像均值、標(biāo)準(zhǔn)差和結(jié)構(gòu)相似度(SSIM)3項(xiàng)指標(biāo)上的值均高于其他兩種融合結(jié)果對應(yīng)的指標(biāo)值,表明了小波圖像融合方法更好地綜合了源圖像的信息,獲得的融合圖像更為清晰.在文[10]中的實(shí)驗(yàn)結(jié)果證明,背景相對靜止的情況下,基于小波變換的分割算法能夠比較準(zhǔn)確地對運(yùn)動對象進(jìn)行分割.
由于本論文提出的圖像傳輸方式減少了重復(fù)的背景圖像流碼的傳輸,從而使網(wǎng)絡(luò)減少阻塞,解決了網(wǎng)絡(luò)帶寬問題.傳輸?shù)氖且曨l運(yùn)動對象,這樣使視頻監(jiān)控系統(tǒng)方便地跟蹤目標(biāo)對象.采用了視圖定位法,使得圖像之間實(shí)現(xiàn)了快速融合.
本文用到的視頻對象與背景圖像的分割、融合算法都是基于小波變換.在視圖定位法中,用到的特征點(diǎn)位置的定位,采用了 Forstner算子,只取視頻運(yùn)動對象在背景圖像中的一些角點(diǎn)坐標(biāo),但對取多少個(gè)角點(diǎn)坐標(biāo)沒有給出明確的定義,這是后續(xù)所要研究的.由于采用了視頻運(yùn)動對象與背景圖像分離的傳輸機(jī)制,這樣解決了網(wǎng)絡(luò)帶寬問題,提高跟蹤、監(jiān)控運(yùn)動對象的明確性,將來會在基于網(wǎng)絡(luò)化的智能視頻監(jiān)控系統(tǒng)中大有發(fā)展.
[1]丘錦波,朱光喜,王 曜.一種基于小波變換的視頻對象分割算法[J].計(jì)算機(jī)工程,2002,28(05):72~74
[2]Fujimura K,Samet,H.A Hierarchical Strategy for Path Among Moving Obstacles[J].Robotic and Automation,IEEE Transactions on,1989,5(1):61~69
[3]Noborio H,Naniwa T,Arimoto S.A feasible Motion-planning algorithm for a mobile Robot based on a quadtree representation[C].IEEE International Conference on Robotics and Automation,1989:327~332
[4]Zhang Z,Blum R S.A categorization of multiscale decomposition based image fusion achemes with a performance study for a digital camera application[J].Proceedings of the IEEE,1999,87(8):1315~1326
[5]Wang Z J,Ziou D,Armenakis C,Li D,Li Q Q.A comparative analysis of image fusion methods[J].IEEE Transaction on Geosciences and Remote Sensing,2005,43(6):1391~1402
[6]Sweldens I,Sweldens W.Factoring wavelet transforms into lifting steps[J].Journal of Fourier Analysis and Applications,1998,4(3):245~267
[7]Honggang Li,Qiao wang,Lenan Wu.A novel design of lifting scheme from general waelet[J].IEEE Transaction On Signal Processing,2005,49(8):1714~1717
[8]Shi W Z,Zhu C Q,Tian Y,Nichol J.Wavelet-based image fusion and quality assessment[J].International Journal of Applied Earth Observation and Geoinfor- mation,2005,6(3-4):241~251
[9]Liu Cui-Xi,Yang Wan-Hai.Awavelet-decomposition-based image fusion scheme and its performance evaluation[J].Acta Automatica Sinica,2002,28(6)927~934
[10]李 偉,朱學(xué)峰.基于第二代小波變換的圖像融合方法及性能評價(jià)[J].自動化學(xué)報(bào),2007,33(08):817~822
[11]張 莉,汪大明.Forstner算子及其改進(jìn)[J].北京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào),2007:6(3):17~18+8
[12]Harris C G,Stephens M J.A Combined Corner and Edge Detector[C].Manchester:Manchester Proceedings Fourth Alvey Vision Conference,1988
[13]李俊山,張雄美.紅外圖像處理、分析與融合[M].北京:科學(xué)出版社,2009
The Research of Video Surveillance Image Transmission Based on IP Network
FANG Shi-lin
(College of Computer Science,Hunan Institute of Science and Technology,Yueyang 414006,China)
With the application of video object segmentation and fusion method based on wavelet transform to the networked and digital video surveillance system,this paper presents view position method which make the front network video server achieve the segmentation between the foreground moving object and the background,and also rapidly achieve the fusion between them by using the method in the surveillance control center.In addition,we analyze the performance of video surveillance image transmission with the use of this method.Finally,we summarize the research in this field.
video object;view position method;segmentation and fusion method;video surveillance
TP391;TP393
A
1672-5298(2011)01-0041-04
2010-12-08
方世林(1981? ),男,湖南岳陽人,碩士,湖南理工學(xué)院計(jì)算機(jī)學(xué)院講師.主要研究方向:網(wǎng)絡(luò)技術(shù)