李鍵+丁學(xué)明

摘 要：為了改善常用視頻前景提取算法提取到的前景目標(biāo)存在噪點(diǎn)、空洞，以及邊緣不夠平滑等缺點(diǎn)，提出對提取到的前景目標(biāo)圖片先進(jìn)行中值濾波去除噪聲與背景波動的干擾，再對圖片進(jìn)行開運(yùn)算，以減少目標(biāo)空洞并平滑目標(biāo)邊緣的改進(jìn)方法。在靜態(tài)背景下選用單高斯模型和RPCA方法、在動態(tài)背景下選用混合高斯模型方法，并加上提出的改進(jìn)方法進(jìn)行對比試驗。實(shí)驗結(jié)果表明，提出的方法能很好地解決常用算法存在的上述問題，充分證明了該方法的有效性。

關(guān)鍵詞：視頻前景提??；開運(yùn)算；中值濾波

DOIDOI：10.11907/rjdk.172848

中圖分類號：TP312

文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2018）002-0053-03

0 引言

近年來，隨著城市化的快速推進(jìn)，城市人口急劇增加，各種治安突發(fā)事件層出不窮，交通事故也顯著增多，給城市治安帶來了很大壓力。監(jiān)控攝像頭能幫助記錄不法事件，從而有效減少違法事件的發(fā)生。因此，現(xiàn)在各大城市都在完善攝像頭監(jiān)控的部署，以加強(qiáng)對治安、交通的管控。而且隨著文明城市建設(shè)等政策的推進(jìn)，人們的安防意識不斷加強(qiáng)，學(xué)校、辦公樓、工廠等場合的攝像頭也呈指數(shù)型增長。未來隨著城市化的進(jìn)一步推進(jìn)及各個行業(yè)規(guī)范管理的落實(shí)，監(jiān)控攝像頭的數(shù)量還將繼續(xù)增長。

面對大量監(jiān)控攝像頭，若每個攝像頭都指派專人監(jiān)守在視頻畫面前，會耗費(fèi)大量人力物力，給各行業(yè)帶來了不小的成本開銷。并且當(dāng)監(jiān)守人員疲勞過度或出現(xiàn)其他身體不適時，可能會造成漏報、誤報等情況，從而造成很大損失。警察在偵察破案時，需要查看監(jiān)控視頻獲取犯罪分子行蹤，若監(jiān)控視頻數(shù)據(jù)量很大，從視頻中獲取有用信息將耗時又費(fèi)力，甚至?xí)诱`破案時機(jī)。因此，采用智能的視頻處理技術(shù)協(xié)助人們處理這些海量的視頻數(shù)據(jù)是非常必要的。視頻前景提取技術(shù)是視頻處理中的一種常用技術(shù)，通過提取視頻中有效的目標(biāo)前景，去除背景干擾，若視頻幀中無目標(biāo)情景則可判定為無效幀，從而對視頻進(jìn)行篩選，可達(dá)到減少工作量的目的。

1 視頻前景提取

視頻前景提取是計算機(jī)視覺領(lǐng)域中的一個重要研究方向，其目的是將視頻中運(yùn)動的、人們關(guān)心的目標(biāo)與背景分離，以提取視頻中的有用信息。目前關(guān)于提取前景目標(biāo)的算法很多，最常用的就是幀差法[1]，可通過前后幀的差得到運(yùn)動信息，如Ridder[2]提出一種基于卡爾曼濾波的目標(biāo)前景提取模型，Elgammal[3]提出一種無參數(shù)的前景提取算法，KaewTrakulPong[4]提出關(guān)于背景建模的前景提取方法，Davis[5]提出一種關(guān)于歷史運(yùn)動圖的方法。但這些算法在視頻前景提取上還有很多不足，存在提取的目標(biāo)邊緣比較粗糙、噪點(diǎn)多、目標(biāo)物存在空洞等問題。

本文選取了目前在視頻前景提取中效果較好的幾種方法，針對上述算法存在的不足作相應(yīng)優(yōu)化，并分別在靜態(tài)和動態(tài)背景下進(jìn)行了實(shí)驗，分析各算法的優(yōu)劣以及各算法適用的場景。

2 靜態(tài)背景

當(dāng)相機(jī)視角固定，攝像機(jī)穩(wěn)定拍攝，此時獲得的視頻背景為靜態(tài)，此過程只有目標(biāo)相對攝像機(jī)的運(yùn)動，可采用背景建模法[10-12]。該方法的基本思路是先獲得背景模型，再利用當(dāng)前幀與背景模型作差。若像素差值超過了設(shè)定閾值，則認(rèn)為該像素屬于運(yùn)動區(qū)域，相反則屬于背景區(qū)域。本文采用單高斯模型與RPCA兩種靜態(tài)背景下的常用方法進(jìn)行試驗。

2.1 單高斯模型

假設(shè)圖像中的像素（a，b）處的灰度值Xa，b都是相互獨(dú)立且服從唯一正態(tài)分布，即：

μa，b表示點(diǎn)（a，b）處的像素均值，σ2a，b表示（a，b）處的像素方差。如果某個像素點(diǎn)的概率小于閾值，則判定該點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。當(dāng)像素點(diǎn)被判定為前景點(diǎn)時，背景保持不變，當(dāng)像素點(diǎn)被判定為背景點(diǎn)時，更新公式如下：

2.2 RPCA

在進(jìn)行背景建模時，可以將每一個視頻幀的像素值變成一個列向量保存在數(shù)據(jù)矩陣D中。在靜態(tài)背景情形下，背景很穩(wěn)定，背景幀之間具有很大的相似性，因此由靜態(tài)背景像素組成的矩陣具有低秩特性[6]。同時由于目標(biāo)前景是短時移動的物體，占據(jù)的像素比例較低，所以只有前景像素組成的矩陣具有稀疏特性。

RPCA是一種魯棒主成分分析（Robust PCA）[7]，是背景分離中的一個常用算法。其考慮的是這樣一個問題：數(shù)據(jù)矩陣包含結(jié)構(gòu)信息，也包含噪聲，可以將這個矩陣分解為兩個矩陣相加，一個是低秩的，因為內(nèi)部有一定的結(jié)構(gòu)信息，造成各行或列間線性相關(guān)。另一個是稀疏的，因為其中含有噪聲，而噪聲是稀疏的。

視頻的數(shù)據(jù)矩陣D可看作是這兩個矩陣的疊加，即D=A*+B*，其中A*是前景像素組成的稀疏矩陣，B*是靜態(tài)背景像素組成的低秩矩陣，所以在此問題中對靜態(tài)背景建模的過程就是低秩矩陣B*的恢復(fù)過程。因此，需要將視頻數(shù)據(jù)矩陣表示成一個稀疏矩陣和一個低秩矩陣的和，則魯棒主成分分析可以表示為以下的優(yōu)化問題：

由于rank和L0范數(shù)在優(yōu)化上存在非凸、非光滑特性，放松條件L0-范數(shù)至L1范數(shù)，用核范數(shù)代替秩，優(yōu)化問題近似為一個凸優(yōu)化問題：

通過求解該優(yōu)化問題，得到動態(tài)背景矩陣B*的解，進(jìn)而得到背景模型。

2.3 實(shí)驗結(jié)果及分析

選取機(jī)場、大廳、辦公室、行人、煙5個場景的視頻進(jìn)行試驗，其中機(jī)場環(huán)境下拍攝的監(jiān)控視頻中包含了動態(tài)電梯背景，前景目標(biāo)提取效果如圖1所示。從實(shí)驗效果圖可以看出，RPCA模型對動態(tài)信息更加敏感，能提取到更多細(xì)節(jié)信息，整體表現(xiàn)優(yōu)于單高斯模型，而單是對于含有動態(tài)背景的機(jī)場視頻，其提取效果較差。由此可見，在靜態(tài)背景下，RPCA效果較好，但RPCA不適用于動態(tài)背景的情況。

前景目標(biāo)分割評價方法IOU交并比可反應(yīng)目標(biāo)分割的準(zhǔn)確率，將單高斯模型或RPCA方法分割出的前景目標(biāo)與實(shí)況取交集比上它們的并集，即為目標(biāo)分割的準(zhǔn)確率。5個場景兩種模型前景目標(biāo)提取準(zhǔn)確率如表1所示。endprint

3 動態(tài)背景

相機(jī)視角固定，攝像機(jī)穩(wěn)定拍攝，背景動態(tài)呈現(xiàn)多模態(tài)，例如：水面波紋、樹枝搖擺、窗簾旗幟飄揚(yáng)等這些情況下需要多分布模型來共同描述背景像素值的概率分布?；旌细咚鼓Ｐ蚚8-9]利用多高斯成分描述像素在時間域上的分布，解決了單高斯模型僅適用于單一場景的問題，對復(fù)雜場景具有一定的魯棒性，能很好地運(yùn)用在動態(tài)背景情形下。

在此基礎(chǔ)上，針對上述算法提取的前景存在噪點(diǎn)、空洞等不足進(jìn)行了改進(jìn)。首先對混合高斯模型處理后的視頻幀圖像，利用中值濾波再次去除背景波動帶來的干擾，再利用開運(yùn)算平滑前景目標(biāo)邊緣，并減少前景目標(biāo)空洞。

3.1 混合高斯模型

假設(shè)背景圖像中的每一個像素在時間域上的分布由K個高斯分布構(gòu)成的混合模型表示。像素j的值為xj概率為：

根據(jù)高斯分布建立的背景圖模型，按照優(yōu)先級次序?qū)⑾袼刂祒j分別與高斯分布逐一匹配，若沒有高斯分布與之匹配，則判斷該點(diǎn)為前景點(diǎn)，反之則為背景點(diǎn)。

3.2 實(shí)驗結(jié)果與分析

本文選取了一個含有動態(tài)背景的視頻作為實(shí)驗數(shù)據(jù)，其中運(yùn)動的人為有效前景目標(biāo)，波動的水紋是動態(tài)背景。在此選取動態(tài)背景監(jiān)控視頻的第6、12、18、24、30、36、40、48幀展示前景目標(biāo)提取效果，如圖2所示。其中，圖2（b）利用混合高斯模型提取的前景目標(biāo)中仍含有少量背景干擾，在此基礎(chǔ)上先利用中值濾波技術(shù)減少背景干擾，效果如圖2（c）所示，再運(yùn)用開運(yùn)算平滑目標(biāo)邊緣并減少空洞，效果如圖2（d）所示。從圖中可以看出，混合高斯模型能很好地提取動態(tài)背景視頻中的前景目標(biāo)，改進(jìn)方法能有效解決提取的前景目標(biāo)含有噪點(diǎn)，以及目標(biāo)邊緣不平滑、含有空洞等問題。

4 結(jié)語

從實(shí)驗中可以看出，RPCA在靜態(tài)背景下效果很好，能捕捉到很多細(xì)節(jié)，對動態(tài)信息很敏感，但這個優(yōu)點(diǎn)在動態(tài)背景下則成了缺點(diǎn)；單高斯模型速度快，但在處理靜態(tài)背景前景提取時效果不如RPCA；混合高斯模型在處理動態(tài)背景時效果穩(wěn)定。通過中值濾波可以消除圖像中的噪點(diǎn)，讓提取的前景圖片目標(biāo)更清晰；開運(yùn)算能夠補(bǔ)齊目標(biāo)中的空洞，平滑目標(biāo)邊緣，讓目標(biāo)輪廓感更強(qiáng)。上述實(shí)驗結(jié)果驗證了改進(jìn)方法的有效性。

參考文獻(xiàn)：

[1] MIGLIORE D A， MATTEUCCI M， NACCARI M. A revaluation of frame difference in fast and robust motion detection[C]. Proceedings of the 4th ACM international workshop on Video surveillance and sensor networks. Santa Barbara， California， USA： ACM，2006：215-218.

[2] RIDDER C， MUNKELT O， KIRCHNER H. Adaptive background estimation and foreground detection using kalman-filtering[C]. Multimedia Signal Processing （MMSP）， 2013 IEEE 15th International Workshop on，1995：390-395.

[3] ELGAMMAL A， HARWOOD D， DAVIS L. Non-parametric model for background subtraction[J]. Lecture Notes in Computer Science，2000，1843：751-767.

[4] KAEWTRAKULPONG P， BOWDEN R. An improved adaptive background mixture model for real-time tracking with shadow detection[J]. Video-based surveillance systems，2002，1：135-144.

[5] DAVIS J W， BOBICK A F. The representation and recognition of human movement using temporal templates[C].Computer Vision and Pattern Recognition， Proceedings，1997 IEEE Computer Society Conference on. IEEE，1997：928-934.

[6] E J CAND`ES， X LI， Y MA，et al.Robust principal component analysis？[J]. Journal of the ACM （JACM），2011，58（3）：11.

[7] Q ZHAO， D MENG， Z XU，et al.Robust principal component analysis with complex noise[C].Proceedings of the 31st International Conference on Machine Learning （ICML-14），2014：55-63.

[8] STAUFFER C， GRIMSON W E L. Adaptive background mixture models for real-time tracking[C].Computer Vision and Pattern Recognition， IEEE Computer Society Conference on. IEEE，1999：246-252.

[9] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C].Pattern Recognition， Proceedings of the 17th International Conference on. IEEE，2004：28-31.

[10] 代科學(xué)，李國輝，涂丹，等.監(jiān)控視頻運(yùn)動目標(biāo)檢測減背景技術(shù)的研究現(xiàn)狀和展望[J].中國圖象圖形學(xué)報，2006（7）：919-927.

[11] 王丹.基于背景建模的運(yùn)動目標(biāo)檢測與分割算法[D].西安：西安電子科技大學(xué)，2015.

[12] PICCARDI M. Background subtraction techniques： a review[C].IEEE International Conference on Systems， Man and Cybernetics. IEEE，2005：3099-3104.endprint