葉芳芳，許力

1.浙江大學(xué)電氣工程學(xué)院，杭州 310027

2江蘇大學(xué)電氣信息工程學(xué)院，江蘇鎮(zhèn)江 210023

復(fù)雜場景下有效的遺棄物檢測方法

葉芳芳1，2，許力1

1.浙江大學(xué)電氣工程學(xué)院，杭州 310027

2江蘇大學(xué)電氣信息工程學(xué)院，江蘇鎮(zhèn)江 210023

為了解決遺棄物檢測過程中的遮擋以及其他靜止目標(biāo)干擾問題，提出了一種有效的遺棄物檢測方法。采用選擇性更新策略更新混合高斯背景模型，從而得到包含運(yùn)動(dòng)目標(biāo)以及靜止目標(biāo)的前景；采用雙閾值的方法提取靜止目標(biāo)，并通過目標(biāo)靜止后累積的證據(jù)及允許遮擋時(shí)間參數(shù)處理虛警和遮擋問題。通過對靜止目標(biāo)區(qū)塊的特征提取，排除靜止行人及車輛的干擾以實(shí)現(xiàn)遺棄物的檢測。多場景下的實(shí)驗(yàn)分析表明，該方法在復(fù)雜背景條件下達(dá)到了良好的檢測性能。

混合高斯模型；遮擋；靜止目標(biāo)；遺棄物檢測；選擇性更新策略

1 引言

遺棄物的檢測是智能視頻監(jiān)控中的重要功能之一，在安防領(lǐng)域具有很強(qiáng)的實(shí)用價(jià)值。另外，在城市管理領(lǐng)域，亂倒垃圾以及占道停放物體等引起的市容違章問題也逐漸受到關(guān)注。遺棄物通常是指進(jìn)入場景后由運(yùn)動(dòng)狀態(tài)轉(zhuǎn)變?yōu)殪o止?fàn)顟B(tài)，長時(shí)間停留超過一定時(shí)間的物體。因此，基于智能視頻監(jiān)控的遺棄物檢測方法在城市市容管理領(lǐng)域也有一定的實(shí)用價(jià)值。

目前，對遺棄物的檢測，常用的方法有基于跟蹤的

方法[1-3]和基于背景減除[4-11]的方法，跟蹤的方法在目標(biāo)被遮擋時(shí)，容易丟失目標(biāo)，文獻(xiàn)[1-2]結(jié)合跟蹤算法和多相機(jī)模型，可解決復(fù)雜場景下目標(biāo)遮擋問題，但是，多相機(jī)模型造成計(jì)算量過大，阻礙了該方法的實(shí)際應(yīng)用。背景減除的方法中，基于混合高斯模型（GMM）[12]的檢測方法對復(fù)雜場景的適應(yīng)性好，被廣泛應(yīng)用于靜止目標(biāo)的檢測。文獻(xiàn)[4]在混合高斯背景建模的基礎(chǔ)上通過觀測各高斯分布的狀態(tài)遷移來檢測進(jìn)入視場后靜止的目標(biāo)，當(dāng)某像素點(diǎn)的第二個(gè)高斯分布的權(quán)值大于某個(gè)閾值時(shí)，認(rèn)為該像素屬于靜止目標(biāo)。Porikli[6-7]等人提出一種基于背景消除的遺留物檢測方法，通過建立兩個(gè)不同更新率的混合高斯背景模型檢測靜止目標(biāo)，Li等人[8]對雙混合高斯模型加以改進(jìn)，主要降低了光線變化對檢測到的靜止目標(biāo)的影響，但是，該方法對不同的應(yīng)用場景很難設(shè)定適當(dāng)?shù)膮?shù)，另外兩個(gè)混合高斯模型的建立，加大了算法的復(fù)雜度，降低了實(shí)時(shí)性能。文獻(xiàn)[10-11]提出基于雙層背景的方法來進(jìn)行遺留物檢測，該方法實(shí)時(shí)性好，但是對復(fù)雜的多模態(tài)背景環(huán)境適應(yīng)性不如GMM。

為了實(shí)現(xiàn)動(dòng)態(tài)場景中遺棄物的檢測，本文主要解決以下四個(gè)問題：（1）檢出進(jìn)入場景后靜止的目標(biāo)；（2）降低虛警，去除場景內(nèi)部結(jié)構(gòu)變化引起的干擾（如光線變化）；（3）處理遮擋問題；（4）排除進(jìn)入場景后靜止的行人和車輛。具體做法為：在高斯背景模型更新部分，當(dāng)模型匹配條件滿足時(shí)更新模型，匹配失敗時(shí)采用選擇更新策略更新背景模型，從而得到包含運(yùn)動(dòng)目標(biāo)以及靜止目標(biāo)的前景并通過雙閾值的方法提取靜止目標(biāo)，提出允許遮擋時(shí)間參數(shù)，保證目標(biāo)被短時(shí)遮擋時(shí)仍然被檢測。提取靜止目標(biāo)區(qū)塊的縱橫比及面積特征，并通過支持向量機(jī)分類以排除靜止的行人及車輛的干擾，實(shí)現(xiàn)遺棄物的檢測。此外，本文還進(jìn)行了與文獻(xiàn)[10]中的檢測算法的比較實(shí)驗(yàn)。

2 傳統(tǒng)GMM的更新方法

Stauffer和Grim son在文獻(xiàn)[9]中提出的混合高斯模型（GMM），由于對背景比較復(fù)雜的情況有較強(qiáng)的適應(yīng)性，因此，是目前比較常用的一種運(yùn)動(dòng)目標(biāo)檢測方法。每個(gè)GMM由K個(gè)高斯分布組成，這些高斯成分線性加權(quán)和就組成了GMM的概率密度函數(shù)：

其中，K為高斯成分的個(gè)數(shù)，ωi，t，μi，t，Σi，t分別為每個(gè)高斯成分對應(yīng)的權(quán)值、均值和方差參數(shù)，η(Xt，μi，t，Σi，t) 為t時(shí)刻的第i個(gè)高斯分布。

背景模型要實(shí)時(shí)更新以適應(yīng)環(huán)境的變化，其具體更新策略為：

（1）如果當(dāng)前像素與第i個(gè)高斯成分匹配，則更新背景模型：

其中，ρ=α/wi，t，ρ表示模型的學(xué)習(xí)率。

（2）如果當(dāng)前像素與第i個(gè)高斯成分不匹配，則減小這個(gè)高斯成分的權(quán)值，均值與方差不變。

（3）如果當(dāng)前像素與所有高斯成分都不匹配，以當(dāng)前像素點(diǎn)新建一個(gè)模型，代替權(quán)值最小的即最不可能的高斯成分。

建模完成后，計(jì)算每個(gè)模型對應(yīng)的wi，tσi，t，然后按照降序排列，選定滿足的前B個(gè)模型作為背景模型，其中T為權(quán)值累加閾值。

3 靜止目標(biāo)檢測

GMM在一定程度上解決了亮度變化、運(yùn)動(dòng)干擾等條件下的背景灰度多峰分布問題，但與大多數(shù)背景模型一樣，這種算法會(huì)將靜止不變的像素更新到背景，從而無法檢測靜止目標(biāo)。本文提出在模型更新時(shí)采用選擇性更新策略，以實(shí)現(xiàn)靜止目標(biāo)的檢測。

3.1 選擇性更新策略

記Ft(x，y)為t時(shí)刻模型匹配失敗后得到的前景點(diǎn)，則

如果模型匹配失敗后對模型參數(shù)不更新，靜止目標(biāo)不會(huì)被更新到背景中，令Mt(x，y)為t時(shí)刻某位置前景靜止累積的證據(jù)。

其中，參數(shù)Mmin是像素被確定為靜止目標(biāo)的最短時(shí)間，ΔT為允許遮擋時(shí)間。如圖1所示，當(dāng)目標(biāo)靜止時(shí)，Mt(x，y)隨靜止時(shí)間不斷增加，當(dāng)目標(biāo)移走或被遮擋時(shí)，Mt(x，y)逐漸減小。只要靜止目標(biāo)被路過目標(biāo)遮擋的時(shí)間低于ΔT，則Mt(x，y)始終大于Mmin，靜止目標(biāo)依然能被檢測出來。參數(shù)Mmin取較大值，可以抑制短暫靜止的目標(biāo)，降低虛警率。

圖1 某像素靜止累積的時(shí)間

但是，如果對模型匹配失敗后得到的所有前景點(diǎn)不更新參數(shù)，GMM消除運(yùn)動(dòng)干擾的能力下降，為了克服這個(gè)問題，本文只對長時(shí)靜止的前景點(diǎn)的參數(shù)不更新，對運(yùn)動(dòng)前景及短時(shí)靜止的前景點(diǎn)以及背景點(diǎn)按照第1章傳統(tǒng)GMM方法更新參數(shù)。因此，本文提出的選擇性更新策略為：

3.2 基于雙閾值的靜止目標(biāo)檢測

運(yùn)動(dòng)目標(biāo)和靜止目標(biāo)的區(qū)別主要表現(xiàn)在兩點(diǎn)：（1）對于已經(jīng)獲得的前景灰度圖像f，靜止目標(biāo)的相鄰幀像素灰度值的變化非常小；（2）靜止目標(biāo)在相同位置停留的時(shí)間長?；谝陨蟽牲c(diǎn)，本文提出雙閾值法檢測靜止目標(biāo)，設(shè)置時(shí)間閾值Mmin和鄰幀差閾值Tdiff，通過式（7）可判斷當(dāng)前前景點(diǎn)為：

4 干擾排除

在復(fù)雜的環(huán)境中，通常會(huì)檢測到多個(gè)靜止目標(biāo)區(qū)塊，除了遺棄物，還有可能是長時(shí)靜止的行人或車輛，為了降低虛警率，需要進(jìn)一步排除這些干擾目標(biāo)的影響。同一個(gè)場景中，要區(qū)別遺棄物，行人及車輛，關(guān)鍵在于特征的提取。從視覺角度看，距離攝像頭相同位置的同一水平線上，站立行人的縱橫比最大，車輛的面積最大。因此，本文分別根據(jù)這兩個(gè)關(guān)鍵特征排除長時(shí)站立的行人及靜止的車輛。圖2為一個(gè)典型的目標(biāo)區(qū)塊，點(diǎn)(i，j)為區(qū)塊的質(zhì)心，hei和wid為目標(biāo)的高度和寬度。

圖2 典型的目標(biāo)區(qū)塊

4.1 排除靜止車輛

對于同一場景中初次檢測到的靜止目標(biāo)，同一視角位置，車輛的面積要大于遺棄物以及行人的面積，另外，面積的大小受目標(biāo)與攝像頭之間的位置影響，對于質(zhì)心為(i，j)的目標(biāo)區(qū)塊，i越大，表示其離攝像頭越近，其面積越大，反之，i越小，表示其離攝像頭越遠(yuǎn)，其面積越小，因此本文對所有區(qū)塊以場景的中心點(diǎn)(hei/2,wid/2)為基準(zhǔn)進(jìn)行歸一化。

其中，Sm為歸一化后的目標(biāo)區(qū)塊的面積，m=1，2，…，M為區(qū)塊的個(gè)數(shù)。wm(i，j)為歸一化權(quán)值，其大小與i成反比，用式（9）表示：

當(dāng)Sm滿足Smin＜Sm＜Smax，其值作為特征向量并通過線性支持向量機(jī)對區(qū)塊內(nèi)的目標(biāo)分類。

4.2 排除靜止行人

對于行人的檢測，目前較好的方法是hog描述器[13]。首先計(jì)算各個(gè)區(qū)塊的縱橫比，當(dāng)其值滿足式（10）時(shí)，計(jì)算這個(gè)區(qū)塊的方向梯度直方圖，并采用L1-sqrt方式歸一化，歸一化的結(jié)果作為特征向量并通過線性支持向量機(jī)對區(qū)塊內(nèi)的目標(biāo)分類。

5 實(shí)驗(yàn)結(jié)果及分析

圖3 目標(biāo)檢測結(jié)果對比

在M atlab7.1環(huán)境下，分別對室內(nèi)、AVSS2007數(shù)據(jù)庫[14]的監(jiān)控視頻進(jìn)行目標(biāo)檢測，參數(shù)設(shè)定如下：K=3，D=2.5，ρ=0.01，Tdiff=1，ΔT=100，Mmin=400。

室內(nèi)環(huán)境采用CAVIAR場景檢測數(shù)據(jù)庫[15]的一段視頻，為單人扔垃圾箱的行為，雖然是室內(nèi)，但有大面積玻璃窗，有強(qiáng)烈的玻璃反光以及陰影的干擾。圖3（a）為原始圖像及（d）反饋的報(bào)警標(biāo)志，圖3（b）為傳統(tǒng)GMM的前景檢測結(jié)果，只能檢測運(yùn)動(dòng)目標(biāo)，圖3（c）為本文方法的前景檢測結(jié)果，除了運(yùn)動(dòng)目標(biāo)，靜止目標(biāo)被檢出。圖3（d）為本文遺棄物檢測結(jié)果。圖3（e）為文獻(xiàn)[10]雙背景方法的遺棄物檢測結(jié)果，從圖中可以看出，雙背景方法對光線變化無法做出及時(shí)調(diào)整，并且初始背景幀中的靜止目標(biāo)移動(dòng)后仍然被檢測出來，并經(jīng)過一段時(shí)間才消除?？梢钥闯觯疚姆椒ɑ静皇芮熬霸肼曈绊?，而且檢測到的目標(biāo)邊緣更加完整。

圖4為AVSSS2007數(shù)據(jù)庫在不同時(shí)段的同一個(gè)場景，根據(jù)目標(biāo)檢測難度，圖中從左到右表示目標(biāo)檢測復(fù)雜性為簡單（AB-easy）、中等（AB-m id）、復(fù)雜（AB-hard），進(jìn)出干擾的行人由少到多，目標(biāo)的位置由近到遠(yuǎn)，由大到小。站臺(tái)的光線隨著地鐵的進(jìn)出不規(guī)則變化，以及乘客的進(jìn)出遮擋也給目標(biāo)檢測提升了難度。由圖中可以看中，離攝像頭距離較遠(yuǎn)的小目標(biāo)也能被檢測。

圖4 AVSSS2007數(shù)據(jù)庫中遺棄物檢測結(jié)果

圖5給出目標(biāo)被遮擋過程的檢測結(jié)果，可以看出，目標(biāo)在第4 030幀未被遮擋，在第4 059幀被遮擋時(shí)以及4 098幀遮擋結(jié)束后，目標(biāo)仍然被檢測出來。圖5（d）表示這三幀的檢測結(jié)果。

圖5 目標(biāo)被遮擋時(shí)的檢測結(jié)果

圖6所示第一行為視頻幀序列，第二行為靜止前景檢測結(jié)果。第二列為靜止目標(biāo)檢測結(jié)果，該幀檢測到遺棄的箱子、靜止站立的行人以及經(jīng)過的列車，第三列為排除行人和車輛后的遺棄物檢測結(jié)果。從圖中可以看出，非遺棄物的干擾目標(biāo)在檢測出后很快被排除。

圖6 靜止的行人及車輛排除

為了對本文算法、文獻(xiàn)[6]以及文獻(xiàn)[10]中的雙背景算法進(jìn)行量化比較，使用檢出率（DR）和虛警率（FAR）兩個(gè)指標(biāo)對兩個(gè)實(shí)驗(yàn)結(jié)果予以分析，

其中TP為檢測出來的屬于遺棄物的區(qū)域，F(xiàn)P為檢測出來的不屬于遺棄物的區(qū)域，F(xiàn)N為未被檢測出來的屬于遺棄物的區(qū)域。對比的結(jié)果見表1，可見，在簡單的場景中，三種方法的檢出率都較高，但是在復(fù)雜場景中，本文方法檢出率平均在94%左右，較為穩(wěn)定，同時(shí)虛警率較低。另外，從計(jì)算復(fù)雜度上比較，文獻(xiàn)[10]＜本文方法＜文獻(xiàn)[6]，雖然本文方法的實(shí)時(shí)性不如文獻(xiàn)[10]，但是檢出率遠(yuǎn)高于文獻(xiàn)[10]，且虛警率較低，總體性能優(yōu)于文獻(xiàn)[10]。

表1 兩個(gè)實(shí)驗(yàn)中三種方法的檢出率和誤檢率對比

6 結(jié)論

本文提出了一種有效的遺棄物檢測方法，通過對混合高斯模型的更新方式的改進(jìn)，在保留GMM模型原有優(yōu)點(diǎn)的同時(shí)，還能對動(dòng)態(tài)場景中的靜止目標(biāo)（如遺棄物，長時(shí)滯留的行人、車輛）進(jìn)行檢測，并且能很好地解決遮擋問題。另外，本文有效地排除了進(jìn)入場景后靜止的行人以及車輛，降低了虛警率。實(shí)驗(yàn)結(jié)果表明，本文方法能適應(yīng)復(fù)雜的背景環(huán)境，達(dá)到良好的檢測效果。

[1]Hassan W，Mitra B，Chatw in C，et al.Illumination invariant method to detect and track left luggage in public areas[J]. SPIE 7696，2010.

[2]Ferryman K，Hogg J，Sochman D，et al.Robust abandoned object detection integrating wide area visual surveillance and social context[J].Pattern Recognition Letters，2013，34（7）：789-798.

[3]Auvinet E，Grossmann E，Rougier C，et al.Left luggage detection using homographies and simple heuristics[C]// IEEE International Workshop on PETS，New York，June 18，2006：51-58.

[4]Tian Y L，F(xiàn)eris R S，Liu H，et al.Robust detection of abandoned and removed objects in complex surveillance videos[J].IEEE Systems，Man，and Cybernetics，2011：565-576.

[5]Bird N，A tev S.Real time online detection of abandoned objects in public areas[C]//Proc IEEE Int Conf Robot Automation，Orlando，2006：3775-3780.

[6]Porikli F，Ivanov Y，Haga T.Robust abandoned object detection Using dual foregrounds[J].EURASIP J Adv Signal Process，2008.

[7]Porikli F.Detection of temporarily static regions by processing video at different frame rates[C]//IEEE International Conference on Advanced Video and Signal Based Surveillance，London，UK，September 2007.

[8]Li Xuli，Zhang Chao，Zhang Duo.Abandoned objects detection using double illumination invariant foreground masks[C]//Istanbul，Turkey，Pattern Recognition（ICPR），2010：436-439.

[9]Tian Yingli，Senior A，Lu Max.Robust and efficient foreground analysis in complex surveillance videos[J].Machine Vision and Applications，2012，23（5）：967-983.

[10]Li Q，Mao Y，Wang Z，et al.Robust real-time detection of abandoned and removed objects[C]//Proc of ICIG，2009：156-161.

[11]Liu Xiya，Wang Jingling，Zhang Qin.An abandoned object detection system based on dual background and motion analysis[C]//2012 International Conference on Computer Science Service System（CSSS），2012：2293-2296.

[12]Chris S，Grimson W.Adaptive background mixture models for real-time tracking[C]//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，F(xiàn)ort Collins，CO，USA，June 23-25，1999.Washington D C：IEEE，1999，2：245-252.

[13]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//Proceeding of the conference on Computer Vision and Pattern Recognition，San Diego，CA，USA，2005.

[14]PETS 2006 Benchmark Data[EB/OL].[2013-10-21].http：// www.cvg.rdg.ac.uk/PETS2006/data.htm l.

[15]CAVIAR Test Case Scenarios[EB/OL].[2013-10-21].http：// www.dai.ed.ac.uk/homes/rbf/CAVIAR/.

YE Fangfang1，2,XU Li1

1.College of Electrical Engineering,Zhejiang University,Hangzhou 310027,China
2.College of Electronic and Information Engineering,Jiangsu University,Zhenjiang,Jiangsu 210023,China

An effective abandoned objects detection method is proposed for the purpose to solve occlusion and other static targets interference in the detection of abandoned objects.Gaussian Mixture Model（GMM）is updated by selectively update strategy,thus the foreground including the moving targets and the stationary targets are detected.A dual-threshold method is used to obtain static objects,then aggregate evidence and an allow ed occlusion time parameter are introduced with the purpose to reduce the false alarms and handle occlusions necessarily occurred.The interference of the pedestrians and vehicles are excluded by extracting the feature of stationary target blocks,and thus the abandoned objects are detected.The experimental results under different conditions demonstrate that the proposed method achieves a better performance under complex background condition.

Gaussian Mixture Model;occlusion;static object;abandoned objects detection;selectively update strategy

A

TP391

10.3778/j.issn.1002-8331.1312-0248

YE Fangfang,XU Li.Effective abandoned object detection method in complex scene.Computer Engineering and Applications,2014,50（16）：12-15.

國家自然科學(xué)基金（No.61004032）；江蘇省自然科學(xué)基金（No.BK 201240801）。

葉芳芳（1980—），女，講師，在讀博士生，從事智能控制、模式識(shí)別的研究；許力，男，教授，博導(dǎo)，從事智能控制，智能機(jī)器人，工業(yè)自動(dòng)化等方面的研究。E-mail：cliney@zju.edu.cn

2013-12-17

2014-02-24

1002-8331（2014）16-0012-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2014-03-03,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1312-0248.htm l