李擁軍 曾 標(biāo) 徐克付 李 陽(yáng)

①(華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 廣州 510006)

②(華南理工大學(xué)理學(xué)院 廣州 510640)

③(中國(guó)科學(xué)院計(jì)算技術(shù)研究所信息內(nèi)容安全技術(shù)國(guó)家工程實(shí)驗(yàn)室 北京 100190)

1 引言

目前，從圖像序列中提取背景物體常用的方法主要是幀差與背景相結(jié)合的方法[1]。文獻(xiàn)[2]提出了一種基于行掃描點(diǎn)線目標(biāo)聚類合并的快速實(shí)時(shí)多目標(biāo)檢測(cè)算法，該方法在一定程度上避免了幀差法、投影法等傳統(tǒng)檢測(cè)算法帶來(lái)的漏檢；基于背景Codebook模型[3]的前景檢測(cè)算法也是當(dāng)前比較常用的目標(biāo)檢測(cè)算法，它比傳統(tǒng)的目標(biāo)檢測(cè)算法具有更高的精確度和魯棒性；另外，混合高斯模型(MOG)方法[4]在現(xiàn)實(shí)生活中得到大量應(yīng)用；密度估計(jì)運(yùn)動(dòng)檢測(cè)方法[5]也是當(dāng)前研究的熱點(diǎn)之一；文獻(xiàn)[6]總結(jié)了一些經(jīng)典背景建模方法的基本原理和優(yōu)缺點(diǎn)。貝葉斯模型是一種不確定性知識(shí)的推理和描述，在圖像分割中發(fā)揮著重要的作用[7,8]。貝葉斯采用“逆概率”思想，推算出該特征向量屬于背景或前景的概率；全概率則是計(jì)算在某一像素點(diǎn)，出現(xiàn)某一特征的概率。由于以上文獻(xiàn)所提出的模型對(duì)背景建模不具有一般性，只能對(duì)特定類型視頻場(chǎng)景進(jìn)行建?；蛘咧荒茚槍?duì)特定運(yùn)動(dòng)目標(biāo)才具有較好的檢測(cè)效果。因此，為了建立一個(gè)能夠適應(yīng)大部分視頻場(chǎng)景的前景檢測(cè)模型，本文提出了貝葉斯-全概率聯(lián)合估計(jì)模型。通過(guò)對(duì)貝葉斯準(zhǔn)則和全概率公式的結(jié)合，能夠很好地檢測(cè)處于復(fù)雜背景中的運(yùn)動(dòng)物體。

本文其它章節(jié)安排如下：第2節(jié)介紹貝葉斯-全概率的聯(lián)合估計(jì)模型對(duì)背景和前景進(jìn)行分類；第3節(jié)主要描述了基于貝葉斯-全概率的聯(lián)合估計(jì)模型的算法流程；第4節(jié)對(duì)本文算法與其它兩種算法的實(shí)驗(yàn)效果進(jìn)行了比較，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行誤差分析；第5節(jié)為結(jié)束語(yǔ)。

2 貝葉斯-全概率估計(jì)聯(lián)合估計(jì)模型

2.1 問(wèn)題說(shuō)明

在視頻處理中，背景一般由靜止和周期性運(yùn)動(dòng)的對(duì)象組成。但是，隨著時(shí)間的變化，背景可能經(jīng)歷兩種不同類型的變化，一是由自然光線引起的變化；二是一些突發(fā)的環(huán)境變化。突發(fā)變化又分為全局突發(fā)變化和局部突發(fā)變化，全局突發(fā)變化可能由開(kāi)關(guān)燈等引起的；局部突變化則可能是移除了某些背景物體。因此，背景的不同部分應(yīng)該由不同類型的特征描述。

2.2 背景和前景特征信息的獲取

對(duì)于某一種特定類型的背景對(duì)象，存在一些重要的特征，這些特征能夠有效地分離背景和前景，利用貝葉斯估計(jì)法則，特征向量ξt來(lái)自背景b和前景f的后驗(yàn)概率滿足[9,10]

如果特征向量滿足：

則把這個(gè)像素歸為背景，其中ψ為像素點(diǎn)。然而當(dāng)背景中出現(xiàn)大量的前景物體時(shí)，背景將長(zhǎng)時(shí)間被前景物體覆蓋，導(dǎo)致式(2)中的兩個(gè)條件并不能得到滿足，為了能夠在擁堵背景環(huán)境下更好地分離前景和背景，本文提出了背景誤差控制的方法，即將式(2)變?yōu)?/p>

其中εi,i= 1,2，這里稱之為背景誤差控制變量。當(dāng)前景物體運(yùn)動(dòng)緩慢或者視頻場(chǎng)景中的前景物體較多時(shí)，通過(guò)選擇恰當(dāng)?shù)摩舏，可以獲得更多的前景點(diǎn)，減少前景點(diǎn)被誤判的概率。把式(1)和全概率公式代入式(3)可以得到如下基于貝葉斯-全概率的聯(lián)合估計(jì)模型：

對(duì)于L位n維的特征向量，P(ξt|ψ)或P(ξt|b,ψ)的聯(lián)合直方圖包含Ln個(gè)bins(bins為頻數(shù)分布直方圖中的小矩形)，如果L或n的值很大，對(duì)于相關(guān)的計(jì)算或存儲(chǔ)的代價(jià)將是巨大的，例如當(dāng)L=32,n= 1 0時(shí)，Ln= 3210≈1015?？梢?jiàn)，一個(gè)好的近似顯得十分必要。背景被認(rèn)為是穩(wěn)定的對(duì)象，如果有一個(gè)好的特征選擇，就可以用直方圖中小部分的bins涵蓋大部分與背景有關(guān)的特征向量。令為特征直方圖中的前N個(gè)bins并按降序排列，對(duì)于給定的比例值M1,M2=1-M1，存在比較小的正整數(shù)N1，滿足

自然地，N的值依賴于所選取的特征向量和位數(shù)L，對(duì)于每一種特征向量(來(lái)自前景或者背景)，用(其中i= 1,2,…,N(N＞N))表示特征統(tǒng)計(jì)221表，它記錄了在像素ψ(x,y)，時(shí)刻t處N2個(gè)最重要的值，表中的每一個(gè)元素由3個(gè)部分組成，即

當(dāng)一個(gè)像素與穩(wěn)定的背景相關(guān)時(shí)，選取顏色作為特征向量，本文采用HSV顏色空間對(duì)圖像進(jìn)行處理，即ξt用ωt=[ht,st,vt]T代替；當(dāng)像素與運(yùn)動(dòng)背景相關(guān)時(shí)，顏色共生特性被選為特征向量，ξt用ωωt=[ht-1,st-1,vt-1,ht,st,vt]T代替。

3 貝葉斯-全概率聯(lián)合估計(jì)前景檢測(cè)算法

3.1 算法過(guò)程

本文的算法包含3部分：像素變化檢測(cè)，背景和前景像素點(diǎn)的分類，前景物體的提取和參考背景的更新。算法結(jié)構(gòu)如圖1。

圖1 本文算法對(duì)前景提取的算法流程圖

3.1.1 像素變化檢測(cè)根據(jù)不同場(chǎng)景，選擇適當(dāng)?shù)目刂谱兞繀?shù)εi,i= 1,2，將視頻圖像轉(zhuǎn)換為HSV圖像空間。令I(lǐng)(ψ,t)={Iω(ψ,t)}為輸入圖像,B(ψ,t)={Bω(ψ,t)}為系統(tǒng)在時(shí)刻t保存的參考背景圖像，其中，ω∈ {h,s,v}表示顏色組成成分。將3個(gè)組成部分的結(jié)果相結(jié)合，產(chǎn)生背景差分Fbd(ψ,t)和時(shí)間差分Ftd(ψ,t)。

3.1.2 背景和前景像素點(diǎn)的分類時(shí)間差分將變化的像素分為兩種類型，如果Ftd(ψ,t)=1，這個(gè)像素被認(rèn)為是運(yùn)動(dòng)的像素，且屬于運(yùn)動(dòng)的物體，否則它是一個(gè)與靜止物體有關(guān)的像素。它們進(jìn)一步單獨(dú)劃分為背景或前景。對(duì)于靜止的像素或運(yùn)動(dòng)的像素，特征向量的選擇是依據(jù) 2.4節(jié)中提出的方法。將這種特征向量ξt與前N1個(gè)從對(duì)應(yīng)背景的特征統(tǒng)計(jì)表格中獲取的特征向量做比較，重新獲取相似特征。令條件概率從式(7)獲得。

其中δ為控制變量，這樣相似的特征向量可以量化到鄰域向量，統(tǒng)計(jì)仍然能夠重新獲得。經(jīng)過(guò)大量視頻的測(cè)試，當(dāng)δ∈ [ 1.5,2.5]時(shí)，匹配效果最好。

3.1.3 前景物體的提取和參考背景的更新利用形態(tài)學(xué)運(yùn)算(開(kāi)運(yùn)算或者閉運(yùn)算)去除離散的點(diǎn)，輸出圖像O(ψ,t)，提取前景物體。用特征向量ξt將像素分類前景或背景，對(duì)應(yīng)特征統(tǒng)計(jì)用式(9)更新[11]。

其中i=1,2,…,N2,α2稱之為學(xué)習(xí)速率，它用來(lái)控制特征學(xué)習(xí)的速度。當(dāng)在t時(shí)刻，從最后分離反饋為ψ(x,y)為背景，則否則；當(dāng)式(7)中的相匹配時(shí)，，否則。如果沒(méi)有中的元素和ξ匹配時(shí)，則t表中的第N2個(gè)元素變?yōu)?/p>

當(dāng)背景突然變化時(shí)，新的背景特征隨即出現(xiàn)，則特征統(tǒng)計(jì)用以下式子進(jìn)行更新：

3.2 更新參考背景圖像

如果ψ為無(wú)關(guān)緊要變化的像素點(diǎn)，則Bω(ψ,t+ 1 )=( 1 -α1)Bω(ψ,t)+α1Iω(ψ,t)被用來(lái)對(duì)背景進(jìn)行更新，其中ω∈ (h,s,v),α1為無(wú)限脈沖反應(yīng)濾波參數(shù)；如果O(ψ,t)=0,Ftd(ψ,t)=1 或者Fbd(ψ,t)=1,Bω(ψ,t+ 1 )=Iω(ψ,t),ω∈ (h,s,v)則被用來(lái)對(duì)參考背景進(jìn)行更新，這樣參考圖像就能夠適應(yīng)背景的突然變化。

4 實(shí)驗(yàn)結(jié)果與誤差分析

4.1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)演示了許多復(fù)雜的室內(nèi)室外視頻場(chǎng)景，包括擺動(dòng)的樹枝，下雪環(huán)境，擁擠的路面和光照條件的變化等。為了驗(yàn)證本文算法在復(fù)雜背景環(huán)境下對(duì)前景的檢測(cè)是否更具有適應(yīng)性，本文選擇了兩種目前比較流行的算法與之對(duì)比：一是具有魯棒性的背景相減法(RBS)[12]；二是改進(jìn)的混合高斯模型算法(MOG)[13]。這兩種模型對(duì)光照變化都具有一定的魯棒性。為了進(jìn)行合理的對(duì)比，采取同樣的形態(tài)學(xué)開(kāi)運(yùn)算或者閉運(yùn)算對(duì)小區(qū)域消除。圖2是本文算法實(shí)現(xiàn)與RBS和MOG法對(duì)比的效果圖。其中(a)來(lái)自視頻的一幀；(b)RBS算法處理的結(jié)果；(c)MOG算法處理的結(jié)果；(d)本文算法處理的結(jié)果；(e)人工素描，趨近真實(shí)的前景圖。

4.2 實(shí)驗(yàn)誤差及原因分析

下面的一些概念是常用于對(duì)前景或背景檢測(cè)效果進(jìn)行評(píng)估的指標(biāo)[14,15]：

4.2.1 實(shí)驗(yàn)誤差圖形描述

The Actual Number of Foreground (AF)：當(dāng)前幀實(shí)際前景點(diǎn)的數(shù)量；

The Actual Number of Background (AB)：當(dāng)前幀實(shí)際背景點(diǎn)的數(shù)量；

The True Positive Outcome (TP)：已檢測(cè)到并且為正常前景點(diǎn)的數(shù)量；

The True Negative Outcome (TN)：已檢測(cè)到并且為正常背景點(diǎn)的數(shù)量；

The False Positive Errors (FP)：背景點(diǎn)被誤檢為前景點(diǎn)的數(shù)量；

The False Negative Errors (FN)：前景點(diǎn)被誤檢為背景點(diǎn)的數(shù)量；

False Positive Rate (FPR)：FPR=FP/(FP+TN)：背景誤判率；

圖2 各種算法實(shí)驗(yàn)效果對(duì)比圖

False Negative Rate (FNR): FNR = FN/(TP+ FN)：前景誤判率；

False Rate (FR): FR=(FP+FN)/(AF+AB):總體誤判率。

表1為不同類型的前景像素點(diǎn)和背景像素點(diǎn)的數(shù)量統(tǒng)計(jì)表。表2為在不同檢測(cè)方法下，不同錯(cuò)誤率的信息統(tǒng)計(jì)表。

圖3至圖5根據(jù)表2繪制出來(lái)的，圖中橫坐標(biāo)代表場(chǎng)景，縱坐標(biāo)表示錯(cuò)誤率(%)。

4.2.2 實(shí)驗(yàn)誤差原因分析圖3至圖5中顯示了在不同算法和不同實(shí)驗(yàn)背景環(huán)境下，不同類型誤差對(duì)比的折線圖，下面對(duì) RBS, MOG以及本文算法這 3種算法進(jìn)行誤差分析：

(1)RBS算法：從圖3中可以清晰地看到FPR的數(shù)值大小總體上是可以接受的，但是當(dāng)視頻中含有大量前景物體時(shí)(圖2(C)和圖2(D))，F(xiàn)PR偏大。從圖4可以看出，F(xiàn)NR總體也偏大。出現(xiàn)這種問(wèn)題是因?yàn)楫?dāng)前景比較密集且分布不均勻時(shí)，造成背景無(wú)法得到及時(shí)更新，最終導(dǎo)致了像素點(diǎn)的誤判。然而當(dāng)背景像素點(diǎn)變化比較均勻且前景運(yùn)動(dòng)物體比較少時(shí)，RBS方法對(duì)前景的檢測(cè)性能是比較好的(例如，圖2(B)(b))。

(2)MOG算法：通過(guò)觀察圖3，圖4和圖5中MOG模型誤差曲線，不難發(fā)現(xiàn)FPR, FNR和FR值都相對(duì)較大。不過(guò)MOG模型一般能夠檢測(cè)出大部分前景像素點(diǎn)。但是由于存在大量像素點(diǎn)的誤判，因而在總體上，MOG模型在處理復(fù)雜背景環(huán)境時(shí)，并不是一種理想的方法。導(dǎo)致MOG模型對(duì)前景物體檢測(cè)失敗的原因是：當(dāng)背景中出現(xiàn)大量劇烈運(yùn)動(dòng)的背景像素點(diǎn)或者背景環(huán)境突然變化時(shí)，像素點(diǎn)不符合高斯分布，最終導(dǎo)致高斯建模失敗。

(3)本文算法：相對(duì)RBS和MOG算法，從圖3至圖5中本文算法的FPR, FNR和FR曲線可以清晰地看出本文的算法對(duì)復(fù)雜背景條件下前景檢測(cè)具有更明顯的優(yōu)勢(shì)。但是也丟失了一些前景點(diǎn)，主要有兩個(gè)原因：一是當(dāng)場(chǎng)景中的前景和背景的H,S,V 3個(gè)分量之間的數(shù)值非常接近時(shí)(例如，圖2B(b)中人的衣服和樹木都為黑色)，前景點(diǎn)會(huì)被誤判為背景；二是在前景出現(xiàn)之前，視頻預(yù)處理的幀數(shù)較少在一定程度上也會(huì)使模型的建立存在誤差。但是，經(jīng)過(guò)大量復(fù)雜背景場(chǎng)景的反復(fù)測(cè)試，本算法具有更高的準(zhǔn)確性和可靠性。

表1 不同類型的前景像素點(diǎn)和背景像素點(diǎn)的數(shù)量統(tǒng)計(jì)表

表2 在不同檢測(cè)方法下，不同錯(cuò)誤率的信息統(tǒng)計(jì)表(%)

圖3 FPR曲線圖

圖4 FNR曲線圖

圖5 FR曲線圖

5 結(jié)束語(yǔ)

本文提出了一種基于貝葉斯-全概率的聯(lián)合估計(jì)模型，并結(jié)合誤差控制變量來(lái)從視頻流中檢測(cè)和分離前景物體。大量實(shí)驗(yàn)表明，本文的算法對(duì)前景物體的提取效果是比較理想的。本文算法的主要不足之處是，當(dāng)前景像素和背景像素H, S, V分量較為接近時(shí)，部分前景像素點(diǎn)會(huì)被誤認(rèn)為是背景。另外，當(dāng)某個(gè)前景物體移動(dòng)很緩慢，則會(huì)導(dǎo)致這個(gè)前景物體的一些像素點(diǎn)會(huì)被誤判為背景像素點(diǎn)，拓展顏色共生向量可以在一定程度上減少前景像素誤判的問(wèn)題，結(jié)合光流法確定光流場(chǎng)[16]也是一種可以參照的方法，但都會(huì)在一定程度上增加算法復(fù)雜度，影響前景的實(shí)時(shí)檢測(cè)，這也是需要進(jìn)一步研究的內(nèi)容。

[1]Tsai Tsung-han, Lin Chung-yuan, Peng De-zhang,et al..Design and integration for background subtraction and foreground tracking algorithm[C]. Fifth International Conference on Information Assurance and Security, Xi’an,Aug. 18-20, 2009, 2: 181-184.

[2]葉有時(shí), 唐林波, 趙保軍. 一種基于聚類的深空紅外多目標(biāo)快速檢測(cè)算法[J]. 電子與信息學(xué)報(bào), 2011, 31(1): 77-84.Ye You-shi, Tang Lin-bo, Zhao Bao-jun. A fast deep-space infrared multi-target detection algorithm based on clustering[J].Journal of Electronics&Information Technology, 2011, 31(1): 77-84.

[3]熊亮, 劉偉銘. 基于背景Codebook模型的前景檢測(cè)算法[J].科學(xué)技術(shù)與工程, 2010, 10(9): 2118-2121.Xiong Liang and Liu Wei-ming. Foreground detection algorithm based on background codebook model[J].Science Technology and Engineering, 2010, 10(9): 2118-2121.

[4]Zeng H C and Lai S H. Adaptive foreground object extraction for real-time video surveillance with lighting variations[C].IEEE International Conference on Acoustics, Speech, and Signal Processing, Honolulu, HI, USA, April 15-20, 2007,I-1201-I-1204.

[5]周恩策, 劉純平, 張玲燕, 等. 基于時(shí)間窗的自適應(yīng)核密度估計(jì)運(yùn)動(dòng)檢測(cè)方法[J]. 通信學(xué)報(bào), 2011, 32(3): 106-114.Zhou En-ce, Liu Chun-ping, Zhang Ling-yan,et al..Foreground object detection based on time information window adaptive kernel density estimation[J].Journal on Communications, 2011, 32(3): 106-114.

[6]代科學(xué), 李國(guó)輝, 涂丹, 等. 監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測(cè)減背景技術(shù)的研究現(xiàn)狀和展望[J]. 中國(guó)圖像圖形學(xué)報(bào), 2006, 11(7):920-927.Dai Ke-xue, Li Guo-hui, Tu Dan,et al.. Prospects and current studies on background subtraction techniques for moving objects detection from surveillance video [J].Journal of Image and Graphics, 2006, 11(7): 920-927.

[7]Rahimizadeh H, Marhaban M H, Kamil R M,et al.. Color image segmentation based on Bayesian theorem and kernel density estimation[J].European Journal of Scientific Research, 2009, 26(3): 430-436.

[8]Zribi M. Unsupervised Bayesian image segmentation using orthogonal series[J].Journal of Visual Communication and Image Representation, 2007, 18(6): 496-503.

[9]Bhaskar H, Mihaylova L, and Achim A. Video foreground detection based on symmetric alpha-stable mixture models[J].IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(8): 1133-1138.

[10]Kim K and Davis L S. Object detection and tracking for intelligent video surveillance[J].Multimedia Analysis,Processing and Communications, 2011, 346(2): 265-288.

[11]Yu Sheng-yang, Wang Fang-lin, Xue Yun-feng,et al..Bayesian moving object detection in dynamic scenes using an adaptive foreground model[J].Journal of Zhejiang University Science A(An International Applied Physics&Engineering Journal), 2009, 10(12): 1750-1758.

[12]Li L and Leung M K H. Integrating intensity and texture differences for robust change detection[J].IEEE Transactions on Image Processing, 2002, 11(2): 105-112.

[13]Huang Xin-juan, Zhou Jie-min, and Liu Bo-yang. Moving objects detection approach based on adaptive mixture Gaussian background mode[J].Journal of Computer Application, 2010, 30(1): 71-74.

[14]Wikipedia. Sensitivity and specificity. http://en.wikipedia.org/wiki/Sensitivity_and_specificity, 2011.

[15]Wikipedia. Confusion matrix. http://en.wikipedia.org/wiki/Confusion_matrix, 2011.

[16]Li Wei, Wu Xiao-juan, and Zhao Hua-an. New techniques of foreground detection, segmentation and density estimation for crowded objects motion analysis[J].Journal of Information Processing, 2011, 19(4): 190-200.