張 超 吳小培* 周建英 戚培慶 王營(yíng)冠 呂 釗

①(安徽大學(xué)計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室 合肥 230039)

②(中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所 上海 200050)

1 引言

當(dāng)今信息化社會(huì)的各領(lǐng)域?qū)χ悄芤曨l系統(tǒng)均有著廣泛而緊迫的應(yīng)用需求，運(yùn)動(dòng)目標(biāo)檢測(cè)正是智能視頻系統(tǒng)中各種智能分析處理的基礎(chǔ)。目前，常用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有背景差分法[1]、幀間差分法[2]和光流法[3]。其中，光流法計(jì)算較復(fù)雜，一般用于背景變化的場(chǎng)景。幀間差分法實(shí)時(shí)性強(qiáng)，對(duì)于動(dòng)態(tài)環(huán)境具有較好的適應(yīng)性，但其提取的目標(biāo)前景內(nèi)部易出現(xiàn)空洞。背景差分法可以得到相對(duì)完整的目標(biāo)，且算法復(fù)雜度較低，但現(xiàn)實(shí)場(chǎng)景往往存在光照或背景的變化，這種情況下背景差分法的效果同樣不佳。

針對(duì)現(xiàn)實(shí)世界中極為常見的多模態(tài)背景特性，文獻(xiàn)[4]提出了高斯混合建模(Gaussian Mixture Modeling, GMM)方法。該方法在每個(gè)像素位置使用多個(gè)高斯模型進(jìn)行建模，并且利用時(shí)間序列上的像素值不斷進(jìn)行模型參數(shù)更新，以期克服背景和光照變化等因素給運(yùn)動(dòng)目標(biāo)檢測(cè)帶來的不利影響。文獻(xiàn)[5]證明了高斯混合建模較其他方法具有的性能優(yōu)勢(shì)和應(yīng)用可行性。

盡管比其他方法更能有效應(yīng)對(duì)多模態(tài)場(chǎng)景，高斯混合建模同樣有其局限[6]，如初始階段算法收斂性能不佳、對(duì)低速目標(biāo)以及復(fù)雜背景條件下的目標(biāo)檢測(cè)效果變差等。國(guó)內(nèi)外學(xué)者一直在尋求對(duì)高斯混合建模進(jìn)行有針對(duì)性地改進(jìn)，文獻(xiàn)[7]提出考察空間依存關(guān)系并對(duì)標(biāo)準(zhǔn)差的更新進(jìn)行限制，文獻(xiàn)[8]中使用色彩和空間一致性準(zhǔn)則輔助傳統(tǒng)GMM進(jìn)行判斷，文獻(xiàn)[9]提出了解決建模時(shí)瞬間光線變化的方法，文獻(xiàn)[10]中專門研究了復(fù)雜背景下的建模問題，文獻(xiàn)[11]在高斯混合建模的思路上進(jìn)一步提出泛化的混合對(duì)稱穩(wěn)定模型。

本文針對(duì)傳統(tǒng)高斯混合建模方法不適于檢測(cè)低速目標(biāo)的局限，在對(duì)傳統(tǒng)GMM算法進(jìn)行一定程度的分析理解的基礎(chǔ)上提出一種改進(jìn)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，該方法對(duì)一直以來處于輔助地位的背景模型匹配失敗時(shí)新生成的前景模型加以利用并引入短時(shí)穩(wěn)定度指標(biāo)進(jìn)行綜合判斷，通過考察前景模型中包含的運(yùn)動(dòng)目標(biāo)信息和像素點(diǎn)級(jí)穩(wěn)定性來克服傳統(tǒng)高斯混合建模方法檢測(cè)低速運(yùn)動(dòng)目標(biāo)時(shí)易產(chǎn)生的前景破碎問題。

2 高斯混合建模

高斯混合建模中的建模對(duì)象是圖像序列，對(duì)應(yīng)空域每個(gè)像素位置可視為一隨機(jī)變量X={x1,x2,…,xt}，該隨機(jī)變量由具有K個(gè)單高斯分布的高斯混合模型表示，每個(gè)單高斯模型可以表征當(dāng)前像素點(diǎn)的不同狀態(tài)，K視情況一般取為3到7。wk=P(k)為當(dāng)前像素點(diǎn)和第k個(gè)狀態(tài)匹配的先驗(yàn)概率。θk= (μk,σk)為第k個(gè)高斯分布的參數(shù)，總的參數(shù)表示為φ= {μ1,μ2,…,μK;σ1,σ2,… ,σK}。于是，在隨機(jī)變量X當(dāng)前取值x下，第k狀態(tài)對(duì)應(yīng)的

圖1形象地給出了高斯混合建模的建模思路，圖1(a)所示為連續(xù)視頻幀，圖1(b)代表每幀圖像對(duì)應(yīng)的數(shù)據(jù)矩陣。建模過程中視頻流的每幀圖像依時(shí)序不斷更新空域各個(gè)位置上的混合高斯模型，混合高斯建模的結(jié)果是在每個(gè)像素點(diǎn)位置上建立一個(gè)由多個(gè)單高斯η(θijk)的加權(quán)和表示的背景模型，如圖1(c)所示，此背景模型的作用是衡量當(dāng)前新進(jìn)數(shù)據(jù)和已有背景模型的匹配程度來確定當(dāng)前像素值是否屬于背景并以此檢測(cè)出運(yùn)動(dòng)目標(biāo)。圖1(d)則給出了由3個(gè)單高斯混合得到的高斯混合模型示意圖。

建模過程中，t時(shí)刻新的像素值使用式(3)與K個(gè)模型逐一匹配。

若與當(dāng)前模型的均值的差異在某一范圍之內(nèi)，則認(rèn)為匹配，否則為不匹配。匹配的情況下使用下列式(4)～式(6)更新模型參數(shù)[4]：

圖1 高斯混合建模的形象表示

其中α為學(xué)習(xí)率，且有

不匹配時(shí)，應(yīng)減小權(quán)值，且不對(duì)均值方差進(jìn)行更新。若每個(gè)模型都不匹配，則要把權(quán)值最小的模型使用新的模型取代，其均值為新的樣本像素值，方差為一大值，權(quán)值為一小值。每次權(quán)值更新后，都要對(duì)權(quán)值進(jìn)行歸一化處理。作為運(yùn)動(dòng)目標(biāo)檢測(cè)的最后步驟，建模完成后，要實(shí)時(shí)區(qū)分分別代表前景和背景的模型。文獻(xiàn)[4]中的方法是計(jì)算每個(gè)模型對(duì)應(yīng)的wk,t/σk,t，然后按照降序排列，其依據(jù)是當(dāng)前最為匹配的模型必然具有最大的權(quán)值并具有較小的方差，最后，選定滿足式(9)

的前B個(gè)模型作為背景模型，其中T為一權(quán)值累加門限。

3 一種改進(jìn)的高斯混合建模方法

前景模型在傳統(tǒng)方法中一直居于輔助地位，但事實(shí)上其包含了重要的目標(biāo)信息。為了利用GMM良好的環(huán)境適應(yīng)性并解決上述傳統(tǒng)GMM方法的固有局限，本文對(duì)傳統(tǒng)高斯混合建模方法進(jìn)行改進(jìn)，對(duì)背景匹配失敗時(shí)生成的前景模型加以利用并引入短時(shí)穩(wěn)定度指標(biāo)對(duì)前景進(jìn)行綜合判斷。算法先按照傳統(tǒng)算法的流程，在當(dāng)前像素值和對(duì)應(yīng)K個(gè)背景模型都匹配失敗后，使用當(dāng)前像素值和較大值替代權(quán)值最小模型的均值和方差，這實(shí)際上是生成前景模型η(μf,σf)，若后來點(diǎn)和前景模型均值相差小于門限Tf,則使用式(10)計(jì)算短時(shí)穩(wěn)定度并更新前景模型：

其中，M為滑動(dòng)窗幀數(shù)范圍，af∈[0,1]為前景模型的學(xué)習(xí)率。算法優(yōu)先使用前景模型對(duì)當(dāng)前像素點(diǎn)進(jìn)行匹配，直接降低了前景點(diǎn)和背景模型誤匹配的決策風(fēng)險(xiǎn)。

視目標(biāo)外表面狀況，對(duì)外表面顏色較統(tǒng)一的目標(biāo)，其短時(shí)穩(wěn)定度計(jì)算窗長(zhǎng)M值可選為2～5之間，而對(duì)于外表色彩豐富多樣的運(yùn)動(dòng)目標(biāo)，為了防止短暫的像素值變化導(dǎo)致目標(biāo)向背景的轉(zhuǎn)換，其M值可選為5～20之間，較大的M能帶來較好的檢測(cè)效果但指標(biāo)響應(yīng)速度較為遲緩。求得穩(wěn)定度后，判斷門限Sth可依圖像序列實(shí)際情況設(shè)為經(jīng)驗(yàn)值也可由M幀內(nèi)穩(wěn)定度的最大最小值動(dòng)態(tài)求得

其中C為一常數(shù)。SMIN和SMAX分別為當(dāng)前C幀內(nèi)的穩(wěn)定度最大值和最小值。在連續(xù)C幀超越短時(shí)穩(wěn)定度門限的情況下，當(dāng)前像素點(diǎn)判為前景點(diǎn)。

穩(wěn)定度的提法也見于文獻(xiàn)[12]中使用當(dāng)前時(shí)刻以前的像素值生成像素短時(shí)圖(transience map)。本文中取當(dāng)前時(shí)刻后的M點(diǎn)計(jì)算短時(shí)穩(wěn)定度S，若S在一定范圍內(nèi)連續(xù)超越某一門限則說明此時(shí)該像素位置仍處于前景過程中。此方法的根本出發(fā)點(diǎn)是，前景初次建模后，若后來點(diǎn)未產(chǎn)生類似回到背景值的劇烈波動(dòng)，則認(rèn)為當(dāng)前像素位置一直保持某種穩(wěn)定的前景狀態(tài)，遂在該點(diǎn)位置跳過傳統(tǒng)高斯建模方法的后續(xù)流程直接判斷為前景點(diǎn)。若當(dāng)前點(diǎn)未能和前景模型匹配或短時(shí)穩(wěn)定度指標(biāo)不滿足條件，仍然進(jìn)入傳統(tǒng)方法的一般后處理流程。

圖2為某視頻圖像序列某像素位置上的灰度值和該點(diǎn)穩(wěn)定度的計(jì)算結(jié)果，圖中箭頭表示上部的視頻幀和下部像素值以及穩(wěn)定度指標(biāo)的對(duì)應(yīng)關(guān)系，空域中選取點(diǎn)的位置見視頻幀黑圈所示，圖的底部為選取的視頻幀的序號(hào)。從圖2可見，穩(wěn)定度指標(biāo)(柱狀圖)從接近于零升高最后回落到零附近，其變化超前于像素值的變化(折線圖)，穩(wěn)定度的上揚(yáng)和回落均與像素值的變化相對(duì)應(yīng)，因而可以表征前景的出現(xiàn)和持續(xù)的狀態(tài)。穩(wěn)定度的使用能有效避免運(yùn)動(dòng)目標(biāo)區(qū)域像素值短時(shí)變化導(dǎo)致前景誤檢為背景，前景模型和短時(shí)穩(wěn)定度指標(biāo)相配合使本文的方法既具有高斯混合建模的環(huán)境適應(yīng)性又能克服傳統(tǒng)高斯建模無法檢測(cè)慢速目標(biāo)的局限。

4 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文方法的有效性，我們使用3段視頻在matlab平臺(tái)上開展仿真實(shí)驗(yàn)。實(shí)驗(yàn)中將本文所提方法在相同條件下與傳統(tǒng)高斯混合建模方法進(jìn)行對(duì)比，為了說明基于GMM類方法較其他方法的性能優(yōu)勢(shì)，我們同時(shí)和基于自適應(yīng)背景減的運(yùn)動(dòng)目標(biāo)檢測(cè)算法進(jìn)行對(duì)比。實(shí)驗(yàn)使用的參數(shù)設(shè)置如表1所示。實(shí)驗(yàn)中高斯混合建模時(shí)將使用兩種學(xué)習(xí)率以解決算法初始化時(shí)收斂慢的問題，初始階段學(xué)習(xí)率設(shè)置為1.5，穩(wěn)定階段設(shè)置為0.05。

表1 仿真實(shí)驗(yàn)參數(shù)設(shè)置

第1個(gè)對(duì)比試驗(yàn)采用一段含有低速運(yùn)動(dòng)車輛的公路交通視頻，視頻分辨率為 320×240(下同)。由于部分目標(biāo)運(yùn)動(dòng)較慢，出于說明問題的需要我們每隔4幀抽取一幀給出處理結(jié)果。對(duì)比實(shí)驗(yàn)的結(jié)果見圖 3。圖 3(a)為選取的視頻幀。圖 3(b)為使用自適應(yīng)背景減方法的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，從圖3(b)可見，由于算法對(duì)環(huán)境適應(yīng)性較差，檢測(cè)前景中含有較多的非目標(biāo)噪聲，包括車輛的陰影和光照條件變化下的路面等均被檢測(cè)為前景，但在右上的慢速目標(biāo)得到了較完整的檢測(cè)說明其對(duì)慢速目標(biāo)的檢測(cè)效果較好。圖3(c)為傳統(tǒng)GMM算法的前景檢測(cè)結(jié)果，可以明顯看出，傳統(tǒng)混合高斯建模方法在較大的更新率下，易出現(xiàn)運(yùn)動(dòng)緩慢的目標(biāo)前景被背景吸收的現(xiàn)象，圖 3(c)中白色運(yùn)動(dòng)車輛的后部已經(jīng)部分融入背景，而右上方反向車道的低速運(yùn)行車輛則已全部被背景吸收。但圖3(c)所示的傳統(tǒng)GMM方法的前景檢測(cè)結(jié)果并未出現(xiàn)類似圖3(b)中因光照條件變化而檢測(cè)到的噪聲，說明即便是傳統(tǒng)GMM方法其對(duì)環(huán)境也具有相當(dāng)?shù)倪m應(yīng)性。圖 3(d)為本文所提方法的檢測(cè)效果，可見前景中非目標(biāo)噪聲明顯少于自適應(yīng)背景減方法，檢測(cè)出的運(yùn)動(dòng)目標(biāo)明顯較傳統(tǒng) GMM方法完整，且算法對(duì)車窗等不連續(xù)部位也可做到較好的檢測(cè)。

圖2 某像素點(diǎn)位置(黑圈處)上的灰度值和穩(wěn)定度指標(biāo)的變化

圖3 實(shí)驗(yàn)1中運(yùn)動(dòng)目標(biāo)檢測(cè)試驗(yàn)結(jié)果對(duì)比

第2段視頻為VS-PETS 2001 dataset的人字路口監(jiān)控視頻，我們使用視頻中兩車相遇緩慢行駛的部分進(jìn)行實(shí)驗(yàn)，對(duì)比試驗(yàn)的結(jié)果見圖 4。圖 4(a)為選取的視頻幀。圖4(b)為使用自適應(yīng)背景減方法的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，和上一實(shí)驗(yàn)中的情況相同，由于建筑物的外表面等受光照變化的影響產(chǎn)生改變，使得算法檢測(cè)結(jié)果中含有較多的非目標(biāo)噪聲，說明基于自適應(yīng)背景減的方法對(duì)環(huán)境的適應(yīng)性有限。圖4(c)為傳統(tǒng) GMM 方法的檢測(cè)結(jié)果，兩車相遇時(shí)運(yùn)動(dòng)較為緩慢，此時(shí)傳統(tǒng)方法檢測(cè)效果劇烈惡化，從圖 4(c)可見相遇的兩車大部分已融入背景，單純從檢測(cè)到的少量破碎前景已無法辨別目標(biāo)屬性。圖4(d)為本文方法的檢測(cè)結(jié)果，在目標(biāo)低速運(yùn)動(dòng)的情況下，本文方法依舊較完整地檢測(cè)到了目標(biāo)，且前景中的噪聲明顯少于自適應(yīng)背景減方法的結(jié)果。

圖4 實(shí)驗(yàn)2中運(yùn)動(dòng)目標(biāo)檢測(cè)試驗(yàn)結(jié)果對(duì)比

為了進(jìn)一步驗(yàn)證本文所提方法的目標(biāo)檢測(cè)性能，我們使用更復(fù)雜的視頻開展實(shí)驗(yàn)，視頻背景為開放的有行人走動(dòng)的路口，整段視頻始終有人的走動(dòng)并包含人的站立交談和物品遺留等行為，實(shí)驗(yàn)的結(jié)果見圖5。圖 5(a)為原始視頻幀圖像。圖 5(b)為使用自適應(yīng)背景減方法的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，由于場(chǎng)景中始終存在較多的運(yùn)動(dòng)目標(biāo)且伴隨有光照條件的變化，這影響了自適應(yīng)背景減算法對(duì)背景的估計(jì)，使得檢測(cè)結(jié)果中噪聲較多且算法對(duì)類似人腳下陰影的光線變化過于敏感，存在較多誤檢。圖 5(c)為傳統(tǒng)高斯混合建模前景檢測(cè)結(jié)果，從圖5(c)第3幀圖像可見，站立交談的行人已經(jīng)大部分被吸收入背景，而從圖5(c)第2, 4, 5幀可見場(chǎng)景中的遺留物在傳統(tǒng)GMM方法下均未能得到有效檢測(cè)。圖 5(d)為本文所提方法的檢測(cè)結(jié)果，和圖 5(c)進(jìn)行對(duì)比可見包括站立交談的人和遺留物在內(nèi)的所有前景均得到更好的檢測(cè)，和圖5(b)對(duì)比可見算法檢測(cè)到的非目標(biāo)前景噪聲要遠(yuǎn)少于基于自適應(yīng)背景減的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。

為了對(duì)以上3種算法進(jìn)行量化比較，使用檢出率(DR)和誤檢率(FAR)兩個(gè)指標(biāo)[13]對(duì)3個(gè)試驗(yàn)結(jié)果進(jìn)行分析，其中

其中TP為檢測(cè)出來的屬于運(yùn)動(dòng)目標(biāo)區(qū)域的的像素?cái)?shù)，F(xiàn)P為檢測(cè)出來的不屬于運(yùn)動(dòng)目標(biāo)區(qū)域的像素?cái)?shù)，F(xiàn)N為未被檢測(cè)出來的運(yùn)動(dòng)目標(biāo)區(qū)域的像素?cái)?shù)，實(shí)驗(yàn)中真實(shí)的目標(biāo)區(qū)域像素為手動(dòng)計(jì)算得來，雖可能存在誤差，但可用來進(jìn)行參考對(duì)比。對(duì)比的結(jié)果見表2，可見在3個(gè)實(shí)驗(yàn)中，傳統(tǒng)GMM算法的平均檢出率在60%左右，但本文方法的平均檢出率接近74%，雖然自適應(yīng)背景減方法也可獲得較高的檢出率，但其檢測(cè)結(jié)果帶有較多非目標(biāo)噪聲，所以誤檢率高于另兩種方法1個(gè)數(shù)量級(jí)。本文方法在較傳統(tǒng)方法大幅提高檢出率的同時(shí)雖然付出一定的誤檢代價(jià)，其性能取舍完全合理，算法總體的性能提升顯而易見。

5 結(jié)束語

傳統(tǒng)高斯混合建模方法中背景匹配失敗時(shí)生成的前景模型一直以來被人們所忽視，但事實(shí)上其包含了重要的前景目標(biāo)信息。本文在傳統(tǒng)高斯混合建模方法的基礎(chǔ)上提出一種新的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，算法對(duì)每次背景匹配失敗時(shí)生成的前景模型加以利用，考察當(dāng)前像素點(diǎn)和前景模型的匹配程度并使用短時(shí)穩(wěn)定度指標(biāo)對(duì)像素序列的穩(wěn)定度進(jìn)行度量，以此精確判斷像素序列是否處于前景狀態(tài)。該方法能一定程度上克服傳統(tǒng)高斯混合建模方法無法有效應(yīng)對(duì)慢速目標(biāo)的局限，實(shí)現(xiàn)較復(fù)雜場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)。

圖5 實(shí)驗(yàn)3中運(yùn)動(dòng)目標(biāo)檢測(cè)試驗(yàn)結(jié)果對(duì)比

表2 3個(gè)實(shí)驗(yàn)中3種方法的檢出率和誤檢率對(duì)比

[1]McKenna S, Jabri S, Duric Z,et al.. Tracking groups of people[J].Computer Vision and Image Understanding, 2000,80(1): 42-56.

[2]Lipton A J, Fujiyoshi H, and Patil R S. Moving target classification and tracking from real-time video[C].Proceedings of IEEE Workshop on Applications of Computer Vision, Princeton, NJ, 1998: 8-14.

[3]Meyer D, Denzler J, and Niemann H. Model based extraction of articulated objects in image sequences for gait analysis[C].Proceedings of IEEE International Conference on Image Processing, Santa Barbara, CA, 1998: 78-81.

[4]Stauffer C and Grimson W E L. Adaptive background mixture models for real-time tracking[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Fort Collins, CO, 1999: 246-252.

[5]Gao X, Boul T, Coetzee F,et al.. Error analysis of background adaption[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Hilton Head Island, SC, USA, 2000: 503-510.

[6]Lee D. Effective Gaussian mixture learning for video background subtraction[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(5): 827-832.

[7]Quast K and Kaup A. Real-time moving object detection in video sequences using spatio-temporal adaptive gaussian mixture models[C]. Proceedings of the International Conference on Computer Vision Theory and Applications,Angers, France, 2010: 413-418.

[8]Yang S and Hsu C. Background modeling from GMM likelihood combined with spatial and color coherency[C].IEEE International Conference on Image Processing, Atlanta,GA, 2006: 2801-2804.

[9]Choi J, Yoo Y J, and Choi J Y. Adaptive shadow estimator for removing shadow of moving object[J].Computer Vision and Image Understanding, 2010, 114(9): 1017-1029.

[10]Li Li-yuan, Huang Wei-min,et al.. Statistical modeling of complex backgrounds for foreground object detection[J].IEEE Transactions on Image Processing, 2004, 13(11):1459-1472.

[11]Salas-Gonzaleza D, Kuruoglu E E, and Ruiz D P. Modelling with mixture of symmetric stable distributions using Gibbs sampling[J].Signal Processing, 2010, 90(3): 774-783.

[12]Collins R T, Lipton A, Kanade T,et al.. A system for video surveillance and monitoring: VSAM final report[R].Technical Report CMU-RI-TR-00-12, Robotics Institute,Carnegie Mellon University, May 2000.

[13]Fakharian A, Hosseini S, and Gustafsson T. Hybrid object detection using improved gaussian mixture model[C].International Conference on Control, Automation and Systems, KINTE X, Gyeonggi-do, Korea, 2011: 1475-1479.