肖義涵，趙群飛

改進的ViBe算法及在復(fù)雜背景下的應(yīng)用

肖義涵，趙群飛

前景分割取作為運動檢測和對象識別的預(yù)處理程序，在基于視頻序列的應(yīng)用中起到重要的作用?；谝曈X背景提取子提出了一種在彩色空間下的改進型前景分割算法。視覺背景提取子在當(dāng)前背景提取算法中具有最高的處理效率，但在復(fù)雜背景和人物前景面積較大等情況下提取效果會明顯下降。提出了一種新的彩色空間下的像素距離模型，并改進了像素信息的傳播更新機制。實驗表明在并未犧牲計算效率的前提下，算法在復(fù)雜背景的環(huán)境中獲得了很好的效果，對光照干擾和動態(tài)背景紋理都具有良好的魯棒性。

ViBe；前景分割；背景提取；視頻處理

0 引言

作為視頻處理中的重要組成部分，前景檢測一直是計算機視覺的研究熱點。在現(xiàn)在的前景檢測算法中，背景差分型方法有著相對較好的噪聲抑制能力和較低的計算復(fù)雜度，因此成為實際應(yīng)用中前景檢測的首選，但如何提高背景模型的有效更新效率是該法的難點，因而圍繞背景差分法的研究主要集中于背景模型的選擇和更新機制的設(shè)計上。

混合高斯模型Gaussian Mixture Model (GMM)[1]是應(yīng)用最廣泛的背景模型，GMM通過對每個像素建立多個高斯模型（一般3到5個）來計算當(dāng)前像素和背景的隸屬概率。但是混合高斯模型的計算復(fù)雜度較高，而且并未考慮前景和背景的區(qū)分程度，對于每個像素的更新速度是一樣的，導(dǎo)致在很多情況下，如光照變化，前景停留或背景移出等都會出現(xiàn)持續(xù)的大量誤分割。Kyungnam Kim等人提出了碼本算法(Codebook)[2]，通過長時間的采樣對每個像素不同值的出現(xiàn)頻率進行統(tǒng)計，以此區(qū)分背景和前景，同時對于一些動態(tài)的環(huán)境干擾具有一定的抑制能力，但是其計算開銷較大，實現(xiàn)復(fù)雜。Hanzi Wang等人提出了樣本一致性建模算法(SACON)[3]，通過保存一段時間內(nèi)的圖像序列為樣本，計算當(dāng)前幀每個像素與樣本集的差異大小來判斷是否屬于背景，計算效率有了較大地提高。Lucia Maddalena等人在基于自組織人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出一種新的背景建模算法SOBS[4]，將背景中的一個像素映射到模型的多個位置，并采用了像素鄰域空間相關(guān)的更新方式。該算法利用了像素的空間信息，對之后的算法設(shè)計具有很好的啟發(fā)性。

視覺背景提取子Visual Background Extractor (ViBe)[5]由Oliver Barnich等人于2009年提出，和SOBS一樣利用了周圍領(lǐng)域像素的信息，并建立了像素信息的傳播機制。其結(jié)構(gòu)簡潔，計算效率非常高，不需要進行先驗視頻幀訓(xùn)練，并能快速有效地抑制虛影(ghost)、照相機晃動對前景檢測造成的影響，因此具有較好的檢測性能[6]。在原作的框架中作者并未討論如何進行顏色距離的計算，僅采樣了簡單的歐式距離。目前大多數(shù)文獻的實現(xiàn)均使用像素的灰度特征，雖然計算方便快速但對于復(fù)雜背景的檢測結(jié)果較差，當(dāng)運動前景的面積較大時，背景的紋理容易“滲透”到前景中造成前景內(nèi)部出現(xiàn)大量誤分割區(qū)域。

如圖1所示：

圖1 背景紋理滲透

灰度下的前景分割中出現(xiàn)了大量的來自背景的紋理，形成了破壞前景連通域的空洞。當(dāng)背景較為復(fù)雜時，這種問題會變得非常明顯。

1 背景模型結(jié)構(gòu)

在進行前景分割之前，我們對每個像素用 N個樣本描述該像素的背景模型，表示該像素的 N個狀態(tài)。算法的主要部分包括模型初始化、前景檢測以及模型更新。

在第一幀中，從當(dāng)前像素的 8鄰域中隨機多次選取 N個像素值，存放到對應(yīng)背景模型的 N個樣本中，即僅用第一幀對模型進行初始化，因此從第二幀開始即可以進行前景提取，圖2展示了輸入像素和模型樣本的比較過程，如圖2所示：

圖2 模型像素值比較[5]

v(x)為輸入幀的的像素信息，點vi表示了背景模型的相同位置所中儲存的像素樣本信息，若樣本和v(x)的距離小于半徑 R則認為其匹配，通過計算匹配總數(shù)來判斷輸入像素是否屬于背景。

2 像素距離計算

灰度值為常用的比較像素之間差異的變量，一般像素的灰度距離為公式（1）：

如前文所述，灰度距離只使用了單一的色彩信息，在背景較為復(fù)雜的情況下并不適用，因此一種較好的方法為采用RGB三顏色通道的歐式距離為公式（2）：

上式中3個通道對于顏色距離的區(qū)分貢獻是一樣的，即認為RGB空間是一個均勻的顏色空間，但顯然RGB空間并不滿足這一條件。在此基礎(chǔ)上，文獻[7-8]等采用了帶權(quán)重的距離為公式（3）：

實驗證明這種方法并不具有普適性，權(quán)重的選擇和輸入視頻有很大的關(guān)系，而且RGB的顏色分量并不是完全獨立的，因此我們采用了基于顏色特征向量的計算方法為公式（4）：

投影 P為特征向量夾角和輸入向量模值的乘積為公式（6）：

最后像素的距離為公式（7）：

然后我們就可以通過像素距離建立輸入像素和背景樣本之間的比較標準。由于人眼對于亮度的差異是較為敏感的，當(dāng)對象和背景的亮度有較大的差異時，很容易能夠?qū)⑵鋸谋尘爸蟹蛛x開，所以我們從像素的亮度差異和顏色差異兩個方面綜合考量為公式（8）（9）：

公式(8)為像素的亮度差值。公式(9)給出了像素匹配判斷的條件，即當(dāng)亮度差值小于閾值且顏色距離也小于閾值時，認為兩個像素匹配。當(dāng)背景模型與輸入像素匹配的個數(shù)Nm(xi)超過設(shè)定的閾值Tm時即認為該像素是背景，否則為前景，如公式（10）：

3 模型更新

背景中的每個像素會按照一定的概率向領(lǐng)域傳播，這樣可以保持背景模型充分利用像素的空間信息，每個像素點的背景模型都由其周圍像素和其本身共同構(gòu)成。當(dāng)輸入的像素點被判斷為背景后，有一定的概率φ更新當(dāng)前的背景模型，同時也有概率ρ更新周圍的領(lǐng)域模型，更新時從輸入像素對應(yīng)位置的模型樣本中隨機選擇一個替換為輸入像素。假設(shè)每個背景像素點有N個樣本，這樣在經(jīng)過dt次更新后，一個樣本值繼續(xù)保留在模型中的可能性以指數(shù)形式衰減，保證了整個模型能隨時間拋棄無效陳舊的樣本[5]為公式（11）：

同時對于前景我們也要對其進行處理，這樣才能把長時間停留的前景逐步融入背景，或者消除由于背景移出導(dǎo)致的虛影。一些算法通過對前景進行形態(tài)學(xué)操作或者連通性分析來保證前景的完整[3][9]，在這里我們使用了累積權(quán)重 w(xi)和近似邊緣檢測的方法來達到前景到背景的溶解和前景完整性的提高。

若一個像素點被判斷為前景，并且在上一次判斷中也為前景，則其對應(yīng)的累積權(quán)重 w(xi)增大，當(dāng)超過設(shè)定的門限Tcon后認為其可以用于更新背景模型為公式（12）：

然后我們還需要計算其當(dāng)前領(lǐng)域像素有多少也被判斷為前景為公式（13）：

一個像素點四周共有8個領(lǐng)域像素，當(dāng)M(xi)＜5時開始以概率φ更新背景模型。這樣就能保證前景不會太快地融解到背景中，同時融解過程從邊緣部分開始，避免在前景實體內(nèi)部產(chǎn)生過多的融解空洞。

4 實驗結(jié)果及分析

實驗中每個像素點的背景樣本數(shù)為20，Tm取3，Tcon取 50，亮度距離閾值 Tbright取 30，顏色距離閾值 Tcolor取15，模型更新概率φ為1/16，領(lǐng)域更新概率ρ也取1/16。實驗在VS2010，IntelCore X920 2.0GHz，8G內(nèi)存平臺上進行，這里給出三組實驗結(jié)果。

4.1 實驗一

如圖3所示：

圖3 實驗一前景分割結(jié)果

測試視頻為室內(nèi)環(huán)境，無明顯的光照變化，人物從右側(cè)進入短暫停留后由左側(cè)離開，視頻分辨率為320*240，帶權(quán)重的RGB距離計算采用文獻[8]的參數(shù)。

如表1所示：

表1.實驗一統(tǒng)計表

從實驗結(jié)果可以看到本文算法對于環(huán)境的噪點干擾有很好的抑制性，再不經(jīng)過任何后處理的情況下人物分割較為準確完整，錯誤分割率低。由于需要進行RGB-YCrCb空間的轉(zhuǎn)換，計算耗時略高于對照組，但仍然滿足了實時要求。

4.2 實驗二

視頻本身背景無變化，人物從門外走進房間后光照開始變化。實驗結(jié)果展示了從第195幀起光照出現(xiàn)較大變換的分割結(jié)果，視頻分辨率為336*224，如圖4所示：

圖4 實驗二前景分割結(jié)果

如表2所示：

表2.實驗二統(tǒng)計表

當(dāng)環(huán)境光照出現(xiàn)較大變化時，可以明顯看到本文算法很好地抑制了光照變化帶來的影響，背景部分仍然十分穩(wěn)定，而原始的ViBe算法出現(xiàn)了大量的誤分割。

4.3 實驗三

仍然使用實驗二中的視頻進行測試，人物停留了 200幀左右的時間，主要考察當(dāng)前景中的人物停留較長時間對背景模型更新和分割效果的影響，如圖5所示：

圖5 實驗二前景分割結(jié)果

可以看到隨著模型的不斷更新，原始的ViBe算法把人物前景融解到了背景當(dāng)中，雖然畫面上的其他噪點也被更新抑制，但是人物的輪廓破損，不利于接來下其他算法的處理。而本文算法不僅很好地把光照等造成的噪點更新濾除，也很好地保留了前景區(qū)域的完整。

5 總結(jié)

本文在ViBe的的算法基礎(chǔ)之上上，采用了YCrCb空間下的顏色色距離模型，提出出了結(jié)合亮度和和顏色兩種信息的顏色距離計算算方法。實驗表明明本文算法取得得了很好的分割效果，有效解決決了灰度模型中容易產(chǎn)生的背景景紋理滲透問題，同時對于光照照變化等動態(tài)干擾有較好的抑制制效果。通過結(jié)合累積權(quán)重和近近似的邊緣判斷方法，使得前景景的區(qū)域連通性得到了保留，為后后續(xù)處理提供了很好的條件。

本文算法的實時性較好，如果能預(yù)先得到Y(jié)CrCb下的視頻頻則不需要進行轉(zhuǎn)換處理，時間可以進一步提高。在今后的研研究當(dāng)中，將重點點解決如何使得因為融解到背景中的丟失前景景被迅速檢測出來，即抑制當(dāng)前景由長時間靜止變?yōu)檫\動后造造成的影響。

參考考文獻

[1]Stauffer C, Grrimson W E L.Adaptive backkground mixture models for real-time traacking[C]//Compputer Vision and Pattern RRecognition, 19999. IEEE Compputer Society Conference onn. IEEE, 1999, 22.

[2]Kim K, Chaalidabhongse T H, Harwood D, et al.Real-time forreground–backgground segmentation using codebook moodel[J]. Real-timme imaging, 22005, 11(3):172-185.

[3]Wang H, Suterr D. A consensuus-based methodd for tracking:Modelling backgroundd scenario andforeground apppearance[J]]. Pattern Recoggnition, 2007, 400(3): 1091-1105.

[4] Maddaalena L, Petrosinno A. A self-orgganizing approacch to backgrround subtractioon for visual surveillance appplications[JJ]. Image Processsing, IEEE Traansactions on, 22008,17(7):1168-1177.

[5] Barnich O, Van Drooogenbroeck M.ViBe: A univversal backgrround subtractioon algorithm forvideo sequencees[J].ImageProcessing, IEEEE Transactionns on, 2011, 20(6):1709-11724.

[6] Brutzeer S, HoferlinB, Heidemannn G. Evaluationn of backgrround subtraction techniquesfor video surrveillance[CC]//ComputerVision and PPattern Recognnition(CVPRR), 2011 IEEEE Conferenceon. IEEE, 22011:1937-11944.

[7] Van DDroogenbroeck MM, Paquot O. BBackground subbtraction:experimentsand immprovementsfor ViBe[CC]//Computer VVision and PPattern Recognnition Workshhops (CVPRWW), 2012 IEEEComputer Society Conferrence on. IEEE,2012: 32-37.

[8] 楊振亞亞, 王勇, 楊振東東, 等. RGB 顏顏色空間的矢量量-角度距離離色差公式[J].. 計算機工程與應(yīng)用, 2010(6):154-1556.

[9] 李貴俊俊, 劉正熙, 游志志勝, 等. 一種種基于色差和彩色歸一化的的車身顏色識別算法[J]. 計算機機應(yīng)用, 2004, 24(9):47-49.

(收稿稿日期：2014.022.20)

Improved ViBe and the Application for Segmentation of Complex Background

Xiao Yihan1,Zhao Qunfei2
（1. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai200240, China;2. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai200240,China）

As a pre-process of motion detection and object recognition, foreground segmentation is crucial for applications with video sequences. An advanced foreground-segmentation algorithm is put forward as a modification of visual background extractor. The original algorithm enjoys high-level of efficiency but suffers from miss segmentation under the circumstance of complex background and relatively large area of foreground. We improve the background model of visual background extractor from single gray-scale to color space and modify the pixel propagation process. The experiment results show that the proposed algorithm works well in environment of mazy background with large foreground at shallow angle, and has robust resistance to dynamic background texture and variation of brightness.

ViBe; Foreground Segmentation; Background Subtraction; Video Processing

TP311

：A

1007-757X(2014)02-0053-03

肖義涵（1988-），男，上海交通大學(xué)自動化系，碩士研究生，研究方向：人機交互，模式識別和圖像處理，上海，200240

趙群飛（1960-），男，上海交通大學(xué)自動化系，教授，博士生導(dǎo)師，研究方向：智能機電控制系統(tǒng)設(shè)計理論與方法、視覺伺服與工業(yè)測控系統(tǒng)、數(shù)碼圖像處理技術(shù)，上海，200240