翟濟(jì)云， 周 鑫， 王從慶

(南京航空航天大學(xué)自動化學(xué)院，南京 211106)

基于多特征融合的運(yùn)動目標(biāo)檢測

翟濟(jì)云， 周 鑫， 王從慶

(南京航空航天大學(xué)自動化學(xué)院，南京 211106)

提高目標(biāo)檢測算法在復(fù)雜場景下的檢測魯棒性是目前計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重點(diǎn)、難點(diǎn)問題。傳統(tǒng)的運(yùn)動目標(biāo)檢測都是基于目標(biāo)的單一特征，提出一種融合顏色特征和紋理特征的背景建模方法，并將其運(yùn)用于運(yùn)動目標(biāo)檢測。首先對基于顏色的高斯混合模型加以改進(jìn)，減少了傳統(tǒng)高斯混合模型的計(jì)算量，然后將高斯混合模型與LBP紋理模型用D-S證據(jù)理論進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明，兩個(gè)特征的融合有很好的互補(bǔ)作用，并且能夠?qū)崟r(shí)、準(zhǔn)確地檢測出運(yùn)動目標(biāo)。

運(yùn)動目標(biāo)； 目標(biāo)檢測； 高斯混合模型； LBP紋理模型； D-S證據(jù)理論

0 引言

復(fù)雜動態(tài)場景下的運(yùn)動目標(biāo)檢測是目前研究的一個(gè)熱點(diǎn)和難點(diǎn)問題[1]，因?yàn)楸尘昂颓熬暗倪\(yùn)動經(jīng)常同時(shí)存在于檢測圖像序列中，例如背景中隨風(fēng)飄動的樹葉、云、雨、霧等運(yùn)動物體。目前，運(yùn)動目標(biāo)檢測算法主要有光流法[2-3]、幀間差分法[4]和背景建模法[5-7]等。其中:光流法計(jì)算復(fù)雜度高，光流場的計(jì)算非常容易受到噪聲、光照變化和背景擾動的影響;幀間差分法一步檢測出的目標(biāo)輪廓很難達(dá)到理想效果，目標(biāo)運(yùn)動較快

在目前基于背景建模的運(yùn)動目標(biāo)檢測工作中，典型的有高斯混合模型(Gaussian Mixture Model,GMM)。早期,WREN等人提出了高斯模型[8]，在此基礎(chǔ)上,STAUFFER和GRIMSON提出了更能真實(shí)反映多峰概率模型的高斯混合模型[5]。傳統(tǒng)的GMM對每個(gè)獨(dú)立的像素點(diǎn)建立模型，只模擬了單個(gè)像素點(diǎn)在時(shí)間序列上的分布，并沒有考慮像素點(diǎn)之間的關(guān)聯(lián)性。在實(shí)際情況下，圖像中的像素間存在著空間域上的關(guān)聯(lián)性[9]。ELGAMMAL等人[10]基于局部鄰域像素點(diǎn)采用非參數(shù)的核密度估計(jì)方法建立模型,但此背景建模方法需要對全圖像像素點(diǎn)進(jìn)行計(jì)算，計(jì)算代價(jià)大，耗時(shí)比較嚴(yán)重。此外，GMM依靠單一的顏色信息進(jìn)行背景建模，雖然對背景擾動有一定的抑制作用，但不能很好地適應(yīng)光線變化。針對這個(gè)缺點(diǎn)，HEIKKIL等人提出了基于LBP (Local Binary Pattern)紋理特征的背景建模方法[11],但是該方法對紋理區(qū)別不大的運(yùn)動目標(biāo)檢測效果不佳[12]。

基于以上分析，本文采用GMM和LBP紋理模型相融合的建模方法。首先對GMM加以改進(jìn)，提高其運(yùn)算速度，然后將GMM和LBP紋理模型用D-S證據(jù)理論進(jìn)行融合。本文的背景建模方法有兩個(gè)優(yōu)點(diǎn)：1) 解決了傳統(tǒng)GMM計(jì)算量龐大的問題；2) 紋理模式考慮了像素點(diǎn)之間的關(guān)聯(lián)性。該方法結(jié)合了空間域和時(shí)間域的背景建模方式，并且解決了GMM對光照變化敏感的缺點(diǎn)。

1 快速的高斯混合算法

在現(xiàn)有的GMM中，為了能處理復(fù)雜的場景，取得較好的檢測效果，希望GMM中高斯函數(shù)的個(gè)數(shù)K越多越好。每獲得一個(gè)新的視頻幀，圖像中每個(gè)像素點(diǎn)的所有高斯函數(shù)參數(shù)都要進(jìn)行更新，這樣會帶來大量的計(jì)算，影響算法實(shí)時(shí)性。而圖像中出現(xiàn)的運(yùn)動目標(biāo)都是由一系列像素點(diǎn)組成的區(qū)域，所以可以將一幅圖像分成多個(gè)圖像塊，用GMM對每個(gè)圖像塊進(jìn)行建模，這樣就大大減少了圖像處理的時(shí)間成本。例如，把一幅圖像分成多個(gè)N×N的圖像塊，令X表示圖像塊M的像素值，定義為

(1)

式中，I(p)表示圖像塊M中點(diǎn)p處的像素值。

1.1 背景模型建立

(2)

(3)

1.2 模型更新

(4)

(5)

(6)

(7)

(8)

1.3 概率計(jì)算

(9)

2 基于LBP紋理模式的背景建模

局部二值模式(LBP)最早是由芬蘭科學(xué)家OJALA等人[13]提出的，是對紋理特征簡單而有效的描述方法，用一個(gè)二進(jìn)制數(shù)來量化圖像中每個(gè)像素點(diǎn)與其領(lǐng)域內(nèi)其他各像素點(diǎn)灰度值之間的差異，從而說明圖像的紋理特征。LBP定義為

(10)

按照前面介紹的LBP算子，以鄰域有8個(gè)灰度值為例，會有28即256種不同輸出。如果紋理描述的區(qū)域比較小，會造成LBP紋理直方圖過于稀疏，直方圖很容易受到輕微變化的影響，從而使直方圖失去統(tǒng)計(jì)意義?；谝陨峡紤]，OJALA又提出了統(tǒng)一化LBP算子(Uniform LBP)[14]，將二進(jìn)制數(shù)值看成首尾相接的一串?dāng)?shù)，其中,0與1的變化次數(shù)不大于2，滿足此條件的二進(jìn)制模式為統(tǒng)一化模式(Uniform Patterns)，例如111 11111，11000011和00000011等。所以在計(jì)算LBP直方圖的過程中，只需要考慮滿足統(tǒng)一模式的LBP值，對于非統(tǒng)一模式的LBP值只需集中到一起，無需關(guān)注其統(tǒng)計(jì)意義。一般來說，保留的統(tǒng)一化模式的LBP值反映了重要的紋理信息，而那些非統(tǒng)一化模式的LBP值中過多的轉(zhuǎn)變往往由噪聲引起，不具有良好的統(tǒng)計(jì)意義。經(jīng)過上述統(tǒng)一化處理，大大減少了LBP的特征數(shù)目，減少了算法計(jì)算量。例如鄰域點(diǎn)數(shù)p=8時(shí)，輸出值可以減少到(p-1)p+3=59個(gè)。

2.1 背景模型建立

2.2 模型更新

將N個(gè)紋理模式直方圖按照它們的權(quán)重從大到小排序。在當(dāng)前幀中，對于新的圖像塊，提取它的紋理模式直方圖Vt，并與N個(gè)紋理模式直方圖按式(11)逐一進(jìn)行相似度計(jì)算，即

(11)

式中,p為LBP直方圖的條目數(shù)。dLBP是計(jì)算出兩個(gè)直方圖共有部分，若dLBP=1，則表示兩個(gè)直方圖完全一致。設(shè)定一個(gè)相似度閾值Td，取值0.6～0.7最佳，若dLBP>Td，說明Vt與紋理模式直方圖模型中第i個(gè)模型相匹配，對直方圖模型及權(quán)重進(jìn)行更新

Hi,t+1=αHi,t+(1-α)Vt

(12)

ωi,t+1=(1-α)ωi,t+Mi,tα

(13)

式中,α是學(xué)習(xí)率。當(dāng)?shù)趇個(gè)LBP紋理直方圖與Vt匹配時(shí)，Mi,t的值為1，否則為0。如果N個(gè)紋理模式直方圖中沒有一個(gè)與Vt匹配，則將紋理直方圖模型中權(quán)重最小的紋理模式直方圖模型用Vt替代，并賦予一個(gè)較小的權(quán)重。

2.3 概率計(jì)算

3 基于D-S證據(jù)理論的前景判別

D-S證據(jù)推理建立在一個(gè)辨別框架的基礎(chǔ)上，該辨別框架為一個(gè)非空集合Θ，由假設(shè)空間的所有元素組成，且各元素之間相互獨(dú)立，將該非空集合Θ的所有子集組成的冪集記為2Θ,可以給出如下D-S證據(jù)理論的定義。

將辨別框架中某一個(gè)子集表示為A，該子集的基本信任指派函數(shù)為m(A)，其范圍為[0,1]。m(A)表示證據(jù)支持子集A發(fā)生的程度，其滿足

。

(14)

信任函數(shù)Bel(A)表示決策者對命題A的總信任度，其定義為

(15)

設(shè)在辨別框架Θ上有兩個(gè)基本信任指派函數(shù)m1,m2，并分別含有焦元A1,…,An和B1,…,Bn，它們的組合運(yùn)算為m=m1⊕m2，m為組合產(chǎn)生的新的證據(jù)體。

(16)

用D-S證據(jù)理論將GMM與LBP紋理模型進(jìn)行融合。A指當(dāng)前圖像塊屬于背景模型這個(gè)事件，則m(A)表示支持事件A發(fā)生的程度，dGMM和dLBP表示兩個(gè)證據(jù)體m1和m2，根據(jù)D-S組合規(guī)則，m(A)為

(17)

如果m(A)大于閾值T，則當(dāng)前圖像塊為背景，否則記為前景。

4 實(shí)驗(yàn)結(jié)果

在本文中，高斯混合模型的個(gè)數(shù)K和LBP紋理直方圖個(gè)數(shù)N均取5，兩個(gè)權(quán)值更新率α都為0.005。對多次實(shí)驗(yàn)結(jié)果進(jìn)行比較，權(quán)值閾值T1和T2均設(shè)為0.7時(shí)，建立的背景模型最佳。閾值T設(shè)為0.8，能很好判別當(dāng)前圖像塊是否為背景。

為了驗(yàn)證本文算法，對兩組視頻序列進(jìn)行背景建模和運(yùn)動目標(biāo)檢測。視頻1是對行人進(jìn)行目標(biāo)識別;視頻2的情況比視頻1更復(fù)雜，是對森林中煙霧進(jìn)行識別，煙霧在運(yùn)動的過程中會不斷擴(kuò)散，而且形狀也在不斷變化，對算法的檢測性能要求比較高。實(shí)驗(yàn)結(jié)果如圖1、圖2所示。

圖1 對行人進(jìn)行目標(biāo)識別Fig.1 Results of pedestrian testing video

圖2 對煙霧進(jìn)行目標(biāo)識別Fig.2 Results of smoke testing video

除了定性的比較實(shí)驗(yàn)之外，本文還進(jìn)行了定量的比較實(shí)驗(yàn)，根據(jù)運(yùn)動目標(biāo)檢測領(lǐng)域和背景建模領(lǐng)域經(jīng)典的評價(jià)方法，分別統(tǒng)計(jì)了本文所提出算法的檢測結(jié)果和基于GMM背景建模檢測結(jié)果中的漏檢數(shù)和虛警數(shù)。其中：漏檢數(shù)是指前景被檢測為背景的像素個(gè)數(shù)；虛警數(shù)是指背景被檢測為前景的像素個(gè)數(shù)。通過人工的方法標(biāo)記測試序列中每一幀的前景和背景像素，然后與檢測算法的結(jié)果進(jìn)行比較，計(jì)算出兩種方法在每個(gè)測試序列上的平均漏檢數(shù)和虛警數(shù)。實(shí)驗(yàn)結(jié)果如表1所示。從表1可以看出，本文所提算法在綜合考慮虛警數(shù)和漏檢數(shù)的情況下，取得了比基于GMM背景建模方法更好的效果。

表1 目標(biāo)檢測算法定量比較

從實(shí)驗(yàn)結(jié)果還可以發(fā)現(xiàn)，當(dāng)背景中有擺動的樹枝為動態(tài)背景時(shí)，該干擾信息對目標(biāo)的提取影響非常大，單純的GMM處理結(jié)果不理想，會出現(xiàn)很多誤判。在光照變化比較明顯的情況下，基于顏色特征的GMM背景建模對光照變化敏感，前景檢測結(jié)果會出現(xiàn)很多誤檢。本文采用的算法能較好地消除原本靜止物體發(fā)生運(yùn)動時(shí)產(chǎn)生的殘影，有效地消除周期性變化的動態(tài)背景干擾信息，并且利用LBP對光照變化不明顯的特點(diǎn)彌補(bǔ)GMM背景建模的缺點(diǎn)，可以減少前景目標(biāo)的誤檢，較為準(zhǔn)確地檢測出運(yùn)動物體。另外,值得一提的是算法的處理速度，使用原始的混合高斯模型處理速度約為600 ms/幀，而使用本文算法，處理速度在90 ms/幀左右，這樣每秒可以處理10幀以上，基本上可以達(dá)到實(shí)時(shí)的要求。

5 總結(jié)

本文在對復(fù)雜場景進(jìn)行背景建模和運(yùn)動目標(biāo)檢測時(shí)，考慮了相鄰像素之間的共生關(guān)系，提出了一種將GMM背景建模和LBP紋理建模結(jié)合的運(yùn)動目標(biāo)檢測算法，該算法有以下幾個(gè)優(yōu)點(diǎn)：1) 對圖像進(jìn)行分塊處理，相對于傳統(tǒng)的混合高斯背景建模，不僅考慮了相鄰像素之間的關(guān)系，而且提高了算法的處理速度，滿足了快速性和實(shí)時(shí)性要求;2) 算法結(jié)合了顏色特征和紋理特征，能夠在動態(tài)背景中較好地分辨目標(biāo)運(yùn)動物體與干擾信息，取得了比傳統(tǒng)混合高斯模型更好的處理效果。

[1] 胡學(xué)友，陶亮，倪敏生.基于混合粒子的目標(biāo)跟蹤[J].計(jì)算機(jī)應(yīng)用,2011,31(6):1602-1604.

[2] MITICHE A,WANG Y F,AGGARWAL J K.Experiments in computing optical flow with gradient-based,multi-constraint method[J].Pattern Recognition,1987,20(2):173-179.

[3] LUCAS B D,KANADE T.An iterative image registration technique with an application to stereo vision[C]//The 7th International Joint Conference on Artificial Intelligence, 1981:674-679.

[4] WANG L,HU W M,TAN T N.A survey of visual analysis of human motion[J].Chinese Journal of Computers, 2002,25(3):225-237.

[5] STAUFFER C,GRIMSON W E L.Adaptive background mixture models for real-time tracking[C]//Proceeding of Computer Vision and Pattern Recognition,Fort Collins, Colorado,1999:246-252.

[6] JIANG P,QIN X L.Robust foreground detection with adaptive threshold estimation[J].Journal of Image and Graphics,2011,16(1):37-42.

[7] LIU G Y,LIU G D.Method for moving objection detection based on mixture Gaussian models[J].Computer Engineering and Applications,2009,45(24):180-182.

[8] WREN C,AZARBAYEJANI A,DARRELL T,et al.Pfinder:real-time tracking of the human body [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):780-785.

[9] 郭立君，劉曦，趙杰煜，等.結(jié)合運(yùn)動信息與表觀特征的行人檢測方法[J].軟件學(xué)報(bào),2012,23(2):299-309.

[10] ELGAMMAL A,HARWOOD D,DAVIS L S.Background and foreground modeling using nonparametric kernel density estimation for visual surveillance[J].Proceeding of IEEE,2002,90(7):1151-1163.

[11] HEIKKILA M,PIETIKAINEN M.A texture-based method for modeling the background and detecting moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):657-662.

[12] 肖德貴，辛晨，張婷，等.顯著性紋理結(jié)構(gòu)特征及車載環(huán)境下的行人檢測[J].軟件學(xué)報(bào),2014,25(3):675-689.

[13] OJALA T,HARWOOD I.A comparative study of texture measure with classification based on feature distribution[J].Pattern Recognition,1996,29(1):51-59.

[14] OJALA T,PIETIKAINEN M,MAENPAA T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.

[15] LI B,CHEN Y M,ZHANG L.Moving objects detection method based on texture[J].Computer Engineering and Application,2008,44(7):100-102.

AMovingTargetDetectionMethodBasedonMulti-featureFusion

ZHAI Ji-yun, ZHOU Xin, WANG Cong-qing

(Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China)

To improve the robustness of target detection under complex scene is an important and difficult challenge in the field of computer vision.The traditional moving target detection is based on the single feature of the target.In this paper,a new background modeling algorithm is proposed for object detection based on both color feature and texture feature.Firstly,the traditional color-based Gaussian mixture model is improved and the computation cost is reduced.Then the improved Gaussian mixture model is fused with the LBP texture model by D-S evidence theory.The experimental results show that the fusion of two features can be complementary.The proposed algorithm can detect the moving targets more rapidly and accurately compared with the traditional algorithm.

moving target; target detection; Gaussian mixture model; LBP texture model; D-S evidence theory

翟濟(jì)云,周鑫,王從慶.基于多特征融合的運(yùn)動目標(biāo)檢測[J].電光與控制，2017，24(7)：23-27.ZHAI J Y,ZHOU X,WANG C Q.A moving target detection method based on multi-feature fusion[J].Electronics Optics & Control,2017,24(7):23-27.

TP391.4

A

10.3969/j.issn.1671-637X.2017.07.005

2016-06-06

2017-04-17

國家自然科學(xué)基金(61573185)

翟濟(jì)云(1991 —),女，江蘇南通人，碩士生，研究方向?yàn)閳D像處理。時(shí)目標(biāo)輪廓會被擴(kuò)大，目標(biāo)運(yùn)動較慢時(shí)可能無法得到目標(biāo)邊界。因此，本文考慮采用背景建模法，該方法對運(yùn)動目標(biāo)提取的信息相對完整。