楊 欣 沈 雷 費樹岷 周大可
(1南京航空航天大學自動化學院,南京210016)
(2東南大學自動化學院,南京210096)
隨著計算機視覺技術(shù)的蓬勃發(fā)展,利用計算機視覺技術(shù)對圖像和視頻進行處理、理解、分析得到廣泛的普及.其中運動目標跟蹤是一個熱點研究問題[1].因 Mean-Shift(均值偏移)算法簡單易行,對目標變形和局部遮擋有一定適應性而被廣泛地研究與應用[2].傳統(tǒng)的 Mean-Shift跟蹤算法[3-4]是以顏色直方圖為特征對運動目標進行跟蹤,對于復雜背景情況下的跟蹤效果不佳.文獻[4]中顏色直方圖只包含了圖像中顏色值出現(xiàn)的頻數(shù),僅反映了目標的顏色信息.
基于上述討論,本文給出了一種新穎的基于證據(jù)理論和多核函數(shù)融合的目標跟蹤方法.該方法首先對目標區(qū)域進行顏色和邊緣特征的融合;然后將此區(qū)域分成4個子區(qū)域,算出子區(qū)域的顏色與邊緣方向直方圖融合的聯(lián)合概率密度,并計算出各個區(qū)域的巴氏權(quán)重系數(shù);再根據(jù)加權(quán)后的聯(lián)合概率密度,采用多個核函數(shù)計算出多個目標位置估計;最后利用D-S證據(jù)理論信息融合方法[5]對多個目標位置估計進行融合判斷獲得準確的目標位置.實驗結(jié)果表明,該方法在目標被大面積長時間遮擋的情況下,能達到良好的跟蹤效果.
基于顏色直方圖的方法[6]簡單靈活,但目標區(qū)域有光照變化時,會造成目標丟失,因此本文融合邊緣方向直方圖,利用邊緣特征信息來有效應對光照變化,進而對目標區(qū)域進行分塊處理,以提高目標的辨識能力.
1)分塊處理 當目標被遮擋時,被遮擋部分的直方圖會有明顯的改變,所以被遮擋的部分應賦予較小的權(quán)值.將目標框等分成4份,以便于更好地區(qū)分各個部分被遮擋的情況,分塊方法如圖1所示.
圖1 目標框分塊示意圖
2)顏色直方圖 顏色直方圖是一種較為實用的區(qū)域顏色建模方法.對于一個半徑為R的特定區(qū)域,在建立顏色分布模型時,不同位置像素對于顏色直方圖的貢獻不同,距離目標中心近的被賦予較大權(quán)值,遠的被賦予較小權(quán)值,其顏色直方圖模型的計算公式見文獻[7].
3)邊緣方向直方圖 邊緣方向直方圖是對運動目標的邊緣點方向分布的一種統(tǒng)計,首先將其劃分為8個方向,再將目標分成4塊進行運算.這樣可包含目標的輪廓信息,從而對遮擋情況具有良好的抑制作用.模型見文獻[8].
當目標被遮擋時,遮擋區(qū)域的直方圖有很大變化,而未被遮擋區(qū)域的直方圖變化較小.圖2表示目標下半部被汽車遮擋,表1為圖2中不同的分塊位置被汽車遮擋后對巴氏系數(shù)的影響.
圖2 被遮擋目標圖像
表1 每個分塊對巴氏系數(shù)的影響
由表1可知,目標跟蹤框下半部分的相似性系數(shù)非常小,這說明跟蹤目標下半部被遮擋后,對跟蹤的影響較大,而遮擋上半部分的影響較小.因此,基于未遮擋區(qū)域的巴氏系數(shù)進行目標跟蹤,能有效提高目標跟蹤的魯棒性.
根據(jù)顏色模型,采用下式求出圖像像素點的顏色概率估計值:
通過Sobel算子檢測出的邊緣二值圖像包含了目標的邊緣特征空間信息,同時聯(lián)合上述像素點的估計值,可以獲得邊緣特征與顏色特征相聯(lián)合的像素點概率估計值,即
式中,g(x,y)是利用Sobel算子進行邊緣檢測后坐標(x,y)處的值,存在邊緣時為1,否則為0.
考慮光照、形變和遮擋等情況的影響,巴氏系數(shù)大的分塊,權(quán)重系數(shù)大;反之,權(quán)重系數(shù)小.記各塊的權(quán)值系數(shù)為w(k),即
根據(jù)證據(jù)理論[9]方法構(gòu)建數(shù)學模型,采用N個不同的核函數(shù),分別利用Mean-Shift方法,獲得當前目標跟蹤框中N個不同的位置估計(l1,l2,…,ln),令l'為前一幀中的目標位置.基于D-S證據(jù)理論中焦元結(jié)構(gòu)定義的方法[10],定義一組 mass函數(shù),即
利用式(5)構(gòu)造的信任函數(shù),再采用D-S組合公式計算得到目標位于ln的概率:
本文主要針對跟蹤目標的大面積長時間遮擋情況.當目標被遮擋,可視面積將發(fā)生變化,巴氏系數(shù)也會發(fā)生相應的改變,利用這一特性可以判斷目標被遮擋的程度.定義遮擋判斷因子為
根據(jù)上述分析,給出目標跟蹤算法步驟如下:
①手動選擇目標的初始位置并用紅色框表示,初始化當前幀中目標位置為^y0,將目標跟蹤區(qū)域等分成4個子區(qū)域.
②根據(jù)文獻[6]中公式分別求解出4塊原目標模型特征直方圖qu和候選目標模型特征直方圖qu(y).
③采用式(3)計算出每個子分塊的權(quán)值系數(shù).
④計算目標新位置y1:
式中,wi為權(quán)值系數(shù).
⑤計算候選目標聯(lián)合直方圖 {pk(y1)},k=1,2,3,4,同時計算
⑥通過判定規(guī)則,對遮擋情況進行判定.如果大面積遮擋,執(zhí)行⑦;否則,先利用單個核函數(shù)進行迭代跟蹤目標位置,然后轉(zhuǎn)到⑨.
⑦對已經(jīng)計算出的多組目標位置,采用基于D-S證據(jù)理論信息融合方法,對多組目標位置進行融合判斷,得到最佳的目標位置,結(jié)果記為
采用傳統(tǒng)Mean-Shift算法和本文算法進行對比實驗.圖3(a)是傳統(tǒng)Mean-Shift算法目標跟蹤結(jié)果.由圖可知,當目標未進入遮擋區(qū)域時可以較好地跟蹤上運動目標;但跟蹤到第50幀左右時,目標大部分面積被遮擋,在長時間遮擋過程中,目標跟蹤區(qū)域始終出現(xiàn)抖動滯后現(xiàn)象.圖3(b)為本文所提出的目標跟蹤算法跟蹤的效果,從圖中可以看出,跟蹤效果有明顯的提高,在整個遮擋過程中,可以很好地跟蹤上原目標.
圖3 視頻1跟蹤效果
針對長時間大面積遮擋情況下的目標跟蹤問題,本文提出了基于證據(jù)理論和多核函數(shù)融合的目標跟蹤方法,較好地解決了目標部分遮擋問題.而當目標被全部遮擋時,目標的特征信息無法獲取,對目標實時跟蹤帶來嚴重的影響,下一步作者將著重解決該問題.
References)
[1] 楊欣,劉加,周鵬宇,等.基于多特征融合的粒子濾波自適應目標跟蹤算法[J].吉林大學學報:工學版,2015,45(2):533-539.Yang Xin,Liu Jia,Zhou Pengyu,et al.Adaptive particle filter for object tracking based on fusing multiple features[J].Journal of Jilin University:Engineering and Technology Edition,2015,45(2):533-539.(in Chinese)
[2] Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.
[3] 楊欣,費樹岷,李剛,等.基于復雜特征融合的改進Mean Shift目標跟蹤[J].控制與決策,2014,29(7):1297-1300.Yang Xin,F(xiàn)ei Shumin,Li Gang,et al.Improved Mean Shift tracking algorithm based on complicated feature fusion[J].Control and Decision,2014,29(7):1297-1300.(in Chinese)
[4] 何志勇,蔡樂才,許繼家.基于 Mean Shift算法跟蹤視頻中運動目標[J].鄭州大學學報:理學版,2010,42(1):38-40.He Zhiyong,Cai Lecai,Xu Jija.Tracking moving objects based on Mean Shift algorithm in video[J].Journal of Zhengzhou University:Natural Science Edition,2010,42(1):38-40.(in Chinese)
[5] 易建政,汪金軍,張俊坤,等.DS證據(jù)理論在信息融合中的應用研究[J].國外電子測量技術(shù),2010(12):31-34.Yi Jianzheng,Wang Jinjun,Zhang Junkun,et al.Application research on D-S evidence theory in data fusion[J]. Foreign ElectronicMeasurement Technology,2010(12):31-34.(in Chinese)
[6] Comaniciu D,Meer P.Mean shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
[7] 劉惟錦,章毓晉.基于Kalman濾波和邊緣直方圖的實時目標跟蹤[J].清華大學學報:自然科學版,2008,48(7):1104-1107.Liu Weijin,Zhang Yujin.Edge-color-histogram and Kalman filter-based real-time object tracking[J].Journal of Tsinghua University:Science and Technology,2008,48(7):1104-1107.(in Chinese)
[8] Pylkko H,Riekki J,Roning J.Real-time color-based tracking via a marker interface[C]//IEEE International Conference on Robotics and Automation.Seoul,Korea,2001,2:1214-1219.
[9] Gao L P,Jia J,Dong L B.An improved fusion algorithm of evidence theory[C]//Conference on Cross Strait Quad-Regional Radio Science and Wireless Technology.Harbin,China,2011,2:1495-1498.
[10] Li Y B,Wang N,Zhou C.Based on D-S evidence theory of information fusion improved method[C]//International Conference on Computer Application and System Modeling.Taiyuan,China,2010,1:416-419.