李靜，劉麗萍，車(chē)進(jìn)（寧夏大學(xué)物理電氣信息學(xué)院，寧夏銀川750021）

聯(lián)合Kalman和自適應(yīng)Mean-Shift穩(wěn)健相關(guān)視頻跟蹤方法

李靜，劉麗萍，車(chē)進(jìn)
（寧夏大學(xué)物理電氣信息學(xué)院，寧夏銀川750021）

相關(guān)視頻跟蹤器存在計(jì)算量大、模板漂移、對(duì)機(jī)動(dòng)目標(biāo)，雜波影響大以及遮擋情況無(wú)法跟蹤的問(wèn)題，而Kalman濾波能通過(guò)利用相關(guān)跟蹤器的輸出結(jié)果來(lái)預(yù)測(cè)目標(biāo)在下一幀里在圖像中的坐標(biāo)，可以在高概率的小范圍內(nèi)對(duì)目標(biāo)進(jìn)行搜索，以大幅減小計(jì)算量和雜波的影響。然后，當(dāng)跟蹤器由于受到雜波或遮擋的影響而提供了錯(cuò)誤的測(cè)量信息時(shí)，跟蹤的性能將大幅下降。大量研究表明，Mean-Shift跟蹤器具有運(yùn)算速度快和跟蹤性能好的特點(diǎn)，而當(dāng)目標(biāo)柱狀圖和待選圖像區(qū)域相近時(shí)，其跟蹤性能也將大幅下降，甚至無(wú)法進(jìn)行跟蹤。為了解決該問(wèn)題，結(jié)合上述3種思想提出了一種改進(jìn)的、穩(wěn)健的視頻目標(biāo)跟蹤方法，并通過(guò)理論分析和仿真結(jié)果表明了算法的有效性和優(yōu)越性。

目標(biāo)跟蹤；模板漂移；遮擋；Mean-Shift；Kalman濾波

【本文獻(xiàn)信息】李靜，劉麗萍，車(chē)進(jìn).聯(lián)合Kalman和自適應(yīng)Mean-Shift穩(wěn)健相關(guān)視頻跟蹤方法［J］.電視技術(shù)，2015，39（10）.

視頻目標(biāo)跟蹤的目的是為了持續(xù)得到目標(biāo)在視頻圖像幀中的位置［1］，在商業(yè)和軍事方面均具有重要意義［2-3］，盡管?chē)?guó)內(nèi)外已經(jīng)有很多相關(guān)研究［4-5］，雜波、遮擋、目標(biāo)復(fù)雜運(yùn)動(dòng)、旋轉(zhuǎn)以及外形的快速變化等原因?qū)е铝诉@依然是一個(gè)研究難點(diǎn)。針對(duì)于此，本文結(jié)合相關(guān)跟蹤，Kalman濾波和自適應(yīng)Mean-Shift等方法，提出了啟發(fā)性方法來(lái)實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)健跟蹤。并在以下幾個(gè)方面均提出了創(chuàng)新性思想：1）依據(jù)Mean-Shift結(jié)果，實(shí)現(xiàn)了在相關(guān)跟蹤結(jié)果和Kalman預(yù)測(cè)結(jié)果之間的自適應(yīng)選擇；2）自適應(yīng)更新跟蹤模板以適應(yīng)目標(biāo)變化；3）依據(jù)當(dāng)前幀圖像的相關(guān)峰值來(lái)自適應(yīng)的選擇門(mén)限；4）自適應(yīng)更新Mean-Shift搜索窗口大小以適應(yīng)目標(biāo)大小變化等方面。并通過(guò)理論分析和仿真結(jié)果驗(yàn)證了算法的有效性。

1　Kalman相關(guān)跟蹤器

Kalman相關(guān)跟蹤器中，跟蹤模板可采用目標(biāo)子圖像，同時(shí)目標(biāo)外觀模型可由邊緣增強(qiáng)的模板來(lái)表示，相應(yīng)的搜索窗口也是采用邊緣增強(qiáng)之后的，以獲得更加相似的測(cè)量結(jié)果。邊緣增強(qiáng)包含如下步驟：高斯平滑以消除圖像噪聲影響、圖像梯度處理、歸一化和門(mén)限化處理［6］。算法中的搜索窗口大小不是保持不變的，而是在Kalman濾波的輔助下進(jìn)行動(dòng)態(tài)更新。基于此，跟蹤器計(jì)算量得到較大改善，且能將大部分雜波拒絕到跟蹤窗口之外，以得到更好的跟蹤性能［7］。同時(shí)確認(rèn)目標(biāo)大小也是進(jìn)行目標(biāo)有效和穩(wěn)健跟蹤的重要方面，可通過(guò)如下兩個(gè)步驟完成：1）在搜索空間中將比目標(biāo)小10%到大10%的模板與目標(biāo)進(jìn)行關(guān)聯(lián)，從而關(guān)聯(lián)度最大的模板大小即為新的模板大小［7-9］；2）利用最匹配矩形調(diào)整算法來(lái)調(diào)整模板以使得目標(biāo)一直處于模板中央并解決模板漂移問(wèn)題［10］。進(jìn)而，利用歸一化相關(guān)在下一幀圖像的搜索窗口內(nèi)進(jìn)行模板匹配，相應(yīng)峰值的位置即為目標(biāo)在搜索窗口中的位置，且當(dāng)相關(guān)值峰值大于門(mén)限值時(shí)相應(yīng)的匹配認(rèn)為是成功有效的。則進(jìn)行下一步目標(biāo)模板更新。

1.1模板更新方法

好的模板更新方法需要解決目標(biāo)漂移和更新停滯問(wèn)題，即需要滿足：1）最大程度地包含目標(biāo)的改變；2）包含盡可能小的背景；3）當(dāng)模板由于背景和噪聲像素的影響而更新緩慢現(xiàn)象時(shí)，更新方法具有恢復(fù)模板以得到更好目標(biāo)表示的能力。在本文方法中，由用戶選擇的第一個(gè)目標(biāo)被認(rèn)為是最真實(shí)的，因此在整個(gè)跟蹤過(guò)程中被保留在緩存中，表示為T(mén)1。Tn表示第n-1幀圖像中得到的最新模板，其包含目標(biāo)最大的改變?？芍猅n包含噪聲、背景、突然光照變化或者目標(biāo)模糊強(qiáng)度的變化。因此上一步模板Tn-1也需要保存在緩存中，以便判斷Tn的更新是正確的或者當(dāng)更新判定為錯(cuò)誤時(shí)，將Tn恢復(fù)為T(mén)n-1。在第n幀圖像中，通過(guò)如下步驟來(lái)得到更好的模板表示：

將Tn和Tn-1均在搜索窗口中進(jìn)行相關(guān)搜索，得到相應(yīng)的峰值C（n）peak和C（n-1）peak，當(dāng)C（n）peak≥C（n-1）peak時(shí)，認(rèn)為最后一次更新是正確有效的，且Cpeak=C（n）peak；否則，用Tn-1替代Tn，且Cpeak=C（n-1）peak。且對(duì)于第2次更新的情況，T1在搜索窗口中進(jìn)行相關(guān)，相應(yīng)的峰值表示為C（1）peak。相應(yīng)的更新過(guò)程可表示為

式中：0＜ω≤1，本文選取ω=0.25。相應(yīng)的模板更新可表示為

式中：oldCpeak為上一幀圖像相關(guān)峰值，0≤γ≤1，0≤σ≤1，0≤δ≤1，λ＞0；t為自適應(yīng)門(mén)限。本文中各個(gè)參數(shù)取值為：σ=0.035，δ=0.3，λ=3。

1.2門(mén)限自適應(yīng)選取方法

固定門(mén)限方法被用在大量文獻(xiàn)中［6-8］，該方法對(duì)于所有的視頻幀圖像均采用固定的門(mén)限而不考慮每幀圖像里的相關(guān)信息，因此這種方法對(duì)于目標(biāo)機(jī)動(dòng)出現(xiàn)的子圖像快速變化的情況會(huì)失效。相關(guān)峰值間接提供了目標(biāo)變化的啟發(fā)式信息，以便提出自適應(yīng)的門(mén)限值。例如，當(dāng)前的歸一化相關(guān)峰值為0.85，表明了其值很有可能在下一幀圖像中變小，因此對(duì)于即將到來(lái)的一幀圖像，門(mén)限應(yīng)該設(shè)置比當(dāng)前小?；诖耍赃m應(yīng)方法利用當(dāng)前的目標(biāo)匹配信息來(lái)設(shè)置門(mén)限，而不是采用統(tǒng)一固定的門(mén)限值。為了避免自適應(yīng)門(mén)限值太小的情況，本文對(duì)門(mén)限設(shè)置了下限，則門(mén)限選擇可表示為

式中：0.1≤τ≤0.17，0＜tl＜1，該范圍表示目標(biāo)在下一幀圖像中可能產(chǎn)生最大17%的變化，該取值由經(jīng)驗(yàn)獲得，且通過(guò)試驗(yàn)發(fā)現(xiàn)可很好地適用于慢速或快速機(jī)動(dòng)的目標(biāo)。本文取值為τ=0.12，tl=0.65。

2　基于Kalman濾波的遮擋處理

當(dāng)在跟蹤場(chǎng)景中，目標(biāo)隱藏在其他物體之后時(shí)，稱遮擋發(fā)生，這對(duì)于所有的視頻跟蹤都是一個(gè)至關(guān)重要的問(wèn)題。相關(guān)峰值可作為遮擋發(fā)生的指示器，因?yàn)樵谡趽跬蝗话l(fā)生時(shí)，其值也會(huì)突然變小。當(dāng)峰值小于門(mén)限時(shí)，則停止模板更新，且認(rèn)為相關(guān)跟蹤器輸出的目標(biāo)位置已經(jīng)沒(méi)有信任價(jià)值。而在此之前，Kalman濾波預(yù)測(cè)的目標(biāo)位置則可當(dāng)成目標(biāo)當(dāng)前位置，且濾波器狀態(tài)依據(jù)自己的預(yù)測(cè)進(jìn)行更新，同時(shí)門(mén)限值逐步減小。這是因?yàn)樵谡趽跗陂g目標(biāo)的變化并沒(méi)有合并到模板中，因此相關(guān)峰值可能變得小于門(mén)限。進(jìn)一步，考慮到遮擋期間目標(biāo)速度和運(yùn)動(dòng)方向存在變化的可能性，動(dòng)態(tài)生成的搜索窗口也應(yīng)逐漸變大。過(guò)程中，模板直接與各幀圖像相關(guān)而不是Kalman相關(guān)濾波得到的結(jié)果，直到匹配峰值超過(guò)門(mén)限。

3　自適應(yīng)快速M(fèi)ean-Shift方法

Mean-Shift依靠其聚合與模式尋找能力被廣泛應(yīng)用于圖像分割和跟蹤領(lǐng)域，它是一種迭代方法，通過(guò)隨機(jī)產(chǎn)生中心點(diǎn)位置，查找鄰居點(diǎn)的均值，進(jìn)而將中心點(diǎn)移動(dòng)到找到的均值點(diǎn)的位置，方法終止于位置變化很小或者達(dá)到一定的迭代次數(shù)［11］。為了找到鄰居點(diǎn)的加權(quán)均值，需要有一個(gè)核函數(shù)來(lái)對(duì)鄰居的各個(gè)點(diǎn)進(jìn)行加權(quán)。對(duì)于歸一化核函數(shù)，圖像積分技術(shù)可用于快速計(jì)算均值漂移［11］。連續(xù)兩幅圖像的變化往往表征了目標(biāo)的移動(dòng)區(qū)域，且在跟蹤場(chǎng)景中，該區(qū)域可認(rèn)為是目標(biāo)的可能候選，其Mean-Shift方法可用來(lái)找到兩幅圖像中的差別區(qū)域。基于此，Beleznai等人提出了基于歸一化框架的快速M(fèi)ean-Shift方法來(lái)進(jìn)行人物檢測(cè)和跟蹤［11-12］。本文采用該方法，并進(jìn)行了框架大小自適應(yīng)的改進(jìn)。此外，本文僅計(jì)算搜索窗口的變化而不是整個(gè)搜索窗口，通過(guò)這種方式，保持了搜索窗口的大小不變，而其差異通過(guò)對(duì)現(xiàn)在的搜索窗口和前一幀搜索窗口做差得到，可避免不同圖像里的異常點(diǎn)和過(guò)大的運(yùn)動(dòng)區(qū)域。從而，計(jì)算過(guò)程變得更加有效和快速，因?yàn)檫@個(gè)方法中均值漂移僅在搜索窗口中計(jì)算。跟蹤模板大小通過(guò)如下兩種方法保持自適應(yīng)：1）將從比當(dāng)前模板小10%到大10%的模板與搜索空間進(jìn)行相關(guān)，得到最大相關(guān)峰值對(duì)應(yīng)的模板即為新的模板［5，11-12］。2）利用最佳匹配矩形調(diào)整（BMRA）對(duì)模板進(jìn)行重采樣以保持模板大小不變，并讓目標(biāo)處于模板的中央。該方法將模板分割成9個(gè)互不重疊的區(qū)域，計(jì)算每個(gè)區(qū)域內(nèi)的能量大小，并通過(guò)投票方法得到最優(yōu)匹配矩形［12］。

4　聯(lián)合相關(guān)和Kalman濾波的自適應(yīng)框架快速M(fèi)ean-Shift方法

Kalman濾波是一個(gè)測(cè)量跟蹤器，基于當(dāng)前和之前圖像里目標(biāo)的位置，可用來(lái)預(yù)測(cè)目標(biāo)在下一幀圖像中的位置，并進(jìn)一步根據(jù)目標(biāo)實(shí)際位置來(lái)進(jìn)行更新，它采用迭代的工作方式，在很少的步驟內(nèi)收斂于穩(wěn)定狀態(tài)。當(dāng)濾波器的預(yù)測(cè)值與實(shí)際測(cè)量之間的差距大于某一個(gè)門(mén)限時(shí)，表明跟蹤結(jié)果為不可信。這可能是以下兩種情況導(dǎo)致：1）相關(guān)跟蹤器由于雜波、圖像模糊或遮擋等原因提供了錯(cuò)誤的目標(biāo)測(cè)量信息；2）目標(biāo)突然改變了運(yùn)動(dòng)方向（如目標(biāo)迅速反向或者突然加速的情況），這時(shí)候由相關(guān)跟蹤器提供的目標(biāo)測(cè)量并沒(méi)有問(wèn)題，并由于其得到的相關(guān)峰值大小沒(méi)有明顯的減小，而沒(méi)能及時(shí)發(fā)現(xiàn)情況發(fā)生。為了解決這個(gè)問(wèn)題，決定采用Kalman的預(yù)測(cè)值還是相關(guān)跟蹤器得到的測(cè)量，本文加強(qiáng)了相關(guān)跟蹤，Kalman濾波和自適應(yīng)快速M(fèi)ean-Shift算法的結(jié)合力度：計(jì)算每幀圖像中，相關(guān)跟蹤得到的測(cè)量值與Kalman的預(yù)測(cè)值之間的差值，當(dāng)差值大于某一門(mén)限值時(shí)，則計(jì)算當(dāng)前與前一個(gè)搜索窗口的差異，并根據(jù)這個(gè)差值采用快速M(fèi)ean-Shift算法來(lái)得到一個(gè)目標(biāo)的位置，并選擇相關(guān)的測(cè)量和Kalman的預(yù)測(cè)位置中離該位置更接近的一個(gè)作為目標(biāo)的新位置。進(jìn)而，在這種情況下，目標(biāo)模板并沒(méi)有得到更新，且搜索窗口大小會(huì)不斷增加，因此可有效避免目標(biāo)超出搜索窗口的幾率。綜上可得本文提出算法的流程如圖1所示。

圖1　本文算法流程圖

5　實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證算法的有效性，本文對(duì)兩段視頻，分別采用本文算法，以及經(jīng)典的Mean-Shift算法進(jìn)行了跟蹤對(duì)比。

5.1實(shí)驗(yàn)一目標(biāo)無(wú)遮擋視頻

由圖2和圖3的仿真結(jié)果可以看出，當(dāng)目標(biāo)在跟蹤過(guò)程中距離越來(lái)越近使得目標(biāo)越來(lái)越大時(shí)，采用傳統(tǒng)的Mean-Shift無(wú)法正確地調(diào)整搜索窗口大小，選取正確的模板，存在誤跟蹤情況。而本文算法能很好地適應(yīng)目標(biāo)大小的變化，保持對(duì)目標(biāo)的正確跟蹤。表1從數(shù)據(jù)上反應(yīng)了兩種算法的差別，即經(jīng)典Mean-Shift算法和本文算法。表中數(shù)據(jù)表明了兩種算法對(duì)應(yīng)幀序列的實(shí)際目標(biāo)中心位置與跟蹤算法所得到的目標(biāo)中心位置之間的距離（Δ）。從表1可以發(fā)現(xiàn)，本文算法的距離差（Δ）明顯小于經(jīng)典算法，跟蹤效果更好。

5.2實(shí)驗(yàn)二目標(biāo)存在遮擋視頻

由圖4和圖5的仿真結(jié)果可以看出，當(dāng)視頻存在目標(biāo)遮擋情況時(shí)，傳統(tǒng)的Mean-Shift算法會(huì)造成目標(biāo)跟蹤的丟失，而本文算法則能在目標(biāo)被遮擋時(shí)通過(guò)擴(kuò)展搜索窗口大小，保證目標(biāo)留在搜索窗口內(nèi)，從而在遮擋之后依然保持模板正確，實(shí)現(xiàn)對(duì)目標(biāo)的正確跟蹤。表2從數(shù)據(jù)上顯示了本算法的優(yōu)越性。

圖2　本文算法跟蹤結(jié)果（實(shí)驗(yàn)1）

圖3　經(jīng)典Mean-Shift算法跟蹤結(jié)果（實(shí)驗(yàn)1）

表1　兩種算法實(shí)際目標(biāo)中心與跟蹤目標(biāo)中心距離對(duì)比（實(shí)驗(yàn)1）

表2　兩種算法實(shí)際目標(biāo)中心與跟蹤目標(biāo)中心距離對(duì)比（實(shí)驗(yàn)2）

6　小結(jié)

本文結(jié)合相關(guān)跟蹤器、Kalman濾波和快速M(fèi)ean-Shift等技術(shù)提出了一種自適應(yīng)視頻跟蹤算法，該算法有效地實(shí)現(xiàn)了在遮擋和目標(biāo)大小變化等復(fù)雜情況下的視頻跟蹤。理論分析和仿真結(jié)果表明算法的有效性和優(yōu)越性，算法具有較高實(shí)際應(yīng)用價(jià)值。

圖4　本文算法跟蹤結(jié)果（實(shí)驗(yàn)2）

圖5　經(jīng)典Mean-Shift算法跟蹤結(jié)果（實(shí)驗(yàn)2）

［1］丁磊，宮寧生，俞克強(qiáng).改進(jìn)的Mean-Shift跟蹤算法在車(chē)輛跟蹤上的應(yīng)用［J］.電視技術(shù)，2013，37（5）：183-186.

［2］YILMAZ A，JAVED O，SHAH M.Object tracking：a survey［J］.［3］蔣巍，張健，曾浩.基于智能視頻監(jiān)控系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤［J］.電視技術(shù)，2012，36（5）：110-114.

ACM Computing Surveys（CSUR），2006，38（4）：13-20.

［4］劉晴，唐林波，趙保軍，等.改進(jìn)的Mean-Shift目標(biāo)跟蹤算法［J］.系統(tǒng)工程與電子技術(shù)，2013，35（6）：1318-1323.

［5］LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision［C］//Proc.7th International Joint Conference on Artificial Intelligence.San Francisco：IEEE Press，1981：674-679.

［6］AHMED J，JAFRI M N，SHAH M，et al.Real-time edge-enhanced dynamic correlation and predictive open-loop car-following control for robust tracking［J］.Machine Vision and Applications，2008，19（1）：1-25.

［7］吳佳家，高鈺，李敏，等.基于均值漂移和卡爾曼濾波的跟蹤算法研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2014，24（1）：5-9.

［8］COMANICIU D，RAMESH V，MEER P.Kernel-based object tracking［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2003，25（5）：564-577.

［9］COLLINS R T.Mean-Shift blob tracking through scale space［C］// Proc.IEEE Computer Society Conference on Computer Vision andPatternRecognition.LosAlamitos：IEEEPress，2003：234-240.

［10］AHMED J，JAFRI M N.Best-match rectangle adjustment algorithm for persistent and precise correlation tracking［C］//Proc.International Conference on Machine Vision.Islamabad：IEEE Press，2007：91-96.

［11］李武，侯志強(qiáng)，魏國(guó)劍，等.跟蹤框自適應(yīng)的尺度變化目標(biāo)跟蹤算法［J］.山東大學(xué)學(xué)報(bào)：工學(xué)版，2014，44（2）：28-34.

［12］BELEZNAI C，F(xiàn)RUHSTUCK B，BISCHOF H.Human detection in groups using a fastMean-Shift procedure［C］//Proc.International Conference on Image Processing.Singapore：IEEE Press，2004：349-352.

Joint Kalman and Adaptive Mean-Shift Based Robust Correlative Visual Tracking Algorithm

LI Jing，LIU Liping，CHE Jin
（School of Physics and Electronic Information Engineering，Ningxia University，Yinchuan 750021，China）

Correlation tracker has the problem of computation intensive（if the search space or the template is large），template drift and may fail in case of fast maneuvering target，occlusion suffered by it and clutter in the scene.By using the output results of correlation tracker，Kalman filter can predict the target coordinates in the next frame. Thus，the target may be searched within a small range with a high probability.In this way，the amount of calculation and the influence of clutter can be sharply reduced.However，if wrong measurement vector is provided to the tracker due to the clutter or the occlusion inside the search region，the performance of tracking will fell sharply. Fast operation speed and good tracking results has shown to Mean-shift tracker in the literature，but it may fail when the histograms of the target and the candidate region in the scene are similar.In order to deal with the mentioned problems，an improved robust visual target tracking method based on the three above ideas is proposed，andthe algorithm is showed effectively and superiorly through the theoretical analysis and simulation results.

object tracking；template drift；occlusion；Mean-Shift；Kalman filter

TN941.1

A

10.16280/j.videoe.2015.10.005

時(shí)雯

2014-07-22

國(guó)家自然科學(xué)基金項(xiàng)目（61162020）