陳金令 馮 勝 李 娜 崔寶明 羅 文 卜曉東

（四川九洲電器集團(tuán)有限責(zé)任公司 綿陽 621000）

1 引言

運動目標(biāo)檢測與跟蹤是機(jī)器視覺研究的主要內(nèi)容，它利用圖像處理、目標(biāo)檢測、模式識別等技術(shù)對圖像進(jìn)行處理和分析，廣泛應(yīng)用于工業(yè)制造、智能監(jiān)控、航空航天、智能交通等領(lǐng)域。國內(nèi)外專家在這個領(lǐng)域進(jìn)行了大量研究，目前有基于特征點的跟蹤、基于模板匹配的跟蹤、基于運動估計的跟蹤、基于主動輪廓的跟蹤等多種算法[1]，但是這些算法各有其優(yōu)缺點，有其適用的場景，并不能適用于所有的應(yīng)用場合。

在這些方法中，基于模板匹配的跟蹤算法利用目標(biāo)的灰度信息進(jìn)行相似度比對，找出最合適的位置進(jìn)行跟蹤，可適應(yīng)較復(fù)雜場景下的目標(biāo)跟蹤，具有較強(qiáng)的抗干擾能力[2]；基于特征點匹配的跟蹤算法對目標(biāo)的角點進(jìn)行檢測，對圖像的旋轉(zhuǎn)和噪聲干擾具有較好的抗干擾能力[3]；基于運動估計的跟蹤算法利用目標(biāo)運動狀態(tài)的連續(xù)性和目標(biāo)過去的運動狀態(tài)來預(yù)測目標(biāo)的運動狀態(tài)和位置信息，具有一定的抗遮擋能力[4]。對目標(biāo)的遮擋問題進(jìn)行分析可以得出：當(dāng)遮擋出現(xiàn)時，模板匹配算法的相關(guān)系數(shù)開始降低，遮擋部分越多相關(guān)系數(shù)就越小，當(dāng)目標(biāo)離開遮擋后，相關(guān)系數(shù)又逐漸增大最終達(dá)到穩(wěn)定狀態(tài)。由此可見，在遮擋過程中，相關(guān)系數(shù)先逐漸縮小，達(dá)到一個極值后逐漸增大[5～7]。因此本文提出了一種多模式融合的跟蹤算法，綜合運用模板匹配、特征點匹配、Kalman濾波等跟蹤算法，以達(dá)到較好的跟蹤效果。其中，模板匹配跟蹤算法應(yīng)用于背景復(fù)雜、目標(biāo)未發(fā)生遮擋的情況，特征點匹配則在目標(biāo)發(fā)生部分遮擋進(jìn)行跟蹤，而Kalman濾波則用于預(yù)測目標(biāo)位置，減少運算量，并在目標(biāo)丟失時繼續(xù)預(yù)測目標(biāo)位置[8～10]。實驗證明該算法可以有效地提高目標(biāo)跟蹤的穩(wěn)定性和魯棒性。

2 模板匹配

模板匹配算法是以圖像灰度信息直接進(jìn)行匹配，利用相關(guān)函數(shù)來判定匹配程度，因此可以適應(yīng)復(fù)雜的圖像背景。本文采用經(jīng)典互相關(guān)相似性測度，以歸一化的相關(guān)函數(shù)來進(jìn)行相似度計算，其表達(dá)式為

其中：模板為T（m，n），搜索區(qū)域為S，Sij（m，n）表示模板覆蓋下的子圖，i、j表示位置，m、n表示模板的寬和高。R（i，j）在0～1之間取值，當(dāng)且僅當(dāng)模板和子圖完全一致時，R（i，j）取得最大值1。所以，最佳的匹配位置就是圖像上能夠使R（i，j）取得最大值的位置。但是，這種算法需要對整幅圖像進(jìn)行遍歷，計算量很大，而Kalman濾波可以預(yù)測目標(biāo)的大致位置，在目標(biāo)大致位置處進(jìn)行小范圍遍歷可以減少計算量，因此本文采用Kalman跟蹤算法對目標(biāo)的位置進(jìn)行預(yù)測，只在預(yù)測位置附近的較小范圍進(jìn)行模板匹配，可以大大減少運算量，滿足實時性要求。但是，該算法在目標(biāo)發(fā)生遮擋、變形時，跟蹤效果不好，因此需結(jié)合其它算法來提高跟蹤的可靠性。

3 SUSAN角點匹配

SUSAN算法是基于灰度信息的特征點獲取方法，抗噪聲能力強(qiáng)，運算速度快，適用于實時圖像處理。算法使用一個圓形模板在圖像上移動，模板核（模板中心像素）與模板內(nèi)某點進(jìn)行灰度值比較，其差值小于給定的閾值，則模板核與該點的灰度值相近，滿足這樣條件的像素組成的區(qū)域稱為USAN（Univalue Segment Assimilating Nucleus）區(qū)域，如圖1所示，當(dāng)模板圓在圖像上移動時，USAN區(qū)域的面積大小會發(fā)生變化。當(dāng)模板核與角點A一致時，USAN區(qū)域面積達(dá)到最小，根據(jù)這個特性可以確定圖像中的角點。

圖1 模板在不同位置時的USAN區(qū)域

SUSAN算法可快速檢測出目標(biāo)的角點和邊緣，因此當(dāng)目標(biāo)被部分遮擋時，可以根據(jù)目標(biāo)的角點及邊緣特征，采用SUSAN算法繼續(xù)跟蹤目標(biāo)。

4 Kalman濾波

為了滿足目標(biāo)跟蹤實時性的要求，應(yīng)盡量縮小模板匹配算法的搜索范圍。本文采用Kalman濾波算法預(yù)測下一幀圖像中目標(biāo)的位置，從而縮小目標(biāo)搜索范圍。并且當(dāng)目標(biāo)被遮擋時，目標(biāo)將從圖像中暫時消失，此時可利用目標(biāo)的預(yù)測位置來代替目標(biāo)的實際位置，直到目標(biāo)重新出現(xiàn)并與保存的模板能夠匹配，則重新采用模板匹配算法進(jìn)行跟蹤，或者目標(biāo)丟失的幀數(shù)超過設(shè)定值，則判斷為目標(biāo)丟失，此時結(jié)束目標(biāo)的跟蹤。

Kalman濾波是基于系統(tǒng)先前的狀態(tài)對下一個狀態(tài)做最優(yōu)估計，通過狀態(tài)方程和觀測方程來描述系統(tǒng)。

狀態(tài)方程：

觀測方程：

式中，x（k）、x（k－1）分別為k、k－1時刻系統(tǒng)的狀態(tài)向量；A為k－1至k時刻的狀態(tài)轉(zhuǎn)移矩陣；B是系統(tǒng)控制作用矩陣；u（k）是系統(tǒng)的確定性輸入，Δt為連續(xù)兩個狀態(tài)之間的時間差；H為狀態(tài)向量與觀測向量之間的聯(lián)系矩陣；z（k）是k時刻的狀態(tài)觀測向量；w（k）是過程噪聲；v（k）是測量噪聲；w（k）和v（k）相互獨立。Kalman濾波算法包括初始化、運動軌跡預(yù)測和觀測值修正等三部分。首先，確定狀態(tài)方程的初始值，將檢測到的目標(biāo)位置、速度、加速度等值設(shè)置狀態(tài)方程，如果目標(biāo)的位置、速度和加速度等狀態(tài)參數(shù)未知，則賦值為零；然后通過目標(biāo)的當(dāng)前狀態(tài)來預(yù)測運動目標(biāo)在下一幀的狀態(tài)，進(jìn)行狀態(tài)估計；最后修正狀態(tài)估計，作為下一時刻預(yù)測狀態(tài)估計的輸入值。循環(huán)上述步驟，就可以實現(xiàn)對運動目標(biāo)的跟蹤。

5 多模跟蹤算法

本算法根據(jù)相關(guān)系數(shù)在遮擋情況下的變化規(guī)律，采用相關(guān)系數(shù)作為相似度度量準(zhǔn)則來判定目標(biāo)的遮擋程度，進(jìn)而選擇合適的算法來進(jìn)行跟蹤。設(shè)置閾值λ1和閾值λ2（λ1＞λ2），將目標(biāo)的跟蹤狀態(tài)分為目標(biāo)未遮擋、部分遮擋和全遮擋三個狀態(tài)[11～13]，具體算法步驟如下：

1）當(dāng)相關(guān)系數(shù)大于閾值λ1，即R（i，j）＞λ1成立，說明此時目標(biāo)未發(fā)生遮擋現(xiàn)象，此時應(yīng)采用模板匹配算法，則將匹配跟蹤的結(jié)果作為Kalman跟蹤算法的觀測值，進(jìn)行下一時刻目標(biāo)運動的估計，并計算相關(guān)系數(shù)，在此階段，相關(guān)系數(shù)高于閾值λ1，因此每幀都進(jìn)行模板更新，同時將目標(biāo)匹配模板存為備用模板并替換原備用模板；在檢測出目標(biāo)后，先使用Kalman濾波估計出目標(biāo)下一時刻可能出現(xiàn)的位置，再利用模板匹配算法在以該位置為中心的小區(qū)域內(nèi)進(jìn)行搜索，確定目標(biāo)的最終位置。

2）當(dāng)相關(guān)系數(shù)小于閾值λ1而高于閾值λ2時，即λ1≥R（i，j）≥λ2成立，此時應(yīng)為目標(biāo)被部分遮擋、形變、光照變化等因素影響了跟蹤效果，導(dǎo)致當(dāng)前模板和目標(biāo)的匹配度較低，模板匹配算法已不適合，而SUSAN算法可檢測出角點和邊緣，抗局部噪聲能力強(qiáng)，因此算法采用SUSAN角點算法來繼續(xù)跟蹤。

3）當(dāng)物體發(fā)生全部遮擋，本算法將相關(guān)系數(shù)小于閾值λ2（即R（i，j）＜λ2）定義為目標(biāo)發(fā)生全部遮擋，SUSAN角點算法也已無法準(zhǔn)確跟蹤，應(yīng)采用Kalman濾波算法對目標(biāo)的位置進(jìn)行預(yù)測，在短時間內(nèi)對目標(biāo)進(jìn)行跟蹤，同時將備用模板繼續(xù)在跟蹤位置附近進(jìn)行比對，當(dāng)目標(biāo)重新出現(xiàn)時，備用模板就可以與目標(biāo)匹配，直到相關(guān)系數(shù)高于閾值λ1，則繼續(xù)采用模板匹配算法；如果超出設(shè)定的幀數(shù)相關(guān)系數(shù)依然無法高于閾值λ1，則結(jié)束跟蹤流程。

6 實驗結(jié)果與分析

實驗對模板匹配算法和本文算法進(jìn)行了比較，如圖2所示。目標(biāo)為空中的飛機(jī)，對目標(biāo)飛過遮擋物的過程進(jìn)行跟蹤，白色矩形框為多模跟蹤算法的目標(biāo)跟蹤位置，黑色矩形框為模板匹配算法的跟蹤位置。整個過程分為目標(biāo)為被遮擋、部分遮擋和完全遮擋幾個狀態(tài)，圖2（a）和圖2（i）為目標(biāo)未被遮擋時的圖像，由模板匹配算法來確定跟蹤位置，此時R（i，j）＞λ1，每幀都需要模板更新；圖2（b）是目標(biāo)被部分遮擋的情況，即λ1≥R（i，j）≥λ2，此時應(yīng)采用SUSAN角點匹配算法進(jìn)行跟蹤；圖2（c）、（d）、（e）、（f）、（g）、（h）則是目標(biāo)大部分或完全被鐵塔遮擋，模板匹配計算得出的相關(guān)系數(shù)低于閾值λ2，即R（i，j）＜λ2，此時采用 Kalman跟蹤算法預(yù)測目標(biāo)的位置，目標(biāo)仍然可以穩(wěn)定跟蹤。而模板匹配方法的目標(biāo)模型受背景影響，模板已不能反映飛機(jī)原來的特征，因此發(fā)生匹配錯誤，黑色跟蹤區(qū)域停留在錯誤位置。實驗證明，盡管目標(biāo)發(fā)生了遮擋和旋轉(zhuǎn)等情況，但是多模融合的跟蹤方法依然可以對目標(biāo)進(jìn)行穩(wěn)定跟蹤。

圖2 實驗結(jié)果

7 結(jié)語

為了提高目標(biāo)跟蹤的穩(wěn)定性和實時性，本文提出了一種多模式融合的目標(biāo)跟蹤方法，該算法融合了模板匹配、SUSAN角點匹配以及Kalman濾波等算法的優(yōu)點：在背景復(fù)雜的環(huán)境下采用模板匹配算法，部分發(fā)生遮擋時則采用SUSAN角點匹配，在全遮擋的情況下采用Kalman濾波對目標(biāo)運動狀態(tài)進(jìn)行預(yù)測。實驗結(jié)果表明，該算法有效減少了計算量，提高了目標(biāo)跟蹤的實時性，并且在目標(biāo)形變、光照變化、遮擋等情況下仍能保持對目標(biāo)的穩(wěn)定跟蹤。

[1]林明秀，劉偉佳，徐心和.基于模板匹配的多模式車輛跟蹤算法[J].系統(tǒng)仿真學(xué)報，2007，19（7）：1519－1522.

[2]朱永松，國澄明.基于相關(guān)系數(shù)的相關(guān)匹配算法的研究[J].信號處理，2003，19（6）：531－534.

[3]劉彬，李學(xué)斌.角點匹配與均值漂移相結(jié)合實現(xiàn)目標(biāo)跟蹤[J].計算機(jī)應(yīng)用與軟件，2013，30（4）：239－243.

[4]陳少華，閆鈞華，朱智超，等.基于Kalman預(yù)測和自適應(yīng)模板的目標(biāo)相關(guān)跟蹤研究[J].電子設(shè)計工程，2011，19（11）：189－192.

[5]郝志成，高文.多模跟蹤技術(shù)在輪式偵察車圖像處理器的應(yīng)用[J].中國光學(xué)，2011，4（5）：480－487.

[6]陳愛華，孟勃，朱明.多模式融合的目標(biāo)跟蹤算法[J].光學(xué)精密工程，2009，17（1）：185－190.

[7]Pan Zhou－jin，Wang Xiu－juan.Correlation Tracking Algorithm Based on Adaptive Template Update[J].Proc.IEEE Conf.on Image and Signal Processing，2010：98－101.

[8]陳小林，趙建，王延杰.多模實時跟蹤算法研究[J].儀器儀表學(xué)報，2009，30（6）：204－208.

[9]柴宏亮，許鵬程，楊莉，等.一種多模式融合的紅外成像跟蹤算法[J].制導(dǎo)與引信，2006，27（2）：31－35.

[10]Dorin Comaniciu，Peter Meer.Mean Shift：A Robust Approach Toward Feature Space Analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence（S0162－8828），2002，24（5）：600－619.

[11]劉揚，張云峰，董月芳.復(fù)雜背景下抗遮擋的運動目標(biāo)跟蹤算法[J].液晶與顯示，2010，25（6）：890－895.

[12]鄭林，韓崇昭，左東廣，等.一種基于集中式融合的多模型圖像跟蹤系統(tǒng)[J].信息與控制，2003，32（4）：380－384.

[13]Khan Z H，Gu I Y H.Joint Feature Correspondences and Appearance Similarity for Robust Visual Object Tracking[J].IEEE Transactions on Information Forensics and Security，2010，5（3）：591－606.