王建剛，李醒飛，陳 誠(chéng)，譚文斌

?

改進(jìn)TLD算法在光電跟蹤中的應(yīng)用

王建剛1，李醒飛1，陳 誠(chéng)2，譚文斌2

（1. 天津大學(xué)精密測(cè)試技術(shù)與儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300072；2. 天津商業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300134）

為滿足光電跟蹤系統(tǒng)圖像跟蹤抗遮擋、實(shí)時(shí)性的要求，提出了一種改進(jìn)檢測(cè)器和目標(biāo)模型更新策略的TLD算法。首先，通過(guò)幀差法獲得差分圖像序列，其次，利用動(dòng)態(tài)Otsu閾值對(duì)差分圖像進(jìn)行二值化處理，濾除背景差分像素，獲取移動(dòng)物體邊界框，最后，產(chǎn)生局部滑動(dòng)窗口，進(jìn)行隨機(jī)厥分類和最近鄰分類；并且優(yōu)化了目標(biāo)模型更新策略。實(shí)驗(yàn)表明，對(duì)于分辨率為320×240的視頻，改進(jìn)算法較原算法跟蹤速度提升比平均為1.50，滿足系統(tǒng)的實(shí)時(shí)性要求；改進(jìn)算法抗遮擋性能及在低對(duì)比度環(huán)境中的跟蹤性能優(yōu)于Mean-Shift算法，滿足系統(tǒng)的抗遮擋要求。

TLD算法；光電跟蹤；幀差圖像；檢測(cè)器；Otsu方法

0 引言

光電跟蹤系統(tǒng)是光、機(jī)、電、控一體化的集成裝置，應(yīng)用于導(dǎo)彈制導(dǎo)、武器火控、實(shí)時(shí)監(jiān)控等領(lǐng)域[1]。作為實(shí)時(shí)監(jiān)控領(lǐng)域的代表，光電跟蹤系統(tǒng)能夠?qū)σ苿?dòng)目標(biāo)進(jìn)行圖像跟蹤和高清視頻錄制，以達(dá)到目標(biāo)追蹤和視頻取證的目的。光電跟蹤系統(tǒng)跟蹤目標(biāo)的移動(dòng)速度快，且會(huì)存在遮擋的情況，因此，其圖像跟蹤算法需滿足抗遮擋性和實(shí)時(shí)性要求。一般應(yīng)用于光電跟蹤系統(tǒng)的圖像跟蹤算法，如波門形心跟蹤算法[2]、相關(guān)跟蹤算法[3]、和Mean-Shift算法[4]等，能夠滿足實(shí)時(shí)性要求，在無(wú)遮擋或部分遮擋環(huán)境中能夠取得較為理想的跟蹤效果，然而這些算法存在抗遮擋性差的問(wèn)題，當(dāng)完全遮擋發(fā)生時(shí)，跟蹤目標(biāo)容易丟失。

針對(duì)視覺跟蹤中的遮擋問(wèn)題，Zdenek Kalal等人提出了TLD跟蹤算法[5-8]，隨后吸引了許多國(guó)內(nèi)外學(xué)者的研究和改進(jìn)。齊楠楠等[9]利用TLD算法進(jìn)行復(fù)雜背景下艦船目標(biāo)的跟蹤，識(shí)別率高，誤檢率低；Hu JiLin等[10]將TLD算法結(jié)合雙攝像頭進(jìn)行目標(biāo)的遠(yuǎn)程跟蹤和定位；Georg Nebehay等[11]提出了適用于多目標(biāo)跟蹤的TLD算法。與傳統(tǒng)跟蹤算法相比，TLD算法融合了跟蹤器和檢測(cè)器來(lái)解決在跟蹤過(guò)程中目標(biāo)的變形和遮擋問(wèn)題，并通過(guò)學(xué)習(xí)模塊不斷修正目標(biāo)模型和跟蹤參數(shù)，能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)跟蹤、重現(xiàn)目標(biāo)快速檢測(cè)的功能。然而，TLD算法在具有良好的抗遮擋優(yōu)勢(shì)的同時(shí)也存在著計(jì)算量大、實(shí)時(shí)性差的問(wèn)題，不能夠滿足光電跟蹤系統(tǒng)的實(shí)時(shí)性要求。

為此，具體分析了TLD算法各模塊運(yùn)算復(fù)雜度，并結(jié)合光電跟蹤系統(tǒng)跟蹤對(duì)象為領(lǐng)空飛機(jī)或者領(lǐng)海船艦時(shí)，背景相對(duì)簡(jiǎn)單的特點(diǎn)，提出了適用于?？窄h(huán)境的改進(jìn)TLD算法。?？盏群?jiǎn)單環(huán)境下，背景過(guò)渡小，移動(dòng)目標(biāo)的差分圖像灰度直方圖成雙峰分布。改進(jìn)TLD算法根據(jù)差分圖像灰度直方圖的雙峰分布特點(diǎn)，引入Otsu方法[12]，采用動(dòng)態(tài)閾值二值化處理方法，濾除背景差分像素，實(shí)現(xiàn)對(duì)待選移動(dòng)目標(biāo)區(qū)域的快速檢測(cè)，然后對(duì)待選目標(biāo)區(qū)域進(jìn)行隨機(jī)厥和最近鄰分類，并對(duì)目標(biāo)模型的更新策略進(jìn)行了改進(jìn)。

1 TLD算法原理及實(shí)時(shí)性分析

1.1 TLD算法原理

TLD（Tracking-Learning-Detection）跟蹤算法將光流跟蹤、級(jí)聯(lián)檢測(cè)和時(shí)空約束的PN學(xué)習(xí)相結(jié)合，形成了適合單目、長(zhǎng)期的跟蹤算法。算法分為3個(gè)模塊：跟蹤器、檢測(cè)器和學(xué)習(xí)模塊。各模塊描述如下：

1）跟蹤器 跟蹤器采用中值光流法[13]對(duì)連續(xù)、小幅度運(yùn)動(dòng)的可見目標(biāo)進(jìn)行跟蹤，并且結(jié)合相似性判斷和前向-后向誤差[7]來(lái)估計(jì)運(yùn)動(dòng)目標(biāo)的位置，以此來(lái)解決局部遮擋問(wèn)題，并且能夠確定跟蹤器是否跟蹤失敗。

2）檢測(cè)器 檢測(cè)器能夠?qū)Ω櫰鳠o(wú)法跟蹤的不連續(xù)、大尺度運(yùn)動(dòng)目標(biāo)或者因完全遮擋而重現(xiàn)的目標(biāo)進(jìn)行重新檢測(cè)，并且再次初始化跟蹤器。檢測(cè)器是一個(gè)級(jí)聯(lián)分類器，由方差比較器、隨機(jī)厥分類器和最近鄰分類器組成，具體框架如圖1所示。

圖1 檢測(cè)器框架圖

Fig.1 Block diagram of the detector

TLD算法初始化時(shí)掃描整幅圖像產(chǎn)生個(gè)滑動(dòng)窗口，檢測(cè)器提取滑動(dòng)窗口對(duì)應(yīng)的圖像塊P（＝1, 2, …,）（0表示目標(biāo)圖像塊），然后利用級(jí)聯(lián)分類器對(duì)圖像塊進(jìn)行分類?；瑒?dòng)窗口產(chǎn)生策略如下：設(shè)輸入圖像的分辨率為×，初始化目標(biāo)大小為0×0，縮放因子∈Scl＝1.2，其中∈{－10, －9, …, 9, 10}，最小目標(biāo)尺度Minb＝min{0,0}，則以不同掃描圖像21次產(chǎn)生滑動(dòng)窗口數(shù)量b為：

①方差過(guò)濾器：圖像塊P的方差為：

式中：x為第個(gè)像素點(diǎn)灰度值；為圖像塊中像素?cái)?shù)；為P區(qū)域均值，TLD算法認(rèn)為若2(P)大于0.52(P)，則圖像塊P通過(guò)方差過(guò)濾器。

②隨機(jī)厥分類器：隨機(jī)厥分類器隨機(jī)選取f個(gè)點(diǎn)對(duì)（2個(gè)點(diǎn)有一個(gè)坐標(biāo)相同）的像素灰度值進(jìn)行比較，比較結(jié)果產(chǎn)生0或1的二進(jìn)制數(shù)，作為隨機(jī)厥的葉子值。接著將f個(gè)點(diǎn)對(duì)隨機(jī)分為f個(gè)厥，則每個(gè)厥有s＝f/f個(gè)葉子。那么圖像塊P所屬類別C（為1表示目標(biāo)類，為0表示非目標(biāo)類）為：

式中：F=[(m,1),(m,2), …,(m,s)]表示第個(gè)厥的取值，是第個(gè)點(diǎn)對(duì)的比較值，(,)是范圍1～的隨機(jī)函數(shù)。

③最近鄰分類器：最近鄰分類器過(guò)濾掉圖像塊P同目標(biāo)模型之間相似度低的圖像塊。TLD定義目標(biāo)模型如下：

式中：q＋表示正模板；q－表示負(fù)模板。下標(biāo)越小，表示越早添加到模型中的模板。定義任一圖像塊P與目標(biāo)模型之間的相似度[8]為：

(P,)＝0.5(NCC(P,)＋1) (5)

定義相對(duì)相似度：

若S(P,)大于，則圖像塊P將被分類為目標(biāo)。

3）學(xué)習(xí)模塊 學(xué)習(xí)模塊建立和更新檢測(cè)器，并對(duì)跟蹤器和檢測(cè)器的結(jié)果進(jìn)行錯(cuò)誤評(píng)估，訓(xùn)練目標(biāo)模型。

1.2 實(shí)時(shí)性分析

文獻(xiàn)[14]通過(guò)3組實(shí)驗(yàn)分析了TLD算法各個(gè)模塊的耗時(shí)比例關(guān)系，其中檢測(cè)器耗時(shí)占總耗時(shí)的比例分別為61.73%、72.42%和83.58%，檢測(cè)器占用了TLD算法的大部分時(shí)間資源。

為了進(jìn)一步分析TLD檢測(cè)器各級(jí)分類器的實(shí)時(shí)性，現(xiàn)對(duì)分類器算法時(shí)間復(fù)雜度進(jìn)行分析。設(shè)圖像塊P（＝1, 2, …,）經(jīng)過(guò)方差過(guò)濾器篩選之后剩余數(shù)量為1，經(jīng)過(guò)隨機(jī)厥分類器篩選之后剩余圖像塊數(shù)量為2，模型中當(dāng)前模板數(shù)量為t，模板像素?cái)?shù)為m，則各級(jí)分類器算法時(shí)間復(fù)雜度如表1所示。

表1 TLD檢測(cè)器各級(jí)分類器算法復(fù)雜度

根據(jù)表1，方差過(guò)濾器的時(shí)間復(fù)雜度為O(b)，方差過(guò)濾器實(shí)時(shí)性受滑動(dòng)窗口數(shù)量b的影響。TLD算法初始化時(shí)掃描整幅圖像，產(chǎn)生大量滑動(dòng)窗口，b值維持在十萬(wàn)至百萬(wàn)級(jí)別，嚴(yán)重影響分類器效率。假設(shè)輸入圖像分辨率為320×240，目標(biāo)矩形框?yàn)?2×28，則產(chǎn)生的滑動(dòng)窗口數(shù)量為968983，對(duì)應(yīng)待檢測(cè)圖像塊數(shù)過(guò)于龐大。隨機(jī)厥分類器實(shí)時(shí)性受1和隨機(jī)厥總?cè)~子數(shù)f的影響。為了達(dá)到較好的分類效果，f值一般固定，且不會(huì)太小[11]，因此，隨機(jī)厥分類器算法時(shí)間復(fù)雜度受方差過(guò)濾器效率影響較大。據(jù)表1知，最近鄰分類器實(shí)時(shí)性受m、2和t的影響。模板像素?cái)?shù)m相對(duì)固定，因此最近鄰分類器復(fù)雜度主要取決于2和t。通過(guò)隨機(jī)厥分類器的圖像塊數(shù)量2受前兩級(jí)分類器效率的影響，提升前兩級(jí)分類效率，可以進(jìn)一步增加第三級(jí)分類器的實(shí)時(shí)性。根據(jù)式(4)，隨著跟蹤幀數(shù)的增加，學(xué)習(xí)模塊不斷更新目標(biāo)模型，導(dǎo)致的數(shù)量t隨之增加。因此，抑制或減緩t隨跟蹤幀數(shù)的增長(zhǎng)速度，可以增加第三級(jí)最近鄰分類器的實(shí)時(shí)性。

2 改進(jìn)TLD算法

2.1 TLD檢測(cè)器改進(jìn)

TLD檢測(cè)器改進(jìn)部分由3個(gè)主要步驟完成：幀間圖像差分檢測(cè)、基于Otsu的動(dòng)態(tài)閾值二值化處理和產(chǎn)生局部滑動(dòng)窗口。改進(jìn)后TLD檢測(cè)器具體結(jié)構(gòu)如圖2所示，其中隨機(jī)厥分類器和最近鄰分類器是保留了原TLD算法的分類器。

2.1.1 幀間差分法

定義(,,)和(,,－1)分別為視頻圖像序列的第幀和－1幀灰度圖像，()為2幀圖像之間的差分，則：

()＝|(,,)－(,,－1)|(7)

(,,)和(,,－1)圖像如圖3所示。

圖2 改進(jìn)TLD檢測(cè)器框圖

2.1.2 動(dòng)態(tài)閾值二值化算法

設(shè)()分辨率大小為×，()圖像灰度函數(shù)為：(,)∈{0, 1, …, 255}，則其灰度直方圖()為：

作D(t)灰度直方圖如圖4所示。

根據(jù)圖4，()灰度直方圖有兩個(gè)峰值（圖中橢圓圈所指示），分別對(duì)應(yīng)背景差異和移動(dòng)物體運(yùn)動(dòng)導(dǎo)致的差分像素點(diǎn)。?？窄h(huán)境下，背景過(guò)渡小，差分圖像灰度值較小，對(duì)應(yīng)像素大部分集中在第一峰處，移動(dòng)目標(biāo)差分圖像灰度值則較大，對(duì)應(yīng)像素點(diǎn)大部分集中在第二峰處。若以灰度直方圖雙峰之間谷值所對(duì)應(yīng)的灰度值對(duì)()進(jìn)行二值化處理，則能夠?yàn)V除背景差分像素，保留移動(dòng)目標(biāo)。在圖像二值化時(shí)，Otsu方法是搜索動(dòng)態(tài)閾值的最佳方法之一[12]，能夠快速求取()灰度直方圖的谷值，具體算法如下：

以灰度值為閾值對(duì)()進(jìn)行二值化，設(shè)輸出圖像函數(shù)為(,)，則：

式中：(,)取1表示目標(biāo)部分，0表示背景部分。設(shè)()＝()/(×)表示灰度值為的概率，定義如下：

目標(biāo)像素點(diǎn)數(shù)量：T()＝T()。

背景像素點(diǎn)數(shù)量：B()＝B()。

總均值：＝T()T()＋B()B()。

則由Otsu方法[12]知，差分圖像()最佳二值化閾值滿足下式：

使用固定閾值對(duì)差分圖像D(t)進(jìn)行二值化時(shí)，通常容易產(chǎn)生以下2種不理想情況：1）閾值過(guò)低造成的背景凸顯（圖5(a)），2）閾值過(guò)高造成的目標(biāo)丟失（圖5(b)），Otsu方法求得的動(dòng)態(tài)自適應(yīng)閾值能夠避免上述情況的發(fā)生，效果如圖5(c)所示。

()經(jīng)自適應(yīng)閾值二值化后，掃描二值化圖像，得到待選移動(dòng)區(qū)域0＝{0,1, …,b}，0如圖6中矩形框所示。

圖6 待選移動(dòng)目標(biāo)區(qū)域

2.1.3 產(chǎn)生局部滑動(dòng)窗口

獲得待選移動(dòng)區(qū)域0之后，產(chǎn)生包含0的滑動(dòng)窗口，后級(jí)隨機(jī)厥分類器和最近鄰分類器對(duì)其相應(yīng)的圖像塊進(jìn)行分類。對(duì)待選移動(dòng)區(qū)域b，設(shè)其尺寸為W×H，左上點(diǎn)和右下點(diǎn)坐標(biāo)分別為(x0,y0)和(x1,y1)，改進(jìn)TLD算法定義在4倍于b面積的矩形框內(nèi)產(chǎn)生局部滑動(dòng)窗口。具體滑動(dòng)窗口產(chǎn)生坐標(biāo)范圍如下：

橫坐標(biāo)范圍：∈[x0－0.5W,x1＋0.5W]，

縱坐標(biāo)范圍：∈[y0－0.5H,y1＋0.5H]。

初始矩形框0大小和放大因子Scl等參數(shù)同原算法，則以不同掃描圖像21次產(chǎn)生滑動(dòng)窗口數(shù)量為：

引入TLD檢測(cè)器改進(jìn)部分的時(shí)間復(fù)雜度為O(Nb￠)，與原算法產(chǎn)生的滑動(dòng)窗口數(shù)Nb相比，Nb￠遠(yuǎn)小于Nb。對(duì)于分辨率為320×240的圖像，目標(biāo)矩形大小為32×28時(shí)，Nb￠和Nb數(shù)量對(duì)比效果如圖7所示（實(shí)線為滑動(dòng)窗塊，虛線為B0，Nb＝968983，Nb￠＝516）。

2.2 目標(biāo)模型更新策略改進(jìn)

檢測(cè)器中最近鄰分類器實(shí)時(shí)性受m、2和t的影響。其中模板數(shù)量t隨跟蹤時(shí)間的增加成線性增長(zhǎng)關(guān)系[15]，致使最近鄰分類器占用內(nèi)存增加，程序空間復(fù)雜度和時(shí)間復(fù)雜度隨之增加。隨著跟蹤時(shí)間的增加，跟蹤環(huán)境發(fā)生變化，目標(biāo)模型中最初加入的模板代表性已逐漸減弱。因此，在保持目標(biāo)模型數(shù)量t穩(wěn)定在一定閾值的情況下，對(duì)進(jìn)行合理的置換，既能保持良好的抗遮擋性又能提升實(shí)時(shí)性。在考慮加入的先后次序之后，其代表性強(qiáng)弱判斷標(biāo)準(zhǔn)如下：正模板與當(dāng)前目標(biāo)的相似性(0,q＋)越大，代表性越強(qiáng)；負(fù)模板與目標(biāo)的相似性(0,q＋)越小，代表性越強(qiáng)。具體替換策略如下：

1）正樣本：從{1＋,2＋, …,q/2＋}中選擇(0,q＋)最大的樣本刪除，新樣本加入剩余正樣本末尾。

2）負(fù)樣本：從{1－,2－, …,q/2－}中選擇(0,q＋)最小的樣本刪除，新樣本加入剩余負(fù)樣本末尾。

3 實(shí)驗(yàn)與分析

光電跟蹤系統(tǒng)由控制柜和二維轉(zhuǎn)臺(tái)2部分組成，二維轉(zhuǎn)臺(tái)上安裝有：KOWA長(zhǎng)焦鏡頭，焦距范圍30mm至750mm，?？低?/1.82CMOS日夜型網(wǎng)絡(luò)攝像機(jī)，200萬(wàn)像素，機(jī)柜配備研華PC/104主板PCM3362，研華數(shù)字IO卡和串口卡，4G內(nèi)存，Matrox MOR＋圖像采集卡。該光電跟蹤系統(tǒng)程序執(zhí)行最長(zhǎng)周期為57.7ms，允許圖像跟蹤最大耗時(shí)不能超過(guò)37.0ms，系統(tǒng)組成如圖8所示。

圖8 光電跟蹤系統(tǒng)

3.1 實(shí)時(shí)性數(shù)值對(duì)比

為了對(duì)比改進(jìn)前后TLD算法實(shí)時(shí)性，對(duì)分辨率為320×240的民航飛機(jī)航行視頻Data1、Data2、Data3及Data4進(jìn)行算法改進(jìn)前后離線跟蹤實(shí)驗(yàn)。分別跟蹤Data1、Data2及Data3 1000幀，統(tǒng)計(jì)平均每幀耗時(shí)，結(jié)果如表2所示。跟蹤視頻序列Data4 924幀，統(tǒng)計(jì)算法改進(jìn)前后300幀、600幀及900幀平均每幀耗時(shí)如表3所示。

表2 改進(jìn)前后TLD算法平均每幀耗時(shí)對(duì)比

根據(jù)表2，相比原算法，改進(jìn)TLD算法對(duì)Data1、Data2和Data3的跟蹤速度都有提升。與原TLD算法相比，改進(jìn)TLD算法對(duì)3組視頻的跟蹤速度提升比分別為1.23，1.70和1.58，平均速度提升比為1.50。原算法對(duì)3組數(shù)據(jù)的跟蹤耗時(shí)均大于37ms，改進(jìn)TLD算法對(duì)3組數(shù)據(jù)平均每幀跟蹤耗時(shí)均小于37ms，滿足光電跟蹤系統(tǒng)的實(shí)時(shí)性要求。

表3 改進(jìn)前后TLD算法幀均耗時(shí)隨幀數(shù)的變化

根據(jù)表3，原TLD算法平均每幀耗時(shí)隨跟蹤幀數(shù)增加而增加，而改進(jìn)TLD算法平均每幀耗時(shí)基本穩(wěn)定，不受跟蹤幀數(shù)的影響。可以發(fā)現(xiàn)，優(yōu)化了目標(biāo)模型更新策略的TLD算法更有利于對(duì)目標(biāo)進(jìn)行長(zhǎng)期實(shí)時(shí)跟蹤。

3.2 改進(jìn)TLD算法與Mean-Shift算法跟蹤效果對(duì)比實(shí)驗(yàn)

選取視頻Data2和Data3，分別采用文獻(xiàn)[4]中的改進(jìn)Mean-shift算法和改進(jìn)TLD算法進(jìn)行離線對(duì)比實(shí)驗(yàn)。

1）序列1：第171幀到第181幀之間，鏡頭聚焦模塊進(jìn)行自動(dòng)聚焦，尋找清晰度評(píng)價(jià)函數(shù)最優(yōu)值過(guò)程中，產(chǎn)生模糊圖像[16]，其干擾程度相當(dāng)于目標(biāo)全遮擋。圖9為Mean-Shift算法的跟蹤效果（矩形框?yàn)楫?dāng)前跟蹤框），第172幀（圖9(c)）初步發(fā)生模糊時(shí)，Mean-Shift算法能夠暫時(shí)跟蹤，隨著目標(biāo)的移動(dòng)和模糊幀數(shù)的增加，Mean-Shift算法逐漸發(fā)生漂移（圖9(d)～圖9(e)）。由于Mean-Shift算法是利用在原位疊加均值偏移向量的原理進(jìn)行跟蹤，當(dāng)聚焦模塊重新聚焦清晰時(shí)，Mean-Shift跟蹤框遠(yuǎn)離原來(lái)的迭代區(qū)域（圖9(f)～圖9(h)））。圖10所示為改進(jìn)TLD算法的跟蹤效果（虛線矩形框?yàn)楦櫩?，?shí)線矩形框?yàn)闄z測(cè)器檢測(cè)結(jié)果），當(dāng)聚焦模糊發(fā)生時(shí)，TLD未檢測(cè)到有效目標(biāo)，（圖10(c)～圖10(e)），直至目標(biāo)重新出現(xiàn)時(shí)，檢測(cè)器進(jìn)行檢測(cè)，重新初始化跟蹤器（圖10(f)～圖10(h)），保證了再現(xiàn)目標(biāo)的繼續(xù)跟蹤。

圖9 Mean-Shift算法在聚焦模糊過(guò)程中跟蹤效果

圖10 改進(jìn)TLD算法在聚焦模糊過(guò)程中的跟蹤效果

圖11 Mean-Shift算法在低對(duì)比度環(huán)境中跟蹤效果

圖12 改進(jìn)TLD算法在低對(duì)比度環(huán)境中跟蹤效果

2）序列2：第105幀至第132幀之間有鳥飛過(guò)，且目標(biāo)和背景灰度值對(duì)比度不大。圖11為Mean-Shift算法的跟蹤效果（矩形框?yàn)楦櫩颍?，由于目?biāo)和背景灰度值差異小，目標(biāo)和背景的反向投影圖很相近，Mean-Shift跟蹤框在目標(biāo)周圍振蕩（圖11(c)～圖11(e)），隨著跟蹤幀數(shù)的增加，跟蹤誤差增加，跟蹤框逐漸遠(yuǎn)離目標(biāo)（圖11(f)～圖11(h)））。圖12為改進(jìn)TLD跟蹤效果（虛線矩形框?yàn)楫?dāng)前跟蹤框，實(shí)線矩形框?yàn)闄z測(cè)器檢測(cè)結(jié)果框），可以發(fā)現(xiàn)整個(gè)跟蹤過(guò)程中改進(jìn)TLD算法跟蹤和檢測(cè)都比較穩(wěn)定（圖12(a)～圖12(h)），改進(jìn)TLD在低對(duì)比度環(huán)境中跟蹤檢測(cè)性能優(yōu)于Mean-Shift算法。

4 結(jié)語(yǔ)

為滿足光電跟蹤系統(tǒng)圖像跟蹤的抗遮擋、實(shí)時(shí)性要求，本文提出了一種改進(jìn)檢測(cè)器和目標(biāo)模型更新策略的TLD跟蹤算法。改進(jìn)TLD檢測(cè)器融合了幀差法和Otsu法，能夠快速檢測(cè)待選移動(dòng)目標(biāo)區(qū)域，產(chǎn)生局部滑動(dòng)窗口，進(jìn)行隨機(jī)厥分類和最近鄰分類，提升了前兩級(jí)分類器的實(shí)時(shí)性；同時(shí)，改進(jìn)算法還考慮了目標(biāo)模板的時(shí)效性，對(duì)目標(biāo)模型進(jìn)行合理的置換，增加了最近鄰分類器的實(shí)時(shí)性。實(shí)驗(yàn)表明，改進(jìn)TLD算法對(duì)分辨率為320×240視頻平均每幀跟蹤速度提升比為1.50；平均每幀跟蹤耗時(shí)滿足系統(tǒng)實(shí)時(shí)性要求，且與原算法耗時(shí)隨著跟蹤幀數(shù)增加而增加不同，改進(jìn)TLD算法平均每幀耗時(shí)基本穩(wěn)定，在實(shí)時(shí)長(zhǎng)期跟蹤方面更具優(yōu)勢(shì)。改進(jìn)TLD算法抗遮擋性能以及在低對(duì)比度環(huán)境中的跟蹤性能優(yōu)于改進(jìn)Mean-shift算法。實(shí)際應(yīng)用表明，改進(jìn)TLD算法能夠滿足?？窄h(huán)境下光電跟蹤系統(tǒng)的實(shí)時(shí)性和抗遮擋要求。

[1] 官伯林. 三軸光電跟蹤系統(tǒng)跟蹤策略和控制研究[D]. 西安: 西安電子科技大學(xué), 2012.

[2] 鄒衛(wèi)軍. 一種基于自適應(yīng)波門的角跟蹤系統(tǒng)設(shè)計(jì)[J]. 微計(jì)算機(jī)信息, 2008(30): 296-297.

[3] 夏瑜, 吳小俊. 基于MCD和局部線性高斯模型的視頻跟蹤粒子濾波算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2009(11): 2223-2229.

[4] 王銘明, 陳濤, 王建立, 等. Mean-shift跟蹤算法及其在光電跟蹤系統(tǒng)中的應(yīng)用[J].中國(guó)光學(xué), 2014, 7(2): 332-338.

[5] Kalal Z, Matas J. Online learning of robust object detectors during unstable tracking[C]//New York: IEEE X-plore, 2009: 1417-1424.

[6] Kalal Z, Matas J. P-N learning: Bootstrapping binary classify-rs by structural constraints[C]//. New York：IEEE Press, 2010: 49-56.

[7] Kalal Z, Mikolajczyk K. Forward-Backward Error:Automatic Detection of Tracking Failures[C]//, 2010: 2756-2759.

[8] Kalal Z, Mikolajczyk K. Tracking-Learning-Detection[J]., 2012, 34(7): 1409-1422.

[9] 齊楠楠, 揭斐然, 謝熙, 等. 基于TLD的艦船目標(biāo)跟蹤方法研究[J]. 紅外技術(shù), 2013(12): 780-787.

[10] Hu J, Hu S, Sun Z. A real time dual-camera surveillance system based on tracking-learning-detection algorithm[J]., 2013: 886-891.

[11] Nebehay G. Robust Object Tracking Based on Tracking-Learning- Detection[D]. Vienna: Vienna University of Technology, 2013.

[12] Otsu. A Tlreshold Selection Method from Gray-Level Histograms[J].9. 1979: 62-66.

[13] Baker S, M I. Lucas-Kanade 20 Years On: A Unifying Framework[J]., 2004, 56(3): 221-255.

[14] Zhang Ping S Y. A Parallel Implementation of TLD Algorithm Using CUDA: The IET 5th International Conference on Wireless, Mobile & Multimedia Networks[Z]. Beijing: 2013.

[15] Chokkalingam B. Evaluation of TLD Predator algorithm[D]. NADA,2013.

[16] Yang G, Nelson B J. Wavelet-based autofocusing and unsupervised segmentation of microscopic images[J].2003, 2003: 2143-2148.

Improved TLD Approach Applied in Optoelectronic Tracking

WANG Jian-gang1，LI Xing-fei1，CHEN Cheng2，TAN Wen-bin2

(1.,,300072,;2.,,300134,)

To meet the requirements of real-time and anti-occlusion tracking in optoelectronic tracking systems, an improved Tracking-Learning-Detection (TLD) approach with a modified detector and a modified strategy of module updating is proposed. Firstly, difference images are obtained by the difference between consecutive frames. Then, binary images are obtained by an adaptive Otsu threshold. As a result, difference pixels of background part are filtered and moving object bounding boxes are obtained from the binary images. Finally, local scanning-windows are generated for Ensemble Classifier and Nearest Neighbor Classifier. And the strategy of module updating is improved. The experimental results indicate that the average speedup per frame of the improved TLD approach reaches up to 1.50. Compared with the traditional TLD, the improved approach can meet system’s real-time requirement tracking performance of the improved TLD approach under occlusions or in low contrast environment is better than the Mean-Shift approach, and the improved approach can meet system’s requirement of anti-occlusion tracking.

TLD approach，optoelectronic tracking，difference image，detector，Otsu method

TP391

A

1001-8891(2015)10-0824-07

2015-05-07；

2015-05-27.

王建剛（1990-），男，甘肅鎮(zhèn)原人，碩士研究生，主要從事視覺跟蹤、機(jī)器視覺方面的研究。E-mail：wjg_tju@163.com。

李醒飛（1966-），男，湖北天門人，教授、博士生導(dǎo)師，主要從事計(jì)算機(jī)視覺、精密計(jì)量技術(shù)及儀器方面的研究。E-mail：lixf@tju.edu.cn。

精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目，編號(hào)：PIL1407；天津市科技興海項(xiàng)目，編號(hào)：KJXH2012-11。