繆佳妮，楊金龍，程小雪，葛洪偉

江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無錫 214122

視頻多目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要的研究領(lǐng)域，具有智能監(jiān)視、人機(jī)交互、行為識(shí)別、機(jī)器人導(dǎo)航和自動(dòng)駕駛等多種應(yīng)用。多目標(biāo)跟蹤可以為每個(gè)視頻幀中被跟蹤目標(biāo)分配一致的標(biāo)簽，以產(chǎn)生每個(gè)目標(biāo)的軌跡。目前，多目標(biāo)跟蹤主要分為在線跟蹤以及批處理跟蹤兩類方法。在線跟蹤指僅利用視頻過去及現(xiàn)在的信息進(jìn)行實(shí)時(shí)跟蹤，這更加符合人們的場景需要，適合在智能監(jiān)視、自動(dòng)駕駛等實(shí)時(shí)性較強(qiáng)的應(yīng)用。而批處理跟蹤利用視頻過去、現(xiàn)在以及未來的信息對目標(biāo)進(jìn)行跟蹤，這樣能使得跟蹤的結(jié)果更加準(zhǔn)確，可以運(yùn)用在實(shí)時(shí)性要求不強(qiáng)的場景中。

由于目標(biāo)的外觀變化、遮擋和漂移，且存在未知的目標(biāo)新生和消失等問題，使得多目標(biāo)跟蹤一直是目標(biāo)跟蹤領(lǐng)域具有挑戰(zhàn)性的問題。近年來，隨機(jī)有限集被廣泛用于視頻多目標(biāo)跟蹤[1-8]，但是由于新生目標(biāo)的隨機(jī)性且未知，給該方法的使用帶來一定的困難，頻繁的目標(biāo)交叉運(yùn)動(dòng)和遮擋使跟蹤效果難盡人意。隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺方面的發(fā)展，目標(biāo)檢測任務(wù)取得了明顯的成效，越來越多的檢測器精度因?yàn)橛辛松疃染W(wǎng)絡(luò)的加入有了明顯的提高[9-10]，例如基于區(qū)域建議網(wǎng)絡(luò)的實(shí)時(shí)目標(biāo)檢測方法（faster regions with CNN features，F(xiàn)aster RCNN）[11]，尺度依賴池的目標(biāo)檢測方法（scale dependent pooling，SDP）[12]，僅看一次的檢測方法（you look only once，YOLO）[13]等。由于檢測器的高準(zhǔn)確度，越來越多的多目標(biāo)跟蹤任務(wù)采用檢測與跟蹤相結(jié)合的方法，利用目標(biāo)檢測結(jié)果輔助跟蹤，如具有多個(gè)提示和切換器感知分類的多對象跟蹤[14]、僅用檢測器的跟蹤（tracking without bells and whistles，Tracktor17）[15]、沒有用圖像信息的快速跟蹤（high-speed tracking-bydetection without using image information，IOU17）[16-17]等，采用檢測框信息進(jìn)行跟蹤[18]，文獻(xiàn)[3-4]中提出融合不同檢測器的結(jié)果進(jìn)行跟蹤，雖然取得了一定的效果，但大都完全依賴于檢測器的精確性。后期提出的多目標(biāo)跟蹤與分割方法[19]、基于決策的在線多目標(biāo)跟蹤[20]方法進(jìn)一步提升了對目標(biāo)的檢測精度，但由于檢測仍然具有虛假檢測、漏檢等問題，無法進(jìn)行有效的數(shù)據(jù)關(guān)聯(lián)，使得虛假軌跡和漏跟目標(biāo)增多。

針對上述問題，本文將目標(biāo)的檢測框信息和核相關(guān)濾波（kernelized correlation filters，KCF）[21]算法相結(jié)合，檢測信息可以彌補(bǔ)目標(biāo)跟蹤算法中跟蹤框無法自適應(yīng)調(diào)節(jié)的不足。KCF 不需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，具有適應(yīng)強(qiáng)，魯棒性好，速度快等優(yōu)點(diǎn)，本文的主要工作為：（1）將KCF 運(yùn)用到多目標(biāo)跟蹤中，但由于KCF 無法自適應(yīng)地根據(jù)目標(biāo)尺寸變化而調(diào)整目標(biāo)框的大小，且在遇到目標(biāo)遮擋的情況下會(huì)發(fā)生目標(biāo)模板受到污染從而產(chǎn)生偏移，本文將融入置信圖的平滑約束機(jī)制來評估目標(biāo)被遮擋程度，從而實(shí)現(xiàn)目標(biāo)模板的自適應(yīng)更新，用于處理目標(biāo)遮擋的模板污染問題。（2）引入速度信息，從而能夠處理目標(biāo)在被遮擋時(shí)的跟蹤問題，在目標(biāo)完全被遮擋的情況下以實(shí)現(xiàn)正確持續(xù)跟蹤，減少碎片的軌跡；對虛假檢測框等問題，本文采用IOU17 算法[16]中的方法，去除一些不符合條件的軌跡，以減少虛假錯(cuò)誤的跟蹤框。

1 KCF

1.1 KCF 原理

在視頻序列的兩幀之內(nèi)，目標(biāo)的移動(dòng)不是特別劇烈。KCF 通過提取圖像塊的方向梯度直方圖（histograms of oriented gradients，HOG）[22]、顏色特征以及灰度特征進(jìn)行判別式學(xué)習(xí)，并循環(huán)位移產(chǎn)生一系列正負(fù)樣本X。

隨后將循環(huán)矩陣X映射到核空間內(nèi)，放入分類器中進(jìn)行訓(xùn)練，即在損失函數(shù)最小的情況下獲得嶺回歸的最優(yōu)解。非線性嶺回歸目標(biāo)函數(shù)表示為：

式中，xi為目標(biāo)樣本向量，yi為回歸模型，將輸入特征的所有循環(huán)視為具有高斯加權(quán)標(biāo)簽的訓(xùn)練樣本，φ(·)為高斯核函數(shù)，將樣本映射到非線性空間，便于樣本分類，λ為正則化參數(shù)。

在求解非線性回歸中的w時(shí)，如果將樣本數(shù)據(jù)xi映射到高維空間，那么就需要一個(gè)核函數(shù)φ(·)，這里采用的核函數(shù)為高斯核函數(shù)，這時(shí)由嶺回歸的最小二乘優(yōu)化方法可以得到w最終表示為：

此問題轉(zhuǎn)化成求最優(yōu)解α的問題，式（1）的解將化簡為式（3），其中表示離散傅里葉變換。

由循環(huán)矩陣的性質(zhì)可知kxx也為循環(huán)矩陣，這里取核矩陣K=C(kxx)的第一行，C(·)表示循環(huán)矩陣。

訓(xùn)練出了α之后，在k+1 幀的目標(biāo)位置上，擴(kuò)大范圍，尋找與k幀中目標(biāo)i相似度最高的位置。由于在視頻序列的兩幀之內(nèi)，目標(biāo)的移動(dòng)不是特別劇烈，擴(kuò)大搜索范圍的倍數(shù)可根據(jù)視頻中運(yùn)動(dòng)目標(biāo)的劇烈程度決定。根據(jù)上一幀的目標(biāo)位置在這一幀的圖像中選取圖像塊，采用相同的方法提取圖像塊特征，得到樣本集合z，放入已經(jīng)訓(xùn)練好的濾波器中進(jìn)行計(jì)算，獲得響應(yīng)熱圖[21]，具體操作如下：

由響應(yīng)熱圖輸出最大值的位置作為目標(biāo)在這一幀的位置，分配相同的目標(biāo)標(biāo)簽，目標(biāo)模板更新以及分類參數(shù)更新部分將采用自適應(yīng)的方式來更新，KCF的整個(gè)過程如圖1 所示。

Fig.1 KCF architecture diagram圖1 KCF 架構(gòu)圖

1.2 模板自適應(yīng)

文獻(xiàn)[23-25]對KCF 都進(jìn)行了一些改進(jìn)，但大部分只是將目標(biāo)的寬高進(jìn)行等比例的縮放，適合對剛體目標(biāo)尺寸的變化，但對非剛體，如行人等，會(huì)隨著姿態(tài)的改變，導(dǎo)致寬和高的尺寸變化不成比例。針對該問題，借助每幀檢測信息自適應(yīng)更新目標(biāo)框的寬和高。

Fig.2 Δ calculation description圖2 Δ 計(jì)算說明

Fig.3 SCCM score of 10 frames adjacent of some targets in MOT17-09 sequence圖3 MOT17-09 序列部分目標(biāo)相鄰10 幀的SCCM 分?jǐn)?shù)

其中，η表示模板更新參數(shù)。

圖3 為實(shí)驗(yàn)中部分的SCCM 分?jǐn)?shù)，第一行為105～114 幀SCCM 分?jǐn)?shù)隨目標(biāo)遮擋的變化情況，第二行為100～109 幀SCCM 分?jǐn)?shù)隨目標(biāo)遮擋的變化情況。由圖3 可知當(dāng)目標(biāo)在相鄰兩幀內(nèi)沒有發(fā)生大量的形變或者遮擋時(shí)，響應(yīng)熱圖的變化不大，都是在目標(biāo)位置的高度響應(yīng)，SCCM 的值在0 到1 之間，如圖3 前5 幀；而當(dāng)目標(biāo)發(fā)生大范圍的遮擋或者形變時(shí)，響應(yīng)熱圖的最大值將會(huì)減少，SCCM 的結(jié)果也會(huì)變大（>1），如圖3后5 幀。在MOT17 訓(xùn)練集上的跟蹤效果隨閾值σt的變化情況如圖4 所示，這里考慮了3 種不同檢測器的跟蹤效果，可以看出當(dāng)σt=1 時(shí)3 種檢測器的跟蹤效果最佳。

Fig.4 Change of tracking effect of MOT17 training set with σt value圖4 MOT17 訓(xùn)練集跟蹤效果隨σt 取值的變化情況

2 運(yùn)動(dòng)信息優(yōu)化相關(guān)濾波的多目標(biāo)跟蹤算法

2.1 速度模型

當(dāng)兩幀之間存在大位移目標(biāo)運(yùn)動(dòng)時(shí)，僅靠KCF將難以準(zhǔn)確跟上目標(biāo)，而速度信息能輔助預(yù)測目標(biāo)的位置信息，從而提高對目標(biāo)的跟蹤性能。通過選取目標(biāo)框中心點(diǎn)計(jì)算目標(biāo)速度，根據(jù)目標(biāo)的位置和運(yùn)動(dòng)信息，構(gòu)建運(yùn)動(dòng)模型。目標(biāo)i在k幀的狀態(tài)為rk=(xk,yk,wk,hk,l)，xk、yk、wk、hk分別表示為目標(biāo)i在k幀的橫坐標(biāo)位置、縱坐標(biāo)位置、目標(biāo)框的寬、目標(biāo)框的高，l表示目標(biāo)的標(biāo)簽，θ為學(xué)習(xí)權(quán)重，表示目標(biāo)i在第k+1 幀時(shí)橫坐標(biāo)方向上的速度，表示目標(biāo)i在第k+1 幀時(shí)縱坐標(biāo)方向上的速度，速度更新公式表示為：

2.2 去除虛假檢測框

去除虛假檢測框的時(shí)候，引入IOU17 的算法，去除檢測框置信度分?jǐn)?shù)較低和軌跡較短的目標(biāo)，其中IOU 的計(jì)算公式表示為：

式中，Area(a) 表示目標(biāo)a的目標(biāo)框區(qū)域，Area(a)?Area(b)表示目標(biāo)a與目標(biāo)b相交部分的區(qū)域面積，Area(a)?Area(b)表示目標(biāo)a與目標(biāo)b的并區(qū)域面積。

2.3 算法流程

提出算法框架如圖5 所示，先根據(jù)k幀的跟蹤結(jié)果，結(jié)合速度信息對k+1 幀的跟蹤結(jié)果進(jìn)行位置預(yù)測，再采用KCF 進(jìn)行進(jìn)一步跟蹤，對KCF 結(jié)果分?jǐn)?shù)較高的目標(biāo)位置與當(dāng)前幀k+1 幀的檢測信息進(jìn)行IOU操作，從而能跟上漏檢的目標(biāo)。對KCF 分?jǐn)?shù)較低的進(jìn)行遮擋判斷，判斷的具體方法如2.1 節(jié)速度模型中的平滑濾波所示，最終得到了k+1 幀的跟蹤結(jié)果，并更新速度信息。

Fig.5 CF multi-target tracking algorithm framework based on improved motion information圖5 運(yùn)動(dòng)信息優(yōu)化CF 的多目標(biāo)跟蹤算法框架

提出算法流程如下：

2.將Tk+1中的剩余結(jié)果作為新生目標(biāo)，放入Rk+1中，作為新生目標(biāo)；

3.更新速度信息；

通過算法流程可知，IOU 部分和SCCM 改進(jìn)的KCF 為本算法中最主要的兩部分，與原本用于單目標(biāo)跟蹤的KCF 不同，這里將KCF 算法用在了多目標(biāo)跟蹤中，并做了模板自適應(yīng)更新的改進(jìn)，因此計(jì)算量是KCF 單目標(biāo)跟蹤的n倍。而新生目標(biāo)的判斷計(jì)算需要和已有目標(biāo)進(jìn)行IOU 計(jì)算，因此時(shí)間消耗將為O(n2)，其中IOU 以及KCF 計(jì)算量較少。

3 實(shí)驗(yàn)

通過實(shí)驗(yàn)，在MOT2017 的訓(xùn)練集上驗(yàn)證所提出算法的效率，并且與用于多目標(biāo)跟蹤的深度親和網(wǎng)絡(luò)方法SST（structure sparse tracking）[27]，具有深度關(guān)聯(lián)度量的簡單在線實(shí)時(shí)跟蹤方法Deep Sort[28]，簡單的在線和實(shí)時(shí)跟蹤方法Sort[29]和IOU17 算法進(jìn)行比較。

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)

實(shí)驗(yàn)是在處理器為Intel Core i7-8700、3.2 GHz，12 核，內(nèi)存為16 GB，顯卡為NVIDIA Geforce GTX 1080 Ti 的機(jī)器上進(jìn)行，采用Matlab R2019b 的軟件編寫。為了在不同方法之間進(jìn)行公平的比較，本文采用不同的檢測器，DPM（discriminatively trained partbased models）[30]、Faster RCNN、SDP 的結(jié)果來進(jìn)行比較，其中DPM 的召回率較好，但產(chǎn)生許多虛假檢測框，而SDP 是在Faster RCNN 的基礎(chǔ)上提出的改進(jìn)，檢測的準(zhǔn)確度較高。表1 所示的是MOT17 訓(xùn)練集上視頻序列所具有的問題。其中05、10、11 和13 序列是在移動(dòng)的攝像頭下拍攝的視頻，02 為視線較為昏暗的情況，MOT17 都為日常生活中密集人群的視頻序列，對目標(biāo)遮擋、交叉運(yùn)動(dòng)的處理至關(guān)重要。其中，02 的檢測效果最差，04 序列為檢測效果最好。本文通過對比目前較為成熟的跟蹤方法SST、Deep Sort、Sort 和IOU17 來分析本文方法的效果。這幾種方法都采用先檢測后跟蹤的思想，其中，SST 用深度網(wǎng)絡(luò)實(shí)現(xiàn)對目標(biāo)的端到端表觀特征提取和數(shù)據(jù)關(guān)聯(lián)，但是處理模糊目標(biāo)和虛假目標(biāo)的跟蹤有所欠缺。Sort采用了卡爾曼濾波和交并比的方法，對目標(biāo)軌跡進(jìn)行關(guān)聯(lián)，但該方法較為依賴檢測的精確度，而Deep Sort 在Sort 的基礎(chǔ)上對虛假檢測框判斷和采用重識(shí)別網(wǎng)絡(luò)，將碎片化的軌跡關(guān)聯(lián)起來。IOU17 是所有跟蹤算法中跟蹤速度最快的方法，并且可以處理虛假軌跡，但是和SST 一樣，對于檢測器的精確度依賴較大。

Table 1 Test video sequences表1 測試視頻序列

算法中的具體參數(shù)設(shè)置如下：K=30，tIOU=0.6，tKCF=0.5，σt=1，η=0.5。本算法中響應(yīng)熱圖的最大值及最小值之間的差為1 之內(nèi)，而同一目標(biāo)相鄰的兩幅響應(yīng)熱圖相差的值并不會(huì)太大，若σt的值太小，將不能保證目標(biāo)模板的實(shí)時(shí)性更新，若σt的值太大，將無法處理目標(biāo)模板受到污染的問題，因此將SCCM的閾值設(shè)為1，既能保證目標(biāo)模板實(shí)時(shí)更新，又能避免模板受到大面積污染的問題。

本文采用MOTChallenge Benchmark 提供的評價(jià)算法[31]，評價(jià)標(biāo)準(zhǔn)包含多目標(biāo)跟蹤精度（multiple object tracking precision，MOTP）、多目標(biāo)跟蹤正確度（multiple object tracking accuracy，MOTA）、總誤跟數(shù)（false positives，F(xiàn)P）、總漏跟數(shù)（false negatives，F(xiàn)N）、標(biāo)簽跳變數(shù)（identity switches，IDS）等指標(biāo)，其定義如下：

（1）多目標(biāo)跟蹤正確度（MOTA）

MOTA 為視頻多目標(biāo)跟蹤中最廣泛使用的評價(jià)標(biāo)準(zhǔn)，平衡了真實(shí)值（ground truth，GT）、誤跟數(shù)（FP）、漏跟數(shù)（FN）和標(biāo)簽跳變數(shù)（IDS）這4 個(gè)指標(biāo)。

由于誤跟數(shù)、漏跟數(shù)和標(biāo)簽跳變數(shù)的和能比真實(shí)框多，MOTA 能取到負(fù)值，當(dāng)跟蹤算法能完全跟上目標(biāo)且不產(chǎn)生誤跟框時(shí)，MOTA 取得最大值1，因此MOTA 的取值范圍將為(-∞,1]。

（2）多目標(biāo)跟蹤精度（MOTP）

其中，dk,i表示的是k幀上第i個(gè)目標(biāo)與目標(biāo)真實(shí)框的重疊率，ck表示的是第k幀中目標(biāo)匹配的數(shù)目。取值范圍在0.5 到1.0 之間。重要的是，MOTP 提供的是定位精度的衡量，幾乎沒有提供跟蹤器實(shí)際性能的信息。

（3）總誤跟數(shù)（FP）

由于跟蹤器跟錯(cuò)目標(biāo)，產(chǎn)生了無法與真實(shí)目標(biāo)進(jìn)行匹配的跟蹤框，將這些錯(cuò)誤跟蹤框的總數(shù)稱為總誤跟數(shù)。

（4）總漏跟數(shù)（FN）

由跟蹤器漏跟導(dǎo)致的，沒有跟蹤框能與真實(shí)目標(biāo)進(jìn)行匹配的總數(shù)目即為總漏跟數(shù)。

（5）標(biāo)簽跳變數(shù)（IDS）

跟蹤器在跟蹤過程中對原本是同一目標(biāo)的軌跡產(chǎn)生了碎片化的分割，從而將原本一條軌跡劃分了多條軌跡，從而產(chǎn)生了標(biāo)簽跳變。標(biāo)簽跳變數(shù)即為跟蹤過程中目標(biāo)標(biāo)簽發(fā)生的變化次數(shù)。

3.2 實(shí)驗(yàn)結(jié)果的定性分析

（1）目標(biāo)緊鄰運(yùn)動(dòng)、遮擋

在09 視頻序列中描述的是一個(gè)在商店門口的復(fù)雜多人行走交互的場景，在IOU17、Deep Sort 等跟蹤算法中，當(dāng)橢圓區(qū)域的兩個(gè)行人發(fā)生交匯時(shí)，會(huì)出現(xiàn)遮擋問題。在IOU17 中，由于遮擋導(dǎo)致的檢測框無法檢測到，被遮擋人的跟蹤框會(huì)消失。而提出的方法根據(jù)前幾幀目標(biāo)的速度，預(yù)測下一幀的跟蹤框位置，并利用平滑濾波保證預(yù)測的準(zhǔn)確性，因此能準(zhǔn)確保留被跟蹤者的跟蹤框。具體的跟蹤效果如圖6 所示，橢圓表示被遮擋的目標(biāo)，速度信息已在圖6（d）Proposed 的跟蹤框中心處標(biāo)出，相鄰6 幀的位置信息已在跟蹤框的下面用實(shí)心圓點(diǎn)標(biāo)出。

Fig.6 Tracking results of occlusion in sequence 09(ellipse means blocked object)圖6 09 序列中存在遮擋情況時(shí)的跟蹤結(jié)果（橢圓表示被遮擋的目標(biāo)）

（2）目標(biāo)模糊

在10 序列中，相機(jī)是可移動(dòng)設(shè)備，由于相機(jī)的劇烈抖動(dòng)導(dǎo)致目標(biāo)模糊，這也是日常生活中移動(dòng)設(shè)備經(jīng)常遇到的問題。即使是效果相當(dāng)優(yōu)秀的檢測器在面對目標(biāo)模糊的時(shí)候也難以準(zhǔn)確檢測出來，這就需要跟蹤器能發(fā)揮其作用，根據(jù)清晰時(shí)刻的檢測框進(jìn)行跟蹤。IOU17、Deep Sort和SST 算法無法跟蹤模糊目標(biāo)，而提出算法能對模糊目標(biāo)進(jìn)行穩(wěn)定持續(xù)的跟蹤，具體跟蹤效果對比如圖7 所示，橢圓表示沒有跟蹤上的目標(biāo)。

Fig.7 Tracking results of fuzzy targets in sequence 10(ellipse means fuzzy missed target)圖7 10 序列中存在目標(biāo)模糊的跟蹤結(jié)果（橢圓表示模糊的被漏跟目標(biāo)）

（3）去除虛假軌跡

在檢測器對圖像進(jìn)行行人檢測時(shí)，會(huì)出現(xiàn)一些虛假檢測框，如果跟蹤器不加判斷，直接進(jìn)行跟蹤將會(huì)產(chǎn)生一系列的錯(cuò)誤跟蹤框。SDP 檢測器和SST 結(jié)果中，車子附近存在由于虛假檢測框而產(chǎn)生的錯(cuò)誤跟蹤，而提出算法能較好地剔除這些虛假軌跡。具體的跟蹤效果如圖8 所示，橢圓表示虛假軌跡。

Fig.8 Tracking results of false frame in sequence 13(ellipse means false track)圖8 13 序列中存在虛假框的跟蹤結(jié)果（橢圓表示虛假軌跡）

（4）漏檢

IOU17、Deep Sort、SST 等算法都不能很好地檢測漏檢的目標(biāo)，遇到漏檢即跟丟，這是由于太過依賴于檢測結(jié)果，而提出算法融合了KCF 的跟蹤優(yōu)勢，能準(zhǔn)確地處理漏檢問題。具體的跟蹤對比效果如圖9所示，橢圓表示漏檢的目標(biāo)。

Fig.9 Tracking results of missed detection in sequence 11(ellipse means missed detected targets)圖9 11 序列中存在漏檢時(shí)的跟蹤結(jié)果（橢圓表示漏檢的目標(biāo)）

（5）跟蹤框漂移

在SDP 的檢測結(jié)果中，被遮擋目標(biāo)在410 幀時(shí)就因?yàn)榘l(fā)生大面積遮擋而沒有被檢測到，如圖10（a）所示。在采用了KCF 跟蹤后，由于目標(biāo)模板一直在更新，會(huì)存在目標(biāo)模板被污染的問題，從而導(dǎo)致跟蹤框漂移，如圖10（b）所示，從410 幀開始被遮擋目標(biāo)的跟蹤框就發(fā)生了偏移。而在加入了SCCM 機(jī)制后，跟蹤器能夠更加準(zhǔn)確地跟上目標(biāo)，提升多目標(biāo)跟蹤的準(zhǔn)確度，具體的跟蹤結(jié)果如圖10（c）所示。

Fig.10 MOT17-09 tracking and comparison results圖10 MOT17-09 跟蹤對比結(jié)果顯示

（6）新生目標(biāo)

本文新生目標(biāo)的信息由檢測器的檢測結(jié)果來獲取，檢測器的檢測結(jié)果和跟蹤算法的效果同時(shí)決定了獲得新生目標(biāo)的能力。檢測器的檢測結(jié)果越精確，算法獲取的新生目標(biāo)越準(zhǔn)確，從而能實(shí)現(xiàn)實(shí)時(shí)跟蹤，而算法對于檢測框是否是新生目標(biāo)的判斷影響著新生目標(biāo)的獲取能力。本文通過交并比和檢測框置信度分?jǐn)?shù)來判斷新生目標(biāo)，相較于Deep Sort 方法中被遺漏的兩個(gè)新生目標(biāo)，本文方法能很好地提取出新生目標(biāo)信息，并持續(xù)跟蹤，具體的跟蹤效果如圖11 所示。

Fig.11 Tracking results of new born targets in sequence 09(ellipse means miss targets)圖11 09 序列中新生目標(biāo)的跟蹤結(jié)果（橢圓表示跟丟的目標(biāo)）

3.3 實(shí)驗(yàn)結(jié)果的定量分析

本文選取MOTA、FP、FN、IDS 和MOTP 這5 個(gè)指標(biāo)對IOU17、Sort、Deep Sort、SST 和本文算法進(jìn)行對比。表2 表示這5 種算法分別在這5 個(gè)指標(biāo)上的表現(xiàn)情況，其中結(jié)合了DPM、FasterRCNN 和SDP 3 種檢測器的跟蹤結(jié)果（↑表示值越大越好，↓表示值越小越好）。從表2 中可以看出，提出的算法在MOT17 的訓(xùn)練集上，增加了大量的跟蹤框，從而減少了漏跟數(shù)（FN）以及標(biāo)簽跳變數(shù)（IDS），在MOTA、FN、IDS 這3個(gè)指標(biāo)上的表現(xiàn)都優(yōu)于其他4 種跟蹤算法。

表3～表5 這3 張表格分別列出了MOT17 數(shù)據(jù)集中，09、04、02 序列SDP 檢測器上的不同方法的跟蹤效果比較，其中04 序列的檢測器準(zhǔn)確度較高，02 的檢測器準(zhǔn)確度最差，09 的檢測器準(zhǔn)確度一般（↑表示值越大越好，↓表示值越小越好）。從表3～表5 中可以發(fā)現(xiàn)，本文算法在不同復(fù)雜場景下的多目標(biāo)跟蹤效果在MOTA 上都要優(yōu)于其他4 種方法。

為了進(jìn)一步體現(xiàn)本文算法的優(yōu)勢，還做了3 組對比實(shí)驗(yàn)，Proposed 表示融合了SCCM 機(jī)制，去除虛假檢測框以及速度信息的跟蹤算法，Proposed_2 表示為沒有運(yùn)用速度信息和平滑濾波的算法，Proposed_3 表示為沒有運(yùn)用去除虛假檢測框的算法，Proposed_4 為沒有運(yùn)用SCCM 機(jī)制的跟蹤算法。表3～表5 分別是檢測結(jié)果一般、較好、較差的3 種視頻序列。最終發(fā)現(xiàn)，融合了速度信息可以對目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行預(yù)測，從而減少漏跟數(shù)量（FN），但是在遇到較差的檢測結(jié)果后，預(yù)測的運(yùn)動(dòng)軌跡也會(huì)產(chǎn)生大量的誤跟結(jié)果；添加了去除虛假檢測框操作，雖然會(huì)造成少量的漏跟數(shù)（FN），但是會(huì)大量減少誤跟數(shù)（FP），從而提高跟蹤精度；融入了SCCM 機(jī)制可以避免跟蹤框因?yàn)檎趽醵a(chǎn)生漂移，從而漏跟目標(biāo)的情況。最終，通過實(shí)驗(yàn)證明，結(jié)合了速度信息、去除虛假檢測框操作和SCCM 機(jī)制的跟蹤算法在面對檢測器效果不同的3種情況時(shí)也能有不錯(cuò)的跟蹤表現(xiàn)。

Table 2 Comparison of MOT17 tracking methods表2 MOT17 跟蹤方法比較

Table 3 Comparison of various algorithms of SDP detector in MOT17-09表3 MOT17-09 序列SDP 檢測器各種方法比較

Table 4 Comparison of various algorithms of SDP detector in MOT17-04表4 MOT17-04 序列SDP 檢測器各種方法比較

Table 5 Comparison of various algorithms of SDP detector in MOT17-02表5 MOT17-02 序列SDP 檢測器各種方法比較

Table 6 Results of proposed method in MOT17 training set表6 本文方法在MOT17 訓(xùn)練集結(jié)果

實(shí)驗(yàn)結(jié)果表明，比較其他4 種方法，提出的算法在MOTA 這個(gè)指標(biāo)上有更好的表現(xiàn)，因?yàn)槁└繕?biāo)（FN）的數(shù)量減少了，而MOTA 與FN 息息相關(guān)。即使在場景十分復(fù)雜，攝像頭抖動(dòng)的情況下，本文算法也能較好地實(shí)現(xiàn)多目標(biāo)的跟蹤任務(wù)。表6 表示本文算法在MOT17 不同的視頻序列以及不同的檢測器下的跟蹤結(jié)果，其中FRCNN 即為Faster RCNN 檢測器（↑表示值越大越好，↓表示值越小越好）。從表中可以看出，在DPM 檢測器下的跟蹤效果較差，在SDP 檢測器下的跟蹤效果較好。

4 結(jié)束語

本文提出了一種運(yùn)動(dòng)信息優(yōu)化相關(guān)濾波的多目標(biāo)跟蹤算法，在檢測跟蹤的基礎(chǔ)上，融入KCF 算法，采用檢測器得到的檢測結(jié)果彌補(bǔ)KCF 無法及時(shí)獲得新生目標(biāo)信息，以及跟蹤框大小無法自適應(yīng)目標(biāo)變化的缺陷，KCF 能夠有效地處理檢測器漏檢，并運(yùn)用SCCM 機(jī)制處理KCF 的模板污染問題，融合IOU17算法去除虛假檢測框。此外，結(jié)合目標(biāo)的運(yùn)動(dòng)信息，采用平滑濾波的方法，處理目標(biāo)跟蹤中受遮擋目標(biāo)的跟蹤，從而將大量碎片化的軌跡整合成一條連續(xù)運(yùn)動(dòng)軌跡。最后通過實(shí)驗(yàn)證明，提出算法能夠較好地實(shí)現(xiàn)多目標(biāo)的跟蹤任務(wù)。