許喜斌

摘 要：行人目標(biāo)跟蹤技術(shù)在現(xiàn)實生活中具有較強應(yīng)用性，但存在抗遮擋性弱等問題。本文利用Jetson TK1平臺的便捷性結(jié)合R-DAD（Region Decomposition and Assembly Detector）思想改進(jìn)了KCF（Kernelized Correlation Filters）跟蹤算法，實現(xiàn)對行人目標(biāo)跟蹤。實驗結(jié)果表明，改進(jìn)的行人目標(biāo)跟蹤算法運算量少、性能高、速度快，具有良好的抗遮擋性和精確性。

關(guān)鍵詞：Jetson TK1平臺;R-DAD;KCF;目標(biāo)跟蹤;抗遮擋性

文章編號：2095-2163（2019）04-0263-05 中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A

0 引 言

隨著人工智能的快速發(fā)展，圖像檢測識別和目標(biāo)跟蹤技術(shù)在多個領(lǐng)域被廣泛使用，例如商業(yè)、小區(qū)安全、軍事保密和法律取證等方面的智能視頻監(jiān)控;基于5G網(wǎng)絡(luò)的智能醫(yī)療診斷;解決交通道路擁堵的智能交通監(jiān)管系統(tǒng)及自動駕駛系統(tǒng)。

目標(biāo)檢測算法主要有基于背景建模、基于輪廓模板、基于光流法和基于底層特征等4類?；诒尘敖Ｋ惴ㄊ窍冉?dāng)前前景的背景模型，再與背景圖像模型做差分，提取運動前景，建立臨時塊模型，結(jié)合更新的行人檢測的背景模型實現(xiàn)行人檢測[1]，該算法對動態(tài)變化背景較為敏感，不適用復(fù)雜的動態(tài)場景?；谳喞０宓姆椒ㄊ峭ㄟ^構(gòu)建圖像目標(biāo)物體的邊緣輪廓、灰度、紋理等信息模板，再匹配模板的方法來檢測目標(biāo)[2]，該方法簡單易行，但需要構(gòu)建大量的模板才能取得較好的效果?；诠饬鞣ㄊ琴x予圖像各個像素點一個速度矢量形成圖像運動場，再根據(jù)像素點的速度矢量特征進(jìn)行圖像分析，獲取物體在圖像中的運動位置，實現(xiàn)目標(biāo)檢測[3]，該方法適合分析多目標(biāo)的運動，可以解決運動目標(biāo)檢測中的遮擋、重合等問題，但存在實時性差、魯棒性弱、計算方法復(fù)雜等不足。基于底層特征的算法是利用積分圖技術(shù)進(jìn)行快速計算，但對行人目標(biāo)的表達(dá)能力不足，判別力較差。

行人檢測技術(shù)主要有基于特征提取和深度學(xué)習(xí)（Deep Learning）2種。其中對于特征提取的方法，為了更好地獲取行人圖像特征，Dalal N等人[4]采用梯度方向直方圖（HOG）特征描述子結(jié)合線性分類器支持向量機（SVM）的方法，在行人檢測方面取得了巨大的突破，但在處理遮擋問題的時候，HOG特征并不能很有效地解決遮擋問題?；谏疃葘W(xué)習(xí)方面，隨著近年來的理論和相關(guān)技術(shù)的高速發(fā)展，深度學(xué)習(xí)的行人檢測算法取得很大的突破[5-8]，其檢測精度也有較大地提高，深度學(xué)習(xí)具備的自我學(xué)習(xí)特點可以避免復(fù)雜的特征提取和數(shù)據(jù)建模過程，很好地描述檢測目標(biāo)特性。本文基于KCF算法，結(jié)合區(qū)域分解集成的思想，改進(jìn)KCF算法提高目標(biāo)跟蹤的抗遮擋性，在NVIDIA Jetson TK1 平臺上具有良好的抗遮擋性和實時性。

1 Jetson TK1平臺

NVIDIA Jetson TK1平臺是NVIDIA針對快速開發(fā)和部署面向機器人技術(shù)、計算機視覺、醫(yī)療等領(lǐng)域的計算密集型系統(tǒng)。該平臺以NVIDIA Tegra K1 SoC 為基礎(chǔ)構(gòu)建，包含 NVIDIA KeplerTM 計算核心，且具有192 個 CUDA 核心，非常適合算法的并行運算，具體參數(shù)見表1。

Jetson TK1平臺使得計算機視覺、深度學(xué)習(xí)的計算更加高性能、低能耗，是嵌入式系統(tǒng)設(shè)計的理想平臺，如圖1所示。

2 跟蹤算法

2.1 KCF算法

KCF（Kernelized Correlation Filters），即核相關(guān)濾波器方法。首先，采用循環(huán)偏移圖像矩陣，構(gòu)建出分類器的訓(xùn)練樣本，其中中間部分為正樣本，其它周邊為負(fù)樣本，使數(shù)據(jù)矩陣轉(zhuǎn)換成循環(huán)矩陣，然后，簡化循環(huán)矩陣計算，進(jìn)而求解基于循環(huán)矩陣特性的問題。該方法建立在相關(guān)濾波跟蹤算法的框架上，將FFT快速傅里葉變換轉(zhuǎn)換到頻域，從而避免矩陣求逆過程，極大地降低算法復(fù)雜度和提高跟蹤精度[9]。下面給出KCF算法的具體過程：

2.1.1 訓(xùn)練分類器

2.1.2 目標(biāo)檢測

目標(biāo)檢測的計算響應(yīng)公式為：

KCF算法目標(biāo)跟蹤流程如圖2所示。

2.2 R-DAD思想

目前主流的目標(biāo)檢測算法中以Faster-RCNN 為代表，由RPN（Region Proposals Network）生成感興趣區(qū)域RoI（Region of Interests），該算法會因目標(biāo)被遮擋或不精確的候選區(qū)域（Region Proposals）導(dǎo)致目標(biāo)檢測不準(zhǔn)確，因此，Seung-Hwan Bae 提出R-DAD（Region Decomposition and Assembly Detector），即區(qū)域分解組裝檢測器，來改善生成的候選區(qū)域[12]。圖3示出了R-DAD架構(gòu)。

在R-DAD架構(gòu)中，重新對MRP網(wǎng)絡(luò)進(jìn)行調(diào)整，對目標(biāo)進(jìn)行縮放形成多個不同尺度的候選區(qū)域，再對其分解成幾個部分，如上、下、左、右，其中，設(shè)計了一個帶有3*3的卷積濾波器區(qū)域組裝塊，讓分解的部分兩兩進(jìn)行卷積和使用ReLU函數(shù)，比較得出最大單元模塊，再繼續(xù)使用RAB（Region Assembly Block），接著對分解部分的強響應(yīng)進(jìn)行結(jié)合，然后再學(xué)習(xí)整個對象和基于部件的特征之間的語義關(guān)系，R-DAD 網(wǎng)絡(luò)架構(gòu)主要分成MRP 和RDA 2個模塊。

2.2.1 MRP（Multi-Scale Region Proposal）模塊

MRP模塊主要是改善RPN生成的候選區(qū)域的準(zhǔn)確率。是生成多尺度的候選區(qū)域，首先用傳統(tǒng)的RPN生成一些建議框，然后用不同的縮放因子對生成出的候選區(qū)域進(jìn)行不同比例的縮小放大，從而提高候選區(qū)域的多樣性。如圖4所示，框內(nèi)分別對應(yīng)S=0.7，1，1.2的候選區(qū)域，不同尺度的區(qū)域，會導(dǎo)致部分局部大于目標(biāo)本身，也使得候選區(qū)域數(shù)量過多，導(dǎo)致無法完全利用，因此需要添加RoI的采樣層，對分?jǐn)?shù)低和跟ground truth 重疊率低的進(jìn)行篩選。因此，MRP 網(wǎng)絡(luò)生成的各種候選區(qū)域，可以進(jìn)一步適應(yīng)目標(biāo)之間因為空間變化所導(dǎo)致的特征變化，進(jìn)而提高結(jié)構(gòu)的魯棒性。

2.2.2 RDA（Region Decomposition and Assembly）模塊

RDA模塊同時描述物體的全局及局部外觀，將目標(biāo)物體分為目標(biāo)區(qū)域集成和目標(biāo)分解2部分，其中，目標(biāo)分解如圖5所示，將目標(biāo)分為上、下、左、右4個部分，其中圖左邊為不同尺度的候選區(qū)域，圖右邊為物體目標(biāo)的分解區(qū)域。

對目標(biāo)進(jìn)行分解時，先用線性插值2倍以上采樣之后再分解，會達(dá)到更好的效果。因為左右剛好是特征圖的左右一半，上下也是一樣，然后再送入RAB模塊，其中RAB模塊如圖6所示。

RDA模塊主要由以下2個函數(shù)表示：

R-DAD可以描述全局特征和局部特征的語義信息，在較為復(fù)雜的場景下，若目標(biāo)對象被遮擋，通過左、右、上、下模板篩選出來的特征會更加符合真實場景，使得候選區(qū)域更加可信，增強目標(biāo)跟蹤的抗遮擋性。

2.3 改進(jìn)KCF算法

KCF算法在各種場景的應(yīng)用中，在跟蹤效果和跟蹤速度上都表現(xiàn)的比較優(yōu)秀。但是，該算法存在無法較好解決跟蹤過程中目標(biāo)被遮擋的問題，一旦跟蹤目標(biāo)發(fā)生遮擋就容易導(dǎo)致跟蹤失敗。

本文結(jié)合R-DAD的思想，對行人目標(biāo)區(qū)域進(jìn)行全局和局部特征提取，并進(jìn)行訓(xùn)練，獲得行人目標(biāo)的局部特征，再對局部區(qū)域使用KCF跟蹤器進(jìn)行初始化并輸出響應(yīng)值，利用響應(yīng)值定位目標(biāo)局部區(qū)域的關(guān)聯(lián)響應(yīng)，進(jìn)而將部分區(qū)域響應(yīng)值組合形成整體的行人目標(biāo)響應(yīng)值。局部特征提取如圖7所示。

基于R-DAD思想的KCF目標(biāo)跟蹤改進(jìn)算法描述如下：

步驟1 先將行人目標(biāo)整體檢測出來，然后對行人整體目標(biāo)進(jìn)行劃分，例如，假設(shè)整體行人目標(biāo)為X，將其等分為上、下、左、右4部分：Xl、Xr、Xu、Xd;

步驟2 對每部分都進(jìn)行特征提取，并形成相對應(yīng)的特征值：El、Er、Eu、Ed;

步驟3 將整體目標(biāo)跟蹤化為局部跟蹤，先跟蹤局部部分，即先跟蹤El，以El特征為目標(biāo)Xl作為行人目標(biāo)所在的跟蹤對象進(jìn)行跟蹤;

步驟4 當(dāng)局部目標(biāo)Xl被遮擋時，跟蹤另一個局部目標(biāo)局部塊Xr，使用Er作為目標(biāo)跟蹤特征進(jìn)行跟蹤，重復(fù)步驟3;

步驟5 當(dāng)局部目標(biāo)特征失效或整體目標(biāo)被完全遮擋，則跟蹤失敗;

步驟6 算法結(jié)束。

3 實驗結(jié)果

為了提高識別的速度，提升實驗效果，本文在JetsonTK1平臺上調(diào)用GPU進(jìn)行行人識別運算，對同一段行人跟蹤視頻分別用KCF算法及改進(jìn)的KCF算法進(jìn)行目標(biāo)跟蹤，對比兩者的召回率和準(zhǔn)確率，分析兩者之間的性能區(qū)別，見表2。

3.1 召回率

其中，R為召回率;TP為目標(biāo)跟蹤正確的圖像幀總數(shù);TN為含有目標(biāo)的圖像幀及跟蹤失敗的總數(shù)。召回率可以評估目標(biāo)跟蹤算法的全面性衡量及跟蹤質(zhì)量，進(jìn)而反映出算法在所有目標(biāo)出現(xiàn)的圖像中的成功跟蹤目標(biāo)的能力。

3.2 準(zhǔn)確率

其中，P為準(zhǔn)確率; TP為目標(biāo)跟蹤正確的圖像幀總數(shù); FP為目標(biāo)跟蹤錯誤及未出現(xiàn)目標(biāo)的圖像幀總數(shù)。準(zhǔn)確率可以衡量目標(biāo)跟蹤的準(zhǔn)確性。

見表2，KCF目標(biāo)跟蹤算法的準(zhǔn)確率為???28.55%，改進(jìn)后的KCF目標(biāo)跟蹤算法的準(zhǔn)確率為48.69%，改進(jìn)后的KCF算法準(zhǔn)確率提升20.14%。KCF算法召回率為28.11%，改進(jìn)后的KCF算法召回率為46.67%，改進(jìn)后的KCF算法召回率率提升18.56%。實驗結(jié)果表明，基于R-DAD思想改進(jìn)的KCF目標(biāo)跟蹤算法的跟蹤性能更佳、抗遮擋性更強、跟蹤效果更好。

4 結(jié)束語

本文基于JetsonTK1平臺，利用該平臺性能高、便捷、小巧的特點，設(shè)計了行人目標(biāo)跟蹤算法，采用KCF跟蹤算法，并利用R-DAD思想對KCF算法進(jìn)行改進(jìn)，在保持KCF算法高正確率、高運算速度、少計算量的同時，提升了行人目標(biāo)跟蹤算法的抗遮擋性和跟蹤精度。

參考文獻(xiàn)

[1]WREN C， AZARBAYEJANI A， DARRELL T， et al. Real-time tracking of the human Body[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：781-785.

[2] 張春鳳，宋加濤，王萬良.行人檢測技術(shù)研究綜述[J]. 電視技術(shù)，2014，38（3）：157-162.

[3] Yalin X， Steven A S. Moment and Hyper Geometric Filter for High Precision Computation of Focus，Stereo and Optical Flow[J]. International Journal of Computer Vision，1997，22（1）：25-29.

[4] Dalal N，Triggs B. Histograms of oriented gradients for human detection[C]∥ 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，CVPR 2005，IEEE，2005：886-893.

[5] Tian Y，Luo P，Wang X，et al. Pedestrian detection aided by deeplearning semantic tasks[EB/OL]. ar Xiv preprint ar Xiv：1412. 0069，2014.

[6] Ouyang W，Wang X. Joint deep learning for pedestrian detection[C]. Computer Vision （ ICCV） ，2013 IEEE International Confe-rence on. IEEE，2013：2056-2063.

[7] Sermanet P，Kavukcuoglu K，Chintala S，et al. Pedestrian detectionwith unsupervised multi-stage feature learning[C]. Computer Visionand Pattern Recognition （CVPR） ，2013 IEEE Conference on.IEEE，2013：3626-3633.

[8] Luo P，Tian Y，Wang X，et al. Switchable deep network for pedes-trian detection [C]. Computer Vision and Pattern Recognition（CVPR） ，2014 IEEE Conference on. IEEE，2014：899-906.

[9] J.Henriques，R.Caseiro，P.Martins，et al.High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）：583-596

[10]Li Y，Zhu J.A scale adaptive kernel correlation filter tracker with feature integration[C]//European Conference on Computer Vision，2014：254-265.

[11]何承源.循環(huán)矩陣的一些性質(zhì)[J].數(shù)學(xué)的實踐與認(rèn)識，2001，31（2）：211-216.

[12]Seung-Hwan Bae.Object Detection based on Region Decomposition and Assembly[C]. Thirty-Third AAAI Conference on Artificial Intelligence （AAAI-19）.2019.