文/申嘉琪 張麗果 杜慧敏 顧文寧 李佳韻

（西安郵電大學 陜西省西安市 710121）

1 概述

車輛跟蹤的實際過程中，經(jīng)常會遇到相似車輛干擾以及快速運動的復雜環(huán)境，因此，研究準確度高、魯棒性強的視頻車輛跟蹤技術(shù)具有重要的實用價值[1]。近年來關(guān)于深度學習的車輛跟蹤一類是利用卷積神經(jīng)分類網(wǎng)絡(luò)進行目標跟蹤的算法[2]，最典型算法是MDNet 跟蹤算法[3]，該算法跟蹤精度很高但運行速度只有1FPS 左右，顯然不能滿足較高運行速度的要求;另一類是利用模板匹配來進行跟蹤的算法，代表為基于全卷積神經(jīng)網(wǎng)絡(luò)的SiameseFC 算法[4]，具有一定魯棒性且運行速度快，它通過訓練很多視頻序列得到一種相似度模型，該模型可以理解為前景度量學習，剔除背景，比較適合在固定場景下進行目標跟蹤。交通系統(tǒng)中的攝像頭是固定視角下的視頻[5]，因此本文采取SiameseFC 算法作為車輛跟蹤的基礎(chǔ)算法，結(jié)合角點特征提取算法[6]和角點特征匹配算法[7]提出一種基于角度分析的車輛跟蹤算法，同時給出算法的整體框架和各個模塊的設(shè)計步驟，并進行了實驗驗證和分析。

2 相關(guān)工作

SiameseFC 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。整個神經(jīng)網(wǎng)絡(luò)的主體是個孿生全卷積網(wǎng)絡(luò)，通過卷積算子來度量圖像與圖像之間的相似度[8]。網(wǎng)絡(luò)中不包含全連接層，所以算法的耗時少。由于通過卷積神經(jīng)網(wǎng)絡(luò)來提取目標特征，所以在兼顧時效性的同時也在一定程度上保證了準確度。其中，模板圖像塊z 是第一幀中的車輛模板，之后經(jīng)過線性差值被調(diào)整到127×127×3 大小。待搜索區(qū)域x 是以上一幀車輛位置為中心提取車輛以及背景區(qū)域的圖像塊，也是通過線性差值將尺寸調(diào)整到255×255×3 大小。

3 基于角度分析的SiameseFC改進算法

3.1 改進算法框架

本文以SiameseFC 算法的基本框架為基礎(chǔ)，結(jié)合角點特征提取算法和角點特征匹配算法，實現(xiàn)了一種基于角度分析的車輛跟蹤算法，稱為A-SiameseFC。該算法的總體結(jié)構(gòu)如圖2 所示：

算法主要包括三部分：

（1）初始化：獲取數(shù)據(jù)集中的標記文件，并讀入視頻第一幀以及對應groudtruth。

（2）車輛正常跟蹤：

①采用跟蹤算法對視頻序列前t 幀進行跟蹤，t>=3，第二幀采用SiameseFC 跟蹤結(jié)果并對第1 幀圖像提取目標模板；

表1：視頻序列屬性介紹

圖1：SiameseFC 網(wǎng)絡(luò)結(jié)構(gòu)

②根據(jù)跟蹤結(jié)果對t-2 幀圖像提取車輛目標圖像；

③根據(jù)跟蹤結(jié)果對t-1 幀圖像提取車輛目標圖像；

④將獲得的兩個車輛目標圖像提取角點特征并進行特征匹配操作；

⑤獲取t-2 幀車輛到t-1 幀車輛的運動方向；

⑥使用第1 幀的目標模板以及第t 幀搜索區(qū)域做相關(guān)操作，如果沒有相似車輛出現(xiàn)，只會得到一個響應位置，并將該位置作為跟蹤結(jié)果。

（3）車輛跟蹤錯誤：

①當相似干擾車輛出現(xiàn)的情況下，根據(jù)響應圖獲得多個響應位置，這時候?qū)⒌趖-1 幀目標車輛到第t 幀目標車輛的運行方向以及第t-1 幀目標車輛到第t 幀相似干擾車輛的運行方向記錄下來；

②將t-2 幀車輛到t-1 幀目標車輛的運動方向、第t-1 幀目標車輛到第t 幀目標車輛的運行方向以及第t-1 幀目標車輛到第t 幀相似干擾車輛的運行方向進行對比，選擇出差距最小運動方向所對應的響應位置作為第t 幀目標車輛的位置。

3.2 改進算法模塊設(shè)計

3.2.1 特征點提取和匹配模塊

圖2：基于角度分析的SiameseFC 改進算法框架

在基于角度分析的SiameseFC 改進算法里，特征點選取的不合適會嚴重影響后邊的角度計算模塊，從而影響算法的準確度，因此對改進算法中的特征點提取和匹配模塊進行著重分析。特征點提取和匹配模塊包含兩部分，第一部分就是角點特征提取算法；第二部分是角點特征匹配算法，使用ORB特征角點檢測算法提取特征點[9]，然后選取BF 匹配中的K 近鄰模式[10]對ORB 特征角點進行匹配；流程圖如圖3 所示。

3.2.3 基于ORB 的角度計算模塊

本文構(gòu)建了一個可以字符串元素的隊列，隊列的長度為2，隊列的首元素為字符‘0’，尾元素為車輛視頻序列的第一幀圖片的存放地址。當A-SiameseFC 算法對第三幀中目標車輛的位置進行預測之前，先通過.pop(0)內(nèi)置函數(shù)將隊列的首元素進行出隊操作，再對第二幀圖片的存放地址執(zhí)行入隊操作。之后A-SiameseFC 算法對每一幀中車輛位置進行預測之前都將執(zhí)行該操作。

在通過特征點提取和匹配模塊后，獲得了正確的特征點位置信息，我們?yōu)槊繉μ卣鼽c的坐標進行求差值操作，通過x 坐標的變化值和y 坐標的變化的反正切值求出特征點對所形成的向量與縱軸構(gòu)成的夾角，之后將角度值按大小進行排序。獲得的特征點對的角度值的個數(shù)是不確定的，經(jīng)多次試驗發(fā)現(xiàn)中間的角度值大小比較接近標記文件中的偏轉(zhuǎn)角，越偏離中間的角度值與標記文件中的偏轉(zhuǎn)角的差距越大。通過這個特性，當角度值的個數(shù)只有一個的話，就把該值默認為偏轉(zhuǎn)角。當角度值個數(shù)是偶數(shù)的話，選擇中間兩個角度值的平均值作為偏轉(zhuǎn)角。當角度值的個數(shù)是奇數(shù)的話，選擇中間三個角度值，對這三個值進行取平均值從而確定出最佳的偏轉(zhuǎn)角ɑ1，也就是從第t-2 幀到第t-1 幀目標車輛的行駛方向。

4 實驗結(jié)果分析

運行跟蹤算法A-SiameseFC 的軟硬件配置為Intel(R) Core(TM) i7-8700K CPU @3.7GHz，16.00GB 內(nèi) 存， 圖 形 顯 卡 為NVIDIA GeForce GTX 1080，Windows10 64 位的操作系統(tǒng)，以Python3.6 為開發(fā)工具，使用CUDA8.0 和cudnn6.0 進行加速，在TensorFlow 深度學習框架下對A-SiameseFC 進行測試。

4.1 定性分析

為驗證本文算法的有效性，從公開數(shù)據(jù)集DETRAC 中選取2組視頻，DETRAC 數(shù)據(jù)集是從天津市和北京市共計24 個地點采集得到的，采集到的視頻時長總共為10 個小時，其中視頻的分辨率為960×540 大小。數(shù)據(jù)集里包含四類車輛，有小轎車、面包車、公共汽車以及其他種類汽車，同時數(shù)據(jù)集里有晴天、雨天、夜晚等多個不同天氣情況下的場景數(shù)據(jù)。這些視頻序列包含的挑戰(zhàn)因素如表1 所示。

下面對2 個序列進行定性分析，對SiameseFC 算法、MDNet算法以及本文的A-SiameseFC 進行評估，并選出一些具有代表性的幀進行跟蹤效果比對。

圖4 和圖5 二組視頻都是經(jīng)過高斯霧化過的圖像，從而使視頻序列更加具有挑戰(zhàn)性。圖4 中的目標車輛是被后邊的車輛光線照射，同時車輛是由遠到近駛向攝像頭的，所以一開始看不出車輛顏色，當目標車輛靠近攝像頭的時候，后方車輛的光照影響逐漸降低，其中三種算法都能正確跟蹤車輛。從圖5 中可以看出，在第26 幀中，SiameseFC 算法跟蹤錯誤，第34 幀中，MDNet 算法跟蹤框發(fā)生漂移。只有A-SiameseFC 算法能正確跟蹤目標車輛。

從上述二組視頻序列的跟蹤效果來看，改進的A-SiameseFC 算法能做到在快速運動、運動模糊、具有尺度變換以及相似車輛干擾等情況下準確跟蹤目標車輛。

4.2 定量分析

圖3：ORB 特征角點檢測算法流程圖

圖4：序列1 跟蹤圖

圖5：序列2 跟蹤圖

圖6：精度曲線對比圖

圖7：成功率曲線

使用實驗選取的二組具有挑戰(zhàn)性的視頻序列對MDNet、SiameseFC 以及A-SiameseFC 跟蹤算法進行比較，對比三種算法的魯棒性，以下是用OPE 評估標準得到三種算法的精度曲線圖和成率曲線圖。

在圖6 中，可以看到用紅線標出的A-SiameseFC 算法在不同閾值下的精度都比其他兩個算法高。在精度曲線內(nèi)，中心誤差像素取20 像素的時候，三種算法的精度分別為：MDNet：80.34%；SiameseFC：72.35%；本文算法：96.9%。本文算法與MDNet 相比，精度提高了16.56%。與SiameseFC 相比提高了24.55%。

圖7 為OPE 評價的成功率曲線圖。圖x 軸是不同重疊閾值，y 軸是對應的成功率。在曲線圖當中，當重疊閾值取0.5 的時候，算法的成功率分別為：SiameseFC：67.08%；MDNet：61.38%；A-SiameseFC：85.39%。本文算法與SiameseFC 相比較，成功率提高了18.31%。在一定程度上增強了算法的魯棒性與準確性。

5 結(jié)束語

針對相似車輛對目標車輛造成干擾的情況下，SiameseFC 跟蹤算法區(qū)分能力較差，且被相似車輛造成干擾后無法繼續(xù)進行正確跟蹤這一問題，本文在SiameseFC 的基礎(chǔ)上提出一種基于角度分析的車輛跟蹤算法，該算法利用車輛運動前后信息是有相關(guān)性的先驗知識對SiameseFC 算法進行有效改進。在選定的視頻序列中對三種算法進行定性分析和定量評估，實驗證明在相似車輛干擾情況下，本文提出的基于角度分析的改進算法的跟蹤準確度高于相關(guān)的對比算法。