孫志成，董一杰，胡愛蘭，張瑞權

(1.63861 部隊，吉林 白城 137000；2.華北計算機系統(tǒng)工程研究所，北京 100083)

0 引言

某型號系統(tǒng)在進行靶場試驗時，需準確定位并跟蹤被試設備，確保其能處于相應試驗系統(tǒng)范圍中，這對單目標跟蹤提出了更高的要求。單目標跟蹤逐漸成為計算機視覺所需研究和應用的重點之一[1]，為了滿足某些復雜場景的使用需求，對視頻中特定目標進行自適應處理逐漸成為重要的需求。隨著近年來計算機技術的發(fā)展與算力的進步，單目標跟蹤被廣泛地應用于軍事設施設備、安防監(jiān)控、無人駕駛等領域[2-4]。

國內外相關學者根據不同的工作原理對跟蹤算法做了大量研究工作。Henriques[5]等提出了核相關濾波算法，但該算法在遮擋等因素影響下會出現跟蹤丟失的情況；Zhou[6]等提出了結合目標位置、形狀、外觀的多核相關濾波算法，對實際海洋雷達目標進行跟蹤；盧楊[7]等通過改進紋理特征并應用于紅外目標跟蹤，驗證了其魯棒性與實時性；仇祝令[8]等考慮目標的空時域特性對正則化項進行約束求解，該方法在一定程度上提升了跟蹤的實時性與精確度。

近年來，基于深度學習的方法在目標檢測領域展現出了高效的性能，其逐漸也成為了目標跟蹤領域研究的熱點[9]。結合深度特征的目標跟蹤算法被相繼提出，宋建鋒[10]等使用VGG16 網絡中第3 組第3 層提取的深度卷積特征進行跟蹤，深度特征具有更高的跟蹤準確率與有效性；周治國[11]等提出了一種基于單發(fā)多盒探測器的空間與時間信息相融合的跟蹤算法，確保了跟蹤速度與準確度。在過往的研究中，傳統(tǒng)方法得到的候選處理目標框并未結合歷史軌跡與時間動態(tài)信息，當目標基于上一幀位置出現較大尺度與劇烈位移變化時，往往會出現跟蹤框漂移與丟失的情況；另一方面，深度卷積特征雖然在空間信息中表現出色，但由于本身結構復雜使得其對時序特征目標表征遲鈍，當出現與前景相似的干擾物以及被背景嚴重遮擋時，其網絡性能會明顯下降。

針對上述研究以及問題的總結，本文提出了一種關聯動態(tài)特征的移動目標自適應跟蹤算法。首先使用門控循環(huán)單元提取待跟蹤目標的時序特征，為避免背景特征影響目標運動狀態(tài)，此過程僅利用時間信息獲取候選處理目標框；然后使用卷積神經網絡處理候選目標框中的圖像信息，得到空間維度的深度特征圖并獲取目標位置信息，同時分離出當前幀的背景深度特征；最后在跟蹤過程中使用分離出的背景深度特征對網絡參數進行更新，提高網絡對移動目標的自適應跟蹤能力，以適應復雜的靶場環(huán)境要求。

1 門控循環(huán)單元

門控循環(huán)單元[12](Gated Recurring Units，GRU)是長短期記憶網絡[13]的一種變體。門控循環(huán)單元結構中包括輸入向量x(t)、先前輸出向量h(t-1)，每個門的輸出可以通過邏輯運算和非線性變換獲得，見式(1)：

式中，z(t)為更新門，r(t)為重置門，W 為參數矩陣、U 為向量，σg為sigmoid函數，σh為tanh 函數，?為哈達瑪積。本文采用門控循環(huán)單元提取待跟蹤目標的時序動態(tài)特征。

2 關聯動態(tài)特征的跟蹤算法設計

考慮到門控循環(huán)單元對時序位置信息具有極強的敏感性，首先以當前圖像前一幀的位置信息作為網絡輸入，對比前一幀與后一幀圖像之間的前景目標位置變換提取前景目標的位置動態(tài)特征，得到候選處理目標框，為避免背景干擾信息對后續(xù)深度特征提取的影響，該階段并未使用圖像信息；然后使用卷積神經網絡提取候選處理目標框的深度特征并確定目標位置，同時將背景卷積特征分離出來；最后在跟蹤過程中，利用背景卷積特征更新網絡參數。圖1 為本文算法網絡框架。

圖1 本文算法網絡框架

2.1 基于時間順序的動態(tài)特征提取

靶場被試設備的相關視頻數據，實則是由圖像采集系統(tǒng)將單幀副圖像基于時間順序組合的結果。本節(jié)利用門控循環(huán)單元對時間序列的敏感性并結合歷史位置動態(tài)信息，得到當前時刻候選目標框。

時序特征提取網絡部分共有3 層GRU 網絡，經過實驗調參確定每層神經元數量：第一層包含128 個神經元，第二層包含64 個神經元，第三層包含32 個神經元。末端加入線性全連接層，該部分最終需輸出當前幀of隱含層狀態(tài)h(of)的特征值，所以不能使用會限制輸出范圍的非線性激活函數。

由于當前幀of 的前一幀of-1 的目標框位置信息pof-1是確定的，該位置信息包含了目標框左上角坐標xof-1、yof-1，目標框寬度wof-1，以及目標框高度hof-1。結合目標物體運動的隨機性，以該目標框為中心使用泊松分布構建m×4 維候選框矩陣Pof-1，見式(2)，該矩陣作為門控循環(huán)單元的輸入，得到隱含層狀態(tài)h(of)，見式(3)：

式中，gGRU(·)為式(1)的計算過程，h(of-1)為前一幀隱含層狀態(tài)，WGRU為門控循環(huán)網絡權重系數矩陣，bGRU為偏置項。經式(3)處理后可得到運動目標時序特征。GRU 網絡末端線性全連接層的輸出，即當前幀of 隱含層狀態(tài)h(of)的特征值，見式(4)：

式中，chv 為特征值，WFC為全連接層權重系數矩陣，bFC為全連接層偏置項。

然后得到候選目標框矩陣Pof-1相對于前一幀目標框pof-1的概率分布函數，見式(5)：

結合式(4)、式(5)，使用softmax 函數計算矩陣Pof-1中的每個矩陣框概率分布，見式(6)：

利用交叉熵函數求得提取到的目標框矩陣Pof-1與前一幀目標框pof-1之間的距離值，見式(7)：

按升序的方式選取距離值最小的前5 個目標框，并取其位置信息的平均值得到目標框。融合目標框與前一幀目標框pof-1位置信息得到當前幀待處理目標框目標框位置信息將作為卷積特征網絡的輸入，用于準確提取待跟蹤目標的卷積特征，并與背景卷積特征區(qū)分開來。

2.2 候選目標特征提取

本文算法框架中候選目標特征提取部分主要由卷積神經網絡部分與候選區(qū)域提取部分組成。目標框圖像作為卷積網絡輸入，經由卷積層、最大池化層提取當前幀圖像的目標框卷積特征與背景卷積特征。

2.2.1 特征圖像提取

卷積神經網絡由卷積層以及最大池化層組成，如圖1 所示。其具體步驟如下：輸入圖像經卷積層運算，使用ReLU[14]作為激活函數。經過卷積層得到特征矩陣，進入池化層進一步提取最有用信息，本文采用最大特征值池化的方法，對特征矩陣進行降維運算。本文采用Conv3-3、Conv4-3、Conv5-3層的輸出進行多層卷積特征融合[15]，最終得到融合后的卷積特征圖，其使得網絡模型在尺度變化等因素的影響下仍能保持優(yōu)異的魯棒性。

2.2.2 候選區(qū)域提取

將候選框區(qū)域特征輸入全連接層進行映射轉換，其中fc2 層采用softmax 函數，最終得到n 個候選區(qū)域R=[r1，r2，…，ri，…，rn]的目標分數f+(ri)和背景分數f-(ri)，對應目標分數最大的第ri個候選框，即為當前幀of 的待跟蹤目標所在位置pof。

2.3 模型訓練

綜上所述，模型訓練階段也將分為兩步，均采用離線的方式進行訓練。

(1)對門控循環(huán)單元網絡的離線訓練

門控循環(huán)單元網絡的損失函數定義見式(8)：

采用Adam[16]算法進行反向梯度優(yōu)化得到損失函數的最優(yōu)值。在GRU 部分使用dropout[17]，指定層輸入單元dropout 比率為0.1，指定循環(huán)單元dropout 比率為0.5。

(2)對卷積神經網絡的離線訓練

為解決跟蹤目標框出現漂移的情況，在對卷積神經網絡訓練階段，使用兩種類別損失項與較小區(qū)域重疊面積閾值結合的損失函數來保證跟蹤目標框的準確性，見式(9)：

式中，losscls(·)為二值交叉熵損失函數，λ和μ為兩項間的平衡權重，xi和yi為兩個不同候選目標框經全連接層映射變化得到的目標類別置信度分數，為IOU閾值0.7 時所得到的類別值為直接使用特征圖中的映射區(qū)域作為類別值。

2.4 網絡模型更新

為了使得網絡模型在復雜環(huán)境下仍能保持優(yōu)異的魯棒性與適應性，采用背景更新與長期更新相結合的方法對全連接層進行更新。采用背景更新[18]對網絡參數調整的方式，可以在短時間能內提升網絡模型對待跟蹤目標尺度變化以目標姿態(tài)大幅調整的適應能力。同時結合長期更新的方法，可以使得網絡模型在背景噪聲、光線變換等環(huán)境因素下保持較好的魯棒性。選取最近跟蹤成功的50 幀圖像，其經過特征圖像提取和候選區(qū)域提取所生成的待跟蹤目標框即IOU>0.7 時的正樣本，并結合上述背景更新時所采用的背景負樣本對全連接層參數進行更新。

3 結果與分析

3.1 數據集劃分

采用跟蹤數據集TrackingNet[19]對網絡模型進行訓練，選取該數據集的800 段視頻序列，將其按照3:1 的比例劃分為訓練集與驗證集。然后為了測試網絡模型的泛化能力，采用Visual Tracker Benchmark 數據集中的8 段與本文跟蹤對象及場景相似的視頻序列(Car1:1020 幀、Car2:913 幀、Car4:659 幀、Car24:3059 幀、BlurCar1:742 幀、Blur-Car2:585 幀、RedTeam:1918 幀、MotorRolling:164 幀)作 為測試集，對訓練好的模型進行測試。為了再次驗證本文所提算法的有效性，最后通過圖像采集系統(tǒng)所采集到的真實靶場視頻數據對網絡模型進行應用驗證。

3.2 評價指標與結果分析

本文選取平均中心像素誤差(Average Pixel Error，ARE)與平均重疊率(Average Overlap Rate，AOR)作為評判標準。ARE 是根據預測目標框中心位置和真實目標框中心位置的像素距離作為誤差，該誤差值越小說明算法的跟蹤精準度越高。AOR 是以預測目標框與真實目標框之間的重疊面積來對成功跟蹤進行評判，對整個視頻片段來說，單幀跟蹤成功數越多，算法對視頻片段跟蹤成功率越高。

將本文算法與幾種具有代表性的跟蹤算法(KCF[5]、HCF[20]、CFNet[21]、MDNet[22])進行對比試驗。圖2 展示了上述5 種算法在BlurCar1 視頻序列中第20 幀、第50 幀、第150 幀的跟蹤結果。從跟蹤結果上可以直觀地看到：KCF、HCF 算法在面對畫面模糊的情況下，從跟蹤一開始就出現了跟蹤框漂移的現象；在第50 幀較為清晰的目標中，漂移現象得到了輕微的改善；但在第150 幀跟蹤目標變得更為模糊的情況下，KCF 與HCF 算法徹底丟失跟蹤目標。CFNet、MDNet 算法在第20 幀并未出現明顯的跟蹤框漂移現象，隨著視頻序列的遞進，兩種算法的跟蹤匹配度較高；但在第150 幀畫質模糊的情況下，可以看到MDNet 跟蹤框出現了尺度收縮的情況，即跟蹤框僅能匹配到待跟蹤目標的部分區(qū)域，CFNet 跟蹤框出現了較為明顯漂移。本文算法在結合深度特征與深度卷積網絡的基礎上引入了位置動態(tài)特征，從跟蹤結果中可以看到該算法克服了畫面模糊、光照弱、背景光源干擾等跟蹤難點，在視頻序列中對目標始終能夠保持穩(wěn)定的跟蹤。

圖2 算法在BlurCar1 視頻中的跟蹤結果

圖3 展示了6 種算法在RedTeam 視頻序列中第20幀、第200 幀、第500 幀、第800 幀、第900 幀、第1 530幀的跟蹤結果。該6 幀圖像能夠較為全面地反映整個序列中的待跟蹤目標與背景的變化特征：待跟蹤目標隨著時序變化，其尺度由小變大，在移動過程中第800 幀出現了對比較為強烈的白色干擾物體；在第900 幀時干擾背景基本與待跟蹤目標位置處于同一位置。KCF 與HCF相比在第900 幀丟失了跟蹤目標，目標框對白色背景進行了誤跟蹤，但在第1 530 幀兩種算法同時對目標成功跟蹤，但目標框出現了不同程度的漂移。CFNet 與MDNet算法跟蹤框漂移現象得到了改善，但跟蹤框尺度不能完全匹配目標物體的現象依舊存在，在第800 幀和第900幀跟蹤框尺度不能完全覆蓋目標區(qū)域并且存在著向上移動的趨勢。本文算法始終保持目標框的自適應尺度匹配以及良好的跟蹤狀態(tài)，體現出了本文算法的自適應跟蹤能力并進一步表征了其在復雜環(huán)境和各種干擾因素下仍能保持優(yōu)異的魯棒性與適應性的能力。

圖3 算法在RedTeam 視頻中的跟蹤結果

為了量化上述算法跟蹤性能及其在測試數據集中的整體表現，采用平均中心像素誤差與平均重疊率作為對每種方法的評價標準，如表1 和表2 所示。從表中結果可以直觀地看到，本文所提出的算法相比于其他算法展現出了較高的跟蹤精準度與目標重疊率，直觀且量化地證明了提取位置動態(tài)特征來獲得候選處理目標框這一方法的有效性與正確性，同時進一步證明了結合深度卷積網絡提取候選處理目標框深度特征的結構應用在目標跟蹤任務中的魯棒性與穩(wěn)健性。

表1 測試集中的平均中心像素誤差

表2 測試集中的平均重疊率

經過測試集對算法進行驗證后，使用圖像采集系統(tǒng)所采集到的靶場視頻數據對算法的實際性能驗證。該視頻數據中包含了試驗現場某型號設備以及揚塵、揚沙、強光等多變的環(huán)境背景，其對本文算法未來實際應用于試驗現場自適應目標跟蹤任務提供了可行性的依據。

表3 為綜合表現的統(tǒng)計結果，可以看到本文關聯時序特征的跟蹤算法具有最優(yōu)的誤差值與重疊率，其成功跟蹤率比MDNet 方法提升了16.2%，平均中心像素誤差降低了54.1%，平均重疊率提升了12.2%，進一步驗證了算法的實際性能。通過對比平均跟蹤幀率可以發(fā)現，本文算法相對于基于相關濾波算法的跟蹤速度還有較大的提升空間，其耗時主要集中在提取位置動態(tài)特征來獲得候選處理目標框以及模型更新的過程。

表3 綜合表現統(tǒng)計結果

4 結論

為了應對試驗現場復雜的環(huán)境背景，本文提出了一種基于時序動態(tài)特征提取候選處理目標框再結合深度卷積網絡提取候選框深度特征來進行跟蹤任務的算法。為避免背景信息對后續(xù)深度特征提取的影響，該算法首先利用非圖像信息提取當前幀前景目標的位置信息即候選目標框；然后利用卷積神經網絡進行多層深度特征融合，得到融合后的卷積特征圖并最終確定目標位置。跟蹤過程中采用背景更新與長期更新相結合的方法對網絡參數進行更新，使得網絡模型在復雜背景環(huán)境下仍能保持優(yōu)異的魯棒性與適應性。在測試集中的結果表明，本文算法有著良好的泛化能力，且展示出了穩(wěn)定且高成功率的跟蹤效果；在真實試驗數據中的結果表明，揚沙、強光、地域廣闊等現場環(huán)境下算法仍能保持較好的魯棒性與自適應跟蹤能力。在面對未來試驗現場應用前，需對特征提取復雜度以及網絡模型進一步優(yōu)化，提升實時跟蹤速率。