陳志旺，張忠新，宋娟，雷海鵬，彭勇

（1.燕山大學(xué)工業(yè)計(jì)算機(jī)控制工程河北省重點(diǎn)實(shí)驗(yàn)室，河北 秦皇島 066004；2.國(guó)網(wǎng)黑龍江省電力有限公司佳木斯供電公司，黑龍江 佳木斯 154002；3.燕山大學(xué)電氣工程學(xué)院，河北 秦皇島 066004）

1 引言

視覺對(duì)象跟蹤是計(jì)算機(jī)視覺任務(wù)的一個(gè)主要分支，具有重要的理論研究意義和應(yīng)用價(jià)值，在車輛視覺導(dǎo)航系統(tǒng)、智能人機(jī)交互、智能視頻監(jiān)控系統(tǒng)和智能交通等方面具有廣泛應(yīng)用。簡(jiǎn)而言之，視覺對(duì)象跟蹤旨在給定任意感興趣目標(biāo)在某一視頻圖像序列的第一幀中位置和形狀信息的前提下，在后續(xù)幀中預(yù)測(cè)被跟蹤目標(biāo)的實(shí)際位置和形狀大小。

解決視覺對(duì)象跟蹤問(wèn)題的方法主要可以分為兩類：生成式跟蹤算法和判別式跟蹤算法。生成式跟蹤算法在當(dāng)前幀中對(duì)目標(biāo)區(qū)域進(jìn)行建模，在下一幀中尋找與模型匹配最相似的區(qū)域，從而確定該區(qū)域?yàn)轭A(yù)測(cè)目標(biāo)位置。判別式跟蹤算法將目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為一個(gè)關(guān)于目標(biāo)和背景的二分類問(wèn)題，通過(guò)訓(xùn)練一個(gè)分類器以將目標(biāo)與背景區(qū)分開，從而找到預(yù)測(cè)目標(biāo)位置。近年來(lái)，隨著深度學(xué)習(xí)的發(fā)展，由于基于深度學(xué)習(xí)的判別式跟蹤算法通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征具有很強(qiáng)的辨別性并且具有穩(wěn)健的效果，因此判別式跟蹤算法逐漸成為視覺對(duì)象跟蹤領(lǐng)域中的主流方法。

判別式跟蹤算法中具有代表性的是基于相關(guān)濾波類跟蹤算法。其首先在第一幀中提取模板目標(biāo)圖像特征作為濾波器模板；然后利用后續(xù)幀的圖像與濾波器模板做相關(guān)性卷積，計(jì)算后續(xù)幀圖像不同部分的響應(yīng)值；最后將具有最大響應(yīng)值對(duì)應(yīng)的部分作為跟蹤的結(jié)果，使目標(biāo)跟蹤算法在跟蹤精度和速度上均獲得了顯著提升。其中，比較典型的算法包括最小均方誤差輸出和（MOSSE,minimum output sum of squared error）濾波器[1]、基于核相關(guān)濾波器（KCF,kernelized correlation filter）[2]的目標(biāo)跟蹤算法、空間正則化的判別式相關(guān)濾波器（SRDCF,spatially regularized discriminative correlation filter）跟蹤算法[3]、基于有效卷積運(yùn)算目標(biāo)跟蹤（ECO,efficient convolution operator for tracking）算法[4]。

除了相關(guān)濾波類跟蹤算法，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于孿生網(wǎng)絡(luò)的跟蹤算法由于其在保證實(shí)時(shí)速度運(yùn)行的前提下在各種基準(zhǔn)跟蹤數(shù)據(jù)集測(cè)試中處于領(lǐng)先地位而受到了廣泛關(guān)注。最先提出的基于孿生實(shí)例搜索的目標(biāo)跟蹤（SINT,Siamese instance search for tracking）[5]算法和基于全卷積孿生網(wǎng)絡(luò)的目標(biāo)跟蹤（SiamFC,fully-convolutional Siamese networks for object tracking）[6]算法使用孿生網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)對(duì)象和候選圖像塊之間的相似性度量，從而將跟蹤建模為在整個(gè)圖像上搜索目標(biāo)對(duì)象的問(wèn)題，并由此衍生出一系列基于孿生網(wǎng)絡(luò)的跟蹤算法，例如，在SiamFC 算法的基礎(chǔ)上引入?yún)^(qū)域提議網(wǎng)絡(luò)（RPN,region proposal network）的基于區(qū)域提議網(wǎng)絡(luò)的目標(biāo)跟蹤（SiamRPN,high performance visual tracking with Siamese region proposal network）[7]算法，它由用于前景-背景估計(jì)的分類網(wǎng)絡(luò)和用于錨點(diǎn)邊界框修正的回歸網(wǎng)絡(luò)（即學(xué)習(xí)與預(yù)定義錨點(diǎn)邊界框的2D 坐標(biāo)偏移量）組成，允許使用可變寬高比的邊界框估計(jì)目標(biāo)位置和目標(biāo)尺寸，從而獲取一個(gè)更加準(zhǔn)確的邊界框。隨后，基于干擾物感知的孿生網(wǎng)絡(luò)跟蹤（DaSiamRPN,distractor-aware Siamese network for visual object tracking）[8]算法進(jìn)一步引入了干擾物感知模塊，并提高了模型的辨別能力?；诟詈透鼘捑W(wǎng)絡(luò)的孿生網(wǎng)絡(luò)跟蹤（SiamDW,deeper and wider Siamese network for real-time visual tracking）[9]算法分別在SiamFC、SiamRPN 的基礎(chǔ)上，通過(guò)在更深的殘差網(wǎng)絡(luò)（ResNet）、更寬的Inception 網(wǎng)絡(luò)中引入殘差塊內(nèi)部裁剪（CIR,cropping-inside residual）單元，進(jìn)一步提高了跟蹤的準(zhǔn)確性和穩(wěn)健性?；谏疃染W(wǎng)絡(luò)的孿生網(wǎng)絡(luò)跟蹤（SiamRPN++,evolution of Siamese visual tracking with very deep network）[10]算法在SiamRPN 的基礎(chǔ)上，使用更深的特征提取網(wǎng)絡(luò)ResNet50 代替AlexNet，并且加入多層融合的策略，使用逐通道互相關(guān)操作代替SiamFC 中簡(jiǎn)單的互相關(guān)操作，從而帶來(lái)更高的跟蹤精度。能夠進(jìn)行目標(biāo)分割的在線孿生網(wǎng)絡(luò)跟蹤（SiamMask,fast online object tracking and segmentation:a unifying approach）[11]算法將目標(biāo)跟蹤和視頻語(yǔ)義分割統(tǒng)一起來(lái)，在進(jìn)行目標(biāo)跟蹤的同時(shí)，對(duì)被跟蹤目標(biāo)生成一個(gè)二進(jìn)制掩模，進(jìn)而得到一個(gè)自適應(yīng)掩模的預(yù)測(cè)邊界框，大幅提高了跟蹤的準(zhǔn)確性。

雖然上述基于孿生網(wǎng)絡(luò)的跟蹤算法均取得了當(dāng)時(shí)最優(yōu)的性能，由于其均只使用離線訓(xùn)練的方法，因此存在一定的局限性。1) 基于孿生網(wǎng)絡(luò)的跟蹤算法忽略了跟蹤過(guò)程中的背景信息，導(dǎo)致其在面臨相似性干擾的情況下判別能力較弱；2) 基于相關(guān)濾波器的跟蹤算法[11]通過(guò)使用手工制作的特征和預(yù)先訓(xùn)練得到的用于對(duì)象分類的深層特征來(lái)學(xué)習(xí)對(duì)象外觀的在線模型，相對(duì)而言，在基于孿生網(wǎng)絡(luò)的跟蹤算法中使用在線學(xué)習(xí)機(jī)制的思想受到的關(guān)注較少；3) 基于孿生網(wǎng)絡(luò)的跟蹤算法僅使用第一幀作為模板幀，或者僅通過(guò)移動(dòng)加權(quán)平均法更新模板幀，導(dǎo)致其在被跟蹤目標(biāo)發(fā)生巨大形變、旋轉(zhuǎn)和運(yùn)動(dòng)模糊的情況下跟蹤性能變差，在進(jìn)行目標(biāo)回歸時(shí)，穩(wěn)健性較差，容易跟丟目標(biāo)。另外，基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法使用互相關(guān)性特征圖來(lái)度量模板幀特征和檢測(cè)幀局部特征的相似性，從而確定跟蹤目標(biāo)的位置，理想的互相關(guān)得分圖的尖峰位置即為被跟蹤目標(biāo)的實(shí)際位置。通過(guò)離線訓(xùn)練學(xué)習(xí)到好的特征表征進(jìn)而產(chǎn)生一個(gè)好的互相關(guān)得分圖，使跟蹤算法獲得更好的跟蹤效果，這也是SiamFC 算法真正有效的原因，而一些基于孿生網(wǎng)絡(luò)的跟蹤算法背離了這個(gè)初衷，離線訓(xùn)練學(xué)習(xí)到一個(gè)扭曲的特征圖，因此限制了其跟蹤性能的提高。

2 算法描述

本文算法以SiamRPN++算法為基礎(chǔ)，引入一種在線更新機(jī)制。該在線更新機(jī)制包括具有判別性的在線目標(biāo)分類模塊和有效的自適應(yīng)模板更新模塊，提出在線目標(biāo)分類及自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤算法。整體框架如圖1 所示，主要包括特征提取模塊、SiamRPN 模塊、分類互相關(guān)特征圖監(jiān)督模塊、在線目標(biāo)分類模塊和自適應(yīng)模板更新模塊。

2.1 特征提取模塊和SiamRPN 模塊

本文將SiamRPN++算法作為基準(zhǔn)算法，特征提取模塊仍然沿用SiamRPN++使用的、修改后的ResNet50 網(wǎng)絡(luò)，SiamRPN 模塊的使用也與SiamRPN++算法保持一致?；趯\生網(wǎng)絡(luò)的目標(biāo)跟蹤算法使用互相關(guān)操作將目標(biāo)跟蹤問(wèn)題表述為模板匹配問(wèn)題，通過(guò)學(xué)習(xí)一個(gè)嵌入式空間φ(·)（如圖1中的特征提取模塊所示）來(lái)計(jì)算待搜索區(qū)域中能夠最佳匹配目標(biāo)模板的位置，如式(1)所示。

其中，分支φ(z)為學(xué)習(xí)目標(biāo)模板幀z的特征表示，分支φ(x)為學(xué)習(xí)檢測(cè)幀x的特征表示，并且這2 個(gè)分支φ(·)的網(wǎng)絡(luò)參數(shù)權(quán)重是共享的；b為表征相似性度量值的偏置量，*為互相關(guān)操作，M表示mathing階段。

在式(1)基礎(chǔ)上，SiamRPN++算法使用區(qū)域候選網(wǎng)絡(luò)頭（如圖1 中RPN_head 所示）中的hcls[·] 和hreg[·]分別獨(dú)立地預(yù)測(cè)目標(biāo)位置和回歸預(yù)測(cè)邊界框，如式(2)所示。

圖1 在線目標(biāo)分類及自適應(yīng)模板更新的孿生網(wǎng)絡(luò)跟蹤算法整體框架

其中，φcls(·) 和φreg(·) 等同于式(1)中的φ(·)，分別用于學(xué)習(xí)目標(biāo)模板幀z和檢測(cè)幀x的特征表示；均為4 維向量，存儲(chǔ)了各個(gè)預(yù)定義錨點(diǎn)框的目標(biāo)/背景得分信息，存儲(chǔ)了相對(duì)于預(yù)定義錨點(diǎn)框中心點(diǎn)位置的坐標(biāo)偏移量以及預(yù)定義錨點(diǎn)框與真實(shí)目標(biāo)框的寬高比例信息。本文采用和 SiamRPN[7]、SiamRPN++[10]一致的候選邊界框篩選策略，得到更加可靠的目標(biāo)/背景得分信息，根據(jù)使用非極大值抑制（NMS,non maximum suppression）找到得分最高的預(yù)定義錨點(diǎn)框（如圖1 的跟蹤結(jié)果1 中邊界框所示），從中選擇得到對(duì)應(yīng)錨點(diǎn)框中心點(diǎn)的坐標(biāo)偏移量(dxreg,dyreg)以及該錨點(diǎn)框與真實(shí)目標(biāo)框的寬高比例信息(dwreg,dhreg)，在此基礎(chǔ)上，對(duì)得分最高的預(yù)定義錨點(diǎn)框進(jìn)行邊界框坐標(biāo)回歸，如式(3)所示，進(jìn)而得到最終的目標(biāo)預(yù)測(cè)邊界框（如圖1 的跟蹤結(jié)果2 中邊界框所示）。

2.2 分類互相關(guān)特征圖監(jiān)督模塊

基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法使用互相關(guān)特征圖來(lái)度量模板幀特征和檢測(cè)幀局部特征的相似性，從而確定跟蹤目標(biāo)的位置，理想的互相關(guān)特征圖的尖峰位置即為被跟蹤目標(biāo)的實(shí)際位置，這也是SiamFC 真正有效的原因。SiamRPN++中的區(qū)域提議網(wǎng)絡(luò)可以看作一個(gè)修正網(wǎng)絡(luò)，因此，如果通過(guò)網(wǎng)絡(luò)可以學(xué)習(xí)到一個(gè)好的互相關(guān)特征圖，那么經(jīng)過(guò)RPN 模塊修正就會(huì)得到一個(gè)更好的響應(yīng)得分圖?；ハ嚓P(guān)特征圖與RPN 特征圖如圖2 所示。由于SiamRPN++采用多層融合的策略，對(duì)經(jīng)過(guò)3 個(gè)RPN 模塊的輸出值附加相應(yīng)的權(quán)重值，從圖2 可以發(fā)現(xiàn)，SiamRPN++中互相關(guān)特征圖（如圖2 中互相關(guān)特征圖所示）與經(jīng)過(guò)RPN 模塊修正之后的得分圖（如圖2 中RPN 特征圖所示）并不是簡(jiǎn)單的正相關(guān)關(guān)系，這與3 個(gè)RPN 模塊對(duì)應(yīng)的權(quán)重值有關(guān)。在訓(xùn)練過(guò)程中，這3 個(gè)權(quán)重值也需要通過(guò)訓(xùn)練學(xué)習(xí)得到，并且這3 個(gè)權(quán)重值的學(xué)習(xí)變化會(huì)使整個(gè)跟蹤框架中的參數(shù)學(xué)習(xí)問(wèn)題變得復(fù)雜。因此，本文舍棄了多層融合的策略，直接選用來(lái)自特征提取模塊的單層輸出特征，受ta-SiamRPN++的啟發(fā)，layer4 的輸出值對(duì)跟蹤效果影響較大[12]，因此本文只選用layer4。3.3.1 節(jié)實(shí)驗(yàn)證明，使用單層輸出特征取得了比SiamRPN++使用多層輸出特征更好的跟蹤效果。為了得到理想的互相關(guān)特征圖，本文采用對(duì)互相關(guān)特征圖進(jìn)行監(jiān)督的策略，從而有利于克服相似干擾。

圖2 互相關(guān)特征圖與RPN 特征圖對(duì)比

2.2.1 監(jiān)督標(biāo)簽的設(shè)定

設(shè)監(jiān)督標(biāo)簽與SiamRPN 模塊設(shè)定的真實(shí)標(biāo)簽保持一致，定義為

G(i,j)=1 代表該位置至少存在一個(gè)錨點(diǎn)框與真實(shí)邊界框的交并比（IoU,intersection over union）值大于0.6，即判別該位置為正；G(i,j)=0代表該位置所有錨點(diǎn)框與真實(shí)錨點(diǎn)框的IoU 值均小于 0.6，即判別該位置為負(fù)。IoU=，其中，Banchor為錨點(diǎn)的邊界框，Bgroundtruth為目標(biāo)的真實(shí)邊界框。

2.2.2 L-softmax 損失函數(shù)

交叉熵?fù)p失和歸一化指數(shù)函數(shù)（softmax）是卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）中最常用的計(jì)算機(jī)視覺數(shù)學(xué)工具之一，而大裕度歸一化指數(shù)損失函數(shù)（L-softmax,large-margin softmax loss）[13]是一種改進(jìn)的softmax 分類方法，可以提高類間可分離性和類內(nèi)緊湊性。此外，L-softmax 不僅可以調(diào)整所需的裕度，而且可以避免過(guò)度擬合。因此使用L-softmax 損失函數(shù)代替?zhèn)鹘y(tǒng)的交叉熵?fù)p失函數(shù)。

定義第i個(gè)輸入特征xi對(duì)應(yīng)標(biāo)簽值yi，傳統(tǒng)的交叉熵?fù)p失為

其中，N為樣本集合的大??；fj為類別得分f中的第j個(gè)元素值，j∈{0,…,J}，J為類別的數(shù)量，本文用于二分類判別任務(wù)，J=1，j∈{0,1}；標(biāo)簽值yi∈{0,1}。在目標(biāo)分類任務(wù)中，f通常為全連接層W的輸出值，所以，其中，Wj為W的第j列，fyi為第i個(gè)輸入特征xi對(duì)應(yīng)標(biāo)簽值yi處的類別得分值。由于fj為Wj和xi的內(nèi)積，因此，其中，θj∈[0,π]為Wj與xi之間的矢量夾角，由此可得

跟蹤問(wèn)題實(shí)際解決的是跟蹤目標(biāo)的判別問(wèn)題（目標(biāo)為正樣本，非目標(biāo)為負(fù)樣本），因此可以將該問(wèn)題歸結(jié)為二分類問(wèn)題，假設(shè)樣本xi為正樣本，原始的softmax 函數(shù)中需滿足，其中W+和W-分別為將樣本xi訓(xùn)練為正、負(fù)樣本學(xué)習(xí)得到的權(quán)重）。

如圖3 所示，L-softmax 為了使正負(fù)樣本之間存在一個(gè)決策裕度，即，其中，θ+∈[0,π/m]；m為與決策裕度密切相關(guān)的整數(shù)。所以必然滿足

圖3 2 種決策邊界對(duì)比說(shuō)明

式(7)中的分類標(biāo)準(zhǔn)是對(duì)樣本xi進(jìn)行正確分類予以更嚴(yán)格的要求，從而為正樣本與負(fù)樣本之間產(chǎn)生更嚴(yán)格的決策邊界。

引入決策裕度后，L-softmax 損失函數(shù)定義為

其中，m越大，決策裕度越大，目標(biāo)函數(shù)的學(xué)習(xí)越難；應(yīng)該單調(diào)遞減并且。為了簡(jiǎn)化前向和反向傳播的計(jì)算，文獻(xiàn)[13]將定義為

可以看出，L-softmax 在原來(lái)的基礎(chǔ)上附加滿足更嚴(yán)格的約束條件式(7)，對(duì)輸出預(yù)測(cè)值fyi進(jìn)行優(yōu)化。在訓(xùn)練過(guò)程中，L-softmax 存在難以收斂的問(wèn)題[13]，采用一種學(xué)習(xí)策略使式(12)成立。

由于實(shí)際的跟蹤問(wèn)題采用與目標(biāo)檢測(cè)任務(wù)不同的框架，因此需要對(duì)L-softmax 進(jìn)行如下調(diào)整。將檢測(cè)分支得到的特征圖φcls(x) 作為式(8)中的xi，將模板分支得到的特征圖φcls(z)作為式(8)中的Wj，則對(duì)于L-softmax，Wj、xi都已經(jīng)是固定的參數(shù)，而Wj、xi也是特征提取網(wǎng)絡(luò)F、調(diào)整（adjust）層、卷積（conv）層學(xué)習(xí)后的結(jié)果，所以最終是通過(guò)前面各個(gè)卷積層的學(xué)習(xí)，使Wj、xi滿足一定的目標(biāo)或者條件，即式(5)最小原則。

從圖2(e)可以發(fā)現(xiàn)，對(duì)互相關(guān)特征圖進(jìn)行監(jiān)督后，互相關(guān)特征圖中的目標(biāo)區(qū)域具有較高的響應(yīng)，并且在此基礎(chǔ)上，使用RPN 模塊進(jìn)行修正，得到了一個(gè)更好的響應(yīng)得分圖；濾除了目標(biāo)周圍的相似干擾；在VOT2018 數(shù)據(jù)集上取得了比SiamRPN++更好的效果。

2.3 在線目標(biāo)分類模塊

在線目標(biāo)分類模塊主要包括3 個(gè)子模塊，如圖4 所示。

圖4 在線分類模塊

1) 壓縮子模塊，用于減少來(lái)自特征提取模塊的特征通道數(shù)，使用1×1 的卷積層加以實(shí)現(xiàn)，從而使其更適用于分類任務(wù)，也減少了相應(yīng)的計(jì)算量。

2) 注意力子模塊，用于解決原始特征在空間位置和各個(gè)通道之間的數(shù)據(jù)失衡問(wèn)題，以提取特定于當(dāng)前目標(biāo)的特征。經(jīng)過(guò)離線訓(xùn)練得到卷積特征φcls(x)并且在實(shí)際的跟蹤過(guò)程中固定卷積層φcls的權(quán)重參數(shù)，提取得到的卷積特征φcls(x)并不針對(duì)某個(gè)特定的被跟蹤對(duì)象，而是提取目標(biāo)的通用特征。直接使用原始特征，相對(duì)于正樣本（即目標(biāo)區(qū)域）而言，負(fù)樣本（即圖像中的背景區(qū)域）所占比重大于正樣本所占比重，導(dǎo)致所有負(fù)樣本置信度得分的擬合將主導(dǎo)在線學(xué)習(xí)；另外，只有很少的卷積核在構(gòu)造每個(gè)特征模式或?qū)ο箢悇e時(shí)發(fā)揮重要作用[14]。原始特征在空間位置和各個(gè)通道之間的數(shù)據(jù)失衡都會(huì)降低模型的判別能力，基于以上問(wèn)題，本文引入雙重注意力機(jī)制（空間注意力機(jī)制和通道注意力機(jī)制，如圖4 中sζ、cζ所示）[15]，sζ代表對(duì)每個(gè)二維空間位置平均池化后，由softmax 操作形成的二維空間注意力特征圖，用于特征圖位置權(quán)重的獲??；cζ代表對(duì)每個(gè)通道進(jìn)行平均池化之后經(jīng)由2 個(gè)全連接層（包含激活函數(shù)）形成的通道注意力特征圖，用于特征圖通道權(quán)重的獲取，最終提取到特定于當(dāng)前目標(biāo)的特征，從而將目標(biāo)和搜索區(qū)域中的其他干擾物區(qū)分開。

3) 濾波器子模塊，用于在線學(xué)習(xí)實(shí)際跟蹤過(guò)程中的濾波器參數(shù)更新，使用卷積核大小為4×4 的卷積層加以實(shí)現(xiàn)，以抑制在線跟蹤過(guò)程中的背景噪聲。Da-SiamRPN[8]中指出，即使提取到能對(duì)干擾物感知（特定于當(dāng)前目標(biāo)）的特征，基于孿生網(wǎng)絡(luò)的跟蹤算法在跟蹤過(guò)程中也容易被相似物體干擾。產(chǎn)生這種現(xiàn)象的一個(gè)更深層次的原因在于，沒有執(zhí)行在線權(quán)重更新來(lái)抑制在線跟蹤過(guò)程中存在的背景噪聲。因此，本文引入在線更新的濾波器子模塊，以抑制在線跟蹤過(guò)程中的背景噪聲。

圖4 中的壓縮子模塊和注意力子模塊主要用于提取對(duì)當(dāng)前被跟蹤目標(biāo)的特定特征，因此只需要在給定圖像序列的第一幀中進(jìn)行參數(shù)更新，在后續(xù)的跟蹤過(guò)程中該參數(shù)保持不變以確保跟蹤的穩(wěn)定性。利用提取得到的特定于當(dāng)前目標(biāo)的特征來(lái)優(yōu)化后續(xù)幀中的濾波器子模塊，以抑制跟蹤過(guò)程中的背景噪聲。3.3.2 節(jié)實(shí)驗(yàn)驗(yàn)證了在線分類模塊的有效性。

在線分類模塊的參數(shù)求解可看成一個(gè)優(yōu)化問(wèn)題，可通過(guò)求解以下優(yōu)化目標(biāo)來(lái)獲取。

針對(duì)式(13)的在線學(xué)習(xí)優(yōu)化問(wèn)題，本文沿用ATOM[16]中的牛頓-高斯下降法代替?zhèn)鹘y(tǒng)的隨機(jī)梯度下降（SGD,stochastic gradient descent）作為優(yōu)化策略，將式(13)重新定義為殘差向量的平方范數(shù)形式

獲得fC后，使用三次插值將其調(diào)整到與SiamRPN 模塊中的分類得分相同的空間大小，然后，通過(guò)加權(quán)求和將它們?nèi)诤显谝黄?，得出在線目標(biāo)分類得分，可以表示為

其中，βC為2 種分類分?jǐn)?shù)的加權(quán)系數(shù)值。

2.4 自適應(yīng)模板更新模塊

2.4.1 經(jīng)典的模板更新策略

一些跟蹤方法（如Da-SiamRPN[8]、SiamMargin[17]）使用一種簡(jiǎn)單的移動(dòng)平均策略基于給定的跟蹤樣本更新目標(biāo)外觀模型，目標(biāo)模板作為滑動(dòng)平均值進(jìn)行更新，權(quán)重隨著時(shí)間的增長(zhǎng)呈指數(shù)衰減。選擇合適的指數(shù)權(quán)重，可以得出用于更新模板的后續(xù)遞推式為

其中，i為第i幀圖像；Ti為使用第i幀計(jì)算得到的新模板幀；為累積模板；η為更新率，通常設(shè)置為一個(gè)固定的較小值（如η=0.01），假設(shè)對(duì)象的外觀在連續(xù)幀中平穩(wěn)且持續(xù)地變化。在基于孿生網(wǎng)絡(luò)的跟蹤算法中，T是由特征提取網(wǎng)絡(luò)從特定幀中得到的目標(biāo)外觀模板。盡管原始的SiamFC 跟蹤算法[6]和一系列基于孿生網(wǎng)絡(luò)的跟蹤算法[7,9,11]不執(zhí)行任何目標(biāo)模板更新，但較新的孿生網(wǎng)絡(luò)跟蹤器[8,17]已采用式(16)來(lái)更新目標(biāo)模板信息。

雖然模板平均方法為整合新信息提供了一種簡(jiǎn)單的方法，在大多數(shù)跟蹤情況下，這種更新機(jī)制是不夠的，存在以下幾個(gè)缺點(diǎn)。1) 目標(biāo)對(duì)象可能會(huì)因變形、快速運(yùn)動(dòng)或遮擋而出現(xiàn)外觀變化，從而使更新的條件不同，但它為每個(gè)圖像序列應(yīng)用了恒定的更新速率。即使在同一視頻中，目標(biāo)模板上所需的更新也可能在不同時(shí)間動(dòng)態(tài)變化。2) 固定的更新策略還導(dǎo)致對(duì)象模板更集中于最近的幀，而遺忘了被跟蹤目標(biāo)的歷史外觀信息。3) 沿目標(biāo)模板的所有空間維度（包括通道維度）的更新是恒定的。被跟蹤目標(biāo)面臨部分遮擋情況下，僅需要更新模板中的一部分，這種更新策略并不有效。4) 跟蹤算法無(wú)法在目標(biāo)漂移后重新跟蹤目標(biāo)。部分原因是它無(wú)法訪問(wèn)目標(biāo)的原始外觀模板T0，而外觀模板T0是唯一給定目標(biāo)信息真實(shí)可靠的模板。目標(biāo)模板更新后的特征僅限于先前幀目標(biāo)外觀模板和當(dāng)前幀目標(biāo)外觀模板的簡(jiǎn)單線性組合，其嚴(yán)重限制了更新機(jī)制的靈活性，這在目標(biāo)進(jìn)行復(fù)雜外觀變化時(shí)很重要，因此考慮更復(fù)雜的組合功能有望改善跟蹤結(jié)果。

2.4.2 自適應(yīng)模板更新策略

為了解決上述移動(dòng)平均策略出現(xiàn)的問(wèn)題，本文通過(guò)學(xué)習(xí)通用的函數(shù)φ來(lái)更新目標(biāo)模板。

圖5 展示了在基于孿生網(wǎng)絡(luò)的跟蹤算法上使用UpdateNet 來(lái)自適應(yīng)更新目標(biāo)模板信息的整體框架。本文使用圖1 中的φcls提取得到目標(biāo)區(qū)域的深層特征信息。首先，根據(jù)第一幀給定的目標(biāo)真實(shí)邊界框信息提取得到第一幀目標(biāo)模板特征。為了獲得當(dāng)前幀的模板特征Ti，使用之前所有幀的累積模板特征為上一幀中UpdateNet 的輸出值）來(lái)預(yù)測(cè)第i幀中目標(biāo)位置（如圖5 中虛線箭頭所示），并且提取得到目標(biāo)區(qū)域的特征信息Ti（如圖5 中最下部實(shí)線箭頭所示）。將第一幀目標(biāo)模板特征、當(dāng)前幀的模板特征Ti、上一幀的累積模板特征級(jí)聯(lián)并送入U(xiǎn)pdateNet。對(duì)于第一幀，將和Ti均設(shè)置為。UpdateNet 唯一使用的真實(shí)信息是第一幀給定的目標(biāo)邊界框信息，其他所有UpdateNet 的輸入全部基于跟蹤算法預(yù)測(cè)得到的目標(biāo)邊界框信息?？梢哉f(shuō)，是指導(dǎo)更新UpdateNet 最可靠的信息來(lái)源，因此，采用殘差學(xué)習(xí)策略，通過(guò)從向UpdateNet 的輸出添加跳連接的方式使UpdateNet學(xué)習(xí)如何修正真實(shí)目標(biāo)模板特征，并將其應(yīng)用于當(dāng)前幀的跟蹤。具體的UpdateNet 的訓(xùn)練細(xì)節(jié)可以參考文獻(xiàn)[18]和3.2.2 節(jié)中關(guān)于UpdateNet 的具體參數(shù)設(shè)置。

圖5 UpdateNet 的整體框架

UpdateNet 通過(guò)整合當(dāng)前幀給出的信息來(lái)更新上一幀累積得到的目標(biāo)模板。因此，基于當(dāng)前幀目標(biāo)模板和累積目標(biāo)模板之間的差異，UpdateNet能夠自適應(yīng)當(dāng)前幀的特定更新需求。此外，UpdateNet 還考慮了初始目標(biāo)模板，從而提高了抵抗目標(biāo)模板漂移的穩(wěn)健性。

3 實(shí)驗(yàn)

本節(jié)采用VOT2018[19]、VOT2019[17]作為實(shí)驗(yàn)數(shù)據(jù)集。VOT2018 包含60 個(gè)具有精細(xì)人工標(biāo)注的目標(biāo)跟蹤圖像序列，含有攝像機(jī)運(yùn)動(dòng)、光照變化、運(yùn)動(dòng)變化、尺寸變化、遮擋5 種跟蹤難點(diǎn)。VOT2019是通過(guò)替換VOT2018 中跟蹤難度較小的20%目標(biāo)跟蹤圖像生成得到的，跟蹤難度更高。

3.1 實(shí)驗(yàn)平臺(tái)

本節(jié)實(shí)驗(yàn)均在GPU 為Nvidia GTX 1080ti 的臺(tái)式機(jī)上進(jìn)行，操作系統(tǒng)為64 位Ubuntu16.04，處理器為Intel core(TM)i7-8700K，主頻為3.70 GHz，內(nèi)存為 32 GB，編程環(huán)境為使用 PyTorch 的Python3.7。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)際應(yīng)用過(guò)程中，對(duì)于不同的數(shù)據(jù)集需要采用不同的參數(shù)設(shè)置才能獲取更大的性能增益。因此對(duì)不同的數(shù)據(jù)集應(yīng)設(shè)置不同的算法參數(shù)，為了提高算法應(yīng)用適應(yīng)性，本節(jié)給出了具體的超參數(shù)搜索算法。

3.2.1 超參數(shù)設(shè)置

針對(duì)數(shù)據(jù)集VOT2018 和VOT2019，文獻(xiàn)[10]中對(duì)penalty_k（記為κ）、window_influence（記為αwi）、scale_lr（記為αLR）設(shè)置了4 組不同的超參數(shù)。

文獻(xiàn)[10]采用網(wǎng)格搜索的超參數(shù)搜索方法。本文在超參數(shù)搜索的過(guò)程中發(fā)現(xiàn)，這種方法會(huì)增加搜索算法的時(shí)間復(fù)雜度（其時(shí)間復(fù)雜度為 (3)O n），因而采取一種更加簡(jiǎn)單的超參數(shù)搜索方式，即控制變量法，具體過(guò)程如下：固定3 個(gè)參數(shù)中的2 個(gè)，確定剩余的一個(gè)參數(shù)的搜索區(qū)間，在相應(yīng)的數(shù)據(jù)集上進(jìn)行評(píng)估，找到性能表現(xiàn)最好的一個(gè)參數(shù)，再依次按照同樣的方法尋優(yōu)另外2 個(gè)參數(shù)，最終確定在當(dāng)前數(shù)據(jù)集上表現(xiàn)最好的一組參數(shù)。這種尋優(yōu)方式的時(shí)間復(fù)雜度為O(n)，相比網(wǎng)格搜索法，其時(shí)間復(fù)雜度大大降低，并且取得了和網(wǎng)格搜索法一致的最優(yōu)參數(shù)組合結(jié)果。本文對(duì)于數(shù)據(jù)集VOT2018、VOT2019 設(shè)置尋優(yōu)區(qū)間如下：κ為[0.01,0.62)，αwi為[0.01,0.62)，αLR為[0.01,0.62)，尋優(yōu)步長(zhǎng)為0.01。最終找到的效果最好的參數(shù)設(shè)置如下：對(duì)于VOT2018 數(shù)據(jù)集，設(shè)置κ=0.05，αwi=0.38，αLR=0.44；對(duì)于VOT2019 數(shù)據(jù)集，設(shè)置κ=0.44，αwi=0.26，αLR=0.44。

3.2.2 其他參數(shù)設(shè)置

互相關(guān)特征圖監(jiān)督模塊的參數(shù)設(shè)置如下：m為4；λ的初始值為 100，衰減系數(shù)為 0.99，即λN+1=0.99×λN，其中N為迭代次數(shù)。

在線目標(biāo)分類模塊中的參數(shù)設(shè)置如下：優(yōu)化訓(xùn)練樣本池的大小M=250，訓(xùn)練樣本池容量達(dá)到250后，用最新得到的幀替換最舊的歷史幀進(jìn)而添加到訓(xùn)練樣本池中，其中訓(xùn)練樣本權(quán)重γj的更新學(xué)習(xí)率為0.01，當(dāng)在鄰近目標(biāo)周圍檢測(cè)到干擾后學(xué)習(xí)率為0.02；在線目標(biāo)分類模塊中的濾波器子模塊每10 幀更新一次；為了有效地融合分類得分，令βC=0.8[15]。

自適應(yīng)模板更新模塊的參數(shù)設(shè)置主要涉及UpdateNet 離線訓(xùn)練的參數(shù)設(shè)置。參考文獻(xiàn)[18]使用LaSOT標(biāo)準(zhǔn)數(shù)據(jù)集[20]中的20個(gè)訓(xùn)練視頻圖像序列，采用三階段訓(xùn)練的方式，在第一階段，在同一視頻圖像序列中，根據(jù)真實(shí)坐標(biāo)邊界框裁剪得到和，運(yùn)行本文提出的跟蹤算法（加入分類互相關(guān)特征圖監(jiān)督模塊和在線目標(biāo)分類模塊，不加UpdateNet，下同）得到每一幀的坐標(biāo)邊界框，并根據(jù)其裁剪得到Ti，使；在第二和第三階段，使用上一階段訓(xùn)練好的UpdateNet 權(quán)重，在同一視頻圖像序列中，運(yùn)行本文跟蹤算法得到每一幀的預(yù)測(cè)邊界框，并根據(jù)其裁剪得到Ti，將Ti一起送入U(xiǎn)pdateNet中，得到，其中。UpdateNet 由兩層卷積神經(jīng)網(wǎng)絡(luò)組成，包括一個(gè)1×1×1536×192的卷積層，經(jīng)過(guò)ReLU 激活以及一個(gè)1×1×192×512的卷積層；在第一階段，權(quán)重使用Xavier 初始化，在每個(gè)epoch，學(xué)習(xí)率從10-6呈對(duì)數(shù)下降到10-7；此后，使用上一階段訓(xùn)練得到的最好模型參數(shù)進(jìn)行初始化。在訓(xùn)練過(guò)程中發(fā)現(xiàn)，在訓(xùn)練的第二和第三階段，學(xué)習(xí)率會(huì)不同程度地影響實(shí)際的訓(xùn)練效果，因而嘗試使用不同學(xué)習(xí)率的對(duì)數(shù)衰減區(qū)間，依次在VOT2018 數(shù)據(jù)集上進(jìn)行測(cè)試，進(jìn)而尋找到最優(yōu)的學(xué)習(xí)率衰減區(qū)間。在第二階段，區(qū)間依次設(shè)定為[10-5,10-6]、[10-6,10-7]、[10-7,10-8]、[10-8,10-9]、[10-9,10-10]、[10-10,10-11]，通過(guò)測(cè)試發(fā)現(xiàn)，學(xué)習(xí)率的對(duì)數(shù)衰減區(qū)間設(shè)置為[10-9,10-10]效果最好。在第三階段，區(qū)間依次設(shè)定為[10-7,10-8]、[10-8,10-9]、[10-9,10-10]、[10-10,10-11]、[10-11,10-12]、[10-12,10-13]，通過(guò)測(cè)試發(fā)現(xiàn)，學(xué)習(xí)率的對(duì)數(shù)衰減區(qū)間設(shè)置為[10-11,10-12]效果最好；每個(gè)訓(xùn)練階段使用批次大小為64 的樣本訓(xùn)練50 個(gè)epoch 的模型，使用動(dòng)量為0.9、權(quán)重衰減為0.000 5 的隨機(jī)梯度下降法進(jìn)行訓(xùn)練。其他參數(shù)與文獻(xiàn)[10]中的參數(shù)設(shè)置相同。

3.3 對(duì)比實(shí)驗(yàn)

本節(jié)在VOT2018 標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，評(píng)估互相關(guān)特征圖監(jiān)督模塊、在線目標(biāo)分類模塊、自適應(yīng)模板更新模塊的作用。采用期望重疊率（EAO,expected average overlap）、準(zhǔn)確性A、穩(wěn)健性R、跟丟次數(shù)（LN,lost number）、跟蹤速度VFPS這5 個(gè)評(píng)價(jià)指標(biāo)對(duì)改進(jìn)的算法進(jìn)行評(píng)估。

3.3.1 使用互相關(guān)特征圖監(jiān)督模塊

將SiamRPN++作為基準(zhǔn)算法，在此基礎(chǔ)上，只使用特征提取網(wǎng)絡(luò)中l(wèi)ayer4 的輸出特征，并且加入分類監(jiān)督模塊（CS module,classification supervision module）對(duì)互相關(guān)特征圖進(jìn)行監(jiān)督。只使用單層特征，在VOT2018 數(shù)據(jù)集上取得了比SiamRPN++更好的跟蹤結(jié)果，結(jié)果如表1 所示。

表1 在VOT2018 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比

從表1 可以發(fā)現(xiàn)，通過(guò)對(duì)互相關(guān)特征圖進(jìn)行監(jiān)督后在VOT2018 數(shù)據(jù)集上帶來(lái)4.1%的EAO 提升。主要原因是算法跟蹤穩(wěn)健性提升，與SiamRPN++算法相比，本文算法跟丟次數(shù)減少了8 次。值得注意的是，這里僅僅使用了特征提取網(wǎng)絡(luò)中的layer4的特征，卻取得了比SiamRPN++中l(wèi)ayer3、layer4、layer5 三層特征融合策略更好的結(jié)果，并且算法跟蹤速度明顯提升。

3.3.2 使用在線目標(biāo)分類模塊

在SiamRPN++算法的基礎(chǔ)上，加入在線分類模塊（OC module,online classification module），包括通道壓縮子模塊、注意力子模塊、在線濾波器子模塊，實(shí)驗(yàn)結(jié)果如表2 所示。在VOT2018 數(shù)據(jù)集上，EAO 提升到0.417，大幅減少了跟丟次數(shù)，從SiamRPN++的50 次減少到32 次；跟蹤精度也明顯提高，從0.601 提升到0.611，提高了1%。在3.3.1 節(jié)實(shí)驗(yàn)的基礎(chǔ)上，加入在線分類模塊在VOT2018 數(shù)據(jù)集上EAO 提升到0.463，比基準(zhǔn)算法SiamRPN++提升了11.8%；跟丟次數(shù)也進(jìn)一步減少，從50次減少到30 次，取得了和分類監(jiān)督模塊近似的效果。

表2 在VOT2018 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比

進(jìn)一步設(shè)置對(duì)比實(shí)驗(yàn)，使用VOT2018 數(shù)據(jù)集作為測(cè)試集，驗(yàn)證在線分類模塊中各子模塊（壓縮子模塊、注意力子模塊、濾波器子模塊）的重要性。在3.3.1 節(jié)的最佳設(shè)置下，依次去除壓縮子模塊、注意力子模塊、濾波器子模塊，觀察對(duì)應(yīng)子模塊的重要性，結(jié)果如表3 所示。從表3 可以看出，去除子模塊后評(píng)價(jià)指標(biāo)EAO 明顯下降，跟丟次數(shù)增多，說(shuō)明3 個(gè)子模塊均對(duì)提高算法穩(wěn)健性、提升EAO有所貢獻(xiàn)。其中，濾波器子模塊的貢獻(xiàn)最大，在去除濾波器子模塊后，EAO 從0.463 下降到0.406，性能下降最大，證明了本文算法中在線更新濾波器子模塊的重要性，其能有效降低跟蹤過(guò)程中的噪聲干擾，從而提高算法穩(wěn)健性，并提高跟蹤算法整體性能。

表3 在VOT2018 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比

3.3.3 使用自適應(yīng)模板更新模塊

在SiamRPN++算法上加入分類監(jiān)督模塊、在線目標(biāo)分類模塊的基礎(chǔ)上，進(jìn)一步加入自適應(yīng)模板更新模塊（TU module,adaptive template update module），在VOT2018 數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表4 所示。從表4 可以看出，EAO 提升到0.471，跟丟次數(shù)減少到26 次，算法穩(wěn)健性進(jìn)一步提升，取得了更好的跟蹤效果。

表4 在VOT2018 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比

VOT2019 與VOT2018 得到的結(jié)論相同，因此不詳細(xì)論述。

3.4 實(shí)驗(yàn)結(jié)果與分析

3.4.1 VOT2018 實(shí)驗(yàn)

盡管SiamRPN++算法體現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征表征能力，但當(dāng)前某些基于孿生網(wǎng)絡(luò)的跟蹤算法仍然會(huì)在面臨相似物干擾、完全遮擋和嚴(yán)重形變（如VOT2018 中的hands、liquor、gymnastics3）時(shí)表現(xiàn)不佳。本文方法由于引入了在線更新機(jī)制，因而在處理上述問(wèn)題時(shí)表現(xiàn)更加穩(wěn)健，獲得了比SiamRPN++算法更好的跟蹤結(jié)果。

VOT2018 標(biāo)準(zhǔn)數(shù)據(jù)集包含許多具有挑戰(zhàn)性的因素，因此可以被視為在準(zhǔn)確性和穩(wěn)健性方面較全面的測(cè)試平臺(tái)。為了保證實(shí)驗(yàn)結(jié)果的客觀性，對(duì)于VOT2018 標(biāo)準(zhǔn)數(shù)據(jù)集的60 組跟蹤圖像序列，引入近幾年熱門并且具有代表性的跟蹤算法SiamBAN[21]、DiMP50[22]、SiamFC++[23]、SiamRCNN[24]、ATOM[14]、SiamMargin[17]、ta-SiamRPN++[12]、SiamMask[11]、SiamDW[9]、SiamRPN++[10]、DaSiamRPN[8]、SiamRPN[7]、UpdateNet[18]、SiamFC[6]，采用期望重疊率、準(zhǔn)確性、穩(wěn)健性、跟丟次數(shù)、跟蹤速度這5 個(gè)評(píng)價(jià)指標(biāo)對(duì)15 種性能優(yōu)異的跟蹤算法進(jìn)行了性能比較，如表5 所示。

表5 在VOT2018 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比

從表5 可以看出，相對(duì)于該數(shù)據(jù)集上進(jìn)行評(píng)測(cè)的最新跟蹤算法，本文提出的跟蹤算法具有良好的性能，以較高的準(zhǔn)確性（0.588）和良好的穩(wěn)健性（0.122），獲得了最高的EAO（0.471），保證了算法的穩(wěn)健性，這主要是因?yàn)楸疚乃惴ㄖ幸肓嗽诰€更新機(jī)制。與基準(zhǔn)算法SiamRPN++算法相比，本文算法雖然在準(zhǔn)確性上不如SiamRPN++算法，但算法跟丟次數(shù)從SiamRPN++算法的50 次大幅度減少至26 次，使跟蹤穩(wěn)健性大幅提高，最終EAO 比SiamRPN++算法提升了13.5%。同時(shí)，本文在保證良好跟蹤準(zhǔn)確性的前提下，延續(xù)了基于孿生網(wǎng)絡(luò)類跟蹤算法的高效率，運(yùn)行速度為34 幀/秒。

3.4.2 VOT2019 實(shí)驗(yàn)

同樣，本文算法在VOT2019 標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行測(cè)試與評(píng)估。與VOT2018 相比，VOT2019 跟蹤難度更高。對(duì)于VOT2019 標(biāo)準(zhǔn)數(shù)據(jù)集的60 組跟蹤圖像序列，本節(jié)引入VOT2019 的實(shí)時(shí)組中表現(xiàn)較好的跟蹤算法SiamMargin、DiMP、SiamBAN、SiamDW_ST[17]、SiamMask、SiamRPN++、ATOM，采用期望重疊率、準(zhǔn)確率、穩(wěn)健性、跟丟次數(shù)這4 個(gè)評(píng)價(jià)指標(biāo)對(duì)12 種性能優(yōu)異的跟蹤算法進(jìn)行了性能比較，如表6 所示。

表6 在VOT2019 數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比

從表6 可以看出，SiamMargin[17]通過(guò)使用對(duì)互相關(guān)特征圖監(jiān)督的策略和移動(dòng)平均的模板更新策略實(shí)現(xiàn)了較少的跟丟次數(shù)。本文算法跟丟次數(shù)最少（為59 次），因此本文算法具備較好的穩(wěn)健性；準(zhǔn)確性與SiamMargin 相同，與基準(zhǔn)算法SiamRPN++相比有所下降；EAO 從0.285 提升至0.337，性能提升了18.2%。

4 結(jié)束語(yǔ)

目前，基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法只使用離線訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行目標(biāo)的辨識(shí)和定位，在處理相似干擾、目標(biāo)形變時(shí)缺乏足夠的判別力，往往跟蹤的穩(wěn)健性較差，容易跟丟目標(biāo)。為解決該問(wèn)題，本文引入互相關(guān)特征圖監(jiān)督模塊、在線目標(biāo)分類模塊、自適應(yīng)模板更新模塊。在互相關(guān)特征圖監(jiān)督模塊中，通過(guò)在離線訓(xùn)練階段使用L-softmax損失函數(shù)對(duì)互相關(guān)特征圖附加更嚴(yán)格的約束條件，從而學(xué)習(xí)到更易區(qū)分目標(biāo)和背景的互相關(guān)特征圖，使網(wǎng)絡(luò)學(xué)習(xí)到的特征更具判別力，有利于克服相似干擾。在線目標(biāo)分類模塊中，壓縮子模塊用于壓縮通道信息、減少計(jì)算量；雙重注意力（空間注意力和通道注意力）子模塊用于提取特定于當(dāng)前被跟蹤目標(biāo)的特征；在線更新濾波器執(zhí)行判別式學(xué)習(xí)，輔助修正離線訓(xùn)練網(wǎng)絡(luò)提取的特征，從而增強(qiáng)了孿生網(wǎng)絡(luò)處理干擾物的判別能力。在自適應(yīng)模板更新模塊中，使用UpdateNet 整合第一幀目標(biāo)模板、累積目標(biāo)模板和當(dāng)前幀目標(biāo)模板的信息，自適應(yīng)地更新可靠的目標(biāo)模板信息，以應(yīng)對(duì)目標(biāo)發(fā)生嚴(yán)重形變的問(wèn)題，并且具備抵抗目標(biāo)模板漂移的穩(wěn)健性。在滿足實(shí)時(shí)性速度要求的前提下，利用標(biāo)準(zhǔn)數(shù)據(jù)集VOT2018 和VOT2019進(jìn)行測(cè)試，相比基準(zhǔn)算法SiamRPN++，本文算法分別帶來(lái)13.5%和18.2%的性能（EAO）提升，證明了本文算法的有效性。