田昊東，張津浦，王岳環(huán), 2*

1. 華中科技大學(xué)人工智能與自動(dòng)化學(xué)院，武漢 430074； 2. 多譜信息處理技術(shù)國家級(jí)重點(diǎn)實(shí)驗(yàn)室，武漢 430074

0 引 言

隨著無人機(jī)(unmanned aerial vehicle，UAV)技術(shù)的迅猛發(fā)展，以無人機(jī)為平臺(tái)的目標(biāo)識(shí)別與跟蹤逐漸成為計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)(王瑤，2019)。配備了視覺跟蹤技術(shù)的無人機(jī)平臺(tái)，具有運(yùn)動(dòng)靈活、安全性高、體積小和成本低等特點(diǎn)，在導(dǎo)航制導(dǎo)、環(huán)境探測和災(zāi)難應(yīng)急等領(lǐng)域得到廣泛應(yīng)用。無人機(jī)跟蹤任務(wù)通常需要持續(xù)定位某個(gè)特定目標(biāo)，魯棒性和實(shí)時(shí)性是跟蹤算法的必然要求。由于無人機(jī)應(yīng)用場景的復(fù)雜性和機(jī)載平臺(tái)計(jì)算資源的限制，實(shí)現(xiàn)準(zhǔn)確、穩(wěn)定和高效的目標(biāo)跟蹤仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。與一般的地面跟蹤任務(wù)(如視頻監(jiān)控)相比，無人機(jī)平臺(tái)下的目標(biāo)跟蹤任務(wù)面臨更嚴(yán)峻的挑戰(zhàn)(Fu等，2022)，主要表現(xiàn)在以下方面：1)快速運(yùn)動(dòng)。無人機(jī)運(yùn)動(dòng)靈活、機(jī)動(dòng)性高，機(jī)載相機(jī)與待跟蹤目標(biāo)之間容易發(fā)生劇烈相對運(yùn)動(dòng)，對算法快速捕獲目標(biāo)的能力提出了更高要求。同時(shí)相機(jī)與目標(biāo)之間的劇烈運(yùn)動(dòng)容易導(dǎo)致成像模糊，給跟蹤算法的精確定位帶來更大挑戰(zhàn)。2)視角變化。某些特定應(yīng)用場景中，無人機(jī)可能環(huán)繞目標(biāo)飛行，機(jī)載相機(jī)從不同角度捕捉目標(biāo)的成像姿態(tài)，例如車輛的正面和側(cè)面，此時(shí)目標(biāo)外觀成像會(huì)發(fā)生快速變化，若跟蹤器無法及時(shí)在線學(xué)習(xí)并更新模型則會(huì)導(dǎo)致跟蹤失敗。3)視覺遮擋。無人機(jī)跟蹤場景中，目標(biāo)可能被樹木、房屋等外界干擾物部分或完全遮擋，目標(biāo)特征將被遮擋物污染，容易導(dǎo)致跟蹤漂移。4)計(jì)算資源稀缺。由于機(jī)身體積小，可搭載資源有限，許多無人機(jī)仍使用CPU作為處理平臺(tái)，計(jì)算能力受限。如何設(shè)計(jì)跟蹤算法，使其在具有較高精度和魯棒性的前提下，提高計(jì)算效率，滿足實(shí)時(shí)性要求，仍面臨很大困難。由于以上因素，高效和魯棒的視覺跟蹤算法對于無人機(jī)跟蹤任務(wù)的廣泛應(yīng)用至關(guān)重要。

隨著卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的發(fā)展，將CNN應(yīng)用于目標(biāo)跟蹤成為研究熱點(diǎn)。這類方法通常使用大量離線標(biāo)記的圖像訓(xùn)練用于目標(biāo)跟蹤的CNN?；贑NN的跟蹤器具有很高的跟蹤精度，但由于網(wǎng)絡(luò)中卷積運(yùn)算的高度復(fù)雜性，通常在高性能GPU上運(yùn)行，在無人機(jī)平臺(tái)上難以支持；此外，CNN的離線訓(xùn)練需要海量帶標(biāo)簽的預(yù)處理圖像，這些訓(xùn)練數(shù)據(jù)的獲取需要耗費(fèi)大量精力；同時(shí)，深度網(wǎng)絡(luò)很容易受到各種噪聲的干擾從而降低性能(Yan等，2020)。因此，基于CNN的方法在無人機(jī)視覺跟蹤領(lǐng)域并非理想的選擇。

基于判別式相關(guān)濾波(discriminative correlation filter，DCF)的跟蹤器具有高速和準(zhǔn)確的特點(diǎn)，是無人機(jī)視覺跟蹤的合適選擇。DCF類跟蹤算法最主要的亮點(diǎn)是通過離散傅里葉變換將空間域中循環(huán)相關(guān)或卷積的復(fù)雜計(jì)算轉(zhuǎn)換為頻域中的元素點(diǎn)乘運(yùn)算(Bolme等，2010)，這種策略極大提高了DCF類跟蹤算法的運(yùn)行速度，大多數(shù)DCF類跟蹤算法在單個(gè)CPU上的速度達(dá)到30幀/s以上，能夠滿足無人機(jī)的實(shí)時(shí)性要求。

研究人員針對DCF類跟蹤算法存在的各種問題提出了相應(yīng)的解決方案，并取得越來越好的結(jié)果。針對尺度變化問題，Danelljan等人(2014a)提出判別式尺度空間(discriminative scale space tracker，DSST)算法，采用位置濾波器和尺度濾波器分別進(jìn)行目標(biāo)定位與尺度估計(jì)，提高模型的尺度自適應(yīng)能力。針對邊界效應(yīng)問題，Danelljan等人(2015)提出空間正則相關(guān)濾波算法(spatially regularized discriminative correlation filters，SRDCF)，使用bowl-shaped結(jié)構(gòu)的空間正則化約束替代傳統(tǒng)相關(guān)濾波中的常數(shù)型L2約束，越靠近中心目標(biāo)位置，懲罰權(quán)重越小，反之權(quán)重越大，使學(xué)習(xí)到的濾波器集中在中心區(qū)域，同時(shí)擴(kuò)大背景感知區(qū)域，提高了跟蹤精度。Li等人(2018)提出空間—時(shí)間正則相關(guān)濾波算法(spatial-temporal regularized correlation filter，STRCF)，在SRDCF的目標(biāo)函數(shù)基礎(chǔ)上加入時(shí)間正則項(xiàng)，抑制相鄰兩幀之間的濾波器畸變，提高了模型的魯棒性。針對特征融合問題，Wang等人(2018)提出多線索相關(guān)濾波跟蹤算法(multi-cue correlation filter based tracker，MCCT)，以HOG(histogram of oriented gradient)特征(Dalal和Triggs，2005)、CN(color name)特征(Danelljan等，2014b)以及CNN特征為出發(fā)點(diǎn)，采用多專家方式對3種特征的所有組合進(jìn)行打分，在每幀中選擇當(dāng)前最優(yōu)的特征組合。針對目標(biāo)外觀突變問題，Zheng等人(2021)提出自適應(yīng)混合標(biāo)簽的突變感知相關(guān)濾波算法(mutation sensitive correlation filter，MSCF)，通過一種突變感知因子動(dòng)態(tài)校正訓(xùn)練標(biāo)簽，在外觀突變時(shí)表現(xiàn)出更好的適應(yīng)性。

魯棒視覺跟蹤的另一個(gè)關(guān)鍵是特征表達(dá)的有效性和可靠性?，F(xiàn)有的DCF類算法通常使用樣本區(qū)域的所有特征訓(xùn)練濾波器，然而在復(fù)雜場景中，某些特征可能會(huì)分散注意力，例如目標(biāo)區(qū)域發(fā)生遮擋以及形變時(shí)，這些干擾因素產(chǎn)生的異常特征會(huì)污染模型，降低濾波器的可靠性(Sui等，2018)。

本文的主要工作與貢獻(xiàn)如下：1)提出一種稀疏約束的相關(guān)濾波跟蹤算法。通過在目標(biāo)函數(shù)上施加空間彈性網(wǎng)絡(luò)約束，實(shí)現(xiàn)像素級(jí)別的特征選擇，抑制跟蹤過程中的干擾因素。同時(shí)，目標(biāo)函數(shù)中集成STRCF的時(shí)間正則項(xiàng)，提高了模型抑制畸變的能力。最后采用交替方向乘子法(alternating direction method of multipliers，ADMM)(Boyd等，2011)求解模型。2)提出一種DCF框架下通用的加速策略。根據(jù)當(dāng)前幀的目標(biāo)位移量，對檢測定位階段的特征矩陣進(jìn)行等距離循環(huán)移位，并將其作為在線學(xué)習(xí)階段所需要的特征矩陣，使每幀省去一次在線學(xué)習(xí)階段的特征提取操作。消融實(shí)驗(yàn)表明，該加速策略在不顯著影響跟蹤精度的前提下，將跟蹤速度提高了約25%。3)在UAV123_10 fps、DTB70(drone tracking benchmark)和UAVDT(unmanned aerial vehicle benchmark: object detection and tracking)3個(gè)UAV數(shù)據(jù)集上與14種主流算法進(jìn)行對比實(shí)驗(yàn)。結(jié)果表明，本文算法相比基線STRCF，在精確率和成功率上都有顯著提高，且優(yōu)于大多數(shù)現(xiàn)有方法，單個(gè)CPU上的跟蹤速度為50幀/s。

1 相關(guān)工作

1.1 空間—時(shí)間正則相關(guān)濾波

Li等人(2018)提出空間—時(shí)間正則相關(guān)濾波(STRCF)，在SRDCF的基礎(chǔ)上加入時(shí)間正則項(xiàng)，抑制相鄰兩幀的濾波器畸變，防止模型退化。通過求解目標(biāo)函數(shù)，在線學(xué)習(xí)第t幀的最優(yōu)濾波器Ht。該目標(biāo)函數(shù)為

(1)

圖1 空間正則化權(quán)重

空間正則項(xiàng)可以有效緩解傳統(tǒng)DCF存在的邊界效應(yīng)問題，提高模型的背景感知能力；時(shí)間正則項(xiàng)可以適應(yīng)較大的外觀變化，防止濾波器退化。盡管STRCF取得了出色的性能，但其仍然存在局限性，具體表現(xiàn)為：使用樣本區(qū)域的所有特征訓(xùn)練濾波器，使得在復(fù)雜的跟蹤場景中，由遮擋或形變產(chǎn)生的某些干擾特征會(huì)分散模型注意力，使用這些干擾特征訓(xùn)練出的濾波器會(huì)大幅降低模型的魯棒性。

1.2 彈性網(wǎng)絡(luò)模型

彈性網(wǎng)絡(luò)是一種使用L1和L2先驗(yàn)作為正則項(xiàng)的線性回歸模型(Zou和Hastie，2005)，其目標(biāo)函數(shù)為

(2)

彈性網(wǎng)絡(luò)模型包含Lasso回歸和嶺回歸約束項(xiàng)，Lasso回歸篩選出相關(guān)的特征，并縮減其他無關(guān)特征；同時(shí)嶺回歸縮減所有相關(guān)性的特征。通過二者的結(jié)合，訓(xùn)練的模型像Lasso回歸一樣稀疏，但同時(shí)具有嶺回歸的正則化能力。

彈性網(wǎng)絡(luò)模型的L1和L2正則化權(quán)重均為常數(shù)，限制了整個(gè)樣本區(qū)域中模型的稀疏性。但是在DCF跟蹤框架中，樣本區(qū)域就是搜索區(qū)域，同時(shí)包含了目標(biāo)以及周圍的背景(Peng和Lu，2021)。跟蹤過程中的干擾因素通常來自目標(biāo)區(qū)域，例如局部遮擋和目標(biāo)形變，顯然應(yīng)當(dāng)更加關(guān)注目標(biāo)區(qū)域而非整個(gè)樣本區(qū)域的稀疏性。這意味著式(2)的彈性網(wǎng)絡(luò)約束并不能直接適用于相關(guān)濾波的目標(biāo)函數(shù)。

2 本文算法

2.1 跟蹤模型

結(jié)合STRCF和彈性網(wǎng)絡(luò)模型的特點(diǎn)，本文構(gòu)造了稀疏約束的時(shí)空正則相關(guān)濾波目標(biāo)函數(shù)，定義為

(3)

圖2為選自UAV123(Mueller等，2016)中的Car4遮擋序列，包含車輛從進(jìn)入到離開遮擋的完整過程。針對遮擋問題，一個(gè)有效的方法是在目標(biāo)區(qū)域進(jìn)行自適應(yīng)特征選擇。在圖2中，數(shù)值小為冷色，數(shù)值大為暖色。由于bowl-shaped空間正則化的引入，濾波器的非0系數(shù)集中在樣本中心的目標(biāo)區(qū)域，有助于強(qiáng)調(diào)目標(biāo)區(qū)域內(nèi)的特征信息。圖2(a)為無遮擋，目標(biāo)區(qū)域的濾波器系數(shù)分布正常；圖2(b)為目標(biāo)頂部遮擋，頂部區(qū)域的濾波器系數(shù)明顯降低，從而削弱遮擋物對模型的干擾；圖2(c)為目標(biāo)底部遮擋，底部區(qū)域的濾波器系數(shù)明顯降低；圖2(d)為目標(biāo)駛出遮擋，整個(gè)目標(biāo)區(qū)域的濾波器系數(shù)恢復(fù)到正常水平。圖2表明，本文算法面對遮擋時(shí)具有良好的特征選擇能力，可一定程度地抑制遮擋物對模型的污染。

圖2 各種遮擋情況下濾波器的系數(shù)分布可視化

圖3顯示了車輛形變時(shí)濾波器的系數(shù)分布。初始時(shí)，跟蹤框內(nèi)僅包含目標(biāo)，此時(shí)濾波器的系數(shù)分布較為均勻。隨著車輛轉(zhuǎn)彎，由于跟蹤框的縱橫比固定，跟蹤框內(nèi)不可避免地包含部分背景，但是在彈性網(wǎng)絡(luò)約束下，跟蹤框內(nèi)背景區(qū)域的濾波器系數(shù)明顯減小，目標(biāo)區(qū)域的濾波器系數(shù)保持正常水平，濾波器始終具有較好的目標(biāo)判別能力。

圖3 車輛形變時(shí)濾波器的系數(shù)分布可視化

綜上，在目標(biāo)發(fā)生遮擋或形變時(shí)，彈性網(wǎng)絡(luò)約束可以限制干擾區(qū)域的濾波器稀疏性，從而削弱該區(qū)域的干擾特征對模型的污染，實(shí)現(xiàn)像素級(jí)別的特征選擇，提高模型的魯棒性。

2.2 優(yōu)化方法

(4)

對于最小化式(4)，可以通過ADMM迭代求解。式(4)的增廣拉格朗日形式為

(5)

(6)

(7)

(8)

(9)

式中，向量ρ的形式為

(10)

(11)

(12)

(13)

式中，W2=diag(w2)∈RT×T表示對角矩陣。η是軟閾值操作，定義為

η(x,λ)=sign(x)max(|x|-λ,0)

(14)

3)拉格朗日乘子更新。求解出以上兩個(gè)子問題后，更新拉格朗日乘子，具體為

(15)

式中，i和i+1表示迭代次數(shù)。

正則化步長γ(初始值為1)更新式為

γi+1=min(γmax,βγi)

(16)

式中，β=10，γmax=10 000。

2.3 目標(biāo)定位方法

(17)

針對尺度估計(jì)問題，借用fDSST(fast DSST)(Danelljan等，2017a)的方法，在原有位置濾波器的基礎(chǔ)上，增加一個(gè)尺度濾波器。通過位置濾波器確定目標(biāo)中心位置后，在相同的中心位置上，提取多個(gè)尺度等級(jí)的樣本用于訓(xùn)練尺度濾波器，根據(jù)尺度濾波器計(jì)算尺度相關(guān)得分的最大值，從而確定當(dāng)前幀的最優(yōu)尺度。

2.4 加速策略

本文提出一種DCF框架通用的加速策略，通過對檢測定位階段的樣本特征矩陣進(jìn)行循環(huán)移位，并將其作為訓(xùn)練階段的樣本特征矩陣，可節(jié)省一次特征提取操作，大幅度提高跟蹤速度。

在DCF類跟蹤框架中，每一幀的處理流程可分為檢測定位與在線學(xué)習(xí)兩個(gè)階段。其中，檢測定位階段旨在以上一幀的目標(biāo)位置post-1為中心，提取檢測定位樣本(圖4虛線綠框)的特征矩陣，與濾波器相關(guān)計(jì)算得到當(dāng)前幀的目標(biāo)位置post；在線學(xué)習(xí)階段旨在以計(jì)算出的新目標(biāo)位置post為中心，提取在線學(xué)習(xí)所需樣本(圖4虛線紅框)的特征矩陣，進(jìn)而求解出新一幀的濾波器模型。

圖4 目標(biāo)檢測樣本(綠框)和在線學(xué)習(xí)樣本(紅框)

兩個(gè)階段共需要進(jìn)行兩次特征提取與離散傅里葉變換操作。兩個(gè)樣本的中心偏移量(dx,dy)為

(18)

樣本圖像塊如圖5所示。其中，圖5(a)為檢測定位階段的樣本，圖5(b)為圖5(a)經(jīng)過(dx,dy)的循環(huán)移位得到的移位樣本，圖5(c)為真實(shí)的在線學(xué)習(xí)所需樣本?？梢钥闯?，圖5(b)與圖5(c)僅在邊界存在差異，圖5(b)左邊界失真。在DCF框架中，邊界區(qū)域受到余弦窗與空間正則項(xiàng)的抑制，對濾波器的判別能力幾乎不構(gòu)成影響，因此可以使用移位樣本(圖5(b))代替真實(shí)樣本(圖5(c))進(jìn)行濾波器的在線學(xué)習(xí)。同時(shí)，由于密集采樣提取的特征值與像素點(diǎn)具有位置對應(yīng)關(guān)系，因此直接對檢測樣本(圖5(a))的特征矩陣進(jìn)行(dx,dy)的循環(huán)移位，可得移位樣本(圖5(b))的特征矩陣，并將其用于后續(xù)的在線學(xué)習(xí)。

圖5 樣本圖像塊

由于濾波器學(xué)習(xí)階段使用樣本特征的頻域表示，根據(jù)傅里葉變換的時(shí)移特性，時(shí)域信號(hào)的循環(huán)移位對應(yīng)頻域信號(hào)的相位旋轉(zhuǎn)，因此可將檢測樣本(圖5(a))的頻域特征值乘以對應(yīng)的虛指數(shù)，直接在頻域進(jìn)行特征轉(zhuǎn)換，進(jìn)一步提高效率。消融實(shí)驗(yàn)結(jié)果表明，在對跟蹤精度沒有顯著影響(±0.1%)的前提下，該加速策略可將跟蹤速度提高25%。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 參數(shù)設(shè)置與實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)軟件環(huán)境為MATLAB R2017b，硬件環(huán)境為Inter(R) Core(TM) i7-7700HQ CPU，2.80 GHz主頻，8 GB內(nèi)存。

3.2 UAV數(shù)據(jù)集介紹

為了進(jìn)行全面評估，實(shí)驗(yàn)在3個(gè)具有挑戰(zhàn)性和權(quán)威性的UAV數(shù)據(jù)集上進(jìn)行，分別是UAV123_10 fps(Mueller等，2016)、DTB70(Li和Yeung，2017)和UAVDT(Du等，2018)數(shù)據(jù)集，共243個(gè)視頻序列。

UAV123數(shù)據(jù)集全部由無人機(jī)在空中拍攝，視角變化大，包含123個(gè)視頻序列，超過11萬幀圖像。UAV123_10 fps是從原序列中以抽幀的方式創(chuàng)建的10幀/s的數(shù)據(jù)集，因此跟蹤過程中目標(biāo)的位置移動(dòng)、姿態(tài)變化更大，帶來了更多挑戰(zhàn)。DTB70數(shù)據(jù)集由70個(gè)困難的無人機(jī)視頻序列組成，主要針對無人機(jī)拍攝過程中劇烈運(yùn)動(dòng)以及目標(biāo)的大小和縱橫比變化問題。UAVDT數(shù)據(jù)集主要針對各種情況下的車輛跟蹤，例如飛行高度、攝像機(jī)視角和車輛遮擋等。

3.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文算法的先進(jìn)性，在3個(gè)UAV數(shù)據(jù)集上與14種主流算法進(jìn)行對比實(shí)驗(yàn)，分別為MRCF(multi-regularized correlation filter)(Ye等，2022)、MSCF(mutation sensitive correlation filter)(Zheng等，2021)、ARCF(aberrance repressed correlation filter)(Huang等，2019)、STRCF(Li等，2018)、MCCT(multi-cue correlation filter based tracker)(Wang等，2018)、ECO-HC(efficient convolution operators—hand-crafted feature version)(Danelljan等，2017b)、BACF(background-aware correlation filters)(Galoogahi等，2017)、fDSST(Danelljan等，2017a)、Staple(fast discriminative scale space tracker)(Bertinetto等，2016)、SDRCF(Danelljan等，2015)、LCT(long-term correlation tracking)(Ma等，2015a)、DSST(Danelljan等，2015)、KCF(kernelized correlation filter)(Henriques等，2015)、SAMF(scale adaptive with multiple features tracker)(Li和Zhu，2014)?？紤]到無人機(jī)平臺(tái)的實(shí)現(xiàn)能力，所有跟蹤算法均采用手工特征，確保在單個(gè)CPU上的效率，一些采用DCF結(jié)構(gòu)但具有CNN特征的跟蹤器，例如ASRCF(adaptive spatially-regularized correlation filters)(Dai等，2019)不屬于本文研究范疇。對比算法均使用原文獻(xiàn)提供的開源代碼或結(jié)果。

3.3.1 與STRCF算法定性比較

本文方法與STRCF算法對包含視角變化、快速運(yùn)動(dòng)、低分辨率、快速形變以及遮擋等挑戰(zhàn)的4個(gè)視頻序列的跟蹤結(jié)果如圖6所示?？梢钥闯觯疚姆椒ǖ母櫺阅苊黠@優(yōu)于STRCF。

1)視角變化。由于無人機(jī)拍攝時(shí)自身發(fā)生旋轉(zhuǎn)，導(dǎo)致目標(biāo)成像姿態(tài)快速變化?？焖傩D(zhuǎn)時(shí)目標(biāo)的梯度信息變化劇烈，此時(shí)HOG特征的表征能力欠佳。本文算法采用HOG + CN組合特征，在快速旋轉(zhuǎn)這種梯度敏感的場景下，彈性網(wǎng)絡(luò)約束可以減弱HOG特征的影響，加強(qiáng)CN顏色特征對模型的貢獻(xiàn)，使模型具有更好的魯棒性。如圖6(a)所示，本文算法相比STRCF具有更高的定位精度。

2)快速運(yùn)動(dòng)與低分辨率。從圖6(b)可以看出，跟蹤目標(biāo)的尺寸小、分辨率低，在目標(biāo)特征信息較少的情況下，本文算法依然可以準(zhǔn)確跟蹤。

3)快速形變。在圖6(c)雜技表演序列中，表演者騎車在空中翻轉(zhuǎn)，自身發(fā)生快速形變，STRCF無法適應(yīng)這種快速形變而跟蹤失敗，本文算法通過彈性網(wǎng)絡(luò)約束提高特征的可靠性，增強(qiáng)了模型的判別能力，能夠更好地定位目標(biāo)。

4)視覺遮擋。遮擋是視覺目標(biāo)跟蹤的常見問題。在圖6(d)Horse視頻序列中，在目標(biāo)進(jìn)入遮擋、完全遮擋和離開遮擋的過程中，STRCF模型被樹木遮擋物污染，跟蹤漂移。本文算法通過稀疏約束，自適應(yīng)地忽略遮擋區(qū)域的干擾特征，防止模型學(xué)習(xí)到錯(cuò)誤信息，能夠在一定程度上抵抗短期遮擋。

上述分析表明，本文算法與STRCF相比在視角變化、快速運(yùn)動(dòng)、快速形變和視覺遮擋等復(fù)雜場景下具有更好的魯棒性與有效性。

3.3.2 與14種算法定量比較

本文方法與14種跟蹤算法在3個(gè)UAV數(shù)據(jù)集上的精確率和成功率對比結(jié)果如圖7、圖8和表1所示。跟蹤性能最好的6種算法的精確率、成功率(Wu等，2015)與跟蹤速率(frames per second, FPS)如表2所示。

表1 15種跟蹤器在UAV基準(zhǔn)上的精確率和成功率結(jié)果

表2 跟蹤性能最好的6種跟蹤器在UAV123_10 fps、DTB70和UAVDT數(shù)據(jù)集上的精確率、成功率和FPS結(jié)果

圖7 15種跟蹤器在UAV基準(zhǔn)上的精確率曲線

圖8 15種跟蹤器在UAV基準(zhǔn)上的成功率曲線

在UAV123_10 fps數(shù)據(jù)集上，本文算法的精確率為0.667，在所有算法中位列第1，相比STRCF算法提高了4%。本文算法的成功率為0.577，在所有算法中位列第2，相比STRCF算法提高了3.3%。在DTB70數(shù)據(jù)集上，本文算法的精確率與成功率分別為0.704和0.477，在所有算法中均位列第1，相比STRCF算法分別提高了5.8%和4%。在UAVDT數(shù)據(jù)集上，本文算法的精確率為0.720，在所有算法中位列第4，相比STRCF算法提高了8.4%。本文算法的成功率為0.494，在所有算法中位列第3，相比STRCF算法提高了3.8%。通過引入彈性網(wǎng)絡(luò)約束，本文算法能夠自適應(yīng)地抑制異常情況下的干擾特征，提高模型在復(fù)雜場景下的適應(yīng)能力，使得精度率與成功率均明顯優(yōu)于STRCF。

與14種當(dāng)前主流算法相比，本文方法在精度與速度上均優(yōu)于大多數(shù)現(xiàn)有方法，證明了本文方法在無人機(jī)視覺跟蹤領(lǐng)域的優(yōu)越性。

3.4 消融實(shí)驗(yàn)

根據(jù)2.4節(jié)的分析可知，對檢測定位階段的樣本進(jìn)行循環(huán)移位會(huì)導(dǎo)致移位樣本存在邊界失真現(xiàn)象，且相鄰兩幀之間目標(biāo)的位置移動(dòng)越劇烈，邊界失真現(xiàn)象越顯著。為了更好地驗(yàn)證本文提出的稀疏約束與加速策略對跟蹤精度與跟蹤速度帶來的具體影響，采用目標(biāo)位置移動(dòng)、姿態(tài)變化更劇烈的UAV123_10 fps數(shù)據(jù)集進(jìn)行消融實(shí)驗(yàn)。

消融實(shí)驗(yàn)中的4種方法均使用HOG + CN手工特征。Baseline在原始DCF框架中加入空間正則項(xiàng)與時(shí)間正則項(xiàng)，未使用彈性網(wǎng)絡(luò)(acceleration strategy，AS)和加速策略(elastic net，EN)；Baseline + AS表示在Baseline基礎(chǔ)上使用加速策略；Baseline + EN表示在Baseline基礎(chǔ)上引入空間彈性網(wǎng)絡(luò)對模型進(jìn)行區(qū)域性稀疏約束；本文算法包含區(qū)域稀疏約束項(xiàng)與加速策略。消融實(shí)驗(yàn)結(jié)果如表3所示?？梢钥闯觯褂脧椥跃W(wǎng)絡(luò)約束的Baseline + EN和本文跟蹤器，對比未使用彈性網(wǎng)絡(luò)約束的Baseline與Baseline + AS跟蹤器，精確率和成功率均有提高。使用加速策略的Baseline + AS和本文跟蹤器，對比未使用加速策略的Baseline和Baseline+EN跟蹤器，跟蹤速率(幀/s)明顯提高。此外，本文跟蹤器與Baseline+EN跟蹤器相比，額外引入加速策略，在精確率和成功率僅下降0.1%的情況下，跟蹤速率(幀/s)提高了約25%。

表3 消融實(shí)驗(yàn)

需要注意的是，UAV123_10 fps數(shù)據(jù)集采用3幀抽1的方式創(chuàng)建，目標(biāo)相鄰兩幀之間的位置移動(dòng)更大，加速策略中的循環(huán)移位操作會(huì)帶來更多的邊界失真，但得益于相關(guān)濾波框架中余弦窗與空間正則項(xiàng)的作用，邊界對模型的影響受到極大的抑制。消融實(shí)驗(yàn)結(jié)果表明，加速策略大幅提高了跟蹤速度，同時(shí)沒有顯著降低跟蹤精確率和成功率。綜上，本文提出的彈性網(wǎng)絡(luò)約束與加速策略可以顯著改善DCF類跟蹤算法的性能。

4 結(jié) 論

針對無人機(jī)視覺跟蹤任務(wù)對準(zhǔn)確性、魯棒性和實(shí)時(shí)性的高要求，本文提出一種稀疏約束的時(shí)空正則相關(guān)濾波跟蹤算法，通過將彈性網(wǎng)絡(luò)約束與空間正則項(xiàng)結(jié)合，使相關(guān)濾波器在遮擋、形變和視角變化等復(fù)雜場景下能夠自適應(yīng)地篩選具有區(qū)域特性的判別性特征；同時(shí)目標(biāo)函數(shù)中集成了時(shí)間正則項(xiàng)以緩解畸變導(dǎo)致的模型退化；采用ADMM方法將帶等式約束的目標(biāo)函數(shù)轉(zhuǎn)化為兩個(gè)具有閉式解的子問題，迭代求取局部最優(yōu)解。此外，提出一種DCF框架下通用的加速策略，通過在頻域計(jì)算檢測定位階段的樣本特征矩陣的循環(huán)移位，高效地獲取濾波器在線學(xué)習(xí)階段的樣本特征矩陣，在不顯著影響跟蹤精度(±0.1%)的前提下，跟蹤速度提高約25%，本文算法在單個(gè)CPU上的速度約50幀/s。

在UAV123_10 fps、DTB70和UAVDT這3個(gè)具有挑戰(zhàn)性與權(quán)威性的UAV數(shù)據(jù)集上與14種主流算法進(jìn)行對比實(shí)驗(yàn)。本文算法與基線STRCF相比，在精確率、成功率以及跟蹤速度上均具有明顯優(yōu)勢；與其他主流的視覺跟蹤算法相比，本文算法在精度與速度上同樣優(yōu)于大多數(shù)DCF類跟蹤算法，證明了本文算法在無人機(jī)視覺跟蹤領(lǐng)域的優(yōu)越性。

現(xiàn)有跟蹤方法普遍忽視了多通道特征的差異性，對所有特征通道一視同仁，從而限制了多通道特征在不同場景下的適應(yīng)能力。下一步工作將考慮加入場景感知模塊，通過判斷不同場景下各個(gè)特征通道的可靠性，自適應(yīng)地調(diào)整各個(gè)特征通道的權(quán)重分布，提高模型在復(fù)雜場景下的適應(yīng)能力。