郭偉， 林暢， 王春艷， 楊涵西， 才海亮

（遼寧工程技術大學 軟件學院， 遼寧 葫蘆島 125105）

1 引言

隨著無人機行業(yè)的興起，無人機因其外形小巧、運動靈活且方便操控等特點，與目標跟蹤技術的結合使其在普通居民生活、軍事活動以及科學研究等多個領域得到越來越廣泛的應用［1-2］，如空中監(jiān)控、基礎設施巡邏、搶險救災、偵察敵情等。與普通的跟蹤場景相比，無人機目標跟蹤面臨著更艱巨的挑戰(zhàn)，如惡劣的外部挑戰(zhàn)、復雜環(huán)境中的機動飛行等。

相關濾波類目標跟蹤算法因其跟蹤速度快、跟蹤性能好而得到了廣泛應用［3-5］。Bolme等人［6］在2010年提出了最小輸出誤差平方和（MOSSE）跟蹤算法，并將相關濾波算法應用于目標跟蹤領域。Li等人［7］將時間正則化引入空間正則化相關濾波算法，為了提高算法跟蹤精度和速度，建立了相鄰兩幀濾波器之間的關系，并提出了交替方向乘子法（ADMM）求解方程組。Huang等人［8］利用前后兩幀響應圖的全局變化情況檢測跟蹤過程中的異常情況，避免濾波器錯誤學習過多的背景信息，能有效解決邊界效應以及抑制畸變。Li等人［9］提出了一種在線自動自適應學習方法，能夠自動學習和調整預定義參數(shù)，在多個無人機跟蹤任務測試中均達到最優(yōu)效果。Fu等人［10］將顯著性檢測方法融入到濾波器訓練中，并利用了雙重正則化（DRCF）突出了對象外觀并取得較好的實驗結果。Lin等人［11］提出了一種新的雙向不協(xié)調感知相關濾波器，將響應的雙向不一致誤差集成到濾波器中，可以有效地學習外觀的變化并抑制不一致誤差。王海軍等人［12］根據(jù)前后幀之間的響應差和相關濾波器的變化建立雙重約束的目標函數(shù)，能夠有效跟蹤無人機目標。由此可知，利用響應變化可以有效約束外觀變化。在無人機航拍的復雜場景下，實現(xiàn)魯棒、準確和實時的跟蹤是一項非常具有挑戰(zhàn)性的任務。

本文提出一種雙重響應異常約束的無人機目標跟蹤算法（DRACF）。通過計算局部響應變化和全局響應峰值旁瓣比在線動態(tài)更新空間正則化參數(shù)，確保空間一致性；采用異常峰值判斷機制，評估當前幀次峰值所帶來的影響，動態(tài)更新時間正則化參數(shù)，以適應復雜場景變化，解決跟蹤漂移問題，進一步抑制異常發(fā)生。目標函數(shù)通過交替方向乘子迭代求解最優(yōu)解。將DRACF算法與原算法在多個主流的無人機數(shù)據(jù)集上進行對比，評估實驗結果。

2 時空正則化相關濾波方法

在過去，所有目標跟蹤算法都是在時域中處理的。由于其求解過程中需要進行復雜的矩陣求逆運算，因此需要大量的計算量和實時性能，基于相關濾波的目標跟蹤方法將計算轉換到頻域，利用循環(huán)矩陣在頻域可對角化的特性，使運算量大為降低，運算效率明顯加快。為便于了解無人機平臺基于相關濾波類目標跟蹤算法的跟蹤原理，給出一般跟蹤結構圖如圖1所示。

圖1 無人機平臺基于相關濾波類方法的一般跟蹤結構Fig.1 General tracking structure of UAV platform based on correlation filtering class method

基于時空正則化相關濾波（STRCF）［13］目標跟蹤算法以相關濾波理論為基礎，主要思想源于在線被動攻擊學習算法（PA）［14］以及空間約束相關濾波（SRDCF）［4］目標跟蹤算法，將時間正則化方法與SRDCF相融合，得到了時空正則化相關濾波器，能夠有效降低邊界效應的影響，在外觀變化較大的情況下比SRDCF具有更強的魯棒性。STRCF算法的目標函數(shù)如式（1）所示：

其中：y為目標響應函數(shù)，D表示總通道數(shù)，xd為當前幀中提取到的樣本，d表示特征通道索引，w為空間權重矩陣，μ為時間權重因子。

相比SRDCF算法，由于引入了時間正則項，在訓練階段不需要用到之前所有T幀的信息，從而大幅減少了訓練所需的內存，提高了計算速度，達到實時跟蹤的效果（30幀/s）。盡管STRCF取得了令人滿意的性能，但它仍然存在兩個局限性：（1）時間正則化參數(shù)設置為常數(shù)，不具有通用性，在很多視頻序列中不能獲得理想的跟蹤結果；（2）固定空間正則化不能有效處理跟蹤場景中不可預見的外觀變化問題。

3 算法描述

3.1 局部響應變化約束

在目標跟蹤過程中，由于背景環(huán)境、邊緣效應和物體外形改變等因素的干擾，使所產生的響應圖在特定的地方發(fā)生畸變或異常，而響應圖提供的信息能從某種角度反應出當前幀的外觀模型與實際目標之間的相似性［15］。不同狀態(tài)下響應圖的變化情況如圖2所示。

圖2 跟蹤狀態(tài)及其對應的響應圖Fig.2 Tracking states and corresponding response maps

本文利用前后兩幀全局響應偏差構造局部響應變化向量，以此作為判斷目標跟蹤過程中前后兩幀圖像的響應圖變化劇烈程度的依據(jù)。當前后兩幀響應圖劇烈改變時，這一區(qū)間的可靠性降低。

我們將局部響應變化向量Δi定義為：

式中：Rt[ψΛ]i為當前樣本生成的響應圖為上一幀樣本生成的響應圖；Rt表示響應圖R中的第t個元素；η為學習率，設置為8。

在此基礎上，通過局部響應變化向量，以及由視頻第一幀中獲取到的目標大小信息構建的裁剪矩陣PT，構建了如式（3）所示的空間正則項

μ繼承STRCF以減輕邊界效應，正則化參數(shù)δ為常數(shù)。在實際運用中，當跟蹤的可信度較高時，目標的空間變化范圍相對較小。與此對應的是，在快速運動且視角變化較大的情況下，其跟蹤可靠性較差。為實現(xiàn)基于可信程度的實時校正，本文提出以峰值旁瓣比法（Peak to Sidelobe Ratio，PSR）為衡量跟蹤系統(tǒng)可靠性的指標，實現(xiàn)對正則參數(shù)的實時動態(tài)計算和更新。峰值旁瓣比的定義如式（4）所示：

式中：Rt最大值用max函數(shù)求解，ωt為特征響應圖的均值，σt為特征響應圖的方差。圖3為coke序列的峰值旁瓣比變化情況，當出現(xiàn)遮擋或模糊時，峰值旁瓣比低于20，判斷為不可靠。當算法能夠精確跟蹤定位時，峰值旁瓣比較大，反之峰值旁瓣比很小，所以用峰值旁瓣比自適應地計算空間正則化系數(shù)δ：

圖3 峰值旁瓣比隨跟蹤變化圖Fig.3 Variation of peak sidelobe ratio with tracking

式中：β為學習率，Pt為當前幀的峰值旁瓣比。

3.2 次峰響應變化約束

在STRCF算法中的時間正則項的超參數(shù)是固定的，無法自適應復雜的跟蹤場景變化。當跟蹤目標物體由于快速運動、遮擋、形變、相機旋轉等因素造成目標外觀發(fā)生明顯變化時，模型因魯棒性較差易導致跟蹤漂移。

無人機目標跟蹤場景復雜多變，當遇到嚴重的環(huán)境變化、類似的物體干擾和其他不利條件時，響應圖將嚴重波動，同時出現(xiàn)多個峰值，如圖4所示。對跟蹤目標而言，威脅最大的將在響應圖中體現(xiàn)為次峰值，圖5為響應異常峰值變化情況。這里我們定義一個衡量系數(shù)Mk，用以衡量威脅最大的子峰值對當前幀影響的嚴重性：

圖4 目標不同狀態(tài)時響應峰值變化Fig.4 Response peak changed with the target in different states

圖5 響應異常時峰值變化圖Fig.5 Peak values change when response is abnormal

其中：R表示搜索區(qū)域中的響應圖，k表示第k幀，是R中的最大值，ψ表示一個二進制矩陣以顯示響應圖中的子峰，T定義為：

式中：ν表示T中的權重，?表示距離的影響程度，實驗中ν取值為1，?取值為0.2，這兩個參數(shù)都是預先定義的；d(i，j)表示第i行和第j列的點到矩陣中心的距離，距離中心越遠，T值越低；由于響應圖的中心峰會影響子峰的搜索，因此中心區(qū)域的閾值為dmin，權重設置為0。

最后將得到的Mk融合到時間正則項超參數(shù)θt，計算公式如式（8）所示：

其中，υ為經驗值，實驗中取16。通過動態(tài)更新時間正則項參數(shù)，將異常影響降到最低，進而使跟蹤器更加魯棒。

3.3 模型更新

在之前的大部分跟蹤方法中都使用了固定的學習率，在每幀后都會對濾波器模型進行更新。在目標定位后，會將其作為一個默認的狀態(tài)，然后在新的目標位置進行新一輪的建模訓練并用來對其進行更新［16］。但是，由于現(xiàn)實環(huán)境中存在遮擋、背景雜波等因素，由于預測誤差，使得被檢測到的對象盒中存在一些受影響的數(shù)據(jù)，因此，若對其進行直接的更新，將會造成對其進行建模的“污染”，進而造成“漂移”的結果。所以，必須選取適當?shù)臏蕜t對其進行評價。Wang等［17］提出平均峰值相關能量（Average Peak Correlation Energy，APCE）指標，通過響應圖峰值分布情況判別濾波器跟蹤狀態(tài)，即

其中，F(xiàn)max、Fmin、Fω，h分別為響應最高、最低和(ω，h)位置的響應值。當目標跟蹤正常時，生成的響應圖為單峰且計算得到的APCE的數(shù)值較大；當目標出現(xiàn)遮擋等異常性情況時，生成的響應圖中出現(xiàn)多個不同的波峰且計算得到的APCE數(shù)值較小。僅利用最大峰值判據(jù)目標的位置和濾波器的更新容易引起目標的漂移甚至丟失。因此，當最大值和APCE值均以一定比例大于前面幀的均值時，可判定當前可以進行模型更新操作；否則，將保持上一幀的跟蹤模型，停止更新。在第t幀時，跟蹤模型的更新條件按照如下約束：

其中：APCEt，分別表示第i幀響應的平均峰值相關能量和最大響應值，比例閾值ζ1、ζ2為0～1之間的常數(shù)。

本文模型更新階段采用如下方式：

3.4 雙重響應異常約束的無人機目標跟蹤

DRACF算法以STRCF為基準算法，引入峰值旁瓣比和次峰響應比雙重響應異常約束機制，動態(tài)更新時空正則項參數(shù)，能夠有效達到抑制異常準確跟蹤的目的，目標函數(shù)如式（12）所示：

式中：K為樣本特征通道數(shù)為空間正則化參數(shù)，θt為時間正則項超參數(shù)。

類似于STRCF算法的解法，在該方法中，采用了一個附加的變量q，將方程式轉換為增廣拉格朗日型，然后用ADMM的方法求出：

采用ADMM方法，將拉格朗日形式問題分成多個子問題：

對公式（15）、（16）、（17）進行迭代法的最優(yōu)值求解。

4 實驗與結果分析

4.1 實驗環(huán)境及參數(shù)設置

本文使用的計算機操作系統(tǒng)為Window10，CPU為英特爾i7-10750H，頻率為2.60 GHz，內存大小為16 GB。編程軟件為MATLAB R2018b。參數(shù)設置：局部響應變化學習率η=8，空間正則化系數(shù)δ的學習率β=0.3，模型更新階段學習率α=0.02，ADMM的迭代次數(shù)為3，其余參數(shù)設置與STRCF相同。

為檢驗DRACF算法性能，選取近幾年優(yōu)秀的基于相關濾波的目標跟蹤算法在3個流行的無人機跟蹤數(shù)據(jù)庫UAV123［18］、UAV20L［9］、DTB70［19］上進行仿真實驗，并利用benchmark平臺與KCF、DSST、SAMF、SRDCF、STRCF、AutoTrack、ARCF這7種算法進行實驗并對比分析（表1），對比算法的參數(shù)與原文一致。

表1 與本文對比的算法Tab.1 Algorithms compared with that in this paper

4.2 數(shù)據(jù)集及評估標準

UAV123數(shù)據(jù)集是一個用于低空無人機目標跟蹤的測試基準，包括103個專業(yè)級無人機拍攝的視頻序列，12個小型低成本無人機拍攝的視頻序列以及8個虛擬的合成視頻序列，共123個視頻序列，包含各種不同場景和不同跟蹤目標，是無人機目標跟蹤領域的代表性數(shù)據(jù)集之一。有12種挑戰(zhàn)屬性，分別是尺度變化（SV）、縱橫比變化（ARC）、低分辨率（LR）、快速運動（FM）、完全遮擋（FOC）、部分遮擋（POC）、超出視野（OV）、背景雜波（BC）、光照變化（IV）、視角變化（VC）、相機運動（CM）和相似物體（SOB）。UAV20L是UAV123的一個子集，專為長期跟蹤而設計，包括20個最長的序列。DTB70數(shù)據(jù)是一個高多樣性無人機航拍數(shù)據(jù)集，該數(shù)據(jù)集包含70個視頻序列，平均時長7 s，高空環(huán)境復雜多樣，為短時彩色視頻，主要關注相機運動場景下人和車輛的跟蹤。

為了評估跟蹤算法的跟蹤性能，本文采取的評估方式為一次跟蹤評估（OPE），即所有視頻只跟蹤一次。實驗中采用OTB-2015測試數(shù)據(jù)集中兩種通用評估方法即跟蹤精確度圖（Precision Plots）和跟蹤成功率圖（Success Plots），作為定量評價標準。精確度圖顯示了閾值在一定范圍內的平均精度，本文中閾值取20。成功率圖表示閾值在一定范圍內的重疊率精度，由曲線下的面積（AUC）評估跟蹤器性能。

4.3 實驗結果分析

4.3.1 定量分析

圖6展示了8種對比算法在數(shù)據(jù)集UAV123上的距離精度和成功率。圖7展示了8種對比算法在UAV20L數(shù)據(jù)集上的距離精度和成功率。由結果可知，本文算法在數(shù)據(jù)集UAV123和UAV20L上的表現(xiàn)相對于近幾年的優(yōu)秀算法都是較優(yōu)的。

圖6 UAV123數(shù)據(jù)集的測試結果Fig.6 Test results of UAV123 dataset

圖7 UAV20L數(shù)據(jù)集的測試結果Fig.7 Test results of UAV20L dataset

DRACF算法在數(shù)據(jù)集UAV123的距離精度和成功率分別達到71.7%和60.0%，在數(shù)據(jù)集UAV20L的距離精度和成功率分別達到58.7%和52.8%，精確度和成功率均排名第一，在長時間的跟蹤任務中表現(xiàn)優(yōu)異。圖8為本文算法與7種對比算法在數(shù)據(jù)集UAV123中遮擋、尺度變化、視點變化、相機運動4種屬性場景下的成功率曲線圖。

圖8 在UAV123數(shù)據(jù)集中遮擋、尺度變化、視點變化、相機運動屬性的成功率曲線。Fig.8 Success rate curves of partial occlusion， scale change， viewpoint change and camera motion attribute in UAV123 dataset.

由實驗結果可知，DRACF算法在遮擋、尺度變化、視點變化、相機運動屬性的視頻序列上均表現(xiàn)良好，優(yōu)于其他7種對比算法。在UAV123航拍數(shù)據(jù)集上的出色表現(xiàn)驗證了DRACF算法在實際無人機系統(tǒng)上完成目標跟蹤抗遮擋、應對目標尺度變化及視點變化等挑戰(zhàn)時具有優(yōu)良的性能。在數(shù)據(jù)集DTB70的距離精度和成功率分別達到66.7%和52.9%，相對于基準算法STRCF，成功率提升了4.4%、距離精度提升了1.8%。圖9為DRACF算法與7種對比算法在數(shù)據(jù)集DTB70中背景雜波屬性場景下的成功率曲線圖和精確度曲線圖。在背景雜波場景下，相比于同類型的ARCF和AutoTrack算法，DRACF的成功率與精確度均為最高；與基準算法STRCF相比，成功率提升了10.2%。DTB70數(shù)據(jù)集中的視頻序列環(huán)境復雜多樣，實驗結果表明DRACF算法有較好的抑制異常能力。

圖9 DTB70數(shù)據(jù)集中背景雜波屬性的距離精度曲線圖和成功率曲線圖Fig.9 Range accuracy curves and success rate curves of background clutter attribute in DTB70 dataset

為了更加直觀地對比DRACF算法與對比算法在各屬性下的跟蹤效果，表2列出了這8種算法在UAV123數(shù)據(jù)集上12種視頻屬性下的跟蹤成功率。

表2 8種跟蹤算法在各屬性序列上的成功率得分Tab.2 Success rate scores of 8 tracking algorithms on each attribute sequence

4.3.2 定性分析

為了更加直觀地分析DRACF算法的跟蹤性能，將本文算法與SRDCF、STRCF、AutoTrack、ARCF等4種算法在3個具有挑戰(zhàn)性的視頻序列對比跟蹤結果。

圖10（a）為DTB70數(shù)據(jù)集的horse圖像序列中的部分關鍵圖像幀的跟蹤結果，視頻圖像包括部分遮擋和完全遮擋的挑戰(zhàn)。在開始階段，無人機低空飛行，目標周圍沒有障礙物沒有發(fā)生遮擋現(xiàn)象，所有算法均能夠成功跟蹤目標；第53～60幀，目標發(fā)生了部分遮擋，AutoTrack和ARCF都有不同程度的跟蹤誤差；第67～70幀，目標發(fā)生了完全遮擋，此時STRCF、AutoTrack、ARCF算法跟蹤完全失?。坏?0～126幀，目標脫離遮擋后DRACF算法和SRDCF、STRCF跟蹤依舊相對成功，但是STRCF相較于DRACF算法也存在跟蹤誤差。因此本文采用雙重響應異常約束策略，防止其進行錯誤的更新從而使跟蹤失敗。

圖10 5種算法在3個視頻序列的跟蹤結果比較Fig.10 Comparison of tracking results of 5 algorithms in 3 video sequences

圖10（b）為DTB70數(shù)據(jù)集的RcCar9圖像序列中的部分關鍵圖像幀的跟蹤結果，視頻圖像包括視角變化、快速運動、目標旋轉和目標模糊等挑戰(zhàn)。視頻開始，小車沿直線運行，所有算法均能夠成功跟蹤目標；第10～45幀，目標小車完成第一次轉彎，無人機視角和目標外觀均發(fā)生變化，SRDCF算法跟蹤完全失?。坏?9～124幀，目標小車進入顛簸路段，此時目標模糊且速度快，因而5種算法均發(fā)生不同程度的漂移；第140幀，目標小車進入最后一個彎道，DRACF算法和AutoTrack、ARCF算法依舊跟蹤相對成功，STRCF算法發(fā)生嚴重漂移，不能完成準確跟蹤?？梢姡珼RACF算法在面對較為復雜的低空目標跟蹤時，能夠較好地完成跟蹤。

圖10（c）為UAV20L數(shù)據(jù)集上的Car16圖像序列中的部分關鍵圖像幀的跟蹤結果，視頻圖像包含視角變化、尺度變化等挑戰(zhàn)。剛開始時，無人機距離目標較遠，目標占視野比率較小，但各種算法均能準確跟蹤。隨著汽車逐漸靠近無人機，目標占視野比率增大，各種算法只中選擇目標的一部分在跟蹤框內，也造成了目標特征學習的缺失，因此提供更準確的目標特征對跟蹤任務尤為重要。第186～251幀，目標尺度發(fā)生嚴重變化，SRDCF、STRCF和ARCF均發(fā)生不同程度漂移；在第260～350幀和第1 114～1 260幀，無人機轉動視角發(fā)生及目標尺度改變，均影響了跟蹤效果，在面對多尺度變化問題時，DRACF算法存在一定缺陷，但與對比算法比較仍能保持穩(wěn)定跟蹤，在長時間目標跟蹤任務中表現(xiàn)優(yōu)異。

4.3.3 消融實驗

為了驗證DRACF算法的合理性和有效性，實驗設計了對比基準算法STRCF在局部響應變化約束模塊（Local Response Change Constraint，LRC）、次峰響應變化約束模塊（Subpeak Response Change Constraints，SRC）作用下的跟蹤對比，表3展示了在UAV123數(shù)據(jù)集上多種組合的實驗結果?？梢钥闯?，STRCF算法的成功率和精確度均為最低；而當在STRCF基礎上分別引入LRC模塊和SRC模塊時，成功率和精確度較基準算法均有一定程度提升；DRACF算法的成功率和精確度都排名第一，表明同時使用LRC模塊和SRC模塊可以有效提高無人機的目標跟蹤性能。最后，對比4種算法的跟蹤速度，DRACF算法最快。

表3 在UAV123數(shù)據(jù)集上消融實驗結果Tab.3 Ablation experimental results on UAV123 dataset

4.3.4 實時性分析

表4為不同算法在DTB70數(shù)據(jù)庫上的跟蹤速度對比，所有算法都在相同的實驗平臺進行仿真。DRACF算法能夠滿足跟蹤實時性需求，具有實際跟蹤場景的應用價值。

表4 各算法的跟蹤速度Tab.4 Tracking speed of different algorithms

5 結論

本文在STRCF算法的基礎上提出了一種雙重響應異常約束的無人機跟蹤算法。針對無人機跟蹤目標易受視角變化、尺度變化等因素影響的問題，通過計算全局響應峰值旁瓣比和局部響應變化在線動態(tài)更新空間正則化參數(shù)，實現(xiàn)魯棒的目標跟蹤；加入異常峰值判斷機制，計算次峰響應系數(shù)，并用該系數(shù)實時更新時間正則化參數(shù)，對異常進行實時監(jiān)測，有效抑制異常發(fā)生，提升了跟蹤器處理各種復雜場景的能力。在UAV123、UAV20L、DTB70數(shù)據(jù)集上評估本文算法的性能，本文算法相對于STRCF、AutoTrack等主流算法均有了一定幅度的提高，精確度達到71.7%，跟蹤平均速度達到48.3幀/s，尤其在UAV20L數(shù)據(jù)集中的長時間無人機目標跟蹤任務中表現(xiàn)優(yōu)異。但當目標出視野時，本文算法跟蹤失敗，因此未來將進一步優(yōu)化跟蹤模型以及目標重檢測機制，提升算法性能，促進目標跟蹤技術的發(fā)展及其在無人機中的應用。