張文波，劉 剛*，張 良，王明昌，劉 森

(1. 河南科技大學 信息工程學院，河南 洛陽 471023； 2. 中國空空導彈研究院，河南 洛陽 471009； 3. 航空制導武器航空科技重點實驗室，河南 洛陽 471009)

0 引 言

空中目標跟蹤是紅外成像制導導彈完成精確打擊的關鍵技術之一，跟蹤性能的優(yōu)劣直接影響打擊效果。紅外成像制導系統(tǒng)對空中目標跟蹤性能的要求，主要體現(xiàn)在彈目距離遠、目標所在自然環(huán)境復雜多變條件下，視場中的目標多為有限像素、特征信息微弱、背景雜波干擾多及存在遮擋等問題，對目標穩(wěn)定跟蹤帶來了較大的困難。紅外目標跟蹤的傳統(tǒng)算法中，根據(jù)不同的場景人工設計有針對性的特征提取方法，難以適應復雜的紅外空中場景情況。

近年來，國內外學者已經將深度學習算法應用到目標跟蹤中，使用卷積神經網(wǎng)絡(Convolutional Neural Networks, CNN)來提取深度特征，取得了超過傳統(tǒng)相關濾波跟蹤算法的跟蹤性能。比如：ECO算法將深度特征引入相關濾波跟蹤模型中，通過卷積因式分解、更新策略和樣本分組來改進，提升跟蹤性能。MDNet算法在網(wǎng)絡中對每個視頻序列設計各自的全連接層，在跟蹤過程中在線更新分類器，微調檢測分支，大幅提高跟蹤效果。TCNN為了避免在線更新模型被污染，使用多個CNN加權得出候選框得分選取目標。這些算法將跟蹤目標視為分類問題，但分類與跟蹤兩個任務是有本質區(qū)別的，并且在線微調的跟蹤算法雖然精度較高但跟蹤速度較低，不能滿足實時跟蹤需求。

為改善上述算法存在的缺陷，基于孿生網(wǎng)絡的跟蹤算法在首幀標注目標的基礎之上，利用相似性度量方法尋找后續(xù)幀目標。該算法可以更好地避免分類網(wǎng)絡難以識別未訓練過的物體類別問題，與跟蹤任務更加契合。此外，孿生網(wǎng)絡跟蹤算法在初始離線階段采用端到端訓練網(wǎng)絡方法，獲得較強的跟蹤實時性。SINT算法使用孿生網(wǎng)絡學習目標模板和候選目標之間的匹配函數(shù)，跟蹤過程中選取候選目標中與目標模板距離最小的為目標，但每次處理大量候選框較耗時。SiamFC算法將待搜索區(qū)域與目標模板的深度特征進行互相關運算，響應值最大位置為目標中心點。SiamRPN算法在SiamFC基礎上引入?yún)^(qū)域建議網(wǎng)絡模塊估計目標位置和尺寸，以適應目標多尺度變化。在紅外空中目標跟蹤中，Kim等改進孿生網(wǎng)絡結構進行特征提取，利用多層特征RPN的加權求和來提升紅外目標特征表達能力，并采用交叉熵和平滑L1的組合損失函數(shù)，解決損失函數(shù)難以收斂問題，獲得很好的跟蹤效果。Hu等將孿生網(wǎng)絡卷積層提取的深度特征與傳統(tǒng)的紅外空中目標特征相結合來提高跟蹤精度。以上算法對背景簡單、具有明顯形狀的目標跟蹤效果較好。目標在復雜背景下被雜波干擾、遮擋時，算法無法利用已有的特征信息穩(wěn)定地跟蹤目標，甚至跟蹤失敗。

針對上述問題，本文提出一種改進全卷積孿生網(wǎng)絡紅外空中小目標跟蹤算法。該算法利用響應圖的變化信息獲知目標跟蹤狀態(tài)，提升算法的狀態(tài)判別能力； 通過傳統(tǒng)特征與深度特征相結合的方法，避免了單一使用深度特征難以判別紅外空中小目標和背景雜波； 使用目標幀間運動信息來預測遮擋目標位置，解決了目標被遮擋后由于特征信息減少而無法準確跟蹤的問題。

1 全卷積孿生網(wǎng)絡基本原理

孿生網(wǎng)絡把目標跟蹤問題視為相似性學習問題，將待跟蹤圖像序列的初始幀目標信息與后續(xù)幀候選目標進行比較，選取相似性最高的為目標?；谌矸e孿生網(wǎng)絡(Fully -Convolutional Siamese Networks，SiamFC)目標跟蹤算法是在目標跟蹤方面的經典算法，該算法實時性較高，采用離線訓練跟蹤模型網(wǎng)絡參數(shù)，在線跟蹤不調整參數(shù)，直接執(zhí)行前向傳播操作，跟蹤速度快； 魯棒性強，跟蹤過程網(wǎng)絡模型和目標模板不更新，目標模板不會被污染，即使目標被遮擋也不會影響后續(xù)捕獲。這些優(yōu)點對于對跟蹤實時性和穩(wěn)定性要求高的紅外成像制導導彈來說是十分符合的。因此，選擇SiamFC為目標跟蹤的基本框架。

全卷積孿生網(wǎng)絡目標跟蹤算法結構如圖1所示，由模板分支和檢測分支組成的。模板分支主要以圖像作為模板輸入，目標模板是跟蹤圖像序列第一幀已給定的目標框裁剪出的圖像。檢測分支主要負責接收當前幀的待搜索區(qū)域，是以上一幀目標位置為中心裁剪出的圖像。目標模板和待搜索區(qū)域分別經過共享參數(shù)的卷積神經網(wǎng)絡后得到各自特征圖()和()。

圖1 全卷積孿生網(wǎng)絡結構Fig.1 Fully-convolutional Siamese networks architecture

孿生網(wǎng)絡作為深度特征提取器，提取目標模板和待搜索區(qū)域的特征之后，送到相似度函數(shù)里計算相似度，相似度函數(shù)為卷積操作，即

(,)=()*()+

(1)

式中：為特征提取網(wǎng)絡； *為卷積運算；為偏置向量。根據(jù)式(1)，卷積操作實際上是將目標模板特征圖()作為卷積核，在待搜索區(qū)域特征圖()上執(zhí)行滑窗算法，得到相似特征的響應圖(,)。響應圖的每個點代表著目標模板與待搜索區(qū)域對應位置的相似度大小，值越大代表相似度越大。經雙三次插值后，可根據(jù)響應圖中最大值所處位置來確定當前幀目標的真實位置。

將SiamFC應用在紅外空中小目標跟蹤中，實驗結果表明其能保持較好的跟蹤速度和準確性，但隨著背景復雜度的提升，目標跟蹤精度嚴重下降，背景雜波干擾、遮擋等情況會導致跟蹤失敗。為此，本文在SiamFC的基礎上，增加目標跟蹤狀態(tài)判斷準則，并在相應狀態(tài)下提出改進策略。

2 改進全卷積孿生網(wǎng)絡紅外空中小目標跟蹤算法

2.1 深度特征提取網(wǎng)絡結構

在AlexNet基礎上設計目標的深度特征提取網(wǎng)絡。其前兩個卷積層后使用最大池化層，除了最后一層卷積層之外的每一個卷積層都使用ReLU，最后三層卷積層使用分組卷積。在每個線性層之后都有批規(guī)范化層(Batch Normalization)，卷積層沒有填充操作，網(wǎng)絡總步長為8。

在實際跟蹤過程中，如圖1所示，目標模板和待搜索區(qū)域分別裁剪變換為127×127×3的和255×255×3的，兩者經過特征提取網(wǎng)絡后，得到6×6×128()和22×22×128()的特征圖。以6×6×128特征圖為卷積核與22×22×128特征圖進行卷積運算得到17×17的特征響應圖，再經雙三次插值獲得272×272最終的特征響應圖。

本文通過離線訓練特征提取網(wǎng)絡，損失函數(shù)判別離線網(wǎng)絡訓練中的正負樣本，表示為

(2)

式中：為網(wǎng)絡輸出響應圖；為響應圖中某一位置的索引，∈；()為響應圖中位置對應的響應值；()為響應圖中位置對應真實空間的正負樣本標簽，其中正樣本標簽為1，負樣本標簽為-1，即

(3)

式中：為網(wǎng)絡總步長；為響應圖中心位置；為搜索區(qū)域半徑。整個網(wǎng)絡訓練使用隨機梯度下降算法SGD(Stochastic Gradient Descent)來優(yōu)化：

(4)

式中：為樣本標簽;為網(wǎng)絡參數(shù)。迭代訓練的最終目標是求一組使損失函數(shù)取得最小值的參數(shù)。離線訓練好的特征提取網(wǎng)絡在線跟蹤時，不需要更新網(wǎng)絡的參數(shù)。

2.2 跟蹤狀態(tài)判斷

全卷積孿生網(wǎng)絡跟蹤算法采用深度特征響應圖最大峰值點坐標作為當前幀的跟蹤結果，響應圖的波動情況及主峰狀態(tài)可反映出當前跟蹤結果的置信度。圖2～3分別為SiamFC跟蹤算法在地空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集data17序列和data11序列的跟蹤結果及其對應的響應圖對比，圖中紅色實線框為SiamFC跟蹤結果，黃色虛線框為目標真實位置。

圖2 data17序列跟蹤結果及其對應響應圖Fig.2 Tracking results of data17 sequence and its corresponding response maps

圖2～3分別表現(xiàn)出目標在受到背景雜波干擾和遮擋時的跟蹤情況。當目標正常跟蹤、沒有受到干擾時，對應的響應圖中只有目標中心位置處有一個明顯主峰，并且主峰周圍區(qū)域分布平緩，跟蹤效果良好。

在data17序列中目標發(fā)生背景雜波干擾跟蹤到背景中相似干擾物時，對應的響應圖中主峰附近出現(xiàn)高度相近的次峰，周圍分布波動較大，甚至背景相似干擾物的峰值大于目標峰值，從而導致跟蹤到錯誤目標。在data11序列中目標被遮擋時，由于待搜索區(qū)域內丟失目標，只能選擇最相似目標，等待脫離遮擋后，目標已經遠離待搜索區(qū)域，依舊無法正常跟蹤目標。觀察發(fā)現(xiàn)目標被遮擋時，對應的響應圖出現(xiàn)劇烈波動，主峰不夠明顯，周圍多個峰高度上升，視覺呈現(xiàn)“多峰”狀態(tài)。根據(jù)上述情況分析，可以通過響應圖的波動狀態(tài)來判斷出目標跟蹤狀態(tài)是否發(fā)生變化。本文采用平均峰值相關能量(Average Peak to Correlation Energy，APCE)來評估目標跟蹤狀態(tài)以及受到背景雜波干擾、遮擋等情況的嚴重程度。

定義為

(5)

式中：和分別表示響應圖中最大值和最小值；, 為響應圖中(,)處的響應值。指標主要用于度量響應圖的波動情況，圖2(b)中=17.1，圖2(d)中=4.4，圖3(b)中=16.2，圖3(d)中=3.6，圖3(f)中=6.3。如圖2(b)和圖3(b)所示，

圖3 data11序列跟蹤結果及其對應響應圖Fig.3 Tracking results of data11 sequence and its corresponding response maps

在正常跟蹤情況下，響應圖波動較小，視覺呈現(xiàn)“單峰”狀態(tài)，值較大。在目標發(fā)生背景雜波干擾、被遮擋時，如圖2(d)和圖3(d)所示，響應圖波動劇烈，視覺呈現(xiàn)“多峰”狀態(tài)，相比正常跟蹤的值大幅減小。所以，通過分析響應圖的波動情況并計算響應圖的值, 能夠有效反映出當前的跟蹤狀態(tài)。當值大幅降低時，可以判斷出目標跟蹤進入不穩(wěn)定狀態(tài)，但是無法準確判斷出具體原因。

圖4為SiamFC跟蹤算法在data17序列和data11序列跟蹤過程中的響應圖最大峰值統(tǒng)計圖。其中，圖4(a)的點對應圖2(c)，圖4(b)的點對應圖3(c)。從圖2(d)和圖3(d)可知，點和點對應的響應圖值都比較低，但是從圖4可以看出這兩個點與相鄰歷史幀的最大峰值變化狀態(tài)不同。

圖4 響應圖最大峰值統(tǒng)計Fig.4 Maximum peak value statistics of response maps

圖4(a)中，點處目標受到背景雜波干擾，第21幀的最大峰值相較第20幀突然發(fā)生下降，這是由于跟蹤到相似干擾物上，但21幀之前的峰值變化不大。圖4(b)中，目標經歷從輕微遮擋到完全遮擋過程，從第180幀最大峰值開始逐漸變小，到第189幀時目標被完全遮擋，此刻最大峰值為最小值點。綜上分析，當值較小時，結合響應圖最大峰值的變化狀態(tài)可以分類出可能導致跟蹤失敗的因素。所以，選擇響應圖的最大峰值和值對當前幀的目標跟蹤狀態(tài)進行評估判斷?？紤]到不同序列的目標背景以及目標的變化會對響應圖產生影響，為使目標跟蹤判斷更加可靠，將當前幀的值和最大峰值與歷史幀進行對比，即

(6)

式中：和max-，和max-分別為當前幀和歷史幀的響應圖值與最大峰值；為參考的歷史幀數(shù)；和max-為當前幀的響應圖值和最大峰值與歷史幀相應均值的比值，反應了當前幀值和最大峰值的變化程度。

跟蹤過程中通過和max-值結合歷史幀響應圖的信息來判斷當前跟蹤狀態(tài)，具體判斷流程如圖5所示。

圖5 判斷流程圖Fig.5 Judgment flow chart

在正常跟蹤狀態(tài)下，選取響應圖中最大峰值點為目標點，得到其相對于響應圖中心的偏移值，再乘以網(wǎng)絡總步長，就可以得到當前幀目標的中心位置。對于其他情況，正常跟蹤策略無法有效跟蹤目標，本文提出不同的處理策略。

2.3 聯(lián)合局部對比度的背景雜波判別

通過跟蹤狀態(tài)評估準則判斷出現(xiàn)背景雜波干擾時，由于相似干擾物與真實目標同在待搜索區(qū)域內，所以響應圖波動變大，呈現(xiàn)“多峰”狀態(tài)，當前幀的真實目標位置可能在其他次峰，而非響應圖的最大峰。此刻只用深度特征來選取真實目標是十分困難的，考慮使用傳統(tǒng)特征聯(lián)合深度特征來選取紅外空中小目標具有重要應用意義。目標自身具有紅外輻射特性，且與背景的輻射有差異，導致目標與背景具有一定的亮度差異，目標與局部鄰域背景的對比度與其他物體不一樣，并且在一段時間內變化不大。局部對比度是目標灰度均值與局部鄰域背景灰度均值之比，即

(7)

式中：為目標區(qū)域；為目標區(qū)域的鄰域；為區(qū)域內的像素數(shù)量；(,)為原圖像(,)處像素的灰度值。

背景雜波中相似干擾物自身亮度與周圍環(huán)境相差不大，對比度較低。而紅外空中小目標亮度高，局部對比度較高，兩者相比差異性較大。對data17序列第21幀目標和背景干擾的灰度分析如圖6所示，紅色實線框為真實目標，黑色虛線框為相似干擾物。通過響應圖的最大峰值來確定目標，圖6(a)中虛線框內的干擾物峰值為最大峰值，實線框內的真實目標峰值為第二峰值，如果選取最大峰為目標，就會跟蹤到干擾物。觀察圖6(c)中實線框真實目標，中心區(qū)域的灰度值明顯高于鄰域背景灰度值。對比虛線框的干擾物，中心區(qū)域和鄰域背景的灰度值基本一致，真實目標的局部對比度是高于干擾物的。所以，使用局部對比度可以有效區(qū)分真實目標和干擾物。

圖6 目標和背景干擾灰度分析Fig.6 Gray analysis of target and background interference

使用目標的深度特征響應值和局部對比度特征構建每個候選目標與歷史幀真實目標的特征相似度得分，定義為

(8)

式中：為候選目標點集合，數(shù)量為；和為當前幀的候選目標的響應值和局部對比度；max-和max-為歷史幀響應圖中最大峰值和局部對比度；為參考的歷史幀數(shù)；和1-分別為響應值和局部對比度所占權重。特征相似度得分衡量了候選目標與真實目標特征的相似度，值越小，表示候選目標特征值與真實目標越接近。

在跟蹤過程中，當判斷出目標受到背景雜波干擾時，使用最大值濾波器查找響應圖中多峰值點，選取多峰峰值前名的點為候選目標中心點。使用相同的目標框大小，計算每個候選目標的局部對比度。使用每一個候選目標的局部對比度及其響應值計算對應的特征相似度得分，值最小的候選目標點為目標點，再經過位置變換得到當前幀目標中心點位置。

2.4 卡爾曼濾波位置預測

卡爾曼濾波基于最小化均方誤差實現(xiàn)線性濾波，使用狀態(tài)轉移方程和觀測方程，對目標狀態(tài)進行迭代預測和更新。在目標跟蹤中，由于目標在相鄰幀的時間間隔很短，一般認為目標運動狀態(tài)穩(wěn)定，因此，可以在短時間內使用卡爾曼濾波有效地估計目標運動狀態(tài)，在目標被遮擋時進行位置預測。

假設時刻至+Δ時刻，目標在方向和方向上分別服從速度和的勻速運動，則目標在第幀的狀態(tài)轉移方程為

=-1+-1

(9)

第幀的觀測方程為

=+

(10)

在目標跟蹤過程中，先初始化卡爾曼濾波器，再根據(jù)后續(xù)目標跟蹤結果在一個迭代過程中對目標的運動狀態(tài)進行預測和最優(yōu)化估計。即當目標被遮擋時，可以通過歷史幀的目標位置信息使用卡爾曼濾波預測當前幀的目標位置。遮擋過程中，若當前幀的值變化率大于閾值，并且最大值變化率max-大于閾值，說明目標脫離遮擋，則進行正常跟蹤。

2.5 算法流程

算法流程圖如圖7所示。

圖7 改進跟蹤算法的流程圖Fig.7 Flow chart of improved tracking algorithm

具體步驟如下：

(1) 深度特征提取。將圖像序列輸入全卷積孿生網(wǎng)絡中，選取序列第一幀標注為目標模板，后續(xù)幀提供待搜索區(qū)域，兩者分別通過共享參數(shù)的卷積神經網(wǎng)絡提取深度特征。

(2) 計算特征響應圖。以目標模板的特征圖為卷積核對待搜索區(qū)域的特征圖做卷積運算，獲得特征響應圖。

(3) 跟蹤狀態(tài)判斷。先通過當前幀響應圖的平均峰值相關能量值來判斷目標是否正常跟蹤，若正常跟蹤，則執(zhí)行步驟(4)； 否則，再結合當前幀響應圖最大峰值的變化狀態(tài)來判斷跟蹤失敗原因。若目標受到背景雜波干擾，則執(zhí)行步驟(5)； 若目標被遮擋，則執(zhí)行步驟(6)。

(4) 正常跟蹤。選取當前幀響應圖最大峰值點為目標點。

(5) 聯(lián)合局部對比度的背景雜波判別方法。當前幀響應圖多峰值點組成候選點集，提取每個候選點的深度特征響應值和局部對比度，根據(jù)式(8)計算對應的特征相似度得分，選取得分最小的候選點作為當前幀目標點。

(6) 卡爾曼濾波位置預測。根據(jù)歷史幀目標位置信息構建的卡爾曼濾波來預測遮擋狀態(tài)下當前幀的目標位置，當判斷脫離遮擋后進行正常跟蹤，執(zhí)行步驟(4)。

3 實驗分析

算法實驗平臺硬件環(huán)境：CPU為Intel i7-8700k，主頻 3.7 GHz，內存 32 GB，一塊NVIDIA GTX1080Ti GPU 顯卡。軟件運行環(huán)境：win10操作系統(tǒng)下，運行在Python 3.6+Pytorch1.2開源深度學習框架，采用cuda10.0+cudnn7.6加速。

3.1 訓練集和測試集

算法選取ILSVRC2015數(shù)據(jù)集和地空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集來訓練和測試。其中，ILSVRC2015數(shù)據(jù)集是可見光圖像數(shù)據(jù)集，包含4 500個視頻序列，30個目標類型，共130萬幀標注圖像。地空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集是紅外圖像數(shù)據(jù)集，目標是低空飛行飛機，涵蓋天空、地空等多個場景，包含22個圖像序列、16 177幀圖像、16 944個目標，每個目標對應一個標注位置。該數(shù)據(jù)集主要為紅外目標特性、空中目標探測和精確制導等研究提供基礎數(shù)據(jù)。

算法訓練集選用ILSVRC2015數(shù)據(jù)集和部分地空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集。其中，紅外數(shù)據(jù)集選取9個序列，5 794幀圖像，6 193個目標。將ILSVRC2015數(shù)據(jù)集隨機分為訓練集和驗證集，所占數(shù)據(jù)量分別為90%和10%。由于紅外數(shù)據(jù)集圖像數(shù)量有限，采用交叉驗證法來劃分訓練集和驗證集，訓練集取8個序列，驗證集取1個序列。

算法測試集選用訓練剩余的地空背景下紅外圖像弱小飛機目標檢測跟蹤數(shù)據(jù)集。測試集的數(shù)據(jù)量為10 383幀圖像、10 751個目標。

3.2 訓練過程和參數(shù)設置

由于紅外空中小目標數(shù)據(jù)量少，算法在離線訓練階段先使用可見光數(shù)據(jù)集(ILSVRC2015)進行訓練和驗證，隨后在紅外空中小目標圖像序列上進一步訓練，以更好地獲取紅外空中小目標的深度特征。訓練過程中使用隨機梯度下降算法進行網(wǎng)絡參數(shù)優(yōu)化，訓練50輪，學習率設置為10，訓練圖像批量大小設置為8，取后10輪中最優(yōu)的結果。訓練損失曲線如圖8所示，可以看出訓練過程中損失函數(shù)逐漸下降，說明模型逐漸收斂，最終在37輪之后損失曲線趨于穩(wěn)定。

圖8 訓練損失曲線Fig.8 Training loss curve

跟蹤中算法的具體參數(shù)設置為：對于目標跟蹤狀態(tài)判斷相關參數(shù)=0.55，=0.68，=0.09； 式(6)中=10； 候選點數(shù)量=8； 式(8)中參考的歷史幀數(shù)為=5，特征權值=0.4； 判斷脫離遮擋的閾值=0.88。

3.3 評價指標

使用精度圖(Precision Plot)和成功率圖(Success Plot)來定量評估目標跟蹤結果，其分別對應中心位置誤差率和區(qū)域重疊率這兩個評價指標。

中心位置誤差是跟蹤過程預測的目標中心位置與數(shù)據(jù)集標注中心位置的歐式距離：

(11)

式中：(,)為預測目標的中心坐標； (,)為標注目標的中心坐標。規(guī)定一個閾值，將中心位置誤差小于該閾值的圖像幀數(shù)占該序列總幀數(shù)的比例定義為中心位置誤差率，其中閾值一般為20個像素點。

區(qū)域重疊度計算公式為

(12)

式中：為預測的跟蹤區(qū)域；g為目標的真實區(qū)域。規(guī)定一個閾值，將區(qū)域重疊度大于該閾值的圖像幀數(shù)占該序列總幀數(shù)的比例定義為區(qū)域重疊率，其中閾值一般為0.5。不同閾值下的中心位置誤差率和區(qū)域重疊率的統(tǒng)計圖對應到精度圖和成功率圖。

紅外空中小目標跟蹤由于工程化應用需求，要求算法實時性高，需要對算法進行實時性評估。采用每秒幀數(shù)(Frames per Second，F(xiàn)PS)作為實時性評價指標，即

(13)

式中：為第個序列的長度；為第個序列耗費的時長。

3.4 消融實驗分析

為了驗證本文算法在紅外空中小目標跟蹤中發(fā)生背景雜波干擾和遮擋時，相對應的解決方案對于整體性能的重要性，在測試集上進行消融實驗，實驗結果如表1所示?？梢钥闯?，本文算法在SiamFC基礎上通過跟蹤狀態(tài)評估，添加針對解決背景雜波干擾問題的方法后，成功率和精度相對SiamFC分別提升了20.9%和10.7%； 在SiamFC基礎上加入解決目標被遮擋問題的卡爾曼濾波位置預測方法，成功率和精度相對SiamFC分別提升了24.8%和6.9%； 在SiamFC基礎上加入解決目標被背景雜波干擾和遮擋問題的方法，成功率和精度相對SiamFC分別提升了33.4%和21.9%。這說明針對紅外空中小目標跟蹤的每一個解決方案都相應提升了算法跟蹤效果，并且方案結合后，提升效果最好。雖然跟蹤速度發(fā)生下降，但算法仍具有較高的實時性。

表1 消融實驗結果

跟蹤狀態(tài)判斷方法的準確性對后續(xù)不同狀態(tài)處理效果有很大影響，所以目標跟蹤狀態(tài)判斷相關參數(shù)，，和的選取至關重要。為驗證參數(shù)對算法性能的影響，首先使用SiamFC算法測試部分紅外數(shù)據(jù)集，統(tǒng)計測試過程中每一幀響應圖的值和最大峰值，結合跟蹤狀態(tài)分析，初步設定=0.46，=0.58，=0.13和=0.86； 然后，測試在0和1之間取不同值，固定其余3個參數(shù)的情況下，算法在紅外測試集上的表現(xiàn)。如圖9所示，當=0.55時，成功率最高，所以將改為0.55。按照相同方法，依次確定參數(shù)，，的值。由圖9可知，當=0.55，=0.68，=0.09，=0.88時，成功率最高，說明此時對于當前跟蹤狀態(tài)判斷最恰當，跟蹤效果最好。

圖9 紅外測試集下參數(shù)不同取值對算法的影響Fig.9 Influence of different parameter values on algorithm in infrared test set

3.5 與經典跟蹤算法的性能對比

3.5.1 定量分析

為了定量評估跟蹤算法的綜合性能，在紅外測試集上將本文算法與9種經典的跟蹤算法進行跟蹤性能對比，包括: 基于相關濾波算法的Staple和STRCF； 融合深度特征的相關濾波算法ECO-HC； 基于在線微調的深度學習算法MDNet； 基于孿生網(wǎng)絡的深度學習算法SiamFC，SiamRPN，DaSiamRPN，SiamDW和SiamFC++。其中，基于深度學習的算法均采用相同的訓練集訓練。

圖10為本文算法和9種對比算法在測試集上的成功率圖和精度圖，不同顏色和形狀的線條代表不同的算法。從圖中可以看出，本文跟蹤算法在跟蹤成功率和精度方面都明顯優(yōu)于其他9種算法，本文算法跟蹤成功率為0.511，相對第二名算法ECO-HC高出12.6%，相對基準算法SiamFC提升了33.4%。本文算法跟蹤精確度為0.818，相對第二名算法MDNet高出11.0%，相對基準算法SiamFC提升了21.9%。說明本文算法在SiamFC基礎上的改進提升了算法的整體跟蹤性能，更加適用于紅外空中小目標跟蹤。

圖10 不同算法在測試集上的跟蹤性能對比Fig.10 Comparison of tracking performance of different algorithms on the test set

為進一步詳細分析本文算法在復雜背景和遮擋情況下的表現(xiàn)，使實驗結果更全面，在測試集上挑選目標出現(xiàn)復雜背景干擾和被遮擋情況兩種屬性的數(shù)據(jù)，將本文算法和9種算法在兩種屬性數(shù)據(jù)上分別進行對比，如圖11所示。圖11(a)～(b)中，本文算法在復雜背景干擾情況下，跟蹤性能排名第一，其中成功率和精度相比第二名高出30.4%和20.5%。圖11(c)～(d)中，本文算法在遮擋情況下，跟蹤性能排名第一，其中成功率和精度相比第二名高出12.7%和15.6%。說明本文算法在目標發(fā)生復雜背景干擾、被遮擋等情況下，跟蹤效果明顯優(yōu)于其他算法。

圖11 不同算法分別在復雜背景和遮擋屬性上的跟蹤性能對比Fig.11 Comparison of tracking performance of different algorithms on complex background and occlusion properties

表2為本文算法和9種算法在測試集上的平均跟蹤速度。可以看出，算法的跟蹤速度優(yōu)于本文算法的，其跟蹤成功率和精度都低于本文算法； 與本文算法跟蹤性能較為接近的ECO-HC和MDNet算法的跟蹤速度都遠低于本文算法。本文算法測試速度達到145 frame/s，滿足實時性的需求。

表2 不同算法在測試集上的平均跟蹤速度

3.5.2 定性分析

為了更加直觀地評估本文算法跟蹤性能，對該算法與其他9種跟蹤算法在測試序列data17，data7，data11和data20上的實際跟蹤結果進行定性分析，跟蹤結果如圖12所示，不同顏色的跟蹤框代表不同算法。

圖12 本文算法與其他9種算法的部分跟蹤結果Fig.12 Partial tracking results of proposed algorithm and other nine algorithms

(1) 背景雜波干擾：背景雜亂容易出現(xiàn)背景相似物干擾，導致錯誤跟蹤。圖12(a)data17序列中，第37幀目標周圍出現(xiàn)建筑物造成相似物干擾，除本文算法、SiamRPN和SiamFC++跟蹤到正確目標外，其余算法跟蹤到干擾物。圖12(b)data7序列第29幀和第35幀中，由于光照和亮背景的影響，目標發(fā)生變化，并且周圍山體和樹木產生相似物干擾，多數(shù)算法發(fā)生跟蹤漂移，只有本文算法始終穩(wěn)定跟蹤目標。如圖12(b)data7的第35幀所示，脫離背景雜波干擾環(huán)境后，本文算法依舊跟蹤目標，驗證了本文算法采用深度特征響應值聯(lián)合局部對比度的判別方法可以有效抵抗背景雜波干擾。圖12(d)data20序列中，第399幀目標周圍出現(xiàn)相似建筑物干擾，相比MDNet，本文算法可以準確定位目標。

(2) 遮擋：圖12(a)data17序列中第65幀目標被建筑物輕微遮擋，脫離遮擋后，如圖12(a)data17的第155幀所示，只有本文算法跟蹤到目標，其余算法跟蹤結果完全漂移。圖12(c)data11序列第189幀目標進入樹林強光背景中，出現(xiàn)完全遮擋情況，脫離遮擋后，除了本文算法、ECO-HC和MDNet可以繼續(xù)跟蹤目標，其余算法已經遠離目標，如圖12(c)data11的第242幀所示。圖12(d)data20序列中第358幀目標被建筑物群遮擋，脫離遮擋后，如圖12(d)data20的第376幀所示，只有本文算法和MDNet跟蹤到目標。以上實驗結果說明本文算法使用卡爾曼濾波位置預測方法具有較強的抗遮擋能力。

4 結 論

本文提出一種改進全卷積孿生網(wǎng)絡紅外空中小目標跟蹤算法。該算法使用響應圖的平均峰值相關能量和最大峰值變化情況設計了一種跟蹤狀態(tài)判別方法，并針對不同狀態(tài)采取不同解決方法，通過深度特征響應值聯(lián)合局部對比度方法排除背景雜波干擾，利用目標幀間運動信息構建卡爾曼濾波器來預測遮擋目標位置。在紅外測試集上與其他經典跟蹤算法進行對比分析，結果表明：本文算法對紅外空中小目標跟蹤有較好的性能，并且在目標被復雜背景干擾、遮擋時，具有良好的跟蹤穩(wěn)定性，同時也能夠滿足跟蹤實時性要求。由于全卷積孿生網(wǎng)絡對紅外空中小目標的深度特征表達能力有限，進而降低了算法的跟蹤性能，后續(xù)研究將針對目標特點對深度特征提取網(wǎng)絡結構進行改進。