劉耀勝，廖育榮，林存寶，李兆銘，倪淑燕

（航天工程大學(xué)，北京 101400）

0 引言

目標跟蹤作為計算機視覺三大領(lǐng)域（檢測、識別、跟蹤）最重要的一部分，已經(jīng)在視頻監(jiān)控、國防軍事、人工智能、汽車導(dǎo)航等領(lǐng)域廣泛應(yīng)用。視頻衛(wèi)星作為一種新型的對地觀測衛(wèi)星，與傳統(tǒng)的對地觀測衛(wèi)星相比較，其最大的特點是可以采用“凝視”的方式對某個區(qū)域進行觀察，并且以視頻成像的方式獲得更多的信息，尤其適合于動態(tài)目標的檢測和跟蹤。分析其特性，除了能夠?qū)罩械娘w機、地面上的車輛以及海上的船只獲取動態(tài)信息之外，還可以觀察海洋潮汐的變化，以及其他自然災(zāi)害的發(fā)生，并且以視頻成像的方式觀察到某一固定區(qū)域的目標變化情況，從而獲得相關(guān)的信息，以便作出對應(yīng)的決策。

近些年來，各國都在大力研究視頻衛(wèi)星，發(fā)射到高空的視頻衛(wèi)星數(shù)量越來越多。2007 年印度尼西亞發(fā)射“柏林技術(shù)大學(xué)衛(wèi)星”，2013 年美國的Sky box 公司陸續(xù)發(fā)射Sky Sat 系列的視頻衛(wèi)星，2014年中國國防科技大學(xué)發(fā)射自主研制的“天拓二號”衛(wèi)星，2015 年中國長光衛(wèi)星公司研制的“吉林一號”衛(wèi)星順利升空。由于視頻衛(wèi)星拍攝的圖像分辨率較低、尺寸較大、目標環(huán)境復(fù)雜，容易受到大氣環(huán)境的干擾以及存在目標被遮擋等問題，使得對視頻中小目標跟蹤存在很大的問題。傳統(tǒng)的目標跟蹤算法主要適用于地面上的大目標跟蹤，對小目標的跟蹤技術(shù)幾乎沒有出現(xiàn)，因此，對衛(wèi)星視頻中的小目標跟蹤將成為該領(lǐng)域的一大技術(shù)難題。

目前，國內(nèi)外學(xué)者對目標跟蹤算法的研究主要分為生成式跟蹤算法和判別式跟蹤算法。均值漂移（Meanshift）算法作為生成式跟蹤的經(jīng)典算法，采用基于顏色特征的核密度估計，尋找局部最優(yōu)，該算法計算量不大，在目標區(qū)域已知的情況下完全可以做到實時跟蹤，采用核函數(shù)直方圖模型，對邊緣遮擋、目標旋轉(zhuǎn)，小范圍的目標遮擋不敏感。但是當目標速度較快時，跟蹤效果并不好，而且直方圖特征在目標顏色特征描述方面略顯匱乏，缺少空間信息。粒子濾波（particle filter，PF）跟蹤算法是以貝葉斯推理和重要性采樣為基本框架，采用一組粒子來近似表示系統(tǒng)的后驗概率分布，然后使用這一近似表示來估計非線性非高斯的系統(tǒng)的狀態(tài)，但是存在收斂速度較慢、容易受到局部最優(yōu)值的干擾、存在一定的誤差等問題。核相關(guān)濾波（kernel correlation filter，KCF）算法是根據(jù)當前幀和前一幀的信息訓(xùn)練出一個相關(guān)濾波器，然后與新輸入的圖像進行相關(guān)性計算，得到的響應(yīng)圖就是預(yù)測的結(jié)果，得分最高的點或者塊就是最可能跟蹤的區(qū)域，但當目標背景復(fù)雜的時候，尤其是跟蹤小目標時出現(xiàn)跟蹤漂移的現(xiàn)象，最終導(dǎo)致跟蹤失敗。由于KCF 算法使用HOG 特征和核函數(shù)提高了跟蹤的速度和準確度，因此，該算法被國內(nèi)外學(xué)者廣泛研究。

由于視頻衛(wèi)星存在背景干擾、光照變化、目標較小和目標遮擋等問題，傳統(tǒng)的KCF 算法已經(jīng)不能實現(xiàn)對目標的跟蹤，因此，本文所提出的算法通過對傳統(tǒng)的KCF 算法進行改進，然后利用卡爾曼濾波算法解決目標的遮擋問題，使用局部模板匹配的方法對目標進行精確地跟蹤，解決目標跟蹤復(fù)雜和目標發(fā)生旋轉(zhuǎn)的問題，實驗結(jié)果顯示，所提出的算法可以對視頻衛(wèi)星中的小目標進行實時跟蹤。

1 KCF 算法目標跟蹤算法

1.1 KCF 算法介紹

KCF 算法作為判別式跟蹤算法中經(jīng)典的算法，其思想是在目標跟蹤過程中訓(xùn)練一個目標檢測器，使用訓(xùn)練好的目標檢測器來檢測下一幀中預(yù)測的位置是否存在目標，然后再使用檢測到的新結(jié)果對前一幀的訓(xùn)練集進行更新，從而可以更新目標檢測器，在目標檢測過程中利用傅里葉逆變換可以求出目標的位置，從而對目標進行跟蹤。

1.1.1 構(gòu)建訓(xùn)練集

KCF 跟蹤算法通過對目標周圍的區(qū)域進行循環(huán)移位產(chǎn)生樣本數(shù)據(jù)集。假設(shè)基本向量為［，，，…，x］，則循環(huán)矩陣可以表示為

其中，每一行都可以表示為訓(xùn)練樣本，而其他行可以看作是這一行循環(huán)位移而來的。

1.1.2 構(gòu)建嶺回歸分類器

KCF 算法一個典型的優(yōu)勢就是通過構(gòu)建嶺回歸分類器，對樣本數(shù)據(jù)集進行訓(xùn)練，找到最優(yōu)的系數(shù)，使函數(shù)（）=wφ（）和回歸目標值y之間的平方誤差最小。

其中，表示防止過度擬合的正則化參數(shù)。

因此，可求得最優(yōu)解系數(shù)為：

其中，X表示復(fù)共軛轉(zhuǎn)置矩陣，向量表示回歸目標值y。

在這里引入核函數(shù)，將低緯度的數(shù)據(jù)轉(zhuǎn)換到非線性高緯度，進行分離。核函數(shù)為：

使用循環(huán)矩陣和傅里葉變換可得：

其中，是相關(guān)系數(shù)，“^”表示離散傅里葉變換。

1.1.3 對目標進行檢測

對于新輸入的圖像，可以得到分類器的輸出是然后通過使用傅里葉逆變換，找到向量中得分最高的值就是每一幀的目標位置。

1.1.4 模板更新

為了能夠?qū)δ繕诉M行有效跟蹤，需要對每一幀圖像進行模板更新。

其中，為學(xué)習(xí)因子。

2 算法改進

2.1 卡爾曼濾波算法

卡爾曼濾波器是一種最優(yōu)線性狀態(tài)估計方法，即在最小均方誤差準則下的最佳線性濾波器，所謂狀態(tài)估計是利用數(shù)學(xué)中的方法來找到與觀測數(shù)據(jù)最佳擬合的狀態(tài)向量。通過結(jié)合KCF 算法，可以提高對視頻衛(wèi)星中目標跟蹤的準確性。由于在相鄰圖像中目標的運動非常緩慢，可以近似認為是勻速運動，因此，當目標發(fā)生遮擋的時候，可以通過使用卡爾曼濾波對目標進行跟蹤，利用卡爾曼濾波算法對目標跟蹤的時間更新方程如下：

在本文中，設(shè)z表示為［，］，測量噪聲非常小，可以設(shè)為0，過程噪聲比較大，可以設(shè)為0.01*U，U為4×4 的單位矩陣。而其他參數(shù)取值為：

通過卡爾曼濾波可以預(yù)測目標在下一幀中的位置，從而解決目標被遮擋的問題。實驗表明，可以對遮擋目標進行實時跟蹤，并且保證跟蹤的實時性。

2.2 局部模板匹配

模板匹配是通過選取感興趣的區(qū)域作為模板，然后在其他圖片上尋找能夠進行匹配的方式。在進行模板匹配時，通常選用灰度進行匹配，然后選用一種合適的相似性度量方法進行判定，選取與模板圖像最相似的位置，作為目標跟蹤的最終位置，在這里選用歸一化平方差作為匹配的好壞。

其中，表示模板圖像，表示待匹配的圖像。

在本文中，進行模板匹配，選取KCF 算法進行粗跟蹤之后的區(qū)域，由KCF 算法可以得到目標位置的邊框，然后在邊界框的上下左右4 個方向擴大5個像素，或者10 個像素，這根據(jù)實際情況來決定，之后在擴大的目標區(qū)域進行模板匹配，以此來進行目標的精確跟蹤。

2.3 遮擋檢測方法

目標遮擋問題是計算機跟蹤領(lǐng)域的一大難點，如何解決目標遮擋的問題成為許多研究者的棘手的問題。而目標遮擋分為：開始遮擋，完全遮擋，遮擋結(jié)束。首先選取什么方式判斷目標是否發(fā)生遮擋，然后調(diào)用卡爾曼濾波算法進行預(yù)測目標的下一個位置。根據(jù)文獻［12］中的遮擋檢測方法，選用峰值旁瓣比（peak to sidelobe ratio，PSR）作為目標是否被遮擋的檢測方法，峰值旁瓣比的公式如下：

其中，表示響應(yīng)圖中的最大值，就是的峰值。旁瓣區(qū)域表示響應(yīng)圖中周圍的區(qū)域。，表示該區(qū)域的均值和方差。通過設(shè)置相關(guān)閾值（本實驗中設(shè)置為0.35，經(jīng)過多次實驗測試獲得），當PSR 大于閾值時，可以認為是目標沒有發(fā)生遮擋；否則，目標發(fā)生遮擋。

2.4 算法流程圖

3 實驗結(jié)果與分析

實驗平臺在Inter Xeon E3-1240 v5 3.50GHz CPU，16GB RAM，Python 3.7 上進行實驗，并保留原始KCF 算法默認的參數(shù)：正則化參數(shù)為0.000 1，模型更新參數(shù)為0.012。本實驗所用的視頻數(shù)據(jù)集都是由“吉林一號”視頻衛(wèi)星拍攝，選擇背景復(fù)雜、遮擋目標、光照變化等不同情況的3 組視頻數(shù)據(jù)集進行測試，為保證算法的有效性，選用中心位置誤差（CLE）、距離精度和重疊率作為對本文所改進算法的評價指標，而中心位置誤差和成功率可以用來判斷目標跟蹤的準確性。中心位置誤差表示真實值的中心位置和本文算法對目標跟蹤獲得的中心位置之間的歐氏距離，距離精度表示中心位置誤差小于閾值的幀數(shù)占總幀數(shù)的比例，文獻［15］中設(shè)置的閾值為5 個像素，而在這里設(shè)置閾值為3 個像素，因為視頻中的目標很小，僅占很少的像素，與地面上的目標相比，閾值設(shè)置應(yīng)該更小。重疊率定義為真實的邊界框與本文算法對目標進行跟蹤獲得的實際邊界框的重疊部分占兩個邊界框的面積之和的比例大于某一閾值（本文實驗中設(shè)置為0.85）的幀數(shù)占總幀數(shù)的百分比。邊界框的重合率公式為：

其中，S表示真實值的邊界框，S表示本文算法跟蹤的實際邊界框，∩表示交集，∪表示并集。當重疊率超過0.85 時，可以認為當前幀為成功幀，再計算成功率，即成功跟蹤的幀數(shù)占所有幀數(shù)的百分比。

由于視頻衛(wèi)星拍攝的圖像尺寸都很大，長和寬大約是2 000 像素和2 000 像素的，如圖2 所示。

圖1 本文算法流程圖

圖2 大尺寸的視頻衛(wèi)星圖像

于是將其裁剪出目標跟蹤的部分作為結(jié)果。如圖3 所示。

圖3 目標跟蹤結(jié)果展示

圖像的成功率曲線圖和精度曲線圖如下頁圖4所示。

表1 是對原始的KCF 算法和本文改進的算法從成功率、精度圖、AUC（ROC 曲線下的面積，用于直觀地評估跟蹤器的好壞，值越大越好。）3 個方面進行評價。

視頻衛(wèi)星中的運動目標（飛機）背景復(fù)雜，目標較小，提取其特征很容易被相似的背景干擾，而進行模板更新的時候就會造成一定誤差，最終會導(dǎo)致目標跟蹤失敗。從圖3 目標跟蹤的結(jié)果來看，紅色邊界框表示本文算法跟蹤的結(jié)果，綠色邊界框表示由原始KCF 算法進行目標跟蹤的結(jié)果，左上角的數(shù)字表示第幾幀圖像。從圖中可以看出，兩種算法在剛開始進行目標跟蹤的時候，跟蹤的準確度差別不大，但隨著目標背景越來越復(fù)雜，兩種算法的跟蹤效果就顯而易見，另外從圖4 兩種曲線圖和表1 可以看出，本文所提出的算法明顯優(yōu)于原始的KCF 算法，表1 中的數(shù)據(jù)從成功率、精度和AUC 來看，本文算法明顯高于KCF 算法，因此，對于視頻衛(wèi)星的運動目標來說，尤其是背景比較復(fù)雜的運動目標，本文所提出的算法可以有效地對目標進行跟蹤，并且提高了跟蹤的準確度。

圖4 算法跟蹤的效果評價圖

表1 兩種算法進行比較的結(jié)果

對運動中的車輛進行目標跟蹤，原圖像如圖5所示，車輛在公路上的運動圖像。由于原圖太大，在后期跟蹤過程中，裁剪出相應(yīng)的部分用進行實驗分析，如圖6 所示。

圖5 運動車輛原圖

圖6 運動目標跟蹤結(jié)果

為了對視頻衛(wèi)星中的目標跟蹤結(jié)果進行判斷，選擇用成功率曲線圖和精度曲線圖來進行判斷，如圖7 所示。

圖7 跟蹤算法的效果評價圖

視頻衛(wèi)星拍攝的地面上的運動目標，由于距離很遠，所以目標只能以白色的運動目標呈現(xiàn)出來，具體的形狀顯示不出來，因此，在對目標跟蹤的時候，不像傳統(tǒng)的目標具有特定的形狀，并且目標比較大，因此，視頻衛(wèi)星中的目標很容易被其他干擾物影響，進而影響其跟蹤精度。從圖5 來看，本文改進的算法可以有效地提高目標跟蹤的準確度，而原始的KCF 算法同樣在剛開始的時候，跟蹤效果比較好，隨著背景的復(fù)雜性增加和其他干擾物的存在，使得原始KCF 算法跟蹤的目標發(fā)生了目標漂移，從而導(dǎo)致目標跟蹤失敗。而從圖6 的兩種曲線圖來看，本文的算法可以很大程度解決背景復(fù)雜的問題，可以對目標進行有效跟蹤，并且不會發(fā)生漂移現(xiàn)象，跟蹤的精度和成功率都高于原始的KCF 算法。而表2 中的數(shù)據(jù)表示的是百分比，不管是AUC，成功率還是精度，都高于KCF 的數(shù)值，因此，綜上所述，本文改進的算法無論是在精度還是成功率都高于原始KCF 算法，可以有效地對視頻衛(wèi)星中的目標完成實時跟蹤的任務(wù)，并且還提高跟蹤的準確度。

表2 兩種算法的定性比較

對視頻衛(wèi)星中遮擋目標的分析，遮擋問題一直是目標跟蹤領(lǐng)域的難點，由于視頻衛(wèi)星中的目標比較小，因此，很容易被遮擋。如圖8 所示，是原始圖像，后期的圖像是在原始圖像的基礎(chǔ)上裁剪而來，以便可以進行展示和觀察出目標跟蹤的效果。

圖8 原始圖像

在原始圖像的序列集上對目標的跟蹤區(qū)域進行裁剪，然后進行結(jié)果展示，如圖9 所示。

圖9 目標跟蹤結(jié)果展示

視頻衛(wèi)星中對遮擋目標的處理，如圖9 所示，紅色是本文算法進行跟蹤的結(jié)果，綠色是原始KCF 算法進行跟蹤的結(jié)果。在剛開始進行跟蹤的時候，兩種算法都能很好地對目標進行跟蹤，但當遇到障礙物的時候，如圖所示遇到大橋的遮擋，原始的KCF算法對遮擋的目標無法再進行跟蹤，就出現(xiàn)圖中所示的情況；而本文算法由于結(jié)合卡爾曼濾波算法，當目標進行遮擋的時候，由于PSR 小于設(shè)置的閾值，可以啟動卡爾曼濾波算法預(yù)測遮擋目標在下一幀的位置，從而完成對遮擋目標的跟蹤。從圖9 可得，原始KCF 算法結(jié)合卡爾曼濾波可以對目標進行遮擋，并且在遮擋結(jié)束時，可以重新對目標進行跟蹤，沒有出現(xiàn)跟蹤失敗的情況，并且從下頁表3 中可得到，本文算法的成功率和精度都高于原始KCF算法。圖10 表示視頻的幀數(shù)與峰值旁瓣比的關(guān)系，下面的紅色部分表示設(shè)置的閾值（本文設(shè)置閾值為18），而閾值的設(shè)置是經(jīng)過多次實驗而得來的，具有一定的準確性，低于閾值的部分表示目標在跟蹤過程中發(fā)生了遮擋，此時調(diào)用卡爾曼濾波算法進行跟蹤。實驗結(jié)果表明，本文改進的算法對目標的遮擋問題可以進行處理，并且保證了目標遮擋的實時性和有效性，還提高了目標跟蹤的精度，可以很好地完成對視頻衛(wèi)星中小目標的跟蹤任務(wù)。

圖10 目標跟蹤的評價圖

圖11 視頻幀數(shù)與PSR 的關(guān)系

表3 兩種算法的比較結(jié)果

4 結(jié)論

對于衛(wèi)星視頻中運動的小目標背景復(fù)雜和小目標被遮擋等問題，本文提出的算法通過結(jié)合卡爾曼濾波算法來預(yù)測遮擋目標在下一幀圖像中的位置，從而完成對遮擋目標的跟蹤，另外結(jié)合歸一化平方差匹配方法對目標進行精確地跟蹤，從而提高目標的精確度和成功率。實驗表明，本文所提的算法可以對目標進行實時性跟蹤，克服復(fù)雜背景對目標的干擾，同時也解決了目標被遮擋的問題，實現(xiàn)對目標的精準跟蹤。