首先歸納了實(shí)現(xiàn)無(wú)人機(jī)地面目標(biāo)跟蹤的基本要求和干擾因素，針對(duì)跟蹤過(guò)程中出現(xiàn)的問(wèn)題總結(jié)了前輩的解決思路，通過(guò)分析無(wú)人機(jī)航拍視頻的特點(diǎn)，闡述常用的無(wú)人機(jī)地面目標(biāo)跟蹤的方法，分析比較不同算方法的優(yōu)缺點(diǎn)及場(chǎng)景適應(yīng)性。

無(wú)人機(jī)通過(guò)目標(biāo)跟蹤算法，實(shí)時(shí)準(zhǔn)確的估計(jì)視頻序列內(nèi)目標(biāo)的狀態(tài)信息來(lái)完成對(duì)目標(biāo)的跟蹤任務(wù)。目前已經(jīng)涌現(xiàn)出非常多的目標(biāo)跟蹤算法，并劃分了一些類(lèi)別，這些算法都有各自的優(yōu)勢(shì)和缺陷，但并不都適用于無(wú)人機(jī)航拍視頻圖像的目標(biāo)跟蹤，且大多數(shù)算法是針對(duì)某一特定的場(chǎng)景或應(yīng)對(duì)某一干擾因素的影響，無(wú)法滿足實(shí)際復(fù)雜場(chǎng)景的需求。本章根據(jù)無(wú)人機(jī)航拍視頻圖像的特點(diǎn)，分析影響目標(biāo)跟蹤的關(guān)鍵因素，最后闡述常見(jiàn)的無(wú)人機(jī)地面目標(biāo)跟蹤方法，總結(jié)其適用范圍及場(chǎng)合并分析其優(yōu)缺點(diǎn)，為本文算法奠定了理論基礎(chǔ)。

無(wú)人機(jī)目標(biāo)跟蹤的特點(diǎn)

無(wú)人機(jī)由于體積小、靈活性強(qiáng)、研發(fā)成本低等特點(diǎn)，廣泛應(yīng)用于軍事領(lǐng)域并逐漸在民用領(lǐng)域快速延展，將目標(biāo)跟蹤算法運(yùn)用于無(wú)人機(jī)上，實(shí)現(xiàn)對(duì)感興趣目標(biāo)的實(shí)時(shí)跟蹤具有實(shí)際意義和應(yīng)用價(jià)值。一個(gè)魯棒的跟蹤算法應(yīng)該滿足以下四個(gè)基本要求：

(1)實(shí)時(shí)性。跟蹤算法必須能夠高速處理機(jī)載相機(jī)捕獲的實(shí)況圖像幀，這樣才能滿足現(xiàn)實(shí)需求；

(2)魯棒性。跟蹤算法可以有效地抵御實(shí)際環(huán)境中出現(xiàn)的多種干擾因素的影響，正確跟蹤目標(biāo)；

(3)準(zhǔn)確性。目標(biāo)跟蹤算法對(duì)目標(biāo)中心位置、尺度和旋轉(zhuǎn)角度的準(zhǔn)確估計(jì)；

(4)目標(biāo)再確認(rèn)性。當(dāng)目標(biāo)消失再出現(xiàn)時(shí)，跟蹤算法仍然可以及時(shí)捕獲目標(biāo)，繼續(xù)進(jìn)行跟蹤。

無(wú)人機(jī)航拍視頻圖像中，目標(biāo)尺寸較小，視野范圍較大，常常存在目標(biāo)尺度變化，地面環(huán)境復(fù)雜，相似目標(biāo)出現(xiàn)等復(fù)雜的背景信息。雖然目標(biāo)跟蹤技術(shù)日益成熟，但是由于實(shí)際環(huán)境中仍然存在眾多干擾因素，實(shí)現(xiàn)復(fù)雜環(huán)境下準(zhǔn)確穩(wěn)定跟蹤目標(biāo)對(duì)象，且要保證實(shí)時(shí)性，依然是一個(gè)極大的挑戰(zhàn)。無(wú)人機(jī)視頻目標(biāo)跟蹤主要存以下五類(lèi)干擾因素：

(1)復(fù)雜的背景。復(fù)雜的背景指的是圖像中存在陰影、光照變化或相似目標(biāo)，陰影不屬于運(yùn)動(dòng)目標(biāo)區(qū)域，卻會(huì)隨著目標(biāo)一起運(yùn)動(dòng)，光照變化導(dǎo)致目標(biāo)區(qū)域亮度不均勻，相似目標(biāo)的存在會(huì)誘導(dǎo)算法收斂到相似目標(biāo)的位置，造成跟蹤漂移。

(2)目標(biāo)外觀變化。目標(biāo)外觀變化主要是指目標(biāo)旋轉(zhuǎn)角度和尺度的改變，跟蹤的目標(biāo)主要有剛性和非剛性?xún)煞N類(lèi)型，剛性目標(biāo)是指物體不會(huì)發(fā)生形狀上的改變，如汽車(chē)、水杯、玩偶等；非剛性目標(biāo)是指物體外形出現(xiàn)變化，目標(biāo)外觀的變化會(huì)造成初始模板或特征失效的后果，進(jìn)而造成跟蹤器發(fā)生漂移現(xiàn)象，最終導(dǎo)致跟蹤失敗。

(3)局部遮擋變化。視頻序列中，由于新物體的出現(xiàn)導(dǎo)致目標(biāo)被部分遮擋，引起目標(biāo)特征信息變化，嚴(yán)重影響跟蹤器的性能，使跟蹤不穩(wěn)定。

(4)目標(biāo)消失再出現(xiàn)。目標(biāo)消失之后，無(wú)法獲取當(dāng)前幀圖像目標(biāo)的任何信息，只能根據(jù)目標(biāo)的先驗(yàn)知識(shí)來(lái)預(yù)測(cè)目標(biāo)的位置，當(dāng)目標(biāo)再出現(xiàn)，且其運(yùn)動(dòng)狀態(tài)發(fā)生較大變化時(shí)，會(huì)使跟蹤結(jié)果出現(xiàn)較大的偏差。

(5)相似目標(biāo)干擾。在跟蹤的畫(huà)面當(dāng)中，含有與跟蹤目標(biāo)的顏色、外形、尺寸等相似的目標(biāo)出現(xiàn)，由于目標(biāo)和相似目標(biāo)之間具有相似的特征，導(dǎo)致相似目標(biāo)被當(dāng)作目標(biāo)，造成追蹤失敗。

上述的干擾因素成為阻擋無(wú)人機(jī)目標(biāo)跟蹤技術(shù)走向工程應(yīng)用的攔路虎，為此，全球各地的研究人員提出了許多解決辦法，如在線性、非線性有著較好應(yīng)用的卡爾曼濾波和粒子濾波；基于分類(lèi)思想的目標(biāo)跟蹤算法，標(biāo)記正負(fù)訓(xùn)練樣本，送入分類(lèi)器進(jìn)行學(xué)習(xí)，能夠有效的解決目標(biāo)本身變化的問(wèn)題。但是這些算法都只是針對(duì)特定的一種或幾種干擾因素，無(wú)法滿足實(shí)際復(fù)雜場(chǎng)景的跟蹤需求。

目標(biāo)跟蹤問(wèn)題的解決思路

總體來(lái)說(shuō)，針對(duì)目標(biāo)跟蹤問(wèn)題的解決思路主要分為兩類(lèi)：(1)自底向上。該方法無(wú)需依賴(lài)目標(biāo)的先驗(yàn)知識(shí)，直接利用圖像中的相關(guān)信息跟蹤目標(biāo)；(2)自頂向下。該方法通過(guò)計(jì)算后驗(yàn)概率或者置信值進(jìn)行跟蹤，通常依賴(lài)目標(biāo)的先驗(yàn)知識(shí)。

(1)自底向上。自底向上思路解決目標(biāo)跟蹤的代表思想是David Marr的視覺(jué)計(jì)算理論，通過(guò)恢復(fù)3D圖像得到目標(biāo)的空間位置。而目標(biāo)跟蹤就是從場(chǎng)景中得到目標(biāo)相關(guān)信息，這與Marr視覺(jué)計(jì)算理論不謀而合。自底向上跟蹤方法通?？偨Y(jié)為四步：首先進(jìn)行預(yù)處理，主要去除噪聲，獲得質(zhì)量較高的圖像以便后續(xù)使用；其次檢測(cè)活動(dòng)目標(biāo)，獲得只包含活動(dòng)目標(biāo)的相關(guān)運(yùn)動(dòng)信息；再次判別目標(biāo)，運(yùn)用分類(lèi)器識(shí)別運(yùn)動(dòng)目標(biāo)，判斷是否為跟蹤的目標(biāo)，最后達(dá)到目標(biāo)跟蹤的目的。采用自底向上方法可以對(duì)目標(biāo)快速檢測(cè)并進(jìn)行跟蹤，因此該方法通常用于實(shí)際項(xiàng)目中。但是當(dāng)攝像機(jī)處于運(yùn)動(dòng)狀態(tài)時(shí)，該方法難以檢測(cè)和跟蹤運(yùn)動(dòng)目標(biāo)，使得該方法在應(yīng)用方面受到極大限制。

(2)自頂向下。Bar-Shalom的目標(biāo)跟蹤與關(guān)聯(lián)思想是解決目標(biāo)追蹤問(wèn)題最典型的方法，運(yùn)用貝葉斯理論框架時(shí)，通常以狀態(tài)空間法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，假設(shè)運(yùn)動(dòng)目標(biāo)的狀態(tài)向量由{Xk}k=0,1,2,...描述，k表示離散時(shí)間序列，狀態(tài)方程為：

其中，F(xiàn)k為狀態(tài)轉(zhuǎn)移矩陣；Vk是狀態(tài)噪聲。

其次是觀測(cè)確定向量{Zk}k=0,1，k代表離散時(shí)間序列，觀測(cè)方程如式(2)：

其中，Hk為測(cè)量矩陣；Wk為測(cè)量噪聲。

在式(1)和式(2)中，假設(shè){Vk}k=0,1,2,...和{Wk}k=0,1,2,...噪聲變量都服從于獨(dú)立的同分布。

在k時(shí)刻，假設(shè)狀態(tài)的先驗(yàn)概率是p(Xk|Z1：k)，其中，Z1：k={Z0,Z1,...Zk}表示從一開(kāi)始到k時(shí)刻的所有觀測(cè)量。將目標(biāo)追蹤過(guò)程可由以下兩個(gè)步驟得到：

第一步預(yù)測(cè)：

第二步更新：

至此，獲得k+1時(shí)刻的后驗(yàn)概率p(Xk+1|Z1：k+1)。其中，p(Xk+1|Xk)用來(lái)描述目標(biāo)狀態(tài)轉(zhuǎn)移幾率，用來(lái)呈現(xiàn)系統(tǒng)的動(dòng)態(tài)特性。當(dāng)系統(tǒng)噪聲服從于高斯分布，且Fk和Hk符合線性關(guān)系時(shí)，可以采用卡爾曼濾波獲得后驗(yàn)概率，同時(shí)p(Xk|Z1：k)和p(Xk+1|Z1：k+1)都必須服從高斯分布。當(dāng)Fk和Hk之間是非線性關(guān)系時(shí)，可以使用擴(kuò)展的卡爾曼濾波獲取后驗(yàn)概率，同時(shí)此后驗(yàn)概率仍服從高斯分布?？柭鼮V波常用于處理線性、高斯的單一情況，而實(shí)際場(chǎng)景中后驗(yàn)概率的分布通常是非線性、非高斯的復(fù)雜情況，這種情況下通常使用粒子濾波方法跟蹤目標(biāo)。

當(dāng)使用自頂向下的思路進(jìn)行目標(biāo)跟蹤時(shí)，使用數(shù)學(xué)模型來(lái)描述目標(biāo)的先驗(yàn)知識(shí)難度很大，而采用模型匹配方法卻消耗大量的時(shí)間，實(shí)時(shí)性較差。

無(wú)人機(jī)地面目標(biāo)跟蹤方法方

與一般攝像機(jī)拍攝的視頻相比而言，無(wú)人機(jī)航拍視頻的特點(diǎn)是無(wú)人機(jī)距離目標(biāo)更遠(yuǎn)，視野范圍更大，視頻幀中存在大量道路、樹(shù)木和城市建筑等背景信息，目標(biāo)占視頻幀的比例相對(duì)較小，通常適合處理一般視頻的跟蹤算法不一定適合于無(wú)人機(jī)視頻的跟蹤。例如目前的基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法，由于處理速度慢，不能滿足無(wú)人機(jī)目標(biāo)跟蹤的實(shí)時(shí)性要求，TLD算法針對(duì)含有相似目標(biāo)出現(xiàn)干擾因素的視頻跟蹤，跟蹤容易漂移且實(shí)時(shí)性較差。

近年來(lái)，眾多科研人員提出較多的目標(biāo)跟蹤算法，常用于無(wú)人機(jī)視頻的目標(biāo)跟蹤方法的分類(lèi)情況如圖1所示。

基于光流的目標(biāo)跟蹤方法

光流可以描述連續(xù)視頻幀之間的變化，該方法實(shí)現(xiàn)目標(biāo)跟蹤的思想是首先從視頻序列中計(jì)算得到光流場(chǎng)，然后通過(guò)光流矢量信息確定下一幀目標(biāo)大概位置。

目標(biāo)跟蹤過(guò)程中，當(dāng)連續(xù)視頻幀之間存在目標(biāo)位移時(shí)，目標(biāo)與背景之間就會(huì)存在相對(duì)位移，光流法就是根據(jù)這種相對(duì)運(yùn)動(dòng)來(lái)檢測(cè)出運(yùn)動(dòng)目標(biāo)?；诠饬鞣繕?biāo)跟蹤以三個(gè)假設(shè)為前提：

(1)目標(biāo)區(qū)域像素亮度恒定；

(2)目標(biāo)在視頻相鄰幀間的運(yùn)動(dòng)較為“微小”；

(3)相鄰像素點(diǎn)具有相似的運(yùn)動(dòng)。

在不借助目標(biāo)的先驗(yàn)知識(shí)的條件下光流法在動(dòng)態(tài)背景中可以估計(jì)目標(biāo)的運(yùn)動(dòng)狀態(tài)，但其對(duì)光照和噪聲變化比較敏感。

基于濾波的目標(biāo)跟蹤方法

基于濾波的目標(biāo)跟蹤方法主要包括CamShift目標(biāo)跟蹤方法，卡爾曼濾波和粒子濾波方法。以下分別對(duì)其簡(jiǎn)述。

(1)MeanShift目標(biāo)跟蹤方法

1975年，F(xiàn)ukuang等提出Meanshift目標(biāo)跟蹤方法，Meanshift目標(biāo)跟蹤是一種基于核密度估計(jì)的非參數(shù)特征匹配跟蹤方法，只對(duì)數(shù)據(jù)本身進(jìn)行特征提取，因此該算法在實(shí)際應(yīng)用中有較強(qiáng)的適應(yīng)性。

圖1 目標(biāo)跟蹤算法分類(lèi)

(2)CamShift目標(biāo)跟蹤方法

1998年，Bradski提出Camshift目標(biāo)跟蹤方法。由于該方法中的模板不能進(jìn)行實(shí)時(shí)更新，而且跟蹤過(guò)程中核函數(shù)的帶寬固定不變，當(dāng)目標(biāo)尺度變化或者受到外界干擾時(shí)，跟蹤器性能明顯下降。而CamShift方法進(jìn)行逐幀MeanShift運(yùn)算，這樣既可以實(shí)現(xiàn)對(duì)目標(biāo)模板實(shí)時(shí)更新，也可以使跟蹤窗口自適應(yīng)變化。

(3)卡爾曼濾波方法

卡爾曼濾波方法為一種小方差最佳線性遞推方法，通過(guò)預(yù)測(cè)能夠獲取下一幀目標(biāo)的位置?？柭鼮V波方法可根據(jù)狀態(tài)方程和預(yù)測(cè)方程來(lái)實(shí)現(xiàn)，狀態(tài)方程可對(duì)系統(tǒng)狀態(tài)進(jìn)行客觀描述，預(yù)測(cè)方程用來(lái)預(yù)測(cè)下一時(shí)刻的狀態(tài)。

(4)粒子濾波方法

從p(x0：k|z1：k)中獲取粒子，根據(jù)重要密度函數(shù)q(x0：k|z1：k)對(duì)粒子采樣，粒子權(quán)值可以表示為：

假設(shè)已經(jīng)獲得k-1時(shí)刻的后驗(yàn)密度，為了近似后驗(yàn)密度重要密度函數(shù)可以轉(zhuǎn)化為：

通過(guò)式(6)對(duì)粒子進(jìn)行權(quán)重的分配，實(shí)時(shí)更新粒子的權(quán)重，為了便于計(jì)算，可以將p(x0：k|z1：k)做以下調(diào)整：

即，

權(quán)重更新方程如式(10)：

采樣函數(shù)具有無(wú)后效性的特性，因此公式(10)可以轉(zhuǎn)化為：

通過(guò)遞推方式可以計(jì)算粒子的重要性加權(quán)值。但粒子濾波方法中存在粒子退化的問(wèn)題，經(jīng)過(guò)多次迭代之后，大量的粒子的權(quán)值比較小而被忽略，丟失樣本有效性與多樣性。

基于特征匹配的跟蹤方法

圖2 云臺(tái)控制相機(jī)轉(zhuǎn)動(dòng)實(shí)驗(yàn)結(jié)果

圖3 目標(biāo)被局部遮擋實(shí)驗(yàn)結(jié)果

基于特征匹配的跟蹤方法主要是通過(guò)特征辨別視頻圖像中的目標(biāo)和背景來(lái)跟蹤目標(biāo)，因此選擇特征至關(guān)重要，在選擇特征進(jìn)行匹配時(shí)，應(yīng)該以量少質(zhì)優(yōu)為原則，若特征數(shù)量較多，匹配過(guò)程中會(huì)消耗大量的時(shí)間，實(shí)時(shí)性較差；若特征數(shù)量較少，又不能夠準(zhǔn)確描述目標(biāo)，難以分辨背景和目標(biāo)，所以選取合適的特征和特征數(shù)量是至關(guān)重要的。

基于學(xué)習(xí)的目標(biāo)跟蹤方法

基于學(xué)習(xí)的目標(biāo)跟蹤方法是對(duì)目標(biāo)樣本和周?chē)尘皹颖具M(jìn)行分類(lèi)學(xué)習(xí)，通過(guò)分類(lèi)器辨別兩者，從而獲取目標(biāo)的位置，實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。由于分類(lèi)器需要實(shí)時(shí)更新，因此能夠有效地應(yīng)對(duì)運(yùn)動(dòng)目標(biāo)存在的形變問(wèn)題，但不可避免的是分類(lèi)器在更新過(guò)程中會(huì)出現(xiàn)分類(lèi)錯(cuò)誤的情況，最終導(dǎo)致跟蹤漂移，跟蹤結(jié)果不穩(wěn)定。

圖4 目標(biāo)被消失再出現(xiàn)場(chǎng)景的跟蹤結(jié)果

圖5 目標(biāo)形變場(chǎng)景的跟蹤結(jié)果

圖6 目標(biāo)形變場(chǎng)景的跟蹤結(jié)果

實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證系統(tǒng)的跟蹤性能，本節(jié)對(duì)系統(tǒng)設(shè)置多種特殊場(chǎng)景進(jìn)行實(shí)驗(yàn)，圖像采集部分采用Gopro運(yùn)動(dòng)相機(jī)，該相機(jī)自帶一個(gè)小型兩自由度的云臺(tái)，可以實(shí)現(xiàn)水平旋轉(zhuǎn)和垂直俯仰功能，且提供軟件的二次開(kāi)發(fā)包。云臺(tái)水平旋轉(zhuǎn)角度(-45?～45?)，垂直俯仰角度(-135?～90?)。

實(shí)驗(yàn)環(huán)境：CPU 2.1GHz以上，GPU gtx960 1400MHz, 安裝內(nèi)存4GB，硬盤(pán)空間10G以上處理器，windows10操作系統(tǒng)。

(1)云臺(tái)控制實(shí)驗(yàn)

云臺(tái)控制實(shí)驗(yàn)結(jié)果如圖2所示，當(dāng)目標(biāo)距離無(wú)人機(jī)20m左右，橫向運(yùn)動(dòng)速度變化在0.3m/s～6m/s，橫向行進(jìn)30m，可僅通過(guò)云臺(tái)控制使目標(biāo)保持在畫(huà)面中心1/3范圍內(nèi)，從測(cè)試實(shí)驗(yàn)結(jié)果可以看出，云臺(tái)能夠控制鏡頭，使目標(biāo)處于視野范圍內(nèi)。

(2)目標(biāo)被局部遮擋

實(shí)驗(yàn)跟蹤結(jié)果如圖3。將行人作為目標(biāo)進(jìn)行跟蹤實(shí)驗(yàn)，目標(biāo)跟蹤過(guò)程受到雨傘遮擋，最大遮擋達(dá)到60%時(shí)，系統(tǒng)仍然能夠正確跟蹤目標(biāo)。

(3)目標(biāo)消失再出現(xiàn)實(shí)驗(yàn)

跟蹤結(jié)果如圖4所示。根據(jù)系統(tǒng)設(shè)定，所跟蹤的目標(biāo)最大消失時(shí)間為15s，從測(cè)試實(shí)驗(yàn)結(jié)果得出，當(dāng)目標(biāo)消失再次出現(xiàn)時(shí)，系統(tǒng)仍然可以準(zhǔn)確跟蹤目標(biāo)。

(4)目標(biāo)發(fā)生形變實(shí)驗(yàn)

測(cè)試實(shí)驗(yàn)結(jié)果如圖5所示。經(jīng)系統(tǒng)設(shè)定，目標(biāo)蹲下又站起，存在目標(biāo)形變形變干擾因素。對(duì)此系統(tǒng)具有魯棒的跟蹤結(jié)果。

(5)相似目標(biāo)干擾

測(cè)試實(shí)驗(yàn)結(jié)果如圖6所示。系統(tǒng)跟蹤目標(biāo)過(guò)程中，出現(xiàn)同行行人的相似目標(biāo)干擾因素，從實(shí)驗(yàn)結(jié)果可以看出，系統(tǒng)跟蹤的有效性不受同行行人的影響，可以正確跟蹤目標(biāo)。

(參考文獻(xiàn)：略。如有需要，請(qǐng)聯(lián)系編輯部。)