杜 君, 孟夏瑩, 顧丹丹, 許禎瑜, 劉 健

(1.上海無線電設(shè)備研究所,上海 201109;2.上海衛(wèi)星工程研究所,上海 201109)

0 引言

近年來,基于判別相關(guān)濾波器(discriminative correlation filter,DCF)的方法在跟蹤基準(zhǔn)測(cè)試的準(zhǔn)確性和魯棒性方面表現(xiàn)出持續(xù)的性能提升?；贒CF的跟蹤算法一般是基于多維特征、魯棒性尺度估計(jì)、非線性內(nèi)核、長(zhǎng)期內(nèi)存組件,或通過建立復(fù)雜的學(xué)習(xí)模型及減少邊界效應(yīng)來實(shí)現(xiàn)的,但這些改進(jìn)明顯降低了跟蹤速度,無法滿足目標(biāo)跟蹤的實(shí)時(shí)性要求。近幾年,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)深度特征也被應(yīng)用到基于判別相關(guān)濾波器的算法中,但高維參數(shù)空間容易過度擬合,且高維度將導(dǎo)致計(jì)算復(fù)雜度增加,跟蹤速度變慢,同樣無法滿足目標(biāo)跟蹤的實(shí)時(shí)性要求。

為了在提升無人機(jī)對(duì)地面運(yùn)動(dòng)目標(biāo)跟蹤精度的同時(shí)保持一定的實(shí)時(shí)性,本文提出了基于改進(jìn)相關(guān)濾波器和目標(biāo)多特征融合的運(yùn)動(dòng)目標(biāo)跟蹤算法。通過提取梯度方向直方圖(histogram of gradient,HOG)特征、三維顏色(color names,CN)特征和CNN深度特征等多維特征,對(duì)各特征進(jìn)行選擇性組合并融合,實(shí)現(xiàn)對(duì)目標(biāo)的有效表征。其中,梯度方向直方圖特征對(duì)幾何和光學(xué)形變具有良好不變性;相對(duì)于一維灰度特征,三維顏色特征包含更加豐富的目標(biāo)信息,且具有運(yùn)動(dòng)方向不變性,在快速運(yùn)動(dòng)、快速變形情況下跟蹤效果較好,并且沒有邊界效應(yīng);卷積神經(jīng)網(wǎng)絡(luò)淺層的深度特征能較好地表征目標(biāo)的輪廓信息,高層的深度特征能較好地表征目標(biāo)的語(yǔ)義信息。

1 算法原理

1.1 算法流程

基于改進(jìn)相關(guān)濾波器和目標(biāo)多特征融合的運(yùn)動(dòng)目標(biāo)跟蹤算法流程如圖1所示。首先從輸入圖像中的目標(biāo)局部搜索區(qū)域提取目標(biāo)多通道特征,在初始幀中初始化空間可靠性圖,基于空間可靠性圖對(duì)相關(guān)濾波器進(jìn)行改進(jìn),自動(dòng)估計(jì)的空間可靠性圖將相關(guān)濾波器限制在適合于跟蹤的部分,以改善不規(guī)則形狀目標(biāo)的搜索范圍和跟蹤性能;然后利用線性降維算子矩陣,減少模型中的參數(shù)數(shù)目,訓(xùn)練樣本分布的緊湊生成模型,降低空間和時(shí)間復(fù)雜度,提供更好的樣本多樣性;最后用改進(jìn)的相關(guān)濾波器與提取的特征進(jìn)行響應(yīng),確定目標(biāo)跟蹤框的位置。相關(guān)濾波器、樣本和空間可靠性圖通過相應(yīng)規(guī)則不斷優(yōu)化更新。

圖1 跟蹤算法流程圖

1.2 提取樣本特征

根據(jù)上一幀確定的目標(biāo)中心位置確定當(dāng)前幀的局部搜索區(qū)域,提取目標(biāo)局部搜索區(qū)域中的目標(biāo)多通道特征,將提取的多通道特征存儲(chǔ)于一個(gè)元胞數(shù)組中,進(jìn)而用于訓(xùn)練,得到每個(gè)特征通道相應(yīng)的相關(guān)濾波器。將各個(gè)通道特征與相應(yīng)濾波器的響應(yīng)分?jǐn)?shù)的加和作為最終預(yù)測(cè)目標(biāo)位置的響應(yīng)分?jǐn)?shù)。同一幀圖像提取的3種特征的某一通道的特征圖如圖2所示。

圖2 同一幀圖像提取的3種特征的某一通道的特征圖

式中:J{}為一個(gè)內(nèi)插特征層,可看作是一個(gè)連續(xù)的周期函數(shù),表示特征圖的周期擴(kuò)展,其中為第個(gè)特征通道的訓(xùn)練樣本;1,2,…,,表示第幀;b為一個(gè)周期為的插值核,且滿足＞0。本文用{}={J{}}表示整個(gè)插值特征映射,其中{}()∈,相應(yīng)的濾波器記為={f},其中f為第個(gè)特征通道對(duì)應(yīng)的相關(guān)濾波器。

1.3 構(gòu)建空間可靠性圖

本算法基于空間可靠性圖,使最后學(xué)習(xí)到的相關(guān)濾波器參數(shù)只集中在置信分?jǐn)?shù)高的區(qū)域,即目標(biāo)區(qū)域,其他區(qū)域幾乎為0,可有效抑制背景信息。

大多數(shù)的相關(guān)濾波器都假定有獨(dú)立的特征通道。在學(xué)習(xí)階段通過最小化損失函數(shù),即通道相關(guān)輸出與期望輸出∈()之間差的平方和,來獲得最佳濾波器。最小化損失函數(shù)等價(jià)關(guān)系遵循帕斯瓦爾(Parseval)定理,即

式中:argmin(·)為最小化函數(shù);* 為卷積運(yùn)算符;‖·‖ 為范數(shù)運(yùn)算符;算子=vec(())是一個(gè)轉(zhuǎn)換成列向量的傅里葉變換;diag(·)為對(duì)角矩陣;H為厄米特轉(zhuǎn)置運(yùn)算符;0.01為正則化參數(shù)。通過把式(2)中每個(gè)通道的梯度復(fù)雜度均衡到零,最小化公式得到封閉形式的解決方案。由于輸入循環(huán)假設(shè),并假設(shè)所有像素對(duì)濾波器學(xué)習(xí)的可靠性相同,使該解決方案受到邊界缺陷制約。因此,引用一個(gè)有效的空間可靠性圖構(gòu)造方法,得到一種新的空間約束相關(guān)濾波器學(xué)習(xí)框架。

空間可靠性圖的組成元素∈{0,1}表示每個(gè)像素的學(xué)習(xí)可靠性。像素與目標(biāo)外觀有關(guān)的條件概率(=1|,)被指定為

式中:(|=1,)表示外觀模型似然度,通過貝葉斯規(guī)則從目標(biāo)前景-背景顏色模型(其在跟蹤期間被保持為顏色直方圖)中計(jì)算得到;(|1)表示空間先驗(yàn)概率;(1)表示前景和背景直方圖提取的區(qū)域面積的比率。中心元素可靠性的變形不變性在此方法中通過定義弱空間先驗(yàn)而得到強(qiáng)化。弱空間先驗(yàn)定義為

式中:(;)是一種改進(jìn)的Epanechnikov內(nèi)核。定義(;)1(/),其中為尺寸參數(shù),表示小包圍框軸,取值區(qū)間為[0.5,0.9]。設(shè)目標(biāo)在中心的先驗(yàn)概率為0.9,可將遠(yuǎn)離中心的像素概率轉(zhuǎn)換為統(tǒng)一的先驗(yàn)概率。

標(biāo)記空間可靠性圖的空間一致性,可通過將式(3)作為馬爾可夫隨機(jī)場(chǎng)中的一元項(xiàng)來實(shí)現(xiàn)。使用有效的求解器計(jì)算的最大后驗(yàn)解,可得到目標(biāo)后驗(yàn)概率。空間可靠性圖的構(gòu)建過程如圖3所示。圖3(a)為跟蹤目標(biāo)邊界框的訓(xùn)練原圖,圖3(b)為在馬爾可夫隨機(jī)場(chǎng)優(yōu)化中作為一元項(xiàng)使用的空間先驗(yàn)概率,圖3(c)為根據(jù)前景-背景顏色模型得到的目標(biāo)對(duì)數(shù)似然,圖3(d)為經(jīng)馬爾可夫隨機(jī)場(chǎng)正則化后的目標(biāo)后驗(yàn)概率二值化空間可靠性圖。

圖3 空間可靠性圖的構(gòu)建

1.4 基于空間可靠性圖改進(jìn)相關(guān)濾波器

為了符號(hào)清楚起見,假定只有一個(gè)特征通道,即1,并且丟棄通道索引。因?yàn)闉V波器學(xué)習(xí)在通道上是獨(dú)立的,則簡(jiǎn)化后的目標(biāo)函數(shù)為

式中:⊙為同或邏輯運(yùn)算符?？臻g可靠性圖標(biāo)識(shí)了在學(xué)習(xí)中應(yīng)忽略的濾波器中的像素,即引入約束≡⊙。

引入對(duì)偶變量(它的主要作用是讓算法能夠收斂)和約束條件⊙≡0,根據(jù)Augmented Lagrangian方法構(gòu)建增廣拉格朗日表達(dá)式,并通過乘子交替方向法迭代最小化。最終得到的空間約束濾波器

1.5 基于卷積算子分解的特征降維

根據(jù)上一幀確定的目標(biāo)中心位置確定當(dāng)前幀的局部搜索區(qū)域。已知插值特征映射和相應(yīng)的濾波器表達(dá)式,兩者通過卷積計(jì)算就可得到預(yù)測(cè)目標(biāo)位置的響應(yīng)。預(yù)測(cè)目標(biāo)位置的檢測(cè)分?jǐn)?shù)

采用最小化損失函數(shù)來學(xué)習(xí)濾波器,可將式(2)改寫為損失函數(shù)

式中:α≥0為樣本x的權(quán)重;y為樣本x的標(biāo)記檢測(cè)分?jǐn)?shù),是周期重復(fù)的高斯函數(shù);為空間懲罰項(xiàng),用來緩解周期假設(shè)的缺點(diǎn),允許擴(kuò)展空間支持,是的函數(shù);‖·‖為空間的2范數(shù)。定義為

式中:()表示一個(gè)周期函數(shù);為周期。

式(10)的最后一個(gè)等式是由卷積的線性關(guān)系推導(dǎo)得出的。卷積分解還可以被看作以下兩步運(yùn)算:在第幀上的特征向量{}首先乘以的轉(zhuǎn)置矩陣,得到的維特征圖再與濾波器進(jìn)行卷積。因此矩陣類似于線性降維算子,從維特征濾波器到維特征濾波器降低了線性復(fù)雜度。

根據(jù)式(8),通過最小化式(10)的損失函數(shù)來一起學(xué)習(xí)矩陣和濾波器。本文使用高斯-牛頓(Gauss-Newton)法和共軛梯度法來學(xué)習(xí)矩陣和濾波器。

本算法從第一幀設(shè)置學(xué)習(xí)矩陣,并在之后的跟蹤中保持不變。學(xué)習(xí)過程中,只有投影的特征映射{}需要存儲(chǔ),從而顯著節(jié)省內(nèi)存。為了保持跟蹤器的魯棒性,采用主成分分析(principal component analysis,PCA)方法初始化系數(shù)矩陣。

1.6 構(gòu)建緊湊的樣本空間模型

經(jīng)過測(cè)試,如本算法在每一幀中收集新的樣本,會(huì)產(chǎn)生樣本的大量冗余,導(dǎo)致跟蹤效率降低。為了既能減少因外觀上的緩慢變化導(dǎo)致的樣本大量冗余,又能較全面地描述外觀的變化,引入一個(gè)緊湊的樣本集模型。

將訓(xùn)練數(shù)據(jù)建模為高斯分量的混合體,其中每個(gè)組件代表外觀的不同方面,實(shí)現(xiàn)緊湊而多樣的數(shù)據(jù)表示,從而降低過度擬合的風(fēng)險(xiǎn)。

此方法是基于樣本特征映射和相應(yīng)的期望輸出的聯(lián)合概率分布(,)。給出(,),直觀的目標(biāo)是找到可以最大限度地降低預(yù)期的相關(guān)誤差的過濾器。替換式(8),將損失函數(shù)進(jìn)一步完善為

式中:(·)為數(shù)學(xué)期望。損失函數(shù)用樣本聯(lián)合概率分布(,)進(jìn)行評(píng)估,表達(dá)式為

式中:α是權(quán)重系數(shù);δ(·)是在訓(xùn)練樣本和期望輸出(x,y)處的沖擊響應(yīng)函數(shù)。式(8)的原始損失函數(shù)是通過估計(jì)樣本分布而得到的一個(gè)特例。α通常設(shè)置為指數(shù)衰減,由學(xué)習(xí)率控制,滿足α～(1-)。學(xué)習(xí)率決定了目標(biāo)函數(shù)能否收斂到局部最小值,以及何時(shí)收斂到最小值。由實(shí)驗(yàn)可知,當(dāng)0.025時(shí),損失函數(shù)能夠最快收斂到最小值。而提出估計(jì)樣本分布(,)的緊湊模型,可以使式(11)的損失函數(shù)得到更有效的近似。

樣本和其期望輸出是一一對(duì)應(yīng)的,輸出的形狀符合峰值在目標(biāo)中心的高斯分布。因此,可以假設(shè)目標(biāo)位于圖像區(qū)域中,高斯分布峰值輸出假設(shè)為,通過移動(dòng)使所有都是相同的。不變,改變的值,使峰值平移量體現(xiàn)在水平分量上。此時(shí),樣本分布可以被分解為(,)()δ(),其中δ()表示單位沖激函數(shù)?，F(xiàn)在只需要估計(jì)()。應(yīng)用高斯混合模型(Gaussian mixture model,GMM)估計(jì)(),表達(dá)式為式中:是高斯分量的數(shù)量;π是第個(gè)分量的優(yōu)先權(quán)重;(;μ;)是GMM定義的高斯分量,其中μ∈是第個(gè)高斯分量的平均數(shù),是恒等矩陣形式的協(xié)方差矩陣。協(xié)方差矩陣被設(shè)置為恒等矩陣,避免了高維樣本空間中的代價(jià)推斷。

利用Declercq和Piater在線算法的一個(gè)簡(jiǎn)化版本更新GMM。每次新增一個(gè)樣本,初始化一個(gè)新的分量(;μ;),且權(quán)重π=γ,平均數(shù)μ=x。如果分量的數(shù)量超過事先設(shè)定的上限,則需要簡(jiǎn)化GMM。若分量的權(quán)重低于設(shè)定門限,這個(gè)分量將被舍棄;否則,合并最近的兩個(gè)分量和為一個(gè)共同的分量。分量的權(quán)重π和平均數(shù)μ為

式中:π,π分別為分量和的權(quán)重;μ,μ分別為分量和的平均數(shù)。

在傅里葉域使用Parseval公式快速計(jì)算分量和之間的距離 ‖μ-μ‖。此時(shí),式(11)可近似為

與式(8)比較,式(15)在復(fù)雜度上的主要區(qū)別是樣本的數(shù)量由原來的減少到。在實(shí)驗(yàn)中,將分量的數(shù)量設(shè)置為/8,具體仿真參數(shù)設(shè)為400,50。樣本分布模型(,)結(jié)合1.5節(jié)的卷積分解,通過用映射樣本{}替換樣本,使計(jì)算復(fù)雜度進(jìn)一步降低,從而提升跟蹤速度。這種映射不影響公式形式,因?yàn)榫仃囋诘谝粠M(jìn)行學(xué)習(xí)后,在之后的跟蹤中保持不變。

1.7 更新策略

式中:η為學(xué)習(xí)率。

無人機(jī)航拍圖像中會(huì)出現(xiàn)目標(biāo)過小,顏色與周圍環(huán)境分辨不明顯,外觀形狀模糊的問題。當(dāng)目標(biāo)被相似顏色物體遮擋時(shí),如果每幀都更新空間可靠性圖,會(huì)因?yàn)榕R近圖像幀樣本過度形似而產(chǎn)生樣本的過度擬合。經(jīng)過大量的實(shí)驗(yàn)發(fā)現(xiàn),當(dāng)空間可靠性圖每隔3幀或6幀更新一次時(shí),跟蹤效果更好。

利用共軛梯度法更新濾波器和降維矩陣增量。如果濾波器模型更新在每一幀進(jìn)行,計(jì)算數(shù)據(jù)量將偏大,計(jì)算負(fù)載將過重。本算法采用稀疏的更新方案,每間隔一定幀數(shù)更新一次濾波器。用模型更新間隔來確定更新的頻率,其中=1對(duì)應(yīng)在每一幀都更新濾波器。

經(jīng)實(shí)驗(yàn)觀察,當(dāng)≈5時(shí)跟蹤精度和成功率更高,說明模型適度更新時(shí)跟蹤效果更好。這是因?yàn)闃?gòu)建緊湊的樣本空間模型減少了對(duì)最近鄰近幀訓(xùn)練樣本的過度擬合。但是也要有效把控的取值,取值太大會(huì)使得模型響應(yīng)速度跟不上目標(biāo)的變化速度。

當(dāng)空間可靠性圖更新間隔與模型更新間隔滿足/=時(shí),跟蹤效果更好。其中,≥1,且為整數(shù)。

2 實(shí)驗(yàn)驗(yàn)證

2.1 目標(biāo)跟蹤精度實(shí)驗(yàn)

將本文算法與同時(shí)考慮通道和空間可靠性的判別相關(guān)濾波器(discriminative correlation filter with channel and spatial reliability,CSR-DCF)算法、高效卷積運(yùn)算符跟蹤(efficient convolution operactors for tracking,ECO)算法、采用直方圖和顏色特征的高效卷積運(yùn)算符跟蹤(efficient convolution operactors for tracking-HOG and CN,ECO-HC)算法、連續(xù)域卷積操作跟蹤(beyond correlation filters:learning continuous convolution operators for visual tracking,CCOT)算法、融合學(xué)習(xí)的實(shí)時(shí)跟蹤(complementary learners for real-time tracking,Staple)算法、運(yùn)用核相關(guān)濾波器(kernelized correlation filters,KCF)的高速跟蹤算法、多尺度空間跟蹤(discriminative scale space tracking,DSST)算法、自適應(yīng)顏色特征貢獻(xiàn)的實(shí)時(shí)視覺跟蹤(adaptive color attributes for real-time visual tracking,CN)算法、基于多專家熵最小化的魯棒跟蹤(robust tracking via multiple experts using entropy minimization,MEEM)算法、長(zhǎng)時(shí)間相關(guān)跟蹤(long-term correlation tracking,LCT)算法等10個(gè)算法進(jìn)行跟蹤效果對(duì)比,實(shí)驗(yàn)數(shù)據(jù)包括15個(gè)無人機(jī)航拍數(shù)據(jù)集,視頻序列分辨率為1280像素×720像素,實(shí)驗(yàn)中目標(biāo)均為像素?cái)?shù)小于20像素×20像素的小目標(biāo)。

真實(shí)目標(biāo)矩形框中心與跟蹤結(jié)果矩形框中心之間的平均歐氏距離記為平均中心距離誤差(center location error,CLE),用表示。以為評(píng)價(jià)指標(biāo),本文算法與CSR-DCF、ECO、ECO-HC、C-COT、Staple、KCF、DSST、CN、MEEM、LCT算法的平均中心距離誤差如表1所示?？芍?本文算法平均中心距離誤差低于其他算法,跟蹤效果更好。

表1 本文算法與其他算法平均中心距離誤差比較

2.2 目標(biāo)跟蹤成功率實(shí)驗(yàn)

跟蹤成功率表征的是估計(jì)目標(biāo)矩形框與真實(shí)目標(biāo)矩形框的重疊率,即兩個(gè)矩形框重疊(overlap score,OS)部分的面積比上兩個(gè)矩形框取并集的面積。重疊率的數(shù)學(xué)表達(dá)式為

式中:為人工標(biāo)定的目標(biāo)真實(shí)區(qū)域;為目標(biāo)跟蹤框區(qū)域。

使用成功率曲線圖中各曲線下的面積(area under curve,AUC)作為評(píng)價(jià)指標(biāo),用表示。成功率曲線圖的橫坐標(biāo)從0到1取連續(xù)閾值,縱坐標(biāo)為重疊率大于該閾值的所有幀占該序列總幀數(shù)的百分比。本文算法與其他算法的如表2所示。可知,本文算法的成功率曲線的高于其他算法,具有更好的跟蹤性能。

表2 本文算法與其他算法成功率比較

2.3 目標(biāo)跟蹤效率實(shí)驗(yàn)

目標(biāo)跟蹤效率對(duì)比實(shí)驗(yàn),采用平均幀率(frames per second,FPS)作為評(píng)價(jià)指標(biāo),用表示,目標(biāo)跟蹤平均幀率如表3所示。與同樣使用深度特征的ECO和C-COT算法相比,本文算法平均幀率更高。因?yàn)楸疚乃惴ㄟx取更容易表征物體輪廓信息的CNN淺層特征Conv-3或Conv-5中的一個(gè)特征層,而ECO和C-COT算法使用了淺層和高層兩個(gè)卷積特征層,導(dǎo)致參數(shù)更多。當(dāng)只提取HOG特征和CN特征時(shí),本文算法平均幀率可達(dá)44.09幀/秒,具有良好的實(shí)時(shí)性。

表3 本文算法與其他算法目標(biāo)跟蹤平均幀率對(duì)比

3 結(jié)論

本文提出基于改進(jìn)相關(guān)濾波器和目標(biāo)多特征的無人機(jī)對(duì)地運(yùn)動(dòng)目標(biāo)跟蹤算法。提取和組合目標(biāo)多通道特征,對(duì)目標(biāo)進(jìn)行更有效表征,基于高效卷積算子分解進(jìn)行特征降維和緊湊的樣本空間模型構(gòu)建,提高樣本多樣性?？臻g可靠性圖和濾波器模型進(jìn)行較為稀疏的更新,提高目標(biāo)跟蹤精度。將本文算法與國(guó)內(nèi)外10個(gè)先進(jìn)算法在15個(gè)無人機(jī)航拍序列上進(jìn)行目標(biāo)跟蹤實(shí)驗(yàn)對(duì)比。實(shí)驗(yàn)結(jié)果表明本文算法具有較優(yōu)秀的跟蹤效果,幀頻最高可達(dá)44.09幀/秒,具有良好的實(shí)時(shí)性。