張君昌, 張登, 萬錦錦

(1.西北工業(yè)大學(xué) 電子信息學(xué)院, 陜西 西安 710072; 2.光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室, 河南 洛陽(yáng) 471000)

近年來,基于相關(guān)濾波器的跟蹤算法受到廣泛關(guān)注,該類方法屬于判別式跟蹤,其實(shí)質(zhì)是將跟蹤問題轉(zhuǎn)化成一個(gè)分類問題，通過在線訓(xùn)練的分類器將前景和背景進(jìn)行分離,實(shí)現(xiàn)目標(biāo)跟蹤的任務(wù)。

文獻(xiàn)[1]提出了一種基于相關(guān)濾波器最小輸出均方誤差和的視頻跟蹤算法。文獻(xiàn)[2]設(shè)計(jì)了2個(gè)一致并且相對(duì)獨(dú)立的相關(guān)濾波器, 分別實(shí)現(xiàn)了目標(biāo)位置跟蹤和尺度變換。文獻(xiàn)[3]將檢測(cè)建議框架與相關(guān)濾波跟蹤器框架相結(jié)合,并采用了特征集成、魯棒更新與建議拒絕等優(yōu)化方法,保證了各部分的有效整合。通過全局搜索,文獻(xiàn)[4]找出了利用輪廓特征標(biāo)記出的建議候選樣本,得到較優(yōu)的正負(fù)樣本和更強(qiáng)的檢測(cè)器,來完成分類器測(cè)試和更新,有效減少了分類器搜索空間,降低虛假目標(biāo)干擾。為了克服相關(guān)濾波器跟蹤算法對(duì)于形變和旋轉(zhuǎn)魯棒性較差的問題,文獻(xiàn)[5]通過融合特征響應(yīng)圖的形式,將相關(guān)濾波器框架和顏色模型框架進(jìn)行融合,提高了跟蹤算法的魯棒性。但是在互補(bǔ)特征的選擇以及響應(yīng)圖的融合方式上還有待進(jìn)一步研究。

本文將物體性檢測(cè)理論引入到相關(guān)濾波跟蹤和顏色模型跟蹤的框架中,多互補(bǔ)模型的分類器框架能夠有效地對(duì)目標(biāo)和背景進(jìn)行分離,克服跟蹤器易受光照、背景干擾的問題,降低跟蹤虛假目標(biāo)的概率。并且本文通過衡量不同模型預(yù)測(cè)響應(yīng)圖的置信度來推理該模型對(duì)目標(biāo)和背景的分辨能力,從而確定合適的加權(quán)權(quán)重,提升跟蹤性能。

1 融合多互補(bǔ)特征的跟蹤算法

Staple[5-6]算法通過相關(guān)濾波模型和顏色模型同時(shí)對(duì)目標(biāo)和背景進(jìn)行分類,提高了跟蹤器的泛化能力。然而,跟蹤模型還是易受到環(huán)境、光照等因素的干擾?；谏鲜鰡栴},本文在Staple算法的基礎(chǔ)上融入了物體性檢測(cè)模型[7],充分利用樣本信息多樣化的特點(diǎn)。物體性檢測(cè)模型基于物體邊緣輪廓特征,對(duì)光照、背景變換有良好的適應(yīng)性。新算法通過結(jié)合3個(gè)互補(bǔ)模型分別對(duì)目標(biāo)位置進(jìn)行分類預(yù)測(cè),最后將得到的各個(gè)模型的預(yù)測(cè)響應(yīng)圖進(jìn)行自適應(yīng)加權(quán)融合來進(jìn)一步提高跟蹤器魯棒性。算法整體框架如圖1所示。

圖1 多互補(bǔ)特征融合跟蹤器框架

(1)

1.1 平移濾波器模型與其響應(yīng)圖計(jì)算

(2)

式中，*表示循環(huán)相關(guān),hl為第l維特征對(duì)應(yīng)的濾波器系數(shù),g為回歸響應(yīng)函數(shù),本文選擇高斯函數(shù)。第二項(xiàng)λ表示正則化項(xiàng)。通過在頻域下利用帕塞瓦爾定理進(jìn)行快速求解,得到濾波器的頻域形式為:

(3)

(4)

式中，l=1,2,…d,η為學(xué)習(xí)因子。

(5)

1.2 物體性檢測(cè)模型預(yù)測(cè)

a(si,sj)=|cos(θi-θij)cos(θj-θij)|γ

(6)

式中，γ用來調(diào)節(jié)相似度對(duì)方向的敏感程度。當(dāng)2個(gè)邊界群之間的距離大于2個(gè)像素時(shí),則兩者的相似度就為0。

(7)

式中,bw和bh分別為邊界框Π的寬和高。bin代表邊界框Π的中心區(qū)域,尺寸為(bw/2)×(bh/2);r表示邊界框內(nèi)的任意一個(gè)邊界像素,mr為r的響應(yīng)幅值,mi為邊界群si中所有邊界像素幅值之和,ζi為邊界群si完全位于b的權(quán)重分?jǐn)?shù),邊界像素響應(yīng)幅值和ζi的計(jì)算方法可見文獻(xiàn)[7],ζi越高表示si完全位于Π內(nèi)的可能性就越大;k為對(duì)目標(biāo)長(zhǎng)、寬大小的懲罰系數(shù)。

1.3 顏色模型預(yù)測(cè)

(8)

(9)

(10)

1.4 基于響應(yīng)圖置信度的自適應(yīng)融合算法

文獻(xiàn)[5]對(duì)于2個(gè)響應(yīng)圖的融合采用了固定權(quán)重的融合方式,然而,目標(biāo)跟蹤過程中各個(gè)時(shí)刻跟蹤器中各個(gè)模型受干擾程度往往不盡相同,固定權(quán)重不能準(zhǔn)確有效地利用各個(gè)模型的預(yù)測(cè)信息,導(dǎo)致跟蹤器對(duì)目標(biāo)跟蹤的魯棒性不高。對(duì)于融合多通道的跟蹤器來說,若不能對(duì)受不同程度干擾的模型動(dòng)態(tài)加入合適的權(quán)重系數(shù),跟蹤的穩(wěn)定性難以得到保證。為此,本文通過有效地計(jì)算不同模型預(yù)測(cè)響應(yīng)圖的置信度,進(jìn)而自適應(yīng)地對(duì)模型權(quán)重進(jìn)行調(diào)整,進(jìn)一步提高跟蹤算法的魯棒性。

文獻(xiàn)[6]中用不同模板對(duì)正負(fù)樣本的分別能力來表示跟蹤的置信度,其計(jì)算過程需要一定數(shù)量有對(duì)應(yīng)標(biāo)簽的目標(biāo)樣本。然而,目標(biāo)樣本標(biāo)簽的得到一般是通過跟蹤器歷時(shí)幀的跟蹤結(jié)果來確定的,因此跟蹤結(jié)果發(fā)生飄逸將會(huì)導(dǎo)致置信度的計(jì)算錯(cuò)誤,跟蹤器陷入循環(huán)的錯(cuò)誤計(jì)算中。而文獻(xiàn)[6]通過將上述問題轉(zhuǎn)換為半監(jiān)督的部分標(biāo)簽問題,首先計(jì)算一個(gè)可能的部分帶有標(biāo)簽的圖像塊樣本集合:

{(x1,z1),…(xi,zi)},i=1,…n。

(11)

(12)

最大似然概率L和損失熵H的計(jì)算公式分別為:

(13)

(14)

這里假設(shè)目標(biāo)所在位置概率模型P(li|φi)為高斯分布函數(shù)。并且假設(shè)P(li|φi,xi;θ)=P(li|φi;θ)成立,則條件概率可以表示為

(15)

同時(shí)令

(16)

式中，S′∈z時(shí)δz(S′)取1,否則為0。詳細(xì)過程可以參考文獻(xiàn)[6]。得到復(fù)合特征響應(yīng)圖和濾波器響應(yīng)圖的置信度后,就可以計(jì)算各個(gè)響應(yīng)圖的加權(quán)權(quán)重。

(17)

(18)

(19)

1.5 尺度的計(jì)算和優(yōu)化

當(dāng)平移濾波器確定出目標(biāo)中心坐標(biāo)后,引用文獻(xiàn)[5]的方法,用一維尺度濾波器計(jì)算目標(biāo)當(dāng)前尺度。尺度金字塔建立如下

ζnwt-1×ζnht-1,n∈{-(ρ-1)/2,…,(ρ-1)/2}

(20)

式中,wt-1,ht-1分別為目標(biāo)在上一幀的寬和高。ζ為尺度放縮因子,本文選擇1.02,ρ為尺度金字塔的層數(shù),本文選擇33。具體計(jì)算可參考文獻(xiàn)[5]。

1.6 算法實(shí)現(xiàn)

本文算法可分為4個(gè)主要組成部分:初始化、位置估計(jì)、尺度估計(jì)和模型訓(xùn)練。具體步驟如下:

1) 初始化

初始設(shè)置算法的初始參數(shù),以及第一幀序列中目標(biāo)的位置和尺度狀態(tài)。

2) 位置估計(jì)

3) 尺度估計(jì)

根據(jù)尺度金子塔對(duì)目標(biāo)尺度進(jìn)行估計(jì)。

4) 模型訓(xùn)練

2 實(shí)驗(yàn)結(jié)果

本文在計(jì)算機(jī)處理器為i7,主頻為3.5GHz CPU,內(nèi)存為 8G RAM的硬件配置下通過MATLAB2016b軟件對(duì)算法在OTB2015提供的100個(gè)視頻序列上進(jìn)行了實(shí)驗(yàn)評(píng)估。測(cè)試視頻序列包含的干擾特征包括特征有:遮擋,光照變化,尺度變化,運(yùn)動(dòng)模糊,快速運(yùn)動(dòng),平面外旋轉(zhuǎn),變形等。實(shí)驗(yàn)中的參數(shù)設(shè)置如表1所示。

2.1 定性分析

如圖2所示,本節(jié)選取了4個(gè)同時(shí)包含多種挑戰(zhàn)因素的視頻序列來對(duì)算法進(jìn)行定性評(píng)估,并列出了包括雙線性支持向量機(jī)(DLSSVM)、具有通道和空間可靠性的判別相關(guān)濾波器(CSR-DCF)以及融合相關(guān)濾波器模板和顏色特征模板跟蹤算法(Staple)以及本文算法在內(nèi)的4種跟蹤算法的跟蹤結(jié)果。

表1 本文算法參數(shù)設(shè)置

圖2 各個(gè)算法在各測(cè)試序列上部分時(shí)刻的跟蹤結(jié)果

Shaking序列中存在劇烈的光照變化,并存在一定目標(biāo)形變。如圖2a)所示,由于CSR-DCF依賴顏色信息,當(dāng)?shù)?0幀時(shí)光照發(fā)生強(qiáng)烈變化時(shí),CSR-DCF產(chǎn)生了嚴(yán)重的跟蹤飄逸。在第64幀Staple算法已經(jīng)跟蹤失敗, DLSSVM也已經(jīng)產(chǎn)生了較大的跟蹤誤差。而本文算法能夠較好地對(duì)目標(biāo)進(jìn)行跟蹤。

Girl 2序列中存在著完全遮擋的干擾,本文算法當(dāng)目標(biāo)出現(xiàn)后能及時(shí)捕獲到目標(biāo),同樣在第1 384幀后目標(biāo)又出現(xiàn)了完全遮擋的問題,在第1 399幀,本文算法依舊能夠較準(zhǔn)確地跟蹤到目標(biāo)。

Couple序列中存在著相似背景和運(yùn)動(dòng)模糊的干擾,在第92幀和107幀時(shí),Staple 算法和CSR-DCF相繼出現(xiàn)跟蹤失敗。而DLSSVM算法和本文算法能有效地提取正確的目標(biāo)表觀信息,較好地適應(yīng)目標(biāo)表觀變化,完成目標(biāo)跟蹤的任務(wù)。

在Freeman 4序列中,目標(biāo)分辨率較低同時(shí)存在著一定的目標(biāo)遮擋。如第207幀DLSSVM、CSR-DCF以及Staple算法都出現(xiàn)了跟蹤飄逸,在第271幀Staple和CSR-DCF算法甚至已經(jīng)完全跟蹤失敗,而本文算法能夠較好地對(duì)目標(biāo)跟蹤進(jìn)行跟蹤。

2.2 定量分析

本節(jié)采用中心位置誤差(CLE)和重疊率(OR)進(jìn)行性能評(píng)估。一般來說,較小的平均誤差和較大的重疊率意味著更準(zhǔn)確的跟蹤結(jié)果。表2和表3分別表示不同算法在各個(gè)測(cè)試序列中的中心位置平均誤差和邊界框重疊率平均值的比較結(jié)果。表4給出了各個(gè)算法在OTB2015中100序列中的平均跟蹤幀率。表2、表3以及表4中最優(yōu)及次優(yōu)的結(jié)果分別用1和2進(jìn)行標(biāo)注。

表2 不同算法在各個(gè)視頻序列的平均中心位置誤差

表3 不同算法在各個(gè)視頻序列的平均邊界框重疊率

表4 不同算法的平均幀率 幀/秒

2.3 基于可視基準(zhǔn)的評(píng)估

本文采用一次性評(píng)估實(shí)驗(yàn)OPE通過OTB2015提供的100個(gè)視頻序列對(duì)Staple、DLSSVM、CSR-DCF、基于循環(huán)特征映射的跟蹤算法(LMCF)、空間正則化濾波跟蹤器(SRDCF)、濾波網(wǎng)絡(luò)跟蹤器(DCFNet)、全卷積網(wǎng)絡(luò)跟蹤器(SiamFC)、卷積神經(jīng)網(wǎng)絡(luò)支持向量機(jī)跟蹤器(CNN-SVM)和本文算法在內(nèi)的9種跟蹤器進(jìn)行整體性能測(cè)試和對(duì)比。如圖3所示,本文算法由于在Staple算法的基礎(chǔ)上,融合了物體性檢測(cè)模型,充分利用了樣本信息的多樣化的特性,并采用自適應(yīng)權(quán)重的融合方式來調(diào)整各模型加權(quán)比重,有效提升了跟蹤算法的魯棒性。新算法在和OTB2015序列集下得到的精度和成功率相比較于其他跟蹤算法均取得了最好的性能。其次,引入的置信度計(jì)算本身復(fù)雜度較低,所以保證新算法依然能夠保持較高的跟蹤實(shí)時(shí)性。通過表4可得,新算法和Staple算法相比,依然有著較高的跟蹤實(shí)時(shí)性。

圖3 跟蹤器在OTB2015上的測(cè)試結(jié)果

3 結(jié) 論

為了提高跟蹤算法適應(yīng)復(fù)雜場(chǎng)景的能力,本文在Staple算法的基礎(chǔ)上融入了基于輪廓特征的物體性檢測(cè)模型,與原有基于HOG特征的濾波器模型和顏色模型結(jié)合形成一種融合多互補(bǔ)模型的跟蹤算法。并針對(duì)該算法中對(duì)不同模型預(yù)測(cè)響應(yīng)結(jié)果進(jìn)行簡(jiǎn)單線性加權(quán)帶來的跟蹤性能不穩(wěn)定的問題,提出一種以最大似然概率和損失熵作為響應(yīng)圖置信度的自適應(yīng)預(yù)測(cè)響應(yīng)圖加權(quán)權(quán)重計(jì)算方法。實(shí)驗(yàn)結(jié)果表明,新算法在多種復(fù)雜場(chǎng)景中能有效地解決目標(biāo)跟蹤性能較低的問題,并且實(shí)時(shí)性較強(qiáng)。