程語嫣，張九根，楊圣偉

(南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院，江蘇 南京 211816)

0 引 言

目標(biāo)跟蹤算法是計(jì)算機(jī)視覺的一個(gè)重要分支，視覺目標(biāo)跟蹤算法主要是對(duì)視頻畫面中人工標(biāo)定或自動(dòng)檢測(cè)出的目標(biāo)區(qū)域?qū)崟r(shí)跟蹤鎖定。根據(jù)構(gòu)建外觀模型方法的不同，目標(biāo)跟蹤算法主要分為兩類[1]：基于生成模型的跟蹤算法和基于判別式模型跟蹤算法。前者的主要思想是通過尋找最佳匹配的窗口來定位，而后者的主要思想是學(xué)習(xí)從背景中區(qū)分目標(biāo)來找到目標(biāo)位置。

核相關(guān)濾波器跟蹤算法(KCF)[2,3]屬于判別式模型跟蹤算法，因其極高的運(yùn)算效率受到眾多研究者的青睞。Martin Danelljan等提出了CN[4]和DSST[5]跟蹤算法，CN通過引入CN顏色特征進(jìn)一步提高跟蹤算法的精度，DSST算法在KCF算法的基礎(chǔ)增加了目標(biāo)多尺度適應(yīng)。

由于KCF僅使用HOG特征描述目標(biāo)，且無尺度適應(yīng)能力，每一幀都更新模型，無法滿足復(fù)雜背景下的長時(shí)間目標(biāo)跟蹤場(chǎng)景跟蹤要求[6-8]。為兼顧跟蹤速度和準(zhǔn)確準(zhǔn)確率，本文以KCF目標(biāo)跟蹤為框架，提出了一種基于多特征融合和尺度自適應(yīng)的核相關(guān)濾波目標(biāo)跟蹤算法。首先分別使用3個(gè)特征訓(xùn)練獲得3個(gè)濾波器，在檢測(cè)環(huán)節(jié)對(duì)多個(gè)響應(yīng)圖的結(jié)果自適應(yīng)加權(quán)預(yù)測(cè)出目標(biāo)位置，提高了視覺跟蹤算法在復(fù)雜背景下的適應(yīng)能力；然后利用圖像感知哈希算法能夠快速匹配合適的目標(biāo)尺度；針對(duì)模型更新環(huán)節(jié)，依據(jù)響應(yīng)圖的震蕩程度優(yōu)化模型更新策略，降低模型漂移發(fā)生的概率，提高算法長時(shí)間跟蹤的穩(wěn)定性。

1 核相關(guān)濾波目標(biāo)跟蹤

KCF的樣本訓(xùn)練過程實(shí)際是一個(gè)正則化最小二乘[9]問題。通過訓(xùn)練找到一個(gè)函數(shù)f(z)=wTz使得均方誤差最小

(1)

循環(huán)矩陣是KCF的重點(diǎn)，通過循環(huán)矩陣可以得到更多的訓(xùn)練樣本，在基礎(chǔ)樣本上經(jīng)過循環(huán)矩陣之后產(chǎn)生更多的訓(xùn)練樣本。通過引入核函數(shù)，將低維線性不可分的問題映射到更高維的空間，使其在高維空間可以線性可分，利用循環(huán)矩陣與離散傅里葉變化得

(2)

KCF在樣本檢測(cè)階段，也是通過傅里葉變換(FFT)和傅里葉反變換(IFFT)即可計(jì)算出所有樣本的回歸值，極大減少算法的運(yùn)行量。

在樣本的檢測(cè)階段同樣需要計(jì)算核空間矩陣，核空間矩陣計(jì)算公式一般有多項(xiàng)式核、徑向基核和高斯核，對(duì)于高斯核為

(3)

(4)

(5)

其中，α為濾波器系數(shù)，x為目標(biāo)外觀模型，t為視頻圖像幀數(shù)，γ為更新因子。

2 多特征融合和尺度適應(yīng)跟蹤算法

傳統(tǒng)KCFH特征單一、目標(biāo)尺度固定、每一幀都更新模型，無法滿足復(fù)雜背景下的長時(shí)間目標(biāo)跟蹤場(chǎng)景跟蹤要求。本文擬通過融合多特征，引入尺度適應(yīng)，優(yōu)化模型跟蹤策略來提高跟蹤算法的魯棒性。

2.1 多特征融合

2.1.1 特征選擇

由于HOG特征提取時(shí)先對(duì)目標(biāo)圖像做灰度處理，損失了對(duì)圖像直觀顏色的表達(dá)能力。其次HOG特征主要捕捉目標(biāo)的局部形狀信息，在目標(biāo)外形變化較大或運(yùn)動(dòng)模糊時(shí)，HOG特征對(duì)目標(biāo)的描述能力相對(duì)較弱。

CN特征是對(duì)圖像全局的描述，對(duì)于目標(biāo)形變、運(yùn)動(dòng)模糊有很好的適應(yīng)能力。CN有11個(gè)通道的顏色特征，如果直接使用CN特征需要對(duì)每一個(gè)通道進(jìn)行FFT核映射，將11通道的頻域信號(hào)線性相加，進(jìn)行樣本訓(xùn)練和樣本檢測(cè)等。顯然11通道運(yùn)算量是非常大的，直接使用CN特征會(huì)降低目標(biāo)跟蹤算法整體的實(shí)時(shí)性，并且CN的11個(gè)通道的顏色對(duì)于區(qū)分目標(biāo)和背景并非都有意義。為減少對(duì)跟蹤算法運(yùn)算速度的影響，利用PCA自適應(yīng)降維實(shí)時(shí)選擇比較顯著的顏色特征來描述目標(biāo)，將CN11維特征降至2維得到CN2。PCA主要是通過尋找最小均方意義下最能代表原始數(shù)據(jù)的投影方法，把主要影響因素從多元事物中解析出，揭示事物本質(zhì)，將復(fù)雜問題簡單化。CN顏色空間與RGB相比更接近人眼對(duì)色彩的感覺，能夠更詳細(xì)描述圖像顏色特征，在目標(biāo)發(fā)生形變和運(yùn)動(dòng)模糊時(shí)可以保持較高的分辨能力。

HSV(hue，saturation，value)顏色模型依據(jù)人類對(duì)于色澤、明暗和色調(diào)的直觀感覺來定義顏色，其中H代表色度，S代表色飽和度，V代表亮度。HSV顏色同樣描述了圖像的全局特征，被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域。HSV與RGB相比可以更準(zhǔn)確感知顏色的聯(lián)系，對(duì)光照變化相對(duì)不敏感，融合HSV特征可以進(jìn)一步提高算法對(duì)光照變化的適應(yīng)能力。

2.1.2 特征融合策略

傳統(tǒng)跟蹤算法一般通過多特征級(jí)聯(lián)或固定權(quán)重進(jìn)行多特征的融合。CN2和HVS特征代表不同角度目標(biāo)全局的顏色信息，而HOG特征則代表目標(biāo)局部形狀梯度信息，CN2、HSV和HOG表示的意義和內(nèi)容不同，所適應(yīng)跟蹤的場(chǎng)景也不同。僅通過級(jí)聯(lián)或固定閾值很難使3種特征在跟蹤過程中發(fā)揮各自的優(yōu)點(diǎn)。

在訓(xùn)練分類器階段，設(shè)映射函數(shù)為φ(x)，分類器的權(quán)重向量為

(6)

由式(6)可看出樣本訓(xùn)練求解問題由w變?yōu)棣?，?(α1,α2,α3,…)T，核函數(shù)為κ(x,x′)=φT(x)φT(x′)，不同樣本之間乘積構(gòu)成的矩陣為

Kij=κ(xi,xj)

(7)

K為n×n的矩陣，回歸函數(shù)為

(8)

由式(8)可以看出回歸函數(shù)的復(fù)雜度隨著樣本數(shù)量的增加而增加，如果直接計(jì)算運(yùn)算量是比較大的。利用循環(huán)矩陣的特性可以避免復(fù)雜的計(jì)算。依據(jù)線性最小二乘法對(duì)式(1)求解得

(9)

復(fù)數(shù)域表示為

(10)

由式(10)得

α=(K+λI)-1y

(11)

由式(11)可以推出訓(xùn)練樣本距離目標(biāo)位置的遠(yuǎn)近與相關(guān)濾波器響應(yīng)值的大小有關(guān)。距離目標(biāo)越近，響應(yīng)值越大；距離目標(biāo)越遠(yuǎn)，響應(yīng)值越小。即響應(yīng)值的大小可以反映跟蹤目標(biāo)位置預(yù)測(cè)的精確程度。

從OTB數(shù)據(jù)集人工標(biāo)注的目標(biāo)實(shí)際坐標(biāo)中發(fā)現(xiàn)目標(biāo)相鄰兩幀之間一般不會(huì)有太大的位置移動(dòng)。所以在第t幀中的濾波器響應(yīng)圖最大值的位置，距離第t-1幀的目標(biāo)位置越近，則其為真實(shí)目標(biāo)位置的可能性越大。

因此根據(jù)各特征濾波器得到最大響應(yīng)值的差異性和相鄰兩幀相對(duì)位置距離，可以計(jì)算出每個(gè)特征對(duì)應(yīng)的置信度，用以實(shí)現(xiàn)多特征自適應(yīng)加權(quán)融合，從而得到目標(biāo)的最終預(yù)測(cè)位置。通過自適應(yīng)融合使得每種特征在其適應(yīng)能力較強(qiáng)的場(chǎng)景中得到更大的權(quán)重，從而提高跟蹤精度。

設(shè)HOG，CN2，HSV的響應(yīng)圖分別為fhog，fcn2，fhsv通過各特征響應(yīng)圖上最大響應(yīng)值定位各特征預(yù)測(cè)的目標(biāo)位置，3個(gè)濾波器響應(yīng)圖中最大值的位置分別記為Lhog，Lcn2，Lhsv，上一幀的目標(biāo)位置記為Lt-1。每個(gè)特征的響應(yīng)圖的置信度由下式求得

(12)

(13)

(14)

其中，Qhog，Qcn2，Qhsv為每個(gè)特征濾波器響應(yīng)圖對(duì)應(yīng)的置信度。每個(gè)特征的響應(yīng)圖對(duì)應(yīng)的權(quán)重為

(15)

(16)

(17)

其中，γhog，γcn2，γhsv為各特征的對(duì)應(yīng)權(quán)值系數(shù)。從上列公式可看出特征的置信度越高，該特征獲得權(quán)重就會(huì)越大。

目標(biāo)最終預(yù)測(cè)的位置通過下列式計(jì)算得到Lt為多特征融合得到的目標(biāo)位置。從式(18)可以看出HOG、CN2、HSV這3種特征在自己描述能力比較強(qiáng)的跟蹤環(huán)境中可以獲得更大的權(quán)重，對(duì)跟蹤結(jié)果的影響就越大，從而提高跟蹤精度。在其描述能力相對(duì)較弱的環(huán)境中，權(quán)重相對(duì)會(huì)下降，從而可以減少對(duì)跟蹤結(jié)果的影響。

Lt=γhogLhog+γcn2Lcn2+γhsvLhsv

(18)

2.2 感知哈希尺度自適應(yīng)

在多特征相關(guān)濾波器預(yù)測(cè)出當(dāng)前幀目標(biāo)位置后，以上一幀目標(biāo)框大小為基礎(chǔ)，基于當(dāng)前幀目標(biāo)預(yù)測(cè)位置，截取多尺度區(qū)域框形成圖像金字塔。然后將圖像金字塔內(nèi)的圖片利用圖像感知哈希算法[10]生成對(duì)應(yīng)的哈希值，分別與上一幀目標(biāo)區(qū)域的哈希值計(jì)算漢明距離，得到最佳目標(biāo)尺度。

2.2.1 生成多尺度哈希值集

設(shè)當(dāng)前幀通過相關(guān)濾波器預(yù)測(cè)出目標(biāo)位置為Lt，上一幀得到目標(biāo)框大小為wt-1×ht-1?；谖恢肔t和wt-1×ht-1在當(dāng)前視頻幀中截取多尺度區(qū)域框構(gòu)建圖像金字塔，如圖1所示。

圖1 尺度金字塔構(gòu)建

白色框?yàn)榛鶞?zhǔn)框，白色框的中心位置坐標(biāo)為Lt，尺度為wt-1×ht-1，黑色框?yàn)橐园咨驗(yàn)榛鶞?zhǔn)截取多尺度區(qū)域框，白色框與黑色框截取的區(qū)域共同構(gòu)建成尺度金字塔。當(dāng)所取的尺度越密集、提取范圍越大時(shí)，最后匹配到的尺度越精準(zhǔn)，但同時(shí)所需時(shí)間也較長，使得跟蹤算法的實(shí)時(shí)性變?nèi)酢?/p>

本章算法是以上一幀獲得目標(biāo)尺度大小為基準(zhǔn)提取尺度金字塔，相鄰兩幀目標(biāo)一般不會(huì)有太大的尺度變化，以0.05為步長在(-0.30，0.30]范圍內(nèi)取13個(gè)尺度。

定義獲得的尺度集合為S，如式(19)所示，多尺度采樣如圖2所示

圖2 多尺度采樣

(19)

獲得多尺度的目標(biāo)圖片之后，對(duì)13張不同尺度圖片通過感知哈希算法分別提取哈希值。

圖像感知哈希值生成具體步驟如下：

(1)縮小圖片：將圖片縮小到32×32的大??；

(2)簡化色彩：將圖片轉(zhuǎn)化成灰度圖像，進(jìn)一步簡化計(jì)算量；

(3)計(jì)算圖片的DCT變換：將縮小后的圖片分成4個(gè)16×16的矩陣，對(duì)每個(gè)矩陣進(jìn)行二維DCT變換。然后分別提取其左上角4×4的16個(gè)低頻系數(shù)，組成8×8的二維矩陣；

(4)計(jì)算DCT的均值：計(jì)算矩陣的DCT系數(shù)均值，通過DCT系數(shù)均值來量化矩陣，即根據(jù)均值將每一個(gè)像素二值化；

(5)計(jì)算哈希值：根據(jù)8×8的DCT矩陣，設(shè)置為0或1的64 bit的hash值。大于等于DCT均值的設(shè)為“1”，小于DCT均值的設(shè)為“0”。組合后為64 bit二進(jìn)制數(shù)，即哈希值。最后得到的13個(gè)64 bit的哈希值序列集記為

(20)

2.2.2 多尺度哈希值匹配

漢明距離[11]可以用來計(jì)算圖像感哈希值相似度，漢明距離越大兩張圖相似度越低，漢明距離越小兩張圖相似度越高。通過相關(guān)濾波器估計(jì)得到的位置Lt后，構(gòu)建出多尺寸圖像金字塔，生成哈希值庫，分別于上一幀目標(biāo)計(jì)算漢明距離，漢明距離最小值所對(duì)應(yīng)的尺度大小作為當(dāng)前幀目標(biāo)尺度。設(shè)漢明距離的計(jì)算公式為

(21)

2.3 模型更新策略

為適應(yīng)跟蹤過程中各種因素的變化，需要對(duì)相關(guān)濾波器進(jìn)行實(shí)時(shí)更新。但如果每一幀的結(jié)果都用來更新，則存在一定風(fēng)險(xiǎn)。特別是當(dāng)目標(biāo)被遮擋或者出現(xiàn)相似物體干擾時(shí)依然更新模型，會(huì)使得跟蹤器對(duì)于后續(xù)幀識(shí)別真正目標(biāo)的能力越來越差，導(dǎo)致模型漂移。

經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，KCF的響應(yīng)圖在跟蹤準(zhǔn)確時(shí)存在單個(gè)較為明顯的峰值，類似理想的二維高斯分布圖。在跟蹤效果一般時(shí)，會(huì)出現(xiàn)多個(gè)明顯的峰值。而在跟蹤效果較差時(shí)，如出現(xiàn)目標(biāo)遮擋、跟蹤漂移、運(yùn)動(dòng)模糊等，響應(yīng)圖會(huì)劇烈振蕩，響應(yīng)圖存在多個(gè)較大的峰值，且最高峰值與次高峰值很接近，所以最高峰值對(duì)應(yīng)的位置有可能不是真正的目標(biāo)位置。因此可以通過響應(yīng)圖的震蕩程度來判斷是否進(jìn)行模型更新。設(shè)響應(yīng)圖的震蕩程度為V

(22)

當(dāng)V和Fmax的值以一定比例大于跟蹤視頻序列中的歷史均值時(shí)，對(duì)相關(guān)濾波器實(shí)時(shí)更新，更行策略如下式所示

(23)

整體框架流程如圖3所示。

圖3 整體算法流程

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文整體改進(jìn)后的視覺跟蹤算法(多特征融合+哈希尺度自適應(yīng))的有效性，本章在OTB[12]數(shù)據(jù)上與CSK、KCF、DSST、SAMF[13]流行跟蹤算法進(jìn)行對(duì)比實(shí)驗(yàn)，算法之間的主要區(qū)別見表1。CSK、KCF、DSST、SAMF所用算法所有參數(shù)均為默認(rèn)。實(shí)驗(yàn)所用電腦配置為Intel(R) Core(TM) i5-7300HQ CPU @ 2.50 GHz(4 CPUs)，8 G內(nèi)存，win10操作系統(tǒng)，Matlab2016。

表1 跟蹤算法的差異

3.1 定性分析

為直觀體現(xiàn)本文跟蹤算法效果，從跟蹤結(jié)果選擇3個(gè)具有代表性的視頻序列來定性分析說明，分別是籃球、移動(dòng)和汽車。

本文跟蹤算法與CSK、KCF、DSST、SAMF跟蹤算法對(duì)比結(jié)果，如圖4所示。

HOG特征雖然對(duì)局部有很強(qiáng)的表達(dá)能力，但目標(biāo)外形動(dòng)作幅度過大、目標(biāo)運(yùn)動(dòng)方向改變，HOG特征的描述能力就會(huì)變?nèi)酢?/p>

如圖4(a)中，籃球運(yùn)動(dòng)員邁出很大的跨步，可以看出KCF和DSST在目標(biāo)剛加速運(yùn)動(dòng)出現(xiàn)較大的形變導(dǎo)致KCF、CSK和DSST都跟蹤失敗。本文算法使用HOG+CN2+HSV，SAMF使用HOG+CN+GRAY多特征來描述目標(biāo)，在目標(biāo)發(fā)生形變時(shí)仍然可以較好進(jìn)行跟蹤。如圖4(b)中出現(xiàn)了運(yùn)動(dòng)模糊，本文算法可以準(zhǔn)確跟蹤，得益于本文多特征融合不僅僅是特征的固定權(quán)重累加，而是多特征多濾波器自適應(yīng)加權(quán)融合。在目標(biāo)發(fā)生運(yùn)動(dòng)模糊時(shí)，HOG的權(quán)重特征會(huì)相對(duì)變小，對(duì)跟蹤的結(jié)果影響也減少，而CN2的權(quán)重相對(duì)變大，對(duì)跟蹤的結(jié)果影響也會(huì)較大。每種特征在自己適應(yīng)能力較強(qiáng)的場(chǎng)景中，為跟蹤算法的精度貢獻(xiàn)更大的力量，從而提升跟蹤精度，由于本文算法通過觀察響應(yīng)圖的震蕩程度來避免相似物體干擾和遮擋情況下的模型更新，可以很好應(yīng)對(duì)形似物體和遮擋干擾的影響。從圖4(c)第216幀可以看出本文的跟蹤算辦法更精準(zhǔn)地鎖定在目標(biāo)中心位置。

圖4 各算法在部分序列上的跟蹤對(duì)比結(jié)果

另外本文算法與DSST不同之處還在于，本文算法是以上一幀目標(biāo)尺度為基準(zhǔn)構(gòu)建尺度金字塔，尺度模板中不需要太多的尺度，可以有很強(qiáng)的尺度適應(yīng)能力。

3.2 定量分析

從表2可知，本文算法的跟蹤速度為每秒32幀，能夠滿足實(shí)時(shí)性要求。本文提出的跟蹤算法與CSK、KCF、DSST、SAMF相比，在整體性能上具有優(yōu)越性。成功率(OP)比SAMF提高2.2%，比KCF提高13.1%。精確度(DP)比ASMF提高0.8%，比KCF提高5.3%。表明本算法以KCF為基本框架，通過多特征自適應(yīng)融合和哈希尺度自適應(yīng)能有效提高跟蹤算法的整體性能。

表2 整體跟蹤性能

整體跟蹤對(duì)比結(jié)果如圖5所示。

圖5 各算法整體成功率(OP)和精確度(DP)對(duì)比

圖5第一行為本文算法和對(duì)比算法整體的成功率OP圖，第二行為本文算法和對(duì)比算法整體的精確度DP圖。從圖5的OP曲線走勢(shì)數(shù)據(jù)可以看出在重疊閾值在(0.4,0.8)之間本文算法整體的成功率和空間魯棒性均優(yōu)于其它算法。由于本文算法和SAMF算法都使用多特征融合，成功率時(shí)間魯棒性與SAMF算法很接近，但本文基于上一幀目標(biāo)框使用感知哈希尺度自適應(yīng)，目標(biāo)尺度的適應(yīng)能力高于SAMF。從圖5的DP曲線走勢(shì)數(shù)據(jù)可以看出本文的算法精確度的時(shí)間魯棒性明顯優(yōu)于SAMF和其它算法。

4 結(jié)束語

本文提出了多特征融合的核相關(guān)濾波目標(biāo)跟蹤算法，來彌補(bǔ)HOG單一特征對(duì)于復(fù)雜環(huán)境適應(yīng)能力差的不足。在目標(biāo)跟蹤算法的訓(xùn)練環(huán)節(jié)通過HOG、CN2、HSV多種特征分別訓(xùn)練得到多個(gè)相關(guān)濾波器，然后在檢測(cè)環(huán)節(jié)對(duì)各個(gè)特征對(duì)應(yīng)濾波器的響應(yīng)圖進(jìn)行自適應(yīng)加權(quán)得到最終的目標(biāo)位置。在多特征融合的基礎(chǔ)上，為減少對(duì)跟蹤速度的影響，本文把尺度檢測(cè)級(jí)聯(lián)在相關(guān)濾波器之后，在相關(guān)濾波器預(yù)測(cè)出當(dāng)前幀目標(biāo)位置后，以上一幀目標(biāo)尺度為基準(zhǔn)獲取多尺度圖像金字塔，然后將圖像金字塔內(nèi)圖片利用感知哈希生成對(duì)應(yīng)的哈希值，分別與上一幀目標(biāo)區(qū)域的哈希值計(jì)算漢明距離，得到最佳目標(biāo)尺度。然后在檢測(cè)環(huán)節(jié)對(duì)各個(gè)征對(duì)應(yīng)濾波器的響應(yīng)圖進(jìn)行自適應(yīng)加權(quán)得到最終的目標(biāo)位置。并針對(duì)模型更新環(huán)節(jié)，提出一種簡單有效的模型更新策略，利用多峰前向檢測(cè)用來避免相似物體干擾和遮擋情況下的模型更新。