陳 晨,高艷麗,鄧趙紅+,王士同
1.江南大學(xué) 數(shù)字媒體學(xué)院,江蘇 無錫 214122
2.江南計(jì)算技術(shù)研究所,江蘇 無錫 214083
視頻目標(biāo)跟蹤[1-2]作為計(jì)算機(jī)視覺中的重要研究領(lǐng)域之一,它被廣泛用于運(yùn)動分析、行為識別、視頻監(jiān)控及人機(jī)交互等方面。近年,目標(biāo)跟蹤技術(shù)的研究取得了很大進(jìn)步,涌現(xiàn)出了諸多跟蹤算法,但仍面臨一系列挑戰(zhàn),如光照變化、遮擋、畫面抖動等因素常導(dǎo)致目標(biāo)跟蹤不準(zhǔn)確。近年研究的熱點(diǎn)是判別式跟蹤方法,它將機(jī)器學(xué)習(xí)引入到目標(biāo)跟蹤,將目標(biāo)跟蹤看作二分類問題,即通過分類器將視頻中的待跟蹤目標(biāo)和周圍背景區(qū)分開,最終得到使分類器置信度最大的位置就是目標(biāo)中心位置。
現(xiàn)有的跟蹤算法主要分為兩大類:
(1)基于深度學(xué)習(xí)的跟蹤算法
該類算法主要基于深度神經(jīng)網(wǎng)絡(luò)[3-5]框架進(jìn)行學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)由于其在圖像特征提取方面具有強(qiáng)大的學(xué)習(xí)功能,因此被應(yīng)用于視頻跟蹤中。例如文獻(xiàn)[6]中提出了一種基于全卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤方法,不僅僅將卷積神經(jīng)網(wǎng)絡(luò)作為特征提取的工具,而且離線預(yù)先訓(xùn)練大量圖像數(shù)據(jù);文獻(xiàn)[7]中提出了一種利用VGGNET16提取圖片特征,之后加入單層殘差神經(jīng)網(wǎng)絡(luò),并且同時(shí)考慮了時(shí)域殘差和空間殘差的跟蹤方法;文獻(xiàn)[8]中提出了利用分層卷積網(wǎng)絡(luò)構(gòu)建多個(gè)相關(guān)濾波器產(chǎn)生多極相關(guān)響應(yīng)圖來精確預(yù)測目標(biāo)位置,一定程度上提高了跟蹤精度。但是目前深度學(xué)習(xí)的跟蹤算法因?yàn)榫哂旋嫶蟮木W(wǎng)絡(luò)規(guī)模和訓(xùn)練數(shù)據(jù)的缺乏導(dǎo)致它在實(shí)時(shí)性方面表現(xiàn)不佳,因此不適用于對實(shí)時(shí)性有要求的視覺跟蹤。
(2)基于相關(guān)濾波器[9-10]的跟蹤算法
該類算法首先給定一個(gè)包含跟蹤目標(biāo)的初始圖像塊,通過學(xué)習(xí)一個(gè)判別分類器來區(qū)分對待跟蹤目標(biāo)和周圍環(huán)境。Bolme等在2010年首次將相關(guān)濾波用在了追蹤領(lǐng)域,并且提出了MOSSE(minimum output sum of squared error filter)相關(guān)濾波器[11-12];為解決被跟蹤過程中發(fā)生的形變、部分遮擋問題,Kalal等將傳統(tǒng)的跟蹤算法和傳統(tǒng)的檢測算法相結(jié)合,在2011年提出了一種單目標(biāo)長時(shí)間的TLD(trackinglearning-detection)跟蹤算法[13-15]。在此基礎(chǔ)上,為了改進(jìn)快速移動和運(yùn)動模糊的問題,張晶等將傳統(tǒng)TLD算法結(jié)合時(shí)空背景相似性(spatio-temporal context similarity,STCS)方法提出了一種基于時(shí)空上下文相似性的TLD[16]算法。在視頻追蹤實(shí)時(shí)性方面,Henriques等在2014年提出了高速KCF(kernel correlation filter)算法及其改進(jìn)的DCF(discriminant correlation filter)算法[17]。孫健等在KCF中增加了一個(gè)尺度濾波器[18]來改進(jìn)尺度變化的問題。劉延飛等利用峰值數(shù)據(jù)的均值和標(biāo)準(zhǔn)差[19]對每幀的響應(yīng)峰值進(jìn)行比較來改善KCF中跟蹤目標(biāo)丟失的問題。
模糊系統(tǒng)[20-21]由于其具有可解釋性以及良好的非線性學(xué)習(xí)等優(yōu)點(diǎn),在計(jì)算機(jī)視覺(computer vision,CV)領(lǐng)域也得到了有效應(yīng)用。例如Angelov等以經(jīng)典Takagi-Sugeno神經(jīng)模糊系統(tǒng)為基礎(chǔ),提出了一種使用柯西類型內(nèi)核的遞歸密度估計(jì)的視頻追蹤算法[22];Zhang等提出了一種新的模糊跟蹤框架,該框架將跟蹤作為模糊分類問題,通過為其分配不同的成員關(guān)系來測量訓(xùn)練樣本的重要性,最后以模糊最小二乘支持向量機(jī)(fuzzy least squares-support vector machine,F(xiàn)LS-SVM)分類器實(shí)現(xiàn)一個(gè)具體的跟蹤器[23]。但目前與模糊理論相關(guān)的跟蹤工作還相對較少,因此將模糊邏輯系統(tǒng)應(yīng)用于視頻跟蹤領(lǐng)域具有較大的研究意義。
上述三類算法均在跟蹤方面獲得了一定的有效性,但也都面臨一些局限性,需要進(jìn)一步改進(jìn)和研究。例如,濾波器KCF跟蹤算法具有高速的特點(diǎn),但是在核技巧的處理上仍具有一些挑戰(zhàn)。因?yàn)槠渲皇菃渭兪褂煤思记蓙韺δ0鍘c后續(xù)幀進(jìn)行相關(guān)性計(jì)算,在精度方面沒有較強(qiáng)的魯棒性,導(dǎo)致在某些視頻數(shù)據(jù)上的跟蹤效果表現(xiàn)不佳?;谏鲜鎏魬?zhàn),本文提出了一種改進(jìn)算法,主要工作就是將TSK-FLS(Takagi-Sugeno-Kang fuzzy logic system)[24]中利用最小二乘所求的后件參數(shù)與核相關(guān)濾波器相結(jié)合,來構(gòu)造一種模糊核相關(guān)濾波器(fuzzy kernel correlation filter,F(xiàn)KCF)的跟蹤方法。本文提出的模糊核方法比之前最先進(jìn)的核方法更加穩(wěn)定,而且具有更高的魯棒性,同時(shí)也繼承了KCF高速計(jì)算的特點(diǎn)。實(shí)驗(yàn)結(jié)果也表明,較之KCF算法,本文所提出的FKCF算法不僅在快速移動、背景雜波、規(guī)格變化等影響因素下的跟蹤效果有明顯的提升,而且在其他影響因素下的跟蹤效果也有穩(wěn)定的提升。
本文的主要貢獻(xiàn)如下:
(1)將TSK-FLS與核相關(guān)濾波器算法(KCF)相結(jié)合,將KCF算法中簡單的核技巧替換為TSK-FLS來進(jìn)行運(yùn)算。
(2)在替換的過程中,考慮到計(jì)算時(shí)間及精度的原因,將傳統(tǒng)的TSK-FLS進(jìn)行改進(jìn),根據(jù)其求解后件參數(shù)的最小二乘方法來對KCF算法進(jìn)行優(yōu)化。
本章首先介紹TSK模糊邏輯系統(tǒng)[24-25]的基本概念,其次簡單介紹下KCF算法。
FLS有三大類:TSK模型[26]、Mamdani模型[27]和廣義模糊模型[28]。其中,TSK模型由于其簡單性和靈活性而具有較為廣泛的應(yīng)用,本文亦采用TSK模型作為基礎(chǔ)模型。
TSK模糊邏輯系統(tǒng)采用如下If-then規(guī)則:
其中,i=1,2,…,M,M表示規(guī)則數(shù)目,是后件參數(shù),x=[x1,x2,…,xθ]T是輸入向量,yi(x)是第i條規(guī)則的輸出,是第i條規(guī)則的第k個(gè)輸入域中的模糊集合?!氖锹?lián)合運(yùn)算符。
當(dāng)使用t范數(shù)和重心去模糊化時(shí),經(jīng)典TSK-FLS的最終輸出被計(jì)算為:
其中可以使用不同的方法來估計(jì)參數(shù),例如模糊C均值聚類(fuzzy C-means,F(xiàn)CM)[29]:
其中,ujk表示FCM在訓(xùn)練數(shù)據(jù)集上獲得的第k個(gè)模糊分區(qū)中樣本xj的隸屬度,并且h是可以手動設(shè)置或通過交叉驗(yàn)證(cross-validation,CV)確定的縮放參數(shù)。
當(dāng)模糊規(guī)則中的前件參數(shù)固定時(shí),TSK-FLS可以重新表示為新特征空間的線性模型[28,30-31]。令:
然后,y0變?yōu)椋?/p>
其中,xg∈RM(d+1)是新特征空間中的一個(gè)數(shù)據(jù)向量,它是從原始特征空間中的數(shù)據(jù)向量x∈Rd通過模糊規(guī)則前件映射而來的,而pg是所有模糊規(guī)則的后件參數(shù)的組合,其中k=1,2,…,θ,i=1,2,…,M。
2.2.1 判別分類器
KCF算法的主要思想是使用給出的樣本去訓(xùn)練一個(gè)判別分類器,判斷跟蹤到的是目標(biāo)還是周圍的背景信息,使用循環(huán)矩陣[32]對樣本進(jìn)行采集,使用快速傅里葉變換[33]對算法進(jìn)行加速計(jì)算,并且在像素矩陣處理時(shí)引入了核技巧來增加判別分類器的精度從而提高跟蹤精度。
在KCF跟蹤器中,分類器f(x)=<w,φ(x)>它通過對目標(biāo)周圍大小為m×n的圖像塊x訓(xùn)練獲得。分類器不通過傳統(tǒng)的移動窗口獲得樣本xi,而是通過利用循環(huán)位移獲得樣本xi,其中i∈{0,1,…,m-1}×{0,1,…,n-1} 分類器通過最小正則化風(fēng)險(xiǎn)函數(shù)式(13)進(jìn)行訓(xùn)練。
其中,φ表示映射到Hilbert特征空間,使用的核函數(shù)k(x,x')=<φ(x),φ(x')>;yi為樣本xi期望輸出;λ為一個(gè)固定的正則化參數(shù)。那么式(13)的解可以表示為輸入的線性組合[34],即:
系數(shù)向量為α根據(jù)文獻(xiàn)[17]可以得到α的解為:
其中,K為核矩陣,其元素Kij=k(xi,xj);I為單位矩陣;向量y的元素為yi;系數(shù)向量α的元素為αi。
2.2.2 循環(huán)矩陣
假設(shè)C(x)是一個(gè)n×n的循環(huán)矩陣,則它可以通過一個(gè)1×n的向量x的循環(huán)位移獲得,則有:
其中,C(x)的第一行是向量x的轉(zhuǎn)置,第2行是向量x向右循環(huán)移動一位元素轉(zhuǎn)置后的結(jié)果,依次類推可以得到C(x)所有行。
對于一個(gè)n×1的向量u,則C(x) 與u的乘積p=C(x)u就是向量x和u的卷積。假設(shè)一個(gè)向量的離散傅里葉變換(DFT)用“^”標(biāo)記,如,其中F表示DFT,那么在頻域下就有:
其中,*表示復(fù)數(shù)共軛運(yùn)算;⊙表示按像素乘法操作。
2.2.3 目標(biāo)位置檢測
依據(jù)文獻(xiàn)[17],如果核函數(shù)是酋不變的,則有核矩陣K為循環(huán)矩陣,因此式(15)可以根據(jù)循環(huán)矩陣的性質(zhì)得到在頻域下的解:
其中,K=C(h),h的元素hi=k(x,xi)。若對于具有C個(gè)通道特征的圖像數(shù)據(jù),對特征向量x=[x1,x2,…,xc]和進(jìn)行分析,使用高斯核計(jì)算h,高斯核為,則可得到:
其中,F(xiàn)-1表示逆DFT。
假設(shè)通過獲取新的一幀中感興趣圖像塊z檢測目標(biāo)的位置,由前面可知,分類器的輸出響應(yīng)為:
其中,hi=k(x,zi),zi為從圖像塊z提取的訓(xùn)練樣本;x為從上一幀學(xué)習(xí)獲得的目標(biāo)模型。則y就是h乘以學(xué)習(xí)系數(shù)α的線性組合,本質(zhì)上就是一個(gè)濾波操作,h就是KCF,分類器的響應(yīng)y就是h的輸出響應(yīng)。KCF的輸出響應(yīng)為,則有:
其中,b為學(xué)習(xí)因子;αt、αt-1分別表示當(dāng)前幀和上一幀更新獲得的系數(shù)向量;xt、xt-1分別表示當(dāng)前幀和上一幀更新獲得的模型x。
經(jīng)典KCF算法采用高斯核函數(shù)將樣本映射到高維空間,該方法雖然一定程度會提高算法的魯棒性,但是高斯核函數(shù)對參數(shù)較為敏感,經(jīng)典KCF算法對高斯函數(shù)參數(shù),即核函數(shù)中心與核帶寬,采用的方式是人為賦值的方式,這樣的方式存在一定的盲目性。針對此,本文將TSK-FLS引入KCF中,提出了基于TSK-FLS的KCF算法FKCF。具體如下。
為充分利用上一幀所能提供的先驗(yàn)知識,本文采用TSK-FLS前件映射替代經(jīng)典KCF算法中的核映射??紤]到高斯函數(shù)的普適性,本文采用高斯函數(shù)作為隸屬度函數(shù),函數(shù)形式如下:
結(jié)合模糊隸屬度函數(shù)的公式,本文從模糊隸屬度函數(shù)的角度重新定義了兩個(gè)任意向量的相關(guān)性。
由于模糊隸屬度函數(shù)是高斯型的,因此與徑向基函數(shù)類似,可以推出如下形式。對于一些函數(shù)h,的元素如下:
由于Parseval定理[35],Pi-1不會影響x的范數(shù)。由于是常數(shù),因此上式的矢量形式為:
將函數(shù)h轉(zhuǎn)化為模糊隸屬度函數(shù),可得:
本節(jié)主要說明如何在算法中加入TSK-FLS的后件參數(shù)來改進(jìn)算法,使算法精確度提高且在錄制設(shè)備晃動幅度大的情況下標(biāo)記更佳穩(wěn)定。FKCF所采用的后件參數(shù)結(jié)合最小二乘法的思想,所有的前件參數(shù)事先給定,只有后件的系數(shù)需要調(diào)整,規(guī)則的數(shù)目M已經(jīng)指定為1,最小二乘法的出發(fā)點(diǎn)是:
其中,f i(x)是規(guī)則的點(diǎn)火水平(強(qiáng)度),定義為:
其中,T表示t范數(shù),通常取最小或者乘積,在式(24)和式(25)中,x表示應(yīng)用于一型TSK-FLS的一個(gè)特定的輸入。
在這里可以將式(30)重新表示為:
由于M的值為1,將式(32)優(yōu)化為:
i=1,2,…,M,M=1,j=0,1,…,θ,因此方程(33)可以表示為:
在實(shí)際圖像中第一項(xiàng)是不存在的,因此g(x)與p是θ×M×1維向量,它們的元素由式(33)可知(注:去除。
對訓(xùn)練集合中N元素的每一個(gè)運(yùn)用式(35),即:
聯(lián)立N個(gè)方程,可以用向量-矩陣的形式表示為:
這里G是之前式(29)得到的θ個(gè)元素的隸屬度矩陣,并且根據(jù)式(34)可知:
為方便計(jì)算,將p的最小二乘設(shè)計(jì)pLS通過最小化關(guān)于p的下式而獲得:
這個(gè)最優(yōu)化問題的解可以表示為:
化簡后可得到:
式(41)中,Y是對G的約束項(xiàng),應(yīng)當(dāng)充分考慮當(dāng)前幀與模板幀的關(guān)系。同時(shí)為了控制Y值的變化,加入?yún)?shù)β(1×10-6~1×10-3)進(jìn)行小范圍尋優(yōu),根據(jù)上述條件推得下式:
其中,x*表示訓(xùn)練圖像塊(由上一幀得出)的復(fù)共軛,z表示測試圖像塊(由當(dāng)前幀得出)。結(jié)合式(38)、式(41)和式(42),最終的核化版本是:
本文主要從兩方面對經(jīng)典KCF算法進(jìn)行了提升,分別為用可解釋性更好的模糊映射替代原始核映射,以及引入模糊后件參數(shù)提升算法性能。
一方面,本文利用可解釋性更好的TSK-FLS前件映射代替KCF算法中的核映射,其合理性在于兩者的運(yùn)算目的是相同的。核映射在原算法中的目的是計(jì)算兩幀之間的相關(guān)性;而利用模糊邏輯系統(tǒng)中的前件映射,仍然可以達(dá)到相同的目的。式(24)中xk為當(dāng)前幀中的每個(gè)值,為上一幀中的每個(gè)值,由于需要對上述兩幀進(jìn)行相關(guān)性計(jì)算,結(jié)合模糊隸屬度函數(shù)的概念可知,xk中每個(gè)元素需要與對應(yīng)的隸屬度中心計(jì)算得到隸屬度值。所得的隸屬度值即為兩幀的相關(guān)性結(jié)果,xk對的隸屬度越高,則相關(guān)性越高。該算法在確定目標(biāo)中心后,一般選取當(dāng)前中心點(diǎn)構(gòu)造patch,同時(shí)為計(jì)算方便,且不影響精度,M取值通常為patch的數(shù)量。
另一方面,前件映射實(shí)現(xiàn)了KCF算法與TSKFLS的結(jié)合,據(jù)此可進(jìn)一步有效利用TSK-FLS后件參數(shù)。通過前件參數(shù)來計(jì)算所得的后件參數(shù)是性能提升的關(guān)鍵所在,其將原先的高斯核通過后件參數(shù)改為模糊化的核函數(shù)。該模糊核函數(shù)以式(42)的Y為約束項(xiàng)。該約束項(xiàng)應(yīng)充分考慮當(dāng)前幀與模板幀的關(guān)系,為此將Y與上述模糊隸屬度函數(shù)中的數(shù)據(jù)進(jìn)行運(yùn)算,得到最終的結(jié)果。如果對進(jìn)行對應(yīng)的控制可以有效地改進(jìn)跟蹤效果。原算法中由于G(即為,由式(38)可知)中最大響應(yīng)點(diǎn)在其第一行第一列的位置,值為1,其余的點(diǎn)都小于1,經(jīng)過快速傅里葉變換后,其左上角為矩陣中最大的值,而其他位置的值都很相似并且都是很小的(趨近于0)。而本文的算法通過約束項(xiàng)Y對隸屬度矩陣G進(jìn)行處理之后,再對pLS進(jìn)行快速傅里葉變換,矩陣G左上角依舊是峰值,而其他位置的值相對于左上角的值有了更大的差異,即具有了更高的區(qū)分度。同時(shí)通過控制Y值的變化,本文算法比原算法更容易讓峰值,即目標(biāo)中心突出顯示,特別是在劇烈運(yùn)動的跟蹤情況下,這樣的改進(jìn)措施可以更加精確地對目標(biāo)進(jìn)行有效跟蹤。
本節(jié)主要介紹FKCF算法跟蹤的流程。
(1)對視頻幀進(jìn)行循環(huán),對第一幀進(jìn)行預(yù)處理,并且根據(jù)FKCF計(jì)算其自相關(guān)。
(2)計(jì)算出α的值,并更新m_α和模板幀m_x(alpha、model_alpha、model_x即為α、m_α、m_x)。
(3)從第二幀開始,對本幀進(jìn)行預(yù)處理并且運(yùn)用HOG提取特征,再利用TKCF計(jì)算其與模板之間的相關(guān)性。
(4)將(2)中所得的相關(guān)性值pLS與最近更新的m_α進(jìn)行響應(yīng)計(jì)算,得到最大響應(yīng)點(diǎn)即為目標(biāo)中心點(diǎn)。
(5)重復(fù)運(yùn)行(2)、(3)、(4),直到遍歷完所有幀。
FKCF算法的偽代碼如下所示:
輸入:x,訓(xùn)練圖像塊,m×n×c;y,高斯型回歸目標(biāo),m×n;z,測試圖像塊,m×n×c(m×n注釋:m代表圖像塊的長,n代表圖像塊的寬度,c代表圖像塊的通道數(shù))。
Repeat:frame=1,2,…,F(xiàn):
利用式(42)計(jì)算約束項(xiàng)Y。
利用高斯型模糊隸屬度函數(shù)(式(29))計(jì)算后幀與前幀的模糊隸屬度矩陣G。
根據(jù)上述所得,利用式(43)計(jì)算模糊核pLS。
Ifframe>1 then:
利用式(42)計(jì)算約束項(xiàng)Y。
利用高斯型模糊隸屬度函數(shù)(式(29))計(jì)算后幀與前幀的模糊隸屬度矩陣G。
根據(jù)上述所得,利用式(43)計(jì)算模糊核pLS。
根據(jù)m_α與核pLS求出預(yù)測矩陣responses來得到目標(biāo)中心點(diǎn)的值。
利用式(18)計(jì)算出α的值。
利用式(22)、式(23)更新m_α及模板m_x。
輸出:responses中的預(yù)測中心點(diǎn)。
為對本文所提FKCF算法性能進(jìn)行驗(yàn)證,本節(jié)將所提算法與經(jīng)典KCF等四種算法進(jìn)行了實(shí)驗(yàn)比較。實(shí)驗(yàn)采用數(shù)據(jù)集將在4.1.1小節(jié)中進(jìn)行描述,實(shí)驗(yàn)平臺及評價(jià)標(biāo)準(zhǔn)將在4.1.2小節(jié)中進(jìn)行描述。
4.1.1 實(shí)驗(yàn)數(shù)據(jù)集
本文采用了Benchmark[36]中的4個(gè)數(shù)據(jù)集進(jìn)行測試,分別從OTB50、OTB100、OTB2013、OTB2015中隨機(jī)挑選視頻序列進(jìn)行實(shí)驗(yàn)。所選數(shù)據(jù)集中標(biāo)明了屬性,這些屬性描述了跟蹤器在每個(gè)序列中將面臨的挑戰(zhàn)。所選數(shù)據(jù)集間主要區(qū)別為:待跟蹤目標(biāo)在不同場景下經(jīng)歷了多個(gè)不同的屬性變化。所選數(shù)據(jù)集屬性變化均為跟蹤器在實(shí)際應(yīng)用中常見變化,和表中屬性一致。
4.1.2 實(shí)驗(yàn)平臺及評價(jià)標(biāo)準(zhǔn)
實(shí)驗(yàn)平臺:(1)CPU,Intel?CoreTMi7-7700k;(2)主頻,4.20 GHz;(3)內(nèi)存,32 GB;(4)操作系統(tǒng),Win1064位操作系統(tǒng);(5)編程環(huán)境,Matlab(R2016a)。
Table 1 10 attributes tracking accuracy of algorithm on OTB50 data set表1 算法在OTB50數(shù)據(jù)集上的10個(gè)屬性跟蹤精度
評價(jià)指標(biāo):對于性能指標(biāo),評判方法沒有選擇平均位置誤差或者其他平均幀數(shù)的測量方法,而是通過預(yù)測準(zhǔn)確幀數(shù)與總幀數(shù)的比值作為評判標(biāo)準(zhǔn),具體將在下文進(jìn)行說明。
本文將所提FKCF算法與四種經(jīng)典視頻跟蹤算法進(jìn)行了比較,這四種方法分別為基于核方法的KCF[17]和DCF[17],以及經(jīng)典視覺跟蹤算法MOSSE[11]和TLD[13]算法。考慮到方向梯度直方圖(histogram of oriented gradient,HOG)[37]特征提取方法以及高斯核函數(shù)具有較為廣泛的適用性,因此本次實(shí)驗(yàn)中KCF、DCF與FKCF三種算法均采用HOG特征提取方法,核函數(shù)采用高斯核函數(shù)。
本文所提算法與對比算法在4個(gè)數(shù)據(jù)集上針對不同屬性視頻的跟蹤精度如表1~表4所示。跟蹤結(jié)果如圖1所示。跟蹤精度計(jì)算方式為預(yù)測目標(biāo)中心距實(shí)際目標(biāo)中心的偏移量不超過設(shè)定閾值(20個(gè)像素)的幀數(shù)與總幀數(shù)的比值,本文所選閾值依據(jù)文獻(xiàn)[17]設(shè)定。
通過觀察表1~表4,可得如下結(jié)論:
(1)本文所提算法相比其他對比算法在10個(gè)常見屬性上跟蹤精度均有提升。通過平均精度可知,F(xiàn)KCF相比于KCF和DCF算法,平均精度提升了3.76%和2.66%,相比TLD和MOSSE則有大幅度提升,說明該算法具有較好的跟蹤效果。
(2)對比表1、表3和表2、表4可看出,本文所提算法針對OTB50和OTB2013數(shù)據(jù)集提升效果更為明顯,而這兩個(gè)數(shù)據(jù)集中所選取的視頻序列大多數(shù)存在模糊且劇烈運(yùn)動的問題,跟蹤情況較為復(fù)雜,由此可以得出本文所提算法對由上述行為導(dǎo)致的屬性變化有較強(qiáng)的適應(yīng)性。
Table 2 10 attributes tracking accuracy of algorithm on OTB100 data set表2 算法在OTB100數(shù)據(jù)集上的10個(gè)屬性跟蹤精度
Table 3 10 attributes tracking accuracy of algorithm on OTB2013 data set表3 算法在OTB2013數(shù)據(jù)集上的10個(gè)屬性跟蹤精度
Table 4 10 attributes tracking accuracy of algorithm on OTB2015 data set表4 算法在OTB2015數(shù)據(jù)集上的10個(gè)屬性跟蹤精度
Fig.1 Tracking result圖1 跟蹤結(jié)果圖
具體的跟蹤情況將在圖1中展示,其中每幅圖中分別有三種顏色的跟蹤框,代表圖例的三種算法的實(shí)時(shí)跟蹤效果。綠色、紅色、藍(lán)色框分別代表FKCF、KCF、TLD,按橫向排列,1~7源自O(shè)TB50數(shù)據(jù)集,8~14源自O(shè)TB100數(shù)據(jù)集,15~21源自O(shè)TB2013數(shù)據(jù)集,22~28源自O(shè)TB2015數(shù)據(jù)集。為了進(jìn)一步印證上述本文所提算法針對劇烈運(yùn)動場景具有更好的魯棒性,本文在不同屬性上,對每個(gè)算法在不同偏移像素距離下的跟蹤精度進(jìn)行了對比,實(shí)驗(yàn)結(jié)果如圖2~圖11所示。橫坐標(biāo)代表預(yù)測中心與實(shí)際中心偏移的實(shí)際距離;縱坐標(biāo)代表對應(yīng)偏移距離為閾值時(shí)的跟蹤精度,即在當(dāng)前偏移距離下,預(yù)測中心與實(shí)際中心偏差不超過對應(yīng)距離的幀數(shù)與視頻總幀數(shù)的比值;圖上部是對應(yīng)實(shí)驗(yàn)視頻數(shù)量;在圖的右下角給出了對應(yīng)偏移距離的閾值設(shè)為20的平均跟蹤精度。
Fig.2 Background clutter圖2 背景雜亂
Fig.3 Illumination variation圖3 光照變化
Fig.4 Low resolution圖4 低分辨率
觀察實(shí)驗(yàn)結(jié)果圖2~圖11,可得如下結(jié)論:
(1)相比于其他屬性,在背景雜亂、旋轉(zhuǎn)變化、移動模糊、形態(tài)變化、快速移動和規(guī)格變化這幾個(gè)屬性上,本文所提算法所得曲線與對比算法所得曲線間距較大,而這六種屬性與劇烈運(yùn)動程度相關(guān)性較大,因此這在一定程度上表明本文所提算法在面對劇烈運(yùn)動場景時(shí)具有更好的魯棒性。
(2)FKCF相比于經(jīng)典KCF、DCF、TLD、MOSSE算法,在較小的閾值情況下即可達(dá)到較高的跟蹤精度。
(3)FKCF相比于其他對比算法間距較大,其原因主要是相比于TLD、MOSSE算法,本文算法不僅在特征提取方面選用較為先進(jìn)的HOG方法,而且在后期檢測階段引入了相比傳統(tǒng)核方法(KCF、DCF)更有普適性的模糊核方法,從而在處理大多數(shù)視頻時(shí)會產(chǎn)生較對比算法更好的結(jié)果。由于每幅曲線圖中的曲線是根據(jù)多個(gè)視頻實(shí)驗(yàn)得出的,而實(shí)驗(yàn)中的每個(gè)視頻又包含多種屬性場景,本文所提出的算法針對這些場景的精度都有一定的提升,因此在圖2~圖11中,F(xiàn)KCF的曲線與對比算法的曲線有一定的間距。
Fig.5 Occlusion圖5 遮擋變化
Fig.6 Out-of-plane rotation圖6 旋轉(zhuǎn)變化
Fig.7 Out of view圖7 目標(biāo)消失
Fig.8 Motion blur圖8 移動模糊
Fig.9 Deformation圖9 形態(tài)變化
Fig.10 Fast motion圖10 快速運(yùn)動
Fig.11 Scale variation圖11 規(guī)格變化
綜上所述,本文算法相比于其他算法對復(fù)雜環(huán)境下的單目標(biāo)跟蹤擁有更好的適用性。
本文將TSK-FLS的知識與目標(biāo)跟蹤算法KCF良好地結(jié)合起來,提出了一種新的模糊KCF算法FKCF。該算法通過利用TSK-FLS將原先的目標(biāo)函數(shù)進(jìn)行改進(jìn),從而使其與目標(biāo)跟蹤很好地融合在一起,綜合了TSK-FLS映射較穩(wěn)定以及經(jīng)典核相關(guān)濾波器高速的特點(diǎn)。大量的實(shí)驗(yàn)表明,相比于經(jīng)典KCF、DCF、TLD、MOSSE算法,本文所提算法在跟蹤精度上均有較大的提高。但所提算法仍存在一定的不足,如其實(shí)質(zhì)仍是一種高精度高速度的單核目標(biāo)跟蹤算法,引入多核策略讓其具有更強(qiáng)的魯棒性將是下一步研究的目標(biāo)。