周正松, 陳虹君， 周 紅

(四川大學(xué)錦城學(xué)院, 成都611731)

1 引 言

近些年，針對(duì)特定目標(biāo)的跟蹤方法受到不少學(xué)者的關(guān)注和深入研究[1-3]，而在實(shí)際應(yīng)用中，仍然會(huì)遇到不少問題，如目標(biāo)受到的光照、姿態(tài)、遮擋和背景復(fù)雜等情況.近幾年，基于判決模型的目標(biāo)跟蹤算法取得了較好的效果，該類算法的基本思想是把目標(biāo)跟蹤問題看作是目標(biāo)與背景進(jìn)行分類的問題.該類算法通過對(duì)大量的目標(biāo)和背景樣本進(jìn)行分類學(xué)習(xí)，再通過分類器對(duì)當(dāng)前輸入圖像進(jìn)行分類，找出目標(biāo)，其中很典型的算法就是核相關(guān)濾波(KCF，Kernelized Correlation Filters)目標(biāo)跟蹤算法[4-8].

2014年，Henriques等人提出了一種非常有效的運(yùn)動(dòng)目標(biāo)跟蹤算法，即KCF算法[4]，該算法是一種判別式跟蹤，通過訓(xùn)練樣本去訓(xùn)練出一個(gè)判別分類器，從而能夠快速的判斷跟蹤到的是目標(biāo)還是背景，該算法使用循環(huán)矩陣對(duì)樣本進(jìn)行采集，用嶺回歸訓(xùn)練判別分類器，并利用循環(huán)矩陣在變換域的對(duì)角化性質(zhì)，將復(fù)雜的矩陣運(yùn)算轉(zhuǎn)化為簡(jiǎn)單的向量運(yùn)算，即元素之間的乘積，從而簡(jiǎn)化了計(jì)算，提高了運(yùn)算效率，使得算法滿足應(yīng)用的實(shí)時(shí)性要求.然而,KCF算法也存在一些不足，如提取外觀特征單一，不能自適應(yīng)尺度變化和模型更新因子，因此，本文對(duì)其理論進(jìn)行了詳細(xì)的推導(dǎo)，并針對(duì)KCF算法的不足進(jìn)行了改進(jìn).

2 KCF算法理論

2.1 一維嶺回歸

設(shè)訓(xùn)練樣本集(xi,yi),其中，xi為樣本，yi為樣本標(biāo)簽，其回歸表達(dá)式為f(xi)=wTxi,列向量w是樣本xi的權(quán)重系數(shù)，可通過最小二乘法求解

(1)

其中，λ是正則化參數(shù)，也稱為嶺系數(shù)，用于控制系統(tǒng)的結(jié)構(gòu)復(fù)雜性以保證分類器的泛化性能.將式(1)寫成矩陣形式為

g(w)=‖Xw-y‖2+λ‖w‖2

(2)

w=(XTX+λI)-1XTy

(3)

由于后面將進(jìn)行傅里葉矩陣變換，牽涉到復(fù)數(shù)矩陣，所以將式(3)擴(kuò)展到復(fù)數(shù)域中的形式為

w=(XHX+λI)-1XTy

(4)

其中，XH表示復(fù)共軛轉(zhuǎn)置矩陣.

2.2 循環(huán)矩陣

KCF算法中所有的訓(xùn)練樣本都是由目標(biāo)樣本循環(huán)移位得到的，向量的循環(huán)可由排列矩陣得到，如一維向量初始排列為：x=[x1,x2, …,xn]T,排列矩陣為

它的一次循環(huán)移位為

Px=[xn,xn-1, … ,x1]T.

對(duì)于二維矩陣圖像，可以看成是在兩個(gè)維度方向分別對(duì)目標(biāo)樣本進(jìn)行循環(huán)移位得到的. 如：

二維圖像初始排列為

排列矩陣為

則移位后為

從而對(duì)于一個(gè)n維向量，可經(jīng)過與排列矩陣進(jìn)行不同次數(shù)的乘積，產(chǎn)生n個(gè)不同次數(shù)的移位向量，把它們按列排列構(gòu)成一個(gè)矩陣，就得到了由x所產(chǎn)生的循環(huán)矩陣，記為C(x).

圖1 一維向量得到的循環(huán)矩陣Fig.1 Cyclic matrix from one-dimensional vector

圖2 二維圖像不同循環(huán)次數(shù)后的移位Fig.2 Shift of two-dimensional image after different cycles

2.3 循環(huán)矩陣傅氏空間對(duì)角化

循環(huán)矩陣X可在傅氏空間中使用離散傅里葉矩陣進(jìn)行對(duì)角化，如下式.

(5)

(6)

2.4 傅氏對(duì)角化簡(jiǎn)化的嶺回歸

w=(XHX+λI)-1XTy

(7)

(8)

由于對(duì)角矩陣求逆等于對(duì)角元素求逆，則化簡(jiǎn)得

(9)

其中,·表示點(diǎn)乘，即對(duì)應(yīng)元素相乘；分?jǐn)?shù)線表示點(diǎn)除，即對(duì)應(yīng)元素相除.

因?yàn)檠h(huán)矩陣乘向量等價(jià)于生成向量的逆序和該向量作卷積，又可進(jìn)一步轉(zhuǎn)化為傅里葉變換相乘.即

(10)

(11)

于是

(12)

(13)

因此，就可以使用向量的點(diǎn)乘、點(diǎn)除運(yùn)算取代矩陣運(yùn)算，特別是求逆運(yùn)算，大大地提高了計(jì)算速度.

2.5 分類器更新

跟蹤目標(biāo)時(shí)，由于目標(biāo)的旋轉(zhuǎn)、姿態(tài)變化甚至遮擋等原因，常常會(huì)改變目標(biāo)的外觀.因此，需要在每幀跟蹤后立即更新分類器的系數(shù)a和目標(biāo)外觀模型x.更新公式為

(14)

其中，η為的更新率.

3 基于多特征融合的尺度自適應(yīng)核相關(guān)濾波(MFSA_KCF)目標(biāo)跟蹤算法

在惡劣天氣(如霧、雨等)條件下，運(yùn)動(dòng)物體(飛機(jī)、汽車等)與機(jī)場(chǎng)地面的背景幾乎沒有區(qū)別.只有利用方向梯度直方圖(HOG，Histogram of Oriented Gradient)的特征來區(qū)分它們，很難取得好的效果.同一運(yùn)動(dòng)目標(biāo)在不同(方位、距離等)視角下，其尺度也有很大差異，KCF不能滿足自適應(yīng)尺度變化的要求.運(yùn)動(dòng)目標(biāo)也可能被部分遮擋，這就要求模型更新因子發(fā)生變化，否則會(huì)導(dǎo)致錯(cuò)誤信息的學(xué)習(xí)和較大的錯(cuò)誤.

為了解決上面可能遇到的問題，本文在KCF算法的基礎(chǔ)上，提出了一種更有效的MFSA_KCF算法.為了更好地區(qū)分運(yùn)動(dòng)目標(biāo)和背景，除了HOG特征外，還提取了區(qū)分性的色彩描述子(DD，Discriminative Color Descriptor)特征[9]；為了解決運(yùn)動(dòng)目標(biāo)的尺度變化和局部遮擋問題，分別采用了自適應(yīng)尺度變化和自適應(yīng)模型更新方法.通過采用多種方法進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文提出的MFSA_KCF算法的有效性.

3.1 多特征融合

KCF算法只采用單一HOG[10]特征，由于單一特征所提取的外觀模型往往不具有很好的區(qū)分性，當(dāng)目標(biāo)發(fā)生較大形變或出現(xiàn)遮擋時(shí)不能很好地表征目標(biāo)外觀模型，容易導(dǎo)致跟蹤漂移.顏色特征已經(jīng)成功地應(yīng)用在很多計(jì)算機(jī)領(lǐng)域，區(qū)分性的色彩描述子(DD)是khan在2013年提出的一種緊湊、高效的顏色特征，他們根據(jù)分類問題中的區(qū)分能力，將信息理論方法用于顏色描述和聚集顏色值.本文將聯(lián)合HOG特征和DD特征來共同表征目標(biāo)外觀模型，其中HOG特征能很好地提取局部梯度特征和邊緣特征，捕捉運(yùn)動(dòng)目標(biāo)的局部輪廓信息，對(duì)光照變化有很好的適應(yīng)性，DD特征能很好的提取全局顏色特征，對(duì)目標(biāo)的旋轉(zhuǎn)變化有很好的適應(yīng)性.

提取HOG特征的主要步驟如下.

(1) 標(biāo)準(zhǔn)化顏色空間和Gamma空間.先把彩色圖像轉(zhuǎn)化成灰度圖，再用平方根Gamma矯正，Gamma壓縮公式為：I(x,y)=I(x,y)Gamma，其中，Gamma取為1/2.

(2) 計(jì)算圖像梯度.在經(jīng)過顏色空間歸一化后的圖像中，先在水平和垂直方向?qū)γ總€(gè)像素點(diǎn)的梯度進(jìn)行計(jì)算，再對(duì)該像素點(diǎn)的梯度大小和方向進(jìn)行計(jì)算.若訓(xùn)練樣本為三通道的彩色圖像，可以先分別計(jì)算這個(gè)像素點(diǎn)在R，G，B三個(gè)獨(dú)立通道的梯度大小和方向，再選取其中梯度幅值最大的通道作為該像素點(diǎn)的值.

(3) 計(jì)算每個(gè)cell的HOG特征.在得到每個(gè)像素點(diǎn)的梯度大小和方向后，就可以計(jì)算每個(gè)cell的HOG特征.

(4) 計(jì)算每個(gè)block的HOG特征.將多個(gè)cell的特征向量進(jìn)行串聯(lián)就可以得到block的特征向量.

(5) 計(jì)算圖像的HOG特征向量.提取圖像中每個(gè)block窗口內(nèi)的HOG特征，然后將這些HOG特征進(jìn)行串聯(lián)就得到整個(gè)圖像的HOG特征向量.

提取DD特征的主要步驟如下.

(1) 輸入信息：RGB圖像image，映射矩陣Mat.

(2) 計(jì)算圖像image在像素坐標(biāo)(x,y)處的 DD特征索引值index.

(3) 根據(jù)步驟(2)中計(jì)算得到的像素點(diǎn)坐標(biāo)(x,y)的索引值index，在映射矩陣中找到其對(duì)應(yīng)的列，獲得對(duì)應(yīng)的行向量Mat(:,index)，則該行向量即為該像素的DD特征向量.

(4) 輸出信息：由步驟(3)中計(jì)算得到的RGB圖像image中每個(gè)像素的DD特征向量，再由這些特征向量組成該圖像的DD特征向量.

在提取到HOG特征和DD特征后，就可得到高維的融合特征，并將其作為相關(guān)濾波的輸入.

3.2 自適應(yīng)度更新

跟蹤運(yùn)動(dòng)目標(biāo)時(shí)，對(duì)同一運(yùn)動(dòng)目標(biāo)的不同視角，其尺度變化很大，KCF不能滿足自適應(yīng)尺度變化的要求，這將導(dǎo)致較大的目標(biāo)跟蹤誤差.本文采用基于Shi-Tomasi角點(diǎn)特征檢測(cè)的自適應(yīng)尺度方法.具體步驟如下.

3.3 外觀模型實(shí)時(shí)更新

在運(yùn)動(dòng)過程中，由于姿態(tài)或遮擋的變化，目標(biāo)的外觀往往會(huì)發(fā)生變化，這對(duì)實(shí)時(shí)更新運(yùn)動(dòng)目標(biāo)的外觀模型是非常必要的，因此需要實(shí)時(shí)采集運(yùn)動(dòng)目標(biāo)的訓(xùn)練樣本.然而，當(dāng)運(yùn)動(dòng)目標(biāo)被嚴(yán)重遮擋時(shí)，錯(cuò)誤的目標(biāo)訓(xùn)練樣本會(huì)導(dǎo)致錯(cuò)誤的目標(biāo)分類結(jié)果，進(jìn)而導(dǎo)致目標(biāo)丟失.現(xiàn)有的經(jīng)典跟蹤算法大多采用常數(shù)學(xué)習(xí)率，難以應(yīng)用于物體外觀模型的快速變化，尤其是難以處理嚴(yán)重遮擋的情況.為了解決這些問題，本文提出了一種新的外觀模型實(shí)時(shí)更新方法.具體為：

記fmax(z)為運(yùn)動(dòng)目標(biāo)的最大匹配數(shù)，如果fmax(z)超過一定的閾值thr，則認(rèn)為運(yùn)動(dòng)目標(biāo)不存在嚴(yán)重遮擋或姿態(tài)變化等情況，更新率不變；如果fmax(z)沒有達(dá)到thr，則判斷有無出現(xiàn)遮擋情況，如果無遮擋，則提高更新率，如果有遮擋，則保持原來的外觀模型，并將學(xué)習(xí)率減小為0.用公式表示即為：

(15)

確定目標(biāo)遮擋的具體方法是：若目標(biāo)的最大匹配數(shù)fmax(z)超過閾值thr，則認(rèn)為無遮擋；若fmax(z)沒有達(dá)到thr，則懷疑存在遮擋，如果存在遮擋，則可信特征點(diǎn)的數(shù)目M會(huì)減小，可以用M與上一幀中可靠的角點(diǎn)特征N的比值來判定當(dāng)前目標(biāo)是否真的出現(xiàn)遮擋， 具體表示為：

(16)

也就是說，λ=1認(rèn)為真出現(xiàn)遮擋，λ= 0認(rèn)為沒有出現(xiàn)遮擋；θ稱為遮擋閾值，通過實(shí)驗(yàn)反復(fù)驗(yàn)證，取θ=0.4時(shí)判定遮擋效果較好.

4 實(shí)驗(yàn)測(cè)試結(jié)果與分析

為了對(duì)所提出的運(yùn)動(dòng)目標(biāo)跟蹤算法的有效性進(jìn)行驗(yàn)證，在CVPR2013上的Object Tracking Benchmark(OTB)[11]中選取5段復(fù)雜環(huán)境下的視頻序列，同時(shí)選取5段來自某機(jī)場(chǎng)場(chǎng)面的視頻段，對(duì)這10段視頻序列(見表1)進(jìn)行測(cè)試.由于特定目標(biāo)跟蹤需要手動(dòng)指定第一幀中的待跟蹤目標(biāo)矩形框的位置，對(duì)于機(jī)場(chǎng)視頻，在第一幀中手動(dòng)標(biāo)記出目標(biāo)初始位置矩形框，對(duì)于標(biāo)準(zhǔn)庫(kù)采用數(shù)據(jù)集本身提供的初始目標(biāo)位置矩形框，在對(duì)比實(shí)驗(yàn)中，將本文提出的目標(biāo)跟蹤算法與經(jīng)典的目標(biāo)跟蹤算法CSK、KCF、DSST[12]和sKCF[13]的跟蹤結(jié)果作多角度對(duì)比，其中CSK是經(jīng)典的核相關(guān)濾波目標(biāo)跟蹤算法，KCF是融合了多通道HOG特征的CSK，且提高了算法運(yùn)算速度，DSST是增加了尺度濾波器的KCF，sKCF是增加了自適應(yīng)高斯窗口函數(shù)和尺度估計(jì)的KCF，且提高了算法運(yùn)算速度.

本文將上述各個(gè)算法在以上十段視頻序列中進(jìn)行實(shí)驗(yàn)測(cè)試，并進(jìn)行定量分析.

為了分析各個(gè)算法的性能，本文采用中心位置誤差(CLE)、距離精度(DP)和重疊成功率(OS)來定量分析跟蹤的結(jié)果.其中：CLE是目標(biāo)跟蹤中心到目標(biāo)真實(shí)中心的距離，CLE越小，跟蹤精度越高；DP是CLE未達(dá)到一定閾值的幀的比例，DP越大，跟蹤效果越好；OS是跟蹤目標(biāo)和真實(shí)目標(biāo)重疊區(qū)域面積與跟蹤目標(biāo)和真實(shí)目標(biāo)合并區(qū)域面積的比值超過一定閾值時(shí)的幀的比例，OS越大，跟蹤效果越好.

表1 實(shí)驗(yàn)測(cè)試視頻

表2 中心位置誤差(單位：像素)

由表2可知，CSK算法跟蹤的平均中心誤差最大，其誤差為26.99，KCF算法、DSST算法和sKCF算法的誤差分別為16.97、13.32和14.22，本文算法的平均中心誤差為9.42，較KCF算法、DSST算法和sKCF算法分別下降了46.0%、29.3%和33.76%.

表3為中心位置誤差閾值為20時(shí)的距離精度，可知CSK算法的距離精度較低，KCF算法、DSST算法和sKCF算法的距離精度要好于CSK算法，本文算法的距離精度要明顯高于其他三種算法.

表3 距離精度

表4 重疊成功率

表4為重疊率閾值為0.5時(shí)的重疊成功率.可知，KCF算法的重疊成功率要比CSK算法好，因?yàn)镃SK算法只采用了灰度特征，KCF算法采用了多通道HOG特征.DSST算法和sKCF算法在KCF算法的基礎(chǔ)上增加了尺度自適應(yīng)策略，從表中可以看出DSST算法和sKCF算法的重疊成功率要好于KCF算法.本文提出的算法相較DSST算法和sKCF算法分別提高了6.8%和8.4%.

最后，給出各個(gè)跟蹤算法在十段測(cè)試視頻中的精度曲線圖和成功率曲線圖.其中，精度曲線圖的距離精度閾值范圍為0～50，成功率曲線圖的重疊閾值范圍為0～1.

圖3 精度曲線圖Fig.3 Accuracy curve

圖4 成功率曲線圖Fig.4 Success rate curve

由圖3中的精度曲線圖可知，在不同距離精度閾值下，本文提出的MFSA_KCF算法的精度要高于其它對(duì)比算法.由圖4中的成功率曲線圖可也知，在不同重疊閾值下，MFSA_KCF算法的成功率也要高于其它對(duì)比算法.

5 結(jié) 論

通過對(duì)比實(shí)驗(yàn)表明，相較于常見的目標(biāo)跟蹤算法，本文提出的基于多特征融合、尺度自適應(yīng)以及在線模型更新因子的核相關(guān)濾波目標(biāo)跟蹤算法，跟蹤精度更高，且對(duì)目標(biāo)尺度發(fā)生較大變化和遮擋情況下的跟蹤具有較強(qiáng)的魯棒性.