劉 磊, 蔡堅(jiān)勇,2,3,4,5, 馬正文, 歐陽(yáng)樂(lè)峰, 李 楠

1(福建師范大學(xué) 光電與信息工程學(xué)院, 福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 福州 350007)

3(福建師范大學(xué) 福建省光子技術(shù)重點(diǎn)實(shí)驗(yàn)室, 福州 350007)

4(福建師范大學(xué) 福建省光電傳感應(yīng)用工程技術(shù)研究中心, 福州 350007)

5(福建師范大學(xué) 智能光電系統(tǒng)工程研究中心, 福州 350007)

引言

在計(jì)算機(jī)視覺(jué)領(lǐng)域,目標(biāo)跟蹤是一個(gè)有趣且有意義的課題. 其在社會(huì)中廣泛應(yīng)用于金融, 交通, 人機(jī)交互等領(lǐng)域. 從目標(biāo)跟蹤問(wèn)題提出到現(xiàn)在已經(jīng)有一段時(shí)間了, 大量科研工作者對(duì)這一方向進(jìn)行了不懈的努力研究, 提出了許多優(yōu)秀的算法. 視頻目標(biāo)跟蹤面臨的挑戰(zhàn)主要有光照變化、尺度變化、目標(biāo)遮擋等.

近年來(lái), 相關(guān)濾波運(yùn)用到目標(biāo)跟蹤領(lǐng)域取得了相當(dāng)不錯(cuò)的效果. 2010年Bolme等人在文獻(xiàn)[1]中首次將相關(guān)濾波方法引入到目標(biāo)跟蹤領(lǐng)域, 提出了最小誤差輸出平方和(Minimum Output Summer of Squared Error, MOSSE). 作者借助于快速離散傅里葉變換, 運(yùn)用相關(guān)濾波將時(shí)域上的卷積轉(zhuǎn)換為頻域上的點(diǎn)積, 大大的減少了運(yùn)算量. 同時(shí)論文所提方法跟蹤效果也有669幀每秒的出色表現(xiàn). 由于其在跟蹤上面展現(xiàn)出的優(yōu)秀結(jié)果, 此后基于此算法改進(jìn)算法相繼提出, 最具有代表性的是循環(huán)結(jié)構(gòu)跟蹤(Circulant Structure Kernel,CSK)[2]方法. 該方法首次在跟蹤中提出了密集抽樣, 使得訓(xùn)練出來(lái)的濾波器更加的魯棒和精確. 2014年Henriques等人在文獻(xiàn)[3]提出核相關(guān)濾波跟蹤算法(Kernelized Correlation Filter, KCF), 該方法在CSK的基礎(chǔ)上用方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征代替了原算法中僅僅使用的像素灰度值特征, 從而提高了跟蹤的準(zhǔn)確性. Danelljan在論文[4]中在CSK的基礎(chǔ)上引入了顏色特征(CN), 增強(qiáng)了視頻跟蹤的魯棒性, 在速度方面也取得了不錯(cuò)的效果. 對(duì)于相關(guān)濾波在目標(biāo)尺度變化不敏感的問(wèn)題上,Danelljan在DSST[5]中增加了一個(gè)專門用于尺度評(píng)估的相關(guān)濾波器, 該方法對(duì)目標(biāo)跟蹤中尺度變化有較好的處理效果.

本文在核相關(guān)濾波(KCF)的基礎(chǔ)上提出一種基于遮擋檢測(cè)的自適應(yīng)尺度變換相關(guān)濾波(OSCF)算法. 本算法在特征提取算法上使用方向梯度直方圖(HOG)和原有圖像的灰度信息. 針對(duì)遮擋問(wèn)題提出一種基于相關(guān)濾波的檢測(cè)機(jī)制. 首先我們將當(dāng)前幀的目標(biāo)分為四個(gè)小塊, 并由此對(duì)每一塊訓(xùn)練新的分類器. 然后分別計(jì)算每一塊響應(yīng)圖的PSR值. 然后根據(jù)PSR值判斷目標(biāo)的遮擋情況并取得PSR值最大值那一塊的峰值響應(yīng)位置. 最后根據(jù)所處中心位置, 提出一種尺度計(jì)算策略, 實(shí)現(xiàn)尺度自適應(yīng)更新.

1 核相關(guān)濾波(KCF)

本文是以核相關(guān)濾波(KCF)為基礎(chǔ)架構(gòu)的.KCF跟蹤器以目標(biāo)為中心, 選取目標(biāo)及其周圍一定范圍內(nèi)矩形圖像塊x來(lái)訓(xùn)練線性分類器, 假設(shè)選取補(bǔ)丁圖像的尺度大小為M×N. 令M×N等價(jià)于βw×βh, 其中w×h為 跟蹤目標(biāo)的尺寸, β是目標(biāo)窗口系數(shù). KCF跟蹤考慮所有的循環(huán)移位xm,n, (m,n)∈{0,···M-1}×{0,···N-1},用來(lái)作為分類器的訓(xùn)練樣本, 每個(gè)樣本對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)y(m,n)服從二維高斯分布.

訓(xùn)練分類器的目標(biāo)是尋找一個(gè)函數(shù)f(x)=〈w,φ(x)〉使得所有的xm,n和其對(duì)應(yīng)的標(biāo)簽函數(shù)平方誤差最小, 分類器訓(xùn)練即為:

式中, 〈 · ,·〉表示內(nèi)積;w為分類器的系數(shù);?為核κ 的映射希爾伯特空間, 引入核技巧后,x和x′的內(nèi)積可以寫(xiě)成〈φ(x),φ(x′)〉= κ(x,x′);λ是一個(gè)大于零的常量, 為正則化參數(shù), 其作用是防止函數(shù)過(guò)擬合.

采用核函數(shù)將線性輸入問(wèn)題映射到非線性特征空間φ (x), 目標(biāo)函數(shù)被最小化為:

其中, 系數(shù)α 可以定義為:

在式(3)中F表示傅里葉變換(Discrete Fourier Transform, DFT);Y=F(y);Kx=F(kx);kx(m,n)=κ(xm,n,x)為核 κ 的輸出.

跟蹤過(guò)程就是在下一幀中用 βw×βh的窗口來(lái)搜索一個(gè)圖像補(bǔ)丁z, 計(jì)算響應(yīng)值:其中,F-1表示傅里葉變換求逆;表示所學(xué)得的外觀模型系數(shù);⊙表示哈達(dá)瑪積;x?表示學(xué)習(xí)得到的目標(biāo)外觀模板.

在找到當(dāng)前幀t的位置后, 整個(gè)模型可以一幀一幀的進(jìn)行更新:

2 遮擋檢測(cè)

KCF跟蹤目標(biāo)的原理是把當(dāng)前幀與濾波模板相互作用后得到的響應(yīng)最大的地方作為目標(biāo)位置. 其在響應(yīng)圖的響應(yīng)峰值強(qiáng)度一般使(Peak-to-Sidelobe Ratio,PSR)[6]來(lái)衡量. PSR的定義為式(6)

式中,gmax表示濾波響應(yīng)的峰值, μ表示響應(yīng)值旁瓣的平均值, σ表示響應(yīng)值旁瓣的標(biāo)準(zhǔn)差, 濾波響應(yīng)值即為式(4)中所得的響應(yīng)矩陣的元素值.

在跟蹤中, 我們令第t–1幀的目標(biāo)中心位置為pt-1(第一幀一般由手動(dòng)設(shè)定). 其中假設(shè)目標(biāo)的尺度為wt-1×ht-1像素. 由上文所述, 在第t–1幀中以目標(biāo)中心點(diǎn)選取尺度大小為βwt-1×βht-1像素的圖像補(bǔ)丁zt-1. 不同于文獻(xiàn)[3],我們建議對(duì)于所有的補(bǔ)丁圖進(jìn)行調(diào)整, 然后再使用式(5)對(duì)目標(biāo)的外觀x? 和分類系數(shù)A?進(jìn)行學(xué)習(xí)更新. 我們令目標(biāo)中心點(diǎn)pt-1坐標(biāo)為(0, 0), 然后以pt-1為中心將zt-1平分為四塊小的矩形補(bǔ)丁, 同時(shí)令它們的中心位置坐標(biāo)分別為 (w1(t-1),h1(t-1))～(w4(t-1),h4(t-1)). 將每一塊圖像塊運(yùn)用式(1)進(jìn)行新分類器的訓(xùn)練, 所以總共就有4種不同的分類器, 它們的外觀模型以及模型系數(shù)通過(guò)式(5)進(jìn)行更新.

在第t幀中, 我們?cè)趐t-1目標(biāo)的位置選取一個(gè)尺度為βwt-1×βht-1的候選圖像塊zt0, 然后通過(guò)式(4)計(jì)算出最優(yōu)輸出. 在第t幀跟蹤目標(biāo)所在位置pt即為響應(yīng)值最高處. 接著我們?cè)趐t周圍選取一個(gè)尺度為wt-1×ht-1像素的圖像塊zt1, 同時(shí)pt為中心以建立坐標(biāo)系統(tǒng)將矩形圖像塊分為四塊. 通過(guò)式(4)可以可以求出每一個(gè)圖像塊的置信圖yi,i∈ [1,4], 并通過(guò)最高響應(yīng)點(diǎn)的位置判斷圖像塊的中心位置, 即 (w1(t),h1(t))～(w4(t),h4(t)). 通過(guò)式(6)分別可以算出每個(gè)圖像塊的峰值響應(yīng)強(qiáng)度PSRi.

本文使用PSR的值作為衡量跟蹤目標(biāo)塊和候選圖像塊的相似程度的一個(gè)標(biāo)準(zhǔn), 同時(shí)定義了一個(gè)更新權(quán)重δi:

τ為臨界閾值, 在圖1中可以看到當(dāng)PSR值低于7.3時(shí), 目標(biāo)塊被嚴(yán)重遮擋, 此時(shí)其位置確定是不可靠的.

圖1 遮擋檢測(cè)與尺度變換流程圖

3 尺度計(jì)算

在得到4個(gè)分塊響應(yīng)圖的最大響應(yīng)位置后, 計(jì)算每個(gè)分塊的PSR值. 尺度變化率γt可以表示為:

其中, (wi(t),hi(t))表示第t幀四塊響應(yīng)圖中最大PSR值所在塊的最大響應(yīng)位置 (wj(t-1),hj(t-1))這里表示第t–1幀中四塊響應(yīng)圖中最大PSR值所在塊最大響應(yīng)位置, 其中對(duì)于初始幀用每塊的中心位置表示最大響應(yīng)位置.

第t幀的目標(biāo)wt×ht可以表示為:

最終, 在第t幀在以pt為中心提取的圖像塊zt的尺度為 βwt× βht. 通過(guò)學(xué)習(xí)得到的外觀模型t和學(xué)習(xí)到的分類系數(shù)t可以通過(guò)如下式子進(jìn)行更

4 算法實(shí)現(xiàn)

本節(jié)對(duì)算法實(shí)現(xiàn)步驟進(jìn)行展示, 主要分為參數(shù)初始化、目標(biāo)定位、遮擋檢測(cè)、尺度計(jì)算、模板更新五部分. 算法流程如圖2所示.

圖2 OSCF算法流程

5 實(shí)驗(yàn)結(jié)果分析

5.1 評(píng)判標(biāo)準(zhǔn)

為了評(píng)估本文算法在跟蹤目標(biāo)方面的性能, 本文選取了8段公開(kāi)的視頻, 視頻包含了光照變化, 目標(biāo)遮擋, 尺度變化, 目標(biāo)旋轉(zhuǎn)等問(wèn)題. 使用文獻(xiàn)[7]中評(píng)估標(biāo)準(zhǔn), 即距離精度(Distance Precision, DP)、成功率(Success Rate, SR)和中心位置誤差(Centre Location Error, CLE). 精確度是指跟蹤目標(biāo)的中心坐標(biāo)與人工標(biāo)定的準(zhǔn)確值間的歐式距離小于某個(gè)閾值的幀數(shù)占全部視頻幀數(shù)的百分比, 閾值越低時(shí)精確度越高, 則跟蹤效果就越好. 成功率是指包圍跟蹤目標(biāo)的邊框區(qū)域與人工標(biāo)定的準(zhǔn)確值間的重疊率大于某個(gè)閾值的幀數(shù)占全部視頻幀數(shù)的百分比. 當(dāng)閾值越高時(shí)成功率越高, 則跟蹤效果越好.

5.2 參數(shù)設(shè)定

在PC機(jī)上(Windows 10系統(tǒng), Inter Core i7-6700,3.40 GHz, 4 G內(nèi)存)上基于Matlab 2013b完成實(shí)驗(yàn). 對(duì)于每一幀圖像, 在選取圖像塊z時(shí)擴(kuò)展系數(shù) β =2, 圖像塊z均放縮到128×128像素,目標(biāo)大小即為64×64像素, 每個(gè)子塊的大小為32×32像素;在分類器訓(xùn)練過(guò)程中:正則化參數(shù) λ =10-2, 核函數(shù)選擇高斯核函數(shù), σ =0.2;模板更 新過(guò)程中學(xué)習(xí) 率η=0.065;移動(dòng)的平均參數(shù)T=2;目標(biāo)圖像標(biāo)簽函數(shù)參數(shù)θ=0.185, 子塊圖像標(biāo)簽函數(shù)參數(shù)θ′=0.25.

5.3 算法對(duì)比

為了評(píng)估算法的有效性以及對(duì)比算法性能, 本文選取了近年來(lái)出現(xiàn)的幾種高效的跟蹤方法DSST,KCF, TLD, CSK. 表1列出了本文所提算法OSCF與其他幾種算法的性能對(duì)比, 性能指標(biāo)為中心位置誤差,距離精度, 成功率精度和跟蹤的平均速度四個(gè)方面. 由表1可以看出, OSCF算法的成功率和距離精度相比其它四中算法都有所提高. 在成功率方面OSCF算法分別提升了1.9%, 30%, 6.7%, 70.1%;在距離精度方面分別提升了0.4%, 10.8%, 21.5%,71.1%. 所達(dá)到的跟蹤平均速度為76.8幀/每秒,可以達(dá)到實(shí)時(shí)性的要求.

表1 OSCF算法和其他算法性能對(duì)比

圖3和圖4分別表示本文算法的距離精度曲線和成功率精度曲線, 圖中紅色實(shí)線表示本文所提算法, 從兩圖中可以看出本文算法OSCF在目標(biāo)跟蹤方面相較其他算法都要優(yōu)秀.

圖3 距離精度曲線

圖4 成功率曲線

圖5列舉了OSCF, DSST和KCF三種算法在其中八段視頻中目標(biāo)跟蹤效果圖, 每段視頻抽取具有代表性的兩幀. 其中視頻的共性在于他們都具有尺度變化問(wèn)題, 另外在視頻2和視頻8中還含有目標(biāo)遮擋問(wèn)題, 視頻4中視頻還有光照變化問(wèn)題, 視頻5中含有目標(biāo)旋轉(zhuǎn)問(wèn)題, 視頻6中含有目標(biāo)快速移動(dòng)等問(wèn)題. 圖中紅色實(shí)線表示的是本文所提算法OSCF, 藍(lán)色虛線和綠色虛線分別表示的是DSST算法和KCF算法. 從視頻圖片幀可以看出, 本文算法OSCF在處理光照變化, 目標(biāo)旋轉(zhuǎn),目標(biāo)快速運(yùn)動(dòng)等問(wèn)題有效處理的同時(shí), 對(duì)目標(biāo)遮擋和目標(biāo)尺度變化等問(wèn)題也達(dá)到了較好的跟蹤效果,特別是尺度變換方面算法做到了較好的處理.

圖5 不同方法跟蹤效果圖

6 結(jié)語(yǔ)

本文在KCF的基礎(chǔ)上引入分塊的思想, 提出一種遮擋檢測(cè)機(jī)制, 對(duì)分塊PSR值的研究分析, 得出目標(biāo)的遮擋程度, 在此基礎(chǔ)上提出一種自適應(yīng)的尺度處理方法, 在一定程度上解決了相關(guān)濾波對(duì)于尺度不敏感的問(wèn)題. 實(shí)驗(yàn)仿真結(jié)果表明OSCF算法跟蹤性能要優(yōu)于其他算法, 能夠?qū)崿F(xiàn)實(shí)時(shí)跟蹤, 在處理尺度變換的同時(shí),對(duì)于日常跟蹤中遇到的遮擋、光照、形變等問(wèn)題也具有一定的魯棒性. 同時(shí)發(fā)現(xiàn)本算法存在的一定的缺陷:(1)當(dāng)遇到目標(biāo)快速運(yùn)動(dòng), 大幅度的形變時(shí)會(huì)出現(xiàn)漂移甚至丟失的問(wèn)題;(2)當(dāng)目標(biāo)漂移或丟失時(shí)跟蹤無(wú)法重新偵測(cè)直至視頻結(jié)束. 下一步研究的方向是, 在研究處理目標(biāo)尺度的同時(shí)也要考慮跟蹤的魯棒性, 做到長(zhǎng)時(shí)跟蹤.