王莉君,唐 騫,李 鵬

(1. 成都信息工程大學(xué)軟件工程學(xué)院,四川 成都 610225;2. 電子科技大學(xué)成都學(xué)院,四川 成都 610051)

1 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域研究的熱點(diǎn)內(nèi)容之一,在人類(lèi)的生產(chǎn)生活中得到十分廣泛的應(yīng)用。尤其是最近幾年,在簡(jiǎn)單場(chǎng)景目標(biāo)跟蹤過(guò)程中也取得了比較顯著的研究成果[1,2],但是由于經(jīng)常會(huì)存在多目標(biāo)同時(shí)出現(xiàn)或者物體遮擋等情況,想要獲取魯棒性較好的目標(biāo)跟蹤算法是十分困難的。而且大部分人工選取的特征需要通過(guò)不同的數(shù)據(jù)和任務(wù)進(jìn)行設(shè)計(jì),不僅需要專(zhuān)業(yè)領(lǐng)域的知識(shí),獲取的效果也不是十分滿(mǎn)意。

為了有效解決上述問(wèn)題,國(guó)內(nèi)相關(guān)專(zhuān)家給出了一些較好的研究成果,例如陳富健等人[3]對(duì)網(wǎng)絡(luò)輸出置信圖的峰值以及連通域的變化規(guī)律進(jìn)行分析,同時(shí)設(shè)定不同的跟蹤模式,通過(guò)不同的跟蹤模式選擇不同的跟蹤策略。把萍等人[4]通過(guò)字典提取局部圖像塊的稀疏系數(shù),采用貝葉斯分類(lèi)器對(duì)目標(biāo)進(jìn)行背景和目標(biāo)分類(lèi),通過(guò)兩步搜索策略實(shí)現(xiàn)目標(biāo)實(shí)時(shí)跟蹤。在以上兩種方法的基礎(chǔ)上,提出一種多物體遮擋下基于深度學(xué)習(xí)的目標(biāo)跟蹤方法。經(jīng)實(shí)驗(yàn)測(cè)試證明,所提方法可以有效提升目標(biāo)跟蹤精度,同時(shí)還可以以更高的成功率進(jìn)行目標(biāo)跟蹤,獲取滿(mǎn)意的目標(biāo)跟蹤結(jié)果。

2 目標(biāo)跟蹤方法

2.1 目標(biāo)圖像去噪處理

在進(jìn)行主成分分析的過(guò)程中,需要優(yōu)先進(jìn)行概率統(tǒng)計(jì)。設(shè)定m維隨機(jī)變量為am,則隨機(jī)變量對(duì)應(yīng)的樣本平均值可以表示為

(1)

式中,β(i,j)代表隨機(jī)變量的樣本平均值;a(i,j)代表隨機(jī)變量的樣本總數(shù)。

主成分分析法主要求解出主成分[5,6],即對(duì)數(shù)據(jù)進(jìn)行降維處理,目標(biāo)圖像經(jīng)過(guò)降維處理后依舊可以有效保存大量細(xì)節(jié)信息,會(huì)產(chǎn)生比較小的一部分損失。將主成分分析法和局部像素分組相結(jié)合,對(duì)目標(biāo)圖像進(jìn)行去噪處理。首先采集目標(biāo)圖像,將采集到含有噪聲的圖像表示為z(i,j),則可以獲取目標(biāo)圖像的估計(jì)圖像,同時(shí)還需要確保估計(jì)圖像盡可能接近干凈圖像。

將目標(biāo)圖像的像素塊作為中心,設(shè)定規(guī)格為m×n的局部圖像塊,在圖像塊中搜索當(dāng)前像素塊近似的圖像塊,經(jīng)過(guò)整合形成樣本。將各個(gè)圖像塊按照像素點(diǎn)的灰度值進(jìn)行排序,則含有噪聲圖像塊對(duì)應(yīng)的灰度值向量可以表示為式(2)的形式:

(2)

采用局部搜索方法進(jìn)行相似塊選擇,但是重點(diǎn)需要考慮以下兩個(gè)方面的問(wèn)題:

1)對(duì)于已經(jīng)確定的像素塊而言,和其最相似的像素塊通常在設(shè)定像素塊的周?chē)?/p>

2)全局搜索可以在目標(biāo)圖像中獲取最相似的圖像圖像塊,同時(shí)計(jì)算量明顯低于局部搜索,且計(jì)算效率優(yōu)于局部搜索,整體效果更好。

通過(guò)以上分析,不僅需要獲取當(dāng)前像素塊的相似塊訓(xùn)練集樣本,同時(shí)還需要構(gòu)建樣本的位置矩陣W,采用主成分分析法對(duì)目標(biāo)圖像中的噪聲進(jìn)行濾波處理。設(shè)定目標(biāo)圖像中當(dāng)前像素塊的位置向量為z={b0,b1,…,bm-1}T,則目標(biāo)圖像對(duì)應(yīng)的線(xiàn)性統(tǒng)計(jì)量E(i,j)可以表示為式(3)的形式

(3)

由于噪聲和目標(biāo)圖像是相互獨(dú)立分布的,在處理隨機(jī)像素的過(guò)程中,需要針對(duì)隨機(jī)一個(gè)像素點(diǎn)進(jìn)行去噪處理。將乘性噪聲進(jìn)行對(duì)數(shù)變換,同時(shí)對(duì)加性噪聲進(jìn)行處理,則可以獲取比較理想的去噪結(jié)果,但是會(huì)形成一個(gè)偏差,所以需要在數(shù)域的估計(jì)信號(hào)中進(jìn)行信號(hào)偏差求解,詳細(xì)的計(jì)算式如下

(4)

式中,am(i,j)代表目標(biāo)圖像的坐標(biāo)位置;bn(i,j)代表噪聲圖像的坐標(biāo)位置;A(u)和B(u)分別代表不同的估計(jì)信號(hào)。

以下給出目標(biāo)圖像去噪過(guò)程[7,8],如圖1所示。

圖1 目標(biāo)圖像去噪流程圖

1)對(duì)目標(biāo)圖像進(jìn)行初始化處理。

2)將含噪圖像映射到對(duì)數(shù)域,同時(shí)將乘性噪聲轉(zhuǎn)換為加性噪聲噪聲進(jìn)行處理。

3)獲取當(dāng)前像素點(diǎn)的像素塊以及局部窗。

4)在局部窗中獲取多個(gè)相似塊,同時(shí)組建訓(xùn)練樣本集。

5)根據(jù)搜索到的相似樣本塊獲取對(duì)應(yīng)的樣本矩陣,同時(shí)對(duì)其進(jìn)行中心化處理,獲取對(duì)應(yīng)的協(xié)方差矩陣,經(jīng)過(guò)求解得到正交變換矩陣。

6)在步驟(5)操作的基礎(chǔ)上,將協(xié)方差矩陣轉(zhuǎn)換為對(duì)角陣,同時(shí)通過(guò)線(xiàn)性最小均方誤差進(jìn)行估計(jì),獲取對(duì)應(yīng)的估計(jì)向量。

7)對(duì)估計(jì)量進(jìn)行反變換,同時(shí)進(jìn)行去中心化處理,同時(shí)加上平均值,進(jìn)而獲取初始目標(biāo)圖像的估計(jì)值。

8)對(duì)對(duì)數(shù)變換過(guò)程中形成的偏差進(jìn)行估算。

9)根據(jù)偏差估計(jì)獲取初始目標(biāo)圖像的估計(jì)值,進(jìn)而實(shí)現(xiàn)目標(biāo)圖像去噪[9,10]。

2.2 基于深度學(xué)習(xí)的目標(biāo)圖像特征提取

為了準(zhǔn)確識(shí)別目標(biāo),實(shí)現(xiàn)有效跟蹤,需要優(yōu)先提取目標(biāo)圖像的幾何特征。在進(jìn)行特征提取前期,需要針對(duì)目標(biāo)圖像進(jìn)行分塊處理,通過(guò)不同特征相似性進(jìn)行目標(biāo)的局部信息度量,同時(shí)對(duì)目標(biāo)圖像進(jìn)行處理和分析,構(gòu)建如式(5)所示的序列Dif(d1,d2)

Dif(d1,d2)=Mmine(ui,uj)

(5)

式中,e(ui,uj)代表目標(biāo)圖像采樣點(diǎn)的坐標(biāo)位置。

將未進(jìn)行識(shí)別的特征劃分到子空間中,進(jìn)而獲取目標(biāo)圖像的幾何像素輸出S(i,j),具體計(jì)算式如下

S(i,j)=jm(i)v(i)+H(1-v(i))

(6)

式中,jm(i)代表目標(biāo)圖像的分塊像素集;v(i)代表目標(biāo)圖像的最大特征值;H代表目標(biāo)圖像邊緣。

當(dāng)目標(biāo)圖像完成圖像分塊以及模板匹配之后,需要構(gòu)建主特征向量空間,同時(shí)對(duì)目標(biāo)圖像進(jìn)行邊緣檢測(cè),將提取到的目標(biāo)圖像特征進(jìn)行幾何分割以及邊緣增強(qiáng)處理,最終得到目標(biāo)圖像輪廓區(qū)域的分布估計(jì)值Nlm[g(i)],如式(7)所示

(7)

式中,α(i,j)代表像素重構(gòu)系數(shù);φ(i,j)代表目標(biāo)圖像的輪廓特征量。

對(duì)目標(biāo)圖像進(jìn)行自適應(yīng)像素分塊處理,進(jìn)而獲取目標(biāo)圖像的權(quán)重取值ω(i,j)

(8)

式中,e(i,j)代表目標(biāo)圖像的輪廓分布特征點(diǎn)。

在進(jìn)行目標(biāo)圖像輪廓檢測(cè)的基礎(chǔ)上,通過(guò)目標(biāo)圖像的顏色采用統(tǒng)計(jì)分析方法對(duì)目標(biāo)圖像進(jìn)行區(qū)域重構(gòu),根據(jù)目標(biāo)圖像輪廓信息獲取直覺(jué)模糊集Ggif(i,j),如式(9)所示

Ggif(i,j)=-lg((d1,d2)h(x,y))

(9)

通過(guò)式(10)獲取目標(biāo)圖像的角點(diǎn)信息l(i,j),如式(10)所示

(10)

式中,s(t)代表不變矩的特征向量。

通過(guò)目標(biāo)在三維空間的旋轉(zhuǎn)尺度,可以獲取目標(biāo)圖像的幾何離散度ψ(i,j)(u),如式(11)所示

ψ(i,j)(u)=[D(i,j)ψ(i,j)]

(11)

式中,D(i,j)代表神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù);ψ(i,j)代表目標(biāo)圖像的空間投影結(jié)果。

通過(guò)模板匹配方法,可以獲取提取目標(biāo)圖像的彈性模板T(u),如式(12)所示

(12)

式中,f(t)代表圖像分塊數(shù)量。

采用自適應(yīng)特征分解以及差異性特征點(diǎn)標(biāo)定方法對(duì)目標(biāo)圖像進(jìn)行特征提取[11,12],詳細(xì)的計(jì)算式為

(13)

式中,R代表目標(biāo)圖像的特征提取結(jié)果;q(i,j)代表目標(biāo)圖像的色差;x(i)和y(i)分別代表不同目標(biāo)圖像的高低頻子帶;h(i,j)代表目標(biāo)圖像的梯度像素差。

針對(duì)已經(jīng)提取到的目標(biāo)圖像特征[13,14],需要引入深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)圖像分類(lèi),同時(shí)設(shè)定網(wǎng)絡(luò)學(xué)習(xí)步長(zhǎng),根據(jù)自適應(yīng)加權(quán)算法即可獲取分類(lèi)對(duì)應(yīng)的加權(quán)系數(shù)。為了提升卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)圖像分類(lèi)過(guò)程中的準(zhǔn)確性,需要在隱含層中加入自適應(yīng)調(diào)節(jié)向量,同時(shí)按照順時(shí)針?lè)较蜻M(jìn)行搜索,對(duì)目標(biāo)圖像被遮擋的區(qū)域進(jìn)行特征提取,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)目標(biāo)特征提取結(jié)果的優(yōu)化,使得特征提取結(jié)果更加準(zhǔn)確。

2.3 多物體遮擋下基于深度學(xué)習(xí)的目標(biāo)跟蹤

使用粒子濾波對(duì)目標(biāo)圖像的運(yùn)動(dòng)過(guò)程進(jìn)行估計(jì),隨著采樣粒子數(shù)量的逐漸增加,可以對(duì)粒子進(jìn)行加權(quán)計(jì)算,有效確保粒子的重要性。則后驗(yàn)濾波概率對(duì)應(yīng)的密度q(x0it,y0it)可以表示為式(14)的形式

(14)

當(dāng)采樣數(shù)據(jù)比較大時(shí),則對(duì)應(yīng)函數(shù)的期望估計(jì)可以表示為式(15)的形式

(15)

式中,f(m,n)代表函數(shù)的期望估計(jì)值。

將重要性概率分布代入到權(quán)值計(jì)算中,則可以得到

(16)

式中,p(xi,yi)代表權(quán)值對(duì)應(yīng)的遞歸集合。

對(duì)目標(biāo)所在坐標(biāo)位置進(jìn)行標(biāo)記,通過(guò)目標(biāo)位置采集經(jīng)過(guò)訓(xùn)練的正負(fù)樣本,同時(shí)將正負(fù)樣本輸入到檢測(cè)器中,對(duì)卷積神經(jīng)網(wǎng)絡(luò)以及SVM分類(lèi)器進(jìn)行訓(xùn)練,將訓(xùn)練好的檢測(cè)器進(jìn)行保存。通過(guò)粒子濾波算法對(duì)目標(biāo)進(jìn)行運(yùn)動(dòng)估計(jì),即可獲取目標(biāo)的候選區(qū)域,將候選區(qū)域送入到已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中,當(dāng)目標(biāo)發(fā)生比較大的變化時(shí),則通過(guò)閾值判定是否需要重新訓(xùn)練檢測(cè)器,進(jìn)而解決目標(biāo)圖像變化問(wèn)題。

在進(jìn)行計(jì)算的初始階段,由于已知目標(biāo)圖像第一幀像素點(diǎn),在鄰近幀進(jìn)行目標(biāo)尺寸采樣處理,其中偏移采樣范圍主要包含目標(biāo)跟蹤以及圖像重構(gòu)等[15],獲取目標(biāo)圖像正樣本集合。對(duì)負(fù)樣本進(jìn)行采樣時(shí),需要進(jìn)行大范圍采樣,其中不包含目標(biāo)跟蹤,最終獲取負(fù)樣本集合。將以上兩種樣本進(jìn)行歸一化處理,進(jìn)而獲取大小相同的目標(biāo)圖像。

將特征提取結(jié)果和分類(lèi)器兩者共同組成檢測(cè)器,結(jié)合粒子濾波方法對(duì)目標(biāo)進(jìn)行跟蹤,詳細(xì)的操作流程如下:

1)對(duì)全部粒子集合進(jìn)行初始化處理,同時(shí)隨機(jī)形成采樣粒子。

2)在下一個(gè)全新的時(shí)刻,通過(guò)上一時(shí)刻的采樣結(jié)果按照高斯分布進(jìn)行采樣,同時(shí)更新權(quán)重取值,同時(shí)對(duì)其進(jìn)行歸一化處理。

3)對(duì)粒子集進(jìn)行重采樣,獲取全新的粒子集。

4)獲取在設(shè)定時(shí)間段的狀態(tài)估計(jì)值,實(shí)現(xiàn)多物體遮擋下基于深度學(xué)習(xí)的目標(biāo)跟蹤。

3 仿真研究

為了驗(yàn)證所提多物體遮擋下基于深度學(xué)習(xí)的目標(biāo)跟蹤方法的有效性,需要進(jìn)行仿真測(cè)試。將文獻(xiàn)[3]方法和文獻(xiàn)[4]方法作為對(duì)比方法,在相同視頻下分析不同方法的跟蹤性能,具體實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 不同方法的目標(biāo)跟蹤性能測(cè)試結(jié)果對(duì)比

分析圖2中的實(shí)驗(yàn)數(shù)據(jù)可知,所提方法在有帽子遮擋情況下,依舊可以準(zhǔn)確對(duì)目標(biāo)進(jìn)行跟蹤,而另外兩種方法的跟蹤效果并不是十分好,驗(yàn)證了所提方法的優(yōu)越性。

分析不同方法在物體遮擋率不斷增加情況下的目標(biāo)跟蹤成功率變化情況,詳細(xì)的實(shí)驗(yàn)測(cè)試結(jié)果如表1所示。

表1 不同方法的目標(biāo)跟蹤成功率對(duì)比結(jié)果

由表1中的實(shí)驗(yàn)數(shù)據(jù)可知,所提方法的目標(biāo)跟蹤成功率明顯優(yōu)于兩種方法,可以更加準(zhǔn)確跟蹤目標(biāo),定位目標(biāo)位置,進(jìn)一步驗(yàn)證了所提方法的優(yōu)越性。

為了進(jìn)一步驗(yàn)證所提方法的優(yōu)越性,分別對(duì)不同目標(biāo)進(jìn)行跟蹤,分析物體遮擋率不斷增加情況下不同運(yùn)動(dòng)目標(biāo)采用三種方法的跟蹤精度變化情況,詳細(xì)實(shí)驗(yàn)測(cè)試結(jié)果如圖3所示。

圖3 不同方法的目標(biāo)跟蹤精度測(cè)試結(jié)果對(duì)比

由圖3中的實(shí)驗(yàn)數(shù)據(jù)可知,不同方法的目標(biāo)跟蹤精度會(huì)隨著物體遮擋率的增加呈現(xiàn)下降趨勢(shì)。但是相比另外兩種方法,所提方法的跟蹤精度明顯更高。主要是因?yàn)樗岱椒▽?duì)目標(biāo)圖像進(jìn)行濾波處理,有效濾除圖像中的噪聲,確保目標(biāo)跟蹤精度得到有效提升。

4 仿真研究

為了獲取更加滿(mǎn)意的目標(biāo)跟蹤效果,設(shè)計(jì)并提出一種多物體遮擋下基于深度學(xué)習(xí)的目標(biāo)跟蹤方法。和已有方法進(jìn)行實(shí)驗(yàn)測(cè)試對(duì)比可知,所提方法的目標(biāo)跟蹤精度以及目標(biāo)跟蹤成功率均高于其它方法,可以準(zhǔn)確對(duì)目標(biāo)進(jìn)行跟蹤。后續(xù)將針對(duì)所提方法存在的缺陷進(jìn)一步展開(kāi)研究,尤其是抗旋轉(zhuǎn)方面,將對(duì)其進(jìn)行深入優(yōu)化,確保所提方法的整體性能得到有效提升。