賈松敏，文林風(fēng)*，王麗佳，3

(1.北京工業(yè)大學(xué) 信息學(xué)部， 北京 100124；2.計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100124；3.河北工業(yè)職業(yè)技術(shù)學(xué)院 信息工程與自動(dòng)化系， 河北 石家莊 050091)

?

基于多模板回歸加權(quán)均值漂移的人體目標(biāo)跟蹤

賈松敏1，2，文林風(fēng)1，2*，王麗佳1，2，3

(1.北京工業(yè)大學(xué) 信息學(xué)部， 北京 100124；2.計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室， 北京 100124；3.河北工業(yè)職業(yè)技術(shù)學(xué)院 信息工程與自動(dòng)化系， 河北 石家莊 050091)

針對(duì)移動(dòng)機(jī)器人跟蹤人體目標(biāo)時(shí)目標(biāo)因角度大幅變化引起外觀改變?cè)斐傻母櫉o(wú)效，提出了多模板回歸加權(quán)均值漂移跟蹤方法。該方法通過(guò)建立目標(biāo)的多模板模型，應(yīng)用均值漂移算法實(shí)現(xiàn)目標(biāo)跟蹤。首先，根據(jù)前一幀均值漂移結(jié)果和當(dāng)前幀頭肩粗定位結(jié)果確定目標(biāo)模板集，使其包含目標(biāo)人體的位姿和角度改變。然后，采用多模板回歸加權(quán)均值漂移實(shí)現(xiàn)目標(biāo)的精確定位。在多模板均值漂移中引入回歸模型實(shí)現(xiàn)顏色紋理特征與目標(biāo)模型相似度之間的映射，從而控制模板數(shù)量，保證目標(biāo)檢測(cè)的實(shí)時(shí)性。最后，分別在視頻圖像和機(jī)器人目標(biāo)跟蹤平臺(tái)上對(duì)所提方法進(jìn)行實(shí)驗(yàn)驗(yàn)證。結(jié)果顯示，圖像處理平均時(shí)間為86.4 s/frame，滿足機(jī)器人跟蹤的實(shí)時(shí)性要求。該方法解決了目標(biāo)特征在跟蹤過(guò)程中發(fā)生變化的問(wèn)題，提高了機(jī)器人跟蹤時(shí)對(duì)目標(biāo)人體特征變化的魯棒性。

機(jī)器人目標(biāo)跟蹤；行人跟蹤；多模板均值漂移；回歸模型；視頻圖像

1　引　言

目標(biāo)跟蹤在科學(xué)技術(shù)研究和工程應(yīng)用中具有重要價(jià)值。作為一種確定性非參數(shù)化概率密度估計(jì)方法[1-2]，均值漂移(Mean Shift)算法已廣泛應(yīng)用于行人跟蹤技術(shù)中。經(jīng)典的均值漂移算法是以顏色直方圖為基礎(chǔ)，通過(guò)迭代得到與模板匹配度最高的區(qū)域[3]。在實(shí)際的復(fù)雜場(chǎng)景下，由于受到光照變化、目標(biāo)形變、姿態(tài)改變以及障礙物遮擋等問(wèn)題的影響，經(jīng)典的均值漂移算法往往不能較穩(wěn)定地對(duì)目標(biāo)進(jìn)行跟蹤[4-6]。

現(xiàn)有的許多研究都是在跟蹤過(guò)程中目標(biāo)外觀變化較小的前提下進(jìn)行的，然而受光照、位姿等的影響，目標(biāo)的外觀在跟蹤過(guò)程中不斷變化且變化較大。尤其對(duì)于服務(wù)型機(jī)器人而言，人體在室內(nèi)的姿態(tài)多變，每個(gè)角度對(duì)應(yīng)的目標(biāo)外觀不同，同時(shí)行人行走過(guò)程中極易受光照變化和障礙物遮擋的影響。因此固定的目標(biāo)模型難以滿足室內(nèi)復(fù)雜環(huán)境下的跟蹤要求。為解決該問(wèn)題，一些研究引入了模型實(shí)時(shí)更新策略。李琦等[7]利用目標(biāo)凸包擬合橢圓并結(jié)合卡爾曼濾波模型，來(lái)調(diào)整算法核函數(shù)的方向，通過(guò)聯(lián)合目標(biāo)形狀和顏色信息建立了一種目標(biāo)更新機(jī)制。胡良梅等[8]依據(jù)像素點(diǎn)的深度特征以及前一幀的定位結(jié)果，提出一種結(jié)合深度與顏色信息的目標(biāo)檢測(cè)方法，以自定義的更新速率對(duì)模型進(jìn)行加權(quán)更新。喬立勇等[9]提出一種多特征融合和帶寬自適應(yīng)均值偏移跟蹤算法，根據(jù)目標(biāo)與模板的巴氏距離獲取權(quán)值，對(duì)模型進(jìn)行更新。王麗佳等[10]提出一種分塊多特征描述子的方法，該方法將候選樣本進(jìn)行分塊，跟蹤過(guò)程中結(jié)合深度特征及圖像片外觀相似度進(jìn)行檢測(cè)并處理遮擋。上述方法都是在同一目標(biāo)模板的基礎(chǔ)上更新模型，解決了目標(biāo)外觀緩慢變化情況下的跟蹤問(wèn)題。然而，當(dāng)目標(biāo)外觀改變較大時(shí)這些方法會(huì)發(fā)生模型更新不及時(shí)，發(fā)生“欠更新”從而跟丟目標(biāo)。

為了解決上述問(wèn)題，本文提出了一種多模板回歸加權(quán)均值漂移跟蹤方法，并將其應(yīng)用于室內(nèi)移動(dòng)機(jī)器人的目標(biāo)跟蹤系統(tǒng)中。首先通過(guò)雙目視覺(jué)系統(tǒng)提取場(chǎng)景中的深度信息，并利用頭肩模板進(jìn)行匹配[11]確定備選人體頭肩區(qū)域，再應(yīng)用均值漂移算法確定最終模板集。頭肩模板匹配失敗時(shí)，在最終模板集中應(yīng)用均值漂移算法，根據(jù)漂移結(jié)果與模板的相似度確定候選模板集，并更新最終模板集。為了有效地描述目標(biāo)，采用顏色紋理描述子。為了保證系統(tǒng)的實(shí)時(shí)性，本文提出根據(jù)最終模板集訓(xùn)練回歸模型得到顏色紋理相似度估計(jì)值。最后在視頻和機(jī)器人平臺(tái)上對(duì)所提方法進(jìn)行驗(yàn)證。

2　總體設(shè)計(jì)

跟蹤系統(tǒng)由粗定位模塊和精確定位模塊組成。粗定位模塊主要由雙目立體視覺(jué)系統(tǒng)和頭肩匹配算法組成，利用深度信息進(jìn)行頭肩匹配，初步確定前景中是否出現(xiàn)目標(biāo)人體以及人體粗略位置。精確定位模塊主要由多模板均值漂移算法和目標(biāo)回歸模型組成，其作用是在粗定位模塊的基礎(chǔ)上確定所跟蹤目標(biāo)人體的具體位置。總體設(shè)計(jì)圖如圖1所示。

圖1　總體設(shè)計(jì)

3　基于顏色紋理特征的均值漂移

顏色是圖像的一種重要的視覺(jué)性質(zhì)，顏色特征的優(yōu)點(diǎn)是提取相對(duì)比較容易，受旋轉(zhuǎn)、平移和尺度變化等的影響較小，然而其也存在無(wú)法反映顏色的空間信息、不同的量化方法造成的誤差對(duì)檢索結(jié)果可能具有很大的影響等缺點(diǎn)[12]。紋理特征可反映圖像區(qū)域中像素灰度級(jí)的空間分布屬性[13-14]，可以彌補(bǔ)顏色描述的不足。其中常用的紋理特征是LBP特征，具有計(jì)算復(fù)雜度低、尺度和旋轉(zhuǎn)不變性、算子僅與樣本自身有關(guān)等優(yōu)點(diǎn)[15-16]。為更全面地表示目標(biāo)，本文采用顏色紋理描述子。其中，顏色特征c(x)采用HSV(Hue，Saturation，Value)顏色空間中的色度(hue)分量表示。紋理特征采用均勻LBP(Local Binary Patterns)模式表示[14]。

將特征離散成(m=[mc，mt])個(gè)區(qū)間，mc為顏色特征的量化等級(jí)，mt為紋理特征的量化等級(jí)。假設(shè)目標(biāo)區(qū)域有n個(gè)像素點(diǎn){xi}，i=1，2，…，n，所表示的區(qū)域中心點(diǎn)為x0，則目標(biāo)的顏色紋理特征表示為：

(1)

(2)

跟蹤過(guò)程中，采用顏色紋理聯(lián)合相似度函數(shù)來(lái)量化候選區(qū)域與目標(biāo)模板之間的相似度[12]。顏色紋理聯(lián)合相似度函數(shù)為：

(3)

跟蹤過(guò)程中，假設(shè)y0作為當(dāng)前幀的起始漂移窗口中心，通過(guò)計(jì)算均值漂移向量，迭代尋找目標(biāo)與候選區(qū)域相似度最大的位置：

(4)

4　多模板回歸加權(quán)均值漂移算法

4.1多模板漂移算法

傳統(tǒng)的均值漂移算法假設(shè)跟蹤目標(biāo)的特征變化較小，因此在目標(biāo)跟蹤時(shí)目標(biāo)模型通常固定不變或者變化不大。然而在移動(dòng)機(jī)器人目標(biāo)跟蹤系統(tǒng)中，所跟蹤的人體目標(biāo)會(huì)因轉(zhuǎn)身、光照等變化造成目標(biāo)外觀改變，從而導(dǎo)致跟蹤失敗。為解決以上問(wèn)題，本文通過(guò)引入多模板漂移算法對(duì)均值漂移過(guò)程進(jìn)行管理。

4.1.1多模板漂移算法的模板集

多模板均值漂移算法的模板集分為兩個(gè)子集，最終模板集{Gi}i=1，2，…，m和候選模板集{Cj}j=1，2，…，n，每一個(gè)模板都用顏色紋理特征描述子表示。兩個(gè)模板子集既過(guò)濾了一些不穩(wěn)定特征對(duì)最終模板的影響，也合理利用了不準(zhǔn)確的特征信息。

4.1.2多模板漂移算法初始化

跟蹤系統(tǒng)啟動(dòng)后，頭肩模型[11]首次匹配成功時(shí)，根據(jù)其位置確定最終模板集Gi。候選模板集在跟蹤過(guò)程中頭肩模型匹配失敗后根據(jù)均值漂移結(jié)果確定。

4.1.3候選模板集的生成

受光照等影響，會(huì)使提取的視差圖像不清楚，造成頭肩模型匹配失敗，從而不能提供較為有效的目標(biāo)位置信息。此時(shí)，根據(jù)均值漂移結(jié)果生成候選模板集。其生成過(guò)程為：

(1)以前一幀目標(biāo)位置為起點(diǎn)，分別在最終模板集中的m個(gè)模板上應(yīng)用均值漂移算法，得到m個(gè)候選位置區(qū)域；

(2)提取候選位置區(qū)域的顏色紋理特征描述子，并計(jì)算它們與最終模板的相似度；

此時(shí)，利用EKF(Extended Kalman Filter)對(duì)當(dāng)前幀的目標(biāo)位置進(jìn)行預(yù)測(cè)[12]。

4.1.4最終模板集的篩選

頭肩模型匹配成功的結(jié)果能夠?yàn)榫灯扑惴ㄌ峁┯行У某跏嘉恢?，從而提高均值漂移跟蹤結(jié)果的可靠性。最終模板集的篩選過(guò)程如下：

(1)以頭肩匹配確定的位置為起點(diǎn)，在最終模板集和候選模板集中的所有n+m個(gè)模板上分別進(jìn)行均值漂移，得到n+m個(gè)跟蹤位置；

(2)計(jì)算漂移結(jié)果與相應(yīng)模板之間的相似度；

(3)將相似度最大的m組漂移結(jié)果所對(duì)應(yīng)的模板存儲(chǔ)到最終模板集中代替舊的模板，其余n組模板存儲(chǔ)到候選模板集。

將由相似度最大的m組漂移結(jié)果所確定位置的幾何中心作為當(dāng)前幀的目標(biāo)位置。

4.2多模板回歸加權(quán)均值漂移算法

多模板均值漂移算法有利于克服光照、位姿變化等造成的目標(biāo)外觀改變問(wèn)題。當(dāng)目標(biāo)人體姿態(tài)多變或者衣著較為復(fù)雜時(shí)，需采用較多的模板，而模板數(shù)量的提高會(huì)增加均值漂移次數(shù)，從而影響目標(biāo)跟蹤的實(shí)時(shí)性。為解決這一問(wèn)題，提出多模板回歸加權(quán)漂移算法。

4.2.1回歸模型的構(gòu)成

建立回歸模型的目標(biāo)是實(shí)現(xiàn)目標(biāo)模板的顏色紋理特征描述子與相似度的一個(gè)映射[17]。假設(shè)目標(biāo)顏色紋理的特征空間被劃分為m個(gè)量化等級(jí)，線性回歸模型表示為：

(5)

4.2.2回歸模型的訓(xùn)練

線性回歸模型采用在線訓(xùn)練機(jī)制來(lái)訓(xùn)練，在跟蹤過(guò)程中收集多模板漂移算法中的所有最終模板，作為訓(xùn)練樣本以訓(xùn)練回歸模型。在最終模板集發(fā)生改變時(shí)進(jìn)行模型更新。相較于傳統(tǒng)的單模板均值漂移方法，這種更新方式更有針對(duì)性。

訓(xùn)練的目標(biāo)是估計(jì)一組參數(shù)β，使得損失函數(shù)L(β)取得最小值[18]。平方損失函數(shù)是基于數(shù)據(jù)分布存在高斯噪聲的假設(shè)而提出的，通過(guò)求取數(shù)據(jù)分布的極大似然估計(jì)推導(dǎo)得出的，在許多領(lǐng)域具有廣泛應(yīng)用[19-20]。由于其有閉式解，便于計(jì)算機(jī)的快速計(jì)算，因此采用平方損失函數(shù)來(lái)衡量公式(3)計(jì)算得出的相似度與回歸模型估計(jì)值之間的偏差程度。平方損失函數(shù)定義如下：

(6)

用代數(shù)方法可以推導(dǎo)出其閉式解如下：

(7)

(8)

(9)

4.2.3結(jié)合回歸模型改進(jìn)的多模板均值漂移算法

在回歸模型建立之前，跟蹤系統(tǒng)按照4.1節(jié)多模板均值漂移算法運(yùn)行，在此期間逐步更新得到的最終模板被收集到訓(xùn)練樣本中。當(dāng)訓(xùn)練樣本達(dá)到特征維數(shù)時(shí)開(kāi)始訓(xùn)練生成線性回歸模型。在后續(xù)跟蹤中，若最終模板集被更新，則將新的模板加入訓(xùn)練樣本集更新回歸模型。

在建立回歸模型之后，用回歸模型估計(jì)值代替顏色紋理聯(lián)合相似度(公式(3))以量化漂移結(jié)果區(qū)域與目標(biāo)的相似度，并在頭肩模型匹配成功的情況下用回歸預(yù)測(cè)值來(lái)對(duì)數(shù)量較少的漂移結(jié)果區(qū)域的位置進(jìn)行加權(quán)，從而最終確定一個(gè)較為精確的目標(biāo)預(yù)測(cè)位置，達(dá)到用較少數(shù)量的模板進(jìn)行均值漂移得到較準(zhǔn)確的預(yù)測(cè)位置的目的。

多模板漂移算法與回歸模型的結(jié)合方式如圖2所示。

圖2多模板均值漂移算法與回歸模型的結(jié)合方式

Fig.2Multi-template Mean Shift combining with regression model

5　實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)硬件平臺(tái)主要由雙目立體視覺(jué)系統(tǒng)和Pioneer3-DX機(jī)器人組成。Pioneer3-DX機(jī)器人為內(nèi)嵌工控機(jī)的移動(dòng)機(jī)器人平臺(tái)，不具備目標(biāo)跟蹤功能。雙目立體視覺(jué)系統(tǒng)由兩臺(tái)Point Gray公司的FLEA2相機(jī)搭建而成，該相機(jī)的最大分辨率為1 024×768，焦距為3.5 mm，兩臺(tái)相機(jī)采用平行光軸的方式安裝。視覺(jué)跟蹤程序在一臺(tái)筆記本電腦上運(yùn)行，并通過(guò)無(wú)線局域網(wǎng)實(shí)現(xiàn)與Pioneer3-DX機(jī)器人的通訊。采用基于模糊規(guī)則的智能控制策略[11]。當(dāng)機(jī)器人通過(guò)視覺(jué)系統(tǒng)獲得目標(biāo)準(zhǔn)確位置后，基于模糊規(guī)則的智能控制策略實(shí)時(shí)調(diào)整機(jī)器人左右輪轉(zhuǎn)速，從而實(shí)現(xiàn)目標(biāo)跟蹤。實(shí)驗(yàn)場(chǎng)景為室內(nèi)場(chǎng)景，有桌椅、書(shū)柜等障礙物，區(qū)域大小約為8.5 m×7 m。

5.1多模板回歸均值漂移算法實(shí)驗(yàn)

實(shí)驗(yàn)在相機(jī)靜止的條件下進(jìn)行，用雙目立體視覺(jué)系統(tǒng)對(duì)目標(biāo)人體進(jìn)行視頻跟蹤。共采集210幀圖像，每一幀圖像的大小為800 pixel×600 pixel。實(shí)驗(yàn)過(guò)程中目標(biāo)人體在檢測(cè)區(qū)域內(nèi)進(jìn)行前后左右移動(dòng)及旋轉(zhuǎn)，運(yùn)用所提算法與傳統(tǒng)的均值漂移算法對(duì)其進(jìn)行視覺(jué)跟蹤，通過(guò)比較實(shí)驗(yàn)效果，分析所提出算法的有效性。實(shí)驗(yàn)中，多模板回歸加權(quán)均值漂移算法的模板集設(shè)置為3個(gè)最終模板與2個(gè)候選模板，回歸模型設(shè)置為48個(gè)維度的顏色特征和36個(gè)維度的紋理特征樣本。

(b)傳統(tǒng)均值漂移算法

圖3為部分實(shí)驗(yàn)結(jié)果。在第一次成功匹配頭肩模型時(shí)進(jìn)行模板的提取。圖中第35、53、82幀目標(biāo)人體分別做了解開(kāi)部分外套、轉(zhuǎn)身到側(cè)面、轉(zhuǎn)身到背面動(dòng)作，其顏色紋理特征在初始提取特征的基礎(chǔ)上發(fā)生了一定變化。從實(shí)驗(yàn)結(jié)果可以看出，兩種方法的跟蹤位置離目標(biāo)中心均有所偏差。第126、144、177幀分別為目標(biāo)人體第二次轉(zhuǎn)身到側(cè)面、第二次轉(zhuǎn)身到正面出現(xiàn)外套解開(kāi)狀態(tài)和第二次轉(zhuǎn)身到背面3種情況。從跟蹤結(jié)果可以看出，傳統(tǒng)均值漂移的結(jié)果依然與第一次的效果接近，而所提算法的目標(biāo)跟蹤效果有較大的提升。這是由于多模板回歸加權(quán)均值漂移算法在實(shí)驗(yàn)過(guò)程中對(duì)模板集進(jìn)行了更新并獲取了訓(xùn)練樣本，且在收集足夠數(shù)量訓(xùn)練樣本后訓(xùn)練出回歸模型，在后續(xù)幀確定目標(biāo)位置時(shí)對(duì)漂移結(jié)果進(jìn)行了加權(quán)，因此跟蹤的目標(biāo)位置更加準(zhǔn)確。

經(jīng)過(guò)多次重復(fù)以上實(shí)驗(yàn)，對(duì)兩種方法的檢測(cè)準(zhǔn)確率與檢測(cè)時(shí)間進(jìn)行了統(tǒng)計(jì)，如表1所示。

表1兩種均值漂移算法的檢測(cè)成功率與處理時(shí)間的比較

Tab.1Comparison of detection accuracies and running time of two mean shift algorithms

統(tǒng)計(jì)項(xiàng)多模板回歸加權(quán)均值漂移算法傳統(tǒng)均值漂移算法準(zhǔn)確率視差圖不清晰/%88.685.0視差圖清晰/%93.786.4目標(biāo)首次轉(zhuǎn)身/%76.277.4目標(biāo)二次轉(zhuǎn)身/%94.378.7總體/%90.385.8處理時(shí)間/(ms·frame-1)68.286.4

從表1的數(shù)據(jù)中可以看出，相較于傳統(tǒng)均值漂移算法所提的多模板回歸加權(quán)均值漂移算法，由于對(duì)多個(gè)模板進(jìn)行了更新，且訓(xùn)練了回歸模型，所以在視差圖清晰時(shí)與再次出現(xiàn)近似特征時(shí)，準(zhǔn)確率有明顯優(yōu)勢(shì)。而在處理時(shí)間上由于所提算法要進(jìn)行多次漂移，故比傳統(tǒng)均值漂移算法長(zhǎng)一些。但由于均值漂移過(guò)程僅是實(shí)際應(yīng)用系統(tǒng)處理過(guò)程的一部分，所以對(duì)于整個(gè)系統(tǒng)的運(yùn)行的影響是有限的。

5.2移動(dòng)機(jī)器人跟蹤實(shí)驗(yàn)

實(shí)驗(yàn)在裝載有雙目視覺(jué)系統(tǒng)和筆記本電腦的Pioneer3-DX移動(dòng)機(jī)器人平臺(tái)上進(jìn)行。采用所提算法與傳統(tǒng)的均值漂移算法對(duì)目標(biāo)進(jìn)行動(dòng)態(tài)跟蹤，用以檢驗(yàn)所提算法在機(jī)器人跟蹤應(yīng)用中的效果。實(shí)驗(yàn)過(guò)程為移動(dòng)機(jī)器人跟隨目標(biāo)行人在場(chǎng)地內(nèi)行進(jìn)，路線包括兩個(gè)90°彎道。目標(biāo)行人在進(jìn)入第一個(gè)彎道時(shí)平緩轉(zhuǎn)身，漸進(jìn)地通過(guò)90°彎道，而在第二個(gè)90°彎道時(shí)目標(biāo)行人徑直走到盡頭，然后迅速轉(zhuǎn)身并繼續(xù)前進(jìn)，使其面對(duì)機(jī)器人的角度變化增大。跟蹤過(guò)程中伴隨有光照變化及人體姿態(tài)改變。

圖4為部分實(shí)驗(yàn)結(jié)果。在目標(biāo)行人緩慢通過(guò)第一個(gè)彎道時(shí)，兩種方法均能夠較好地確定行人位置，而在第二個(gè)彎道，由于目標(biāo)行人轉(zhuǎn)身比較快，對(duì)于機(jī)器人的跟蹤造成一定困難。但通過(guò)運(yùn)行所提算法，機(jī)器人在目標(biāo)經(jīng)過(guò)第二個(gè)彎道時(shí)能夠較準(zhǔn)確地將其定位出來(lái)，使得機(jī)器人的跟蹤過(guò)程能夠順利完成，而傳統(tǒng)的跟蹤方法由于人體目標(biāo)的角度突然發(fā)生較大改變，引起外觀特征變化使得均值漂移位置產(chǎn)生偏差，加之目標(biāo)衣著與背景近似而且橫向位移速度較第一個(gè)彎道快，致使目標(biāo)很快移出相機(jī)視野，造成機(jī)器人跟隨失敗。此實(shí)驗(yàn)證明了所提算法在實(shí)際機(jī)器人應(yīng)用時(shí)能夠在目標(biāo)行人發(fā)生大幅角度態(tài)變化時(shí)為機(jī)器人提供更準(zhǔn)確的定位信息。

(a)多模板回歸加權(quán)均值漂移算法

(b)傳統(tǒng)均值漂移算法

6　結(jié)　論

本文提出了一種多模板回歸加權(quán)均值漂移算法，以解決機(jī)器人目標(biāo)跟蹤過(guò)程中由于目標(biāo)出現(xiàn)大幅度變化而導(dǎo)致目標(biāo)外觀改變，從而造成跟蹤失效的問(wèn)題。通過(guò)多模板策略對(duì)傳統(tǒng)均值漂移算法進(jìn)行改進(jìn)，對(duì)目標(biāo)建立多姿態(tài)的模型，提高了對(duì)目標(biāo)的描述能力。當(dāng)頭肩模型匹配失敗時(shí)更新候選模板集，頭肩模型匹配成功時(shí)更新最終模板集，實(shí)現(xiàn)了模板的逐步更新，有效解決了目標(biāo)特征在跟蹤過(guò)程中產(chǎn)生變化的問(wèn)題。在多模板均值漂移中應(yīng)用回歸模型對(duì)均值漂移結(jié)果進(jìn)行加權(quán)，使漂移結(jié)果在不影響實(shí)時(shí)性的情況得到進(jìn)一步優(yōu)化，減少了系統(tǒng)對(duì)模板數(shù)量的需求。最后視頻跟蹤實(shí)驗(yàn)與移動(dòng)機(jī)器人跟蹤實(shí)驗(yàn)的結(jié)果表明，本文提出的方法能在目標(biāo)行人快速轉(zhuǎn)身等變化的情況下準(zhǔn)確定位人體，提高了機(jī)器人跟蹤時(shí)對(duì)目標(biāo)人體特征變化的魯棒性。

[1]初紅霞，謝忠玉，王君祥，等. 空間相關(guān)背景加權(quán)直方圖均值漂移目標(biāo)跟蹤[J].控制與決策，2014，29(3): 528-532.

CHU H X， XIE ZH Y， WANG J X，etal.. Mean shift target tracking with spatiogram corrected background-weighted histogram [J].ControlandDecision， 2014， 29(3): 528-532. (in Chinese)

[2]修春波，魏世安.顯著性直方圖模型的Camshift跟蹤方法[J]. 光學(xué) 精密工程，2015，23(6): 1749-1757.

XIU CH B， WEI SH A. Camshift tracking with saliency histogram [J].Opt.PrecisionEng.， 2015， 23(6): 1749-1757. (in Chinese)

[3]周芳芳，樊曉平，葉榛. 均值漂移算法的研究與應(yīng)用[J]. 控制與決策，2007，22(8): 841-847.

ZHOU F F， FAN X P， Y ZH. Mean shift research and applications [J].ControlandDecision， 2007， 22(8): 841-847. (in Chinese)

[4]鄭超，陳杰，陶會(huì)峰，等. 基于改進(jìn)亮度變化函數(shù)實(shí)現(xiàn)紅外圖像中行人跟蹤[J]. 光學(xué) 精密工程，2015，23(10): 2980-2988.

ZHENG CH， CHEN J， TAO H F，etal.. Pedestrian tracking in FLIR imagery based on modified intensity variation function [J].Opt.PrecisionEng.， 2015， 23(10): 2980-2988. (in Chinese)

[5]陳東成，朱明，高文，等. 在線加權(quán)多示例學(xué)習(xí)實(shí)時(shí)目標(biāo)跟蹤[J]. 光學(xué) 精密工程，2014，22(6): 1661-1667.

CHEN D CH， ZHU M， GAO W，etal.. Real-time object tracking via online weighted multiple instance learning [J].Opt.PrecisionEng.， 2014， 22(6): 1661-1667. (in Chinese)

[6]蘇娟，楊小岡，盧俊. 魯棒的前視紅外目標(biāo)多核跟蹤算法[J].紅外與激光工程，2013，42(2)：543-548.SU J， YANG X G， LU J. Robust multi-kernel tracking algorithm for FLIR target [J].InfraredandLaserEngineering， 2013，42(2)：543-548. (in Chinese)

[7]李琦，邵春福，岳昊. 核窗口尺寸和目標(biāo)模型自適應(yīng)的均值漂移跟蹤[J]. 華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2013，41(2): 74-81.

LI Q， SHAO CH F， YUE H. Mean shift tracking with adaptive kernel window size and target model [J].JournalofSouthChinaUniversityofTechnology(NaturalScienceEdition)， 2013， 41(2): 74-81. (in Chinese)

[8]胡良梅，段琳琳，張旭東，等. 融合顏色信息與深度信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].電子與信息學(xué)報(bào)，2014，36(9)：2047-2052.

HU L M， DUAN L L， ZHANG X D，etal.. Moving object detection based on the fusion of color and depth information [J].JournalofElectronics&InformationTechnology， 2014，36(9)：2047-2052. (in Chinese)

[9]QIAO L Y， XU L X， GAO M. Infrared target tracking using bandwidth adaptive mean shift [J].InfraredandLaserEngineering， 2015，44(1): 354-362.

[10]王麗佳，賈松敏，李秀智，等. 分塊多特征目標(biāo)描述子的移動(dòng)機(jī)器人目標(biāo)跟蹤[J]. 控制與決策，2016，31(2): 337-342.

WANG L J， JIA S M， LI X ZH，etal.. Person tracking for robot using patches-based-multi-cues representation [J].ControlandDecision， 2016，31(2): 337-342. (in Chinese)

[11]賈松敏，王爽，王麗佳，等. CTF定位策略下基于多特征的智能機(jī)器人目標(biāo)跟蹤[J]. 上海交通大學(xué)學(xué)報(bào)，2014，48(7): 1039-1052.

JIA S M， WANG SH， WANG L J，etal.. Human tracking based on multi-feature for intelligent robot under the CTF location strategy [J].JournalofShanghaiJiaotongUniversity， 2014， 48(7): 1039-1052. (in Chinese)

[12]宋瀟毅. 基于紋理和顏色特征的圖像檢索[D].成都：電子科技大學(xué)，2009.

SONG X Y.Imageretrievalbasedontextureandcolor[D].Chengchu：University of Electronic Science and Technology of China，2009.(in Chinese)

[13]張紅穎，胡正. 融合局部三值數(shù)量和色度信息的均值漂移跟蹤[J]. 電子與信息學(xué)報(bào)，2014，36(3): 624-630. ZHANG H Y， HU ZH. Mean shift tracking method combining local ternary number with hue information [J].JournalofElectronics&InformationTechnology， 2014， 36(3): 624-630. (in Chinese)

[14]TURHAN M M， HANBAY D. Mean shift based object tracking supported with adaptive Kalman filter [C]. 23rdSignalProcessingandCommunicationsApplicationsConference， 2015.

[15]李冠彬，吳賀豐. 基于顏色紋理直方圖的帶權(quán)分塊均值漂移目標(biāo)跟蹤算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2011，23(11): 2059-2066.LI G B， WU H F. Weighted fragments-based meanshift tracking using color-texture histogram [J].JournalofComputer-AidedDesign&ComputerGraphics， 2011， 23(11): 2059-2066. (in Chinese)

[16]楊軍，高志升，袁紅照，等. 基于LBP特征和貝葉斯模型的單樣本人臉識(shí)別[J]. 光電子.激光，2011，22(5)：763-765.YANG J，GAO ZH SH， YUAN H ZH，etal.. Single sample face recognition based on LBP feature and Bayes model [J].JournalofOptoelectronics·Laser， 2011，22(5)：763-765. (in Chinese)

[17]劉桂雄，張曉平，周松斌. 基于最小二乘支持向量回歸機(jī)的無(wú)線傳感器網(wǎng)絡(luò)目標(biāo)定位法[J]. 光學(xué) 精密工程，2009，17(7): 1766-1773.

LIU G X， ZHANG X P， ZHOU S B. Target localization in wireless sensor networks based on LSSVR [J].Opt.PrecisionEng.， 2009， 17(7): 1766-1773. (in Chinese)

[18]汪奇生. 線性回歸模型的總體最小二乘平差算法及其應(yīng)用研究[D].昆明：昆明理工大學(xué)，2014.

WANG Q SH.Researchoftotalleastsquaresadjustmentalgorithmbasedonlinearregressionmodelanditsapplication[D].Kunming：Kunming University of Science and Technology，2014.(in Chinese)

[19]汪方斌，洪津，孫曉兵，等. 基于支持向量機(jī)預(yù)測(cè)偏振模式[J]. 光學(xué) 精密工程，2014，22(11): 2914-2922.WANG F B， HONG J， SUN X B，etal.. Prediction of polarization pattern by SVM [J].Opt.PrecisionEng.， 2014， 22(11): 2914-2922. (in Chinese)

[20]ZHANG T J， BAI X F， HAN Q. Contour detection based on support vector regression in natural images [J].InternationalJournalofDigitalContentTechnologyanditsApplications， 2012，6(22):713-721.

文林風(fēng)(1990-)，男，湖南衡山人，碩士研究生，2013年于北京工業(yè)大學(xué)獲得學(xué)士學(xué)位，主要從事智能系統(tǒng)與模式識(shí)別等方面的研究。E-mail:wlwind@emails.bjut.edu.cn

導(dǎo)師簡(jiǎn)介：

賈松敏(1964-)，女，北京人，教授，博士生導(dǎo)師，2002年于日本國(guó)立電氣通信大學(xué)獲得博士學(xué)位，主要從事智能服務(wù)機(jī)器人及其關(guān)鍵性技術(shù)、機(jī)器人分散控制、計(jì)算機(jī)視覺(jué)等方面的研究。E-mail:jsm@bjut.edu.cn

(本欄目編輯：李自樂(lè))

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Person tracking based on multi-template regression weighted mean shift

JIA Song-min1，2， WEN Lin-feng1，2*， WANG Li-jia1，2，3

(1.FacultyofInformationTechnology，BeijingUniversityofTechnology，Beijing100124，China；2.BeijingKeyLaboratoryofComputationalIntelligenceandIntelligentSystem，Beijing100124，China；3.DepartmentofInformationEngineeringandAutomation，HebeiCollegeofIndustryandTechnology，Shijiazhuang050091，China)*Correspondingauthor，E-mail：wlwind@emails.bjut.edu.cn

To solve the invalid tracking of a human target caused by appearance variations due to large angle change of the target in a robot mobile tracking， a multi-template regression weighted mean-shift algorithm was proposed. The algorithm could implement the target tracking by building a multi-template model of the target and applying mean shift. Firstly， the template set was obtained according to the results from mean shift procedure of the last frame and the coarse location information of head-shoulder model of a current frame， by which the position and angle variation of the target person were included. Then， the multi-template regression weighted mean-shift algorithm was used to determine the precise location of the target person. The regression model was introduced to multi-template mean shift to implement a map from color-texture feature to the similarity of target model to limit the number of templates and to ensure the real-time performance of the target detection. Finally， the proposed algorithm was verified by videos and robot tracking tests. The results show that the image average treatment time is 86.4 ms/frame， which satisfies the requirement of person tracking for a mobile robot. The method solves the appearance variation problem of targets in tracking processing and improves the robustness of human targets to its feature variations.

person tracking; mean shift; multi-template; regression model; video image

TP391.4

A

10.3788/OPE.20162409.2339