賈松敏，白聰軒，王麗佳，2，李秀智

（1.北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院 計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室 數(shù)字社區(qū)教育部工程研究中心，北京100124；2.河北工業(yè)職業(yè)技術(shù)學(xué)院 信息工程與自動(dòng)化系，河北 石家莊　050091）

多特征分塊匹配的移動(dòng)機(jī)器人目標(biāo)跟蹤

賈松敏1，白聰軒1，王麗佳1，2，李秀智1

（1.北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院 計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室 數(shù)字社區(qū)教育部工程研究中心，北京100124；2.河北工業(yè)職業(yè)技術(shù)學(xué)院 信息工程與自動(dòng)化系，河北 石家莊050091）

為了實(shí)現(xiàn)復(fù)雜環(huán)境下移動(dòng)機(jī)器人目標(biāo)跟蹤，提出多特征分塊匹配的跟蹤算法。該算法對目標(biāo)區(qū)域進(jìn)行分塊，利用顏色、深度特征對各塊圖像進(jìn)行特征匹配，實(shí)現(xiàn)目標(biāo)的精確定位。在跟蹤過程中，根據(jù)塊圖像中顏色和深度的相似度大小，及時(shí)更新目標(biāo)模型和子塊權(quán)重，提高跟蹤的準(zhǔn)確性。利用擴(kuò)展卡爾曼濾波（Extend Kalman Filter，EKF）提取目標(biāo)運(yùn)動(dòng)特征，當(dāng)目標(biāo)被完全遮擋時(shí)，根據(jù)其先驗(yàn)估計(jì)預(yù)測目標(biāo)位置，以提高算法的魯棒性。實(shí)驗(yàn)結(jié)果表明，該算法對目標(biāo)快速移動(dòng)、光照變化、遮擋問題具有較強(qiáng)魯棒性，算法跟蹤速度達(dá)132frame/s，滿足跟蹤實(shí)時(shí)性要求。

分塊匹配；多特征跟蹤；子塊權(quán)重；目標(biāo)模型更新

移動(dòng)機(jī)器人目標(biāo)跟蹤是機(jī)器視覺領(lǐng)域的重要問題之一，它廣泛應(yīng)用于智能監(jiān)控系統(tǒng)、智能交通、人體行為識別等領(lǐng)域[1]。Kinect因其能獲得場景的三維信息同時(shí)提供準(zhǔn)確的目標(biāo)位置信息，被廣泛應(yīng)用于移動(dòng)機(jī)器人目標(biāo)跟蹤系統(tǒng)中[2]。然而在移動(dòng)機(jī)器人跟蹤目標(biāo)的過程中，視覺信息不可避免地會被目標(biāo)快速移動(dòng)、目標(biāo)遮擋以及光照變化等問題所影響。其中，遮擋是機(jī)器人目標(biāo)跟蹤過程中的常見問題。針對遮擋問題，相關(guān)文獻(xiàn)提出了許多解決方案。目標(biāo)分塊跟蹤由于能利用某些未被遮擋的子塊信息進(jìn)行跟蹤引起了許多學(xué)者的關(guān)注[3]。文獻(xiàn)[4]將跟蹤目標(biāo)分割成若干個(gè)同樣大小的矩形子塊，通過計(jì)算每一個(gè)獨(dú)立子塊的顏色直方圖，并將該顏色直方圖和候選區(qū)域相應(yīng)分塊的顏色直方圖進(jìn)行匹配并窮盡搜索，選擇每一個(gè)分塊的最佳匹配位置并對相應(yīng)位置進(jìn)行加權(quán)投票，最終結(jié)合各個(gè)位置的投票結(jié)果得到目標(biāo)在下一幀中的位置。盡管該方法能很好地解決目標(biāo)遮擋問題，但因?yàn)椴捎酶F盡搜索計(jì)算量過大，無法滿足機(jī)器人跟蹤的實(shí)時(shí)性要求。更重要的是，當(dāng)目標(biāo)被完全遮擋時(shí)，分塊跟蹤就失去了作用。鑒于此，本文提出了基于多特征分塊匹配的移動(dòng)機(jī)器人跟蹤算法。首先手動(dòng)選取跟蹤目標(biāo)，獲取目標(biāo)顏色和深度特征模型。在隨后的跟蹤中，以上一幀定位結(jié)果為中心，采用分塊匹配方法，利用顏色及深度特征確定目標(biāo)位置。由于該算法采用分塊匹配確定目標(biāo)位置，一定程度上解決由于目標(biāo)半遮擋所導(dǎo)致的跟蹤偏移問題。為了適應(yīng)光照，姿態(tài)等變化造成的目標(biāo)模型改變，本算法根據(jù)顏色和深度相似度大小，適時(shí)更新子塊權(quán)重及目標(biāo)模型。當(dāng)目標(biāo)被完全遮擋時(shí)，利用EKF先驗(yàn)估計(jì)預(yù)測目標(biāo)位置[5]。

1　多特征分塊匹配跟蹤算法

由于目標(biāo)衣著顏色一般局部變化較小而整體則存在較大變化，因此利用顏色特征進(jìn)行分塊匹配相較于整體匹配更加準(zhǔn)確。此外，在跟蹤過程中光照及背景是不斷變化的，若算法中僅采用單一的顏色特征難以保證跟蹤的準(zhǔn)確性和魯棒性。為解決上述問題，采用多特征分塊匹配的目標(biāo)跟蹤方法。

首先手動(dòng)選取跟蹤目標(biāo)，獲取目標(biāo)模型，并在隨后的跟蹤過程中以上一幀目標(biāo)位置為基礎(chǔ)，對目標(biāo)進(jìn)行分塊，并融合各子塊顏色特征、深度特征和運(yùn)動(dòng)特征以實(shí)現(xiàn)對目標(biāo)的精確定位，算法框架如圖1所示。

圖1　跟蹤框架圖Fig.1　The frame of the block matching

在分塊匹配過程中，通過計(jì)算每個(gè)分塊區(qū)域的顏色、深度相似度，得到目標(biāo)總體相似度：

其中，N為分塊數(shù)目，本算法將候選區(qū)域分為4個(gè)子塊，即N=4。ρcj和ρdj分別代表各子塊顏色和深度相似度。ψj為子塊權(quán)重。

然后，利用各子塊的顏色、深度相似度與中心位置求其加權(quán)平均值，使目標(biāo)位置更靠近顏色、深度相似度較大的子塊區(qū)域，分塊匹配的目標(biāo)位置為：

式中：pj為各子塊區(qū)域的中心位置。該方法通過對各子塊顏色和深度相似度加權(quán)處理搜索相似度最大的位置作為目標(biāo)位置，解決了目標(biāo)跟蹤過程中存在的半遮擋和跟蹤漂移問題。

最后，利用EKF提取目標(biāo)的運(yùn)動(dòng)特征。并通過融合跟蹤過程中的運(yùn)動(dòng)特征、顏色特征、深度特征對目標(biāo)進(jìn)行精確定位。目標(biāo)最終定位結(jié)果如下所示：

其中，P為目標(biāo)位置，Dμ為顏色和深度特征貢獻(xiàn)度，Pcd為顏色、深度特征定位結(jié)果，Ppre為EKF先驗(yàn)估計(jì)結(jié)果。當(dāng)目標(biāo)被完全遮擋時(shí)，該算法停止對顏色和深度模型進(jìn)行更新，跟蹤系統(tǒng)將利用EKF先驗(yàn)估計(jì)作為目標(biāo)位置。

1.1特征提取

1.1.1顏色特征提取

由于在目標(biāo)跟蹤問題中，顏色特征較其他特征具有對于旋轉(zhuǎn)，平移不敏感等優(yōu)點(diǎn)。在分塊匹配中采用顏色特征確定目標(biāo)位置。顏色直方圖因其計(jì)算簡單，成為被廣泛采用的顏色特征。本算法中目標(biāo)顏色直方圖模型為[6]：

其中，{x*i}i=1，2…n為目標(biāo)區(qū)域像素坐標(biāo)，n為像素點(diǎn)個(gè)數(shù)，K為核函數(shù)，δ為Kronecker delta函數(shù)，Cc為歸一化系數(shù)。則在當(dāng)前幀中，像素點(diǎn)為的圖像候選區(qū)域的顏色直方圖為：

其中，j=1，…，4對應(yīng)分塊匹配的四個(gè)區(qū)域。

利用Bhattacharyya系數(shù)計(jì)算當(dāng)前各分塊區(qū)域候選模型與目標(biāo)模型相應(yīng)區(qū)域顏色直方圖的相似度，計(jì)算公式如下：

1.1.2深度特征提取

顏色特征雖具有良好的旋轉(zhuǎn)、平移不變性，但對光照較為敏感，單獨(dú)采用顏色特征確定目標(biāo)位置，跟蹤效果較差。從Kinect相機(jī)中獲取的深度圖像[7-9]（由紅外測距信息所得）對光照劇烈變化等情況具有良好的魯棒性。故該算法利用Kinect獲取目標(biāo)的深度特征，結(jié)合顏色特征實(shí)現(xiàn)目標(biāo)定位。像素坐標(biāo)為{x*i}i=1，2…n的目標(biāo)深度特征模型為：

計(jì)算當(dāng)前幀中，各候選區(qū)域的深度直方圖為：

根據(jù)當(dāng)前各候選模型直方圖與目標(biāo)模型直方圖特征，用Bhattacharyya系數(shù)計(jì)算兩者相似度：

1.2子塊權(quán)重與模型更新

1.2.1子塊權(quán)重更新

傳統(tǒng)的分塊算法僅簡單將目標(biāo)分割成若干塊，并未考慮各子塊之間的差別，從而易導(dǎo)致跟蹤失敗。本算法根據(jù)各子塊顏色及深度相似度對各子塊權(quán)重重新進(jìn)行分配，即隨著跟蹤的進(jìn)行，相似度大的子塊權(quán)重變大，反之相似度小的子塊權(quán)重變小。具體規(guī)則如下：

Rule2:若子塊與相應(yīng)子塊模型的顏色、深度相似度均大于閾值時(shí)，表明該子塊跟蹤效果良好，則增大該子塊的權(quán)重，即ψtj=ψt-1j（1+β），其中ψt-1j為子塊t-1時(shí)刻的權(quán)重，β為正常數(shù)，在本算法中β=0.2；

Rule3:若子塊與相應(yīng)子塊模型的顏色相似度大于閾值而深度小于閾值時(shí)，表明目標(biāo)發(fā)生位置變化，則減小該子塊的權(quán)重，即ψtj=ψt-1j（1-β）；

Rule4:若子塊與相應(yīng)子塊模型的深度相似度大于閾值而顏色小于閾值時(shí)，表明光照發(fā)生變化，則該子塊的權(quán)重保持不變，即ψtj=ψt-1j；

Rule5:若子塊與相應(yīng)子塊模型的顏色和深度相似度均小于閾值時(shí)，表明目標(biāo)被遮擋，該子塊權(quán)重置零。同時(shí)，計(jì)算四塊區(qū)域顏色和深度相似度平均值為顏色特征，d為深度特征），若ρu高于遮擋判斷閾值h，則表明發(fā)生了半遮擋；若低于此閾值，則表明發(fā)生了全遮擋，遮擋結(jié)束后該子塊權(quán)重置1，即

1.2.2模型更新

傳統(tǒng)的基于目標(biāo)模型的跟蹤算法一般假設(shè)在跟蹤過程中目標(biāo)模型不發(fā)生劇烈變化，然而在機(jī)器人跟蹤目標(biāo)運(yùn)動(dòng)過程中，使用固定的目標(biāo)模型很難穩(wěn)定跟蹤目標(biāo)。因此該算法采用一種整體更新機(jī)制，分別對目標(biāo)的顏色及深度模型進(jìn)行更新。更新的時(shí)機(jī)由其特征貢獻(xiàn)度決定。特征貢獻(xiàn)度函數(shù)為：

即當(dāng)顏色或深度特征相似度高時(shí)，表明跟蹤效果良好，目標(biāo)模型不需要更新；當(dāng)其中某種特征相似度系數(shù)較小時(shí)，表明跟蹤效果受到影響，若相似性系數(shù)在[d1，d2]范圍內(nèi)，目標(biāo)模型將進(jìn)行更新；若顏色或深度特征相似度系數(shù)均低于d，不更新目標(biāo)模型。具體規(guī)則如下：

2　實(shí)驗(yàn)結(jié)果及分析

2.1實(shí)驗(yàn)平臺

本實(shí)驗(yàn)硬件平臺（如圖2）為Pioneer3-DX機(jī)器人，視覺系統(tǒng)采用微軟公司的Kinect傳感器以實(shí)時(shí)獲取彩色圖像和深度圖像。Kinect由三部分組成：RGB攝像頭，單色CMOS攝像頭和紅外發(fā)射器。其中，RGB攝像頭用來獲取彩色圖像；單色CMOS攝像頭和紅外發(fā)射器用來得到深度圖像。Kinect的深度輸出為11位，深度圖像的分辨率為。軟件采用C++和OPENCV實(shí)現(xiàn)。

圖2　實(shí)驗(yàn)平臺Fig.2　Experiment platform

2.2多特征分塊匹配的機(jī)器人目標(biāo)跟蹤實(shí)驗(yàn)

為了驗(yàn)證多特征分塊匹配算法能準(zhǔn)確、穩(wěn)定的跟蹤目標(biāo)，進(jìn)行了目標(biāo)檢測實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖3所示，圓圈為基于顏色及深度特征的定位結(jié)果。從圖中可以看出，當(dāng)跟蹤目標(biāo)位姿不斷變化時(shí)，跟蹤效果并沒有受到影響，始終保持準(zhǔn)確定位目標(biāo)。

圖3　分塊匹配實(shí)驗(yàn)結(jié)果Fig.3　The result of block matching

圖4為多特征分塊匹配算法的實(shí)驗(yàn)結(jié)果。其中第一行中圓圈標(biāo)示區(qū)域?yàn)榛诙嗵卣鞣謮K匹配算法所跟蹤到的目標(biāo)人體在圖像中的位置；第二行方框區(qū)域?yàn)榛陬伾卣鞯膫鹘y(tǒng)分塊匹配定位結(jié)果，圖像尺寸640×480。從第23幀開始，非目標(biāo)人體進(jìn)入視野，并逐漸遮擋目標(biāo)，僅采用顏色特征的算法跟蹤結(jié)果發(fā)生偏移。而在多特征分塊匹配算法跟蹤過程中，隨著目標(biāo)逐漸被遮擋，部分被遮擋子塊停止跟蹤，同時(shí)停止了對模型的更新。當(dāng)目標(biāo)被完全遮擋時(shí)，采用EKF先驗(yàn)估計(jì)結(jié)果預(yù)測目標(biāo)位置，保證了跟蹤的正常進(jìn)行。第72幀開始，目標(biāo)開始轉(zhuǎn)彎并且發(fā)生了光照變化，但是由于該算法利用顏色和深度

圖4　機(jī)器人目標(biāo)跟蹤結(jié)果Fig.4　Tracking results of robot

特征進(jìn)行分塊匹配，擴(kuò)大了目標(biāo)搜索范圍，從而準(zhǔn)確跟蹤到了目標(biāo)，提高了跟蹤的準(zhǔn)確性。

3　結(jié)　論

針對移動(dòng)機(jī)器人目標(biāo)跟蹤在光照變化、目標(biāo)遮擋等情況下易發(fā)生跟蹤不準(zhǔn)確等問題，本文提出了基于多特征分塊匹配的機(jī)器人目標(biāo)跟蹤算法。該算法在分塊匹配框架下，利用顏色及深度特征進(jìn)行分塊匹配，得到目標(biāo)的精確位置。其中，分塊匹配有效地解決了目標(biāo)快速移動(dòng)時(shí)的跟蹤偏移問題。根據(jù)各子塊顏色和深度相似度對目標(biāo)模型以及子塊權(quán)重進(jìn)行及時(shí)更新，提高了跟蹤的準(zhǔn)確性。最后采用擴(kuò)展卡爾曼濾波提取目標(biāo)運(yùn)動(dòng)特征，利用其先驗(yàn)估計(jì)有效地解決了目標(biāo)遮擋問題。該算法融合顏色、深度、運(yùn)動(dòng)多種特征對目標(biāo)進(jìn)行跟蹤，提高了跟蹤的準(zhǔn)確性。該算法處理速度約為132frame/s，滿足移動(dòng)機(jī)器人跟蹤的實(shí)時(shí)性要求。實(shí)驗(yàn)結(jié)果表明，所提算法在光照劇烈變化，目標(biāo)遮擋及目標(biāo)快速移動(dòng)等情況下，能準(zhǔn)確、穩(wěn)定的對目標(biāo)進(jìn)行跟蹤。

[1]Vincze M，Schlemmer M，Gemeiner P，et al.Vision for robotics:A tool for model-based object tracking[J].Robotics &Auto-Mation Magazine，2005，12（4）:53-64.

[2]林填鋒，楊潔霞.基于Kinect的人體識別技術(shù)的一些改進(jìn)[J].電腦知識與技術(shù)，2012，8（21）:5220-5223.

[3]Fang J X，Yang J，Liu H X.Efficient and robust fragmentsbased multiple kernels tracking[J].International Journal of Electronics and Communications，2011，65（11）:915-923.

[4]Adam A，Rivlin E，Shimshoni I.Robust fragments-based tracking using the integral histogram[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition，New York，2006:798-805.

[5]Rosales R，Sclaroff S.Improved tracking of multiple humans with trajectory prediction and occlusion modeling[R].Boston University Computer Science Department，1998.

[6]王麗佳，賈松敏，王爽，等.采用改進(jìn)Mean Shift算法的移動(dòng)機(jī)器人行人跟蹤[J].光學(xué)精密工程，2013，21（9）:2364-2370.

[7]Xia L，Chen C C，Aggarwal J K.Human detection using depth information by Kinect[C].Computer Vision and Pattern Recognition Workshops（CVPRW），2011:15-22.

[8]潘翔，唐春暉，張仁杰.基于混合蛙跳算法的移動(dòng)機(jī)器人路徑規(guī)劃[J].電子科技，2015（11）:29-32，36.

[9]曾品善，妙全興，徐磊.自主移動(dòng)機(jī)器人即時(shí)定位與地圖構(gòu)建方法研究[J].電子科技，2013（9）:177-178，181.

Multi features fragment-based human tracking for mobile robot

JIA Song-min1，BAI Cong-xuan1，WANG Li-jia1，2，LI Xiu-zhi1
（1.College of Electronic and Control Engineering，Beijing University of Technology；Beijing Key Laboratory of Computational Intelligence and Intelligent System；Engineering Research Center of Digital Community，Ministry of Education，Beijing 100124，China；2.Department of Information Engineering and Automation，Hebei College ofIndustry and Technology，Shijiazhuang 050091，China）

To realize person tracking with a mobile robot in complex environment，a method based on multi features was presented.The region of the person was divided into several blocks.For each block，color and depth features were utilized for implementing accurate localization.To improve the accuracy of tracking，the target model and sub-block weights were updated according to the similarity of color and depth features during the process of tracking.Additionally，the extended kalman filter （EKF）was used to extract motion feature，which can handle with occlusion by priori prediction.Experimental results show that the presented method is insensitive to the occlusion and illumination changes.Furthermore，the average computing time was 132frame/s，which can satisfy the requirements of real-time tracking.

block matching；tracking based on multi features；Sub-block weight；updating target model

TN919.8

A

1674－6236（2016）01-0023-03

2015-04-30稿件編號：201504313

國家自然科學(xué)基金資助項(xiàng)目(61175087；61105033)

賈松敏(1964—)，女，北京人，博士，教授。研究方向：智能服務(wù)機(jī)器人及其關(guān)鍵性技術(shù)、機(jī)器人分散控制、計(jì)算機(jī)視覺。