趙金金，姚漢利，鮑文霞

(安徽大學(xué) 電子信息工程學(xué)院,安徽 合肥 230601)

基于部件模型及顏色信息的行人檢測

趙金金，姚漢利，鮑文霞

(安徽大學(xué) 電子信息工程學(xué)院,安徽 合肥 230601)

行人識別是人工智能與模式識別領(lǐng)域內(nèi)一個新興的研究方向，具有極其廣泛的應(yīng)用前景。但是由于人體是一個非剛性的運動體，相對普通物體的檢測增加了不少難度?？勺冃尾考Ｐ退惴▽π腥藱z測有著不錯的效果，在此基礎(chǔ)上提出了一種對傳統(tǒng)的部件模型的改進(jìn)方法，彌補(bǔ)了顏色特征在行人檢測時的丟失。其基本思想是：使用傳統(tǒng)的DPM方法對待檢測窗口進(jìn)行檢測，然后判斷檢測的得分是否屬于可疑區(qū)間,如果屬于則進(jìn)一步使用基于顏色特征的分類器對可疑區(qū)域進(jìn)行檢測，判斷結(jié)果由兩次的決策值共同決定。在INRIA數(shù)據(jù)庫的檢測結(jié)果表明，基于多決策的行人檢測方法能夠在幾乎不影響檢測速度的同時提髙檢測準(zhǔn)確率，為精準(zhǔn)地對圖片或視頻中的行人做進(jìn)一步的分析提供了有利的基礎(chǔ)。

行人檢測；色彩空間；可變形部件模型；可疑區(qū)間；多決策

1 概 述

行人目標(biāo)的識別與檢測技術(shù)是對行人做視覺分析的基礎(chǔ)，只有在此基礎(chǔ)之上人們才可以進(jìn)一步對人體行為理解、高級人機(jī)接口、人體運動分析、智能監(jiān)控以及智能駕駛系統(tǒng)[1]等領(lǐng)域進(jìn)行深入研究。因此，行人檢測逐漸成為模式識別和計算機(jī)視覺領(lǐng)域中的研究熱點。

行人檢測的主要內(nèi)容是利用計算機(jī)視覺技術(shù)，在無人干預(yù)的情況下，對視頻圖像進(jìn)行分析和處理，并從中提取有用信息，實現(xiàn)對動態(tài)場景中行人的定位、跟蹤和識別。但是由于人體是非剛性的，四肢和各個關(guān)節(jié)可以呈現(xiàn)很多角度的轉(zhuǎn)動及伸展，所以人體可以呈現(xiàn)的姿態(tài)千變?nèi)f化，在檢測時如果用單一固定的檢測模板通常效果并不理想。目前行人檢測的方法大多數(shù)是基于機(jī)器學(xué)習(xí)，其主要包含兩個方面，一個是特征描述算子，另一個是學(xué)習(xí)方法。對于人體特征通常又分成三大類[2]：底層特征、組合特征和深度學(xué)習(xí)特征。底層特征是指邊緣、紋理和顏色等圖像的基本特征;組合特征是多種底層特征的組合,或是底層特征的高階統(tǒng)計特征;深度學(xué)習(xí)特征是指通過深度學(xué)習(xí)從圖像原始數(shù)據(jù)中學(xué)習(xí)到的特征。特征描述算子HOG[3]是當(dāng)前使用特別廣泛的底層特征[4-6]，它刻畫了圖像局部梯度值和方向。為了能夠較好地讓模型去適應(yīng)物體的變化，可變形部件模型[7]是在HOG的基礎(chǔ)上添加部件模型的一種改進(jìn)算法。由于部件模型算法在進(jìn)行行人識別時對顏色空間信息的丟失，提出了利用顏色空間信息RGB與DPM算法相結(jié)合的行人檢測算法，增加RGB檢測可以在一定程度上提高檢測的準(zhǔn)確性。

具體的算法流程如圖1所示。其中，S0為部件模型檢測得分；T為閾值；sp為可疑區(qū)間；S1為顏色空間檢測得分。

圖1 算法流程

2 基于DPM模型的目標(biāo)識別

可變形部件模型(DPM)是Felzenszwalb等提出的一種非常成功的目標(biāo)檢測算法，曾在PASCAL VOC中連續(xù)獲得07，08，09年的檢測冠軍。選擇DPM是由于人體姿態(tài)的多樣性以及個體差異，傳統(tǒng)固定的單一模型對復(fù)雜人體的匹配有較大的不足，而DPM在HOG行人檢測框架[8]的基礎(chǔ)上引入了可變形部件，這樣就能夠讓模型去適應(yīng)物體的變化。

特征描述器具體的訓(xùn)練過程簡述如下：

(1)將圖像分成小的連通區(qū)域，叫做細(xì)胞單元(cell)；

(2)采集細(xì)胞單元中各像素點的梯度或邊緣的方向直方圖[9]；

(3)在多個細(xì)胞單元內(nèi)進(jìn)行對比度歸一化，然后組合這些直方圖就可以構(gòu)成特征描述器。

DPM模型包括一個覆蓋整個目標(biāo)的粗糙的根濾波器(見圖2(a))和若干個表示目標(biāo)各個部件的高分辨率的部件濾波器(見圖2(b))。根過濾器能夠在較粗糙的分辨率上近似覆蓋整個目標(biāo)物體，部件過濾器是在更高分辨率上覆蓋物體中較小的部件。如建立人臉的模型，根濾波器捕捉的是整個人臉邊界這些粗糙信息，部件濾波器可以捕捉眼睛、鼻子、嘴這些細(xì)節(jié)信息。

圖2 DPM行人模型

DPM模型使用了多尺度特征金字塔(multi-scale feature pyramid)在不同的伸縮尺度中提取特征，這樣訓(xùn)練出的模版也是多尺度的，因此能夠適應(yīng)待檢測圖片的大小在一定尺度上的伸縮變化。

目標(biāo)的檢測主要根據(jù)待檢測目標(biāo)和人體模型的匹配得分來判斷。目標(biāo)假設(shè)的得分等于每個濾波器在各自位置的得分減去此位置相對于根位置的變形花費(deformation cost)再加上偏差值，其中位置的變形花費衡量了部件偏離其理想位置的程度：

(1)

其中，F(xiàn)i為第i個部件的濾波器；H為特征金字塔；pi=(xi,yi,li)為第i個濾波器所在的層和位置坐標(biāo)；di為部件的每個可能位置相對于錨點位置的變形花費；(dxi,dyi)給出了第i個部件相對于其錨點位置的位移：

(dxi,dyi)=(xi,yi)-(t·(x0,y0)+vi)

(2)

其中，(x0,y0)是根濾波器在其所在層的坐標(biāo)；部件濾波器的分辨率是根濾波器的t倍，所以為了統(tǒng)一到部件濾波器所在層需乘以t；vi為部件i的錨點相對于根的坐標(biāo)偏移。

使用非極大值抑制方法對每個檢測框進(jìn)行整合后,得到一個得分圖,每個分?jǐn)?shù)代表對象位于這個位置的可能性。

3 顏色空間

根據(jù)不同的應(yīng)用可以把顏色空間分為以下三大類：TV系統(tǒng)顏色空間、計算機(jī)圖像顏色空間、國際照明委員會顏色空間(International Commission on Illumination,CIE)。TV顏色包括YUV、YIQ和YCbCr等，計算機(jī)圖像顏色包括HSV、HIS和RGB等，Cffi顏色包括LUV、XYZ和Lab等。Wang等[10]在比較各種顏色空間用于行人檢測之后，得出結(jié)論:OE-Lab、CIE-LUV、HSV、HSI對于行人檢測有很好的效果。文中分別采用LUV和RGB，根據(jù)文獻(xiàn)[11]中提出的色彩空間的特征提取方法進(jìn)行檢測實驗。

3.1cell直方圖計算

首先將訓(xùn)練樣本(或待檢測窗口)分割成無重疊的單個cell。分別計算每個cell的累計直方圖，其中直方圖由這個cell中所有顏色通道的連接而得。然后對cell中的直方圖進(jìn)行歸一化，最終得到的一幅包含整個樣本的Cell-histogram圖。具體操作時，將圖片分割成12*5個cell。

3.2方向濾波

根據(jù)文獻(xiàn)[11]提出的方法，定義了4種方向濾波，在每種濾波器下分別計算臨近cell的直方圖不相似度，具體計算如下：

d(i,j,k)=dissim(celli,j,cellik,jk)

(3)

其中，k(k∈{1,2,3,4})表示濾波器的種類，如圖3所示；celli,j表示圖像中位于i行j列的cell的顏色累計直方圖；(ik,jk)表示針對不同濾波器相對于celli,j的偏移位置。

dismiss(·)選用的是直方圖相交的方式進(jìn)行匹配，具體計算如下：

(4)

圖3 4種方向濾波

3.3池化

實驗中使用最大池去篩選所有方向濾波器下的最大不相似度。這是因為神經(jīng)元之間存在CRF[12]的抑制效果,所以通過最大池去增加特征的空間不變性。具體的池化操作如下：

H(i,j,k)=max(d(m,n,k))

( 5 )

其中，k∈{1,2,3,4}。I,J分別為由i和j擴(kuò)展所得針對k的不同取值，對應(yīng)的I,J有下列規(guī)定：

(6)

H作為最終的顏色特征用作訓(xùn)練分類器以及在待檢測窗口進(jìn)行檢測。

4 定義可疑區(qū)間

當(dāng)利用可變形部件模型檢測到的分?jǐn)?shù)S0大于閾值時，判斷S0是否屬于所定義的可疑區(qū)間，若不屬于，結(jié)束判斷，若屬于，就重新對DPM判定為行人的區(qū)域進(jìn)行RGB或者LUV顏色空間的檢測并得到檢測得分S1。若S1大于0，則判定檢測窗口是行人；若S1小于0，則判斷非行人。具體流程見圖1。實驗選取了4個可疑區(qū)間(sp)進(jìn)行對比。其中sp的取值范圍如下：

sp≤P(P=-0.4,0,0.4,0.8)

(7)

5 實驗結(jié)果與分析

文中訓(xùn)練數(shù)據(jù)采用的是INRIA數(shù)據(jù)集，選取正樣本為INRIA訓(xùn)練集中所有2 416個行人，負(fù)樣本為1 218個；測試集為INRIA測試集中所有圖片，其中正樣本568，負(fù)樣本462個。

5.1判斷標(biāo)準(zhǔn)

實驗使用重疊率作為行人是否準(zhǔn)確定位的標(biāo)準(zhǔn)。重疊率的定義為檢測結(jié)果與真實值之間重疊區(qū)域的大小占它們之和的百分比：

(8)

其中，Rd表示對同一目標(biāo)使用NMS[13]合并之后的有效框；Rg表示數(shù)據(jù)庫標(biāo)記的行人區(qū)域。

重疊率的閾值固定為0.5，當(dāng)檢測到的roverlap大于閾值時，則判定該有效框?qū)儆赥rue Positive,否則判定為False Positive。

5.2顏色空間的對比

在RGB顏色空間中，使用LIBSVM[14]對顏色空間進(jìn)行訓(xùn)練，參數(shù)設(shè)置為‘-s 1 -t 0 -c 0.1 -g 0.8’。實驗時將檢測窗口固定為每9*9為一個cell,分別對不同窗口大小對準(zhǔn)確度的影響進(jìn)行實驗。如表1所示，將窗口分割成12*5個cell時準(zhǔn)確率較高。

表1 不同的窗口大小對準(zhǔn)確度的影響

使用同樣的訓(xùn)練參數(shù)以及12*5個cell作為窗口大小，實驗中分別就顏色空間的LUV和RGB特征單獨在INRIA數(shù)據(jù)庫上進(jìn)行檢測，LUV特征的準(zhǔn)確率為81.89%，而RGB的準(zhǔn)確率達(dá)到87.004%，結(jié)果表明RGB特征在INRIA數(shù)據(jù)庫中的檢測效果優(yōu)于LUV特征。

5.3整體的實驗效果

在DPM檢測部分使用作者訓(xùn)練好的INRIA模型，閾值T的取值范圍T∈(-1,-0.8,…,0.8)。然后對不同的可疑區(qū)間進(jìn)行對比。實驗表明，在RGB空間中，發(fā)現(xiàn)在可疑區(qū)間p=0時，效果最好，而在LUV空間中，p=-0.4效果最好。

實驗分別對比了p=-0.4的LUV空間和p=0的RGB空間在INRIA數(shù)據(jù)庫下的檢測效果。實驗結(jié)果表明，在LUV空間中，DPM-LUV的效果和DPM效果相差不是特別大，而在RGB空間中，DPM-RGB的效果相對傳統(tǒng)的DPM來說有了一定的進(jìn)步，如圖4和圖5所示。

圖4 整體的實驗效果對比

圖5 DPM和DPM-RGB在INRIA測試集上的實驗效果

6 結(jié)束語

文中分析了行人檢測中由于行人非剛性所造成的檢測難點，結(jié)合實驗效果較好的DPM算法和顏色空間的算法進(jìn)行行人檢測，分別在RGB空間和LUV空間設(shè)定不同的可疑區(qū)間進(jìn)行對比。實驗結(jié)果表明，在INRIA數(shù)據(jù)庫中，DPM-RGB的檢測效果取得了一定的提升，有效減少了False Positive,但是會增加少量的Miss。下一步將嘗試在RGB空間中使用不同的濾波進(jìn)行檢測以及對多決策條件進(jìn)行優(yōu)化。

[1] 賈慧星,章毓晉.車輛輔助駕駛系統(tǒng)中基于計算機(jī)視覺的行人檢測研究綜述[J].自動化學(xué)報,2007,33(1):84-90.

[2] 萬雪飛.基于雙人體可變形部件模型的深層人體檢測[D].大連:大連海事大學(xué),2016.

[3] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//IEEE computer society conference on computer vision and pattern recognition.Washington DC:IEEE,2005:886-893.

[4] 孫 昀,劉富強(qiáng),李志鵬.基于空間梯度直方圖的行人檢測算法[J].中國圖象圖形學(xué)報,2008,13(10):1825-1828.

[5] 黃 茜,顧杰峰,楊文亮.基于梯度向量直方圖的行人檢測[J].科學(xué)技術(shù)與工程,2009,9(13):3646-3651.

[6] 李夢涵,熊淑華,熊 文,等.多尺度級聯(lián)行人檢測算法的研究與實現(xiàn)[J].計算機(jī)技術(shù)與發(fā)展,2014,24(8):10-13.

[7] Felzenszwalb P F, Girshick R B,Mcallester D,et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.

[8] Jiménez P G,Bascón S M,Moreno H G,et al.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2D homographies[J].Signal Processing,2008,88(12):2943-2955.

[9] Dalal N.Finding people in images and videos[D].France:Institut National Polytechnique de Grenoble-INPG,2006.

[10] Wang Q,Pang J,Liu G,et al.Color maximal-dissimilarity pattern for pedestrian detection[C]//Proceedings of the 21st international conference on pattern recognition.[s.l.]:[s.n.],2012:1952-1955.

[11] Wang Q,Pang J,Qin L,et al.Justifying the importance of color cues in object detection:a case study on pedestrian[M].[s.l.]:[s.n.],2013:387-397.

[12] Serre T,Wolf L,Bileschi S,et al.Robust object recognition with cortex-like mechanisms[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,29(3):411-426.

[13] Wojek C,Dollar P,Schiele B,et al.Pedestrian detection:an evaluation of the state of the art[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2012,34(4):743-761.

[14] Chang C C,Lin C J.LIBSVM:a library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology,2011,2(3):1-27.

PedestrianDetectionBasedonPartModelandColorInformation

ZHAO Jin-jin，YAO Han-li，BAO Wen-xia

(School of Electronics and Information Engineering,Anhui University，Hefei 230601,China)

Pedestrian recognition is an emerging research in artificial intelligence and pattern recognition,and owns the extremely widespread application prospect.However,because the human body is a non-rigid body motion,it increases a lot of difficulty compared with ordinary objects detection.Deformable Part Model (DPM) algorithm has a good effect on pedestrian detection.On the basis of that,an improved algorithm for the traditional DPM is presented to makes up for the loss of color features in the pedestrian detection.Its thought is following:using the traditional DPM for detection of window,then judging whether the classification decision value belongs to the suspicious interval or not.If it does,the classifier based on RGB feature will make the further classification on characteristics,and the results are decided by the two decision values jointly.The experimental results in INRIA database show that the proposed algorithm can raise the detection accuracy without impact on detection speed,and provide the basis for further analysis of pedestrians in pictures or videos.

pedestrian detection;color space;deformable part model;suspicious interval;multiple decisions

2016-12-28

2017-04-28 < class="emphasis_bold">網(wǎng)絡(luò)出版時間

時間：2017-08-01

國家自然科學(xué)青年基金(61401001)

趙金金(1993-),男,碩士研究生,CCF會員(70493G),研究方向為圖像處理和計算機(jī)視覺；鮑文霞,副教授,通訊作者,研究方向為計算機(jī)圖形學(xué)和計算機(jī)視覺。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170801.1559.082.html

TP391

A

1673-629X(2017)11-0058-04

10.3969/j.issn.1673-629X.2017.11.012