徐美華，龔露鳴，郭愛英，殷曉文

(1.上海大學(xué) 微電子研究與開發(fā)中心，上海 200072； 2.上海大學(xué) 機(jī)電工程與自動化學(xué)院，上海 200072)

行人檢測是機(jī)器視覺領(lǐng)域的主要組成部分，在智能監(jiān)控、輔助駕駛、人機(jī)交互等系統(tǒng)中有著廣泛應(yīng)用，一直都是學(xué)者研究的熱點(diǎn)課題[1].行人檢測的研究工作主要可以分為兩大部分： 特征提取和分類器訓(xùn)練.提取特征采用的算子稱為特征描述算子，它可以分為標(biāo)量特征、矢量特征和深度學(xué)習(xí)特征.

標(biāo)量特征具有計(jì)算速度快，實(shí)時性好等特點(diǎn)，典型的有Papageorgiou、Viola等[2-3]提出的Haar-like特征.該特征通過提取圖像中局部區(qū)域的灰度變化，并與積分圖、Adaboost分類算法等結(jié)合，實(shí)現(xiàn)行人檢測.Liu等[4]提出顏色通道結(jié)合Haar-like特征算法，優(yōu)化了檢測率和誤檢率.周書仁等[5]將局部二值模式(Local Binary Pattern, LBP)算子與Haar特征相結(jié)合，有效地降低了噪聲的影響，但多特征融合算子的實(shí)時性仍需進(jìn)一步完善.

矢量特征相較標(biāo)量特征具有一定的不變性，因而具有更強(qiáng)的描述能力，如SIFT特征[6]、HOG特征[7]、Shapelet特征[8]等.Lowe等[6]提出尺度不變性特征(Scale Invariant Feature Transform, SIFT)，該特征通過檢測器尋找局部圖像塊尺寸空間的關(guān)鍵點(diǎn)，借助霍夫投票算法確定行人位置，但該特征維度高，計(jì)算量大，實(shí)時性差.

Dalal等[7]提出的梯度方向直方圖(Histogram of Orientation Gradient, HOG)特征對光照變化和微小偏移量具有不敏感性，能有效刻畫人體的邊緣信息，但同時存在計(jì)算復(fù)雜，檢測速度慢，未利用顏色、紋理信息等缺點(diǎn).針對這些問題，近年來學(xué)者提出了許多其他[9-12]的行人特征，如ICF、ACF、DPM、3D GLOH等.

Felzenszwalb等[11,13]在HOG特征基礎(chǔ)上提出可變形部件模型(Deformable Part Model, DPM)特征.該算子通過低分辨率全局模型和高分辨率部件模型增強(qiáng)對特征的描述，提高了檢測的準(zhǔn)確率，但計(jì)算較為復(fù)雜.Yang等[14]將DPM與基于快速特征金字塔的聚合通道特征(Aggregated Channel Features, ACF)相結(jié)合，Cheng等[15]提出自動選擇與放置的部件模型(Mixture of Deformable Part Model, MDPM)，雖然都提高了檢測精度，但依舊無法滿足實(shí)時性要求.

Refregier等[8]提出Shapelet矢量梯度特征，對類別物體具有排他性和較強(qiáng)的判別能力，但同樣計(jì)算量大，實(shí)時性不高.

深度學(xué)習(xí)特征通過將低層特征組合成高層特征，具有優(yōu)異的特征學(xué)習(xí)性能和檢測性能，典型的算法有卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks, RNN)等，但由于算法復(fù)雜計(jì)算量大，同樣導(dǎo)致運(yùn)行時間長，實(shí)際應(yīng)用困難等問題[16].

綜上所述，針對現(xiàn)有算法存在的特征提取計(jì)算量大，實(shí)時性差等問題，本文提出了一種基于自適應(yīng)CtF DPM(Coarse-to-Fine Deformable Part Model)特征的快速行人檢測模型.該特征通過低分辨率根濾波器得分值與經(jīng)驗(yàn)閾值的比對情況，自適應(yīng)選取高分辨率部件濾波器的特征提取區(qū)域大小，同時通過同級約束關(guān)系增強(qiáng)同分辨率層的特征相關(guān)性，最后與隱式支持向量機(jī)(Latent Support Vector Machine, LSVM)結(jié)合并與其他特征提取方法進(jìn)行比對，實(shí)驗(yàn)結(jié)果證明了本文的優(yōu)越性.

1 相關(guān)算法簡介及整體計(jì)算量開銷分析

由于深度學(xué)習(xí)算法目前較難實(shí)現(xiàn)實(shí)際應(yīng)用，因此本文主要介紹目前在行人檢測方面具有較大優(yōu)勢的DPM行人特征提取模型.對DPM理論模型進(jìn)行計(jì)算量開銷分析可知，DPM特征提取的關(guān)鍵開銷在于每個濾波器得分的計(jì)算，而非根濾波器和部件濾波器的匹配過程.

1.1 DPM行人特征提取模型

可變形部件模型主要由一個可覆蓋行人整體輪廓的低分辨率根濾波器和n個可描述行人細(xì)節(jié)信息的高分辨率部件濾波器組成.一個檢測窗口中，DPM的得分是由根濾波器得分加上各部件濾波器的得分，再減去變形花費(fèi)得到，而所有濾波器的得分都是濾波器參數(shù)與特征金字塔中HOG特征向量的點(diǎn)積運(yùn)算.

假設(shè)通過該模型描述的某個檢測目標(biāo)共有n個部件，則定義一個根濾波器為F0，一系列部件濾波器為(P1,…,Pn)，Pi=(Fi,vi,di)，其中：Fi表示第i個部件濾波器；vi是一個二維向量，表示第i個部件濾波器的錨點(diǎn)位置(即形變前的位置)相對于根濾波器的坐標(biāo)；di是一個四維向量，它定義了部件發(fā)生形變時，相對于錨點(diǎn)位置的變形花費(fèi).用H表示HOG特征金字塔，z=(p1,…,pn)表示HOG金字塔中的位置，pi=(xi,yi,li)表示位于金字塔第l層的格單元，φ(H,pi,w,h)表示以pi為左上角格單元，w為寬，h為高的矩形區(qū)域，按固定次序連接而成的HOG特征向量.當(dāng)i=0時，該模型為根濾波器.故，DPM的計(jì)算得分為：

(1)

(2)

其中：b為偏移量；φd(dx,dy)為形變特征；(dxi,dyi)為部件i相對于錨點(diǎn)的位置.同時，每個根濾波器的綜合得分來自于各個部件濾波器的最優(yōu)位置得分：

(3)

在將根濾波器與部件濾波器進(jìn)行匹配前，需要先計(jì)算各濾波器的響應(yīng)值.記部件i在特征金字塔第l層的響應(yīng)值為Ri,l(x,y)=Fi·φ(H,(x,y,l)).隨后將各部件濾波器進(jìn)行空間變換：

(4)

該變換不僅將濾波器擴(kuò)展到鄰近位置，同時也考慮了變形花費(fèi).Di,l(x,y)表示第i個部件從錨點(diǎn)位置變換到l層(x,y)位置時對根濾波器得分貢獻(xiàn)最大的響應(yīng)值，可以通過廣義距離變換算法，在線性時間內(nèi)從Ri,l中計(jì)算得到.所以，每一層根濾波器的綜合得分可以用該層根濾波器響應(yīng)值加上變換后的部件濾波器響應(yīng)值表示：

(5)

λ表示部件濾波器為了到達(dá)根濾波器所在層的兩倍分辨率層而需要在特征金字塔中往下走的層數(shù)，另外，在計(jì)算Di,l的過程中，還能同時計(jì)算部件濾波器的最佳位置：

(6)

找到高分根位置(x0,y0,l0)后，可在Pi,l0-λ(2(x0,y0)+vi)中對應(yīng)的查找部件的最佳位置.

1.2 計(jì)算量開銷分析

假設(shè)一個圖像的總像素為A，并且所有的部件都可以進(jìn)行縮放和旋轉(zhuǎn).為了計(jì)算一個部件所有可能的位置，A需要乘上不同的系數(shù)，這將導(dǎo)致A變得非常大.即使用最簡單的樹形拓?fù)浣Y(jié)構(gòu)計(jì)算開銷，基于子部件的運(yùn)算開銷依然可達(dá)到O(PA2)，但這并不代表DPM中所有部件的運(yùn)算開銷，主要原因如下[17]：

圖1 各部件與圖像匹配開銷Fig.1 Cost of matching parts with image

(1)O(PA2)僅代表尋找部件最優(yōu)位置的運(yùn)算開銷，而忽略了每個部件與圖像的匹配開銷，如圖1所示.但部件的匹配通常需要對每個部件濾波器的可能位置進(jìn)行響應(yīng)計(jì)算，假設(shè)濾波器的維數(shù)為D，則響應(yīng)計(jì)算的開銷為O(D)，整體操作的總開銷為O(PA(D+A)).

(2) 考慮到特征步長為α，那么部件只能在圖像中的離散位置出現(xiàn)，故部件可能存在的位置有A/α2個，總開銷：

2 自適應(yīng)CtF DPM行人特征提取

自適應(yīng)CtF DPM行人特征提取首先通過比較低分辨率層根濾波器得分情況與經(jīng)驗(yàn)閾值的關(guān)系，實(shí)現(xiàn)高分辨率層部件濾波器特征提取區(qū)域大小的自動選取，減少DPM運(yùn)算量，然后，為避免待檢測目標(biāo)發(fā)生形變，進(jìn)一步引入同級約束關(guān)系，以增強(qiáng)同分辨率層的特征相關(guān)性.

2.1 閾值劃分與鄰域選取

圖2 不同分辨率層的父-子關(guān)系Fig.2 Parent-child relationship of different resolution layers

DPM是一種多分辨率下的行人特征提取.為了提高運(yùn)算速度，可以考慮根據(jù)不同分辨率下像素間的繼承關(guān)系進(jìn)行簡化.這種繼承關(guān)系包含兩個方面： 一方面，在圖像特征金字塔中，兩個不同的物體在圖像中應(yīng)占據(jù)不同的圖像空間；另一方面，不同分辨率下的同一像素點(diǎn)之間存在父-子關(guān)系，譬如金字塔層的最上層是中間層的父節(jié)點(diǎn)，中間層是最下層的父節(jié)點(diǎn). 如圖2所示，最上層、中間層、最底層分別表示不同分辨率下的檢測窗口，綠色部分表示可能存在檢測目標(biāo)的位置.可以發(fā)現(xiàn)，按照傳統(tǒng)DPM的運(yùn)算方式，運(yùn)算到最底層時，待進(jìn)行特征提取的區(qū)域大小將會是最上層同區(qū)域的16倍，這無疑極大地增加了運(yùn)算量和特征提取時間.

圖3 濾波器得分與閾值劃分Fig.3 Filter score and threshold division

由經(jīng)驗(yàn)可知，低分辨率下根濾波器的最優(yōu)得分即是部件濾波器的最優(yōu)得分位，同時也是最有可能存在行人的位置.按照上述假設(shè)，對根濾波器得分以及最終檢測結(jié)果的準(zhǔn)確率進(jìn)行統(tǒng)計(jì)，結(jié)果如圖3(見第456頁)所示.可以看到，當(dāng)根濾波器得分為0.5時，最終檢測結(jié)果的準(zhǔn)確率可達(dá)85%以上，當(dāng)根濾波器得分約為0.7時，最終檢測結(jié)果的準(zhǔn)確率與根濾波器檢測準(zhǔn)確率基本一致.表1比較了不同閾值與鄰域下的檢測準(zhǔn)確率情況，根濾波器所在層圖像分辨率較低，而在準(zhǔn)確度不高的情況下選取較大的鄰域，則意味著計(jì)算過程更趨復(fù)雜.因此，取T1=0.3、T2=0.5和T3=0.7這3個閾值，將根濾波器得分曲線分為4部分，并按根濾波器實(shí)際得分值自適應(yīng)地選取部件濾波器計(jì)算區(qū)域： 3×3鄰域、4×4鄰域和5×5鄰域，具體自適應(yīng)鄰域選取方式如圖4所示.

表1 不同閾值與鄰域?qū)z測準(zhǔn)確率的影響

圖4 部件濾波器自適應(yīng)鄰域選取Fig.4 Adaptive neighborhood selection of part filters

2.2 同級約束

與DPM類似，自適應(yīng)CtF DPM特征提取也包含隱式函數(shù).假設(shè)自適應(yīng)CtF DPM特征提取的根濾波器所在層(最上層)中，僅存在一個包含有w×h個格單元的31維HOG濾波器.那么在下一分辨率層(中間層)中，該層的分辨率將是根濾波器所在層分辨率的2倍，同時該濾波器將被分成4個子部件，即包含有4個w×h的31維HOG濾波器.以此類推，最底層中，則包含有16個w×h的31維HOG濾波器.用Yi(i=1,2,…,P)表示P個目標(biāo)部件的位置，Yi=(xi,yi)，輸入圖像X，那么部件位置Y的得分可看成是所有直觀項(xiàng)得分和變形項(xiàng)得分的總和：

(7)

其中：F表示父-子關(guān)系；P表示同級隱式關(guān)系；w表示用于進(jìn)行模型訓(xùn)練的模型參數(shù)向量；SHi(Yi;X,w)=H(Yi;X)·MHi(w)表示圖像位置Yi與第i個部件之間的關(guān)系，H(Yi;X)表示圖像X上Yi處的HOG特征，MHi(w)表示從參數(shù)向量w中提取一部分并編碼給第i個部件的濾波器參數(shù)；SFij(Yi,Yj;w)=D(2Yi,Yj)·MFi(w)表示層分辨率相差兩倍及以上時，子節(jié)點(diǎn)Yj相對于父節(jié)點(diǎn)Yi的偏離懲罰，D(2Yi,Yj)=[(2xi-xj)2,(2yi-yj)2]，MFi(w)表示來自參數(shù)向量w的變形系數(shù)；SPij(Yi,Yj;w)=D(Yi,Yj)·MPij(w)表示位于同一分辨率層上的同級間形變，D(Yi,Yj)=[(xi-xj)2,(yi-yj)2].另外，二次變形花費(fèi)可能受限于Yj∈Cj+2Yi的父子關(guān)系約束，Cj+2Yi表示父節(jié)點(diǎn)位置2Yi周圍k×k的鄰域.

如果自適應(yīng)CtF DPM特征提取中，不存在同級隱式關(guān)系，那么該模型就會隨著分辨率的改變，導(dǎo)致模型不健壯，將會出現(xiàn)如圖5所示的圖形多模糊現(xiàn)象.

盡管隨著模型幾何尺寸的改變，同級關(guān)系的復(fù)雜性也會隨之改變，但是這種同級關(guān)系可以視每一個部件濾波器與圖像的匹配情況而定.相較于采取固定的閾值，本方法采用經(jīng)驗(yàn)閾值和自適應(yīng)的計(jì)算空間域選取進(jìn)行相關(guān)操作.引入同分辨率下的同級約束關(guān)系，主要是將經(jīng)過不同特征提取的區(qū)域進(jìn)行相應(yīng)的約束，提高特征提取的關(guān)聯(lián)性.自適應(yīng)CtF DPM行人特征提取完整過程如圖6所示.

圖5 有同級約束與無同級約束可視化圖Fig.5 Visualization of with or without same layer constraint

圖6 自適應(yīng)CtF DPM行人特征提取流程圖Fig.6 Flow of adaptive CtF DPM pedestrian feature extraction

3 基于自適應(yīng)CtF DPM特征提取的快速行人檢測模型及性能測試

本文在自建Shu Dataset數(shù)據(jù)庫中對自適應(yīng)CtF DPM特征提取效果進(jìn)行理論測試，并比較了有無同級約束下自適應(yīng)CtF DPM特征提取得分和耗時情況.同時將本特征提取算法與其他多種算法在INRIA行人庫中進(jìn)行每張圖中錯誤正例出現(xiàn)的頻率(False Positive Per Image, FPPI)性能測試，最后在實(shí)際道路環(huán)境下對自適應(yīng)CtF DPM行人檢測模型進(jìn)行測試.

3.1 自適應(yīng)CtF DPM快速行人檢測模型

自適應(yīng)CtF DPM快速行人檢測模型由自適應(yīng)CtF DPM行人特征提取和隱式支持向量機(jī)(Support Vector Machine, SVM)[13]兩部分構(gòu)成，具體工作流程如圖7所示.

圖7 自適應(yīng)CtF DPM行人檢測模型流程圖Fig.7 Flow of adaptive CtF DPM pedestrian detection model

首先對輸入的圖像進(jìn)行特征提取和低分辨率層的根濾波器得分計(jì)算，接著根據(jù)圖4根濾波器得分值和閾值劃分，自適應(yīng)的選取部件濾波器的計(jì)算區(qū)域；隨后，根據(jù)自適應(yīng)CtF DPM的特征提取結(jié)果，結(jié)合隱式SVM對其進(jìn)行分類，并在輸出圖像中對行人區(qū)域進(jìn)行標(biāo)記.

3.2 自適應(yīng)CtF DPM模型理論性能測試

為更符合國內(nèi)道路的行駛情況，本文將自適應(yīng)CtF DPM特征提取算法在自建Shu Dataset數(shù)據(jù)庫中進(jìn)行測試，選取其中連續(xù)4幀圖像，測試結(jié)果如圖8所示.紅色表示低層根濾波器的特征提取區(qū)域，綠色表示中間層提取區(qū)域，藍(lán)色表示頂層提取區(qū)域，可以看出，自適應(yīng)CtF DPM可以較好地對行人進(jìn)行特征提取.

自適應(yīng)CtF DPM中，同分辨率層的各部件之間需要引入同級約束關(guān)系以保障物體不發(fā)生形變.因此，分別引入DPM以及有同級約束和無同級約束的自適應(yīng)CtF DPM進(jìn)行性能比較.將這些模型對Shu Dataset數(shù)據(jù)庫中的1000幅圖像依次進(jìn)行特征提取得分統(tǒng)計(jì)，比較情況如圖9所示.橫坐標(biāo)表示自適應(yīng)CtF DPM的得分情況，縱坐標(biāo)表示傳統(tǒng)DPM的得分情況；綠線表示理想情況下的得分情況，黃線表示實(shí)際的得分情況.可以看到，引入同級約束后，自適應(yīng)CtF DPM的性能確實(shí)有明顯的改善.

考慮到同級約束對自適應(yīng)CtF DPM特征提取速度的影響，本文將有同級約束和無同級約束的自適應(yīng)CtF DPM分別對同一圖像進(jìn)行特征提取，其特征提取耗時分別為0.017s和0.014s.雖然引入的同級約束對特征提取時間造成一定的增加，但其特征提取的速度依然可以作為實(shí)時行人特征提取算子.

圖8 自適應(yīng)CtF DPM各層特征提取區(qū)域圖Fig.8 Adaptive CtF DPM feature extraction area for each layer

圖9 有無同級約束關(guān)系DPM得分情況Fig.9 DPM scores of with or without same layer constraint

為了評估自適應(yīng)CtF DPM特征提取性能，本文引入VJ[18],HOG+線性SVM[7],HOG LBP[19],LatSVM-V1[11],LatSVM-V2[11],FPDW[20],CrossTalk[21]等多種特征提取算法，并采用FPPI進(jìn)行性能分析.其特征提取是在Visual Studio 2012環(huán)境下使用C語言實(shí)現(xiàn)，檢測使用的PC機(jī)配置如下： HP p6709cx Desktop PC; Dual Core Pentium E5700 @ 3.00GHz;4G內(nèi)存.性能測試采用的行人數(shù)據(jù)庫為： INRIA行人庫中檢測庫2000個圖片，最終得到FPPI性能曲線如圖10所示.可以看到，自適應(yīng)CtF DPM較其他特征提取算法具有一定優(yōu)勢.

圖10 不同算法FPPI性能圖Fig.10 FPPI performance of different algorithms

3.3 實(shí)際情況下的自適應(yīng)CtF DPM模型測試

為了驗(yàn)證自適應(yīng)CtF DPM模型的實(shí)際行人檢測能力，本文將該模型在Shu Dataset數(shù)據(jù)庫進(jìn)行測試，部分測試結(jié)果如圖11所示.圖(a)～(f)分別顯示了不同特殊檢測環(huán)境下的行人檢測結(jié)果.可以看到，當(dāng)待檢測圖像中行人較少且遮擋粘連較輕微的情況下，如圖(a)～(c)，自適應(yīng)CtF DPM檢測模型能很好的對行人進(jìn)行標(biāo)注；而當(dāng)行人存在形變或粘連遮擋較為嚴(yán)重時，如圖(d)～(f)，自適應(yīng)CtF DPM檢測模型能對特征明顯的行人進(jìn)行高效的標(biāo)注，但在被遮擋的行人識別這塊仍有待加強(qiáng).

圖11 自適應(yīng)CtF DPM模型實(shí)際檢測情況Fig.11 Actual detection of adaptive CtF DPM model

此外，亦將該模型在CVC-02、Daimler和Caltech等數(shù)據(jù)庫中進(jìn)行準(zhǔn)確率比較，比較結(jié)果如表2所示.Caltech數(shù)據(jù)庫中雖然行人個數(shù)較少，但存在較多的障礙物干擾，校測難度較大.總體來看，檢測準(zhǔn)確率在各行人數(shù)據(jù)庫中均能穩(wěn)定在80%以上，可見自適應(yīng)CtF DPM模型在行人檢測上具有較為理想的效果.

4 結(jié) 論

本文提出一種基于自適應(yīng)CtF DPM特征提取的快速行人檢測模型.首先，該模型對計(jì)算得到的低分辨率根濾波器得分進(jìn)行閾值比較，自動選取高分辨率層的行人特征提取空間，以減少特征提取計(jì)算量和提取時間；其次，為了提高同分辨率層的特征相關(guān)性，引入同級約束關(guān)系；隨后，將該特征提取方法與隱式SVM相結(jié)合，并與其他特征提取方法在INRI數(shù)據(jù)庫中進(jìn)行檢測準(zhǔn)確性比較；最后，將該模型在實(shí)際道路環(huán)境下進(jìn)行測試.理論性能和實(shí)際測試結(jié)果表明，在保證檢測性能的前提下，該方法能將特征提取速度壓縮至十幾毫秒，極大的縮短行人特征提取的時間.