付紅杰 ，劉 悅 ，王青正

（1．開封大學(xué) 信息工程學(xué)院，河南 開封 475004；2．開封市公共安全信息化工程技術(shù)研究中心，河南 開封 475004；3．上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240）

0 引言

交通場(chǎng)景視頻中對(duì)行人目標(biāo)的快速檢測(cè)是當(dāng)前人工智能領(lǐng)域比較重要的研究方向之一.基于ACF聚合通道特征對(duì)視頻中的行人進(jìn)行檢測(cè)，效果較好，因此很多學(xué)者對(duì)其進(jìn)行研究，以期不斷改進(jìn)ACF特征，進(jìn)行視頻圖像的快速行人檢測(cè).但是，基于ACF特征的行人檢測(cè)方法存在漏檢率高、漏檢窗口過(guò)多等問(wèn)題.對(duì)此，學(xué)者們采用了多特征融合、深度學(xué)習(xí)框架、級(jí)聯(lián)、卷積神經(jīng)網(wǎng)絡(luò)等諸多方法，來(lái)彌補(bǔ)ACF特征帶來(lái)的檢測(cè)缺陷.陳光喜等人[1]基于聚合通道特征和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行行人檢測(cè)，但是，基于圖像數(shù)據(jù)集進(jìn)行的實(shí)驗(yàn)，對(duì)實(shí)際交通場(chǎng)景視頻圖像中的行人檢測(cè)來(lái)說(shuō)，其應(yīng)用性不強(qiáng).王世芳等人[2]設(shè)計(jì)實(shí)現(xiàn)了基于特征金字塔的快速行人檢測(cè)方法，計(jì)算關(guān)鍵尺度下聚合通道特征反映的圖像的梯度信息和顏色信息，用AdaBoost算法訓(xùn)練二階決策樹，構(gòu)成行人分類器，在進(jìn)行行人檢測(cè)時(shí)，按照預(yù)定的步長(zhǎng)滑窗，遍歷每個(gè)尺度上的聚合通道特征，獲得檢測(cè)塊，將檢測(cè)塊作為訓(xùn)練好的級(jí)聯(lián)分類器的輸入，利用非極大值抑制，對(duì)行人候選窗進(jìn)行二次篩選，輸出最后的行人檢測(cè)框.在他們的方法下，計(jì)算量比較大.該方法比較適合嵌入式環(huán)境，在硬件一般的應(yīng)用場(chǎng)景下，效果不佳.目前來(lái)看，經(jīng)典的行人檢測(cè)算法都存在一定的限制[3-6]，比如應(yīng)用場(chǎng)景單一、不能排除噪聲的干擾、出現(xiàn)形變行人導(dǎo)致無(wú)法檢測(cè)或者漏檢錯(cuò)檢、在視頻圖像中行人出現(xiàn)并排情況或者錯(cuò)過(guò)的時(shí)候系統(tǒng)容易合并目標(biāo)檢測(cè)框等.本文擬著重解決行人目標(biāo)出現(xiàn)形變以及行人目標(biāo)漏檢錯(cuò)檢的問(wèn)題，并對(duì)檢測(cè)方法加以改進(jìn).本文擬從ACF算法入手，結(jié)合比較適合視頻處理的金字塔理論，設(shè)計(jì)實(shí)現(xiàn)基于形變金字塔聚合通道特征DP-ACF的快速視頻行人檢測(cè)方法．

1 基于DP-ACF的行人快速檢測(cè)方法

基于DP-ACF的快速檢測(cè)方法的基本算法流程是：特征提取→特征金字塔構(gòu)造→特征矢量合成→特征分類→非極大值抑制窗口融合.如圖1所示.

圖1 行人檢測(cè)算法流程圖

ACF特征是一個(gè)經(jīng)典的聚合通道特征，它融合了多個(gè)通道（如顏色通道、梯度通道等）的圖像信息，因此可以較為準(zhǔn)確地表征行人目標(biāo).聚合通道特征主要包含10個(gè)通道（3個(gè)顏色通道、6個(gè)梯度方向通道以及1個(gè)梯度幅值通道）特征的信息.聚合通道特征如圖2所示.

圖2 聚合通道特征示意圖

目前，很多算法不能有效平衡檢測(cè)目標(biāo)的準(zhǔn)確性和魯棒性指標(biāo)[7-9].本文主要研究的是：基于劃分形變區(qū)域和金字塔池化后的形變金字塔聚合通道特征DP-ACF，對(duì)行人目標(biāo)進(jìn)行檢測(cè).改進(jìn)的DP-ACF特征能夠提高行人檢測(cè)結(jié)果的魯棒性，改進(jìn)的聚合通道特征能夠在一定閾值范圍內(nèi)成功識(shí)別形變后的行人目標(biāo)，能夠提高行人檢測(cè)器的識(shí)別精準(zhǔn)度.在本文中，提取改進(jìn)的DP-ACF特征需要?jiǎng)澐中巫儏^(qū)域、金字塔池化以及向量化表示三個(gè)關(guān)鍵步驟.通過(guò)察看不同的交通場(chǎng)景視頻可知，行人目標(biāo)的形變都在一定范圍內(nèi)，還是可以與其他運(yùn)動(dòng)目標(biāo)區(qū)分開的，因此，可以進(jìn)行區(qū)域劃分，劃出感興趣區(qū)域以及檢測(cè)區(qū)域.如果在形變區(qū)域內(nèi)行人目標(biāo)的局部出現(xiàn)形變，則進(jìn)行區(qū)域校正，將出現(xiàn)形變的新區(qū)域劃進(jìn)來(lái).以后，不論哪個(gè)行人目標(biāo)出現(xiàn)局部形變，都可以進(jìn)行區(qū)域包含，這樣一來(lái)，行人檢測(cè)的誤差就會(huì)減小很多.對(duì)于一個(gè)像素分布為64＊128的數(shù)字圖像，本文所容許的形變區(qū)域范圍是32＊32，并且要用步長(zhǎng)為16的通道特征對(duì)形變區(qū)域進(jìn)行劃分，因此每個(gè)特征通道都可以被劃分出21個(gè)擬形變區(qū)域.

設(shè)S為形變區(qū)域的總塊數(shù)，用xij表示2＊2層的每一個(gè)塊的值.其中，j=1…M，M為金字塔的該層的塊數(shù).用f、g分別表示特征提取函數(shù)和池化函數(shù).那么，運(yùn)用本文算法求得的第i個(gè)形變區(qū)域的金字塔特征DPFi可以用公式1表示：

其中，F(xiàn)z是第z個(gè)塊池化之后的特征，均值池化之后得到的S個(gè)特征就是那個(gè)形變區(qū)域的特征.接下來(lái)，就是對(duì)劃分后的圖像的形變區(qū)域的通道特征進(jìn)行金字塔均值池化處理，也就是說(shuō)，將N個(gè)形變區(qū)域的通道特征按順序連接起來(lái)，最后提取的特征向量就是DP-ACF特征.通過(guò)以上步驟提取出來(lái)的行人特征，保留了低尺度的行人局部特征信息，可以讓我們很快檢測(cè)到行人目標(biāo)；還包含了高尺度的基于區(qū)域劃分的圖像空間特征，能夠適應(yīng)視頻圖像的形變情況.視頻行人檢測(cè)和跟蹤算法中，常用NMS非極大值抑制方法對(duì)漏檢進(jìn)行處理.不同于面對(duì)靜態(tài)圖像，對(duì)視頻中的行人進(jìn)行檢測(cè)時(shí)，總會(huì)出現(xiàn)一些漏檢錯(cuò)檢的情況.察看視頻圖像中的相鄰幀可知，行人的大小和位置并沒(méi)有出現(xiàn)特別明顯的變化.但是，總會(huì)出現(xiàn)行人目標(biāo)沒(méi)被檢測(cè)出來(lái)或者檢測(cè)結(jié)果不符合行人大小等情況.針對(duì)此類問(wèn)題，本文采用一種基于時(shí)間尺度比的非極大值抑制方法來(lái)解決.這是一種改進(jìn)的非極大值抑制方法，即在時(shí)間變化軸上再進(jìn)行一次檢測(cè)，讓行人目標(biāo)的檢測(cè)結(jié)果在尺度上連續(xù)，如果位置變化不大，則維持原來(lái)的檢測(cè)窗口.這樣做，能夠有效減少漏檢錯(cuò)檢的情況發(fā)生.

2 仿真實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)主要是為了驗(yàn)證傳統(tǒng)的ACF特征和改進(jìn)的DP-ACF特征在視頻行人檢測(cè)性能上的差異.首先，進(jìn)入INRIA行人數(shù)據(jù)庫(kù)，將基于兩種特征檢測(cè)的ROC曲線拿來(lái)進(jìn)行對(duì)比.如圖3所示，改進(jìn)的DP-ACF特征在漏檢率方面的走勢(shì)優(yōu)于傳統(tǒng)的ACF特征，這也能證明改進(jìn)聚合通道特征的有效性.

圖3 兩種特征的檢測(cè)性能對(duì)比

接下來(lái)，從INRIA數(shù)據(jù)庫(kù)中，將兩種特征在行人檢測(cè)時(shí)間和漏檢率上的數(shù)據(jù)調(diào)出進(jìn)行對(duì)比.如表1所示，雖然在檢測(cè)速度上慢了大約10%，但是在漏檢率方面，改進(jìn)的DP-ACF特征比傳統(tǒng)的ACF特征減少了2．8%，表現(xiàn)很好，在改進(jìn)的DP-ACF特征條件下，檢測(cè)準(zhǔn)確率得到較大幅度的提升.

表1 兩種特征在檢測(cè)時(shí)間和漏檢率上的對(duì)比

為了直觀地顯示兩個(gè)特征在檢測(cè)效果上的差異，本文在INRIA數(shù)據(jù)庫(kù)中選擇了一些圖像進(jìn)行比較．檢測(cè)結(jié)果表明，采用基于DP-ACF特征的檢測(cè)方法，能檢測(cè)出形變區(qū)域較大的行人．如圖4所示．

圖4 行人檢測(cè)效果示意圖

3 結(jié)論

在視頻行人檢測(cè)方面，存在行人變形所造成的殘留問(wèn)題．本文首先研究了提取特征不同的檢測(cè)模型對(duì)行人檢測(cè)器性能的影響，然后設(shè)計(jì)實(shí)現(xiàn)了基于形變金字塔聚合通道特征的快速視頻行人檢測(cè)方法．與傳統(tǒng)的聚合通道特征相比，在模型訓(xùn)練和檢測(cè)過(guò)程中，改進(jìn)的聚合通道特征的選擇更加靈活，在對(duì)行人變形的檢測(cè)方面具有更強(qiáng)的魯棒性．實(shí)驗(yàn)證明了該方法的有效性．