史雙飛，張 震

(上海大學(xué) 機(jī)電工程與自動化學(xué)院，上海 200072)

0 引 言

人臉檢測與跟蹤一直都是計算機(jī)視覺領(lǐng)域的研究熱點，在視頻監(jiān)控、人機(jī)交互、運(yùn)動分析等視頻分析場景中應(yīng)用廣泛。人臉檢測作為第一步驟非常關(guān)鍵，它的目標(biāo)是找出圖像中所有人臉對應(yīng)的位置，并輸出人臉外接矩形在圖像中的位置。而人臉跟蹤則需要在視頻序列中實時確定已被檢測的人臉在后續(xù)幀中的運(yùn)動軌跡。目前為止，在簡單穩(wěn)定的環(huán)境中，人臉檢測與跟蹤已取得了較好的成果。而在實際人流量較大的復(fù)雜場景中，遮擋、尺度變化、光照變化、雜亂背景、人臉姿態(tài)及表情等仍會在很大程度上影響人臉檢測與跟蹤的效果，如何增強(qiáng)檢測跟蹤算法的魯棒性仍是研究的重點。

目前已有的人臉檢測算法分為基于知識和基于統(tǒng)計的方法[1]?；谥R的人臉檢測算法主要是利用人臉特征的先驗知識及規(guī)律來檢測人臉，包括眼睛、眉毛、嘴巴、鼻子等器官特征，各器官相互之間的幾何位置關(guān)系，人臉形狀、邊緣、紋理、膚色等特征。如建立YCbCr彩色空間的膚色模型[2]，利用人臉灰度特征和幾何特征來定位人臉的方法[3]等，這些方法雖然特征明顯，但易受光照、遮擋等外界因素干擾?；诮y(tǒng)計的人臉檢測算法是將人臉看作一個整體，根據(jù)統(tǒng)計學(xué)原理通過大量人臉圖像樣本構(gòu)造人臉模式空間，根據(jù)相似度量來判斷人臉是否存在。該方法主要通過機(jī)器學(xué)習(xí)算法訓(xùn)練大量人臉和非人臉樣本，從而得到表征人臉的有效分類器。常用方法有神經(jīng)網(wǎng)絡(luò)法[4-5]、支持向量機(jī)法[6]、AdaBoost算法[7-8]等，這類方法檢測精度更高，適應(yīng)性和魯棒性均有了很大提升，只是需要事先訓(xùn)練大量樣本，相較于實際應(yīng)用過程中的大量在線計算，文中傾向于后者，因此選擇AdaBoost算法進(jìn)行人臉檢測。

復(fù)雜場景中的多人臉跟蹤方法種類繁多，其中應(yīng)用較多的有：光流法[9]、Meanshift算法[10]、Camshift算法[11]、Kalman濾波[12]和粒子濾波算法[13]等。然而僅單獨使用這些傳統(tǒng)的跟蹤算法，不僅計算量大，魯棒性不夠，且不能在線學(xué)習(xí)，從而不能適應(yīng)跟蹤目標(biāo)的變化，因此需要將這些方法進(jìn)行組合或在此基礎(chǔ)上形成魯棒性較好且能在線學(xué)習(xí)新目標(biāo)的算法。文中采用一種MDP算法[14]，將在線多目標(biāo)跟蹤規(guī)劃成一個馬爾可夫決策過程(Markov decision processes)中的決策，將每個目標(biāo)的生命周期(從出現(xiàn)到消失)建模成一個MDP，即將目標(biāo)的出現(xiàn)和消失看作是MDP中的狀態(tài)轉(zhuǎn)移，然后使用現(xiàn)有的單目標(biāo)跟蹤方法來處理問題，可以泛化使用到各個場景的跟蹤中。

文中在原始MDP算法的基礎(chǔ)上，通過基于AdaBoost的Viola-Jones(VJ)[8]算法快速檢測人臉，將該結(jié)果作為MDP跟蹤算法的目標(biāo)檢測輸入，實現(xiàn)人臉自動檢測。同時，為了增強(qiáng)新算法的魯棒性，還在跟蹤過程中加入了Kalman濾波進(jìn)行運(yùn)動估計，從而更好地處理目標(biāo)ID分配錯誤的情況。

1 基于AdaBoost的VJ人臉檢測算法

人臉檢測作為人臉跟蹤的第一道工序，其準(zhǔn)確性將對后續(xù)人臉跟蹤系統(tǒng)的性能和穩(wěn)定性產(chǎn)生重大影響。人臉檢測的目的是為了獲取任務(wù)目標(biāo)人臉區(qū)域的位置、大小等信息，為后續(xù)的跟蹤奠定良好的基礎(chǔ)。文中主要利用基于AdaBoost的VJ算法[8]進(jìn)行人臉檢測。

VJ檢測算法的整體框架分成三個部分。

1.1 引入積分圖像計算目標(biāo)的類Haar特征

與使用像素來描述人臉相比，使用類Haar特征不僅包含一定領(lǐng)域的信息，且計算速度快，因而在人臉檢測算法中被大量使用。此外還引入積分圖計算類Haar特征，只需遍歷一次圖像便可求出圖像中所有區(qū)域的像素和。

1.2 采用Adaboost算法構(gòu)建分類器

VJ算法采用基于Adaboost的分類器學(xué)習(xí)方法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的弱分類器，將弱分類器相結(jié)合，從而構(gòu)成一個強(qiáng)分類器。為了提升弱分類器，在一次學(xué)習(xí)結(jié)束后，對錯誤分類的樣本通過增加其權(quán)重并重新學(xué)習(xí)以得到比上一次更好的分類器。具體步驟如下:

(1)給定人臉圖片(x1,y1),…,(xn,yn)，其中xi表示第i個樣本；yi=1表示正樣本(人臉)；yi=0表示負(fù)樣本(非人臉)。

(2)初始化樣本權(quán)值。

(1)

其中，m為正樣本數(shù)；n為負(fù)樣本數(shù)。

(3)首先，歸一化權(quán)值：

(2)

其中，t是迭代次數(shù)。

其次，對特征j，訓(xùn)練一個弱分類器hj，然后對每個特征生成的弱分類器計算權(quán)重誤差：

(3)

最后，選擇具有最小誤差εt的分類器ht疊加到強(qiáng)分類器中，并更新權(quán)值：

(4)輸出強(qiáng)分類器。

(4)

1.3 構(gòu)建級聯(lián)分類器

人臉檢測中，只靠一個強(qiáng)分類器還不足以保證檢測的正確率，需要一連串的強(qiáng)分類器聯(lián)合在一起來提高檢測正確率。文中利用篩選式級聯(lián)分類器，先將多個強(qiáng)分類器按復(fù)雜度排序，簡單的在前面，類似于一個決策樹，如圖1所示。第一個簡單而高效的分類器輸出True結(jié)果就會觸發(fā)同樣具有較高檢測率的第二個分類器對窗口圖像做出評價。以此類推，第二個分類器輸出True結(jié)果將觸發(fā)第三個分類器對窗口圖像做出評價。只要有一個分類器節(jié)點輸出False結(jié)果，直接認(rèn)為該窗口圖像不包含目標(biāo)物，從而拒絕該窗口。

圖1 級聯(lián)分類器模型

2 MDP跟蹤算法

2.1 MDP算法原理

基于MDP的跟蹤算法將在線的多目標(biāo)跟蹤問題規(guī)劃成MDP中的決策，為每一個目標(biāo)建立一個MDP模型，將目標(biāo)的出現(xiàn)到消失看作是MDP中的狀態(tài)轉(zhuǎn)移，并采用強(qiáng)化學(xué)習(xí)的方法學(xué)習(xí)相似數(shù)據(jù)的關(guān)聯(lián)性，然后使用現(xiàn)有的單目標(biāo)跟蹤方法來處理問題。

2.2 MDP的組成

用MDP來建模一個目標(biāo)的生命周期，包括四個部分：目標(biāo)的狀態(tài)集S、目標(biāo)可采取的動作A、狀態(tài)轉(zhuǎn)移函數(shù)T(描述各狀態(tài)進(jìn)行各動作后的影響)、實值獎勵函數(shù)r(描述在狀態(tài)s下執(zhí)行動作a的實時獎勵)。

圖2 目標(biāo)的MDP模型

MDP模型將目標(biāo)分為四個狀態(tài)：激活，跟蹤，丟失，休止。如圖2所示，當(dāng)VJ檢測器檢測出人臉，隨即進(jìn)入激活狀態(tài)，然后根據(jù)事先訓(xùn)練好的SVM分類器[15]判斷該目標(biāo)轉(zhuǎn)移到跟蹤或休止?fàn)顟B(tài)。處于跟蹤狀態(tài)的人臉目標(biāo)通過光流法及Kalman運(yùn)動估計繼續(xù)跟蹤，若人臉有遮擋或者離開相機(jī)的視野范圍導(dǎo)致目標(biāo)跟蹤失敗，則進(jìn)入丟失狀態(tài)。目標(biāo)處于丟失狀態(tài)時，先利用強(qiáng)化學(xué)習(xí)訓(xùn)練得到的二類SVM分類器，計算丟失目標(biāo)與VJ檢測器傳來的目標(biāo)之間的相似度分?jǐn)?shù)，然后通過匈牙利算法[16]獲得丟失狀態(tài)下的目標(biāo)集合與VJ檢測目標(biāo)集合間的最優(yōu)分配。根據(jù)分配，可以將丟失狀態(tài)的目標(biāo)和某些檢測目標(biāo)關(guān)聯(lián)，然后將其轉(zhuǎn)移到跟蹤狀態(tài)，否則就繼續(xù)保持丟失狀態(tài)。當(dāng)目標(biāo)處于丟失狀態(tài)超過一定的閾值幀數(shù)后，就將其轉(zhuǎn)移到休止?fàn)顟B(tài)，這是一個終結(jié)狀態(tài)，不能再進(jìn)行轉(zhuǎn)移。文中著重介紹跟蹤狀態(tài)下所采用的策略及其改進(jìn)方案。

2.3 MDP跟蹤狀態(tài)下的策略

在跟蹤狀態(tài)下，MDP主要決定目標(biāo)是繼續(xù)保持跟蹤狀態(tài)還是轉(zhuǎn)移到丟失狀態(tài)。若目標(biāo)無遮擋且還在相機(jī)視野內(nèi)，則保持跟蹤，否則轉(zhuǎn)移到丟失狀態(tài)。

2.3.1 光流計算

決策過程采用類似TLD跟蹤算法[17]，首先用檢測邊界框在線初始化目標(biāo)的外觀模型，構(gòu)建目標(biāo)模板，利用光流信息進(jìn)行跟蹤，以正反向誤差(forward-backward)作為評判標(biāo)準(zhǔn)。光流法用于計算兩幀圖像間對應(yīng)點的運(yùn)動矢量，即給定目標(biāo)模板I上的一點u=(ux,uy)，通過Lucas-Kanade方法[18]計算該點的光流找到新視頻幀J上的對應(yīng)點v=u+d，其中d=(dx,dy)是u處的光流。在計算了所有采樣點的正向光流之后，根據(jù)正反向誤差來判斷光流是否穩(wěn)定，即根據(jù)J幀的目標(biāo)檢測值v反向計算目標(biāo)模板I對應(yīng)點u的光流，獲得一個新的預(yù)測u'。若光流穩(wěn)定，則u和u'應(yīng)該彼此接近，因此一個點的正反向誤差可以用正反向預(yù)測之間的歐氏距離來表示：e(u)=‖u-u'‖2。若所有采樣點的FB的中值emedFB小于設(shè)置的閾值，則認(rèn)為跟蹤穩(wěn)定，反之則不穩(wěn)定。借此可以過濾掉不穩(wěn)定的點，并用剩下的匹配點形成一個新的邊界框，作為新的目標(biāo)位置，并且在跟蹤過程中，MDP會收集目標(biāo)的歷史模板，便于后續(xù)操作。

2.3.2 重疊區(qū)域計算

根據(jù)上述兩個指標(biāo)，可以得到特征表達(dá)式φTracked(s)=(emedFB,omean)，獎勵函數(shù)如下：

(5)

其中，e0和o0是指定的閾值。當(dāng)a=a3時，y(a)=+1；a=a4時，y(a)=-1。也就是說當(dāng)emedFB小于設(shè)定的閾值，omean大于設(shè)定閾值的時候，目標(biāo)會繼續(xù)保持跟蹤狀態(tài)，反之轉(zhuǎn)移到丟失狀態(tài)。

2.3.3 運(yùn)動估計

在實際應(yīng)用中，目標(biāo)處于運(yùn)動狀態(tài)且每個目標(biāo)的運(yùn)動方向是隨機(jī)的，因此若是目標(biāo)之間產(chǎn)生相對運(yùn)動導(dǎo)致交叉重疊，那將會產(chǎn)生目標(biāo)ID分配錯誤的情況，這是光流法的誤差遺留問題。于是文中在原來的基礎(chǔ)上引入了Kalman濾波，根據(jù)目標(biāo)的歷史信息來估算下一幀該目標(biāo)可能出現(xiàn)的位置，然后將光流估計得出的邊界框與運(yùn)動估計得出的邊界框進(jìn)行比較，判斷是否會出現(xiàn)反向，如果出現(xiàn)反向較大的情況，就認(rèn)為跟蹤失敗，該目標(biāo)應(yīng)處于丟失狀態(tài)。

(6)

其中，a為運(yùn)動目標(biāo)在該方向的加速度；Δt為采樣時間。其矩陣形式為：

(7)

則Kalman系統(tǒng)狀態(tài)方程如下：

xk=Axk-1+Buk-1+wk-1

(8)

其中，xk-1為狀態(tài)向量；A為轉(zhuǎn)換矩陣；B為系統(tǒng)參數(shù)；uk-1為系統(tǒng)輸入；wk-1為系統(tǒng)噪聲。

3 實驗測試與分析

為了驗證算法的有效性，文中進(jìn)行了8個不同場景的多人臉跟蹤實驗，并選擇3個指標(biāo)對該算法進(jìn)行評價，分別是多人臉跟蹤準(zhǔn)確度(MFTA)、多人臉跟蹤精度(MFTP)以及跟蹤速率(Hz)。實驗在Inter Core i5 CPU 1.6GHz和內(nèi)存8 G的PC機(jī)上進(jìn)行。

圖3分別展示了8個不同場景的視頻序列多人臉跟蹤的實驗結(jié)果，按順序分別是Crossing，Dance，Door，Elevator，Exercise，Lab，Road，Subway。可以看出，Dance，Elevator，Lab等場景較為簡單，且目標(biāo)人物基本都為正臉的情況下，人臉檢測與跟蹤的效果明顯比其他場景復(fù)雜、人臉姿態(tài)各異的跟蹤效果要好一些，且在目標(biāo)被遮擋后仍能繼續(xù)跟蹤。可見該算法對目標(biāo)人臉的跟蹤具有一定的魯棒性。

圖3 視頻序列的正臉檢測與跟蹤

表1 改進(jìn)算法的跟蹤性能

表1顯示了該算法的性能，除了Crossing和Subway兩個場景的準(zhǔn)確率稍低(推測可能是人臉與背景相似度較高，檢測器出現(xiàn)了誤檢)，總體來看，該算法基本可以穩(wěn)定地檢測并跟蹤場景內(nèi)的正臉目標(biāo)，其速率也能滿足應(yīng)用要求。

4 結(jié)束語

MDP算法是一種結(jié)合在線與離線學(xué)習(xí)的視覺跟蹤算法，在其基礎(chǔ)上，文中提出一種基于VJ人臉檢測優(yōu)化的MDP多目標(biāo)跟蹤算法，并且在跟蹤過程中使用光流法結(jié)合Kalman運(yùn)動估計來提高人臉跟蹤的準(zhǔn)確性和魯棒性。此外，對于沒有被跟蹤的VJ檢測目標(biāo)，會初始化一個MDP繼續(xù)跟蹤。該算法能夠有效適用于復(fù)雜場景中人臉目標(biāo)的穩(wěn)定跟蹤。