李海豐，姜子政，范龍飛，陳新偉

（1.中國(guó)民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300；2.閩江學(xué)院福建省信息處理與智能控制重點(diǎn)實(shí)驗(yàn)室，福州 350121）

隨著中國(guó)經(jīng)濟(jì)的高速發(fā)展和人口的不斷增加，公共場(chǎng)所的安防問(wèn)題日益突出，對(duì)機(jī)場(chǎng)、車站等公共場(chǎng)所中群體行為的監(jiān)測(cè)非常重要，突發(fā)群體異常行為會(huì)給人民生命和財(cái)產(chǎn)帶來(lái)極大的損失，因此群體突發(fā)異常事件檢測(cè)有著非常重要的應(yīng)用價(jià)值。

近年來(lái)，隨著計(jì)算機(jī)視覺(jué)領(lǐng)域的不斷發(fā)展，國(guó)內(nèi)外學(xué)者已經(jīng)在群體異常行為檢測(cè)方面取得了一定成果。如Mehran 等[1]采用社會(huì)力模型構(gòu)建局部時(shí)空立方體對(duì)群體異常行為進(jìn)行檢測(cè)；Xiong 等[2]采用能量模型對(duì)群體異常行為進(jìn)行檢測(cè)；Raghavendra 等[3]通過(guò)粒子群優(yōu)化算法來(lái)檢測(cè)群體異常行為，該方法可對(duì)擴(kuò)散、定向移動(dòng)等典型群體異常行為進(jìn)行檢測(cè)；Chan 等[4]使用隱馬爾可夫模型（HMM,hidden Markov model）可以避免定義大量的正常行為，提高了檢測(cè)效率；Chen 等[5]提出利用人群加速度特征在異常情況下產(chǎn)生突變的特點(diǎn)來(lái)檢測(cè)人群的異常行為。這些算法主要提取群體的全局特征分析空間上的特征變化，缺乏人群在時(shí)間角度上行為變化的信息關(guān)聯(lián)，將人群空間特征與時(shí)間特征的變化信息融合是群體異常事件檢測(cè)的一個(gè)重要思路。Wang 等[6]提出基于時(shí)空體特征的群體異常檢測(cè)算法，該算法能夠分析群體在空間和時(shí)間上行為狀態(tài)的變化情況，但由于時(shí)空體特征維度較高，對(duì)運(yùn)動(dòng)平緩的群體異常行為檢測(cè)效果并不明顯。目前方法中并沒(méi)有對(duì)事件源位置進(jìn)行定位的處理。一旦突發(fā)群體異常事件，掌握突發(fā)事件的事件源位置信息對(duì)事故現(xiàn)場(chǎng)的資源分配、人員調(diào)度、應(yīng)急策略的制定與實(shí)施都有著極高的參考價(jià)值，因此對(duì)事件源實(shí)時(shí)定位是群體突發(fā)異常事件檢測(cè)問(wèn)題的重要部分。Sabokrou等[7]將視頻數(shù)據(jù)處理成若干互不重疊的立方塊，可對(duì)場(chǎng)景中出現(xiàn)行為異常的物體進(jìn)行定位，但該方法僅能對(duì)單個(gè)異常行為的行人定位，并不能對(duì)事件源的位置進(jìn)行定位；Duan 等[8]采用混合動(dòng)態(tài)紋理模型綜合了時(shí)域與空域的影響，達(dá)到了較高的檢測(cè)率，但該方法并不能精確地判斷出事件源的具體方位，亦不能實(shí)時(shí)跟蹤事件源位置的持續(xù)變化。

為解決上述問(wèn)題，提出一種群體突發(fā)異常事件檢測(cè)與事件源定位算法，分為群體異常行為檢測(cè)和事件源實(shí)時(shí)定位兩個(gè)階段。

1 算法概述

所提算法可對(duì)事件源進(jìn)行較為準(zhǔn)確的定位，同時(shí)提高了對(duì)異常事件的檢測(cè)效率，對(duì)機(jī)場(chǎng)、車站等公共場(chǎng)所的安全監(jiān)控具有較為現(xiàn)實(shí)的意義。

1.1 算法流程

第1 階段從空間、時(shí)間兩個(gè)角度進(jìn)行聯(lián)合檢測(cè)，首先從空間角度提取前景圖像的光流幅值直方圖，進(jìn)一步提取平均動(dòng)能分布直方圖特征來(lái)反映群體的運(yùn)動(dòng)狀態(tài)，并采用支持向量機(jī)（SVM，support vector machine）模型進(jìn)行檢測(cè)；其次，從時(shí)間角度，由于“異常事件總是發(fā)生在某一連續(xù)的時(shí)間段內(nèi)”，即當(dāng)前場(chǎng)景中的人群行為只依賴于時(shí)間上臨近的人群行為與人群的歷史行為無(wú)關(guān)這一特點(diǎn)，采用隱馬爾可夫模型進(jìn)行檢測(cè)。第2 階段首先根據(jù)群體異常事件檢測(cè)結(jié)果，判斷當(dāng)前場(chǎng)景中是否發(fā)生異常行為；如果發(fā)生異常行為，則在RANSAC 框架下定位場(chǎng)景中事件源的位置，最后實(shí)時(shí)輸出當(dāng)前場(chǎng)景中事件源的個(gè)數(shù)以及每個(gè)事件源的位置信息。算法流程如圖1所示。

圖1 算法流程圖Fig.1 Algorithm flow

1.2 群體異常行為檢測(cè)

此階段分別從空間與時(shí)間兩個(gè)角度進(jìn)行檢測(cè)?？臻g角度，根據(jù)對(duì)異常行為的定義，群體異常行為往往伴隨著人群運(yùn)動(dòng)幅度的激變，因此采用平均動(dòng)能分布直方圖客觀地描述人群運(yùn)動(dòng)特征；時(shí)間角度，由于異常行為的發(fā)生不是在某一幀或幾幀，而是在某一個(gè)連續(xù)的時(shí)間段內(nèi)，在時(shí)間軸上與前、后人群的行為緊密相關(guān)，因此用隱馬爾可夫模型對(duì)視頻中的人群行為進(jìn)行檢測(cè)可減小由于噪聲導(dǎo)致某幀誤判所帶來(lái)的誤差。該階段算法整體分為離線訓(xùn)練和在線檢測(cè)兩步。

離線訓(xùn)練具體步驟如下：

1）預(yù)處理，采用基于混合高斯背景模型的背景差分法得到前景圖像；

2）特征提取，對(duì)步驟1）中得到的前景圖像提取光流幅值直方圖特征。采用平均動(dòng)能分布直方圖來(lái)描述場(chǎng)景中人群的運(yùn)動(dòng)特征，首先根據(jù)方向分類，將360°平均分成12 個(gè)區(qū)間，即每30°為1 個(gè)方向子區(qū)間，然后統(tǒng)計(jì)落在每個(gè)方向子區(qū)間內(nèi)的前景圖像光流點(diǎn)個(gè)數(shù)，得到光流幅值直方圖。為了更加準(zhǔn)確地描述場(chǎng)景中人群的運(yùn)動(dòng)特征，對(duì)光流幅值直方圖特征的每個(gè)子區(qū)間計(jì)算平均動(dòng)能，得到每個(gè)區(qū)間上平均動(dòng)能的分布直方圖，反映不同方向上人群的運(yùn)動(dòng)狀態(tài)，即其中：前景圖像光流幅值表示該點(diǎn)的即時(shí)速度，hj、θj分別為前景圖像光流矢量的幅值和方向；θr為第r 個(gè)方向子區(qū)間；nr為方向子區(qū)間r 中前景圖像光流點(diǎn)的個(gè)數(shù)。

3）支持向量機(jī)模型訓(xùn)練，從空間角度采用SVM 模型訓(xùn)練步驟2）中提取的訓(xùn)練樣本平均動(dòng)能分布直方圖特征，得到用于檢測(cè)人群運(yùn)動(dòng)特征的SVM 模型。

4）隱馬爾可夫模型訓(xùn)練，從時(shí)間角度，由于公共場(chǎng)所中群體異常事件的發(fā)生是一個(gè)隨機(jī)事件，發(fā)生形式多變、突然、迅速、不確定性很大，僅與時(shí)間上臨近的人群狀態(tài)有關(guān)，即當(dāng)前時(shí)刻的人群行為僅與相鄰時(shí)刻的人群行為相關(guān)。考慮以上特點(diǎn)，選取隱馬爾可夫模型檢測(cè)異常事件的發(fā)生具有實(shí)際意義。隱馬爾可夫模型是一種統(tǒng)計(jì)模型，用來(lái)描述一個(gè)含有隱含未知參數(shù)的馬爾可夫過(guò)程，因此訓(xùn)練HMM 模型即優(yōu)化模型參數(shù)λ={A，B，Π}，其中A 為狀態(tài)轉(zhuǎn)移矩陣，B 為混淆矩陣，Π 為初始狀態(tài)矩陣。首先定義觀測(cè)序列Oi，通過(guò)每幀視頻圖像人群的運(yùn)動(dòng)特征來(lái)表示觀測(cè)序列中每個(gè)元素的值，即

其中：觀測(cè)序列Oi中的元素ol由步驟3）中SVM 模型分類結(jié)果計(jì)算得到，即

其中：f（x）為訓(xùn)練的SVM 模型目標(biāo)函數(shù)，根據(jù)經(jīng)驗(yàn)設(shè)初始模型參數(shù)為λ0={A0，B0，Π0}，使用Baum-Welch算法計(jì)算得到隱馬爾可夫模型的一個(gè)最大似然估計(jì)

在線檢測(cè)步驟如下：

1）預(yù)處理 對(duì)輸入圖像進(jìn)行預(yù)處理，采用基于混合高斯背景模型的背景差分法得到前景圖像；

2）特征提取 提取輸入圖像的光流幅值直方圖及平均動(dòng)能分布直方圖特征；

3）異常行為檢測(cè) 將步驟2）中提取的平均動(dòng)能分布直方圖特征采用支持向量機(jī)分類器分類，根據(jù)分類結(jié)果由式（2）～（4）得到輸入圖像的觀測(cè)序列Oi，最后采用隱馬爾可夫模型對(duì)人群行為檢測(cè)，即由前向算法計(jì)算觀測(cè)序列Oi與隱馬爾可夫模型λ 似然函數(shù)的值P（Oi|），若P（Oi|）大于閾值Tt則判斷為異常。

1.3 異常事件中心定位

此階段為算法的核心步驟。事件源即異常事件發(fā)生的中心位置，如火災(zāi)事件的火源位置、打架斗毆事件的人員打斗位置、聚集事件的人群中心位置等，根據(jù)異常事件源的運(yùn)動(dòng)狀態(tài)可分為兩類情況：靜態(tài)事件源在其發(fā)生位置保持不動(dòng)；動(dòng)態(tài)事件源隨著異常事件的持續(xù)發(fā)展而移動(dòng)或者擴(kuò)散。異常事件現(xiàn)場(chǎng)人群的運(yùn)動(dòng)狀態(tài)總是和事件源位置息息相關(guān)，即人群總是向著事件源的當(dāng)前位置逃散或聚集，因此，通過(guò)計(jì)算異常事件中人群運(yùn)動(dòng)方向延長(zhǎng)線的交點(diǎn)位置，可判斷事件源的近似位置。目前算法中對(duì)異常事件檢測(cè)有一定進(jìn)展，但大部分算法只限于“判斷”，并沒(méi)有后續(xù)處理，而現(xiàn)實(shí)場(chǎng)景中對(duì)危險(xiǎn)事件事態(tài)的持續(xù)關(guān)注，以及對(duì)事件源位置的準(zhǔn)確定位，能夠給相關(guān)人員提供更具有價(jià)值的信息。在實(shí)際應(yīng)用中，由于場(chǎng)景環(huán)境復(fù)雜多變，對(duì)異常事件中每個(gè)人運(yùn)動(dòng)方向的延長(zhǎng)線計(jì)算會(huì)產(chǎn)生噪聲數(shù)據(jù)，從而對(duì)事件源定位結(jié)果產(chǎn)生干擾，經(jīng)典的參數(shù)估計(jì)算法很難排除異常數(shù)據(jù)對(duì)模型的影響，因此，異常事件源定位算法基于RANSAC（randon sample consensus）框架實(shí)現(xiàn)，RANSAC 算法被廣泛應(yīng)用于提純數(shù)據(jù)，其特點(diǎn)可從包含大量局外點(diǎn)（不符合模型的異常數(shù)據(jù)）的數(shù)據(jù)集中通過(guò)迭代的方式，估計(jì)出數(shù)據(jù)的數(shù)學(xué)模型參數(shù)，從而得到有效的數(shù)據(jù)，利用RANSAC 算法剔除人群運(yùn)動(dòng)方向的噪聲點(diǎn)后，再擬合模型，減少了局外點(diǎn)對(duì)事件源定位的干擾，提高了事件源定位的準(zhǔn)確性，具體步驟如下。

1）將檢測(cè)結(jié)果為異常行為的圖像等分成m×n 個(gè)子塊，并計(jì)算出每個(gè)子塊中像素點(diǎn)光流的向量和Qi。

2）從步驟1）中得到的向量和Qi的集合中隨機(jī)選擇兩個(gè)向量Qa和Qb，計(jì)算其對(duì)應(yīng)所在直線的交點(diǎn)q，如果兩條直線平行，則重新隨機(jī)選取兩個(gè)向量并計(jì)算交點(diǎn)。向量Qa、Qb所在的直線方程為

其中：ka、kb為對(duì)應(yīng)直線斜率；ba，bb為對(duì)應(yīng)直線截距。

3）計(jì)算交點(diǎn)q 到其余向量Qi所在直線的歐式距離di，如果歐式距離di小于某一距離閾值Td，則將該交點(diǎn)視為內(nèi)點(diǎn)，否則視為外點(diǎn)，最后選擇獲得內(nèi)點(diǎn)數(shù)目最多的交點(diǎn)q 作為真實(shí)值。其中選取前景圖像區(qū)域的中心點(diǎn)到各向量Qi距離的均值作為距離閾值Td。

4）利用步驟3）得到的內(nèi)點(diǎn)集重新優(yōu)化估計(jì)交點(diǎn)q，得到優(yōu)化估計(jì)交點(diǎn)q′，滿足優(yōu)化估計(jì)交點(diǎn)q′到所有內(nèi)點(diǎn)所在直線的距離Φ 最小，即

其中：Z 為最后獲得的內(nèi)點(diǎn)總個(gè)數(shù)；kj、bj分別為內(nèi)點(diǎn)j所在直線的斜率、截距。

5）由步驟4）得到的優(yōu)化估計(jì)交點(diǎn)q′即為突發(fā)事件的事件源位置，為檢測(cè)場(chǎng)景中是否存在多個(gè)事件源，繼續(xù)將其余外點(diǎn)重復(fù)步驟1）～步驟3）再次計(jì)算，如果獲得的最多內(nèi)點(diǎn)集數(shù)目大于某一內(nèi)點(diǎn)集數(shù)目閾值，則認(rèn)為存在多個(gè)事件源，重復(fù)步驟4），由此計(jì)算出多個(gè)事件源位置。

2 實(shí)驗(yàn)結(jié)果

分別從群體異常行為檢測(cè)與事件源定位兩個(gè)階段進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)取自明尼蘇達(dá)大學(xué)標(biāo)準(zhǔn)公共數(shù)據(jù)集UMN[9]，包含室內(nèi)、室外兩種環(huán)境，以及在草坪、大廳、廣場(chǎng)3 種不同場(chǎng)景下的群體正常行為和奔跑逃散行為。

群體異常行為檢測(cè)階段分2 個(gè)部分：①離線訓(xùn)練檢測(cè)模型。取平均動(dòng)能分布直方圖特征為12 維，人群正常行為與異常行為平均動(dòng)能分布直方圖特征對(duì)比如圖2所示。為方便與文獻(xiàn)[10]進(jìn)行對(duì)比，HMM 模型的觀測(cè)序列長(zhǎng)度取10，即每連續(xù)10 幀圖像作為1 個(gè)觀測(cè)序列，并選取每種場(chǎng)景中圖像序列的10%作為正、負(fù)訓(xùn)練樣本，其余作為測(cè)試樣本；②在線實(shí)時(shí)檢測(cè)。

圖2 人群正常行為與異常行為平均動(dòng)能分布直方圖對(duì)比Fig.2 Comparison of average kinetic energy distribution histograms between normal behavior and abnormal behavior

采用ROC（receiver operating characteristics）曲線對(duì)結(jié)果進(jìn)行描述，并用計(jì)算AUC（area under ROC curve）作為群體突發(fā)異常行為的評(píng)價(jià)指標(biāo)。對(duì)輸入的視頻進(jìn)行實(shí)時(shí)檢測(cè)，將其AUC 值與光流法[1]、社會(huì)力法[1]與SIFT 點(diǎn)檢測(cè)法[10]進(jìn)行比較，如表1所示。為了清晰直觀地反映對(duì)突發(fā)異常行為的識(shí)別效果，繪制出UMN數(shù)據(jù)集上該算法與光流法、社會(huì)力法檢測(cè)結(jié)果的ROC曲線對(duì)比圖，如圖3所示。

表1 不同算法AUC 實(shí)驗(yàn)結(jié)果對(duì)比Tab.1 Comparison of AUC experimental results with different algorithms

圖3 異常行為檢測(cè)結(jié)果的ROC 曲線對(duì)比Fig.3 ROC comparison of abnormal behaviors

圖3中：真正類TP定義為正確識(shí)別的異常事件，假正類FP 為被誤檢測(cè)為異常事件的正常事件，真負(fù)類TN 為正確識(shí)別的正常事件，假負(fù)類FN 為被誤檢測(cè)為正常事件的異常事件。

真正率TPR，即識(shí)別率為

假正率FPR，即誤檢率為

由圖3可知，每個(gè)場(chǎng)景中發(fā)生異常行為的人群在各個(gè)方向分布的平均動(dòng)能明顯大于人群正常行為的平均動(dòng)能值，且每個(gè)方向都體現(xiàn)出比較高的動(dòng)能，與實(shí)際突發(fā)異常事件中人群恐慌、四處加速、群體能量增大的特征相符合。文獻(xiàn)[10]通過(guò)對(duì)相鄰幀的前景圖像提取SIFT 點(diǎn)特征獲取人群的運(yùn)動(dòng)信息，并用HMM 模型進(jìn)行異常行為檢測(cè)，由表1可以看出，該算法的AUC 值高于光流法、社會(huì)力法和SIFT 點(diǎn)檢測(cè)法，對(duì)群體突發(fā)異常事件有較好的識(shí)別結(jié)果。

異常事件源定位階段，則針對(duì)上一階段實(shí)驗(yàn)的檢測(cè)結(jié)果，實(shí)現(xiàn)對(duì)突發(fā)異常事件的源定位。事件源，即異常事件發(fā)生的中心位置，如火災(zāi)事件的火源位置，打架斗毆事件的人員打斗位置，聚集事件的人群中心位置等。根據(jù)運(yùn)動(dòng)狀態(tài)可將異常事件源分為兩類：靜態(tài)事件源在其發(fā)生位置保持不動(dòng)；動(dòng)態(tài)事件源隨異常事件的持續(xù)發(fā)展而移動(dòng)或者擴(kuò)散。及時(shí)掌握現(xiàn)場(chǎng)突發(fā)異常事件中事件源位置和個(gè)數(shù)，對(duì)減少財(cái)產(chǎn)損失和人員傷亡，以及突發(fā)異常事件的事后應(yīng)急資源調(diào)度和人員分配都有著重要的參考價(jià)值。因此，事件源定位是現(xiàn)實(shí)安防系統(tǒng)中必不可少的關(guān)鍵環(huán)節(jié)。UMN 數(shù)據(jù)集僅模擬人群突發(fā)異常事件產(chǎn)生的異常逃散行為，并沒(méi)有對(duì)引起異常行為的事件源位置進(jìn)行標(biāo)記，由于缺少真實(shí)值，故對(duì)本階段實(shí)驗(yàn)結(jié)果進(jìn)行人工分析。

從主觀上判斷，人群總是遠(yuǎn)離產(chǎn)生危害的位置進(jìn)行逃散，因此，可近似認(rèn)為人群逃離的中心點(diǎn)即為異常事件中心的真實(shí)值。事件源定位算法在RANSAC 框架下的實(shí)現(xiàn)過(guò)程如圖4所示，采用光流法描述人群的運(yùn)動(dòng)狀態(tài)，光流方向即人群的運(yùn)動(dòng)方向。圖4中實(shí)線箭頭表示通過(guò)RANSAC 算法計(jì)算后，符合事件源定位算法中數(shù)學(xué)模型的人群運(yùn)動(dòng)方向（內(nèi)點(diǎn)），虛線箭頭表示人群運(yùn)動(dòng)方向的噪聲點(diǎn)（局外點(diǎn)），通過(guò)RANSAC 算法計(jì)算后，從內(nèi)點(diǎn)集中排除，從圖中可以看出，事件源位置距離人群運(yùn)動(dòng)方向延長(zhǎng)線的距離最小。

圖4 事件源定位算法在RANSAC 框架下的實(shí)現(xiàn)過(guò)程Fig.4 Event source localization algorithm based on RANSAC framework

在UMN 數(shù)據(jù)集上的定位結(jié)果如圖5所示，其中，符號(hào)▲代表當(dāng)前場(chǎng)景中事件源的位置，當(dāng)人群從正常行為突然向四處逃散的同時(shí)，快速對(duì)場(chǎng)景中事件源位置進(jìn)行定位，并實(shí)時(shí)更新。由圖5可以看出，在人群突發(fā)異常行為場(chǎng)景中，人群快速逃離現(xiàn)場(chǎng)，遠(yuǎn)離圖中定位的異常事件源，可認(rèn)為該點(diǎn)即為事件源的最優(yōu)近似估計(jì)位置，故算法的定位結(jié)果是合理的。

圖5 事件源定位算法在UMN 數(shù)據(jù)集上的定位結(jié)果Fig.5 Event source location algorithm results on UMN datasets

3 結(jié)語(yǔ)

首先對(duì)群體突發(fā)異常事件進(jìn)行檢測(cè)，該階段從空間、時(shí)間角度進(jìn)行聯(lián)合檢測(cè)，空間角度選取反映人群運(yùn)動(dòng)特點(diǎn)的平均動(dòng)能分布直方圖特征并采取SVM 分類器進(jìn)行分類。時(shí)間角度基于空間角度的檢測(cè)結(jié)果結(jié)合隱馬爾可夫模型對(duì)場(chǎng)景中的人群行為進(jìn)行檢測(cè)，通過(guò)對(duì)比實(shí)驗(yàn)分析，所得算法對(duì)群體突發(fā)異常事件檢測(cè)的準(zhǔn)確度高于目前主流算法。其次，基于群體突發(fā)異常事件的檢測(cè)結(jié)果，進(jìn)一步對(duì)場(chǎng)景中事件源的位置進(jìn)行實(shí)時(shí)定位，該階段在RANSAC 框架下實(shí)現(xiàn)對(duì)事件源位置的快速定位，能夠?qū)崟r(shí)檢測(cè)出突發(fā)異常事件的場(chǎng)景中事件源的個(gè)數(shù)與每個(gè)事件源的實(shí)時(shí)位置信息，彌補(bǔ)了目前算法中“只檢測(cè)、不定位”的不足。

由于主觀意識(shí)不同，觀察者對(duì)人群異常行為與正常行為以及事件源位置的評(píng)判標(biāo)準(zhǔn)并不相同，目前也沒(méi)有統(tǒng)一的評(píng)判標(biāo)準(zhǔn)，該算法能夠準(zhǔn)確地描繪出不同行為狀態(tài)人群的運(yùn)動(dòng)特征，并能夠直觀檢測(cè)出場(chǎng)景中事件源的位置，對(duì)發(fā)生危險(xiǎn)事件的后續(xù)處理提供了及時(shí)、可靠的信息，可為實(shí)際應(yīng)用提供參考。