趙雪章　吳嘉怡　席運江

摘? 要：為有效識別監(jiān)控視頻中的群體異常行為，提出一種基于自適應(yīng)高斯模型和運動能量的異常行為識別方法。將自適應(yīng)幀間差分法融入混合高斯模型中，對運動目標進行提取，計算行為發(fā)生個體的動態(tài)能量，利用行為發(fā)生各方的位置關(guān)系計算出交互能量，最終計算出異常行為事件的整體能量總值，從而實現(xiàn)群體異常行為的有效識別。實驗結(jié)果表明，該文算法對人群異常行為具有較好的識別效果，算法實時性較好，具有一定的應(yīng)用推廣價值。

關(guān)鍵詞：高斯模型；運動能量；異常行為

中圖分類號：TP391.4；TP312 文獻標識碼：A 文章編號：2096-4706（2023）19-0079-05

Abnormal Behavior Recognition Based on Adaptive Gaussian Model and Motion Energy

ZHAO Xuezhang1， WU Jiayi1， XI Yunjiang2

（1.Electronic Information School， Foshan Polytechnic， Foshan? 528137， China;

2. School of Business Administration， South China University of Technology， Guangzhou? 510641， China）

Abstract： To effectively identify group abnormal behavior in surveillance videos， a method for identifying abnormal behavior based on adaptive Gaussian model and motion energy is proposed. Integrating the adaptive inter frame difference method into a mixed Gaussian model， extracting moving targets， calculating the dynamic energy of individuals involved in behavior， utilizing the positional relationships of all parties involved in behavior to calculate interaction energy， and ultimately calculating the overall energy total of abnormal behavior events， thus achieving effective identification of group abnormal behavior. The experimental results show that the algorithm proposed in this paper has good recognition performance for group abnormal behavior， and has good real-time performance， which has certain application and promotion value.

Keywords： Gaussian model; motion energy; abnormal behavior

0? 引? 言

近年來，群體異常事件（如踩踏、游行和群毆等）層出不窮，比如2015年上海外灘發(fā)生的踩踏事件中人員傷亡較為嚴重，對社會造成了惡劣的影響。為此，社會各界愈發(fā)重視公共安全[1]。相關(guān)部門加大公共區(qū)域視頻監(jiān)控設(shè)備的數(shù)量及覆蓋面，實現(xiàn)實時檢測群體異常行為。然而，視頻數(shù)據(jù)量過大、隨機性強，經(jīng)了解發(fā)現(xiàn)此方面的內(nèi)容有兩種處理方式：

1）人工檢測。采用這種方式進行檢測時，工作人員的工作任務(wù)量大，長時間連續(xù)監(jiān)測情況下容易出現(xiàn)視覺疲勞、注意力不集中的情況，從而降低檢測的準確率。

2）事后對事故發(fā)生時的視頻進行取證分析。但由于信息的滯后性，無法在事件發(fā)生時迅速地做出決策與響應(yīng)[2]。由此可見，從維護社會安全的角度來看，設(shè)計一種能夠自動檢測、監(jiān)控識別場景中群體異常行為的方法具有非常重要的意義[3]。

群體異常行為識別對群體事故發(fā)生前的及時預警起到非常關(guān)鍵的作用，目前國內(nèi)外研究學者已就群體異常行為識別進行了大量的工作。Sillito等人[4]以粒子產(chǎn)生的軌跡特征為基礎(chǔ)，創(chuàng)建相應(yīng)的人體運動模式，從而更好地估計出正樣本特征的概率分布，同時結(jié)合增量學習的方法更新模型進行異常行為的識別。王夢迪[5]對較低拍攝角度產(chǎn)生的透視形變問題進行了較為深入的研究，提出一種以多尺度分塊方向為基礎(chǔ)的檢測方法，可以對群體異常行為進行更加有效的識別。

當前，群體異常行為識別算法仍存在適應(yīng)性和實時性兩方面的缺陷，一方面是因為場景的不可控性和復雜性加之異常行為的多樣性，使得所構(gòu)建算法模型的識別率不高；另一方面是因為異常事件多為突發(fā)事件，短時間內(nèi)即可造成較大的危害，必須要求做出即時反應(yīng)，而現(xiàn)有的光流法、社會力模型等復雜度高，實時性有待提高［6，7］。本文針對已有算法的不足，提出一種基于自適應(yīng)高斯模型和運動能量的異常行為識別算法，通過與其他方法進行對比，驗證了本文方法具有較高的準確率和時效性。

1? 混合高斯背景模型

通過對視頻序列的研究發(fā)現(xiàn)，自適應(yīng)混合高斯模型既能夠有效解決異常行為與正常行為數(shù)量上差異導致的不平衡問題，還可以有效消除復雜場景下光照變化乃至背景變化所帶來的影響[8，9]。本文采用自適應(yīng)高斯混合模型進行建模。

將視頻序列幀中的每一個像素點看作kn個高斯混合，對像素點進行時間序列{I1，I2，…，In}，然后按優(yōu)先級（w/σ）將時間序列從小到大排序，則混合高斯模型為：

其中，kn表示最大模型個數(shù)，wi，z表示第i個高斯分布在第z幀的高斯權(quán)重，ui，z和? 表示第i個高斯分布在第z幀的均值和協(xié)方差， 表示第i個高斯分布在第z幀的概率密度函數(shù)：

1.1? GMM模型匹配

如果視頻序列圖像中第i個像素點在第z幀的值Ii， z與前一時刻的期望值Ii， z-1相減小于 ，則認為與混合高斯模型匹配成功Mi， z = 1，該像素點為背景，并自動對每個高斯模型的參數(shù)進行更新；否則認為該點無法匹配Mi， z = 0，該像素點為前景，重新構(gòu)建一個新的高斯模型。

1.2? GMM模型參數(shù)更新

當像素點與混合高斯模型成功匹配時，模型更新包括[10-12]：

1.3? 改進的混合高斯模型

由式（3）和（6）可知，更新率大小決定著新模型創(chuàng)建的速度，如果更新率大，一個新的像素點可快速建立一個新的高斯模型；速度較慢的物體將被快速更新的混合高斯模型建模成背景，滿足一定速度（快于更新速度）的運動物體被當作前景。更新率的大小直接影響目標檢測的準確性[13]。更新率的值比較大（α≥0.7）時，快速的背景更新使當前幀的前景運動目標留存前一幀的背景像素，導致一部分運動目標被誤認為背景，在目標識別中產(chǎn)生漏檢。當更新率的值比較?。é痢?.000 02）時，背景跟不上實際背景的變化，前景區(qū)域留存有前一幀的背景，導致運動區(qū)域產(chǎn)生大量的虛假目標[14，15]。因此本文采用自適應(yīng)幀間差分法融入GMM混合算法。

定義第z幀的視頻序列fz（x，y）與第z-1幀序列相減，如果幀差的絕對值大于設(shè)定的閾值TZ，則認為該點是相鄰兩幀變化的區(qū)域DC，否則為背景區(qū)域Dbg，幀間差分法計算式為：

（7）

其中，Pz（x， y）表示第z幀序列上的像素點。

光照發(fā)生突變時，圖像序列的像素值也會隨之發(fā)生變化，如采用式（7）中的固定閾值TZ（本文取50）來識別群體變化的區(qū)域，如果閾值TZ的值過小，檢測區(qū)域DC會引入大量噪聲，如果閾值TZ的值過大，則一部分DC區(qū)域會被誤認為背景，導致部分DC區(qū)域目標丟失。因此，將一個自適應(yīng)閾值T1添加到幀間差分算法中，使背景模型能夠自適應(yīng)光照突變。本文中改進的自適應(yīng)光照閾值T1的計算式為：

（8）

其中，Tn表示改進后的背景閾值，NS表示序列像素點的大小，幀間差分算法中新增加一項T1，用以解決自適應(yīng)光照突變的問題，改進幀間差分法的計算式為[16]：

（9）

改進的自適應(yīng)幀間差分GMM算法步驟為：

1）利用式（9）第z幀的視頻序列與第z-1幀序列計算出DC和Dbg。

2）DC區(qū)域的像素點通過GMM模型的式（9）進行匹配，如果匹配成功（Mi，z = 1），該像素點為前一幀留存的背景區(qū)域Dbg，如果匹配不成功（Mi，z = 0），該像素點則為群體的前景運動目標區(qū)域DC，然后分別與各自前A個高斯分布進行匹配。匹配的計算式為：

（10）

3）為了避免在Dbg中引入噪聲，背景區(qū)域Dbg采用自適應(yīng)的更新率αz來保持背景的穩(wěn)定。通過更新率的自適應(yīng)選擇，獲得當前背景下的混合高斯模型：

（11）

其中，Va，i表示在第z個更新率αz下獲得的背景數(shù)。背景像素點的均值和協(xié)方差以式（12）～（14）更新：

（12）

（13）

（14）

4）群體的運動區(qū)域DC作為前景像素不再進行匹配，所以為減少前景群體目標對背景的影響，不再構(gòu)建新的高斯分布加入背景模型中，同時提高混合算法的實時性。

2? 視頻能量評估

在實際的監(jiān)控場景中，視頻幀序列像素之間隱含著豐富的能量信息[17]。當異常行為發(fā)生時，群體異常行為的整體能量將會瞬時突變。群體異常行為的整體能量既包含個體動態(tài)能量，又包含個體與其他行為發(fā)生者的交互能量。

2.1? 個體動態(tài)能量

通過統(tǒng)計發(fā)現(xiàn)運動目標不同行為的光流方向分布不同，正常運動的光流方向有主體方向，而群體異常行為的光流方向分布均勻，沒有主體方向。

由于動態(tài)能量需要準確的特征信息與效率因素，HS算法[18]主要用于計算稠密光流場的特點，本文選用HS算法進行動態(tài)特征提取，通過HS算法跟蹤視頻序列中連續(xù)三幀圖像的對應(yīng)特征點，得到當前每一特征點的水平分量vx（i， j）和垂直分量vy（i， j），計算出速度矢量的幅值：

（15）

也很容易得到動態(tài)特征中的運動方向角：

（16）

為進一步辨識異常行為的變化情況，需要計算行為運動的方向角度差：

1）首先通過設(shè)定目標區(qū)域的搜索范圍（w×h）找到具有最劇烈動態(tài)特征的最大方向角：

（17）

2）依次計算光流場中每個像素點的方向角度與最大主方向角的差：

（18）

3）最后計算得到識別區(qū)域光流場中連續(xù)幀之間每個像素點的方向角度差：

（19）

目標區(qū)域像素點每個動態(tài)特征都被當作是一個運動的質(zhì)點，個體能量值為目標區(qū)域質(zhì)點總的能量值，模仿質(zhì)點運動的動能計算式可得到基于HS算法的群體運動能量：

（20）

其中，E0（z，k）表示視頻幀序列第z幀中第k個質(zhì)點的個體能量值， 表示對應(yīng)的動態(tài)特征，vi， j（z）表示第z幀圖像中（i，j）位置質(zhì)點的權(quán)重值。vi， j（z）的計算式為：

（21）

如果視頻處理幀的識別目標數(shù)為n，則所有個體總能量的計算式為：

（22）

2.2? 交互能量

當異常行為發(fā)生時，行為各方的距離越短，異常行為可能就越激烈，產(chǎn)生的能量也就越大，因此還需要考慮行為各方之間的交互能量，根據(jù)萬有引力可得出第n幀視頻圖像中所包含的交互能量：

（23）

一幀圖像的動態(tài)能量可通過分別計算個體能量和交互能量而得到：

（24）

3? 實驗結(jié)果與分析

為驗證本文方法對識別群體異常行為的有效性，采用明尼蘇達大學（UMN）公開的群體事件數(shù)據(jù)集進行實驗，選用視頻中草坪、廣場兩個場景，以人群正常隨機走動開始，如圖1所示，以人群無規(guī)則逃散結(jié)束，如圖2所示。從圖3中可以看出，數(shù)據(jù)集中不同場景下正常行為到無規(guī)則逃散帶來明顯的動態(tài)能量突變，無規(guī)則逃散行為的總能量值遠遠大于正常行為的能量值，無規(guī)律可循，可以達到能量值的最大峰值。

從圖中可以看出，無規(guī)則逃散發(fā)生時，總動態(tài)能量出現(xiàn)突變，a、b所指位置如豎線所示。

如表1所示為相同實驗環(huán)境下，不同文獻算法的AUC值對比，可以看出，本文算法與文獻[10]、文獻[11]、社會力模型方法相比，AUC值最高，為98.24%。

從表1中還可以看出，本文算法相對另外三種算法大大節(jié)約了時間，算法實時性較好，在不影響檢測效果的前提下縮短了檢測時間。

4? 結(jié)? 論

本文提出一種基于自適應(yīng)高斯模型和整體運動能量的異常行為識別算法，將自適應(yīng)幀間差分法融入高斯模型混合算法中對運動目標進行提取，計算行為發(fā)生個體的動態(tài)能量，再計算出行為發(fā)生各方的交互能量，計算出異常行為事件的整體能量總值，從而實現(xiàn)群體異常行為的識別。實驗結(jié)果表明，本文算法對人群異常行為具有較好的識別效果，算法實時性較好，能夠在人群密集的場所實現(xiàn)對人群異常行為的識別預警，具有一定的應(yīng)用推廣價值。

參考文獻：

[1] 許澤柯.視頻監(jiān)控中的異常行為檢測算法研究 [D].廣州：華南理工大學，2018.

[2] 何傳陽，王平，張曉華，等.基于智能監(jiān)控的中小人群異常行為檢測 [J].計算機應(yīng)用，2016，36（6）：1724-1729.

[3] KAMINSKI L，GARDZINSKI P.KOWALAK K et al. Unsupervised abnormal crowd activity detection in surveillance systems [C]//2016 International Conference on Systems， Signals and Image Processing （IWSSIP）.[S.l]：IEEE，2016：1-4.

[4] SILLITO R，RFISHER R. Semi-supervised learning for anomalous trajectory detection [J].Proc. BMVC，2008（7）：1035-1044.

[5] 王夢迪.視頻監(jiān)控場景中的群體異常行為檢測算法研究 [D].濟南：山東大學，2018.

[6] ZHONG Z，YE W Z，XU Y S. Detecting Human Abnormal Behaviors in Crowd.? International Journal of Information Acquisition，2007，4（4）：281-290.

[7] ZHONG Z，YE W. Z，WANG S. S，et al. Crowd Energy and Feature Analysis [C]//2007 IEEE International Conference on Integration Technology. Shenzhen：IEEE，2007：144-150.

[8] BERNHARD S，BURGES C J C，SMOLAA A J. Advanced in kernel methods support vector learning [M].Cambridge：MIT Press，1998.

[9] CHEN Y，LIANG G，LEE K，et al. Abnormal behavior detection by multi-svm-based Bayesian network [C]//Proceedings of 2007 International Conference on Information Acquisition. Seogwipo-si：IEEE，2007：298-303.

[10] 熊饒饒，胡學敏，陳龍，等.利用綜合光流直方圖的人群異常行為檢測 [J].計算機工程，2017，43（10）：228-233.

[11] 韋招靜，卿粼波，王正勇，等．基于人群密度的異常行為檢測與分級研究 [J].電視技術(shù)，2018，42（3）：97-102．

[12] KRATZ L，NISHINO K. Anomaly detection in extremely crowded scenes using spatio-temporal motion pattern models [C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami：IEEE，2009：1446-1453.

[13] HUGHES R L. A continuum theory for the flow of pedestrians [J].Transportation Research Part B： Methodological，2002，36（6）：507-535.

[14] MUKAWA N. Optical-model-based analysis of consecutive images [J]. Computer Vision and Image Understanding，1997，66（1）：25-32.

[15] LIU H C，HONG T H，HREMAN M，et al. Accuracy vs. efficiency trade-offs in optical flow algorithms [EB/OL].[2023-01-12].https：//wenku.baidu.com/view/bfcb29cca1c7aa00b52acbbd.html？_wkts_=1694501223941&bdQuery=Accuracy+vs.+efficiency+trade-offs+in+optical+flow+algorithms.

[16] HUANG K Q，TAO D C，YUAN Y. et al. View-Independent Behavior Analysis [EB/OL].[2023-01-18].http：//ir.ia.ac.cn/handle/173211/3777？mode=full&submit_simple=show+full+item+record.

[17] 汪雙承，管業(yè)鵬.基于粒子流和能量模型的異常行為檢測 [J].電子器件，2014，37（6）：1081-1086.

[18] HORN B K P，SCHRNCK B G. Determining optical flow [J] .Aritficial Intelligence，1981，17（1-3）：185-203.

作者簡介：趙雪章（1972—），男，漢族，河南南陽人，副教授，碩士，研究方向：圖像處理、模式識別等；吳嘉怡（1996—），女，漢族，廣東佛山人，初級實驗師，本科，研究方向：圖像處理等；席運江（1973—），男，漢族，河南南陽人，副教授，博士，研究方向：智能算法等。

收稿日期：2023-03-30

基金項目：國家自然科學基金項目（72171090）；廣東省教育廳創(chuàng)新類項目（2019GKTSCX119）；廣東省教育廳教育教學改革研究與實踐項目（GDJG2019023）