于俊俊，朱立軍

（沈陽(yáng)化工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 沈陽(yáng) 110142）

0 引 言

電梯轎廂的運(yùn)行環(huán)境封閉，是搶劫、施暴等異常行為的事故高發(fā)地。目前小區(qū)、寫(xiě)字樓等高層建筑的電梯大多采用人工方式進(jìn)行視頻監(jiān)控。這種傳統(tǒng)方式存在眾多弊端，如發(fā)生異常時(shí)不能及時(shí)通知、錯(cuò)報(bào)漏報(bào)多、事后錄像取證困難等，并且實(shí)時(shí)性相對(duì)較差。

目前，針對(duì)人體異常行為檢測(cè)的研究方法主要分為2種，分別是采用傳統(tǒng)方法提取特征和利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)提取特征。傳統(tǒng)方法通過(guò)光流法、運(yùn)動(dòng)歷史圖（MHI）、方向梯度直方圖（HOG）等提取人體行為特征，如文獻(xiàn)[1]通過(guò)運(yùn)動(dòng)歷史圖提取特征，根據(jù)運(yùn)動(dòng)歷史圖的圖片熵來(lái)建立能量函數(shù)并設(shè)置相應(yīng)閾值進(jìn)行異常檢測(cè)。文獻(xiàn)[2]建立了角點(diǎn)動(dòng)能模型，利用金字塔LK光流法對(duì)運(yùn)動(dòng)前景的角點(diǎn)進(jìn)行光流計(jì)算，通過(guò)統(tǒng)計(jì)圖像中的平均動(dòng)能，實(shí)現(xiàn)對(duì)打斗情形的檢測(cè)。使用深度學(xué)習(xí)進(jìn)行異常行為檢測(cè)方法：齊琦等對(duì)多通道3DCNN的結(jié)構(gòu)進(jìn)行了改進(jìn)，從而對(duì)人體行為進(jìn)行識(shí)別。張怡佳等人提出一種改進(jìn)的雙流卷積神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練得到一個(gè)多模型融合的人體行為識(shí)別器。CNN的訓(xùn)練必須以充足豐富的訓(xùn)練樣本數(shù)據(jù)為基礎(chǔ)，計(jì)算量較大且訓(xùn)練樣本不足會(huì)導(dǎo)致檢測(cè)準(zhǔn)確率下降，難以實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確的異常檢測(cè)。

本文針對(duì)電梯轎廂環(huán)境的特殊性，經(jīng)過(guò)綜合考慮電梯內(nèi)乘客異常檢測(cè)的準(zhǔn)確率和實(shí)時(shí)性，提出了一種基于金字塔LK光流法的實(shí)時(shí)檢測(cè)異常行為的方法。針對(duì)檢測(cè)到前景人體角點(diǎn)的噪聲問(wèn)題，利用速度大小篩除背景光流噪聲點(diǎn)，通過(guò)計(jì)算光流點(diǎn)的平均速度和方向熵的乘積表示運(yùn)動(dòng)的混亂度，最后設(shè)置閾值來(lái)檢測(cè)異常行為。

1 基于金字塔LK光流法的運(yùn)動(dòng)檢測(cè)

1.1 LK光流法及光流計(jì)算

光流的概念最早由Gibson提出，它攜帶了運(yùn)動(dòng)目標(biāo)的方向和幅值等信息。光流法不需要提前對(duì)圖像背景進(jìn)行建模，計(jì)算結(jié)果不易受外部環(huán)境的影響，只取決于連續(xù)幀的相對(duì)運(yùn)動(dòng)，因此很適合運(yùn)用于異常行為的檢測(cè)。光流通常有稠密和稀疏之分，可以很好地反映運(yùn)動(dòng)目標(biāo)的時(shí)空信息特征。稠密光流需要對(duì)圖像中所有像素點(diǎn)進(jìn)行逐點(diǎn)匹配，通過(guò)計(jì)算圖像上特征點(diǎn)的偏移量，形成一個(gè)稠密的光流場(chǎng)。其典型代表是Horn-Schunck光流法，這種方法計(jì)算量比較大，實(shí)時(shí)性不高，用在視頻監(jiān)控系統(tǒng)中很難取得理想效果。

Lucas-Kanade（LK）光流法是計(jì)算稀疏光流的一種經(jīng)典方法，它計(jì)算的前提條件是假定×鄰域范圍內(nèi)的所有像素點(diǎn)都具有一致的運(yùn)動(dòng)，利用最小二乘法對(duì)該鄰域的光流值進(jìn)行計(jì)算。角點(diǎn)包含豐富的信息，是圖像中梯度縱向和橫向變化最明顯的點(diǎn)。與密集光流法相比，LK光流法的計(jì)算量較小，僅需計(jì)算角點(diǎn)鄰域范圍內(nèi)的光流。因此采用稀疏光流法進(jìn)行運(yùn)動(dòng)目標(biāo)的檢測(cè)。

LK算法前提條件如下：

（1）亮度一致；

（2）前后幀像素點(diǎn)移動(dòng)的偏差不能過(guò)大；

（3）某一像素點(diǎn)與其周圍像素點(diǎn)移動(dòng)的模式相同。

像素點(diǎn)的運(yùn)動(dòng)如圖1所示。假設(shè)像素點(diǎn)的亮度值在連續(xù)兩幀圖像中保持不變，即像素點(diǎn)從時(shí)刻的（，）位置，運(yùn)動(dòng)到+Δ時(shí)刻的（+Δ，+Δ）位置，亮度保持不變。則有：

圖1 像素點(diǎn)的運(yùn)動(dòng)

將式（1）進(jìn)行一階泰勒級(jí)數(shù)展開(kāi)，忽略高階項(xiàng)，得到光流約束公式：

單個(gè)像素點(diǎn)通過(guò)上式無(wú)法解出2個(gè)未知數(shù)，可以利用×個(gè)像素點(diǎn)建立多個(gè)方程：

通過(guò)求解上述方程可得：

1.2 改進(jìn)的金字塔LK光流法

實(shí)際應(yīng)用中，像素點(diǎn)的運(yùn)動(dòng)不一定滿足假定小且連貫的特點(diǎn)，比如電梯內(nèi)發(fā)生的打架、搶劫等動(dòng)作幅度大、運(yùn)動(dòng)速度較快的異常行為。使用金字塔LK光流法能夠有效彌補(bǔ)LK光流法在這方面的不足。本文構(gòu)建的圖像金字塔結(jié)構(gòu)如圖2所示。金字塔的最底層即原始圖像的層數(shù)為0，將原始圖像不斷縮小，降低圖像分辨率，待最頂層圖像的分辨率降低到一定程度后，像素點(diǎn)移動(dòng)變得足夠小，以滿足LK光流法動(dòng)作較小的前提條件。從金字塔的最頂層開(kāi)始估計(jì)光流，然后沿著金字塔結(jié)構(gòu)逐層迭代計(jì)算，不斷修正起初假設(shè)的位移，從而得到原始圖像的光流運(yùn)動(dòng)估計(jì)。本文使用的金字塔為3層，既能實(shí)時(shí)有效的計(jì)算光流矢量，又不會(huì)增加計(jì)算量。

圖2 圖像金字塔

利用改進(jìn)的金字塔LK光流法進(jìn)行光流檢測(cè)的總體流程如圖3所示。

圖3 改進(jìn)的金字塔LK光流檢測(cè)過(guò)程

2 電梯內(nèi)異常行為檢測(cè)

2.1 異常行為定義

電梯轎廂空間有限，通過(guò)分析乘客乘坐電梯的心理，可以發(fā)現(xiàn)正常情況下，乘客走進(jìn)電梯轎廂后先按下自己想去的樓層鍵，然后幾乎一動(dòng)不動(dòng)地站著等待電梯到達(dá)目的樓層。如果乘客相互之間不熟悉不會(huì)進(jìn)行太多肢體接觸，只會(huì)進(jìn)行一些動(dòng)作幅度較小的動(dòng)作，比如低頭玩手機(jī)、談話交流等。然而，電梯內(nèi)突然發(fā)生異常行為的情況總是不可避免，且這些行為的動(dòng)作幅度大、速度較快、方向混亂，不具有規(guī)律。本文將電梯內(nèi)發(fā)生的打斗和搶劫等運(yùn)動(dòng)速度快、運(yùn)動(dòng)方向混亂的行為定義為異常行為。

2.2 異常行為檢測(cè)

光流矢量蘊(yùn)含豐富的特征，其方向可以反映人體或物體運(yùn)動(dòng)的方向，其長(zhǎng)短可以反映人體或物體運(yùn)動(dòng)速度的快慢，其強(qiáng)度可以反映圖像中運(yùn)動(dòng)目標(biāo)的分布情況。將這些特征結(jié)合可以有效判斷運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)時(shí)的形態(tài)變化特征和運(yùn)動(dòng)變化規(guī)律。

通過(guò)金字塔LK光流法求得每個(gè)光流點(diǎn)的速度矢量（，），據(jù)此可以求得每個(gè)光流點(diǎn)（，）的運(yùn)動(dòng)速度：

光流點(diǎn)的運(yùn)動(dòng)方向：

運(yùn)用光流法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)前，首先要去除噪聲、背景等多余信息的干擾，以達(dá)到盡可能保留對(duì)視頻分析有意義的特征信息。實(shí)驗(yàn)過(guò)程中會(huì)有背景光流點(diǎn)的噪聲干擾，對(duì)實(shí)驗(yàn)的準(zhǔn)確率產(chǎn)生影響。因此，運(yùn)用光流法提取運(yùn)動(dòng)特征，去除背景噪聲角點(diǎn)非常必要。通過(guò)實(shí)驗(yàn)分析發(fā)現(xiàn)，運(yùn)動(dòng)背景中的角點(diǎn)光流速度小于運(yùn)動(dòng)前景人體角點(diǎn)的速度，為了去除背景噪聲光流點(diǎn)，設(shè)置速度約束條件，保留滿足＞條件的光流點(diǎn)。為篩選光流點(diǎn)的閾值，經(jīng)多次實(shí)驗(yàn)后取值為30。

均值是統(tǒng)計(jì)學(xué)術(shù)語(yǔ)，在數(shù)學(xué)上的含義與平均數(shù)類似。每幀圖像的光流速度均值為：

式中，為當(dāng)前幀所有成功匹配到的角點(diǎn)總數(shù)。為排除正常行為檢測(cè)到角點(diǎn)數(shù)少的影響，通過(guò)大量實(shí)驗(yàn)，本文取值為100。表示視頻的幀數(shù)，采用平均速度來(lái)體現(xiàn)每一幀視頻圖像的速度信息。

直方圖是一種以圖形形式準(zhǔn)確表示一組數(shù)值的數(shù)據(jù)分布條形圖，通過(guò)圖表形式非常直觀地展示了統(tǒng)計(jì)的數(shù)據(jù)分布。方向直方圖顧名思義就是對(duì)光流方向進(jìn)行直方圖統(tǒng)計(jì)，將特征點(diǎn)運(yùn)動(dòng)的方向范圍劃分為大小相等的個(gè)角度區(qū)間，然后將運(yùn)動(dòng)矢量分別歸類到對(duì)應(yīng)區(qū)間。本文采用光流方向直方圖（HOF）的形式對(duì)特征點(diǎn)的運(yùn)動(dòng)方向信息進(jìn)行描述，通過(guò)計(jì)算方向直方圖的熵來(lái)衡量光流點(diǎn)運(yùn)動(dòng)方向的混亂程度。

熵的概念被用來(lái)描述一個(gè)系統(tǒng)的混亂度。它可以用來(lái)表示任何一種能量在空間中的分布均勻程度，能量分布得越均勻，相應(yīng)的熵值就會(huì)越大。計(jì)算得到的方向熵的值越大，表明當(dāng)前幀中光流點(diǎn)運(yùn)動(dòng)的方向越混亂，越有可能發(fā)生異常行為。如圖4所示，將平面中360°方向空間從0°開(kāi)始逆時(shí)針劃分區(qū)間，分為均等的8個(gè)區(qū)間，當(dāng)光流點(diǎn)的運(yùn)動(dòng)方向?qū)儆谠搮^(qū)間時(shí)加入此方向區(qū)間的統(tǒng)計(jì)中。

圖4 光流方向劃分

在計(jì)算方向熵之前，首先計(jì)算每個(gè)區(qū)間方向的概率：

式中：區(qū)間的光流方向次數(shù)總和為d；S為方向直方圖的方向次數(shù)總和，此處將S定義為100。

方向熵的計(jì)算公式如下：

運(yùn)動(dòng)的方向熵和平均速度是判斷是否存在異常行為的重要因素，電梯轎廂內(nèi)的乘客進(jìn)行正常的小幅度動(dòng)作時(shí)，平均速度和方向熵都很小。相反，當(dāng)出現(xiàn)打斗和搶劫等異常行為時(shí)，方向熵和平均速度變大，乘法可以理解為量變發(fā)展到質(zhì)變的結(jié)果。本文經(jīng)過(guò)大量的實(shí)驗(yàn)研究，提出衡量運(yùn)動(dòng)混亂度的公式：

3 實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集

實(shí)驗(yàn)采用在真實(shí)電梯轎廂環(huán)境拍攝的行為數(shù)據(jù)集。將攝像頭固定在電梯上方，正對(duì)電梯門(mén)位置。視頻大小為566×424，幀率為15 FPS，正常行為包括在電梯內(nèi)走動(dòng)，按下目標(biāo)樓層、喝水、看手機(jī)等，異常行為有電梯內(nèi)有人打架、撕扯等。

3.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證實(shí)驗(yàn)所提出方法的準(zhǔn)確性，本文在Windows7系統(tǒng)，8G內(nèi)存的計(jì)算機(jī)上使用實(shí)驗(yàn)工具VS2015 和OpenCV4.1.0，通過(guò)C++編程語(yǔ)言進(jìn)行編程，在自制數(shù)據(jù)集中進(jìn)行測(cè)試。

通過(guò)圖5可以看出，發(fā)生打斗等異常行為時(shí)，光流點(diǎn)運(yùn)動(dòng)的方向比較混亂，而正常行為發(fā)生時(shí)，光流點(diǎn)運(yùn)動(dòng)方向比較一致。

圖5 電梯內(nèi)光流圖

圖6統(tǒng)計(jì)了正常行為和異常行為的光流方向直方圖，可以看出正常行為的運(yùn)動(dòng)方向主要集中在0～(1/4)π，(3/4)π～π和(7/4)π～2π范圍，運(yùn)動(dòng)方向較集中。異常行為的運(yùn)動(dòng)方向區(qū)間比較均勻，其熵值較大。

圖6 正常行為和異常行為方向直方圖

由圖7可以看出，正常行為的方向熵值范圍為1.5～2.5；異常行為由于光流點(diǎn)運(yùn)動(dòng)方向比較混亂，其熵值較大，數(shù)值集中在3.0以上。

圖7 正常行為和異常行為方向熵曲線

通過(guò)對(duì)比圖8的實(shí)驗(yàn)數(shù)據(jù)可以看出，正常行為的值較小，且數(shù)值大多在700以內(nèi)；而異常行為由于光流點(diǎn)運(yùn)動(dòng)的速度大，方向比較雜亂，其值較大，數(shù)值集中在700以上。此處閾值設(shè)置為700，若連續(xù)2幀視頻序列的值超過(guò)閾值，提示出現(xiàn)異常行為。

圖8 電梯內(nèi)正常行為和異常行為的W值曲線

將本文方法在自制數(shù)據(jù)集中進(jìn)行驗(yàn)證，實(shí)驗(yàn)測(cè)試數(shù)據(jù)包含正常行為1 575幀，異常行為1 125幀。與平均速度法進(jìn)行對(duì)比，其中，異常漏檢率為異常行為檢測(cè)為正常行為的概率，實(shí)驗(yàn)對(duì)比結(jié)果見(jiàn)表1所列。

表1 與其他方法的檢測(cè)結(jié)果對(duì)比

由表1得出，與平均速度（閾值250）方法相比，本文方法準(zhǔn)確率較高，同時(shí)誤檢率相對(duì)較低，能獲得比較準(zhǔn)確的實(shí)驗(yàn)結(jié)果，在實(shí)際運(yùn)用中能滿足實(shí)時(shí)準(zhǔn)確的檢測(cè)要求。

4 結(jié) 語(yǔ)

針對(duì)電梯內(nèi)乘客打架、搶劫等運(yùn)動(dòng)幅度大、方向混亂的異常行為，提出基于金字塔LK光流法的異常行為檢測(cè)方法。本文方法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，行之有效，且方法的執(zhí)行速度較好，可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。通過(guò)實(shí)驗(yàn)驗(yàn)證，本方法在效果上能夠達(dá)到預(yù)期。