肖旭 廖鵬舉 段和幸 郭磊 秦崇文 鄺晶

摘要：本文研究的人員異常行為識別系統(tǒng)包括人員行為特征提取、行為分類兩個部分，系統(tǒng)的行為特征提取以表觀特征、時空特征以及光流變化為基礎(chǔ)，提取目標(biāo)的行為特征，并將其融合成更具表達(dá)能力的綜合特征，最后通過支持向量機將人員行為分類，判斷行為是否異常。采用這種方式構(gòu)建系統(tǒng)比卷積神經(jīng)網(wǎng)絡(luò)更加簡單，適合特定場合的小概率異常行為識別。

關(guān)鍵詞：光流特征;特征提取;特征融合;行為分類

引言

人工智能得到了全世界科研人員的廣泛關(guān)注，應(yīng)用于人機交互、視頻檢索、視頻監(jiān)控等領(lǐng)域的計算機視覺技術(shù)也在不斷進(jìn)步[1，2]。人員異常行為識別系統(tǒng)在視頻監(jiān)控領(lǐng)域的應(yīng)用，使得用于監(jiān)視異常行為的人力資源大大減少。

人員異常行為識別系統(tǒng)的重點在于目標(biāo)的行為特征提取，常用的方法包括基于時空特征、光流法、目標(biāo)表觀特征等傳統(tǒng)算法，以及基于深度學(xué)習(xí)的三維卷積神經(jīng)網(wǎng)絡(luò)[3]。傳統(tǒng)算法與卷積神經(jīng)網(wǎng)絡(luò)相比較為簡單，為增加目標(biāo)行為的識別率，一般需要將目標(biāo)的多個特征進(jìn)行融合，隨后分類，再根據(jù)人工設(shè)計判斷是否屬于異常行為，而卷積神經(jīng)網(wǎng)絡(luò)可以通過深度學(xué)習(xí)直接提取目標(biāo)的行為特征[4]，判斷是否屬于異常行為。而卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)行為特征需要通過大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)，對于特定場合的異常行為識別，采用傳統(tǒng)算法更為簡單合適。

1.行為特征提取

目標(biāo)的行為特征從整體上可以分為全局特征和局部特征兩大類，全局特征是以目標(biāo)的整體作為特征提取對象，從目標(biāo)的輪廓、形狀或骨骼等方面獲取目標(biāo)的行為信息;而局部特征則以目標(biāo)的部分圖像為切入點，目標(biāo)的遮擋以及背景對目標(biāo)行為特征的提取影響不大。

從運動上可以將目標(biāo)的行為特征分為靜態(tài)特征、動態(tài)特征以及時空特征三類，目標(biāo)的靜態(tài)特征包括目標(biāo)的形狀、輪廓、顏色、骨骼分布等信息;可用來表征全局特征的動態(tài)特征指目標(biāo)的運動軌跡以及光流變化等信息;目標(biāo)的時空特征則具備了兩者的優(yōu)勢，包含了目標(biāo)的空間信息以及目標(biāo)在時間上的運動信息，是局部特征的一種。多個特征的融合使用能夠使傳統(tǒng)算法獲取更加準(zhǔn)確的目標(biāo)行為特征。

1.1 基于人體結(jié)構(gòu)的輪廓特征

人體輪廓是行人行為的重要特征之一，它會根據(jù)不同的時間，表示出周期性的變化，對行人行為描述具有較為明顯的代表性。一般可以通過偵差、輪廓剪影、目標(biāo)跟蹤、背景減圖等方式獲得目標(biāo)的輪廓特征。根據(jù)人體的輪廓信息，可以計算出人體的質(zhì)心，根據(jù)人體的質(zhì)心和輪廓變化，可以描述目標(biāo)的行為。具有和人體輪廓相似作用的，還有目標(biāo)的骨骼信息，但通過這類方法提取目標(biāo)的行為特征需要保證目標(biāo)在監(jiān)控視頻中的完整性。

1.2 基于目標(biāo)運動的光流特征

目標(biāo)在運動時會產(chǎn)生明顯的光流變化，根據(jù)目標(biāo)的光流變化可以生成目標(biāo)的運動軌跡。由于光流目標(biāo)進(jìn)行空間運動時投影在平面上的瞬時速度，能夠反映目標(biāo)的速度和方向等信息，是常用的底層運動特征。同時，復(fù)雜的背景和目標(biāo)自身的變化不會對光流的表現(xiàn)形式造成明顯的影響，但光照強度突然發(fā)生變化時會使提取的行為特征產(chǎn)生較大誤差，在以目標(biāo)的光流為基礎(chǔ)提取目標(biāo)行為特征時要確監(jiān)控視頻的圖像得到增強處理。

1.3基于時空特征的時空興趣點提取行為特征

時空興趣點的定義是視頻各幀在時間和空間上的變化都比較顯著的像素點，是一種提取目標(biāo)行為特征時常用的局部特征，提取時空興趣點能夠?qū)δ繕?biāo)行動時比較突出的部位定位。常用的檢測方法有 Harris-3D 角點檢測、海森檢測方法和 Dollar 檢測法。時空興趣點適用于一些復(fù)雜背景下，不再過度依賴于背景，其中的關(guān)鍵因素是興趣點提取的數(shù)量和密集程度，在一般情況下，密集的時空興趣點效果要更好，但相應(yīng)的是時空復(fù)雜度較高。

2.行為特征融合

單一的特征不能很好的描述目標(biāo)行為，目標(biāo)的多種行為特征組合比單一的特征具有更好的表達(dá)能力，使系統(tǒng)在識別異常行為時能夠獲得更加準(zhǔn)確的結(jié)果。將目標(biāo)的全局特征和局部特征融合后的新特征，能夠?qū)⑷藛T的異常行為模式及其變化規(guī)律描述的更加準(zhǔn)確。特征融合最簡單的方式是將用于表征特征的向量連接成更高維度的新向量，也可以將按不同方式處理后的圖像進(jìn)行更高層次的深度融合。

3.行為分類

提取的目標(biāo)特征在融合成更高層次的新特征后，要根據(jù)其特征對行為進(jìn)行識別判斷，需要采用適當(dāng)?shù)姆诸悪C制來對多個的特征進(jìn)行分類識別，為后面測試打下基礎(chǔ)。由于發(fā)生的異常行為多為小概率事件，所提取的運動目標(biāo)的特征信息可以認(rèn)為是小樣本數(shù)據(jù)，根據(jù)各種分類算法的優(yōu)缺點，使用支持向量機來建立特征分類器。

使用支持向量機對行為進(jìn)行分類是通過尋找最優(yōu)超平面對所提取的運動目標(biāo)的特征進(jìn)行分類。首先將對采集到的目標(biāo)樣本以及測試的數(shù)據(jù)進(jìn)行歸一化，選擇高斯函數(shù)作為核函數(shù)。為了得到上述參數(shù)，會使用交叉驗證法對每個特征集合進(jìn)行測試，得到參數(shù)后對采集的數(shù)據(jù)樣本中的特征進(jìn)行訓(xùn)練從而得到分類器。

4.結(jié)語

在使用傳統(tǒng)算法提取目標(biāo)行為特征時，需要對采集的視頻圖像進(jìn)行增強處理，以減少系統(tǒng)的識別誤差。采用傳動算法搭建的人員異常行為識別系統(tǒng)，異常行為特征都來源于人工設(shè)計，而不同的場所對異常行為的定義不同，系統(tǒng)在不同場合應(yīng)用時，需要對其中的異常行為設(shè)計進(jìn)行修改。相比卷積神經(jīng)網(wǎng)絡(luò)，這種方式在特定的場所具有更大的商業(yè)價值。

參考文獻(xiàn)

[1]陳超，齊峰.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計算機視覺領(lǐng)域中的應(yīng)用綜述[J].計算機科學(xué)，2019，46（03）：63-73.

[2]羅會蘭，王嬋娟，盧飛.視頻行為識別綜述[J].通信學(xué)報，2018，39（06）：169-180.

[3]蓋勇剛.基于深度學(xué)習(xí)的人體行為識別技術(shù)[J].信息技術(shù)與信息化，2021（05）：143-144.

[4]李永，梁起明，楊凱凱，郭少哲，張友善.基于深度學(xué)習(xí)的人體行為識別檢測綜述[J].科學(xué)技術(shù)與工程，2021，21（20）：8310-8320.

基金項目：湖南省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃：基于JetsonTX2平臺的人員異常行為識別系統(tǒng)研究與開發(fā)（S201911077008）;多功能水域垃圾智能清理裝置（B20170201209）。