陳 艷， 胡 榮， 李升健， 萬 彬， 孫書會

(1. 江西科技師范大學 通信與電子學院， 南昌 330036； 2. 南昌大學 科學技術(shù)學院， 南昌 330029； 3. 國網(wǎng)江西省電力有限公司 電力科學研究院， 南昌 330096； 4. 南昌職業(yè)學院 工程系， 南昌 330004； 5. 沈陽工業(yè)大學 軟件學院， 沈陽 110870)

隨著人們對公共場合安全問題的重視，大量的視頻監(jiān)控系統(tǒng)被安裝，用來分析突發(fā)事件和異常行為[1].然而，這一識別過程若僅依靠人工，則需要消耗大量的物力和財力，且監(jiān)控人員長時間工作也易產(chǎn)生視覺疲勞，無法及時發(fā)現(xiàn)和反饋問題[2-4]，因此，實現(xiàn)公共場合的自動監(jiān)控與報警能在一定程度上節(jié)約人力資源，并能及時控制異常行為的發(fā)生[5-8].

目前，眾多國內(nèi)外學者和研究機構(gòu)提出了多種人體行為識別和分析方法[9]，如美國國防部設(shè)立了VSAM項目[10]，將自動化視頻處理技術(shù)應(yīng)用于監(jiān)控民用公共場所和監(jiān)控戰(zhàn)場.基于圖像處理技術(shù)的人體行為識別方法可以分為直接分類法、狀態(tài)空間法和模板匹配法[11].模板匹配法使用已知、確定的模板與待檢測目標進行匹配，并將相似度最高的行為模板作為待檢測目標的行為類別，如文獻[12]中使用運動歷史圖像和運動能量圖作為匹配模板，并使用馬氏距離判斷行為類別；狀態(tài)空間法將人體行為與時序狀態(tài)結(jié)合，使用隱含馬爾科夫模型和動態(tài)貝葉斯網(wǎng)絡(luò)找出所有目標幀之間的相互作用關(guān)系[13].

雖然這些方法能取得一定的效果，但自然場景中的視頻存在著雜間距離的變化，導致人體在視頻中呈現(xiàn)出不同的形狀和大?。灰曨l中背景存在著各種干擾因素，導致無法準確提取出人體特征；室內(nèi)外場景的光照變化也將導致人體的顏色與對比度產(chǎn)生較大差異，導致無法有效辨別人體動作；視頻中運動目標經(jīng)常出現(xiàn)遮擋情況，也會給動作識別帶來一定的困難.

針對這些問題，本文結(jié)合組合特征和SVM提出了一種視頻中人體行為識別算法.首先使用光流特征、HOG特征和重心特征構(gòu)成的組合特征描述人體的運動，然后訓練SVM分類器對提取出的特征進行分類，最終得到具體的行為類別.

1 組合特征提取

人體行為識別包括人體特征提取和行為分類兩個步驟，本文使用光流特征、HOG特征、重心特征以及3D SIFT特征構(gòu)成的組合特征來描述各種行為.

1.1 光流特征

光流特征是由Gibson在1950年提出的，其用圖像中每個像素點的灰度變化趨勢表征像素點的運動方向及速度.假設(shè)圖像像素點I(x，y)的變化可以用向量D=(u，v)表示，其中，u和v分別表示像素點在x方向和y方向的運動分量，則t時刻的運動變化滿足

(1)

由于(u，v)在績效局部內(nèi)的亮度不變，則有

(2)

AD=B?ATAD=ATB?D=(ATA)-1ATB

(3)

光流特征通過對比連續(xù)的兩幀圖片，計算出物體的運動信息，根據(jù)光流計算的結(jié)果可以看出，光流場中可以看出變焦明顯的人形，而背景區(qū)域只有較小的向量.

1.2 HOG特征

HOG全稱為方向梯度直方圖，常作為物體檢測中的特征描述子，且被廣泛應(yīng)用于行人檢測領(lǐng)域.本文為了更好地描述不同的人體行為，提出了一種改進的HOG算法，具體計算步驟如下：

1) 輸入圖像灰度值以減少光照影響；

2) 使用一維梯度模板[-1，0，1]與[1，0，-1]T計算x軸方向和y軸方向的梯度Gx、Gy，即

(4)

式中，H(x，y)為像素點(x，y)處的像素值，則其梯度幅值G(x，y)和梯度方向α(x，y)分別為

(5)

(6)

3) 將圖像劃分為若干個8×8大小的cell，并統(tǒng)計9個cell中的梯度直方圖信息，將每個cell的梯度方向劃分為9個方向塊，用9維向量表示一個cell；

4) 組合2×2個cell形成一個大塊像素，并串聯(lián)所有cell向量得到塊的HOG特征；

5) 使用高斯函數(shù)對梯度特征進行加權(quán)，得到各個塊的HOG特征.

由于HOG特征表示局部小區(qū)域的統(tǒng)計直方圖，故能有效消除陰影和光照的影響.圖1為本文提取的HOG特征，從圖1中可以看出，在人體的邊緣區(qū)域能看到明顯的灰度差.

1.3 重心特征

人體在運動時重心的位置不斷發(fā)生變化，重心特征的提取包含人體輪廓提取和重心計算兩個步驟.

圖1 HOG特征Fig.1 HOG characteristics

1) 人體輪廓提取.首先提取出人體運動目標，然后對得到的二值圖像使用Canny算法檢測目標的邊緣，得到的邊緣圖像即為人體輪廓.

2) 人體重心計算.圖像重心位置計算表達式為

(7)

式中，N為圖像的總像素點數(shù).計算得到M幀圖像的重心后，可以將這M個點連接成二維特征向量.

1.4 3D SIFT特征

為了描述人體行為在時間域的變化特點，本文使用3D SIFT特征表示人體在時間上的運動信息和空間的特征信息，同時，該特征對旋轉(zhuǎn)、縮放和噪聲均具有較好的適應(yīng)性.3D SIFT特征的具體計算過程如下：

1) 以興趣點為中心，從視頻序列中抽取時空立方體，并將其劃分為大小相同且固定的cell立方體；

2) 統(tǒng)計每個cell立方體的時空梯度直方圖；

3) 聯(lián)合所有cell立方體，構(gòu)成該興趣點的3D SIFT特征.

3D SIFT特征提取過程如圖2所示，本文將12×12×12大小的立方體劃分為8個子立方體，并計算點(x，y，t)的梯度幅值，本文使用32面的多面球體描述3D SIFT特征，則共有256維特征.

圖2 3D SIFT特征提取過程Fig.2 3D SIFT feature extraction process

1.5 特征組合

不同的圖像可以提取出不同維度的特征，本文為了保證各特征向量的維度一致，將光流特征和HOG特征進行歸一化處理，并設(shè)置使用特征相同的權(quán)重來保證各特征被同等重視，以盡量實現(xiàn)參數(shù)最優(yōu)，即各特征權(quán)重都為1.具體計算過程如下：

1) 將圖像歸一化大小為96×96；

2) 設(shè)置cell大小為8×8，并取2×2個cell組成塊，即每個塊的大小為16×16，故可以得到4 356維HOG向量；

3) 使用步驟2)的設(shè)置，也可以提取出4 356維的光流特征向量；

4) 連接HOG特征、光流特征、重心特征和3D SIFT特征得到組合特征向量.

2 人體行為識別

SVM通過將低位數(shù)據(jù)映射到高位特征空間，使得低維線性不可分的樣本在高位空間線性可分.本文對任意兩種人體行為均訓練一個二分類SVM模型，并由決策函數(shù)確定SVM的分類結(jié)果.最后，統(tǒng)計并對所有SVM結(jié)果進行投票，將測試樣本的行為歸類為投票最高的行為類別.

假設(shè)訓練樣本集為fi，li∈{-1，1}，i=1，2，…，n，SVM的核函數(shù)為k(fi，li)，且有函數(shù)φ將輸入的低維樣本映射到高位空間，函數(shù)φ滿足(φ(fi)，φ(fj))=k(fi，li)，則SVM的分類超平面為wφ(f)-b=0.訓練SVM的目標是使目標函數(shù)值最小，即

s.t.li(w，φ(f))-b≥1-εi，0≤εi≤1

(8)

式中，εi和C分別為松弛變量與正則化系數(shù).式(8)的拉格朗日對偶式為

(9)

式中，a=(a1，a2，…an)T為約束因子.求解式(9)可以得到分類超平面的決策函數(shù)為

(10)

3 實驗與結(jié)果分析

本文使用KTH數(shù)據(jù)集進行仿真測試，該數(shù)據(jù)集包含4個場景(SC1、SC2、SC3，SC4)下24個不同人的拳擊、手拍手、揮舞手、慢跑、跑步和走路行為.不同場景下攝像機的視角、視頻背景和人的穿戴均明顯不同，表1所示為不同場景下不同人的部分視頻序列.本文將不同場景下的視頻序列混為一個總樣本數(shù)據(jù)集，通過增加訓練和測試的復雜度來模擬復雜的現(xiàn)實場景，從而證明本算法的魯棒性與適應(yīng)性.

表1 KTH數(shù)據(jù)集視頻序列Tab.1 Video sequence of KTH data set

表2～4所示為混合兩個不同場景時得到的測試結(jié)果.從表中可以看出，對SC3和SC4這兩個相對穩(wěn)定的場景進行混合時行為分類的準確率最高，能實現(xiàn)所有行為95%的識別精度.而對于較復雜場景的混合，識別精度有不同程度的降低.表5為混合所有4個場景時得到的行為分析精度，雖然在不同混合場景中人體行為識別精度有所不同，但比較容易混淆的行為動作相對一致，符合實際觀察的規(guī)律.對多場景混合測試結(jié)果表明，本算法能達到較高的識別精度，能適應(yīng)較復雜的環(huán)境.

表2 SC1+SC2場景下的人體行為分類結(jié)果Tab.2 Results of human behavior classification under SC1+SC2 scenarios

表3 SC1+SC3場景下的人體行為分類結(jié)果Tab.3 Results of human behavior classification under SC1+SC3 scenarios

表4 SC3+SC4場景下的人體行為分類結(jié)果Tab.4 Results of human behavior classification under SC3+SC4 scenarios

表5 SC1+SC2+SC3+SC4場景下的人體行為分類結(jié)果Tab.5 Results of human behavior classification under SC1+SC2+SC3+SC4 scenarios

4 結(jié) 論

本文提出一種基于組合特征和SVM的視頻行為識別算法.通過提取光流特征、HOG特征、重心特征和3D SIFT特征構(gòu)成的組合特征與訓練SVM分類器來識別不同的人體行為.對包含4個場景的KTH數(shù)據(jù)集進行仿真測試的結(jié)果表明，相比單一特征的情況，使用組合特征能提高人體行為分類精度；在多種場景組成的復雜場景測試結(jié)果表明，所提出的算法獲得了較好的分類結(jié)果，并具有一定的適應(yīng)性.