李 梅,龔 威,賈俊偉
(天津城建大學(xué) a. 計(jì)算機(jī)與信息工程學(xué)院;b. 控制與機(jī)械工程學(xué)院,天津 300384)
隨著鐵路的大發(fā)展,安全駕駛成為保證鐵路安全運(yùn)輸中重點(diǎn)關(guān)注的問題之一.因此,如何監(jiān)督和確保列車駕駛員的良好工作狀態(tài)也變得越來越重要.目前,駕駛員行為監(jiān)督環(huán)節(jié)是通過監(jiān)控人員盯多屏來實(shí)現(xiàn),耗費(fèi)大量人力.本文根據(jù)列車駕駛員駕駛時的特點(diǎn)和規(guī)律,分析其疲勞駕駛時的行為,針對列車運(yùn)行時駕駛室內(nèi)光照變化等因素的影響,采用有效的列車駕駛員行為檢測和識別算法,研究并設(shè)計(jì)了一個具有遠(yuǎn)程智能監(jiān)控功能的列車駕駛員行為識別和報警系統(tǒng).
系統(tǒng)將圖像數(shù)據(jù)采集、運(yùn)動目標(biāo)檢測、行為識別和違規(guī)自動報警等功能集成為一個一體化的平臺,主要構(gòu)成部分包括:前端采集、傳輸、存儲、報警、顯示和計(jì)算機(jī)處理系統(tǒng).其中計(jì)算機(jī)處理系統(tǒng)是利用智能監(jiān)控軟件對圖像數(shù)據(jù)進(jìn)行處理,完成圖像人體檢測、跟蹤和識別等工作,是整個智能監(jiān)控系統(tǒng)的核心.系統(tǒng)結(jié)構(gòu)如圖1所示.
圖1 系統(tǒng)結(jié)構(gòu)圖
智能視頻監(jiān)控首先要進(jìn)行運(yùn)動目標(biāo)檢測,它是指從采集到的視頻圖像中提取出運(yùn)動目標(biāo),其效果直接影響目標(biāo)行為的識別和系統(tǒng)的有效性與實(shí)時性.
運(yùn)動目標(biāo)檢測常用的方法有光流法、幀間差分法、背景減除法等.由于列車駕駛室處于高速運(yùn)行狀態(tài),光照、陰影等環(huán)境因素變化快,對駕駛員姿態(tài)提取的難度增加,通過對不同的運(yùn)動目標(biāo)檢測算法的分析對比,發(fā)現(xiàn)背景減除法中混合高斯背景模型[1]能夠很好地適應(yīng)背景變化,因此系統(tǒng)采用基于該模型的檢測算法,并針對其不足,使用了一種改進(jìn)的高斯背景模型的運(yùn)動目標(biāo)檢測算法,通過與Otsu[2]自適應(yīng)閾值的幀間差分法結(jié)合消除光線、陰影的干擾,實(shí)驗(yàn)驗(yàn)證該算法具有實(shí)時性和準(zhǔn)確性特點(diǎn).
2.1.1 背景模型的建立
式中:μk為均值,σk是第K個分量的標(biāo)準(zhǔn)差矩陣.
2.1.2 背景模型參數(shù)的自適應(yīng)
在模型初始化之后,根據(jù)模型匹配情況不斷地更新背景模型中的各個參數(shù),來適應(yīng)時刻發(fā)生變化的背景以獲得最準(zhǔn)確的背景模型.
首先,判斷當(dāng)前像素值是否滿足背景模型的高斯分布
若滿足式(3),則認(rèn)為該像素值匹配這個高斯分布,否則不匹配,繼續(xù)與優(yōu)先級低的高斯分布相匹配.
其次,判斷當(dāng)前點(diǎn)為前景點(diǎn)或背景點(diǎn).若當(dāng)前像素值與 K個高斯分布存在與之匹配的高斯成分,則判斷該點(diǎn)為背景點(diǎn),否則當(dāng)前像素值為前景點(diǎn).
最后,更新匹配的高斯分布的參數(shù),其權(quán)值、均值和方差分別按照公式(4),(5)以及公式(6)更新
其中,ρ為方差與均值的學(xué)習(xí)率, ρ=α/ ωi,t;α為權(quán)重的學(xué)習(xí)率.
由于幀間差分法是通過檢測相鄰兩幀之間的變化來得到運(yùn)動目標(biāo)的區(qū)域(Ac),但是相鄰兩幀之間的變化包括運(yùn)動物體實(shí)際的輪廓和被運(yùn)動目標(biāo)遮擋隨著運(yùn)動目標(biāo)離開而顯現(xiàn)的背景區(qū)域(Aubg),這兩部分都被判斷為運(yùn)動目標(biāo),使得運(yùn)動目標(biāo)的區(qū)域大于實(shí)際運(yùn)動目標(biāo)的輪廓(Ao),所以接下來要對顯現(xiàn)的背景區(qū)域進(jìn)行處理,去除這部分干擾,其中實(shí)際背景區(qū)域用(Abg)表示.
設(shè) It-1(x y )和 It( x y)為視頻序列中t-1時刻和t時刻相鄰兩幀圖像中相同位置像素點(diǎn)的像素值,將這兩幀圖像進(jìn)行差分處理,判定規(guī)則如下
其中,T是差分閾值,傳統(tǒng)的差分閾值T是提前給定的,但是針對不同的環(huán)境要設(shè)定不同的差分閾值,所以本文針對這一點(diǎn)采用Otsu閾值分割方法,針對不同的環(huán)境自適應(yīng)獲取不同的閾值,并根據(jù)環(huán)境中光線變動提出添加值.閾值T的計(jì)算公式如下
其中,Tc采用Otsu閾值分割方法,附加值ΔT代表了光線對背景的影響,當(dāng)光線對背景的影響較小時,附加值近乎為0.當(dāng)光線對背景的影響較大時,附加值會明顯增大,本算法更能適應(yīng)光照突變的情況.
由于混合高斯模型在運(yùn)動物體長時間停留融入背景時,達(dá)不到需要的檢測結(jié)果,因此將混合高斯模型的背景建模和采用Otsu自適應(yīng)閾值的幀間差分法相結(jié)合,通過幀間差分將視頻序列的每一幀圖像區(qū)分為前景區(qū)域和背景區(qū)域,再利用混合高斯模型不斷地更新背景區(qū)域的高斯分布參數(shù),形成新的背景模型,而前景區(qū)域不更新高斯分布參數(shù).方法流程如圖2所示.
圖2 混合高斯背景模型結(jié)合幀間差分法流程圖
由公式 ρ=α/ ωi,t可知,學(xué)習(xí)率ρ的大小由α決定,α越大則背景更替的速率就越快.α應(yīng)根據(jù)實(shí)際圖像變化而定,對于當(dāng)前幀中突出的被運(yùn)動物體覆蓋的區(qū)域,則應(yīng)賦予較大的值,一般取α>0.8,這種處理方法能夠?qū)崿F(xiàn),即使運(yùn)動物體短暫融入背景,又突然離開,背景模型也會迅速更新,不會留下虛假的運(yùn)動目標(biāo).
駕駛員行為識別是視頻監(jiān)控的核心任務(wù).本系統(tǒng)利用星形骨架特征方法[4]提取人體特征,建立碼表,并在行為識別中應(yīng)用隱馬爾科夫模型(HMM)[5].
HMM的基本理論形成于20世紀(jì)60年代末和70年代初,常用簡寫形式 λ= {A,B,π}表示.其中π為初始狀態(tài)分布,A用來描述馬爾科夫鏈,輸出為狀態(tài)序列,B用來描述隨機(jī)過程,輸出為觀察符號序列.
HMM可分為訓(xùn)練和識別兩部分,訓(xùn)練部分可以采用Baum-Welch算法來訓(xùn)練模型的λi,識別部分可以采用前向算法計(jì)算出最可能輸出該序列的模板.
Baum-Welch估計(jì)算法能確定一個HMM模型參數(shù)λ={A,B,π},使P( O|λi) 最大.算法描述如下.
重估公式
前向變量定義如下
前向算法描述如下
① 初始化:
② 遞推:
③ 終止:
遞推是整個算法的核心,使計(jì)算量大大減少.
HMM 人體行為識別算法驗(yàn)證是在 KTH[6]和HollyWood[7]人體行為數(shù)據(jù)庫中進(jìn)行.針對KTH數(shù)據(jù)庫取出“走動”(walk)和“彎腰”(bend)動作,Hollywood 取出“打電話”(Phone)、“坐下”(Sit down)和“揮手”(wave)動作,兩個數(shù)據(jù)庫共5組動作,選擇10個人分別做5種動作并重復(fù)3次,選取的視頻一般在20幀和80幀之間,如果視頻的幀數(shù)太少,還不能夠很好地提取出人體行為特征,如果視頻幀數(shù)太大,會使接下來的學(xué)習(xí)越來越困難.最終實(shí)驗(yàn)結(jié)果中Phone的識別正確率相對較低,因?yàn)槿舜螂娫挼氖直蹌幼鞑⒉幻黠@,特征匹配會出現(xiàn)偏差,另外4種識別正確率均超過96%,達(dá)到了預(yù)期目標(biāo).
測試主要包括功能測試和性能測試.本測試在VC++6.0平臺上進(jìn)行,通過軟件界面來顯示測試結(jié)果,通過暫停按鈕來查看某一幀的識別情況,重新開始按鈕繼續(xù)查看識別結(jié)果(見圖3-6).
圖3 實(shí)驗(yàn)人員正常坐下
圖4 實(shí)驗(yàn)人員伏案睡覺
圖5 實(shí)驗(yàn)人員仰躺在椅子上睡覺
圖6 實(shí)驗(yàn)人員隨意走動
如圖3所示,當(dāng)目標(biāo)人體在場景中呈現(xiàn)為一種坐姿時,視頻輸出結(jié)果無變化,即無異常行為發(fā)生.圖4-6中場景人員分別為伏案、仰靠和走動,經(jīng)判定這幾種行為均為違規(guī)行為,因此,觸發(fā)系統(tǒng)報警信號進(jìn)行報警并作報警記錄.
本文研究并設(shè)計(jì)了一個基于視頻序列的列車駕駛員行為識別系統(tǒng).通過對運(yùn)動目標(biāo)檢測算法的研究,提出采用混合高斯模型與幀間差分法搭配使用的改進(jìn)目標(biāo)檢測算法,既克服了光照影響也提取出人體完整輪廓,并采用自適應(yīng)閾值分割方法,使目標(biāo)檢測在不同場景都有較好的效果;針對駕駛員違規(guī)行為識別,采用復(fù)雜度低且效果較好的星形骨架特征提取方法來描述人體的運(yùn)動特征,最后采用隱馬爾科夫模型實(shí)現(xiàn)了對連續(xù)的駕駛員行為進(jìn)行快速識別.經(jīng)過功能測試結(jié)果說明本系統(tǒng)能較好地完成列車駕駛員基本行為的識別功能,并對違規(guī)行為能做出及時報警和記錄.
[1]蘇 兵,李 剛,王洪元. 基于改進(jìn)高斯混合模型的運(yùn)動目標(biāo)檢測方法[J]. 計(jì)算機(jī)工程,2012(2):210-212.
[2]OTSU N. A threshold selection method from gray-level histogram[J]. IEEE Transactions on Systems Man and Cybernetics,1979,9(1):62-66.
[3]STAUFFER C,GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]. Fort Collins:IEEE Computer Society Conference on Computer Vision and Pattern Recongnition,1999.
[4]FUJIYOSHI H,LIPTON A J. Real-time human motion analysis by Image Skeletonization[C]. Princeton,NJ:Fourth IEEE Workshop on Applications of Computer Vision,1998.
[5]黃 靜,孔令富,李海濤. 基于傅里葉-隱馬爾科夫模型的人體行為識別[J]. 計(jì)算機(jī)仿真,2011,28(7):245-248.
[6]SCHULDT C,LAPTEV I,CAPUTO B. Recognizing human actions:a local SVM approach[J]. International Journal of Pattern Recognition,2004(3):32-36.
[7]MARSZALEK M,LAPTEV I,SCHMID C. Actions in Context[C]. Miami,F(xiàn)L:IEEE Conference on Computer Vision Pattern Recognition,2009.