馮連強,楊延西,崔 樂,任玉成,王俊萍,王彥國
(1.中國重型機械研究院股份公司,陜西 西安 710032;2.西安理工大學(xué),陜西 西安 710048;3.河北省首鋼遷安鋼鐵有限責(zé)任公司,河北 唐山 064400)
工業(yè)生產(chǎn)線上,有時人員需要進(jìn)入非安全區(qū)域,傳統(tǒng)的安全監(jiān)測元件與系統(tǒng)功能的不足,導(dǎo)致頻繁發(fā)生人身安全事故,如包裝線穿心打孔傷人、卷邊機傷人等。視覺技術(shù)則可以有效檢測到異常情況,及時處理,避免事故的發(fā)生。傳統(tǒng)的監(jiān)控系統(tǒng)主要人在操作室對多臺監(jiān)控設(shè)備進(jìn)行操控與預(yù)警,這樣就出現(xiàn)一些問題:人無法保證長時間有效的監(jiān)控,且人的監(jiān)測區(qū)域有限,無法保證對多臺設(shè)備所有安全區(qū)域的實時監(jiān)控。此外,現(xiàn)有改進(jìn)視頻監(jiān)控報警系統(tǒng)主要采用運動檢測方法實現(xiàn)報警功能,無法解決復(fù)雜工業(yè)現(xiàn)場中機器運動、機器陰影、光線變化等因素造成的干擾和誤報問題。針對以上問題,本文利用數(shù)字圖像處理技術(shù)與智能模式識別理論,對監(jiān)控區(qū)域人體進(jìn)行智能識別,在完成保證安全任務(wù)的同時,節(jié)省大量的人力物力。
已有的運動目標(biāo)監(jiān)測方法主要有:光流法[1]、背景差分法[2]、時域差分法[3]。光流法信息量大,需要迭代計算,實時性差。時域差分法,對運動物體的運動條件要求苛刻,易出現(xiàn)誤檢。背景差分方法首先固定攝像機,對背景進(jìn)行建模,通過當(dāng)前幀與背景差分來提取前景物體,同時以一定速率更新背景,使其能適應(yīng)緩慢的光照變化,有很強的適用性,但對突然的光照變化無法有效的分辨出前景。而目前基于二維圖像中的人體識別主流算法有兩類,一類利用人體局部圖像形狀信息[6-7],其準(zhǔn)確度高,但實時性較差;另一類為基于底層圖像信息,算法簡單,準(zhǔn)確率相對前者較低。
本文根據(jù)工業(yè)現(xiàn)場,通過先驗知識,對圖像監(jiān)測區(qū)域進(jìn)行局部區(qū)域高斯背景建模,有效減少數(shù)據(jù)計算量,利用形態(tài)學(xué)提取前景目標(biāo),同時更新背景區(qū)域,最后對前景目標(biāo)進(jìn)行人體識別,對目標(biāo)進(jìn)行歸一化尺寸恢復(fù),然后利用形狀信息,進(jìn)行識別。該方法減少了處理的數(shù)據(jù)量,同時有效提高目標(biāo)識別率。
本系統(tǒng)軟件結(jié)構(gòu)圖如圖1所示,用高斯模型對一序列幀圖像進(jìn)行背景建模,最大抑制前景干擾,然后利用背景差分法,利用形態(tài)學(xué)消除干擾和填補空洞、平滑邊緣,對前景目標(biāo)進(jìn)行提取,首先將目標(biāo)按區(qū)域還原實際尺寸進(jìn)行初步識別,然后再對疑似目標(biāo)進(jìn)行歸一化處理,利用面積信息、橫縱比再次進(jìn)行識別。最后對非目標(biāo)區(qū)域的背景進(jìn)行背景模型更新。
圖1 系統(tǒng)結(jié)構(gòu)圖Fig.1 Diagram of the system structure
采用文獻(xiàn)[4]中的遞推式高斯背景建模,利用較長的一段序列來消除其中背景的干擾。具體步驟如下:
(1)建立樣本均值估計,通過前N個樣本估計均值。
(2)建立樣本方差估計。
即
此時有
其中const為權(quán)值系數(shù),其值越大去除干擾越明顯,但同時會將部分前景去除。一般取值1~5。然后對此時分割出來圖像,利用形態(tài)學(xué)去除噪聲點,填補目標(biāo)區(qū)域中的小孔,同時平滑圖像邊緣輪廓。
得到前景目標(biāo)后,需要對目標(biāo)進(jìn)行人體識別,本文采用多種方法融合實現(xiàn)人體準(zhǔn)確識別:
(1)利用先驗知識,首先劃定需要檢測的區(qū)域(通過軟件可以自由規(guī)劃檢測區(qū)域),將其目標(biāo)底部包含在內(nèi)則認(rèn)為其為疑似目標(biāo),剔除多余目標(biāo)?,F(xiàn)場環(huán)境如圖2a,監(jiān)測區(qū)域如圖2b。
(2)由于距離攝像頭的距離差異,導(dǎo)致成像的物體大小會發(fā)生一定的變換如圖3所示,可以看到(a)、(b)、(c)三張圖人體在場景中分布如(d)所示,高度有很大差別,離的越遠(yuǎn),高度越低。因此本文首先通過對現(xiàn)場標(biāo)定,計算出圖像目標(biāo)底部所在橫軸與實際高度的對應(yīng)關(guān)系。從而將圖像目標(biāo)高度轉(zhuǎn)化為實際高度,結(jié)合實際高度和橫縱比,設(shè)定閾值進(jìn)行識別。
圖2 監(jiān)測區(qū)域示意圖Fig.2 Monitoring areas
(3)由圖3還可以看出,由于成像差異,目標(biāo)所占矩形區(qū)域大小差異明顯,本文對其進(jìn)行歸一化處理,將其提取的目標(biāo)區(qū)域轉(zhuǎn)化為一個100×100的模板中,如圖(4)所示,將(b),(c)兩幅圖目標(biāo)提取后進(jìn)行歸一化,然后計算其面積,進(jìn)一步判定目標(biāo)。
圖3 現(xiàn)場不同區(qū)域人體示意圖Fig.3 Schetch map of humans in different areas
圖4 歸一化示意圖Fig.4 Normalized diagram
為了適應(yīng)背景緩慢光線和局部細(xì)小變換,需要對非前景區(qū)域進(jìn)行一定速率的背景更新,公式如下:
其中 μi,j為更新前背景模型均值,xi,j為當(dāng)非前景區(qū)域的像素值,δi,j為更新前背景模型方差,δconst為一個常數(shù),防止標(biāo)準(zhǔn)差收斂于0;α為更新速率,取值0~1。
當(dāng)現(xiàn)場發(fā)生斷電或者光照變化大時,背景建模方法會出現(xiàn)問題。為此,當(dāng)檢測的圖像與背景圖像直方圖距離函數(shù)值大于設(shè)定閾值時,判定當(dāng)前幀無效,并且系統(tǒng)延遲1 s繼續(xù)采集圖像進(jìn)行判定,當(dāng)無效幀累計3幀,重新啟動背景初始化建模。
本文通過工業(yè)現(xiàn)場采集視頻進(jìn)行算法性能的分析。所采用攝像機分辨率480×640,幀頻25幀/s,實時采集同時處理幀頻10幀/s,達(dá)到現(xiàn)場要求?,F(xiàn)場計算機處理器Pentium?Dual-Core E5200 2.5GHz,2GB內(nèi)存。程序初始化5 s,每秒均勻采集6幀圖像,總共30幀進(jìn)行初始化背景建模。為了驗證人體識別算法的性能,提取35幀含有人體的圖像,且其分布在距離相機不同的方位,分別提取比例特征圖如圖5所示,歸一化前后面積特征圖如圖6所示,高度特征圖如圖7所示。
由圖5看出,人體比例在2到4之間,第15幀達(dá)到測試圖樣中的最高峰4.0833,對應(yīng)圖如圖6所示中,其歸一化后像素面積也突出,這是因為其體態(tài)結(jié)果如圖7a,可以看出剛好是一個側(cè)面,而其較圖7b對比,導(dǎo)致此情況的發(fā)生。
由圖8可以看出,前10幀由于離相機較遠(yuǎn),在原圖成像的高度很小,且其相對用一個目標(biāo)浮動也小,復(fù)原后的實際高度浮動也小,此時復(fù)原高度平均162 mm,而實際目標(biāo)164 mm。后25幀分別取不同位置的目標(biāo),其成像高度也有很大變化,對其按區(qū)域進(jìn)行高度復(fù)原,其高度在165 mm到180 mm,實際目標(biāo)高度172 mm,這里主要原因有一些影子影響,如圖7c,而27幀的偏小畸變是由于背景差分,是由于腳部和背景差別太小,導(dǎo)致腳部整塊殘缺如圖7d、圖7e所示。
圖8 部分畸變圖像Fig.8 Some deformation images
由圖3可以看出,在原圖中,由于攝像頭距離目標(biāo)位置遠(yuǎn)近不同,目標(biāo)所占矩形大小不一樣,因此此時取其面積來衡量不可行,經(jīng)過歸一化處理后,使他們所占矩形區(qū)域大小相同,此時面積波動在4 000像素到6 000像素內(nèi)波動。
識別特種融合規(guī)則,優(yōu)先身高,比例,判斷疑似目標(biāo),再驗證面積特征,在閾值內(nèi)判定人體。
在實際檢測中,本文為了防止漏檢,對于場景中圖2b中間部分區(qū)域存在機械遮擋而導(dǎo)致人體只露頭部,以及最后方小塊區(qū)域,因為那里處于機械后方,并不是真正關(guān)心的區(qū)域,因此實際應(yīng)用中是忽略的。
(1)對工業(yè)現(xiàn)場采集視頻進(jìn)行目標(biāo)識別,300幀中的圖像,含人體109幀,其中由于部分人體部位和背景差異太小,導(dǎo)致6幀目標(biāo)漏檢,前景目標(biāo)識別率94%。
(2)剩余的103幀在前景目標(biāo)提取成功后,人體識別率100%。
(3)為了提高背景差分識別率,建議監(jiān)測區(qū)域顏色單一且易識別,或者工作人員工作服與區(qū)域顏色盡量差異明顯。在實際實時檢測中,本方法可以有效的監(jiān)測人體目標(biāo),且滿足實時性要求,對安全區(qū)域進(jìn)行實時監(jiān)控和報警。
[1]BARRON J L,F(xiàn)LEET D J,BEAUCHEMIN S S.Performance of optical flw techniques[J].International Journal of Computer Vision,1994,12(1):43-77.
[2]MEIER T.Automatic segmentation of moving objects for video object plane generation[J].IEEE Transcations on Circuits and Systems Video Technology,1998,8(5):523-528.
[3]LIPTON A J,F(xiàn)UJIYOSHI H,PATIL R S.Moving target classification and tracking from real-time video[C]//IEEE Proceedings of the Workshop on Application of Computer Vision.Los Alamitos:IEEE computer Society Press,1998:8-14.
[4]鄧甜甜,王智靈,朱明清,等.基于輪廓圖像空頻域特征的人體姿態(tài)分層識別算法[J].模式識別與人工智能.2011(3).
[5]曾春,李曉華,周激流.基于感興趣區(qū)梯度方向直方圖的行人監(jiān)測[J].計算機工程.2009,35(24).
[6]黃茜,顧杰鋒,楊文亮.基于梯度向量直方圖的行人監(jiān)測[J].科學(xué)技術(shù)與工程.2009,9(13).
[7]李暉,曲仕茹.基于分層梯度方向直方圖和SVM的人體識別[J].計算機測量與控制.2010,18(11).
[8]張便利,常勝江,李江衛(wèi),等.基于彩色直方圖分析的智能視頻監(jiān)控系統(tǒng)[J].物理學(xué)報,2006,55(12):6399-6404.
[9]胡曉莉,江杰,王建國.視頻圖像識別報警系統(tǒng)的研究[J].微計算機信息,2007,23(2):280-281.
[10]李洪波.向南.吳渝.一種改進(jìn)的室內(nèi)運動人體監(jiān)測與輪廓提取算法[J].重慶郵電大學(xué)學(xué)報.2008,20(2).
[11]夏永泉,李衛(wèi)麗,甘勇,等.智能視頻監(jiān)控中的厄運東目標(biāo)監(jiān)測技術(shù)研究[J].通信技術(shù),2009,42(6).
[12]方帥.計算機智能視頻系統(tǒng)關(guān)鍵技術(shù)研究[D].沈陽:東北大學(xué):2005.
[13]耿超.人體運動的監(jiān)測與跟蹤[D],北京:北京工業(yè)大學(xué),2003.
[14]朱虹.數(shù)字圖像處理基礎(chǔ)[M].北京:科學(xué)出版社,2005.