郭鈞++韓新樂(lè)++李鶴喜

摘要：本文運(yùn)用高斯分布方法來(lái)建立背景模型，并利用彩色背景差分進(jìn)行運(yùn)動(dòng)人體的檢出。通過(guò)對(duì)檢出的人體圖像進(jìn)行形態(tài)學(xué)處理后，分別進(jìn)行實(shí)體、輪廓和幾何矩三種特征的提取，并為每個(gè)特征建立了一個(gè)BP神經(jīng)網(wǎng)絡(luò)分類器，經(jīng)多種人體姿態(tài)樣本獨(dú)立訓(xùn)練后，再采用D-S證據(jù)理論對(duì)三個(gè)神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行融合處理，對(duì)運(yùn)動(dòng)人體姿態(tài)識(shí)別的實(shí)際測(cè)試表明：采用多特征神經(jīng)網(wǎng)絡(luò)融合方法比單特征神經(jīng)網(wǎng)絡(luò)取得更好的識(shí)別率，該方法可以用于各種智能視頻監(jiān)控系統(tǒng)中。

關(guān)鍵詞：運(yùn)動(dòng)人體 特征提取 神經(jīng)網(wǎng)絡(luò) D-S證據(jù)理論

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2016）10-0051-03

1 導(dǎo)言

運(yùn)動(dòng)人體的跟蹤與姿態(tài)識(shí)別是近年來(lái)計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，在智能視頻監(jiān)控、虛擬現(xiàn)實(shí)技術(shù)、人機(jī)交互、體育運(yùn)動(dòng)分析和動(dòng)畫制作等領(lǐng)域都有著廣泛的應(yīng)用[1-3]。但目前成熟的應(yīng)用還主要集中在簡(jiǎn)單的人體區(qū)域跟蹤上，由于人體的運(yùn)動(dòng)變形，特征難以固定不變，采用一種特征來(lái)識(shí)別人體姿態(tài)會(huì)產(chǎn)生較高錯(cuò)誤率，針對(duì)這一問(wèn)題，本文對(duì)每幅人體姿態(tài)圖像分別采用不同的方法提取特征，使其具有互補(bǔ)性，當(dāng)一個(gè)特征表達(dá)缺失或缺少唯一性時(shí)，由其它兩個(gè)特征來(lái)彌補(bǔ)，每個(gè)特征都有自己的分類器，最后的分類由D-S證據(jù)理論給出判決結(jié)果。

2 運(yùn)動(dòng)人體的檢出

對(duì)運(yùn)動(dòng)人體進(jìn)行識(shí)別，首先要將目標(biāo)人體從背景圖像中提取出來(lái)，即運(yùn)動(dòng)人體的檢測(cè)。這部分工作的好壞將直接影響后續(xù)的識(shí)別、跟蹤情況。運(yùn)動(dòng)人體檢測(cè)的原則就是盡可能的保留運(yùn)動(dòng)人體部分的重要的特征信息，同時(shí)最大限度的去除對(duì)運(yùn)動(dòng)人體檢測(cè)無(wú)用的干擾信息。本文采用了背景減除法[4]，并結(jié)合高斯建模的方法建立背景模型來(lái)處理環(huán)境的光線變化[5]，使運(yùn)動(dòng)人體目標(biāo)的檢測(cè)更準(zhǔn)確，考慮到人體圖像提取的可靠性，本文沒(méi)有采用傳統(tǒng)的灰度背景差分，而是采用彩色背景差分，然后運(yùn)用了數(shù)字形態(tài)學(xué)方法主要是開閉運(yùn)算處理由于檢測(cè)后圖像或多或少存在的干擾和噪聲等，可以使提取出的人體目標(biāo)區(qū)域更為完整，圖1是經(jīng)過(guò)彩色背景差分和形態(tài)學(xué)處理后的人體圖像，包括直立、行走、下蹲和跑步姿態(tài)，可以看出人體姿態(tài)完整，干擾被消除。

3 運(yùn)動(dòng)人體姿態(tài)的特征提取

運(yùn)動(dòng)人體是形變體，其特征的選取做到穩(wěn)定和不變是困難的，采用單一特征提取方法更不穩(wěn)定，所以本文采用多特征提取方法來(lái)表達(dá)運(yùn)動(dòng)的人體，以“多”代“單”能更合理更準(zhǔn)確體現(xiàn)運(yùn)動(dòng)人體的各種姿態(tài)。通過(guò)對(duì)目前主流的特征提取方法的分析，選擇人體輪廓、人體區(qū)域和人體幾何矩不變量三種特征作為運(yùn)動(dòng)人體的姿態(tài)表示。

3.1 輪廓特征向量

利用前面的高斯背景模型建立背景，并通過(guò)背景減除法得到的運(yùn)動(dòng)人體區(qū)域基本是完整的，再通過(guò)膨脹、腐蝕、開閉運(yùn)算數(shù)學(xué)形態(tài)學(xué)方法和濾波等對(duì)其處理使其內(nèi)部填充完整，然后提取人體圖像的輪廓圖，典型輪廓圖提取如圖2所示。

為了縮小特征向量的維數(shù)，將輪廓樣本圖像f（x，y）歸一到，歸一化到這個(gè)尺寸是為了在后面進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)保證得到訓(xùn)練網(wǎng)絡(luò)的泛化性和識(shí)別結(jié)果的準(zhǔn)確率，如果偏小則識(shí)別精度下降，如果偏大則網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)多，訓(xùn)練時(shí)間長(zhǎng)。這樣像素點(diǎn)的維數(shù)為480，將圖像按行堆疊成輪廓特征向量是：

3.2 區(qū)域特征向量

同輪廓特征向量的提取一樣，利用高斯背景模型建立背景，并通過(guò)背景減除法得到的運(yùn)動(dòng)人體區(qū)域基本是完整的，再通過(guò)數(shù)學(xué)形態(tài)學(xué)方法膨脹、腐蝕、開閉運(yùn)算和濾波等對(duì)其進(jìn)行處理使其內(nèi)部填充完整，然后提取人體區(qū)域圖，典型區(qū)域圖提取如圖3所示。

同提取輪廓特征一樣，為了縮小特征向量的維數(shù)，將骨絡(luò)樣本圖像f （x，y）歸一到，像素點(diǎn)的維數(shù)為480。將圖像按行堆疊成骨絡(luò)特征向量是：

3.3 矩不變量特征

矩不變量最早由Hu在1962年提出[6]，用來(lái)表征圖像的形狀，并且推出了其它一些基本性質(zhì)來(lái)證明矩的平移、旋轉(zhuǎn)和比例的不變性。矩特征目前已經(jīng)廣泛應(yīng)用于形狀分析、目標(biāo)識(shí)別圖像分析等領(lǐng)域，雖然矩不變量一般用于剛體形狀識(shí)別，對(duì)于變形人體可能穩(wěn)定性不如剛體，但對(duì)于直立、屈體、行走等典型姿態(tài)還是有較強(qiáng)的區(qū)分能力，可以作為一種形狀特征使用。

對(duì)于一幅圖像f （x，y） 的二維（p+q）階幾何矩定義為

通過(guò)歸一化處理可以得到7個(gè)關(guān)于圖像中心的幾何矩不變量，其中前6個(gè)平移、旋轉(zhuǎn)和比例縮放不變，本文取其作為人體的特征向量Φ={Φ1，Φ2，Φ3，Φ4，Φ5，Φ6}。

4 人體姿態(tài)識(shí)別多特征神經(jīng)網(wǎng)絡(luò)的建立、訓(xùn)練與融合

4.1 多神經(jīng)網(wǎng)絡(luò)的建立

特征向量的組織在人體姿態(tài)識(shí)別中是非常重要的，一般一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)一種類型的特征分類，然而將各種特征組合在一起形成一個(gè)特征向量，不僅訓(xùn)練時(shí)間長(zhǎng)，而且訓(xùn)練后網(wǎng)絡(luò)的泛化性不夠理想，所以本文建立了3個(gè)BP神經(jīng)網(wǎng)絡(luò)，將他們組合成一個(gè)更強(qiáng)的分類器。三個(gè)網(wǎng)絡(luò)的輸入分別是人體姿態(tài)的輪廓特征向量、區(qū)域特征向量和矩特征向量，對(duì)其三者的輸出進(jìn)行加權(quán)后，用D-S證據(jù)理論進(jìn)行融合，得到最終的分類結(jié)果[7]。3個(gè)神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)及融合原理如圖4所示。

4.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

由于人屬于非剛性物體，運(yùn)動(dòng)姿態(tài)多種多樣，本文選取比較有代表性的8種典型姿態(tài)進(jìn)行研究，編碼方式采用排它的方法，樣本姿態(tài)屬于類別用“1”表示，不屬于用“0”表示。那么對(duì)于標(biāo)識(shí)為[0，0，0，0，1，0，0，0]的姿態(tài)表示是8種姿態(tài)類別中的第5種姿態(tài)。然后對(duì)采集的人體姿態(tài)樣本進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練的時(shí)候只要將輸入樣本與其對(duì)應(yīng)的標(biāo)識(shí)相關(guān)聯(lián)即可。采用有師指導(dǎo)的監(jiān)督訓(xùn)練，訓(xùn)練樣本是通過(guò)采集處理的各種人體運(yùn)動(dòng)姿態(tài)圖像集，可以手工添加樣本，也可以由計(jì)算機(jī)批量自動(dòng)添加，采用帶動(dòng)量的梯度下降法進(jìn)行訓(xùn)練，精度指標(biāo)取0.001，迭代上限為150萬(wàn)次。其典型的訓(xùn)練過(guò)程如圖5所示。

4.3 基于D-S證據(jù)理論的神經(jīng)網(wǎng)絡(luò)的融合

D-S證據(jù)理論能夠有效的融合多種證據(jù)源數(shù)據(jù)[8]，本文將利用這種理論對(duì)三種神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行融合。在本文中，有8種待識(shí)別的典型人體姿態(tài)，因此互斥元素個(gè)數(shù)為8個(gè)，假定姿態(tài)集合X={直立，行走，跑步，下蹲，…，伸臂 }，每個(gè)神經(jīng)網(wǎng)絡(luò)的輸出節(jié)點(diǎn)為8個(gè)，每個(gè)姿態(tài)的置信度是是節(jié)點(diǎn)輸出值的歸一化結(jié)果，將三個(gè)網(wǎng)絡(luò)的輸出作為基本證據(jù)源對(duì)三者融合，并進(jìn)行加權(quán)處理，得到最后的運(yùn)動(dòng)人體識(shí)別結(jié)果。

4.4 運(yùn)動(dòng)人體姿態(tài)識(shí)別試驗(yàn)結(jié)果

根據(jù)運(yùn)動(dòng)人體姿態(tài)的多樣性，采用多種典型姿態(tài)對(duì)運(yùn)動(dòng)人體進(jìn)行分類，考慮到運(yùn)動(dòng)人體易于變形的特點(diǎn)，采用單一特征會(huì)降低識(shí)別的準(zhǔn)確性，分別提取運(yùn)動(dòng)人體的輪廓、區(qū)域和幾何矩三種特征進(jìn)行人體姿態(tài)表達(dá)，并建立了對(duì)應(yīng)三個(gè)特征的組合神經(jīng)網(wǎng)絡(luò)，利用加權(quán)的D-S證據(jù)理論對(duì)每個(gè)神經(jīng)網(wǎng)絡(luò)輸出進(jìn)行融合處理，試驗(yàn)結(jié)果已表明：基于組合神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)人體識(shí)別率比采用單一的神經(jīng)網(wǎng)絡(luò)有很大的提高。對(duì)多人體的互動(dòng)姿態(tài)進(jìn)行識(shí)別，可以推理打架、斗毆、追逐、自然行走等典型互動(dòng)行為，對(duì)異常進(jìn)行報(bào)警。其典型單人體姿態(tài)和雙人體交互姿態(tài)識(shí)別分別如圖6和圖7所示。

為滿足人體姿態(tài)的識(shí)別實(shí)驗(yàn)要求，對(duì)每種特征選擇100副圖像作為訓(xùn)練樣本，選擇40副圖像作為測(cè)試樣本，并且使用修正的D-S證據(jù)理論進(jìn)行多條證據(jù)的融合。表1顯示了單個(gè)方向的神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果與經(jīng)過(guò)D-S融合策略融合之后的識(shí)別結(jié)果。從表中可知，多特征融合之后的識(shí)別準(zhǔn)確率高于單特征的BP神經(jīng)網(wǎng)絡(luò)的識(shí)別率，因此，可以得出結(jié)論：采用多神經(jīng)網(wǎng)絡(luò)融合技術(shù)能夠有效提高運(yùn)動(dòng)人體識(shí)別的準(zhǔn)確率。

5 結(jié)語(yǔ)

通過(guò)基于多神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)人體姿態(tài)識(shí)別的研究和試驗(yàn)，最后得到以下幾點(diǎn)結(jié)論：（1）通過(guò)高斯分布方法建立背景模型，并利用彩色背景差分能夠快速?gòu)谋尘皥D像中檢出人體運(yùn)動(dòng)姿態(tài)；（2）采用人體圖像的輪廓特征、實(shí)體特征和幾何矩特征來(lái)表達(dá)運(yùn)動(dòng)人體的各種姿態(tài)是有效的；（3）建立了對(duì)應(yīng)三種特征的BP神經(jīng)網(wǎng)絡(luò)分類器，通過(guò)各種人體姿態(tài)樣本的訓(xùn)練，基于單個(gè)神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)識(shí)別錯(cuò)率15%，而通過(guò)D-S證據(jù)理論對(duì)三種特征輸入神經(jīng)網(wǎng)絡(luò)的融合，識(shí)別的錯(cuò)誤率降低到5%，表明本文采用多神經(jīng)網(wǎng)絡(luò)方法對(duì)運(yùn)動(dòng)變形的人體姿態(tài)識(shí)別是有效的；（4）實(shí)際運(yùn)動(dòng)人體試驗(yàn)結(jié)果表明本文提出的基于多神經(jīng)網(wǎng)絡(luò)融合的運(yùn)動(dòng)人體識(shí)別方法可以用于各種智能監(jiān)控系統(tǒng)中。

參考文獻(xiàn)

[1]林慶，史振杰，詹永照，徐劍暉.基于感興趣區(qū)域的運(yùn)動(dòng)人體跟蹤[J].江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，31（2）：206-209.

[2]劉菲.運(yùn)動(dòng)人體行為分析系統(tǒng)及關(guān)鍵技術(shù)研究[D].西安市：西安電子科技大學(xué)，2007：4-12.

[3]黃國(guó)范，程小平，任菲.人體動(dòng)作姿態(tài)的自動(dòng)識(shí)別方法研究[J].西南師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，35（4）：136-140.

[4]李敏.人體姿態(tài)識(shí)別技術(shù)研究及其在智能監(jiān)護(hù)系統(tǒng)中的應(yīng)用[D].北京交通大學(xué)，2015：20-28.

[5]謝非.智能監(jiān)控系統(tǒng)中人體及其多種姿態(tài)的識(shí)別技術(shù)研究[D].南京航天航空大學(xué)，2009：10-22.

[6]Hu M K. Visual pattern recognition by moment invariants[J]. IEEE Transactions on Information theory，1962，8：179-187.

[7]馮靜.基于證據(jù)理論的可靠性信息融合方法研究[J].計(jì)算機(jī)仿真，2009，26（12）：82-85.

[8]孫濤，張宏建.目標(biāo)識(shí)別中的信息融合技術(shù)[J].自動(dòng)化儀表，2011，22（2）：1-4.

收稿日期：2016-08-15

作者簡(jiǎn)介：郭鈞（1992—），男，廣東揭陽(yáng)人，在校本科學(xué)生，五邑大學(xué)計(jì)算機(jī)學(xué)院，研究方向：計(jì)算機(jī)應(yīng)用技術(shù)；韓新樂(lè)（1990—），男，內(nèi)蒙古通遼人，

碩士研究生，五邑大學(xué)計(jì)算機(jī)學(xué)院，研究方向：圖像分析與機(jī)器視覺；李鶴喜（1961—），男，遼寧昌圖人，博士，教師，五邑大學(xué)計(jì)算機(jī)學(xué)

院，研究方向：機(jī)器視覺與智能機(jī)器人。