張金權(quán)，李 榕，溫 俊，馬曉陽

(華南師范大學(xué) 物理與電信工程學(xué)院，廣東 廣州510006)

0 引 言

人體姿勢識別［1］已在游戲、零售體驗和老人防護(hù)［2］等行業(yè)中得到廣泛應(yīng)用。然而，既要保證較高的姿勢識別率又要減低算法復(fù)雜度以實現(xiàn)嵌入式移植的技術(shù)研究目前還不成熟。傳統(tǒng)的彩色攝像機來捕獲的彩色圖像易受光照變化、復(fù)雜背景的影響，導(dǎo)致目標(biāo)追蹤困難和分割不精確。MESA 第4 代基于TOF(time-of-flight)原理的傳感器SR4000，該傳感器內(nèi)置近紅外光源，具有較強的環(huán)境適應(yīng)性，能用于夜間和惡劣氣候，提供全天候、抗干擾的圖像信息。紅外光經(jīng)物體反射回相機，可計算出物體離相機距離［3］，從而得到深度圖像?；谏疃葓D像進(jìn)行動態(tài)姿勢識別［4］，具有不易受環(huán)境和光線的影響，算法復(fù)雜度低，識別有效率高的優(yōu)勢。

本文通過TOF 傳感器獲取深度圖像，經(jīng)過算法流程識別出各端點屬性。最后通過結(jié)合人體端點屬性和交通警察的8個指揮動作的運動軌跡特征進(jìn)行姿勢識別驗證算法的有效性。

1 姿勢識別研究

1.1 目標(biāo)提取

算法流程如圖1 所以，目標(biāo)提取是整個姿勢識別系統(tǒng)中十分重要的部分，它的提取效果直接影響到后期端點提取和姿勢識別的準(zhǔn)確與否。

圖1 算法總體流程圖Fig 1 Overall flow chart of algorithm

先將深度圖像進(jìn)行背景差分。背景差分法是采用當(dāng)前幀和背景模型做差來檢測運動目標(biāo)。之后進(jìn)行圖像二值化運算，減小圖像數(shù)據(jù)量，凸顯感興趣的目標(biāo)輪廓。然后進(jìn)行孔洞填充和開運算操作，得到如圖2(c)所示效果。開運算是對圖像先腐蝕后膨脹，解決噪聲帶來的圖像邊緣不平滑、內(nèi)部有孤立小孔、白噪聲點等情況。然后對二值圖像進(jìn)行連通域標(biāo)記［5］，刪除面積小于某個閾值的連通域(本文取400)，得到連通區(qū)域的像素點的數(shù)量、質(zhì)心、二階矩等參數(shù)。對目標(biāo)二值圖像進(jìn)行快速并行細(xì)化運算［6］，細(xì)化后得到人體骨骼，如圖2(d)所示效果。

圖2 圖像預(yù)處理過程Fig 2 Image pretreatment process

1.2 端點識別

通過上述圖像預(yù)處理，得到了人體目標(biāo)的骨架和質(zhì)心，這時候的人體質(zhì)心不一定在骨架上，因此，首先要尋找離質(zhì)心最近的骨架點，并標(biāo)記。以骨架質(zhì)心為父節(jié)點遍歷骨架，如圖2(d)所示，標(biāo)出手、頭、腳5 端點。如圖3 所示，可預(yù)先測得相機離地高度H，像素點橫傾斜度θ，豎傾斜度β，像素點距離值D，根據(jù)幾何知識可求出像素點離地高度h

根據(jù)此式算出質(zhì)心和目標(biāo)端點的離地高度。所謂骨架線距離，指的是人體骨架線端點到其它端點之間所有像素點的實際三維距離之和，如圖2(d)所示:P1端點的骨架線距離指的是P2～P5這4 個點沿著骨架線上的像素點到P1點的實際三維距離值之和。在深度圖像中，要求任意兩點的三維距離值，如圖3 所示，P1，P2為圖像中的任意兩點。d1，d2為這兩點的深度距離，圖中兩點與相機夾角θ1，θ2，β1，β2可由相機的角度分辨率0.23°與該點的橫坐標(biāo)計算得到

已知d1，d2和θ1，θ2，β1，β2求兩點距離D，首先求出兩點在Y 軸方向的高度差P1P1y_2xz和P2P1y_2xz。其中，P1y_2xz為P1點在P2點所處xz 平面的映射點。由上文計算出的端點高度h 可得

圖3 兩點距離坐標(biāo)示意圖Fig 3 Diagram of two point distance coordinate

其中，h1，h2為兩點離地高度。而要求P2P1y_2xz，要先求出兩點水平方向的距離差P'2P1y_2xz和Z 軸方向的深度差P2P'2

最后由勾股定理得

通過上述過程算得，圖2 姿勢的骨架線距離如表1 所示。

表1 端點骨架線距離Tab 1 Skeleton line distance of endpoint

由表1 得，骨架線距離較大的兩點為腳部端點，最小的為頭部端點，居中的為手部端點。至此人體目標(biāo)5 個端點的屬性判斷完成。如果出現(xiàn)手擋在身前等自遮擋情況，如圖4(b)，(d)所示，骨架線沒有了手部端點，可設(shè)定一個深度的閾值，分離手和身軀，得到自遮擋部分的手部端點。

2 交警指揮動作姿勢識別

本文通過結(jié)合交通警察的8 個指揮動作的特征和上述姿勢端點識別算法，識別停止、直行、左轉(zhuǎn)彎、左轉(zhuǎn)彎待轉(zhuǎn)、右轉(zhuǎn)彎、變道、減速慢行、靠邊停車8 個標(biāo)準(zhǔn)交警指揮姿勢。

2.1 交警姿勢運動軌跡提取

以靠邊停車姿勢為例，圖4(a)，(b)為靠邊停車姿勢的關(guān)鍵幀，利用質(zhì)心與頭部端點的平均深度距離信息作為閾值分割身軀前的手勢，如圖4(e)所示。對分割的手勢圖進(jìn)行連通域圖像標(biāo)記，刪除面積較小的區(qū)域，找出每個區(qū)域距離值的中值點，將該點作為該區(qū)域手勢的代表點并計算該點離地高度。對人體目標(biāo)進(jìn)行上述姿勢識別算法的運算，識別出人體目標(biāo)的頭和手部端點。手部端點可通過其橫坐標(biāo)的值區(qū)分左右手端點。因交警動作是站立完成，腳步端點可忽略。

圖4 交警靠邊停車姿勢Fig 4 Pull over action of traffic police

在一個完整的交警動作序列里，身軀前的手勢代表點會有1 個或2 個，根據(jù)最近鄰分類原則，當(dāng)代表點的坐標(biāo)位置離前一幀代表點的坐標(biāo)位置最近，將該兩點作為同一手勢點的連續(xù)動作，如圖5 所示分類得到的6 個指揮動作(左轉(zhuǎn)彎和右轉(zhuǎn)彎選一個，左轉(zhuǎn)彎待轉(zhuǎn)信號沒有身前手勢運動軌跡，故忽略)身軀前手勢運動軌跡圖，以代表點的離地高度為軌跡的特征值繪圖。

2.2 交警姿勢識別

將人體骨架端點屬性和數(shù)量(因交警處于站立姿態(tài)，所以只取頭手端點)，身軀前手勢數(shù)量，手勢軌跡結(jié)合判斷交警姿勢。如圖5 所示:當(dāng)沒有手部端點活動，身前沒有手勢運動，則為站立姿勢。當(dāng)有一手部端點活動，身前沒有手勢運動，則為左轉(zhuǎn)彎待轉(zhuǎn)信號。當(dāng)有兩手部端點活動，身前有兩手勢運動，如圖5(a)所示，多點高度高于頭部端點，則為靠邊停車信號。當(dāng)有兩手部端點活動，身前有兩手勢運動軌跡，沒有點高于頭部端點，如圖5(b)所示，則為左轉(zhuǎn)彎信號或右轉(zhuǎn)彎信號，再根據(jù)較高的那個手部端點的橫坐標(biāo)在頭部端點的左右兩側(cè)來判斷是左轉(zhuǎn)彎還是右轉(zhuǎn)彎。當(dāng)有一手部端點活動，身前有一手勢運動，可能是停止信號、直行信號、變道信號或減速慢行信號。其中只有停止信號的軌跡有多點高度高于頭部端點，如圖5(c)所示，另外3 個信號由于波動的劇烈程度存在明顯差別，如圖5(d)，(e)，(f)所示，因此，采用判斷方差大小來辨別這三種姿勢。經(jīng)大量樣本數(shù)據(jù)分析，認(rèn)為方差高于2 000，則可認(rèn)為是直行信號，當(dāng)方差低于500，則可認(rèn)為是變道信號。當(dāng)方差介于500～2 000 之間，則認(rèn)為是減速慢行信號。

圖5 交警手勢運動軌跡圖Fig 5 Gesture trajectory of traffic police

3 結(jié) 論

本文處理圖像采用Win 7 系統(tǒng)，Intel(R)Core(TM)i7—3610Q 處理器，2.30 GHz 主頻，開發(fā)環(huán)境:Matlab2012b。處理每幀平均耗時24 ms，1s 約可處理42 幀圖像，可滿足實時性的需求。對于停止、直行、左轉(zhuǎn)彎、左轉(zhuǎn)彎待轉(zhuǎn)、右轉(zhuǎn)彎、變道、減速慢行、車輛靠邊停車這8 種標(biāo)準(zhǔn)交通警察姿勢，20 個人在不同的環(huán)境下每種獲取多個樣本，識別率如表2所示。實驗表明:本文方法算法復(fù)雜度較低，便于嵌入式移植，可實時應(yīng)用于無人駕駛汽車等領(lǐng)域。

表2 交警姿勢識別率Tab 2 Recognition rate of traffic police posture

［1］ Chen L，Wei H，F(xiàn)erryman J.A survey of human motion analysis using depth imagery［J］.Pattern Recognition Letters，2013，34(15):1995－2006.

［2］ Jansen B，Temmermans F，Deklerck R.3D human pose recognition for home monitoring of elderly［C］∥2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBS)，2007:4049－4051.

［3］ 于金霞，蔡自興，鄒小兵，等.基于激光雷達(dá)的移動機器人障礙測距研究［J］.傳感器與微系統(tǒng)，2006，25(5):31－33，36.

［4］ Chung H，Yang H D.Conditional random field-based gesture recognition with depth information［J］.Optical Engineering，2013，52(1):017201.

［5］ Suzuki K，Horiba I，Sugie N.Linear-time connected-component labeling based on sequential local operations［J］.Computer Vision and Image Understanding，2003，89(1):1－23.

［6］ Zhang T Y，Suen C Y.A fast parallel algorithm for thinning digital patterns［J］.Communications of the ACM，1984，27(3):236－239.