李克祥，邵衛(wèi)華，鄭國華，朱忠和，周昌智

（浙江索思科技有限公司，浙江 溫州 325000）

作為一種特殊的交通工具，電扶梯具有長時(shí)間不間斷運(yùn)行、負(fù)載動態(tài)不斷變化的特性，且由于乘客搭乘扶梯時(shí)安全防范意識不夠，導(dǎo)致扶梯上的安全事故層出不窮，若未能及時(shí)緊急制動，將會對人身造成持續(xù)嚴(yán)重傷害。

傳統(tǒng)的電扶梯檢測局限于諸如梯級變形、電氣安全裝置失效等對當(dāng)時(shí)運(yùn)行狀態(tài)進(jìn)行安全檢測，無法對電扶梯正常運(yùn)行狀態(tài)下的乘客危險(xiǎn)行為做出預(yù)測。深度學(xué)習(xí)的出現(xiàn)使得人體檢測相關(guān)算法的準(zhǔn)確度與性能逐年提升，經(jīng)過優(yōu)化的圖像識別算法可以在高速GPU平臺上對視頻進(jìn)行實(shí)時(shí)分析，對于畫面中可能存在的人身安全事故作出及時(shí)報(bào)警，最大限度減輕扶梯事故中的傷害。相比人工檢測與傳統(tǒng)檢測方法，此方法能有效應(yīng)對復(fù)雜多變環(huán)境，在減少人力支出成本的同時(shí)具有更高的準(zhǔn)確率及抗干擾能力。

本文是基于圖嵌入學(xué)習(xí)和粒子群優(yōu)化的人體穩(wěn)定捕捉和跟蹤的基礎(chǔ)上，對人體的行為進(jìn)行分析和理解。

1 行為理解算法

行為理解是指對人的行為作分析和識別，可以簡單地認(rèn)為是時(shí)變數(shù)據(jù)的分類問題，即將測試序列與預(yù)先標(biāo)定的代表典型行為的參考序列進(jìn)行匹配。由此可見，行為理解的關(guān)鍵問題是如何從學(xué)習(xí)樣本中獲取參考行為序列，并且學(xué)習(xí)和匹配的行為序列必須能夠處理在相似的運(yùn)動模式類別中空間和時(shí)間尺度上輕微的特征變化。行為理解的主要方法如下。

（1）主成分分析PCA(Principal Component Analysis)。PCA是一種用于目標(biāo)行為識別的統(tǒng)計(jì)學(xué)方法。

（2）動態(tài)時(shí)間規(guī)整DTW(Dynamic Time Warping)。DTW具有概念簡單、算法魯棒的優(yōu)點(diǎn)，可以用于匹配人的運(yùn)動模式。

（3）有限狀態(tài)機(jī)FSM(Finite State Machine)。FSM最大的特點(diǎn)是有一個(gè)狀態(tài)轉(zhuǎn)移函數(shù)，它可以確定最佳狀態(tài)，并用該狀態(tài)確定測試序列與參考序列是否匹配。

（4）隱馬爾可夫模型HMMs(Hidden Markov Models)。HMMs的使用涉及訓(xùn)練和分類兩個(gè)階段，確認(rèn)隱藏狀態(tài)數(shù)和優(yōu)化匹配序列，其被廣泛地應(yīng)用于行為識別中。

除了上述提到的幾種行為分析算法，基于骨架建模的深度學(xué)習(xí)行為識別方法不斷涌現(xiàn)，如使用循環(huán)神經(jīng)網(wǎng)絡(luò)、時(shí)域卷積神經(jīng)網(wǎng)絡(luò)來提取骨架信息并對行為進(jìn)行端到端識別。本文利用形狀上下文來表述人體的輪廓特征，再通過主導(dǎo)級方法算法對所有特征學(xué)習(xí)，統(tǒng)計(jì)圖像類的行為類分布情況，得到圖像類到動作類的轉(zhuǎn)換概率表，從而建立魯棒的行為模型，依靠此行為模型來判斷乘梯的異常行為。

2 基于局部時(shí)空特征的人體行為理解

人體行為理解主要通過人的跟蹤來分析其自身行為及與其它目標(biāo)的交互行為。人體是一個(gè)具有高自由度的非剛體，因此難以找到一個(gè)合適的特征來描述人體行為，并且同一個(gè)人做同一個(gè)動作所用的時(shí)間也是變化的。此外，人體自遮擋，模糊的視頻，不統(tǒng)一的攝像機(jī)參數(shù)等等都會給行為理解帶來很多困難。現(xiàn)有人的行為理解系統(tǒng)都依賴已知的特定場景，在這些場景下，人是以預(yù)先定義好的方式運(yùn)動的。這種方法對環(huán)境的適應(yīng)性不強(qiáng)，一方面，對每個(gè)場景都要定義一套人的行為模式，一旦人的行為模式有了變化，又要重新定義；另一方面，在某些實(shí)際應(yīng)用中，人的行為模式有時(shí)無法很好地預(yù)定義。這就需要建立一個(gè)通用的、無須手工定義人行為模式的行為理解方法。針對上述問題，本項(xiàng)目提取人體動作局部時(shí)空特征的本征結(jié)構(gòu)，從而顯著改善時(shí)空特征的區(qū)分力，實(shí)現(xiàn)有效的人體行為識別。具體內(nèi)容如下：

（1）研究基于時(shí)空流形學(xué)習(xí)的人體動作本征結(jié)構(gòu)特征提取問題；（2）研究基于多特征聯(lián)合稀疏編碼的人體動作識別方法；（3）研究提取人體輪廓的形狀上下文特征，通過主導(dǎo)級學(xué)習(xí)建立行為模式的方法。

2.1 基于時(shí)空流形學(xué)習(xí)的人體動作本征結(jié)構(gòu)特征提取

在視頻監(jiān)控中，由于人體受到視角變化、方位變化、光照變化等因素的影響，即便是同一人體，其動作特征也會千差萬別，從而給識別和分類帶來巨大挑戰(zhàn)。因此，人體動作時(shí)空特征的本征結(jié)構(gòu)提取是人體行為識別的關(guān)鍵，通過有效的特征降維理論提取人體動作時(shí)空特征的本征結(jié)構(gòu)，能夠顯著改善時(shí)空特征的區(qū)分力，為后續(xù)識別和分析提供可靠的特征輸入。本課題針對人體目標(biāo)的非剛體運(yùn)動、外觀表現(xiàn)的多變性（動作執(zhí)行者不同、環(huán)境不同）和人體動作的高時(shí)空復(fù)雜性和長時(shí)空相關(guān)性等特點(diǎn)，采用非線性降維方法，將傳統(tǒng)的空間流形學(xué)習(xí)算法向時(shí)空域擴(kuò)展，從而提取不依賴物理意義的數(shù)學(xué)新特征。

如圖1所示，首先，將人體跟蹤的圖像區(qū)域分離出來，并這些圖像塊放縮到統(tǒng)一的尺度上，然后把每個(gè)圖像塊按照列的方式串聯(lián)起來形成列向量其中，p是每幀所包含的像素?cái)?shù)。令表示所有的個(gè)人體跟蹤圖像塊，其中列向量ix描述該人體動作幀的空間信息。

算法具體實(shí)施步驟分成以下3步：

（1）對原始動作序列空間提出一種新的距離度量，以確保：①引起動作變化的本質(zhì)變量鄰近的動作樣本彼此鄰近；②在同一種動作序列下的動作彼此鄰近；③不同動作序列樣本集之間的距離最大。假定動作ix的變化可 描 述 為，其中是造成動作變化的本質(zhì)變量，如角度、光照等，則按上述要求定義的距離度量D應(yīng)同時(shí)滿足下述條件：

可以想象，按照這種原則可以建立不同的距離測度，其評價(jià)系統(tǒng)和選擇應(yīng)取決于對檢測和跟蹤的試驗(yàn)結(jié)果的分析。

（2）結(jié)合現(xiàn)有的非線性降維算法理論，在給定原始高維空間的基礎(chǔ)上，尋找保持最優(yōu)條件（1）的低維特征空間，從而獲得高維空間到特征空間的非線性顯性表達(dá)。原始高數(shù)據(jù)空間到低維空間的映射f應(yīng)滿足如下相似性要求：

式中，S是根據(jù)新的距離度量D定義的相似性度量，如可定義為

（3）進(jìn)一步，將把非線性降維方法提取的新的本質(zhì)特征與物理特征進(jìn)行有效融合，共同幫助實(shí)現(xiàn)準(zhǔn)確的動作識別。

2.2 基于多特征聯(lián)合稀疏編碼的人體動作識別

近年來，詞袋模型在人體動作識別任務(wù)中取得了較好的結(jié)果，并已成為人體動作識別的主流方法。但是，基于詞袋模型的表示有2個(gè)主要缺點(diǎn)：（1）詞袋模型在特征編碼的時(shí)候，將局部特征量化到最近的一個(gè)視覺單詞（硬編碼），這將帶來較大的量化誤差，量化誤差會隨著后續(xù)進(jìn)一步的建模而傳播，使得表示不可靠，最終降低識別效果；（2）詞袋模型中用到的特征往往是單一的，即使用到了幾種不同的特征，也只是將這些特征進(jìn)行簡單疊加，而沒有探究各個(gè)特征間的一致關(guān)系。由于不同特征在表示形式、意義、量綱方面的差異，使得難以將不同特征在進(jìn)行有效的融合。為了解決上述問題，本課題擬提出基于多特征聯(lián)合稀疏表示框架，來有效融合動作的多種特征，從而實(shí)現(xiàn)動作的準(zhǔn)確識別。

該模型的主要流程如圖3所示。具體分為以下幾步：

（1）在基于人體跟蹤獲得人體的動作圖像序列后，我們采用Laptev等人提出的Harris3D檢測器檢測時(shí)空興趣點(diǎn)。

（2）在每個(gè)興趣點(diǎn)處抽取視頻立方塊來計(jì)算動作的局部時(shí)空描述，它們包含若干幀該興趣點(diǎn)處的局部運(yùn)動，即每個(gè)視頻立方塊都是一個(gè)三維張量，大小為其中為興趣點(diǎn)圖像塊的尺寸，n3為視頻的幀數(shù)。

（3）針對每個(gè)視頻立方塊，提取K種不同特征(比如顏色、形狀、紋理等)，對于第k個(gè)特征，其對應(yīng) 的 特 征 字 典 可 以表 示 為其中n是字典原子的個(gè)數(shù)，其中字典可以通過K-means聚類算法來對訓(xùn)練數(shù)據(jù)中提取的大量視頻立方塊的第k個(gè)特征進(jìn)行聚類獲得，令第k個(gè)特征表示下的一個(gè)立方塊為它可以表示為：其中為第k個(gè)特征下該立方塊的表示系數(shù)，為殘差項(xiàng)。我們希望用盡可能少的模板對該立方塊進(jìn)行重構(gòu)，這可以通過對加上L0范數(shù)的約束來實(shí)現(xiàn)。為了實(shí)現(xiàn)不同特征之間的共享和互補(bǔ)，我們將屬于同一立方塊但對應(yīng)于不同特征的表示系數(shù)加上2L范數(shù)的約束，從而使得該立方塊在多特征表示下達(dá)到共同系數(shù)。綜上所述，多特征聯(lián)合系數(shù)表示的優(yōu)化問題可以表示為：其中上 式 中L2,0混合范 數(shù) 的具體 計(jì)算表達(dá)式為：。然而優(yōu)化問題（3）是NP難問題，因此我們用L2,p范數(shù)(0

2.3 基于主導(dǎo)級學(xué)習(xí)的人的行為理解

現(xiàn)有的人的行為理解系統(tǒng)都依賴已知的特定場景，在這些場景下，目標(biāo)是以預(yù)先定義好的方式運(yùn)動的。然而，在實(shí)際應(yīng)用中，人的行為模式有時(shí)無法很好地預(yù)定義，這就限制了此類方法對環(huán)境的適應(yīng)性。針對這個(gè)問題，本課題擬采用提取人的形狀上下文特征，通過基于圖論的主導(dǎo)級學(xué)習(xí)方法對特征進(jìn)行分類。具體來說，行為理解的過程分為以下兩個(gè)階段：

（1）第一階段：訓(xùn)練樣本庫。樣本的動作種類由人工標(biāo)定，每一類行為作為一種類別，這樣每一幀圖像都有了自己的行為類。在實(shí)現(xiàn)人的跟蹤后，提取每一幀圖像上的目標(biāo)輪廓信息作為特征，并用形狀上下文進(jìn)行描述。這樣一個(gè)視頻序列就被解析成了一個(gè)特征序列。然后，用主導(dǎo)級方法對所有特征進(jìn)行學(xué)習(xí)，所獲得的類別作為圖像類。統(tǒng)計(jì)每一圖像類序列中的行為類分布情況，就可以得到一個(gè)圖像類到行為類的轉(zhuǎn)換概率表。

（2）第二階段：識別測試視頻。對于測試視頻段，在實(shí)現(xiàn)人的跟蹤提取后，同樣使用形狀上下文將其表述成一個(gè)特征序列，然后，用主導(dǎo)級方法將每一幀圖像進(jìn)行分類。當(dāng)測試視頻幀序列轉(zhuǎn)化成了圖像類序列后，通過訓(xùn)練時(shí)得到的圖像類到行為類的轉(zhuǎn)換概率表，可以得到每一幀到所有行為類的轉(zhuǎn)換概率，這樣在視頻幀序列上做局部統(tǒng)計(jì)，就得到了這個(gè)局部里的幀所屬的行為類別，實(shí)現(xiàn)了行為理解。

3 實(shí)驗(yàn)和結(jié)果分析

針對上述的研究內(nèi)容，在扶梯的進(jìn)出口安裝網(wǎng)絡(luò)攝像頭，采集現(xiàn)場扶梯的視頻，另外，再結(jié)合網(wǎng)上搜集的扶梯意外視頻進(jìn)行實(shí)驗(yàn)，對實(shí)驗(yàn)結(jié)果進(jìn)行分析和總結(jié)。

乘客危險(xiǎn)行為識別結(jié)果及分析。為分析扶梯乘客危險(xiǎn)行為識別算法的效果，對16段離線采集的扶梯監(jiān)控視頻進(jìn)行實(shí)驗(yàn)，其中包含10個(gè)人員摔倒視頻、6個(gè)扶梯逆行視頻，并對其指標(biāo)進(jìn)行分析。算法在i7-7700 3.6GHz CPU、GTX1660 GPU、16G RAM、Ubuntu1604操作系統(tǒng)的計(jì)算機(jī)上用Python編程實(shí)現(xiàn),視頻圖像大小為749像素×720像素，處理速度達(dá)到15幀/秒。

實(shí)驗(yàn)數(shù)據(jù)結(jié)果如表1所示，其中人體目標(biāo)檢測及運(yùn)動檢測率達(dá)100%，目標(biāo)運(yùn)動跟蹤率達(dá)93.75%，人員摔倒檢測率達(dá)100%，逆行行為檢測率為83.3%，可見逆行的判斷準(zhǔn)確率還是比較低。

表1 乘客行為識別結(jié)果

4 結(jié)語

實(shí)驗(yàn)結(jié)果表明，在GTX1660GPU的運(yùn)行環(huán)境下，文中提出的識別算法的處理速度能達(dá)到15fps，異常行為識別準(zhǔn)確率達(dá)93.75%，能夠?qū)崟r(shí)準(zhǔn)確地識別電扶梯乘坐人員的危險(xiǎn)行為，滿足智能視頻監(jiān)控系統(tǒng)實(shí)時(shí)性、準(zhǔn)確性和魯棒性的要求。但算法仍然存在不足，比如，人員逆行檢出率較低，且當(dāng)扶梯中乘客過多時(shí)，擁擠的乘客會出現(xiàn)嚴(yán)重的遮擋使得不能很好地描述人體的行為，從而增加異常行為誤檢率，造成算法效果不佳。下一步將會在多人異常行為檢測與識別方面改善算法的性能，增強(qiáng)算法在多人情況下的魯棒性。