楊凱文，李雙群，胡星

（1.中電長城圣非凡信息系統(tǒng)有限公司，北京 102209；2.中國電子信息產(chǎn)業(yè)集團(tuán)有限公司第六研究所，北京 100083）

0 引言

行人步態(tài)是非常重要的生物特征之一，它具有遠(yuǎn)程識別行人身份的唯一性能力，與人臉、虹膜、指紋等其他生物特征相比，步態(tài)具有下列顯著優(yōu)勢：①可以通過遠(yuǎn)程、非接觸的方式獲??；②難以模仿或偽裝；③即使在低質(zhì)視頻中，仍然可以有效地獲取行人步態(tài)。近幾年來，視頻監(jiān)控系統(tǒng)中的步態(tài)識別引起了研究人員的廣泛關(guān)注，研究成果可以應(yīng)用于智慧邊防、倉庫安全管理、智慧安防、智能刑偵、身份識別等領(lǐng)域，這些具有挑戰(zhàn)性的應(yīng)用在很大程度上依賴于步態(tài)識別準(zhǔn)確率。

然而，準(zhǔn)確的步態(tài)識別仍然面臨以下主要挑戰(zhàn)：①不同視角的步態(tài)匹配非常困難，但對于步態(tài)識別應(yīng)用非常重要；②精確檢測步態(tài)周期困難大，步態(tài)序列的周期性運動線索和時間特性無法被有效利用。上述因素導(dǎo)致行人步態(tài)具有模糊的類間差異和較大的類內(nèi)差異，部分示例［1］如圖1所示。

針對上述挑戰(zhàn)，為提升步態(tài)識別性能，研究者們提出了兩種類型步態(tài)識別方法：基于模型的步態(tài)識別方法和基于外觀的步態(tài)識別方法?；谀Ｐ偷牟綉B(tài)識別方法通過對人體四肢的運動進(jìn)行建模，并從步態(tài)圖像中提取人體結(jié)構(gòu)。例如：Lombardi等［2］通過計算光流場對步態(tài)序列中的兩點數(shù)據(jù)進(jìn)行統(tǒng)計，并對行人肢體運動進(jìn)行編碼，稱為兩點步態(tài)；李昱等［3］融合視覺和觸覺特征建立全身步態(tài)模型，并使用支持向量機(jī)進(jìn)行分類完成步態(tài)識別；Goffredo等［4］應(yīng)用人體比例測量方法對人員下肢姿勢進(jìn)行建模，是一種獨立于拍攝視角的步態(tài)識別方法。然而，在低質(zhì)監(jiān)控視頻中，很難精確估計行人步態(tài)的運動模型參數(shù)。

基于外觀的步態(tài)識別方法主要從獲取的步態(tài)圖像序列中提取步態(tài)特征，即使在低分辨率視頻中也可以完成步態(tài)識別任務(wù)。例如：Muramatsu等［5］提 出 了 一 種 任 意 視 角 轉(zhuǎn) 換 模 型（AVTM），用于在任意視角下準(zhǔn)確匹配行人的步態(tài)特征；官洪運等［6］利用HSV顏色特征和局部細(xì)節(jié)特征進(jìn)行步態(tài)匹配；Wang等［7］提取每個步態(tài)圖像的輪廓，然后使用多通道映射函數(shù)將步態(tài)輪廓映射到相同的步態(tài)序列中，形成步態(tài)時序模板完成步態(tài)識別。

最近，基于深度學(xué)習(xí)的步態(tài)識別方法取得良好的識別結(jié)果，Zhang等［8］使用成對的步態(tài)能量圖（GEI）作為輸入，構(gòu)建了孿生神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)步態(tài)序列的時空特征，在一定程度上提高了步態(tài)識別精度。由于GEI在計算過程中會損失步態(tài)大量的動態(tài)信息，GEI僅僅能夠表示步態(tài)的少量動態(tài)信息。LSTM網(wǎng)絡(luò)采用學(xué)習(xí)有用新信息并遺忘無用舊信息機(jī)制，可以有效捕獲視頻中的運動信息，Donahue等［9］提出了一種新的循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用LSTM對可變長度視頻的復(fù)雜動態(tài)特性進(jìn)行建模，應(yīng)用于大規(guī)模視頻的視覺描述。為了獲取豐富的行人運動信息，Mahasseni等［10］提出一種正則化LSTM網(wǎng)絡(luò)架構(gòu)，并使用視頻中行人的3D人體骨架序列進(jìn)行訓(xùn)練，應(yīng)用于大規(guī)模視頻的行人動作識別。陳京榮［11］提出了一種結(jié)合姿態(tài)估計與Bi-LSTM網(wǎng)絡(luò)的人體跌倒檢測算法，用于檢測老年人跌倒事件的發(fā)生。

受上述研究工作的啟發(fā)，為了解決步態(tài)識別的挑戰(zhàn)性問題，本文設(shè)計了一個自動融合步態(tài)序列的框架，其顯著的空間和時間特征用于完成步態(tài)識別任務(wù)。首先，為了獲得步態(tài)的判別性外觀特征，利用步態(tài)圖像對VGG16網(wǎng)絡(luò)進(jìn)行微調(diào)，并使用微調(diào)后模型提取行人步態(tài)圖像的空間特征表示步態(tài)外觀信息；其次，為了準(zhǔn)確地捕捉行人步態(tài)的顯著周期性運動特征，設(shè)計了時序總結(jié)孿生LSTM神經(jīng)網(wǎng)絡(luò)來自動學(xué)習(xí)步態(tài)序列的顯著周期性運動特征，其中LSTM單元用于對步態(tài)序列的周期性運動進(jìn)行建模、時序加權(quán)總結(jié)模塊捕捉顯著的時序信息、孿生網(wǎng)絡(luò)架構(gòu)解決步態(tài)識別中類別數(shù)量巨大而每個類別樣本數(shù)量很少的問題；最后，在OULP-C1V1-A步態(tài)數(shù)據(jù)集上對本文方法進(jìn)行了實驗驗證，實驗結(jié)果表明本文方法在相同視角和交叉視角下都取得了良好的步態(tài)識別性能。

綜上所述，本文主要貢獻(xiàn)總結(jié)為：①設(shè)計了一種網(wǎng)絡(luò)架構(gòu)，同時利用步態(tài)圖像序列的顯著性空間特征和時間特征進(jìn)行相同視角和交叉視角下的步態(tài)識別；②提出了一種時序總結(jié)孿生LSTM神經(jīng)網(wǎng)絡(luò)，自動學(xué)習(xí)步態(tài)圖像序列的顯著周期性運動特征；③探索了LSTM的層數(shù)、隱藏單元數(shù)量與步態(tài)識別準(zhǔn)確率之間的關(guān)系，在OULP-C1V1-A步態(tài)數(shù)據(jù)集上綜合評價了本文方法在相同視角內(nèi)和交叉視角間取得的良好識別性能。

1 時序總結(jié)孿生LSTM網(wǎng)絡(luò)

1.1 算法框架

圖2展示了本文提出的時序總結(jié)孿生LSTM網(wǎng)絡(luò)模型框架。首先，以步態(tài)圖像序列對作為輸入，步態(tài)圖像序列通過微調(diào)的VGG16網(wǎng)絡(luò)提取每個圖像的空間特征；接著，將步態(tài)圖像的空間特征輸入LSTM單元，學(xué)習(xí)步態(tài)序列中與時序相關(guān)的特征集；最后，提出了一個時序總結(jié)層，用于為不同的時間步輸出分配不同的權(quán)重，生成步態(tài)序列周期性運動線索的序列級特征，用于完成步態(tài)識別任務(wù)。

1.2 步態(tài)空間特征提取

本文選擇VGG16網(wǎng)絡(luò)學(xué)習(xí)步態(tài)圖像的空間特征，由于預(yù)訓(xùn)練的VGG16模型采用ImageNet作為訓(xùn)練數(shù)據(jù)，不能直接應(yīng)用于步態(tài)識別。因此，將預(yù)訓(xùn)練VGG16模型在步態(tài)數(shù)據(jù)集上進(jìn)行微調(diào)，將其遷移到步態(tài)圖像領(lǐng)域。微調(diào)解決方案：將fc8層的輸出參數(shù)設(shè)置為步態(tài)圖像類別數(shù)目，微調(diào)預(yù)訓(xùn)練VGG16模型中的所有層參數(shù)。微調(diào)后VGG16模型能夠捕捉到步態(tài)圖像更為豐富的空間特征。給定一個步態(tài)序列處理單元S={s1,…,st,…sT}，其中st是時間步t的步態(tài)圖像、T為步態(tài)序列處理單元S的長度，利用微調(diào)后VGG16模型提取步態(tài)序列處理單元S的空間特征向量集X={x1,…,xt,…xT}。

1.3 步態(tài)周期特征提取

LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，通過記憶單元模塊調(diào)節(jié)特定的相關(guān)信息與其周圍環(huán)境信息之間的相互作用，有目的地保留特定相關(guān)信息，可以捕捉視頻序列中的長期時間動態(tài)信息，增強(qiáng)序列時序信息的判別能力。行人步態(tài)周期是區(qū)分不同行人的重要特征，因此本文采用LSTM神經(jīng)網(wǎng)絡(luò)對行人步態(tài)的周期性運動進(jìn)行建模，并提取更具判別特性的周期性運動特征表示步態(tài)周期，提高行人步態(tài)識別性能。

LSTM記憶單元由四個主要部分組成：一個輸入門、一個具有自循環(huán)連接的神經(jīng)元、一個遺忘門和一個輸出門。輸入門根據(jù)輸入數(shù)據(jù)更新記憶單元的狀態(tài)或阻塞更新，自循環(huán)連接確保記憶單元的狀態(tài)具有1個時間步延遲的反饋，遺忘門允許記憶單元通過調(diào)整其自循環(huán)連接來記住或忘記其先前的狀態(tài)，輸出門允許記憶單元的狀態(tài)對其他神經(jīng)元產(chǎn)生影響或阻止影響?？傊琇STM記憶單元允許神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)何時忘記先前的隱藏狀態(tài)以及何時更新隱藏狀態(tài)以保留新的相關(guān)信息。

接下來，將步態(tài)序列處理單元S的空間特征向量集X輸入LSTM模塊，學(xué)習(xí)步態(tài)序列的周期性時序信息。對于時間步t，xt和ht分別為輸入向量，Wx為輸入權(quán)重矩陣，Wh為循環(huán)權(quán)重矩陣，b為偏置向量。Sigmoid函數(shù)是一個元素級非線性激活函數(shù)，它將實數(shù)輸入映射到（0，1）范圍內(nèi)。雙曲正切函數(shù)?(x)=也是一個元素級非線性激活函數(shù)，它將輸入映射到（-1，1）范圍內(nèi)。運算符⊙表示元素級相乘運算。給定輸入xt，ht-1和ct-1，LSTM單元時間步t的更新方程可表示為：

從公式（1）～（6）可以看出，每個時間步都會得到一個隱藏單元ht∈?N。一個LSTM單元由輸入門it∈?N、遺忘門ft∈?N、輸出門ot∈?N、輸入調(diào)節(jié)門gt∈?N和記憶單元ct∈?N組成。記憶單元ct是ct-1記憶部分和被調(diào)節(jié)后it的總和。LSTM單元中的ft和gt被視為選擇性地忘記其先前記憶和考慮當(dāng)前輸入的旋鈕，ot用于學(xué)習(xí)記憶單元中的哪些信息需要轉(zhuǎn)移到隱藏單元中。最后，得到步態(tài)序列處理單元S的隱藏狀態(tài)集H={h1,…,ht,…h(huán)T}，它表示步態(tài)序列S長期的時序信息，即周期性運動信息。

1.4 步態(tài)時序信息加權(quán)總結(jié)

盡管LSTM能夠捕獲到步態(tài)序列的時序信息，但它更偏重于使用后面時間步的輸出信息，這會降低步態(tài)識別性能，因為前面時間步的輸出也會包含一些有用的時序信息。為了解決這個問題，本文設(shè)計了一個時序信息加權(quán)總結(jié)（WTS）模塊，提供了一種加權(quán)解決方案來聚合總結(jié)所有時間步的信息，從而捕捉到具有強(qiáng)區(qū)分能力的時序特征。WTS模塊生成的步態(tài)特征向量V可形式化為：

其中T表示步態(tài)序列的時間步數(shù)（長度）、ht是LSTM在時間步t的輸出。

1.5 孿生LSTM網(wǎng)絡(luò)

在步態(tài)識別領(lǐng)域，樣本數(shù)據(jù)具有以下特點：類別數(shù)量非常多且模型訓(xùn)練階段無法確定，而每個類別的樣本數(shù)量非常少。孿生架構(gòu)網(wǎng)絡(luò)可以從訓(xùn)練數(shù)據(jù)中應(yīng)用判別學(xué)習(xí)技術(shù)來學(xué)習(xí)相似度度量模型，不需要特定的樣本類別信息，它包含兩個結(jié)構(gòu)相同且權(quán)重共享的子網(wǎng)，將輸入對象映射到低維目標(biāo)空間中進(jìn)行相似性度量。因此，孿生架構(gòu)網(wǎng)絡(luò)適合解決步態(tài)識別問題，本文設(shè)計了一個孿生LSTM網(wǎng)絡(luò)用于學(xué)習(xí)步態(tài)序列的周期性運動特征，如圖2所示。由于孿生LSTM網(wǎng)絡(luò)目標(biāo)空間的維數(shù)較低，能夠從每個類別的少量樣本中學(xué)習(xí)不同步態(tài)序列之間的強(qiáng)區(qū)分性特征。

1.5.1 網(wǎng)絡(luò)輸入

孿生LSTM網(wǎng)絡(luò)以步態(tài)序列對作為輸入，將每個步態(tài)序列映射為一個特征向量，然后進(jìn)行相似性度量。對于訓(xùn)練集中的所有步態(tài)序列，本文隨機(jī)選擇兩個屬于同一類別的步態(tài)序列構(gòu)成正訓(xùn)練對、隨機(jī)選擇兩個屬于不同類別的序列構(gòu)成負(fù)訓(xùn)練對。給定一個步態(tài)序列訓(xùn)練對(Si,Sj)，Y∈[ 0,1]為訓(xùn)練對的標(biāo)簽，Y=1表示Si和Sj屬于同一個身份，Y=0表示它們屬于不同的身份。

如圖2所示，步態(tài)序列訓(xùn)練對(Si,Sj)分別輸入微調(diào)后VGG16模型提取步態(tài)序列的空間特征向量集Xi和Xj，接著它們分別被輸入兩個并行的LSTM子網(wǎng)絡(luò)學(xué)習(xí)得到兩個步態(tài)序列的隱藏狀態(tài)集Hi和Hj，最后根據(jù)公式（7）分別對Hi和Hj進(jìn)行加權(quán)總結(jié)，得到兩個步態(tài)序列的特征向量Vi和Vj。

1.5.2 對比損失函數(shù)

對于步態(tài)識別任務(wù)，需要學(xué)習(xí)一個非線性函數(shù)將步態(tài)序列映射到低維空間中的點，使正訓(xùn)練對盡可能接近、而負(fù)訓(xùn)練對盡可能遠(yuǎn)離，且至少大于一個最小距離間隔。因此，本文采用對比損失層連接兩個LSTM子網(wǎng)絡(luò)。

對于步態(tài)序列的特征向量Vi和Vj，距離度量方法可表示為：

對比損失目標(biāo)函數(shù)可形式化表示為：

其中正數(shù)m為不同類別步態(tài)序列之間的最小距離間隔。

1.5.3 網(wǎng)絡(luò)訓(xùn)練

本文將步態(tài)識別視為一個二分類問題，訓(xùn)練數(shù)據(jù)包括步態(tài)序列對和標(biāo)簽。在訓(xùn)練階段，采用權(quán)重共享機(jī)制同時優(yōu)化兩個LSTM子網(wǎng)絡(luò)，成對的步態(tài)序列分別輸入兩個LSTM子網(wǎng)絡(luò)，通過對比損失層計算對比損失并反向傳播來訓(xùn)練孿生LSTM網(wǎng)絡(luò)模型。

由于步態(tài)序列的正訓(xùn)練對數(shù)量要遠(yuǎn)遠(yuǎn)少于負(fù)訓(xùn)練對，可能會帶來數(shù)據(jù)不平衡和過擬合問題。為了避免這些問題，在訓(xùn)練過程中隨機(jī)丟棄LSTM層的50%神經(jīng)元輸出，LSTM層保留神經(jīng)元的輸出傳遞到后續(xù)層，隨著對訓(xùn)練數(shù)據(jù)的多輪迭代，模型被訓(xùn)練達(dá)到收斂狀態(tài)，訓(xùn)練結(jié)束。

1.5.4 網(wǎng)絡(luò)測試

在測試過程中，舍棄了孿生架構(gòu)和對比損失函數(shù)，使用孿生LSTM網(wǎng)絡(luò)中的一條分支（即微調(diào)的VGG16模型和LSTM子網(wǎng)絡(luò)部分）作為特征提取器，提取參考集合和查詢集合中步態(tài)序列的外觀和周期性運動特征。在聯(lián)合步態(tài)序列的外觀和周期性運動特征時，先對它們執(zhí)行歸一化操作再進(jìn)行特征融合。

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集和評價準(zhǔn)則

2.1.1 數(shù)據(jù)集

使用OULP-C1V1-A步態(tài)數(shù)據(jù)集評估本文方法的性能，它是一個規(guī)模大、覆蓋范圍廣的步態(tài)識別基準(zhǔn)數(shù)據(jù)集，包含3836名行人對象、年齡覆蓋范圍為1歲到94歲。每個行人對象包括兩類步態(tài)序列：參考序列和查詢序列。步態(tài)序列由行人剪影圖像構(gòu)成，這些圖像被歸一化為128×88個像素。參考集合和查詢集合中的行人對象分別根據(jù)觀察視角分為五個子集，即55°、65°、75°、85°和所有角度。在實驗中，使用參考集合進(jìn)行訓(xùn)練，查詢集合沒有參與訓(xùn)練。

2.1.2 評價準(zhǔn)則

由于OULP-C1V1-A步態(tài)數(shù)據(jù)集中的每個查詢序列都有對應(yīng)的多個交叉視角參考序列，因此采用MAP來評價所提方法的性能。MAP用于計算所有查詢步態(tài)序列的識別精度，定義如下：

其中Q表示查詢集，mj表示查詢序列j對應(yīng)的參考步態(tài)序列數(shù)量，Precision (Rjk)表示查詢序列j對應(yīng)參考序列k的平均識別精度（AP）。

除此之外，本文還采用累積匹配曲線（CMC）來計算Rank-1和Rank-5，分別表示所有查詢正確的參考序列排名在第一和前五的百分比，它們也是廣泛應(yīng)用于評估步態(tài)識別性能的方法。

2.2 實驗設(shè)置

為了客觀評價所提方法，基于訓(xùn)練數(shù)據(jù)對損失函數(shù)的負(fù)訓(xùn)練對最小距離間隔、LSTM隱藏單元數(shù)量、LSTM層數(shù)進(jìn)行了調(diào)整。首先，調(diào)整孿生架構(gòu)網(wǎng)絡(luò)中對比損失函數(shù)的負(fù)樣本最小距離間隔m。當(dāng)m=1時，驗證性能最好；當(dāng)m=0.5或m=1.5時，驗證性能沒有明顯變化；但是當(dāng)m＜0.5或m＞1.5時，驗證性能明顯下降。因此，后續(xù)實驗評價過程中設(shè)置m為1。

其次，對LSTM隱藏單元數(shù)量進(jìn)行了實驗嘗試，以揭示隱藏單元數(shù)量對LSTM學(xué)習(xí)能力的影響。由于數(shù)據(jù)集中行人類別數(shù)量大（3836個行人）和行人步態(tài)圖像差異性小，實驗中嘗試使用與之匹配的LSTM隱藏單元數(shù)量進(jìn)行驗證，即分別使用了1024、2048、3096和5120隱藏單元數(shù)量。隨著LSTM隱藏單元數(shù)量的增大，步態(tài)識別準(zhǔn)確率也得到了持續(xù)的提升，當(dāng)隱藏單元大小達(dá)到5120時，識別準(zhǔn)確率無法獲得進(jìn)一步的提升。因此，后續(xù)實驗評價過程中LSTM隱藏單元數(shù)量設(shè)置為5120。

最后，對LSTM層數(shù)進(jìn)行了實驗驗證嘗試，分別嘗試了1、2和4層LSTM網(wǎng)絡(luò)結(jié)構(gòu)，驗證結(jié)果表明1層LSTM在OULP-C1V1-A步態(tài)數(shù)據(jù)集上識別性能最好。因此，后續(xù)實驗評價過程中LSTM層數(shù)設(shè)置為1。

2.3 時序加權(quán)總結(jié)性能驗證與分析

實驗過程中，需要將步態(tài)序列的LSTM所有時間步輸出融合為單個特征向量完成步態(tài)識別，除了使用所提出的步態(tài)時序信息加權(quán)總結(jié)（WTS）融合方法之外，還使用了平均池化（Mean-pooling）和最大池化（Max-pooling）來融合LSTM所有時間步的輸出。具體地說，平均池化方法認(rèn)為LSTM所有時間步輸出同等重要，而最大池化方法使用LSTM所有時間步輸出的最大激活值作為特征向量。在OULP-C1V1-A步態(tài)數(shù)據(jù)集上，基于本文設(shè)計的孿生LSTM網(wǎng)絡(luò)結(jié)構(gòu)使用時序加權(quán)總結(jié)、平均池化、最大池化分別進(jìn)行了訓(xùn)練和測試，對比分析了它們各自的步態(tài)識別性能。如表1和表2所示，WTS比Meanpooling和Max-pooling方法取得了更好的步態(tài)識別性能，驗證結(jié)果表明WTS方法可以更好地捕捉到步態(tài)序列的周期性運動線索。

表1 不同融合方法基于MAP評價準(zhǔn)則的識別性能比較

表2 不同融合方法基于Rank-1識別率評價準(zhǔn)則的識別性能比較

2.4 相同視角下的步態(tài)識別性能評價分析

首先，在相同視圖下評價本文方法，與GEI［1］、FDF［1］、woVTM［5］、CNN［8］、SiaNet［8］等方法的識別性能進(jìn)行比較，性能對比結(jié)果如表3所示。本文方法在55°、65°、75°、85°視角下的識別性能優(yōu)于其他對比方法，獲得了最好的步態(tài)識別準(zhǔn)確率。與現(xiàn)有傳統(tǒng)方法（即GEI、FDF、woVTM）相比，本文方法能夠捕獲到步態(tài)圖像的區(qū)分性外觀特征和更加豐富的行人運動信息，而大多數(shù)傳統(tǒng)方法使用GEI表示行人步態(tài)的運動信息，會導(dǎo)致大量有用運動信息丟失，本文方法步態(tài)識別性能獲得了顯著的提高。與現(xiàn)有基于深度學(xué)習(xí)的方法（即CNN和SiaNet）相比，本文方法通過使用孿生LSTM架構(gòu)學(xué)習(xí)步態(tài)序列的顯著周期性運動信息，而現(xiàn)有基于深度學(xué)習(xí)的方法使用GEI作為訓(xùn)練數(shù)據(jù)，只能捕捉到少量運動信息，本文方法獲得了最好的步態(tài)識別性能。

表3 不同步態(tài)識別方法在相同視角下的Rank-1和Rank-5識別率對比結(jié)果

2.5 交叉視角下的步態(tài)識別性能評價分析

實際應(yīng)用場景的步態(tài)序列經(jīng)常受到攝像機(jī)拍攝視角變化的影響，因此在交叉視角下對本文方法的識別性能進(jìn)行評價，與woVTM［5］、AVTM［5］、AVTM_PdVS［5］、SiaNet［8］等方法進(jìn)行對比分析，性能對比結(jié)果如表4所示。前三種方法通過構(gòu)建3D步態(tài)序列專門用于跨視角步態(tài)匹配，SiaNet方法使用孿生神經(jīng)網(wǎng)絡(luò)捕捉步態(tài)序列的外觀特征。本文方法同時考慮步態(tài)外觀的視角差異和顯著周期性運動信息，獲得了最好的步態(tài)識別性能。當(dāng)視角差異較大時，本文方法的識別性能也會略有下降。

表4 不同步態(tài)識別方法在交叉視角下的Rank-1識別率對比結(jié)果

3 結(jié)語

本文設(shè)計了一個孿生LSTM神經(jīng)網(wǎng)絡(luò)架構(gòu)，自動學(xué)習(xí)多視角步態(tài)序列的周期性運動特征，設(shè)計了步態(tài)時序信息加權(quán)總結(jié)模塊提取步態(tài)序列的顯著性時序信息，最后融合多視角步態(tài)序列的區(qū)分性外觀特征和顯著周期性運動特征，完成步態(tài)識別任務(wù)。實驗結(jié)果表明，本文方法在相同視角和交叉視角步態(tài)識別方面都取得了良好的識別性能。