姜奇，馮茹，張瑞杰，王金花，陳婷，魏福山

基于GRU的智能手機多場景步態(tài)認(rèn)證

姜奇1,2，馮茹1，張瑞杰3，王金花4，陳婷4，魏福山5

（1. 西安電子科技大學(xué)網(wǎng)絡(luò)與信息安全學(xué)院, 陜西 西安 710126；2. 河南省網(wǎng)絡(luò)密碼技術(shù)重點實驗室，河南 鄭州 450001；3. 信息工程大學(xué)密碼工程學(xué)院，河南 鄭州 450001；4. 保密通信重點實驗室，四川 成都 610041；5.信息工程大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，河南 鄭州 450001）

基于步態(tài)的智能手機認(rèn)證研究大多針對單一受控場景，而未考慮多場景變化對認(rèn)證準(zhǔn)確性的影響。智能手機以及用戶的運動方向在不同場景下會發(fā)生變化，當(dāng)使用對方向變化敏感的傳感器采集用戶步態(tài)數(shù)據(jù)時，可能會因場景的改變出現(xiàn)一定的偏差。因此，為智能手機提供一種多場景下的高精度步態(tài)認(rèn)證方法已成為亟待解決的問題。此外，模型訓(xùn)練算法的選取是決定步態(tài)認(rèn)證準(zhǔn)確率和效率的關(guān)鍵。目前流行的基于長短期記憶（LSTM，long short-term memory）網(wǎng)絡(luò)的認(rèn)證模型能夠?qū)崿F(xiàn)較高的認(rèn)證準(zhǔn)確率，但其訓(xùn)練參數(shù)較多，內(nèi)存占用較大，訓(xùn)練效率有待提升。針對現(xiàn)有步態(tài)認(rèn)證方案未滿足多場景認(rèn)證需求、模型認(rèn)證和訓(xùn)練且難以兼顧高效率與高準(zhǔn)確率的問題，提出了基于門控循環(huán)單元（GRU，gate recurrent unit）的智能手機多場景步態(tài)認(rèn)證方案。通過小波變換對步態(tài)信號進行初步降噪處理，并采用自適應(yīng)的步態(tài)周期分割算法對循環(huán)的步態(tài)信號進行切分。為滿足多步態(tài)場景的認(rèn)證需求，采用坐標(biāo)系轉(zhuǎn)換方法對步態(tài)信號進行方向無關(guān)性處理，以消除智能手機方向以及用戶運動方向?qū)φJ(rèn)證結(jié)果的影響。為實現(xiàn)高準(zhǔn)確率認(rèn)證以及高效率訓(xùn)練模型，利用不同體系結(jié)構(gòu)的GRU以及多種優(yōu)化方式訓(xùn)練用戶步態(tài)模型。在公開數(shù)據(jù)集PSR和ZJU-GaitAcc上對所提方案進行實驗分析。與所列方案對比，所提方案提高了認(rèn)證準(zhǔn)確率，較之基于LSTM的步態(tài)認(rèn)證模型，所提模型的訓(xùn)練效率提升了約20%。

持續(xù)認(rèn)證；步態(tài)行為；多傳感器；門控循環(huán)單元

0 引言

近年來，基于用戶行為的持續(xù)認(rèn)證受到廣泛關(guān)注，如步態(tài)[1]、觸屏[2]、手勢[3]等。步態(tài)由于受到身體特征、行走習(xí)慣和社會環(huán)境的影響，具備個人獨特性且難以被模仿，成為身份認(rèn)證的研究熱點。伴隨智能手機內(nèi)各種傳感器的集成，基于手機內(nèi)置傳感器獲取用戶行為相較于可穿戴傳感器更加便捷，不需要額外的硬件設(shè)備，具有低能耗、低成本、易于獲取等優(yōu)點[4]。

步態(tài)認(rèn)證框架通?？煞譃閿?shù)據(jù)采集與預(yù)處理和模型注冊與認(rèn)證兩方面?，F(xiàn)階段已有大量步態(tài)認(rèn)證方案，但仍存在一些缺陷。在數(shù)據(jù)采集與預(yù)處理方面，只有少數(shù)研究考慮了傳感器放置部位以及步態(tài)活動對認(rèn)證結(jié)果的干擾，文獻[1,5-7]直接忽略此因素，未考慮多場景下的認(rèn)證情況。文獻[8]的實驗雖然綜合分析了手機放置部位與行走場地變化對認(rèn)證結(jié)果的影響，但并未解決某些場景下認(rèn)證結(jié)果較差的問題，如上下樓梯等。在模型注冊與認(rèn)證方面，現(xiàn)有方案[9-15]采用的機器學(xué)習(xí)算法大多難以兼顧認(rèn)證準(zhǔn)確性和模型訓(xùn)練效率。

在實際的步態(tài)場景中，用戶根據(jù)個人習(xí)慣以及不同需求，將手機放置于身體不同部位，進行不同的步態(tài)活動。原始傳感器數(shù)據(jù)來源于手機自身的設(shè)備坐標(biāo)系，對方向的變化很敏感，設(shè)備方向或用戶運動方向的不同可能導(dǎo)致完全不同的測量結(jié)果，因此需要對其進行方向無關(guān)性處理。處理方式可概括為以下3種。

1) 將傳感器固定放置于用戶身體的某一部位[9,10,16-18]。在實驗中，要求用戶在固定運動傳感器位置的前提下采集步態(tài)數(shù)據(jù)，而手機通常被不受限制地放置在口袋或拿在手中，此方法顯然不符合實際情況。

2) 將數(shù)據(jù)由設(shè)備坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系[19-20]。此方法可以抵消設(shè)備方向的變化，但由于世界坐標(biāo)系的、軸固定指向磁場東方和北方，在此坐標(biāo)系下，一旦用戶的運動方向發(fā)生變化，運動傳感器采集的步態(tài)信號也隨之變化，故此時步態(tài)特征并未獨立于用戶運動方向。

3) 將數(shù)據(jù)轉(zhuǎn)到以用戶為中心的坐標(biāo)系。文獻[21]基于加速度計數(shù)據(jù)，利用主成分分析（PCA，principal component analysis）原理找到用戶的運動方向，計算得到一個與重力運動方向?qū)R的新坐標(biāo)，此坐標(biāo)以用戶為中心，可消除設(shè)備方向以及用戶運動方向的干擾，方案計算復(fù)雜度低，但未消除加速度計的固有偏差，導(dǎo)致新坐標(biāo)方向的精確度不夠高。文獻[22]通過濾波器消除加速度計存在的噪聲和偏差，根據(jù)世界坐標(biāo)系下的加速度計算瞬時速度，將瞬時速度方向作為用戶的運動方向，得出以用戶為中心坐標(biāo)的三軸方向，此方法能夠很好地去除步態(tài)場景變化的干擾，但需要將數(shù)據(jù)由設(shè)備坐標(biāo)系先轉(zhuǎn)化到世界坐標(biāo)系，再轉(zhuǎn)為用戶坐標(biāo)系，計算復(fù)雜度高，步驟煩瑣。

現(xiàn)有相關(guān)方案中步態(tài)模型的注冊與認(rèn)證多采用傳統(tǒng)的機器學(xué)習(xí)法或統(tǒng)計學(xué)習(xí)法，如絕對距離、相關(guān)性、直方圖、支持向量機（SVM，support vector machine）、近鄰（KNN，-nearest neighbor）算法等。這些模型在訓(xùn)練前期，需人工提取原始數(shù)據(jù)的特征，難以準(zhǔn)確表示來自不同用戶步態(tài)的差異性，認(rèn)證準(zhǔn)確率不高。深度學(xué)習(xí)可以進行端到端的認(rèn)證，自適應(yīng)地提取步態(tài)特征。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN，recurrent neural network）由于適合處理時間序列性數(shù)據(jù)，而被應(yīng)用到基于運動傳感器的步態(tài)認(rèn)證[13-14]。然而，傳統(tǒng)的RNN模型容易受到梯度消失和梯度爆炸的問題，且RNN的訓(xùn)練耗時長[23]。文獻[15]采用長短期記憶（LSTM，long short-term memory）網(wǎng)絡(luò)進行步態(tài)認(rèn)證，在PSR和GaitAcc兩個數(shù)據(jù)集上實驗分別得到94%和95%的精度，雖然LSTM可以通過細(xì)胞單元和門控機制來克服RNN的上述缺點，但LSTM的參數(shù)較多，導(dǎo)致模型的收斂速率緩慢，影響訓(xùn)練效率。

針對上述問題，本文首先將手機運動傳感器獲取的步態(tài)信號進行降噪以及步態(tài)周期分割處理；其次，為滿足多步態(tài)場景的認(rèn)證需求，改進文獻[21-22]中坐標(biāo)系轉(zhuǎn)換的思想，去除加速度計的固有偏差，更精確地表示出用戶坐標(biāo)系三軸方向；然后將運動傳感器數(shù)據(jù)投影變換到此新坐標(biāo)下，以對其進行方向無關(guān)性處理；再次，利用不同體系結(jié)構(gòu)的GRU訓(xùn)練用戶步態(tài)模型，并引入多種優(yōu)化方式實現(xiàn)高準(zhǔn)確率認(rèn)證以及高效率訓(xùn)練用戶模型。實驗結(jié)果表明，與所列方案相比，本文方案提高了不同步態(tài)場景下的認(rèn)證準(zhǔn)確性，在PSR和GaitAcc兩個數(shù)據(jù)集上的認(rèn)證等錯誤率（EER，equal error rate）分別為3.94%和4.51%。相較基于LSTM的步態(tài)認(rèn)證模型，本文模型的訓(xùn)練效率提升了約20%，且內(nèi)存占用更小。

1 方案設(shè)計

本文提出的步態(tài)認(rèn)證框架如圖1所示，主要包括注冊和認(rèn)證兩個階段。當(dāng)有新用戶注冊時，智能手機內(nèi)置的運動傳感器收集用戶的步態(tài)數(shù)據(jù)。智能手機將用戶步態(tài)數(shù)據(jù)傳輸至服務(wù)器，經(jīng)過數(shù)據(jù)預(yù)處理后，存入服務(wù)器端時序數(shù)據(jù)庫中，進而利用這些數(shù)據(jù)訓(xùn)練出基于GRU的用戶步態(tài)模型，同時將此模型下發(fā)至手機端用于離線認(rèn)證。認(rèn)證階段分為在線認(rèn)證和離線認(rèn)證。當(dāng)連接網(wǎng)絡(luò)時，可通過在線認(rèn)證來判斷當(dāng)前用戶是否為合法用戶，若為合法用戶，可將其步態(tài)數(shù)據(jù)傳輸至服務(wù)器端進行模型更新，以應(yīng)對用戶步態(tài)隨時間的變化；當(dāng)未連接網(wǎng)絡(luò)時，可在手機端進行離線認(rèn)證，確保認(rèn)證方案的實時性。

本文方案中，注冊和認(rèn)證階段前期均需進行數(shù)據(jù)預(yù)處理工作，包括小波變換降噪、步態(tài)周期分割以及坐標(biāo)系轉(zhuǎn)換。智能手機只需將運動傳感器數(shù)據(jù)進行收集和簡單處理，計算密集型任務(wù)即步態(tài)模型的訓(xùn)練被部署于服務(wù)器，以節(jié)省智能手機端的電池能量和計算開銷。接下來，將詳細(xì)介紹方案中的關(guān)鍵步驟。

1.1 數(shù)據(jù)采集

圖1 基于GRU的智能手機多場景步態(tài)認(rèn)證系統(tǒng)框架

Figure 1 GRU-based multi-scenario gait authentication system framework for smartphones

1.2 數(shù)據(jù)降噪

采集到的運動傳感器數(shù)據(jù)受用戶運動狀態(tài)、手機所置身體部位及其他環(huán)境因素的干擾，不可避免地包含了大量的噪聲，會降低認(rèn)證的準(zhǔn)確率。因此，需要去除重復(fù)、不相關(guān)的步態(tài)信號，突出步態(tài)信號原本的特征差異。本文采用小波變換閾值降噪法過濾步態(tài)信號中的噪聲，原因在于：相對于其他降噪方法，該方法能夠很好地處理步態(tài)信號與噪聲重疊的情形，保護有用的尖峰步態(tài)信號和突變步態(tài)信號，在去除高頻噪聲的同時保留步態(tài)信號高頻成分；此方法原理簡單、計算復(fù)雜度低且容易實現(xiàn)，資源消耗較小。

圖2 降噪前后處理效果對比

Figure 2 Comparison of processing effects before and after noise reduction

1.3 步態(tài)周期分割

步驟2 計算所有局部最小值的平均值，將平均值以上的局部最小值從候選集合中去除，如圖3(b)所示。

步驟3 將相鄰的候選點作為一組，選擇每組內(nèi)的最小值作為周期分割的起始點，如圖3(c)所示，得到步態(tài)周期分割的起始點。

圖3 步態(tài)周期分割過程

Figure 3 The process of gait cycle segmentation

1.4 坐標(biāo)系轉(zhuǎn)換

1.4.1 加速度計數(shù)據(jù)校準(zhǔn)

步態(tài)周期分割后，設(shè)備坐標(biāo)系下的加速度計數(shù)據(jù)可表示為：

步驟1 移除重力分量，得到加速度在水平面的分量，如式(9)所示。

步驟2 求得設(shè)備坐標(biāo)系下，、、三軸數(shù)據(jù)的平均值，如式(10)所示。

步驟3 將三軸數(shù)據(jù)去中心化，即用每一坐標(biāo)的值減去相應(yīng)的平均值，如式(11)所示。

其中，代表一個步態(tài)周期內(nèi)的樣本個數(shù)。

1.5 注冊階段

本文旨在保證高認(rèn)證準(zhǔn)確性的前提下，更為高效地訓(xùn)練步態(tài)認(rèn)證模型。因此，在訓(xùn)練模型時做出以下幾點優(yōu)化。

（1）參數(shù)初始化

神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，前一層的訓(xùn)練結(jié)果會直接影響后一層輸入數(shù)據(jù)的分布，而訓(xùn)練數(shù)據(jù)分布的頻繁變換，導(dǎo)致模型參數(shù)需要不斷迭代以適應(yīng)新的分布，這會大大降低網(wǎng)絡(luò)訓(xùn)練效率。為此，本文引入批歸一化（BN，batch normalization），將其置于激活函數(shù)之前，使得訓(xùn)練數(shù)據(jù)經(jīng)激活函數(shù)變換后都形成均值為0，方差為1的正態(tài)分布，從而提高模型訓(xùn)練效率。

（2）反向傳播優(yōu)化

使用Adam[27]優(yōu)化算法對模型的損失函數(shù)進行反向傳播優(yōu)化。Adam是一種優(yōu)化的梯度更新算法，它結(jié)合了適應(yīng)性梯度和均方根傳播兩種梯度優(yōu)化算法的優(yōu)勢，通過計算梯度的一階矩和二階矩估計，為每個參數(shù)獨立設(shè)計自適應(yīng)學(xué)習(xí)率，解決了隨機梯度優(yōu)化算法設(shè)置固定學(xué)習(xí)率帶來的問題。

（3）防止過擬合

為了防止過擬合，減少神經(jīng)元的計算開銷，采用Dropout[28]技術(shù)，提高模型的泛化能力，即在訓(xùn)練時隨機從網(wǎng)絡(luò)中丟棄一些神經(jīng)網(wǎng)絡(luò)單元，減少訓(xùn)練過程中的參數(shù)量，大大降低計算量，有利于高效訓(xùn)練步態(tài)認(rèn)證模型。

（4）不同體系結(jié)構(gòu)的GRU模型

本文研究了3種不同的GRU體系結(jié)構(gòu)的步態(tài)認(rèn)證效果，即單層GRU、雙向GRU、多層GRU。其中，單層GRU僅由一個循環(huán)層構(gòu)成；雙向GRU由兩個循環(huán)層構(gòu)成，且兩層結(jié)構(gòu)的運行方向相反；多層GRU由兩個運行方向一致的循環(huán)層構(gòu)成。

1.6 認(rèn)證階段

本文考慮了兩種認(rèn)證方案，即離線認(rèn)證和在線認(rèn)證。隨著時間的推移，合法用戶的步態(tài)習(xí)慣可能會發(fā)生一些變化，為了應(yīng)對此變化，考慮使模型可以自適應(yīng)地變化以避免頻繁的模型重置。在網(wǎng)絡(luò)連接的條件下，若服務(wù)器端判定當(dāng)前用戶為合法用戶，將累計指定數(shù)量的新合法樣本添加到訓(xùn)練集，使模型的訓(xùn)練集實現(xiàn)自動更新，同時可以增大判定為合法用戶的閾值，以保證更高的認(rèn)證準(zhǔn)確率。為了減少智能手機端的計算開銷和存儲空間，只考慮在服務(wù)器端進行認(rèn)證模型的更新。若用戶所處環(huán)境無法進行網(wǎng)絡(luò)連接，則可用本地的身份認(rèn)證模型進行認(rèn)證，包括前期的數(shù)據(jù)預(yù)處理均在本地進行。

2 理論分析與實驗評估

為了評估本文方案在多步態(tài)場景下的有效性以及高效性，對當(dāng)前步態(tài)認(rèn)證領(lǐng)域廣泛應(yīng)用的基于LSTM的模型（簡稱為LSTM）與基于GRU的模型（簡稱為GRU）進行對比。下文首先理論分析GRU相較于LSTM的優(yōu)勢，然后通過實驗加以驗證。

2.1 理論分析

LSTM與GRU均通過門控單元對步態(tài)信息進行篩選，保留數(shù)據(jù)中的長期依賴性，但二者工作機制存在不同，導(dǎo)致認(rèn)證效果以及性能存在區(qū)別。

其次，計算候選記憶細(xì)胞：

最后，得到新的記憶細(xì)胞，并輸出當(dāng)前隱狀態(tài)信息：

其次，計算候選隱狀態(tài)：

最后，利用更新門計算當(dāng)前隱狀態(tài)：

下文通過實驗對比分析在本文多步態(tài)場景中GRU和LSTM的性能。

2.2 實驗設(shè)置

2.2.1 數(shù)據(jù)集介紹

本文在兩個公開的數(shù)據(jù)集PSR和ZJU- GaitAcc上進行方案的驗證評估，下面分別對其詳細(xì)介紹。

PSR數(shù)據(jù)集[29]采集了10位用戶的智能手機運動傳感器（加速度計、陀螺儀和磁力計）數(shù)據(jù)，采樣頻率為50 Hz，涉及6種行為活動。對于不同的行為活動有5種不同的設(shè)備位置，分別為褲子右口袋、褲子左口袋、腰部、右上臂、右手腕。本文選擇其中涉及步態(tài)的4種行為活動即步行、慢跑、上樓梯、下樓梯，與不同設(shè)備位置組合共20種步態(tài)場景進行評估。每種步態(tài)場景數(shù)據(jù)采集量為9 000條，故每位用戶的數(shù)據(jù)量有180 000條。

ZJU-GaitAcc數(shù)據(jù)集[30]采集了175位用戶步行時的加速度計數(shù)據(jù)，采樣頻率為100 Hz，包括5種設(shè)備的位置，分別為左上臂、右手腕、右側(cè)骨盆、左大腿、右腳踝。參與用戶中的153人參加了兩次會話的數(shù)據(jù)采集，不同會話的間隔范圍為一周至半年，其他22位用戶僅參加了一次會話。本文選擇同時參與兩次會話的用戶數(shù)據(jù)進行實驗。

本文選擇上述兩個數(shù)據(jù)集進行實驗的原因是綜合考量方案的可行性。PSR數(shù)據(jù)集采集的步態(tài)場景較多，但其包含用戶數(shù)較少；ZJU-GaitAcc數(shù)據(jù)集采集用戶數(shù)較多，且包含不同會話數(shù)據(jù)，但該數(shù)據(jù)集僅包括步行時5種不同設(shè)備位置的加速度計數(shù)據(jù)。

2.2.2 評估指標(biāo)

為了全面分析本文所提方案的綜合性能，選擇準(zhǔn)確率、EER、曲線下方面積大?。ˋUC，area under curve）作為評估指標(biāo)。準(zhǔn)確率表示被正確分類的樣本占所有樣本的比率；EER表示閾值變化時，錯誤接受率（FAR，false accept rate）和錯誤拒絕率（FRR，false reject rate）相等的錯誤率；AUC表示受試者工作特征曲線（ROC，receiver operating characteristic curve）下方的面積大小。準(zhǔn)確率越高，EER越小，AUC越大表明認(rèn)證效果越好。

2.2.3 訓(xùn)練參數(shù)設(shè)置

經(jīng)過多組實驗，本文將網(wǎng)絡(luò)參數(shù)更新的學(xué)習(xí)率設(shè)為0.001；隱藏層節(jié)點個數(shù)為128。訓(xùn)練epoch次數(shù)為200次，每批次訓(xùn)練樣本為64個。訓(xùn)練樣本大小決定了每epoch花費的時間以及迭代之間梯度的平滑程度，訓(xùn)練樣本過大導(dǎo)致梯度容易陷入局部最小值，而過小會導(dǎo)致模型訓(xùn)練速度緩慢，梯度震蕩嚴(yán)重，不利于收斂。Dropout概率取值為0.8，即在每次網(wǎng)絡(luò)訓(xùn)練時，只需更新80%的參數(shù)權(quán)重，減少了權(quán)重更新的計算量，從而提升網(wǎng)絡(luò)模型的訓(xùn)練效率。

2.3 坐標(biāo)系轉(zhuǎn)換前后對比實驗

為了驗證坐標(biāo)系轉(zhuǎn)換對于多場景認(rèn)證效果的提升，本文采用PSR數(shù)據(jù)集中不同步態(tài)活動（步行、慢跑、上樓梯、下樓梯）的數(shù)據(jù)進行實驗，并對比了不同體系結(jié)構(gòu)的GRU的認(rèn)證結(jié)果，如圖4所示。

由圖4可知，經(jīng)過坐標(biāo)系轉(zhuǎn)換后的準(zhǔn)確率，整體有較大提升，尤其是對于上下樓梯的步態(tài)活動。在上下樓梯時，設(shè)備坐標(biāo)系下的運動傳感器數(shù)據(jù)受到更多手機晃動以及用戶移動方向變化帶來的噪聲干擾，難以準(zhǔn)確獲取用戶的步態(tài)信號；而經(jīng)坐標(biāo)系轉(zhuǎn)換后，運動傳感器數(shù)據(jù)獨立于手機方向與用戶的步態(tài)方向，能夠更精確地捕獲用戶步態(tài)信息?？梢暬鴺?biāo)轉(zhuǎn)換前后步態(tài)數(shù)據(jù)，可看出用戶坐標(biāo)系下的數(shù)據(jù)波動相較設(shè)備坐標(biāo)系下更加平穩(wěn)有規(guī)律，且噪聲干擾更少；步行和慢跑的步態(tài)數(shù)據(jù)在轉(zhuǎn)換前已經(jīng)更平穩(wěn)且具有周期性，所以轉(zhuǎn)換后的認(rèn)證準(zhǔn)確率提升較小。此外，橫向?qū)Ρ冗@3種不同體系結(jié)構(gòu)可得出，雙向GRU和多層GRU都略高于單層GRU，原因是兩層循環(huán)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力更強，雙向GRU與多層GRU的認(rèn)證結(jié)果相差不大，雙向GRU要略好于多層GRU。

圖4 不同體系結(jié)構(gòu)GRU坐標(biāo)系轉(zhuǎn)換前后準(zhǔn)確率對比

Figure 4 Comparison of accuracy rates before and after GRU coordinate system conversion with different architectures

2.4 多步態(tài)場景實驗

結(jié)合實際生活情況，在不同的步態(tài)場景下，用戶可能會將智能手機放于身體的不同位置。例如在步行時，用戶更習(xí)慣將手機放在左右口袋或者腰包中；而在慢跑時，為了運動便捷，更習(xí)慣將手機放在上臂或腕部的包中。在以上情境中，手機的放置部位對步態(tài)認(rèn)證有著一定程度的影響。本文首先采用PRS數(shù)據(jù)集，共20種步態(tài)場景進行實驗。從2.3節(jié)的實驗中可以看出雙向體系結(jié)構(gòu)的GRU的認(rèn)證效果相對更好，所以在本實驗中采用雙向GRU作為認(rèn)證模型，并將其與雙向LSTM進行對比評估，實驗結(jié)果如表1所示。

表1 雙向GRU和雙向LSTM在不同步態(tài)場景下的準(zhǔn)確率

由表1可知，手機位于腰部時的認(rèn)證效果最佳，而位于左右口袋、腕部、上臂的認(rèn)證效果較差。分析其原因可得，位于腰部時，手機與用戶身體貼合，且位于人的中心位置，更能準(zhǔn)確捕獲用戶的步態(tài)行為；而位于左右口袋時，用戶的步態(tài)行為會導(dǎo)致口袋內(nèi)的手機晃動，因此產(chǎn)生更多的干擾因素；當(dāng)手機位于腕部和上臂時，此時運動傳感器不僅記錄了步態(tài)信號，也反映了上臂的擺動信號。

此外，將雙向GRU和雙向LSTM在20種步態(tài)場景中的平均認(rèn)證性能進行對比，由表1中數(shù)據(jù)可計算得出平均準(zhǔn)確率分別為92.00%和91.68%；平均EER分別為9.38%和10.12%；平均AUC分別為93.07%和92.39%。綜上，可得出雙向GRU的認(rèn)證性能略優(yōu)于雙向LSTM，但不可否定的是在一些場景中LSTM有著更好的認(rèn)證結(jié)果。

表2給出了采用U-GuitAcc數(shù)據(jù)集進行實驗的結(jié)果。由表中可觀察到，會話內(nèi)的認(rèn)證準(zhǔn)確率普遍高于會話間，這是由于用戶在會話內(nèi)的步態(tài)活動基本保持一致，而隨著時間的增加，步態(tài)習(xí)慣可能會發(fā)生變化，著裝不同等會導(dǎo)致步態(tài)信號不同。此外，可以發(fā)現(xiàn)將設(shè)備置于大腿時的認(rèn)證準(zhǔn)確率最高，其次是骨盆處，相當(dāng)于PSR數(shù)據(jù)集中的腰部，這是由于大腿處采集的加速度計信號更貼合用戶步態(tài)行為。本文在不區(qū)分放置部位的情況下評估了不同會話狀態(tài)下的性能，即將不同部位的步態(tài)數(shù)據(jù)混合，得到一個綜合測量數(shù)據(jù)集以進行評估，實驗結(jié)果表明，該綜合數(shù)據(jù)集下會話內(nèi)的認(rèn)證準(zhǔn)確率為96.83%，AUC為96.89%，EER為4.51%；會話間的認(rèn)證準(zhǔn)確率為89.76%，AUC為88.92%，EER為10.78%。

表2 不同設(shè)備放置部位會話內(nèi)和會話間的認(rèn)證結(jié)果

2.5 方案性能分析

本文方案旨在服務(wù)于智能手機端的步態(tài)認(rèn)證，因此認(rèn)證時延可能會影響到用戶的隱私安全以及用戶友好性。為此，本文針對認(rèn)證時所需的步態(tài)周期個數(shù)進行實驗對比，同樣，對比了雙向GRU和雙向LSTM的認(rèn)證性能，如圖5所示。由圖5(a)可知，當(dāng)認(rèn)證所需步態(tài)周期個數(shù)為1時，EER較高，隨著周期個數(shù)的增加，EER逐漸下降，直到周期個數(shù)為4時，達(dá)到最優(yōu)結(jié)果，之后又開始增加。原因是當(dāng)周期個數(shù)較少時，捕獲的步態(tài)信號有限且具備偶然性，當(dāng)獲得足夠的數(shù)據(jù)時便可更好地體現(xiàn)用戶步態(tài)特征，得到最優(yōu)的認(rèn)證結(jié)果，而更多的數(shù)據(jù)反而會引入更多干擾因素，影響最終結(jié)果。同樣，從圖5(b)可看出AUC隨步態(tài)周期個數(shù)的增加而增加，當(dāng)周期個數(shù)為4時，獲得了最優(yōu)的AUC，隨后又逐漸下降。這說明本文方案在較少的步態(tài)周期下，即可獲得較高的認(rèn)證結(jié)果，具備高效率的認(rèn)證性能。

此外，從圖5可以看出GRU和LSTM在步態(tài)周期為4時均達(dá)到了最優(yōu)的認(rèn)證結(jié)果，且相差不大。但是從訓(xùn)練效率角度分析，基于雙向LSTM的步態(tài)模型訓(xùn)練大約需要52.39 s，而基于雙向GRU的步態(tài)模型大約需要43.57 s，模型的訓(xùn)練效率提升了約20%。此外，雙向LSTM的模型占用存儲空間約為1.86 MB，雙向GRU的模型占用存儲空間約為1.5 MB。綜上，在不影響步態(tài)認(rèn)證準(zhǔn)確率的前提下，選擇基于GRU的步態(tài)認(rèn)證模型是一個更好的選擇。

圖5 GRU和LSTM認(rèn)證結(jié)果隨步態(tài)周期個數(shù)增加變化情況

Figure 5 The variation of GRU and LSTM authentication results with increasing gait cycles

2.6 相關(guān)文獻對比

將PSR數(shù)據(jù)集中4種不同步態(tài)活動的認(rèn)證結(jié)果與文獻[5]和[8]進行對比，結(jié)果如表3所示。由表中可以看出文獻[5]在4種步態(tài)活動下的認(rèn)證準(zhǔn)確率均未達(dá)到90%以上，認(rèn)證效果較差。文獻[8]在步行時準(zhǔn)確率達(dá)到了94.86%，但上下樓梯時的認(rèn)證準(zhǔn)確率同樣偏低。本文方案在4種步態(tài)活動下的認(rèn)證準(zhǔn)確率都優(yōu)于其他方案，尤其提升了上下樓梯時的認(rèn)證準(zhǔn)確率，表明本文方案在不同的步態(tài)活動下魯棒性更高，認(rèn)證準(zhǔn)確率更高。此外，本文還考慮了不同步態(tài)活動下，不同手機放置部位的影響，共20種步態(tài)場景，適用范圍更廣。將ZJU-GaitAcc數(shù)據(jù)集的認(rèn)證結(jié)果與使用同數(shù)據(jù)集的文獻[1]和文獻[30]的認(rèn)證結(jié)果進行對比，由表3中可觀察到本文方案的處理方法得到的認(rèn)證準(zhǔn)確率更高，這是由于本文通過坐標(biāo)系轉(zhuǎn)換對步態(tài)數(shù)據(jù)進行了方向無關(guān)性處理，且利用GRU以及多種模型優(yōu)化方式訓(xùn)練得到步態(tài)認(rèn)證模型，從而獲得較高的認(rèn)證準(zhǔn)確率。

表3 與現(xiàn)有文獻對比

3 結(jié)束語

本文提出了基于GRU的智能手機多場景步態(tài)認(rèn)證方案，通過去噪、步態(tài)周期提取以及坐標(biāo)系轉(zhuǎn)換等方法對步態(tài)信號進行處理，去除其中方向無關(guān)因素的干擾。此外，采用雙向GRU模型進行模型注冊和用戶認(rèn)證，權(quán)衡了訓(xùn)練效率和準(zhǔn)確性。實驗結(jié)果表明，與其他方案對比，本文方案提高了不同步態(tài)場景下的認(rèn)證準(zhǔn)確率，較之基于LSTM的步態(tài)認(rèn)證模型，基于GRU的模型訓(xùn)練效率提升了約20%。為了達(dá)到實用性和實時性，本文將認(rèn)證分為在線認(rèn)證和離線認(rèn)證。由于在線認(rèn)證涉及用戶步態(tài)數(shù)據(jù)、用戶認(rèn)證模型的傳輸，以及數(shù)據(jù)的隱私保護問題，本文將此部分留到未來工作中。

[1] SUN F, MAO C, FAN X, et al. Accelerometer-based speed adaptive gait authentication method for wearable IoT devices[J]. IEEE Internet of Things Journal, 2018, 6(1): 820-830.

[2] 姜奇, 文悅, 張瑞杰, 等. 面向智能手機的自適應(yīng)觸屏持續(xù)認(rèn)證方案[J]. 電子學(xué)報, 2022, 50(5): 1131-1139.

JIANG Q, WEN Y, ZHANG R J, et al. Adaptive touch screen cotinuous authentication scheme for smartphones[J]. Acta Electronica Sinica, 2022, 50(5): 1131-1139.

[3] JIANG Q, HUANG X H, ZHANG N, et al. Shake to communicate: secure handshake acceleration-based pairing mechanism for wrist worn devices[J]. IEEE Internet of Things Journal, 2019, 6(3): 5618-5630.

[4] ZHU T T, QU Z Y, XU H T, et al. RiskCog: unobtrusive real-time user authentication on mobile devices in the wild[J]. IEEE Transactions on Mobile Computing, 2020, 19(2): 466-483.

[5] 蔣偉, 王瑞錦, 余蘇喆, 等. 基于步態(tài)識別的移動設(shè)備身份認(rèn)證模型[J]. 電子科技大學(xué)學(xué)報, 2019, 48(2): 272-277.

JIANG W, WANG R J, YU S Z, et al. Research on identity authentication model of mobile devices based on gait recognition[J]. Journal of University of Electronic Science and Technology of China, 2019, 48(2): 272-277.

[6] COLA G, AVVENUTI M, MUSSO F, et al. Gait-based authentication using a wrist-worn device[C]//Proceedings of the 13th International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services. 2016: 208-217.

[7] MUAAZ M, MAYRHOFER R. Smartphone-based gait recognition: From authentication to imitation[J]. IEEE Transactions on Mobile Computing, 2017, 16(11): 3209-3221.

[8] 楊力, 馬卓茹, 張程輝, 等. 基于步態(tài)特征的移動平臺持續(xù)認(rèn)證方案[J]. 通信學(xué)報, 2019, 40(7): 126-134.

YANG L, MA Z R, ZHANG C H, et al. Mobile platform continuous authentication scheme based on gait characteristics[J]. Journal on Communications, 2019, 40(7): 126-134.

[9] THANG H M, VIET V Q, DINH THUC N, et al. Gait identification using accelerometer on mobile phone[C]//2012 International Conference on Control, Automation and Information Sciences (ICCAIS). 2012: 344-348.

[10] HESTBEK M R, NICKEL C, BUSCH C. Biometric gait recognition for mobile devices using wavelet transform and sup-port vector machines[C]//2012 19th International Conference on Systems, Signals and Image Processing (IWS-SIP). 2012: 205-210.

[11] HOANG T, CHOI D, NGUYEN T. On the instability of sensor orientation in gait verification on mobile phone[C]//2015 12th International Joint Conference on e-Business and Telecommunications (ICETE). 2015: 148-159.

[12] CHOI S, YOUN I H, LEMAY R, et al. Biometric gait recognition based on wireless acceleration sensor using k-nearest neighbor classification[C]//2014 International Conference on Computing, Networking and Communications (ICNC). 2014: 1091-1095.

[13] FERNANDEZ-LOPEZ P, LIU-JIMENEZ J, KIYOKAWA K, et al. Recurrent neural network for inertial gait user recognition in smartphones[J]. Sensors, 2019, 19(18): 4054.

[14] GIORGI G, MARTINELLI F, SARACINO A, et al. Walking through the deep: gait analysis for user authentication through deep learning[C]//IFIP International Conference on ICT Systems Security and Privacy Protection. 2018: 62-76.

[15] ZHANG M. Gait activity authentication using LSTM neural networks with smartphone sensors[C]//2019 15th International Conference on Mobile Ad-Hoc and Sensor Networks (MSN). 2019: 456-461.

[16] GAFUROV D, HELKALA K, SONDROL T. Biometric gait authentication using accelerometer sensor[J]. Journal of Computers, 2006, 1(7): 51-59.

[17] GAFUROV D, SNEKKENES E, BOURS P, et al. Gait authentication and identification using wearable accelerometer sensor[C]//2007 IEEE Workshop on Automatic Identification Advanced Technologies. 2007: 220-225.

[18] MANTYJARVI J, LINDHOLM M, VILDJIOUNAITE E, et al. Identifying users of portable devices from gait pattern with accelerometers[C]//Proceedings of IEEE International Conference on Acoustics, Speech, and Signal Processing. 2005: 973-976.

[19] XU W, SHEN Y, ZHANG Y, et al. Gait-watch: a context-aware authentication system for smart watch based on gait recognition[C]//Proceedings of the Second International Conference on Internet-of-Things Design and Implementation. 2017: 59-70.

[20] XU W, REVADIGAR G, LUO C, et al. Walkie-talkie: Motion-assisted automatic key generation for secure on-body device communication[C]//2016 15th ACM/IEEE International Conference on Information Processing in Sensor Net-works (IPSN). 2016: 1-12.

[21] GADALETA M, ROSSI M. IDNet: Smartphone-based gait recognition with convolutional neural networks[J]. Pattern Recognition, 2018, 74: 25-37.

[22] FERREIRA A, SANTOS G, ROCHA A, et al. User-centric coordinates for applications leveraging 3-axis accelerometer data[J]. IEEE Sensors Journal, 2017, 17(16): 5231-5243.

[23] ABUHAMAD M, ABUHMED T, MOHAISEN D, et al. AUToSen: deep learning-based implicit continuous authentication using smartphone sensors[J]. IEEE Internet of Things Journal, 2020, 7(6): 5008-5020.

[24] ZOU Q, NI L, WANG Q, et al. Robust gait recognition by integrating inertial and RGBD sensors[J]. IEEE Transactions on Cybernetics, 2018, 48(4): 1136-1150.

[25] FONG W T, ONG S K, NEE A Y C. Methods for in-field user calibration of an inertial measurement unit without external equipment[J]. Measurement Science and Technology, 2008, 19(8): 085202.

[26] 戴邵武, 王克紅, 慶曾宏. 基于混合 PSO 算法的加速度計快速標(biāo)定方法[J]. 壓電與聲光, 2015, 37(2): 232-236.

DAI S W, WANG K H, QING Z H. Rapid calibration of accelerometer based on hybrid particle swarm optimization algorithm[J]. Piezoelectrics & Acoustooptics, 2015, 37(2): 232-236.

[27] KINGMA D P, BA J. Adam: A method for stochastic optimization[C]//Proceedings of the 2015 International Conference on Learning Representations. 2015: 1-15.

[28] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: A simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[29] SHOAIB M, BOSCH S, INCEL O, et al. Fusion of smartphone motion sensors for physical activity recognition[J]. Sensors, 2014, 14(6): 10146-10176.

[30] ZHANG Y, PAN G, JIA K, et al. Accelerometer-based gait recognition by sparse representation of signature points with clusters[J]. IEEE Transactions on Cybernetics, 2014, 45(9): 1864-1875.

GRU-based multi-scenario gait authentication for smartphones

JIANG Qi1,2, FENG Ru1, ZHANG Ruijie3, WANG Jinhua4, CHEN Ting4, WEI Fushan5

1. School of Cyber Engineering, Xidian University, Xi’an 710126, China 2. Henan Key Laboratory of Network Cryptography Technology, Zhengzhou 450001, China 3. College of Cryptographic Engineering, Information Technology University, Zhengzhou 450001, China 4. Science and Technology on Communication Security Laboratory, Chengdu 610041, China 5. School of Cyber Science and Engineering, Information Technology University, Zhengzhou 450001, China

At present, most of the gait-based smartphone authentication researches focus on a single controlled scenario without considering the impact of multi-scenario changes on the authentication accuracy. The movement direction of the smartphone and the user changes in different scenarios, and the user’s gait data collected by the orientation-sensitive sensor will be biased accordingly. Therefore, it has become an urgent problem to provide a multi-scenario high-accuracy gait authentication method for smartphones. In addition, the selection of the model training algorithm determines the accuracy and efficiency of gait authentication. The current popular authentication model based on long short-term memory (LSTM) network can achieve high authentication accuracy, but it has many training parameters, large memory footprint, and the training efficiency needs to be improved. In order to solve the above problems a multi-scenario gait authentication scheme for smartphones based on Gate Recurrent Unit (GRU) was proposed. The gait signals were preliminarily denoised by wavelet transform, and the looped gait signals were segmented by an adaptive gait cycle segmentation algorithm. In order to meet the authentication requirements of multi-scenario, the coordinate system transformation method was used to perform direction-independent processing on the gait signals, so as to eliminate the influence of the orientation of the smartphone and the movement of the user on the authentication result. Besides, in order to achieve high-accuracy authentication and efficient model training, GRUs with different architectures and various optimization methods were used to train the gait model. The proposed scheme was experimentally analyzed on publicly available datasets PSR and ZJU-GaitAcc. Compared with the related schemes, the proposed scheme improves the authentication accuracy. Compared with the LSTM-based gait authentication model, the training efficiency of the proposed model is improved by about 20%.

continuous authentication, gait behavior, multi-sensor, GRU

TP393

A

10.11959/j.issn.2096?109x.2022060

2022?05?23；

2022?07?22

張瑞杰，rjz_wonder@163.com

國家自然科學(xué)基金重大研究計劃（92167203）；國家自然科學(xué)基金（62072352，62125205）；陜西省教育廳科研計劃項目（20JY016）；陜西省重點產(chǎn)業(yè)鏈項目（2020ZDLGY09-06）

The Major Research Plan of the National Natural Science Foundation of China(92167203), The National Natural Science Foundation of China(62072352, 62125205), Scientific Research Program Funded by Education Department of Shaanxi Provincial Government (20JY016), Key Industrial Chain Projects in Shaanxi Province(2020ZDLGY09-06)

姜奇, 馮茹, 張瑞杰, 等. 基于GRU的智能手機多場景步態(tài)認(rèn)證[J]. 網(wǎng)絡(luò)與信息安全學(xué)報, 2022, 8(5): 26-39.

Format: JIANG Q, FENG R, ZHANG R J, et al. GRU-based multi-scenario gait authentication for smartphones[J]. Chinese Journal of Network and Information Security, 2022, 8(5): 26-39.

姜奇（1983?），男，安徽全椒人，西安電子科技大學(xué)教授、博士生導(dǎo)師，主要研究方向為密碼協(xié)議，物聯(lián)網(wǎng)安全。

馮茹（1997?），女，山西晉城人，西安電子科技大學(xué)碩士生，主要研究方向為生物認(rèn)證。

張瑞杰（1984?），女，河南鄭州人，信息工程大學(xué)講師，主要研究方向為人工智能、網(wǎng)絡(luò)信息防御等。

王金花（1995?），女，山西太原人，保密通信重點實驗室助理工程師，主要研究方向為密碼協(xié)議設(shè)計與分析。

陳婷（1995?），女，江西贛州人，保密通信重點實驗室助理工程師，主要研究方向為網(wǎng)絡(luò)安全、密碼協(xié)議設(shè)計與分析。

魏福山（1983?），男，甘肅武威人，信息工程大學(xué)副教授、博士生導(dǎo)師，主要研究方向為安全協(xié)議設(shè)計與分析。