黃凱 周旭輝 梅健 鄒青宇
摘 要 歸納了壓力感知方向的步態(tài)識別技術(shù)近年來的研究現(xiàn)狀,分別闡述可穿戴式傳感器和地板壓力傳感器兩種應(yīng)用方向,并分析、對比各自的優(yōu)勢與不足。最后對壓力感知方向的步態(tài)識別技術(shù)進(jìn)行了展望。
關(guān)鍵詞 步態(tài)識別 壓力感知 傳感器 人工智能
中圖分類號 TP212.9? ?文獻(xiàn)標(biāo)識碼 A? ?文章編號 1000-3932(2023)04-0406-05
步態(tài)識別作為一種生物特征識別技術(shù),在身份識別、健康檢測及智能家居等應(yīng)用場景中具有極大的發(fā)展空間,與人臉、指紋及虹膜等其他生物技術(shù)相比,傳統(tǒng)的步態(tài)識別不需要人為的接觸,可以使用攝像機(jī)遠(yuǎn)距離采集步態(tài)信息。此外NIXON M研究發(fā)現(xiàn),人的步態(tài)特征具有唯一性[1],從而使步態(tài)識別在安全防護(hù)、智能監(jiān)控等領(lǐng)域有可觀的發(fā)展空間[2]。
步態(tài)識別在1994年被首次提出[3]。與過去基于機(jī)器視覺的步態(tài)研究相比,近些年隨著傳感器的更新和發(fā)展,采用壓力傳感器來采集信號再通過算法進(jìn)行步態(tài)識別的研究已成為一個比較熱門的方向。因此,基于可穿戴傳感器和基于地板傳感器的步態(tài)識別[4]在步態(tài)識別技術(shù)的研究中脫穎而出,其中基于地板傳感器和可穿戴傳感器的系統(tǒng)以傳感器為核心部件來采集數(shù)據(jù)。根據(jù)所使用的傳感器類型,基于可穿戴的步態(tài)識別系統(tǒng)一般分為兩種:表面肌電圖(Surface Electromyography,SEMG)系統(tǒng)和微機(jī)電系統(tǒng)(Microelectro Mechanical Systems,MEMS);基于地板傳感器的系統(tǒng)可分為3種:壓電式傳感器系統(tǒng)、壓阻式傳感器系統(tǒng)和電容式傳感器系統(tǒng)。
1 基于可穿戴傳感器的步態(tài)識別
1.1 可穿戴傳感器的發(fā)展現(xiàn)狀
壓力傳感器能夠?qū)碜酝饨绲哪M信號轉(zhuǎn)換為數(shù)字信號方便人們進(jìn)行觀察分析,依據(jù)不同傳感原理設(shè)計的傳感器具有多種多樣的特點與其各自適用的場景[5]。隨著研究者們對壓力傳感器的深入研究,目前,數(shù)據(jù)采集和特征提取被普遍應(yīng)用到柔性壓力傳感器上,柔性壓力傳感器的設(shè)計指標(biāo)主要在于靈敏度、響應(yīng)時間、數(shù)據(jù)準(zhǔn)確性及穩(wěn)定性等性能?;诳纱┐鱾鞲衅鞯牟綉B(tài)識別對于柔性壓力傳感器的選用需要從腳底的舒適度、設(shè)備價格與性能、適用條件等諸多的因素來綜合考慮。云服務(wù)技術(shù)的興起,推動了可穿戴傳感器對于數(shù)據(jù)采集與傳輸?shù)难芯堪l(fā)展[6]。筆者主要從3個方面總結(jié)了可穿戴傳感器的步態(tài)識別:基于下肢傳感器、基于足底傳感器、基于多傳感器。
1.2 基于下肢傳感器的步態(tài)識別
下肢運動是通過人體各個肌肉相互協(xié)調(diào)配合形成的動作,各個肌肉在運動中的作用各有不同,因此要實現(xiàn)步態(tài)識別的功能,需要用多個傳感器對各個部位分別采集信息,整個系統(tǒng)一般由4個主要模塊組成:數(shù)據(jù)采集模塊,使用傳感器對下肢運動參數(shù)進(jìn)行采集;無線傳輸模塊,將采集的數(shù)據(jù)傳到PC端;電源模塊,為傳感器提供動力;數(shù)據(jù)處理模塊,對傳輸來的數(shù)據(jù)進(jìn)行整理、比對和分析。
基于下肢傳感器的方法一般采用表面肌電圖系統(tǒng),肌電信號由有源表面電極收集。MEHMOOD A等用腿部的兩個關(guān)鍵肌肉區(qū)域放置的可穿戴式肌電圖傳感器[7],檢測肌肉疲勞,評估跌倒的風(fēng)險。與表面肌電圖系統(tǒng)類似,表皮傳感器系統(tǒng)也被放置在皮膚上進(jìn)行檢測,KIM K K等研究了一種基于深度神經(jīng)網(wǎng)絡(luò)裂紋檢測的新型電子皮膚,該皮膚呈蛇形,能夠適應(yīng)皮膚表面[8]。
吳平平等用獲取的單肌肉表面肌電信號和加速度信號來識別步態(tài)信息[9]。選定股直肌作為實驗相關(guān)肌肉,采集其表面肌電和加速度信號,采用小波去噪原理降低外界干擾對數(shù)據(jù)采集造成的影響,采用核主成分分析(Kernel Principal Components Analysis,KPCA)方法[10]對數(shù)據(jù)進(jìn)行信息融合,利用支持向量機(jī)(Support Vector Machine,SVM)算法[11]與BP神經(jīng)網(wǎng)絡(luò)分別建模,最后獲得了較高的識別率,但其仍然面臨舒適性差、數(shù)據(jù)類型不全面等問題。
1.3 基于足底傳感器的步態(tài)識別
足部是人體運動中使用最頻繁的部位,足底壓力包含豐富的步態(tài)信息,可用于識別人體狀態(tài)。然而,足底壓力受年齡、穿戴、身體狀態(tài)及外界環(huán)境等諸多因素的影響。因此學(xué)者們對足底壓力分布特征進(jìn)行了統(tǒng)計分析,并研究出各種形式的足底壓力信息收集方法及步態(tài)識別方法與算法?;谧愕讉鞲衅鞯姆椒ù蠖嗖捎脺y力鞋墊系統(tǒng),需要對足底部位進(jìn)行分區(qū)研究。根據(jù)人體生物力學(xué)研究,支撐相和搖擺相是正常人體完成一個行走周期的必要動作,支撐相可以細(xì)分為足跟著地期、負(fù)荷反應(yīng)期和足尖離地期[12]。
宋禮文等提出一種算法,對足部運動數(shù)據(jù)加以提取,其把整個足部活動劃分為著地階段、整足接觸階段、足跟離地階段和離地階段4個階段[13],分解過程如圖1所示。采用多貝西小波(Daubechies Wavelet)對數(shù)據(jù)進(jìn)行預(yù)處理,減少干擾。將傳感器采集的一次數(shù)據(jù)視為一個數(shù)據(jù)切片,計算足底壓力峰值-均值。根據(jù)計算的壓力峰值進(jìn)行足部運動特征提取,采集到的足底數(shù)據(jù)可以很好地滿足步態(tài)識別的準(zhǔn)確性,且冗余量少,但對特殊人群、特定環(huán)境還有待提升。
1.4 基于多傳感器的步態(tài)識別
多傳感器結(jié)合下肢傳感器與足底壓力傳感器的數(shù)據(jù)、特征及信號等,可以使得識別精度更高。因此基于多傳感器的步態(tài)識別較基于下肢傳感器與基于足底傳感器的來說,可以更精確、全面地采集數(shù)據(jù)。將識別過程設(shè)備分為慣性測量單元(Inertial Measurement Unit,IMU)和足底壓力測量單元兩個部分。將IMU固定在人體的下肢,用于采集下肢數(shù)據(jù),使用壓力鞋墊采集人的足底壓力數(shù)據(jù),采集到的數(shù)據(jù)傳輸?shù)酱┐髟谘g的微處理器內(nèi),微處理器負(fù)責(zé)數(shù)據(jù)的采集與傳輸,將數(shù)據(jù)傳輸?shù)街鳈C(jī)中,再由主機(jī)完成復(fù)雜的計算。
呂佳樂等設(shè)計了基于多傳感器信息的人體下肢步態(tài)識別系統(tǒng)[14],系統(tǒng)整體框架如圖2所示。系統(tǒng)采用了柔性姿態(tài)傳感器與足底壓力鞋墊,重新構(gòu)建了數(shù)據(jù)收集體系并利用二階卡爾曼濾波[15]對雙腿下肢關(guān)節(jié)角度信息進(jìn)行計算,采用比例化和模糊化的方法來對不同的足底進(jìn)行處理,利用SVM進(jìn)行識別研究。通過同一人多次實驗驗證了算法的有效性、正確性、通用性,具有更高的識別準(zhǔn)確率和更低的信號處理負(fù)荷。但過多的穿戴,不僅成本上更高,而且要比采用單一傳感器對人的行為操作造成的影響更大,舒適性也有一定影響。
2 基于地板傳感器的步態(tài)識別
2.1 地板傳感器的研究現(xiàn)狀
地板傳感器系統(tǒng)需要用到的技術(shù)包括采集裝置的選取、壓力數(shù)據(jù)的特征提取及識別算法的設(shè)計等。采集裝置可嵌入地面或采用隱蔽性強(qiáng)的攝像頭,以保證裝置的隱蔽性;壓力數(shù)據(jù)包括壓力分布、形狀特征及最大壓力等參數(shù);識別算法有SVM、極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)算法[16]及卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)算法[17]等。與可穿戴傳感器相比,地板傳感器雖然有不需要人為佩戴的便利以及隱藏性強(qiáng)等優(yōu)點,但為了保證信息采集的準(zhǔn)確性,實際應(yīng)用中需要用到大量的傳感器,因此基于地板傳感器的步態(tài)識別所需的成本較高,應(yīng)用場合也有一定的局限性。地板傳感器的步態(tài)識別主要分兩個方面:基于地板壓力的傳感器和基于視觸結(jié)合的地板傳感器。
2.2 基于地板壓力的傳感器
地板傳感器的研究與實驗大多用測力臺和測力板來實現(xiàn),通過采集行走人員的腳掌壓力分布情況及其變化趨勢進(jìn)行特征分析,從而對進(jìn)出人員身份進(jìn)行鑒別,在一些特定場所也可以布置基于地板傳感器的步態(tài)識別系統(tǒng),檢測人員出入時體重和步態(tài)的微小變化,判別人員的物品攜帶問題。楊春生等提出一種可應(yīng)用于入侵防范系統(tǒng)的步態(tài)識別方法[18],采用60×40的矩陣排列方式收集測力板采集的足底觸覺信息,并對數(shù)據(jù)進(jìn)行預(yù)處理從而降低誤差,然后采用基于CNN模型的算法進(jìn)行特征提取[19],最后通過數(shù)據(jù)識別結(jié)果分析得到,靜態(tài)數(shù)據(jù)得到了很高的識別率,動態(tài)數(shù)據(jù)得到了較高的識別率,但在靜態(tài)識別率穩(wěn)定在95%以上的情況下,動態(tài)識別率仍有待提高。
2.3 基于視觸融合的地板傳感器
視觸融合的步態(tài)識別方式是地面壓力傳感器與遠(yuǎn)處的攝像頭相結(jié)合的方法。與單一地面?zhèn)鞲衅飨啾?,視觸融合的方法不僅能提升識別準(zhǔn)確率,應(yīng)用范圍也更加廣泛。李昱等提出一種全身步態(tài)模型[20],該模型將視覺與觸覺兩種特征進(jìn)行融合,算法包括全身步態(tài)模型的建立、視觸覺特征的提取和分類器的分類識別。對步行動作進(jìn)行分析,建立身體質(zhì)量與地面所受壓力的動力學(xué)關(guān)系,觸覺特征通過地面儀器獲得,分別求解支撐腿加速度、擺動腿加速度和上半身加速度。實驗系統(tǒng)采用Walkway步道式足底壓力測試設(shè)備和應(yīng)用廣泛的微軟Kinect for Windows V2.0進(jìn)行特征提取[21]。分類器的分類識別選用徑向基核函數(shù)(Radial Basis Function,RBF)構(gòu)造多分類器,這是一種基于SVM的學(xué)習(xí)方法[22],這種方法可以盡可能避免由于欠學(xué)習(xí)和過學(xué)習(xí)而導(dǎo)致的問題的發(fā)生。RBF有效降低了不同穿搭、背包負(fù)重等因素對步態(tài)識別率造成的干擾,得到了較高的步態(tài)識別率。建立的實驗系統(tǒng)也能更方便快捷地進(jìn)行特征提取和模型驗證。文中模型采用了對足底壓力分區(qū)增加特征識別點的方式,具有很好的穩(wěn)健性,但目前國內(nèi)該方面的研究仍處于發(fā)展階段,數(shù)據(jù)庫也有待完善,因此識別率仍有待提高。
3 總結(jié)與展望
3.1 總結(jié)
基于壓力感知的步態(tài)識別,現(xiàn)在逐漸成為步態(tài)識別應(yīng)用中的一個重要研究方向。步態(tài)識別作為近年來越來越熱門的技術(shù),由于在某些特定領(lǐng)域的應(yīng)用有優(yōu)于其他生物識別技術(shù)的優(yōu)點,吸引了越來越多的學(xué)者對其進(jìn)行深入的研究。目前,步態(tài)識別研究仍處于探索階段,與其他成熟的生物識別應(yīng)用相比還有一段發(fā)展路程。對于可穿戴壓力傳感器,舒適性、敏感性、數(shù)據(jù)的延遲、采集的準(zhǔn)確性問題仍亟待改善,其中多傳感器融合中各部分的協(xié)調(diào)性、數(shù)據(jù)的抗干擾性及識別的準(zhǔn)確性等不足之處仍有待提高;對于地板壓力傳感器,鋪設(shè)所需花費的資源、抗壓性、高昂的成本及各種環(huán)境造成的影響等問題也需要考慮。為了克服單一識別的不足,與其他生物識別技術(shù)相互融合的識別可能會逐漸變成一個熱門的方向。
3.2 展望
步態(tài)識別作為識別技術(shù)中的一種研究方向,雖然有其他識別技術(shù)沒有的優(yōu)點,但由于其便利性、成本以及其他因素,還未能像面容、指紋等技術(shù)一樣成熟地應(yīng)用在日常生活中?;趬毫Ω兄牟綉B(tài)識別技術(shù)未來的發(fā)展方向有:
a. 算法的創(chuàng)新與優(yōu)化。目前的算法可以識別單人靜態(tài)的足底壓力信息,但對于多人的、動態(tài)的情況,尤其是運用在復(fù)雜環(huán)境中時,則需要考慮到方方面面,因此對于算法的創(chuàng)新與優(yōu)化是非常必要的。
b. 傳感材料的發(fā)展與設(shè)計。傳感材料的進(jìn)一步發(fā)展對于步態(tài)識別來說也是至關(guān)重要的,選用更敏感、傳輸速率更快的傳感材料可以有效地改善采集數(shù)據(jù)的準(zhǔn)確性,增加采集數(shù)據(jù)的類型以及提高識別的速率,從而提高步態(tài)識別的準(zhǔn)確性。此外,隨著步態(tài)識別技術(shù)在未來的應(yīng)用普及,舒適性、便攜性、可忽略性以及成本問題也需要加以考慮。
c. 數(shù)據(jù)采集與傳輸。近年來,無線傳感器的發(fā)展為動靜態(tài)數(shù)據(jù)的采集提供了極大的便利,但與此同時,無線傳感器也存在數(shù)據(jù)傳輸準(zhǔn)確率低、失真率高及傳輸速率低等一系列問題,因此,在未來對于無線傳感器的數(shù)據(jù)采集和傳輸也是一個亟待解決并需要不斷提高的問題。
d. 數(shù)據(jù)的篩選。對于單特性的數(shù)據(jù)采集來說,需要確定采集到的數(shù)據(jù)的類型。對于多特性相互融合的數(shù)據(jù)采集來說,不僅需要確定數(shù)據(jù)類型,還需要注意冗余數(shù)據(jù)。不論是單特性還是多種特性相互融合,都需要將大量采集到的數(shù)據(jù)進(jìn)行融合篩選,將融合的數(shù)據(jù)提煉簡化并提取所需要的數(shù)據(jù),從而降低數(shù)據(jù)篩選方面的成本。
e. 數(shù)據(jù)庫的創(chuàng)建與完善。相較于比較成熟的指紋識別技術(shù),基于壓力的步態(tài)數(shù)據(jù)庫信息還十分匱乏。在研究的過程中,研究者們可以使用的壓力數(shù)據(jù)也非常局限,往往需要尋找志愿者或自己充當(dāng)實驗對象,此過程浪費大量的時間與精力,而且采集的數(shù)據(jù)信息一般都是小范圍內(nèi)的,因其特異性和區(qū)域的局限性不能廣泛應(yīng)用。因此,建立可以共享的數(shù)據(jù)庫是十分必要的。
參 考 文 獻(xiàn)
[1] NIXON M.Gait biometrics[J].Biometric Technology Today,2008,16(7-8):8-9.
[2]? ?鄔明漢,黃永禎,郭柏冬,等.基于步態(tài)識別的視頻偵查技術(shù)與應(yīng)用[J].中國人民公安大學(xué)學(xué)報(自然科學(xué)版),2021,27(3):22-28.
[3]? ?SHAKHNAROVICH G,LEE L,DARRELL T.Inte-grated face and gait recognition from multiple views[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recogni-tion.IEEE,2001:1439-1446.
[4]? ?DERAWI M O,BOURS P,HOLIEN K.Improved Cycle Detection for Accelerometer Based Gait Authentication[C]// Sixth International Conference on Intelligent Information Hiding & Multimedia Signal Processing.IEEE,2010.DOI:10.1109/IIHMSP.2010.84.
[5]? ?白成,耿達(dá),周偉,等.高性能電阻型柔性壓力傳感器研究進(jìn)展[J].微納電子技術(shù),2021,58(7):559-570.
[6]? ?聞建強(qiáng).支持云服務(wù)高性價比可穿戴設(shè)備的設(shè)計研究[J].吉林化工學(xué)院學(xué)報,2021,38(7):36-42.
[7]? ?MEHMOOD A,NADEEM A,ASHRAF M,et al.A fall risk assessment mechanism for elderly people through muscle fatigue analysis on data from body area sensor network[J].IEEE Sensors Journal,2021,21(5):6679-6690.
[8]? ?KIM K K,HA I,KIM M,et al.A deep-learned skin sensor decoding the epicentral human motions[J].Nature Communications,2020,11:2149.
[9]? ?吳平平,徐劍華,杜明家,等.基于單肌肉表面肌電-加速度融合的步態(tài)識別[J].合肥工業(yè)大學(xué)學(xué)報(自然科學(xué)版),2020,43(7):884-889.
[10]? ?DENG F Y,YANG S P,LIU Y Q,et al. Fault diag-nosis of rolling bearing using the Hermitian wavelet analysis,KPCA and SVM[C]//2017 International Conference on Sensing,Diagnostics,Prognostics,and Control(SDPC).IEEE,2017:632-637.
[11]? ?張語萌,李志俊,步子豪,等.基于SVM-KNN的人體步態(tài)相位識別[J].科技視界,2019(28):23-24;26.
[12]? ?賈山,路新亮,韓亞麗,等.在擺動相中用于下肢外骨骼跟蹤人體踝關(guān)節(jié)軌跡的方法[J].東南大學(xué)學(xué)報(自然科學(xué)版),2014,44(1):87-92.
[13]? ?宋禮文,向長城,邱達(dá),等.基于足底壓力分布的足部運動特征提取[J].醫(yī)用生物力學(xué),2021,36(3):431-436.
[14]? ?呂佳樂,高學(xué)山,石永杰,等.基于多傳感器信息的人體下肢步態(tài)識別[J].兵工自動化,2021,40(10):85-90.
[15]? ?趙瑜,周波,綦俊峰,等.基于雙階卡爾曼濾波的九軸姿態(tài)融合算法研究[J].電子世界,2019(7):98-99.
[16]? ?趙治羽,馬磊,孫永奎.基于足底壓力傳感器的步態(tài)識別方法研究[J].電子測量技術(shù),2019,42(13):26-31.
[17]? OU J,LI Y J. Vector-kernel convolutional neural networks[J].Neurocomputing,2019,330:253-258.
[18]? ?楊春生,化晨冰,王鳴鏑,等.一種可用于入侵防范的步態(tài)識別方法研究[J].計算機(jī)應(yīng)用與軟件,2017,34(3):248-251.
[19]? ?HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.
[20]? ?李昱,季文彬,戴士杰.全身步態(tài)模型的視觸融合步態(tài)識別算法[J].哈爾濱工業(yè)大學(xué)學(xué)報,2022,54(1):88-95.
[21]? ?HUITZIL I,DRANCA L,BERNAD J,et al.Gait reco-gnition using fuzzy ontologies and Kinect sensor data[J].International Journal of Approximate Reasoning,2019,113:354-371.
[22]? ?WANG H,F(xiàn)AN Y Y,F(xiàn)ANG B F,et al.Generalizedlinear discriminant analysis based on euclidean norm for gait recognition[J].International Journal of Ma-chine Learning and Cybernetics,2018,9(4):569.
(收稿日期:2022-11-15,修回日期:2023-06-08)
Research Status of Gait Recognition Based on Pressure Sensing
HUANG Kai ZHOU Xu-huiMEI Jian ZOU Qing-yu
(1. College of Information and Control Engineering, Jilin University of Chemical Technology;
2. School of Electrical and Information Engineering, Beihua University)
Abstract? ?In this paper, the research status of gait recognition technologies for pressure sensing direction in recent years was summarized and two application directions of wearable sensor and floor pressure sensor were expounded, respectively, including analysis, comparison of their strengths and weaknesses and the prospect of the gait recognition technologies.
Key words? ?gait recognition, pressure sensing, sensor, artificial intelligence