国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

超寬帶雷達(dá)人體姿態(tài)識別綜述

2021-02-04 14:15李俊俠鄭桂妹
計算機(jī)工程與應(yīng)用 2021年3期
關(guān)鍵詞:超寬帶姿態(tài)卷積

李俊俠,張 秦,鄭桂妹

1.空軍工程大學(xué) 研究生院,西安710051

2.空軍工程大學(xué) 防空反導(dǎo)學(xué)院,西安710051

近年來,人體姿態(tài)識別在安防監(jiān)控、人機(jī)交互、安全駕駛、醫(yī)療健康和體育健身等領(lǐng)域都有著重要的意義和廣泛的應(yīng)用前景[1-3]。根據(jù)傳感器的種類,現(xiàn)有的人體姿態(tài)識別方法可分為可穿戴式和非接觸式兩類??纱┐魇絺鞲衅鞯某R婎愋陀惺汁h(huán)、腳踝監(jiān)視器等[4],必須貼身佩帶,存在普適性小、便攜性差、損壞率高、功能單一、誤報率高等問題。攝像頭作為傳統(tǒng)的非接觸式傳感器,對存儲空間和信息處理能力要求較高、對光照等條件敏感,存在視力盲區(qū)和易泄露個人隱私等缺點,而以雷達(dá)為代表的傳感器的使用,能夠有效解決光學(xué)系統(tǒng)的以上問題。盡管基于雷達(dá)的人體姿態(tài)識別系統(tǒng)仍處于發(fā)展初期,但已有眾多學(xué)者驗證了其在該領(lǐng)域的良好性能及其魯棒性、隱私性和安全性。

文獻(xiàn)[5]中,Kim等人利用連續(xù)波雷達(dá)提取多普勒特征,訓(xùn)練支持向量機(jī)(SVM)以識別七種有節(jié)奏的人體運動,分類結(jié)果的準(zhǔn)確率為92.8%。文獻(xiàn)[6]中,Hong等人利用調(diào)頻連續(xù)波雷達(dá)提取人體動作的動態(tài)范圍多普勒軌跡(DRDT),結(jié)合機(jī)器學(xué)習(xí)分類方法,將連續(xù)運動分離為單個事件進(jìn)行處理,平均準(zhǔn)確率為91.9%。文獻(xiàn)[7]先將深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)應(yīng)用于基于微多普勒特征的人體活動分類,并將其轉(zhuǎn)化成圖像分類問題。文獻(xiàn)[8]在文獻(xiàn)[7]的基礎(chǔ)上,利用多普勒雷達(dá)并結(jié)合DCNN方法和轉(zhuǎn)移學(xué)習(xí)方法,進(jìn)行五種常見的人體水上活動的分類識別,達(dá)到了SVM近兩倍的精度。綜上,基于雷達(dá)的人體姿態(tài)識別可以在簡單架構(gòu)中實現(xiàn)高度相似動作的分類識別,具有較高的可行性。利用超寬帶雷達(dá)(UWB)進(jìn)行人體姿態(tài)識別,由于其高分辨率、強穿透性和功耗低等特點,能有效克服攝像頭存在的光照和隱私問題;保證全天候、全天時進(jìn)行工作,還能夠有效解決光學(xué)系統(tǒng)因遮擋而無法工作的問題,因而具有較為廣闊的應(yīng)用前景。

本文聚焦于UWB 雷達(dá)人體姿態(tài)識別的研究,結(jié)合超寬帶雷達(dá)的特性,基于智能化處理方法,將人體姿態(tài)識別方法按照特征提取的不同分成基于傳統(tǒng)機(jī)器學(xué)習(xí)的識別方法和基于深度學(xué)習(xí)的識別方法。通過分析對比不同識別算法的基本原理、性能特點以及其局限性,為超寬帶雷達(dá)人體姿態(tài)識別技術(shù)的研究提供重要參考。

1 超寬帶雷達(dá)及其信號特征

1.1 定義與組成

超寬帶(Ultra-Wideband,UWB)雷達(dá)的概念是美國Los Alamos 國家實驗室在1990 年3 月召開的超寬帶雷達(dá)會議上首次提出的[9]。超寬帶是就信號的相對帶寬而言的,當(dāng)信號的帶寬與中心頻率之比大于25%時稱為超寬帶(UWB)信號,在1%與25%之間為寬帶(WB),帶寬與中心頻率之比小于1%成為窄帶(NB)[10],即:

或滿足:

式中,fh和fl分別是信號的上限頻率和下限頻率,單位為MHz。

典型的超寬帶雷達(dá)由波形產(chǎn)生器、發(fā)射機(jī)、接收機(jī)、收發(fā)天線和信號處理器等部件組成[11]。由波形產(chǎn)生器產(chǎn)生超寬帶信號波形,超寬帶信號波形有極短的持續(xù)時間或有復(fù)雜的波形(包含許多頻率分量)[11-12]。目前廣泛采用的超寬帶雷達(dá)信號主要有兩類:非沖激信號和沖激信號。其中,非沖激信號主要是線性調(diào)頻信號(LFM)、隨機(jī)噪聲等。沖激信號是一種無載波信號,主要通過采用基帶波(Baseband Waveform)、單周波(Monocycle)、多周波(Polycycle),來發(fā)射脈沖寬度為納秒量級的信號,從而獲得超寬帶。沖激體制的超寬帶雷達(dá)的系統(tǒng)結(jié)構(gòu)比較簡單,無需任何變換和放大,信號處理系統(tǒng)也較為簡單,因此在實際應(yīng)用中被廣泛采用。

1.2 超寬帶脈沖信號

目前,基于脈沖形式的無載波信號是超寬帶雷達(dá)系統(tǒng)中采用最多的信號,其中常見的超寬帶雷達(dá)脈沖信號形式主要有多周期脈沖信號、升余弦脈沖波形、高斯脈沖等。

(1)多周期脈沖信號

多周期脈沖信號是最直觀的一種超寬帶脈沖信號。它是用一個矩形信號或窗函數(shù)與正弦函數(shù)相乘,然后截取N個周期的正弦信號,即:

其中,f0是正弦波頻率;T是正弦波周期;u(t)是階躍信號。該信號優(yōu)勢在于以正弦波頻率為中心,頻譜配置較為靈活;但載波調(diào)制形式對于頻率穩(wěn)定性要求較高,不利于系統(tǒng)簡化。

(2)升余弦脈沖波形

升余弦脈沖信號的頻域特性滿足:

其中,B為脈沖帶寬;fΔ=B-f6dB,f1=f6dB-fΔ,f6dB是-6 dB頻率點。假設(shè)系統(tǒng)帶寬7.5 GHz,f6dB=3.75 GHz,故fΔ=3.75 GHz,f1=0,可以得到相應(yīng)的時域信號:

對h(t)進(jìn)行搬移,設(shè)搬移后的中心頻率為fc=6.85 GHz,則最終傳輸形式為:

(3)高斯脈沖

基本的高斯信號表達(dá)式為:

其中,σ控制脈沖有效寬度是高斯信號的均方差,也稱脈寬因子。

對式(7)進(jìn)行傅里葉變換:

相應(yīng)的功率譜密度為:

基本高斯脈沖的微分形式:

則其對應(yīng)功率譜密度為:

高斯信號具有以下特點:微分形式相對簡單,利于建模分析;在時頻域都有較好分辨率;通過調(diào)整σ和微分次數(shù)n就可調(diào)節(jié)發(fā)射信號的中心頻率和帶寬;物理實現(xiàn)相對簡單,可近似表示多種超寬帶信號。因此,高斯脈沖是在人體姿態(tài)識別中采用最多的超寬帶信號。

2 傳統(tǒng)機(jī)器學(xué)習(xí)方法

基于雷達(dá)的人體姿態(tài)識別與基于計算機(jī)視覺領(lǐng)域的人體姿態(tài)識別區(qū)別較大,但本質(zhì)都是提取人體姿態(tài)特征。在雷達(dá)領(lǐng)域的目標(biāo)特征量不如視覺圖像領(lǐng)域豐富,所以更側(cè)重于對特征提取算法和分類識別算法的研究與改進(jìn)。如圖1 所示,根據(jù)特征提取方法的不同,將超寬帶雷達(dá)人體姿態(tài)識別方法分為傳統(tǒng)的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。

圖1 超寬帶雷達(dá)人體姿態(tài)研究方法分類圖

早期的人體姿態(tài)識別方案主要采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法,如支持向量機(jī)(SVM)、K近鄰法(K-NN)、隨機(jī)森林(RF)等。這些分類識別方法基于統(tǒng)計學(xué)理論,主要依靠從原始回波數(shù)據(jù)中提取的淺層特征如均值、方差、歐氏距離、傅里葉變換和短時傅里葉變換(STFT)等[13]。而后根據(jù)采用的特征提取方案如主成分分析(PCA)法、離散余弦變換(DCT)法等,來選擇突出的淺層特征進(jìn)行識別。其中,最為常用的是經(jīng)典的SVM識別方法。

2.1 SVM基本原理

SVM 是Vapnik 等人根據(jù)統(tǒng)計學(xué)習(xí)理論提出的[14],主要思想就是確定正確劃分樣本的參數(shù)w和b并且使得分類間隔ρ最大,需要通過對訓(xùn)練數(shù)據(jù)集的處理來完成,如圖2所示。

圖2 最優(yōu)分類面示意圖

假設(shè)訓(xùn)練數(shù)據(jù)集為:

其中,N為訓(xùn)練樣本數(shù),y是樣本類別標(biāo)號。w為權(quán)重向量,b為最優(yōu)分類面偏移,那么d維空間的分類面判別函數(shù)為g(x)=w·x+b,構(gòu)造最優(yōu)分類面等價于:

但是在線性不可分的情況下,通過引入核函數(shù)K(x,xi)代替最優(yōu)分類面中的點積,將原輸入空間變換到新的高維特征空間,在新的特征空間構(gòu)造線性分類超平面。這個特征空間是由φ(x)來決定,其內(nèi)積運算用核函數(shù)K(x,xi)代替,即:

在這樣一個新的特征空間中,有些樣本數(shù)據(jù)點會偏離正常位置而無法滿足約束條件,這時,可以通過引入懲罰因子C,同時增加松弛項ξi≥0,放寬對線性可分的約束條件,使得線性不可分變成線性可分,如圖3 所示。這時,公式(13)就變成:

圖3 原始數(shù)據(jù)非線性映射到特征空間

這是一個凸二次優(yōu)化問題,該優(yōu)化問題的拉格朗日函數(shù)為:

通過求解與原問題等價的對偶問題得到原問題的最優(yōu)解:

這樣,就將線性不可分問題轉(zhuǎn)化成線性可分問題,只需求解Q(α)最大值即可。在選擇合適的核參數(shù)σ值的前提下,增加懲罰因子C能使數(shù)據(jù)的可分性趨于穩(wěn)定,反之將會導(dǎo)致泛化能力下降。因此核參數(shù)σ和懲罰因子C的選擇是SVM的關(guān)鍵。表1中給出了幾種常見的核函數(shù)的相關(guān)表達(dá)。

表1 核函數(shù)的相關(guān)表達(dá)

2.2 基于SVM的人體姿態(tài)識別

基于SVM的人體姿態(tài)識別方法的研究大體上有兩個側(cè)重點:一是側(cè)重于對特征提取方法的改進(jìn);二是側(cè)重于對SVM 模型的優(yōu)化。文獻(xiàn)[15]使用超寬帶雷達(dá)研究對不同人體活動進(jìn)行分類識別的可行性,分別采集8位參與者的8種典型的人體活動,然后利用主成分分析(PCA)提取回波信號的主要分量。首先對回波矩陣去平均化記為XT,然后計算X·XT的協(xié)方差矩陣W的特征值和對應(yīng)的特征向量,最后將矩陣投影到新的特征空間達(dá)到降維的目的,即:

式中,k是頻譜圖中的多普勒指數(shù);w(p)是一個窗函數(shù)。然后將頻譜圖與加權(quán)系數(shù)相乘并在有效范圍內(nèi)累加就得到每個姿態(tài)的頻譜圖:

式中,σm就是加權(quán)系數(shù),根據(jù)能量分布特征定義:

式中,Em就是第m個距離門的能量。然后利用PAC計算矩陣特征值,將特征值降序排列,選擇了占比99.07%的前60 個的特征值對應(yīng)的特征向量作為有效特征,輸入SVM 模型進(jìn)行學(xué)習(xí),得到原位運動的平均準(zhǔn)確率為89.7%,非原位運動的平均準(zhǔn)確率為90.5%。

在進(jìn)行姿態(tài)識別時,還可以結(jié)合小波變換進(jìn)行處理。文獻(xiàn)[17]利用UWB雷達(dá)提取人體姿態(tài)回波的時間-距離維特征信息,對二維信號進(jìn)行離散小波變換,將每個二維圖像分解為多個離散子圖像,使其更多地體現(xiàn)細(xì)節(jié)信息。為了避免小波分解帶來的信息冗余問題,采用奇異值分解法進(jìn)行有效特征提取,選取最大的奇異值作為特征對SVM 模型進(jìn)行訓(xùn)練,使其對9 種人體姿態(tài)識別率超過90%,但是該方法同樣存在個別動作識別混淆的問題。

針對利用傳統(tǒng)時頻分析方法實現(xiàn)人體姿態(tài)識別時存在的實時性差,識別率低等問題,有不少學(xué)者在改進(jìn)特征提取方法的同時對SVM模型參數(shù)進(jìn)行優(yōu)化。北京郵電大學(xué)的江進(jìn)等人[18]通過小波包分解法提取8 種人體姿態(tài)的超寬帶雷達(dá)信號的能量分布特征,利用改進(jìn)的混沌自適應(yīng)遺傳算法(ICAGA)對SVM 的參數(shù)C和σ進(jìn)行優(yōu)化,能達(dá)到97.6%的識別率。文獻(xiàn)[19]則提出了基于PCA 和DCT 變換的特征能量概念,在模型訓(xùn)練階段,利用網(wǎng)格搜索算法(CS)優(yōu)化SVM 的參數(shù)C和σ,最終驗證當(dāng)時識別率為96.09%,當(dāng)時識別率為98.04%,平均識別率達(dá)到96%以上。

基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的人體識別方案為了確保識別的效果通常會提取大量的淺層特征,而不去管這些特征是否最終真的有益于識別。而淺層特征的多樣化會潛在地增加不同特征之間的冗余度,未必能夠提高識別的精度。因此,對回波信號的分析、特征提取和選擇使這些方法奏效的關(guān)鍵。從表2 中很容易看出特征選擇和提取方法好壞會直接影響到分類器識別的準(zhǔn)確性和效率。在實際應(yīng)用中,這些特征處理方法可能僅限于特定問題,很難具有普適性。此外,傳統(tǒng)的人體姿態(tài)識別方案對于涉及到過渡動作的復(fù)雜人體姿態(tài)的識別效果一般。

表2 基于傳統(tǒng)機(jī)器學(xué)習(xí)的人體姿態(tài)識別方法匯總

3 深度學(xué)習(xí)方法

基于深度學(xué)習(xí)的方法為UWB雷達(dá)人體姿態(tài)識別開辟了一條全新的道路,它能夠有效避免傳統(tǒng)機(jī)器學(xué)習(xí)方法中手工特征提取和選擇的繁瑣,并帶來性能的改善。深度學(xué)習(xí)[20]源于人工神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域,其概念最早由Hinton 等人于2006 年提出,主要是通過構(gòu)建很多隱藏層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù),來自動學(xué)習(xí)隱藏的有用特征并生成用于識別的虛擬特征,從而提升分類識別的自動化和準(zhǔn)確性,這些由深度神經(jīng)網(wǎng)絡(luò)探索的虛擬特征被稱為深度特征。深度學(xué)習(xí)[21]在學(xué)習(xí)執(zhí)行分層任務(wù)、特征提取以及識別等方面具有較大優(yōu)勢,尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)是深度學(xué)習(xí)中最常用的模型,已成為圖像處理和識別領(lǐng)域的主流方法。與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比,它通過數(shù)據(jù)自動學(xué)習(xí)有效特征提取方法的機(jī)制,無需人工設(shè)計特征提取環(huán)節(jié),在減少處理環(huán)節(jié)的同時還能識別復(fù)雜的人體活動。因此,其同樣可應(yīng)用于UWB雷達(dá)的人體姿態(tài)識別。

3.1 CNN基本原理

經(jīng)典的CNN 一般包含輸入層、卷積層、池化層、全連接層和輸出層,它的訓(xùn)練過程是將處理好的數(shù)據(jù)在卷積層與池化層的作用下交替訓(xùn)練,逐步提取出特征,形成最后抽象的深度特征[22]。

假設(shè)CNN 模型的原始輸入為S0,則第i層卷積層輸出為:

式中,Ki為第i層卷積核權(quán)值向量。式(23)表示第i-1層的輸入特征圖與卷積核進(jìn)行卷積,輸出結(jié)果與第i層的偏置項bi相加,然后通過激活函數(shù)f(x)的非線性映射得到第i層的輸出特征圖。使用CNN 模型的一個重要問題是加快網(wǎng)絡(luò)訓(xùn)練速度,可以采用ReLU函數(shù)來實現(xiàn),其具體形式為:

池化操作是一個降維和下采樣過程,用于減少網(wǎng)絡(luò)訓(xùn)練參數(shù),加快訓(xùn)練速度,同時增強模型的泛化能力。一般做法是將前一層的局部區(qū)域值映射為單個數(shù)值,即在濾波器算子滑動區(qū)域內(nèi)取最大值或平均值,最常用的就是最大池化和平均池化。

全連接層將學(xué)到的深度特征映射到標(biāo)記空間,得到輸入S0隸屬于不同類別的概率矢量Y,即:

式中,li為第i個標(biāo)簽。

通過以上分析可見,CNN 實際上將原始輸入S0經(jīng)降維和下采樣等變換映射到一個新的特征空間Y的過程。

3.2 基于CNN的人體姿態(tài)識別

2012年,Krizhevsky等[23]人提出了基于CNN的分類識別算法,在此之前,SVM在分類識別問題上一直占有絕對優(yōu)勢。CNN 具有強大的特征提取能力,無需經(jīng)過繁瑣的手工特征提取,能夠識別雷達(dá)圖像的潛在特征,在UWB 雷達(dá)人體識別領(lǐng)域引起了眾多學(xué)者的關(guān)注,并由此產(chǎn)生出大量的衍生網(wǎng)絡(luò)模型。

文獻(xiàn)[24]利用UWB雷達(dá)采集人體手勢的微多普勒特征,然后結(jié)合改進(jìn)的深度卷積網(wǎng)絡(luò)(DCNN)對10種手勢進(jìn)行識別,如圖4所示為該研究所采用的DCNN結(jié)構(gòu)圖。在訓(xùn)練環(huán)節(jié)采用5 重交叉驗證法來提高模型的泛化能力,達(dá)到了90%以上平均識別率,但仍存在對距離和方位角變化敏感的問題。針對這一問題,文獻(xiàn)[25]從手勢回波的預(yù)處理信號中提取3個具有魯棒性的特征,即幅度直方圖的pdf 分布,頻率和到達(dá)時間(TOA)方差。文中將基于TOA 的距離信息作為K-means 聚類算法的附加參數(shù),使得算法對距離方位變化更具有魯棒性,還定義了一種數(shù)據(jù)擬合算法,通過檢測手勢運動的周期性來消除手或身體產(chǎn)生的意外運動。即使在車內(nèi)不同環(huán)境下,改變手勢方向仍達(dá)到95%的準(zhǔn)確率。文獻(xiàn)[26]則使用3個置于不同方位的脈沖超寬帶(IR-UWB)雷達(dá)獲取手勢軌跡,利用MNIST 數(shù)據(jù)集訓(xùn)練CNN 模型。實驗通過采集5 位受試者從不同方位以不同速度產(chǎn)生的樣本進(jìn)行驗證:該方法對于方向、距離、速度和用戶更具有健壯性,且能滿足實時處理的需求。但若室內(nèi)環(huán)境雜亂無章,可能會使雷達(dá)數(shù)據(jù)失真。針對大規(guī)模神經(jīng)網(wǎng)絡(luò)容易過擬合的問題,文獻(xiàn)[27]在CNN結(jié)構(gòu)中添加Dropout 層和局部歸一化層(LRN)來防止模型過擬合,提高模型的泛化能力。通過SIR-20高速探地雷達(dá)獲取8種典型人體動作的回波信號,然后提取回波中距離隨時間變化的特征信息生成距離-時間二維特征矩陣,并將特征矩陣輸入到改進(jìn)后的CNN 進(jìn)行訓(xùn)練識別,最終達(dá)到99.2%的識別率。在此基礎(chǔ)上文獻(xiàn)[28]增加動作的復(fù)雜度,設(shè)計了9種經(jīng)典的體育動作,利用UWB雷達(dá)獲取高分辨率距離信息,在對人體回波構(gòu)成的時間-距離像進(jìn)行灰度處理后,根據(jù)灰度圖的明暗信息來對改進(jìn)的DCNN 進(jìn)行訓(xùn)練,達(dá)到了96.67%的識別率,遠(yuǎn)高于常用的傳統(tǒng)機(jī)器學(xué)習(xí)方法如RF、K-NN、SVM。文獻(xiàn)[29]同時進(jìn)行人體姿態(tài)和身份的多任務(wù)識別,構(gòu)建基于CNN的多任務(wù)識別模型。利用壓縮激勵(SE)模塊將輸入特征維度將為原來的1/16,通過多尺度特征融合進(jìn)行兩個相關(guān)識別任務(wù)的共享特征表示,然后在各自的特定任務(wù)層完成識別。文中還引入中心損失函數(shù)與均方誤差損失函數(shù),與傳統(tǒng)的交叉熵?fù)p失函數(shù)相結(jié)合,共同優(yōu)化模型。該法有效地提高模型的泛化能力,平均識別率達(dá)到99.3%。文獻(xiàn)[30]首次提出利用UWB 雷達(dá)進(jìn)行人體睡眠姿態(tài)監(jiān)測識別,提出一種名為SleepPoseNet 的方法,利用多視角學(xué)習(xí)(MVL)組合來自時域和頻域的特征信息,然后通過DCNN 進(jìn)行分類識別,最終能對6 種睡眠姿態(tài)實現(xiàn)73.7%的識別率。但是受限于雷達(dá)性能,無法識別相同范圍不同角度的對象。

圖4(a) 具有3層隱藏層的DCNN結(jié)構(gòu)

圖4(b) 單個隱藏層結(jié)構(gòu)

網(wǎng)絡(luò)層數(shù)的增加可以在一定程度上提高分類精度。但隨著層數(shù)的增加易出現(xiàn)網(wǎng)絡(luò)過擬合的問題。針對復(fù)雜的CNN 結(jié)構(gòu)易過擬合的問題,有不少學(xué)者提出了新思路。文獻(xiàn)[31]受GooLeNet架構(gòu)的啟發(fā),提出基于Inception模塊的3D-CNN模型:首先提出將雷達(dá)信號轉(zhuǎn)換成灰度圖像,然后再映射成3D RGB 圖像,使得每個姿態(tài)的特征更加直觀突出。該模型不是傳統(tǒng)的線性堆疊各層,而是利用Inception 模塊來增加網(wǎng)絡(luò)的復(fù)雜性,每個Inception模塊由3個卷積層和1個最大池化層級聯(lián)而成,將7 個Inception 模塊串聯(lián)在一起,就能獲得不同抽象級別的深度特征,從而提取更多輸入特征圖的細(xì)節(jié)特征,該方法對8 種手勢識別精度達(dá)到了95%,分類效果好于GooLeNet 和常規(guī)的CNN 模型。該方法的主要缺點是待識別的手勢必須在指定區(qū)域和時間段內(nèi)完成,并且識別的精度也會受到手勢角度的影響。文獻(xiàn)[32]認(rèn)為上述方法均未對人體微多普勒特征的長期穩(wěn)定性進(jìn)行研究,因而對人體姿態(tài)進(jìn)行長期間隔觀察,同時提出平行的雙通道網(wǎng)絡(luò):一個基于Xception 模塊的CNN通道,在ImageNet 上進(jìn)行了預(yù)訓(xùn)練;一個包含2 個長短期記憶網(wǎng)絡(luò)(LSTM)層的獨立LSTM 通道,用于提取與時間相關(guān)的特征以確保長期穩(wěn)定性。Xception 模塊作為Inception-V3 模塊的改進(jìn),用深度可分離卷積代替了原始卷積運算,從而在不增加網(wǎng)絡(luò)復(fù)雜性的情況下提高了模型的效果,避免模型過擬合。

一個完整的人體姿態(tài)應(yīng)該被記錄在指定幀內(nèi),但是很難識別在相對較長的測試頻譜圖中傳達(dá)的短時間動作如拳擊和踢球等。因此,上述研究中都將輸入的人體姿態(tài)回波數(shù)據(jù)調(diào)整為固定大小,并假設(shè)僅包含單一人體姿態(tài)的時變信息,這就導(dǎo)致大多數(shù)模型的時間分辨率受輸入時間窗口大小的限制。針對這一問題,文獻(xiàn)[33]將微多普勒頻譜圖看作特殊的時間序列數(shù)據(jù),提出分段卷積門控遞歸神經(jīng)網(wǎng)絡(luò)(SCGRNN),將CNN 和門控遞歸單元(GUR)組合在一個模型中,分別定義了GUR 的更新門、復(fù)位門、隱藏狀態(tài)和權(quán)重矩陣,其學(xué)習(xí)示意圖如圖5所示,卷積層和池化層用于提取局部特征。GRU將多個相鄰元素的CNN特征作為輸入來檢測每個時間步長的動作,并將GRU遞歸細(xì)胞的隱藏狀態(tài)反饋到Softmax層來獲得每個時間步長的概率分布,從而避免固定訓(xùn)練樣本大小造成的限制,甚至可以檢測動作的開始和結(jié)束時間點,最后引入留一法(LOO)交叉驗證該模型在噪聲魯棒性和泛化性能方面的優(yōu)勢,如表3所示。

圖5 微多普勒頻譜圖的局部特征學(xué)習(xí)示意圖

表3 留一法(LOO)交叉驗證方案的分類識別率 %

表4為文獻(xiàn)[42]介紹的在視覺領(lǐng)域的人體姿態(tài)識別公開的數(shù)據(jù)集,按復(fù)雜程度將人體活動類型劃分為簡單動作、交互行為、群體活動以及復(fù)雜事件。不難看出,視覺領(lǐng)域的人體姿態(tài)識別的數(shù)據(jù)集較為豐富,從簡單動作到復(fù)雜的事件都有所涵蓋,樣本容量也都足夠大,這就為視覺領(lǐng)域的人體姿態(tài)識別提供了很好的基礎(chǔ)。相比視覺領(lǐng)域,基于UWB 雷達(dá)的人體姿態(tài)識別的研究尚處于起步階段,其公開的數(shù)據(jù)集較少。表5為文中提到的基于深度學(xué)習(xí)的人體姿態(tài)識別模型的匯總。同樣可知,當(dāng)前利用UWB雷達(dá)進(jìn)行人體姿態(tài)識別的研究基本都是基于自測數(shù)據(jù)集。圖6 為視覺領(lǐng)域以及文中部分文獻(xiàn)采用的數(shù)據(jù)樣本量大小進(jìn)行對比,可以很直觀地得出:基于UWB雷達(dá)的人體姿態(tài)識別研究普遍存在樣本量偏小的問題。而訓(xùn)練有效的深度神經(jīng)網(wǎng)絡(luò)需要大量的樣本數(shù)據(jù),樣本量不足可能會導(dǎo)致訓(xùn)練深度網(wǎng)絡(luò)時產(chǎn)生嚴(yán)重的過擬合問題。

表4 人體姿態(tài)公開數(shù)據(jù)集匯總表

表5 基于深度學(xué)習(xí)的人體姿態(tài)識別模型匯總

圖6 樣本量對比圖

針對深度學(xué)習(xí)時樣本量不足的問題,不少學(xué)者提出了針對性的解決方案。文獻(xiàn)[43]中提出了遷移學(xué)習(xí)優(yōu)化模型,首先利用大樣本對CNN進(jìn)行預(yù)訓(xùn)練,然后用超限學(xué)習(xí)機(jī)(ELM)取代CNN 中的全連接層,用小樣本數(shù)據(jù)集對ELM 層進(jìn)行訓(xùn)練,最后降低網(wǎng)絡(luò)對樣本量的需求。實驗表明,該方法在使識別率達(dá)到94%的同時,能夠大大縮短網(wǎng)絡(luò)訓(xùn)練時間。文獻(xiàn)[44]提出了新的全卷積網(wǎng)絡(luò)(A-ConvNets),它用稀疏連接層取代全連接層,實驗結(jié)果表明,在僅有10個樣本的條件下,采用該方法可以達(dá)到99%的準(zhǔn)確率。度量學(xué)習(xí)也常用來解決小樣本下的分類識別問題,它可以將分類識別問題轉(zhuǎn)換為判斷兩個樣本是否屬于同一類別的二分類問題。假設(shè)每個類型有10 個樣本,那么就會有個正樣本對個負(fù)樣本對,正負(fù)樣本對數(shù)量的不平衡會導(dǎo)致網(wǎng)絡(luò)傾向于輸出兩個樣本來自不同類別的預(yù)測。為了解決這個問題,文獻(xiàn)[45]嘗試用兩個權(quán)重相同的CNN構(gòu)成的孿生卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)度量學(xué)習(xí),如圖7(a)所示,首先利用孿生網(wǎng)絡(luò)提取樣本的特征向量,比較樣本特征域的差異,然后通過全連接層將向量差異映射為標(biāo)量,由其代表兩樣本之間的距離度量,通過計算其相似度來判斷其來自同一類型。這種方式需要計算測試樣本與每個訓(xùn)練樣本的樣本相似度,非常耗時。因此,文中在單支孿生網(wǎng)絡(luò)后面再訓(xùn)練一個分類網(wǎng)絡(luò),將單支孿生網(wǎng)絡(luò)用作特征提取,僅僅需要區(qū)分輸入兩個樣本的距離大小即可完成分類識別,如圖7(b)所示。即使在僅有少量訓(xùn)練樣本的情況下,該網(wǎng)絡(luò)的識別性能仍優(yōu)于A-ConvNets。總的來說,基于深度學(xué)習(xí)的UWB雷達(dá)人體姿態(tài)識別方法除了要從根源上擴(kuò)充樣本數(shù)據(jù)集,還可以通過遷移學(xué)習(xí)、度量學(xué)習(xí)等方法來優(yōu)化模型實現(xiàn)小樣本下的人體姿態(tài)識別。

4 超寬帶雷達(dá)人體姿態(tài)識別模型

圖7 文獻(xiàn)[45]采用的網(wǎng)絡(luò)架構(gòu)

從以上的研究不難推知,基于UWB 雷達(dá)人體姿態(tài)識別系統(tǒng)應(yīng)包含人體回波數(shù)據(jù)采集、回波數(shù)據(jù)處理和特征提取、識別算法這三個關(guān)鍵部分,詳見圖8。其中,回波數(shù)據(jù)處理和特征提取方法可分為四類:(1)基于傳統(tǒng)統(tǒng)計學(xué)的方法,包括雷達(dá)回波包絡(luò)的均值、方差、最大值、最小值等統(tǒng)計學(xué)特征;(2)基于時頻變換的方法,主要包括短時傅里葉變換、傅里葉變換(STFT)、偽維格納分布(PWVD)、小波變換等;(3)基于組件分析的方法,主要包括主成分分析法(PCA)和獨立成分分析法(ICA)等;(4)基于深度學(xué)習(xí)的方法,主要包括卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)等。目前,主流研究認(rèn)為深度學(xué)習(xí)方法是一種識別分類算法,但其本質(zhì)上也是一種特征提取方法[46]。它通過多層卷積、池化等操作來提取特征,然后將提取的特征通過全連接層類似Softmax分類器來進(jìn)行分類識別。

圖8 超寬帶雷達(dá)人體姿態(tài)識別通用模型

5 結(jié)束語

本文根據(jù)超寬帶雷達(dá)信號特性和識別框架,對超寬帶雷達(dá)人體姿態(tài)識別方法中的傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法進(jìn)行了總結(jié)和分析。重點對兩類方法中具有代表性的SVM和CNN進(jìn)行原理分析和介紹,并結(jié)合具體文獻(xiàn)分析了其各自的優(yōu)勢與局限性,最后提出了超寬帶雷達(dá)人體姿態(tài)識別的通用模型。

從識別姿態(tài)種類和識別率兩個方面,圖9給出部分文獻(xiàn)所采用模型的性能對比,可以很明顯地看出深度學(xué)習(xí)方法的識別準(zhǔn)確率普遍高于傳統(tǒng)機(jī)器學(xué)習(xí)方法。表6中對比了兩類識別方法的性能,可以得出:傳統(tǒng)機(jī)器學(xué)習(xí)方法提取人工設(shè)計的淺層特征,對于特征的提取方法和選擇要求較高,但是模型訓(xùn)練相對簡單,檢測速度快且對硬件設(shè)備要求較低。而深度學(xué)習(xí)方法可以自動學(xué)習(xí)生成深度特征,特征靈活性高,系統(tǒng)魯棒性好,但是模型訓(xùn)練難度較大,計算更加復(fù)雜,檢測速度慢,這就意味著對硬件設(shè)備的要求更高。如何綜合利用這兩類方法,在兼顧運算成本的同時提高模型性能,仍需進(jìn)一步研究。

圖9 部分文獻(xiàn)中模型性能對比圖

綜合現(xiàn)有研究,當(dāng)前利用UWB 雷達(dá)來實現(xiàn)人體姿態(tài)識別面臨的主要困難包括:

(1)相比于計算機(jī)視覺領(lǐng)域的人體姿態(tài)識別有著數(shù)目龐大的公開數(shù)據(jù)集,雷達(dá)領(lǐng)域的人體姿態(tài)鮮有公開的數(shù)據(jù)集,研究基本都是基于自測數(shù)據(jù)或者仿真數(shù)據(jù),這已成為利用UWB雷達(dá)實現(xiàn)人體姿態(tài)識別邁向?qū)嵱没囊淮笳系K。

(2)深度學(xué)習(xí)的網(wǎng)絡(luò)模型訓(xùn)練基于數(shù)量巨大的數(shù)據(jù)庫,在無法滿足數(shù)據(jù)需求的情況下,如何在小樣本數(shù)據(jù)量的基礎(chǔ)上實現(xiàn)對識別系統(tǒng)的訓(xùn)練,并保持較高的識別率是當(dāng)前研究的難點。

表6 兩類識別方法性能對比

(3)人的肢體復(fù)雜且靈活,當(dāng)頻繁出現(xiàn)相似復(fù)雜動作時很難避免識別的混淆,如何通過算法設(shè)計有效降低錯誤率,是當(dāng)前UWB 雷達(dá)人體姿態(tài)識別的又一挑戰(zhàn)。除此之外,當(dāng)前基于UWB 的人體識別的研究多限于單個人體姿態(tài)的識別,對于交互動作或團(tuán)體動作的識別研究幾近空白。

綜上所述,本文認(rèn)為未來的發(fā)展趨勢和研究方向可能有以下幾點:

(1)當(dāng)前研究多局限于室內(nèi)或者干擾較少的環(huán)境中,在應(yīng)用中,由于環(huán)境的復(fù)雜性可能會引起回波的特性的變化而導(dǎo)致算法失效;此外,雷達(dá)圖像與光學(xué)圖像的差異性也使在雷達(dá)圖像信息提取和目標(biāo)解譯過程具有特殊性,對電磁散射機(jī)理的理解和分析將至關(guān)重要[47]。因此,結(jié)合電磁散射特性開發(fā)新的算法來解決具體應(yīng)用場景下的特征損失和噪聲干擾等問題將會是未來的一個重要研究方向。

(2)由于鮮有公開的基于雷達(dá)的人體姿態(tài)數(shù)據(jù)集,當(dāng)前基于UWB 雷達(dá)的人體姿態(tài)研究多基于自測數(shù)據(jù)集,很多研究成果可復(fù)現(xiàn)性差。而樣本數(shù)據(jù)集對于模型的訓(xùn)練、優(yōu)化是十分重要的,因此構(gòu)建基于雷達(dá)的人體姿態(tài)識別專門數(shù)據(jù)集和評測標(biāo)準(zhǔn)將尤為重要,這也是支撐未來研究工作的重要基礎(chǔ)。

(3)針對小樣本問題,除了從根源上增加樣本量,擴(kuò)充數(shù)據(jù)庫外,通過遷移學(xué)習(xí)、度量學(xué)習(xí)、無監(jiān)督學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)能較好的解決這一問題,因此,對小樣本學(xué)習(xí)方法的研究,也是未來該領(lǐng)域研究的一個重要方向。

(4)深度學(xué)習(xí)無疑會成為未來UWB 雷達(dá)人體識別領(lǐng)域的主力軍。當(dāng)前的模型研究逐漸聚焦于速度和準(zhǔn)確度的權(quán)衡,網(wǎng)絡(luò)模型正在從巨型網(wǎng)絡(luò)向輕量化網(wǎng)絡(luò)演變[48],如文中提到的用Inception模塊及Xception模塊代替多個卷積層來降低網(wǎng)絡(luò)模型的復(fù)雜性。因此加強對網(wǎng)絡(luò)模型基礎(chǔ)框架的創(chuàng)新和優(yōu)化,在降低訓(xùn)練復(fù)雜度的同時確保識別準(zhǔn)確率也是未來研究的重要內(nèi)容。

(5)要想將UWB 雷達(dá)人體姿態(tài)識別從真正意義上實用化,僅僅對單一人體姿態(tài)的識別是不夠的。區(qū)分不同人體目標(biāo)且提取各自有效特征,從而實現(xiàn)多人姿態(tài)識別,將是拓展該領(lǐng)域應(yīng)用的重要研究課題。

猜你喜歡
超寬帶姿態(tài)卷積
基于多模諧振器的超寬帶濾波器設(shè)計
基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
攀爬的姿態(tài)
從濾波器理解卷積
全新一代宋的新姿態(tài)
跑與走的姿態(tài)
超寬帶雷達(dá)建筑物結(jié)構(gòu)稀疏成像
基于傅里葉域卷積表示的目標(biāo)跟蹤算法
一種基于射頻開關(guān)切換的偽隨機(jī)編碼超寬帶多發(fā)多收雷達(dá)設(shè)計
一種脊波導(dǎo)超寬帶濾波器