張 夢(mèng),管同元,卓豪輝,吳茗蔚

(浙江科技學(xué)院 信息與電子工程學(xué)院，浙江 杭州 310023)

0 引言

非接觸手勢(shì)識(shí)別具有巨大的應(yīng)用市場(chǎng)，采用攝像頭[1-2]、雷達(dá)[3-4]以及傳感器[5-6]等方式雖然取得了一定成效，但仍存在光照敏感、設(shè)備昂貴以及操作不便等弊端。與之相比，基于WiFi信道狀態(tài)信息(Channel State Information，CSI)的手勢(shì)識(shí)別具有成本低、擴(kuò)展性強(qiáng)和不受光照條件影響等優(yōu)點(diǎn)。近年隨著深度學(xué)習(xí)的發(fā)展，許多基于深度學(xué)習(xí)的WiFi手勢(shì)識(shí)別方法被提出。CrossSense[7]通過(guò)漫游網(wǎng)絡(luò)實(shí)現(xiàn)了跨場(chǎng)景的手勢(shì)識(shí)別；EI[8]使用對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)了6種動(dòng)作的識(shí)別；劉佳慧等[9]使用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long-Short Term Memory，LSTM)實(shí)現(xiàn)了對(duì)4種手勢(shì)的識(shí)別。上述深度學(xué)習(xí)方法通過(guò)直接建立CSI數(shù)據(jù)與動(dòng)作間的映射取得了良好成效。但直接建立原始信號(hào)與手勢(shì)映射的模式，限制了對(duì)信號(hào)動(dòng)力學(xué)的理解。對(duì)此，Widar3.0[10]提出身體速度譜(Body-coordinate Velocity Profile，BVP)這一概念并結(jié)合CNN-GRU深度學(xué)習(xí)模型，在手勢(shì)識(shí)別問(wèn)題上取得了良好成效。王熾等[11]在BVP基礎(chǔ)上提出3D-CNN模型實(shí)現(xiàn)對(duì)6種手勢(shì)識(shí)別。理論上，深度學(xué)習(xí)模型訓(xùn)練期間用到的標(biāo)記數(shù)據(jù)越充分，所得到的模型效果越好。但數(shù)據(jù)的收集和標(biāo)注需要耗費(fèi)極大的人力和物力，由于難以收集到足夠多的數(shù)據(jù)，最終導(dǎo)致訓(xùn)練出來(lái)的模型性能不佳。另一方面，手勢(shì)和不同個(gè)體間的差異會(huì)直接導(dǎo)致BVP數(shù)據(jù)在格式上出現(xiàn)差異。雖然可以通過(guò)重采樣進(jìn)行標(biāo)準(zhǔn)化處理，但標(biāo)準(zhǔn)化后的BVP特征與CSI不再是直接映射關(guān)系，模糊了其對(duì)手勢(shì)的表達(dá)。

為解決上述2個(gè)問(wèn)題，本文基于膠囊網(wǎng)絡(luò)(Capsule Network，CapNet)[12]結(jié)構(gòu)簡(jiǎn)單、不會(huì)因池化丟失信息的優(yōu)點(diǎn)并結(jié)合門循環(huán)單元[13](Gated Recurrent Unit，GRU)提出了一種基于CapNet的遷移學(xué)習(xí)模型GRU-CapNet，將圖像識(shí)別領(lǐng)域中訓(xùn)練好的模型遷移到WiFi手勢(shì)識(shí)別任務(wù)中，以提升手勢(shì)識(shí)別準(zhǔn)確率。另外,還提出一種改進(jìn)的BVP估計(jì)算法，通過(guò)動(dòng)態(tài)計(jì)算CSI手勢(shì)數(shù)據(jù)的分割模式，直接得到格式統(tǒng)一的BVP特征數(shù)據(jù)，避免了重采樣導(dǎo)致映射關(guān)系不直接的問(wèn)題。在公開(kāi)數(shù)據(jù)集和家用小型轎車場(chǎng)景下分別進(jìn)行了試驗(yàn)，結(jié)果驗(yàn)證了所提方法的有效性。

1 BVP估計(jì)算法及其改進(jìn)

CSI是估計(jì)通信鏈路的信息，頻率為f的子載波的CSI可表示為[14]：

H(f)=‖H(f)‖ej∠H(f),

(1)

式中，H(f)為單個(gè)子載波的CSI；‖H(f)‖和∠H(f)表示CSI的幅度與相位。移動(dòng)物體會(huì)導(dǎo)致信號(hào)產(chǎn)生多普勒頻移(Doppler Frequency Shift，DFS)，同時(shí)信號(hào)傳播過(guò)程存在多徑效應(yīng)。多徑效應(yīng)下，頻率為f的子載波在t時(shí)刻的CSI可通過(guò)DFS來(lái)描述[15]：

(2)

式中，Hs為不包含DFS的靜態(tài)分量總和；Pd表示包含DFS的動(dòng)態(tài)信號(hào)集合；αl表示復(fù)雜衰減；φ(f,t)為相位偏移。通過(guò)共軛相乘、減去均值以及功率調(diào)整操作，可以得到含有顯著DFS的分量[16]。隨后，通過(guò)短時(shí)傅里葉變換即可得到多普勒頻移分布(Doppler Frequency Shift Profile，DFSP)。

1.1 BVP估計(jì)算法

以人的朝向?yàn)閤軸正方向，所在位置為原點(diǎn)建立坐標(biāo)系。BVP通過(guò)式(3)計(jì)算[10]：

(3)

式中，M為各接收端與發(fā)射端建立的鏈接數(shù)；V為BVP數(shù)據(jù)；D(i)和c(i)為不同鏈接中的DFSP和傳播衰減；EMD(·,·)為2個(gè)分布的EMD距離[17]；η為稀疏正則化系數(shù)；‖·‖0用于度量非零量的個(gè)數(shù)；A(i)表示第i條鏈接上速度與多普勒頻移的映射矩陣，其滿足公式[10]：

(4)

(5)

1.2 基于動(dòng)態(tài)CSI分割模式的BVP估計(jì)算法

CSI數(shù)據(jù)長(zhǎng)度會(huì)因手勢(shì)及手勢(shì)執(zhí)行對(duì)象間的差異而變化，進(jìn)而導(dǎo)致BVP的序列長(zhǎng)度發(fā)生變化。為了消除這種差異,Widar3.0中[10]通過(guò)重采樣來(lái)統(tǒng)一BVP序列長(zhǎng)度，其流程如圖1(a)所示。

(a) 固定分割模式

(b) 動(dòng)態(tài)分割模式圖1 不同分割模式BVP計(jì)算流程Fig.1 BVP calculation process under different segmentation models

(6)

動(dòng)態(tài)分割模式較固定分割模式相比，其在最初階段通過(guò)標(biāo)準(zhǔn)BVP序列長(zhǎng)度計(jì)算CSI模式段長(zhǎng)度。因此,可直接得到標(biāo)準(zhǔn)格式的BVP數(shù)據(jù)，進(jìn)而建立起原始CSI數(shù)據(jù)與BVP特征之間的直接映射關(guān)系。同時(shí)，動(dòng)態(tài)分割模式下不再需要進(jìn)行額外的重采樣操作，進(jìn)而提升了BVP的計(jì)算效率。

2 基于膠囊網(wǎng)絡(luò)的手勢(shì)識(shí)別方法

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)在分類、檢測(cè)等視覺(jué)任務(wù)領(lǐng)域取得了很好的效果[18]。CNN可以根據(jù)應(yīng)用場(chǎng)景自動(dòng)提取圖像的適當(dāng)特征，但其在訓(xùn)練過(guò)程中需要大量地標(biāo)記數(shù)據(jù)。本文使用遷移學(xué)習(xí)來(lái)解決上述問(wèn)題，遷移學(xué)習(xí)就是將源領(lǐng)域的學(xué)習(xí)模型遷移到目標(biāo)領(lǐng)域，其不要求源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)具有相同分布，因此可以將圖像識(shí)別領(lǐng)域訓(xùn)練好的模型應(yīng)用到WiFi手勢(shì)識(shí)別任務(wù)中。

2.1 膠囊網(wǎng)絡(luò)及動(dòng)態(tài)路由

與傳統(tǒng)的CNN不同，傳統(tǒng)CNN在進(jìn)行池化操作時(shí)存在丟失實(shí)體在區(qū)域內(nèi)位置信息的缺陷，而膠囊網(wǎng)絡(luò)通過(guò)向量來(lái)表示相應(yīng)的特征，不會(huì)丟失實(shí)體在區(qū)域內(nèi)的位置信息[12]。其核心部分為基礎(chǔ)膠囊(Primary Caps)和數(shù)字膠囊(Digit Caps)。

對(duì)于一個(gè)普通輸入，構(gòu)建一個(gè)包含T×D個(gè)通道的卷積層，其中T為基礎(chǔ)膠囊通道的數(shù)量，D為每個(gè)膠囊的維度。通過(guò)卷積計(jì)算，即可得到長(zhǎng)和寬為L(zhǎng)×W的T×D個(gè)輸出通道，這樣便創(chuàng)建了L×W×T個(gè)維度為D的基礎(chǔ)膠囊。

數(shù)字膠囊由s個(gè)膠囊組成，每個(gè)膠囊代表一個(gè)類別，通過(guò)計(jì)算每個(gè)膠囊的二范數(shù)來(lái)表示當(dāng)前類別的概率，二范數(shù)最大的膠囊即表示模型的預(yù)測(cè)類別?；A(chǔ)膠囊通過(guò)動(dòng)態(tài)路由算法來(lái)確定與數(shù)字膠囊的關(guān)聯(lián)，任意數(shù)字膠囊的輸入通過(guò)式(7)計(jì)算[12]：

(7)

(8)

經(jīng)過(guò)r次迭代，膠囊之間的路由權(quán)重便得以建立。

2.2 GRU-CapNet

BVP特征反映了速度在時(shí)間和空間上的變化，包含了速度在時(shí)間上的信息。為了防止卷積神經(jīng)網(wǎng)絡(luò)丟失時(shí)間維度上的信息，本文綜合使用了循環(huán)神經(jīng)網(wǎng)絡(luò)和CNN。通過(guò)組合GRU和CapNet，并使用遷移學(xué)習(xí)遷移在Mnist數(shù)據(jù)集上預(yù)訓(xùn)練的CapNet，提出了一種基于CapNet遷移學(xué)習(xí)的GRU-CapNet(tf)網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。之所以選擇GRU與CapNet有如下考慮：

圖2 GRU-CapNet結(jié)構(gòu)Fig.2 GRU-CapNet structure

① GRU與LSTM相比在時(shí)序建模方面的性能與LSTM相當(dāng)，但涉及的參數(shù)更少，在數(shù)據(jù)受限的情況下更容易訓(xùn)練(后續(xù)試驗(yàn)部分會(huì)進(jìn)行驗(yàn)證)；

② CapNet相較于圖像識(shí)別領(lǐng)域的其他模型，如：AlexNet[18]，VGG-19[19]，ResNet[20]等，克服了池化操作帶來(lái)的信息損失且結(jié)構(gòu)更加簡(jiǎn)單。而本文的出發(fā)點(diǎn)在于通過(guò)遷移學(xué)習(xí)讓模型在有限數(shù)據(jù)集下能夠充分訓(xùn)練獲得更高的準(zhǔn)確率，而遷移學(xué)習(xí)過(guò)程中模型無(wú)法進(jìn)行完全遷移，需要針對(duì)具體應(yīng)用進(jìn)行微調(diào)。也就是說(shuō)模型中的部分參數(shù)需要重新進(jìn)行訓(xùn)練，那么在這種情況下，CapNet作為一種結(jié)構(gòu)更為簡(jiǎn)單的模型所涉及到需要重新訓(xùn)練的參數(shù)更少，因此更加符合本文需求。

對(duì)于輸入格式是20×20×20的手勢(shì)BVP序列，首先使用包含784個(gè)單元的GRU提取BVP數(shù)據(jù)的時(shí)序特征。隨后將得到的特征向量重塑成28×28的特征映射圖并且進(jìn)行歸一化處理，輸入到在Mnist數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的膠囊網(wǎng)絡(luò)遷移結(jié)構(gòu)中。遷移結(jié)構(gòu)包含Conv1卷積層和基礎(chǔ)膠囊層，第1層Conv1卷積層是由256個(gè)9×9卷積核組成的普通卷積層，卷積核的步長(zhǎng)為1并使用ReLU作為激活函數(shù)；第2層基礎(chǔ)膠囊層，其中包含了32個(gè)8d膠囊，每個(gè)膠囊卷積核大小是9×9，步長(zhǎng)為2，同樣使用ReLU作為激活函數(shù)。

緊隨遷移結(jié)構(gòu)的是數(shù)字膠囊層，數(shù)字膠囊層由n個(gè)16d的數(shù)字膠囊組成，每個(gè)數(shù)字膠囊的值由基礎(chǔ)膠囊層的輸出通過(guò)動(dòng)態(tài)路由算法計(jì)算得到。最后，通過(guò)計(jì)算數(shù)字膠囊層中每個(gè)數(shù)字膠囊的二范數(shù)來(lái)表示在不同類別上的概率。由于數(shù)字膠囊層膠囊的個(gè)數(shù)n與手勢(shì)分類的類別有關(guān)，需要針對(duì)不同類別修改數(shù)字膠囊的個(gè)數(shù)，因此數(shù)字膠囊層無(wú)法直接遷移已訓(xùn)練好的權(quán)重，需要進(jìn)行重新訓(xùn)練，即微調(diào)(Fine Tuning)。

3 試驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出方法的有效性，在公開(kāi)室內(nèi)數(shù)據(jù)集和家用小型轎車應(yīng)用場(chǎng)景下采集到的數(shù)據(jù)集上分別進(jìn)行了試驗(yàn)。試驗(yàn)過(guò)程中，計(jì)算機(jī)操作系統(tǒng)為Win10，CPU分別為Intel i7-9700和Intel i5-6500；GPU為NVIDIA Tesla K80；有關(guān)BVP計(jì)算的試驗(yàn)程序均在Matlab R2016b上實(shí)現(xiàn)；有關(guān)手勢(shì)識(shí)別模型的訓(xùn)練和測(cè)試試驗(yàn)程序在Python 3.7.9上實(shí)現(xiàn)，使用到的相關(guān)庫(kù)及版本號(hào)為：Numpy 1.19.2，Pandas 1.2.4，TensorFlow 2.1.0。

3.1 公開(kāi)數(shù)據(jù)集試驗(yàn)

本節(jié)試驗(yàn)所用數(shù)據(jù)集來(lái)自Widar 3.0:DataSet提供的室內(nèi)CSI手勢(shì)數(shù)據(jù)，其包含16志愿者×6手勢(shì)×5位置×5朝向×5次重復(fù)共12 000個(gè)CSI手勢(shì)數(shù)據(jù)，6種手勢(shì)分別為推&拉、右掃、拍手、劃動(dòng)、畫圓以及畫Z。

3.1.1 特征提取算法對(duì)比試驗(yàn)

試驗(yàn)分別使用動(dòng)態(tài)CSI分割模式與固定CSI分割模式在公開(kāi)CSI數(shù)據(jù)集上計(jì)算對(duì)應(yīng)的BVP特征集。為了方便表示，稱固定CSI分割模式所得BVP特征集為BVPSet，動(dòng)態(tài)CSI分割模式所得BVP特征集為DBVPSet。為了驗(yàn)證本算法的通用性，分別在GRU[13]，LSTM[9]模型以及引言中所提基于BVP提出的CNN-GRU[10]，3D-CNN[11]模型和本文所提GRI-CapNet(tf)模型上使用五折交叉驗(yàn)證進(jìn)行測(cè)試。即將BVP數(shù)據(jù)分為5份，分別取其中一份作為測(cè)試集，剩下的作為訓(xùn)練集進(jìn)行訓(xùn)練，最終計(jì)算出這5次結(jié)果的平均值作為試驗(yàn)結(jié)果。為了保證每份數(shù)據(jù)不會(huì)出現(xiàn)偏斜的情況，采用同分布采樣保證每份數(shù)據(jù)在各個(gè)手勢(shì)類別上的分布一致，最終所得結(jié)果如表1所示。

表1 特征集準(zhǔn)確率Tab.1 Accuracy of feature set 單位：%

結(jié)果表明，不同模型在DBVPSet上所得識(shí)別準(zhǔn)確率均優(yōu)于在BVPSet上所得識(shí)別準(zhǔn)確率，準(zhǔn)確率分別提升1.57%～3.34%。因此可以說(shuō)明基于動(dòng)態(tài)CSI片段分割的BVP估計(jì)算法能夠有效地提高數(shù)據(jù)支撐度，增強(qiáng)BVP與CSI間的映射關(guān)系。進(jìn)一步，統(tǒng)計(jì)了在DBVPSet上不同模型的識(shí)別延遲與內(nèi)存占用情況，如表2所示。

在計(jì)算資源有限的前提下，可用資源與服務(wù)的有效派發(fā)是一個(gè)重要問(wèn)題.依據(jù)分布式計(jì)算、并行計(jì)算、虛擬化等技術(shù)，云計(jì)算能夠有效地將服務(wù)器和計(jì)算機(jī)資源以統(tǒng)一的資源池形式進(jìn)行有機(jī)融合，根據(jù)用戶需求動(dòng)態(tài)高效地進(jìn)行資源分發(fā)，提高了資源利用率和降低了使用成本[1].這種基于共享架構(gòu)的計(jì)算模式，需要按照用戶的不同需求進(jìn)行響應(yīng)并保證服務(wù)質(zhì)量(Quality of Service， QoS)，實(shí)現(xiàn)靈活的資源分配.因此，合理且高效的云計(jì)算資源調(diào)度分配模型的設(shè)計(jì)，對(duì)于提高資源利用率和實(shí)現(xiàn)良好的用戶體驗(yàn)至關(guān)重要．

表2 識(shí)別延遲和內(nèi)存占用Tab.2 Identify latency and memory usage

從各模型占用內(nèi)存與識(shí)別延遲可以看到，本文提出的GRU-CapNet模型雖然占用內(nèi)存最大，但其識(shí)別延遲僅為4.78 ms，與其他模型僅存在不超過(guò)2.5 ms的差異，因此可認(rèn)為各模型的識(shí)別延遲處于相近水平。結(jié)合表1和表2也可以驗(yàn)證，GRU相對(duì)于LSTM有接近的性能(DBVPSet上識(shí)別準(zhǔn)確率僅相差0.42%)，同時(shí)涉及到的參數(shù)更少(占用內(nèi)存相比LSTM減少2.8 MB)。

為了更全面地比較改進(jìn)前后特征提取算法的差異，使用2臺(tái)設(shè)備進(jìn)行對(duì)照試驗(yàn)分別統(tǒng)計(jì)了不同標(biāo)準(zhǔn)長(zhǎng)度下的BVP平均計(jì)算延遲和準(zhǔn)確率。其中，設(shè)備1使用Intel i7-9700處理器，設(shè)備2使用Intel i5-6500處理器，其余軟硬件配置均相同。計(jì)算延遲與識(shí)別準(zhǔn)確率分別如表3和圖3所示。

表3 計(jì)算延遲統(tǒng)計(jì)Tab.3 Calculating latency statistics

圖3 識(shí)別準(zhǔn)確率Fig.3 Recognition accuracy

顯然，在動(dòng)態(tài)CSI分割模式下，不同設(shè)備上BVP計(jì)算延遲均顯著減少，且減少程度隨著B(niǎo)VP標(biāo)準(zhǔn)序列長(zhǎng)度的增加逐漸加大，最高減少了21.7 s。這是因?yàn)殡S著標(biāo)準(zhǔn)序列長(zhǎng)度的增加，重采樣計(jì)算所需計(jì)算的采樣點(diǎn)逐漸增多；而在動(dòng)態(tài)CSI分割模式下不再需要進(jìn)行重采樣操作，所以大幅減少了BVP計(jì)算延遲。

各模型識(shí)別準(zhǔn)確率隨標(biāo)準(zhǔn)序列長(zhǎng)度的增加出現(xiàn)先增后減的趨勢(shì)，在取值為20時(shí)均達(dá)到最大。這是因?yàn)樾蛄休^短與過(guò)長(zhǎng)情況下BVP的時(shí)間特征過(guò)度壓縮和過(guò)于分散，從而引起特征包含的有效信息不足。所以選定20作為標(biāo)準(zhǔn)序列長(zhǎng)度，此時(shí)計(jì)算延遲在不同設(shè)備上分別減少了6.6，12.1 s。

3.1.2 遷移學(xué)習(xí)對(duì)照試驗(yàn)

為了驗(yàn)證遷移學(xué)習(xí)的效果，本節(jié)進(jìn)行了遷移前后的對(duì)照試驗(yàn)，3.1.1節(jié)中已驗(yàn)證DBVPSet數(shù)據(jù)集數(shù)據(jù)支撐度更高，本節(jié)遷移學(xué)習(xí)相關(guān)試驗(yàn)均在DBVPSet上進(jìn)行，同樣地采用五折交叉驗(yàn)證。為方便對(duì)比，使用GRU-CapNet(raw)表示未使用遷移學(xué)習(xí)的GRU-CapNet原始模型，其路由迭代次數(shù)均設(shè)置為3。訓(xùn)練過(guò)程中遷移前后模型GRU-CapNet(raw)與GRU-CapNet(tf)在測(cè)試集上準(zhǔn)確率(Accuracy)隨訓(xùn)練迭代次數(shù)的變化情況如圖4所示。

圖4 準(zhǔn)確率變化曲線Fig.4 Accuracy variation curve

由圖4可知，在相同情況下，使用遷移學(xué)習(xí)使得模型在訓(xùn)練過(guò)程中的準(zhǔn)確率提升速度更快。同時(shí)可以發(fā)現(xiàn)，在使用遷移學(xué)習(xí)過(guò)后，僅需少量訓(xùn)練迭代模型識(shí)別準(zhǔn)確率即可超過(guò)90%，最終準(zhǔn)確率相比未使用遷移學(xué)習(xí)的模型提升了大約8%。訓(xùn)練過(guò)程中GRU-CapNet(raw)與GRU-CapNet(tf)的損失(Loss)隨訓(xùn)練迭代次數(shù)的變化趨勢(shì)如圖5所示。

圖5 損失變化曲線Fig.5 Loss variation curve

損失隨著訓(xùn)練迭代次數(shù)的增加呈現(xiàn)下降的趨勢(shì)，最終趨于穩(wěn)定。其中，GRU-CapNet(raw)的損失穩(wěn)定在0.1左右，GRU-CapNet(tf)的損失穩(wěn)定在0.04左右。相較于未使用遷移學(xué)習(xí)的原始模型而言，使用遷移學(xué)習(xí)后模型的整體損失更低，同時(shí)初始損失處于較低區(qū)間內(nèi)。最終GRU-CapNet(raw)與GRU-CapNet(tf)模型五折交叉驗(yàn)證的平均結(jié)果如表4所示。

表4 五折交叉驗(yàn)證平均結(jié)果Tab.4 5-fold cross-validation average results

圖6 GRU-CapNet(raw)混淆矩陣Fig.6 Confusion matrix of GRU-CapNet (raw)

圖7 GRU-CapNet(tf)混淆矩陣Fig.7 Confusion matrix of GRU-CapNet (tf)

3.2 車輛應(yīng)用場(chǎng)景試驗(yàn)

本節(jié)在家用小型轎車場(chǎng)景下應(yīng)用本文所提有關(guān)方法針對(duì)駕駛員手勢(shì)識(shí)別進(jìn)行了相關(guān)試驗(yàn)。

3.2.1 數(shù)據(jù)采集

試驗(yàn)環(huán)境為家用小轎車，車輛型號(hào)為雪佛蘭科魯茲。采用一臺(tái)路由器作為發(fā)送設(shè)備，3臺(tái)安裝有Intel 5300網(wǎng)卡的筆記本電腦作為接收設(shè)備。發(fā)包頻率為1 000 Hz，發(fā)送設(shè)備與接收設(shè)備以及被測(cè)對(duì)象的布局如圖8所示。

圖8 試驗(yàn)環(huán)境Fig.8 Test environment

測(cè)試手勢(shì)分別為揮手、畫圓、畫Z和推&拉4種，圖9為不同手勢(shì)動(dòng)作的示意圖。共有14位志愿者參與了數(shù)據(jù)采集，每人每種手勢(shì)采集了20個(gè)數(shù)據(jù)樣本，最終獲取共計(jì)1 120個(gè)手勢(shì)CSI數(shù)據(jù)。

(a) 揮手

(b) 畫圓

(c) 畫Z

(d) 推&拉圖9 手勢(shì)示意Fig.9 Hand gestures

3.2.2 結(jié)果與分析

使用動(dòng)態(tài)CSI分割模式的BVP估計(jì)算法對(duì)采集到的駕駛員手勢(shì)數(shù)據(jù)進(jìn)行處理，然后通過(guò)GRU-CapNet(tf)模型進(jìn)行識(shí)別分類。試驗(yàn)過(guò)程中使用五折交叉驗(yàn)證，同時(shí)與3.1.1節(jié)中使用到的其他模型進(jìn)行對(duì)比試驗(yàn)，其結(jié)果如表5所示。

表5 各模型識(shí)別準(zhǔn)確率Tab.5 Recognition accuracy of different models 單位：%

在車輛應(yīng)用場(chǎng)景下，GRU-CapNet(tf)的駕駛員手勢(shì)識(shí)別準(zhǔn)確率達(dá)到了97.95%，較其他模型提升6.63%～8.04%。GRU-CapNet(tf)對(duì)4種手勢(shì)的分類混淆矩陣如圖10所示。其中,推&拉動(dòng)作的識(shí)別準(zhǔn)確率最高，達(dá)到98.93%，揮手的識(shí)別準(zhǔn)確率為98.57%，畫Z的識(shí)別準(zhǔn)確率為97.5%，畫圓的識(shí)別準(zhǔn)確率最低為96.79%。

圖10 混淆矩陣Fig.10 Confusion matrix

從結(jié)果可知，本文所提方法在有限數(shù)據(jù)集上得到的性能遠(yuǎn)高于其他方法。這是因?yàn)檫w移的預(yù)訓(xùn)練模型在源領(lǐng)域已經(jīng)充分訓(xùn)練，相較于從0開(kāi)始訓(xùn)練其初始狀態(tài)已處于較高水平，因此所得結(jié)果遠(yuǎn)高于其他方法。

4 結(jié)束語(yǔ)

本文提出了一種基于膠囊網(wǎng)絡(luò)遷移學(xué)習(xí)的WiFi手勢(shì)識(shí)別方法GRU-CapNet。同時(shí)在已有BVP估計(jì)算法的基礎(chǔ)上提出了一種基于動(dòng)態(tài)CSI分割模式的BVP估計(jì)算法。通過(guò)試驗(yàn)證明，基于遷移學(xué)習(xí)的GRU-CapNet模型在數(shù)據(jù)集受限條件下性能顯著高于其他模型，在駕駛員手勢(shì)識(shí)別應(yīng)用場(chǎng)景下對(duì)手勢(shì)的識(shí)別準(zhǔn)確率達(dá)到97.95%，為手勢(shì)識(shí)別方法提供了新的思路；改進(jìn)的BVP估計(jì)算法能夠明顯提升數(shù)據(jù)支撐度且顯著減少計(jì)算延遲。在接下來(lái)的工作中，將針對(duì)BVP計(jì)算過(guò)程中延遲較高的問(wèn)題進(jìn)行進(jìn)一步研究，以提升整體識(shí)別過(guò)程的實(shí)時(shí)性。