陳濤，張法桐，劉子銘

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

手勢識別技術(shù)在非接觸式的人機交互中的應(yīng)用價值廣泛，可用于智能家居[1-2]、虛擬現(xiàn)實[3]、智能駕駛[4-5]、游戲控制[6]等多種應(yīng)用場景。FMCW 毫米波雷達具有硬件成本低，測距、測速方案簡單，抗干擾能力強，可全天候工作且不會泄露用戶隱私等優(yōu)點，在手勢識別的應(yīng)用上具有可觀的應(yīng)用前景。

FMCW 毫米波雷達是一種可以從目標(biāo)回波中估計目標(biāo)的距離、速度、角度信息的一種傳感器，文獻[7-8]介紹了傳統(tǒng)FMCW 雷達的調(diào)制波形，討論了FMCW 信號的混頻和調(diào)制原理?；诤撩撞ɡ走_的手勢識別技術(shù)主要通過在回波中提取手勢動作的距離、速度甚至角度等信息進行估計后得到特征譜圖，然后將特征譜圖以圖片數(shù)據(jù)集的形式使用支持向量機(support vector machine,SVM)[9]或者卷積神經(jīng)網(wǎng)絡(luò)[10-16]等分類器進行識別。谷歌公司在Soli 項目[10-11]中采用了帶寬高達7 GHz 的毫米波雷達對手勢識別進行了研究，利用卷積神經(jīng)網(wǎng)絡(luò)將連續(xù)時刻的距離-多普勒像逐幀特征提取，再利用循環(huán)神經(jīng)網(wǎng)絡(luò)對時序特征進行提取后進行手勢分類。文獻[12]利用短時傅里葉變換(short-time Fourier transform,STFT)對雷達回波信號進行時頻分析，得到多普勒譜，并將多普勒譜圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)實現(xiàn)了手勢識別。文獻[13]通過對混頻后的中頻信號進行2 維快速傅里葉變換獲取手勢的距離多普勒圖像，以2 維距離多普勒像構(gòu)建數(shù)據(jù)集，并輸入卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練。文獻[14]通過時頻分析和多重信號分類方法估計了手勢的距離、速度以及角度信息，構(gòu)建了多維參數(shù)輸入的卷積神經(jīng)網(wǎng)絡(luò)，對估計的信息進行了分類；文獻[15]提出了微動手勢的特征提取的最優(yōu)參數(shù)設(shè)置準(zhǔn)則，利用多特征譜圖進行了微動手勢識別。靳標(biāo)等[16]提出了一種串聯(lián)式一維神經(jīng)網(wǎng)絡(luò)的手勢識別方法，該方法對雷達回波直接進行卷積池化，通過1 維Inception 模塊后，利用長短時記憶網(wǎng)絡(luò)進行分類。本文在距離多普勒圖的基礎(chǔ)上，提取了距離、速度變化的時序信息并使用全局池化代替扁平層與全連接層構(gòu)建了雙通道的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)了手勢識別。

1 FMCW 毫米波雷達原理分析

1.1 雷達平臺參數(shù)設(shè)值

本文采用的FMCW 毫米波雷達設(shè)備為TI 公司的IWR1642-BOOST 開發(fā)板，支持77～81 GHz 的調(diào)頻帶寬，在水平方向具有±60°的視場，支持最多2 個發(fā)射天線4 個接收天線。本文僅使用了1 個發(fā)射天線，僅讀取了1 個接收天線的數(shù)據(jù)。波形配置圖如圖1 所示。

圖1 毫米波雷達脈沖配置

從圖1 可以看出，數(shù)模轉(zhuǎn)換器(analog-todigital converter，ADC)會在上升時間之內(nèi)的一段時間內(nèi)進行采樣。可以通過配置采樣點數(shù)NADC以及采樣率Fs來計算采樣時間TADC：

在采樣時間確定之后，可以通過設(shè)置信號的調(diào)頻斜率K來得到有效的調(diào)頻帶寬B：

在得到有效調(diào)頻帶寬后可求得距離分辨率dres：

式中c為光速。

FMCW 毫米波雷達會發(fā)射M個圖2 形式的線性調(diào)頻脈沖幀,根據(jù)FMCW 毫米波雷達測速原理，可以通過配置圖1 中的調(diào)頻周期Tc(chirp cycle time)，求得最大測量速度vmax：

圖2 線性調(diào)頻脈沖幀

式中 λ為載波頻率對應(yīng)的波長。

可以通過配置每幀的調(diào)頻脈沖數(shù)Nchirp來求得速度分辨率vres：

本文中的雷達參數(shù)為：調(diào)頻起始頻率f0，77 GHz；調(diào)頻斜率K，66.6 MHz/μs；調(diào)頻周期Tc，160 μs；ADC 采樣率，5 MS/s;ADC 采樣點數(shù)，256；幀數(shù)，64 f;每幀脈沖數(shù)，128。

結(jié)合雷達參數(shù)配置，根據(jù)式（1）求得距離分辨率：

根據(jù)式（2）求得可觀測最大速度：

根據(jù)式（3）求得速度分辨率：

1.2 手勢成像原理

在一個調(diào)頻周期內(nèi)，雷達發(fā)射的FMCW 信號可以表示為

式中：t為一個調(diào)頻周期內(nèi)的快時間索引，AT為發(fā)射信號振幅，fc為載波中心頻率。

由發(fā)射信號可以將目標(biāo)場景反射信號表示為

式中：AR為接收信號振幅；Δt為信號飛行時間，Δt=2R/C；R為目標(biāo)相對雷達的徑向距離；K(τ-Δt)為 τ時刻接收信號頻率；Δfd為多普勒頻移。

接收機將目標(biāo)場景反射的回波信號與發(fā)射信號進行混頻和低通濾波后得到中頻信號，近似為

式中fIF=KΔt為t時刻中頻信號的頻率。所以，得到的中頻信號的相位可表示為

式中：fcΔt相對于快時間來說為一常量，可認(rèn)為是初相；fIF只與調(diào)頻周期內(nèi)對應(yīng)的快時間索引有關(guān)，由于Tc很小，通常假定一個調(diào)頻周期內(nèi)多普勒頻移 Δfd是恒定的，則可通過對快時間域進行快速傅里葉變換求得到與目標(biāo)距離相關(guān)的中頻信號頻率分布；當(dāng)不同調(diào)頻周期的fIF固定時，即距離相同時，Δfd僅與調(diào)頻周期之間對應(yīng)的慢時間索引有關(guān)，從而在慢時間域進行快速傅里葉變換可以得到與目標(biāo)速度相關(guān)的多普勒頻移分布。

為了實現(xiàn)上述方法，需要將雷達回波處理成為一個矩陣的形式：矩陣的每一列代表快時間方向上Nadc個采樣點，每一行代表慢時間不同的Nchirp個脈沖信號的回波在相同快時間處的值。

以幀為單位處理信號，可得到M個Nadc×Nchirp的矩陣。對每一個矩陣快時間維做FFT 即可得到M個二維距離譜圖，后對二維距離譜圖進行自相關(guān)，抑制背景噪聲。假設(shè)每幀內(nèi)的目標(biāo)距離相同，對得到的每一個二維距離譜圖抽取第1 列后，按幀拼接，得到距離-時間譜。

對二維距離譜圖，在慢時間方向做FFT 即可得到距離-多普勒圖，將多個距離多普勒圖按行累加后轉(zhuǎn)置得到多個列向量，將多個列向量按幀拼接即得到速度-時間譜圖。

最終得到的手勢特征圖大小均為64×64。圖3 給出了手勢動作的示意圖以及手勢動作的回波特征圖。本文將雷達前的人也考慮在內(nèi)，即距離隨時間變化圖(range-time map，RTM)中距離不變的橫線，以及速度隨時間變化圖(Doppler-time map，DTM)中速度為0 的橫線。

圖3 7 種手勢示意及對應(yīng)的2 種特征圖

2 卷積神經(jīng)網(wǎng)絡(luò)

在利用上述方法得到特征圖后，需要利用卷積神經(jīng)網(wǎng)絡(luò)進行學(xué)習(xí)，在學(xué)習(xí)前首先需要建立樣本集供神經(jīng)網(wǎng)絡(luò)訓(xùn)練。本文通過4 名志愿者對7 種手勢進行樣本集構(gòu)建。每種手勢200 個樣本，構(gòu)建了各有1 400 個樣本的2 個數(shù)據(jù)集RTM、DTM，在此基礎(chǔ)上構(gòu)建了二維的數(shù)據(jù)集，將其命名為MUL，MUL 中每種手勢由2 個特征圖表征。

對于RTM 和DTM 數(shù)據(jù)集，本文使用了全局平均池化層來代替扁平層以及全連接層，搭建了3 個卷積-池化層的單通道卷積神經(jīng)網(wǎng)絡(luò)。本文所使用的單通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如表1 所示。

表1 單通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文使用表1 所示的網(wǎng)絡(luò)分別對由RTM 和DTM 特征圖構(gòu)建的樣本集進行了訓(xùn)練。同時基于表1 網(wǎng)絡(luò)構(gòu)建了雙通道的卷積神經(jīng)網(wǎng)絡(luò)，對本文構(gòu)建的二維手勢樣本集MUL 進行了訓(xùn)練，進而驗證雙通道神經(jīng)網(wǎng)絡(luò)對訓(xùn)練結(jié)果的影響。本文所構(gòu)建的雙通道的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 雙通道卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗結(jié)果

3.1 實驗平臺

使用了TI 公司的DCA1000EVM 高速數(shù)據(jù)采集卡獲取毫米波雷達中頻信號采樣后的ADC 原始數(shù)據(jù)，并經(jīng)過千兆網(wǎng)口傳輸?shù)絇C 端(Windows10 64 位操作系統(tǒng)，NVIDIA GeForce GTX 1 050 顯卡)，在Matlab 2020a 中進行數(shù)據(jù)處理，建立數(shù)據(jù)集后使用Tensorflow2.1 深度學(xué)習(xí)框架搭建了神經(jīng)網(wǎng)絡(luò)，并使用本文的樣本集對網(wǎng)絡(luò)進行了學(xué)習(xí)分類。

3.2 單通道卷積神經(jīng)網(wǎng)絡(luò)驗證

在單輸入的網(wǎng)絡(luò)驗證中，對RTM 與DTM 這2 種特征圖的操作相同。每種數(shù)據(jù)集具有1 120個訓(xùn)練樣本以及280 個測試樣本。使用Adam 的優(yōu)化算法，初始學(xué)習(xí)率設(shè)置為0.001，選取了指數(shù)型學(xué)習(xí)率衰減的方法，使學(xué)習(xí)率在100 個epoch內(nèi)連續(xù)衰減10%，設(shè)置的批尺寸為8。從圖5 中可以看出卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練在測試集的準(zhǔn)確率隨迭代步數(shù)的變化情況。

圖5 單通道網(wǎng)絡(luò)在RTM 和DTM 中的準(zhǔn)確率對比

從圖5 中可以看出，卷積神經(jīng)網(wǎng)絡(luò)對在對本文建立的樣本集進行訓(xùn)練的最終識別率達到了95%以上，DTM 數(shù)據(jù)集與RTM 數(shù)據(jù)集的訓(xùn)練結(jié)果近似相同，且2 種數(shù)據(jù)集在進行了40 個epoch后均達到了收斂。

3.3 雙通道卷積神經(jīng)網(wǎng)絡(luò)驗證

雙通道網(wǎng)絡(luò)同樣使用Adam 優(yōu)化算法，初始學(xué)習(xí)率設(shè)置為0.001，選取指數(shù)型學(xué)習(xí)率衰減的方法，使學(xué)習(xí)率在100 個epoch 內(nèi)連續(xù)衰減10%，設(shè)置批尺寸為8。

測試集的準(zhǔn)確率隨迭代步數(shù)的變化如圖6 中MUL 所示。

圖6 不同方法訓(xùn)練結(jié)果對比

從圖6 中可以看出，雙通道的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在測試集上的準(zhǔn)確率達到了近99%，相較于單通道神經(jīng)網(wǎng)絡(luò)，最終的識別率提升了近4%。由于網(wǎng)絡(luò)的優(yōu)化算法、學(xué)習(xí)率、衰減率等沒有改變，所以2 種網(wǎng)絡(luò)的收斂速度幾乎相同，只是第2 種的網(wǎng)絡(luò)規(guī)模是第1 種的2 倍，所以在網(wǎng)絡(luò)訓(xùn)練時多輸入網(wǎng)絡(luò)用的時間是單輸入的2 倍。本文參考搭建了文獻[13]中的單通道的僅兩層卷積層的網(wǎng)絡(luò)模型，并在此基礎(chǔ)上搭建了雙通道網(wǎng)絡(luò)模型，2 種模型在本文數(shù)據(jù)集（單通道對比模型使用RTM 數(shù)據(jù)集訓(xùn)練）中的訓(xùn)練結(jié)果分別如圖6 中的單通道對比網(wǎng)絡(luò)及雙通道對比網(wǎng)絡(luò)所示。

4 結(jié)論

本文的FMCW 雷達手勢識別系統(tǒng)將人體作為參考特征，構(gòu)建了手勢動作的距離-時間、速度-時間特征圖，使用全局平均池化層代替扁平層與全連接層的情況下構(gòu)建了雙通道的卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)使用本文構(gòu)建的數(shù)據(jù)集訓(xùn)練，最終在測試集上達到了99%的識別率，相較于單通道的卷積神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練集上的準(zhǔn)確率提高了近4%。通過與其他方法對比可以得出：1）網(wǎng)絡(luò)模型對不同的數(shù)據(jù)集將會產(chǎn)生不同的結(jié)果；2）卷積層數(shù)增多會提取到更深層的信息，進而在一定條件下得到更好的擬合結(jié)果；3）驗證了聯(lián)合多特征的識別方法優(yōu)于單特征的識別方法。