張遠(yuǎn) 楊大林 車(chē)相豪 汪詩(shī)揚(yáng) 何子恒

摘??要：人體關(guān)鍵點(diǎn)檢測(cè)是在行為識(shí)別、動(dòng)作捕捉等領(lǐng)域有著重要作用?；谝曈X(jué)的方法會(huì)受光線環(huán)境影響，還可能會(huì)在室內(nèi)環(huán)境中引發(fā)隱私問(wèn)題，可穿戴設(shè)備的方法則不適用于非合作目標(biāo)?；诖?，提出了一種基于4D毫米波雷達(dá)點(diǎn)云的人體關(guān)鍵點(diǎn)檢測(cè)方法，分析了使用毫米波點(diǎn)云進(jìn)行關(guān)鍵點(diǎn)檢測(cè)存在的問(wèn)題。為了解決這些問(wèn)題，提出了毫米波人體關(guān)鍵點(diǎn)檢測(cè)（Millimeter?Wave?Human?Pose?Detection，mmWPose）系統(tǒng)，為了便于提取點(diǎn)云特征，設(shè)計(jì)了一種二維化方法用于處理點(diǎn)云數(shù)據(jù)，可以顯著減少模型在特征提取階段的參數(shù)量。為了進(jìn)行數(shù)據(jù)標(biāo)注，運(yùn)用跨模態(tài)監(jiān)督來(lái)訓(xùn)練目標(biāo)模型，為了增強(qiáng)目標(biāo)模型的泛化能力，設(shè)計(jì)了一個(gè)域適應(yīng)模塊協(xié)助目標(biāo)模型分辨點(diǎn)云數(shù)據(jù)中屬于環(huán)境的特征。實(shí)驗(yàn)證明，研究提出的mmWPose系統(tǒng)能夠解決毫米波點(diǎn)云存在的問(wèn)題，實(shí)現(xiàn)高精度的人體關(guān)鍵點(diǎn)檢測(cè)。

關(guān)鍵詞：毫米波雷達(dá)?人體關(guān)鍵點(diǎn)檢測(cè)?域適應(yīng)?跨模態(tài)學(xué)習(xí)?深度學(xué)習(xí)

中圖分類號(hào)：TN957.52

Human?Key?Point?Detection?Based?on?the?Deep?Learning?Method?and?the?4D?Millimeter-Wave?Radar?Point?Cloud

ZHANG?Yuan*??YANG?Dalin??CHE?Xianghao??WANG?Shiyang??HE?Ziheng

School?of?Information，?North?China?University?of?Technology，?Beijing，?100144?China

Abstract：?Human?key?point?detection?plays?an?important?role?in?fields?such?as?behavior?recognition?and?motion?capture.?Vision-based?methods?are?subject?to?the?light?environment?and?may?also?cause?privacy?issues?in?the?indoor?environment，?and?the?methods?based?on?wearable?devices?are?not?suitable?for?non-cooperative?targets.?Based?on?this，?this?article?proposes?a?method?of?human?key?point?detection?based?on?the?4D?millimeter-wave?radar?point?cloud，?and?analyzes?the?problems?of?using?the?millimeter-wave?point?cloud?for?key?point?detection.?In?order?to?address?these?issues，?this?study?proposes?a?Millimeter-Wave?Human?Pose?Detection?（mmWPose）?system，?and?in?order?to?facilitate?the?extraction?of?point?cloud?features，?it?designs?a?two-dimensional?method?for?processing?point?cloud?data，?which?can?significantly?reduce?the?number?of?parameters?in?the?model?in?the?feature?extraction?stage.?In?order?to?make?data?annotation，?it?uses?cross-modal?supervision?to?train?the?target?model，?and?in?order?to?enhance?the?generalization?ability?of?the?target?model，?it?designs?a?domain?adaptation?module?to?assist?the?target?model?in?distinguishing?the?features?belonging?to?the?environment?in?point?cloud?data.?Experiments?have?shown?that?the?mmWPose?system?proposed?in?this?study?can?solve?the?problems?of?millimeter-wave?point?clouds?and?achieve?high-precision?human?key?point?detection.

Key?Words：?Millimeter-wave?radar;?Human?key?point?detection;?Domain?adaptation;?Cross-modal?learning;?Deep?learning

人體姿態(tài)檢測(cè)技術(shù)在行為識(shí)別、跌倒檢測(cè)等實(shí)際應(yīng)用中發(fā)揮著至關(guān)重要的作用[1]?；谝曈X(jué)的人體關(guān)鍵點(diǎn)識(shí)別方法通過(guò)提取圖像中的人體相關(guān)特征來(lái)生成人體關(guān)鍵點(diǎn)信息，在私密場(chǎng)景下可能會(huì)觸及個(gè)人隱私問(wèn)題。幸運(yùn)的是，依靠電磁波媒介的探測(cè)技術(shù)或許能有所作為[2]。為了提取毫米波點(diǎn)云的特征，Sengupta?A等人[3]提出的mm-Pose，該算法使用將毫米波點(diǎn)云映射在XY，XZ兩個(gè)平面上，但會(huì)導(dǎo)致參數(shù)量冗余的問(wèn)題。由于毫米波點(diǎn)云的稀疏性，人工進(jìn)行標(biāo)注困難。由于毫米波雷達(dá)會(huì)受到環(huán)境的干擾，點(diǎn)云中可能存在環(huán)境噪聲，導(dǎo)致訓(xùn)練的模型泛化性差?[4]。

針對(duì)以上問(wèn)題，提出了毫米波人體關(guān)鍵點(diǎn)檢測(cè)（mmWPose）系統(tǒng)。為了解決點(diǎn)云稀疏而導(dǎo)致的標(biāo)注困難問(wèn)題，采用了跨模態(tài)學(xué)習(xí)方法。為了提取點(diǎn)云特征，設(shè)計(jì)了一種點(diǎn)云二維化方法，有效地減少了特征提取模塊的參數(shù)量。為了增強(qiáng)模型的泛化性，設(shè)計(jì)了一個(gè)域適應(yīng)模塊用于抑制模型對(duì)環(huán)境特征的提取，使模型在不同環(huán)境中具有適應(yīng)能力。

1技術(shù)原理

1.1??毫米波雷達(dá)數(shù)據(jù)采集

毫米波雷達(dá)可以通過(guò)發(fā)射天線發(fā)射頻率為30～300?GHz的毫米波，其通過(guò)發(fā)射天線Tx發(fā)射調(diào)頻連續(xù)波信號(hào)，接收天線Rx接收物體反射的信號(hào)來(lái)獲取數(shù)據(jù)。發(fā)射信號(hào)和接收信號(hào)在接收器處混合形成中頻（IF）信號(hào)，具體公式如下。

式（1）中：為發(fā)射信號(hào)的瞬時(shí)頻率；為接收信號(hào)的瞬時(shí)頻率；為發(fā)射信號(hào)的初始相位；為接收信號(hào)的初始相位。

通過(guò)獲取中頻信號(hào)，可以得到發(fā)射信號(hào)和接收信號(hào)之間的頻率差fIF，如式（2）所示。物體和雷達(dá)的距離由式（3）計(jì)算得出，d為物體到天線的距離，τ為啁啾信號(hào)的持續(xù)時(shí)間，B為啁啾信號(hào)的帶寬，c為光速。

通過(guò)使用2根接收天線接收相同的反射信號(hào)，可以得到兩個(gè)初始相位不同的信號(hào)，?如式（4）所示，其中λ為調(diào)頻連續(xù)波的初始波長(zhǎng)；為兩個(gè)接收天線的接收信號(hào)之間的相位差；l為2根接收天線之間的距離；θ為到達(dá)角。

如圖1所示，通過(guò)測(cè)量物體到天線的距離和角度，可以得到被測(cè)物體的三維空間坐標(biāo)，具體公式如下。

式（5）、式（6）、式（7）中：?x、y、z為檢測(cè)物體在三維空間中的坐標(biāo)；為仰角；為方位角。

2?實(shí)驗(yàn)方法

2.1點(diǎn)云數(shù)據(jù)標(biāo)準(zhǔn)化

為了對(duì)毫米波點(diǎn)云進(jìn)行特征提取，我們將毫米波雷達(dá)采集的點(diǎn)云數(shù)據(jù)映射為圖像。具體公式如下。

式（8）中：u為圖像像素的橫坐標(biāo)；v為縱坐標(biāo)；K為相機(jī)的內(nèi)參。

本文使用基于視覺(jué)的人體關(guān)鍵點(diǎn)檢測(cè)算法OpenPose[5]作為例子講述。該算法通過(guò)特征提取模塊提取特征F來(lái)預(yù)測(cè)部分親和場(chǎng)和部分預(yù)測(cè)關(guān)鍵點(diǎn)熱圖。每個(gè)部分都由若干個(gè)階段相同的結(jié)構(gòu)順序堆疊而成，結(jié)構(gòu)如圖2的關(guān)鍵點(diǎn)檢測(cè)模塊，用式（9）、式（10）表示?[6]。

式（9）、式（10）中：?t為在階段t的部分親和場(chǎng)預(yù)測(cè)函數(shù)；為在階段t的關(guān)鍵點(diǎn)熱圖預(yù)測(cè)函數(shù)；L為部分親和場(chǎng)；S為關(guān)鍵點(diǎn)熱圖

2.2跨模態(tài)學(xué)習(xí)

在模型訓(xùn)練階段，把包含知識(shí)的基于視覺(jué)的人體關(guān)鍵點(diǎn)檢測(cè)模型稱為源模型，把需要獲取的模型稱為目標(biāo)模型。如圖3所示，使用源模型對(duì)彩色圖像上的關(guān)鍵點(diǎn)進(jìn)行預(yù)測(cè)，將預(yù)測(cè)結(jié)果作為目標(biāo)模型上相應(yīng)二維圖像的標(biāo)簽。損失函數(shù)公式如下。

式（11）中：fop為跨模態(tài)學(xué)習(xí)的各階段的損失相加的總體損失

2.3域適應(yīng)模塊

域適應(yīng)部分由3個(gè)卷積層、4個(gè)全連接層和一個(gè)Softmax層組成，具體公式如下。

式（12）中：J為輸出向量的長(zhǎng)度；D為輸出向量；D*為真實(shí)向量；i為向量的第i個(gè)元素。

為了抑制特征提取模塊提取屬于環(huán)境的特征，將fa作為全局損失函數(shù)的負(fù)因子對(duì)抗模型[7]訓(xùn)練，具體公式如下。

式（13）中：μ用于調(diào)節(jié)域自適應(yīng)部分對(duì)整個(gè)模型參數(shù)的影響。

3??實(shí)驗(yàn)與分析

使用SKY32B750毫米波雷達(dá)作為點(diǎn)云數(shù)據(jù)采集設(shè)備，使用海康威視攝像機(jī)作為視覺(jué)圖像采集設(shè)備。如圖4所示，左側(cè)是雷達(dá)數(shù)據(jù)采集板，右側(cè)是攝像頭。使用筆記本電腦驅(qū)動(dòng)雷達(dá)板和攝像頭進(jìn)行數(shù)據(jù)采集，讓人在采集區(qū)域內(nèi)隨機(jī)移動(dòng)，并隨機(jī)做出各種姿勢(shì)，如舉手、抬腿、行走等。

如圖5所示，mmWPose目標(biāo)模型能夠較準(zhǔn)確地預(yù)測(cè)人體關(guān)鍵點(diǎn)。本文將mm-Pose的二維化方式與我們的方式進(jìn)行對(duì)比，如表1所示，在參數(shù)量只有其一半的情況下，本文的方法實(shí)現(xiàn)了相當(dāng)?shù)臋z測(cè)性能。為了展示域適應(yīng)模塊的性能，本文將其與未添加域適應(yīng)模塊的模型進(jìn)行比較，如圖6所示，mmWPose*表示添加域適應(yīng)模塊的目標(biāo)模型性能，由此可以看出，加入域適應(yīng)模塊后，模型對(duì)各個(gè)關(guān)節(jié)的預(yù)測(cè)精度都有所提高。

4??結(jié)論

為了解決現(xiàn)有的毫米波點(diǎn)云人體關(guān)鍵點(diǎn)檢測(cè)存在的問(wèn)題，本文提出一種二維化點(diǎn)云的方法，使點(diǎn)云特征提取能夠使用基于視覺(jué)的特征提取方法。使用跨模態(tài)學(xué)習(xí)的方式訓(xùn)練目標(biāo)模型，實(shí)現(xiàn)了較高的人類關(guān)鍵點(diǎn)預(yù)測(cè)精度。本研究模型中加入了域適應(yīng)模塊用于抑制環(huán)境特征，提高了模型的魯棒性，能夠進(jìn)一步增強(qiáng)現(xiàn)有的毫米波點(diǎn)云人體關(guān)鍵點(diǎn)檢測(cè)方案的性能。

參考文獻(xiàn)

• ZHAO?M，?LI??T，?ALSHEIKH??M?A，?et?al.?Through-Wall?Human?Pose?Estimation?Using?Radio?Signals[C]//Proceedings?of?the?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition?（CVPR）.?Salt?Lake?City，?UT，?USA，?2018：?7356-7365.
• LI?Z，?GAO?Y，?HONG?Q，?et?al.?Keypoint3D：?Keypoint-Based?and?Anchor-Free?3D?Object?Detection?for?Autonomous?Driving?with?Monocular?Vision[J].?Remote?Sensing，?2023，?15（5）：?1210.
• Sengupta??A?，?Jin?F?，?Zhang?R.?mm-Pose：?Real-Time?Human?Skeletal?Posture?Estimation?Using?mmWave?Radars?and?CNNs[J].?IEEE?Sensors?Journal，?2020：?10032-10044.
• Gochoo?M，?Akhter?I，?Jalal?A，?et?al.?Stochastic?Remote?Sensing?Event?Classification?over?Adaptive?Posture?Estimation?via?Multifused?Data?and?Deep?Belief?Network[J].?Remote?Sensing，?2021，?13（5）：?912.
• CAO?Z，?SIMON?T，?WEI?S-E，?et?al.?Realtime?Multi-Person?2D?Pose?Estimation?Using?Part?Affinity?Fields[C]//Proceedings?of?the?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition?（CVPR）.?Honolulu，?HI，?USA，?2017：?7291-7299.
• TIAN?C，?YU?R，?ZHAO?X，?et?al.?Posedet：?Fast?Multi-Person?Pose?Estimation?Using?Pose?Embedding[C]//Proceedings?of?the?2021?16th?IEEE?International?Conference?on?Automatic?Face?and?Gesture?Recognition?（FG?2021）.?Jodhpur，?India，?2021：?1-8.
• CAO?Z，?LONG?M，?WANG?J，?et?al.?Partial?Transfer?Learning?with?Selective?Adversarial?Networks[C]//Proceedings?of?the?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition?（CVPR）.?Salt?Lake?City，?UT，?USA，?2017：?2724-2732.