周萬珍 袁志鑫 王建霞
摘?要:
為了改善目前大眾跑步姿勢普遍不規(guī)范的現(xiàn)狀,提出了一種基于CenterNet的跑步姿態(tài)鑒別系統(tǒng)。首先,通過截圖、拍照的方式自制數(shù)據(jù)集,并對數(shù)據(jù)集進(jìn)行清洗、標(biāo)注和分析,消除數(shù)據(jù)無關(guān)信息與簡化數(shù)據(jù)。其次,引入多尺度通道注意力機(jī)制與添加十字星變形卷積2種方式改進(jìn)CenterNet算法模型,將動(dòng)作圖像轉(zhuǎn)化為數(shù)字信息和特征向量,并以此為基礎(chǔ),利用KNN(K-nearest neighbors)算法對跑步姿態(tài)類型進(jìn)行分類。最后,與經(jīng)典模型方案進(jìn)行對比,驗(yàn)證改進(jìn)CenterNet算法鑒別系統(tǒng)的有效性。結(jié)果表明:改進(jìn)的CenterNet模型的精確率與召回率都有所提升,其參數(shù)量與計(jì)算量降低。所提算法模型能夠?qū)Υ蠖鄶?shù)不良姿勢作出及時(shí)、準(zhǔn)確反饋,有效幫助跑步愛好者發(fā)現(xiàn)問題,從而改善跑步姿態(tài)、提高運(yùn)動(dòng)效率、預(yù)防傷病。
關(guān)鍵詞:
計(jì)算機(jī)圖像處理;人體行為識別;跑步姿態(tài);CenterNet;人體關(guān)節(jié);注意力機(jī)制
中圖分類號:TP391??文獻(xiàn)標(biāo)識碼:A
DOI: 10.7535/hbgykj.2024yx01002
Design of running posture identification system based on CenterNet
ZHOU Wanzhen, YUAN Zhixin, WANG Jianxia
(School of Information Science and Engineering,Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China)
Abstract:
Inorder to improve the current situation that the public running posture is generally not standardized, this paper proposed a running posture identification system based on CenterNet. Firstly, a dataset was created by taking screenshots and photos, and was cleaned, annotated, and analyzed the dataset to eliminate data-independent information and simplify the data. Secondly, the CenterNet algorithm model was improved by introducing multi-scale channel attention mechanism and adding cross star deformation convolution to transform the action image into digital information and feature vector. Then, KNN (K-nearest neighbors) algorithm was used to classify the running posture types. Finally, compared with the classical model scheme, the effectiveness of the improved CenterNet algorithm identification system was verified. The experimental results show that the accuracy and recall rates of the improved CenterNet model are improved, and the parameter quantity and calculation amounts are reduced. It can provide timely and accurate feedback on most bad postures, and can also effectively help running enthusiasts find problems, thereby improving running posture, improving exercise efficiency, and preventing injuries.
Keywords:
computer image processing; human behavior recognition; running posture; CenterNet; human joints; attention mechanism
跑步作為目前最普遍的鍛煉方式之一,優(yōu)點(diǎn)是簡單易行、無需器械,但是如果跑步姿態(tài)不正確,不僅會(huì)影響到鍛煉的效果,甚至?xí)ι眢w健康造成傷害。研究表明,有近一半的跑步愛好者會(huì)遭遇運(yùn)動(dòng)損傷[1],良好的跑步姿態(tài)一定是運(yùn)動(dòng)過程中最需要注意的,然而依靠人工鑒別的方式,不僅需要完備的相關(guān)專業(yè)知識,而且費(fèi)時(shí)費(fèi)力,對于跑步愛好者并不是最優(yōu)選擇。
將人體行為識別(human action recognition,HAR)[2]技術(shù)應(yīng)用到跑步姿態(tài)的識別中,其行為識別的主要目標(biāo)是在輸入的包含一個(gè)或者多個(gè)行為的視頻中,正確分析各種行為動(dòng)作[3]。HAR技術(shù)在視頻監(jiān)控、人機(jī)交互及虛擬現(xiàn)實(shí)等方面都有所應(yīng)用[4]。
計(jì)算機(jī)技術(shù)與體育運(yùn)動(dòng)的結(jié)合正在逐步發(fā)展。YANG等[5]基于卷積神經(jīng)網(wǎng)絡(luò)識別健身動(dòng)作,YU等[6]基于RFPose-OT算法從射頻信號中進(jìn)行人體姿態(tài)估計(jì)。以上研究表明了兩者結(jié)合的可行性與適配性。
常用的人體行為識別技術(shù)算法有CenterNet[7]、YOLO[8]、OpenPose[9]等。然而計(jì)算機(jī)技術(shù)在跑步姿態(tài)方面的應(yīng)用很少。顧蒙蒙[10]基于kinovea軟件建立的跑步姿態(tài)監(jiān)測系統(tǒng),僅對應(yīng)跑步機(jī)情景,并且只檢測手臂部分,存在局限性,無法適用更加普遍的跑步情境與跑步姿態(tài)。
動(dòng)作捕捉傳感器[11]是一種可用于運(yùn)動(dòng)識別的技術(shù),但是其設(shè)備成本較高,且佩戴后影響運(yùn)動(dòng)體驗(yàn)感。
為了解決以上問題,本文設(shè)計(jì)一種基于CenterNet的跑步姿態(tài)鑒別系統(tǒng),基于CenterNet模型,并且在模型基礎(chǔ)上添加金字塔切分注意力模塊(pyramid split attention,PSA)[12]與十字星變形卷積(cross-star deformable convolution)模塊[13];使用KNN(K-nearest neighbors)算法作為動(dòng)作分類器;自建跑步姿態(tài)數(shù)據(jù)集,將錯(cuò)誤姿態(tài)分類,訓(xùn)練模型。
目的在于幫助跑步愛好者發(fā)現(xiàn)不良姿態(tài),從而改善跑姿,相比其他方式無需私人教練,更加方便快捷;無需昂貴裝備,性價(jià)比更高;無需相關(guān)知識儲(chǔ)備,使用門檻更低。
1?跑步姿態(tài)鑒別系統(tǒng)
跑步姿態(tài)鑒別系統(tǒng)的工作流程如圖1所示。首先,輸入視頻圖像文件,對圖像進(jìn)行預(yù)處理,例如灰度化、幾何變換等方式,目的是消除無關(guān)信息,簡化數(shù)據(jù)[14];其次,利用姿態(tài)估計(jì)模型對其進(jìn)行特征提取,檢測目標(biāo),識別出人體關(guān)節(jié)點(diǎn);最后,在提取出跑步姿態(tài)的動(dòng)作特征之后,使用動(dòng)作分類器進(jìn)行判斷、歸類動(dòng)作類型(即動(dòng)作是否存在錯(cuò)誤),然后輸出當(dāng)前的跑步姿態(tài)。
2?人體關(guān)節(jié)點(diǎn)檢測
2.1?人體關(guān)節(jié)點(diǎn)
把跑步過程中復(fù)雜的人體模型簡化,標(biāo)記人體關(guān)節(jié)為關(guān)鍵點(diǎn)[14]。由FUJIYOSHI等[15]創(chuàng)造出的經(jīng)典五關(guān)節(jié)星形圖,將人體五關(guān)節(jié)標(biāo)記為矢量,從骨架化線索中獲取動(dòng)作。應(yīng)用卷積神經(jīng)網(wǎng)絡(luò),將人體關(guān)節(jié)點(diǎn)方式與深度學(xué)習(xí)方法進(jìn)行有效結(jié)合,獲得了高效高精度的識別效果[16],便于觀察關(guān)節(jié)角度、運(yùn)動(dòng)軌跡及相對位置,從而推斷出動(dòng)作類型[17]。
2.2?特征提取
特征提取的目的是將抽象的圖像信息轉(zhuǎn)化為可視化的數(shù)字信息表示,通過將人體關(guān)鍵節(jié)點(diǎn)轉(zhuǎn)換為特征向量,獲取這些關(guān)鍵節(jié)點(diǎn)的相對位置以及方向信息[18]。
使用CenterNet模型進(jìn)行特征提取。CenterNet具有3種骨干網(wǎng)絡(luò),分別是ResNet、DLA(deep layer aggregation)和Hourglass[19]。其中Hourglass繼承于CornerNet模型[20],是一種嵌套遞歸網(wǎng)絡(luò)結(jié)構(gòu),常用于人體姿態(tài)估計(jì)。最基礎(chǔ)的一階Hourglass模塊如圖2所示。
二階Hourglass模塊將最中間的residual module(殘差模塊)替換為一階Hourglass模塊,以此遞歸,此處使用的是四階Hourglass模塊,如圖3所示。虛線部分為一階Hourglass模塊。如圖3所示,左邊是連續(xù)的下采樣,所以從左到中間,維度增加,特征圖變小,而右邊是連續(xù)的上采樣,從中間到右,維度減少,特征圖變大,其結(jié)構(gòu)形似沙漏,所以被稱為沙漏網(wǎng)絡(luò)。多個(gè)沙漏網(wǎng)絡(luò)堆疊在一起被稱為Stacked Hourglass(堆疊沙漏)。
3?CenterNet模型改進(jìn)
3.1?金字塔切分注意力模塊
已有研究表明,引入通道注意力機(jī)制可以有效提升卷積神經(jīng)網(wǎng)絡(luò)的性能[21]。基于CenterNet目標(biāo)檢測算法引入多尺度通道注意力機(jī)制,即金字塔切分注意力模塊(PSA 模塊),用PSA模塊替換了殘差模塊中3×3卷積操作[12],如圖4所示。
PSA模塊是在通道注意力的基礎(chǔ)上進(jìn)行改進(jìn),加入多尺度思想,處理多尺度輸入特征圖的空間信息,并且能夠有效建立多尺度通道注意力之間的長期依賴關(guān)系。PSA模塊如圖5所示。
PSA模塊主要通過以下4個(gè)步驟實(shí)現(xiàn)。
1)由SPC模塊切分通道為若干份,分別進(jìn)行不同卷積核卷積,然后針對不同特征圖的空間信息進(jìn)行多尺度特征提取。
2)利用SEWeight模塊提取不同尺度特征圖的通道注意力,得到不同尺度特征圖上的通道注意力權(quán)重。
3)將各個(gè)通道注意力權(quán)重拼接,進(jìn)行Softmax歸一化,對多尺度通道注意力權(quán)重進(jìn)行特征重新標(biāo)定,得到新的多尺度通道交互之后的注意力權(quán)重。
4)與SEWeight模塊類似,對重新校準(zhǔn)的權(quán)重和相應(yīng)的特征圖按元素進(jìn)行點(diǎn)乘操作,輸出得到一個(gè)多尺度特征信息注意力加權(quán)之后的特征圖,該特征圖多尺度信息表示能力更豐富。
3.2?十字星變形卷積模塊
十字星變形卷積是一種針對角點(diǎn)預(yù)測的變形卷積,能夠增強(qiáng)角點(diǎn)位置的特征,借此確定目標(biāo)位置。十字星變形卷積模塊如圖6所示。
在CenterNet中輸入一張圖片,首先使用Hourglass網(wǎng)絡(luò)提取特征圖,特征圖經(jīng)過角點(diǎn)池化,輸出角點(diǎn)熱圖,然后找到目標(biāo)的左上角和右下角,由此確定目標(biāo)位置,得到目標(biāo)的邊界框。因?yàn)榻?jīng)過角點(diǎn)池化后,目標(biāo)信息會(huì)在水平方向和垂直方向上傳遞,所以輸出的特征圖會(huì)呈現(xiàn)十字星現(xiàn)象,十字星的邊界包含著豐富的上下文信息,掌握這些信息可以更加準(zhǔn)確地定位目標(biāo)位置。
對于左上角點(diǎn)而言,目標(biāo)的位置一定位于十字星坐標(biāo)的第4象限,所以十字星的右下部分信息是有效的。而左上部分邊界特征所蘊(yùn)含的信息則是相對無用的,如圖7所示。而對于右下角點(diǎn)則反之。所以通過引入偏移引導(dǎo)(guiding shift)向目標(biāo)中心點(diǎn)偏移,可以更加高效地獲取目標(biāo)信息,經(jīng)過3個(gè)卷積層得到最終偏移值(offset field),從而確定角點(diǎn)位置,有利于捕捉目標(biāo)。
3.3?動(dòng)作分類器
3.3.1?KNN算法
KNN算法是一種分類算法。在特定空間中,如果一個(gè)樣本與數(shù)據(jù)集中的k個(gè)樣本最相似, k個(gè)樣本中的大多數(shù)屬于某一個(gè)類別, 則該樣本屬于這個(gè)類別。距離越近,就越相似,屬于這一類的可能性就越大。
由于跑步是一個(gè)循環(huán)動(dòng)作,并且錯(cuò)誤動(dòng)作之間的相似度很高,所以即使在數(shù)據(jù)集較少的情況下依然可以保持一定的準(zhǔn)確率,在一定程度上規(guī)避了KNN計(jì)算復(fù)雜度較高的問題。
KNN模型通過計(jì)算輸入圖像的特征向量與已經(jīng)訓(xùn)練樣本的特征向量之間的歐氏距離,可以得到輸入圖像與訓(xùn)練樣本的相似度,進(jìn)一步可以得到此次動(dòng)作分類的置信度:與輸入圖像相似度最高的k個(gè)訓(xùn)練樣本中,有a個(gè)樣本屬于stride(跨步),則輸入圖像被分類為stride(跨步)的置信度(confidence)為
confidence(stride)=ak。(1)
置信度代表了此次分類輸出結(jié)果的可信程度,其中k是分類器設(shè)置的最鄰近數(shù)量。
3.3.2?基本跑步姿態(tài)
主要針對的是長跑與慢跑狀態(tài)下的跑步姿態(tài),相比于短跑與沖刺的姿態(tài)有所區(qū)別,良好姿勢能夠幫助跑步者在跑步過程中在減少傷病風(fēng)險(xiǎn)、關(guān)節(jié)壓力的同時(shí),提升跑步者整體姿態(tài)的流暢性[22]。
1)頭部正常抬起,平視前方,頸部不要前探。擺臂是以肩為軸的前后動(dòng)作,不應(yīng)左右擺動(dòng),前后動(dòng)作幅度不超過身體正中線,肘關(guān)節(jié)角度約為90°。
2)肩部適當(dāng)放松,避免含胸。腰部自然直立,不要俯身、彎腰或者后仰。
3)大腿和膝做前擺,而非刻意上抬,支撐腳應(yīng)落在靠近身體重心垂線的位置。
4?模型實(shí)驗(yàn)與結(jié)果分析
4.1?實(shí)驗(yàn)環(huán)境
實(shí)驗(yàn)環(huán)境配置如表1所示。實(shí)驗(yàn)基于改進(jìn)的CenterNet模型由Python語言實(shí)現(xiàn)。
4.2制作數(shù)據(jù)集
1)圖像獲取?目前并沒有專門面向跑步姿態(tài)的公開數(shù)據(jù)集,實(shí)驗(yàn)所用數(shù)據(jù)集是實(shí)驗(yàn)人員模擬跑步時(shí)可能會(huì)出現(xiàn)的錯(cuò)誤姿態(tài),錄制視頻、提取圖片而得。
2)數(shù)據(jù)清洗?減少重復(fù)圖像,避免無意義的重復(fù)造成數(shù)據(jù)冗余;去除錯(cuò)誤或異常圖像,提高數(shù)據(jù)集的質(zhì)量。
3)數(shù)據(jù)標(biāo)注?將錯(cuò)誤動(dòng)作主要分類為高抬腿(high knee lift)、過度擺臂(overswing arm)、未擺臂(unswung arm)、步點(diǎn)超前(stride)、身體傾斜(forward leaning)5種不良姿態(tài)。
4)圖像灰度化?將彩色圖像轉(zhuǎn)化為灰度圖像,使得圖像一個(gè)像素點(diǎn)的顏色變化范圍大幅縮小,從而降低圖片信息含量、簡化矩陣、提高運(yùn)算速度。
5)圖像歸一化?將不同標(biāo)準(zhǔn)的圖像變換為一種固定標(biāo)準(zhǔn)形式,將特征值大小調(diào)整到相近的范圍,可以增強(qiáng)訓(xùn)練網(wǎng)絡(luò)的收斂性、加快訓(xùn)練速度。
4.3?改進(jìn)實(shí)驗(yàn)與結(jié)果分析
在目標(biāo)檢測時(shí)會(huì)出現(xiàn)以下4種情況:正類預(yù)測為正類、正類預(yù)測為負(fù)類;負(fù)類預(yù)測為正類、負(fù)類預(yù)測為負(fù)類。精確率(precision,P)是指在被所有預(yù)測為正樣本中實(shí)際為正樣本的概率,而召回率(recall,R)是指正確預(yù)測為正類樣本的數(shù)目占樣本中所有正類的數(shù)量。兩者的計(jì)算公式如式(2)、式(3)所示。
P=TPTP+FP,(2)
R=TPTP+FN,(3)
式中:TP表示正類樣本被模型正確識別的數(shù)量;FP表示負(fù)類樣本被模型錯(cuò)誤地識別為正類樣本的數(shù)量;FN表示正類樣本被模型錯(cuò)誤地識別為負(fù)類樣本的數(shù)量。
分別針對CenterNet模型、加入PSA模塊的模型、加入十字星變形卷積的模型以及改進(jìn)的CenterNet模型進(jìn)行精確率測試實(shí)驗(yàn),結(jié)果如表2所示。
由表2可知,加入PSA模塊與十字星形卷積,提高了模型的精確率。其平均精確率(AP)在改進(jìn)后較原始模型算法均有所提升。
目標(biāo)檢測過程中會(huì)遺漏部分目標(biāo)樣本,在CenterNet模型中加入十字星變形卷積,增強(qiáng)角點(diǎn)特征,提升平均召回率AR。實(shí)驗(yàn)結(jié)果如表3所示。在檢測數(shù)量分別為1、10、100情況下,改進(jìn)的CenterNet較CenterNet的AR分別提升了1.1個(gè)百分點(diǎn)、2.1個(gè)百分點(diǎn)和0.6個(gè)百分點(diǎn)。
改進(jìn)的CenterNet模型參數(shù)量與計(jì)算量如表4所示。與CenterNet模型相比,改進(jìn)的CenterNet模型參數(shù)量下降了約8%,計(jì)算量下降了的9%,節(jié)省了一定資源。
如表5所示,改進(jìn)的CenterNet模型對比雙階段經(jīng)典算法Faster-RCNN以及YOLO系列的YOLOv5都有著一定優(yōu)勢。
4.4?模型訓(xùn)練與結(jié)果分析
將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集,比例大約為8∶1∶1;圖片大小一致,均為544 px×960 px;批次大小為32張,表示單次傳遞給程序用以訓(xùn)練的數(shù)據(jù)(樣本數(shù));訓(xùn)練輪數(shù)即迭代次數(shù),值為100;初始學(xué)習(xí)率為0.001。將數(shù)據(jù)集輸入改進(jìn)后的網(wǎng)絡(luò)模型中開始訓(xùn)練。每次訓(xùn)練網(wǎng)絡(luò)模型都會(huì)計(jì)算此次的AP值,與之前比較,最終得出最好的訓(xùn)練模型結(jié)果。模型訓(xùn)練參數(shù)設(shè)置,如表6所示。
4.5?跑步姿態(tài)識別測試實(shí)驗(yàn)與結(jié)果分析
模型訓(xùn)練完成之后,選用訓(xùn)練效果最好的模型進(jìn)行實(shí)驗(yàn),輸入圖片或者視頻資料,查看識別結(jié)果。
跑步姿態(tài)識別測試的截圖如圖8所示。
由圖8可知,最終的輸出結(jié)果會(huì)標(biāo)記出人物在跑步姿態(tài)中出現(xiàn)的一些錯(cuò)誤姿勢,目前可以檢測5種不良姿態(tài),分別為高抬腿、過度擺臂、未擺臂、步點(diǎn)超前、身體傾斜。
1)高抬腿?大腿抬起過高,會(huì)消耗不必要的體力,同時(shí)還會(huì)影響身體重心穩(wěn)定。建議大腿自然前擺,與軀干夾角約為135°。
2)過度擺臂?手臂前后擺動(dòng)幅度過大,增加體力消耗,影響身體重心穩(wěn)定。建議前后擺動(dòng)幅度不超過身體軀干。
3)未擺臂?跑動(dòng)時(shí)需要手臂配合腳步擺動(dòng),更加協(xié)調(diào)。建議以肩為軸,大臂與小臂夾角約為90°,前后擺動(dòng),不可左右擺動(dòng)。
4)步點(diǎn)超前?腳步落點(diǎn)超過身體重心太多,會(huì)導(dǎo)致膝關(guān)節(jié)壓力過大,不利于身體健康。建議步點(diǎn)落在身體重心正下方。
5)身體傾斜?身體前趴或后仰,容易失去重心而摔倒。建議軀干微微向前傾,既能在跑動(dòng)中保持平衡,又能節(jié)省體能。
通過鑒別圖像,可以幫助跑步者了解自身跑步姿勢,遠(yuǎn)離錯(cuò)誤動(dòng)作。
5?結(jié)?語
本文將人體行為識別技術(shù)與跑步運(yùn)動(dòng)相結(jié)合,通過檢測標(biāo)記人體關(guān)節(jié)點(diǎn)識別跑步姿態(tài),鑒別錯(cuò)誤姿態(tài)類型,來幫助人們解決日常跑步中可能存在的一些姿態(tài)問題。通過模型改進(jìn)實(shí)驗(yàn)以及識別測試實(shí)驗(yàn)得出以下結(jié)論。
1) 通過模型對比實(shí)驗(yàn)證明,改進(jìn)后的CenterNet算法模型性能有所提升,并且相較于雙階段經(jīng)典算法Faster-RCNN模型以及YOLOv5模型都有著一定優(yōu)勢。
2) 改進(jìn)后的CenterNet算法模型的召回率與精確率分別達(dá)到了65.4%與53.1%,在實(shí)際應(yīng)用中發(fā)揮一定作用,具有實(shí)用性。
基于CenterNet的跑步姿態(tài)鑒別系統(tǒng),能夠切實(shí)幫助跑步愛好者更加便捷地發(fā)現(xiàn)自身姿態(tài)問題,并及時(shí)改進(jìn),泛用性較強(qiáng)。
但是,目前對于人體小關(guān)節(jié)與細(xì)節(jié)動(dòng)作方面的識別精度還不夠,目標(biāo)關(guān)節(jié)被遮擋情況需盡快處理,姿態(tài)矯正方面還有待完善。今后將有針對性地開展拓展研究,解決以上問題。
參考文獻(xiàn)/References:
[1]?JIN J.Running injuries[J].The Journal of the American Medical Association,2014,312(2):202.
[2]?裴利沈,劉少博,趙雪專.人體行為識別研究綜述[J].計(jì)算機(jī)科學(xué)與探索,2022,16(2):305-322.
PEI Lishen,LIU Shaobo,ZHAO Xuezhuan.Review of human behavior recognition research[J].Journal of Frontiers of Computer Science & Technology,2022,16(2):305-322.
[3]?彭月,甘臣權(quán),張祖凡.人類動(dòng)作識別的特征提取方法綜述[J].計(jì)算機(jī)應(yīng)用與軟件,2022,39(8):1-14.
PENG Yue,GAN Chenquan,ZHANG Zufan.A survey of feature extraction methods in human action recognition[J].Computer Applications and Software,2022,39(8):1-14.
[4]?MABROUK A B,ZAGROUBA E.Abnormal behavior recognition for intelligent video surveillance systems:A review[J].Expert Systems With Applications,2018,91:480-491.
[5]?YANG Lei,LI Yingxiang,ZENG Degui,et al.Human exercise posture analysis based on pose estimation[C]//2021 IEEE 5th Advanced Information Technology,Electronic and Automation Control Conference (IAEAC).Chongqing:IEEE,2021:1715-1719.
[6]?YU Cong,ZHANG Dongheng,WU Zhi,et al.RFPose-OT:RF-based 3D human pose estimation via optimal transport theory[J].Frontiers of Information Technology Electronic Engineering,2023,24(10):1445-1457.
[7]?ZHOU Xingyi,WANG Dequan,KRHENBHL P.Objects as Points[EB/OL].(2019-04-16).https://arxiv.org/abs/1904.07850.
[8]?ZHU Xingkui,LYU Shuchang,WANG Xu,et al.TPH-YOLOv5:Improved yolov5 based on transformer prediction head for object detection on drone-captured scenarios[C]//2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW).Montreal:IEEE,2021:2778-2788.
[9]?CAO Z,HIDALGO G,SIMON T,et al.OpenPose:Realtime multi-person 2D pose estimation using part affinity fields[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,43(1):172-186.
[10]顧蒙蒙.基于KNN算法的跑步姿態(tài)監(jiān)測與識別[D].上海:東華大學(xué),2017.
GU Mengmeng.Running Posture Monitoring and Recognition Based on KNN Algorithm[D].Shanghai:Donghua University,2017.
[11]李曉丹,肖明,曾莉.人體動(dòng)作捕捉技術(shù)綜述以及一種新的動(dòng)作捕捉方案陳述[J].中國西部科技,2011,10(15):35-37.
LI Xiaodan,XIAO Ming,ZENG Li.Review on the motion capture technologies[J].Science and Technology of West China,2011,10(15):35-37.
[12]ZHANG Hu,ZU Keke,LU Jian,et al.EPSANet:An Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network[J].Computer Vision and Pattern Recognition,2021.DOI:10.48550/arXiv.2015.14447.
[13]DONG Zhiwei,LI Guoxuan,LIAO Yue,et al.CentripetalNet:Pursuing high-quality keypoint pairs for object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Seattle:IEEE,2020:10516-10525.
[14]李志晗,劉銀華,謝銳康,等.基于關(guān)節(jié)點(diǎn)運(yùn)動(dòng)估計(jì)的人體行為識別[J].電子測量技術(shù),2022,45(24):153-160.
LI Zhihan,LIU Yinhua,XIE Ruikang,et al.Human action reco-gnition based on joint motion estimation[J].Electronic Measurement Technology,2022,45(24):153-160.
[15]FUJIYOSHI H,LIPTON A J.Real-time human motion analysis by image skeletonization[C]//Proceedings Fourth IEEE Workshop on Applications of Computer Vision.WACV′98(Cat.No.98EX201).Princeton:IEEE,1998:15-21.
[16]鄧淼磊,高振東,李磊,等.基于深度學(xué)習(xí)的人體行為識別綜述[J].計(jì)算機(jī)工程與應(yīng)用,2022,58(13):14-26.
DENG Miaolei,GAO Zhendong,LI Lei,et al.Overview of human behavior recognition based on deep learning[J].Computer Engineering and Applications,2022,58(13):14-26.
[17]杜美依.基于人體關(guān)鍵點(diǎn)檢測的體育運(yùn)動(dòng)視頻分析系統(tǒng)[D].西安:西安電子科技大學(xué),2021.
DU Meiyi.A Sports Video Analysis System Based on Human Key Point Detection[D].Xi′an:Xidian University,2021.
[18]LAW H,DENG J.CornerNet:Detecting objects as paired keypoints[C]//European Conference on Computer Vision.Cham:Springer,2018:765-781.
[19]GUYON I,NIKRAVESH M,GUNN S,et al.Feature Extraction:Foundations and Applications[M].Berlin:Springer,2006.
[20]NEWELL A,YANG K Y,DENG J.Stacked Hourglass Networks for Human Pose Estimation[J].Computer Vision and Pattern Recognition,2016.DOI:10.48550/arXiv.1603.06937.
[21]張宸嘉,朱磊,俞璐.卷積神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制綜述[J].計(jì)算機(jī)工程與應(yīng)用,2021,57(20):64-72.
ZHANG Chenjia,ZHU Lei,YU Lu.Review of attention mechanism in convolutional neural networks[J].Computer Enginee-ring and Applications,2021,57(20):64-72.
[22]孫勝男.正確的跑步姿勢[J].田徑,2016(11):25.
收稿日期:2023-08-21;修回日期:2023-10-23;責(zé)任編輯:王淑霞
基金項(xiàng)目:河北省自然科學(xué)基金(F2018208116)
第一作者簡介:
周萬珍(1966—),男,河北張家口人,教授,博士,主要從事數(shù)據(jù)挖掘和人工智能方面的研究。
通信作者:
王建霞教授。E-mail: 1084473634@qq.com
周萬珍,袁志鑫,王建霞.基于CenterNet的跑步姿態(tài)鑒別系統(tǒng)的設(shè)計(jì)[J].河北工業(yè)科技,2024,41(1):10-16.
ZHOU Wanzhen, YUAN Zhixin, WANG Jianxia. Design of running posture identification system based on CenterNet[J]. Hebei Journal of Industrial Science and Technology,2024,41(1):10-16.