陳圣楠，范新民

基于多視圖半監(jiān)督集成學(xué)習(xí)的人體動(dòng)作識(shí)別算法

陳圣楠1,2，范新民1,2

（1. 福建師范大學(xué)，福建 福州 350117；2. 網(wǎng)絡(luò)安全與教育信息化福建省高校工程研究中心，福建 福州 350117）

移動(dòng)設(shè)備上難以獲取大量標(biāo)簽樣本，而訓(xùn)練不足導(dǎo)致分類模型在人體動(dòng)作識(shí)別上表現(xiàn)欠佳。針對(duì)這一問題，提出一種基于多視圖半監(jiān)督集成學(xué)習(xí)的人體動(dòng)作識(shí)別算法。首先，利用兩種內(nèi)置傳感器收集的數(shù)據(jù)構(gòu)建兩個(gè)特征視圖，將兩個(gè)視圖和兩種基分類器進(jìn)行組合構(gòu)建協(xié)同學(xué)習(xí)框架；然后，根據(jù)多分類任務(wù)重新定義置信度，結(jié)合主動(dòng)學(xué)習(xí)思想在迭代過程中控制預(yù)測(cè)偽標(biāo)簽結(jié)果；使用LightGBM對(duì)擴(kuò)充后的訓(xùn)練集進(jìn)行學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，算法的精確率、召回率和F1值較高，能穩(wěn)定、準(zhǔn)確地識(shí)別多種人體動(dòng)作。

人體動(dòng)作識(shí)別；半監(jiān)督學(xué)習(xí)；小樣本；LightGBM

1 引言

隨著電子信息技術(shù)的發(fā)展，各類移動(dòng)智能終端，如智能手機(jī)、智能手表在價(jià)格、計(jì)算能力、電池壽命等方面有了顯著提升，而其應(yīng)用領(lǐng)域也由單一的功能使用拓展到了運(yùn)動(dòng)管理、醫(yī)療保健、智能家居和安全監(jiān)控等[1]，擁有巨大的潛在市場(chǎng)需求和影響。這類移動(dòng)設(shè)備大多內(nèi)置加速度計(jì)、陀螺儀、肌肉電傳感器等多種傳感器，可在特定場(chǎng)景下產(chǎn)生并收集不同的數(shù)據(jù)，進(jìn)而分析識(shí)別人體動(dòng)作，判斷人們的活動(dòng)狀態(tài)。

目前，人體動(dòng)作識(shí)別算法在應(yīng)用時(shí)仍需依賴大量的標(biāo)簽數(shù)據(jù)，大規(guī)模的標(biāo)注工作不僅耗費(fèi)了大量的人、財(cái)、物力，數(shù)據(jù)質(zhì)量也難以保障，降低了人體動(dòng)作識(shí)別算法的推廣價(jià)值。為解決這一問題，充分利用有限的標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)，在智能移動(dòng)終端的多傳感器場(chǎng)景下，本文提出一種基于多視圖半監(jiān)督集成學(xué)習(xí)的人體動(dòng)作識(shí)別算法，算法分為兩個(gè)階段。

（1）偽標(biāo)簽數(shù)據(jù)生成。利用不同傳感器產(chǎn)生的標(biāo)簽數(shù)據(jù)構(gòu)建多視圖下的特征，利用協(xié)同訓(xùn)練框架擴(kuò)充訓(xùn)練集，根據(jù)多標(biāo)簽場(chǎng)景定義新的置信度以改進(jìn)協(xié)同訓(xùn)練框架中的標(biāo)簽生成策略，同時(shí)利用主動(dòng)學(xué)習(xí)策略增加樣本的復(fù)雜性。

（2）多標(biāo)簽集成學(xué)習(xí)。將LightGBM模型應(yīng)用于擴(kuò)充后的訓(xùn)練集以識(shí)別多種人體動(dòng)作。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，本文算法能夠克服訓(xùn)練樣本標(biāo)簽數(shù)據(jù)不足、分類不平衡的問題，穩(wěn)定、準(zhǔn)確地識(shí)別多種人體動(dòng)作，在各項(xiàng)指標(biāo)上表現(xiàn)良好。算法可直接部署在計(jì)算資源有限的移動(dòng)終端，具有廣闊的應(yīng)用前景。

2 相關(guān)工作

如前所述，人體動(dòng)作識(shí)別技術(shù)在健康監(jiān)測(cè)、智能家居、軍事訓(xùn)練等領(lǐng)域有重要的應(yīng)用前景。根據(jù)傳感器與人體的位置關(guān)系，可將人體動(dòng)作識(shí)別分為非接觸式算法和接觸式算法[2]。

非接觸式算法可進(jìn)一步分為基于視覺圖像的和基于射頻信號(hào)的。前者主要使用攝像頭和光學(xué)傳感器捕捉人體動(dòng)作[3-5]，對(duì)視角、照明條件、溫度的干擾較為敏感，且在采集時(shí)對(duì)用戶的隱私造成一定的入侵，不適用于日常生活或長(zhǎng)時(shí)間追蹤。后者主要基于Wi-Fi系統(tǒng)分析無線信號(hào)特性進(jìn)行工作[6-7]，需要使用外置的特定工具和專用網(wǎng)卡，因此多用于室內(nèi)場(chǎng)景下的動(dòng)作識(shí)別。

接觸式算法主要以佩戴在人體特定部位的傳感器收集到的數(shù)據(jù)作為研究對(duì)象。這類算法不受光線、障礙物的影響，能相對(duì)獲得用戶的活動(dòng)數(shù)據(jù)，同時(shí)兼顧用戶隱私的保護(hù)，有利于長(zhǎng)時(shí)間的監(jiān)測(cè)。Cao等[8]利用手機(jī)中的IMU傳感器，對(duì)手臂運(yùn)動(dòng)軌跡進(jìn)行還原，并聯(lián)合RNN和DTW對(duì)多種手臂動(dòng)作分類。Liu等[9]利用DTW和姿態(tài)度量計(jì)算測(cè)試動(dòng)作序列和各個(gè)動(dòng)作模板序列之間的相似百分比對(duì)人體動(dòng)作進(jìn)行分類。殷曉玲[10]等提取了手機(jī)加速度計(jì)上時(shí)域特征，并訓(xùn)練層次支持向量機(jī)識(shí)別人體動(dòng)作。Wang等[11]從使用場(chǎng)景、活動(dòng)類型、復(fù)雜程度分析歸納了數(shù)據(jù)集，并測(cè)試了多種分類器的分類性能。Alejandro等[12]利用CNN從加速度計(jì)的原始數(shù)據(jù)中學(xué)習(xí)特征提升人體動(dòng)作識(shí)別的性能。張儒鵬等[13]對(duì)CNN中的卷積結(jié)構(gòu)進(jìn)行優(yōu)化，并將其與長(zhǎng)短神經(jīng)網(wǎng)絡(luò)進(jìn)行融合，能更精準(zhǔn)捕捉原始數(shù)據(jù)中的動(dòng)作序列。

雖然現(xiàn)有研究在人體動(dòng)作識(shí)別領(lǐng)域取得了諸多成果，但大多是建立在數(shù)據(jù)集標(biāo)注完備的情況下，鮮有考慮現(xiàn)實(shí)中廣泛存在的無標(biāo)簽數(shù)據(jù)對(duì)算法的影響。本文提出一種基于多視圖半監(jiān)督集成學(xué)習(xí)的算法，旨在利用有限的標(biāo)簽數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)使分類模型得到充分訓(xùn)練，繼而提升識(shí)別的精確率。

3 算法框架

本文將基于可穿戴設(shè)備的人體動(dòng)作識(shí)別問題視為一個(gè)多標(biāo)簽分類的問題?？纱┐髟O(shè)備通常內(nèi)置有多種傳感器，可從多角度收集使用者的行為數(shù)據(jù)，構(gòu)成多組特征。簡(jiǎn)單的方法主要是將多組特征直接拼接成一個(gè)視圖，然后使用分類算法建模。但這種方法不僅容易忽略視圖之間潛在的互補(bǔ)、判別信息，還可能由于維度太多導(dǎo)致維災(zāi)。針對(duì)這一情況，本文提出一種半監(jiān)督集成學(xué)習(xí)的方法，整體算法框架如圖1所示。首先，對(duì)不同傳感器采集的數(shù)據(jù)進(jìn)行預(yù)處理和特征工程。特征工程主要是對(duì)平滑、去噪后的傳感器信號(hào)進(jìn)行切片操作，從時(shí)域、頻域角度分析波形特點(diǎn)。然后，利用協(xié)同訓(xùn)練框架生成偽標(biāo)簽集擴(kuò)充初始訓(xùn)練集。最后，利用擴(kuò)充后的訓(xùn)練集重新訓(xùn)練LightGBM模型進(jìn)行預(yù)測(cè)獲得最終的識(shí)別結(jié)果。

3.1 第一階段：主動(dòng)協(xié)同訓(xùn)練框架

本文在協(xié)同訓(xùn)練框架的基礎(chǔ)上疊加主動(dòng)學(xué)習(xí)，以此擴(kuò)充初始訓(xùn)練集樣本。協(xié)同訓(xùn)練的思想是在兩個(gè)視圖上利用少量標(biāo)簽訓(xùn)練分類器，然后每個(gè)分類器從無標(biāo)簽樣本中挑選若干置信度高的樣本進(jìn)行標(biāo)記，并把這些“偽標(biāo)簽”樣本加入另一個(gè)分類器的訓(xùn)練集中，使對(duì)方能利用新增的有標(biāo)簽樣本進(jìn)行更新，這種“互相學(xué)習(xí)、共同進(jìn)步”的過程不斷迭代，直到滿足停止條件。協(xié)同訓(xùn)練的本質(zhì)是一種基于分歧的半監(jiān)督算法，因此基模型的差異性、基模型和視圖的契合程度、偽標(biāo)簽策略將影響算法的有效性。

同時(shí)，在置信度低的區(qū)間中，仍有部分有價(jià)值的信息可待利用。如果僅憑置信度添加偽標(biāo)簽數(shù)據(jù)，這部分?jǐn)?shù)據(jù)將難以被利用。因此，根據(jù)主動(dòng)學(xué)習(xí)的思想，本文在每輪訓(xùn)練中，從置信度低樣本中隨機(jī)選取部分進(jìn)行人工標(biāo)注，加入下一輪訓(xùn)練。

（1）基模型

本文使用K最近鄰（KNN，K-nearest neighbor）算法和支持向量機(jī)（SVM，support vector machine）算法作為協(xié)同訓(xùn)練的基模型。

KNN主要依靠鄰近有限樣本的標(biāo)簽情況判斷自身的類別歸屬，即在特征空間下，對(duì)于新的樣本，如果在訓(xùn)練集中與該實(shí)例最鄰近的個(gè)實(shí)例多數(shù)屬于某個(gè)類別，就把該樣本分類到該類別下。一般使用歐幾里得距離或曼哈頓距離度量樣本距離。KNN在進(jìn)行類別決策時(shí)，只與少量的相鄰樣本有關(guān)，避免了樣本的不平衡問題。同時(shí)，KNN直接利用了樣本間的關(guān)系，減少了因特征選擇不當(dāng)對(duì)分類結(jié)果造成的誤差。

非線性SVM的數(shù)學(xué)描述如下。

（2）偽標(biāo)簽策略

合適的偽標(biāo)簽策略能令擴(kuò)充后的訓(xùn)練集中加入更有價(jià)值的類別信息，提升學(xué)習(xí)性能；反之，則會(huì)引入分類噪聲，導(dǎo)致預(yù)測(cè)偏差。這里的偽標(biāo)簽策略包括兩個(gè)部分：偽標(biāo)簽數(shù)據(jù)生成，即如何判決無標(biāo)簽數(shù)據(jù)所屬的類別；偽標(biāo)簽數(shù)據(jù)添加，即將哪些數(shù)據(jù)加入訓(xùn)練集。

對(duì)于偽標(biāo)簽數(shù)據(jù)生成，本文根據(jù)基模型訓(xùn)練產(chǎn)生的輸出概率，選擇置信度評(píng)估方法生成偽標(biāo)簽。通常認(rèn)為置信度高的預(yù)測(cè)結(jié)果是正確的。流行的置信度評(píng)估方法主要有最大概率、最大概率與次大概率之差等[14-15]?？紤]多分類問題的特殊性，為使不同類別的差異最大化，令差異大的類被選出，重新定義并計(jì)算置信度。

圖1 基于多視圖半監(jiān)督集成學(xué)習(xí)的人體動(dòng)作識(shí)別算法框架

Figure 1 The framework for human action recognition method based on multi-view semi-supervised ensemble learning

對(duì)于偽標(biāo)簽數(shù)據(jù)添加，現(xiàn)有的協(xié)同訓(xùn)練框架大多直接向訓(xùn)練集單調(diào)添加偽標(biāo)簽數(shù)據(jù)，這種方式難以驗(yàn)證添加的偽標(biāo)簽數(shù)據(jù)對(duì)模型的影響，在大多數(shù)情況，將降低偽標(biāo)簽樣本的精確率。在訓(xùn)練集數(shù)據(jù)不足的情況下，通過構(gòu)造偽驗(yàn)證集對(duì)模型進(jìn)行校準(zhǔn)。當(dāng)偽標(biāo)簽數(shù)據(jù)對(duì)模型的影響是積極的，將偽標(biāo)簽數(shù)據(jù)加入訓(xùn)練數(shù)據(jù)；反之，則不加入。

算法1 偽驗(yàn)證集構(gòu)造

3.2 第二階段：LightGBM集成學(xué)習(xí)框架

LightGBM[16]是微開源的實(shí)現(xiàn)梯度決策提升樹（GBDT，gradient boosting decision tree）的輕量級(jí)框架。GBDT是機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)經(jīng)久不衰的模型，其思想是利用CART樹作為弱分類器，通過多輪迭代產(chǎn)生多個(gè)弱分類器，最終對(duì)弱分類器的結(jié)果進(jìn)行加權(quán)求和，得到分類結(jié)果。GBDT在每輪迭代后計(jì)算損失函數(shù)的負(fù)梯度值，并將其作為殘差近似值。同時(shí)，在上一輪殘差減少的方向上建立一個(gè)新的分類器。由于GBDT在訓(xùn)練時(shí)需要多次遍歷所有樣本，它不可避免地存在耗時(shí)長(zhǎng)、內(nèi)存占用大的問題。

LightGBM改進(jìn)了這兩個(gè)方面。LightGBM包含兩個(gè)步驟：直方圖算法和Leaf-wise策略。直方圖算法對(duì)特征進(jìn)行改造，首先對(duì)連續(xù)特征進(jìn)行離散，將離散值作為新的特征并以直方圖表示，然后通過統(tǒng)計(jì)直方圖的累計(jì)統(tǒng)計(jì)值找尋最優(yōu)分割點(diǎn)。這種方法對(duì)原始特征進(jìn)行了壓縮，相近的特征由于直方圖類似而被忽略，所以僅需要保存離散后的值，從而減少內(nèi)存占用。Leaf-wise策略在每輪迭代中，選取所有葉子中分裂增益最大的葉子作為下一輪的分裂點(diǎn)，避免了原始GBDT算法中對(duì)所有葉子一視同仁導(dǎo)致的搜索和分裂。Leaf-wise策略同時(shí)限制了決策樹生長(zhǎng)的深度，在保證精度的同時(shí)防止過擬合。

算法2 基于多視圖半監(jiān)督集成學(xué)習(xí)的人體動(dòng)作識(shí)別算法

輸出 多分類結(jié)果

4 實(shí)驗(yàn)與討論

4.1 數(shù)據(jù)集

本文使用UCI人體動(dòng)作識(shí)別數(shù)據(jù)集[17]。該數(shù)據(jù)來自30名不同的志愿者，包含步行、下樓、上樓、坐著、站立、躺臥6種日常行為動(dòng)作，包含以50 Hz采樣率獲取的三軸加速度計(jì)、陀螺儀傳感器數(shù)值。同時(shí)，該數(shù)據(jù)集提供了由原始數(shù)據(jù)計(jì)算的加速度計(jì)特征348維，陀螺儀特征211維，構(gòu)成實(shí)驗(yàn)的兩個(gè)視圖。訓(xùn)練集中的活動(dòng)標(biāo)簽分布如圖2所示。

圖2 UCI訓(xùn)練集中的活動(dòng)標(biāo)簽分布

Figure 2 The data distribution of activity label in UCI training data

4.2 評(píng)價(jià)指標(biāo)

各評(píng)價(jià)指標(biāo)定義如下。

（1）宏平均精確率：精確率是指被模型正確分類的正樣本占所有被模型判定為正樣本的比例。對(duì)所有類的精確率求平均值得到宏平均精確率。

（2）宏平均召回率：召回率是指被模型正確分類的正樣本占實(shí)際正樣本的比例。對(duì)所有類的召回率求平均值得到宏平均召回率。

（3）宏平均1值：在精確率和召回率產(chǎn)生矛盾的情況下，使用1值對(duì)模型進(jìn)行綜合評(píng)估。

4.3 結(jié)果分析

本文實(shí)驗(yàn)將數(shù)據(jù)劃分為3個(gè)部分：原數(shù)據(jù)集中的測(cè)試集完全保留，將訓(xùn)練集隨機(jī)劃分為有標(biāo)簽集（5%）和無標(biāo)簽集（95%）。同時(shí)，將無標(biāo)簽集中的標(biāo)簽部分隱去，以此模擬現(xiàn)實(shí)中的未知情況。同時(shí)，構(gòu)建加速度計(jì)視圖和陀螺儀視圖作為協(xié)同訓(xùn)練的兩個(gè)視圖。

實(shí)驗(yàn)1 協(xié)同訓(xùn)練分析

首先，將支持向量機(jī)（SVM）、最近鄰（KNN）應(yīng)用于不同的視圖和特征聯(lián)合，以檢驗(yàn)基分類器的分類性能，View1為加速度計(jì)視圖，View2為陀螺儀視圖，Both表示直接聯(lián)合加速度計(jì)視圖和陀螺儀視圖，結(jié)果如圖3所示。

圖3 不同視圖特征上分類器的F1值

Figure 3 The1 value of different activities

由圖3可知，SVM和KNN在加速度計(jì)視圖上的表現(xiàn)總體優(yōu)于陀螺儀視圖，SVM和KNN在陀螺儀視圖上的表現(xiàn)比較接近。SVM在應(yīng)用聯(lián)合特征時(shí)，性能略微提升。

表1 不同分類器組合下的實(shí)驗(yàn)結(jié)果對(duì)比

實(shí)驗(yàn)2 人工標(biāo)注分析

本文比較了不同比例（0,5%,10%,15%,20%）的人工標(biāo)注對(duì)檢測(cè)結(jié)果影響。

由圖4可知，隨著人工標(biāo)注樣本的增加，各指標(biāo)總體呈增長(zhǎng)趨勢(shì)。但在標(biāo)注比例10%后，增長(zhǎng)趨勢(shì)減緩，雖然在20%能取得最優(yōu)的標(biāo)注效果，但考慮標(biāo)注的人力和時(shí)間成本，選擇10%作為標(biāo)注比例（約350條數(shù)據(jù)）進(jìn)行人工標(biāo)注。

圖4 不同比例下人工標(biāo)注的指標(biāo)分析

Figure 4 The metrics analysis of active learning with different ratios

實(shí)驗(yàn)3 混淆矩陣分析

利用混淆矩陣，進(jìn)一步分析本文方法在每種動(dòng)作上的表現(xiàn)。

從圖5的混淆矩陣中可以看出，本文算法對(duì)所有動(dòng)作的識(shí)別率都在90%以上，說明算法能穩(wěn)定、有效地區(qū)別6種行為。其中，對(duì)步行、站立和躺臥的識(shí)別率略高于上樓、下樓和坐著。

實(shí)驗(yàn)4 特征重要性分析

對(duì)特征進(jìn)行重要性分析，以找出識(shí)別人體的關(guān)鍵因素。

從圖6中可以看出，加速度計(jì)（tGravityAcc和tBodyAcc）比陀螺儀（Gyro）的貢獻(xiàn)大，但這并不表示陀螺儀特征不作用，可能是因?yàn)閿?shù)據(jù)集中缺少旋轉(zhuǎn)、跳躍這樣的大幅度動(dòng)作，使陀螺儀無法采集到關(guān)鍵特征。在提取加速度計(jì)相關(guān)特征中，極大值和極小值的有效特征偏多，極大值和極小值一般屬于波峰和波谷的位置，劃分動(dòng)作有顯著作用。從、和三軸來看，軸的影響明顯高于其他兩個(gè)軸，說明用戶行進(jìn)方向更能反映當(dāng)前的運(yùn)動(dòng)情況。

圖5 6個(gè)動(dòng)作的混淆矩陣

Figure 5 The confusion matrix of six activities

圖6 特征重要性柱狀圖

Figure 6 The barchart of feature importance

實(shí)驗(yàn)5 有效性分析

將本文改進(jìn)的Co-Training模型對(duì)比5個(gè)模型以說明模型的有效性。

模型1：利用SVM和有限的標(biāo)簽樣本直接訓(xùn)練模型，不使用無標(biāo)簽樣本。

模型2：利用KNN（=7）和有限的標(biāo)簽樣本直接訓(xùn)練模型，不使用無標(biāo)簽樣本。

模型3[18]：Self-Training模型。基于單一分類器進(jìn)行強(qiáng)化學(xué)習(xí)，這里選擇SVM分類器。首先利用SVM自訓(xùn)練得到擴(kuò)充的訓(xùn)練集，再利用擴(kuò)充后的訓(xùn)練集重新訓(xùn)練SVM得到預(yù)測(cè)結(jié)果。

模型4[19]：Co-Training模型。標(biāo)準(zhǔn)的協(xié)同訓(xùn)練算法，對(duì)協(xié)同訓(xùn)練后的偽標(biāo)簽數(shù)據(jù)不做篩選。擴(kuò)充后的訓(xùn)練集仍利用協(xié)同訓(xùn)練框架得到預(yù)測(cè)結(jié)果。

模型5：利用LightGBM和原始標(biāo)簽數(shù)據(jù)集訓(xùn)練模型。

模型6：本文算法改進(jìn)協(xié)同訓(xùn)練框架中的偽標(biāo)簽策略，對(duì)添加的偽標(biāo)簽數(shù)據(jù)進(jìn)行評(píng)估篩選。以擴(kuò)充后的偽標(biāo)簽數(shù)據(jù)作為輸入訓(xùn)練LightGBM得到預(yù)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果見表2。

表2 不同模型下的實(shí)驗(yàn)結(jié)果

從模型1和模型2的結(jié)果可以看出，僅采用KNN或SVM與少量標(biāo)簽集進(jìn)行預(yù)測(cè)，結(jié)果中存在很多誤報(bào)，1值也比較低。這解釋了在訓(xùn)練樣本不足的情況下，模型獲得的預(yù)測(cè)結(jié)果偏離測(cè)試集的真實(shí)分布，產(chǎn)生過擬合而導(dǎo)致在測(cè)試集上表現(xiàn)不佳。模型3和模型4是兩類經(jīng)典的半監(jiān)督算法，當(dāng)加入了未標(biāo)記樣本后，模型性能得到了改善。模型4由于增加了分類器的分歧，1值較模型3提升0.015 7，但模型3和模型4均采用最大置信度作為偽標(biāo)簽的評(píng)價(jià)方式，且在迭代過程中未對(duì)偽標(biāo)簽篩選。模型5驗(yàn)證了全量原始標(biāo)簽訓(xùn)練集在集成學(xué)習(xí)框架下的表現(xiàn)。本文算法在1值上比模型3和模型4這兩種經(jīng)典的半監(jiān)督模型分別高出0.075 6和0.059 9，與模型5十分接近，僅低0.016，說明本文方法擴(kuò)充獲得的訓(xùn)練集與全量標(biāo)簽訓(xùn)練集對(duì)LightGBM模型的訓(xùn)練效果相當(dāng)。在運(yùn)行時(shí)間上，本文所提方法與其他半監(jiān)督模型相差不大。

5 結(jié)束語

人體動(dòng)作識(shí)別常常需要大批量、高質(zhì)量的標(biāo)簽數(shù)據(jù)才能完成可靠的分類，但完成準(zhǔn)確的標(biāo)注需要耗費(fèi)大量的時(shí)間、人力和財(cái)力成本。本文提出基于多視圖半監(jiān)督集成學(xué)習(xí)的人體動(dòng)作識(shí)別算法僅需要少量的標(biāo)簽樣本，利用主動(dòng)協(xié)同學(xué)習(xí)框架和偽標(biāo)簽策略擴(kuò)充原有訓(xùn)練集，擴(kuò)充后的訓(xùn)練集上使用LightGBM進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在少數(shù)樣本情況下能準(zhǔn)確識(shí)別不同的人體動(dòng)作，接近于全量標(biāo)簽樣本對(duì)分類模型的訓(xùn)練效果。然而，本文算法在應(yīng)用到真實(shí)場(chǎng)景下時(shí)，提取特征過多將導(dǎo)致耗時(shí)長(zhǎng)等問題，這部分可作為下一階段的改進(jìn)工作。

[1]LIU L J, LEI X L, CHEN B F, et al. Human action recognition based on inertial sensors and complexity classification[J]. Journal of Information Technology Research, 2019:18-35.

[2]周啟臻, 邢建春, 楊啟亮, 等. 基于連續(xù)圖像深度學(xué)習(xí)的Wi-Fi人體行為識(shí)別方法[J]. 通信學(xué)報(bào), 2020, 41(8): 43-54.

ZHOU Q Z, XING J C, HAN Q L, et al. Sequential image deep learning-based Wi-Fi human activity recognition method[J]. Journal on Communications, 2020, 41(8): 43-54.

[3]錢慧芳, 易劍平, 付云虎. 基于深度學(xué)習(xí)的人體動(dòng)作識(shí)別綜述[J]. 計(jì)算機(jī)科學(xué)與探索, 2021(1): 1-20.

QIAN H F, YI J P, FU Y H. Human action recognition based on deep learning：a review[J]. Journal of Frontiers of Computer Science & Technology, 2021(1): 1-20.

[4]張會(huì)珍, 劉云麟, 任偉建, 等. 人體行為識(shí)別特征提取方法綜述[J]. 吉林大學(xué)學(xué)報(bào)(信息科學(xué)版), 2020, 38(3): 360-370.

ZHANG H J, LIU Y L, REN J W, et al. Human behavior recognition feature extraction method: a survey[J]. Journal of Jilin University (Information Science Edition), 2020, 38(3): 360-370.

[5]鄒建. 基于BP神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2017, 3(9): 55-60.

ZOU J. Human action recognition based on back propagation neural network[J]. Chinese Journal of Network and Information Security, 2017, 3(9): 55-60.

[6]WANG Y J, WU K S, LIONEL M N. WiFall: device-free fall detection by wireless networks[J].IEEE Transactions on Mobile Computing, 2017, 16(2): 581-594

[7]肖玲, 潘浩. 基于Wi-Fi信號(hào)的人體動(dòng)作識(shí)別系統(tǒng)[J]. 北京郵電大學(xué)學(xué)報(bào), 2018, 41(3): 119-124.

XIAO L, PAN H. Human activity recognition system based on Wi-Fi signal[J]. Journal of Beijing University of Posts and Telecommunications, 2018, 41(3): 119-124.

[8]CAO S M, YANG P L, LI X Y, et al. iPand: accurate gesture input with smart acoustic sensing on hand[C]//15th Annual IEEE International Conference on Sensing, Communication, and Networking(SECON). 2018.

[9]LIU Y T, ZHANG Y A, ZENG M. Novel algorithm for hand gesture recognition utilizing a wrist-worn inertial sensor[J]. IEEE Sensors Journal, 2018, 18(24): 10085-10095.

[10]殷曉玲, 陳曉江, 夏啟壽, 等. 基于智能手機(jī)內(nèi)置傳感器的人體運(yùn)動(dòng)狀態(tài)識(shí)別[J]. 通信學(xué)報(bào), 2019, 40(3): 161-173.

YING X L, CHEN X J, XIA Q S, et al. Human motion state recognition based on smart phone built-in sensor[J]. Journal on Communications, 2019, 40(3): 161-173.

[11]WANG Y, CANG H N, YU H N. A survey on wearable sensor modality centred human activity recognition in health care[J]. Expert Systems with Applications, 2019, 137: 167-190.

[12]ALEJANDRO B , YAGO S, PEDRO I. Evolutionary design of convolutional neural networks for human activity recognition in sensor-rich environments[J]. Sensors, 2018, 18(4): 1288-1312

[13]張儒鵬, 于亞新, 張康, 等. 基于OI-LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的人類動(dòng)作識(shí)別模型研究[J]. 計(jì)算機(jī)科學(xué)與探索, 2018, 12(12): 1926-1939.

ZHANG R P, YU Y X, ZHANG K, et al. Research on human action recognition model based on OI-LSTM neural network structure[J]. Journal of Frontiers of Computer Science & Technology, 2018, 12(12): 1926-1939.

[14]韓嵩, 韓秋弘. 半監(jiān)督學(xué)習(xí)研究的述評(píng)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020(6):19-27.

HAN S, HAN Q H. Review of semi-supervised learning re- search[J]. Computer Engineering and Applications, 2020(6):19-27.

[15]尹玉, 詹永照, 姜震. 偽標(biāo)簽置信選擇的半監(jiān)督集成學(xué)習(xí)視頻語義檢測(cè)[J]. 計(jì)算機(jī)應(yīng)用, 2019, 39(8): 2204-2209.

YIN Y, ZHAN Y Z, JIANG Z, et al. Semi-supervised ensemble learning for video semantic detection based on pseudo-label confidence selection[J]. Journal of Computer Applications, 2019, 39(8): 2204-2209.

[16]GUO L K, QI M, FINLEY T, et al. LightGBM: a highly efficient gradient boosting decision tree[C]//Advances in Neural Information Processing Systems(NIPS). 2017: 3146-3154.

[17]ANGUITA D, GHIO A, ONETO L, et al. A public domain dataset for human activity recognition using smartphones[C]//European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN). 2013.

[18]ROSENBERG C, HEBERT M, SCHNEIDERMAN H. Semi-supervised self-training of object detection models[C]//IEEE Workshops on Applications of Computer Vision (WACV). 2005: 29-36.

[19]ZHOU Z H, LI M. Semisupervised regression with co-training- style algorithms[J]. IEEE Transactions on Knowledge and Data Engineering, 2007: 1479-1493.

Human action recognition method based on multi-view semi-supervised ensemble learning

CHEN Shengnan1,2, FAN Xinmin1,2

1. Fujian Normal University, Fuzhou 350117, China 2. Fujian Engineering Research Center, Network Security and Educational Informatization, Fuzhou 350117, China

Mass labeled data are hard to get in mobile devices. Inadequate training leads to bad performance of classifiers in human action recognition. To tackle this problem, a multi-view semi-supervised ensemble learning method was proposed. First, data of two different inertial sensors was used to construct two feature views. Two feature views and two base classifiers were combined to construct co-training framework. Then, the confidence degree was redefined in multi-class task and was combined with active learning method to control predict pseudo-label result in each iteration. Finally, extended training data was used as input to train LightGBM. Experiments show that the method has good performance in precision rate, recall rate and F1 value, which can effectively detect different human action.

human action recognition, semi-supervised learning, few-shot, LightGBM

TP393

A

10.11959/j.issn.2096?109x.2021061

2020?12?06；

2021?04?18

陳圣楠，csn0423@fjnu.edu.cn

國(guó)家自然科學(xué)基金（71701019），福建省中青年教師教育科研項(xiàng)目（JAT200071）

The National Natural Science Foundation of China (71701019), Educational Research Projects of Young and Middle-aged Teachers in Fujian Province (JAT200071)

陳圣楠, 范新民. 基于多視圖半監(jiān)督集成學(xué)習(xí)的人體動(dòng)作識(shí)別算法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2021, 7(3): 141-148.

CHEN S N, FAN X M. Human action recognition method based on multi-view semi-supervised ensemble learning[J]. Chinese Journal of Network and Information Security, 2021, 7(3): 141-148.

陳圣楠（1991?），女，福建福州人，福建師范大學(xué)助理研究員，主要研究方向?yàn)閿?shù)據(jù)挖掘、網(wǎng)絡(luò)安全應(yīng)用。

范新民（1971?），男，福建建甌人，福建師范大學(xué)研究員，主要研究方向?yàn)榫W(wǎng)絡(luò)安全應(yīng)用、教育信息化、教育大數(shù)據(jù)。