馬金伯

摘 要：人體姿態(tài)估計是計算機視覺領(lǐng)域的一個研究熱點，已經(jīng)應(yīng)用于教育、體育等方面，在視頻監(jiān)控、人機交互、智能校園等領(lǐng)域有著廣闊的應(yīng)用前景。簡單的姿態(tài)估計基線方法在沙漏殘差模塊中加入幾層反卷積層，使用均方誤差（MSE）損失函數(shù)，結(jié)構(gòu)和算法復(fù)雜度較低且能夠較為精確地預(yù)測出關(guān)節(jié)點熱圖。首先，采用分段函數(shù)H-ESL（huber-exponential squared loss）損失函數(shù)，克服了MSE損失函數(shù)對于異常值較為敏感的缺點。其次，提出的網(wǎng)絡(luò)在基線方法的網(wǎng)絡(luò)上加入了注意力機制，并將大的卷積核轉(zhuǎn)換成小的卷積核，使得網(wǎng)絡(luò)精度提升的同時減少參數(shù)量及計算量，從而提高網(wǎng)絡(luò)的預(yù)測效率。擬建網(wǎng)絡(luò)利用COCO2017數(shù)據(jù)集的地面真實值分別進(jìn)行訓(xùn)練和驗證，均實現(xiàn)了高精度，mAP提高了2.6%，證明該方法適用于各種人類關(guān)鍵熱圖的輸入，并能取得良好的效果。

關(guān)鍵詞：深度學(xué)習(xí);人體姿態(tài)估計;損失函數(shù);熱圖;COCO數(shù)據(jù)集

Abstract：As a hot topic in computer vision，human pose estimation has gradually penetrated into all aspects of education， sports and so on. It has a wide application prospect in the fields of video surveillance， human-computer interaction and intelligent campus.In the simple baseline method， several layers of deconvolution were added into the hourglass residual module， and the mean square error loss function is used.First， piecewise function H-ESL （Huber-Exponential Squared Loss） loss function is adopted to overcome the shortcoming that MSE loss function is sensitive to outliers.Secondly， the proposed network adds an attention mechanism to the network of the baseline method， and converts large convolution kernels into small convolution kernels， which improves the accuracy of the network and reduces the number of parameters and the amount of computation， thus improving the prediction efficiency of the network.The proposed network is trained and verified by ground truth value of COCO2017 dataset， and both of them achieve high precision. Map is increased by 2.6%， which proves that this method is suitable for heat mAP input of multiple human body key points and can achieve good results.

Key words：deep learning; human pose estimation; loss function;heat map; COCO datasets

人體姿態(tài)估計包括單人姿態(tài)估計和多人姿態(tài)估計兩種估計模式，姿態(tài)估計的過程包括標(biāo)注圖片或者視頻中人體關(guān)節(jié)點的位置后對關(guān)節(jié)點進(jìn)行最優(yōu)連接。由于通過深度學(xué)習(xí)進(jìn)行二維人體姿態(tài)估計的方法與傳統(tǒng)需要人工設(shè)定特征的方法相比較，更能充分地提取圖像信息且獲取更具有魯棒性的特征，因此基于深度學(xué)習(xí)的姿態(tài)估計方法是目前二維人體姿態(tài)估計算法研究的主流方向。相對而言，多人姿態(tài)估計應(yīng)用領(lǐng)域更加廣泛，例如在自動駕駛時對路人的行為做出判斷以提前避免車禍的發(fā)生、使用人體關(guān)鍵點定位識別出病人的肢體行為以對病人的病情進(jìn)一步了解、根據(jù)姿態(tài)估計判別運動員的形體動作是否規(guī)范等等。

給定人數(shù)，通過對圖像中給定的單人進(jìn)行關(guān)節(jié)點的定位，從而確定人物位置的關(guān)節(jié)點定位的姿態(tài)估計過程就是單人姿態(tài)估計。單人姿態(tài)估計的算法模型在訓(xùn)練時通常采用有監(jiān)督方法，由于地面真值（Ground Truth）有不同的類型，單人姿態(tài)估計方法也不相同，分為基于坐標(biāo)回歸和基于熱圖檢測兩種。多人姿態(tài)估計的難度比單人姿態(tài)估計更大，根據(jù)算法步驟的不同，多人姿態(tài)估計中使用的方法也不同，包括一步法（single-stage）和二步法（two-stage）兩種。其中，一步法是一種較為新穎的方法，顧名思義一步法可以一步獲取多人的姿態(tài)估計信息;而二步法的算法流程則較為復(fù)雜，首先需先進(jìn)行人體框、關(guān)節(jié)點的檢測，其次再進(jìn)行關(guān)節(jié)點分組。

與此同時，姿態(tài)估計的網(wǎng)絡(luò)結(jié)構(gòu)也越來越復(fù)雜，這使得算法的比較與分析也比較困難。在MPII上較為顯著的網(wǎng)絡(luò)模型如文獻(xiàn)[1]中的堆積沙漏網(wǎng)絡(luò)、文獻(xiàn)[2]中整合多內(nèi)容信息注意力機制到CNN網(wǎng)絡(luò)、文獻(xiàn)[3]中結(jié)構(gòu)感知卷積以及文獻(xiàn)[4]中金字塔殘差模塊在許多細(xì)節(jié)上都有很大的差異，但在精度上差異不大，很難比較哪些細(xì)節(jié)起到了決定性作用。同樣，在COCO數(shù)據(jù)集上效果較為顯著的方法如文獻(xiàn)[5]中single-stage結(jié)合end-to-end的關(guān)節(jié)點檢測的方法，文獻(xiàn)[6]中Faster r-cnn與Fully Convolutional Resnet相結(jié)合的方法，文獻(xiàn)[7]中在Faster r-cnn的基礎(chǔ)上增加了一個mask預(yù)測分支（Mask r-cnn）的方法，文獻(xiàn)[8]中Cascaded Pyramid Network （CPN）網(wǎng)絡(luò)模型，以及文獻(xiàn)[9]中的PAF網(wǎng)絡(luò)結(jié)構(gòu)，這些方法、網(wǎng)絡(luò)較為復(fù)雜，網(wǎng)絡(luò)結(jié)構(gòu)的差異也比較大。

熱圖（Heatmap）通過把變量放置于行和列中，再將表格內(nèi)的不同單元格進(jìn)行分析著色來產(chǎn)生一個色彩發(fā)展變化情況從而能夠達(dá)到研究顯示信息數(shù)據(jù)、交叉檢查多變量的數(shù)據(jù)的目的。熱圖適用于很多場景，比如顯示多個變量之間的差異，顯示其中任意一個模塊，顯示是否有相似的變量，檢測數(shù)據(jù)之間是否有相關(guān)性。熱圖網(wǎng)絡(luò)（Heatmap Net）與基于二維坐標(biāo)地面真實值（Ground Truth）回歸的算法相比較來說，能夠同時進(jìn)行構(gòu)建基于概率分布的地面真實值和添加一些人體部件之間的結(jié)構(gòu)信息。熱圖網(wǎng)絡(luò)按結(jié)構(gòu)進(jìn)行分類可以分為顯式添加結(jié)構(gòu)先驗和隱式學(xué)習(xí)結(jié)構(gòu)信息。顯式添加結(jié)構(gòu)在訓(xùn)練之前就掌握了人體結(jié)構(gòu)的先驗信息，在為各關(guān)節(jié)生成熱圖后，通過參照概率圖模型和人體各關(guān)節(jié)點連通性，顯式地搭建先驗網(wǎng)絡(luò)連接關(guān)系，因此，在訓(xùn)練過程中，該網(wǎng)絡(luò)能夠控制各個關(guān)節(jié)點信息在網(wǎng)絡(luò)中的流向同時能夠提升網(wǎng)絡(luò)對這些特征信息流的敏感度。顯式添加結(jié)構(gòu)表達(dá)了各個部件檢測器之間的依賴關(guān)系，因此雖然顯示網(wǎng)絡(luò)可以通過概率圖模型學(xué)習(xí)到人體各關(guān)節(jié)的結(jié)構(gòu)信息，但網(wǎng)絡(luò)連接導(dǎo)致了網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜。目前，大多數(shù)姿態(tài)估計方法主要是基于大感受野（Receptive Field）機制來隱式地學(xué)習(xí)人體結(jié)構(gòu)信息。感受野是由CNN網(wǎng)絡(luò)的每一層輸出特征圖上的每個像素點在其原始圖像上映射區(qū)域的大小，值越大則表示該網(wǎng)絡(luò)模型能夠通過學(xué)習(xí)到的原始數(shù)據(jù)圖像進(jìn)行特征研究范圍越廣，蘊含的信息管理更為全局化，語義層次也就越高，而值越小則該網(wǎng)絡(luò)所包含的特征越局部和細(xì)節(jié)。因此，若想學(xué)習(xí)到遠(yuǎn)距離的關(guān)節(jié)點連接特征并且獲得語義層次更高的關(guān)節(jié)點結(jié)構(gòu)信息，則可以通過擴大熱圖的感受野的方法來完成。這種基于大感受野隱式學(xué)習(xí)結(jié)構(gòu)信息的方法具有較高的泛化性和魯棒性較高，許多方法也根據(jù)此方法進(jìn)行了改進(jìn)。熱圖的像素值表示該關(guān)節(jié)點在此位置的概率，而基于熱圖檢測的方法是指先獲取人體關(guān)節(jié)點熱圖，再獲取關(guān)節(jié)點定位信息。Xiao等人在文獻(xiàn)[10]中提出了簡單的姿態(tài)估計基線方法（Simple Baselines），該方法是基于熱圖進(jìn)行預(yù)測的，將低分辨率的特征圖擴張為原圖大小來預(yù)測關(guān)鍵點熱圖?；€方法所使用的網(wǎng)絡(luò)結(jié)構(gòu)是在沙漏殘差模塊中加入幾層反卷積，從而大大降低了算法的復(fù)雜度且得到了較高的預(yù)測精度。改進(jìn)后的姿態(tài)估計網(wǎng)絡(luò)的主要貢獻(xiàn)包括：

1）該網(wǎng)絡(luò)是一個簡單高效的姿態(tài)估計網(wǎng)絡(luò)模型。在基線方法所使用的網(wǎng)絡(luò)模型基礎(chǔ)上加入了通道注意力機制并利用小卷積核代替了大卷積核，該網(wǎng)絡(luò)模型能夠在提高精度的同時減少參數(shù)，是一個簡單、高效且精度較高的姿態(tài)估計網(wǎng)絡(luò)模型。

2）使用H-ESL損失函數(shù)。該損失函數(shù)克服了MSE損失函數(shù)對異常值較為敏感的缺點。

1 姿態(tài)估計基線方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

He等人[11]提出的Resnet網(wǎng)絡(luò)是最常用的特征提取網(wǎng)絡(luò)，文獻(xiàn)[6]中的Faster r-cnn與Fully Convolutional Resnet相結(jié)合的方法和文獻(xiàn)[8]中的CPN網(wǎng)絡(luò)也使用了該網(wǎng)絡(luò)模型進(jìn)行野外人體姿態(tài)估計?；€方法的網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖1所示。

可以看出基線方法的網(wǎng)絡(luò)結(jié)構(gòu)就是在Resnet的基礎(chǔ)上，取最后殘差模塊輸出特征層，在Resnet最后一個卷積上添加了三個反卷積模塊，每個模塊為Deconv、Batchnorm和Relu，使用了He等人[7]提出的R-cnn模塊、Ioe等人[12]提出的Batch歸一化以及Krizhevsky等人[13]提出的Relu激活函數(shù)，每一層采用256個4×4的濾波器，步長為2，最后添加三層1×1的卷積層，從而最終生成預(yù)測的熱圖，可以說是最簡單的根據(jù)深度低分辨率特征圖生成熱圖的網(wǎng)絡(luò)。

1.2 均值平方差損失函數(shù)

Tompson等人提出的MSE[14]是預(yù)測值與目標(biāo)值之間的差值平方之和，它得出的結(jié)果越小，越能表明預(yù)測模型所描述的樣本數(shù)據(jù)具有較好的準(zhǔn)確性。在回歸問題中，由于MSE具有無參數(shù)、計算成本低和物理意義明確等優(yōu)點，該函數(shù)常被用作回歸問題中，以評估模型的損失或算法的性能高低。在姿態(tài)估計的基線方法中也使用該函數(shù)作為損失函數(shù)，它的公式可表示為

1.3 算法評價指標(biāo)

1）平均精度（AP）：平均精度AP指檢測出來的關(guān)鍵點個數(shù)占總個數(shù)的百分比，而APL和APM分別表示最大、最小的AP值。Object Keypoint Similarity（OKS）代表對模型的關(guān)節(jié)點進(jìn)行相似度計算，計算方法是假設(shè)一張多人的2D圖片上一共有M個人，通過算法預(yù)測出N個人，將預(yù)測出來的人數(shù)和圖片原有人數(shù)相互對應(yīng)計算OKS，便可得出一個M×N矩陣。給定一個閾值，如果OKS大于閾值則定義該關(guān)鍵點被檢測出來。AP的計算公式是

2 改進(jìn)的姿態(tài)估計基線方法

2.1 Huber指數(shù)平方損失函數(shù)

誤差梯度用于在正確的方向和量上更新網(wǎng)絡(luò)權(quán)重，神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中計算的誤差梯度包括方向和數(shù)量。然而，在深度網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中，誤差梯度在更新過程中逐漸積累，從而值變大，導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過程中的權(quán)重大大增加，更導(dǎo)致了網(wǎng)絡(luò)變得非常不穩(wěn)定甚至溢出，比如進(jìn)行訓(xùn)練時網(wǎng)絡(luò)層之間值大于1的梯度重復(fù)相乘就會直接導(dǎo)致梯度的指數(shù)級增長，從而發(fā)展產(chǎn)生不同梯度信息爆炸。梯度爆炸帶來很多壞結(jié)果，比如網(wǎng)絡(luò)不穩(wěn)定，網(wǎng)絡(luò)無法從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，最壞的結(jié)果就是網(wǎng)絡(luò)的權(quán)值無法更新，從而導(dǎo)致訓(xùn)練失敗。二維的姿態(tài)估計網(wǎng)絡(luò)模型大多使用的損失函數(shù)為MSE損失函數(shù)，該損失函數(shù)雖然是回歸損失函數(shù)中較為常用的誤差函數(shù)且各點都連續(xù)光滑，便于求導(dǎo)，得到的解也較為穩(wěn)定，但是，由于當(dāng)函數(shù)的輸入值遠(yuǎn)離中心值時，使用梯度下降法解決時梯度非常大，可能導(dǎo)致梯度爆炸，因此損失的穩(wěn)健性難以保證。

2.2 通道域注意力的使用

通道域注意力對不同的通道賦予不同的注意力權(quán)重值以對通道間的重要性進(jìn)行篩選，從而對輸入特征圖的不同通道進(jìn)行注意力權(quán)重賦值。采用的SENet結(jié)構(gòu)示意圖如圖2所示，SENet網(wǎng)絡(luò)能夠通過在殘差模塊加入注意力機制來提高網(wǎng)絡(luò)的分類精度，方法是通過損失函數(shù)來學(xué)習(xí)特征權(quán)重，賦予更高效用的特征圖更高的注意力權(quán)重的同時降低低效用的特征圖的權(quán)重，從而實現(xiàn)通道的注意力權(quán)重分配。SENet主要由兩部分組成：Squeeze部分和Excitation部分。原始特征圖（feature map）的尺寸為H×W×C，H和W分別代表了特征圖的高度（Height）、寬度（width），而C則代表通道數(shù)（channel）。Squeeze部分的作用是把H×W壓縮成一維，即把H×W×C壓縮為1×1×C，在實驗中通常使用global average pooling來實現(xiàn)壓縮步驟。H把H×W×C壓縮為1×1×C后，一維的參數(shù)獲得了之前H×W全局的視野，這說明壓縮后的感受區(qū)域更廣。Excitation部分得到Squeeze的1×1×C的表示后，加入一個FC（Fully Connected）全連接層，這個層能夠?qū)γ總€通道的重要性進(jìn)行預(yù)測，在得到不同通道數(shù)的權(quán)重值大小后再激勵到之前的特征圖的對應(yīng)通道數(shù)上，再進(jìn)行后續(xù)操作。

2.3 小卷積核的使用

卷積核通過對輸入的某個局部塊進(jìn)行加權(quán)求和，從而能夠?qū)崿F(xiàn)對該輸入的局部進(jìn)行感知，其尺寸定義為W×D×C，其中，W表示單個感受野的長度，D表示單個感受野的寬度，C表示卷積核的深度，深度代表著卷積核在三維深度上的連接需要，也就是輸入深度即輸入矩陣的通道數(shù)。每一個卷積核均輸出一個一維的特征圖，多個卷積核就會輸出對應(yīng)個數(shù)的特征圖，這些特征圖堆疊在一起輸出的就是一個有深度的特征圖矩陣。一個大的卷積核可以帶來更大的接受場，但也意味著會產(chǎn)生更多的參數(shù)，獲得相同感受野的條件下，設(shè)置的卷積核尺寸越小，所需要的參數(shù)量就越小，同時計算量也就越小，例如5×5卷積核的參數(shù)有25個，3×3卷積核的參數(shù)有9個，可以看出前者的參數(shù)量是后者參數(shù)量的2.78倍。使用小卷積代替大卷積的具有很多優(yōu)點，例如，集成了多個非線性激活層，集成的非線性激活層可以代替單個非線性激活層，從而提高了網(wǎng)絡(luò)的非線性擬合能力，再例如改進(jìn)后的網(wǎng)絡(luò)減少了網(wǎng)絡(luò)參數(shù)的同時減少了計算量、多個小卷積核的串聯(lián)在網(wǎng)絡(luò)結(jié)構(gòu)搜索中能夠給通道數(shù)設(shè)置增加更多的靈活性等等。改進(jìn)后的網(wǎng)絡(luò)以3個3×3的級聯(lián)卷積代替1個7×7的卷積，原理示意圖如圖3所示。從圖3中可以看出該方法減少22個、45%的參數(shù)，且原本需計算7×7×L次，使用小卷積核后只需計算3×3×3×L次，減少了22×L次計算即45%的計算量，因此，提出的網(wǎng)絡(luò)模型是較輕量級，高效率的網(wǎng)絡(luò)模型。

3 實驗結(jié)果及分析

使用PyTorch[16]框架來搭建模型，以ResNet-50[17]網(wǎng)絡(luò)為基礎(chǔ)，加入了注意力機制、使用小卷積核代替大卷積核并使用H-ESL損失函數(shù)，將提出的模型與Hourglass、CPN和簡單基線網(wǎng)絡(luò)模型精度進(jìn)行對比，結(jié)果如表1所列。

基線網(wǎng)絡(luò)給出的PyTorch開源源代碼mAP值為70.4，在我們的設(shè)備上得以復(fù)現(xiàn)。改進(jìn)的網(wǎng)絡(luò)在降低參數(shù)量的同時mAP值達(dá)到了72.2，相對精度提高2.6%，這說明提出的模型是一個高效且高精度模型。

4 結(jié) 論

針對2D圖片多人姿態(tài)估計問題分別在網(wǎng)絡(luò)與算法上提出了改進(jìn)，設(shè)計了一個高效率、高精度的網(wǎng)絡(luò)。該網(wǎng)絡(luò)加入了通道注意力機制SE結(jié)構(gòu)、使用小卷積核代替大卷積核并使用H-ESL損失函數(shù)。通過注意力機制合理分配特征權(quán)重使結(jié)構(gòu)能夠提取特征同時通過小卷積核代替大卷積核減少網(wǎng)絡(luò)參數(shù)，在算法上使用H-ESL損失函數(shù)克服了MSE對異常值敏感結(jié)果不穩(wěn)定額缺點，結(jié)果是精度有所提升。該模型在COCO2017數(shù)據(jù)集上進(jìn)行驗證，mAP達(dá)到了72.2。由于該模型精度高、參數(shù)量少，因此在一些實時人體定位場景中將有很好的應(yīng)用價值。

參考文獻(xiàn)

[1] NEWELL A， YANG K， JIA D. Stacked hourglass networks for human pose estimation[C]// European Conference on Computer Vision， 2016： 483-499.

[2] CHU X， YANG W， OUYANG W， et al.Multi-context attention for human pose estimation[C]// IEEE Conference on Computer Vision and Pattern Recognition， 2017： 1831-1840.

[3] CHEN Y， SHEN C， WEI X， et al.Aware convolutional network for human pose estimation[C]// IEEE International Conference on Computer Vision， 2017： 1212-1221.

[4] YANG W， LI S， OUYANG W， et al. Learning feature pyramids for human pose estimation[C/OL]// IEEE International Conference on Computer Vision， 2017.

[5] NEWELL A， HUANG Z， DENG J. Associative embedding：End-to-end learning for joint detection and grouping[C]// Advances in Neural Information Processing Systems， 2017： 2274-2284.

[6] PAPANDREOU G， ZHU T， KANAZAWA N， et al.Towards accurate multi-person pose estimation in the wild[C]// Computer Vision and Pattern Recognition， 2017： 3711-3819.

[7] HE K， GKIOXARI G， DOLLAR P， et al.Mask R-CNN[C]// IEEE International Conference on R-Computer Vision， 2017： 2980-2988.

[8] CHEN Y， WANG Z，PENG Y， et al.Cascaded pyramid network for multi-person pose estimation[C/OL]//Computer Vision and Pattern Recognition， 2018.

[9] CAO Z， SIMON T， WEI S E， et al.Realtime multi-person 2D pose estimation using part affinity fields[C/OL]// Computer Vision and Pattern Recognition， 2017.

[10]XIAO Bin， WU Hai-ping， WEI Yi-chen. Simple baselines for human pose estimation and tracking[C]// European Conference on Computer Vision， 2018： 472-487.

[11]HE K， ZHANG X， REN S， et al.Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

[12]IOE S， SZEGEDY C. Batch normalization： Accelerating deep network training by reducing internal covariate shift[J]. International Conference on Machine Learning， 2015： 448-456.

[13]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks[C]// Advances in Neural Information Processing Systems， 2012： 1097-1105.

[14]TOMPSION J， JAIN A， LECUN Y， et al.Joint training of a convolutional network and a graphical model for human pose estimation[J]. Advances in Neural Information Processing Systems， 2014：179-1807.

[15]MARONNA R A， MARTIN R D， YOHAI V J， et al.Robust statistics： Theory and methods （with R）[M].New York：Wiley，2006.

[16]PASZKE A， GROSS S， CHINTALA S， et al. Automatic differentiation in PyTorch[C/OL]// NIPS 2017 Workshop Autodiff Submission， 2017.

[17]HE K， ZHANG X， REN S， et al.Deep residual learning for image recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.