付 齊，謝 凱，文 暢，賀建飚

（1.長江大學(xué) 電子信息學(xué)院，湖北 荊州 434023；2.長江大學(xué) 電工電子國家級實(shí)驗(yàn)教學(xué)示范中心，湖北 荊州 434023；3.長江大學(xué) 西部研究院，新疆 克拉瑪依 834000；4.長江大學(xué) 計算機(jī)科學(xué)學(xué)院，湖北 荊州 434023；5.中南大學(xué) 計算機(jī)學(xué)院，長沙 410083）

0 概述

頭部姿態(tài)估計指的是根據(jù)給定的圖像推斷出人的頭部方向，包括俯仰角（pitch）、偏航角（yaw）、滾轉(zhuǎn)角（roll）的三維向量［1］。近年來，隨著計算機(jī)視覺和人工智能的發(fā)展，頭部姿態(tài)估計在人機(jī)交互［2］、輔助駕駛［3］、智慧課堂［4］、活體檢測［5］等領(lǐng)域得到了廣泛應(yīng)用。國內(nèi)外不少研究人員對頭部姿態(tài)估計算法進(jìn)行了深入研究，提出多種頭部姿態(tài)估計算法。根據(jù)有無面部關(guān)鍵點(diǎn)，一般可將其分為基于模型的方法和基于外觀的方法兩類［6］。

基于模型的方法通過檢測面部關(guān)鍵點(diǎn)，建立三維空間到二維圖像間的映射關(guān)系來估計頭部姿態(tài)［7］。例如，文獻(xiàn)［8］提出基于眼睛定位的頭部姿態(tài)估計方法，利用眼睛的位置進(jìn)行不同頭部姿態(tài)的估計。文獻(xiàn)［9］結(jié)合特征點(diǎn)的深度信息構(gòu)建三維頭部坐標(biāo)系，然后將頭部坐標(biāo)系粗配準(zhǔn)計算與點(diǎn)云配準(zhǔn)算法相結(jié)合，最終得到精準(zhǔn)的頭部姿態(tài)參數(shù)。該方法的準(zhǔn)確率和穩(wěn)定性表現(xiàn)比較好，但是獲取圖像的深度信息要使用特殊的設(shè)備，成本較高。文獻(xiàn)［10］先結(jié)合局部二值模式（Local Binary Pattern，LBP）特征進(jìn)行面部關(guān)鍵點(diǎn)檢測，然后采用支持向量機(jī)對頭部姿態(tài)進(jìn)行分類。

基于外觀的方法通過大量已標(biāo)記的數(shù)據(jù)，訓(xùn)練出樣本到頭部姿態(tài)角的映射模型。例如，文獻(xiàn)［11］利用殘差網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)提取特征，有效提高了真實(shí)場景下的預(yù)測精度。文獻(xiàn)［12］通過改變卷積深度、卷積核大小等手段優(yōu)化LeNet-5 網(wǎng)絡(luò)，使其能夠更好地捕捉到豐富的特征，進(jìn)而提高預(yù)測精度。文獻(xiàn)［13］提出一種輕量級的特征聚合結(jié)構(gòu)，使用多階段回歸估計頭部姿態(tài)參數(shù)。

在真實(shí)環(huán)境下進(jìn)行頭部姿態(tài)估計是一個具有挑戰(zhàn)性的難題。文獻(xiàn)［14］為得到部分遮擋中面部特征的有效表示，從非遮擋人臉子區(qū)域中提取金字塔HoG 特征來估計頭部姿態(tài)。文獻(xiàn)［15］通過合成頭部姿態(tài)圖像，增加不同照明和遮擋條件下的樣本圖像，進(jìn)而改善模型的性能。文獻(xiàn)［16］利用Gabor 二進(jìn)制模式對人臉進(jìn)行處理，以解決部分遮擋和光照變化。文獻(xiàn)［17］將遮擋字典引入到面部外觀字典中，以從部分遮擋的面部外觀中恢復(fù)面部形狀，并對各種部分面部遮擋進(jìn)行建模。

本文提出聯(lián)合遮擋和幾何感知模型下的頭部姿態(tài)估計方法，采用人臉檢測和圖像增強(qiáng)技術(shù)，減小背景和光照變化的影響。通過面部遮擋感知網(wǎng)絡(luò)和幾何感知網(wǎng)絡(luò)，在減小部分遮擋影響的基礎(chǔ)上加入人臉的幾何信息。在此基礎(chǔ)上，采用設(shè)計的多損失混合模型精準(zhǔn)地估計出頭部姿態(tài)參數(shù)。

1 本文方法

本文提出一種新的頭部姿態(tài)估計方法，在聯(lián)合遮擋感知和幾何感知的模型下進(jìn)行頭部姿態(tài)估計。如圖1所示，本文方法分為4 個部分：（1）為圖像預(yù)處理模塊，目的是進(jìn)行人臉檢測和圖像增強(qiáng)；（2）為面部遮擋感知模塊，作用是通過遮擋感知網(wǎng)絡(luò)減少面部遮擋的干擾；（3）為面部幾何感知模塊，應(yīng)用堆疊膠囊自編碼器［22］感知人臉幾何信息；（4）為頭部姿態(tài)估計模塊，通過使用多損失混合模型輸出頭部姿態(tài)角。

圖1 本文方法框架Fig.1 Framework of the method in this paper

1.1 圖像預(yù)處理

1.1.1 人臉檢測

本文的頭部姿態(tài)估計方法是從單張圖像中推理出頭部姿態(tài)角，建立圖像中頭部的空間特征信息到頭部姿態(tài)角向量的映射關(guān)系。為減小背景環(huán)境的影響，先對輸入圖像進(jìn)行人臉檢測。在深度學(xué)習(xí)中，多任務(wù)卷積神經(jīng)網(wǎng) 絡(luò)（Multi-Task Convolutional Neural Networks，MTCNN）是一個較實(shí)用的、性能較好的人臉檢測方法［18］，由P-Net、R-Net、O-Net 3層網(wǎng)絡(luò)組成，其核心思想是通過多任務(wù)的形式訓(xùn)練網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)多個任務(wù)共同完成的目標(biāo)，使人臉檢測的過程由簡到精。在實(shí)際運(yùn)用中，MTCNN 可以很好地應(yīng)對頭部的大幅度偏轉(zhuǎn)，同時對光照變化和部分遮擋具有一定的魯棒性。

1.1.2 圖像增強(qiáng)

考慮到低曝光、光照不均勻等復(fù)雜的光照情況對頭部姿態(tài)估計的影響，在提取特征之前，本文對檢測到的人臉進(jìn)行圖像增強(qiáng)處理，以減小光照變化帶來的影響。受文獻(xiàn)［19-20］啟發(fā)，本文先采用自適應(yīng)亮度均衡對亮度圖進(jìn)行處理，然后采用色調(diào)映射技術(shù)對圖像的整體亮度進(jìn)一步調(diào)節(jié)，以解決低曝光問題。

首先，本文將輸入圖像從RGB 通道變換到HSV 通道，單獨(dú)處理V 通道而不改變圖像色彩。為達(dá)到保持邊緣、降噪平滑的效果，本文對亮度圖像進(jìn)行濾波，得到圖像的底層Ib和細(xì)節(jié)層Id，表達(dá)式如式（1）所示：

其中：I為輸入圖像；BF為雙邊濾波器，濾波過程可表示如下：

其中c(.)和s(.)分別表示像素位置間的相似度和像素值之間的相似度，定義如下：

提取到亮度圖像后，本文采用自適應(yīng)的方法對亮度進(jìn)行平滑處理，具體處理流程如下：

其中：z(x，y)表示像素點(diǎn)(x，y)在一定范圍內(nèi)的亮度平均值；I′(x，y)代表處理后的圖像。本文將某一點(diǎn)的亮度值與其鄰域內(nèi)的亮度平均值作比，得到參數(shù)α，假如α>1，則對圖像進(jìn)行亮度抑制，反之則對圖像進(jìn)行亮度增強(qiáng)，最終達(dá)到亮度均衡的效果。

為進(jìn)一步調(diào)節(jié)圖像亮度，本文對均衡后的底層圖像進(jìn)行自適應(yīng)色調(diào)映射，因?yàn)槿祟愐曈X系統(tǒng)感知亮度近似為對數(shù)函數(shù)［21］，所以可將映射函數(shù)定義如下：

其中：Im為I′的最大值；代表對數(shù)平均亮度，其表達(dá)式如式（9）所示。

通過式（9），本文可以對圖像的整體亮度進(jìn)行調(diào)整，為保留細(xì)節(jié)，本文將濾波后的細(xì)節(jié)層融入映射后的圖像，該過程的表達(dá)式如下：

最后，將處理后的亮度分量與原有的色調(diào)和飽和度分量進(jìn)行合成，并轉(zhuǎn)化到RGB 空間得到最終的圖像。

1.2 面部遮擋感知模型

如圖1 中（2）所示，本文的面部遮擋感知模型先對處理后的圖像進(jìn)行卷積操作以減少參數(shù)量，得到特征圖后將其劃分成n個子區(qū)域。接著將這些子區(qū)域分別送入遮擋感知單元得到對應(yīng)的遮擋感知因子，該參數(shù)反映了子區(qū)域的遮擋程度。最后將感知因子與對應(yīng)子區(qū)域相乘并恢復(fù)成原特征圖的形狀，得到新的帶有遮擋信息的特征圖。

每個遮擋感知單元包含1 個遮擋感知網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以感知遮擋的子區(qū)域，對于未遮擋的、信息豐富的子區(qū)域，網(wǎng)絡(luò)輸出較大的遮擋因子參數(shù)。詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 遮擋感知網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Schematic diagram of occlusion sensing network structure

由圖2 可知，該網(wǎng)絡(luò)包含4 個卷積層、2 個全連接層。網(wǎng)絡(luò)的輸入為劃分好的子區(qū)域，通過遮擋感知網(wǎng)絡(luò)后經(jīng)Softmax 函數(shù)輸出1 個遮擋因子，表示該區(qū)域的遮擋程度。在實(shí)際應(yīng)用中，為充分細(xì)化遮擋程度，對于完全遮擋的、沒有面部信息的子區(qū)域，網(wǎng)絡(luò)輸出遮擋因子數(shù)值為無窮小，依此類推，遮擋程度越小、信息越豐富的子區(qū)域，網(wǎng)絡(luò)輸出遮擋因子的數(shù)值越大。

本文定義第i塊子區(qū)域?yàn)閜i，則遮擋感知網(wǎng)絡(luò)可表示如下：

其中：y表示從區(qū)域特征到輸出的映射；αi表示該區(qū)域的遮擋因子。最后本文將每塊子區(qū)域乘以對應(yīng)的遮擋因子并拼接在一起，得到帶有遮擋信息的新的特征圖F，表達(dá)式如下：

1.3 基于SCAE 的面部幾何感知

堆疊膠囊自編碼器（Stacked Capsule Autoencoders，SCAE）［22］通過無監(jiān)督方式描述幾何關(guān)系，利用部件之間的幾何關(guān)系重建原始圖像。受到這一特點(diǎn)的啟發(fā)，本文使用SCAE 對面部圖像的組成部分和組成部分的姿態(tài)進(jìn)行編碼，深度感知面部各部分的幾何關(guān)系，獲取面部的幾何表征，提高頭部姿態(tài)估計準(zhǔn)確率。如圖1 中（3）所示，SCAE 由部件膠囊自編碼器和對象膠囊自編碼器堆疊而成。

1.3.1 部件膠囊自編碼器

部件膠囊自編碼器將輸入的面部特征圖編碼成M個部件膠囊，每個膠囊包含1 個姿態(tài)向量xm，1 個存在概率dm和1 個特殊的特征zm參數(shù)，姿態(tài)向量里包含了面部各部分之間的相對位置，特殊的特征參與下一部分對象膠囊自編碼器的編碼。為了能更好地優(yōu)化部件膠囊的參數(shù)，本文將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）當(dāng)作編碼器，編碼過程可以表示如下：

在解碼過程中，本文首先為每個部件膠囊定義1 個模板Tm∈[0，1]h×w×1，為了獲得帶有模板的實(shí)際圖像部分，本文使用獲取到的姿態(tài)向量xm對模板進(jìn)行仿射變換：

然后，本文用空間高斯混合模型（Gaussian Mixture Model，GMM）重建輸入。圖像似然值可表示如下：

元素及其化合物是中學(xué)化學(xué)基礎(chǔ)知識之一,是解決化學(xué)反應(yīng)過程中思維活動的基礎(chǔ),沒有扎實(shí)的基礎(chǔ)知識,就如同漏水的水桶,在解決問題時就會千瘡百孔,漏洞百出。

這一階段訓(xùn)練的目標(biāo)是提取代表面部各部分的部件膠囊、姿態(tài)等參數(shù)，并得到部件的模板，用于第2 個階段的對象膠囊自編碼器。訓(xùn)練的目標(biāo)函數(shù)是最大化圖像似然函數(shù)。

1.3.2 對象膠囊自編碼器

在第2 個階段，對象膠囊自編碼器對部件膠囊自編碼器的輸出進(jìn)行編碼，以獲取各個部件膠囊之間的內(nèi)部關(guān)系，并重建部分膠囊的姿態(tài)。

在對象膠囊自編碼器階段，本文將上一階段得到的姿態(tài)向量、特殊的特征和模板作為輸入，使用set-transform［23］作為編碼器，將輸入編碼成K個對象膠囊，每個膠囊包含1 個特征向量ck、存在概率βk和1 個3×3 的對象，即視角關(guān)系矩陣Vk。編碼過程可以表示如下：

其中：hcaps函數(shù)表示編碼器。在解碼過程中，對于每個對象膠囊，本文使用1 個多層感知器預(yù)測出N個候選區(qū)域，每個候選區(qū)域包含1 個條件概率βk，n、1 個聯(lián)合的標(biāo)量標(biāo)準(zhǔn)差λk，n和1 個3×3 的對象—部件關(guān)系矩陣Pk，n。解碼過程如式（18）所示：

其中：μk，m和λk，m分別代表各向同性高斯分量的中心和標(biāo)準(zhǔn)差，μk，m=Vk×Pk，m，目標(biāo)函數(shù)是最大化部件似然函數(shù)。

1.4 基于多損失的頭部姿態(tài)估計混合模型

輸入圖像經(jīng)過以上遮擋感知模塊和幾何感知模塊后，本文得到了面部圖像的遮擋表征和幾何表征，然后本文利用這些特征建立映射模型，得到最終的頭部姿態(tài)參數(shù)。在之前預(yù)測頭部姿態(tài)的工作中，大多直接使用回歸的方法建立映射模型，然而這種方法難以處理頭部姿態(tài)的細(xì)微變化，預(yù)測精度不高。

圖3 多損失混合模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of multi-loss hybrid model

其中：CEL 和MSE 分別代表交叉熵?fù)p失和均方損失；yi和分別代表真實(shí)值和預(yù)測值；α代表權(quán)值因子，該因子的評估將在2.2.2 節(jié)進(jìn)行。本文將不同維度的3 個損失反向傳播到網(wǎng)絡(luò)，以加強(qiáng)模型學(xué)習(xí)，最終獲得細(xì)粒度較高的預(yù)測結(jié)果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集與評估指標(biāo)

在3個公開的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以評估本文提出的頭部姿態(tài)估計模型。圖4所示為數(shù)據(jù)集圖像示例，第1行為300W_LP［24］數(shù)據(jù)集樣本，第2行為AFLW2000［24］數(shù)據(jù)集樣本，第3行為BIWI［25］數(shù)據(jù)集樣本。

圖4 數(shù)據(jù)集圖像示例Fig.4 Sample image of dataset

300W-LP 數(shù)據(jù)集由300W［26］數(shù)據(jù)集擴(kuò)展而來，它標(biāo)準(zhǔn)化了多個用于面部對齊的數(shù)據(jù)集，使用帶有3D圖像網(wǎng)格的面部輪廓人工合成了61 225 個不同姿態(tài)的樣本。AFLW2000 數(shù)據(jù)集是一個野外數(shù)據(jù)集，共有2 000 張受各種姿態(tài)、部分遮擋、光照、種族等因素影響的人臉圖片，每張圖像都標(biāo)注了對應(yīng)的姿態(tài)。BIWI 數(shù)據(jù)集是一個實(shí)驗(yàn)室數(shù)據(jù)集，記錄了20 個志愿者（包括6 名女性和14 名男性）坐在Kinect 前（約1 m的距離）自由轉(zhuǎn)動頭部的視頻序列，該數(shù)據(jù)集擁有超過15 000 張圖像數(shù)據(jù)，其中頭部姿態(tài)偏轉(zhuǎn)角度變化范圍在［-75°，75°］之間，俯仰角度在［-60°，60°］之間。

為訓(xùn)練遮擋感知網(wǎng)絡(luò)，本文從上述數(shù)據(jù)集中隨機(jī)選取200 張樣本圖像合成遮擋的樣本，用作網(wǎng)絡(luò)訓(xùn)練。本文的遮擋物選取了日常生活中常用的物品，將遮擋物隨機(jī)疊加到人臉圖像上生成遮擋數(shù)據(jù)集。圖5 為遮擋數(shù)據(jù)集部分圖像示例。

圖5 遮擋數(shù)據(jù)集圖像示例Fig.5 Sample images of occlusion dataset

本文將平均絕對誤差（Mean Absolute Error，MAE）作為評估指標(biāo)。假設(shè)給定一系列訓(xùn)練的人臉圖像X=｛xn|n=1，2，…，N｝和對應(yīng)的頭部姿態(tài)標(biāo)簽yn，將通過本文網(wǎng)絡(luò)預(yù)測出的頭部姿態(tài)設(shè)為，則MAE 定義如下：

2.2 實(shí)驗(yàn)設(shè)置和參數(shù)評估

2.2.1 實(shí)驗(yàn)設(shè)置

本文通過Pytorch 框架實(shí)現(xiàn)本文方法，實(shí)驗(yàn)平臺為搭載Intel?CoreTMi710875 CPU、NVIDA RTX2070 GPU的計算機(jī)。實(shí)驗(yàn)以300W_LP 為訓(xùn)練集，將AFLW2000和BIWI 分別作為測試集。模型訓(xùn)練結(jié)合了無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)。本文將預(yù)處理后的圖像通過已經(jīng)訓(xùn)練好的遮擋感知網(wǎng)絡(luò)提取出帶有遮擋信息的面部特征，然后將特征送入幾何感知網(wǎng)絡(luò)進(jìn)行無監(jiān)督學(xué)習(xí)，在幾何感知網(wǎng)絡(luò)模型訓(xùn)練階段，使用RMAProp 優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，部件膠囊和對象膠囊的個數(shù)都設(shè)置為32，學(xué)習(xí)率設(shè)為0.000 1，迭代次數(shù)為500 次。在多損失預(yù)測頭部姿態(tài)模型階段，使用Adam 優(yōu)化器進(jìn)行訓(xùn)練，將初始學(xué)習(xí)率設(shè)為0.000 1，每迭代50 次學(xué)習(xí)率衰減0.000 001，最大迭代次數(shù)為400 次。

2.2.2 參數(shù)評估

針對多損失混合模型中交叉熵?fù)p失和均方損失間權(quán)重因子的評估，本文分別在AFLW2000數(shù)據(jù)集和BIWI數(shù)據(jù)集上評估不同權(quán)重因子下本文模型的性能，將權(quán)重因子分別設(shè)置為0、0.25、0.5、1、2、3，測試結(jié)果如圖6所示?？梢钥吹?，當(dāng)權(quán)重因子為2 時，模型在兩個數(shù)據(jù)集上的MAE 均最小，模型預(yù)測準(zhǔn)確率最高。

圖6 不同權(quán)重因子下的測試結(jié)果Fig.6 Test results under different weight factors

2.3 圖像預(yù)處理

本文在預(yù)處理階段進(jìn)行了人臉檢測和亮度均衡操作，目的是減小背景和光照變化的干擾。圖7 為部分預(yù)處理實(shí)驗(yàn)結(jié)果，圖7 中第1 列圖像代表輸入的原圖，第2 列圖像為進(jìn)行人臉檢測后按一定比例裁剪的圖像，第3 列為進(jìn)行亮度均衡處理后的圖像。

圖7 預(yù)處理結(jié)果示例Fig.7 Example of preprocessing results

2.4 消融實(shí)驗(yàn)

為評估本文方法中遮擋感知模塊和幾何感知模塊的影響，本文對比了模型在有無嵌入遮擋感知和幾何感知情況下的性能，實(shí)驗(yàn)以300W_LP 為訓(xùn)練集，將AFLW2000 和BIWI 分別作為測試集，結(jié)果如圖8 所示。

圖8 不同模型的消融實(shí)驗(yàn)結(jié)果Fig.8 Results of ablation experiments of different models

在圖8 中，A 組代表模型中既無遮擋感知塊也無幾何感知塊，B 組表示只有遮擋感知塊，C 組表示只有幾何感知塊，D 組表示兩者都有。A、B 組對比結(jié)果顯示，嵌入遮擋感知模塊的模型在野外數(shù)據(jù)集AFLW2000 上測試性能明顯提升，在BIWI 數(shù)據(jù)集上測試性能相近。A、C 組對比結(jié)果顯示，嵌入幾何感知模塊后的模型在BIWI 數(shù)據(jù)集上測試性能明顯提升，而因未考慮遮擋，所以在AFLW2000 數(shù)據(jù)集上測試結(jié)果沒有B 組好。D 組在嵌入遮擋和幾何感知塊后，在兩個數(shù)據(jù)集上的測試性能都明顯提升，平均絕對誤差均低于B 組和C 組。消融實(shí)驗(yàn)的結(jié)果表明，本文方法中的遮擋感知模塊和幾何感知模塊有效提高了模型的估計性能，具有一定的實(shí)際應(yīng)用價值。

2.5 對比實(shí)驗(yàn)與分析

本文對比了目前較好的姿態(tài)估計方法。前3 組方法是基于面部關(guān)鍵點(diǎn)的，后幾組為無面部關(guān)鍵點(diǎn)的方法。其中，Dlib［27］是一個標(biāo)準(zhǔn)的人臉庫，使用回歸樹集合估計人臉的關(guān)鍵點(diǎn)位置。FAN［28］是一種非常先進(jìn)的面部關(guān)鍵點(diǎn)檢測方法。該方法通過跨層多次合并特征獲取多尺度信息。3DDFA［24］通過CNN將三維空間人臉的模型擬合到彩色圖像上，在AFLW 數(shù)據(jù)集上取得了很好的效果。Hopenet［29］提出結(jié)合分類與回歸計算三維頭部姿態(tài)。FSA-Net［13］設(shè)計了一個細(xì)粒度回歸學(xué)習(xí)映射模型。文獻(xiàn)［30］提出一種新的三分支網(wǎng)絡(luò)架構(gòu)來學(xué)習(xí)每個姿態(tài)角的區(qū)別特征，再通過引入跨類別中心損失來約束潛在變量子空間的分布，得到更緊湊、更清晰的子空間。文獻(xiàn)［31-32］探索了最近比較流行的VIT 在頭部姿態(tài)估計的應(yīng)用，取得了比較好的估計結(jié)果。

表1 和表2 分別為本文方法在2 個基準(zhǔn)數(shù)據(jù)集上與最新方法（包括基于面部關(guān)鍵點(diǎn)的方法和無面部關(guān)鍵點(diǎn)的方法）的對比結(jié)果，其中“—”表示無此數(shù)據(jù)。本文是基于無面部關(guān)鍵點(diǎn)的方法，與基于面部關(guān)鍵點(diǎn)的方法（文獻(xiàn)［24］、文獻(xiàn)［27］和文獻(xiàn)［28］方法）相比，本文方法準(zhǔn)確率更高，這是因?yàn)榛诿娌筷P(guān)鍵點(diǎn)的方法受關(guān)鍵點(diǎn)檢測過程的影響，依賴面部關(guān)鍵點(diǎn)，而對關(guān)鍵點(diǎn)外的面部特征學(xué)習(xí)能力較差，難以適應(yīng)訓(xùn)練和測試之間的差異。

表1 AFLW2000 數(shù)據(jù)集上不同方法的對比結(jié)果Table 1 Results comparison of different methods under AFLW2000 dataset

表2 BIWI 數(shù)據(jù)集上不同方法的對比結(jié)果Table 2 Results comparison of different methods under BIWI dataset

由表1 和表2 還可以發(fā)現(xiàn)，在無面部關(guān)鍵點(diǎn)的方法中，本文方法的測試結(jié)果均優(yōu)于其他方法，在AFLW2000數(shù)據(jù)集和BIWI 數(shù)據(jù)集上的平均絕對誤差分別為3.91和3.55，比對比方法中表現(xiàn)最好的方法分別降低了11.53%和7.31%。BIWI 數(shù)據(jù)集為實(shí)驗(yàn)室數(shù)據(jù)集，本文方法通過幾何感知網(wǎng)絡(luò)提取了其他方法忽略的面部幾何信息，使測試準(zhǔn)確率有一定程度的提升。此外，本文方法在具有挑戰(zhàn)性的AFLW2000 數(shù)據(jù)集上的測試結(jié)果與其他方法相比有所提升，這顯示了本文方法的優(yōu)越性，進(jìn)一步證實(shí)了本文方法中遮擋感知模型和幾何感知模型的有效性。

為評估本文方法的效率，本文采用模型參數(shù)量和運(yùn)行的視頻幀率（Frames Per Second，F(xiàn)PS）作為評定指標(biāo)。由表1和表2可知，與FSA-Net［13］和LwPosr［31］相比，本文方法的模型參數(shù)量較多，這是因?yàn)镕SA-Net［13］設(shè)計了輕量級的特征聚合結(jié)構(gòu)，LwPosr［31］使用深度可分離卷積替換了普通卷積，能夠減少模型參數(shù)量。而本文從解決復(fù)雜環(huán)境下的頭部姿態(tài)估計問題出發(fā)，設(shè)計了遮擋感知模型和幾何感知模型，導(dǎo)致模型參數(shù)量增加。另外，與其他方法相比，本文方法的幀率較低，這是因?yàn)楸疚姆椒ㄟM(jìn)行了圖像預(yù)處理，在該過程中會消耗較多的時間成本。但本文方法可以很好地適應(yīng)復(fù)雜的現(xiàn)實(shí)場景，提高現(xiàn)實(shí)場景下頭部姿態(tài)估計的準(zhǔn)確率。

2.6 復(fù)雜環(huán)境下的性能測試

在得到訓(xùn)練好的網(wǎng)絡(luò)模型后，本文選取光照變化差異大、有部分面部遮擋的樣本圖像進(jìn)行測試，以直觀地驗(yàn)證本文方法在復(fù)雜環(huán)境下的性能，測試結(jié)果如圖9 所示。

圖9 本文方法在復(fù)雜環(huán)境下的測試結(jié)果示例Fig.9 Example of test results of method in this paper under complex environment

在圖9中，第1行是光照條件較差時的結(jié)果，第2行是面部有部分遮擋時的結(jié)果?？梢钥闯觯疚姆椒ㄔ诠庹詹痪?、低曝光、部分遮擋等復(fù)雜環(huán)境下表現(xiàn)良好，達(dá)到在復(fù)雜條件下進(jìn)行頭部姿態(tài)估計的目標(biāo)。

2.7 局限性分析

本文提出的頭部姿態(tài)估計方法在一定程度上提高了在復(fù)雜環(huán)境下的預(yù)測準(zhǔn)確率。然而，本文方法也存在一些局限性，本文可以很好地應(yīng)對小部分面部遮擋情況，但當(dāng)面部區(qū)域遮擋過大時，本文方法可能無法產(chǎn)生令人滿意的結(jié)果，因?yàn)楫?dāng)面部區(qū)域遮擋過大時，本文提取的有效面部特征就會變少，進(jìn)而影響模型預(yù)測頭部姿態(tài)。另外，本文方法可能在移動嵌入式設(shè)備表現(xiàn)不佳，因?yàn)楸疚姆椒ǖ哪Ｐ蛥?shù)較大。

3 結(jié)束語

本文提出一種基于遮擋感知模型和幾何感知模型的頭部姿態(tài)估計方法，通過圖像預(yù)處理操作與使用遮擋感知網(wǎng)絡(luò)，減少背景、光照變化、遮擋等環(huán)境因素的干擾，提高預(yù)測準(zhǔn)確率。采用幾何感知網(wǎng)絡(luò)提取特征，為獲取幾何感知的人臉圖像提供了一種無監(jiān)督學(xué)習(xí)的解決方案。實(shí)驗(yàn)結(jié)果表明，本文方法能有效應(yīng)對光照不均、部分遮擋、面部外觀差異大等問題，在不同數(shù)據(jù)集上的表現(xiàn)較好。下一步將進(jìn)行遮擋部分的復(fù)原工作［33］，以豐富面部特征，提高頭部姿態(tài)估計準(zhǔn)確率。同時通過減少模型參數(shù)，使其適用于移動嵌入式設(shè)備。