張毅，廖巧珍，羅元

（1．重慶郵電大學(xué)自動(dòng)化學(xué)院，重慶400065；2．重慶郵電大學(xué)光電工程學(xué)院，重慶400065）

融合二階HOG與CS?LBP的頭部姿態(tài)估計(jì)

張毅1，廖巧珍1，羅元2

（1．重慶郵電大學(xué)自動(dòng)化學(xué)院，重慶400065；2．重慶郵電大學(xué)光電工程學(xué)院，重慶400065）

針對(duì)頭部姿態(tài)估計(jì)受光照變化、表情、噪聲干擾等因素影響導(dǎo)致識(shí)別率低的問(wèn)題，提出一種融合二階梯度方向直方圖（HOG）和中心對(duì)稱(chēng)局部二值模式（CS?LBP）特征的姿態(tài)特征，用于單幀圖像的頭部姿態(tài)估計(jì)。采用二階HOG對(duì)人臉圖像進(jìn)行形狀信息提取，得到人臉的輪廓特征；用CS?LBP進(jìn)行局部紋理信息的提取，通過(guò)將二階HOG提取的輪廓特征和CS?LBP提取的紋理特征進(jìn)行融合，得到更有效的人臉特征；將融合的姿態(tài)特征通過(guò)核主成分分析（KPCA）變換非線性映射到高維核空間中，抽取其主元特征分量，采用支持向量機(jī)（SVM）分類(lèi)器進(jìn)行姿態(tài)估計(jì)。實(shí)驗(yàn)結(jié)果表明，方法和HOG、LBP、二階HOG、CS?LBP方法相比有更高的分類(lèi)準(zhǔn)確率，對(duì)光照的變化有很好的魯棒性。

頭部姿態(tài)估計(jì)；梯度方向直方圖（HOG）；中心對(duì)稱(chēng)局部二值模式（CS?LBP）；核主成分分析（KPCA）；支持向量機(jī)（SVM）

頭部姿態(tài)信息在現(xiàn)實(shí)生活中有廣泛的應(yīng)用，例如虛擬現(xiàn)實(shí)、人機(jī)交互、智能監(jiān)控、遠(yuǎn)程視頻會(huì)議、疲勞駕駛檢測(cè)系統(tǒng)等［1?2］，頭部姿態(tài)估計(jì)成為近年來(lái)計(jì)算機(jī)視覺(jué)與模式識(shí)別的熱點(diǎn)。頭部姿態(tài)估計(jì)算法主要分為2類(lèi)：基于模型的方法和基于圖像表觀的方法［3］?；趫D像表觀的方法主要適用于低分辨率的單幀圖像，受到了眾多學(xué)者的廣泛重視。這類(lèi)方法使用的姿態(tài)特征是基于人臉圖像的亮度和顏色獲取的，容易受到光照、噪聲干擾等其他因素的影響，這些因素都會(huì)直接影響姿態(tài)估計(jì)的性能。

已有學(xué)者提出了不少圖像特征來(lái)描述姿態(tài)差異并減少光照變化、噪聲干擾等因素的影響。Zhang等［4］采用樸素貝葉斯分類(lèi)器融合獲取的頭部姿態(tài)圖像，然后用隱馬爾可夫模型識(shí)別頭部姿態(tài)，獨(dú)立成分分析（independent component analysis，ICA）被提出用于頭部姿態(tài)估計(jì)，并取得了很好的效果，但其運(yùn)算量大。王毅等［5］提出將DCT和Gabor結(jié)合提取人臉特征，實(shí)驗(yàn)結(jié)果表明融合特征獲得的性能遠(yuǎn)遠(yuǎn)好于單獨(dú)的特征提取方法，但Gabor提取的特征維數(shù)太大，不利于后期的分類(lèi)工作。Jain和Vailaya［6］最先提出了采用邊緣梯度直方圖來(lái)描述特征，但其一般不具有旋轉(zhuǎn)不變性。Dalal［7］也進(jìn)行了梯度方向的研究，將梯度方向直方圖（histogram of oriented gradient，HOG）特征用于來(lái)行人檢測(cè)。HOG特征是描述邊緣和形狀信息的最好的特征之一，且對(duì)光照和小量的偏移具有魯棒性，但其只是圖像區(qū)域的一階統(tǒng)計(jì)特征，描述能力和姿態(tài)區(qū)分能力還可以進(jìn)一步提高。然而，二階HOG特征比HOG特征包含更加豐富的形狀信息，且這些形狀信息與姿態(tài)息息相關(guān)，所以理論上二階HOG擁有更強(qiáng)的特征描述能力和姿態(tài)識(shí)別能力。而中心對(duì)稱(chēng)局部二值模式（center symmetric local binary patterm，CS?LBP）是LBP算法的改進(jìn)，能夠很好地描述圖像的局部紋理特征，對(duì)單調(diào)的灰度變化具有不變性，分類(lèi)能力強(qiáng)，且維數(shù)不高，運(yùn)算簡(jiǎn)單。

本文提出一種融合二階HOG特征和CS?LBP特征的頭部姿態(tài)估計(jì)算法。二階HOG提取形狀信息，CS?LBP提取紋理信息，通過(guò)將二階HOG提取的輪廓特征和CS?LBP提取的紋理特征進(jìn)行融合，起到了互補(bǔ)的效果，從而改善了分類(lèi)識(shí)別性能。為了降低計(jì)算復(fù)雜度，進(jìn)一步提升系統(tǒng)識(shí)別的實(shí)時(shí)性，本文還采用核主成分分析（kernel principal component analysis，KPCA）［8］變換將融合的特征非線性映射到高維核空間中，抽取其中的主元特征分量。在CMU?PIE人臉數(shù)據(jù)庫(kù)和FacePix數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，本文方法比HOG、LBP等方法的分類(lèi)準(zhǔn)確率更高，不僅對(duì)光照的變化有很好的魯棒性，保留了HOG形狀描述特征的優(yōu)點(diǎn)，還大大降低了計(jì)算復(fù)雜度，且實(shí)時(shí)性好。

1 二階HOG與CS?LBP的特征融合

1．1 二階HOG

二階HOG［9］是在HOG特征的基礎(chǔ)上，通過(guò)計(jì)算多個(gè)圖像單元直方圖元素之間的相互關(guān)系，得到圖像的二階統(tǒng)計(jì)特征，從而能夠很好地描述人臉的邊緣。該圖像特征包含高階的梯度方向分布統(tǒng)計(jì)信息，具有很強(qiáng)的姿態(tài)描述能力，對(duì)光照變化和小量的偏移不敏感。二階HOG的具體計(jì)算步驟如下：

1）對(duì)原始圖像進(jìn)行灰度化處理，圖像的大小統(tǒng)一設(shè)置為32×32像素。

2）采用Gamma校正法進(jìn)行顏色空間的標(biāo)準(zhǔn)化處理。

3）把樣本圖像分割為4×4個(gè)8×8像素的單元，根據(jù)式（1）和式（2）計(jì)算各圖像單元的有向梯度直方圖。

式中：I（x，y）是人臉圖像在點(diǎn)（x，y）處的像素素值，式（1）為（x，y）處的梯度幅值，式（2）為（x，y）處的梯度方向。本文采用一階梯度算子［1，0，－1］進(jìn)行水平和垂直方向的梯度計(jì)算。

4）將每相鄰的2×2個(gè)單元構(gòu)成一個(gè)圖像塊，將塊內(nèi)的所有直方圖元素進(jìn)行相互之間的成對(duì)組合，并采用函數(shù)f計(jì)算一種成對(duì)關(guān)系值［10］，從而得到圖像塊的成對(duì)關(guān)系向量。函數(shù)f可取任一函數(shù)進(jìn)行度量2個(gè)直方圖元素之間的關(guān)系，本文嘗試采用調(diào)和平均值。

5）使用L2范數(shù)對(duì)圖像塊的成對(duì)關(guān)系向量進(jìn)行歸一化，然后將所有的歸一化向量串聯(lián)起來(lái)，從而得到整個(gè)人臉圖像的二階HOG特征。

1．2 CS?LBP

LBP算子由Ojala［11］提出，是以像素點(diǎn)為基礎(chǔ)對(duì)圖像進(jìn)行描述的。設(shè)以圖像中某個(gè)局部區(qū)域內(nèi)的任意一個(gè)像素點(diǎn)gn（xn，yn）為閾值，對(duì)周?chē)鱾€(gè)領(lǐng)域像素點(diǎn)做二值化處理，凡是灰度比閾值大的鄰域點(diǎn)置為1，比閾值小的鄰域點(diǎn)則置為0，從而得到一個(gè)8位的二進(jìn)制數(shù)。

CS?LBP［12］是LBP算法的改進(jìn)，通過(guò)對(duì)關(guān)于中心對(duì)稱(chēng)的像素對(duì)之間的灰度值變化比較來(lái)描述局部紋理變化，不僅加強(qiáng)了抑制噪聲能力，減小計(jì)算復(fù)雜度，還降低了特征表示的維數(shù)。計(jì)算公式如式（3）所示：

式中：gu（u＝0，1，…，P－1）表示P個(gè)以中心像素gn為圓心，R為半徑的圓周上的像素值。gu，gu＋（p／2）是關(guān)于中心像素對(duì)稱(chēng)的像素對(duì)，而閾值T是用于判定局部紋理區(qū)域的平坦性，Heikkil?等驗(yàn)證了閾值T取灰度范圍的1%。原始LBP算子和CS?LBP算子的區(qū)別如1圖所示。

圖1 LBP與CS?LBP對(duì)比Fig．1 Comparion between LBP and CS?LBP

1．3 本文特征融合方法

特征融合的基本思想是對(duì)圖像分別提取二階HOG特征和CS?LBP特征，然后將2種特征進(jìn)行融合，形成最終的圖像特征。具體融合步驟如下：

1）獲取二階HOG特征向量。

①對(duì)預(yù)處理后的人臉圖像提取二階HOG的輪廓特征，得到二階HOG圖像，將二階HOG圖像劃分成4×4個(gè)大小統(tǒng)一、互不重疊的均勻子塊圖像。

②統(tǒng)計(jì)二階HOG圖像的所有子塊圖像的二階HOG特征，將所有塊的直方圖特征按照順序級(jí)聯(lián)成二階HOG圖像的特征向量，用y1∈Rm1表示，如圖2所示。

圖2 二階HOG特征提取Fig．2 Feature extraction of the second order HOG

2）獲取CS?LBP特征向量。

①用CS?LBP算子對(duì)預(yù)處理后的人臉圖像進(jìn)行掃描，得到該圖像對(duì)應(yīng)的CS?LBP編碼圖像。同樣將編碼圖像分成4×4個(gè)大小相等、互不重疊的均勻子塊圖像，并用雙線性插值來(lái)消除邊緣效應(yīng)。

②對(duì)編碼圖像的所有子塊圖像的CS?LBP特征進(jìn)行直方圖統(tǒng)計(jì)，將所有塊的直方圖特征按照順序級(jí)聯(lián)成CS?LBP圖像的特征向量，用y2∈Rm2表示，如圖3所示。

圖3 CS?LBP特征提取Fig．3 Feature extraction of CS?LBP

3）融合兩者特征向量。

將二階HOG特征y1和CS?LBP特征y2按照式（4）進(jìn)行歸一化融合，得到融合特征向量Z∈Rm1＋m2：

式中：σ1和σ2分別為y1和y2的標(biāo)準(zhǔn)差，可根據(jù)特征向量的方差的平方根計(jì)算。

本文將兩者特征進(jìn)行融合用于頭部姿態(tài)估計(jì)。同時(shí)為了進(jìn)一步降低計(jì)算復(fù)雜度，并提升系統(tǒng)識(shí)別的實(shí)時(shí)性，本文將KPCA變換引入系統(tǒng)。本文所采用的基于二階HOG與CS?LBP混合方法的頭部姿態(tài)估計(jì)流程圖如圖4所示。

圖4 基于二階HOG與CS?LBP的頭部姿態(tài)估計(jì)流程Fig．4 Flowchart of head pose estimation based on the second order HOG and CS?LBP

2 基于融合特征的KPCA抽取

2．1 KPCA

KPCA變換是將輸入空間通過(guò)某種隱式方式映射到某個(gè)高維特征空間，并在特征空間中實(shí)現(xiàn)主元成分。相比只適用于線性特征提取問(wèn)題的主成分分析（principal component analysis，PCA）、線性判別分析（linear discriminant analysis，LDA）等傳統(tǒng)降維方法，KPCA不僅適用于解決非線性特征提取問(wèn)題，還能比PCA提供更多的特征數(shù)目和更多的特征質(zhì)量，可以最大限度地抽取指標(biāo)的信息。

假設(shè)訓(xùn)練集S：x1，x2，…，xN∈X，Φ是X到核空間F的一個(gè)核映射，則訓(xùn)練集S在核空間中的像素點(diǎn)用Φ（x1），Φ（x2），…，Φ（xN）表示，那么稱(chēng)它們?yōu)楹丝臻g中的訓(xùn)練集。通過(guò)核函數(shù)的定義可知訓(xùn)練集S的核矩陣滿足式（5）：

則計(jì)算矩陣：

式中：EN為元素均為1／N的N階矩陣。

對(duì)K＾進(jìn)行特征值分解得到其特征值和相應(yīng)的單位特征向量，即λi和vi（i＝1，2，…，N），按照從大到小的順序?qū)⑻卣髦蹬帕?，然后取前d個(gè)特征向量，并令則取Q＝（a1，a2，…，ad）為降維矩陣。對(duì)于任一樣本x，其核主成分分析特征可通過(guò)式（7）抽取。

2．2 融合的特征KPCA抽取

得到上述方法提取的人臉融合特征后，采用KPCA進(jìn)行主元特征分量的抽取。用xi表示融合特征的特征分量，Zi表示經(jīng)KPCA抽取的主元特征分量，則人臉圖像的最終特征矢量滿足：

式（8）中核函數(shù)采用式（9）進(jìn)行特征抽取：

式中：參數(shù)v、θ經(jīng)過(guò)大量實(shí)驗(yàn)后分別取v＝0．8，θ＝1進(jìn)行本文的實(shí)驗(yàn)。

經(jīng)KPCA特征抽取后，將最終特征輸入到支持向量機(jī)（support vector machine，SVM）分類(lèi)器［13］中進(jìn)行頭部姿態(tài)估計(jì)。分類(lèi)環(huán)節(jié)包括訓(xùn)練分類(lèi)器和姿態(tài)識(shí)別過(guò)程，將訓(xùn)練集中的特征向量用于訓(xùn)練得到分類(lèi)器，實(shí)時(shí)姿態(tài)識(shí)別時(shí)將待識(shí)別的特征矢量輸入到訓(xùn)練的分類(lèi)模型中，得票最多的姿態(tài)即為待分類(lèi)的姿態(tài)。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)現(xiàn)的頭部姿態(tài)估計(jì)方法在Window 7操作系統(tǒng)下，將MATLAB和開(kāi)源視覺(jué)庫(kù)OpenCV結(jié)合實(shí)現(xiàn)程序設(shè)計(jì)。本實(shí)驗(yàn)選用FacePix數(shù)據(jù)庫(kù)的部分?jǐn)?shù)據(jù)和CUM?PIE數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。CMU?PIE數(shù)據(jù)庫(kù)收集了68個(gè)對(duì)象分別在13種不同姿態(tài)、4種表情、43種不同光照情況下的圖像，部分圖像如圖5所示。FacePix數(shù)據(jù)庫(kù)含有30個(gè)人的181個(gè)頭部姿態(tài)（在Yaw自由度上），共5 430幅圖像。圖6是某對(duì)象的10種姿態(tài)。

圖5 CUM?PIE數(shù)據(jù)庫(kù)中的人臉圖像Fig．5 Face images of CUM－PIE database

圖6 FacePix中某對(duì)象的10種姿態(tài)Fig．6 Ten poses of one in the FacePix database

為測(cè)試本文提出的姿態(tài)特征是否具有更好的分類(lèi)識(shí)別效果，將本文提出的融合二階HOG與CS?LBP的特征和其他4種圖像特征進(jìn)行比較，包括HOG特征、二階HOG特征（用HOG2nd表示）、LBP特征和CS?LBP特征。在CUM－PIE和FacePix 2個(gè)數(shù)據(jù)庫(kù)中選取20人，隨機(jī)抽取1～10人等作為訓(xùn)練樣本，剩下的作為測(cè)試樣本，采用隨機(jī)抽取訓(xùn)練樣本和交叉測(cè)試的方法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖7。

圖7 不同方法提取特征的對(duì)比Fig．7 Comparison of feature extraction by different approaches

為了進(jìn)一步驗(yàn)證本文提出的算法的有效性，將所有圖像特征都轉(zhuǎn)換成一維向量作為原始高維特征，并經(jīng)過(guò)KPCA變換提取分類(lèi)能力較強(qiáng)的特征分量，在FacePix數(shù)據(jù)庫(kù)中挑選570個(gè)不同姿態(tài)的樣本做比較實(shí)驗(yàn)。假定以被觀測(cè)者為基準(zhǔn)，取其向右側(cè)旋轉(zhuǎn)時(shí)對(duì)應(yīng)的姿態(tài)角度為正角度，其向左旋轉(zhuǎn)時(shí)對(duì)應(yīng)的姿態(tài)角度為負(fù)角度。在－90°～90°依次選取水平的9個(gè)姿態(tài)圖像，間隔取22．5°。采用SVM分類(lèi)器進(jìn)行頭部姿態(tài)估計(jì)。統(tǒng)計(jì)得到的識(shí)別率如表1所示。

表1 FacePix數(shù)據(jù)庫(kù)上測(cè)試的識(shí)別率Table 1 Recognition rate tested in FacePix database

從表1的測(cè)試結(jié)果可以看出：

1）和HOG特征、HOG2nd特征、LBP特征、CS?LBP特征這4種特征相比，本文提出的融合二階HOG和CS?LBP的特征更具有識(shí)別能力。

2）本文方法提取的樣本特征維數(shù)比HOG、HOG2nd、LBP和CS?LBP提取樣本特征的維數(shù)更低，從而使其計(jì)算復(fù)雜度更小，系統(tǒng)識(shí)別的實(shí)時(shí)性處理成為可能。

3）本文提出的融合二階HOG和CS?LBP的特征不進(jìn)行特征抽取時(shí)的頭部姿態(tài)識(shí)別率為96．27%，而本文采用KPCA變換進(jìn)行特征抽取后獲得的頭部姿態(tài)識(shí)別率為98．16%，與不進(jìn)行特征抽取相比提高了接近2%。由此可見(jiàn)，KPCA變換能夠進(jìn)一步提升整個(gè)系統(tǒng)的識(shí)別性能。

為了進(jìn)一步驗(yàn)證本文提出的姿態(tài)特征對(duì)光照的魯棒性，統(tǒng)計(jì)了不同算法在CUM－PIE數(shù)據(jù)庫(kù)上不同樣本數(shù)下的頭部姿態(tài)估計(jì)的識(shí)別率。本文選取了樣本數(shù)分別為200、300、400、500、600、700的強(qiáng)光照情況的頭部姿態(tài)圖像進(jìn)行訓(xùn)練和測(cè)試。由識(shí)別結(jié)果統(tǒng)計(jì)得到的識(shí)別率如表2所示。

從表2可以看出，當(dāng)圖像光照很強(qiáng)時(shí)，前4種算法的識(shí)別率相對(duì)較低，平均識(shí)別率分別為91．64%、93．12%、88．41%和91．07%，而本文提出的算法識(shí)別率相對(duì)較高，平均識(shí)別率為96．44%，這說(shuō)明本文提出的姿態(tài)特征對(duì)光照的變化有很好的魯棒性。圖8為不同方法在強(qiáng)光照情況下不同樣本數(shù)的頭部姿態(tài)識(shí)別率。

表2 在CUM?PIE數(shù)據(jù)庫(kù)上測(cè)試的識(shí)別率Table 2 Recognition rate tested in CUM?PIE database %

圖8 不同方法在光照很強(qiáng)時(shí)的對(duì)比Fig．8 Comparison of different approaches under strong light

4 結(jié)束語(yǔ)

本文提出了一種基于二階HOG特征和CS?LBP特征的姿態(tài)特征進(jìn)行頭部姿態(tài)估計(jì)。同時(shí)引入了KPCA變換，在CUM?PIE和FacePix 2個(gè)人臉數(shù)據(jù)庫(kù)中做了驗(yàn)證實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法提取的姿態(tài)特征對(duì)人臉有更強(qiáng)的姿態(tài)區(qū)分能力，比HOG、LBP、二階HOG、CS?LBP方法的分類(lèi)準(zhǔn)確率更高、計(jì)算復(fù)雜度更低，且實(shí)時(shí)性好，對(duì)光照的變化有很好的魯棒性，在光照強(qiáng)的條件下識(shí)別率高達(dá)96．44%。由于本文主要是針對(duì)水平方向上的頭部姿態(tài)旋轉(zhuǎn)進(jìn)行的頭部姿態(tài)估計(jì)，所以下一步的研究方向是對(duì)同時(shí)繞不同軸旋轉(zhuǎn)的頭部姿態(tài)和更加精細(xì)的姿態(tài)角度進(jìn)行識(shí)別。

［1］PATERAKI M，BALTZAKIS H，TRAHANIAS P．Visual estimation of pointed targets for robot guidance via fusion of face pose and hand orientation［C］／／IEEE InternationalConference on Computer Vision Workshops．Barcelona，Spain，2011：1060?1067．

［2］李春玲，鄒北驥，王磊．基于面部和動(dòng)作表情的雙模態(tài)情緒強(qiáng)度估計(jì)［J］．系統(tǒng)仿真學(xué)報(bào)，2009，21（16）：5047?5052．LI Chunling，ZOU Beiji，WANG Lei．Double?mode estima?tion of emotion intensity based on facial and action’s ex?pression［J］．Journal of System Simulation，2009，2l（16）：5047?5052．

［3］MA B P，CHAI X J，WANG T J．A novel feature descriptor based on biologically inspired feature for head pose estima?tion［J］．Neurocomputing，2013，115：1?10．

［4］ZHANG Z Q，HU Y X，LIU M，et al．Head pose estimation in seminar room using multi view face detectors［M］．Hei?delberg：Springer，2007：299?304．

［5］王毅，葉德謙．基于Gabor小波變換和兩次DCT的人臉表情識(shí)別［J］．微電子學(xué)與計(jì)算機(jī)，2009，26（5）：262?264．WANG Yi，YE Deqian．Facial expression recognition based on Gabor and two times DCT［J］．Microelectronics＆Com?puter，2009，26（5）：262?264．

［6］JAIN A K，VAILAY A．Image retrieval using color and shape［J］．Pattern Recognition，1996，29（8）：1233?1244．

［7］DALAL N，TRIGGS B．Histograms of oriented gradients for human detection［C］／／IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR05）．San Diego，USA，2005：886?893．

［8］LU J W，PLATANIOTIS K N，VENETSANOPOULOS A N．Face recognition using kernel direct discriminant analysis al?gorithms［J］．IEEE Transactions on Neural Networks，2003，14（1）：117?126．

［9］CAO H，YAMAGUCHI K，NAITO T，et al．Pedestrian rec?ognition using second?order HOG feature［C］／／Proceedings of 9th Asian Conference on Computer Vision（ACCV 2009）．Xi’an，China，2010：628?634．

［10］董力賡，陶霖密，徐光祐．基于二階梯度朝向直方圖特征的頭部姿態(tài)估計(jì)［J］．清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，51（1）：73?79．DONG Ligeng，TAO Linmi，XU Guangyou．Head pose es?timation based on a second order histogram of the orienta?tion gradient［J］．Journal of Tsinghua University：Science and Technology，2011，51（1）：73?79．

［11］OJALA T，PIETIKANEN M，MAENPAA T．Multiresolu?tion gray?scale and rotation invariant texture classification with local binary patterns［J］．IEEE Transactions on Pat?tern Analysis and Machine Intelligence，2002，24（7）：971?987．

［12］HEIKKIL? M，PIETIK?INEN M，SCHMID C．Descrip?tion of interest regions with local binary patterns［J］．Pat?tern Recognition，2009，42（3）：425?436．

［13］張毅，劉嬌，羅元，等．基于唇形的智能輪椅人機(jī)交互

［J］．控制工程，2013，20（3）：501?505．ZHANG Yi，LIU Jiao，LUO Yuan，et al．Human?machine interaction based on shape of lip for intelligent wheelchair［J］．Control Engineering of China，2013，20（3）：501?505．

Head pose estimation fusing the second order HOG and CS?LBP

ZHANG Yi1，LIAO Qiaozhen1，LUO Yuan2

（1．College of Automation，Chongqing University of Posts and Telecommunications，Chongqing 400065，China；2．College of Photoe?lectric Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China）

In order to improve head pose recognition rate under variable illumination，expression，and noise，etc．，a novel pose feature，fusing the second order histogram of the orientation gradient（HOG）with the center symmet?ric local binary pattern（CS?LBP）feature，is proposed in order to estimate head pose in a single frame image．The contour information of the facial image is extracted by the second order HOG，deriving the facial contour feature．CS?LBP is used to extract local texture information．More effective facial features can be obtained by fusing contour feature extracted by the second order HOG and the texture feature extracted by CS?LBP．Kernel principal compo?nent analysis（KPCA）is used to nonlinearly project the fused pose feature into a higher dimensional kernel space so as to further select the primary feature．A support vector machine（SVM）classifier is used for pose estimation．Experiment results show that the proposed method is more accurate than the HOG method and the LBP method．This method has good robustness for variable illumination．

head pose estimation；histogram of the orientation gradient（HOG）；center symmetric local binary pat?tern（CS?LBP）；kernel principal component analysis（KPCA）；support vector machine（SVM）

張毅，男，1970年生，教授，博士生導(dǎo)師，主要研究方向?yàn)橹悄芟到y(tǒng)與移動(dòng)機(jī)器人、機(jī)器人自主導(dǎo)航、機(jī)器視覺(jué)與模式識(shí)別、多傳感器信息融合。主持并完成省部級(jí)及其他科研項(xiàng)目10余項(xiàng)，申請(qǐng)國(guó)家發(fā)明專(zhuān)利4項(xiàng)。發(fā)表論文60余篇，其中被SCI、EI、ISTP收錄30余篇，出版專(zhuān)著1部，教材2部。

廖巧珍，女，1989年生，碩士研究生，主要研究方向?yàn)槟Ｊ阶R(shí)別和人機(jī)交互。

羅元，女，1972年生，博士，教授，主要研究方向?yàn)闄C(jī)器人視覺(jué)導(dǎo)航、圖像處理與模式識(shí)別。主持國(guó)家自然科學(xué)基金、重慶市自然科學(xué)基金、重慶市LED重大專(zhuān)項(xiàng)等國(guó)家和省部級(jí)科研項(xiàng)目10余項(xiàng)，獲重慶市科技進(jìn)步三等獎(jiǎng)1項(xiàng)，申請(qǐng)和獲得國(guó)家發(fā)明專(zhuān)利20余項(xiàng)。發(fā)表學(xué)術(shù)論文60余篇，其中被SCI、EI檢索30余篇，出版專(zhuān)著4部。

TP391．4

A

1673?4785（2015）05?0741?06

10．11992／tis．201506019

http：／／www．cnki．net／kcms／detail／23．1538．tp．20150930．1556．014．html

張毅，廖巧珍，羅元．融合二階HOG與CS?LBP的頭部姿態(tài)估計(jì)［J］．智能系統(tǒng)學(xué)報(bào)，2015，10（5）：741?746．

英文引用格式：ZHANG Yi，LIAO Qiaozhen，LUO Yuan．Head pose estimation fusing the second order HOG and CS?LBP［J］．CAAI Transactions on Intelligent Systems，2015，10（5）：741?746．

2015?06?11．

日期：2015?09?30．

國(guó)家自然科學(xué)基金資助項(xiàng)目（60905066）．

廖巧珍．E?mail：490957008＠qq．com．