?

三維面部表情識別技術(shù)的研究進展

魏永超1,,莊夏2**,傅強2,杜冬1

(1.中國民用航空飛行學(xué)院 飛行技術(shù)與飛行安全科研基地,四川 廣漢 618307；

2.中國民用航空飛行學(xué)院 科研處,四川 廣漢 618307)

摘要：三維采集設(shè)備的快速發(fā)展,極大推動了三維數(shù)據(jù)技術(shù)的研究。其中,以三維人臉數(shù)據(jù)為載體的三維面部表情識別研究成果不斷涌現(xiàn)。三維面部表情識別可以極大克服二維識別中的姿態(tài)和光照變化等方面問題。對三維表情識別技術(shù)進行了系統(tǒng)概括,尤其針對三維表情的關(guān)鍵技術(shù),即對表情特征提取、表情編碼分類及表情數(shù)據(jù)庫進行了總結(jié)分析,并提出了三維表情識別的研究建議。三維面部表情識別技術(shù)在識別率上基本滿足要求,但實時性上需要進一步優(yōu)化。相關(guān)內(nèi)容對該領(lǐng)域的研究具有指導(dǎo)意義。

關(guān)鍵詞：表情識別；三維人臉；表情特征；表情編碼；表情數(shù)據(jù)庫；研究進展

1引言

目前，人臉表情識別基本上以二維圖像為主,識別率容易受到光照、姿態(tài)等環(huán)境因素的影響。人臉是一個三維幾何體,二維圖像丟失了一些重要的信息,因而無法精確地反映出面部表情特征。三維面部表情識別以人臉表情的三維數(shù)據(jù)為載體,最大程度地利用面部幾何特征,因此具有更好的魯棒性和更高的識別率。尤其是近年來,三維成像技術(shù)的發(fā)展極大地促進了三維人臉表情識別技術(shù)的發(fā)展。

三維表情識別的過程和二維表情識別類似,分為人臉的預(yù)處理、表情特征提取和表情分類三大部分[1-3]。人臉的預(yù)處理是人臉區(qū)域分割與點云數(shù)據(jù)的曲面化處理；表情特征提取通過特征點的幾何特性表示人臉表情；表情分類通過分類方法,對表情特征進行分類、判決,給出表情結(jié)果。

三維表情識別是前沿性研究領(lǐng)域,目前國內(nèi)還沒有關(guān)于三維表情識別的綜述性文章,國外只有一篇相關(guān)的文獻(xiàn)[4],且只是對三維表情識別的系統(tǒng)介紹,沒有進行深入全面分析。本文綜合分析了三維表情識別研究的發(fā)展現(xiàn)狀。表情特征提取是表情識別的重要核心步驟,而表情編碼和表情數(shù)據(jù)庫是表情識別的重要基礎(chǔ),因此,本文重點對人臉表情的特征提取算法,尤其針對近幾年研究的熱點——動態(tài)三維表情特征提取進行了詳細(xì)總結(jié),同時對表情編碼和表情數(shù)據(jù)庫進行較為全面總結(jié)，最后,對三維表情識別研究存在問題和發(fā)展趨勢進行了分析。

2人臉預(yù)處理

在實時三維表情識別中,獲取的是三維人臉的點云數(shù)據(jù),通常數(shù)據(jù)是不規(guī)則的,數(shù)據(jù)間存在不一致性等問題,需要對人臉點云數(shù)據(jù)進行預(yù)處理,從而為后續(xù)的表情建模提供基礎(chǔ)。人臉點云數(shù)據(jù)的處理分為噪聲去除、視角對齊、數(shù)據(jù)精簡、數(shù)據(jù)濾波、數(shù)據(jù)分割、姿態(tài)矯正、曲面重建等步驟,經(jīng)過處理后,就可以得到實時較為完整的三維人臉數(shù)據(jù)。三維人臉點云數(shù)據(jù)的處理和通用的點云處理算法一致,有不少描述點云處理的文獻(xiàn),由于本文重點關(guān)注三維表情識別中的差異性,因此這里不再贅述。

3三維表情特征提取

根據(jù)三維表情識別的是基于單個三維人臉還是三維人臉數(shù)據(jù)序列,分為靜態(tài)三維識別和動態(tài)三維識別。

3.1靜態(tài)三維表情特征提取

3.1.1基于幾何的特征

距離是常用的靜態(tài)三維人臉幾何特征,它可以反映臉部標(biāo)記點間形變。在BU-3DFE人臉表情數(shù)據(jù)庫中,每個人臉網(wǎng)格數(shù)據(jù)有83個特征點,這些特征點及距離常用來進行靜態(tài)臉部表情分析。文獻(xiàn)[5]利用數(shù)據(jù)庫給定的其中11個特征點,計算出6個特征距離。文獻(xiàn)[6]中的多個距離分別對應(yīng)眼睛張開方式、眉毛高度以及嘴部位置的特征描述。文獻(xiàn)[7]通過臉部動畫參數(shù)單元、特征點之間的距離進行歸一化,并用折線連接特征點,通過法線分割產(chǎn)生單元矢量作為額外特征集。文獻(xiàn)[8]采用臉部特殊移動位置的6個距離,加上眼睛和嘴巴形狀相關(guān)的坡線角度作為特征。文獻(xiàn)[9]計算出特征點的多種距離為特征。文獻(xiàn)[10-12]利用所有特征點對之間的距離為特征。文獻(xiàn)[13]以所有特征點的距離為特征,并對每個點的表面曲率進行分類,人臉被分割成不同特征點三角形子集,并進一步生成直方圖。文獻(xiàn)[14]運用殘余量,計算每個點的位移大小和方向為特征,通過組合3個空間方向的矩陣,形成一個二維特征矩陣。

塊特征是另外一種幾何特征,常用于獲取臉部每個點、標(biāo)志點或者特征點周圍小塊區(qū)域的信息[15]。文獻(xiàn)[16]通過一組多項式函數(shù)對每個點進行局部曲面擬合，并利用函數(shù)參數(shù)計算出曲率來表征塊特征。文獻(xiàn)[17-18]通過標(biāo)志點周圍曲線定義塊特征,曲線表示塊的層次,并通過均方根速度函數(shù)(Square-Root Velocity Function,SRVF)的值來描述曲線形狀,函數(shù)值用來計算曲線變形,從而得到幾何距離,對每個塊的曲線幾何距離求和就可以得到塊之間的距離。文獻(xiàn)[19]通過形狀、強度和深度值3個變量的線性組合來構(gòu)建統(tǒng)計面部特征模型(Statistical Facial Feature Model,SFAM),從而擬合面部標(biāo)記點局部塊特征,通過嘗試ICP(Iterative Closest Point)對齊,比較6個典型的面部表情等效區(qū)域,計算得到塊距離后用作特征之間的分類。

基于幾何的特征提取方法以特征點的距離為主要的特征,通過直接以距離或者距離的變換進行三維表情描述,因此算法對特征點的依賴程度較高,特征點的提取結(jié)果會一定程度影響識別率。該方法總體來說是從微觀角度描述人臉表情信息,可以反應(yīng)表情的一些細(xì)節(jié),但無法宏觀描述人臉面部表情。

3.1.2基于模型的特征

形變模型是特征提取的方法之一,可以對身份、表情或兩種變量同時建模。文獻(xiàn)[20]中,通過減少點之間的能量函數(shù)值,確認(rèn)表情人臉之間的匹配點。通過提取表情的平均人臉主成分以及特征表情加權(quán)求和重建新人臉,建立MEM(Morphable Expression Model)模型。SFAM屬于形變模型的一種[21],通過模型擬合參數(shù),提取網(wǎng)格特征。運用強度和深度值,同時從向量中減去形狀參數(shù)的均值得到位移特征集,通過以上參數(shù)計算形狀指數(shù),并通過多尺度局部二進制模式(Local Binary Patterns,LBPs)進行編碼。文獻(xiàn)[22]同樣采用SFAM提取特征,從SFAM中自動或者人工提取標(biāo)記點和特征,特征包括標(biāo)記點坐標(biāo)以及標(biāo)記點周圍網(wǎng)格的形態(tài)、紋理和深度參數(shù),LBP對紋理和深度參數(shù)進行編碼。文獻(xiàn)[23]采用彈性變形雙線性3D模型提取特征，該模型對模型和點云中標(biāo)記點都進行擬合,通過最小化能量函數(shù)優(yōu)化,創(chuàng)建點之間的細(xì)分曲面。文獻(xiàn)[24-25]通過區(qū)分能量函數(shù),設(shè)置為零,然后再執(zhí)行奇異值分解求解獲取的線性方程組,得到最優(yōu)參數(shù)。

模型特征提取方法是人臉表情的宏觀描述,從整體角度對面部表情進行特征提取,因此算法會損傷表情的細(xì)節(jié)特征,無法識別細(xì)微表情變化。算法對特征點的依賴程度較低。

3.1.3基于二維映射的特征

另外一種三維圖像序列的特征提取方法是通過映射三維數(shù)據(jù)到二維空間表征。在三維特征提取之前,該表征可以同樣用于配準(zhǔn)和網(wǎng)格區(qū)域分割。文獻(xiàn)[27]用三維網(wǎng)格的深度圖和點z值做二維表征,用尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)算法進行特征提取。同樣，在文獻(xiàn)[28]中,深度圖經(jīng)過進一步處理,實現(xiàn)圖像直方圖的均衡化。文獻(xiàn)[29]進一步采用Zernike矩實現(xiàn)特征分類。文獻(xiàn)[30]用微分幾何特征轉(zhuǎn)化三維人臉到二維空間表征,然后通過傳統(tǒng)的二維運動單元檢測算法對二維表征進行分析。文獻(xiàn)[31]采用類似的方法,通過分析如幾何、法線和局部曲率等特征,獲取表情圖,用于特征分類。通過文獻(xiàn)[32]中的方法,LSCM(Least Squares Conformal Mapping)可以變換三維數(shù)據(jù)特征到二維圖像[32-33]。該方法通過等角參數(shù)化方法實現(xiàn)三維形狀的二維圖像描述，之后通過二維彈性形變估計圖像和參考圖像間的差異，并利用自適應(yīng)網(wǎng)格技術(shù)完成輪廓平滑及人臉點密度均衡，而這些自適應(yīng)網(wǎng)格可以最終估計非剛性配準(zhǔn)造成的形變誤差。文獻(xiàn)[34]利用共形映射轉(zhuǎn)換三維網(wǎng)格到二維平面網(wǎng)格,并找到對應(yīng)關(guān)系,根據(jù)十二基元,對映射網(wǎng)格上的面部表面特征進行標(biāo)記,形成面部表情標(biāo)簽圖(Facial Expression Label Map,FELM),并通過擬合局部表面和使用Hessian矩陣特征,估計表面主曲率和方向。

基于二維映射的特征提取方法通過降維的方式,投影三維特征到二維區(qū)域,利用成熟的二維識別算法完成識別。算法的效率較高,可以用于實時識別。但算法對于特征投影方式較為敏感,如何挑選出反映面部表情的特征并進行投影,是算法需要解決的根本。

3.1.4多信息融合特征

二維信息和三維信息融合的特征提取方法是目前研究的熱點之一,它充分利用兩者的優(yōu)勢,是自動化實時識別的一個解決方案。

文獻(xiàn)[3]提出三維局部曲率和二維局部角點雙模態(tài)識別方法。文獻(xiàn)[35]結(jié)合二維紋理、三維表面和三維曲率進行特征提取,上述特征通過曲面擬合的三次函數(shù)系數(shù)以及計算矩不變量的標(biāo)志點周圍的Gabor小波系數(shù)構(gòu)建。文獻(xiàn)[36]通過二維和三維小波變換,提取三維人臉數(shù)據(jù)的多尺度特征,并用于分類。文獻(xiàn)[37] 評估了三維、二維以及三維結(jié)合二維的方式對運動單元識別方法。文獻(xiàn)[38] 使用紋理圖像和三維數(shù)據(jù)結(jié)合的方式自動提取特征點,紋理圖像被分割為6個區(qū)域,并在分割的紋理圖像的6個區(qū)域中輪廓線,通過補償點云位置得到一個矩陣,之后用特定表情的矩陣減去無表情矩陣形成動態(tài)矩陣,再使用PCA(Principal Component Analysis)的投影系數(shù)得到表情模板。文獻(xiàn)[1]提出了利用多源圖像數(shù)據(jù)(包括三維深度圖像和二維彩色圖像)進行表情識別的算法,首先將人臉三維圖像轉(zhuǎn)化為用灰度表示的深度圖像,通過對人臉深度圖像的分析,提取出進行表情識別所需要的特征點,最后通過對特征點的綜合分析,對待識別人臉的表情作出判斷。

多信息融合方式識別是目前表情識別研究的一個熱點，多信息融合特征提取識別可以很大程度提高算法的識別率，但目前研究只進行了簡單的線性疊加,因此,識別率較低。如何快速提取多信息并進行融合是算法的核心問題。

3.2動態(tài)三維表情特征提取

相比利用單個或者多個靜態(tài)圖像的三維表情識別,基于三維圖像序列的面部表情動態(tài)分析還處于起始階段。

3.2.1基于常規(guī)三維表情數(shù)據(jù)庫

文獻(xiàn)[39]通過跟蹤特征點,捕捉表情的三維網(wǎng)格變形,盡管創(chuàng)建了一個三維表情識別數(shù)據(jù)集,但沒有相關(guān)測試結(jié)果的報道。最早采用三維運動特征進行人臉表情分析工作之一是文獻(xiàn)[40],可變形模型用于跟蹤幀與幀之間的變化,并計算運動矢量,通過為每一個表情提取的三維人臉表情標(biāo)簽圖,對所獲得的運動矢量進行分類。文獻(xiàn)[41-43]中的ASM(Active Shape Model)跟蹤技術(shù)可以跟蹤人臉標(biāo)志點的運動,在考慮標(biāo)志點代表的不同多邊形形狀的測量變化情況下,提取的信息用于確定對應(yīng)特定運動單元的不同臉部變形。文獻(xiàn)[44]基于運動的方法中,通過在減去主體對應(yīng)中性狀態(tài)的矩陣之前,把三維人臉網(wǎng)格映射到一個統(tǒng)一的三維矩陣中,生成一個流量矩陣,顯示時間演變帶來的表情運動。采用傅里葉變換對該矩陣進行變換,所得到的譜矩陣行連接起來以形成一個表示表情的特征向量。

3.2.2基于動態(tài)三維表情數(shù)據(jù)庫

文獻(xiàn)[45]是最早利用BU-4DFE數(shù)據(jù)庫進行面部表情動力學(xué)分析的報道之一,它采用文獻(xiàn)[40]中的形變模型,對每一幀圖像建模,并跟蹤模型變化以提取幾何特征。文獻(xiàn)[46]中,在配準(zhǔn)和裁剪后,通過提取每一幀不同層次人臉特定高度點得到面部水平曲線,通過比較幀間曲線的chamfer距離,進一步提取特征,利用弧形參數(shù)化函數(shù)分區(qū)后,chamfer距離進一步對曲線進行分割,相鄰3幀圖像的特征用于提取時間信息。文獻(xiàn)[47-48]中FFDs(free-form deformations)方法通過控制點的一個變形晶格的B樣條插值,對幀間運動進行建模,在每個表情的開始和結(jié)束段,對包含最高運動集中的圖像序列,通過向量投影法建立空間和時間區(qū)域,軸分割圖像成不同大小區(qū)域,使最小區(qū)域包含最多運動,同樣向量投影法對軸進行四叉樹分解。對上述區(qū)域進行特征提取,包括運動量測量、向量場的散度和旋度以及運動方向。

文獻(xiàn)[49]提出了4D表情識別方法,利用時間維度上3D網(wǎng)格數(shù)據(jù)的融合和配準(zhǔn),從而提取臉部特征。首先計算Harris角點的旋轉(zhuǎn)圖像、MeshDOG檢測的關(guān)鍵點位置的MeshHOG描述符,通過RANSAC(Random sample consensus)輪廓壓縮,建立數(shù)據(jù)序列描述符見的匹配；再通過三維形變臉部模型擬合數(shù)據(jù)序列,最后利用局部二進制模式(LBP)計算模型的3個正交平面。文獻(xiàn)[50]對算法進行了擴展,使其適用于靜態(tài)和動態(tài)三維表情識別。然而,由于需要對三維數(shù)據(jù)序列進行融合和配準(zhǔn),因此算法不適用于在線識別。同時,算法是半自動識別,需要人工標(biāo)注12個標(biāo)記點。

文獻(xiàn)[51]提出的運動面部特征提取方法可以用于三維動態(tài)表情識別。算法原理是基于黎曼面部形狀分析技術(shù)，以第一幀為參考幀，通過比對鼻尖徑向曲線，建立隨后5幀與參考幀間的變形矢量場，并進一步取其平均值作為特征矢量，通過LDA(Linear Discriminant Analysis)和多級隨機森林算法對表情特征矢量進行分類識別。該算法需要幀間數(shù)據(jù)精確比對，計算量較大，且中性表情的平均特征矢量會影響表情的準(zhǔn)確分類。

文獻(xiàn)[52]提出了自動實時動態(tài)三維表情識別算法。算法首先自動選擇特征點,并通過計算特征點間距離和特征點的三維形狀紋理局部信息,對臉部進行描述，最后通過HMM(Hidden Markov Models)對特征進行分類。

文獻(xiàn)[53]提出自動4D表情識別算法。采用自動標(biāo)注特征點,提取了人臉面部各個運動單元在深度信息和法方向信息在各個閾值范圍內(nèi)當(dāng)表情發(fā)生變化時的變化特征,在表情判定過程中,建立6種基本表情的表情動態(tài)編碼特征向量,并使用近鄰法對輸入表情進行表情判定。

從上面分析看出,現(xiàn)有的動態(tài)三維表情識別算法是半自動或者自動的,且一些算法采用2D數(shù)據(jù)。半自動算法依賴人工標(biāo)注的標(biāo)記點,進行幀間配準(zhǔn)和臉部關(guān)鍵區(qū)域提取。自動算法采用較少的特征點進行配準(zhǔn)和融合,或者應(yīng)用彈性形變進行配準(zhǔn)和計算矢量場。然而,無論自動或者半自動算法,計算量都很大,對于實時和在線處理都是不適合的。

表1為相關(guān)算法在各自文獻(xiàn)中的實驗結(jié)果。

表1　三維表情識別算法一覽表

續(xù)表1

4表情特征分類

三維面部表情分析的特征分類和二維的類似。在三維面部表情識別系統(tǒng)中有許多分類技術(shù)，這些方法包括LDA和線性分類器、最近鄰分類、聚類算法和最大似然分類?；谝?guī)則的分類器廣泛用于二維情況,也已經(jīng)被用于三維人臉表情分析。通過蟻群和粒子粒子群優(yōu)化(Ant Colony and Particle Swarm Optimizations,ACO和PCO),可以進行規(guī)則分類。支持向量機(Support Vector Machines,SVM)包括多類支持向量機也是主要的分類方法之一。選擇不同的弱分類器是另一種已被廣泛應(yīng)用的技術(shù)，如線性回歸和LDA、基于Adaboost的分類方法。GentleBoost分類、貝葉斯分類器也是廣泛使用的方法。神經(jīng)網(wǎng)絡(luò)分類器構(gòu)成另一流行的方法。概率神經(jīng)網(wǎng)絡(luò)和流形學(xué)習(xí)也可以應(yīng)用于三維特征分類的問題。

5面部表情分類與編碼

5.1常規(guī)表情分類

許多研究者曾對情緒進行過分類,湯姆金列出了8種基本情緒：興趣、快樂、驚奇、痛苦、恐懼、憤怒、羞怯、輕蔑。伊扎德在此基礎(chǔ)上又增加了厭惡和內(nèi)疚兩種情緒。許多研究者都在實驗中使用了7種表情,就是應(yīng)用了這6種基本的特定情感表情加上平靜共7種表情作為待識別的表情類別。根據(jù)心理學(xué)的定義[54],表情被分為6個基本的大類：高興、悲傷、憤怒、驚訝、厭惡和恐懼。六大表情時臉部的主要表現(xiàn)如下：

(1)“憤怒”時主要表現(xiàn)為兩眼眉皺起,嘴抿緊,眼睛瞪著或鼓起,鼻孔可能張大；

(2)“厭惡”的主要表現(xiàn)是上嘴唇上抬,導(dǎo)致鼻子皺起、臉頰上抬、下眼瞼上揚,此外眼眉可能會出現(xiàn)形變；

(3)“恐懼”最顯著特征為嘴角向后拉伸,眉毛抬起并皺在一起,上眼皮抬起,下眼皮被拉上來；

(4)“高興”表情出現(xiàn)時,臉部形變主要集中于下半臉,最顯著的特征是兩個嘴角向上運動,此外由于嘴部的運動可能導(dǎo)致臉頰形變和下眼瞼形變；

(5)“悲傷”主要表現(xiàn)在眼眉和嘴部：眼眉內(nèi)側(cè)會向上抬起,眼眉中部也會向上抬起,但是運動幅度明顯小于眼眉內(nèi)側(cè),兩眼眉構(gòu)成八字形,而兩個嘴角向下拉伸,此外上眼瞼由于眼眉的運動可能會產(chǎn)生形變；

(6)“驚訝”的顯著特征最多分散最廣,表現(xiàn)在眼眉整體顯著上移,眼睛張大,上眼瞼上移和下眼瞼下移,下頜下移嘴張大。

5.2面部運動編碼系統(tǒng)

自20世紀(jì)20年代早期開始,研究者們都試圖測量面部表情和開發(fā)一個參數(shù)化的系統(tǒng),但沒有達(dá)成任何共識。為了解決這些問題,Ekman和Friesen開發(fā)了全面FACS系統(tǒng)[55],并已成為事實上的標(biāo)準(zhǔn)。

FACS(Facial Action Coding System)面部動作編碼是一種基于肌肉的方法，它包括確定各類的面部肌肉,它們單獨或成組引起面部行為的改變。這些在臉上變化和底層肌肉(一個或多個)引起的變化被稱為行動單位(Action Unit,AU)，F(xiàn)ACS由許多這類行動單位組成，這些單元與使面部表情改變的肌肉結(jié)構(gòu)緊密相連，每一個 AU 對應(yīng)一個特定的動作。

面部表情用44個AU來描述,然而不同的 AU 組合的數(shù)目卻是巨大的,超過了7000 種,許多很難用2D圖像識別進行檢測。FACS 詳細(xì)分析了這些 AU 的運動特征及其所控制的主要區(qū)域以及與之相關(guān)的表情,并給出了大量的照片說明。

目前，F(xiàn)ACS 幾乎已經(jīng)成為描述人面部行為的基礎(chǔ),它不包含任何與情感相關(guān)的描述,只是對人面部的各種可視的動作和特征進行編碼,已經(jīng)被自動化表情識別領(lǐng)域的研究人員廣泛接納。根據(jù)六大表情的表現(xiàn),6種基本表情和 AU 組合之間的聯(lián)系如下：

(1)“憤怒”時AU組合為4+7+17+23+24；

(2)“厭惡”的AU組合為9+10+17；

(3)“恐懼”的AU組合為1+2+4+5+20+25；

(4)“高興”的AU組合為6+12；

(5)“悲傷”的AU組合為1+4+15+17；

(6)“驚訝”的AU組合為1+2+5+26+27。

其他編碼方案有面部動作評分技術(shù)(Facial Action Scoring Technique,FAST)、 情緒面部動作編碼系統(tǒng)(Emotional Facial Action Coding System,EMFACS)、 最大限度地判別面部動作編碼系統(tǒng)(Maximally Discriminative Facial Movement Coding System,MAX)、面肌肌電圖(Facial Electromyography,EMG)、整體判斷的影響表情(Affect Expressions by Holistic Judgment,AFFEX)、一元階段(Mondic Phases)和嬰兒/嬰兒FACS,詳細(xì)介紹可以參考文獻(xiàn)[56-57]。

6三維表情數(shù)據(jù)庫

目前國際上已有多個大規(guī)模的二維人臉表情數(shù)據(jù)庫,這些數(shù)據(jù)庫為二維人臉表情識別算法提供了評測和性能比較的公共平臺。2004 年之前,很少有公開的三維人臉表情數(shù)據(jù)庫。近年來,越來越多的研究組織開始建立自己的三維人臉數(shù)據(jù)庫。公開的三維人臉數(shù)據(jù)庫為三維人臉識別領(lǐng)域提供了實驗的依據(jù)。下面列出部分有代表性的三維數(shù)據(jù)庫。

6.1BU-3DFE和BU-4DFE

BU-3DFE數(shù)據(jù)庫是首次收集用于表情識別的三維面部數(shù)據(jù)的系統(tǒng)嘗試[58],由美國賓漢姆頓大學(xué)(Binghamton University)提供,包括100人,每個人被采集 4種程度的6類表情模型,系統(tǒng)通過3DMD設(shè)備采集。三維人臉模型由20 000～35 000個多邊形組成,同時,每個人臉模型包含83個特征點。

BU-4DFE數(shù)據(jù)庫是BU-3DFE的延伸[59],用于動態(tài)三維表情識別,由四維人臉(三維人臉圖像序列)組成。該數(shù)據(jù)包括101人,用DI3D采集設(shè)備采集動態(tài)人臉圖像。它由6種基本表情的面部表情序列組成,每個表情時間段大概持續(xù)4 s。時間和空間分辨率分別為25 frame/s和35 000個頂點。但是數(shù)據(jù)庫不提供AU識別。

6.2The Bosphorus Database

Bosphorus數(shù)據(jù)庫[60]是公開的用于靜態(tài)三維表情分析的數(shù)據(jù)庫,該數(shù)據(jù)庫通過商業(yè)結(jié)構(gòu)光三維采集設(shè)備Mega Capturor獲取人臉數(shù)據(jù)。數(shù)據(jù)庫包含105人(60名男性,45名女性,且大部分為白種人),其中27人為專業(yè)演員,包含豐富的姿態(tài)、表情和遮擋。每人表達(dá)6種表情以及24 AU單元。紋理圖像分辨率為1600×1200,三維人臉包含35 000個頂點。數(shù)據(jù)庫同時包含24個人工標(biāo)注的標(biāo)志點。

6.3ICT-3DRFE[61]

該數(shù)據(jù)庫是新近建立的，采集了23人(17名男性，7名女性)的多光照條件下的15種表情單元數(shù)據(jù)。這15種表情單元分別是：6種典型表情，2種中性表情(閉眼與睜眼)，2種眉毛表情，1種皺眉表情以及4種眼睛表情。數(shù)據(jù)集中每個模型包含多達(dá)1 200 000個頂點的1296×1944反射貼圖像素,分辨率對應(yīng)于亞毫米級皮膚毛孔的詳細(xì)程度。數(shù)據(jù)庫還包括光度信息，允許真實感渲染。該數(shù)據(jù)庫是完全注釋AU。根據(jù)肌肉活動度,AU分在0和1之間。

6.4D3DFACS

第一個包含動態(tài)三維Aus編碼的數(shù)據(jù)庫是D3DFACS[62]，它包含10人(4名FACS專家),包含多達(dá)38種組合姿態(tài)變化例子,總共519個AU序列,幀率為60 frame/s,平均90幀每個AU。每個圖像序列經(jīng)過FACS專家編碼。系統(tǒng)通過3DMD人臉動態(tài)系統(tǒng)獲取數(shù)據(jù),是第一個用于動態(tài)三維AU識別和分析的數(shù)據(jù)庫。

6.5FRGC Ver2.0

FRGC V2.0包含了465人的4007幅2.5維圖像,圖像尺寸為 320×240,采集設(shè)備為Minolta Vivid 900/910 series scanner,采集時間從 2003 年秋至 2004 年春。除了中性表情外,還包括一些帶表情的圖像,如微笑、驚訝等。

6.6GavabDB

GavabDB庫[63]包含了61人的 549 幅三維圖像,其中 45 名為男性,16 名為女性。所有的被采集者都是高加索人種,年齡18～40歲。每個采集設(shè)備分別采集 9 幅圖像，其中2 幅中性正面，2 幅左右全側(cè)面，1 幅仰頭，1 幅低頭，1 幅微笑表情，1 幅大笑表情，1 幅隨意表情姿態(tài)圖像。

6.7CASIA 3D Face Database[64]

該數(shù)據(jù)庫由中圖科學(xué)院自動化所生物識別與安全技術(shù)研究中心提供,于2004年8月,采用Minolta Vivid 910采集設(shè)備,采集了123人的4624幅三維數(shù)據(jù),數(shù)據(jù)包含姿態(tài)、光照以及表情變化數(shù)據(jù),同時采集戴眼鏡與不戴眼鏡情況下數(shù)據(jù),每人采集37幅或者38幅數(shù)據(jù),其中包括二維圖像和三維臉部網(wǎng)格數(shù)據(jù)。

6.8Hi4D-ADSIP

該數(shù)據(jù)庫是一個三維動態(tài)數(shù)據(jù)庫，由高分辨率的全面部數(shù)據(jù)組成。數(shù)據(jù)庫不但可以促進面部表情識別技術(shù)的研究，還可以用于面部神經(jīng)功能障礙的臨床診斷研究。該數(shù)據(jù)庫采集了80名各種年齡、性別及種族的共3360個人臉數(shù)據(jù)序列，被認(rèn)為是到目前為止最全面的一個人臉面部三維動態(tài)表情數(shù)據(jù)庫。而且，針對面部功能障礙的腦卒、貝爾氏麻痹癥及帕金森癥的研究，該數(shù)據(jù)庫正在進一步擴充數(shù)據(jù)。

6.9其他數(shù)據(jù)庫

第一個三維人臉表情數(shù)據(jù)庫包含六大表情[39],它通過視頻采集圖像以及一個攝像機和投影機組成的被動結(jié)構(gòu)光技術(shù)得到三維數(shù)據(jù),目前該數(shù)據(jù)并未公開。

另外一個公開但未被廣泛關(guān)注的表情數(shù)據(jù)庫[42],同步采集3D、灰度圖像和不可見近紅外光譜數(shù)據(jù)。包含52人(12女,40男)的832個序列,每個序列中,采集每人的簡單AU(總共11個)或者模仿一個臉部表情2～4次(高興、悲傷、厭惡、驚奇和中性),持續(xù)5～10 s。

另外一個用于面部行為分析的數(shù)據(jù)庫[65],通過3DMD人臉動態(tài)系統(tǒng)采集,由94人說同一詞語組成。采集50人的微笑。然而,作者在采集各種AU數(shù)據(jù)時存在問題,因為被采集者無法多次表達(dá)正確的AU,況且對于那些沒有任何經(jīng)驗用戶更加困難。

最早公開的三維人臉數(shù)據(jù)庫[66-67],通過CyberwareTM激光技術(shù)采集三維數(shù)據(jù),包含100男性和100女性,年齡18～45歲,所有的都是白種人,在配準(zhǔn)后可以用于形變模型構(gòu)建。文獻(xiàn)[68]是最近公開的同樣用于靜態(tài)形變模型的數(shù)據(jù)庫，數(shù)據(jù)主要用于三維表情分析和合成。

還有其他的包含表情人臉的三維人臉數(shù)據(jù)庫,如ND-2006數(shù)據(jù)庫[69]、York三維數(shù)據(jù)庫[70]、Texas數(shù)據(jù)庫[71]等。 ND-2006數(shù)據(jù)庫包含888個人的多個圖像,每個人有高興、厭惡、悲傷和驚奇表情,通過Minota Vivid采集三維數(shù)據(jù),分辨率達(dá)到112 000個頂點。York三維數(shù)據(jù)庫由350個人臉組成,包含微笑、生氣、閉眼和揚眉表情,通過結(jié)構(gòu)光技術(shù)采集數(shù)據(jù)。Texas數(shù)據(jù)庫包含105人,或微笑或交談,以及25個標(biāo)記點。

7總結(jié)與討論

7.1現(xiàn)有技術(shù)總結(jié)

現(xiàn)有的3D面部表情領(lǐng)域工作基于的數(shù)據(jù)庫都是對6種基本情緒,表演和夸張的表情很少發(fā)生在我們的日常生活。此外,越來越多的證據(jù)表明，深思熟慮或表演的行為在表現(xiàn)和時間上都和自發(fā)的不同。例如,表演的微笑比自然發(fā)生的微笑幅度較大,持續(xù)時間較短,起止速度更快。反過來,實驗室環(huán)境培訓(xùn)的表演行為自動方法無法概括現(xiàn)實世界中表情行為的復(fù)雜性。

此外,目前三維表情識別技術(shù)研究更多關(guān)注的是算法對識別率的影響,速度不是主要的研究方向。因此,實時識別還有一定差距。

目前三維表情識別無論采用哪種表情特征提取方式,都過多依賴特征點或者標(biāo)記點,特征點或者標(biāo)記點的提取結(jié)果直接影響最后的識別率，而目前的特征點或標(biāo)記點提取算法在穩(wěn)定性方面還需要進一步改善,因此自動表情識別技術(shù)還需要進一步研究。

三維比二維具有更多的人臉信息,特征提取是對信息的有效壓縮,而如何從三維信息中提取比二維表情圖像更有效的特征,現(xiàn)有的特征提取方法無法證明比二維圖像更簡單有效。

7.2存在問題及展望

目前為止,三維表情識別技術(shù)還處于算法的研究階段,在性能和應(yīng)用方面與二維表情識別相比還存在差距。

在三維表情識別研究領(lǐng)域,國外研究無論從數(shù)據(jù)庫建設(shè)還是核心算法研究方面都取得了一定的研究成果。同時，國內(nèi)開展該方面的研究較晚,鮮有該方面研究文獻(xiàn)報道,且國內(nèi)研究以模仿國外研究、算法以借鑒三維人臉識別為主,還存在著一定的差距。

盡管三維數(shù)據(jù)采集設(shè)備發(fā)展迅速,但相比二維圖像采集,在普適性方面還存在差距。目前的三維采集設(shè)備只能夠采集幾米內(nèi)的物體,且速度較慢。而人臉面部有微表情,持續(xù)時間低于0.04 s，強度非常低,幀速率至少50～60 frame/s,因此需要捕捉這些微表情至少2～3幀。記錄的幀的分辨率要求很高,從而需要捕獲臉部非常細(xì)微運動部分。目前,很少有方法能夠記錄上述數(shù)據(jù)。有兩個商業(yè)產(chǎn)品可以記錄上面數(shù)據(jù),但需要嚴(yán)格的記錄場景,且不支持實時三維面部重建。另一個挑戰(zhàn)是記錄4D面部數(shù)據(jù)庫。該數(shù)據(jù)庫包含自發(fā)行為,且在具有高空間和時間分辨率的上下文中實時捕獲。為了獲取3D數(shù)據(jù)所需的設(shè)備和裝置,必須開發(fā)新的策略,以擺脫環(huán)境限制,同時引入通用表情和其他的情感狀態(tài)。最后,需要捕獲臉部360°視圖。由于當(dāng)前成像系統(tǒng)的局限性,4D捕獲仍然局限于正面人臉,這是由于無法處理非常大的姿態(tài)變化問題。因此,要處理任意姿勢或動作的運動,具有多個全方位捕捉相機是必要的，這樣才可以捕捉任何情況下超過60°或90°的頭部轉(zhuǎn)動。因此,部分人臉捕獲的空洞問題是可以解決的。

三維數(shù)據(jù)的人臉表情識別算法復(fù)雜,尤其是隨著分辨率的提高以及數(shù)據(jù)規(guī)模的擴大,計算的時間成本將無法估量,如何提取簡單有效的表情特征是亟待解決的問題。

綜上所述,三維表情識別技術(shù)在識別率、實時性、自動化及魯棒性等方面都還需要進一步研究?，F(xiàn)有的技術(shù)一定程度體現(xiàn)了三維表情識別未來發(fā)展?jié)摿?通過結(jié)合二維表情識別技術(shù)和三維表情識別技術(shù)兩者優(yōu)勢,取長補短,將會推動表情識別技術(shù)的實際應(yīng)用。

參考文獻(xiàn)：

[1]文沁,汪增福.基于三維數(shù)據(jù)的人臉表情識別[J].計算機仿真，2005,7(22):99-103.

WEN Qin,WANG Zengfu. Recognition of Human Facial Expression Based on 3D Data[J]. Computer Simulation,2005,7(22):99-103.(in Chinese)

[2]胡平,曹偉國,李華.一類等距不變量及其在三維表情人臉識別中的應(yīng)用[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報，2010,22(12):2089-2094.

HU Ping,CAO Weiguo,LI Hua. A Novel Isometric Invariant and its Applications in 3D Face Recognition[J]. Journal of Computer-Aided Design & Computer Graphics，2010,22(12):2089-2094.(in Chinese)

[3]胡步發(fā),王金偉. 雙模態(tài)及語義知識的三維人臉表情識別方法[J].儀器儀表學(xué)報，2013,34(4):873-880.

HU Bufa,WANG Jinwei. 3D facial expression recognition method based on bimodal and semantic knowledge[J].Chinese Journal of Science Instrument,2013,34(4):873-880.(in Chinese)

[4]Sandbach G,Zafeiriou S,Pantic M,et al. Static and dynamic 3D facial expression recognition: A comprehensive survey[J]. Image and Vision Computing,2012,30(10):683-697.

[5]Soyel H,Demirel H. Facial expression recognition using 3D facial feature distances[C] //Proceedings of 2007 4th International Conference on Image Analysis and Recognition.Montreal, Canada:Springer Berlin Heidelberg,2007:831-838.

[6]Soyel H,Demirel H. 3D facial expression recognition with geometrically localized facial features[C] //Proceedings of 23rd International Symposium on Computer and Information Sciences.Istanbul:IEEE,2008: 1-4.

[7]Tang H,Huang T. 3D facial expression recognition based on properties of line segments connecting facial feature points[C] //Proceedings of 8th IEEE International Conference on Automatic Face & Gesture Recognition.Amsterdam:IEEE,2008: 1-6.

[8]Li X,Ruan Q,Ming Y. 3D facial expression recognition based on basic geometric features[C] //Proceedings of 10th International Conference on Signal Processing.Beijing:IEEE,2010: 1366-1369.

[9]Tang H,Huang T. 3D facial expression recognition based on automatically selected features[C] //Proceedings of 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Anchorage,AK:IEEE,2008: 1-8.

[10]Soyel H,Demirel H. Optimal feature selection for 3D facial expression recognition with geometrically localized facial features[C] //Proceedings of 5th International Conference on Soft Computing,Computing with Words and Perceptions in System Analysis,Decision and Control.Famagusta:IEEE,2009: 1-4.

[11]Soyel H,Demirel H. Optimal feature selection for 3D facial expression recognition using coarse-to-fine classification[J]. Turkish Journal of Electrical Engineering and Computer Sciences,2010,18(6):1031-1040.

[12]Tekguc U,Soyel H,Demirel H. Feature selection for person-independent 3D facial expression recognition using NSGA[C]//Proceedings of 24th International Symposium on Computer and Information Sciences.Guzelyurt:IEEE,2009: 35-38.

[13]Sha T,Song M,Bu J,et al. Feature level analysis for 3D facial expression recognition[J]. Neuro Computing,2011,74(12-13): 2135-2141.

[14]Srivastava R,Roy S. 3D facial expression recognition using residues[C] //Proceedings of 2009 IEEE Region 10 Conference(TENCON 2009).Singapore:IEEE,2009:1-5.

[15]Gunes H,Pantic M.Automatic,dimensional and continuous emotion recognition[J]. International Journal of Synthetic Emot,2010,1(1): 68-99.

[16]Wang J,Yin L,Wei L,et al.3D facial expression recognition based on primitive surface feature distribution[C]//Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC:IEEE,2006: 1399-1406.

[17]Maalej A,Amor B,Daoudi M,et al. Shape analysis of local facial patches for 3D facial expression recognition[J]. Pattern Recognition,2011,44(8):1581-1589.

[18]Maalej A,Amor B,Daoudi M,et al. Local 3D shape analysis for facial expression recognition[C] //Proceedings of 2010 20th International Conference on Pattern Recognition.Istanbul:IEEE,2010: 4129-4132.

[19]Lemaire P,Amor B P,Ardabilian M,et al. Fully automatic 3D facial expression recognition using a region-based approach[C] //Proceedings of the 2011 Joint ACM Workshop on Human Gesture and Behavior Understanding.Shanghai:IEEE,2011: 53-58.

[20]Ramanathan S,Kassim A,Venkatesh Y,et al. Human facial expression recognition using a 3D morphable model[C] //Proceedings of 2007 IEEE International Conference on Image Processing.Atlanta,GA:IEEE,2007: 661-664.

[21]Gong B,Wang Y,Liu J,et al. Automatic facial expression recognition on a single 3D face by exploring shape deformation[C] //Proceedings of the Seventeen ACM International Conference on Multimedia.New York,USA:IEEE,2009: 569-572.

[22]Zhao X,Dellandrea E,Chen L,et al. Au recognition on 3D faces based on an extended statistical facial feature model[C] //Proceedings of Fourth IEEE International Conference on Biometrics: Theory Applications and Systems(BTAS).Washington DC:IEEE,2010: 1-6.

[23]Mpiperis I,Malassiotis S,Strintzis M. Bilinear models for 3-D face and facial expression recognition[J].IEEE Transactions on Information Forensics Secure,2008,3(3):498-511.

[24]Mpiperis I,Malassiotis S,Petridis V,et al. 3D facial expression recognition using swarm intelligence[C] //Proceedings of 2005 IEEE International Conference on Acoustics,Speech and Signal Processing.Las Vegas,NV:IEEE,2008: 2133-2136.

[25]Mpiperis I,Malassiotis S,Strintzis M. Bilinear elastically deformable models with application to 3D face and facial expression recognition[C]//Proceedings of 8th IEEE International Conference on Automatic Face & Gesture Recognition.Amsterdam:IEEE,2008:1-8.

[26]Mpiperis S,Malassiotis S,Strintzis M G. Bilinear decomposition of 3D face images: an application to facial expression recognition[C] //Proceedings of 10th International Workshop on Image Analysis for Multimedia Interactive Services.London:IEEE,2009:1-4.

[27]Berretti S,Amor B,Daoudi M,et al. 3D facial expression recognition using sift descriptors of automatically detected keypoints[J]. Visual Computer,2011,27(11):1021-1036.

[28]Vretos N,Nikolaidis N,Pitas I. 3D facial expression recognition using Zernike moments on depth images[C] //Proceedings of 18th IEEE International Conference on Image Processing.Brussels:IEEE,2011: 773-776.

[29]Zernike F. Beugungstheorie des schneidenver-fahrens und seiner verbesserten form,der phasenkontrast methode[J]. Physica,1934,1(7):689-704.

[30]Savran A,Sankur B,Bilge T. Comparative evaluation of 3D versus 2D modality for automatic detection of facial action units[J].Pattern Recognition,2012,45(2):767-782.

[31]Ocegueda O,Fang T H,Shah S K,et al. Expressive maps for 3D facial expression recognition[C] //Proceedings of 2011 IEEE International Conference on Computer Vision Workshops.Barcelona:IEEE,2011:1270-1275.

[32]Savran A,Sankur B. Non-rigid registration of 3D surfaces by deformable 2D triangular meshes[C] //Proceedings of 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Anchorage,AK:IEEE,2008: 1-6.

[33]Savran A,Sankur B. Automatic detection of facial actions from 3D data[C] //Proceedings of 12th International Conference on Computer Vision Workshops.Kyoto:IEEE,2009:1993-2000.

[34]Rosato M,Chen X,Yin L. Automatic registration of vertex correspondences for 3D facial expression analysis[C] //Proceedings of 2nd IEEE International Conference on Biometrics: Theory,Applications and Systems.Arlington,VA:IEEE,2008:1-7.

[35]Wang P,Kohler C,Barrett F,et al. Quantifying facial expression abnormality in schizophrenia by combining 2D and 3D features[C]//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis,MN:IEEE,2007: 1-8.

[36]Pinto S,Mena-Chalco J,Lopes F,et al. 3D facial expression analysis by using 2D and 3D wavelet transforms[C]//Proceedings of 18th IEEE International Conference on Image Processing.Brussels:IEEE,2011:1281-1284.

[37]Savran A,Sankur B,Bilge M. Facial action unit detection: 3D versus 2D modality[C] //Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.San Francisco,CA:IEEE,2010:71-78.

[38]Venkatesh Y,Kassim A,Murthy O. A novel approach to classification of facial expressions from 3D-mesh datasets using modifie PCA[J]. Pattern Recognition Letters,2009,30(12): 1128-1137.

[39]Chang Y,Vieira M,Turk M,et al. Automatic 3D facial expression analysis in videos[C] //Proceedings of Second International Workshop on Analysis and Modeling of Faces and Gestures. Beijing:Springer Berlin Heidelberg,2005:293-307.

[40]Yin L,Wei X,Longo P,et al. Analyzing facial expressions using intensity variant 3D data for human computer interaction[C] //Proceedings of 18th International Conference on Pattern Recognition.Hong Kong:IEEE,2006: 1248-1251.

[41]Tsalakanidou F,Malassiotis S. Real-time facial feature tracking from 2D+3D video streams[C] //Proceedings of 3DTV Conference.Tampere:IEEE,2010:1-4.

[42]Tsalakanidou F,Malassiotis S. Real-time 2D+3D facial action and expression recognition[J].Pattern Recognition,2010,43(5): 1763-1775.

[43]Tsalakanidou F,Malassiotis S. Robust facial action recognition from realtime 3D streams[C] //Proceedings of 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Miami,FL:IEEE,2009: 4-11.

[44]Venkatesh Y,Kassim A,Murthy O. Resampling approach to facial expression recognition using 3D meshes[C] //Proceedings of 2010 International Conference on Pattern Recognition.Istanbul:IEEE,2010:3772-3775.

[45]Sun Y,Yin L. Facial expression recognition based on 3D dynamic range model sequences[C] //Proceedings of 10th European Conference on Computer Vision.Marseille,France:IEEE,2008:58-71.

[46]Le V,Tang H,Huang T. Expression recognition from 3D dynamic faces using robust spatio-temporal shape features[C]// Proceedings of 2011 IEEE International Conference on Automatic Face and Gesture Recognition.Santa Barbara,CA:IEEE,2011: 414-421.

[47]Sandbach G,Zafeiriou S,Pantic M,et al. A dynamic approach to the recognition of 3D facial expressions and their temporal models[C] //Proceedings of 2011 IEEE International Conference on Automatic Face Gesture Recognition and Workshops.Santa Barbara,CA:IEEE,2011:406-413.

[48]Sandbach G,Zafeiriou S,Pantic M,et al. Recognition of 3D facial expression dynamics[J]. Image Vision Computer,2012,30(10): 762-773.

[49]Fang T,ZhaoX,Shah S,et al. 4D facial expression recognition[C] //Proceedings of 2011 IEEE International Conference on Computer Vision Workshop.Barcelona:IEEE,2011:1594-1601.

[50]Fang T,Zhao X,Ocegueda O,et al. 3D/4D facial expression analysis: an advanced annotated face model approach[J]. Image Vision Computer,2012,30(10):738-749.

[51]Drira H,Ben Amor B,Daoudi,et al. 3D dynamic expression recognition based on a novel deformation vector field and random forest[C] //Proceedings of 2012 21st International Conference on Pattern Recognition.Tsukuba:IEEE,2012:1104-1107.

[52]Berretti S,del Bimbo A,Pala P. Automatic facial expression recognition in real-time from dynamic sequences of 3D face scans[J].Vision Computer,2013,29(12):1333-1350.

[53]馬曉磊. 四維人臉表情識別[D].北京：北方工業(yè)大學(xué),2012.

MA Xiaolei. 4D Facial Expression Recognition[D].Beijing:North China University of Technology,2012.(in Chinese)

[54]Ekman P. Facial Expression and Emotion [J]．American Psychologist,1993,48(4)：384-392．

[55]Ekman P,Friesen W V. Facial Action Coding System: A Technique for the measurement of Facial Movement[M]. Palo Alto: Consulting Psychologists Press,1978.

[56]Sayette M A,Cohn J F,Wertz J M,et al. A psychometric evaluation of the facial action coding system for assessing spontaneous expression[J]. Journal of Nonverbal Behavior,2001,25(3):167-185.

[57]Ekman P,Rosenberg E L. What the face reveals: basic and applied studies of spontaneous expression using the facial action coding system(FACS)[M].2nd ed. New York:Oxford University Press,2005.

[58]Yin L,Wei X,Sun Y,et al. A 3D facial expression database for facial behavior research[C]//Proceedings of 7th International Conference on Automatic Face and Gesture Recognition.Southampton:IEEE,2006:211-216.

[59]Yin L,Chen X,Sun Y,et al. A high-resolution 3D dynamic facial expression database[C] //Proceedings of 8th International Conference on Automatic Face and Gesture Recognition.Amsterdam:IEEE,2008: 1-6.

[60]Savran A,Alyuz N,Dibeklioglu H,et al. Bosphorus database for 3D face analysis[C] //Proceedings of First COST 2101 Workshop on Biometrics and Identity Management.Denmark:IEEE,2008: 47-56.

[61]Stratou G,Ghosh A,Debevec P,et al. Effect of illumination on automatic expression recognition: a novel 3D relightable facial database[C] //Proceedings of 9th International Conference on Automatic Face and Gesture Recognition.Santa Barbara,CA:IEEE,2011:611-618.

[62]Cosker D,Krumhuber E,Hilton A. A FACS valid 3D dynamic action unit database with applications to 3D dynamic morphable facial modeling[C] //Proceedings of 2011 IEEE International Conference on Computer Vision.Barcelona:IEEE,2011:2296-2303.

[63]Moreno A,Sanchez A. Gavabdb: a 3D face database[C]//Proceedings 2nd COST Workshop on Biometrics on the Internet:Fundamentals, Advances and Applications.Vigo:IEEE,2004:77-82.

[64]Zhong C,Sun Z,Tan T. Robust 3D face recognition using learned visual codebook[C] //Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Vigo:IEEE,2007:1-6.

[65]Benedikt L,Cosker D,Rosin P,et al. Assessing the uniqueness and permanence of facial actions for use in biometric applications[J].IEEE Transactions on System,Man,and Cybernetics—Part A:System Human,2010,40(3): 449-460.

[66]Beumier C,Acheroy M. Face verification from 3D and grey level clues[J]. Pattern Recognition Letters,2001,22(12): 1321-1329.

[67]Beumier C,Acheroy M. SIC DB: multi-modal database for person authentication[C] //Proceedings of 1999 International Conference on Image Analysis and Processing.Venice:IEEE,1999:704-708.

[68]Pascal Paysan, Reinhard Knothe, Brian Amberg, er al. A 3D Face Model for Pose and Illumination Invariant Face Recognition[C]//Proceedings of the Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance.Genova, Italy: IEEE,2009:296-301.

[69]Faltemier T,Bowyer K,Flynn P. Using a multi-instance enrollment representation to improve 3D face recognition[C] //Proceedings of 2007 First IEEE International Conference on Biometrics: Theory,Applications,and Systems.Crystal City,VA:IEEE,2007:1-6.

[70]York 3D databaseURL[EB/OL].[2014-12-20].http://www-users.cs.york.ac.uk/nep/research/3Dface/tomh/ 3DFaceRecognition. html.

[71]Texas 3D Face Recognition DatabaseURL[EB/OL].[2014-12-20].http://live.ece.utexas.edu/research/ texas3dfr.

魏永超(1981—),男,河南許昌人, 2009年于四川大學(xué)獲博士學(xué)位,現(xiàn)為副教授,主研研究方向為光電信息處理；

WEI Yongchao was born in Xuchang,Henan Province,in 1981.He received the Ph.D. degree from Sichuan University in 2009.He is now an associate professor.His research concerns photoelectric information processing.

Email：mylife001@126.com

莊夏(1980—)，男，四川廣漢人，2006年于西南大學(xué)獲碩士學(xué)位，現(xiàn)為副教授，主要研究方向為計算機應(yīng)用技術(shù)；

ZHUANG Xia was born in Guanghan,Sichuan Province,in 1980. He received the M.S. degree from Southwest University in 2006.He is now an associate professor. His research concerns computer application.

傅強(1969—),男，四川西昌人，2002年于四川大學(xué)獲碩士學(xué)位，現(xiàn)為研究員，主要研究方向為計算機及空管自動化；

FU Qiang was born in Xichang,Sichuan Province,in 1969. He received the M.S. degree from Sichuan University in 2002.He is now a research fellow. His research concerns computer and air traffic control automation.

杜冬(1975—),男,四川廣漢人,2010年于電子科技大學(xué)獲碩士學(xué)位,現(xiàn)為副研究員,主要研究方向為圖形圖像處理。

DU Dong was born in Guanghan,Sichuan Province,in 1975. He received the M.S. degree from University of Electronic Science and Technology of China in 2010.He is now an associate research fellow. His research concerns graphics image processing.

引用格式：魏永超,莊夏,傅強,等.三維面部表情識別技術(shù)的研究進展[J].電訊技術(shù),2015,55(6):693-703.[WEI Yongchao,ZHUANG Xia,FU Qiang,et al.Research Progress of 3D Facial Expression Recognition Technology[J].Telecommunication Engineering,2015,55(6):693-703.]

Research Progress of 3D Facial Expression Recognition Technology

WEI Yongchao1,ZHUANG Xia2,FU Qiang2,DU Dong1

(1.Academy of Flight Technology and Safety,Civil Aviation Flight University of China,Guanghan 618307,China;

2.Department of Research,Civil Aviation Flight University of China,Guanghan 618307,China)

Abstract：The rapid development of three-dimensional(3D) acquisition devices has greatly promoted the researches based on dimensional data and the achievements in 3D facial expression recognition research is constantly emerging. 3D facial recognition can greatly overcome the gesture and illumination changes and other issues of two-dimensional(2D) recognition. This paper summarizes 3D facial expression recognition technologies with emphasis on analysis of the key technologies of 3D expression,including expression feature extraction,coding and database.It also gives some research suggestions about 3D facial expression recognition. 3D facial expression recognition technology can basically meet the requirements in recognition rate,but its real-time performance needs to be further optimized. The research in this paper has reference value for researchers in the field.

Key words：facial expression recognition；3D face；facial expression feature；facial expression coding；facial expression database;research progress

作者簡介：

中圖分類號：TN29；TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號：1001-893X(2015)06-0693-11

通訊作者：**mylife001@126.comCorresponding author：mylife001@126.com

收稿日期：*2014-12-17；修回日期：2015-04-07Received date:2014-12-17；Revised date：2015-04-07基金項目：國家自然科學(xué)基金資助項目(61079022)；四川省科技基金項目(2015JY0188)；中國民航飛行學(xué)院科研基金項目(Q2013-050,J2012-43)Foundation Item:The National Natural Science Foundation of China(No.61079022);The Science & Technology Fund of Sichuan Province(2015JY0188);The Research Fund of Civil Aviation Flight University of China(Q2013-050,J2012-43)

doi:10.3969/j.issn.1001-893x.2015.06.019