胡詩琦

?

對人臉表情遷移與分析方法的探討

胡詩琦

（鄭州大學(xué)，河南 鄭州 450000）

人的面部表情是表達(dá)思想情感的重要渠道，人臉表情遷移則是通過先進(jìn)的技術(shù)方法，再現(xiàn)人臉表情，以滿足藝術(shù)設(shè)計等領(lǐng)域的需要。首先對人臉表情遷移與分析的研究現(xiàn)狀進(jìn)行了介紹，然后分別研究了靜態(tài)人臉表情遷移的頻域分析方法和動態(tài)人臉表情遷移的非線性TensorFace分析方法，并給出了具體的模型及算法。

人臉圖像；面部表情；表情遷移；遷移方法

人的面部表情是一種十分微妙的形體語言，對其進(jìn)行分析，可以洞察人的內(nèi)心世界。在影視、動漫等藝術(shù)設(shè)計領(lǐng)域，要塑造一個逼真的人物形象，對人的面部表情刻畫十分重要。在計算機(jī)技術(shù)的快速發(fā)展下，已經(jīng)能夠通過采用相應(yīng)的模型和算法再現(xiàn)人臉表情，實(shí)現(xiàn)人臉表情遷移。但不同算法各有優(yōu)缺點(diǎn)，還需要對其進(jìn)行進(jìn)一步研究。

1 人臉表情遷移與分析的研究現(xiàn)狀

人臉的生理結(jié)構(gòu)非常復(fù)雜，從外部的皮膚層到中間的肌肉層，再到內(nèi)部的骨架層，都會對人的表情產(chǎn)生一定影響。一個表情的產(chǎn)生過程是臉部肌肉復(fù)雜運(yùn)動的結(jié)果，常伴隨著眼輪匝肌、皺眉肌、口輪匝肌等的運(yùn)動。有學(xué)者通過對不同種族的人臉表情進(jìn)行分析，通過構(gòu)建人臉表情編碼系統(tǒng)，將人臉劃分為44個獨(dú)立運(yùn)動單元，并對各個運(yùn)動單元的特征進(jìn)行分析，指出不同運(yùn)動單元的控制面區(qū)和對人臉表情的影響等。目前關(guān)于人臉表情遷移的研究較多，作為一個跨學(xué)科研究課題，其涉及的領(lǐng)域主要包括圖像處理、模式識別、計算機(jī)視覺、計算機(jī)圖形學(xué)、機(jī)器挖掘等。近年來，虛擬現(xiàn)實(shí)技術(shù)也在人臉表情遷移中得到了應(yīng)用，并成為制作虛擬人物的重要技術(shù)手段。人臉表情遷移的應(yīng)用領(lǐng)域十分廣泛，包括數(shù)字娛樂領(lǐng)域、企業(yè)辦公領(lǐng)域、醫(yī)療領(lǐng)域、刑偵領(lǐng)域等[1]?？傮w而言，對人臉遷移與分析方法進(jìn)行研究具有多方面的意義。同時，由于人臉表情的復(fù)雜性，對其進(jìn)行遷移或合成也具有較高的難度。目前已有的研究成果包括基于面部表情產(chǎn)生原理的肌肉模型、模擬人臉生理結(jié)構(gòu)的有限元方程模型、基于行為驅(qū)動的視頻流獲取方法、三維人臉形變模型等。本次研究將在已有研究成果的基礎(chǔ)上，重點(diǎn)探討基于頻域分析方法的靜態(tài)人臉表情遷移和基于非線性TensorFace的動態(tài)人臉遷移方法。

2 靜態(tài)人臉表情遷移的頻域分析方法

2.1 人臉表情靜態(tài)遷移的特點(diǎn)

人臉是非剛性結(jié)構(gòu)，在表情變化的過程中，存在自遮擋現(xiàn)象。比如產(chǎn)生高興和驚恐等表情，會引起人臉的眼部、嘴部發(fā)生非線性形變。人臉靜態(tài)遷移方法就是基于形變合成技術(shù)，通過訓(xùn)練待遷移的表情形狀，將人臉表情紋理信息等映射到目標(biāo)狀態(tài)下。但如果在遷移過程中，只關(guān)注于局部特征點(diǎn)的運(yùn)動，而沒有實(shí)現(xiàn)對諸多微小褶皺信息的遷移，則會導(dǎo)致遷移圖像失真。因此，可采用將表情比率圖與形變模型結(jié)合的方法，使遷移圖像能夠最大化地保持人臉表情的特點(diǎn)。從目前已有的研究成果來看，有學(xué)者利用參數(shù)表觀模型（AAM）和主成分分析技術(shù)（PCA）對人臉表情的形狀、紋理分量等進(jìn)行處理，然后通過合成再現(xiàn)人臉表情細(xì)節(jié)。也可以采用梯度下降搜索及其他優(yōu)化方法，擬合人臉形狀與紋理分量。這些方法都對人臉表情靜態(tài)遷移提供了很好的思路?；陬l域分析的靜態(tài)人臉表情遷移，先對輸入的人臉圖像進(jìn)行AAM處理，得到形狀和紋理分量，然后利用小波分解方法，將其變換到頻域，進(jìn)一步合成人臉表情細(xì)節(jié)，最后完成人臉表情的合成。由于頻域中的圖像細(xì)節(jié)表現(xiàn)更加明顯，所以采用這種從時域變換到頻域的遷移方法可以獲得更好的人臉表情遷移效果[2]。

2.2 小波變換理論

在人臉表情分解和頻域變化的過程中，主要以小波變換理論為基礎(chǔ)。小波變化理論是由法國工程師J.Morlet率先提出的，屬于信號時間尺度分析方法，具有多分辨率分析的特點(diǎn)。相比于窗口傅里葉變換等，小波變換理論在時序和頻域都具有較好的局部化特性，非常適用于圖像信息提取，擁有“數(shù)學(xué)顯微鏡”之贊譽(yù)。在圖像處理方面，小波變化的基本流程是圖像信號輸入、小波正變換、頻域圖像處理、小波逆變化、圖像輸出。在人臉表情遷移過程中，還需要使用到連續(xù)小波變化，即對基本小波的尺度進(jìn)行伸縮和平移。由于數(shù)字圖像具有二維離散信號的特征，也涉及到離散小波變化，即尺度和位移兩個參數(shù)是離散的，需要針對其具體參數(shù)進(jìn)行離散化，而不是對時間變量.再加上實(shí)際觀測的信號是非連續(xù)的，所以必須要利用離散小波變化進(jìn)行處理。目前在離散小波變換算法中，效率較高的是塔式算法，將輸入信號分為高頻與低頻一部分，高頻部分包含邊緣、突變信息，低頻部分包含輸入信號主要特征信息。

2.3 基于頻域分析的遷移方法

基于頻域分析的人臉表情遷移方法就是利用上述離散小波變化算法，將人臉圖像分為高頻、低頻兩部分分量，用高頻分量表現(xiàn)人臉紋理的詳細(xì)信息，用低頻分量表現(xiàn)人臉臉型和幾何結(jié)構(gòu)特征信息。這種遷移方法的基本流程是采用AAM模型完成輸入圖像的形狀信息與紋理信息分離，然后將人臉形狀對齊到平均形狀下。選擇目標(biāo)人臉中性表情后，經(jīng)過仿射變化，將中性表情圖像映射到源人臉表情狀態(tài)下，得到形變后的目標(biāo)人臉圖像。此時該圖像還缺少表情細(xì)節(jié)，需要對形變表情圖像進(jìn)行二維離散小波分解。通過頻域變化得到源表情圖像與形變表情圖像之間的差異，計算合成圖形所需權(quán)值，然后通過頻域處理，提取出表情細(xì)節(jié)。最后將表情細(xì)節(jié)轉(zhuǎn)移到目標(biāo)人臉圖像中，完成圖像合成。采用這種方法，能夠較好地保持源人臉表情圖像的細(xì)節(jié)，同時完美地嵌入到目標(biāo)人臉的外貌特征中。

3 動態(tài)人臉表情遷移的非線性TensorFace分析方法

3.1 動態(tài)人臉表情遷移需求

人臉表情變化伴隨著復(fù)雜的肌肉運(yùn)動，一些表情持續(xù)時間較長，一些表情可能轉(zhuǎn)瞬即逝，研究動態(tài)面部表情遷移方法需要充分考慮這些特點(diǎn)。而且從應(yīng)用角度來看，掌握臉部動態(tài)變化比在靜態(tài)下完整的提取人臉表情特征更加重要。在動態(tài)人臉表情的研究中，需要同時關(guān)注人臉的特征信息及面部運(yùn)動。其中，運(yùn)動信息對合成真實(shí)感較強(qiáng)的人臉表情有重要影響。目前人臉表情遷移在影視和游戲制作方面已經(jīng)得到了廣泛應(yīng)用，比如《長江7號》中的“七仔”就是遷移了喜劇演員周星馳的人臉表情，這種技術(shù)在《阿凡達(dá)》《指環(huán)王》《金剛》等作品中都得到了廣泛應(yīng)用。動態(tài)人臉表情遷移主要是通過構(gòu)建人臉三維模型或建立人臉表情流，實(shí)現(xiàn)人臉表情的遷移與合成。在游戲制作領(lǐng)域具有出色表現(xiàn)的韓國研究機(jī)構(gòu)利用計算機(jī)圖形學(xué)合成三維人臉動畫模型，在模型克隆過程中，可以較好地保持人臉個性特征。在借鑒已有方法的基礎(chǔ)上，本次研究主要采用非線性TensorFace模型完成動態(tài)人臉表情遷移，以多線性分析張量理論為基礎(chǔ)，滿足面部運(yùn)動變化等方面的遷移需求[3]。

3.2 張量基本理論

張量基本理論研究的是多維矩陣，是在矢量與矩陣概念基礎(chǔ)上形成的一種確定類型，用來表達(dá)多線性概念。其中，張量維數(shù)稱為階數(shù)，三階以下的張量形象可以用圖示表示，三階以上則無法用圖示表示，統(tǒng)稱高階張量。張量的本質(zhì)是多線性函數(shù)，在傳統(tǒng)線性方法基礎(chǔ)上，由矩陣奇異值分解（SVD）概念發(fā)展為張量SVD。利用張量人臉模型進(jìn)行人臉表情遷移，可以在光照、姿勢、角度等多因素影響下，成功獲取人臉圖像特征，而且非線性較強(qiáng)。向量不能替代全部人臉表情信息，采用張量模型進(jìn)行表征可以獲得更自然的模型數(shù)據(jù)。早期張量模型將人臉表情圖像的影響因素排列為高階張量，給定一組人臉圖像序列，將圖像按照像素信息、表情變化、結(jié)構(gòu)特征等排列成張量D，用張量SVD對其進(jìn)行分解，依次擴(kuò)展到表情參數(shù)空間、像素基空間。相比于傳統(tǒng)線性分析方法，采用張量模型可以在人臉表情受多因素影響時，仍然采用統(tǒng)一基向量表示，分別利用不同模矩陣代表不同影響因素。最后在不同影響因素的相互作用下，生成人臉表情圖像。

3.3 基于非線性TensorFace的遷移方法

面部表情運(yùn)動會同時引起人臉形狀及紋理信息的變化，可以采用AAM模型實(shí)現(xiàn)對人臉表情圖像中形狀、紋理的分離。其中，顯著特征點(diǎn)包括眼睛、嘴巴、鼻子、眉毛和臉輪廓等，表示為向量，紋理信息表示為向量，為描述動態(tài)表情序列，引入表情流，并與張量模型結(jié)合，可以同時解決人臉表情的線性與非線性問題。首先對人臉表情進(jìn)行預(yù)處理，然后將中性表情紋理信息映射到表情平均形狀下，采用靜態(tài)處理的方法完成人臉圖像對齊，再進(jìn)行歸一化，確保各圖像大小一致。接下來在給定人臉圖像訓(xùn)練集上按結(jié)構(gòu)特征、表情、像素信息等對人臉圖像進(jìn)行排列，得到三階張量T。經(jīng)過張量SVD分解后，樣本圖像被分解到結(jié)構(gòu)特征空間、表情空間和像素空間中。其中，表情系數(shù)都是離散的，按從中性到峰值順序排列，采用樣條擬合方法進(jìn)行插值。最后得到平滑的表情流結(jié)構(gòu)，可代表表情動態(tài)變化過程，保持在表情鄰域結(jié)構(gòu)中，此時可以用非線性TensorFace模型生成表情動態(tài)變化序列圖，為影視、游戲人物頭像制作等提供支持。

4 結(jié)束語

綜上所述，人臉表情圖像遷移由于人臉表情的復(fù)雜性以及運(yùn)動過程中的復(fù)雜肌肉變化，導(dǎo)致其難度較高。通過在已有研究成果的基礎(chǔ)上，分別采用基于頻域的靜態(tài)遷移方法和基于非線性TensorFace模型的動態(tài)遷移方法，可以較好地再現(xiàn)人臉表情細(xì)部特征，反映其運(yùn)動變化過程。本次研究提出的兩種遷移方法，可以為實(shí)際應(yīng)用領(lǐng)域提供支持，滿足人臉表情遷移需求。

［1］劉春平，高翔，張建偉，等.基于人臉關(guān)鍵點(diǎn)的表情實(shí)時動態(tài)遷移［J］.現(xiàn)代計算機(jī)（專業(yè)版），2019（02）：41-45.

［2］翟懿奎，劉健.面向人臉表情識別的遷移卷積神經(jīng)網(wǎng)絡(luò)研究［J］.信號處理，2018，34（06）：729-738.

［3］姜慧.基于遷移學(xué)習(xí)的人臉識別研究［D］.青島：青島科技大學(xué)，2018.

2095－6835（2019）05－0096－02

TP391.44

A

10.15913/j.cnki.kjycx.2019.05.096

〔編輯：王霞〕