陳林偉

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610000）

基于ICP的非剛性曲面擬合方法

陳林偉

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610000）

高真實(shí)感三維人臉模型重建是三維人臉動(dòng)畫(huà)合成技術(shù)的關(guān)鍵技術(shù)，可應(yīng)用于虛擬現(xiàn)實(shí)、三維動(dòng)畫(huà)制作等多個(gè)領(lǐng)域。為此，提出一種快速生成高精度、高真實(shí)感三維人臉模型的方法。該方法是一種基于最近點(diǎn)迭代的非剛性曲面擬合方法，通過(guò)對(duì)待擬合點(diǎn)云孔洞、邊界等進(jìn)行約束，可快速擬合出目標(biāo)點(diǎn)云局部特性，最終獲得高真實(shí)感三維人臉模型。實(shí)驗(yàn)結(jié)果表明，該方法可有效地?cái)M合出目標(biāo)點(diǎn)云獲得高真實(shí)感三維人臉模型。

三維人臉；曲面擬合；最近點(diǎn)迭代

0 引言

近年來(lái)，基于三維人臉計(jì)算機(jī)視覺(jué)研究得到廣泛重視，特別地，隨著虛擬社交等虛擬現(xiàn)實(shí)技術(shù)的發(fā)展對(duì)高真實(shí)感三維人臉模型提出了較高要求。因而，如何獲取高精度高真實(shí)感三維人臉模型成為了一個(gè)較為重要的研究方向。為獲得高真實(shí)感三維人臉模型，研究方法主要可分為基于主成分分析（Principal Component Analysis，PCA）模型的方法[1-4]和基于三維配準(zhǔn)的方法[5-8]。Blanz[1]最早開(kāi)始研究基于PCA統(tǒng)計(jì)模型三維人臉重建，其研究思路為首先使用高精度三維掃描儀掃描出幾百?gòu)埦哂胁煌卣鳎ò挲g、性別、地區(qū)等）的人臉，并將它們轉(zhuǎn)化三維點(diǎn)云數(shù)據(jù)格式，然后將這些人臉點(diǎn)云化數(shù)據(jù)做成PCA模型，最終將人臉空間轉(zhuǎn)化為一個(gè)維數(shù)較低的有限維空間，三維人臉建模問(wèn)題轉(zhuǎn)化為求解線性方程問(wèn)題，這樣通過(guò)降低計(jì)算復(fù)雜度，縮短了建模時(shí)間，但這也使得基于PCA模型的方法獲得的人臉模型缺乏真實(shí)感與精度。相比之下，基于三維點(diǎn)云配準(zhǔn)的方法可獲得較高真實(shí)感三維人臉模型，但其缺點(diǎn)也較為突出，包括計(jì)算復(fù)雜度高，對(duì)模板網(wǎng)格與待匹配點(diǎn)云的初始位置、尺度等依賴(lài)性強(qiáng)?；谧罱c(diǎn)迭代方法（Iterative Closet Point，ICP）是最常用的三維點(diǎn)云配準(zhǔn)方法[6，8]。ICP方法較依賴(lài)目標(biāo)點(diǎn)云中的點(diǎn)與模板網(wǎng)格中點(diǎn)之間一一對(duì)應(yīng)關(guān)系，對(duì)應(yīng)關(guān)系的好壞往往決定最終配準(zhǔn)的效果。此外，傳統(tǒng)ICP算法存在收斂速度慢、易陷入局部最優(yōu)等缺點(diǎn)。

高精度、低噪聲、密度大的初始人臉點(diǎn)云數(shù)據(jù)對(duì)獲取高真實(shí)感三維人臉模型十分有利，然而，一般情況下，可滿(mǎn)足該需求的設(shè)備價(jià)格貴，操作技術(shù)性較強(qiáng)（如三維激光掃描儀），不適用虛擬社交等VR場(chǎng)景。相對(duì)而言，通過(guò)采集人臉不同角度視頻或圖片再通過(guò)三維重建方法生成或使用價(jià)格便宜的深度相機(jī)獲取初始三維人臉點(diǎn)云數(shù)據(jù)更具可行性。但這些方法獲得的初始點(diǎn)云數(shù)據(jù)一般存在噪聲較大，存在孔洞，點(diǎn)云邊界不齊整等問(wèn)題。為此，本文提出了一種基于ICP的曲面非剛性曲面擬合方法，能很好適應(yīng)初始點(diǎn)云數(shù)據(jù)噪聲大，孔洞填補(bǔ)，邊界約束等問(wèn)題，最終生成高真實(shí)感的三維人臉模型。

1 問(wèn)題描述與建模

曲面擬合問(wèn)題，涉及一個(gè)模板網(wǎng)格S=（ν，ε），其中ν={νi|i=1，…，n}表示n個(gè)網(wǎng)格點(diǎn)的集合，ε={ek=（νi，νj）| νi∈ν，νj∈ν，k=1，…，m}表示m條網(wǎng)格邊的集合；一個(gè)待擬合目標(biāo)點(diǎn)云τ={ui|i=1，…，t}，該目標(biāo)點(diǎn)云可以是一切可以搜索最鄰近點(diǎn)的3D點(diǎn)云數(shù)據(jù)，Nτ（νi）={uj|uj∈τ∧‖νi-uj‖＜σ}表示任意點(diǎn)νi的σ鄰域內(nèi)屬于目標(biāo)點(diǎn)云τ的點(diǎn)的集合。非剛性曲面擬合問(wèn)題可表述為：對(duì)模板網(wǎng)格S中的任意網(wǎng)格點(diǎn)νi，計(jì)算其三維變換矩陣X= {Xi|i=1，…，n}，使得變換后的模板網(wǎng)格S'=（ν'，ε）中所有點(diǎn)vi'到目標(biāo)點(diǎn)云τ的距離之和最小，其中ν'={vi'=Xiνi| νi∈ν}是由變換后的網(wǎng)格點(diǎn)組成的集合。非剛性曲面擬合保持模板網(wǎng)格的拓?fù)浣Y(jié)構(gòu)不變，即模板網(wǎng)格邊的關(guān)系保持不變。

為了便于求解變換矩陣Χ，構(gòu)建關(guān)于X的能量方程：

其中，Ed（X）為距離懲罰項(xiàng)，Es（X）為平滑懲罰項(xiàng)，α為其權(quán)重系數(shù)，El（X）為標(biāo)記點(diǎn)懲罰項(xiàng)，β為其權(quán)重系數(shù)。

距離懲罰項(xiàng):為了使非剛性變換后的模板網(wǎng)格能有效擬合目標(biāo)點(diǎn)云，要求模板網(wǎng)格中網(wǎng)格點(diǎn)與目標(biāo)點(diǎn)云之間距離之和盡可能小，受到文獻(xiàn)[9]的啟發(fā)，將變換后模板網(wǎng)格中各個(gè)網(wǎng)格點(diǎn)到目標(biāo)點(diǎn)云之間的距離之和作為距離懲罰項(xiàng)，當(dāng)距離之和越小則表示變換后的模板網(wǎng)格與目標(biāo)點(diǎn)云之間的擬合程度越高，反之亦然。同時(shí)考慮到目標(biāo)點(diǎn)云孔洞的存在以及目標(biāo)點(diǎn)云可能不是一個(gè)完整三維物體外表面，因此模板網(wǎng)格中必將存在在目標(biāo)點(diǎn)云中沒(méi)有合適匹配點(diǎn)的網(wǎng)格點(diǎn)（對(duì)網(wǎng)格點(diǎn)vi存在合適匹配點(diǎn)uj是指存在uj∈T，使得‖νi-uj‖2＜ρ，其中ρ為給定閾值），對(duì)這些網(wǎng)格點(diǎn)希望它盡量保持原模板網(wǎng)格中的位置，因此有如下方程：

其中dist（·，·）表示三維空間中歐氏距離函數(shù)，dist（v，τ）=minu∈Nτ（v）dist（ν，u）表示τ中距離ν最近的點(diǎn)u到v的距離作為ν到τ的距離；wi的取值為1，當(dāng)且僅當(dāng)網(wǎng)格點(diǎn)νi在目標(biāo)點(diǎn)云τ中存在合適對(duì)應(yīng)點(diǎn)且對(duì)應(yīng)點(diǎn)不為邊界點(diǎn)時(shí)，wi的取值為0.5，當(dāng)且經(jīng)當(dāng)網(wǎng)格點(diǎn)vi在目標(biāo)點(diǎn)云τ中存在合適對(duì)應(yīng)點(diǎn)且對(duì)應(yīng)點(diǎn)為邊界點(diǎn)時(shí)，否則，wi的取值為0。根據(jù)wi的取值不同，可處理初始點(diǎn)云的孔洞以及邊界問(wèn)題。

平滑懲罰項(xiàng)：目標(biāo)點(diǎn)云是真實(shí)物體外表面的三維點(diǎn)云表達(dá)，真實(shí)物體外表面通常是平滑的，因此，希望變換后的三維網(wǎng)格模型也具有平滑性。同時(shí)，變換前的模板網(wǎng)格模型是平滑的，所以，為了能使得模板網(wǎng)格模型在變換后能保證最大限度擬合目標(biāo)點(diǎn)云的同時(shí)保證網(wǎng)格的平滑性，希望相鄰網(wǎng)格點(diǎn)的變換矩陣盡可能相同，轉(zhuǎn)化為方程如下：

其中，‖·‖F(xiàn)為矩陣的F范數(shù)，用來(lái)量化相鄰網(wǎng)格點(diǎn)變換矩陣的差異大小，其中系數(shù)矩陣W=diag（1，1，1，λ），用來(lái)權(quán)衡變換矩陣中平移項(xiàng)與其他項(xiàng)之間的比重。

標(biāo)記點(diǎn)懲罰項(xiàng)：通常情況下，模板網(wǎng)格數(shù)據(jù)與初始目標(biāo)點(diǎn)云具有不同尺度，為了使的變換后的模板網(wǎng)格具有與初始點(diǎn)云具有相同尺度，需要給定一些在模板網(wǎng)格數(shù)據(jù)與初始點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的標(biāo)記點(diǎn)，標(biāo)記點(diǎn)的集合記為L(zhǎng)={（νl1，l1），…，（νls，ls）}，為了量化變換后模板網(wǎng)格與目標(biāo)點(diǎn)云尺度的相似度，給出如下方程：

2 算法實(shí)現(xiàn)

算法包括以下幾個(gè)步驟：

第一步：給定初始變換矩陣Xi=X0，平滑懲罰項(xiàng)系數(shù)αj=α1，標(biāo)記點(diǎn)懲罰項(xiàng)權(quán)重系數(shù)β，執(zhí)行第二步；

第二步：判斷αj＜αmin，如成立，則結(jié)束算法，否則，執(zhí)行第三步；

第三步：在變換矩陣為Xi情況下，確定模板網(wǎng)格中網(wǎng)格點(diǎn)在目標(biāo)點(diǎn)云中的對(duì)應(yīng)點(diǎn)，執(zhí)行第四步；

第四步：利用Levenberg-Marquardt算法求解方程（1），解得變換矩陣Xi+1，執(zhí)行第五步；

第五步：判斷‖Xi+1-Xi‖＜ε是否成立，若成立，減小αj為αj+1，再執(zhí)行第二步，否則，執(zhí)行第三步。

本算法包含兩層循環(huán)，第一層循環(huán)（外循環(huán)）為第二步到第五步，是由平滑懲罰系數(shù)α引起的，第二層循環(huán)（內(nèi)循環(huán)）為第三步到第五步是由變換矩陣X引起的。執(zhí)行外循環(huán)時(shí)，當(dāng)αi取值較大時(shí)，算法局部剛性約束較強(qiáng)，允許的局部非剛性變換程度較低，此時(shí)，內(nèi)循環(huán)效果近似剛性ICP。隨著αi取值的不斷減小，內(nèi)循環(huán)剛性約束變?nèi)?，允許的局部非剛性變換程度變大，可更好地?cái)M合目標(biāo)點(diǎn)云的局部特性。

算法流程如圖1所示。

圖1 算法流程圖

圖2 目標(biāo)點(diǎn)云

圖3 模板網(wǎng)格

圖4 擬合結(jié)果

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)結(jié)果如圖4所示，圖2所示為待擬合目標(biāo)點(diǎn)云，圖3所示為模板網(wǎng)格。

4 結(jié)語(yǔ)

本文提出了一種基于ICP非剛性曲面擬合算法，該算法能有效適應(yīng)初始目標(biāo)點(diǎn)云噪聲大、存在孔洞、邊界不平滑等缺點(diǎn)，通過(guò)分別對(duì)噪聲、孔洞、邊界添加約束統(tǒng)一優(yōu)化，最終可獲得高真實(shí)感的曲面擬合結(jié)果，可廣泛應(yīng)用于三維動(dòng)畫(huà)制作、網(wǎng)絡(luò)會(huì)議、虛擬現(xiàn)實(shí)等領(lǐng)域。本文算法本質(zhì)上是迭代優(yōu)化算法，雖然運(yùn)行時(shí)間較短，但還不能滿(mǎn)足實(shí)時(shí)建模的需求。因此，在不改變算法執(zhí)行效果的前提下，進(jìn)一步縮短算法時(shí)間復(fù)雜度將是我們今后工作的主要方向。

參考文獻(xiàn)：

[1]Blanz，Vetter V，Thomas.A Morphable Model for the Synthesis of 3D Faces[J].Computer Graphics Proceedings Siggraph'，1999:187-194.

[2]Zhao W，Chellappa R，Phillips P J，et al.Face Recognition:A Literature Survey[J].Acm Computing Surveys，2003，35（4）:399-458.

[3]Zhang L，Snavely N，Curless B，et al.Spacetime Faces:High Resolution Capture for Modeling and Animation[J].Acm Transactions on Graphics，2008，23（3）:546-556.

[4]Blanz V.A Morphable Model for the Synthesis of 3D Faces[C].Conference on Computer Graphics and Interactive Techniques.ACM Press/Addison-Wesley Publishing Co.2002:187-194.

[5]Ichim A E，Bouaziz S，Pauly M.Dynamic 3D Avatar Creation from Hand-Held Video Input[J].ACM Transactions on Graphics，2015，34（4）:1-14

[6]郭俊輝.基于KDTree改進(jìn)的ICP算法在點(diǎn)云配準(zhǔn)中的應(yīng)用研究[J].微型機(jī)與應(yīng)用，2015，34（14）:81-83.

[7]蓋赟.基于曲面形變的三維人臉樣本配準(zhǔn)[J].計(jì)算機(jī)科學(xué)，2014，41（s2）:116-118.

[8]林源，梁舒，王生進(jìn).基于非剛性ICP的三維人臉數(shù)據(jù)配準(zhǔn)算法[J].清華大學(xué)學(xué)報(bào)自然科學(xué)版，2014（3）:334-340.

[9]Allen B，Curless B，Popovi，et al.The Space of Human Body Shapes:Reconstruction and Parameterization from Range Scans[J].Acm Transactions on Graphics，2003，22（3）:587-594.

[10]Zhang X J，Zhong-Ke L I，Wang X Z，et al.Research of 3D Point Cloud Data Registration Algorithms Based on Feature Points and Improved ICP[J].Transducer&Microsystem Technologies，2012，31（9）:116-248.

Non-Rigid Surface Fitting Method Based on ICP

CHEN Lin-wei
（College of Computer Science,Sichuan University，Chengdu 610000）

High realistic of 3D facial reconstruction is a key technology of facial animation and it can be applied in a wide range of fields such as virtual reality,3D animation and so on.Proposes a rapidly reconstruction method which can gain a high-accuracy and high realistic 3D facial model.This method can gain a high realistic model since it take both the hole and border of target point cloud as constraint condition and can rapidly fitting the local features of target point cloud.The experimental results also show that this method can get a realistic 3D facial model by fitting target point cloud.

3D Face;Surface Fitting;ICP

1007-1423（2017）08-0070-04

10.3969/j.issn.1007-1423.2017.08.015

陳林偉（1991-），男，安徽蕪湖人，碩士研究生，研究方向?yàn)槿S重建

2016-12-20

2017-03-10