汪 豐 祁長紅 劉 成 姜 偉 倪 舟 鄒 亞

(東南大學(xué)生物科學(xué)與醫(yī)學(xué)工程學(xué)院, 南京 210096)

基于正交圖像的頭部三維模型構(gòu)建

汪 豐 祁長紅 劉 成 姜 偉 倪 舟 鄒 亞

(東南大學(xué)生物科學(xué)與醫(yī)學(xué)工程學(xué)院, 南京 210096)

為快速構(gòu)建人體頭部的三維模型,提出了一種使用頭部正面和側(cè)面兩張正交圖像進行重建的方法．首先,利用Candide-3模型生成標(biāo)準(zhǔn)頭部模型;然后,利用改進的主動形狀模型(ASM)自動獲取正面圖像中68個特征點和側(cè)面圖像中35個特征點,并將獲取的特征點與標(biāo)準(zhǔn)頭部模型中的頂點進行匹配,利用匹配特征點對標(biāo)準(zhǔn)模型進行全局變形和局部變形,從而獲得個性化模型;最后,對側(cè)面頭像進行仿射變換,使之與正面圖像配準(zhǔn),并通過柱面投影和加權(quán)融合獲得人臉全景紋理圖,將其映射到個性化模型上以獲得逼真的頭部模型．實驗結(jié)果表明:與傳統(tǒng)ASM算法相比,利用改進ASM算法獲得的特征點定位準(zhǔn)確度提高了13.1%;所提方法僅需約1.2 s便可重建出具有真實感的頭部三維模型,并能提供較大范圍的可視角度和較豐富的深度信息．

頭部模型重建;正交圖像;Candide-3模型;紋理映射;主動形狀模型

隨著計算機圖形學(xué)的發(fā)展,人們越來越追求在虛擬仿真、三維動畫和游戲等虛擬世界中的真實感,逼真的三維頭部模型能為用戶帶來較為真實的體驗．三維模型重建的方法主要包括手工重建、基于三維掃描數(shù)據(jù)的重建和基于圖像的三維重建．手工重建費時費力,適用性不強;基于三維掃描數(shù)據(jù)的重建對掃描設(shè)備要求高,價格昂貴,建模效率低,速度慢;基于圖像的三維重建的建模速度快,效率高,準(zhǔn)確度基本滿足要求．

目前,利用圖像進行三維臉部的建模研究較多[1-3]．文獻[1]通過采集用戶多幅照片,在照片上人工標(biāo)定多個特征點,并對通用模型進行變形,重建出較為逼真的三維人臉模型;但該方法需要與用戶進行人工交互,過程較為繁瑣．文獻[3]采用ASM算法自動提取人臉特征點,無需人工交互,即可重建出逼真的三維臉部模型．

單純的三維人臉模型并不能帶來強烈的虛擬世界的沉浸感,逼真的三維頭部模型才能帶來更為真實的用戶體驗,因此,建立適應(yīng)不同用戶的個性化三維頭部模型是非常必要的．本文在傳統(tǒng)三維人臉重建方法的基礎(chǔ)上進行三維頭部模型快速重建,以獲得逼真的三維頭部模型．

1 標(biāo)準(zhǔn)三維頭部模型的獲取

標(biāo)準(zhǔn)三維頭部模型的獲取有多種渠道,如使用專門的三維掃描設(shè)備或三維建模軟件．但三維掃描設(shè)備價格昂貴,獲取途徑不方便;建模軟件構(gòu)建的模型拓?fù)浣Y(jié)構(gòu)復(fù)雜,數(shù)據(jù)點個數(shù)龐大,不利于模型的控制和變形．為簡單方便地利用頭部模型、避免眾多模型點的調(diào)整,本文采用臉部數(shù)據(jù)比較簡單的Candide-3[4]三維人臉網(wǎng)格模型．

Candide-3模型是一個簡單的參數(shù)化的三維人臉網(wǎng)格模型,包含113個頂點和168個面．該模型只是一個相對完整的人臉模型,并不適合直接用于人頭建模,需對其進行改進補充．基于人體頭部生理結(jié)構(gòu),在該模型基礎(chǔ)上增加頭部側(cè)面和后腦勺部位,使之成為一個完整的頭部標(biāo)準(zhǔn)模型,用于個性化模型的生成．

2 頭部圖像特征點的獲取

為獲得個性化模型,需利用特征點對標(biāo)準(zhǔn)模型進行變形．關(guān)于正臉特征點定位的相關(guān)研究較多[5-6],但針對側(cè)臉特征點定位方面的研究則較少．本文利用改進ASM算法[7]提取頭部正面和側(cè)面特征點．

ASM是基于統(tǒng)計學(xué)的一種灰度和形狀分離的可變形模型,目前該算法已成功運用于輪廓提取、特征點定位等方面．傳統(tǒng)ASM算法雖然能提取目標(biāo)性狀、定位特征點,但仍存在缺陷,如魯棒性差、搜索范圍小、精度不高等．本文對傳統(tǒng)ASM算法進行改進,在特征點定位前先對頭部正面和側(cè)面分別檢測,以確定人臉?biāo)诜秶?分別在正臉和側(cè)臉區(qū)域利用ASM算法進行特征點的搜索匹配,并將搜索的范圍由一維擴展到二維,以提高特征點定位的準(zhǔn)確性．

利用ASM算法實現(xiàn)頭部正面和側(cè)面特征點定位的步驟如下:

① ASM的訓(xùn)練.選用CVL數(shù)據(jù)庫[8]中100張正面和100張側(cè)面照片,參考MPEG-4人臉定義標(biāo)準(zhǔn), 分別在照片上手工標(biāo)定68個正面特征點和35個側(cè)面特征點,得到100個正面人臉形狀和100個側(cè)面人臉形狀．分別計算平均形狀,進行PCA處理,以建立正臉和側(cè)臉的統(tǒng)計形狀模型,并計算每個特征點的局部灰度模型．

② ASM的搜索.利用AdaBoost算法[9]分別檢測正臉和側(cè)臉區(qū)域,并對初始平均形狀進行仿射變換,得到一個初始模型．利用該模型在目標(biāo)區(qū)域內(nèi)搜索,將ASM搜索范圍從一維擴展到二維,不斷迭代直至形狀模型收斂．由此便可大大提高特征點定位的精度,實現(xiàn)正面和側(cè)面特征點的自動定位．特征點定位結(jié)果如圖1所示．

(a) 正面

(b) 側(cè)面

3 個性化模型的建立

利用正面和側(cè)面特征點對標(biāo)準(zhǔn)模型進行變形．模型的變形包括全局變形和局部變形．全局變形是指對模型進行調(diào)整,使之與頭部圖像在輪廓上相似,以實現(xiàn)整體輪廓的匹配;局部變形則主要是對嘴巴、鼻子、耳朵、眼睛等細(xì)節(jié)處進行局部調(diào)整,以實現(xiàn)細(xì)節(jié)處的相似．

3.1 全局變形

全局變形中,通過調(diào)整標(biāo)準(zhǔn)頭部模型,使之與頭部圖像在輪廓方面相一致,即形狀相似．從正面圖像上獲取特征點坐標(biāo)(x,y),從側(cè)面圖像獲取特征點坐標(biāo)(y,z)．受拍攝角度影響,正面和側(cè)面圖像上同一部位特征點可能并不在同一高度上．為使同一部位特征點高度相同,需對圖像進行變換．以正面圖像為參考,對側(cè)面圖像進行仿射變換,使之與正面圖像的特征點配準(zhǔn),利用特征點對模型進行全局變形,即

(1)

式中,Rx,Ry,Rz分別為X,Y,Z方向上頭部圖像與標(biāo)準(zhǔn)模型高度之比;(x0,y0,z0)為初始模型的變換中心點坐標(biāo);(x′,y′,z′)為變換后的坐標(biāo).

全局變形結(jié)果與匹配結(jié)果見圖2．

(a) 正面變形結(jié)果

(b) 側(cè)面變形結(jié)果

(c) 正面匹配結(jié)果

(d) 側(cè)面匹配結(jié)果

3.2 局部變形

經(jīng)過全局變形,模型與頭部圖像在輪廓上達到一致,但局部位置(如眼睛、鼻子、嘴巴等)沒有精確匹配,這就需要利用相關(guān)特征點對模型進行局部變形．Candide-3模型定義了14個形狀單元,但這些形狀單元并不能滿足整個頭部模型的局部變形．為此,增加了后腦勺、耳朵等8個形狀單元,每個形狀單元包含節(jié)點個數(shù)、與該形狀單元有關(guān)的頂點序號、偏移值等數(shù)據(jù)信息．對每個形狀單元的頂點進行如下變換:

(2)

式中,rx,ry,rz分別為X,Y,Z方向上形狀單元的變換量;Δx,Δy,Δz分別為X,Y,Z方向上的單位變換量．

局部變形結(jié)果與匹配結(jié)果見圖3．由圖可知,經(jīng)局部變形后,與樣本相似的個性化模型基本生成．

3.3 紋理生成與映射

(a) 正面變形結(jié)果

(b) 側(cè)面變形結(jié)果

(c) 正面匹配結(jié)果

(d) 側(cè)面匹配結(jié)果

經(jīng)過全局變形和局部變形,可獲得個性化頭部模型,但該模型缺少顏色紋理,可視性差,需為其貼上顏色紋理以獲得逼真的頭部模型．此過程包括紋理圖的生成和紋理映射2個方面,本文采用基于柱面投影和加權(quán)融合的紋理圖像生成方法．

考慮到頭部輪廓近似于圓柱體,正面和側(cè)面頭像分別屬于圓柱體的一部分,故在進行紋理融合前先對側(cè)面圖像進行柱面投影,以滿足視覺上的效果．然后,采用加權(quán)融合方法[10]對正面和側(cè)面圖像進行融合,以外眼角垂直線為拼接線,設(shè)融合區(qū)域圖像大小為M×N,經(jīng)融合后得到的圖像為F,正面融合區(qū)域為A,側(cè)面融合區(qū)域為B,則圖像融合過程可表示為

F=wA+(1-w)B

(3)

式中,w為加權(quán)因子．為了滿足平滑度的要求,w由0向1逐漸遞增,且w=l/M, 其中，l為列數(shù).

甘肅省河西內(nèi)陸河流域總面積27萬km2，包括石羊河、黑河、疏勒河（含蘇干湖區(qū)的哈勒騰河等）等3個水系。年徑流量在1億m3以上獨立出山的河流有15條，其中石羊河水系6條；黑河水系6條；疏勒河水系3條。水資源總量61.3億m3，人均水資源量1 250 m3，耕地畝均水資源量570 m3，分別為全國平均水平的54%和38%，屬資源性缺水地區(qū)。

利用上述方法進行圖像融合生成的紋理圖見圖4．

圖4 紋理融合圖

為獲得真實感頭部模型,需將紋理映射到已生成的模型上．將模型頂點的三維坐標(biāo)轉(zhuǎn)化為二維紋理坐標(biāo),對紋理貼圖的正面和側(cè)面進行劃分,將模型的正面投影到紋理圖正面,模型側(cè)面投影到紋理圖側(cè)面,從而實現(xiàn)模型頂點與頭部圖像的精確匹配．對應(yīng)的映射關(guān)系見圖5．

圖5 紋理坐標(biāo)對應(yīng)關(guān)系圖

4 實驗結(jié)果與分析

4.1 人臉特征點定位結(jié)果與分析

采用平均誤差E和平均計算時間T兩個客觀評價指標(biāo)對改進ASM算法進行評價．平均誤差公式為

(4)

式中,x(i,j),p(i,j)分別為基于ASM算法定位和手工標(biāo)記的第i幅圖像中第j個特征點的坐標(biāo);n為測試樣本數(shù);k為特征點個數(shù)．

利用式(4)即可獲得測量值隨機誤差的算術(shù)平均值,用以判別特征點定位結(jié)果的準(zhǔn)確性．

平均計算時間公式為

(5)

式中,ti為第i幅圖像特征點定位所需時間．

利用式(5)即可獲得n個樣本的平均計算時間,用于評價ASM算法的運算速度．

2種算法的評價結(jié)果對比見表1．由表可知,與傳統(tǒng)ASM算法相比,改進ASM算法的計算精度提高了13.1%,而平均計算時間僅增加了0.06 s．平均計算時間的增加是因為ASM算法的特征點搜索范圍從一維擴展到二維,在提高特征點定位精度的同時會存在部分時間消耗．

表1 2種算法的平均誤差和平均計算時間比較

4.2 頭部三維重建結(jié)果與分析

經(jīng)過模型的全局變形、局部變形以及紋理映射,即可生成逼真的三維個性化頭部模型．圖6為3個樣本的重建效果．由此可知，采用本文方法提高了建模效率,達到了快速建模的目的,構(gòu)建的頭部三維模型可視角度大,可提供較為豐富的深度信息．

(a) 樣本1

(b) 樣本2

(c) 樣本3

本文方法與文獻[11-12]方法的比較結(jié)果見表2．由表可知,本文方法僅需約1.2 s便可快速重建出一個較為逼真的三維頭部模型,而另2種方法所需的建模時間則較多,無法達到快速建模的目的．

表2 3種重建方法的比較

5 結(jié)語

本文提出了一種使用頭部正面和側(cè)面兩張正交照片快速構(gòu)建頭部模型的方法．首先,基于改進ASM算法自動定位頭部正面和側(cè)面特征點,并利用匹配特征點對標(biāo)準(zhǔn)頭部模型進行全局變形和局部變形,獲得個性化頭部模型．然后,采用柱面投影和加權(quán)融合的方法生成人臉全景紋理圖,并進行紋理映射,獲得逼真的頭部三維模型．實驗結(jié)果表明,本文方法僅需約1.2 s便可快速重建出逼真的頭部模型,構(gòu)建的模型真實感較強,可以應(yīng)用于虛擬仿真、三維游戲等對實時性和準(zhǔn)確性要求較高的領(lǐng)域中,具有廣泛的應(yīng)用前景．

References)

[1]Pighin F, Hecker J, Lischinski D, et al. Synthesizing realistic facial expression from photographs[C]//ProceedingsComputerGraphicsandInteractiveTechniques. Los Angeles, CA, USA, 1998:75-84.

[2]Fooprateepsiri R, Kurutach W. A general framework for face reconstruction using single still image based on 2D-to-3D transformation kernel[J].ForensicScienceInternational,2014, 236:117-126.

[3]Heo J, Savvides M. Rapid 3D face modeling using a frontal face and a profile face for accurate 2D pose synthesis[C]//ProceedingsofAutomaticFaceandGestureRecongnitionandWorkshops. Santa Barbara, CA, USA,2011: 632-638.

[4]Ahlberg J. Candide-3—an updated parameterized face[R]. Linkoping, Sweden: Department of Electrical Engineering of Linkoping University, 2001.

[5]Berkay Y M, Erdogan H, Unel M. Facial feature extraction using a probabilistic approach[J].SignalProcessing:ImageCommunication, 2012, 27(6):678-693.

[6]Yurtkan K, Demirel H. Feature selection for improved 3D facial expression recognition [J].PatternRecognitionLetters, 2014, 38:26-33.

[7] Arámbula Cosío F, Flores J A, Castaeda M A. Use of simplex search in active shape models for improved boundary segmentation[J].PatternRecognitionLetters, 2010, 31(9):806-817.

[8]Solina F, Peer P, Batagelj B, et al. Color-based face detection in the “15 seconds of fame” art installation[C]//ProceedingsofMirage. Rocquencourt, France, 2003:38-47.

[9]Louis W, Plataniotis K N. Frontal face detection for surveillance purposes using dual local binary patterns features [C]//IEEEInternationalConferenceonImageProcessing. Hong Kong, China, 2010:3809-3912.

[10]Zhou Z, Li S, Wang B. Multi-scale weighted gradient-based fusion for multi-focus images[J].InformationFusion,2014, 20:60-72.

[11]Romdhani S,Vetter T. Efficient, robust and accurate fitting of a 3D morphable model[C]//ProceedingsoftheNinthIEEEInternationalConferenceonComputerVision. Nice, France, 2003:59-66.

[12] Levine M, Yu Y. State-of-the-art of 3D facial reconstruction methods for face recognition based on a single 2D training image per person[J].PatternRecognitionLetters, 2009, 30(10): 908-913.

Reconstruction of 3D head model based on orthogonal images

Wang Feng Qi Changhong Liu Cheng Jiang Wei Ni Zhou Zou Ya

(School of Biological Sciences and Medical Engineering, Southeast University, Nanjing 210096,China)

To quickly build a three dimensional head model, a reconstruction method using a frontal orthogonal image and a profile orthogonal image is proposed. First, the standard head model is generated by the Candide-3 model. Then, 68 feature points and 35 feature points are automatically acquired from the frontal and profile images respectively by using the improved active shape model(ASM). The obtained feature points are matched with the vertexes of the standard head model. The specific head model is generated by deforming the standard head model globally and locally with the matched feature points. Finally, affine transformation is carried out on the profile image for image registration with the frontal image. The registered profile image is obtained by cylindrical projection and weighted fusion. The texture map is mapped on the specific head model to get a realistic head model. The experimental results show that the positioning accuracy of the feature points by using the improved ASM is increased by 13.1% compared with that by using the classical ASM. By using the proposed method, building the realistic head model with a wide range of viewing angle and rich depth information only needs about 1.2 s.

head model reconstruction; orthogonal image; Candide-3 model; texture mapping; active shape model

2014-07-08. 作者簡介: 汪豐(1969—)，男，博士，副教授，feng.wang@seu.edu.cn.

汪豐,祁長紅,劉成,等.基于正交圖像的頭部三維模型構(gòu)建[J].東南大學(xué)學(xué)報:自然科學(xué)版,2015,45(1):36-40.

10.3969/j.issn.1001-0505.2015.01.007

TP391

A

1001-0505(2015)01-0036-05