李靈杰,童 晶,2,步文瑜,孫海舟,陳正鳴,2

(1.河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇 常州 213022; 2.常州市圖形圖像與骨科植入物數(shù)字化技術(shù)重點實驗室,江蘇 常州 213022)

0 引 言

隨著社會經(jīng)濟發(fā)展，生活水平的提高，人們對定制產(chǎn)品和定制服務(wù)的需求越來越多，例如人體工學(xué)設(shè)計、服裝高級定制、健身計劃定制和定量跟蹤等。這些需求涉及了人體語義特征，人體語義特征是指人體的身高、胸圍、腰圍、腿長等一系列維度信息。

為獲取人體語義特征，傳統(tǒng)的方法是手工測量。測量者借助皮尺、測高計等傳統(tǒng)工具對被測者各身體部位手工測量并記錄數(shù)據(jù)[1-2]。手工測量方法靈活方便，簡單易行，幾乎可以獲得所有的人體特征數(shù)據(jù)，因此得到了長期而又廣泛的應(yīng)用。但是測量結(jié)果的精確度與測量者的技術(shù)水平相關(guān)，測量時間與測量者的熟練程度相關(guān)。通常情況下，測量誤差較大，測量時間長，而且極大地消耗測量者體力、精力，不適合大規(guī)模、快速獲取語義特征的情形[3-4]。

基于三維人體模型提取語義特征提供了一種快速、精確、可大規(guī)模使用的解決方案，也促進了語義特征在各方面的應(yīng)用。例如，我國總后勤軍備研究所對全軍進行了抽樣測量，建立了我國軍人服裝尺寸數(shù)據(jù)庫，并對我國軍人的體型特征進行了深入研究，建立了比較完善的軍服號型系統(tǒng)[5]。Body Labs公司采用三維可視化技術(shù)，掃描人體獲取數(shù)字模型，提取人體參數(shù)，為消費者和生產(chǎn)者提供服務(wù)。Body Labs公司已與美國陸軍Natick士兵研發(fā)和工程中心簽訂協(xié)議，掃描了一萬多名士兵的全身數(shù)據(jù)來提取人體模型參數(shù)，制定統(tǒng)計模型，為防彈衣的設(shè)計提供參考依據(jù)[6]。

三維人體模型中的語義特征通常需要借助特征點或特征曲線表達。Wang等人[7-8]提出了從點云數(shù)據(jù)中提取特征點和特征曲線的算法，該方法從點云模型中提取尖點和拐點，結(jié)合相應(yīng)的人體測量標準提取特征點。首先對點云數(shù)據(jù)去噪、調(diào)整點云模型的方向；然后重建點云模型為網(wǎng)格模型；最后結(jié)合人體測量標準構(gòu)建特征曲線。Wang等人的方法只能測量特定姿勢的人體模型參數(shù)，另外該方法提取的特征曲線與模型不貼合，測得的結(jié)果誤差比較大。Azouz等人[9]提出了一種自動標記人體特征點(landmarks)的算法，該算法基于統(tǒng)計學(xué)習，分為學(xué)習階段和匹配階段。學(xué)習階段基于所構(gòu)建的三維特征描述子Spin Images統(tǒng)計特征點的分布和相對位置。匹配階段指定一個特征點開始匹配。該算法需要統(tǒng)計大量的特征點數(shù)據(jù)。Leong等人[10]更進一步提出了少標記(mark-less)的特征點和特征曲線提取算法，從深度圖中提取特征點映射至三維模型。其核心思想是特征點主要分布在深度圖的階躍點，特征曲線由系列屬性相似的特征點確定。利用該方法，作者提取了21組特征點和35組特征曲線。該方法基于深度圖提取，對噪聲非常敏感。Probst等人[11]提出的基于隨機森林的方法，是一種將局部預(yù)測累積為全局的、圖像級的人體測量的方法，其目標函數(shù)依賴于圖像預(yù)測和局部預(yù)測估計模型參數(shù)。Song等人[12]提出了一種有效的服裝尺寸自動預(yù)測方法，以人的身高、前視圖和側(cè)視圖中的穿著人體輪廓作為輸入，采用數(shù)據(jù)驅(qū)動的方法估計三維人體語義特征。Xu等人[13]提出了一種在人們穿著衣服的情況下，從一個運動傳感器上測量具有大規(guī)模運動的人體的精確參數(shù)，并采用時空分析方法來挖掘姿勢變化的信息。ShapeMate[14]方法是一種為在線商店提供人體形狀估計的方法，該方法利用單幅照片恢復(fù)人體模型并預(yù)測模型的特征信息。其中幾種方法的特征曲線圖和示意圖如圖1、圖2所示。

針對上述問題，本文提出一種基于模板匹配的三維人體語義特征提取算法。首先將三維人體模型數(shù)據(jù)庫拓展為人體語義特征數(shù)據(jù)庫；然后將輸入模型和模板模型配準，根據(jù)模板上標注的語義特征采樣點擴充出輸入模型的語義特征采樣點，使用貝塞爾曲線擬合特征采樣點，形成一系列特征曲線；最后計算特征曲線長度，得到輸入模型的語義特征參數(shù)。實驗表明本文算法提高了語義特征提取的準確性，自動化程度良好，并且具有優(yōu)秀的擴展性。

(a) 文獻[7]結(jié)合人體測量標準提取特征曲線

(b) 文獻[9]基于統(tǒng)計學(xué)習提取特征點

(c) 文獻[10]基于深度圖提取特征曲線

(a) 文獻[12]數(shù)據(jù)驅(qū)動的方法

(b) 文獻[13]基于時空分析的方法

(c) ShapeMate基于單幅照片的方法

1 算法描述

1.1 主要概念

1)語義特征。語義特征是指人體的各種維度，例如身高、胸圍、腰圍、腿圍等維度。

2)語義特征采樣點。語義特征采樣點是用來擬合語義特征曲線的采樣點，這些采樣點位于語義特征實際位置的附近，簡稱特征采樣點。

3)語義特征曲線。語義特征曲線是用來定位語義特征的三次曲線，通過計算曲線的長度，得到模型的語義特征，簡稱特征曲線。

4)三維人體數(shù)據(jù)庫。含有多個三維人體模型的數(shù)據(jù)集，模型采用多邊形網(wǎng)格或點云表達，以下簡稱人體數(shù)據(jù)庫。

5)三維人體分割數(shù)據(jù)庫。是對三維人體數(shù)據(jù)庫進行對象分割，以下簡稱分割數(shù)據(jù)庫。

6)三維人體骨骼數(shù)據(jù)庫。是對三維人體數(shù)據(jù)庫進行骨骼抽取所得數(shù)據(jù)庫，以下簡稱骨骼數(shù)據(jù)庫。

7)三維人體語義特征數(shù)據(jù)庫。是一種三維人體模型數(shù)據(jù)庫，模型標記了語義特征采樣點，簡稱特征數(shù)據(jù)庫。

8)模板模型。預(yù)處理過的人體模型，包含語義特征、分割信息和骨骼。

9)參數(shù)化人體模型。指已標注特征曲線的人體模型，可通過計算特征曲線的長度得到人體模型的語義參數(shù)。

1.2 總體流程

算法的總體過程分為人體數(shù)據(jù)庫擴展和語義特征提取2個步驟。首先介紹核心部分——語義特征提取。

1.2.1 語義特征提取

本文提出的方法基于模板匹配算法，總體流程分3個步驟：模型預(yù)處理、模型配準和擬合與計算。

1)模型預(yù)處理階段。模板模型來源于三維人體語義特征數(shù)據(jù)庫，數(shù)據(jù)庫中有多個不同姿態(tài)、不同體型的人體模型，選擇合適的人體模板模型是準確匹配輸入模型和減少迭代次數(shù)的關(guān)鍵。為減少后續(xù)步驟的計算量，選取的模板模型應(yīng)盡可能與輸入模型相似。選取模型模板的主要依據(jù)是模型的姿勢，需借助骨節(jié)點坐標衡量，因此需要對三維人體數(shù)據(jù)集中的模型進行骨架提取[1]。

2)模型配準階段。為減少非剛體配準過程中迭代次數(shù)，先對模板模型和輸入模型進行剛體配準。配準完成后，模板模型逼近輸入模型且保持了拓撲結(jié)構(gòu)。

3)擬合與計算階段。使用NURBS曲線擬合配準后模板模型的特征采樣點，形成特征曲線，計算特征曲線長度，得到輸入模型的語義特征參數(shù)。整個提取過程的流程如圖3所示。

圖3 特征提取算法流程

1.2.2 人體數(shù)據(jù)庫擴展

在1.2.1節(jié)中提到模板匹配階段需要預(yù)先選擇模板模型，而模板模型來自于特征數(shù)據(jù)庫。特征數(shù)據(jù)庫的構(gòu)建基于開放數(shù)據(jù)集MPI[15]人體數(shù)據(jù)集。MPI數(shù)據(jù)集包含114個人體模型，使用時，從中剔除姿勢過于復(fù)雜扭曲的人體模型。每個人體包含35個姿態(tài)，每個模型有6449個頂點和12894個三角面片，所有模型拓撲一致。樣本數(shù)據(jù)如圖4所示。

圖4 MPI三維人體樣本數(shù)據(jù)

人體數(shù)據(jù)庫的擴展過程依次構(gòu)建3個數(shù)據(jù)庫：模型分割數(shù)據(jù)庫、骨骼數(shù)據(jù)庫和特征數(shù)據(jù)庫。人體數(shù)據(jù)庫中的所有網(wǎng)格模型拓撲一致，因此對其中一個模型操作即可將結(jié)果應(yīng)用于整個數(shù)據(jù)庫，此過程是半自動化的，流程如圖5所示。

圖5 人體數(shù)據(jù)庫擴展過程總體流程

1)拓展分割信息和人體骨骼的過程。首先對人體模型進行形狀分割；然后將相鄰2個分割塊的邊界中心作為一個骨骼節(jié)點，按照一定的順序連接這些節(jié)點，形成人體骨骼；最后，將這些分割擴展到整個數(shù)據(jù)庫，并抽取骨骼，形成三維人體分割數(shù)據(jù)庫和三維人體骨骼數(shù)據(jù)庫。三維人體分割數(shù)據(jù)庫是中間數(shù)據(jù)，骨骼數(shù)據(jù)庫主要用于特征提取過程。

2)拓展語義特征的過程。首先，標記一個模型的語義特征采樣點；然后將采樣點擴展到整個數(shù)據(jù)庫；最后，對每個模型的采樣點使用非均勻有理B樣條(Non-Uniform Rational B-Spline, NURBS)擬合，得到特征曲線。語義特征在樣本上的示意圖如圖6所示。

(a) 特征采樣點 (b) 特征曲線

1.3 核心算法

在數(shù)據(jù)庫擴展階段和特征提取階段涉及形狀分割、骨骼抽取、模型配準等算法。

1.3.1 形狀分割

形狀分割采用基于平面約束(Constrained Planar Cuts, CPC)[16]的算法,目標是分割出有意義的對象，例如人的肢體。算法的優(yōu)點在于摒棄額外的訓(xùn)練過程，自底向上地將三維模型分割成有意義的部分。核心思想是生成附帶凹凸信息的點云，并且在“凹”的點云上擬合出切割平面。針對出現(xiàn)“過分割”的情況，作者提出2種“修補”方法：權(quán)重引導(dǎo)方法和局部約束方法。權(quán)重引導(dǎo)方法中，垂直于凹邊表面的點具有更高的權(quán)重；局部約束方法中先對凹點進行歐氏分割限制切割面的增長上限，再對子域進行分割。圖7展示了分割算法的測試結(jié)果。圖8是CPC算法在本文數(shù)據(jù)集上的測試結(jié)果。

(a) 鄰接圖 (b) 從鄰接圖中提取歐幾里得邊緣點云以及點權(quán)重 (c) 用第1個平面切割結(jié)果

圖7 CPC算法測試結(jié)果

圖8 CPC算法在本文數(shù)據(jù)集上的測試結(jié)果

1.3.2 骨骼抽取

從分割過的模型中抽取骨骼信息步驟：每2個分割部件交界中點構(gòu)建一個骨節(jié)點，按照一定順序連接這些骨節(jié)點，形成模型的骨骼。骨骼抽取示意圖如圖9所示。

圖9 骨骼抽取示意圖

1.3.3 模型配準

模型配準是將模板模型向輸入模型變形的過程，讓三維人體模板模型拓撲結(jié)構(gòu)不變而使姿態(tài)和體型向輸入模型逼近。在1.2.1節(jié)中提到，模板模型來源于語義特征數(shù)據(jù)庫，而數(shù)據(jù)庫中有多個人體模型，為提高算法的運行效率，本文采取了以下加速方法：

1)選取合適的模板模型，模板模型的姿態(tài)和輸入模型盡可能相似，本文使用骨骼的相似性衡量模型的相似性，具體在1.3.3.1節(jié)詳述。

2)進行剛體配準，變形之前調(diào)整模板模型的朝向、位置，讓輸入模型和模板模型在世界坐標空間中重疊。剛體配準過程在1.3.3.2節(jié)詳述。

1.3.3.1 計算骨骼相似性

計算輸入模型與特征數(shù)據(jù)庫中的模型骨骼相似性，選取相似性誤差最小的模型作為模板模型，本文定義相似性誤差Se為：

(1)

1.3.3.2 剛體配準

剛體配準分為2個步驟：1)方向包圍盒對齊；2)采用迭代最近點算法[17]剛體配準的迭代配準。

1)方向包圍盒對齊。

(2)

(3)

(a) 仿射變換前 (b) 仿射變換后圖10 方向包圍盒對齊

2)迭代最近點算法剛體配準。

(4)

(a) 配準前 (b) 配準后圖11 迭代最近點配準

1.3.3.3 非剛體配準

非剛體配準的目標是讓模板模型盡可能逼近輸入模型，采用構(gòu)造最小化能量函數(shù)的方法。采用Allen等人[18]的方法進行人體網(wǎng)格變形實驗，當模板網(wǎng)格和目標網(wǎng)格差異比較大時，該方法失效，如圖12所示。觀察圖12(c)可以發(fā)現(xiàn)，在手臂和小腿出現(xiàn)了破損的面。圖13為本文算法在數(shù)據(jù)集上的測試結(jié)果，測試多個模型后，發(fā)現(xiàn)本文算法在數(shù)據(jù)集上表現(xiàn)良好。

(a) 模板網(wǎng)格 (b) 目標網(wǎng)格 (c) 采用文獻[18]算法變形后的網(wǎng)格圖12 文獻[18]算法測試結(jié)果

(a) 目標三維模型

(b) 變形得到的三維模型圖13 本文算法在數(shù)據(jù)集上的測試結(jié)果

1)拉普拉斯網(wǎng)格變形。

本文提出用拉普拉斯(Laplacian)網(wǎng)格編輯算法替代Allen等人[18]的標記點誤差項，分別在模板網(wǎng)格和目標網(wǎng)格上選取56對一一對應(yīng)的標記點，作為Laplacian網(wǎng)格編輯中的標記點。變形后，標記點從模板網(wǎng)格中的坐標位置變到目標網(wǎng)格中的坐標位置[19]。

本文使用Kwok等人[20]的選取特征點軟件Add_FP，使用該軟件可以手工選取頂點，并導(dǎo)出頂點的序號索引和坐標位置。頂點(關(guān)鍵點)示例如表1所示。

表1 關(guān)鍵點格式示例

在模板網(wǎng)格和目標網(wǎng)格中分別手工標記一一對應(yīng)的標記點并盡量保持標記點的位置對應(yīng)。例如在模板網(wǎng)格上，標記點在外腹斜肌中間位置，那么在目標網(wǎng)格上也應(yīng)該標記在外腹斜肌的中間位置，如圖14所示。

圖14 關(guān)鍵點標記示意圖

(5)

2)數(shù)據(jù)誤差和光滑度誤差。

在前面提到本文方法借鑒了Allen等人的方法，但是屏蔽了標記點誤差，利用標記點進行了粗略的網(wǎng)格變形，變形后模板網(wǎng)格姿勢與目標網(wǎng)格姿勢相同。為了使模板網(wǎng)格的體型與目標網(wǎng)格也相同，本文引入數(shù)據(jù)誤差和光滑度誤差。

數(shù)據(jù)誤差項表示的是變形后網(wǎng)格的頂點與目標網(wǎng)格頂點間的距離之和，當距離之和越小時，說明二者匹配得越好。數(shù)據(jù)誤差目標函數(shù)Ed定義為變形后網(wǎng)格的頂點與目標網(wǎng)格頂點間的距離平方和，計算公式如下：

(6)

僅使用數(shù)據(jù)誤差，會導(dǎo)致變形后的模型表面凹凸不平。為解決該問題，本文引入了光滑度誤差。光滑度誤差Es定義為模板網(wǎng)格上相鄰頂點仿射變換之差的F范數(shù)，計算公式如下：

(7)

其中，‖·‖F(xiàn)為弗羅貝尼烏斯范數(shù)，弗羅貝尼烏斯范數(shù)定義為：

(8)

通過極小化鄰接頂點變換的差異，保留了鄰接頂點之間的光滑性。

3)合并誤差項。

最終目標函數(shù)定義為：

E=αEd+βEs

(9)

其中，α、β是權(quán)重參數(shù)，求解該目標函數(shù)的最小值，就可使變形后的模板網(wǎng)格和目標網(wǎng)格貼近，并且使變形后的目標網(wǎng)格保持光滑。

(10)

對上式Ti中的每一個元素求偏導(dǎo)數(shù)，令偏導(dǎo)數(shù)的值為0，求解偏導(dǎo)函數(shù)，即為使目標函數(shù)極小的變換矩陣。然后對模板網(wǎng)格中的每個頂點施加對應(yīng)的變換，就可以得到最終的變形結(jié)果。

1.3.4 非均勻有理B樣條逼近

非均勻有理B樣條的光順和逼近技術(shù)是NURBS曲線曲面造型中應(yīng)用最為廣泛的技術(shù)，是根據(jù)一系列型值點通過一定算法得到滿足逼近精度和光順程度的NURBS曲線，如圖15所示。本文采用的是蘭浩等人[21]提出的算法，是基于能量優(yōu)化的整體光順逼近算法，在給定若干型值點坐標和逼近誤差限ε的條件下，擬合出滿足逼近誤差限且光順度較好的3次NURBS曲線[10]。

圖15 NURBS曲線逼近示意圖(胸圍曲線)

為擬合出符合要求的NURBS曲線，并且具有較高的逼近精度和光順度，蘭浩等人[21]定義了目標構(gòu)造函數(shù)：

f=α·f1+β·f2+γ·f3

(11)

其中，f1為逼近項，用來使曲線盡量靠近型值點；f2為光順項，用于控制曲線的光順度，通過限制離散點的“曲率和”使整條曲線和趨于最?。籪3也是光順項，但是其作用是使整條曲線的曲率變化均勻。α、β、γ是加權(quán)系數(shù)，合理的設(shè)置加權(quán)系數(shù)可以使得f1、f2、f3取得協(xié)調(diào)的組合，從而得到擬合精度、光順度都較好的曲線擬合效果。

2 實驗研究

2.1 實驗數(shù)據(jù)

本文的實驗材料一部分來源于MPI數(shù)據(jù)集，另一部分來源于自行掃描所得人體模型。

自行掃描的實驗數(shù)據(jù)采用精迪非接觸式三維人體掃描設(shè)備掃描，掃描精度>1 mm。掃描模型有165525個頂點和331054個三角面片。掃描模型比MPI數(shù)據(jù)庫模型頂點密度高、精度大，但是由于掃描角度問題，掃描人體頭頂和腳底存在數(shù)據(jù)缺失，在網(wǎng)格模型上呈現(xiàn)破洞，在進行特征提取前，需要將數(shù)據(jù)補齊。圖16展示了未經(jīng)數(shù)據(jù)補齊的模型和補齊后的模型，這些補齊后的模型將作為測試數(shù)據(jù)。

圖16 未經(jīng)數(shù)據(jù)補齊的模型和補齊后的模型展示

注：①自行掃描人體數(shù)據(jù) ②頭部數(shù)據(jù)缺失 ③頭部數(shù)據(jù)補齊 ④其他實驗數(shù)據(jù)

在MPI數(shù)據(jù)集中選取7個人體模型作為測試數(shù)據(jù)，真實語義特征由MPI數(shù)據(jù)集提供。將3個自行掃描模型作為測試數(shù)據(jù)，真實語義特征由專業(yè)量體師提供，將10個模型編號，模型編號采用S+試驗者號+P+姿態(tài)模型的格式表示，例如S1P1模型和S1P3模型分別表示1號試驗者的1號姿勢模型和3號姿勢模型，S2P2和S3P2分別表示2號試驗者和3號試驗者的2號姿勢模型。實驗?zāi)Ｐ陀杀?列出。

表2 實驗?zāi)Ｐ蛿?shù)據(jù)

2.2 實驗設(shè)計

(12)

(13)

使用標準差函數(shù)sl刻畫單個特征誤差的標準差：

(14)

其中，μl為算術(shù)平均值。

2.3 實驗結(jié)果和分析

按照上述實驗?zāi)Ｐ蛿?shù)據(jù)設(shè)計進行實驗，對10個實驗?zāi)Ｐ吞崛≌Z義特征，S1P1模型的原始數(shù)據(jù)及誤差如表3所示，實驗數(shù)據(jù)的測量值與真實值的誤差及時間如表4所示。從圖17的實驗數(shù)據(jù)可知，本文算法提取的語義特征準確度較高，誤差在[-2.1%,+2.1%]內(nèi),標準差在2%以內(nèi)。

表3 S1P1模型原始數(shù)據(jù)及誤差

表4 測量值與真實值的誤差及計算時間

圖17 誤差分析

根據(jù)近年來國內(nèi)外對特征提取的相關(guān)研究，對各個特征的平均誤差和整體計算時間進行了對比，如圖18所示。文獻[11]給出的基于圖像和局部的隨機森林預(yù)測方法的準確性小于本文方法，但在時間上更快；文獻[12]給出的是一種基于二維圖像的方法，這種方法計算速度快，計算時間在0.1 s內(nèi)，效果與本文方法相當,文獻[13-14]所提出的方法誤差較大。經(jīng)比較可見，本文方法在效率上較好，誤差較小，綜合水平好。另外，本文提出的基于模板匹配的方法能夠提取多種姿態(tài)下的語義特征信息，相對其他方法應(yīng)用更加廣泛，具有更高的靈活性并能為人體動畫、服裝定制等提供更多參考數(shù)據(jù)。

3 結(jié)束語

本文提出了一種新穎的基于模板匹配的語義特征提取算法，首先構(gòu)建了模板數(shù)據(jù)庫，然后選取合適的模板和輸入模型配準，利用模板的拓撲一致性，拓展語義特征采樣點，最后使用NURBS曲線擬合采樣點，計算曲線長度，得到特征信息。經(jīng)過實驗驗證，本文算法提取的特征誤差在2%以內(nèi)，準確度高，效率較高，滿足了大多數(shù)情況下對語義特征的需求。后續(xù)工作將在實時性方面做進一步完善，在目前的數(shù)據(jù)積累基礎(chǔ)上對人體語義特征的統(tǒng)計特性做進一步分析。

圖18 多種方法在各特征平均誤差及計算時間的比較