吳紅艷，楊 寧，陳 輝

(上海電力大學 自動化工程學院, 上海 200000)

生物識別是模式識別領域的經(jīng)典問題，人體的表型尤其面部特征高度復雜，因此面部三維尺寸測量一直為當前研究熱點和難點[1-2]。由于人類眼睛和鼻子近似剛性、表面曲率變化大、特征明顯，在人臉特征檢測中重要性更高，故對其進行三維尺寸測量可有效為生物特征識別提供保障。

傳統(tǒng)面部三維測量多基于接觸式尺寸測量，如網(wǎng)格作圖法、標尺測量法，這些方法耗時多且精度較低。基于二維圖像的非接觸式人臉三維測量方法[3]可避免特征損失，但用二維數(shù)據(jù)分析面部幾何結構(如額部、鼻子以及眼睛的凸度)進行描述時，過度簡化復雜的面部結構，而忽略面部凸起的差異，具有一定的局限性。近年來，三維激光掃描[4]技術發(fā)展迅速，可快速、準確地采集面部三維形態(tài)，3D成像技術的發(fā)展帶來了人體測量學領域的新發(fā)展和應用。因此探究面部三維尺寸的測量的方法更有利于面部形態(tài)學研究[5]。

Song等[6]提出檢測人臉3個區(qū)域特征并計算幾何特征和曲率距離，但測量必須依賴于精確的特征點，會因隨機性造成測量誤差大；Vezzetti等[7]通過借助手動提取面部測量參考點測量生長引起的面部變化，但手動提取要求精度高，對面部測量的準確度無法保證；Zhao等[8]通過神經(jīng)網(wǎng)絡模型對兩種人臉圖像間的相似性進行測量，可有效訓練深度人臉特征提取模型用于顱面重建，但需要大量的訓練樣本；Mestetskiy等[9]利用表面測量平均邊緣距離評估3D人臉重建算法的準確性，同時考慮連續(xù)3D表面確定重建的質量；Fakhir等[10]通過在人臉兩只耳朵上使用特定的點對點距離實現(xiàn)人臉識別，從人耳推斷三維尺寸以提供物理生物特征，但對提取的3D幾何面部特征和特定節(jié)點要求高，且依賴于2D圖像的實際尺寸；Tang等[11]針對三維人臉關鍵點檢測，提取局部描述子進行3種曲率測量并完成關鍵點檢測以用來描述和匹配；Ren等[12]提出一種結合紅外光柵結構光的雙目立體視覺的快速測量方法，由于數(shù)字光處理(Digital Light Processing,DLP)投影機投影速度慢，無法很好地執(zhí)行動態(tài)圖像采集。

針對上述問題，本文提出一種基于全局信息配準結合切片法的人臉三維尺寸測量方法。具體方法為：首先，將排列均勻的結構光編碼光三維點云和從運動恢復結構(Structure From Motion,SFM)重建得到的點云進行有效融合，在此基礎上，基于模糊C均值(Fuzzy C-Means,FCM)聚類算法對面部分割以去除多余噪聲點；然后利用貪婪三角化表面重建并使用拉普拉斯算法網(wǎng)格優(yōu)化，對三維人臉重建網(wǎng)格進行切片，計算相鄰兩個點之間的距離求取切片曲線；最后通過展開的切片計算人臉的三維尺寸。

1 全局三維點云配準

SFM重建得到的人臉三維點云稀疏、不完整，常含有大量不規(guī)則孔洞，編碼結構光投影方法獲得的三維點云分布均勻但人臉特征表示不明顯，為建立完整人臉三維點云模型，對兩種三維點云進行有效融合。令pi和qi分別為SFM人臉模型點集P和編碼結構光點集Q中的任意點，為消除兩類不同傳感器獲得點云的尺度差異，采用主成分分析(Principal Component Analysis，PCA)方法計算尺度因子s來統(tǒng)一兩組點云的主軸方向[13]：

(1)

式中：dc為兩組點云中對應點對間的距離；R為旋轉矩陣；t為平移矩陣。初始配準如圖1所示，兩點集的配準效果較差，并未完全融合在一起。

圖1 初始配準結果

圖2 配準融合結果

(2)

R=UcScVc

(3)

(4)

(5)

2 面部區(qū)域分割

通過采集多視圖圖像獲得SFM人臉點云數(shù)據(jù)，在經(jīng)過稠密重建點云后不可避免地會存在孔洞，而結構光點云通過編碼獲得，具有均勻排列的優(yōu)點，且沒有多余的噪聲點。因此，在點云配準的基礎上，為了消除多余噪聲點對三維尺寸測量的影響，本文利用FCM[14]算法對Pc點云聚類分割。Pc={pcj,j=1,2,…,n,pcj∈Rd}，為配準后數(shù)據(jù)集；U={uij}(i=1,2,…,c;j=1,2,…,n)，為模糊隸屬度矩陣，建立目標函數(shù)：

(6)

式中：ci為第i類的聚類中心;b為隸屬度的因子，即表示模糊加權指數(shù)，該值大于1。通過改變加權指數(shù)值比較分割結果，其中在模糊加權指數(shù)值為2時能較好地達到分割效果，進而有利于后續(xù)的三維測量，故本文取值為2(根據(jù)實驗值，文獻中一般也為2)；c為分割的類別數(shù)且2≤c≤n-1;n為點的數(shù)目；uij為第j個點屬于第i類的隸屬度，取值介于0～1之間，且滿足式(7)所示的約束條件。

(7)

為使目標函數(shù)達到最小，利用拉格朗日乘子尋優(yōu)算法計算隸屬度函數(shù)和模糊聚類中心：

(8)

(9)

將式(8)、式(9)反復迭代，得到滿足式(6)的全局最優(yōu)解U*和V*。通過FCM算法得到的人臉點云聚類分割結果如圖3所示(為使實驗結果更加清晰，在圖中用方框標記)。圖3表明分割結果能將各部分區(qū)域較好地分割出來并進行配準，方便后續(xù)進行面部眼睛的面積測量。

圖3 人臉點云聚類分割結果

3 三維點云尺寸測量方法

根據(jù)圖2實驗結果，人臉模型點云配準有效修補了SFM產(chǎn)生的孔洞，并補全了人眼部分的點云數(shù)據(jù)，為后續(xù)對面部進行三維測量奠定了基礎。為了進一步去除冗余信息，對含有冗余信息的左眼點云部分使用MeshLab軟件中的濾波器工具進行濾波處理[15]，去除噪聲點云，結果如圖4所示。融合后的點云邊緣部分的噪聲點已被去除，可以有效計算眼睛的面積。

圖4 左眼點云去噪結果

3.1 三維點云表面重建

針對人臉表面離散點云不平整問題，使用貪婪投影三角化算法重建點云的表面網(wǎng)格模型。首先，計算人臉模型SFM點云的法線向量，即計算點云的協(xié)方差矩陣的特征矢量和特征值[16]，對于每一個點Bi，對應的協(xié)方差矩陣C為

C·Vj=λj·Vj,j∈{0,1,2}

(10)

根據(jù)法線將三維點云投影到二維坐標平面進行平面內三角化，獲得各個點的連接關系。通過選取一個樣本三角片作為初始曲面不斷擴張曲面邊界，并繼續(xù)添加新的三角形，形成完整的三角網(wǎng)格曲面，最后根據(jù)投影點云的連接關系確定各原始三維點間的拓撲連接，所得到的三角網(wǎng)格即為重建得到的曲面模型。

3.2 拉普拉斯網(wǎng)格優(yōu)化

貪婪三角化算法只對原始點云進行快速三角化，不能在三角化的同時對曲面進行平滑和孔洞修復。為去除三角網(wǎng)格模型的噪聲，同時保持模型的幾何特征和拓撲信息保持不變，采用拉普拉斯[17]網(wǎng)格進行優(yōu)化。

(11)

L=I-D-1A

(12)

(13)

根據(jù)矩陣L寫出其對稱矩陣：

Ls=DL=D-A

(14)

(15)

(16)

式中：φ為曲面繞gi的任意封閉的曲線，則有：

(17)

(18)

式中：對角矩陣Dp對位置約束均值加權，優(yōu)化運算結果及提高三角網(wǎng)格質量，并與幾何誤差之間達到平衡。通過提高Dp可更高效地保留網(wǎng)格中的高曲率區(qū)域和關鍵特征以保留原來網(wǎng)格的幾何結構，增大DL權值，三角網(wǎng)格更佳且平滑度更高。其中網(wǎng)格平滑時有L=Lc(向外)，或者L=Lu(向內)且f=0。

人臉模型三維曲面重建如圖5所示，從圖5(a)中可以明顯看到含有較多孔洞，圖5(b)為經(jīng)本文配準融合后的人臉模型曲面重建。該模型點云個數(shù)為70442，經(jīng)三角化及網(wǎng)格優(yōu)化生成70547個三角面片，重建曲面耗時45 s，同時可以看到含有孔洞的地方已經(jīng)被修補好。然而重建圖形也表明在平滑處理時大部分關鍵特征仍然保留，但嘴巴左側的特征點在濾波處理以及平滑處理時被濾除掉，在計算三維尺寸時依賴于嘴巴右側的特征點，結合結構光的優(yōu)點，可以降低對本文測量的影響。其中重建后的精度評價用點云與三維曲面模型的最大距離、點云與三維曲面模型的平均距離來表示，最大距離為0.0804 mm，平均距離為0.0040 mm，實驗結果表明，曲面重建方式較好，且重建后的點云模型誤差也較小，可以認定重建算法可行、結果正確。

圖5 人臉模型三維曲面重建

3.3 點云表面切片

文獻[18]提出一種用于測量人臉鼻部相似性的新方法，采用一組測地線曲線制定一個相似性度量來比較鼻腔的相似度，受此啟發(fā)，本文建立一種新的三維點云測量數(shù)學模型，具體方法如下。

① 對配準融合后的人臉三維點云表面按坐標x方向進行切片：計算切片距離d(基于結構光點云的間距)，切片數(shù)量為m。

② 將每層切片數(shù)據(jù)中相鄰的兩點連線，并計算線段長度，求得線段總和。n為切片層上點云數(shù)量，Q*點集中點qi坐標為(xi,yi,zi)。

(19)

③ 假設線段的端點坐標(yj,zj),(yj+lj,zj)。首先計算相鄰切片點云之間的面積，如果d接近于0時，則有s=dlj。其中，d的大小與曲面復雜程度和點云數(shù)據(jù)密度相關。切片面積計算為

(20)

(21)

將切片曲線展開，確定切片線段的位置，然后根據(jù)對應關系求得第二片切片點云的位置，最終可得到m條切片線段的二維位置關系，然后計算面積之和，即

(22)

4 實驗結果與分析

為驗證本文人臉三維測量方法的有效性，對實驗進行驗證，實驗流程如圖6所示。SFM人臉模型實物如圖7所示。通過標尺進行實際測量，然后在網(wǎng)格紙上用細筆描繪出輪廓，多次計算該區(qū)域面積。

圖6 三維測量流程圖

圖7 SFM人臉模型實物圖

4.1 三維尺寸測量結果

通過對處理后的點云進行表面重建，面部眼睛面積及數(shù)據(jù)切片如圖8所示。圖8(b)所示為沿坐標x向進行點云數(shù)據(jù)切片，切片數(shù)量為m。切片結果如圖8(c)所示。根據(jù)式(19)計算每層切片點云的切片長度，計算結果如表1所示，表明眼睛區(qū)域自上而下各組切片的長度。在該過程中將所有切片求得的曲線展開，得到切片線段的二維片段，根據(jù)結構光點云平行的特點，這些線段兩兩平行如圖8(d)所示。

圖8 眼睛面積及數(shù)據(jù)切片

表1 沿面部x向切線長度(圖8(c)自上而下)

4.2 實驗結果分析

由于人臉模型眼睛面積實際值較難得到精確值，根據(jù)網(wǎng)格作圖法測量其真實值，而網(wǎng)格數(shù)對眼睛面積影響微乎其微，因此只要作圖和統(tǒng)計過程較為精準，可將其視為真值參照。多次測量并用實驗標準差來表示被評定測量系統(tǒng)的重復性，通常以貝塞爾公式[19]計算實驗的標準差σ:

(23)

(24)

式中：W為計算面積。

通過變換比例尺，根據(jù)誤差公式計算得到各方法的誤差值，如表2所示。本文3次實驗結果的平均計算值為0.0226 cm2，絕對誤差為0.0029，其實驗結果也依賴于配準的精度。為了更加充分地驗證本文方法的有效性，使用其他方法進行對比。其他方法所得結果存在數(shù)據(jù)偏大或偏小的情況，通過對比分析，可能由于眼睛表面有一定的彎曲程度，在投影時得到的結果相對較小，使用網(wǎng)格重建法以及Geomagic Studio軟件測量時由于生成的三角網(wǎng)格可能存在重疊情況，因此在計算時會使結果相對較大。圖9為人眼面積誤差圖，由圖9可知本文方法的線性誤差相比其他方法較小。

表2 人臉模型左眼面積計算結果

圖9 人眼面積誤差圖

4.3 其他實驗結果

為了驗證算法的普適性，對鼻子高度、內眼角寬度以及嘴巴寬度進行實驗。由于計算平面距離不足以精確表明臉部的長度特征，本文對待測區(qū)域計算曲面距離?；谂錅式Y果，通過切片方法利用式(19)計算得到待測區(qū)域的測量值。鼻子部分曲面距離如圖10所示，其測量的真實值為5.5 cm，基于人臉點云尺度不一致因素，通過換算單位和比例變換后計算值為51.0477 mm，與真實數(shù)據(jù)相比，誤差為3.9523 mm。內眼角以及嘴巴部分的三維尺寸實際測量結果如圖11所示，測量的曲面距離如圖 12和圖13所示，對應測量數(shù)據(jù)如表3所示。圖12表明SFM點云和結構光點云精確配準，且通過本文方法能夠測量出內眼角的曲面距離；在圖13中，右側圖表示重建后的嘴巴部分，可以看到它能較準確地計算出嘴巴的曲面距離。在表3中可以看到由計算得到的鼻子曲面距離相對誤差比其他兩部分區(qū)域大，可能是由于在配準時的誤差造成結果偏差(黑色圓圈處)，所以配準精度對此有一定的影響。

圖10 鼻子部分曲面距離

圖11 人臉模型真實測量值

圖12 內眼角部分曲面距離

圖13 嘴巴部分曲面距離

表3 人臉模型其余部分計算結果

5 結束語

本文提出了一種基于結構光與多視圖圖像點云配準的非接觸式人臉三維尺寸測量方法。利用SFM點云和結構光點云完成了雙向互補，有效修補了SFM點云的大量孔洞并提出采用切片法實現(xiàn)面部尺寸測量。主要優(yōu)勢在于可避免接觸式測量易損壞表面特征和單一傳感器點云存在測量局限性等缺點，并減小了三維測量誤差。后續(xù)工作會重點集中在三維點云的動態(tài)實時性測量上，例如測量面部損傷面積、修復面部缺陷部位等，并實際應用到真實人臉中。