高梓翔 朱玉佳 溫奧楠 趙一姣 王 勇

解剖標(biāo)志點(diǎn)對人顱頜面解剖形態(tài)特征的測量、評價、分析有重要意義，也是口腔醫(yī)學(xué)臨床工作中診斷分析、治療設(shè)計(jì)、療效評價的重要參考和依據(jù)。顏面及顱頜面解剖標(biāo)志點(diǎn)在口腔修復(fù)治療中可輔助排牙[1]、確立咬合垂直距離[2]及確定三維正中矢狀平面[3]；在頜面缺損外科手術(shù)中，可輔助用于頜面部不對稱性分析[4]；在正頜外科手術(shù)中，可輔助術(shù)前分析、手術(shù)設(shè)計(jì)、術(shù)后預(yù)測及療效評價[5]。上述應(yīng)用領(lǐng)域中，顱頜面解剖標(biāo)志點(diǎn)的確定都是必不可少的環(huán)節(jié)，標(biāo)志點(diǎn)確定的準(zhǔn)確性與臨床治療效果密切相關(guān)。隨著近年來光學(xué)三維彩色顏面掃描技術(shù)的發(fā)展和普及，基于無創(chuàng)、無輻射掃描技術(shù)獲取的三維顏面數(shù)據(jù)進(jìn)行三維顏面形態(tài)測量分析成為人體測量學(xué)、人類生物學(xué)和醫(yī)學(xué)領(lǐng)域的首選工具[6]。相比基于放射影像確定顏面軟組織解剖標(biāo)志點(diǎn)的技術(shù)，三維顏面光學(xué)掃描數(shù)據(jù)的診斷分析可避免解剖結(jié)構(gòu)重疊、圖像變形和投射放大率等問題[7]，備受口腔修復(fù)、正畸和頜面外科等領(lǐng)域的關(guān)注。

既往研究在三維顏面數(shù)據(jù)上確定顏面部解剖標(biāo)志點(diǎn)常采用人工標(biāo)注方法。人工標(biāo)注的局限性在于：①操作者熟悉三維軟件的訓(xùn)練和時間成本高；②大量數(shù)據(jù)的人工標(biāo)注時間成本高；③不同操作者間解剖標(biāo)志點(diǎn)確定的一致性和可重復(fù)性欠佳。由自動化的軟件算法實(shí)現(xiàn)三維顏面數(shù)據(jù)的解剖標(biāo)志點(diǎn)確定，可有效提升解剖標(biāo)志點(diǎn)確定結(jié)果的穩(wěn)定性，降低標(biāo)志點(diǎn)確定對人經(jīng)驗(yàn)的依賴性，并提高解剖標(biāo)志點(diǎn)確定的效率和效果[8]。既往報道可見，基于二維顏面照片自動確定顏面解剖標(biāo)志點(diǎn)的算法較為成熟，已成功應(yīng)用于人臉識別、表情分析、疾病篩查等領(lǐng)域[9]。在三維顏面數(shù)據(jù)上自動、準(zhǔn)確、快速、批量地確定顏面解剖標(biāo)志點(diǎn)是目前算法研究關(guān)注的焦點(diǎn)，前期研究集中于中性表情的簡單三維人臉模型分析，目前報道研究已更進(jìn)一步針對解決姿態(tài)變化、情緒表情和有遮擋情況的復(fù)雜三維人臉模型分析。

本文將系統(tǒng)回顧近年來針對三維顏面數(shù)據(jù)確定解剖標(biāo)志點(diǎn)的自動化算法研究，根據(jù)其算法原理分為幾何信息算法、模型匹配算法和深度學(xué)習(xí)算法三類進(jìn)行闡述，分析和評價上述方法的特點(diǎn)，以期為口腔臨床應(yīng)用提供參考。

一、幾何信息算法（Geometric information algorithm）

基于幾何信息的算法是指基于顏面解剖標(biāo)志點(diǎn)的幾何特征描述（如峰值、最凹點(diǎn)等），在三維顏面數(shù)據(jù)上通過數(shù)學(xué)算法計(jì)算解剖標(biāo)志點(diǎn)位置的一類算法。這類算法主要針對的是人臉上有顯著幾何特征的標(biāo)志點(diǎn)，可確定的標(biāo)志點(diǎn)位置精度較高，但可自動確定的標(biāo)志點(diǎn)數(shù)量有限。

2004年L u等[10]提出一種基于“形狀指數(shù)”與曲率特征確定三維顏面解剖標(biāo)志點(diǎn)的算法，原理是對重采樣為均勻網(wǎng)格的三維顏面數(shù)據(jù)，計(jì)算其各數(shù)據(jù)點(diǎn)的“形狀指數(shù)”，并結(jié)合曲率特征確定人臉解剖標(biāo)志點(diǎn)。該算法僅能確定3個標(biāo)志點(diǎn)（左右內(nèi)眥點(diǎn)及鼻尖點(diǎn)），定點(diǎn)誤差約為10±17 mm，優(yōu)點(diǎn)是允許人臉數(shù)據(jù)水平向轉(zhuǎn)動而不影響定點(diǎn)效果，但對三維人臉數(shù)據(jù)網(wǎng)格分布的均勻性有一定要求。2010年G u p ta等[11]提出一種可以確定10個三維顏面解剖標(biāo)志點(diǎn)的算法，采用包含高斯表面曲率、平均表面曲率和兩個主曲率的幾何描述符確定鼻尖和左右鼻翼點(diǎn)，使用二維結(jié)合三維彈性束圖匹配算法確定內(nèi)外眥點(diǎn)、鼻根點(diǎn)和口角點(diǎn)。該算法的定點(diǎn)誤差約為2.09 mm，適用于中性表情和正向的三維人臉。2010年Se g u ndo等[12]提出一種基于深度信息確定三維顏面標(biāo)志點(diǎn)的算法，原理是從人臉圖像的深度信息中獲取表面曲率圖像，進(jìn)而生成組合曲線用來確定三維人臉上的5個標(biāo)志點(diǎn)：眼角點(diǎn)與鼻尖點(diǎn)通過評估面部相關(guān)區(qū)域的高斯曲率與平均曲率，由算法判定的“凹”與“峰”確定；鼻翼點(diǎn)通過計(jì)算水平輪廓曲線上深度信息x和y投影變化量的最大位置確定。該算法針對開源三維人臉數(shù)據(jù)集（F R G C v2，B U-3D F E）的測試效果顯示定點(diǎn)誤差在1.87±1.12 mm和6.33±3.40 mm之間。2013年Ve zz ett i等[8，13]提出一種基于微分幾何確定三維顏面解剖標(biāo)志點(diǎn)的算法，該算法通過計(jì)算三維顏面數(shù)據(jù)的導(dǎo)數(shù)、曲率、切映射、彎曲指數(shù)等形態(tài)描述符，可以確定9個顏面標(biāo)志點(diǎn)（鼻尖、鼻根、鼻底、鼻翼、內(nèi)眥、外眥），定點(diǎn)誤差均小于1 mm，鼻尖點(diǎn)定點(diǎn)誤差僅為0.3 mm，可滿足整形外科手術(shù)對興趣點(diǎn)定點(diǎn)誤差的需求。

二、模型匹配法（Models matching algorithm）

基于幾何信息確定三維顏面解剖標(biāo)志點(diǎn)的方法，其特點(diǎn)是對顏面部各個解剖標(biāo)志點(diǎn)的定點(diǎn)算法策略具有獨(dú)立性，而基于模型匹配的這類算法則是通過建立標(biāo)志點(diǎn)的候選組合，利用標(biāo)志點(diǎn)之間的拓?fù)浣Y(jié)構(gòu)關(guān)系來確定標(biāo)志點(diǎn)組合的位置?；谀Ｐ推ヅ涞乃惴ò诮y(tǒng)計(jì)特征模型、基于三維人臉模板匹配兩個子類。

1.基于統(tǒng)計(jì)特征模型的算法（T ra i ned s tat i s t ic al f eat u re model s-ba s ed）

基于統(tǒng)計(jì)特征模型的算法原理是預(yù)先訓(xùn)練一個三維人臉解剖標(biāo)志點(diǎn)集的統(tǒng)計(jì)特征模型，該模型可以反映標(biāo)志點(diǎn)集所蘊(yùn)含的標(biāo)志點(diǎn)相對布局信息[14]，包括標(biāo)志點(diǎn)坐標(biāo)位置之間的變量信息和每個標(biāo)志點(diǎn)周圍紋理與幾何信息的局部變量信息。通過計(jì)算該人臉標(biāo)志點(diǎn)集統(tǒng)計(jì)特征模型與目標(biāo)人臉之間的標(biāo)志點(diǎn)變換關(guān)系，最終在目標(biāo)人臉上定義各解剖標(biāo)志點(diǎn)[15]。

2009年Na i r等[16]提出一種基于人臉點(diǎn)分布模型（p o i nt d i s tr i b u t i on model,PD M）匹配的三維顏面解剖標(biāo)志點(diǎn)確定算法，通過構(gòu)建顏面部興趣區(qū)域的統(tǒng)計(jì)形狀模型，統(tǒng)計(jì)模型中包含需要確定的標(biāo)志點(diǎn)及在整個訓(xùn)練集中形狀變化的統(tǒng)計(jì)信息。標(biāo)志點(diǎn)的確定是通過統(tǒng)計(jì)模型與目標(biāo)人臉模型的匹配實(shí)現(xiàn)，即將統(tǒng)計(jì)模型點(diǎn)與目標(biāo)人臉網(wǎng)格上候選點(diǎn)之間進(jìn)行轉(zhuǎn)換，使統(tǒng)計(jì)模型與目標(biāo)人臉之間的偏差最小化，從而實(shí)現(xiàn)目標(biāo)人臉上標(biāo)志點(diǎn)的確定。這種算法可確定左右內(nèi)、外眥及鼻尖點(diǎn)共5個標(biāo)志點(diǎn)，定點(diǎn)誤差最小為鼻尖點(diǎn)（8.83 mm），最大為內(nèi)眥點(diǎn)（20.46 mm），且算法不要求特定人臉方向或姿態(tài)。2013年P(guān) era k i s等[17]提出一種結(jié)合使用面部標(biāo)志點(diǎn)模型（f a ci al landmar k model,F L M）與三維局部形狀描述符確定三維顏面解剖標(biāo)志點(diǎn)的算法，先通過三維局部形狀描述符提取候選標(biāo)志點(diǎn)，再將候選標(biāo)志點(diǎn)與面部解剖標(biāo)志點(diǎn)模型（F L M）進(jìn)行匹配定位標(biāo)志點(diǎn)。該算法可以確定左右內(nèi)外眥、鼻尖、左右口角及頦點(diǎn)共8個標(biāo)志點(diǎn)，平均定點(diǎn)誤差約為4.5～6.3 mm，并對有姿態(tài)或表情變化的顏面數(shù)據(jù)具有一定的魯棒性。2015年S u k no等[18]提出一種基于不完整形狀特征的形狀回歸算法（sh a p e re g re ss i on f rom i n c om p lete lo c al f eat u re s,S R I L F）確定三維顏面解剖標(biāo)志點(diǎn)，原理是從特征檢測器中為每個標(biāo)志點(diǎn)檢索一個三維候選點(diǎn)集，然后執(zhí)行一個由可變形形狀模型約束的組合搜索步驟。該算法可確定11個人臉標(biāo)志點(diǎn)，定點(diǎn)誤差小于3 mm，且能夠在不完整的三維顏面掃描數(shù)據(jù)上確定標(biāo)志點(diǎn)。

2.基于三維人臉模板匹配的算法（T h ree d i men s i onal tem p late mat c h i n g-ba s ed）

基于三維人臉模板匹配確定三維顏面解剖標(biāo)志點(diǎn)的算法原理是：預(yù)先建立一個由專家標(biāo)記人臉解剖標(biāo)志點(diǎn)信息的三維人臉參考模板（三維顏面數(shù)據(jù)），使用非剛性配準(zhǔn)算法（Non-r i g i d R e g i s trat i on A l g or i t h m）將三維人臉模板與目標(biāo)三維人臉數(shù)據(jù)（患者人臉數(shù)據(jù)）進(jìn)行形狀匹配，此過程中三維人臉模板數(shù)據(jù)發(fā)生非剛性變形直至達(dá)到與目標(biāo)三維人臉數(shù)據(jù)形狀逼近，最終基于變形后三維人臉模板上的標(biāo)志點(diǎn)信息確定出目標(biāo)三維人臉數(shù)據(jù)上的解剖標(biāo)志點(diǎn)信息，實(shí)現(xiàn)標(biāo)志點(diǎn)信息的“轉(zhuǎn)移”。此類算法確定三維顏面標(biāo)志點(diǎn)的優(yōu)勢在于可以批量確定數(shù)目較多的解剖標(biāo)志點(diǎn)，精度和效率均較好。

2013年L i an g等[19]提出一種結(jié)合幾何特征與模板匹配確定20個三維顏面解剖標(biāo)志點(diǎn)的算法，該算法通過既往文獻(xiàn)[20]選擇一例三維人臉模板數(shù)據(jù)，并由專家標(biāo)注20個解剖標(biāo)志點(diǎn)位置，參考目標(biāo)三維人臉與三維人臉模板上由幾何方法自動確定的17個初始位置點(diǎn)，對三維人臉模板進(jìn)行變形配準(zhǔn)[21]，實(shí)現(xiàn)其與目標(biāo)三維人臉點(diǎn)集的密集對應(yīng)，實(shí)現(xiàn)人臉模板上20個標(biāo)志點(diǎn)信息的轉(zhuǎn)移，獲得目標(biāo)人臉20個解剖標(biāo)志點(diǎn)。該方法20個標(biāo)志點(diǎn)的平均定點(diǎn)誤差約為2.64mm，其優(yōu)點(diǎn)在于可確定的標(biāo)志點(diǎn)數(shù)目不限數(shù)量，可由三維人臉模板上預(yù)先定義的標(biāo)志點(diǎn)數(shù)目決定。2015年G i lan i等[22]提出一種結(jié)合自適應(yīng)函數(shù)提取種子點(diǎn)與模板匹配確定三維顏面解剖標(biāo)志點(diǎn)的算法，該算法使用自適應(yīng)幾何速度函數(shù)自動提取三維人臉數(shù)據(jù)上密集對應(yīng)的種子點(diǎn)，基于最小化彎曲能量函數(shù)建立目標(biāo)三維人臉數(shù)據(jù)與參考人臉（三維人臉模板）上種子點(diǎn)集間的密集對應(yīng)關(guān)系，進(jìn)而通過模板匹配將人臉模板標(biāo)志點(diǎn)信息“轉(zhuǎn)移”到目標(biāo)三維人臉。該算法也可確定任意數(shù)量的預(yù)定義標(biāo)志點(diǎn)，在F R G C v2數(shù)據(jù)集測試18個常用標(biāo)志點(diǎn)平均定點(diǎn)誤差約為3.69±2.44 mm，在B U-3D F E數(shù)據(jù)集測試15個常用標(biāo)志點(diǎn)的平均定點(diǎn)誤差約為4.38±2.98 mm，且在有表情變化的三維顏面數(shù)據(jù)上確定標(biāo)志點(diǎn)的效果也較好。2017年L i等[23]基于50例三維人臉樣本獲得解剖標(biāo)志點(diǎn)平均位置信息和控制點(diǎn)閾值參數(shù)建立一個平均三維人臉模板，通過控制點(diǎn)引導(dǎo)的薄板樣條（t h i n-p late sp l i ne,TP S）算法將三維人臉模板變形到目標(biāo)三維人臉數(shù)據(jù)上，獲得目標(biāo)三維人臉上的最近點(diǎn)信息確定解剖標(biāo)志點(diǎn)。該算法確定人臉29個標(biāo)志點(diǎn)的平均定點(diǎn)誤差小于等于4mm。2019年W h i te等[24]報道一個開源軟件工具箱Me sh mon k，可對三維顏面數(shù)據(jù)進(jìn)行可重復(fù)、高通量的密集表型分析，尤其適合三維顏面解剖標(biāo)志點(diǎn)的確定，該開源工具箱算法主要包括剛性配準(zhǔn)和非剛性配準(zhǔn)兩個算法步驟，其剛性配準(zhǔn)步驟是基于迭代最近點(diǎn)算法（i terat i ve c lo s et p o i nt,I CP）實(shí)現(xiàn)三維人臉模板與目標(biāo)三維人臉的匹配，其非剛性配準(zhǔn)步驟是基于粘彈性模型的非剛性變形將三維人臉模板變形匹配至目標(biāo)三維人臉的特定形狀。作者應(yīng)用該工具箱程序?qū)?1例正常三維人臉數(shù)據(jù)樣本的標(biāo)志點(diǎn)定點(diǎn)效果進(jìn)行驗(yàn)證，19個標(biāo)志點(diǎn)的平均定點(diǎn)誤差約為1.26 mm，這種方法的局限性在于變形計(jì)算過程較為費(fèi)時，且對畸形或有缺損的三維人臉數(shù)據(jù)定點(diǎn)效果不佳。

三、深度學(xué)習(xí)算法（Deep learning）

近年來，隨著計(jì)算機(jī)硬件和神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，深度學(xué)習(xí)算法逐漸成為面部解剖標(biāo)志點(diǎn)自動確定方法研究中發(fā)展較快的一個創(chuàng)新分支。深度學(xué)習(xí)在二維圖像特征識別方面的研究目前已較為成熟[25]，其在三維顏面解剖標(biāo)志點(diǎn)確定方面的應(yīng)用開始起步，因此，有學(xué)者[26]的研究采用將三維人臉數(shù)據(jù)轉(zhuǎn)換為某種二維圖像（如灰度圖、R G B圖、幾何圖、曲率圖等），應(yīng)用現(xiàn)有較為成熟的二維人臉圖像特征識別算法（如級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)、堆疊沙漏網(wǎng)絡(luò)、深度多任務(wù)學(xué)習(xí)等）確定二維圖像的標(biāo)志點(diǎn)信息，再將二維特征映射回三維人臉數(shù)據(jù)獲得三維標(biāo)志點(diǎn)信息，這些算法具有一定可行性。

2017年Z ade h等[27]提出一種具有新型局部檢測器—卷積專家網(wǎng)絡(luò)（c onvol u t i onal e xp ert s net w or k,C E N）的C E-CL M算法（C onvol u t i onal E xp ert s-C on s tra i ned L o c al Model）確定三維顏面解剖標(biāo)志點(diǎn)，該深度學(xué)習(xí)算法確定三維人臉49個標(biāo)志點(diǎn)的平均定點(diǎn)誤差約為1.74 mm，對局部遮擋和姿態(tài)變化的人臉數(shù)據(jù)具有一定魯棒性。2017年G i lan i等[28]提出一種基于深度標(biāo)志點(diǎn)識別網(wǎng)絡(luò)（dee p landmar k i dent i f ic at i on net w or k,DL I N）的算法確定三維顏面解剖標(biāo)志點(diǎn)，該深度學(xué)習(xí)算法的網(wǎng)絡(luò)架構(gòu)是在S h el h amer等[29]提出的完全卷積網(wǎng)絡(luò)（f u ll y c onvol u t i onal net w or k,F C N）基礎(chǔ)上建立的，能夠更好地適應(yīng)三維深度數(shù)據(jù)。DL I N相比F C N具有參數(shù)少、訓(xùn)練數(shù)據(jù)量少、速度快的優(yōu)點(diǎn)，能夠?qū)崿F(xiàn)0.5 s確定11個三維顏面解剖標(biāo)志點(diǎn)，標(biāo)志點(diǎn)定點(diǎn)誤差約為2.95 mm，對有表情、姿態(tài)變化或遮擋的人臉數(shù)據(jù)具有一定魯棒性。2018年W an g等[30]提出一種基于三維顏面幾何數(shù)據(jù)深度融合特征的深度學(xué)習(xí)算法確定三維顏面解剖標(biāo)志點(diǎn)，該算法將三維人臉數(shù)據(jù)轉(zhuǎn)換為5個二維屬性圖（包括一個范圍圖、三個曲面法線圖和一個曲率圖），使用V GG-16神經(jīng)網(wǎng)絡(luò)模型提取數(shù)據(jù)的全局和局部特征，并采用由粗到精的算法策略實(shí)現(xiàn)解剖標(biāo)志點(diǎn)的精確定位。該算法應(yīng)用于B o sph or u s三維人臉數(shù)據(jù)集確定22個顏面解剖標(biāo)志點(diǎn)的定點(diǎn)誤差約為3.37±2.72 mm，應(yīng)用于B U-3D F E三維人臉數(shù)據(jù)集確定14個顏面解剖標(biāo)志點(diǎn)的定點(diǎn)誤差約為3.96±2.55 mm。該算法計(jì)算復(fù)雜度較高，只適用于正面無遮擋的三維顏面數(shù)據(jù)，針對有姿態(tài)變化或遮擋的人臉數(shù)據(jù)難以準(zhǔn)確確定標(biāo)志點(diǎn)。2019年汪亮等[31]提出一種基于降噪自編碼網(wǎng)絡(luò)的深度學(xué)習(xí)算法確定三維顏面解剖標(biāo)志點(diǎn)，該算法的降噪自編碼器具有從損壞數(shù)據(jù)中恢復(fù)原始數(shù)據(jù)的能力，以提高神經(jīng)網(wǎng)絡(luò)的魯棒性，提高對遮擋人臉數(shù)據(jù)解剖標(biāo)志點(diǎn)定位的準(zhǔn)確率，由粗到精的算法策略可使定點(diǎn)結(jié)果更加逼近真實(shí)位置。該算法確定22個三維顏面解剖標(biāo)志點(diǎn)的定點(diǎn)誤差約為3.71 mm，對有遮擋的三維顏面數(shù)據(jù)具有一定的魯棒性。筆者關(guān)注到深度學(xué)習(xí)算法中一類將三維數(shù)據(jù)體素化進(jìn)行學(xué)習(xí)的研究[32]，可實(shí)現(xiàn)對物體特征的有效識別，但尚缺乏應(yīng)用于三維人臉數(shù)據(jù)的特征識別，具有一定研究潛力。

四、討論與展望

數(shù)字化口腔診療技術(shù)的發(fā)展促使自動確定三維顏面解剖標(biāo)志點(diǎn)的算法研究備受關(guān)注，此類算法的發(fā)展可使口腔臨床三維顏面數(shù)據(jù)的診斷分析變得高效、自動、便捷和準(zhǔn)確，是本領(lǐng)域的重要發(fā)展方向。本文系統(tǒng)梳理和歸納了各種三維顏面解剖標(biāo)志點(diǎn)的自動化確定算法，主要包括幾何信息算法、模型匹配算法和深度學(xué)習(xí)算法三類。幾何信息類算法適合于確定少量具有典型幾何特征的解剖標(biāo)志點(diǎn)，對于幾何特征不明顯的標(biāo)志點(diǎn)定位效果不佳；模板匹配類方法考慮到標(biāo)志點(diǎn)之間幾何拓?fù)涞年P(guān)系，從而增加了所能確定標(biāo)志點(diǎn)的數(shù)量，但不適用于畸形顏面數(shù)據(jù)或有缺失的顏面數(shù)據(jù)；深度學(xué)習(xí)類方法能夠克服前兩種方法的不足，能夠自由、快速、準(zhǔn)確、靈活地確定各類標(biāo)志點(diǎn)，但依賴于前期模型的搭建和訓(xùn)練集數(shù)據(jù)的質(zhì)量。

目前大多數(shù)自動確定三維顏面標(biāo)志點(diǎn)研究的算法僅在少數(shù)三維人臉數(shù)據(jù)集上進(jìn)行測試，仍缺少在大規(guī)模數(shù)據(jù)集上的應(yīng)用和測試，算法穩(wěn)定性和魯棒性是本領(lǐng)域研究的難點(diǎn)，開源的高精度三維人臉數(shù)據(jù)集資源缺乏是限制本領(lǐng)域當(dāng)前研究的主要瓶頸。突破當(dāng)前研究瓶頸問題的解決方案，一方面在于三維光學(xué)掃描硬件設(shè)備在醫(yī)療機(jī)構(gòu)中推廣普及使用，另一方面在于人工智能技術(shù)對現(xiàn)有二維人臉數(shù)據(jù)進(jìn)行高精度三維重建。