邱 韜,何 濤,張 強(qiáng),肖雨璇,郭維華,3

面部美學(xué)可追溯至古希臘時(shí)期[1],口腔領(lǐng)域常將具有客觀分析標(biāo)準(zhǔn)的“審美”[2]用于美學(xué)研究。面相分析已從直接人體測(cè)量[3]發(fā)展為二維[4]及三維[5]分析。由于倫理因素,兒童可用的X線檢查有限,面相常用于跟蹤兒童生長(zhǎng)發(fā)育變化及評(píng)估治療效果,而二維面相設(shè)備簡(jiǎn)單、易于操作,目前仍是臨床面相分析的主流手段[6]。目前許多面相分析軟件仍需手動(dòng)定點(diǎn)[7],且高度依賴(lài)于臨床醫(yī)生的經(jīng)驗(yàn)[8],亟需一種可自動(dòng)定點(diǎn)及分析的面相分析軟件。

隨著人工智能技術(shù)的發(fā)展,深度學(xué)習(xí)[9]、隨機(jī)森林[10]以及決策樹(shù)等新算法已用于提高標(biāo)志點(diǎn)檢測(cè)的準(zhǔn)確性。在這些算法中,卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖形處理方面優(yōu)勢(shì)顯著,已廣泛應(yīng)用于人臉識(shí)別、人體姿態(tài)估計(jì)[11]、病變區(qū)域檢測(cè)[12]和分類(lèi)[13]、圖像分割[14]、輔助診斷[15]等領(lǐng)域。Hwang等[16]使用2種CNN模型成功完成了X線頭影測(cè)量中80個(gè)標(biāo)志點(diǎn)檢測(cè)。然而面相照片多為彩色照片,分辨率遠(yuǎn)高于X線片,缺乏比例尺[17],且來(lái)源復(fù)雜[18],難以進(jìn)行客觀量化比較,目前關(guān)于自動(dòng)化面相定點(diǎn)分析的研究較少。

因此,本研究基于CNN開(kāi)發(fā)了面相自動(dòng)定點(diǎn)及測(cè)量分析系統(tǒng),該系統(tǒng)能自動(dòng)高效準(zhǔn)確檢測(cè)標(biāo)志點(diǎn)并分析面相比例及角度,此外還提出面相分析準(zhǔn)確性評(píng)價(jià)體系,包括兩項(xiàng)定點(diǎn)準(zhǔn)確性指標(biāo)(NME/SDR)及一項(xiàng)測(cè)量準(zhǔn)確性指標(biāo)(SCR),以?xún)?yōu)化及對(duì)比正側(cè)貌照片自動(dòng)定點(diǎn)方法。

1 資料與方法

1.1 樣本收集

收集467例2019—2021年于四川大學(xué)華西口腔醫(yī)院就診的替/恒牙列期患者,由于需患者配合面相拍攝及后續(xù)正畸治療,患者年齡范圍限制在6～55歲,其中162例為男性,305例為女性。所有患者及家屬理解并愿意參與研究,并簽署知情同意書(shū)。四川大學(xué)華西口腔醫(yī)院倫理委員會(huì)批準(zhǔn)了本研究(WCHSIRB-D-2019-030)。排除標(biāo)準(zhǔn)為:①頭位明顯不正;②先天性顱頜面畸形;③顱頜面創(chuàng)傷;④整形手術(shù)或贗復(fù)體植入;⑤過(guò)度肥胖(BMI>28)。

1.2 面相拍攝

患者以自然頭部姿勢(shì)(NHP)直立,由微距閃光燈(佳能MT-26EX-RT)和定焦鏡頭(佳能微距鏡頭EF 100 mm f/2.8 IS USM)采集;光圈f.5.6-7,快門(mén)速度1/160～1/100 s,感光度(ISO)為100,導(dǎo)出JPG 格式的原始圖像(dpi 為 72)。

1.3 手動(dòng)標(biāo)注面相分析標(biāo)志點(diǎn)

開(kāi)發(fā)手動(dòng)定點(diǎn)系統(tǒng)(顱頜面部智能定點(diǎn)系統(tǒng) 軟著登字第10278567號(hào))以標(biāo)記所有常用面相分析標(biāo)志點(diǎn)的坐標(biāo),正側(cè)貌照各標(biāo)志點(diǎn)圖例見(jiàn)圖1,定義見(jiàn)表1、2。

表1 正貌照標(biāo)志點(diǎn)定義Tab.1 Landmark definitions of frontage subset

表2 側(cè)貌照標(biāo)志點(diǎn)定義Tab.2 Landmark definitions of profile subset

A:正貌相所有標(biāo)志點(diǎn);B:正貌鼻唇部標(biāo)志點(diǎn);C:側(cè)貌相所有標(biāo)志點(diǎn);D:側(cè)貌鼻唇部標(biāo)志點(diǎn)

各標(biāo)志點(diǎn)均由2位經(jīng)驗(yàn)豐富的正畸醫(yī)生就標(biāo)志點(diǎn)定義達(dá)成一致后,獨(dú)立標(biāo)記2次,記平均位置為標(biāo)志點(diǎn)真實(shí)位置。隨后將正側(cè)貌照依次分為兩個(gè)數(shù)據(jù)集保存所有標(biāo)志點(diǎn)的坐標(biāo)信息,并進(jìn)行后續(xù)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

1.4 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

各數(shù)據(jù)集包含 467 張面相,其中327張用于訓(xùn)練,50張用于驗(yàn)證,90張用于測(cè)試。利用PyTorch搭建標(biāo)志點(diǎn)自動(dòng)檢測(cè)模型,使用NVIDIA Titan XP GPU顯卡,采取由粗到精策略解決高分辨率面相普遍存在的小標(biāo)志點(diǎn)檢測(cè)難題,使用目前廣泛使用的U-Net網(wǎng)絡(luò)進(jìn)行訓(xùn)練,訓(xùn)練模型說(shuō)明見(jiàn)圖2、3。

圖3 將獲得的初始位置通過(guò)局部U-Net及真實(shí)位置修訂模塊進(jìn)一步調(diào)整,以提高準(zhǔn)確性Fig.3 The initial position obtained in the first step was further adjusted with a locally modified module to improve accuracy

本研究使用Adam優(yōu)化器進(jìn)行訓(xùn)練。學(xué)習(xí)率初始化為0.001,以系數(shù)0.98呈指數(shù)衰減,重量衰減為5e-4。數(shù)據(jù)增強(qiáng)中隨機(jī)裁剪范圍在0.6～1.0的圖片,并調(diào)整顏色飽和度、亮度和對(duì)比度以擴(kuò)展數(shù)據(jù)。以選點(diǎn)為中心,半徑20個(gè)像素的圓內(nèi)選擇切片。熱圖回歸中執(zhí)行負(fù)例挖掘,在熱圖圈外選擇固定數(shù)量的陰性樣本進(jìn)行訓(xùn)練。

1.5 定點(diǎn)準(zhǔn)確性評(píng)判

針對(duì)高分辨率面相普遍缺乏比例尺且來(lái)源廣泛、難以量化比較的難點(diǎn),本研究提出基于審美考量的面相自動(dòng)化定點(diǎn)分析的準(zhǔn)確性評(píng)價(jià)體系,具體如下。

1.5.1 標(biāo)準(zhǔn)化的平均誤差(NME)

正畸治療主要調(diào)整患者面中下1/3,而面上1/3(Tr-G′)高度在正側(cè)貌照中通常穩(wěn)定,因此本研究采用Tr-G′高度作為“d”。

1.5.2 單位距離內(nèi)的定點(diǎn)成功率(SDR)

1.5.3 測(cè)量指標(biāo)的成功分類(lèi)率(SCR)

選取面相分析常用角、比例等檢測(cè)指標(biāo),若自動(dòng)測(cè)量、手動(dòng)測(cè)量的分類(lèi)結(jié)果一致,則為成功分類(lèi),并可計(jì)算對(duì)應(yīng)SCR。

2 結(jié) 果

本研究構(gòu)建了基于卷積神經(jīng)網(wǎng)絡(luò)的二維面相自動(dòng)定點(diǎn)系統(tǒng),可在20 s內(nèi)確定76個(gè)標(biāo)志點(diǎn)。

在正貌照子集中,驗(yàn)證集NME為0.079±0.221,0.02、0.04、0.06、0.08和0.10單位,SDR(%)分別為61.75、90.54、96.36、98.65和99.22。測(cè)試集NME為0.025±0.021,0.02、0.04、0.06、0.08和0.10單位SDR(%)分別為58.54、87.59、95.64、98.03和99.00。正貌照各標(biāo)志點(diǎn)中,Stnr的NME最小0.013±0.008,而Me′的NME最大0.092±0.533,提示在正貌照子集中,Stnr的人工智能定點(diǎn)最為準(zhǔn)確,而Me′點(diǎn)的人工智能定點(diǎn)相對(duì)不準(zhǔn)確,但仍滿足臨床分析需要,此外,面中份標(biāo)志點(diǎn)的人工智能定位普遍較頦部標(biāo)志點(diǎn)準(zhǔn)確。

在側(cè)貌照子集中,驗(yàn)證集NME為0.052±0.011,0.02、0.04、0.06、0.08和0.10單位SDR(%)分別為57.3、87.33、95.29、97.37和98.3。測(cè)試集NME為0.079±0.221,0.02、0.04、0.06、0.08和0.10單位SDR(%)分別為54.17、85.71、93.94、96.69和97.37。側(cè)貌照各標(biāo)志點(diǎn)中,Ex的NME最小0.013±0.009,C的NME最大0.409±1.336,提示在側(cè)貌照子集中,Ex的人工智能定點(diǎn)最為準(zhǔn)確,而C點(diǎn)的人工智能定點(diǎn)相對(duì)不準(zhǔn)確,且無(wú)法滿足臨床分析需要,需進(jìn)行手動(dòng)校正。此外,與正貌照子集類(lèi)似,頦部標(biāo)志點(diǎn)人工智能定位的準(zhǔn)確性均較低。側(cè)貌照和正貌照子集中各標(biāo)志點(diǎn)具體NME和SDR如圖4、5所示。

A:側(cè)貌照各標(biāo)志點(diǎn)驗(yàn)證集SDR;B:側(cè)貌照各標(biāo)志點(diǎn)測(cè)試集SDR;C:正貌照各標(biāo)志點(diǎn)驗(yàn)證集SDR;D:正貌照各標(biāo)志點(diǎn)測(cè)試集SDR

驗(yàn)證、測(cè)試集SCR結(jié)果見(jiàn)表3,可見(jiàn)大部分測(cè)量指標(biāo)的SCR均為100%,提示下人工智能面相診斷的準(zhǔn)確性較高,但仍可見(jiàn)如頦唇溝角(16%)、鼻面角(81.3%)等涉及頦部標(biāo)志點(diǎn)的測(cè)量指標(biāo)的分類(lèi)準(zhǔn)確性較低,提示仍需針對(duì)頦部標(biāo)志點(diǎn)進(jìn)行手動(dòng)校正。

表3 面相分析角和比例的定義及其SCRTab.3 Definitions of angles and proportions and SCR in the evaluation and test set

3 討 論

面相照片具有無(wú)創(chuàng)、無(wú)輻射等優(yōu)勢(shì),可視化效果優(yōu)異,但其智能化分析也在分辨率、標(biāo)準(zhǔn)化等方面面臨的挑戰(zhàn)遠(yuǎn)超傳統(tǒng)頭顱側(cè)位片X線頭影測(cè)量。

首先,目前面部軟組織的標(biāo)志點(diǎn)檢測(cè)主要集中于圖形處理[19-20]、視頻制作[21]及人臉識(shí)別領(lǐng)域[21],適用于頜面軟組織的解剖特征點(diǎn)檢測(cè)的相關(guān)方法及研究開(kāi)展較少[22],亟需有關(guān)正側(cè)貌照自動(dòng)化定點(diǎn)分析的研究。

其次,由于正側(cè)貌面相分辨率高,本研究面臨超高分辨率圖像中小目標(biāo)檢測(cè)的難題。超高分辨率圖像通常會(huì)出現(xiàn)在衛(wèi)星地圖中建筑物檢測(cè)[23-24],高分辨醫(yī)療影像中病灶檢測(cè)[12-14],無(wú)人機(jī)航拍圖中車(chē)船等[25],其所面臨的挑戰(zhàn)是:①機(jī)器顯存負(fù)載,無(wú)法進(jìn)行模型訓(xùn)練任務(wù);②檢測(cè)目標(biāo)往往<10個(gè)像素點(diǎn),常規(guī)算法在多次采樣操作后,其特征難以被提取到。

因此本研究采取粗到精策略[26],對(duì)面相照片進(jìn)行有重疊區(qū)域的滑窗裁剪,以免標(biāo)志點(diǎn)被截?cái)?同時(shí)對(duì)重疊區(qū)域采用非極大值抑制法(non-maximum suppression,NMS)去除多余無(wú)用的檢測(cè)結(jié)果框以解決該難題。

最后,由于面相照普遍缺乏比例尺[17],來(lái)自不同的數(shù)據(jù)庫(kù)且獲取難度大,難以進(jìn)行客觀量化比較[18],因此本研究引入新的評(píng)估系統(tǒng)以評(píng)價(jià)二維面相定點(diǎn)準(zhǔn)確性。評(píng)估檢測(cè)質(zhì)量的核心是找到一些相對(duì)固定的面部長(zhǎng)度參數(shù)d作為標(biāo)尺。例如COFW數(shù)據(jù)集中d為瞳孔距離(眼中心的距離);WFLW數(shù)據(jù)集和300W數(shù)據(jù)集中d為眼角距(外眼角間距)。NME和FR通常用于人臉識(shí)別領(lǐng)域[27-28],要求人們直面相機(jī),因此,面寬、眼間距或雙側(cè)瞳孔寬度是相對(duì)固定的。而正畸治療中患者面型的變化主要發(fā)生在面中下1/3,正側(cè)貌面上1/3通常是穩(wěn)定的。因此,本研究選擇Tr-G的高度作為標(biāo)尺,在各國(guó)研究中,成年人Tr-G的絕對(duì)高度在37～50 mm[29-30],且頭顱X線自動(dòng)化頭影測(cè)量分析已提出,<4 mm的測(cè)量值是有意義的[31],因此可認(rèn)為當(dāng)NME≤0.1單位的SDR為100%時(shí)該標(biāo)志點(diǎn)檢測(cè)成功。

在解決上述問(wèn)題后,本研究構(gòu)建了顱頜面部智能定點(diǎn)系統(tǒng),可在20 s內(nèi)定點(diǎn)76個(gè)標(biāo)志點(diǎn),而手動(dòng)測(cè)量耗時(shí)十余分鐘,且顱頜面區(qū)域35～40個(gè)標(biāo)志點(diǎn)通常用于面相分析[32]。正貌照中標(biāo)志點(diǎn)總體測(cè)量相對(duì)準(zhǔn)確,且各點(diǎn)NME均在可接受的范圍內(nèi);而在側(cè)貌照中,頦部標(biāo)志點(diǎn)如Pog′、Me′等定點(diǎn)不夠準(zhǔn)確,仍需手動(dòng)矯正。分析可能的原因在于:①某些患者尤其是骨性Ⅱ類(lèi)錯(cuò)畸形和垂直生長(zhǎng)型患者,頦部后縮,很難在頦部找到標(biāo)志點(diǎn);②患者在拍照時(shí)肌肉未放松,導(dǎo)致了面部緊繃等非典型的軟組織形態(tài),使頦部標(biāo)志點(diǎn)的定點(diǎn)更為復(fù)雜;③面部脂肪尤其是在臉、頸部的堆積,也會(huì)影響標(biāo)志點(diǎn)的判斷。因此,盡管側(cè)貌頦部標(biāo)志點(diǎn)仍需手動(dòng)校正,本研究標(biāo)志點(diǎn)定點(diǎn)速度、數(shù)量及精度足以減輕面相分析工作量,輔助進(jìn)行面相分析。此外,不同算法研究均基于私人數(shù)據(jù),難以進(jìn)行客觀量化比較,本研究通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)化評(píng)價(jià)以及算法改進(jìn)解決了上述問(wèn)題。

本研究仍存在一定的局限性:①研究方法需進(jìn)一步改進(jìn)以應(yīng)對(duì)標(biāo)志點(diǎn)被遮擋等特殊情況;②本研究中SCR僅采用一組標(biāo)準(zhǔn),未針對(duì)不同種族、性別、年齡、文化的審美差異設(shè)置其他正常值范圍;③本研究仍需更多照片以增加樣本量。

綜上所述,本研究成功開(kāi)發(fā)了基于卷積神經(jīng)網(wǎng)絡(luò)的面相照片自動(dòng)定點(diǎn)及分析系統(tǒng),并針對(duì)面相照片和頭顱X線片之間的差異,提出了一種新的定點(diǎn)準(zhǔn)確性評(píng)價(jià)方式,得出以下結(jié)論:①該系統(tǒng)可以在20 s內(nèi)一次檢測(cè)76個(gè)標(biāo)志點(diǎn);②該系統(tǒng)對(duì)大部分標(biāo)志點(diǎn)識(shí)別精度高,但對(duì)某些處于頦部的標(biāo)志點(diǎn)識(shí)別精度較低,需手動(dòng)校正;③面上1/3(Tr-G′)在正畸治療中相對(duì)穩(wěn)定,當(dāng)NME<0.1或0.1單位的SDR為100時(shí)該標(biāo)志點(diǎn)檢測(cè)成功。下一步,我們將重疊面相照和X片以進(jìn)一步升級(jí)完善系統(tǒng);根據(jù)年齡,種族和性別設(shè)置更多正常值以供參考,并增加研究的樣本量以更好地實(shí)現(xiàn)面相分析的精準(zhǔn)自動(dòng)化定點(diǎn)。