張永弟 王浩楠 王偉志 趙立松 楊光
摘 要:
為了提高牙頜數(shù)字模型特征提取的準(zhǔn)確性和牙齒分割的效率,提出一種幾何變換和主成分分析相結(jié)合的坐標(biāo)系標(biāo)準(zhǔn)化方法,并以離散曲率、法向量、形狀直徑函數(shù)和離散測地距離為基礎(chǔ)特征對牙頜數(shù)字模型進(jìn)行了特征提取,在此基礎(chǔ)上進(jìn)一步擴(kuò)展構(gòu)建了76個(gè)特征數(shù)據(jù)集。采用提出的坐標(biāo)系標(biāo)準(zhǔn)化方法和數(shù)據(jù)集對上頜進(jìn)行了牙齒分割實(shí)驗(yàn)。結(jié)果表明:改進(jìn)主成分分析方法能夠快速準(zhǔn)確地實(shí)現(xiàn)牙頜數(shù)字模型坐標(biāo)系對齊,能夠準(zhǔn)確識(shí)別牙齒的特征信息并作出標(biāo)記,牙齒分割完整,平均分割準(zhǔn)確率達(dá)到99.74%?;诟倪M(jìn)主成分分析方法的牙頜模型特征提取方法能夠極大地提高特征對牙齒的區(qū)分性,從而降低位姿對牙頜特征提取帶來的負(fù)面影響,實(shí)現(xiàn)在特征數(shù)據(jù)較少的情況下準(zhǔn)確分割牙齒,可為數(shù)字化口腔診療提供一定的參考。
關(guān)鍵詞:
計(jì)算機(jī)圖形學(xué);牙頜數(shù)字模型;坐標(biāo)系標(biāo)準(zhǔn)化;主成分分析;離散曲率;形狀直徑函數(shù);離散測地距離
中圖分類號:
TP301.6
文獻(xiàn)標(biāo)識(shí)碼:A
DOI: 10.7535/hbgykj.2024yx03007
收稿日期:2023-06-12;修回日期:2023-09-16;責(zé)任編輯:王海云
基金項(xiàng)目:石家莊市科學(xué)技術(shù)研究與發(fā)展計(jì)劃(161460601A)
第一作者簡介:
張永弟(1976—),女,河北景縣人,教授,碩士,主要從事數(shù)字化設(shè)計(jì)與優(yōu)化、增材制造方面的研究。
通信作者:
楊光教授。 E-mail: y_guang@126.com
張永弟,王浩楠,王偉志,等.
改進(jìn)PCA方法的牙頜特征提取和數(shù)據(jù)集構(gòu)建
[J].河北工業(yè)科技,2024,41(3):212-219.
ZHANG Yongdi,WANG Haonan,WANG Weizhi,et al.
Dental feature extraction and data set construction based on improved PCA method
[J]. Hebei Journal of Industrial Science and Technology,2024,41(3):212-219.
Dental feature extraction and data set construction based on improved PCA method
ZHANG Yongdi, WANG Haonan, WANG Weizhi, ZHAO Lisong, YANG Guang
(School of Mechanical Engineering, Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China)
Abstract:
To improve the accuracy of feature extraction of dental digital model and the efficiency of tooth segmentation, a coordinate system standardization method combining geometric transformation and principal component analysis was proposed. Based on discrete curvature, normal vector, shape diameter function and discrete geodesic distance, the feature extraction of dental digital model was carried out, and 76 feature data sets were further expanded and constructed. The proposed coordinate system standardization method and data set were used to perform tooth segmentation experiments on the maxilla. The results show that the improved principal component analysis method can quickly and accurately align the coordinate system of the dental digital model, accurately identify the feature information of the teeth and mark them. The teeth are segmented completely, and the average segmentation accuracy is 99.74%. The feature extraction method for dental model based on improved principal component analysis can greatly improve the discrimination of features to teeth, so as to reduce the negative impact of pose on dental feature extraction, and realize accurate segmentation of teeth with less feature data, which can provide some reference for digital oral diagnosis and treatment.
Keywords:
computer graphics; dental digital model; coordinate system standardization; principal component analysis; discrete curvature; shape diameter function; discrete geodesic distance
近年來,數(shù)字化正畸技術(shù)在齒科領(lǐng)域的快速發(fā)展使得口腔診療更加安全有效。牙頜數(shù)字模型是對患者進(jìn)行正畸診斷的基礎(chǔ)。傳統(tǒng)的牙頜模型采用石膏翻制而成,石膏在凝固時(shí)產(chǎn)生的膨脹會(huì)導(dǎo)致模型精度欠佳,且石膏模型不易保存。牙頜數(shù)字模型是經(jīng)數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、曲面重構(gòu)等技術(shù)將口腔內(nèi)的軟硬組織進(jìn)行精確重建而成,解決了傳統(tǒng)石膏模型存在的以上問題,在正畸診療中被廣泛應(yīng)用。
牙頜數(shù)字模型是數(shù)字化正畸過程中分析病情、設(shè)計(jì)矯治方案、實(shí)現(xiàn)牙齒分割的基礎(chǔ),模型特征的分類對特征提取的準(zhǔn)確率和效率至關(guān)重要,有關(guān)模型特征的分類,柳偉[1]根據(jù)特征與模型方向的相關(guān)性將特征描述符分為旋轉(zhuǎn)相關(guān)與旋轉(zhuǎn)無關(guān)2類。裴焱棟等[2]提出幾何特征、視覺外觀和拓?fù)涞姆诸惙绞?。李海生等?]提出將非剛性三維模型特征分為人工設(shè)計(jì)的特征描述符和基于學(xué)習(xí)的特征描述符2類。還有學(xué)者基于統(tǒng)計(jì)學(xué)對三維模型進(jìn)行特征分類,如MAHMOUDI等[4]提出了測地距離、擴(kuò)散距離、曲率加權(quán)距離等以直方圖進(jìn)行描述的方法。PAN等[5]提出了使用泊松直方圖描述模型特征的方法。
主成分分析法(principal component analysis,PCA)是一種用于特征提取的統(tǒng)計(jì)方法[6-7]。近年來,不斷有學(xué)者將其應(yīng)用到牙頜三維模型特征提取的研究中。NAUWELAERS等[8]將傳統(tǒng)的PCA方法和自編碼器相結(jié)合對頜部形態(tài)分析方法進(jìn)行了研究,結(jié)果證明PCA方法的特征提取能力與深度學(xué)習(xí)結(jié)合能夠很好地提取頜部形態(tài)。ZHOU等[9]使用PCA算法對牙齒三維模型進(jìn)行了粗配準(zhǔn),基于Delaunay三角形的區(qū)域生長算法實(shí)現(xiàn)了牙齒分割,但其過程需要手動(dòng)配合,效率較低。ZHONG等[10]應(yīng)用傳統(tǒng)PCA算法對牙齒模型坐標(biāo)系進(jìn)行了對齊,但對齊過程需要多次嘗試,導(dǎo)致牙齒分割效率較低。分析上述研究可以發(fā)現(xiàn)PCA算法不提供方向信息,在牙齒模型對齊時(shí)需要多次手動(dòng)調(diào)整,無法自動(dòng)對齊。此外,PCA算法提取的特征只能描述圖像的局部信息,對于復(fù)雜的圖像泛化能力較差,且魯棒性不強(qiáng)[11]。若將其直接應(yīng)用于牙頜模型特征提取,會(huì)影響模型特征提取的準(zhǔn)確度和效率,導(dǎo)致無法精確區(qū)分牙齒的特征。
為了在牙頜模型特征提取時(shí)能夠快速準(zhǔn)確地對齊模型坐標(biāo)系,在描述局部特征的同時(shí),降低計(jì)算的復(fù)雜度并增強(qiáng)魯棒性,本文對傳統(tǒng)PCA方法進(jìn)行了改進(jìn),在牙頜模型標(biāo)準(zhǔn)化的基礎(chǔ)上利用離散曲率、形狀直徑函數(shù)和離散測地距離作為基礎(chǔ)特征,并對基礎(chǔ)特征進(jìn)行擴(kuò)展,構(gòu)建出由76個(gè)特征信息組成的牙頜模型特征數(shù)據(jù)集。
1 牙頜數(shù)字模型坐標(biāo)系標(biāo)準(zhǔn)化
1.1 PCA方法坐標(biāo)系的對齊
由三維掃描儀獲取的牙頜模型位置和方向是不相同的,這會(huì)影響后續(xù)特征提取的準(zhǔn)確性。為解決此問題,本文使用歸一化方式實(shí)現(xiàn)坐標(biāo)系對齊,采用PCA法進(jìn)行坐標(biāo)系歸一化,將模型經(jīng)過某種方式轉(zhuǎn)換來消除掃描儀帶來的差異問題[12-13]。該方法通過協(xié)方差矩陣的特征分解尋找包含盡可能多數(shù)據(jù)的子空間,即尋找主軸建立PCA坐標(biāo)系,然后將PCA坐標(biāo)系變換,與空間坐標(biāo)系對齊,其核心就是計(jì)算主軸方向,基于主軸調(diào)整數(shù)字模型的旋轉(zhuǎn)方向。
本文使用向量矩陣對三維模型進(jìn)行表示,其中V=[v1,v2,…,vi,…,vm]為模型的頂點(diǎn)坐標(biāo)矩陣;F=[f1,f2,…,fi,…,fm]為模型的三角面片矩陣;矩陣中vi=(xi,yi,zi)表示每個(gè)頂點(diǎn)坐標(biāo);fi=vi,vj,vk表示每個(gè)面所包含的頂點(diǎn)索引。
PCA方法的幾何變換過程如下。
2.3 離散測地距離
對于網(wǎng)格模型來說,測地距離表現(xiàn)了模型上2個(gè)點(diǎn)之間的最短距離,用測地線進(jìn)行切割的結(jié)果會(huì)得到較小的失真。本文使用MITCHELL,MOUNT和PAPADIMITRIOU提出的精確測地線算法(簡稱MMP算法)計(jì)算離散網(wǎng)格模型曲面上2個(gè)點(diǎn)的測地距離,SURAZHSKY等[19]提出了具體實(shí)現(xiàn)方法:首先,構(gòu)建窗口距離場,即將網(wǎng)格的每條邊定義為一個(gè)窗口,窗口包含這條邊鄰域頂點(diǎn)的距離信息;然后,使用Dijkstra算法進(jìn)行窗口的延伸,根據(jù)距離信息對窗口進(jìn)行有選擇的增添和刪除,使窗口擴(kuò)展到網(wǎng)格模型的表面;最后,通過回溯的方法,由窗口中記錄的距離和頂點(diǎn)信息計(jì)算出2個(gè)點(diǎn)間的測地距離。
以包圍盒頂面與XOZ,YOZ面的交點(diǎn)作為定點(diǎn),計(jì)算模型上的其余點(diǎn)與定點(diǎn)的測地距離,其熱力圖如圖11所示,可以看出測地距離的計(jì)算結(jié)果在各個(gè)牙齒上具有明顯的區(qū)分性,且通過多個(gè)定點(diǎn)的交叉對比使得每個(gè)牙齒的區(qū)分信息增多。
2.4 牙頜模型特征數(shù)據(jù)集構(gòu)建
為了提高對各個(gè)牙齒的區(qū)分性,制定了以下策略用以構(gòu)建豐富的特征數(shù)據(jù)集。
通過2.1項(xiàng)所述方法計(jì)算出5個(gè)特征:法向量n、平均曲率KH、離散高斯曲率KG、最大曲率K1和最小曲率K2,對上述4種曲率各取其絕對值,擴(kuò)展出KH、KG、K1和K24個(gè)特征值,進(jìn)一步求出最大曲率與最小曲率差K1-K2 ,共計(jì)10個(gè)特征。
通過2.2項(xiàng)所述方法,使用30°,60°,90°和120°的圓錐角計(jì)算出形狀直徑函數(shù),并得到每個(gè)圓錐射線的加權(quán)平均值、中值和平方平均值,進(jìn)行歸一化時(shí)分別使用參數(shù)α=1,α=2,α=4,α=8,共產(chǎn)生48個(gè)特征來表示不同的局部形狀。
通過2.3項(xiàng)所述方法計(jì)算離散測地距離,使用XOY,XOZ,YOZ平面與牙頜模型外包圍框的12個(gè)交點(diǎn),X軸、Y軸、Z軸與包圍盒6個(gè)面的交點(diǎn),共計(jì)18個(gè)特定定點(diǎn),模型上的全部頂點(diǎn)與這18個(gè)特定定點(diǎn)的測地距離作為特征輸入,產(chǎn)生18個(gè)特征。
根據(jù)以上方法提取的特征,構(gòu)建出由76個(gè)特征組成的牙頜模型特征數(shù)據(jù)集。
3 基于改進(jìn)PCA方法的牙頜模型分割實(shí)驗(yàn)
首先,采用改進(jìn)的PCA方法對牙頜模型進(jìn)行坐標(biāo)系對齊;然后,在此基礎(chǔ)上提取76個(gè)特征作為特征輸入量,選擇合適的超參數(shù),應(yīng)用深度前饋神經(jīng)網(wǎng)絡(luò)算法[20]對上頜進(jìn)行牙齒分割實(shí)驗(yàn)。其中,上頜右中切牙、右側(cè)切牙和右尖牙分割效果如圖12—圖14所示,分割統(tǒng)計(jì)結(jié)果如表2所示。應(yīng)用上述方法對上頜6顆牙分別進(jìn)行分割,分割結(jié)果如圖15所示。
圖12—圖14為自動(dòng)分割牙齒效果圖,其中a)圖顯示了牙體外的多分錯(cuò)點(diǎn)(多分錯(cuò)點(diǎn)為不屬于牙體卻被識(shí)別為牙體的部分,即灰色部分),b)圖顯示了牙體內(nèi)少分錯(cuò)點(diǎn)(少分錯(cuò)點(diǎn)為本應(yīng)屬于牙體卻未被識(shí)別的部分,即藍(lán)色和黃色部分)。
從圖15中可以看出,多分錯(cuò)點(diǎn)主要集中在相鄰牙冠,少分錯(cuò)點(diǎn)主要集中在牙冠根部,結(jié)合表2中的數(shù)據(jù)可以看出,少分錯(cuò)點(diǎn)數(shù)總是少于多分錯(cuò)點(diǎn)數(shù),說明牙冠主體的分割較為準(zhǔn)確,且分割準(zhǔn)確性由側(cè)牙到尖牙逐漸提高。牙齒主體分割較完整,但存在一些體外錯(cuò)分點(diǎn),對于體外錯(cuò)分點(diǎn)可以使用基于距離的體外孤點(diǎn)檢測方法予以刪除,從而避免其影響牙齒分割的準(zhǔn)確率。
為評估本文方法的有效性,與YANG等[21]、GUO等[22]和XU等[23]的方法(以下分別簡稱YANG法、GUO法、XU法)進(jìn)行了分割準(zhǔn)確率對比,結(jié)果如表3所示。
從表3中看出,YANG法和GUO法的分割準(zhǔn)確率分別為97.04%和97.00%,而本文方法的分割準(zhǔn)確率為99.74%,明顯高于上述2種算法的分割準(zhǔn)確率。雖然XU法99.79%的分割準(zhǔn)確率高于本文方法的結(jié)果,但本文使用基于改進(jìn)PCA方法所獲得的特征數(shù)量遠(yuǎn)遠(yuǎn)少于XU法所使用的特征數(shù)量,在減少運(yùn)算時(shí)間的同時(shí)分割準(zhǔn)確率也達(dá)到了較高的水平。
4 結(jié) 語
本文提出了一種改進(jìn)PCA方法的牙頜特征提取和數(shù)據(jù)集構(gòu)建方法,解決了傳統(tǒng)牙齒分割方法準(zhǔn)確率和效率之間的矛盾問題,通過牙齒分割實(shí)驗(yàn)得出以下結(jié)論。
使用離散曲率、法向量、形狀直徑函數(shù)和離散測地距離提取出牙頜模型的76個(gè)特征應(yīng)用于牙齒分割實(shí)驗(yàn)后,牙齒平均分割準(zhǔn)確率達(dá)到了99.74%,分別高于YANG法的97.04%和GUO法的97.00%。由此可以看出本文使用改進(jìn)的PCA方法可降低位姿對特征提取帶來的負(fù)面影響,可對牙頜模型特征準(zhǔn)確提取,能夠以較少的特征數(shù)達(dá)到較高的分割準(zhǔn)確率和效率。
本文僅對上頜的6顆牙齒進(jìn)行了分割實(shí)驗(yàn),未來需要進(jìn)一步對其他牙齒進(jìn)行分割,以驗(yàn)證本文方法在其他牙齒分割中的適用性;另外,本文尚未考慮特征提取后高維特征的降維處理,后續(xù)還有待于進(jìn)一步研究。
參考文獻(xiàn)/References:
[1]
柳偉.三維模型特征提取與檢索[D].上海:上海交通大學(xué),2008.
LIU Wei.Feature Extraction and Retrieval of 3D Models[D].Shanghai:Shanghai Jiao Tong University,2008.
[2] 裴焱棟,顧克江.基于內(nèi)容和語義的三維模型檢索綜述[J].計(jì)算機(jī)應(yīng)用,2020,40(7):1863-1872.
PEI Yandong,GU Kejiang.Overview of content and semantic based 3D model retrieval[J].Journal of Computer Applications,2020,40(7):1863-1872.
[3] 李海生,孫莉,武玉娟,等.非剛性三維模型檢索特征提取技術(shù)研究[J].軟件學(xué)報(bào),2018,29(2):483-505.
LI Haisheng,SUN Li,WU Yujuan,et al.Survey on feature extraction techniques for non-rigid 3D shape retrieval[J].Journal of Software,2018,29(2):483-505.
[4] MAHMOUDI M,SAPIRO G.Three-dimensional point cloud recognition via distributions of geometric distances[J].Graphical Models,2009,71(1):22-31.
[5] PAN Xiang,YOU Qian,LIU Zhi,et al.3D shape retrieval by Poisson histogram[J].Pattern Recognition Letters,2011,32(6):787-794.
[6] 杜云,張璐璐,潘濤.基于改進(jìn)的主成分分析法的礦工表情識(shí)別[J].河北科技大學(xué)學(xué)報(bào),2019,40(1):45-50.
DU Yun,ZHANG Lulu,PAN Tao.Miner expression recognition based on improved principal component analysis[J].Journal of Hebei University of Science and Technology,2019,40(1):45-50.
[7] 韓曉偉,田曉蓓.基于HHT及主成分分析的光纜識(shí)別信號特征提?。跩].河北工業(yè)科技,2022,39(5):381-387.
HAN Xiaowei,TIAN Xiaobei.Feature extraction method of optical cable identification based on HHT and PCA[J].Hebei Journal of Industrial Science and Technology,2022,39(5):381-387.
[8] NAUWELAERS N,MATTHEWS H,F(xiàn)AN Yi,et al.Exploring palatal and dental shape variation with 3D shape analysis and geometric deep learning[J].Orthodontics & Craniofacial Research,2021,24(sup2):134-143.
[9] ZHOU Xinwen,GAN Yangzhou,XIONG Jing,et al.A method for tooth model reconstruction based on integration of multimodal images[J].Journal of Healthcare Engineering,2018,2018:4950131.
[10]ZHONG Xin,ZHANG Zhiyuan.3D dental biometrics:Automatic pose-invariant dental arch extraction and matching[C]//2020 25th International Conference on Pattern Recognition (ICPR).Milan:IEEE,2021:6524-6530.
[11]趙雙雙.基于深層PCA的特征提取算法研究[D].西安:西安電子科技大學(xué),2017.
ZHAO Shuangshuang.Study of Feature Extraction Algorithm Based on Deep PCA[D].Xian:Xidian University,2017.
[12]NG S C.Principal component analysis to reduce dimension on digital image[J].Procedia Computer Science,2017,111:113-119.
[13]MARTENS J,BLANKENBACH J.An evaluation of pose-normalization algorithms for point clouds introducing a novel histogram-based approach[J].Advanced Engineering Informatics,2020,46:101132.
[14]方惠蘭,王國瑾.三角網(wǎng)格曲面上離散曲率估算方法的比較與分析[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2005,17(11):2500-2507.
FANG Huilan,WANG Guojin.Comparison and analysis of discrete curvatures estimation methods for triangular meshes[J].Journal of Computer-Aided Design & Computer Graphics,2005,17(11):2500-2507.
[15]MEYER M,DESBRUN M,SCHRDER P,et al.Discrete differential-geometry operators for triangulated 2-manifolds[C]//Visualization and Mathematics Ⅲ.Berlin:Springer,2003:35-57.
[16]張猛,陳雙敏,舒振宇,等.點(diǎn)云曲面上的形狀直徑函數(shù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2017,29(7):1203-1209.
ZHANG Meng,CHEN Shuangmin,SHU Zhenyu,et al.The shape diameter function on point clouds[J].Journal of Computer-Aided Design & Computer Graphics,2017,29(7):1203-1209.
[17]SHAPIRA L,SHAMIR A,COHEN-OR D.Consistent mesh partitioning and skeletonisation using the shape diameter function[J].The Visual Computer,2008,24(4):249-259.
[18]SHAPIRA L,SHALOM S,SHAMIR A, et al.Contextual part analogies in 3D objects[J].International Journal of Computer Vision,2010,89(2):309-326.
[19]SURAZHSKY V,SURAZHSKY T,KIRSANOV D,et al.Fast exact and approximate geodesics on meshes[J].ACM Transactions on Graphics,2005,24(3):553-560.
[20]毛勇華,桂小林,李前,等.深度學(xué)習(xí)應(yīng)用技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究,2016,33(11):3201-3205.
MAO Yonghua, GUI Xiaolin, LI Qian, et al. Deep learning application technology research [J].Computer Application Research, 2016,33(11) : 3201-3205.
[21]YANG Shijie,LI Liang,WANG Shuhui,et al.A graph regularized deep neural network for unsupervised image representation learning[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017:7053-7061.
[22]GUO Kan,ZOU Dongqing,CHEN Xiaowu.3D mesh labeling via deep convolutional neural networks[J].ACM Transactions on Graphics,2015,35(1):1-12.
[23]XU Xiaojie,LIU Chang,ZHENG Youyi.3D tooth segmentation and labeling using deep convolutional neural networks[J].IEEE Transactions on Visualization and Computer Graphics,2019,25(7):2336-2348.