馬 天,翟潔晨,楊逸舟,楊嘉怡,劉 佳

(1.西安科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 西安 710054；2.西安科技大學(xué) 理學(xué)院， 西安 710054)

0 引言

隨著時(shí)代的發(fā)展和進(jìn)步，人們對于牙齒正畸的需求越來越大，牙齒正畸系統(tǒng)不僅被用于牙科疾病的治療，更多的情況是為了美觀進(jìn)行牙齒整形。傳統(tǒng)的牙齒矯正技術(shù)過程復(fù)雜且耗時(shí)較長。隨著虛擬現(xiàn)實(shí)技術(shù)的普及，智能化的虛擬牙齒矯正系統(tǒng)應(yīng)用越來越廣泛，該系統(tǒng)可針對患者的牙齒數(shù)據(jù)呈現(xiàn)出預(yù)期的矯正效果，并以此為目標(biāo)制作出不同時(shí)期佩戴的正畸牙套。由于正畸過程的自動化和智能化，虛擬牙齒矯正系統(tǒng)已成為目前主要的椅旁工具。

近年來，計(jì)算機(jī)輔助設(shè)計(jì)被廣泛應(yīng)用于口腔正畸領(lǐng)域，標(biāo)準(zhǔn)的牙齒正畸系統(tǒng)由三維建模、牙頜模型分割、碰撞檢測和軟組織變形四部分組成。其中，牙頜模型分割是計(jì)算機(jī)輔助牙齒正畸系統(tǒng)中一個(gè)關(guān)鍵環(huán)節(jié)。在進(jìn)行牙齒正畸治療之前，正畸系統(tǒng)需要依據(jù)患者的牙頜模型，對患者的單顆牙齒進(jìn)行提取，以此進(jìn)行不同階段正畸方案的牙齒規(guī)劃。同時(shí)，正畸方案的準(zhǔn)確性容易受到分割精度的限制，因此，牙頜模型分割是口腔正畸研究中的核心，對牙齒正畸治療具有重要意義。

為了實(shí)現(xiàn)正畸過程的智能化，虛擬正畸系統(tǒng)需要一種自動準(zhǔn)確的牙頜模型分割方法。然而，傳統(tǒng)的分割方法手工干預(yù)程度高，交互操作復(fù)雜，遠(yuǎn)遠(yuǎn)達(dá)不到智能化的要求。近些年來，深度學(xué)習(xí)的快速發(fā)展使得牙頜模型分割方法的自動化和準(zhǔn)確化成為可能。此外，相較于其他三維深度學(xué)習(xí)算法，面向點(diǎn)云的深度學(xué)習(xí)算法數(shù)據(jù)量小、復(fù)雜度低，且無需數(shù)據(jù)格式的重復(fù)轉(zhuǎn)換，已成為目前主流的三維深度學(xué)習(xí)算法。因此，點(diǎn)云深度學(xué)習(xí)算法有能力實(shí)現(xiàn)自動、準(zhǔn)確且高效的牙頜模型分割，對虛擬牙齒矯正非常關(guān)鍵。

基于深度學(xué)習(xí)的點(diǎn)云模型分割方法主要分為三類，分別是基于體素的方法、基于多視圖的方法和基于原始點(diǎn)云的方法?；隗w素的方法[1]是指將三維點(diǎn)云體素化之后，將規(guī)則的體素作為神經(jīng)網(wǎng)絡(luò)框架的輸入，對三維模型的體素表達(dá)進(jìn)行特征提取，進(jìn)而實(shí)現(xiàn)點(diǎn)云的分割。然而，高分辨率的體素網(wǎng)格會占用大量內(nèi)存空間，此類方法不適用于大規(guī)模場景?；诙嘁晥D的方法[2]是指將三維模型的點(diǎn)云表達(dá)通過投影轉(zhuǎn)換為多個(gè)視點(diǎn)下的二維圖像，然后對這些轉(zhuǎn)換后的二維圖像使用神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，以實(shí)現(xiàn)點(diǎn)云分割。這類方法受投影操作和視點(diǎn)數(shù)量限制，容易丟失部分關(guān)鍵的三維空間幾何信息?；谠键c(diǎn)云的方法是指直接將原始點(diǎn)云作為輸入，保留三維點(diǎn)云的各種特性，直接面向無結(jié)構(gòu)不規(guī)則的點(diǎn)云數(shù)據(jù)，使用深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)點(diǎn)云分割。例如PointNet系列的深度學(xué)習(xí)算法，自從Charles等[3]提出PointNet網(wǎng)絡(luò)模型，加快了基于原始點(diǎn)云的深度學(xué)習(xí)算法的發(fā)展速度，PointNet是首個(gè)直接對無結(jié)構(gòu)的點(diǎn)云數(shù)據(jù)進(jìn)行特征提取以分割點(diǎn)云模型的神經(jīng)網(wǎng)絡(luò)。然而，由于PointNet僅提取了點(diǎn)云模型的單點(diǎn)特征和全局特征，沒有考慮相鄰點(diǎn)云間的屬性關(guān)系和局部信息，在處理點(diǎn)云時(shí)可能會丟失部分細(xì)節(jié)信息。據(jù)此，Charles等[4]對PointNet進(jìn)行改進(jìn)，提出PointNet++，通過球空間查詢算法提取點(diǎn)云的局部特征信息，并結(jié)合多尺度分組并聯(lián)多個(gè)層級的特征，以充分挖掘稀疏點(diǎn)云的局部結(jié)構(gòu)，具有較好的點(diǎn)云分割效果。此外，Li等[5]提出一種點(diǎn)云卷積網(wǎng)絡(luò)PointCNN，使用X-Conv算子實(shí)現(xiàn)各點(diǎn)間相關(guān)特征的重新加權(quán)和排列，然后將變換后的特征作為卷積神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行處理，提高了卷積神經(jīng)網(wǎng)絡(luò)在無結(jié)構(gòu)數(shù)據(jù)上的學(xué)習(xí)能力。Liu等[6]提出一種學(xué)習(xí)密集上下文表示的點(diǎn)云深度學(xué)習(xí)架構(gòu)DensePoint，該網(wǎng)絡(luò)將所有連續(xù)層的輸出作為預(yù)測層的輸入，網(wǎng)絡(luò)中每一層均能捕獲一定程度的上下文，能夠有機(jī)地提取多級形狀語義信息，該網(wǎng)絡(luò)在分割及分類上具有較好的魯棒性。

針對三維牙頜模型上的分割任務(wù)，目前已經(jīng)出現(xiàn)了很多不同種類的方法，然而，由于需要正畸的牙齒本身具有復(fù)雜和多樣的問題，使自動準(zhǔn)確的牙頜模型分割方法研究面臨著一定的困難和挑戰(zhàn)。這些問題可分為兩點(diǎn)，第一，許多患者的牙齒畸形復(fù)雜，例如牙齒擁擠、缺失和錯(cuò)位問題嚴(yán)重。因此，相鄰的牙齒通常不規(guī)則且難以分割。第二，牙齒和牙齦間邊界的形狀變化不明顯，這為基于幾何特征的分割方法帶來了困難。針對這些問題和困難，可將牙頜模型分割方法分為傳統(tǒng)的基于手工幾何特征的方法和基于深度學(xué)習(xí)的方法。

傳統(tǒng)的牙頜模型分割方法通過基于手工標(biāo)注的幾何特征來分割牙頜模型，這些方法可以分為基于面曲率、曲面等高線和諧波場3種類型，它們手工干預(yù)程度高，且無法魯棒地表示復(fù)雜的牙齒形狀外觀。具體地，基于面曲率的方法[7]對牙齒表面和外觀的變化非常敏感；基于表面等高線的方法[8]需要用戶多次平移旋轉(zhuǎn)三維模型，并慎重選擇特定地標(biāo)，整個(gè)過程手工干預(yù)程度高，且非常耗時(shí)；基于諧波場的方法[9]對流形的輸入模型不具有魯棒性。

近年來，隨著深度學(xué)習(xí)和人工智能的不斷發(fā)展，研究人員開始更加關(guān)注一些基于深度學(xué)習(xí)的牙齒分割方法，一些研究人員使用二維圖像、網(wǎng)格和點(diǎn)云上的神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)牙頜模型上的單顆牙齒提取。具體地， Xu等[10]使用二維卷積神經(jīng)網(wǎng)絡(luò)對每個(gè)網(wǎng)格面預(yù)定義的手工特征圖像進(jìn)行分類，并使用模糊聚類算法優(yōu)化分割邊界。該方法提高了復(fù)雜牙頜模型的分割精度，然而，將三維牙頜模型轉(zhuǎn)換為二維特征圖像的過程中會丟失許多細(xì)節(jié)信息。田素坤等[11]提出一種基于多級層次三維卷積神經(jīng)網(wǎng)絡(luò)的牙頜模型自動分割和識別方法，該方法結(jié)合了三維卷積神經(jīng)網(wǎng)絡(luò)和稀疏體素八叉樹以完成牙頜模型分割任務(wù)。此外， Lian等[12]和Sun等[13]結(jié)合一系列圖形約束學(xué)習(xí)模塊，分層次提取多尺度上下文特征，進(jìn)而自動地在原始牙齒表面上作標(biāo)記。這些基于卷積神經(jīng)網(wǎng)絡(luò)的方法和基于網(wǎng)格的圖神經(jīng)網(wǎng)絡(luò)的方法盡管具有良好的性能，但是它們提出的假設(shè)條件非常嚴(yán)苛，要求牙頜模型由一整套完整的自然牙齒構(gòu)成，該假設(shè)條件很難滿足。據(jù)此， Zanjani等[14]提出Mask-MCNet網(wǎng)絡(luò)框架，該框架將牙齒模型變換為點(diǎn)云數(shù)據(jù)，使用基于空間錨點(diǎn)的區(qū)域提案網(wǎng)絡(luò)進(jìn)行牙頜模型檢測和分割。然而，由于產(chǎn)生提案的模塊會進(jìn)行分辨率推導(dǎo)，這將占用大量內(nèi)存空間，因此該方法具有效率低且存在分割偽影的問題。Cui等[15]提出TSegNet網(wǎng)絡(luò)，用以高效準(zhǔn)確地進(jìn)行三維牙頜模型分割。該方法的核心是一個(gè)兩階段的神經(jīng)網(wǎng)絡(luò)，通過牙齒質(zhì)心投票方法檢測出所有的牙齒，然后使用置信度感知的級聯(lián)分割模塊從三維牙頜模型上分割出每個(gè)單獨(dú)的牙齒。張雅玲等[16]提出一種基于圖卷積網(wǎng)絡(luò)的牙頜模型分割網(wǎng)絡(luò)，使用實(shí)例分割網(wǎng)絡(luò)得到單顆牙齒的相對位置，并結(jié)合相對位置信息通過細(xì)粒度分割網(wǎng)絡(luò)實(shí)現(xiàn)精準(zhǔn)牙頜模型分割，該網(wǎng)絡(luò)在標(biāo)準(zhǔn)牙頜模型和有缺失的牙頜模型上具有較好的分割結(jié)果，但無法精確分割存在牙體重疊的牙齒模型。

總之，這些方法的預(yù)處理步驟復(fù)雜，在畸形牙頜模型上存在不同程度的誤分割，且很少直接使用到點(diǎn)云分割領(lǐng)域的深度學(xué)習(xí)算法。因此，本文基于在點(diǎn)云分割的深度學(xué)習(xí)算法中表現(xiàn)出優(yōu)異性能的DensePoint來構(gòu)建牙頜模型語義分割網(wǎng)絡(luò)。首先對牙齒點(diǎn)云數(shù)據(jù)進(jìn)行采樣和標(biāo)注處理，并通過數(shù)據(jù)增強(qiáng)技術(shù)實(shí)現(xiàn)數(shù)據(jù)集擴(kuò)增，以提高神經(jīng)網(wǎng)絡(luò)的泛化能力。然后提出一種端對端的牙頜模型語義分割方法，結(jié)合U-Net[17]對基于DensePoint的點(diǎn)云語義分割網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)。同時(shí)分析網(wǎng)絡(luò)下采樣過程中的局部空間參數(shù)優(yōu)化原則，據(jù)此設(shè)計(jì)參數(shù)優(yōu)化算法，以實(shí)現(xiàn)網(wǎng)絡(luò)局部空間參數(shù)的適應(yīng)性優(yōu)化。

1 數(shù)據(jù)預(yù)處理

原始數(shù)據(jù)集包含350口牙頜的點(diǎn)云模型，每口模型由大約30萬個(gè)三維空間點(diǎn)組成。由于硬件條件的限制，直接使用全部數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入會導(dǎo)致內(nèi)存溢出，并且龐大的數(shù)據(jù)量將減慢網(wǎng)絡(luò)的訓(xùn)練速度。因此，需要在合理范圍內(nèi)降采樣處理點(diǎn)云模型，使得數(shù)據(jù)量減少的同時(shí)又能保留模型的基本特征。為了確保降采樣后的點(diǎn)云模型空間分布盡可能地均勻，使用最遠(yuǎn)點(diǎn)采樣算法對點(diǎn)云牙頜模型進(jìn)行采樣處理，采樣后的每口牙頜模型減少為1萬個(gè)三維空間點(diǎn)。 通過CloudCompare軟件對所有牙頜模型進(jìn)行標(biāo)注，對牙頜模型的每個(gè)牙體以及牙齦區(qū)域的三維空間點(diǎn)賦予標(biāo)簽進(jìn)行區(qū)分，將完成標(biāo)注的點(diǎn)云模型存儲為.txt文件格式。標(biāo)注處理的標(biāo)簽從0～8分別為牙齦、右中切牙、側(cè)切牙、尖牙、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙、左中切牙。

為了提高泛化能力，使用數(shù)據(jù)增強(qiáng)技術(shù)對牙齒數(shù)據(jù)進(jìn)行擴(kuò)增，采用以下3種技術(shù)的隨機(jī)組合對所有牙齒數(shù)據(jù)進(jìn)行增廣：

1) 隨機(jī)平移，對模型隨機(jī)進(jìn)行X、Y、Z方向的小范圍平移，平移范圍設(shè)置為-10～10；

2) 隨機(jī)旋轉(zhuǎn)，對模型隨機(jī)進(jìn)行X、Y、Z方向的角度旋轉(zhuǎn)，旋轉(zhuǎn)角度設(shè)置為-180～180；

3) 隨機(jī)縮放，對模型隨機(jī)進(jìn)行X、Y、Z方向的小比例縮放，縮放比例設(shè)置為0.80～1.20。

每口牙頜模型隨機(jī)擴(kuò)增為5例，350口牙頜模型最終擴(kuò)增到1 750口牙頜模型，對數(shù)據(jù)集按照5∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，得到訓(xùn)練集1 250例樣本，驗(yàn)證集和測試集各250例樣本。

2 提出分割方法

2.1 分割網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

基于DensePoint和U-Net來構(gòu)建牙頜模型分割網(wǎng)絡(luò)，U-Net[17]是使用全卷積網(wǎng)絡(luò)進(jìn)行語義分割的神經(jīng)網(wǎng)絡(luò)，有編碼器和解碼器兩部分，編碼器由逐層的下采樣層組成，解碼器對應(yīng)逐層的上采樣，是一種端到端的對稱分割網(wǎng)絡(luò)。該網(wǎng)絡(luò)在解碼器路徑對最深層特征進(jìn)行逐層上采樣，同時(shí)跳層連接編碼器路徑對應(yīng)的淺層特征，能夠融合點(diǎn)云的全局特征和局部細(xì)節(jié)信息，以得到更加精細(xì)的分割結(jié)果。

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)如圖1所示，其中輸入數(shù)據(jù)10 000*3為牙齒點(diǎn)云模型的3維空間坐標(biāo)，輸出數(shù)據(jù)10 000*k為分割后牙齒點(diǎn)云模型的標(biāo)簽向量。

圖1 牙齒分割網(wǎng)絡(luò)結(jié)構(gòu)

下面介紹網(wǎng)絡(luò)各部分的具體實(shí)現(xiàn)：

1) 基于局部信息獲取的編碼路徑：編碼器共有4個(gè)下采樣層，下采樣操作即為點(diǎn)云局部信息獲取過程[4]，如圖2所示，圖中N1為采樣前點(diǎn)云數(shù)量，N2為采樣后點(diǎn)云數(shù)量，d為坐標(biāo)維度，C1和C2分別為對應(yīng)點(diǎn)云的特征維度。整個(gè)過程包括中心點(diǎn)選取，局部點(diǎn)云劃分和局部特征提取3個(gè)部分，每次選取的中心點(diǎn)數(shù)即為采樣點(diǎn)數(shù)。為了使用DensePoint架構(gòu)聚合多個(gè)層級上的語義信息，在下采樣層之后加入密集的連接模塊DensePoint學(xué)習(xí)對應(yīng)層級特征的上下文表示，達(dá)到更加有效的形狀識別。DensePoint[6]提出將前面所有層的輸出都作為當(dāng)前層的輸入，同時(shí)將當(dāng)前層的輸出作為后續(xù)層的輸入，整個(gè)過程沒有下采樣處理，得到的是多個(gè)層次上的語義信息，DensePoint的處理表達(dá)式為：

圖2 點(diǎn)云局部信息獲取

Pl=Hl([P0,P1,…,Pl-1])

(1)

式中，Pl-1是第l-1層的輸出特征，Hl是第l層執(zhí)行的特征變換，[]為特征聯(lián)合，此時(shí)Pl能夠?qū)W習(xí)到多級表示，便于聚合多層次的語義信息。

此外，為了提高網(wǎng)絡(luò)計(jì)算效率，減少內(nèi)存消耗，僅在第二個(gè)下采樣層至第四個(gè)下采樣層之后加入DensePoint密集連接模塊。如圖3所示，圖中N為點(diǎn)云數(shù)量，C與m均代表特征維度。每個(gè)DensePoint包含三層，能夠聚合4個(gè)層級的上下文信息。

圖3 DensePoint密集連接模塊

2) 基于特征傳播的解碼路徑：解碼器包含4個(gè)上采樣層，通過特征傳播[4]完成逐層的上采樣，即使用基于K近鄰的反向權(quán)重插值實(shí)現(xiàn)上采樣過程的反向插值，如圖4所示，通過估計(jì)點(diǎn)附近一些點(diǎn)的特征值來計(jì)算該點(diǎn)的特征值，計(jì)算公式為：

圖4 上采樣過程

(2)

權(quán)重wi(x)的計(jì)算公式為：

(3)

上采樣過程中默認(rèn)使用p=2，k=3，上采樣的同時(shí)使用跳層連接將對應(yīng)的深層特征與編碼器路徑的淺層特征進(jìn)行聯(lián)結(jié)，直至恢復(fù)輸入點(diǎn)云數(shù)據(jù)規(guī)模，其中前2個(gè)上采樣層聯(lián)結(jié)的是對應(yīng)DensePoint的輸出特征。

3) 最后通過2個(gè)全連接層輸出網(wǎng)絡(luò)結(jié)果，并使用softmax函數(shù)預(yù)測輸出每個(gè)點(diǎn)的語義標(biāo)簽。網(wǎng)絡(luò)的輸出結(jié)果為10 000個(gè)點(diǎn)對應(yīng)的語義標(biāo)簽向量。

2.2 局部空間參數(shù)優(yōu)化

分割網(wǎng)絡(luò)對點(diǎn)云局部空間的劃分依賴于最遠(yuǎn)點(diǎn)采樣算法和球空間查詢算法，劃分局部點(diǎn)云的基本思想是先由最遠(yuǎn)點(diǎn)采樣算法選擇指定數(shù)量的點(diǎn)作為中心點(diǎn)，然后由球空間查詢算法搜索以中心點(diǎn)為球心，指定球半徑內(nèi)的一定數(shù)量的點(diǎn)集，以此得到每個(gè)中心點(diǎn)對應(yīng)的局部球空間內(nèi)的點(diǎn)云數(shù)據(jù)。因此，需要根據(jù)牙齒數(shù)據(jù)集的基本情況確定符合算法要求的中心點(diǎn)數(shù)、球域半徑和球域內(nèi)點(diǎn)云數(shù)量上限值，使得劃分的局部球域中能包含適當(dāng)數(shù)量的點(diǎn)。既要防止球域內(nèi)僅有一個(gè)中心點(diǎn)，網(wǎng)絡(luò)學(xué)習(xí)不到有效的局部特征，又要避免球空間中的局部點(diǎn)數(shù)過多，提取不到一些更加細(xì)節(jié)的信息。依據(jù)此原則設(shè)計(jì)的參數(shù)優(yōu)化算法流程如圖5所示，其中npoint表示中心點(diǎn)數(shù)，radii表示球域半徑，nsamples表示球域內(nèi)點(diǎn)云數(shù)量上限值。

如圖5所示，由于分割網(wǎng)絡(luò)包含4個(gè)下采樣層，輸入網(wǎng)絡(luò)的原始點(diǎn)云為10 000個(gè)點(diǎn)，4個(gè)下采樣層的采樣點(diǎn)數(shù)分別為5 000、1 250、312、78。使用最遠(yuǎn)點(diǎn)采樣算法得到每一層對應(yīng)的采樣點(diǎn)云信息，球空間查詢算法得到每個(gè)中心點(diǎn)對應(yīng)的局部空間點(diǎn)云。將每一層的采樣點(diǎn)云及其對應(yīng)的所有局部空間點(diǎn)云分別輸出保存到2個(gè)文本文檔中，使用MeshLab軟件讀取文本文檔進(jìn)行點(diǎn)云可視化。若所有局部空間點(diǎn)的分布比采樣點(diǎn)的分布密集，且局部空間點(diǎn)的數(shù)量適中，可將對應(yīng)的radii和nsamples作為對應(yīng)下采樣層的局部參數(shù)。否則，增加球空間半徑和球域內(nèi)點(diǎn)云數(shù)量上限值，直至得到合適的局部點(diǎn)云分布。

圖5 參數(shù)優(yōu)化流程框圖

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境配置為Ubuntu操作系統(tǒng)、Intel(R) Xeon(R) Platinum 8255C處理器、GeForce RTX 3090 T7圖像處理顯卡，整個(gè)實(shí)驗(yàn)采用Python 語言實(shí)現(xiàn)并使用了PyTorch深度學(xué)習(xí)框架。

3.2 評價(jià)指標(biāo)

為了評估分割方法的有效性，采用Dice相似系數(shù)、靈敏度和陽性預(yù)測值3種評估方式綜合驗(yàn)證牙頜模型分割結(jié)果的準(zhǔn)確性。

Dice相似系數(shù)是一種集合相似度度量指標(biāo)，通常用于計(jì)算真實(shí)值和預(yù)測值的相似程度，計(jì)算方法為：

(4)

式中，A和B分別指預(yù)測結(jié)果和Ground Truth。

靈敏度表示在所有正例中被分對的比例，能夠衡量網(wǎng)絡(luò)模型對正例的識別能力，計(jì)算方法為：

(5)

式中，TP是指被分為正樣本，實(shí)際也是正樣本的情況；FN是指被分為負(fù)樣本，實(shí)際卻為正樣本的情況。

陽性預(yù)測值表示分為正例中被分對為正例的比例，是針對預(yù)測結(jié)果的評價(jià)指標(biāo)，計(jì)算方法為：

(6)

式中，F(xiàn)P是指被分為正樣本，實(shí)際卻為負(fù)樣本的情況。

3.3 對比實(shí)驗(yàn)

選取3個(gè)具有代表性的點(diǎn)云語義分割深度學(xué)習(xí)算法PointNet、PointNet++和PointCNN進(jìn)行對比，計(jì)算測試集上的Dice相似系數(shù)、靈敏度和陽性預(yù)測值來評價(jià)網(wǎng)絡(luò)模型的準(zhǔn)確性，對比結(jié)果如表1所示。同時(shí)，將分割好的點(diǎn)云標(biāo)簽轉(zhuǎn)化為不同的顏色，使用MeshLab軟件進(jìn)行點(diǎn)云結(jié)果可視化?？梢暬Ч鐖D6所示。

表1 分割結(jié)果準(zhǔn)確率

圖6 可視化分割結(jié)果

通過表1在測試集上的分割結(jié)果準(zhǔn)確率對比可得，本文的方法在3個(gè)評價(jià)指標(biāo)上均明顯優(yōu)于PointNet、PointNet++以及PointCNN，分割準(zhǔn)確率90%左右。與PointNet相比，本文的分割準(zhǔn)確率提升了大約5%，PointNet在分割時(shí)使用的全局池化操作使得處理結(jié)果丟失了許多細(xì)節(jié)信息，本文通過跳層連接融合局部細(xì)節(jié)信息，分割結(jié)果更加精細(xì)。與 PointNet++相比，本文的分割效果提升了大約2%，PointNet++在分割時(shí)使用的多尺度分組并聯(lián)的是一個(gè)層次上不同尺度的特征，本文使用DensePoint密集連接模塊聯(lián)結(jié)多個(gè)層級上的上下文信息，在形狀識別上更加有效。與PointCNN相比，本文的分割效果提升了約4%，PointCNN通過逐點(diǎn)卷積提取點(diǎn)云局部信息，本文不僅在下采樣時(shí)提取了點(diǎn)云局部特征，而且通過DensePoint模塊獲取了充分的上下文表示。實(shí)驗(yàn)結(jié)果表明本文方法的分割準(zhǔn)確率更高。

此外，考慮到分割網(wǎng)絡(luò)模型的性能問題，將各分割方法的參數(shù)量和計(jì)算量(FLOPs)進(jìn)行對比。如表2所示，在相同的實(shí)驗(yàn)環(huán)境下，本文方法的參數(shù)量和計(jì)算量分別為0.95 M和 3.19 GMac。對比可得，本文方法的參數(shù)量約是PointNet和PointNet++的1/3，PointCNN的1/10。同時(shí)，較PointNet和PointNet++分別降低了約3倍和2倍的計(jì)算量，較PointCNN降低了約6倍的計(jì)算量。這是因?yàn)楸疚木W(wǎng)絡(luò)雖然包含多個(gè)DensePoint模塊，網(wǎng)絡(luò)具有更多的層級，然而，不僅DensePoint是小特征維度變換的模塊[6]，而且本文網(wǎng)絡(luò)結(jié)構(gòu)的其他層均為小的特征維度變換，這降低了整個(gè)網(wǎng)絡(luò)的復(fù)雜度，因此，本文方法具有較好的性能，能夠在正畸過程中高效分割牙頜模型。

表2 分割方法參數(shù)量與計(jì)算量

通過圖6可以看出，與Ground Truth相比，PointNet在相鄰的牙齒邊界上分割結(jié)果不夠精細(xì)，尤其是在第二磨牙上的表現(xiàn)更為粗略，PointNet++在中切牙和側(cè)切牙上存在明顯的誤分割，PointCNN在側(cè)切牙和第二前磨牙上具有一些錯(cuò)亂分割點(diǎn),且隨著畸形程度的增加，這些問題的表現(xiàn)愈發(fā)嚴(yán)重。對比之下，本文方法的誤分割情況較少，分割結(jié)果較其他算法更加精細(xì)，且能夠較好分割畸形問題嚴(yán)重的牙齒，是4種方法中最接近Ground Truth的。

3.4 消融實(shí)驗(yàn)

3.4.1DensePoint密集連接模塊的有效性

為了驗(yàn)證分割網(wǎng)絡(luò)中DensePoint密集連接模塊的有效性，通過對網(wǎng)絡(luò)中是否加入DensePoint模塊進(jìn)行消融實(shí)驗(yàn)，以分析DensePoint模塊對網(wǎng)絡(luò)模型的影響，實(shí)驗(yàn)結(jié)果如表3所示。

表3 分割網(wǎng)絡(luò)中有無DensePoint模塊的分割結(jié)果準(zhǔn)確率 %

通過表3可以看出，加入DensePoint模塊后網(wǎng)絡(luò)模型的準(zhǔn)確率得到顯著提升，與無DensePoint模塊的分割網(wǎng)絡(luò)相比，本文的分割網(wǎng)絡(luò)準(zhǔn)確率提升了約7%，由此可以看出DensePoint模塊對分割結(jié)果影響較大。這表明無DensePoint模塊的網(wǎng)絡(luò)無法獲取到充分的上下文信息，難以得到精確的牙齒分割結(jié)果，同時(shí)說明了DensePoint模塊在分割網(wǎng)絡(luò)中具有重要的作用。

3.4.2局部參數(shù)優(yōu)化算法的有效性

為了驗(yàn)證局部參數(shù)優(yōu)化算法對網(wǎng)絡(luò)分割結(jié)果的作用，通過對是否優(yōu)化網(wǎng)絡(luò)局部參數(shù)進(jìn)行消融實(shí)驗(yàn)，以分析優(yōu)化局部參數(shù)對網(wǎng)絡(luò)模型的影響，實(shí)驗(yàn)結(jié)果如表4所示。

表4 分割網(wǎng)絡(luò)局部參數(shù)優(yōu)化前后的分割結(jié)果準(zhǔn)確率 %

通過表4可以看出，對局部參數(shù)進(jìn)行優(yōu)化后的分割網(wǎng)絡(luò)準(zhǔn)確率更高。相較于未優(yōu)化局部參數(shù)的分割網(wǎng)絡(luò)，本文方法的分割準(zhǔn)確率提升了約2%。這表明優(yōu)化后的局部參數(shù)更加適合本文的牙頜模型數(shù)據(jù)集，網(wǎng)絡(luò)提取到的局部點(diǎn)云空間是更加有效的。并驗(yàn)證了局部參數(shù)優(yōu)化算法是網(wǎng)絡(luò)準(zhǔn)確率進(jìn)一步提升的關(guān)鍵。

4 結(jié)論

1) 提出一種自動化的牙頜模型語義分割方法，通過基于DensePoint設(shè)計(jì)的牙頜模型語義分割網(wǎng)絡(luò)對點(diǎn)云牙頜模型進(jìn)行分割，并對網(wǎng)絡(luò)的局部空間參數(shù)進(jìn)行優(yōu)化，以達(dá)到更加精細(xì)有效的牙頜模型分割。

2) 選擇點(diǎn)云分割領(lǐng)域中3個(gè)具有代表性的深度學(xué)習(xí)算法進(jìn)行對比實(shí)驗(yàn)，結(jié)果表明該方法的分割準(zhǔn)確率更高，分割結(jié)果更加精細(xì)，且在相鄰的牙體邊界和畸形的牙頜數(shù)據(jù)上具有較好的魯棒性。

3) 主要研究口腔中標(biāo)準(zhǔn)數(shù)量牙體的分割，但在虛擬正畸過程中可能遇到牙體數(shù)量多于14顆的牙頜模型，后續(xù)還需研究多牙情況的牙頜模型分割問題。