姜百浩，劉靜，仇大偉，姜良

（山東中醫(yī)藥大學(xué)智能與信息工程學(xué)院，山東 濟(jì)南 250355）

0 引言

骨性結(jié)構(gòu)對(duì)脊柱的壓迫是脊柱疾病的主要致病因素［1］。脊柱疾病作為常見(jiàn)病、多發(fā)病，病患數(shù)量多，醫(yī)生對(duì)脊柱圖像分割、診斷的任務(wù)重、工作量大；同時(shí)由于脊柱生理結(jié)構(gòu)的復(fù)雜性，醫(yī)生診斷會(huì)受到臨床經(jīng)驗(yàn)的影響，使得分割結(jié)果存在誤差，產(chǎn)生誤判。誤判不僅會(huì)影響分割結(jié)果的準(zhǔn)確率和后續(xù)的治療過(guò)程，還容易引起不必要的醫(yī)患矛盾。

傳統(tǒng)圖像分割方法主要是基于閾值的方法、基于邊緣的方法、基于區(qū)域的方法、基于特定理論的方法等，此外還可以通過(guò)直接確定區(qū)域間的邊界來(lái)實(shí)現(xiàn)圖像分割。傳統(tǒng)的分割方法只能對(duì)灰度圖像進(jìn)行分割處理，導(dǎo)致應(yīng)用受到限制；其次分割過(guò)程往往取決于醫(yī)生的先驗(yàn)知識(shí)，例如閾值法中選取閾值、區(qū)域生長(zhǎng)法中選取種子點(diǎn)等，會(huì)導(dǎo)致結(jié)果受到主觀因素影響［2］；最重要的是分割的精度和效率很難達(dá)到實(shí)際應(yīng)用的效果。

深度學(xué)習(xí)模型是一種模仿人類(lèi)大腦內(nèi)部神經(jīng)連接的結(jié)構(gòu)模型，能夠準(zhǔn)確地對(duì)圖像中關(guān)鍵信息由低級(jí)到高級(jí)進(jìn)行多層次的特征提取，提取過(guò)程中對(duì)檢測(cè)到的信息給予描述并反饋數(shù)據(jù)解釋?zhuān)奖闾剿鲌D像蘊(yùn)含的更深層次的特征信息，從而達(dá)到精準(zhǔn)、高效的圖像分割效果［3］。將深度學(xué)習(xí)算法引入到醫(yī)學(xué)圖像分割中，能夠發(fā)揮深度學(xué)習(xí)算法學(xué)習(xí)能力強(qiáng)、對(duì)圖像具有良好的非線(xiàn)性映射能力等優(yōu)點(diǎn)，在彌補(bǔ)傳統(tǒng)分割方法提取圖像特征信息耗時(shí)長(zhǎng)、精度不足的同時(shí)，可以更加精準(zhǔn)地表達(dá)出脊柱圖像深層次的關(guān)鍵信息，獲得更好的圖像分割效果［4］。

自深度學(xué)習(xí)模型出現(xiàn)以來(lái)，圖像分割技術(shù)取得了巨大的研究進(jìn)展［5］。卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型和U 型網(wǎng)絡(luò)（U-Net）模型作為最常見(jiàn)且分割效果較好的兩種深度學(xué)習(xí)網(wǎng)絡(luò)模型，在脊柱圖像分割領(lǐng)域已被廣泛應(yīng)用。本文以這兩種網(wǎng)絡(luò)模型為核心，從算法模型、圖像類(lèi)型、分割效果等方面編寫(xiě)深度學(xué)習(xí)在脊柱圖像分割方面的應(yīng)用綜述。

1 常見(jiàn)的脊柱疾病類(lèi)型

脊柱疾病是指脊柱的骨質(zhì)、椎間盤(pán)、韌帶、肌肉等一系列組織發(fā)生病變，進(jìn)而壓迫、牽引、刺激脊髓、脊神經(jīng)、血管、植物神經(jīng)等出現(xiàn)的復(fù)雜多變的病狀。脊柱疾病依據(jù)形態(tài)學(xué)、頸椎曲度變化和椎間關(guān)節(jié)是否穩(wěn)定可以分為以下幾類(lèi)：損傷類(lèi)疾病，即椎體骨折；脊柱腫瘤、脊柱結(jié)核；退行性疾病，即腰椎間盤(pán)病變等；代謝疾病，如骨質(zhì)疏松；內(nèi)分泌、免疫系統(tǒng)疾?。患怪?、脊柱側(cè)彎等。目前臨床診斷上，脊柱畸形、退行性疾病（即腰椎間盤(pán)突出）以及脊柱腫瘤等脊柱疾病類(lèi)型的發(fā)病率高且診斷難度大，受到越來(lái)越多的關(guān)注。

1.1 脊柱畸形

脊柱畸形是指脊柱在冠狀位、矢狀位或橫斷位上偏離正常位置［6］。形態(tài)學(xué)上，脊柱畸形的臨床表現(xiàn)根據(jù)病因可分為原發(fā)性脊柱側(cè)彎、特發(fā)性脊柱側(cè)彎、神經(jīng)性脊柱側(cè)彎等。

以往研究表明，在椎骨節(jié)段，脊柱畸形的發(fā)病率較高。椎骨的精準(zhǔn)分割是定位病灶區(qū)域、合理選擇手術(shù)方案的前提，因此，如何精準(zhǔn)高效地實(shí)現(xiàn)椎骨的分割至關(guān)重要。影響椎骨準(zhǔn)確分割的因素通常包括：1）椎骨分為L(zhǎng)1～L5 節(jié)段，各個(gè)節(jié)段的椎骨在形態(tài)學(xué)上具有很高的相似性，不利于單個(gè)節(jié)段的椎體分割；2）椎骨的正常圖像和病理圖像的相異性較小，判斷容易失誤；3）圖像采集過(guò)程中分辨率低、可見(jiàn)視野窄等情況會(huì)影響圖像的質(zhì)量，影響分割結(jié)果。

將深度學(xué)習(xí)算法引入椎骨分割中，發(fā)揮其自適應(yīng)性強(qiáng)、提取關(guān)鍵信息準(zhǔn)確的優(yōu)點(diǎn)，能夠更好地提取椎骨病灶區(qū)域信息，完成對(duì)椎骨的準(zhǔn)確分割。

1.2 退行性疾病

退行性疾病是腰椎退變引起的一系列改變，文獻(xiàn)［7-8］介紹了退行性疾病的主要類(lèi)型，包括腰椎管狹窄、腰椎間盤(pán)突出、腰椎滑脫或者腰椎退變性不穩(wěn)、腰椎退變性側(cè)彎以及其他癥狀或者癥候群等。

腰椎間盤(pán)突出癥是退行性疾病中最為典型的一種，在臨床診斷中面臨著眾多挑戰(zhàn)，尤其在圖像分割過(guò)程中。腰椎間盤(pán)有著多個(gè)節(jié)段并且多個(gè)節(jié)段都會(huì)發(fā)生突出，其中腰椎、骶骨等節(jié)段發(fā)生突出的概率較高。從眾多節(jié)段中找到與病癥最相關(guān)的節(jié)段是治療腰椎間盤(pán)突出最關(guān)鍵的環(huán)節(jié)?；谏疃葘W(xué)習(xí)的方法進(jìn)行椎間盤(pán)圖像的分割，不僅可以彌補(bǔ)傳統(tǒng)方法耗時(shí)長(zhǎng)、精度差的不足，而且還能夠幫助醫(yī)生做出更準(zhǔn)確的診斷，降低誤報(bào)率。

1.3 脊柱腫瘤

脊柱腫瘤是常見(jiàn)的腫瘤之一，通常發(fā)生于骨骼和骨髓的內(nèi)部及其周?chē)?。文獻(xiàn)［9-10］介紹了脊柱腫瘤，指出脊髓及其周?chē)鷧^(qū)域形成的腫瘤迅速生長(zhǎng)會(huì)導(dǎo)致患者出現(xiàn)疼痛、癱瘓等并發(fā)癥，情況嚴(yán)重的甚至影響患者的生活質(zhì)量。

近四十年來(lái)，脊柱腫瘤發(fā)病率呈爆炸式增長(zhǎng)，引起了更多的關(guān)注和研究。文獻(xiàn)［11-12］介紹了脊柱腫瘤的治療，提出了全脊柱切除術(shù)。經(jīng)過(guò)不斷地改進(jìn)、發(fā)展，目前該技術(shù)能夠徹底清除脊柱結(jié)構(gòu)上的腫瘤塊，并減少腫瘤周?chē)M織的感染范圍，對(duì)脊柱腫瘤患者神經(jīng)損傷和術(shù)后康復(fù)具有重要的臨床意義。

合理設(shè)計(jì)手術(shù)方案、選擇手術(shù)療法的前提是準(zhǔn)確找到脊柱腫瘤的發(fā)病位置，即找到病灶區(qū)域再進(jìn)行診斷分析。因此，如何精準(zhǔn)、快速、有效地分割脊柱腫瘤圖像至關(guān)重要。

以往的實(shí)驗(yàn)數(shù)據(jù)顯示，基于深度學(xué)習(xí)對(duì)脊柱圖像分割的方法能夠提取深層的特征信息，且準(zhǔn)確率、精度以及分割效率等實(shí)驗(yàn)結(jié)果相較于傳統(tǒng)方法有明顯的提升［13］。充分發(fā)揮深度學(xué)習(xí)技術(shù)圖像特征提取能力強(qiáng)、模型精度高等優(yōu)點(diǎn)，逐漸成為了當(dāng)前脊柱腫瘤圖像分割的主流方向。

2 脊柱圖像分割

脊柱圖像分割是對(duì)電子計(jì)算機(jī)斷層掃描（CT）、核磁共振成像（MRI）等圖像中的脊柱區(qū)域進(jìn)行分割，將脊柱圖像中與檢測(cè)內(nèi)容相關(guān)的特征數(shù)據(jù)進(jìn)行提取、表達(dá)和反饋，再將圖像中感興趣的脊柱區(qū)域分割出來(lái)。當(dāng)脊柱圖像中有效的特征區(qū)域被分割出來(lái)后［14］，分割將停止。最后結(jié)合三維重建、可視化等技術(shù)，幫助醫(yī)生更直觀、準(zhǔn)確地觀察患者的病變區(qū)域。

2.1 常用的公開(kāi)數(shù)據(jù)集

深度學(xué)習(xí)模型通常具有巨大的參數(shù)量，需要規(guī)模龐大的數(shù)據(jù)集來(lái)避免模型過(guò)度擬合。脊柱圖像分割常用的幾種公開(kāi)數(shù)據(jù)集如表1 所示。

表1 數(shù)據(jù)集信息Table 1 Dataset information

在公開(kāi)數(shù)據(jù)集上重復(fù)進(jìn)行訓(xùn)練會(huì)影響模型對(duì)測(cè)試結(jié)果的準(zhǔn)確性，導(dǎo)致數(shù)據(jù)分析出現(xiàn)誤差。因此，研究者還會(huì)使用一些內(nèi)部數(shù)據(jù)集用于模型的測(cè)試，確保實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。此外，對(duì)脊柱圖像分割之前，通常會(huì)進(jìn)行水平或垂直翻轉(zhuǎn)、平移縮放等預(yù)處理操作來(lái)擴(kuò)充實(shí)驗(yàn)數(shù)據(jù)，并且為防止圖像邊緣分割模糊，研究者會(huì)對(duì)圖像邊緣進(jìn)行標(biāo)注處理，然后由醫(yī)生驗(yàn)證是否準(zhǔn)確，從而確保數(shù)據(jù)集的質(zhì)量。

2.2 脊柱圖像分割方法及流程

深度學(xué)習(xí)算法通過(guò)多層特征提取，從原始輸入中逐漸提取更高級(jí)別的特征來(lái)實(shí)現(xiàn)有監(jiān)督、半監(jiān)督或無(wú)監(jiān)督的圖像處理［15］，從而實(shí)現(xiàn)自動(dòng)分割或者半自動(dòng)分割，提高分割效率；通過(guò)改善傳統(tǒng)圖像分割邊緣模糊、圖像類(lèi)型匹配受限以及目標(biāo)器官與背景之間對(duì)比度較低或相似度較高的情況下分割不精準(zhǔn)等問(wèn)題，來(lái)提高圖像的分割質(zhì)量［16］。

脊柱圖像分割通常采用CT 和MRI 圖像作為待處理的病理圖像，基于脊柱第一中心點(diǎn)進(jìn)行切塊處理，生成平滑處理曲線(xiàn)，同時(shí)基于第一中心點(diǎn)和脊椎的初始切割框，計(jì)算得到脊椎中不同脊椎類(lèi)型對(duì)應(yīng)的第一距離均值；之后依據(jù)平滑處理曲線(xiàn)和第一距離均值，生成目標(biāo)切割框；再采用目標(biāo)切割框，基于第一中心點(diǎn)對(duì)脊椎進(jìn)行切塊處理，得到脊椎圖像切塊；最后通過(guò)二值分割處理得到二值分割結(jié)果，利用分割結(jié)果和之前的標(biāo)簽信息就能得到更多分割結(jié)果信息。

2.3 脊柱圖像分割評(píng)價(jià)指標(biāo)

研究者在圖像分割中通過(guò)使用一些精確衡量分割效果的評(píng)價(jià)指標(biāo)來(lái)反映分割網(wǎng)絡(luò)模型的工作性能，從而分析該模型的優(yōu)缺點(diǎn)。常用的圖像分割評(píng)價(jià)指 標(biāo)如表2 所示，其中，TP、FP、FN和TN分別表示分割任務(wù)中像素真陽(yáng)性、假陽(yáng)性、假陰性和真陰性的數(shù)量［17］。

脊柱圖像分割的評(píng)價(jià)指標(biāo)可以幫助醫(yī)生更直觀地對(duì)脊柱圖像進(jìn)行分析診斷。不同的評(píng)價(jià)指標(biāo)能反映出分割效果的各個(gè)方面，例如：DSC 對(duì)圖像分割的內(nèi)部區(qū)域效果明顯；HD 對(duì)圖像外部輪廓反映的效果更好；IoU 對(duì)分割邊緣具有更準(zhǔn)確的判斷。雖然在脊柱圖像分割效果評(píng)定方面，DSC 的評(píng)估意義更具有參考價(jià)值［19］，但采用多種指標(biāo)對(duì)分割結(jié)果進(jìn)行綜合評(píng)價(jià)，能夠更全面地體現(xiàn)脊柱圖像中的關(guān)鍵信息，更合理地對(duì)整體分割結(jié)果進(jìn)行評(píng)估。

3 深度學(xué)習(xí)在脊柱圖像分割中的應(yīng)用進(jìn)展

基于深度學(xué)習(xí)方法的脊柱圖像分割能夠準(zhǔn)確地描繪出圖像中蘊(yùn)含的關(guān)鍵特征信息，逐漸成為了圖像分割領(lǐng)域中首選的方法［20］。脊柱圖像分割中的神經(jīng)網(wǎng)絡(luò)模型大多是在CNN 模型和U-Net 模型的基礎(chǔ)上對(duì)算法和模型結(jié)構(gòu)進(jìn)行改進(jìn)，并不斷地提升分割效果。CNN 模型的設(shè)計(jì)理念是受到動(dòng)物視覺(jué)皮層結(jié)構(gòu)的啟發(fā)，通過(guò)考慮像素的空間位置，加上人工設(shè)定的感興趣程度，從而做到權(quán)重共享。該模型無(wú)須提取手工工藝特征即可顯著提高分割精度，實(shí)現(xiàn)對(duì)脊柱圖像信息的高效提取和精準(zhǔn)分割。U-Net 模型在脊柱圖像分割方面也具有許多優(yōu)點(diǎn)，例如：可同時(shí)處理脊柱圖像中全局和局部語(yǔ)義信息；在訓(xùn)練集較少的情況下，依然可以獲得很好的實(shí)驗(yàn)分割結(jié)果；端到端的結(jié)構(gòu)特性使得網(wǎng)絡(luò)可以保存輸入的脊柱圖像的全部語(yǔ)義信息。這些優(yōu)點(diǎn)使得U-Net 模型更適合處理數(shù)據(jù)集較少情況下的脊柱圖像分割問(wèn)題。上述兩種模型相比傳統(tǒng)分割方法不僅能夠提高目標(biāo)邊緣檢測(cè)的精準(zhǔn)度，而且對(duì)提取目標(biāo)輪廓的準(zhǔn)確率也有很大改善。

將傳統(tǒng)方法與深度學(xué)習(xí)算法相結(jié)合也可以獲得良好的實(shí)驗(yàn)效果，例如文獻(xiàn)［21］使用馬爾可夫隨機(jī)場(chǎng)（MRF）來(lái)推斷脊柱圖像分割，通過(guò)黎曼流形嵌入對(duì)之前變形的復(fù)雜非線(xiàn)性模式進(jìn)行建模，在提高魯棒性的同時(shí)節(jié)省了存儲(chǔ)空間。由此可見(jiàn)，傳統(tǒng)脊柱圖像分割方法與深度學(xué)習(xí)方法相結(jié)合能夠快速且精準(zhǔn)地完成分割任務(wù)。

3.1 CNN 模型在脊柱圖像分割中的應(yīng)用

CNN 模型具有深度特征提取能力以及較強(qiáng)的自適應(yīng)性，在臨床上的實(shí)用性較高并且能夠有效地輔助醫(yī)生診斷，因此被稱(chēng)為專(zhuān)為圖像分割而設(shè)計(jì)的算法模型。

3.1.1 基于CNN 模型的椎骨圖像分割

精準(zhǔn)的椎體分割可以為脊柱圖像的分析和干預(yù)提供良好的基礎(chǔ)，相較于傳統(tǒng)的圖像分割方法，基于深度學(xué)習(xí)的方法可以增強(qiáng)圖像分割效率和精準(zhǔn)度，提高醫(yī)生的診斷效率［22］。

CNN 模型雖能很好地提取目標(biāo)特征信息，但無(wú)法兼容不同大小的尺寸輸入；同時(shí)缺乏對(duì)圖像本身的全局理解，無(wú)法建立起特征之間的依賴(lài)關(guān)系，不能充分采用上下文的關(guān)鍵信息。為了較好地保留圖像的空間信息，并且實(shí)現(xiàn)圖像像素級(jí)的分類(lèi)，文獻(xiàn)［23］提出全卷積神經(jīng)網(wǎng)絡(luò)（FCN），用卷積層代替全連接層，減少了模型訓(xùn)練所需要的參數(shù)量，從而降低了過(guò)度擬合的可能性。FCN 結(jié)構(gòu)如圖1 所示。

圖1 FCN 模型結(jié)構(gòu)Fig.1 FCN model structure

FCN 模型使用編碼器-解碼器的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行多次下采樣，以犧牲空間分辨率為代價(jià)來(lái)提取局部或全局特征，分割效果好且效率高；但由于感受野受限，而感受野的大小又是提取局部信息甚至全局信息的關(guān)鍵，因此對(duì)圖像的邊緣信息分割模糊。目前對(duì)脊柱圖像分割的研究大多是基于FCN 模型改進(jìn)的，F(xiàn)CN 模型的提出對(duì)脊柱圖像分割領(lǐng)域具有里程碑式的意義。

文獻(xiàn)［24］提出一種能夠高效檢測(cè)椎骨的深入前饋神經(jīng)網(wǎng)絡(luò)，但該網(wǎng)絡(luò)因較大的定位誤差未得到廣泛推廣。文獻(xiàn)［25］提出一種聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)（J-CNN），利用隨機(jī)森林算法來(lái)定位椎骨。相較于文獻(xiàn)［24］提出的模型，J-CNN 模型在準(zhǔn)確率上具有較大的提升，但耗時(shí)過(guò)長(zhǎng)導(dǎo)致效率較低。文獻(xiàn)［26］提出一種自動(dòng)脊柱水平識(shí)別（SPIDE）系統(tǒng)。該系統(tǒng)不使用外部跟蹤裝置，對(duì)椎骨分割的準(zhǔn)確率為88%，但手動(dòng)調(diào)優(yōu)的缺點(diǎn)使其在臨床上的推廣受到阻礙。

為更好地實(shí)現(xiàn)臨床應(yīng)用，文獻(xiàn)［27］提出CNN 和FCN 混合的全自動(dòng)CT 脊柱分割方法，該方法在提升效率的同時(shí)精度達(dá)到99%，缺點(diǎn)是計(jì)算冗余較大，成本過(guò)高并且每次分割只能對(duì)單個(gè)椎骨圖像進(jìn)行分割。文獻(xiàn)［28］通過(guò)級(jí)聯(lián)定位FCN 與分割FCN 的方法對(duì)脊柱CT 圖像進(jìn)行分割，所提模型DSC 為95.77±0.81%，多個(gè)FCN 使此模型存在著大量參數(shù)，解決了從不同視野獲取的CT 圖像中分割椎骨這一挑戰(zhàn)性難題。

隨著CNN 模型的不斷改進(jìn)，出現(xiàn)了許多基于迭代CNN 的算法。文獻(xiàn)［29］通過(guò)引入3D CNN 來(lái)標(biāo)記分類(lèi)過(guò)的椎骨，使用迭代程序，按順序?qū)ψ倒侵饌€(gè)分割和識(shí)別。文獻(xiàn)［30］提出一種具有良好泛化能力的椎體實(shí)例分割模型，相較于文獻(xiàn)［29］方法，該模型降低了17%的內(nèi)存占用，實(shí)現(xiàn)了更好的經(jīng)濟(jì)內(nèi)存使用，可以更準(zhǔn)確地提供圖像的分割信息，適合應(yīng)用在一些臨床軟件項(xiàng)目上。文獻(xiàn)［31］利用監(jiān)督深度學(xué)習(xí)方法進(jìn)行全自動(dòng)高分辨率3D 分割，所提方法不需要進(jìn)行任何預(yù)處理，可以在1 min 內(nèi)高效地分割3D 圖像數(shù)據(jù)，在腰椎CT 圖像數(shù)據(jù)集上的準(zhǔn)確率高達(dá)99.80%，此外，該方法可以很方便地應(yīng)用于基于U-Net 架構(gòu)的分割方法，具有良好的泛化性能。文獻(xiàn)［32］利用多尺度神經(jīng)網(wǎng)絡(luò)對(duì)脊柱的MR 圖像進(jìn)行分割，所提模型DSC 為95.10%，相較于U-Net 模型提高了1.3 個(gè)百分點(diǎn)，證明了該模型的有效性。文獻(xiàn)［33］提出的深度學(xué)習(xí)算法可以自動(dòng)檢測(cè)MR 圖像中的腰椎，并對(duì)椎體進(jìn)行定位和分類(lèi)，分割準(zhǔn)確率和精度分別為98.6%和98.9%，其與文獻(xiàn)［34］對(duì)特定椎體（L1～L5 腰椎椎體以及S1 骶骨的第一個(gè)椎體）的檢測(cè)精度的比較如表3 所示，結(jié)果顯示，文獻(xiàn)［33］方法的精度在L1～L5 椎體上相較于文獻(xiàn)［34］方法有所提升，并且實(shí)現(xiàn)了腰椎MRI 圖像的自動(dòng)化檢測(cè)、分類(lèi)和分割。

表3 特定椎骨檢測(cè)精度比較Table 3 Precision comparison of specific vertebrae detection %

文獻(xiàn)［35］提出一種能夠在椎體和椎間盤(pán)的各類(lèi)圖像中自動(dòng)且快速分割的深度學(xué)習(xí)模型，該模型分割的放射量很準(zhǔn)確，DSC 中位數(shù)大于0.95%，平均產(chǎn)出時(shí)間少于1.7 s，能夠快速地將圖像信息輸出，可以用于健康脊柱的臨床成像研究，但無(wú)法捕獲嚴(yán)重脊柱側(cè)凸患者的單個(gè)切片上的所有椎骨，因此在某些網(wǎng)絡(luò)模型架構(gòu)下應(yīng)用受到了限制。

目前基于CNN 模型的椎骨圖像分割方法在準(zhǔn)確率和精度方面都達(dá)到了很高的水準(zhǔn)，基本符合人們對(duì)深度學(xué)習(xí)在椎骨圖像分割中的期望，但由于CNN 的卷積是固定的，不能動(dòng)態(tài)地適應(yīng)輸入的變化，無(wú)法完整捕捉椎骨復(fù)雜的形態(tài)結(jié)構(gòu)；此外，椎體的彎曲受損程度也會(huì)影響單一甚至全部椎體病灶區(qū)域的分割。因此，未來(lái)的研究方向應(yīng)是在不考慮椎骨側(cè)彎嚴(yán)重程度的基礎(chǔ)上，準(zhǔn)確、高效地對(duì)單張切片上所有的椎骨進(jìn)行高精度分割。

3.1.2 基于CNN 模型的椎間盤(pán)圖像分割

椎間盤(pán)的分割對(duì)于椎間盤(pán)病變的檢測(cè)及分析具有重要意義，從醫(yī)學(xué)圖像中準(zhǔn)確分割病變的椎間盤(pán)是臨床診斷和制定治療計(jì)劃的前提。

文獻(xiàn)［36］提出二維自動(dòng)主動(dòng)形狀模型（2DAASM），彌補(bǔ)了傳統(tǒng)主動(dòng)形狀模型（ASM）耗時(shí)、易受主觀性影響等不足，分割精度和效率有了明顯提升。文獻(xiàn)［37］介紹的3DFCN 模型用于椎間盤(pán)高維體積數(shù)據(jù)的定位和分割任務(wù)，在視覺(jué)上可以生成平滑的分割效果，與2DFCN 相比，三維網(wǎng)絡(luò)模型的分割性能更好。文獻(xiàn)［38］介紹了一種三維多尺度FCN（MsFCN），其結(jié)構(gòu)框架如圖2 所示。

圖2 MsFCN 框架Fig.2 MsFCN framework

MsFCN 模型具有較高的分辨能力，同時(shí)緩解了自適應(yīng)問(wèn)題，通過(guò)高階特征信息之間的相互融合來(lái)增強(qiáng)網(wǎng)絡(luò)處理解剖結(jié)構(gòu)尺度變化的能力，平均DSC達(dá)到91.2%，證明了模型的有效性和可行性。盡管該方法在許多情況下取得了令人滿(mǎn)意的效果，但也存在不足，例如在分割的開(kāi)始和結(jié)束部分，由于椎間盤(pán)模糊和噪聲的影響，分割效果較差。未來(lái)的研究應(yīng)考慮如何更好地利用去模糊化、圖像歸一化等圖像處理方法解決此類(lèi)問(wèn)題。文獻(xiàn)［39］提出一種深度學(xué)習(xí)分割網(wǎng)絡(luò)MOM-RCNN，其對(duì)263 名患者的椎間盤(pán)MRI 圖像進(jìn)行分割，靈敏度為88%，特異性為98%，但圖像維度因素的影響使計(jì)算受到了限制。

對(duì)椎間盤(pán)圖像分割時(shí)，可以考慮將無(wú)監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)相結(jié)合，同時(shí)優(yōu)化已有的算法，例如將二維圖像轉(zhuǎn)變?yōu)橐胛恢眯畔⒌娜S圖像，或是將單模態(tài)和多模態(tài)之間的信息相融合，以便更好地將深度學(xué)習(xí)方法應(yīng)用于椎間盤(pán)圖像的分割。

3.2 U-Net 模型在脊柱圖像分割中的應(yīng)用

雖然FCN 模型在脊柱圖像分割的精度上已經(jīng)有了大幅度的提升，但訓(xùn)練速度較慢，不能完全滿(mǎn)足醫(yī)學(xué)領(lǐng)域?qū)τ趫D像分割精度和效率的嚴(yán)格要求。為解決神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢的問(wèn)題，文獻(xiàn)［40］對(duì)FCN 模型結(jié)構(gòu)進(jìn)行改進(jìn)，提出U-Net 模型，其結(jié)構(gòu)如圖3所示。

圖3 U-Net 模型結(jié)構(gòu)Fig.3 U-Net model structure

U-Net 模型是對(duì)稱(chēng)結(jié)構(gòu)，其通過(guò)跳躍連接的方法將編碼器和解碼器上提取的特征充分融合，在小型數(shù)據(jù)集中的分割表現(xiàn)十分優(yōu)異；同時(shí)它也是一種開(kāi)源的體系結(jié)構(gòu)，對(duì)脊柱圖像分割方面的研究很有幫助［41］。

3.2.1 基于U-Net 模型的椎骨圖像分割

在文獻(xiàn)［40］提出U-Net 模型后，許多研究對(duì)U-Net 模型進(jìn)行改進(jìn)，并應(yīng)用于脊柱圖像分割。文獻(xiàn)［42-43］用三維圖像代替二維圖像對(duì)原始的U-Net模型進(jìn)行改進(jìn)，分別提出3DU-Net 模型和V-Net 模型，2 個(gè)模型的結(jié)構(gòu)如圖4、圖5 所示。3DU-Net 模型能夠半自動(dòng)或全自動(dòng)地從稀疏標(biāo)注中分割三維圖像體積。V-Net 模型通過(guò)引入基于Dice 系數(shù)的新?lián)p失函數(shù)，解決了背景和前景像素之間數(shù)量不平衡的問(wèn)題。這兩種改進(jìn)的U-Net 模型都在在一定程度上提升了三維醫(yī)學(xué)圖像的分割精度，在后續(xù)的實(shí)驗(yàn)中發(fā)揮了重要作用。

圖4 3DU-Net 模型結(jié)構(gòu)Fig.4 3DU-Net model structure

圖5 V-Net 模型結(jié)構(gòu)Fig.5 V-Net model structure

文獻(xiàn)［44］提出了能夠聚合不同區(qū)域上下文信息的PSPNet 模型，解決了原始U-Net 模型上下文信息丟失的問(wèn)題，但分割精度略顯不足。文獻(xiàn)［45］提出一種將Dense 模塊引入到U-Net 編碼器-解碼器結(jié)構(gòu)中來(lái)處理語(yǔ)義分割的方法，解決了PSPNet 模型分割精度差的問(wèn)題。

文獻(xiàn)［46］提出Attention U-Net 模型，引入的注意力機(jī)制可以突出圖像信息的顯著特征，提高U-Net模型在不同的數(shù)據(jù)集和訓(xùn)練模型下的分割性能。文獻(xiàn)［47］利用深度監(jiān)督方法提出了具有高度靈活特點(diǎn)和快速推理能力的UNet++模型，其結(jié)構(gòu)如圖6 所示。UNet++模型在原始U-Net 模型的基礎(chǔ)上增加了許多跳躍連接路徑和上采樣卷積塊，將多尺度特征與上采樣提取的特征進(jìn)行融合，使得水平方向上每層尺度特征都能得到連接，彌補(bǔ)了編碼器和解碼器之間的語(yǔ)義鴻溝。

圖6 UNet++模型結(jié)構(gòu)Fig.6 UNet++model structure

文獻(xiàn)［48］使 用U-Net、Dense-U-Net 和Residual U-Net 等多種深度神經(jīng)網(wǎng)絡(luò)對(duì)椎體X 線(xiàn)片圖像進(jìn)行分割，對(duì)分割結(jié)果的定量評(píng)價(jià)如表4 所示。實(shí)驗(yàn)結(jié)果表明，殘差U-Net 對(duì)椎骨分割的響應(yīng)速度更快且分割結(jié)果更接近金標(biāo)準(zhǔn)。

表4 不同深度神經(jīng)網(wǎng)絡(luò)模型對(duì)椎體圖像的分割性能Table 4 Segmentation performance of vertebral body image by different depth neural network models

文獻(xiàn)［49］利用U-Net模型對(duì)脊柱X 線(xiàn)片圖像進(jìn)行分割，結(jié)果表明，醫(yī)生和系統(tǒng)對(duì)圖像分割的結(jié)果之間無(wú)統(tǒng)計(jì)學(xué)差異，且平均偏差非常小，該模型實(shí)現(xiàn)了對(duì)腰椎X 線(xiàn)片圖像分割的同時(shí)，能夠自動(dòng)測(cè)量Cobb 角，為醫(yī)生提供準(zhǔn)確、客觀的分割結(jié)果。文獻(xiàn)［50］將N-Net 網(wǎng)絡(luò)用于椎體分割，在3DFCN 的基礎(chǔ)上引入殘余結(jié)構(gòu)和跳躍連接，分割結(jié)果的DSC 達(dá)到95%。文獻(xiàn)［51］提出同時(shí)對(duì)多模態(tài)MRI 中多個(gè)脊柱結(jié)構(gòu)進(jìn)行三維語(yǔ)義分割的網(wǎng)絡(luò)模型S3egANet，該模型DSC 為88.3%，特異性指標(biāo)為91.45%，充分顯示了其臨床有效性。

文獻(xiàn)［52］提出了一種具備全尺寸跳躍連接和深度監(jiān)督優(yōu)勢(shì)的全尺度連接U-Net——U-Net 3+，通過(guò)減少網(wǎng)絡(luò)參數(shù)來(lái)提高運(yùn)算效率。文獻(xiàn)［53］在文獻(xiàn)［51］模型中引入注意力機(jī)制，提出ANU-Net模型。注意力機(jī)制可以聚集整個(gè)圖像上的目標(biāo)器官，不僅能大幅縮短訓(xùn)練時(shí)間，獲取更重要的病灶數(shù)據(jù)信息，而且對(duì)模型的分割精度和靈敏特性也有顯著提高。文獻(xiàn)［53］提出的ANU-Net 模型，通過(guò)判斷注意力的分布情況，著重表達(dá)某個(gè)關(guān)鍵的輸入來(lái)突出特征的關(guān)鍵信息。此外，該模型還具有嵌套的U-Net 結(jié)構(gòu)，可以集成不同等級(jí)的特征信息，有效提升了網(wǎng)絡(luò)分割精度［54］。文獻(xiàn)［55］方法使用U-Net模型對(duì)脊柱CT圖像進(jìn)行分割，DSC 為90.4%，精密度為96.81%，驗(yàn)證了該方法的臨床意義和可靠性。文獻(xiàn)［56］提出了新的卷積模塊代替標(biāo)準(zhǔn)的卷積來(lái)進(jìn)行特征提取，使用MCW1-Net 作為編碼器，利用DenseX-Net 進(jìn)行特征融合，獲得了準(zhǔn)確的分割結(jié)果，但分割精度和DSC 之間存在沖突，阻礙了該方法在臨床上的應(yīng)用。文獻(xiàn)［57］引入多尺度特征提取模塊構(gòu)建MA-UNet模型，在降低網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性的同時(shí)提高了模型的分割性能。

3.2.2 基于U-Net 模型的椎間盤(pán)圖像分割

基于U-Net 模型簡(jiǎn)單、高效、可完成圖像像素級(jí)分割的特點(diǎn)，可以對(duì)椎間盤(pán)圖像復(fù)雜的特征信息進(jìn)行提取和分割。利用傳統(tǒng)的U-Net 模型進(jìn)行圖像分割存在冗余大以及分割、定位精度不可兼得的缺點(diǎn)，為此，許多研究對(duì)U-Net 模型進(jìn)行了改進(jìn)。文獻(xiàn)［58］提出了使用2 個(gè)不同尺度擴(kuò)張卷積的卷積塊來(lái)擴(kuò)展初始模塊，得到IVD-Net 模型，該模型的編碼部分采用多個(gè)路徑之間緊密連接的形式，每個(gè)路徑分別處理單個(gè)模塊，有效地利用來(lái)自多個(gè)圖像模式的信息進(jìn)行分割，提高了分割性能。文獻(xiàn)［59］提出一種基于級(jí)聯(lián)學(xué)習(xí)方法的BSU-Net 模型對(duì)椎間盤(pán)的MR 圖像進(jìn)行分割，該模型克服了U-Net 模型最大池化層的局限性，并且對(duì)椎間盤(pán)以及邊界的分割精度也有明顯的提升。文獻(xiàn)［60］通過(guò)將殘差網(wǎng)絡(luò)中“捷徑”的概念引入U(xiǎn)-Net 模型，完成對(duì)椎間盤(pán)圖像的分割。殘差網(wǎng)絡(luò)的概念最早是由文獻(xiàn)［61］提出的，通過(guò)引入殘差塊可以解決深層網(wǎng)絡(luò)產(chǎn)生的梯度消失、網(wǎng)絡(luò)爆炸問(wèn)題以及圖像分割時(shí)所產(chǎn)生的退化問(wèn)題，從而提高深層網(wǎng)絡(luò)的表現(xiàn)性能。該方法實(shí)現(xiàn)了椎間盤(pán)的全自動(dòng)分割，準(zhǔn)確率達(dá)到95.73%，缺點(diǎn)是無(wú)法同時(shí)對(duì)全部的椎間盤(pán)圖像進(jìn)行分割。為解決此類(lèi)問(wèn)題的不足，文獻(xiàn)［62］提出了MultiRes U-Net 模型，該模型實(shí)現(xiàn)了全部椎間盤(pán)的自動(dòng)分割，且分割精度良好。

從以往基于U-Net 模型的實(shí)驗(yàn)結(jié)果來(lái)看，U-Net模型并非FCN 模型那般融合粗略的語(yǔ)義信息和精細(xì)的外觀信息，而是通過(guò)跳躍連接更好地融合精細(xì)的語(yǔ)義信息，更像是一個(gè)輕量級(jí)網(wǎng)絡(luò)模型，更適合于脊柱圖像的分割工作。目前基于U-Net 模型的部分創(chuàng)新和改進(jìn)如表5 所示。

表5 U-Net 模型的改進(jìn)思路Table 5 Improvement ideas of U-Net model

傳統(tǒng)的U-Net 模型只注重分割精度的提升而忽略了卷積層數(shù)，導(dǎo)致計(jì)算量過(guò)大，嚴(yán)重影響運(yùn)算效率。對(duì)此，研究者提出了MECAU-Net，在編碼器部分采用2×2 偶數(shù)卷積代替3×3 卷積，結(jié)合空間和通道注意力機(jī)制，在保證特征信息提取的同時(shí)，大幅降低了計(jì)算成本?？斩淳矸e可以獲得更大的感受野，從而提升目標(biāo)檢測(cè)和語(yǔ)義分割的精度效果；殘差網(wǎng)絡(luò)則可以解決網(wǎng)絡(luò)層數(shù)增大而導(dǎo)致的梯度爆炸或梯度消失等情況；多尺度特征融合網(wǎng)絡(luò)可以更好地融合深層和淺層的信息，為語(yǔ)義分割提供更好的效果?；赨-Net 模型將多尺度和空洞卷積相結(jié)合，即DeepLabv3+，可以在更多的感受野下提取圖像的深層信息和淺層信息，對(duì)邊緣分割具有良好的效果。為了解決前景和背景像素不平衡的問(wèn)題，研究者在U-Net 模型基礎(chǔ)上引入新的目標(biāo)函數(shù)，提出V-Net 用于分割三維圖像。U-Net++則對(duì)U-Net 的跳躍連接進(jìn)行了改進(jìn)，平衡了過(guò)量參數(shù)和網(wǎng)絡(luò)深度之間的關(guān)系?；赨-Net++模型，將不同尺度特征圖的深層信息和淺層信息相結(jié)合，即UNet 3+。UNet3+利用全尺度跳躍連接和深度監(jiān)督融合不同尺度、不同層次的特征信息，并引入分類(lèi)引導(dǎo)模塊損失函數(shù)，可以抑制背景區(qū)域的過(guò)度分割。然而，UNet 3+和V-Net都存在龐大的參數(shù)量，限制了其使用范圍；U-Net 和U-Net 3+都無(wú)法獲取圖像的全局特征，對(duì)邊緣檢測(cè)結(jié)果較為模糊，而改進(jìn)后的注意力模塊和點(diǎn)采樣可以彌補(bǔ)邊緣模糊的不足。

目前U-Net 的改進(jìn)思路較為單一，例如加深卷積層數(shù)、建立殘差連接或者引入多尺度注意力機(jī)制，大多都是關(guān)于編碼器的改進(jìn)，忽略了跳躍連接和解碼器部分以及龐大的計(jì)算冗余。在時(shí)間就是生命的醫(yī)學(xué)環(huán)境下，要注重輕量化網(wǎng)絡(luò)的重要性，可以采用一層一回傳的跳躍連接方式，最大程度地將編碼器采樣的信息傳給解碼器，避免重要的信息丟失。

隨著深度學(xué)習(xí)算法在國(guó)際上的影響力不斷擴(kuò)大，國(guó)內(nèi)許多學(xué)者對(duì)CNN 模型和U-Net模型進(jìn)行了改進(jìn)，模型改進(jìn)方法以及分割結(jié)果的Dice系數(shù)如表6所示。

表6 國(guó)內(nèi)基于深度學(xué)習(xí)對(duì)脊柱圖像分割的研究Table 6 Research on spinal image segmentation based on deep learning in China %

從多個(gè)方面對(duì)神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)方法和實(shí)驗(yàn)結(jié)果進(jìn)行詳細(xì)的總結(jié)歸納，如表7 所示。目前大多數(shù)脊柱圖像分割實(shí)驗(yàn)只采用DSC 作為評(píng)價(jià)指標(biāo)，顯示出該指標(biāo)的對(duì)于評(píng)價(jià)分割效果的重要意義；DSC對(duì)圖像內(nèi)側(cè)敏感，而采用HD、IoU 等指標(biāo)評(píng)價(jià)可以更好地反映出模型對(duì)脊柱圖像外側(cè)、輪廓等的分割效果，因此，部分實(shí)驗(yàn)會(huì)采用多種評(píng)價(jià)指標(biāo)來(lái)全面分析分割效果。

表7 不同研究中U-Net 模型的圖像分割性能對(duì)比分析Table 7 Comparative analysis of U-Net models' image segmentation performance in different researches %

目前深度學(xué)習(xí)在算法以及應(yīng)用上都較為成熟，但也存在著某些限制，例如對(duì)脊柱圖像邊緣信息的分割精度低、對(duì)三維圖像的特征信息獲取能力不足以及運(yùn)算時(shí)間長(zhǎng)、模型占用空間內(nèi)存大等。此外，脊柱圖像分割的淺層語(yǔ)義信息通常摻雜冗余信息較多，在分割病灶區(qū)域與周?chē)尘盎蛘咂渌M織器官的對(duì)比度較低時(shí)，分割效果達(dá)不到實(shí)際效果。

針對(duì)圖像邊緣分割精度不足的問(wèn)題，可以采取以下幾種方法進(jìn)行改善：

1）在預(yù)處理環(huán)節(jié)中進(jìn)行降噪和圖像增強(qiáng)操作，在實(shí)際代碼操作中通過(guò)乘法或平方的方式來(lái)提升圖像邊緣較弱的像素梯度，通過(guò)放大像素值之間的差距，使圖像邊緣部分的像素值的梯度變大，從而實(shí)現(xiàn)精準(zhǔn)的圖像邊緣檢測(cè)分割。

2）在U-Net3+模型的全尺度特征融合過(guò)程中引入注意力門(mén)并且使用點(diǎn)采樣方法，通過(guò)特征疊加的方式整合不同層次的特征，利用注意力機(jī)制關(guān)注特征信息，采用分類(lèi)引導(dǎo)模塊抑制過(guò)度分割，同時(shí)利用多尺度結(jié)構(gòu)相似性指數(shù)（MM-SSIM）損失方便為模糊邊界分配更高的權(quán)重，從而提高邊緣分割的精度。

3）多尺度特征融合，例如特征金字塔結(jié)構(gòu)通過(guò)深度網(wǎng)絡(luò)提取不同層次特征堆疊而成，在堆疊的基礎(chǔ)上通過(guò)Element-wise sum 實(shí)現(xiàn)特征融合，從而實(shí)現(xiàn)對(duì)不同層次、尺度的信息的檢測(cè)。

3.3 深度學(xué)習(xí)在脊柱腫瘤圖像分割中的應(yīng)用

脊柱腫瘤存在放射學(xué)的特殊性，且位置、結(jié)構(gòu)、大小、形狀等因患者而異，具有高度異質(zhì)性；同時(shí)醫(yī)生診斷在不同程度上會(huì)受到臨床經(jīng)驗(yàn)的限制，導(dǎo)致傳統(tǒng)脊柱腫瘤圖像分割出現(xiàn)誤判。為更好地實(shí)現(xiàn)良/惡性腫瘤的檢測(cè)與分割，許多研究充分發(fā)揮深度學(xué)習(xí)模型穩(wěn)定的分割效果、良好的平衡性能以及能夠精準(zhǔn)定位病灶區(qū)域等優(yōu)點(diǎn)，將深度學(xué)習(xí)模型應(yīng)用于脊柱腫瘤分割。文獻(xiàn)［68］提出以?xún)呻A段架構(gòu)對(duì)脊柱CT 圖像中成骨性轉(zhuǎn)移瘤進(jìn)行自動(dòng)檢測(cè)的方法，其網(wǎng)絡(luò)模型如圖7 所示，該方法能很好地適應(yīng)當(dāng)前低劑量、低分辨率CT 成像協(xié)議的趨勢(shì)。文獻(xiàn)［69］介紹了一種包含3 個(gè)相同子網(wǎng)絡(luò)的Siamese深度神經(jīng)網(wǎng)絡(luò)，并與聚集策略相結(jié)合，對(duì)26 例脊柱轉(zhuǎn)移瘤患者的MR 圖像分割結(jié)果進(jìn)行分析。該網(wǎng)絡(luò)具有相當(dāng)出色的表現(xiàn)，但在圖像邊界上分割的效果有待提升。

圖7 用于成骨性脊柱腫瘤分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)Fig.7 Convolutional neural network for classification of osteoblastic spinal tumors

文獻(xiàn)［70］使用3DCNN 對(duì)脊柱的溶骨性和成骨性2 種腫瘤同時(shí)進(jìn)行分割和分類(lèi)。該方法能夠檢測(cè)、分割和分類(lèi)大于1.4 mm3的小病變，相較于其他已發(fā)表的CT 掃描脊柱的分析方法，具有高度靈活性，靈敏度高達(dá)92%，具有可靠的臨床價(jià)值；但其部分操作高度復(fù)雜化，且在成像條件等方面存在很大差異。為此，文獻(xiàn)［71］提出將CNN 模型和全連接條件隨機(jī)場(chǎng)相融合的方法對(duì)整張腫瘤圖像進(jìn)行分割，充分發(fā)揮CNN 精確提取圖像特征和使部分環(huán)節(jié)簡(jiǎn)單化的優(yōu)勢(shì)，彌補(bǔ)了文獻(xiàn)［70］中實(shí)驗(yàn)操作方法復(fù)雜的不足，提高了分割效率。

針對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)應(yīng)用于腫瘤病變檢測(cè)時(shí)不能有效檢測(cè)出細(xì)小腫瘤區(qū)域這一問(wèn)題，文獻(xiàn)［72］提出了一種細(xì)粒度的腫瘤檢測(cè)方法，其框架如圖8 所示。首先使用預(yù)先訓(xùn)練的二維特征金字塔網(wǎng)絡(luò)（FPN）［73］作為主干網(wǎng)絡(luò)構(gòu)建特征金字塔，從不同金字塔級(jí)別的輸入圖像中提取特征，使用多尺度增強(qiáng)器（MSB）對(duì)每一個(gè)金字塔級(jí)別的特征進(jìn)行大尺度變化的病變檢測(cè)，然后執(zhí)行分層擴(kuò)張卷積（HDC），其包含與特征金字塔互補(bǔ)的細(xì)粒度信息，能夠提高網(wǎng)絡(luò)對(duì)尺度變化的認(rèn)識(shí)并提供細(xì)粒度的規(guī)模估計(jì)，有效捕捉規(guī)模響應(yīng)有意義的響應(yīng)響應(yīng)；由通道和空間注意力組成的級(jí)聯(lián)注意力模塊對(duì)特征進(jìn)一步處理，以捕獲細(xì)粒度信息，達(dá)到細(xì)粒程度，實(shí)現(xiàn)最終預(yù)測(cè)。與Faster RCNN［74］、FPN 以及基 于三維 上下文 增強(qiáng)區(qū)域的CNN（3DCE）［75］等先進(jìn)的檢測(cè)模型相比，多尺度增強(qiáng)器特征金字塔網(wǎng)絡(luò)有效提高了在不同PF 率下的靈敏度值。

圖8 FPN 與MSB 檢測(cè)框架Fig.8 Detection frameworks of FPN and MSB

文獻(xiàn)［76］應(yīng)用動(dòng)態(tài)增強(qiáng)MRI 對(duì)無(wú)腫瘤史的61 例病人進(jìn)行研究，采用CNN 模型區(qū)分脊柱轉(zhuǎn)移瘤，所提方法準(zhǔn)確率為81%，對(duì)于此類(lèi)疾病的診斷具有良好的作用。文獻(xiàn)［77］基于自注意力模型改進(jìn)2D V-Net，實(shí)現(xiàn)了脊柱腫瘤CT 圖像的分割，并對(duì)Faster RCNN模型改進(jìn)用于脊柱腫瘤檢測(cè)，在特征提取模塊將VGG 替換成ResNet 和DenseNet，通過(guò)增加殘差學(xué)習(xí)的密集連接來(lái)提升特征信息的學(xué)習(xí)和利用，所提方法邊緣分割精度相比VGG 分別提升了3.16% 和2.0%，同時(shí)還具有良好的泛化性能。文獻(xiàn)［78］采用深度學(xué)習(xí)方法建立了脊柱腫瘤二分類(lèi)模型和三分類(lèi)的深度人工神經(jīng)網(wǎng)絡(luò)（D-ANN）模型，結(jié)果顯示，D-ANN 為最佳二分類(lèi)模型且準(zhǔn)確率達(dá)到90%以上，而由于腫瘤的異質(zhì)性大的特點(diǎn)，三分類(lèi)模型效果較差。文獻(xiàn)［79］采用多尺度CNN 模型對(duì)CT 圖像進(jìn)行分割，內(nèi)部和外部驗(yàn)證的DSC 分別為97%、95%，基本滿(mǎn)足了人們對(duì)分割效果的期望。

深度學(xué)習(xí)模型為脊柱腫瘤的全脊柱切除術(shù)或者單一、特定脊柱節(jié)段的分割提供了可靠的方法。由于脊柱腫瘤圖像的成像特點(diǎn)以及難以與其他軟組織進(jìn)行區(qū)分，傳統(tǒng)分割方法對(duì)于圖像邊緣的分割效果較差，效率不高。目前基于U-Net 獨(dú)特的U 型結(jié)構(gòu)，通過(guò)跳躍連接能夠更好地捕獲圖像更高層次的特征信息，大幅提高腫瘤圖像整體分割的精準(zhǔn)度；而引入自注意力機(jī)制來(lái)提升網(wǎng)絡(luò)運(yùn)算效率，也解決了耗時(shí)嚴(yán)重的問(wèn)題，逐漸成為提高運(yùn)算效率的主流方法。

4 總結(jié)與展望

將深度學(xué)習(xí)方法引入到脊柱的圖像分割中，一方面可以幫助醫(yī)生從繁瑣、重復(fù)的工作中解放出來(lái)，減少過(guò)度疲勞和主觀性因素導(dǎo)致的漏診、誤診等狀況的發(fā)生；另一方面提高了脊柱圖像的分割精度和準(zhǔn)確率，在臨床診療和術(shù)前規(guī)劃等方面發(fā)揮了不可替代的作用。雖然基于深度學(xué)習(xí)的脊柱分割方法具有優(yōu)異的臨床表現(xiàn)，但也有以下問(wèn)題亟待解決：

1）在椎骨圖像分割方面，病灶區(qū)域的尺寸、形狀、位置等由于受到椎骨復(fù)雜的生理結(jié)構(gòu)的影響會(huì)發(fā)生變化，導(dǎo)致在醫(yī)學(xué)影像中觀察到的目標(biāo)區(qū)域的外觀變化較大，影響臨床分析；在椎間盤(pán)圖像分割方面，椎間盤(pán)圖像邊緣位置的圖像信息模糊，會(huì)導(dǎo)致分割時(shí)誤差較大、預(yù)處理和訓(xùn)練耗時(shí)長(zhǎng)、結(jié)果準(zhǔn)確率低等問(wèn)題；在脊柱腫瘤圖像分割方面，惡性腫瘤放射學(xué)的特殊性、CT 圖像中的腫瘤區(qū)域密度分布不均勻以及部分臨床醫(yī)生的經(jīng)驗(yàn)受限，使得評(píng)估及分割具有很大的難度，此外，當(dāng)使用CNN 模型對(duì)其分割時(shí)，只能分割腫瘤區(qū)域的一小部分且存在較高的計(jì)算冗余，而使用U-Net 分割時(shí)會(huì)導(dǎo)致分割過(guò)度，尤其是低對(duì)比度的腫瘤區(qū)域。

2）目前脊柱圖像公開(kāi)數(shù)據(jù)集受到規(guī)模的限制，并且現(xiàn)有的深度學(xué)習(xí)算法通常引入遷移學(xué)習(xí)，即在公開(kāi)數(shù)據(jù)集基礎(chǔ)上進(jìn)行訓(xùn)練和實(shí)驗(yàn)，導(dǎo)致實(shí)驗(yàn)結(jié)果在很大程度上受到訓(xùn)練數(shù)據(jù)集的影響，對(duì)分割準(zhǔn)確率、精度等分割性能指標(biāo)造成干擾。

3）由于脊柱成像過(guò)程會(huì)受到強(qiáng)度和亮度變化的影響，具有較大的差異性，同時(shí)受到脊柱外其他組織及噪聲等因素干擾，深度學(xué)習(xí)模型對(duì)脊柱圖像的邊緣區(qū)域分割效果較差。

4）目前對(duì)脊柱圖像整體區(qū)域分割的研究有待改進(jìn)，基本只能完成對(duì)特定區(qū)域的分割工作，而不能有效地對(duì)整體區(qū)域進(jìn)行分割。大多數(shù)深度學(xué)習(xí)模型對(duì)單一脊柱圖像類(lèi)型的分割效果較好，但對(duì)多模態(tài)脊柱圖像分割的準(zhǔn)確率和精度還有待提升，由于不同圖像類(lèi)型對(duì)不同脊柱區(qū)域的對(duì)比度不同，例如CT 圖像對(duì)椎骨有更好的對(duì)比度，而MR 圖像對(duì)椎間盤(pán)的對(duì)比度較好，因此融合同一患者多模態(tài)圖像對(duì)脊柱圖像的整體分割至關(guān)重要。

5）圖像分割的評(píng)價(jià)指標(biāo)往往只采用DSC，該指標(biāo)僅對(duì)分割區(qū)域的內(nèi)側(cè)較為敏感，而對(duì)圖像外側(cè)反映的分割效果略有不足。

6）圖像的分割精度與成本之間的關(guān)系有待解決，引入注意力機(jī)制、殘差模塊以及Dense 模塊等提高算法性能的同時(shí)，計(jì)算量也大幅增加，導(dǎo)致計(jì)算成本較高。

針對(duì)目前一些臨床和算法技術(shù)上問(wèn)題，結(jié)合已有的臨床經(jīng)驗(yàn)和算法改進(jìn)的方法，對(duì)深度學(xué)習(xí)算法在脊柱圖像分割領(lǐng)域未來(lái)的研究進(jìn)行展望。未來(lái)應(yīng)當(dāng)圍繞以下幾個(gè)方面進(jìn)行改進(jìn)：

1）由于脊柱復(fù)雜的形態(tài)學(xué)結(jié)構(gòu)，無(wú)法從根源上解決分割易受非目標(biāo)特征區(qū)域影響的問(wèn)題，但可以通過(guò)不斷改進(jìn)編碼器-解碼器架構(gòu)來(lái)提高病灶區(qū)域信息的提取能力。在跳躍連接過(guò)程中引入殘差模塊、注意力機(jī)制等可以更好地實(shí)現(xiàn)深層特征信息和淺層特征信息之間的相互融合，從而提高脊柱圖像的分割效果。

2）針對(duì)臨床實(shí)驗(yàn)數(shù)據(jù)集數(shù)量有限以及實(shí)驗(yàn)結(jié)果受到訓(xùn)練模型影響的問(wèn)題，應(yīng)當(dāng)積極促進(jìn)醫(yī)工結(jié)合。在創(chuàng)建脊柱圖像數(shù)據(jù)集的過(guò)程中，要充分發(fā)揮醫(yī)生豐富的臨床經(jīng)驗(yàn)和嫻熟的技術(shù)方法，在醫(yī)生的幫助下對(duì)脊柱圖像進(jìn)行準(zhǔn)確標(biāo)記，同時(shí)醫(yī)生可以結(jié)合深度學(xué)習(xí)選擇合理的閾值進(jìn)行實(shí)驗(yàn)。此外，可以嘗試將多個(gè)數(shù)據(jù)集交叉融合進(jìn)行實(shí)驗(yàn)，交叉數(shù)據(jù)集不僅能提升實(shí)驗(yàn)的有效性，還能提高模型的泛化性能。

3）針對(duì)圖像邊緣信息模糊、噪聲大等問(wèn)題，可以在圖像預(yù)處理環(huán)節(jié)中對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，或采用直方圖均衡化的方法對(duì)圖像的像素信息重新分布，或利用處理過(guò)的損失函數(shù)來(lái)加快模型的收斂速度。實(shí)驗(yàn)證明，上述方法可以在保證圖像病灶區(qū)域準(zhǔn)確分割的同時(shí)，提升分割精度和運(yùn)算效率。此外，可以結(jié)合自監(jiān)督、半監(jiān)督或無(wú)監(jiān)督網(wǎng)絡(luò)來(lái)提升模型的穩(wěn)定性。例如半監(jiān)督和自監(jiān)督學(xué)習(xí)可以通過(guò)利用未標(biāo)記的數(shù)據(jù)和有限的注釋數(shù)據(jù)來(lái)解決實(shí)驗(yàn)需要大量標(biāo)記數(shù)據(jù)集的問(wèn)題，有效地提升圖像分類(lèi)、分割問(wèn)題中訓(xùn)練樣本選擇的效率。一些流行的半監(jiān)督學(xué)習(xí)方法包括使用偽標(biāo)簽進(jìn)行自我訓(xùn)練、熵最小化、一致性正則化等，著重從未標(biāo)記的圖像中提取有用信息，同時(shí)使用有限的標(biāo)記例子。同樣，自監(jiān)督學(xué)習(xí)方法例如基于借口任務(wù)和對(duì)比學(xué)習(xí)的方法，旨在僅使用未標(biāo)記的圖像的預(yù)訓(xùn)練來(lái)學(xué)習(xí)良好的網(wǎng)絡(luò)初始化，再使用有限的注釋來(lái)微調(diào)該初始化，從而獲得良好性能。而無(wú)監(jiān)督學(xué)習(xí)通常用于不包含任何標(biāo)簽信息的數(shù)據(jù)，常用的兩種方法為確定型無(wú)監(jiān)督學(xué)習(xí)和概率型無(wú)監(jiān)督學(xué)習(xí)，先通過(guò)無(wú)監(jiān)督學(xué)習(xí)對(duì)深層神經(jīng)網(wǎng)絡(luò)架構(gòu)初始化，再逐步調(diào)優(yōu)達(dá)到更好的效果。對(duì)于復(fù)雜多變的病灶組織結(jié)構(gòu)，通過(guò)確立組織病理分析的金標(biāo)準(zhǔn)來(lái)規(guī)范分割標(biāo)準(zhǔn)；在模型方面，通過(guò)不斷地改進(jìn)編碼器、解碼器等架構(gòu)來(lái)構(gòu)建合適的模型，可以達(dá)到良好的邊緣分割效果。

4）針對(duì)目前深度學(xué)習(xí)模型不能對(duì)整體區(qū)域進(jìn)行分割的問(wèn)題，應(yīng)當(dāng)更多地結(jié)合多任務(wù)學(xué)習(xí)、多尺度特征提取，通過(guò)融合脊柱多模態(tài)圖像，采用多種深度神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式，在完成對(duì)椎骨圖像分割的同時(shí)，提高椎骨側(cè)彎Cobb 角的測(cè)量度數(shù)，或者準(zhǔn)確快速地分割整張脊柱圖像的病灶區(qū)域，并完成對(duì)病變區(qū)域的檢測(cè)工作。此外，通過(guò)結(jié)合多任務(wù)學(xué)習(xí)還可以在完成脊柱腫瘤圖像分割的同時(shí)，對(duì)腫瘤的良惡性做出有效的判斷。依據(jù)這些目標(biāo)對(duì)算法進(jìn)行改進(jìn)，更多地關(guān)注多任務(wù)學(xué)習(xí)、多尺度特征提取、多模態(tài)融合，有利于提高分割效果，更好地輔助醫(yī)生診斷研究。

5）針對(duì)單一評(píng)價(jià)指標(biāo)分析分割效果的問(wèn)題，可以根據(jù)不同的分割病灶區(qū)域評(píng)價(jià)指標(biāo)的需求，在采用DSC 這一主要評(píng)價(jià)指標(biāo)的基礎(chǔ)上，使用其他評(píng)價(jià)指標(biāo)綜合、全面、系統(tǒng)地分析實(shí)驗(yàn)結(jié)果。

6）關(guān)于分割精度與成本之間的關(guān)系，需要尋求一種合理的方法來(lái)解決這個(gè)問(wèn)題。目前基于深度學(xué)習(xí)的脊柱圖像分割工作在算法和模型上有一些缺陷，例如：卷積層數(shù)高雖然可以更好地提取深層次信息，但層數(shù)加深會(huì)導(dǎo)致運(yùn)算緩慢；CNN 模型雖然有較強(qiáng)的特征提取能力，但邊緣分割模糊以及不能建立遠(yuǎn)距離依賴(lài)關(guān)系的局限性，使其不能完全滿(mǎn)足醫(yī)學(xué)領(lǐng)域?qū)D像分割精度的嚴(yán)格要求。因此，考慮在醫(yī)學(xué)圖像分割中應(yīng)用較多的輕量化網(wǎng)絡(luò)，不僅能夠很好地降低計(jì)算成本和模型復(fù)雜度，提升網(wǎng)絡(luò)運(yùn)算效率，而且能夠保證較高的準(zhǔn)確率。

5 結(jié)束語(yǔ)

目前基于深度學(xué)習(xí)的脊柱圖像分割方法已取得了良好的臨床效果，不僅在精度和準(zhǔn)確率等方面有較大提升，而且還可以幫助醫(yī)生從繁瑣、重復(fù)的工作中解放出來(lái)，減輕醫(yī)生的臨床診斷壓力。本文針對(duì)深度學(xué)習(xí)在脊柱圖像分割中的應(yīng)用展開(kāi)綜述，先詳細(xì)講述常見(jiàn)的脊柱疾病類(lèi)型及其在臨床上的分割難點(diǎn)，以及脊柱圖像分割中常用的數(shù)據(jù)集和評(píng)價(jià)指標(biāo)等要素；再著重介紹CNN 模型、U-Net 模型及其改進(jìn)模型在椎骨、椎間盤(pán)以及脊柱腫瘤圖像分割中的應(yīng)用。實(shí)驗(yàn)結(jié)果表明，深度學(xué)習(xí)模型對(duì)脊柱圖像分割具有良好的效果，相較于傳統(tǒng)分割方法，分割效率有很大的提升，基本滿(mǎn)足了人們對(duì)深度學(xué)習(xí)算法在脊柱臨床分割上的期望，但目前大多數(shù)研究對(duì)圖像邊緣的分割精度還未達(dá)到令人滿(mǎn)意的效果，并且分割精度與成本之間的關(guān)系問(wèn)題亟待解決。因此，未來(lái)需要繼續(xù)將深度學(xué)習(xí)與臨床醫(yī)生的專(zhuān)業(yè)知識(shí)和豐富經(jīng)驗(yàn)相融合，充分發(fā)揮深度學(xué)習(xí)算法中遷移學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、增強(qiáng)學(xué)習(xí)等技術(shù)的優(yōu)勢(shì)，不斷研究適用于圖像分割的模塊，改進(jìn)模型的編碼器-解碼器架構(gòu)，并且在跳躍連接模塊中引入注意力機(jī)制或采用全尺度跳躍連接等方法，來(lái)提高上下文特征信息的提取能力，彌補(bǔ)邊緣分割精度以及計(jì)算冗余的不足，從而促進(jìn)智慧醫(yī)療領(lǐng)域進(jìn)一步發(fā)展。