文曉博,袁美芳,趙 彪,孫夢真,胡曉慶,楊 毅

(昆明醫(yī)科大學(xué)第三附屬醫(yī)院,云南省腫瘤醫(yī)院放射治療科,昆明 650118;*通訊作者,E-mail:yiyangrt@126.com)

2018年全球癌癥統(tǒng)計數(shù)據(jù)顯示,乳腺癌和鼻咽癌的發(fā)病率和死亡率均處于較高水平[1]。由于甲狀腺的毗鄰位置與解剖學(xué)結(jié)構(gòu),使其在放射治療過程中容易造成不可避免的損傷,可能會引發(fā)甲狀腺功能衰退和甲狀腺炎等不良反應(yīng)[2-6]。有研究表明,甲狀腺功能衰退的發(fā)病率與甲狀腺在放射治療中的受照劑量有關(guān)[3],因此,在放射治療方案的實施中,需要將甲狀腺作為危及器官勾畫出來,嚴(yán)格限制劑量,從而有效地減少甲狀腺不良反應(yīng)的發(fā)生[4-6]。但目前危及器官的勾畫大多是由醫(yī)師手動勾畫,這種方式費時、費力且主觀性較大,對甲狀腺的保護(hù)效果存在差異,因此甲狀腺的自動分割有著重要的臨床意義。

傳統(tǒng)的醫(yī)學(xué)圖像分割通常使用基于閾值、區(qū)域生長、聚類、分水嶺等分割方式來對醫(yī)學(xué)灰度圖像進(jìn)行分割[7-10],這些方法雖然能夠有效地分割圖像上的目標(biāo)物體,但都存在部分缺陷且需要大量的實驗和經(jīng)驗才能夠得到較好的結(jié)果。隨著人工智能的發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的圖像分割方式逐漸應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域且在圖像上能得到很好分割效果[11,12]。在甲狀腺的自動分割中,主要面對的問題是:①甲狀腺是小體積目標(biāo),在整幅影像圖中所占像素較小,屬于極度不平衡類分割,使用傳統(tǒng)的交叉熵?fù)p失函數(shù)不一定能獲得較好的結(jié)果;②甲狀腺周圍存在較多灰度相近的血管,使得模型在分割甲狀腺時容易將血管歸為甲狀腺或者甲狀腺分割不全;③不同病人的甲狀腺之間存在個體差異,而且不同切片的甲狀腺體積差異也可能較大,使得模型訓(xùn)練難度加大。目前的研究中,甲狀腺神經(jīng)網(wǎng)絡(luò)方面的研究主要是基于B超圖像對甲狀腺結(jié)節(jié)進(jìn)行診斷和對腫瘤進(jìn)行分割[13],而對于放射治療中大孔徑模擬定位CT上甲狀腺分割未見有相關(guān)報道。大孔徑CT由于其孔徑大和排數(shù)小且圖像質(zhì)量相對較差,需要進(jìn)一步研究來觀察神經(jīng)網(wǎng)絡(luò)的分割效果。本研究選用了基于GDL損失函數(shù)的U-net神經(jīng)網(wǎng)絡(luò)在放療定位CT上對甲狀腺進(jìn)行分割,以期為臨床自動勾畫甲狀腺提供幫助。

1 材料與方法

1.1 數(shù)據(jù)集獲取

本實驗數(shù)據(jù)集來自于2014年6月至2019年4月在云南省腫瘤醫(yī)院放射治療科同一主診組收治的鼻咽癌和乳腺癌患者76例,每位患者均已行西門子大孔徑CT模擬定位,層厚為5 mm或3 mm,數(shù)據(jù)格式為DICOM文件。為了保證U-net網(wǎng)絡(luò)模型能夠正確學(xué)習(xí)甲狀腺的解剖學(xué)結(jié)構(gòu)并對測試集做出正確的分割,需要制作標(biāo)簽圖。標(biāo)簽圖由3位高年資影像學(xué)醫(yī)師通過3D slicer勾畫軟件對甲狀腺勾畫并導(dǎo)出為DICOM格式,再由Matlab進(jìn)行圖像平滑等處理后將格式轉(zhuǎn)換為PNG格式,得到訓(xùn)練集、驗證集及測試集標(biāo)準(zhǔn)標(biāo)簽圖,將定位CT與標(biāo)簽圖一一對應(yīng)制作標(biāo)準(zhǔn)數(shù)據(jù)集(見圖1)。

A.放療定位CT圖像 B.對應(yīng)標(biāo)簽圖圖1 甲狀腺標(biāo)準(zhǔn)數(shù)據(jù)集示意圖Figure 1 Standard data set of thyroid

1.2 數(shù)據(jù)預(yù)處理

由于3D slicer導(dǎo)出的圖像為灰度圖像,因此我們將圖像進(jìn)行HU值轉(zhuǎn)換操作,將其轉(zhuǎn)變?yōu)镃T值后進(jìn)行圖像預(yù)處理。在本文的研究中,我們采用了HU值轉(zhuǎn)換、窗口化操作、直方圖均衡化和圖像歸一化操作。

由于需要觀察模型的運行情況以及結(jié)果,甲狀腺的數(shù)據(jù)集被劃分為3個子數(shù)據(jù)集,分別為訓(xùn)練集、驗證集、測試集。其中訓(xùn)練集用于模型學(xué)習(xí)甲狀腺的特征結(jié)構(gòu),驗證集用于驗證模型訓(xùn)練過程中的準(zhǔn)確性以及是否過擬合,測試集用于測試模型的泛化能力并評價模型的性能與分割能力。

U-net模型具有層數(shù)少、深度淺、參數(shù)少的特點,容易導(dǎo)致過擬合現(xiàn)象,因此為了增加網(wǎng)絡(luò)的泛化性和魯棒性,同時防止模型過擬合,我們對數(shù)據(jù)進(jìn)行了擴(kuò)充。本研究調(diào)用了Keras中ImageDataGenerator類來對數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)、平移和縮放等操作,最終擴(kuò)充后的訓(xùn)練集數(shù)據(jù)為2 157張。

1.3 U-net網(wǎng)絡(luò)架構(gòu)

U-net網(wǎng)絡(luò)結(jié)構(gòu)因其對稱結(jié)構(gòu)與英文字母“U”相似而得此名，主要由下采樣、上采樣以及“橋”連接三部分組成,其網(wǎng)絡(luò)結(jié)構(gòu)見圖2[14]。左邊稱為下采樣，也叫壓縮路徑或編碼器(encoder)，主要作用是提取圖像的淺層特征，如圖像的位置信息；右邊稱為上采樣，也叫擴(kuò)展路徑或解碼器(decoder)，主要作用是提取圖像的深層特征，如圖像中像素的類別信息；中間的箭頭表示“橋”連接，也叫跳躍連接(skip connection, SC)，主要作用是把下采樣得到的特征圖與上采樣得到的特征圖進(jìn)行復(fù)制拼接，形成一個同時具有深層次和淺層次信息的特征圖，實現(xiàn)更為有效的分割。除此之外，上、下采樣和“橋”連接部分由卷積層、池化層、反卷積層以及激勵層組成。其中卷積層用于提取甲狀腺圖像的特征；池化層用于下采樣部分，其將獲取的特征數(shù)據(jù)和參數(shù)進(jìn)行壓縮，減少模型過擬合；反卷積層用來還原特征圖的尺寸大小，使得最后輸出大小與原圖大小一致；激勵層是將卷積所得的輸出進(jìn)行一個非線性映射，來保證模型能夠更好地擬合圖像。本研究所使用的激活函數(shù)為ReLU，最后輸出層使用Sigmoid函數(shù)對像素點進(jìn)行分類。

在本文中，輸入是甲狀腺CT圖像，大小為512×512×1(512×512表示CT圖像的長和寬，1表示CT圖像的通道數(shù))；先經(jīng)過左側(cè)4個block進(jìn)行編碼(1個block包括2個3×3卷積核和1個2×2的最大池化層)，作用是提取CT圖像中甲狀腺像素的位置信息；再經(jīng)過右側(cè)4個block進(jìn)行解碼(1個block包括2個3×3的卷積核和1個2×2的反卷積核)，作用是提取CT圖像中甲狀腺像素的類別信息；中間的“橋”將編碼路徑中的位置特征裁剪復(fù)制到右側(cè)的解碼路徑，進(jìn)行特征融合，提高分割精度；最后的輸出層是通過1×1的卷積和Sigmoid函數(shù)將CT圖像中概率值大于0.5的像素識別為甲狀腺，即分割出CT圖像中的甲狀腺。

藍(lán)色方框代表獲取甲狀腺特征后的特征圖;白色方框代表復(fù)制的特征融合部分;深藍(lán)色箭頭代表一個3×3的卷積和一個ReLU激活函數(shù);灰色箭頭代表剪切復(fù)制操作;紅色箭頭代表2×2的最大池化層;綠色箭頭代表2×2的反卷積;淺藍(lán)色箭頭代表1×1的卷積圖2 U-net神經(jīng)網(wǎng)絡(luò)架構(gòu)Figure 2 U-net neural network architecture

其中rln為類別l在第n個像素的標(biāo)準(zhǔn)值,Pln為預(yù)測的像素概率值,ωl為每個類別的權(quán)重。GDL能夠有效地平衡病灶和Dice系數(shù)之間的關(guān)系。

1.4 評價指標(biāo)

本研究從深度學(xué)習(xí)傳統(tǒng)評價指標(biāo)和醫(yī)學(xué)常用指標(biāo)中分別選取幾個評價指標(biāo)對模型預(yù)測結(jié)果進(jìn)行評價。

1.4.1 Dice系數(shù) Dice系數(shù)是一種集合相似度度量函數(shù),其一般用來比較兩樣本的相似程度,值域為[0,1],公式如下:

其中X表示由醫(yī)生勾畫的標(biāo)準(zhǔn)分割圖,Y為神經(jīng)網(wǎng)絡(luò)模型分割出的預(yù)測圖,|X∩Y|表示醫(yī)生所勾畫的標(biāo)準(zhǔn)圖與模型所預(yù)測圖的相同部分。Dice系數(shù)的值越接近于1,表明模型訓(xùn)練結(jié)果越好,反之越差。

1.4.2 Jaccard系數(shù) Jaccard系數(shù)(Jaccard similarity coefficient)與Dice系數(shù)相似,其為標(biāo)準(zhǔn)分割圖與模型預(yù)測圖的交集與兩者的并集的比值,公式如下:

其中X和Y的表示與Dice系數(shù)相同,其值越接近與1,模型結(jié)果越好,反之亦然。

1.4.3 箱型圖 箱型圖可以直觀地顯示數(shù)據(jù)的分布情況,能有效地反映數(shù)據(jù)中地異常值與離散程度(見圖3)。

1.5 模型運行環(huán)境與參數(shù)

模型搭建使用TensorFlow封裝的Keras,采用Python3進(jìn)行模型的編程,操作系統(tǒng)為Windows10,CPU為Intelcorei7-8750H,GPU為NVIDIA GTX1060 6G。模型的訓(xùn)練參數(shù):批量大小(Batch size)為2、訓(xùn)練批次(Epoch)為80、圖像大小(Image size)為512×512像素(Pixel)、學(xué)習(xí)率(Learning rate)為0.000 01。

圖3 箱型圖示意圖Figure 3 Sketch map of box plot

2 實驗結(jié)果與分析

2.1 測試集影像圖以及實驗結(jié)果分析

為了測試模型的泛化性與魯棒性,我們選取了9個病人,共123張含有甲狀腺的CT切片組成測試集,分別使用基于Dice和GDL損失函數(shù)的U-net網(wǎng)絡(luò)模型來分割測試集甲狀腺,并挑取兩張分割結(jié)果圖進(jìn)行直觀對比(見圖4,5)。由圖4可以看出,在兩模型的分割中,與基于Dice損失函數(shù)的U-net模型相比,基于GDL損失函數(shù)的U-net模型,甲狀腺右葉欠分割現(xiàn)象有所改善。由圖5可以看出,雖然基于GDL損失函數(shù)的U-net模型所分割的甲狀腺仍存在部分過分割現(xiàn)象,但相較于基于Dice損失函數(shù)的U-net模型,基于GDL損失函數(shù)的U-net模型在甲狀腺右葉的預(yù)測分割中很好地將甲狀腺與周圍血管組織等分割開來。因此,在甲狀腺結(jié)構(gòu)分割預(yù)測中,基于GDL損失函數(shù)U-net模型預(yù)測與專家差異較小,且邊緣較光滑。雖然細(xì)微處仍出現(xiàn)部分過、欠分割現(xiàn)象,但與之前基于Dice損失函數(shù)的U-net網(wǎng)絡(luò)模型預(yù)測相比,邊緣較光滑,過、欠分割效果有所改善,結(jié)果更接近甲狀腺的結(jié)構(gòu)。

A.包含甲狀腺的原始CT圖 B.專家勾畫的相應(yīng)的甲狀腺標(biāo)簽圖 C.基于Dice損失函數(shù)模型預(yù)測圖 D.基于GDL損失函數(shù)預(yù)測圖圖4 基于Dice和GDL損失函數(shù)U-net模型測試集欠分割結(jié)果改善對比圖Figure 4 Comparison of under-segmentation of thyroid between Dice-based U-net network and GDL-based U-net network in the test set

A.包含甲狀腺的原始CT圖 B.專家勾畫的相應(yīng)的甲狀腺標(biāo)簽圖 C.基于Dice損失函數(shù)模型預(yù)測圖 D.基于GDL損失函數(shù)預(yù)測圖圖5 基于Dice和GDL損失函數(shù)U-net模型測試集過分割結(jié)果改善對比圖Figure 5 Comparison of over-segmentation of thyroid between Dice-based U-net network and GDL-based U-net network in the test set

測試集基于GDL損失函數(shù)的U-net網(wǎng)絡(luò)分割Dice評價指標(biāo)為0.81±0.15,Jaccard評價指標(biāo)為0.70±0.17(見表1),Dice和Jaccard的結(jié)果越接近1,表示模型預(yù)測結(jié)果與專家標(biāo)準(zhǔn)勾畫越接近,模型效果越好。測試集評價指標(biāo)結(jié)果表明相較于基于Dice損失函數(shù)的U-net模型,Dice和Jaccard均分別上升3.0%(0.78±0.16vs0.81±0.15;0.67±0.17vs0.70±0.17)。

表1 不同神經(jīng)網(wǎng)絡(luò)模型測試集Dice和Jaccard評價指標(biāo)比較

2.2 測試集箱型圖實驗結(jié)果

為了更加直觀地反映數(shù)據(jù)的分布情況,我們將測試集的兩個評價指標(biāo)結(jié)果進(jìn)行箱型圖繪制,結(jié)果見圖6,7。從圖中可以看出,雖然基于GDL損失函數(shù)的U-net模型有較多的異常值,但異常值都更接近于中位線,而且基于GDL損失函數(shù)的U-net模型Dice箱型圖和Jaccard箱型圖均值和中位線均高于基于Dice損失函數(shù)的U-net模型且Dice箱型圖的上下四分位數(shù)差值較小,這說明GDL有效改進(jìn)了模型分割甲狀腺的能力。對于存在的異常值,可能的原因是甲狀腺體積過小,導(dǎo)致模型誤分割影響較為明顯。因此,如何再進(jìn)一步提升模型對甲狀腺體積過小部分的分割能力是改進(jìn)模型的要點。

圖6 基于Dice損失函數(shù)U-net模型與基于GDL損失函數(shù)U-net模型測試集Dice箱型圖Figure 6 Box plot of Dice in the test set of Dice-based U-net and GDL-based U-net

圖7 基于Dice損失函數(shù)U-net模型與基于GDL損失函數(shù)U-net模型測試集Jaccard箱型圖Figure 7 Box plot of Jaccard in the test set of Dice-based U-net and GDL-based U-net

3 討論

隨著人工智能的發(fā)展以及放射治療領(lǐng)域勞動力缺乏,基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的靶區(qū)和危及器官的分割被廣泛應(yīng)用。Zhe等[16]使用3D卷積和密集連接(dense net,DNN)的模型在PET/CT圖像上對頭頸部腫瘤GTV(gross tumor volume)輪廓自動分割,其中多模態(tài)DNN的Dice系數(shù)可以達(dá)到0.73為一個較為精確的值。Ibragimov等[17]使用卷積神經(jīng)網(wǎng)絡(luò)對頭頸部的危及器官進(jìn)行了預(yù)測分割,其中除視交叉外,其余危及器官的Dice系數(shù)均值均大于0.6。楊鑫等[18]采用了自適應(yīng)U-net對鼻咽癌放療危及器官進(jìn)行預(yù)測分割,結(jié)果顯示,在12個危及器官中最低的Dice系數(shù)為0.73,平均值為0.86,其中甲狀腺的Dice系數(shù)為0.83略低于平均值。

在本文中,我們采用了基于GDL損失函數(shù)的U-net神經(jīng)網(wǎng)絡(luò)模型對放療定位CT中的甲狀腺進(jìn)行自動分割,由于甲狀腺較小的解剖學(xué)結(jié)構(gòu)和毗鄰關(guān)系,使得精準(zhǔn)分割甲狀腺的邊緣十分困難。U-net模型雖然采用了反卷積以及跳遠(yuǎn)連接特征融合的方式來避免信息的丟失,但由于存在多個卷積和池化步驟,在訓(xùn)練過程中仍容易丟失甲狀腺的特征信息,一般通過增加數(shù)據(jù)集和改進(jìn)損失函數(shù)的方式來減少損失。在研究中,我們使用了基于Dice損失函數(shù)和GDL損失函數(shù)的U-net的神經(jīng)網(wǎng)絡(luò)分別對同一數(shù)據(jù)集進(jìn)行訓(xùn)練和模型預(yù)測,測試集評價指標(biāo)結(jié)果表明,基于GDL損失函數(shù)U-net模型分割的甲狀腺與專家標(biāo)準(zhǔn)分割的甲狀腺結(jié)構(gòu)更加相似,能夠達(dá)到臨床的基本要求,相較于基于Dice損失函數(shù)的U-net模型過、欠分割現(xiàn)象有所改善,同時Dice系數(shù)和Jaccard系數(shù)兩個評價指標(biāo)均上升了3.0%(0.78±0.16vs0.81±0.15;0.67±0.17vs0.70±0.17),這與Hashemi等[15]的研究結(jié)果一致。Zijdenbos等[19]提出Dice>0.7則分割結(jié)果達(dá)到基本標(biāo)準(zhǔn),基于GDL損失函數(shù)的U-net深度學(xué)習(xí)模型的Dice值可達(dá)到0.81,要高于此標(biāo)準(zhǔn),表明該模型對甲狀腺的分割有著較好的效果。同時,影像學(xué)結(jié)果表明,相較于基于Dice損失函數(shù)的U-net模型,基于GDL損失函數(shù)的U-net模型預(yù)測的甲狀腺邊緣更光滑更接近于真實解剖結(jié)構(gòu),但其結(jié)果仍存在部分甲狀腺過、欠分割現(xiàn)象。如何進(jìn)一步精準(zhǔn)分割甲狀腺和消除過、欠分割現(xiàn)象是下一步研究的主要方向。