周瑾，劉國(guó)才, 鞠忠建

430072 武漢，武漢大學(xué) 物理科學(xué)與技術(shù)學(xué)院(周瑾)；410082 長(zhǎng)沙，湖南大學(xué) 電氣與信息工程學(xué)院(劉國(guó)才)；100853 北京，中國(guó)人民解放軍總醫(yī)院第一醫(yī)學(xué)中心 放療科(鞠忠建)

盆腔危及器官(organs at risk，OAR)的準(zhǔn)確分割，對(duì)于直腸癌、前列腺癌、宮頸癌等放射治療計(jì)劃至關(guān)重要。目前臨床實(shí)踐中，主要基于CT圖像手動(dòng)勾畫(huà)，耗時(shí)極長(zhǎng)。而且由于CT圖像對(duì)比度低、個(gè)體差異較大，手動(dòng)勾畫(huà)很大程度上取決于醫(yī)生的技能和經(jīng)驗(yàn)。當(dāng)前機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像的自動(dòng)分割已經(jīng)有很多成功的嘗試。經(jīng)典的機(jī)器學(xué)習(xí)算法，如支持向量機(jī)、隨機(jī)森林、線性回歸、馬爾可夫隨機(jī)場(chǎng)(Markov random field,MRF)等，在醫(yī)學(xué)圖像分割領(lǐng)域已取得初步成果[1-5]。Held等[6]通過(guò)模擬退火或迭代條件模式優(yōu)化的MRF分割MR圖像，多數(shù)情況下錯(cuò)誤率小于10%?；趫D集(atlas)可形變模型曾是醫(yī)學(xué)圖像分割中最流行的方法之一。Tian等[7]用全自動(dòng)多圖集(multi-atlas)在MR圖像上分割前列腺。Vrtovec等[8]系統(tǒng)分析了2008年至2020年基于atlas的方法自動(dòng)分割頭頸部放療存在風(fēng)險(xiǎn)的器官。

近年來(lái)，利用深度學(xué)習(xí)自動(dòng)分割醫(yī)學(xué)圖像成果斐然，并迅速用于放射治療領(lǐng)域[9]。神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，使端到端的圖像處理成為可能，神經(jīng)網(wǎng)絡(luò)模擬了人類(lèi)視覺(jué)信息處理機(jī)制反復(fù)抽象和迭代的過(guò)程，首先將光線像素等信息抽象為圖像邊緣信息，然后再抽象為目標(biāo)物體的某一部位，再抽象為物體輪廓形成對(duì)整個(gè)目標(biāo)的感知。但是，基于CT圖像自動(dòng)分割盆腔器官仍是極具挑戰(zhàn)的工作。例如：器官邊界模糊、位置和體積變化、造影劑使用等，都會(huì)對(duì)結(jié)果造成干擾。尤其盆腔部位的器官和組織形態(tài)變化大，膀胱和直腸的個(gè)體差異性大，與頭部和腹部位置相對(duì)固定的器官不同，對(duì)自動(dòng)勾畫(huà)是極大的挑戰(zhàn)。以往國(guó)內(nèi)外對(duì)盆腔器官的自動(dòng)勾畫(huà)研究普遍基于MR圖像，與CT圖像相比MR提供出色的軟組織對(duì)比度，有助于更好地描繪器官邊界，降低了自動(dòng)勾畫(huà)的難度，然而當(dāng)前的放射治療計(jì)劃工作流是使用CT圖像進(jìn)行輪廓和劑量的計(jì)算，因此盡管CT圖像比MR圖像的分割更具挑戰(zhàn)，但探討基于CT圖像進(jìn)行自動(dòng)分割更具臨床意義。本文就此總結(jié)近五年來(lái)基于深度學(xué)習(xí)對(duì)男性盆腔CT圖像自動(dòng)分割的文獻(xiàn)，介紹使用的網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)集，并分析其分割結(jié)果。

1 深度學(xué)習(xí)網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域中一系列試圖使用多重非線性變換，對(duì)數(shù)據(jù)進(jìn)行多層抽象的算法。通過(guò)組合底層特征形成更加抽象的高層表示、學(xué)習(xí)樣本輸入和輸出之間的非線性映射及輸入向量的隱藏結(jié)構(gòu)，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示[10]?；A(chǔ)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)有人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)、卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural networks，RNN)。其中ANN是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的計(jì)算模型，通過(guò)樣本學(xué)習(xí)不斷調(diào)整神經(jīng)元的權(quán)值和閾值，直到網(wǎng)絡(luò)輸出達(dá)到預(yù)期結(jié)果。CNN層次之間聯(lián)系緊密特別適用于圖像處理，它可以經(jīng)過(guò)少量預(yù)處理從原始數(shù)據(jù)中學(xué)習(xí)到抽象的、本質(zhì)的、深層的特征。RNN通過(guò)循環(huán)，允許信息持久化[11-12]，使用遞歸連接來(lái)存儲(chǔ)和更新上下文信息，從過(guò)去的輸入中計(jì)算出信息用于目標(biāo)輸出。本文提及的應(yīng)用于盆腔器官自動(dòng)分割的網(wǎng)絡(luò)均是在這三類(lèi)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行結(jié)構(gòu)優(yōu)化得到的。

1.2 網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集

1.2.1 男性盆腔數(shù)據(jù)集 在男性盆腔領(lǐng)域，收集到的公共數(shù)據(jù)集主要基于MR圖像。由Brigham and Women’s Hospital提供的QIN PROSTATE，由美國(guó)國(guó)家癌癥研究所提供的Prostate MRI；I2CVB平臺(tái)公布的前列腺M(fèi)R圖像數(shù)據(jù)集等。此外在不少挑戰(zhàn)賽中也提供了基于MR圖像分割的數(shù)據(jù)集，如PROMISE12、2013年ISBI挑戰(zhàn)賽的Prostate 3T、SPIE-AAPM-NCI 挑戰(zhàn)賽的PROSTATEx。而基于CT圖像的男性盆腔公共數(shù)據(jù)集較少，研究者多使用私有數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練和驗(yàn)證。如Men 等[13]收集中國(guó)醫(yī)學(xué)科學(xué)研究院腫瘤醫(yī)院2014年1月至2016年12月278例局部晚期直腸癌患者CT圖像，Samaneh等[14]收集德克薩斯大學(xué)西南醫(yī)學(xué)中心的85例前列腺癌患者的原始CT圖像，Sultana等[15]從外束放射治療的前列腺癌患者中獲得115例男性盆腔CT圖像，分別作為他們各自研究網(wǎng)絡(luò)的數(shù)據(jù)集等。

1.2.2 數(shù)據(jù)集增廣 數(shù)據(jù)增強(qiáng)是目前使用最廣泛的增廣方法[16]，能夠使網(wǎng)絡(luò)具有更復(fù)雜的表征能力，更好地學(xué)習(xí)數(shù)據(jù)集上的特征分布，有效的提高網(wǎng)絡(luò)的泛化性和魯棒性。常用的圖像數(shù)據(jù)增強(qiáng)方法主要在圖像布局、圖像質(zhì)量、圖像外觀等方面進(jìn)行變換，如使用小角度隨機(jī)旋轉(zhuǎn)、平移、彈性形變等變換布局；應(yīng)用高斯噪聲模糊或銳化圖像；調(diào)整圖像亮度、對(duì)比度等調(diào)整圖像外觀。為防止因數(shù)據(jù)集少過(guò)擬合，Xu等[17]將50%隨機(jī)彈性變形應(yīng)用于每個(gè)盆腔CT圖像。Wang等[18]為了豐富訓(xùn)練集提出了一種標(biāo)簽完成策略，以充分利用未注釋的數(shù)據(jù)，實(shí)現(xiàn)男性盆腔CT圖像的數(shù)據(jù)增廣。此外，通過(guò)域適應(yīng)技術(shù)將不同模態(tài)的影像融合，或數(shù)據(jù)集融合技術(shù)融合訓(xùn)練多個(gè)數(shù)據(jù)集，可以充分利用多個(gè)數(shù)據(jù)集的標(biāo)注，實(shí)現(xiàn)多數(shù)據(jù)集共同使用。

1.3 損失函數(shù)

損失函數(shù)通過(guò)預(yù)測(cè)樣本和真實(shí)樣本標(biāo)記產(chǎn)生的誤差進(jìn)行反向傳播，來(lái)指導(dǎo)神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí)，它能幫助網(wǎng)絡(luò)模型更快速、更好地收斂。在設(shè)計(jì)深度學(xué)習(xí)架構(gòu)時(shí)，損失函數(shù)的選擇至關(guān)重要。戴斯損失函數(shù)(Dice loss)是最常應(yīng)用于分割盆腔器官的損失函數(shù)[19]。為了提高醫(yī)學(xué)圖像的分割能力，研究人員對(duì)經(jīng)典損失函數(shù)做出改進(jìn)。Li等[20]提出在交叉熵?fù)p失函數(shù)中添加正則項(xiàng)，以促進(jìn)平滑的分割輸出。Zhou等[21]提出在加權(quán)交叉熵?fù)p失函數(shù)中加入輪廓回歸項(xiàng)，以提高邊界檢測(cè)的質(zhì)量。通過(guò)有限和不完整的注解進(jìn)行訓(xùn)練，Wang等[18]提出了一種混合損失來(lái)優(yōu)化網(wǎng)絡(luò)參數(shù)，完成盆腔器官的體素分類(lèi)和邊界回歸。將盆腔器官邊界信息引入到監(jiān)督中，Wang等[22]定義了一個(gè)多標(biāo)簽交叉熵?fù)p失函數(shù)，以增強(qiáng)網(wǎng)絡(luò)判別能力。

2 基于CT圖像的自動(dòng)分割網(wǎng)絡(luò)

針對(duì)CT圖像分割的特殊性，研究者們嘗試搭建新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)不同深度、寬度、連接性或拓?fù)浣Y(jié)構(gòu)，引入新的網(wǎng)絡(luò)模塊等以適應(yīng)醫(yī)學(xué)圖像的分割要求。并根據(jù)男性盆腔器官特點(diǎn)，通過(guò)改進(jìn)網(wǎng)絡(luò)、優(yōu)化參數(shù)、級(jí)聯(lián)網(wǎng)絡(luò)和增加通道等方法，不斷提高器官的分割精度。

2.1 全卷積神經(jīng)網(wǎng)絡(luò)(fully convolutional network，F(xiàn)CN)

2.1.1 網(wǎng)絡(luò)結(jié)構(gòu) FCN是CNN的高影響力細(xì)分模型之一(圖 1)。FCN能實(shí)現(xiàn)密集輸入，并用卷積層代替完全連接的層達(dá)到像素級(jí)分割[23]，增加跳級(jí)連接使網(wǎng)絡(luò)從端到端同時(shí)獲得多個(gè)層的特征信息[24]，用求和的方式融合不同步幅圖層的信息來(lái)完善空間細(xì)節(jié)，廣泛應(yīng)用于醫(yī)學(xué)圖像分割。Christ等[25]級(jí)聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)和密集三維條件隨機(jī)場(chǎng)(conditional random field, CRF)在基于CT圖像下分割肝臟及其病變。Bai等[26]將FCN應(yīng)用在心臟磁共振成像(cardiac magnetic resonance,CMR)的自動(dòng)分析上。

2.1.2 分割實(shí)例 Men等[13]使用深度擴(kuò)張CNN(deep dilated convolutional neural network，DDCNN)分割直腸癌患者的臨床靶區(qū)(clinical target volume,CTV)和OAR。這是首次將CNN應(yīng)用在盆腔部位CT圖像的CTV細(xì)分上。為了區(qū)分CT圖像中具有相似灰度值、形狀和紋理的組織，使用對(duì)比度限制的自適應(yīng)直方圖均衡算法對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理，以進(jìn)行圖像增強(qiáng)。為了適用于盆腔器官的分割，研究者調(diào)整了原始VGG-16模型網(wǎng)絡(luò)架構(gòu)，用全卷積層替換了完全連接的層，以實(shí)現(xiàn)像素級(jí)的分割。在DDCNN中部署了前端和后端兩個(gè)擴(kuò)展的卷積模塊：前端可以捕獲各種低級(jí)上下文特征，包含多個(gè)尺度盆腔部位器官的強(qiáng)度、紋理和輪廓的原始信息；后端提取高級(jí)上下文特征，在較大的接受域中捕獲整體感知信息。研究選取278例直腸癌患者CT圖像，分為218例訓(xùn)練集和60例測(cè)試集，分割CTV、膀胱、左股骨頭、右股骨頭、腸和結(jié)腸，戴斯相似系數(shù)(Dice similary coefficient,DSC)結(jié)果分別為0.877、0.934、0.921、0.923、0.653和0.618,均優(yōu)于U型網(wǎng)絡(luò)(U-net)0.819、0.912、0.896、0.892、0.576和0.605。

He等[27]基于313例患者盆腔CT圖像數(shù)據(jù)，采用獨(dú)特曲線引導(dǎo)的FCN進(jìn)行分割。第一階段粗略分割3個(gè)骨盆器官區(qū)域；第二階段采用獨(dú)特曲線引導(dǎo)FCN對(duì)建議區(qū)域進(jìn)行精確分割。作者引入的獨(dú)特曲線，提高了FCN自動(dòng)分割能力，能更準(zhǔn)確和有效地表示盆腔CT圖像中的形狀，解決了以往網(wǎng)絡(luò)無(wú)法直接用于CT盆腔器官分割的問(wèn)題。前列腺、膀胱、直腸的分割結(jié)果如下，DSC分別為0.89±0.02、0.94±0.03、0.89±0.05；平均表面距離(average surface distance，ASD)分別為(1.34 ±0.64)mm， (0.94±0.76)mm， (1.38±0.63)mm。

圖1 FCN主要結(jié)構(gòu)[23]

Wang等[22]為解決盆腔器官形狀差異大，腸道氣體和標(biāo)記物造成的不確定性等問(wèn)題，使用具有邊界敏感表示的FCN結(jié)合多標(biāo)簽交叉熵?fù)p失函數(shù)來(lái)分割313例前列腺癌患者CT圖像。首先用器官定位模型選出分割區(qū)域，然后用基于多任務(wù)學(xué)習(xí)的邊界敏感表示模型表達(dá)邊界信息，最后引入邊界敏感的多標(biāo)簽交叉熵?fù)p失函數(shù)訓(xùn)練FCN。其處理盆腔器官CT圖像邊界不清晰的能力優(yōu)于傳統(tǒng)U-net網(wǎng)絡(luò)。應(yīng)用在前列腺、膀胱和直腸的分割結(jié)果顯示DSC分別為0.89±0.03、0.94±0.03、0.89±0.04；ASD分別為(1.32±0.76)mm、(1.15±0.65)mm、(1.53±0.91)mm。

Shi等[28]提出一種級(jí)聯(lián)深域自適應(yīng)(cascaded deep domain adaptation，CDDA)模型，用此模型學(xué)習(xí)信息性的特征表示，來(lái)區(qū)分前列腺和非前列腺區(qū)域。使用CDDA-CNN和CDDA-FCN基于22例盆腔CT圖像分割前列腺。在CDDA中，手動(dòng)描繪不僅可以用作輔助信息以指示相應(yīng)貼片的類(lèi)別，而且還可以用作蒙版圖像以在構(gòu)建的轉(zhuǎn)移序列后增強(qiáng)前列腺外觀。從源和目標(biāo)域的訓(xùn)練圖像中對(duì)前列腺和非前列腺區(qū)域進(jìn)行采樣，以反映內(nèi)部和外部的各種外觀前列腺區(qū)域。用CDDA構(gòu)建轉(zhuǎn)移序列，將手動(dòng)勾畫(huà)作為掩膜圖像，疊加在具有不同掩膜率的原始CT上，生成多個(gè)連續(xù)的源域，從而增強(qiáng)特征值提取。最終CDDA-CNN的分割結(jié)果DSC為0.886±0.006，ASD為(2.15±1.17)mm；CDDA-FCN的分割結(jié)果DSC為0.888±0.005，ASD為(1.64±0.96)mm。

2.2 編-解碼器網(wǎng)絡(luò)

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu) SegNet網(wǎng)絡(luò)[29]解碼器對(duì)根據(jù)位置信息生成的稀疏特征圖進(jìn)行上采樣，再進(jìn)行后續(xù)卷積，恢復(fù)稠密特征圖。 有以下三種類(lèi)型：U-net[30]是一個(gè)對(duì)稱結(jié)構(gòu)，主要分為壓縮路徑和擴(kuò)張路徑，采用跳躍連接融合來(lái)自不同階段的特征;V型網(wǎng)絡(luò)(V-net)是一種FCN的3D圖像分割方法[31]，在U-net中引入殘差學(xué)習(xí)提升收斂，適用于處理醫(yī)學(xué)圖像，Lei等[32]研究表明其在低樣本量數(shù)據(jù)集上分割有很好的效果；密集網(wǎng)絡(luò)(DenseNet)中每一層都以前饋方式直接連接到其他每一層，以確保層與層之間最大信息流[33]，應(yīng)用在醫(yī)學(xué)圖像診斷[34]和器官分割[35]的準(zhǔn)確性均高于傳統(tǒng)的CNN或3D U-net。

2.2.2 分割實(shí)例 Samaneh等[14]設(shè)計(jì)了一個(gè)2D U-net模型(圖2)，使用具有可變內(nèi)核、通道號(hào)和激活函數(shù)的卷積塊，通過(guò)直接學(xué)習(xí)“CT圖像灰度——相應(yīng)的OAR輪廓”的映射函數(shù)，實(shí)現(xiàn)準(zhǔn)確分割。其中，池化部分由上采樣代替，提高了輸出的分辨率，并且將來(lái)自收縮路徑的高分辨率特征圖與擴(kuò)展路徑中的相應(yīng)上采樣特征圖結(jié)合在一起，很大程度上解決了過(guò)擬合問(wèn)題。研究數(shù)據(jù)集包含85套前列腺癌CT圖像，隨機(jī)分配為訓(xùn)練集(60%)、驗(yàn)證集(10%)和測(cè)試集(30%)。用DSC評(píng)估CT圖像中前列腺、膀胱和直腸的分割準(zhǔn)確性，結(jié)果分別為0.88±0.12、0.95±0.04和0.92±0.06。該研究證明了U-net網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過(guò)優(yōu)化也可以成功應(yīng)用于男性骨盆的分割，所提出的方法在標(biāo)準(zhǔn)放射治療計(jì)劃CT掃描上改善了靶標(biāo)與周?chē)＼浗M織之間邊界的自動(dòng)勾畫(huà)。

圖2 Samaneh等[14]的U-net結(jié)構(gòu)圖

Shahedi等[36]將U-net進(jìn)行三維優(yōu)化，并修改了U-net構(gòu)架使其適用于盆腔部位CT圖像，將FCN網(wǎng)絡(luò)優(yōu)化為4級(jí)，在卷積之前對(duì)輸入通道進(jìn)行零填充，使得所有卷積層的輸出通道與輸入通道的大小相同。研究數(shù)據(jù)集包含92套前列腺CT圖像。隨機(jī)選取65%的圖像用于訓(xùn)練，10%用于驗(yàn)證，25%用于測(cè)試。使用DSC、平均絕對(duì)距離(mean absolute distance，MAD)和體積差異(volume difference，ΔV)評(píng)估分割前列腺的結(jié)果，前列腺的DSC為0.83±0.06，MAD 為(2.3±0.6 )mm，ΔV為(1.9±4.0)cm3。所提出的方法參照軸內(nèi)和軸間切片信息，以三維方式完全分割前列腺。這種方法有助于提高分割的魯棒性，表現(xiàn)在因近距離放射治療種子或金屬植入物等產(chǎn)生的CT圖像偽影對(duì)自動(dòng)分割的精度影響很小。

Han等[37]基于3D圖像進(jìn)行分割，采用兩個(gè)V-net分別訓(xùn)練不同分辨率的圖像。第一個(gè)V-net在低分辨率下對(duì)圖像重采樣，用于粗略地定位OAR；第二個(gè)V-net在高分辨率下準(zhǔn)確分割。該研究使用大量數(shù)據(jù)，包含3 483例CT圖像評(píng)估全身16個(gè)OAR，其中男性盆腔CT 圖像474例。研究表明與atlas分割比較，前列腺、膀胱、直腸的分割結(jié)果均大幅度優(yōu)于atlas方法。

Balagopal等[38]提出了一種用于盆腔CT多器官分割的全自動(dòng)工作流，先使用多通道2D U-net進(jìn)行各個(gè)盆腔器官定位；再將3D U-net利用ResNeXt塊進(jìn)行優(yōu)化，可以實(shí)現(xiàn)前列腺等器官的精確分割。該研究是第一個(gè)僅使用深度學(xué)習(xí)進(jìn)行盆腔CT分割的全自動(dòng)工作流。數(shù)據(jù)集包括136例前列腺癌患者的CT圖像，其中80%用于訓(xùn)練，20%用于測(cè)試。評(píng)估前列腺、膀胱、直腸、右股骨頭和左股骨頭的分割結(jié)果，DSC值分別為0.90±0.02、0.95±0.02、0.84±0.04、0.95±0.01和0.96±0.03。

2.3 多模型融合網(wǎng)絡(luò)

除了上述的網(wǎng)絡(luò)被廣泛應(yīng)用于醫(yī)學(xué)圖像分割，還有注意力(attention)機(jī)制和生成對(duì)抗網(wǎng)絡(luò)[39](generative adversarial networks,GAN)以及多種混合網(wǎng)絡(luò)。Attention機(jī)制對(duì)編碼器的所有輸出進(jìn)行加權(quán)組合后輸入到當(dāng)前位置的解碼器中影響解碼器的輸出[40]。在超聲圖像上進(jìn)行前列腺分割[41]以及多個(gè)器官分割[42-43]取得較好效果。GAN的生成器捕捉樣本數(shù)據(jù)的分布試圖生成真實(shí)樣本，鑒別器識(shí)別樣本是否來(lái)自訓(xùn)練數(shù)據(jù)，兩者形成動(dòng)態(tài)的博弈最終達(dá)到平衡?；贑T圖像通過(guò)GAN自動(dòng)分割胸部多器官[44]及胰腺[45]等均取得了優(yōu)異結(jié)果。

Sultana等[15]將GAN與U-net相結(jié)合分割男性盆腔器官，使用從粗分到細(xì)分的方法來(lái)解決盆腔部位CT圖像背景信息過(guò)大等問(wèn)題。粗分割由用手動(dòng)勾畫(huà)訓(xùn)練的3D U-net執(zhí)行，生成僅包含目標(biāo)器官的感興趣區(qū)域(region ofinterest,ROI)定位圖。精細(xì)分割基于手動(dòng)勾畫(huà)和粗分割的ROI定位圖，來(lái)分別對(duì)各器官進(jìn)行CNN(U-net+GAN結(jié)構(gòu)，如圖3所示)訓(xùn)練。此外使用單級(jí)訓(xùn)練，以避免多級(jí)分割的不平衡。該網(wǎng)絡(luò)使用100例CT圖像進(jìn)行訓(xùn)練，在15例圖像上進(jìn)行測(cè)試。用DSC和豪斯多夫距離(Hausdorff distance，HD)分別評(píng)價(jià)分割前列腺、膀胱和直腸的分割結(jié)果，DSC分別為0.90±0.05、0.96±0.06和0.91±0.09；HD分別為(5.21±1.17)mm、(4.37±0.56)mm和(6.11±1.47)mm。

圖3 Sultana等[15]網(wǎng)絡(luò)流程圖和架構(gòu)圖

Kearney等[46]提出一種注意力增強(qiáng)的深度監(jiān)督CNN。用深度監(jiān)督促進(jìn)模型收斂并減輕過(guò)擬合；在3D級(jí)聯(lián)CNN中設(shè)置空間注意門(mén)，有選擇地傳遞信息；利用通道增強(qiáng)技術(shù)增加網(wǎng)絡(luò)的寬度，促進(jìn)收斂并提高通用性。該研究采用120例前列腺癌患者CT圖像，其中80例訓(xùn)練，20例驗(yàn)證，20例測(cè)試。用DSC和ASD評(píng)價(jià)前列腺、膀胱和直腸的分割結(jié)果，DSC分別為0.90±0.01、0.93 ±0.02和0.83±0.02；ASD分別為(0.78±0.49)mm、(0.88±0.67)mm和(1.11±0.71)mm。

Ma等[47]將CNN和Atlas融合，在CT圖像上自動(dòng)分割前列腺。為了避免盆腔CT 圖像上對(duì)比度較低的軟組織對(duì)自動(dòng)分割產(chǎn)生影響，該研究提取了感興趣區(qū)域刪除無(wú)關(guān)背景來(lái)對(duì)前列腺進(jìn)行分割。首先使用2D CNN進(jìn)行初始分割，輸出前列腺及非前列腺區(qū)域。然后將此初始結(jié)果與多個(gè)atlas融合進(jìn)行精細(xì)分割。盡管來(lái)自不同患者的前列腺具有不同的外觀或大小，但它們的解剖結(jié)構(gòu)相似，通過(guò)選擇相似的atlas可以細(xì)化分割并獲得前列腺的最終輪廓。該研究的數(shù)據(jù)集包含92例前列腺CT圖像，分割結(jié)果DSC評(píng)價(jià)為0.868。

Xiong等[48]提出了2D/3D混合模型。用基于CNN的感興趣體積(volumes of interest,VOI)提取方法提取VOI區(qū)域；然后使用3D CNN學(xué)習(xí)提取區(qū)域的三維特征，其中用ResUnit(包含三個(gè)具有殘差函數(shù)的卷積層)替換部分卷積層。研究數(shù)據(jù)集包含150個(gè)前列腺CT圖像，經(jīng)數(shù)據(jù)增強(qiáng)后每個(gè)子集具有3 000幅圖像，利用海量數(shù)據(jù)擴(kuò)充來(lái)使3D CNN捕獲更高的語(yǔ)義特征，最終前列腺分割的DSC為0.897。該研究的新穎之處在于借助了盆腔部位的骨結(jié)構(gòu)獲取包含有前列腺的中間區(qū)域VOI，準(zhǔn)確提取VOI可以提高分割效果。

Xu等[17]使用CNN結(jié)合3D全連接CRF-RNN[49]分割膀胱。首先，通過(guò)預(yù)處理獲取增強(qiáng)膀胱密度圖，與原始CT圖像組成雙通道圖像：增強(qiáng)的密度圖排除了許多無(wú)關(guān)的器官和膀胱周?chē)能浗M織，改善了膀胱與背景的對(duì)比度，原始CT圖像保留背景的細(xì)節(jié)信息；然后用CNN預(yù)測(cè)此雙通道圖像上的粗體素膀胱評(píng)分圖；最后用3D完全連接的CRF-RNN優(yōu)化評(píng)分圖，生成邊界清晰、定位精細(xì)的膀胱概率圖。研究數(shù)據(jù)集包括124例CT圖像，隨機(jī)選擇100例進(jìn)行訓(xùn)練，24例進(jìn)行測(cè)試。為了防止過(guò)擬合，以50%的概率對(duì)每幅CT圖像應(yīng)用隨機(jī)彈性變形。與采用V-net分割作比較，其結(jié)果DSC為0.922，ASD為2.02 mm，體積重疊誤差(volumetric overlap error，VOE)為14.41%，相對(duì)體積差異(relative volume difference，RVD)為-3.40%，均優(yōu)于V-net(0.841，3.39 mm，27.40%，-3.91%)。與相同訓(xùn)練時(shí)期內(nèi)的原始單通道CT圖像相比，深層網(wǎng)絡(luò)從此雙通道數(shù)據(jù)中學(xué)習(xí)到更多有價(jià)值的膀胱特征。

2.4 多模態(tài)混合網(wǎng)絡(luò)分割

Dong等[50]基于140例前列腺癌放療患者的CT圖像，利用合成MRI(sMRI)輔助分割，提出了深度注意U-net(deep attention U-net，DAUnet)。首先將CT圖像輸入循環(huán)GAN生成sMRI，再將sMRI輸入DAUnet中分割器官。網(wǎng)絡(luò)還引入了深度注意機(jī)制，以識(shí)別ROI最相關(guān)的特征，并加入深度監(jiān)督機(jī)制，以增強(qiáng)區(qū)分能力。研究顯示前列腺、膀胱和直腸的DSC分別為0.87±0.04、0.95±0.03和0.89±0.04；ASD分別為(0.93±0.51)mm、(0.52±0.22) mm和(0.92±1.03) mm。

Girum等[51]提出了基于全自動(dòng)深度生成模型的多模態(tài)前列腺分割方法。它是一個(gè)基于嵌入式深度生成神經(jīng)網(wǎng)絡(luò)的模型生成器，可以對(duì)有限的數(shù)據(jù)進(jìn)行訓(xùn)練。該方法的多任務(wù)學(xué)習(xí)框架結(jié)合了卷積特征提取以及基于嵌入式回歸和分類(lèi)的形狀建模，使網(wǎng)絡(luò)能夠預(yù)測(cè)器官的可變形形狀?；谏缮窠?jīng)網(wǎng)絡(luò)的形狀建模在MRI圖像上訓(xùn)練，直接應(yīng)用于CT圖像。該方法在多個(gè)臨床中心的60例T2加權(quán)MRI和40例CT前列腺圖像上進(jìn)行訓(xùn)練，在CT圖像上的前列腺分割表現(xiàn)用DSC和ASD進(jìn)行評(píng)價(jià)，DSC為0.89±0.02，ASD為(0.28±0.09)mm。

3 討 論

盆腔部位的器官，尤其是膀胱、前列腺和直腸3個(gè)器官都是可形變的軟組織，其不同患者的形狀差異性大，充盈程度和腸道氣體影響膀胱和直腸的外觀，還有基準(zhǔn)標(biāo)記物的不確定性。另外，基于CT圖像的盆腔器官，膀胱和直腸邊界不清晰，基準(zhǔn)標(biāo)記物還有可能損害圖像質(zhì)量，因此，要精確自動(dòng)分割盆腔器官是極具挑戰(zhàn)的工作。以DSC為評(píng)價(jià)指標(biāo)，對(duì)以上研究者的網(wǎng)絡(luò)分割情況進(jìn)行比較。選取前列腺、膀胱和直腸三個(gè)盆腔器官作為比較對(duì)象，各研究者網(wǎng)絡(luò)的分割結(jié)果如圖4。膀胱因具有良好的低對(duì)比度可見(jiàn)性和相對(duì)規(guī)則的形狀，在深度學(xué)習(xí)網(wǎng)絡(luò)的自動(dòng)分割中分割結(jié)果比其他兩個(gè)器官好。

基于盆腔CT圖像分割前列腺，Sultana等[15]、Kearney等[46]、Balagopal等[38]的網(wǎng)絡(luò)表現(xiàn)最佳，混合網(wǎng)絡(luò)在分割前列腺方面表現(xiàn)最好，主要優(yōu)勢(shì)在于刪除了不相關(guān)的背景信息，只提取了感興趣區(qū)域，使分割的難度降低；Xu等[17]網(wǎng)絡(luò)分割膀胱效果最差，在提高識(shí)別輪廓精度和通過(guò)多通道圖像提高分割性能上，前者的表現(xiàn)更好，更容易實(shí)現(xiàn)易形變軟組織器官的精確分割；Samaneh等[14]分割直腸的結(jié)果遠(yuǎn)遠(yuǎn)優(yōu)于其他網(wǎng)絡(luò)，主要?dú)w功于網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化后，很大程度解決了過(guò)擬合問(wèn)題。

目前研究者提高盆腔器官CT圖像分割精度的方法主要有三類(lèi)：刪除不相關(guān)背景選取感興趣區(qū)域、提高輪廓邊界識(shí)別度、改變圖像對(duì)比度以識(shí)別不同器官。結(jié)合近五年的基于深度學(xué)習(xí)對(duì)男性盆腔CT圖像自動(dòng)分割的研究，發(fā)現(xiàn)通過(guò)選取感興趣區(qū)域?qū)ε枨黄鞴俚姆指钚Ч詈?，該方法?guī)避了盆腔CT圖像背景信息大，多個(gè)軟組織器官對(duì)比度低的問(wèn)題，但沒(méi)有正面解決基于CT圖像分割盆腔器官的難點(diǎn)。最近新提出的利用CT圖像中顯著的骨骼結(jié)構(gòu)來(lái)定位骨盆區(qū)域，以迭代方式增強(qiáng)模型的功能，以及多模態(tài)混合網(wǎng)絡(luò)分割方法，都給精確分割盆腔器官CT圖像提供了新的研究思路，其目前表現(xiàn)尚可[50-51]。

圖4 各研究者基于CT圖像分割前列腺、膀胱和直腸的DSC結(jié)果比較

4 總結(jié)與展望

醫(yī)學(xué)圖像由于背景信息大、樣本個(gè)體差異等問(wèn)題，直接使用通用的圖像分割方法效果不佳，因此研究人員通過(guò)構(gòu)建各種改進(jìn)網(wǎng)絡(luò)，來(lái)提高醫(yī)學(xué)圖像分割的準(zhǔn)確率。研究取得了顯著進(jìn)展，分割精度已經(jīng)超過(guò)了傳統(tǒng)方法，部分結(jié)果可與專(zhuān)家手動(dòng)分割相媲美。近幾年利用深度學(xué)習(xí)基于CT圖像分割男性盆腔器官的研究顯示，網(wǎng)絡(luò)結(jié)構(gòu)多以CNN、FCN、U-net為基礎(chǔ)，吸納注意力機(jī)制、殘差結(jié)構(gòu)、GAN等其它成果優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)；多尺度多層次處理輸入圖像，擴(kuò)大信息接受范圍；增加通道等方法，提高分割性能。此外，為了讓網(wǎng)絡(luò)更好的適用于醫(yī)學(xué)圖像的分割，研究人員對(duì)損失函數(shù)和數(shù)據(jù)集也做出改進(jìn)。但缺乏更有針對(duì)性的分割算法、優(yōu)化參數(shù)過(guò)多仍是制約其推廣的重要瓶頸。另外，使用患者病灶圖像所涉及的人倫道德和隱私法律，缺乏高質(zhì)量的醫(yī)學(xué)圖像人工標(biāo)注和男性盆腔CT圖像公共數(shù)據(jù)集，醫(yī)學(xué)圖像數(shù)據(jù)的標(biāo)準(zhǔn)化等仍是該領(lǐng)域研究需要解決的問(wèn)題。

隨著計(jì)算機(jī)視覺(jué)及人工智能的發(fā)展，醫(yī)學(xué)圖像分割的準(zhǔn)確率不斷上升，為醫(yī)學(xué)診斷和治療提供了極大的幫助。加強(qiáng)領(lǐng)域間合作，協(xié)助人工智能研究人員開(kāi)發(fā)出更符合醫(yī)學(xué)圖像分割需求的深度學(xué)習(xí)算法；為克服數(shù)據(jù)缺乏問(wèn)題，建立醫(yī)學(xué)影像庫(kù)，實(shí)現(xiàn)數(shù)據(jù)資源共享；對(duì)缺乏大量數(shù)據(jù)支持的醫(yī)學(xué)圖像分割，考慮將深度學(xué)習(xí)的研究從有監(jiān)督領(lǐng)域轉(zhuǎn)移到半監(jiān)督或無(wú)監(jiān)督領(lǐng)域等是我們未來(lái)的發(fā)展方向。

doi:10.1109/TNNLS.2020.2995319.

doi:10.1109/TIP.2019.2919937