謝 飛,權(quán)媚陽(yáng),管子玉,段 群

(1.西北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院,陜西 西安 710129;2.西安電子科技大學(xué) 前沿交叉研究院，陜西 西安 710126;3.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;4.咸陽(yáng)師范學(xué)院 計(jì)算機(jī)學(xué)院,陜西 咸陽(yáng) 712000)

人的腹部從解剖學(xué)上來(lái)看指的是胸底橫膈膜到骨盆之間的部分,其中包含了人體許多重要器官,如胃、胰腺、脾臟、腎臟、肝臟、膽囊、腸道等。由于近些年環(huán)境氣候的不斷惡化、人們生活方式的轉(zhuǎn)變、食品安全事故頻發(fā)等原因,導(dǎo)致腹部重要臟器的發(fā)病率和患癌率逐年升高[1]。在傳統(tǒng)的診斷方式中,醫(yī)生一般通過(guò)問(wèn)診、望診及觸診等方式并結(jié)合臨床經(jīng)驗(yàn)進(jìn)行診斷。當(dāng)腹部器官疾病發(fā)生時(shí),很多患者都只有腹部的輕微疼痛,這樣的癥狀描述導(dǎo)致醫(yī)生診斷時(shí)很難做出精準(zhǔn)的判斷,難免會(huì)出現(xiàn)診斷偏差的情況。隨著計(jì)算機(jī)斷層掃描(CT)、核磁共振成像(MRI)等醫(yī)學(xué)影像技術(shù)的廣泛應(yīng)用,使得醫(yī)生可以對(duì)人體內(nèi)部的組織病變結(jié)構(gòu)產(chǎn)生更加直觀(guān)的觀(guān)察,從而做出更精確的診斷,因此，CT掃描也成為腹部相關(guān)疾病診斷的常規(guī)檢查方式[2]。在腹部CT圖像中,準(zhǔn)確地對(duì)腹部器官進(jìn)行分割，有助于器官病灶分割檢測(cè)算法的研究,可以幫助醫(yī)生制定更精準(zhǔn)的手術(shù)方案,也是腹部器官三維重建的重要步驟。然而,由于時(shí)間和人力成本過(guò)高,進(jìn)行大規(guī)模的臨床數(shù)據(jù)手工分割是不切實(shí)際的?；贑T的腹部多器官圖像分割算法可以自動(dòng)從影像中提取器官的重要信息,并且可以批量處理臨床數(shù)據(jù),大大節(jié)省了時(shí)間和人工成本,同時(shí)能獲取精度更高的結(jié)果[3]。

隨著計(jì)算機(jī)性能的提高和深度學(xué)習(xí)領(lǐng)域的快速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)(CNN)已廣泛應(yīng)用于醫(yī)學(xué)圖像分割和檢測(cè),并取得顯著成效[4-5]。就圖像分割而言, 從FCN[6]、U-Net[7]到Mask R-CNN[8],網(wǎng)絡(luò)模型性能越來(lái)越好。目前深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像的腫瘤分割、器官檢測(cè)和分割等方面都得到了廣泛應(yīng)用,并取得了一定的研究成果,但它們針對(duì)的是單器官分割問(wèn)題,基于深度學(xué)習(xí)的多器官分割方法的研究尚處于起步階段。Roth等人采用了3D全卷積網(wǎng)絡(luò)進(jìn)行多器官圖像分割[9]；Eli等人提出了一個(gè)基于FCN的網(wǎng)絡(luò)DenseVNet用于腹部多器官圖像分割[10],實(shí)驗(yàn)結(jié)果表明該網(wǎng)絡(luò)模型比基礎(chǔ)網(wǎng)絡(luò)模型分割準(zhǔn)確率高Wang等人提出了一種帶有反向連接的器官注意網(wǎng)絡(luò)(OAN-RC)的新穎框架用于腹部多器官分割[11],實(shí)驗(yàn)結(jié)果表明該網(wǎng)絡(luò)框架提供了強(qiáng)大的分割效果并優(yōu)于基礎(chǔ)方法。這些深度學(xué)習(xí)算法在多器官圖像分割任務(wù)中都表現(xiàn)出了較好的效果,同時(shí)也存在一些共同問(wèn)題:針對(duì)位置相對(duì)固定且體積較大的器官有較好的分割效果,比如肝臟、左右腎臟、脾臟器官等;但針對(duì)血管、腸道、胰腺等形變較大、體積較小且組織邊緣模糊的器官分割效果相對(duì)較差。

由于CT成像技術(shù)和成像設(shè)備本身的限制,以及病人個(gè)體差異等原因的影響,導(dǎo)致腹部CT圖像往往表現(xiàn)出噪聲、不規(guī)則等特征。除此之外,腹部CT圖像的背景復(fù)雜、組織邊緣模糊、分割的器官區(qū)域形狀變化大等表現(xiàn)都為腹部圖像多器官分割帶來(lái)了一定的挑戰(zhàn)，如圖1所示。

圖1 腹部CT橫斷面圖像示意

針對(duì)多器官圖像分割存在的問(wèn)題,本文選擇兩個(gè)易分割器官肝臟、胃和兩個(gè)不易分割器官胰腺、腸道,提出了一種基于改進(jìn)nnUNet的腹部多器官圖像分割方法。實(shí)驗(yàn)結(jié)果表明,相比傳統(tǒng)的腹部多器官分割網(wǎng)絡(luò),基于改進(jìn)nnUNet網(wǎng)絡(luò)有更好的多器官圖像分割能力。

1 相關(guān)工作

2016年,Ronneberger[7]等人提出了一種基于FCN改進(jìn)的全卷積圖像分割網(wǎng)絡(luò)U-Net。U-Net網(wǎng)絡(luò)在被提出后,就大范圍地用于醫(yī)學(xué)圖像的分割,并展現(xiàn)出了優(yōu)秀的性能。該網(wǎng)絡(luò)結(jié)構(gòu)主要分為3部分:下采樣、上采樣以及跳躍連接。網(wǎng)絡(luò)的下采樣是編碼的過(guò)程,通過(guò)卷積和下采樣來(lái)降低圖像尺寸,并進(jìn)行特征提??；網(wǎng)絡(luò)的上采樣是解碼的過(guò)程,把下采樣過(guò)程中的抽象特征通過(guò)反卷積來(lái)恢復(fù)到原圖尺寸, 最終得到分割結(jié)果；通過(guò)concat的方式完成跳躍連接,實(shí)現(xiàn)了特征融合的結(jié)構(gòu),提高了分割精度。因此,該網(wǎng)絡(luò)模型非常適用于醫(yī)學(xué)圖像分割。

Isensee[12]等人在2018年提出一種魯棒的基于2D-UNet和3D-UNet的自適應(yīng)框架nnUNet。作者認(rèn)為不同的圖像分割任務(wù)需要不同的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)擴(kuò)增、超參數(shù)、前處理方法、后處理方法的特殊Pipline設(shè)置。這些設(shè)置常常依賴(lài)于人工智能專(zhuān)家的高級(jí)知識(shí)和經(jīng)驗(yàn),并且一個(gè)小的超參數(shù)設(shè)置偏差就可能導(dǎo)致模型的分割性能大大降低。特別是對(duì)于三維生物醫(yī)學(xué)影像分割問(wèn)題,由于不同數(shù)據(jù)集的模態(tài)不同，且分辨率大小存在差異等原因,使得實(shí)驗(yàn)者難以設(shè)置出一個(gè)最佳Pipline進(jìn)行處理。除此之外,不同硬件的顯存也會(huì)對(duì)參數(shù)造成巨大影響,且對(duì)算法設(shè)計(jì)者的相關(guān)知識(shí)要求較高。因此，nnUNet網(wǎng)絡(luò)結(jié)構(gòu)基于原始的UNet網(wǎng)絡(luò)結(jié)構(gòu)做了很小的修改,把重心放在預(yù)處理、訓(xùn)練、推理策略、后處理上。在各種任務(wù)上拿這個(gè)框架和目前的STOA方法進(jìn)行了比較,且該方法不需要手動(dòng)調(diào)參,最終nnUNet表現(xiàn)了最高的性能。

雖然nnUNet在很多醫(yī)學(xué)影像分割任務(wù)上都表現(xiàn)出了優(yōu)秀的性能,但在多器官圖像分割中,還會(huì)出現(xiàn)傳統(tǒng)網(wǎng)絡(luò)分割中存在的共同問(wèn)題,即對(duì)形變較大、體積較小且組織邊緣模糊的器官分割效果相對(duì)較差。本文針對(duì)此問(wèn)題,對(duì)nnUNet的網(wǎng)絡(luò)模型進(jìn)行了改進(jìn),使得網(wǎng)絡(luò)的分割效果得到提升。

2 基于改進(jìn)nnUNet腹部多器官圖像分割方法

2.1 數(shù)據(jù)預(yù)處理

在卷積神經(jīng)網(wǎng)絡(luò)中,如果數(shù)據(jù)量過(guò)少將會(huì)使網(wǎng)絡(luò)訓(xùn)練困難,并且易出現(xiàn)過(guò)擬合的現(xiàn)象。如果增加數(shù)據(jù)集的數(shù)量,可以提高深度神經(jīng)網(wǎng)絡(luò)的泛化性和分割性能[13]。尤其是在醫(yī)學(xué)圖像中,由于數(shù)據(jù)隱私性、標(biāo)注成本過(guò)高等原因,導(dǎo)致可用于訓(xùn)練的標(biāo)注數(shù)據(jù)非常少。因此在醫(yī)學(xué)圖像的預(yù)處理中,對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)是十分必要的。nnUNet網(wǎng)絡(luò)在數(shù)據(jù)擴(kuò)增中使用了旋轉(zhuǎn)和縮放、高斯加噪、高斯模糊、亮度處理、對(duì)比度處理、低像素仿真伽馬增強(qiáng)和鏡像處理的方式來(lái)增加數(shù)據(jù)量。除此之外,本文增加了平移處理和隨機(jī)剪切對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng),加大訓(xùn)練數(shù)據(jù)量。

在醫(yī)學(xué)圖像的數(shù)據(jù)集中, 往往存在不同像素間隔的數(shù)據(jù),因此在預(yù)處理過(guò)程中,需要用到一些插值算法對(duì)數(shù)據(jù)進(jìn)行重采樣,針對(duì)CT數(shù)據(jù),平面內(nèi)的插值采用的是三階樣條插值,而平面外的插值用的是最鄰近插值。

除此之外,還需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理,由于本文所使用的數(shù)據(jù)集均為CT數(shù)據(jù),CT圖的每一層各個(gè)像素的灰度值是一個(gè)定量并且反映的是該切片上的一些物理屬性,因此，通過(guò)統(tǒng)計(jì)整個(gè)數(shù)據(jù)集中標(biāo)簽像素的CT值范圍,裁剪出[0.5,99.5]百分比范圍的CT值來(lái)對(duì)數(shù)據(jù)進(jìn)行全局歸一化,保證了數(shù)據(jù)集的標(biāo)準(zhǔn)化。

2.2 基于nnUNet的多器官圖像分割網(wǎng)絡(luò)構(gòu)建

通常醫(yī)學(xué)圖像是一個(gè)三維體數(shù)據(jù)，且切片之間存在連續(xù)性。在深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)中,3D網(wǎng)絡(luò)可以結(jié)合圖像層間信息,能夠保證各層圖像之間的變化連通性。在腹部醫(yī)學(xué)影像中,根據(jù)多器官圖像的分割任務(wù)和我們目前采集到的數(shù)據(jù)集，選用基于3D-UNet的自適應(yīng)框架nnUNet對(duì)模型進(jìn)行訓(xùn)練。

用于多器官分割的nnUNet網(wǎng)絡(luò)模型是基于U-Net創(chuàng)建而來(lái),同樣包含了一個(gè)編碼器部分和一個(gè)解碼器部分,編碼器部分是用來(lái)分析圖像并且進(jìn)行特征提取與分析,而與之相對(duì)應(yīng)的解碼器部分是生成分割好的塊狀圖。nnUNet網(wǎng)絡(luò)模型對(duì)U-Net在網(wǎng)絡(luò)結(jié)構(gòu)上做了部分修改,除了解碼階段的最底下兩層,給解碼器的每一層都加了額外的損失,這樣使得梯度信息能夠更深層地注入網(wǎng)絡(luò),同時(shí)促進(jìn)網(wǎng)絡(luò)中所有層的訓(xùn)練。下采樣是一個(gè)具有步幅長(zhǎng)度的卷積,上采樣是一次卷積的轉(zhuǎn)置操作。

針對(duì)我們的訓(xùn)練數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,并且nnUNet網(wǎng)絡(luò)模型根據(jù)預(yù)處理后的數(shù)據(jù)和顯存大小自動(dòng)生成模型訓(xùn)練所需要的超參數(shù)。其中，patch-size是32×256×224,對(duì)應(yīng)的batch-size是2。基于nnUNet多器官圖像分割的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中,每一個(gè)encoder和decoder都由2個(gè)Conv Block構(gòu)成,激活函數(shù)為L(zhǎng)ReLU函數(shù),卷積核大小為3*3*3,通過(guò)下采樣獲得320個(gè)高層特征圖,再通過(guò)對(duì)應(yīng)的上采樣恢復(fù)尺寸,最后經(jīng)過(guò)softmax獲得output segment map。

圖2 基于nnUNet多器官圖像分割的網(wǎng)絡(luò)結(jié)構(gòu)圖

2.3 損失函數(shù)

在機(jī)器學(xué)習(xí)中,損失函數(shù)是用來(lái)估量模型的預(yù)測(cè)值f(x)與真實(shí)值Y的不一致程度,損失函數(shù)越小,代表模型的魯棒性越好,正是損失函數(shù)指導(dǎo)了模型的學(xué)習(xí)[14]。

原始的nnUNet框架使用的損失函數(shù)為L(zhǎng)total=Ldice+Lce,即Dice損失函數(shù)和交叉熵?fù)p失函數(shù)之和。針對(duì)多器官圖像分割中對(duì)胰腺等器官分割效果較差的問(wèn)題,我們分析是由于在數(shù)據(jù)集中,胰腺器官相對(duì)于其他器官標(biāo)簽數(shù)量較少,存在樣本類(lèi)別不平衡的問(wèn)題,因此對(duì)損失函數(shù)進(jìn)行了修改,選用自適應(yīng)權(quán)重的損失函數(shù)(adapted softmax loss)[15],帶權(quán)重的損失函數(shù)計(jì)算公式如下:

(1)

其中：c為神經(jīng)網(wǎng)絡(luò)的類(lèi)別數(shù)；wc為權(quán)重；yc為實(shí)際標(biāo)簽的值；zc為softmax的輸入；f(zc)為softmax的輸出，表示樣本屬于第c個(gè)類(lèi)別的概率。計(jì)算每個(gè)損失在總損失里的占比，根據(jù)占比重新為每個(gè)任務(wù)損失分配權(quán)重,各損失乘上新的權(quán)重再求和得到重新加權(quán)后的總損失。

3 實(shí)驗(yàn)與分析

本文基于Pytorch平臺(tái),采用基于多器官圖像分割改進(jìn)的nnUNet,對(duì)網(wǎng)絡(luò)進(jìn)行結(jié)構(gòu)的搭建并對(duì)模型進(jìn)行訓(xùn)練測(cè)試,學(xué)習(xí)速率為0.01,學(xué)習(xí)動(dòng)量為0.99,優(yōu)化器為SGD,訓(xùn)練1 000個(gè)epoch。本文實(shí)驗(yàn)環(huán)境為:Intel(R)Xeon(R)CPU E5-2650 v4@2.20 GHz,NVIDIA GeForce GTX 1080Ti 11GB,65 GB運(yùn)行內(nèi)存和Ubuntu 16.04 LTS操作系統(tǒng)。

3.1 數(shù)據(jù)集

為驗(yàn)證本文所提方法能夠有效地分割腹部多器官,我們與上海交通大學(xué)醫(yī)學(xué)院附屬第九人民醫(yī)院合作,獲取了有腸道疾病的患者的腹部CT圖像35例和正?；颊叩母共緾T圖像4例。所有數(shù)據(jù)均由專(zhuān)業(yè)影像科醫(yī)生指導(dǎo),使用3D Slicer醫(yī)學(xué)圖像處理工具對(duì)CT圖像的腸道、胃、肝臟和胰腺4個(gè)器官進(jìn)行標(biāo)注,最終，通過(guò)專(zhuān)業(yè)影像科醫(yī)生對(duì)標(biāo)注進(jìn)行檢查確認(rèn)。本文按一定比例隨機(jī)劃分?jǐn)?shù)據(jù),其中27例數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，4例數(shù)據(jù)作為驗(yàn)證數(shù)據(jù),剩余的8例數(shù)據(jù)作為測(cè)試數(shù)據(jù)。

3.2 評(píng)價(jià)指標(biāo)

為了對(duì)器官分割的好壞有一個(gè)定量的分析,本文采用了常用的圖像分割評(píng)價(jià)指標(biāo):Dice系數(shù)。Dice系數(shù)是一種評(píng)估相似度的函數(shù),通常用于計(jì)算兩個(gè)樣本的相似度或者重疊度,其計(jì)算方法為

(2)

其中：X為標(biāo)簽的真實(shí)值；Y為模型的預(yù)測(cè)值。分子的系數(shù)為2,是因?yàn)榉帜复嬖谥貜?fù)計(jì)算X和Y之間的共同元素的情況。

3.3 實(shí)驗(yàn)結(jié)果

本文主要針對(duì)腹部多器官圖像分割問(wèn)題,利用改進(jìn)的nnUNet進(jìn)行腹部多器官圖像分割。將本文方法與DenseVNet、原始nnUNet在分割結(jié)果上進(jìn)行對(duì)比,以驗(yàn)證提出方法的有效性和優(yōu)越性,實(shí)驗(yàn)結(jié)果如表1所示?？梢钥闯?針對(duì)易分割器官肝臟和胃,本文方法和傳統(tǒng)的網(wǎng)絡(luò)模型在準(zhǔn)確率上相差不大,這是由于易分割器官語(yǔ)義信息簡(jiǎn)單,傳統(tǒng)的分割網(wǎng)絡(luò)就能達(dá)到很好的分割性能,但針對(duì)不易分割器官腸道和胰腺，本文方法相比傳統(tǒng)的多器官分割網(wǎng)絡(luò)，在nnUNet網(wǎng)絡(luò)的基礎(chǔ)上性能有所提升，在DenseVNet網(wǎng)絡(luò)上展現(xiàn)了更優(yōu)秀的性能，從而證明本文改進(jìn)算法的有效性。

表1 分割結(jié)果對(duì)比

圖3為DenseVNet與本文提出的方法在腹部CT圖像測(cè)試集上的分割結(jié)果可視化對(duì)比圖。圖3A中的彩色區(qū)域?yàn)獒t(yī)生確認(rèn)的器官部位,其中紅色表示肝臟區(qū)域,黃色表示胃部區(qū)域,綠色表示腸道區(qū)域,藍(lán)色表示胰腺區(qū)域,圖3B為測(cè)試數(shù)據(jù)在DenseVNet上測(cè)試的結(jié)果,圖3C為測(cè)試數(shù)據(jù)在改進(jìn)nnUNet上測(cè)試的結(jié)果。由圖3可見(jiàn),圖3B的前一例圖像在DenseVNet上分割出來(lái)的胰腺器官區(qū)域小于真實(shí)器官區(qū)域,圖3B的后一例圖像在DenseVNet上分割出的腸道區(qū)域有漏分割的現(xiàn)象,而這兩個(gè)測(cè)試圖像在改進(jìn)的網(wǎng)絡(luò)上都有較好的表現(xiàn),展示了本文提出方法的有效性和優(yōu)越性。

圖3 多器官圖像分割結(jié)果正樣例

圖4為測(cè)試數(shù)據(jù)集在本文提出的網(wǎng)絡(luò)模型上分割結(jié)果表現(xiàn)相對(duì)不好的測(cè)試用例,可以看出,在改進(jìn)的網(wǎng)絡(luò)模型中分割出的胰腺區(qū)域仍有漏分割的現(xiàn)象。其原因可能是對(duì)于胰腺器官在腹部CT上表現(xiàn)出邊界不清楚的特點(diǎn),為圖像分割任務(wù)帶來(lái)了極大困難,也為后續(xù)研究帶來(lái)了思考。

A 標(biāo)注的腹部CT圖像 B 在改進(jìn)nnNet上的分割效果

4 結(jié)語(yǔ)

針對(duì)腹部多器官圖像分割任務(wù),本文提出利用自適應(yīng)權(quán)重的損失函數(shù)(adapted softmax loss)對(duì)nnUNet網(wǎng)絡(luò)進(jìn)行改進(jìn),使得網(wǎng)絡(luò)在分割過(guò)程中更加關(guān)注體積較小且樣本數(shù)量相對(duì)較少的器官特征。對(duì)于腹部多器官圖像復(fù)雜性,解決了多器官分割算法針對(duì)某些體積較小的器官分割效果相對(duì)較差的問(wèn)題。實(shí)驗(yàn)表明,本文改進(jìn)的網(wǎng)絡(luò)相對(duì)于現(xiàn)有傳統(tǒng)的分割方法具有更高的準(zhǔn)確性和敏感性。但是，本文現(xiàn)有的研究依然有未完善之處,后續(xù)的探索可以就圖像分割中難以分割出邊界不清楚的圖像的原因進(jìn)行深入研究。