莫春梅，周金治，李雪，余璽

1.西南科技大學(xué)信息工程學(xué)院，四川綿陽621000；2.特殊環(huán)境機器人技術(shù)四川省重點實驗室，四川綿陽621000

前言

醫(yī)學(xué)圖像分割是醫(yī)學(xué)圖像分析的一個重要步驟，其分割結(jié)果直接影響疾病診斷和后期的治療［1］。目前，肝部醫(yī)學(xué)圖像分割方法分為人工分割、半自動分割和自動分割［2］。人工分割不僅耗時，而且分割結(jié)果的好壞取決于醫(yī)生的經(jīng)驗和知識；半自動分割的分割結(jié)果與初始設(shè)置參數(shù)有關(guān)，主觀性較大；自動分割避免人為因素的影響，但大多算法實現(xiàn)復(fù)雜，分割效果尚不理想［3］。因此探索一種高效準確的肝臟區(qū)域自動分割方法對肝病的輔助診斷和后期的治療有著重要的意義［4］。近年來，隨著深度學(xué)習(xí)不斷發(fā)展,自動分割在肝部醫(yī)學(xué)圖像分割中取得了很大進展［5］。文獻［6］提出一種全卷積神經(jīng)網(wǎng)絡(luò)，該方法可以接受任意大小的輸入圖像，而不用要求訓(xùn)練圖像和測試圖像具有同樣的尺寸，避免了由于使用像素塊而帶來的重復(fù)存儲和計算卷積的問題；但是分割結(jié)果不夠精細，對圖像中的細節(jié)不敏感［7］。文獻［8］提出一種生物醫(yī)學(xué)U-Net卷積網(wǎng)絡(luò)圖像分割模型，該網(wǎng)絡(luò)由編碼器和解碼器兩部分組成，并且該網(wǎng)絡(luò)使用跳躍連接（Skip Connection）將編碼器與解碼器的特征圖進行融合，使得U-Net在像素定位上更加準確；但還是不能精確分割圖像中器官的位置和邊界［9］。文獻［10］提出一種深度殘差U-Net（ResUnet），它由ResNet網(wǎng)絡(luò)的殘差模塊代替U-Net中的普通卷積模塊構(gòu)成，該網(wǎng)絡(luò)結(jié)構(gòu)不僅可以提高分割效果，并且它的參數(shù)量是U-Net的1/4［11］。盡管取得了良好的性能，但這種方法跳躍連接過于單一，不能充分提取圖片的重要特征信息。文獻［12］提出了用于醫(yī)療影像分割的UNet++網(wǎng)絡(luò)模型，該模型通過引入嵌套和密集的跳躍連接進一步加強了跳躍連接，避免U-Net中的純跳躍連接在語義上的不相似特征的融合，減少編碼器和解碼器之間的語義差異，但這種方法仍然不能從多尺度中提取足夠的信息［13］。針對上述肝臟分割方法中存在的分割精度低，以及沒有提取足夠信息等問題，本文提出了改進U-Net的肝臟分割方法，利用ResNet網(wǎng)絡(luò)的殘差模塊的強大特征提取能力來提取圖像特征，然后通過重新設(shè)計跳躍連接來融合多尺度特征以減少編碼器和解碼器之間的語義差異，提高肝臟分割效果。

1 U-Net模型及其改進

1.1 U-Net模型

U-Net是一種經(jīng)典的圖像分割網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。該網(wǎng)絡(luò)是由編碼器（左側(cè)）和解碼器（右側(cè)）兩部分組成，其中，編碼器用于獲取上下文信息，解碼器用于精確的定位，且該網(wǎng)絡(luò)相互對稱。該網(wǎng)絡(luò)使用跳躍連接將編碼器與解碼器的特征圖進行融合，將編碼器的特征圖直接傳遞到解碼器，有助于編碼器恢復(fù)信息損失，使得U-Net在像素定位上更加準確。但是跳躍連接只是直接連接編碼器的特征信息到解碼器，不僅跳躍連接過于單一，而且不能從多尺度中提取肝臟足夠的信息。再者，該網(wǎng)絡(luò)的每層卷積層是由兩個3×3的卷積構(gòu)成，卷積之間的特征一般只被利用一次，不同卷積之間缺乏聯(lián)系［14］，因此特征的利用率比較低，不能精確分割圖像中肝臟的位置和邊界，最后會影響肝臟分割的效果。

圖1 U-Net模型Fig.1 U-Net model

1.2 改進的U-Net模型

針對以上問題，受U-Net結(jié)構(gòu)和殘差模塊啟發(fā)，本文提出一種以U-Net為框架、引入改進的殘差模塊，并且重新設(shè)計跳躍連接的肝臟分割網(wǎng)絡(luò)，如圖2所示。

其中方塊1～9表示改進的殘差模塊［（a）Residual block］，其中Respath是重新設(shè)計的跳躍連接，實心粗箭頭表示下采樣，圓形代表對不同層的改進殘差模塊的輸出特征經(jīng)過Respath跳躍連接進行融合。本文用了兩種殘差模塊，分別應(yīng)用于替換U-Net的卷積層，以及用于跳躍連接。相比U-Net，本文改進的UNet擁有更深的神經(jīng)網(wǎng)絡(luò)，利用殘差模塊代替普通卷積層，并且重新設(shè)計了跳躍連接，可以解決每個卷積層的退化問題，提取更多的圖片特征，提高特征的利用率，改善通道的依賴關(guān)系；此外，在整個分割模型中，采用混合損失函數(shù)來緩解類不平衡問題并且加快網(wǎng)絡(luò)收斂，可以進一步提高網(wǎng)絡(luò)的分割效果。

1.2.1 改進的殘差模塊本文借鑒了ResNet中殘差模塊的概念，設(shè)計了兩種殘差模塊。設(shè)計的第一種改進的殘差模塊［（a）Residual block］來代替U-Net的卷積層，（a）Residual block殘差模塊就是用于圖2中1～9的殘差模塊，其結(jié)構(gòu)如圖3a所示。

圖2 本文提出的改進U-Net模型Fig.2 Improved U-Net model proposed in the study

（a）Residual block殘差模塊主要包含了兩個3×3的卷積層和兩個1×1的卷積和批量歸一化（Batch Normalization,BN）層［15］和修正線性單元（Rectified Linear Unit,ReLU）激活層［16］，并進行了一次特征融合操作與一次特征相加操作。對于輸入（a）Residual block殘差模塊的特征圖，在每經(jīng)過一次3×3卷積操作后，所產(chǎn)生的特征圖便與經(jīng)過第二次3×3卷積操作后的特征圖進行融合形成新的特征圖，再經(jīng)過1×1卷積操作后與最原始的特征圖經(jīng)過1×1卷積后進行加操作，最后再將特征圖輸入下一個殘差模塊。設(shè)計的第二種改進的殘差模塊［（b）Residual block］代來替U-Net的直接連接，如圖3b所示。該殘差模塊主要包含了兩個3×3的卷積層，一個1×1的卷積和批量歸一化層和修正線性單元激活層，并進行一次特征相加操作。

圖3 改進的殘差模塊Fig.3 Improved residual block

1.2.2 改進U-Net的跳躍連接本文提出由Respath構(gòu)成的全尺度連接的跳躍連接，如圖4所示。圖4展示了第7個（a）Residual block殘差塊的輸入特征圖的由來。它由來自相同尺度第3個（a）Residual block殘差模塊的輸出特征圖；還對第1個（a）Residual block殘差模塊和第2個（a）Residual block殘差模塊輸出的特征圖進行不同尺度的下采樣操作，保證下采樣后特征圖的尺寸和第3個（a）Residual block殘差模塊輸出特征圖的大小一樣；同時還對第5個（a）Residual block殘差模塊和第6個（a）Residual block殘差模塊輸出的特征圖進行不同尺度的上采樣操作，確保上采樣后的特征圖的尺寸和第3個（a）Residual block殘差模塊輸出的特征圖的大小一樣；最后通過（b）Residual block殘差模塊得到的特征圖進行融合，融合得到的特征圖作為第7個（b）Residual block殘差模塊的輸入。

圖4 改進U-Net的跳連接Fig.4 Skip connection of the improved U-Net

1.3 混合損失函數(shù)

二元交叉熵（Binary Cross Entropy,BCE）損失函數(shù)［17］是圖像分割中最常用的損失函數(shù)，其公式如下：

式中，gi為像素點i的真實類別，pi為網(wǎng)絡(luò)對像素點i的預(yù)測結(jié)果。

BCE損失函數(shù)是逐像素的，忽略鄰域標簽，通過對分割像素和背景像素進行加權(quán)，可有助于損失函數(shù)的收斂。使用BCE損失函數(shù)進行優(yōu)化，能夠穩(wěn)定地將各個類別所對應(yīng)的梯度進行回傳，有效地解決網(wǎng)絡(luò)在反向傳播過程中梯度消失的問題。但是，醫(yī)學(xué)圖像中常出現(xiàn)類別不均衡（class imbalance）的問題，由此導(dǎo)致訓(xùn)練會被像素較多的類主導(dǎo)，對于較小的物體很難學(xué)習(xí)到其特征，從而降低網(wǎng)絡(luò)的有效性。

Dice相似系數(shù)（Dice Similarity Coefficient,DSC）損失函數(shù)［18］是另一種用于圖像分割的損失函數(shù)，公式如下：

DSC損失函數(shù)能夠削弱類別不平衡問題的影響，讓預(yù)測結(jié)果逐漸逼近真實結(jié)果。但是預(yù)測結(jié)果中有部分像素預(yù)測錯誤，會導(dǎo)致預(yù)測目標的梯度變化劇烈，從而使得網(wǎng)絡(luò)的訓(xùn)練過程變得困難。

為了解決類別不平衡的影響和網(wǎng)絡(luò)在反向傳播過程中梯度消失的問題，并加快網(wǎng)絡(luò)收斂，實現(xiàn)肝臟的精確分割，本文根據(jù)上述兩個損失函數(shù)的特點，提出一種混合損失函數(shù)，公式如下：

式中，?為權(quán)重因子，用于調(diào)節(jié)兩種損失函數(shù)所占權(quán)重。

2 結(jié)果

2.1 實驗數(shù)據(jù)集

本文采用了CodaLab組織提供的公共數(shù)據(jù)集LITS（Liver Tumor Segmentation）進行實驗，該數(shù)據(jù)集包含131例病人的對比增強腹部CT［19］。每例病人的CT圖像切片數(shù)量從28到312不等，最終得到總計19 211張大小為512×512的圖片，并按照8:1:1的比例分別將其劃分為訓(xùn)練集、驗證集和測試集。本文部分實驗數(shù)據(jù)集如圖5a和圖5b所示。

圖5 實驗數(shù)據(jù)集示例Fig.5 Samples from experimental data set

2.2 實驗評價指標

為了實現(xiàn)對肝臟的分割結(jié)果進行客觀評價，本文使用圖像分割常用的標準性能指標對分割算法進行評價，即DSC、敏感度（Sensitivity,SEN）和交并比（Intersection Over Union,IOU）。其計算方式如式（4）～式（6）所示：

其中，NSI和GT分別表示網(wǎng)絡(luò)分割圖像和專家標注圖像。DSC是用來衡量預(yù)測結(jié)果與真實結(jié)果之間的相似程度，敏感度是指正確地被分為正樣本的數(shù)量占所有正樣本的比例，衡量了分類器對正樣本的識別能力。IOU是指得到的預(yù)測結(jié)果與真實結(jié)果的交集與它們之間的并集相比。本文使用上述指標來綜合評價肝臟分割結(jié)果，它們的值越大表示分割效果就越好。

2.3 實驗配置及參數(shù)設(shè)置

本文改進的U-Net分割網(wǎng)絡(luò)模型開發(fā)集成環(huán)境為PyCharm，基于深度學(xué)習(xí)框架Pytorch 1.2.0。采用Adam優(yōu)化方法對參數(shù)進行優(yōu)化，將其超參數(shù)設(shè)置為默認值，其中初始學(xué)習(xí)率設(shè)為0.000 3，權(quán)重衰減設(shè)為0.000 1，batch size設(shè)置為1。

2.3.1 權(quán)重因子的選擇本文使用BCE和DSC的混合損失函數(shù)，對損失函數(shù)中的權(quán)重因子?的選擇進行探究，將?從0變化到1，分別設(shè)置?為0、0.3、0.5、0.7、1.0，然后對改進的網(wǎng)絡(luò)進行訓(xùn)練。最后對相應(yīng)的評價指標變化進行可視化，如圖6所示。

圖6 不同權(quán)重因子對改進U-Net的性能影響Fig.6 Effects of different weight factors on the performance of improved U-Net

從圖6可以看出，當?設(shè)為0時，只使用DSC損失函數(shù)，當?設(shè)為1時，只使用BCE損失函數(shù)。3個評價指標百分比的值在?=0.3達到最大值，驗證了BCE和DSC混合損失函數(shù)的有效性。此時，對模型的參數(shù)更新作用最好。因此，將?設(shè)置為0.3后進行后序的實驗。

2.3.2 訓(xùn)練次數(shù)的選擇訓(xùn)練次數(shù)（epoch）的選擇對于肝臟分割的結(jié)果是非常重要。如果訓(xùn)練次數(shù)太少，容易出現(xiàn)欠擬合；如果訓(xùn)練次數(shù)過多，容易出現(xiàn)過擬合。圖7展示了在訓(xùn)練過程中改進的U-Net網(wǎng)絡(luò)在訓(xùn)練集上的DSC、IOU與訓(xùn)練次數(shù)的關(guān)系。從圖中可以看出網(wǎng)絡(luò)的DSC、IOU隨著訓(xùn)練次數(shù)的增加而增加，當訓(xùn)練次數(shù)在100左右時，訓(xùn)練集的DSC、IOU趨于穩(wěn)定。因此，本文實驗中的訓(xùn)練次數(shù)設(shè)置為100。

圖7 改進U-Net的訓(xùn)練DSC和IOU曲線Fig.7 Epoch-dependent DSC and IOU curves of improved U-Net

2.4 實驗結(jié)果

為了驗證本文方法對肝臟分割具有較優(yōu)結(jié)果，采用現(xiàn)有的U-Net［8］和ResUnet［10］方法與本文方法進行對比實驗。上述網(wǎng)絡(luò)的訓(xùn)練過程和本文方法的訓(xùn)練過程完全相同，3種網(wǎng)絡(luò)分割結(jié)果的可視化如圖8所示。圖中第一列是輸入模型的腹部肝臟CT圖像，第二列是金標準，第三列是U-Net分割的結(jié)果，第四列是ResUnet分割結(jié)果，第五列是使用本文所提出的網(wǎng)絡(luò)對肝臟分割的結(jié)果。從圖8可以看出，ResUnet相比于U-Net的分割效果有一定的提升，但還是出現(xiàn)將背景區(qū)域預(yù)測為肝臟區(qū)域，將肝臟區(qū)域預(yù)測為背景區(qū)域，且分割結(jié)果和金標準有明顯不同。相比本文方法，U-Net沒有利用殘差模塊，它的卷積之間的特征一般只被利用一次，不同卷積之間缺乏聯(lián)系，因此特征利用率比較低，雖然ResUnet利用了殘差模塊，但跳躍連接過于單一，沒有使用融合多尺度特征以減少編碼器和解碼器之間的語義差異，最終肝臟分割效果不夠好。相比其他方法，本文方法能夠有效地區(qū)分肝臟區(qū)域和背景區(qū)域，解決其他算法的過分割和欠分割問題，從而實現(xiàn)對肝臟的精確分割。本文方法擁有更深的神經(jīng)網(wǎng)絡(luò)，利用殘差模塊代替普通卷積層，并且重新設(shè)計了跳躍連接，可以解決每個卷積層的退化問題，提取更多的圖片重要特征，提高特征的利用率，和改善通道的依賴關(guān)系，從而可以進一步提高網(wǎng)絡(luò)的分割效果。

圖8 不同算法的肝臟分割結(jié)果圖Fig.8 Liver segmentation results obtained by different algorithms

為了更加直觀地對3種方法的肝臟分割測試結(jié)果進行分析，給3種方法分割結(jié)果繪制了DSC、SEN和IOU箱型圖，如圖9所示。從圖9可以看出，相較于U-Net和ResUnet，本文方法的DSC、SEN和IOU指標的上四分位數(shù)和下四分位數(shù)的值均較高，中位數(shù)都偏向上四分位數(shù)。本文方法的DSC、SEN和IOU指標都優(yōu)于U-Net和ResUnet。由此可見，本文方法具有較好的泛化能力和較強的穩(wěn)定性。

圖9 不同算法的評價指標箱型圖Fig.9 Evaluation index box diagram of different algorithms

為了驗證本文方法的分割性能，本文選取U-Net、U-Net+BN（使用批量歸一化的U-Net）、ResUnet和Attention U-Net與之對比［20］。表1展示了本文方法與其他分割方法在測試集上進行對比的結(jié)果，可以看出，本文提出的肝臟分割網(wǎng)絡(luò)模型的DSC、SEN和IOU分別達到了93.69%、94.87%和87.49%。U-Net、U-Net+BN、ResUnet分割結(jié)果的各項評價指標都低于本文方法的各項評價指標，本文方法與U-Net方法相比分別提升5.61%、7.04%、3.91%。雖然Attention U-Net分割指標IOU比本文方法高0.16%，但其他指標都低于本文方法。實驗結(jié)果表明，本文方法取得了相對于其他方法更好的分割性能。

表1 不同算法的性能對比（%）Tab.1 Performance comparison among different algorithms(%)

3 結(jié)論

本文針對現(xiàn)有肝臟分割方法存在的分割精度較低的問題，提出一種改進U-Net的分割方法。該方法對U-Net進行改進，首先引入改進的殘差模塊，將改進的殘差模塊用于U-Net網(wǎng)絡(luò)每層的卷積層和跳躍連接；然后重新設(shè)計跳躍連接；并采用混合損失函數(shù)。實驗結(jié)果表明，在肝臟分割實驗中，本文方法能夠有效地分割肝臟區(qū)域，解決其他算法的過分割和欠分割問題，具有較好的泛化能力和較強的穩(wěn)定性，從而能表現(xiàn)良好的分割性能。由于該網(wǎng)絡(luò)充分利用各層網(wǎng)絡(luò)所提取的特征信息，減少編碼器和解碼器之間的語義差異，和其他算法相比，在DSC、SEN和IOU等評價指標都有較大的提高。表明了本文改進的U-Net網(wǎng)絡(luò)分割性能更加良好，實現(xiàn)對肝臟的準確分割。在以后的工作中，會加強對CT等醫(yī)學(xué)圖像分割的研究，并進一步研究肝臟腫瘤的準確分割方法。