陳秋葉 韋瑞華 石璐瑩 吳甜 劉海華

摘 ?要：針對CT圖像中全心臟結(jié)構(gòu)復(fù)雜度高、分割不完整及分割精度低等問題，文章提出了一種改進(jìn)U-Net的全心臟分割方法。根據(jù)全心臟結(jié)構(gòu)形態(tài)特點，文章將多并行尺度特征融合模塊引入U-Net網(wǎng)絡(luò)的編碼層，并在U-Net網(wǎng)絡(luò)的跳層連接中加入了注意力機(jī)制。文章利用MM-WHS數(shù)據(jù)集將改進(jìn)的全心臟分割算法在中南民族大學(xué)認(rèn)知科學(xué)實驗室中進(jìn)行了一系列的全心臟分割實驗。實驗結(jié)果顯示，文章提出的算法分割相似度達(dá)到88.73%，提高了全心臟結(jié)構(gòu)的分割準(zhǔn)確率。

關(guān)鍵詞：全心臟CT圖像分割;改進(jìn)U-Net網(wǎng)絡(luò);多并行尺度特征融合;注意力機(jī)制

中圖分類號：TP391 ?文獻(xiàn)標(biāo)識碼：A文章編號：2096-4706（2021）13-0076-05

Whole-heart CT Image Segmentation Based on Improved U-Net

CHEN Qiuye， WEI Ruihua， SHI Luying， WU Tian， LIU Haihua

（South-Central Minzu University， Wuhan ?430074， China）

Abstract： Aiming at the problems of high structural complexity， incomplete segmentation and low segmentation accuracy of whole heart in CT images， the paper proposes a whole-heart segmentation method based on improved U-Net. According to the structural and morphological characteristics of the whole heart， multi-parallel scale feature fusion module is introduced into the coding layer of U-Net network， and attention mechanism is added into the skipping layer of U-Net network. A series of whole heart segmentation experiments are carried out in the Cognitive Science Laboratory of South-Central University for Nationalities using the improved whole heart segmentation algorithm based on the MM-WHS dataset. Experimental results show that the similarity of the proposed algorithm reaches 88.73%， which improves the segmentation accuracy of the whole heart structure.

Keywords： whole heart CT image segmentation; improved U-Net network; multi parallel scale feature fusion; attention mechanism

0 ?引 ?言

心血管系統(tǒng)是人體的循環(huán)系統(tǒng)，它承擔(dān)著為人體輸送營養(yǎng)物質(zhì)、排出代謝廢物進(jìn)而維持人體正常生命體征的重要作用?；卺t(yī)學(xué)影像的自動分割在提高醫(yī)生手術(shù)準(zhǔn)確率和高效性等方面具有突出優(yōu)勢，特別在心臟介入手術(shù)中，全心臟結(jié)構(gòu)的精準(zhǔn)分割有助于提高精準(zhǔn)治療。另外，隨著社會的發(fā)展，心血管疾病的發(fā)病率和致死率越來越高，并且發(fā)病越來越年輕化[1]。因此，心血管疾病的及時診斷與治療顯得尤為重要，而全心臟結(jié)構(gòu)的精準(zhǔn)分割對于心血管疾病的診療有著重要的意義。因此，全心臟結(jié)構(gòu)的自動精準(zhǔn)分割是一項重要的研究課題。

1 ?相關(guān)研究

CT影像中全心臟結(jié)構(gòu)的分割一直是醫(yī)學(xué)圖像分割領(lǐng)域的一個熱點話題。目前針對心臟圖像的分割已有大量的方法被提出，這些方法涉及傳統(tǒng)方法中的圖譜法、可形變模型以及近年來發(fā)展火熱的深度學(xué)習(xí)的方法[2]。圖譜法和可形變模型都是基于先驗?zāi)Ｐ偷姆椒?，這兩種方法都是先通過某些特征如harr特征[3]找到CT影像中心臟的中心和粗略的分割邊界，然后通過圖譜法或可形變模型進(jìn)行配準(zhǔn)進(jìn)而得到心臟的分割結(jié)果。在MM-WHS 2017挑戰(zhàn)賽中出現(xiàn)了很多用深度學(xué)習(xí)進(jìn)行全心臟分割的方法，Christian等[4]通過一個定位CNN網(wǎng)絡(luò)和一個分割CNN網(wǎng)絡(luò)將全心臟結(jié)構(gòu)分割出來，并取得了MM-WHS 2017挑戰(zhàn)賽第一名的成績。Yang等[5]使用帶有深度監(jiān)督的3D U-Net網(wǎng)絡(luò)，并使用了將交叉熵?fù)p失和Dice損失融合的新型損失，在MM-WHS 2017挑戰(zhàn)賽中也取得了很好的分割結(jié)果。在比賽結(jié)束后，Xu等[6]先通過Fast RCNN定位全心臟結(jié)構(gòu)，然后使用U-Net網(wǎng)絡(luò)分割出全心臟結(jié)構(gòu)，分割結(jié)果不遜于MM-WHS 2017挑戰(zhàn)賽冠軍的成績。但是相比于其他器官或腫瘤組織的分割，全心臟結(jié)構(gòu)直徑范圍比較廣，各部位對比度變化不明顯，且易受其他組織結(jié)構(gòu)、病變、噪聲等因素的干擾。針對這些現(xiàn)存問題，本文結(jié)合最新的理論基礎(chǔ)致力于實現(xiàn)更精準(zhǔn)的全心臟CT圖像自動分割。

2 ?網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了一種集多并行尺度特征融合、注意力機(jī)制為一體的改進(jìn)U-Net全心臟結(jié)構(gòu)分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)構(gòu)充分利用了數(shù)據(jù)低維特征與高維特征、局部信息與全局信息，進(jìn)而有效改進(jìn)了網(wǎng)絡(luò)的分割效能。基于改進(jìn)U-Net網(wǎng)絡(luò)分割模型見圖1。

2.1 ?多并行尺度特征融合

在卷積神經(jīng)網(wǎng)絡(luò)中，淺層特征提取的是全局的粗糙信息，深層特征提取的是精細(xì)的細(xì)節(jié)信息，深層和淺層特征的融合可以提升分割效果。但是隨著網(wǎng)絡(luò)深度的加深很多細(xì)節(jié)信息都流失了，而并行尺度特征融合（Mffp）利用不同空洞率（r）的空洞卷積[7]并行并融合的方式提取心臟不同結(jié)構(gòu)的特征信息。這種做法既可以識別出不同結(jié)構(gòu)的特征，而且也可以識別出微小動脈血管的細(xì)節(jié)信息，對于對比度低的心臟結(jié)構(gòu)以及狹小的動脈血管有較好的分割效果。在編碼結(jié)構(gòu)的每一層卷積后都添加一個并行尺度特征融合從而構(gòu)成多并行尺度特征融合[8]，該模塊可以充分利用因為卷積而丟失的深層和淺層特征，進(jìn)而對分割結(jié)果進(jìn)行優(yōu)化。

并行尺度特征融合（Mffp）包括空洞率從1到5奇數(shù)增加的四條空洞分支和一條原特征圖分支，然后將不同空洞率產(chǎn)生的特征圖與原特征圖進(jìn)行融合，四條空洞卷積的分支在融合之前都經(jīng)過了sigmoid激活函數(shù)。該模塊的結(jié)構(gòu)示意圖如圖2所示。

本文分別將并行尺度特征融合添加到編碼層的第1層卷積（conv1_Mffp）、第2層卷積（conv2_Mffp）、第3層卷積（conv3_Mffp）、第4層卷積（conv4_Mffp）、最底層卷積（conv5_Mffp）以及1到5層卷積的每一層（conv1_5_Mffp）進(jìn)行對比試驗。

2.2 ?注意力機(jī)制模型

因為一系列的卷積和池化操作會過濾掉一些必要的邊緣信息并帶入一些多余的噪聲信息，所以本文在跳層連接中加入了注意力機(jī)制（AG）[9]。注意力機(jī)制的結(jié)構(gòu)如圖3所示。

其中x是編碼器相應(yīng)網(wǎng)絡(luò)層的輸出特征圖，g是與編碼器對應(yīng)的同層解碼器網(wǎng)絡(luò)下一層的特征輸出，θ是注意力機(jī)制的門相關(guān)系數(shù)，T是注意力機(jī)制的輸出。在編碼結(jié)構(gòu)中，注意力機(jī)制通過分析編碼器輸出特征圖和解碼器的輸出特征圖以獲得相應(yīng)的門相關(guān)系數(shù)，從而使注意力機(jī)制更專注于全心臟結(jié)構(gòu)的主要特征信息，并消除其他干擾全心臟結(jié)構(gòu)分割的信息。在解碼結(jié)構(gòu)中，注意力機(jī)制通過與下一個反卷積層級聯(lián)以達(dá)到融合互補(bǔ)特征信息的目的，進(jìn)而將高低維特征相結(jié)合，更加有利于恢復(fù)和提取全心臟結(jié)構(gòu)尤其是肺動脈小血管的細(xì)節(jié)特征和左心室心肌的邊緣信息，以提高分割精度。因此，將注意力機(jī)制添加到U-Net中可以接收更多的低維和高維特征，從而更好地抑制背景信息和噪聲的干擾，對于心臟各結(jié)構(gòu)組織邊緣的分割有一定的幫助。

3 ?實驗與分析

3.1 ?數(shù)據(jù)獲取與數(shù)據(jù)處理

本文所使用的20例CT數(shù)據(jù)由MM-WHS 2017挑戰(zhàn)賽提供，其中14例用作訓(xùn)練，2例用作驗證，4例用作測試。MM-WHS 2017挑戰(zhàn)賽所提供的數(shù)據(jù)標(biāo)簽灰度在0～850之間，對標(biāo)簽灰度值重新處理到0～7之間，原始標(biāo)簽灰度值與處理后的標(biāo)簽灰度值如表1所示。

數(shù)據(jù)歸一化：由于MM-WHS 2017挑戰(zhàn)賽所提供的原始數(shù)據(jù)集灰度值在幾十到幾千的范圍，所以為了加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，本文對原始數(shù)據(jù)進(jìn)行了歸一化處理。

數(shù)據(jù)擴(kuò)充：由于本課題僅有14例樣本用于訓(xùn)練，這種數(shù)據(jù)量級別遠(yuǎn)遠(yuǎn)不滿足深度學(xué)習(xí)所需的樣本數(shù)量。但是由于圖像分割實際上是對像素點的分類，所以本課題對全心臟結(jié)構(gòu)的每一個像素點進(jìn)行分類，這相當(dāng)于間接擴(kuò)大了數(shù)據(jù)量。另外，為了進(jìn)一步擴(kuò)大數(shù)據(jù)集，我們對實驗數(shù)據(jù)進(jìn)行了隨機(jī)裁剪、旋轉(zhuǎn)的操作。

3.2 ?評價方法

為了定量的分析網(wǎng)絡(luò)性能和分割結(jié)果，采用了Dice similarity coefficient（DSC）評價指標(biāo)，該評價指標(biāo)的計算公式如式（1）所示：

（1）

其中：X，Y分別表示真實標(biāo)簽和預(yù)測結(jié)果。

此外，因為交叉熵（Cross entropy）可以避免學(xué)習(xí)率過低的問題，所以實驗中使用交叉熵作為損失函數(shù)對模型訓(xùn)練進(jìn)行誤差統(tǒng)計。其定義如式（2）所示：

（2）

其中：n為類別數(shù)量，p（xi）為真實標(biāo)簽概率分布，q（xi）為網(wǎng)絡(luò)預(yù)測概率分布。網(wǎng)絡(luò)預(yù)測概率分布越接近于真實標(biāo)簽概率分布，交叉熵越小，分割結(jié)果越好。

3.3 ?實驗結(jié)果與分析

本文所進(jìn)行的實驗在中南民族大學(xué)視覺認(rèn)知科學(xué)實驗室完成，實驗環(huán)境配置以及參數(shù)設(shè)置如表2所示。

3.3.1 ?全心臟結(jié)構(gòu)分割的量化評估

本文分別將并行尺度特征融合添加到U-Net網(wǎng)絡(luò)編碼層的每一層卷積以及1到5層卷積的每一層分別形成U_Net_conv1Mffp、U_Net_conv2Mffp、U_Net_conv3Mffp、U_Net_conv4Mffp、U_Net_conv5Mffp網(wǎng)絡(luò)和U_Net_conv1_5Mffp網(wǎng)絡(luò)來進(jìn)行對比試驗。傳統(tǒng)U-Net網(wǎng)絡(luò)與各個添加并行尺度特征融合的U-Net網(wǎng)絡(luò)的實驗結(jié)果如表3所示。

從實驗數(shù)據(jù)可以看出將并行尺度特征融合的位置由最底層卷積依次往上移動時分割結(jié)果也分別取得了不同程度的優(yōu)化，由此證明在網(wǎng)絡(luò)中添加并行尺度特征融合的位置會影響分割結(jié)果。在每一層卷積后都添加并行尺度特征融合模塊的多并行尺度特征融合網(wǎng)絡(luò)結(jié)果最好，由此證明在網(wǎng)絡(luò)中添加多個并行尺度特征融合可以捕獲更多的分割特征，對于醫(yī)學(xué)圖像的分割有一定的幫助。

為了獲取更優(yōu)的分割網(wǎng)絡(luò)，本文在U_Net_conv1_5Mffp網(wǎng)絡(luò)中添加了注意力機(jī)制。U_Net_conv1_5Mffp網(wǎng)絡(luò)與添加注意力機(jī)制 （AttU_Net_conv1_5Mffp）的網(wǎng)絡(luò)以及U-Net網(wǎng)絡(luò)添加并行池化（U_Net_conv5Mffp_RMP）、注意力機(jī)制（AttU_Net_Mffp_RMP）網(wǎng)絡(luò)的實驗結(jié)果如表4所示。

從實驗數(shù)據(jù)可以看出在U_Net_conv1_5Mffp網(wǎng)絡(luò)中添加注意力機(jī)制對于除去背景信息的抑制和噪聲的干擾有一定的作用，添加注意力機(jī)制有助于醫(yī)學(xué)圖像的分割。

將本文提出的全心臟分割方法與Marija等[10]提出的全心臟分割方法進(jìn)行比較，對比結(jié)果如表5所示。

結(jié)果顯示本文提出的網(wǎng)絡(luò)結(jié)構(gòu)與對比網(wǎng)絡(luò)相比在Dice值方面較為突出，進(jìn)而證明了該方法在全心臟分割方面的有效性及分割優(yōu)勢。尤其在肺動脈分割方面，由于本文提出的網(wǎng)絡(luò)添加了多個空洞卷積模塊，使得網(wǎng)絡(luò)可以學(xué)習(xí)到影像的更多全局信息，很好地解決了肺動脈小血管分割不完整的問題。因為左心室心肌周圍的心臟子結(jié)構(gòu)較多導(dǎo)致心肌邊緣模糊，而注意力機(jī)制的添加對組織邊緣的分割有一定的幫助，所以左心室心肌的分割與對比網(wǎng)絡(luò)相比也表現(xiàn)出了突出的優(yōu)勢。同時，相比于3D網(wǎng)絡(luò)分割和兩個階段的網(wǎng)絡(luò)分割，本文提出的2D網(wǎng)絡(luò)結(jié)構(gòu)僅通過一步就完成了全心臟結(jié)構(gòu)的分割，耗時、計算量更少，避免了大量時間資源和內(nèi)存資源的浪費。綜合分析來看，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)在進(jìn)行CT圖像全心臟分割時，不僅可以得到較為突出的分割結(jié)果，尤其是肺動脈和心肌的分割，同時還具有耗時更短，計算量更少的優(yōu)勢。

3.3.2 ?全心臟結(jié)構(gòu)分割的視覺效果

本文通過將多并行尺度特征融合和注意力機(jī)制應(yīng)用到傳統(tǒng)U-Net網(wǎng)絡(luò)[14]中，有效的分割出了全心臟結(jié)構(gòu)。圖4顯示了一例測試數(shù)據(jù)通過AttU_Net_conv1_5Mffp網(wǎng)絡(luò)的部分切片的預(yù)測結(jié)果。

其中第一行是真實標(biāo)簽圖片、第二行是相應(yīng)切片通過網(wǎng)絡(luò)的分割結(jié)果。從分割結(jié)果可以看出，網(wǎng)絡(luò)分割結(jié)果和真實標(biāo)簽相比有很高的相似度，一些細(xì)小的動脈血管及心肌邊緣該網(wǎng)絡(luò)都可以準(zhǔn)確預(yù)測出來，由此證明該網(wǎng)絡(luò)可以很好地分割出全心臟結(jié)構(gòu)。

4 ?結(jié) ?論

本文基于介入手術(shù)導(dǎo)航和心血管疾病診斷與治療的基本需求，針對全心臟結(jié)構(gòu)中各部位邊界模糊、尺寸大小差別較大等問題，結(jié)合胸部增強(qiáng)CT圖像的影像特征，提出了一種融合多并行尺度特征融合和注意力機(jī)制的改進(jìn)U-Net網(wǎng)絡(luò)的全心臟CT圖像分割方法。在特征提取部分加入多并行尺度特征融合擴(kuò)大了感受野且保留了細(xì)小特征;在U-Net網(wǎng)絡(luò)解碼階段加入注意力機(jī)制更有效的恢復(fù)了圖像的邊界信息。通過使用MM-WHS數(shù)據(jù)集在傳統(tǒng)的U-Net網(wǎng)絡(luò)以及添加各模塊的驗證網(wǎng)絡(luò)顯示：本文提出的分割網(wǎng)絡(luò)整體性能較優(yōu)，有著比較高的準(zhǔn)確度，分割結(jié)果比較可觀。

雖然該方法利用深度學(xué)習(xí)解決了傳統(tǒng)方法耗時耗力的問題，對全心臟結(jié)構(gòu)的分割有很大的幫助，但是分割性能仍有待提升，原因可能是數(shù)據(jù)的預(yù)處理不夠突出以及數(shù)據(jù)量不夠?qū)е聦W(xué)習(xí)不充分。后續(xù)我們也會針對目前存在的問題做進(jìn)一步的優(yōu)化，并對整個胸腔器官的分割進(jìn)行研究以對介入手術(shù)進(jìn)行導(dǎo)航。

參考文獻(xiàn)：

[1] 胡盛壽，高潤霖，劉力生，等.《中國心血管病報告2018》概要 [J].中國循環(huán)雜志，2019，34（3）：209-220.

[2] ZHUANG X. Challenges and methodologies of fully automatic whole heart segmentation：a review [J].Journal of Healthcare Engineering，2013，4（3）：371-408.

[3] ZHUANG X，SONG J，ZHAN S，et al. A registration and atlas propagation based framework for automatic whole heart segmentation of CT volumes [C]//SPIE Medical Imaging. Orlando：SPIE，2013.

[4] PAYER C，?TERN D，BISCHOF H，et al. Multi-label whole heart segmentation using CNNs and anatomical label configurations [C]//STACOM 2017：Statistical Atlases and Computational Models of the Heart. ACDC and MMWHS Challenges. Quebec：Springer，Cham，2018：190-198.

[5] YANG X，BIAN C，YU L，et al. Hybrid loss guided convolutional networks for whole heartparsing [C]//STACOM 2017：Statistical Atlases and Computational Models of the Heart. ACDC and MMWHS Challenges. Quebec：Springer，Cham，2017：215-223.

[6] XU Z，WU Z，F(xiàn)ENG J. CFUN：Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation [J/OL].arXiv.org，2018，1（2018-12-12）.https：//arxiv.org/abs/1812.04914v1.

[7] YU F，KOLTUN V. Multi-Scale Context Aggregation by Dilated Convolutions [J/OL].arXiv.org，2016，3[2021-06-01].https：//arxiv.org/abs/1511.07122.

[8] 葉承欽.基于編解碼結(jié)構(gòu)的全心臟CT圖像分割 [D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

[9] ZHANG S，F(xiàn)U H，YAN Y，et al. Attention Guided Network for Retinal Image Segmentation [C]//MICCAI 2019：Medical Image Computing and Computer Assisted Intervention – MICCAI 2019.Shenzhen：Springer，Cham，2019：797-805.

[10] HABIJAN M，GALI? I，LEVENTI? H，et al. Whole heart segmentation using 3D FM-Pre-ResNet encoder–decoder based architecture with variational autoencoder regularization [J].Applied Sciences，2021，11（9）：3912.

[11] LIU T，TIAN Y，ZHAO S，et al. Automatic Whole Heart Segmentation Using a Two-Stage U-Net Framework and an Adaptive Threshold Window [J].IEEE Access，2019，7：83628-83636.

[12] 付殿臣.跨模態(tài)心臟醫(yī)學(xué)圖像域自適應(yīng)分割算法研究 [D].長春：長春工業(yè)大學(xué)，2021.

[13] HABIJAN M，LEVENTI? H，GALI? I，et al. Neural network based whole heart segmentation from 3D CT images [J].International journal of electrical and computer engineering systems，2020，11（1）：[2021-05-31].http：//www.etfos.unios.hr/ijeces/papers/neural-network-based-whole-heart-segmentation-from-3d-ct-images/.

[14] RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-Net：Convolutional Networks for Biomedical Image Segmentation [C]//MICCAI 2015：Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015.Munich：Springer，Cham，2015：234-241.

作者簡介：陳秋葉（1995—），女，漢族，河南開封人，碩士研究生在讀，研究方向：視覺認(rèn)知與醫(yī)學(xué)圖像處理;通訊作者：劉海華（1966—），男，漢族，湖北孝感人，教授，博士，研究方向：視覺認(rèn)知計算與醫(yī)學(xué)圖像處理。