劉從軍,徐佳陳,肖志勇,柴志雷

(1.江蘇科技大學(xué)計(jì)算機(jī)學(xué)院，江蘇 鎮(zhèn)江 212003；2.江南大學(xué)人工智能與計(jì)算機(jī)學(xué)院，江蘇 無(wú)錫 214122)

1 引言

心血管疾病是世界三大常見病之一，其致死率已經(jīng)達(dá)到了每年1 500萬(wàn)人[1]。心臟核磁共振成像技術(shù)CMRI(Cardiac Magnetic Resonance Imaging)是診斷心血管疾病的重要手段之一，被視為評(píng)估心臟功能的金標(biāo)準(zhǔn)。因此，如何對(duì)CMRI進(jìn)行精確的分割已經(jīng)成為一個(gè)重要的醫(yī)學(xué)圖像學(xué)問(wèn)題。

在過(guò)去的幾年中，卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像學(xué)領(lǐng)域展現(xiàn)出了強(qiáng)大的分割能力。比如,U-Net(U-shaped Network)[2]，自2015年提出以來(lái)不斷發(fā)展成為了醫(yī)學(xué)圖像分割任務(wù)中最常用的框架，人們對(duì)其的改進(jìn)層出不窮。Zhang等[3]提出了可以連接多尺度特征的MDU-Net(Multi-scale Densely connected U-Net)；Chen等[4]提出了適用于樣本數(shù)量較小的橋連接網(wǎng)絡(luò)Bridge U-Net；Oktay等[5]在U-Net結(jié)構(gòu)中添加注意門機(jī)制(Attention Gate),使得目標(biāo)器官在訓(xùn)練過(guò)程中能夠獲得更高的權(quán)重，讓網(wǎng)絡(luò)更集中于分割目標(biāo)器官；孫錦峰等[6]根據(jù)肝靜脈和肝門靜脈在三維結(jié)構(gòu)上的差異，將2個(gè)U-Net結(jié)合起來(lái)提出了一種自動(dòng)學(xué)習(xí)全部肝血管特征的W-Net。同時(shí)，由于醫(yī)學(xué)圖像大多數(shù)為3D數(shù)據(jù)，研究人員對(duì)U-Net的研究也擴(kuò)展到了3D領(lǐng)域。Milletari等[7]在U-Net的基礎(chǔ)上提出了適用于3D數(shù)據(jù)的V-Net；Isensee等[8]提出了一種基于自適應(yīng)框架的nnU-Net(no new U-Net)，在MICCAI (international conference on Medical Image Computing and Computer Assisted Intervention)2018年十項(xiàng)全能的比賽中取得了較好的成績(jī);Huang等[9]提出的3D U2-Net(Universal U-Net)利用可分離卷積獲取跨通道相關(guān)性。

3D網(wǎng)絡(luò)的表現(xiàn)雖然優(yōu)于2D網(wǎng)絡(luò)，但沒(méi)有考慮到切片的厚度，在實(shí)際情況下切片的厚度也是影響分割結(jié)果的一個(gè)重要因素。文獻(xiàn)[10]已表明，當(dāng)數(shù)據(jù)集Z軸較厚時(shí)，Z軸的信息量比較稀疏，3D卷積的邊界效應(yīng)會(huì)影響中間可用信息,從而影響分割效果。因此,對(duì)于Z軸切片較少的厚層數(shù)據(jù)，2D網(wǎng)絡(luò)的分割效果往往會(huì)好于3D網(wǎng)絡(luò)。本文選取的ACDC(Automated Cardiac Diagnosis Challenge)[11]心臟分割挑戰(zhàn)數(shù)據(jù)集為短軸動(dòng)態(tài)磁共振圖像，是典型的厚層數(shù)據(jù)，其Z軸切片數(shù)僅為8～16，厚度為5～10 mm，因此Z軸的信息量比較稀疏。針對(duì)這一情況，本文選擇以2D U-Net++[12]作為網(wǎng)絡(luò)的基礎(chǔ)框架，構(gòu)建了由5個(gè)編碼塊與10個(gè)解碼塊組成的U型全卷積神經(jīng)網(wǎng)絡(luò)MFF U-Net(Multiscale Feature Fusion U-Net)。

本文所提算法的特點(diǎn)：首先,在編碼部分，為了充分利用每一次下采樣生成的特征圖信息，本文在殘差模塊(Res Block)[13]的基礎(chǔ)上引入了密集連接網(wǎng)絡(luò)dense-Net[14]中密集連接的思想，提出了密集殘差模塊，顯著地增加了特征圖的復(fù)用率，從而提高了網(wǎng)絡(luò)的分割能力；其次，在解碼部分首先參考VGG(Visual Geometry Group)的思想，用多個(gè)卷積核來(lái)擴(kuò)大網(wǎng)絡(luò)的感受野，并利用長(zhǎng)距離依賴模塊GC block(Global Context block)[15]來(lái)獲取圖像全局的上下文信息，從而使得網(wǎng)絡(luò)編碼還原的結(jié)果更為可靠；最后，考慮到目標(biāo)器官的唯一性與連貫性，本文在網(wǎng)絡(luò)的最后添加了獲取最大連通域以及填充細(xì)小孔洞的后處理操作。

2 自動(dòng)分割算法

2.1 數(shù)據(jù)集及其預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)選取ACDC心臟分割挑戰(zhàn)數(shù)據(jù)集，該數(shù)據(jù)集包含150名志愿者的舒張末期(ed)與收縮末期(es)的心臟核磁共振圖像。該數(shù)據(jù)集將其中的100名志愿者的相關(guān)圖像劃分為訓(xùn)練數(shù)據(jù)集，將剩余的50名志愿者的相關(guān)圖像劃分為測(cè)試集。該數(shù)據(jù)集未公布測(cè)試集數(shù)據(jù)對(duì)應(yīng)的真實(shí)標(biāo)簽圖(Ground Truth)，本文的實(shí)驗(yàn)結(jié)果來(lái)源于官方在線評(píng)估網(wǎng)站(https:∥acdc.creatis.insa-lyon.fr/)。數(shù)據(jù)集的真實(shí)標(biāo)簽由2名超過(guò)10年經(jīng)驗(yàn)的醫(yī)生手動(dòng)繪制。每幅圖像的標(biāo)簽有4個(gè)值：0,1,2和3，分別表示背景、右心室(Rv)、心肌(MYO)和左心室(Lv)。

本文對(duì)ACDC數(shù)據(jù)集做了如下預(yù)處理：(1)為消除異常點(diǎn)(Outliers)對(duì)于圖像的影響，本文選擇圖像中從小到大排列第1%與第99%的灰度值作為鑒定異常值分布的界限來(lái)修正異常值。并對(duì)每一幅圖的灰度值進(jìn)行歸一化處理。(2)對(duì)于圖像沿Z軸進(jìn)行二維切片時(shí)出現(xiàn)的大小不一的情況，本文將每一張切片裁剪為224×224大小，以方便網(wǎng)絡(luò)訓(xùn)練和進(jìn)一步減少無(wú)關(guān)信息對(duì)于分割結(jié)果的影響。

2.2 密集殘差模塊

受文獻(xiàn)[16]的啟發(fā)，本文在U-Net++的編碼部分應(yīng)用了密集殘差模塊。

殘差模塊是將網(wǎng)絡(luò)單元的輸入x與輸出F(x)相加后再作為輸入一起輸入到下一個(gè)單元，如式(1)所示：

H(x)=F(x)+x

(1)

殘差模塊利用式(1)中包含的恒等映射：當(dāng)F(x)=0時(shí)，H(x)=x,將相對(duì)低層的輸入直接傳播到任意高層單元，在一定程度上解決了網(wǎng)絡(luò)退化的問(wèn)題。

與殘差模塊不同，dense-Net提出了一個(gè)更為密集的連接方法，它使得每一個(gè)網(wǎng)絡(luò)單元都會(huì)接受前面所有單元的輸出作為其額外的輸入，如式(2)所示：

xl=Hl([x0,x1,…,xl-1])

(2)

其中,下標(biāo)l表示當(dāng)前網(wǎng)絡(luò)單元所在的層數(shù)，Hl(·)表示第l層的非線性激活函數(shù)，[·]表示通道連接操作。由式(2)可以看出,dense-Net中的密集連接是將其他層的輸入與當(dāng)前層的輸入進(jìn)行通道連接，而非直接相加。這種密集連接實(shí)現(xiàn)了特征復(fù)用，縮短了層與層之間的距離，有利于特征的傳播。同時(shí)，它也可以將底層的輸入直接傳播到任意高層單元，同樣起到了避免網(wǎng)絡(luò)退化的作用。

由文獻(xiàn)[17]可知，將殘差模塊與dense-Net相結(jié)合可以進(jìn)一步強(qiáng)化特征傳播，實(shí)現(xiàn)特征復(fù)用，提升網(wǎng)絡(luò)性能。因此，本文設(shè)計(jì)了在殘差模塊中引入密集連接思想的密集殘差模塊DR block(Dense_Res block)，密集連接殘差塊內(nèi)部的卷積，縮短殘差塊內(nèi)部的距離，其具體結(jié)構(gòu)如圖1所示。圖1中CL表示第L層的通道數(shù)，H和W分別表示特征圖的高和寬。圖1中一個(gè)卷積層包括3個(gè)部分：Conv(3×3)、BN和ReLU。其中,Conv(3×3)表示卷積核大小為3×3的卷積、BN表示批量歸一化，ReLU是線性修正函數(shù)。

Figure 1 Structure of DR block圖1 密集殘差結(jié)構(gòu)圖

密集殘差模塊將第1卷積層的輸出與第2層的輸出密集連接后再輸入到壓縮(Compression)層。壓縮層是由卷積核大小為1×1的卷積、BN與ReLU函數(shù)構(gòu)成，其作用是壓縮特征圖的通道數(shù)，避免網(wǎng)絡(luò)過(guò)寬。圖1上半部分是一個(gè)1×1的卷積w1和批量歸一化操作，其作用是增加當(dāng)前單元輸入的通道數(shù)，使其與壓縮層的輸出相一致。最后，再將右半部分的輸出與壓縮層的輸出相加，得到該模塊的輸出。

2.3 VGG-GC 模塊

鑒于圖像中左心室、右心室、左心肌的位置關(guān)系(即左心肌包裹著左心室，右心室緊貼著左心肌)較為固定，解碼過(guò)程中能否盡可能地獲取全局的上下文信息顯得尤為重要?；诖?，本文在解碼部分參考VGG的思想，利用多個(gè)小卷積核代替大卷積，以此來(lái)增加網(wǎng)絡(luò)的感受野，并結(jié)合長(zhǎng)距離依賴模塊，提出了VGG-GC模塊。

普通的n×n大小的卷積核在進(jìn)行卷積操作時(shí)，處理的僅僅是n×n大小的局部的信息。通過(guò)增大卷積核尺寸的方法來(lái)增大感受野，會(huì)導(dǎo)致計(jì)算量暴增，從而降低網(wǎng)絡(luò)計(jì)算效率。VGG模塊的基本思想是利用多個(gè)3×3的小卷積核來(lái)代替5×5和7×7的大卷積核。這樣做的好處在于利用小卷積核來(lái)代替大卷積核，可以明顯地減少參數(shù)量；而且卷積核數(shù)量的增加可以使網(wǎng)絡(luò)的感受野更廣，對(duì)于不同類別的區(qū)分能力更強(qiáng)。然而一味地通過(guò)添加3×3的卷積核來(lái)達(dá)到大卷積核的效果又會(huì)導(dǎo)致網(wǎng)絡(luò)深度過(guò)深，易產(chǎn)生網(wǎng)絡(luò)退化、梯度爆炸等問(wèn)題。為了解決這一問(wèn)題，本文設(shè)計(jì)了VGG-GC模塊，其結(jié)構(gòu)如圖2所示。該模塊利用2個(gè)3×3大小的卷積核代替5×5的卷積核，并在第2個(gè)卷積后面添加了長(zhǎng)距離依賴模塊，使網(wǎng)絡(luò)在上采樣過(guò)程中可以獲得全局的上下文信息，進(jìn)一步擴(kuò)大卷積的感受野。

長(zhǎng)距離依賴模塊的主要思想是獲取一個(gè)全局的注意力矩陣(Attention Map)來(lái)聚集全局的上下文信息，并對(duì)所有位置共享該矩陣。該模塊可以抽象為2個(gè)步驟：(1)獲取圖像全局信息：在獲取全文信息階段首先利用卷積wk和Sigmoid函數(shù)來(lái)獲取圖像權(quán)值；再將得到的權(quán)值與圖像進(jìn)行元素相乘，得到全局信息。(2)特征信息轉(zhuǎn)換：利用2個(gè)1×1的卷積wv1與wv2來(lái)捕獲通道間的依賴關(guān)系，并為了降低優(yōu)化難度在2個(gè)卷積之間加入層歸一化(Layer Normalization)[18]。長(zhǎng)距離依賴的計(jì)算如式(3)所示：

(3)

(4)

其中,Np為圖像中所有的位數(shù)；i的取值在[1,Np],表示第i個(gè)位置;xi與zi分別是輸入與輸出;αj是獲取全局信息階段得到的權(quán)值;LN(·)是層歸一化操作。

Figure 2 Structure of VGG-GC block圖2 VGG-GC模塊結(jié)構(gòu)圖

2.4 網(wǎng)絡(luò)模型

本文所提出的算法以U-Net++作為基本網(wǎng)絡(luò)框架。與傳統(tǒng)U-Net相比,U-Net++通過(guò)將不同尺寸的子U-Net結(jié)構(gòu)融合在一個(gè)網(wǎng)絡(luò)里解決了U-Net到底要有多深的問(wèn)題。

U-Net結(jié)構(gòu)由編碼塊、解碼塊與跳躍連接組成。

跳躍連接將編碼塊學(xué)習(xí)到的高層特征圖與上一層解碼塊還原出的特征圖進(jìn)行通道連接后再進(jìn)行解碼操作。圖3a是深度為2的U-Net。

U-Net++則在U-Net的基礎(chǔ)上做了更進(jìn)一步的改進(jìn)，它將處于同一層中不同尺寸的子U-Net的解碼塊特征通道連接后輸入到后面的所有模塊中去，因此U-Net++的每一個(gè)編碼塊的輸出結(jié)果如式(5)所示：

(5)

由式(5)可以看出，在U-Net++的結(jié)構(gòu)中深層網(wǎng)絡(luò)可以直接獲得淺層網(wǎng)絡(luò)的還原結(jié)果，這樣可以使網(wǎng)絡(luò)自己去學(xué)習(xí)不同深度特征的重要性。同時(shí)，將深層網(wǎng)絡(luò)的結(jié)果與淺層網(wǎng)絡(luò)的結(jié)果融合起來(lái)，又避免了在下采樣過(guò)程中出現(xiàn)信息丟失的情況。圖3b是深度為3的U-Net++，其融合了深度為2和3的2個(gè)子U-Net結(jié)構(gòu)。

Figure 3 Framework of U-Net圖3 U-Net算法結(jié)構(gòu)

本文算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖3c所示，采用的是5層的U-Net++的架構(gòu)。該架構(gòu)包含5個(gè)編碼塊與10個(gè)解碼塊，網(wǎng)絡(luò)每一層的通道數(shù)由上往下分別是32,64,128,256和512。編碼塊的內(nèi)部結(jié)構(gòu)包括密集殘差模塊DR block與最大池化層。最大池化層的卷積核大小為2×2，步長(zhǎng)為2，其作用是將特征圖縮小為原有的1/2。解碼塊由上采樣(Upsampling)層與VGG-GC模塊組成。上采樣層的作用是將縮小的特征圖還原成原始尺寸，然后通過(guò)跳躍連接與對(duì)應(yīng)的編碼階段形成的特征圖合并，最后輸入到VGG-GC模塊。最后網(wǎng)絡(luò)的輸出結(jié)果通過(guò)Sigmoid函數(shù)輸出。

本文算法是將三維數(shù)據(jù)沿著Z軸做二維切片后再進(jìn)行訓(xùn)練。這種方式雖然適合厚層數(shù)據(jù)，但因?yàn)樵谟?xùn)練過(guò)程中忽略了圖像三維序列上的相關(guān)信息，會(huì)在少量切片上出現(xiàn)分割異常點(diǎn)。為了盡可能地消除這些異常點(diǎn)，本文對(duì)于改進(jìn)后的U-Net++的分割結(jié)果還進(jìn)行了后處理：考慮到目標(biāo)器官的唯一性，選取每個(gè)目標(biāo)器官的最大連通域；考慮到雙心室的連貫性，對(duì)雙心室進(jìn)行細(xì)小孔洞填充。本文連通域與空洞的判定方式都選用的是8鄰接判定，細(xì)小孔洞的面積閾值為5 000。

2.5 損失函數(shù)

本文使用聯(lián)合損失函數(shù)，包括交叉熵(Cross Entropy)損失函數(shù)與Dice損失函數(shù)。交叉熵?fù)p失函數(shù)常用于圖像分割領(lǐng)域，它表示圖像中每一個(gè)像素與真實(shí)標(biāo)簽進(jìn)行結(jié)果對(duì)比的平均值。Dice損失函數(shù)是評(píng)價(jià)2個(gè)樣本的重疊部分，重疊部分越大,Dice損失函數(shù)值就越小,分割效果越好。本文使用的聯(lián)合損失函數(shù)的計(jì)算公式如式(6)所示：

L=Ldice+0.5Lce

(6)

其中,Lce表示交叉熵?fù)p失函數(shù)，其定義如式(7)所示：

(1-y(i))log(1-logp(i)))

(7)

Ldice表示Dice損失函數(shù)，其定義如式(8)所示：

(8)

其中,N為樣本總數(shù)，i表示第i個(gè)樣本，y(i)表示第i個(gè)樣本的真實(shí)標(biāo)簽值，p(i)表示第i個(gè)樣本的預(yù)測(cè)值。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)選用的處理器為Intel Core i7,顯卡為NVIDIA GTX1080Ti。深度學(xué)習(xí)框架是1.4.0版的PyTorch。網(wǎng)絡(luò)的優(yōu)化器選用了Adam[19]優(yōu)化器，學(xué)習(xí)率設(shè)置為0.03。圖4為損失函數(shù)的收斂圖。

Figure 4 Convergence of the loss function圖4 損失函數(shù)收斂圖

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

為定量評(píng)估本文算法的性能，使用在線評(píng)測(cè)網(wǎng)站給出的2種評(píng)價(jià)指標(biāo)，包括相似性系數(shù)DSC(Dice Similarity Coefficient)與豪斯多夫距離HD(Hausdorff Distance),對(duì)舒張末期(ed)與收縮末期(es)的左心室(Lv)、左心肌(MYO)和右心室(Rv)的分割結(jié)果進(jìn)行評(píng)估。DSC和HD的計(jì)算分別如式(9)和式(10)所示：

(9)

HD(P,Y)=max{dpy,dyp}=

(10)

其中，P表示算法的預(yù)測(cè)結(jié)果，Y表示真實(shí)標(biāo)簽值，Y∩P代表預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽值的交集，p和y分別表示P與Y上對(duì)應(yīng)的像素點(diǎn)。

本文提供的精度值均由官方在線測(cè)試平臺(tái)給出。

3.3 后處理對(duì)實(shí)驗(yàn)結(jié)果的影響

為探究后處理對(duì)于目標(biāo)器官分割結(jié)果的影響，本文對(duì)比了在測(cè)試集上添加了后處理的分割結(jié)果與沒(méi)有添加后處理的分割結(jié)果。表1和表2分別展示了相似性系數(shù)與豪斯多夫距離上的結(jié)果對(duì)比。

由表1和表2可以看出，后處理在不影響相似性系數(shù)精度的基礎(chǔ)上有效地減小了目標(biāo)器官的豪斯多夫距離。這是因?yàn)檫x取最大連通域可以有效地刪除異常點(diǎn)，填充細(xì)小空洞可以使分割結(jié)果更光滑，更加接近真實(shí)標(biāo)簽圖。

Table 1 Comparison of DSC with post-process and without post-process

Table 2 Comparison of HD with post-process and without post-process

圖5顯示了隨機(jī)選取的訓(xùn)練集中2組數(shù)據(jù)的分割結(jié)果。該2組數(shù)據(jù)在分割時(shí)都將無(wú)關(guān)信息誤分割成了目標(biāo)器官，違背了目標(biāo)器官的唯一性，且第2個(gè)例子中左心室存在孔洞。這2種異常由于所占像素較少對(duì)相似性系數(shù)精度的影響較小，但對(duì)豪斯多夫距離的影響較大。觀察經(jīng)過(guò)后處理的分割結(jié)果可以看出，通過(guò)選取最大連通域和填充細(xì)小孔洞可以有效地消除這類問(wèn)題。

Figure 5 Comparison of effect with post-process and without post-process圖5 后處理使用前后的效果對(duì)比

3.4 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于實(shí)驗(yàn)結(jié)果的影響

為了探究VGG-GC 模塊以及密集殘差模塊對(duì)雙心室和左心肌分割效果的影響，本文在原始U-Net++架構(gòu)的基礎(chǔ)上分別添加VGG-GC block與密集殘差模塊，訓(xùn)練出了2個(gè)算法：VGG-GC block+U-Net++算法和VGG-GC block+dense_res block+U-Net++算法，分別記為GC-U-Net++和MFF U-Net。同時(shí)也訓(xùn)練了原始的U-Net++算法與原始的U-Net算法。其相似性系數(shù)和豪斯多夫距離對(duì)比結(jié)果分別如表3和表4所示。可以看出，本文算法在2個(gè)指標(biāo)上都優(yōu)于其他算法。

對(duì)比表3和表4中GC-U-Net++算法與原始U-Net++算法的結(jié)果可以看出，通過(guò)添加VGG-GC模塊對(duì)所有位置共享圖像的全局上下文信息，可以使網(wǎng)絡(luò)較好地學(xué)習(xí)目標(biāo)器官之間的關(guān)系，增強(qiáng)網(wǎng)絡(luò)對(duì)于目標(biāo)器官形狀大小多變的適應(yīng)能力，使其具有較好的魯棒性。

Table 3 DSC comparison of four algorithms

Table 4 HD comparison of four algorithms

對(duì)比GC-U-Net++算法與MFF U-Net的結(jié)果可以看出，在GC-U-Net++的基礎(chǔ)上加入密集殘差模塊后分割精度有了進(jìn)一步的提升，這說(shuō)明密集殘差模塊可以有效地增加特征圖的復(fù)用率，提高網(wǎng)絡(luò)的抗退化性，從而提升網(wǎng)絡(luò)的性能。

Figure 6 Comparison of the 3D segmentation results of four algorithms圖6 4種算法的三維分割效果對(duì)比

為了更好地說(shuō)明本文所提MFF U-Net算法的分割性能，本文在驗(yàn)證集中隨機(jī)選取舒張期末期(ed)和收縮期末期(es)圖像在4種算法下的分割效果圖。如圖6所示,其中前2行為舒張期末期圖像，后2行為收縮期末期圖像。從圖6可以看出，直接用U-Net分割的效果不太理想，尤其是左心室與左心肌的邊界分割得比較模糊。使用U-Net++后分割效果有了一定的改善，但依舊與真實(shí)標(biāo)簽圖存在較大的區(qū)別，甚至在一些數(shù)據(jù)中出現(xiàn)了左心肌外包了右心室的情況。在U-Net++中添加長(zhǎng)距離依賴模塊有效地避免了這種失誤，這說(shuō)明長(zhǎng)距離依賴模塊在每個(gè)單元中共享了圖像的全局上下文信息，使得網(wǎng)絡(luò)能夠更好地學(xué)習(xí)目標(biāo)器官的相對(duì)關(guān)系，從而具有更好的魯棒性。再對(duì)比圖6中GC-U-Net++與MFF U-Net的分割結(jié)果可以看出,添加了密集殘差模塊網(wǎng)絡(luò)的分割結(jié)果更加接近真實(shí)標(biāo)簽圖，這說(shuō)明密集殘差模塊能夠有效地實(shí)現(xiàn)特征復(fù)用，縮短網(wǎng)絡(luò)內(nèi)部距離，更有利于特征的傳播。本文所提的MFF U-Net相較于其他的對(duì)比算法可以更為準(zhǔn)確地分割出目標(biāo)器官，且分割細(xì)節(jié)更為細(xì)膩，分割效果更加接近真實(shí)標(biāo)簽圖。圖7為MFF U-Net在測(cè)試集上的相似性系數(shù)箱型圖。

Figure 7 DSC box diagram of the proposed algorithm on test set圖7 本文算法測(cè)試集相似性系數(shù)箱型圖

3.5 與其他算法的實(shí)驗(yàn)對(duì)比

本節(jié)將本文算法與其他論文所提出的算法進(jìn)行對(duì)比。

Grinias等[20]提出的基于時(shí)間序列對(duì)整個(gè)感興趣區(qū)域的切片進(jìn)行跟蹤的算法記為Algorithm1;Wolterink等[21]提出的將隨機(jī)森林與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的算法記為Algorithm2;Khened等[22]提出的用密集卷積網(wǎng)絡(luò)進(jìn)行分割的算法記為Algorithm3;Chang等[23]提出的利用YOLO[24]網(wǎng)絡(luò)提取感興趣區(qū)域，再將感興趣區(qū)域反饋到全卷積網(wǎng)絡(luò)的算法記為Algorithm4;Liu等[25]提出的殘差雙向長(zhǎng)短記憶網(wǎng)絡(luò)記為Algorithm5。實(shí)驗(yàn)結(jié)果如表5和表6所示。

由表5和表6可以看出，本文MFF U-Net算法通過(guò)優(yōu)化U-Net++的編碼結(jié)構(gòu)與解碼結(jié)構(gòu)以及添加后處理操作有效地完成了雙心室與左心肌的分割任務(wù)，獲得了較好的性能指標(biāo)。

4 討論

U-Net是醫(yī)學(xué)圖像分割領(lǐng)域最常用的神經(jīng)網(wǎng)絡(luò)框架。U-Net++通過(guò)共享編碼塊來(lái)融合不同尺寸的U-Net，并將所有子網(wǎng)絡(luò)的解碼結(jié)果都連接起來(lái)。這樣做不但解決了網(wǎng)絡(luò)到底要有多深的問(wèn)題，也使得網(wǎng)絡(luò)的內(nèi)部連接更為緊湊，減少了編碼塊與解碼塊之間的信息差距。本文研究基于U-Net++網(wǎng)絡(luò)，通過(guò)分析左右心室與左心肌的特性，改進(jìn)了U-Net++的編碼結(jié)構(gòu)與解碼結(jié)構(gòu)，并在網(wǎng)絡(luò)的最后添加了后處理操作。通過(guò)大量的實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)后的編碼塊能夠提取出更加具有區(qū)分度的特征圖，這是因?yàn)楸疚耐ㄟ^(guò)密集連接殘差塊內(nèi)部卷積層，提高了特征的復(fù)用率，避免了一些有用信息在卷積過(guò)程中丟失。但是一味地增加殘差塊內(nèi)部卷積核的數(shù)量會(huì)形成高密度的密集連接塊，這樣反而會(huì)導(dǎo)致分割精度的降低，這主要是因?yàn)樵诰矸e核過(guò)多的情況下進(jìn)行密集連接，本應(yīng)舍去的無(wú)用信息的數(shù)量也會(huì)增加，進(jìn)而影響實(shí)驗(yàn)結(jié)果。本文在解碼階段還結(jié)合了長(zhǎng)距離依賴模塊與VGG模塊來(lái)使得網(wǎng)絡(luò)在解碼過(guò)程能最大程度地獲取圖像的全局上下文信息，以此來(lái)限制網(wǎng)絡(luò)產(chǎn)生不符合目標(biāo)器官相對(duì)關(guān)系的分割異常點(diǎn)。然而由于做的是二維切片，算法依舊會(huì)產(chǎn)生一些異常點(diǎn)，這些異常點(diǎn)在二維上符合目標(biāo)器官的相對(duì)關(guān)系，但在三維上忽略了目標(biāo)器官的連貫性與唯一性，因此本文在網(wǎng)絡(luò)最后又增加了后處理操作，通過(guò)選取最大連通域和填充細(xì)小孔洞來(lái)解決該問(wèn)題。

Table 5 DSC comparison of five algorithms

Table 6 HD comparison of five algorithms

本文在舒張期末期的分割結(jié)果上取得了相當(dāng)不錯(cuò)的效果，然而對(duì)收縮期末期的左心室的分割效果還不太理想。后續(xù)將針對(duì)這一問(wèn)題展開研究工作。

5 結(jié)束語(yǔ)

針對(duì)左右心室和左心肌的特性，本文提出了MFF U-Net算法：首先在編碼部分，通過(guò)密集連接殘差模塊內(nèi)部的卷積，提高特征圖的復(fù)用率，使得網(wǎng)絡(luò)能提取更多的有效特征;在解碼部分,利用多個(gè)卷積核與長(zhǎng)距離依賴模塊盡可能地提高了網(wǎng)絡(luò)的感受野，使得每次解碼過(guò)程都能獲得圖像的全局上下文特征，讓分割結(jié)果更加接近真實(shí)圖像。從實(shí)驗(yàn)結(jié)果可以看出，本文提出的算法相較于傳統(tǒng)的U-Net、U-Net++和現(xiàn)有的其它算法，其分割準(zhǔn)確性都有明顯的提升。