蔡 靜，陳秋葉，韋瑞華，蔡光雄，劉海華

（中南民族大學(xué)生物醫(yī)學(xué)工程學(xué)院，湖北 武漢 430074）

隨著空氣污染越來越嚴(yán)重，一些常見的呼吸系統(tǒng)疾病如哮喘、慢性支氣管炎、慢性阻塞性肺疾病和肺癌等給人們帶來嚴(yán)重的損害[1]?；卺t(yī)學(xué)影像的手術(shù)導(dǎo)航在提高醫(yī)生手術(shù)準(zhǔn)確率和高效性方面具有突出的優(yōu)勢(shì)，特別是在肺穿刺手術(shù)導(dǎo)航中，精準(zhǔn)的分割氣道樹能有效降低手術(shù)的風(fēng)險(xiǎn)。同時(shí)，在肺癌放療計(jì)設(shè)計(jì)中，對(duì)氣道精確分割有助于提高精準(zhǔn)治療的效果。相對(duì)于其他實(shí)體器官或者腫瘤組織的分割任務(wù)，氣道呈樹形結(jié)構(gòu)具有多分枝和分叉點(diǎn)的尖銳形狀，受呼吸運(yùn)動(dòng)和成像噪聲等的影響，末端易出現(xiàn)斷裂，并且在細(xì)支氣管分割時(shí)因外壁較薄較模糊導(dǎo)致易過分割滲入相鄰的肺實(shí)質(zhì)中，人工分割氣道樹是極其耗時(shí)繁瑣的[2]，這些結(jié)構(gòu)上的特點(diǎn)使得對(duì)氣道分割仍然是一項(xiàng)具有重要臨床意義且極具挑戰(zhàn)的研究課題。當(dāng)前的氣道分割方法存在計(jì)算量大，自動(dòng)分割精度有待提高的問題。為此，本文提出融合三個(gè)斷面的解剖信息，基于并行空洞卷積的淺層U-Net網(wǎng)絡(luò)的方法，將三個(gè)斷面的2D網(wǎng)絡(luò)預(yù)測(cè)的結(jié)果三維堆疊后，學(xué)習(xí)對(duì)應(yīng)體素加權(quán)系數(shù)，實(shí)現(xiàn)2.5D融合來自動(dòng)分割氣道樹，現(xiàn)總結(jié)如下。

1 資料與方法

1.1 資料獲取 本實(shí)驗(yàn)數(shù)據(jù)集包含60例公開CT圖，其中40例來自LIDC_IDRI，20例來自EXACT09，從中隨機(jī)選取11000張氣道CT圖像用于本實(shí)驗(yàn)的研究。其氣道金標(biāo)準(zhǔn)由Qin Y等[3]使用ITK-SNAP勾出基本氣道樹標(biāo)簽，經(jīng)訓(xùn)練有素的專家手動(dòng)驗(yàn)證和完善并公開。該實(shí)驗(yàn)研究在中南民族大學(xué)醫(yī)學(xué)信息分析與腫瘤診療實(shí)驗(yàn)室完成，硬件環(huán)境為NVIDIASMI 396.26，軟件環(huán)境為anaconda 4.5.4，keras 2.1.6，網(wǎng)絡(luò)訓(xùn)練使用Adam優(yōu)化器，學(xué)習(xí)率為10-3，訓(xùn)練設(shè)置100次迭代。

1.2 方法 為了去除圖像噪聲等對(duì)細(xì)支氣管的分割干擾，采用了高斯平滑濾波的預(yù)處理。首先將橫斷面、矢狀面、冠狀面的2D胸腔CT圖片，通過淺層U-Net網(wǎng)絡(luò)結(jié)構(gòu)[4]的卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)之處在于將原始5層下采樣改為3層，只包含2層池化層的網(wǎng)絡(luò)，并在最低端加入4種不同空洞率的并行空洞卷積，然后經(jīng)過兩層上采樣，類似U-Net結(jié)構(gòu)，將對(duì)應(yīng)高維特征連接起來，最后經(jīng)過一個(gè)sigmoid函數(shù)得到預(yù)測(cè)概率圖。將測(cè)試集得到的預(yù)測(cè)概率圖三維重建，經(jīng)過旋轉(zhuǎn)等變換使像素位置匹配后，通過一個(gè)簡(jiǎn)單卷積層學(xué)習(xí)三個(gè)斷面預(yù)測(cè)概率的加權(quán)系數(shù)，得到最終的分割氣道樹。

1.2.1 氣道分割方法 為了盡可能保留外周區(qū)域的細(xì)支氣管，將4層池化的U-Net網(wǎng)絡(luò)改成只含2個(gè)池化層，池化過程中的網(wǎng)絡(luò)感受野擴(kuò)大以獲取更深的全局信息，在池化處理之前加入隨機(jī)丟棄率為0.5的Dropout操作[5]，每次上采樣后的特征分辨率增大2倍，通過跳躍連接將全局的高層特征和低層特征融合，有助于提高類別判斷的準(zhǔn)確性[6]。網(wǎng)絡(luò)結(jié)構(gòu)見圖1。并行空洞卷積包含空洞率分別為2、4、8、16的空洞卷積，見圖2，用于捕捉多尺度的特征信息，隨著空洞率的增加，特征感受野相應(yīng)增大，彌補(bǔ)了之前深層卷積導(dǎo)致的信息丟失。在每個(gè)分支空洞卷積后，添加一個(gè)3×3的卷積操作，在不損失特征分辨率的情況下增加了非線性因素，使網(wǎng)絡(luò)能夠表達(dá)更復(fù)雜的特征。輸入層大小是512×512×1，輸出是經(jīng)過sigmoid激活函數(shù)的512×512×1的概率圖。

圖1 改進(jìn)U-Net網(wǎng)絡(luò)

圖2 并行空洞卷積模塊

將測(cè)試集通過改進(jìn)U-Net的氣道分割網(wǎng)絡(luò)預(yù)測(cè)模型得到的橫斷面預(yù)測(cè)概率圖、矢狀面預(yù)測(cè)概率圖、冠狀面預(yù)測(cè)概率圖三維重建，通過旋轉(zhuǎn)變換使三個(gè)體的體素位置一一對(duì)應(yīng)，通過一層包含非線性函數(shù)ReLu的卷積層，卷積核大小為11，核數(shù)為16，將三個(gè)斷面得到的特征圖經(jīng)過concatenate操作后通過一個(gè)包含sigmoid激活函數(shù)的全連接Dense層，學(xué)習(xí)每一個(gè)體素位置上，三個(gè)斷面預(yù)測(cè)概率的加權(quán)系數(shù)，通過f(x)的計(jì)算結(jié)果判定該點(diǎn)屬于氣道或是背景，見圖3。f(x)的函數(shù)表達(dá)式為：

式（1）中x1，x2，x3，分別表示同一體素的橫斷面預(yù)測(cè)概率、矢狀面預(yù)測(cè)概率、冠狀面預(yù)測(cè)概率；w1，w2，w3分別表示對(duì)同一體素，該模型學(xué)習(xí)到的橫斷面預(yù)測(cè)概率加權(quán)系數(shù)、矢狀面預(yù)測(cè)概率加權(quán)系數(shù)、冠狀面預(yù)測(cè)概率加權(quán)系數(shù)。如果f（x）≥0.5，則該體素判為氣道體素，否則為背景，這樣得到最終融合了三維信息的2.5D氣道樹分割圖。

圖3 融合三維信息的分割加權(quán)模型

1.2.2 算法應(yīng)用效果的評(píng)價(jià)方法 為了便于與其他方法性能進(jìn)行比較，采用分割相似度（DSC）、準(zhǔn)確率（TPR）、假陽性率（FPR）三種不同的計(jì)算方式作為評(píng)價(jià)標(biāo)準(zhǔn)來評(píng)估氣道分割算法精度[3]。其定義分別如下：

式（2）中，X表示氣道金標(biāo)準(zhǔn)的標(biāo)簽區(qū)域，Y表示分割網(wǎng)絡(luò)輸出的預(yù)測(cè)結(jié)果區(qū)域，式（3）、（4）中，TP、TN、FP、FN分別表示真正樣本（true positive）、假正樣本（false positive）、真反樣本（true negative）和假反樣本（false negative）。DSC值常用于評(píng)價(jià)分割網(wǎng)絡(luò)，表示分割氣道結(jié)果與金標(biāo)準(zhǔn)的相似度；TPR值表示分割正確的氣道點(diǎn)占整幅圖像總像素點(diǎn)的比例，亦即召回率；FPR反映將背景點(diǎn)誤判為氣道點(diǎn)占背景像素點(diǎn)的比例，亦即誤檢率。范圍在0～1，DSC值和TPR值越高表示分割結(jié)果越好，F(xiàn)PR值越低則表示分割結(jié)果越好。

此外，實(shí)驗(yàn)中使用Dice Loss[7]作為損失函數(shù)對(duì)模型訓(xùn)練過程中的誤差統(tǒng)計(jì)，Dice Loss可以很好的緩解數(shù)據(jù)不平衡的問題，這對(duì)于輸入只包含少量氣道像素的512×512×1的切片來說，目標(biāo)像素占比很小，正負(fù)樣本很不平衡，可以有效的提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)效果，提升分割精度。Dice Loss主要用于度量?jī)蓚€(gè)概率分布之間的差異。定義如下：

式（5）中，y表示氣道金標(biāo)準(zhǔn)的標(biāo)簽，表示模型預(yù)測(cè)結(jié)果等于金標(biāo)準(zhǔn)的概率，預(yù)測(cè)輸出越接近真實(shí)的金標(biāo)準(zhǔn)，值越小。使用作為訓(xùn)練損失函數(shù)的訓(xùn)練過程見圖4。

圖4 網(wǎng)絡(luò)訓(xùn)練過程可視化

2 結(jié)果

在橫斷面、矢狀面、冠狀面方向2D切面上，本次提出的并行空洞卷積的3層U-Net（Dilated_UNet_lever3）與經(jīng)典的5層U-Net（U-Net_lever5）和3層U-Net（U-Net_lever3）分割網(wǎng)絡(luò)比較，其在DSC、TPR、FPR等方面呈現(xiàn)出一定的優(yōu)勢(shì)，見表1～表3。而融合了三維信息的2.5D分割結(jié)果與未融合的三個(gè)斷面2DDilated_U-Net_lever3分割結(jié)果也表現(xiàn)出優(yōu)勢(shì)，見表4。三個(gè)斷面的分割效果見圖5。另外，本文權(quán)重學(xué)習(xí)的融合2.5D的分割方式與等權(quán)重融合的方式進(jìn)行比較，其中DSC、FPR方面表現(xiàn)出一定的優(yōu)勢(shì)；且2.5D融合方式的分割效果圖與真實(shí)標(biāo)簽更為接近，見圖6、表5。

表1 在橫斷面上不同的2D網(wǎng)絡(luò)分割結(jié)果

將本研究提出的氣道分割方法與Qin Y等[3，10]、Jin D等[8]、Juarez GU等[9]的氣道分割方法進(jìn)行比較，結(jié)果顯示本方法在DSC、TPR、FPR上均具有一定優(yōu)勢(shì)，見表6。由于其他方法中未統(tǒng)計(jì)網(wǎng)絡(luò)參數(shù)和計(jì)算量，無法直接比較，故將經(jīng)典的2D U-Net（輸入尺寸為512×512）和3D U-Net（輸入尺寸為32×32×32）網(wǎng)絡(luò)參數(shù)與本次2.5D網(wǎng)絡(luò)參數(shù)進(jìn)行比較，結(jié)果顯示本次計(jì)算量最少，見表7。

表2 在矢狀面上不同的2D網(wǎng)絡(luò)分割結(jié)果

表3 在冠狀面上不同的2D網(wǎng)絡(luò)分割結(jié)果

表4 不同斷面的2D網(wǎng)絡(luò)分割結(jié)果

圖5 三個(gè)切面圖像在2D Dilated_U-Net_lever3分割網(wǎng)絡(luò)得到的預(yù)測(cè)氣道樹

圖6 等權(quán)重融合與2.5D融合分割結(jié)果及真實(shí)標(biāo)簽圖

表5 不同2.5D融合方式的分割結(jié)果比較

表6 與其他氣道分割方法較

表7 不同網(wǎng)絡(luò)參數(shù)計(jì)算量比較

3 討論

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的方法被廣泛用于氣道分割任務(wù)中。Charbonnie JP等[11]提出基于卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)二維氣道圖像小塊進(jìn)行泄露剔除的算法，并對(duì)氣道樹進(jìn)行骨架化提取。Jin D等[8]用3DFCN學(xué)習(xí)中等和小的支氣管，對(duì)輸出的概率圖與原像素進(jìn)行模糊連接得到分割的氣道樹，再進(jìn)行骨架細(xì)化操作移除泄露。Juarez GU等[9]用3D U-Net分割氣道塊，將輸出概率圖乘以特定函數(shù)進(jìn)行處理。Meng Q等[12]利用3D U-Net分割氣道，融合梯度向量流和管狀檢測(cè)進(jìn)行跟蹤延伸。雖然這些方法都可以用于圖像分割，但存在3D網(wǎng)絡(luò)模型計(jì)算量較大的問題。而Wei J等[6]將512×512像素大小的二維冠狀面CT切片作為改進(jìn)U-Net的輸入，三維重建后得到分割氣道樹，但該方法沒有考慮氣道樹三維的重要信息，分割精度有待提高。針對(duì)這些問題，本文通過引入不同空洞率的并行空洞卷積和Dice Loss損失函數(shù)，搭建一種創(chuàng)新的2.5D氣道自動(dòng)分割的卷積神經(jīng)網(wǎng)絡(luò)模型算法，輸入胸腔CT圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練和優(yōu)化，并對(duì)分割網(wǎng)絡(luò)模型進(jìn)行測(cè)試和評(píng)估。

本次研究顯示，本文的改進(jìn)U-Net網(wǎng)絡(luò)在2D橫斷面、矢狀面的DSC值均高于傳統(tǒng)的UNet_lever5和U-Net_lever3，但TPR略低，F(xiàn)PR相差不大；冠狀面不及U-Net_lever5卻優(yōu)于UNet_lever3。但融合三維信息的2.5D分割結(jié)果的DSC值（0.935）分別比2D橫斷面、矢狀面、冠狀面的結(jié)果高，TPR也相應(yīng)較高，且FPR僅略微降低。由此可知，融合三維信息能有效提高氣道樹分割精度。同時(shí)，將該融合方法與等權(quán)重融合方法進(jìn)行對(duì)比發(fā)現(xiàn)，DSC升高，但TPR降低，F(xiàn)PR相差無幾。另外，將本氣道分割方法在統(tǒng)一數(shù)據(jù)集上與Qin Y等[3，10]、Jin D等[8]、Juarez GU等[9]的結(jié)果進(jìn)行比較，發(fā)現(xiàn)本方法在DSC、TPR、FPR三個(gè)指標(biāo)上均略優(yōu)于其它方法，但末端細(xì)支氣管存在斷裂。由于他們的數(shù)據(jù)集并沒有分出具體的訓(xùn)練集、驗(yàn)證集和測(cè)試集，因此本結(jié)果比不夠嚴(yán)謹(jǐn)，但已經(jīng)可以證明融合2.5氣道分割方法能夠提高分割精度。同時(shí)，在網(wǎng)絡(luò)計(jì)算量方面，本文的2.5D網(wǎng)絡(luò)參數(shù)計(jì)算量少于2D和3DU-Net網(wǎng)絡(luò)，有效減少了臨床應(yīng)用數(shù)據(jù)量大的困擾。

本研究的不足：本次改進(jìn)的U-Net網(wǎng)絡(luò)在冠狀面的分割效果還有待提高，同時(shí)2.5D融合方式還不夠成熟，對(duì)于每例CT需要計(jì)算一次權(quán)重，這將會(huì)在未來工作中進(jìn)行深入研究，尋找三個(gè)斷面像素信息的關(guān)系。

綜上所述，基于改進(jìn)U-Net的2.5D氣道自動(dòng)分割方法能有效提高氣道自動(dòng)分割精度，降低網(wǎng)絡(luò)參數(shù)計(jì)算量，相對(duì)于3D氣道分割減少了內(nèi)存消耗和資源浪費(fèi)。