尹靜，劉哲，宋余慶，邱成健

江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院，鎮(zhèn)江 212013

0 引言

胰腺癌是一種轉(zhuǎn)移早、侵襲性強(qiáng)、發(fā)展較快、惡性程度高、預(yù)后較差的惡性腫瘤。根據(jù)美國(guó)癌癥學(xué)會(huì)2021 年報(bào)道，自2000 年開(kāi)始，胰腺癌每年發(fā)病率增長(zhǎng)約1%，5 年生存率低于10%（Siegel 等，2021）。胰腺癌的早期診斷對(duì)于降低死亡率至關(guān)重要，是臨床醫(yī)學(xué)的迫切需求。胰腺的準(zhǔn)確分割是早期胰腺癌檢測(cè)識(shí)別的重要前提，但是由于胰腺在整個(gè)腹部CT（computed tomography）圖像中所占比例較小，且空間位置和形態(tài)多變，如圖1 所示，其準(zhǔn)確分割一直是一項(xiàng)具有挑戰(zhàn)性的任務(wù)（Yu等，2018）。

圖1 NIH數(shù)據(jù)集中樣本示例Fig.1 An example from the NIH dataset

隨著卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）（Krizhevsky 等，2012）在圖像識(shí)別任務(wù)上的成功，研究者將其拓展到圖像語(yǔ)義分割任務(wù)，提出全卷積神經(jīng)網(wǎng)絡(luò)（fully convolution network，F(xiàn)CN）（Long 等，2015）。近年來(lái)，全卷積神經(jīng)網(wǎng)絡(luò)的編碼—解碼結(jié)構(gòu)一直是胰腺分割網(wǎng)絡(luò)的主流結(jié)構(gòu)（Zhou等，2017；Xie 等，2020；Zhang 等，2021a）。但是由于其在編碼階段捕獲多尺度語(yǔ)義信息識(shí)別目標(biāo)使用連續(xù)下采樣操作，導(dǎo)致特征位置和細(xì)節(jié)信息的丟失，進(jìn)而影響解碼器不準(zhǔn)確地預(yù)測(cè)分割邊界。編碼—解碼結(jié)構(gòu)對(duì)于形狀、位置變化較大的小器官（胰腺）分割來(lái)說(shuō)，影響更為明顯。

針對(duì)編碼—解碼結(jié)構(gòu)丟失特征位置和細(xì)節(jié)信息的問(wèn)題，研究者提出高分辨率網(wǎng)絡(luò)（high-resolution net，HRNet）（Sun 等，2019；Wang 等，2021）。通過(guò)在主體網(wǎng)絡(luò)中全程保持一條高分辨率特征分支，避免位置和細(xì)節(jié)信息的丟失，提升了NIH（National Institutes of Health）數(shù)據(jù)集上胰腺的分割精度。但是直接使用高分辨率網(wǎng)絡(luò)分割胰腺存在以下3 個(gè)問(wèn)題：1）高分辨率網(wǎng)絡(luò)是2D 網(wǎng)絡(luò)，而CT 圖像是3D 輸入，2D 網(wǎng)絡(luò)缺少提取3D 圖像特征上下文信息的能力；2）受限于顯存，輸入圖像進(jìn)入高分辨率網(wǎng)絡(luò)主體網(wǎng)絡(luò)之前需要在莖網(wǎng)絡(luò)中進(jìn)行下采樣，導(dǎo)致圖像位置和細(xì)節(jié)信息丟失；3）在高分辨率網(wǎng)絡(luò)分割頭網(wǎng)絡(luò)中，將主體網(wǎng)絡(luò)輸出的不同通道數(shù)的多尺度低分辨率特征直接壓縮到與最高分辨率特征同等的通道數(shù)，容易導(dǎo)致低分辨率特征出現(xiàn)通道過(guò)度壓縮現(xiàn)象（Szegedy等，2016），損失過(guò)多的特征信息內(nèi)容。

針對(duì)2D 高分辨率網(wǎng)絡(luò)缺少提取3D 圖像特征上下文信息能力的問(wèn)題，本文提出3D高分辨率網(wǎng)絡(luò)（3D high-resolution net，3D HRNet）。將2D網(wǎng)絡(luò)中的特征提取單元拓展為3D特征提取單元，使網(wǎng)絡(luò)能夠同時(shí)利用多個(gè)軸的3D特征上下文信息，改善分割結(jié)果。

針對(duì)輸入圖像進(jìn)入高分辨率網(wǎng)絡(luò)主體網(wǎng)絡(luò)前下采樣導(dǎo)致的位置和細(xì)節(jié)信息丟失問(wèn)題，常用方法是使用單層卷積運(yùn)算將輸入圖像進(jìn)行轉(zhuǎn)換，然后與上采樣后的主體網(wǎng)絡(luò)輸出特征相融合。雖然此種方式能夠彌補(bǔ)輸出結(jié)果位置和細(xì)節(jié)信息的不足，但是融合的特征卻存在巨大的語(yǔ)義差異，如圖2 所示，導(dǎo)致分割結(jié)果不佳。因此，本文提出全分辨率特征路徑融合模塊，通過(guò)連續(xù)的非線性變換逐漸增加特征的通道數(shù)，自適應(yīng)調(diào)整輸入與輸出之間語(yǔ)義差異的同時(shí)，為輸出特征補(bǔ)充全分辨率圖像輸入的位置和細(xì)節(jié)信息。

圖2 單層卷積運(yùn)算獲取的特征圖和分割掩碼之間的語(yǔ)義差異對(duì)比圖Fig.2 Comparison of semantic differences between the feature map obtained by single-layer convolution operations and the predicted segmentation mask

針對(duì)高分辨率網(wǎng)絡(luò)分割頭網(wǎng)絡(luò)壓縮不同通道數(shù)的多尺度低分辨率特征時(shí)存在的信息內(nèi)容損失問(wèn)題，本文提出多尺度特征路徑聚合模塊，通過(guò)漸進(jìn)地聚合由低分辨率到高分辨率的特征，以一種更為平緩的方式保證特征的壓縮融合過(guò)程具有自適應(yīng)調(diào)節(jié)能力，減少過(guò)度壓縮低分辨率特征通道導(dǎo)致的信息內(nèi)容損失。

根據(jù)以上分析，本文針對(duì)現(xiàn)有胰腺分割網(wǎng)絡(luò)采用編碼—解碼結(jié)構(gòu)會(huì)丟失位置和細(xì)節(jié)信息的問(wèn)題，提出使用高分辨網(wǎng)絡(luò)。針對(duì)現(xiàn)有高分辨率網(wǎng)絡(luò)缺少提取3D圖像特征上下文信息的問(wèn)題，莖網(wǎng)絡(luò)中下采樣丟失位置和細(xì)節(jié)信息的問(wèn)題以及分割頭網(wǎng)絡(luò)中多尺度低分辨率特征存在通道過(guò)度壓縮的問(wèn)題，分別提出了相應(yīng)的解決方案。集成所有解決方案即本文提出的3D 路徑聚合高分辨率網(wǎng)絡(luò)（3D path aggregation high-resolution network，3DPAHRNet）。提出的方法在公開(kāi)的數(shù)據(jù)集上進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，其有效解決了編碼解碼分割網(wǎng)絡(luò)以及高分辨率分割網(wǎng)絡(luò)存在的問(wèn)題。

本文的主要貢獻(xiàn)如下：1）提出使用高分辨網(wǎng)絡(luò)分割胰腺，改變了現(xiàn)有胰腺分割網(wǎng)絡(luò)一直使用的編碼—解碼結(jié)構(gòu)，同時(shí)實(shí)現(xiàn)3D 高分辨率網(wǎng)絡(luò)適應(yīng)CT圖像的3D 特性。2）設(shè)計(jì)了全分辨率特征路徑聚合模塊，為輸出特征補(bǔ)充位置和細(xì)節(jié)信息的同時(shí)，通過(guò)連續(xù)的非線性變換縮小全分辨率圖像輸入和輸出特征之間的語(yǔ)義差距。3）提出多尺度特征路徑聚合模塊，以平緩、漸進(jìn)的方式壓縮融合不同通道數(shù)的多尺度低分辨率特征，緩解了特征通道過(guò)度壓縮導(dǎo)致的信息內(nèi)容損失問(wèn)題。

1 相關(guān)工作

1.1 胰腺分割

由于胰腺在腹部CT 圖像中所占比例較?。ǎ?1.5%）（Yu 等，2018），形狀不規(guī)則以及位置變化較大的特點(diǎn)，胰腺的準(zhǔn)確分割是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。因此，研究者提出了多種方法。包括基于統(tǒng)計(jì)模型的方法（Hammon 等，2013）、基于像素強(qiáng)度的方法（Tam 和Binh，2014）、基于水平集的方法（Jain等，2015）、基于圖譜的方法（Oda 等，2016；Karasawa等，2017）、基于超像素的方法（Farag 等，2017）以及基于圖的方法（Asaturyan 等，2019）。但是上述傳統(tǒng)分割方法要么依賴(lài)手工提取特征，限制了特征表示能力；要么分步驟完成分割任務(wù)，增加了人工偏置。

隨著全卷積網(wǎng)絡(luò)（Long 等，2015）和U-Net（Ronneberger 等，2015；周濤 等，2021）的出現(xiàn)，胰腺分割任務(wù)在性能上取得了巨大提升。畢秀麗等人（2022）提出在U-Net 中使用兩個(gè)不同深度的解碼器，解決了現(xiàn)有單解碼器基于較深編碼特征解碼，丟失胰腺位置和細(xì)節(jié)信息的問(wèn)題。但是由于胰腺CT 圖像的3D 特性，U-Net 等2D 分割網(wǎng)絡(luò)難以捕獲3D 圖像特征上下文信息。因此，Yu 等人（2018）、Zhou 等人（2017）、Xie 等人（2020）和Roth 等人（2018）提出使用橫斷面、矢狀面和冠狀面分別訓(xùn)練2D 分割網(wǎng)絡(luò)，并集成所有2D 分割網(wǎng)絡(luò)的輸出結(jié)果。雖然極大地提高了分割準(zhǔn)確率，但本質(zhì)上分割結(jié)果的獲得只利用了偽3D 圖像特征上下文信息。Cai 等人（2017）、Li等人（2021）和王瑞豪等人（2021）則從另一個(gè)角度考慮，將橫斷面切片序列看作循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（convolutional long short-term memory，CLSTM）的輸入，以此達(dá)到利用3D 圖像特征上下文信息的效果。但是僅從3D 輸入的1 個(gè)軸狀面提取3D 上下文信息，缺乏信息的完整性。Zhu 等人（2018）、Schlemper等人（2019）和Mo等人（2020）從根本上緩解了3D 上下文信息無(wú)法完整獲取的問(wèn)題，使用3D卷積網(wǎng)絡(luò)提取3D 圖像輸入的上下文信息。考慮到3D 網(wǎng)絡(luò)雖然能捕獲3D 圖像特征的上下文信息，但受限于顯存，網(wǎng)絡(luò)輸入往往是基于分塊（patch）3D 圖像，提取的3D 特征上下文信息具有局部性質(zhì)，容易導(dǎo)致分塊表面預(yù)測(cè)像素的不連續(xù)性。因此，F(xiàn)ang 等人（2019）和Zhang 等人（2021b）提出結(jié)合2D 網(wǎng)絡(luò)和3D 網(wǎng)絡(luò)的胰腺分割方法，在利用2D網(wǎng)絡(luò)獲取單張切片全局信息的同時(shí)，使用3D 網(wǎng)絡(luò)提取的3D 圖像特征上下文信息彌補(bǔ)單張切片缺少的上下文信息。但是由于3D網(wǎng)絡(luò)特征通道的過(guò)度壓縮，導(dǎo)致丟失過(guò)多相鄰切片上下文信息。除了上述分割方法外，Liu等人（2022）考慮如何通過(guò)定位周?chē)鞴倏s小胰腺分割區(qū)域，再利用2D卷積網(wǎng)絡(luò)分割胰腺。

考慮到CT 胰腺數(shù)據(jù)的3D 特性，上述方法逐漸將分割網(wǎng)絡(luò)從2D 轉(zhuǎn)換為3D，利用提取的3D 特征上下文信息，改善了胰腺分割結(jié)果。但缺乏結(jié)合胰腺本身特性對(duì)分割網(wǎng)絡(luò)進(jìn)行深入思考。由于胰腺在腹部CT 圖像中所占比例較小，形狀和邊界不規(guī)則，現(xiàn)有胰腺分割網(wǎng)絡(luò)在編碼階段通過(guò)下采樣提取強(qiáng)語(yǔ)義信息識(shí)別胰腺將導(dǎo)致胰腺特征位置和細(xì)節(jié)信息丟失，嚴(yán)重影響分割結(jié)果邊界像素的準(zhǔn)確性。因此，提出的分割方法基于高分辨率網(wǎng)絡(luò)（Sun 等，2019；Wang等，2021），在分割的過(guò)程中全程保持高分辨率特征，緩解了由于下采樣導(dǎo)致的位置和細(xì)節(jié)信息丟失問(wèn)題。

1.2 高分辨率網(wǎng)絡(luò)

現(xiàn)有胰腺分割方法主要基于編碼—解碼網(wǎng)絡(luò)結(jié)構(gòu)，在編碼階段通過(guò)連續(xù)的下采樣獲取不斷增強(qiáng)的語(yǔ)義信息識(shí)別目標(biāo)，再通過(guò)對(duì)稱(chēng)的連續(xù)上采樣預(yù)測(cè)分割結(jié)果。但連續(xù)的下采樣會(huì)導(dǎo)致分割目標(biāo)位置和細(xì)節(jié)信息的丟失。因此，研究者提出高分辨率網(wǎng)絡(luò)（Sun等，2019；Wang等，2021），如圖3所示。高分辨率網(wǎng)絡(luò)包括3個(gè)子網(wǎng)絡(luò)：莖網(wǎng)絡(luò)、主體網(wǎng)絡(luò)和分割頭網(wǎng)絡(luò)。

圖3 高分辨率網(wǎng)絡(luò)Fig.3 High-resolution network

莖網(wǎng)絡(luò)如圖3 左邊部分所示，負(fù)責(zé)降低輸入圖像的分辨率，減少網(wǎng)絡(luò)占用的內(nèi)存消耗。包括兩個(gè)連續(xù)的兩倍卷積下采樣，將輸入圖像分辨率降低為原始分辨率的1∕16。

主體網(wǎng)絡(luò)如圖3中間部分所示，細(xì)節(jié)信息如圖4所示，包括4 個(gè)平行分支和4 個(gè)特征提取階段。其中，第1 個(gè)平行分支提取特征的過(guò)程中，全程保持莖網(wǎng)絡(luò)輸出特征的高分辨率，完整保留了特征的位置和細(xì)節(jié)信息；第2 個(gè)分支在第1 階段最后通過(guò)2 倍卷積下采樣，將特征分辨率變?yōu)?∕4，特征通道變?yōu)閮杀?，因此，? 個(gè)分支全程保持1∕4 的特征分辨率。與此方式類(lèi)似，第3 和第4 個(gè)分支分別在第2 和第3 個(gè)階段的末尾進(jìn)行2 倍下采樣，降低特征分辨率，提升特征通道數(shù)，在各自分支中全程保持相同的特征分辨率。高分辨率網(wǎng)絡(luò)還包括4個(gè)階段，除第1個(gè)階段外，每個(gè)階段包括特征提取和特征融合兩個(gè)模塊。特征提取模塊由4 個(gè)殘差卷積單元組成，每個(gè)卷積由2 個(gè)普通卷積和1 個(gè)殘差連接構(gòu)成。特征融合將所有平行分支進(jìn)行融合。具體來(lái)說(shuō)，高分辨率特征分支通過(guò)下采樣與低分辨率特征融合，為低分辨率特征提供詳細(xì)的位置和細(xì)節(jié)特征信息；而低分辨率特征分支通過(guò)直接的上采樣與高分辨率特征分支融合，為高分辨率特征提供更強(qiáng)的語(yǔ)義信息。通過(guò)后3個(gè)階段重復(fù)特征提取和特征融合串聯(lián)模塊，主體網(wǎng)絡(luò)能夠提取多層級(jí)、位置和語(yǔ)義信息魯棒的多尺度輸出特征。值得注意的是，由于第1階段只有1個(gè)分支，因此沒(méi)有特征融合模塊。此外，在每個(gè)階段融合模塊中，如果分辨率相同，則將前層的特征作為當(dāng)前層的特征，相當(dāng)于復(fù)制過(guò)程，如圖中紅色箭頭所示。

分割頭網(wǎng)絡(luò)如圖3 右邊部分所示，其將主體網(wǎng)絡(luò)4 個(gè)分支輸出的多尺度特征直接進(jìn)行壓縮融合，再通過(guò)sigmoid 函數(shù)獲得最終的分割結(jié)果。由于在主體網(wǎng)絡(luò)始終有1 個(gè)分支保持莖網(wǎng)絡(luò)輸出的高分辨率特征，因此整個(gè)網(wǎng)絡(luò)稱(chēng)為高分辨率網(wǎng)絡(luò)，這不同于現(xiàn)有的先下采樣，再上采樣的分割網(wǎng)絡(luò)。本文方法基于高分辨網(wǎng)絡(luò)。

1.3 特征通道壓縮融合

隨著反向傳播算法的提出和GPU（graphic processing unit）計(jì)算性能的提升，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在圖像領(lǐng)域取得了巨大成功。基于卷積神經(jīng)網(wǎng)絡(luò)方法的主干網(wǎng)絡(luò)，通過(guò)逐漸增大感受野，增加提取特征通道數(shù)的同時(shí)，捕獲更多高級(jí)語(yǔ)義特征模式識(shí)別目標(biāo)。受限于顯存和網(wǎng)絡(luò)訓(xùn)練的難度，早期的卷積神經(jīng)網(wǎng)絡(luò)（Krizhevsky 等，2012；Simonyan 和Zisserman，2014）層數(shù)較淺，網(wǎng)絡(luò)提取的特征通道數(shù)較少，很少有研究者關(guān)注特征壓縮和融合問(wèn)題。隨著GoogLeNet（Szegedy 等，2015）提出多分支特征結(jié)構(gòu)，導(dǎo)致網(wǎng)絡(luò)層中的特征通道數(shù)大幅度增加，進(jìn)一步導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練。由此研究者意識(shí)到壓縮特征通道并盡可能保留有效特征信息具有重要研究意義。Network in network 提出使用1 × 1 卷積壓縮融合特征信息的方式逐漸成為后續(xù)方法壓縮并保留有效特征信息的標(biāo)準(zhǔn)方法。根據(jù)卷積網(wǎng)絡(luò)設(shè)計(jì)法則（Long等，2015；Ronneberger 等，2015；Badrinarayanan 等，2017；Zhou等，2020），網(wǎng)絡(luò)中特征通道應(yīng)以2倍的方式壓縮，而Szegedy等人（2016）在研究多分支結(jié)構(gòu)的實(shí)驗(yàn)中，總結(jié)出使用1 × 1卷積壓縮超過(guò)2倍的特征，應(yīng)以漸進(jìn)、平緩的方式，即壓縮特征過(guò)程應(yīng)是多步驟、有中間過(guò)程的，使特征能夠進(jìn)行自適應(yīng)調(diào)整，否則會(huì)出現(xiàn)特征通道過(guò)度壓縮現(xiàn)象，導(dǎo)致特征信息內(nèi)容損失。本文方法針對(duì)高分辨率網(wǎng)絡(luò)分割頭網(wǎng)絡(luò)中過(guò)度壓縮不同通道數(shù)目多尺度低分辨率特征通道導(dǎo)致的信息內(nèi)容損失問(wèn)題，提出了一種漸進(jìn)的多尺度特征路徑聚合模塊，從低分辨率逐漸向高分辨率特征壓縮融合，中間過(guò)程中通過(guò)卷積對(duì)特征進(jìn)行自適應(yīng)調(diào)整，緩解了特征過(guò)度壓縮的問(wèn)題。本文方法中的多尺度特征壓縮融合方式類(lèi)似3D U-Net（?i?ek等，2016）、AttentionUNet（Schlemper 等，2019）和VNet（Milletari 等，2016）等網(wǎng)絡(luò)特征壓縮融合方式。不同點(diǎn)在于：1）提出的壓縮融合方式是為了解決高分辨率網(wǎng)絡(luò)分割頭網(wǎng)絡(luò)特征通道過(guò)度壓縮的問(wèn)題，而上述網(wǎng)絡(luò)融合是為了恢復(fù)圖像的位置和細(xì)節(jié)信息；2）在通道特征漸進(jìn)壓縮融合的過(guò)程中，本文方法通過(guò)區(qū)分語(yǔ)義特征信息及位置和細(xì)節(jié)特征信息，提供更加準(zhǔn)確的語(yǔ)義識(shí)別模式和更加精準(zhǔn)的分割邊界。

2 方法

針對(duì)基于編碼—解碼網(wǎng)絡(luò)和基于高分辨率網(wǎng)絡(luò)分割胰腺存在的問(wèn)題，本文提出基于3D路徑聚合高分辨率網(wǎng)絡(luò)的胰腺分割方法。在分割胰腺的過(guò)程中全程保持高分辨特征，提升對(duì)于像素位置和細(xì)節(jié)信息敏感的胰腺分割網(wǎng)絡(luò)的性能。本文方法分割過(guò)程如圖5 所示，包含3 個(gè)步驟：1）為了增加圖像的對(duì)比度，降低網(wǎng)絡(luò)的學(xué)習(xí)難度，輸入圖像首先需要進(jìn)行預(yù)處理；2）受限于顯存，預(yù)處理后的圖像被隨機(jī)切分成160 × 96 × 96 大小的塊，輸入3D 路徑聚合高分辨率網(wǎng)絡(luò)；3）為獲得最終的分割結(jié)果，所有基于塊的網(wǎng)絡(luò)分割結(jié)果需要經(jīng)過(guò)后處理步驟。圖5中n表示橫斷面切片數(shù)量。

圖5 胰腺分割過(guò)程Fig.5 The pipeline of pancreas segmentation

2.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理的目的是增加胰腺區(qū)域的對(duì)比度，降低網(wǎng)絡(luò)的學(xué)習(xí)難度。主要包括兩個(gè)步驟：

1）由于CT 圖像的HU（hounsfield unit）值分布范圍較大，胰腺和周?chē)M織器官邊界較為模糊，根據(jù)其窗框窗位，將胰腺的HU 值限制在［-100，240］之間，增加胰腺邊界和周?chē)M織器官的對(duì)比度。HU 限制具體為

2）為了降低分割網(wǎng)絡(luò)的學(xué)習(xí)難度，加速收斂，將經(jīng)過(guò)HU 限制的輸入圖像進(jìn)行Z-Score 標(biāo)準(zhǔn)化處理。處理過(guò)程為

式中，xi和xj分別表示輸入CT 圖像在i和j位置的HU值，n表示像素的總數(shù)目。

2.2 3D路徑聚合高分辨率網(wǎng)絡(luò)

本文提出的3D 路徑聚合高分辨率網(wǎng)絡(luò)如圖6所示。通過(guò)降低莖網(wǎng)絡(luò)下采樣次數(shù)和提出全分辨率特征路徑聚合模塊減少了高分辨率網(wǎng)絡(luò)（圖3）莖網(wǎng)絡(luò)連續(xù)下采樣丟失的位置和細(xì)節(jié)信息；通過(guò)提出多尺度特征路徑聚合模塊緩解了由于高分辨率網(wǎng)絡(luò)分割頭網(wǎng)絡(luò)過(guò)度壓縮低分辨率特征通道導(dǎo)致的信息內(nèi)容損失問(wèn)題。3D 路徑聚合高分辨率網(wǎng)絡(luò)和高分辨率網(wǎng)絡(luò)主體網(wǎng)絡(luò)結(jié)構(gòu)相似，僅將高分辨率網(wǎng)絡(luò)中的2D卷積替換為3D卷積，捕獲CT圖像的3D特征上下文信息；將批量歸一化替換為實(shí)例歸一化，減少輸入批次大小對(duì)于分割結(jié)果的影響。

圖6 3D路徑聚合高分辨率網(wǎng)絡(luò)Fig.6 3D path aggregation high-resolution network

2.2.1 全分辨率特征路徑聚合模塊

在高分辨率網(wǎng)絡(luò)中，輸入圖像進(jìn)入莖網(wǎng)絡(luò)時(shí)會(huì)進(jìn)行連續(xù)兩次2倍卷積下采樣，將特征圖減小到1∕16，達(dá)到降低GPU 顯存消耗的目的。但是由于胰腺在整個(gè)輸入CT 圖像中所占比例較小，4 倍的下采樣會(huì)導(dǎo)致位置和細(xì)節(jié)信息的嚴(yán)重丟失。因此，本文方法僅對(duì)輸入圖像進(jìn)行單次2 倍下采樣，減少位置和細(xì)節(jié)信息的損失。同時(shí)為了緩解單次2 倍下采樣丟失的位置和細(xì)節(jié)信息，提出了全分辨率特征路徑聚合模塊，如圖6底部所示。

由圖2 可知，由于全分辨輸入和輸出結(jié)果的巨大語(yǔ)義差異，簡(jiǎn)單將其融合將導(dǎo)致胰腺分割網(wǎng)絡(luò)性能的下降。因此，需要添加更多的非線性函數(shù)擬合輸入到輸出的變換。但是如果按照3D 路徑聚合高分辨率網(wǎng)絡(luò)莖網(wǎng)絡(luò)初始設(shè)置的通道數(shù)開(kāi)始并以通道遞增的方式進(jìn)行連續(xù)的非線性變換將導(dǎo)致顯存消耗過(guò)大，網(wǎng)絡(luò)無(wú)法訓(xùn)練?？紤]到全分辨率特征路徑的作用僅是為了補(bǔ)充更加豐富的位置和細(xì)節(jié)信息，提出方法將全分辨率特征路徑聚合模塊初始通道設(shè)置為3D 路徑聚合高分辨率網(wǎng)絡(luò)莖網(wǎng)絡(luò)初始通道數(shù)的1∕5，大量減少計(jì)算和顯存消耗的同時(shí)，為網(wǎng)絡(luò)輸出彌補(bǔ)精準(zhǔn)的位置和細(xì)節(jié)信息。全分辨率路徑聚合模塊每層的非線性變換可表示為

式中，Xi∈RW×H×D×2i×C表示莖網(wǎng)絡(luò)第i層的輸出，其中W、H、D分別表示特征圖的3 個(gè)維度；2i×C表示第i層的特征通道數(shù)；Vi=[v1，v2，…，vi×j]表示卷積核集合，其中i×j表示第i層卷積核的個(gè)數(shù)；X0表示全分辨率圖像輸入，第0 層卷積核個(gè)數(shù)為0；F表示ReLU（rectified linear unit）非線性函數(shù)；I表示實(shí)例歸一化；“*”表示卷積。

全分辨率特征路徑聚合模塊通過(guò)對(duì)輸入的全分辨率CT 圖像進(jìn)行5 層的非線性變換，將特征圖通道逐漸增加到網(wǎng)絡(luò)設(shè)置的初始輸入通道數(shù)，不顯著增加顯存和計(jì)算消耗的同時(shí)，獲得的輸出結(jié)果為X5。

2.2.2 多尺度特征路徑聚合模塊

針對(duì)高分辨率網(wǎng)絡(luò)分割頭網(wǎng)絡(luò)中輸出的不同通道數(shù)多尺度低分辨率特征融合過(guò)程中存在特征通道過(guò)度壓縮的問(wèn)題，本文提出多尺度特征路徑聚合模塊，以一種漸進(jìn)、平緩的方式自適應(yīng)壓縮融合多尺度特征。

多尺度特征路徑聚合模塊如圖6 右邊所示。將主體網(wǎng)絡(luò)輸出的多尺度特征記為Yi，i表示不同尺度分支，i=1 表示最小尺度分支（最高分辨率分支），i=4表示最大尺度分支（最低分辨率分支）。雖然每個(gè)尺度分支在主體網(wǎng)絡(luò)中都融合了其他所有尺度分支的特征，但不同尺度分支輸出的特征有不同的側(cè)重點(diǎn)。即最小尺度分支Yi（i=1）側(cè)重保證分割結(jié)果位置和細(xì)節(jié)信息的準(zhǔn)確性，較大尺度分支Yi（i=1，2，3）側(cè)重保證通過(guò)不同強(qiáng)度的語(yǔ)義信息識(shí)別出完整的目標(biāo)，避免誤分割。

為了識(shí)別上述較大尺度分支有效語(yǔ)義信息的同時(shí)抑制無(wú)效的噪聲信息，本文提出語(yǔ)義自適應(yīng)模塊（semantic adaptation，SA），對(duì)主體網(wǎng)絡(luò)輸出的較大尺度特征Yi（i≠ 1）進(jìn)行語(yǔ)義信息校準(zhǔn)。語(yǔ)義自適應(yīng)模塊由通道注意力機(jī)制（Hu 等，2018）實(shí)現(xiàn)，如圖7 所示。圖中，卷積核大小為3 × 3，步長(zhǎng)為1，填充為1；ReLU 和sigmoid 分別表示非線性函數(shù)和歸一化函數(shù)。通過(guò)為輸入特征通道生成不同大小的權(quán)重，抑制無(wú)關(guān)噪聲通道，增強(qiáng)有效語(yǔ)義特征。

圖7 語(yǔ)義自適應(yīng)模塊Fig.7 Semantic adaptation module

將語(yǔ)義自適應(yīng)模塊的輸出記為Si（i=2，3，4），并將多尺度特征路徑聚合模塊漸進(jìn)壓縮融合過(guò)程中每個(gè)尺度輸出的結(jié)果記為Zi（i=1，2，3，4）。Si通過(guò)與經(jīng)過(guò)轉(zhuǎn)置卷積的前一層輸出結(jié)果Zi-1融合，并通過(guò)卷積單元自適應(yīng)調(diào)整獲得當(dāng)前層的輸出Zi。其過(guò)程為

式中，T表示卷積核大小為2 × 2 × 2、步長(zhǎng)為2 的轉(zhuǎn)置卷積。C表示卷積單元，包括3 × 3 × 3、步長(zhǎng)為1、填充為1 的卷積核，ReLU 非線性函數(shù)和實(shí)例歸一化函數(shù)。當(dāng)i=1時(shí)，S1=Y1，“+” 表示特征圖拼接；i≠ 1時(shí)，S1表示語(yǔ)義自適應(yīng)模塊輸出特征，“+” 表示對(duì)應(yīng)元素相加操作。

最終的融合結(jié)果為Z1。首先，通過(guò)轉(zhuǎn)置卷積獲得全分辨率大小的輸出特征；其次，將轉(zhuǎn)置后的輸出特征與全分辨率路徑聚合模塊輸出特征X5進(jìn)行拼接融合，補(bǔ)充位置和細(xì)節(jié)信息；然后，通過(guò)sigmoid 函數(shù)獲得分割結(jié)果P。最后，將分割結(jié)果P和標(biāo)準(zhǔn)標(biāo)簽G進(jìn)行損失計(jì)算，優(yōu)化分割結(jié)果。分割結(jié)果的獲得過(guò)程為

式中，+表示拼接操作；C表示卷積融合操作；T表示轉(zhuǎn)置卷積。

由于3D 路徑聚合高分辨率網(wǎng)絡(luò)是基于隨機(jī)分塊輸入的分割網(wǎng)絡(luò)，對(duì)于輸入塊中前景和背景區(qū)域的比例無(wú)法確定，因此，損失函數(shù)既要考慮前景對(duì)分割結(jié)果的影響，也要考慮背景對(duì)分割結(jié)果的影響。本文采用Dice 損失函數(shù)和二分類(lèi)交叉熵?fù)p失函數(shù)結(jié)合的混合損失函數(shù)作為反向傳播的損失。這里Dice 損失能夠解決前景和背景不平衡的問(wèn)題，而二分類(lèi)交叉熵?fù)p失在輸入塊中前景所占比例較大時(shí)，通過(guò)考慮背景像素改善分割結(jié)果?；旌蠐p失函數(shù)計(jì)算為

式中，λ表示不同損失函數(shù)所占的權(quán)重大小，本文設(shè)置為0.5。pi和gi分別表示預(yù)測(cè)像素和標(biāo)準(zhǔn)標(biāo)簽像素，n表示像素的總個(gè)數(shù)，Ld、Lb和L分別表示Dice 損失函數(shù)、二分類(lèi)交叉熵?fù)p失函數(shù)和總的損失函數(shù)。

2.3 后處理

后處理步驟只用在測(cè)試過(guò)程中，包括分塊輸出結(jié)果集成和最大連通區(qū)域選取。

由于基于分塊的3D 分割方法缺少分塊外的3D特征上下文信息，因此，當(dāng)網(wǎng)絡(luò)輸入塊中分割目標(biāo)不完整時(shí)，容易導(dǎo)致預(yù)測(cè)出錯(cuò)誤的塊邊界分割目標(biāo)像素?；诖藛?wèn)題，本文方法在測(cè)試時(shí)以滑動(dòng)窗口一半的大小作為步長(zhǎng)，移動(dòng)滑動(dòng)窗口選取測(cè)試分塊作為網(wǎng)絡(luò)的輸入。從而選取的相鄰測(cè)試分塊之間有一半?yún)^(qū)域重合，解決了分塊邊界像素預(yù)測(cè)不準(zhǔn)確的問(wèn)題。完整的胰腺分割結(jié)果是所有分塊分割結(jié)果的集成。由于基于分塊的3D分割方法在測(cè)試時(shí)，網(wǎng)絡(luò)的分塊輸入上下文信息不完整，分塊的網(wǎng)絡(luò)輸出結(jié)果容易出現(xiàn)假陽(yáng)性預(yù)測(cè)像素。因此，通過(guò)集成所有分塊分割結(jié)果獲得的完整胰腺分割結(jié)果存在假陽(yáng)性分割區(qū)域，本文方法通過(guò)選取最大連通區(qū)域作為最后的分割結(jié)果，減少不相關(guān)假陽(yáng)性噪聲的影響。

3 實(shí)驗(yàn)和結(jié)果

3.1 數(shù)據(jù)集及實(shí)驗(yàn)設(shè)置

本文方法在NIH 胰腺數(shù)據(jù)集（Roth 等，2015）上進(jìn)行了驗(yàn)證。NIH 數(shù)據(jù)集由82 例增強(qiáng)CT 卷組成。單張切片掃描具有512 × 512 像素的固定分辨率，所有切片的數(shù)目分布在［181，466］之間。CT 卷的3 個(gè)軸狀面像素之間都存在間距，其中矢狀面和冠狀面間距大小分布在［0.5 mm，1.0 mm］之間，橫斷面間距都為1.0 mm。針對(duì)卷積網(wǎng)絡(luò)同等看待不同軸狀面間距導(dǎo)致丟失真實(shí)物理距離的問(wèn)題，根據(jù)Isensee等人（2021）的方法，本文統(tǒng)計(jì)NIH 數(shù)據(jù)集所有樣本3 個(gè)軸狀面的間距，并將其采樣到每個(gè)軸狀面的中位數(shù)，降低真實(shí)物理距離對(duì)分割結(jié)果的影響。采樣后冠狀面、矢狀面和橫斷面間距分別統(tǒng)一為0.85 mm、0.85 mm 和1.0 mm.本文實(shí)驗(yàn)中數(shù)據(jù)集按照7∶1∶2比例隨機(jī)劃分為訓(xùn)練集57 例、驗(yàn)證集8 例和測(cè)試集17例。

訓(xùn)練過(guò)程中，提出的3D 路徑聚合高分辨率網(wǎng)絡(luò)，在數(shù)據(jù)集上迭代了1 000次（epoch），初始學(xué)習(xí)率設(shè)置為0.000 1，在達(dá)到訓(xùn)練600 次和800 次的時(shí)候分別衰減90%，幫助網(wǎng)絡(luò)收斂到更低的最小值。除此之外，使用Adam 作為優(yōu)化器，網(wǎng)絡(luò)輸入大小為160 × 96 × 96，批次大?。╞atch size）設(shè)置為1，網(wǎng)絡(luò)中最高分辨率分支通道數(shù)保持48，其他分支每當(dāng)分辨率減小為原來(lái)的1∕4，通道數(shù)就會(huì)增加兩倍。網(wǎng)絡(luò)中卷積單元中卷積核大小為3 × 3 × 3，步長(zhǎng)為1，填充為1。卷積下采樣中卷積核大小為3 × 3 × 3，步長(zhǎng)為2，填充為1。在全分辨率特征路徑聚合網(wǎng)絡(luò)中5個(gè)卷積核通道數(shù)分別為3，6，12，24和48。所有實(shí)驗(yàn)使用的顯卡為RTX A6000，訓(xùn)練時(shí)間為48 h。測(cè)試過(guò)程中，滑動(dòng)窗口大小設(shè)置為160 × 96 × 96，步長(zhǎng)設(shè)置為80，48，48。

3.2 評(píng)價(jià)指標(biāo)

本文方法使用Dice 系數(shù)（Dice similarity coefficient，DSC）衡量正確預(yù)測(cè)像素的覆蓋率，使用Jaccard 系數(shù)（Jaccard index，JI）衡量正確的預(yù)測(cè)像素集合在總集合像素中的比率，使用精確率（precision）衡量正確預(yù)測(cè)像素在預(yù)測(cè)像素集合中的比率，使用召回率（recall）衡量正確預(yù)測(cè)像素在標(biāo)準(zhǔn)標(biāo)簽像素集合中的比率（Huang和Wu，2022）。

從評(píng)價(jià)指標(biāo)的定義可以看出，在結(jié)果相差不大的前提下，精確率和召回率在分割結(jié)果中可能存在相反的關(guān)系，這種相反的關(guān)系易出現(xiàn)在消融實(shí)驗(yàn)中。

3.3 不同基線網(wǎng)絡(luò)的結(jié)果對(duì)比

本節(jié)通過(guò)與3D 編碼—解碼醫(yī)學(xué)圖像分割基線網(wǎng) 絡(luò)3D U-Net（?i?ek 等，2016）、AttentionUNet（Schlemper等，2019）和VNet（Milletari等，2016）的對(duì)比實(shí)驗(yàn)以及與3D 高分辨率網(wǎng)絡(luò)（3D HRNet）的對(duì)比實(shí)驗(yàn)，驗(yàn)證提出的3D 路徑聚合高分辨率網(wǎng)絡(luò)（3DPAHRNet）的有效性。

分割結(jié)果如表1 所示。由于3DUNet，VNet 和AttentionUNet 在編碼階段通過(guò)不斷地下采樣，在更大的感受野上捕獲強(qiáng)語(yǔ)義信息識(shí)別胰腺，導(dǎo)致獲得的特征丟失位置和細(xì)節(jié)信息。因此，在Dice 系數(shù)、Jaccard 系數(shù)、精確率和召回率4 個(gè)評(píng)價(jià)指標(biāo)上都明顯低于3D 高分辨率網(wǎng)絡(luò)（3DHRNet）。提出的3D 路徑聚合高分辨率網(wǎng)絡(luò)，除了全程保持高分辨率特征外，還通過(guò)全分辨率特征聚合模塊緩解了3D高分辨率網(wǎng)絡(luò)莖網(wǎng)絡(luò)丟失特征位置和細(xì)節(jié)信息的問(wèn)題，以及通過(guò)多尺度特征路徑聚合模塊以一種更平緩的方式促進(jìn)多尺度特征自適應(yīng)調(diào)整壓縮融合。因此，Dice 系數(shù)、Jaccard 系數(shù)、精確率和召回率相比于3D高分辨率網(wǎng)絡(luò)分別提升1.41%，2.09%，2.35%和0.49%。此外，由于本文方法所提取的特征在位置和細(xì)節(jié)信息上的準(zhǔn)確性，最小分割準(zhǔn)確率（困難樣本）均大幅提升。表1 的最右一列提供了不同基線模型每例樣本平均推斷時(shí)間的對(duì)比。從中可以看出，本文方法推斷時(shí)間消耗小幅度高于基線模型。由于本文方法在網(wǎng)絡(luò)中全程保持高分辨率，有著更多的計(jì)算消耗，所以推斷時(shí)間有所增加。但對(duì)于具有挑戰(zhàn)性的胰腺分割任務(wù)來(lái)說(shuō)，通過(guò)增加少量的時(shí)間成本，大幅提升胰腺分割網(wǎng)絡(luò)的性能，對(duì)于實(shí)際臨床應(yīng)用是可折中的。并且隨著硬件設(shè)備的快速更新迭代，推斷時(shí)間差距將進(jìn)一步縮小。

表1 3D基線胰腺分割網(wǎng)絡(luò)模型對(duì)比結(jié)果Table 1 Comparison results of 3D baseline pancreas segmentation networks

除了上述分割結(jié)果的定量分析，本文通過(guò)圖8定性展示不同基線網(wǎng)絡(luò)分割的對(duì)比結(jié)果。圖中用綠色圓圈出了相比于本文方法的分割結(jié)果，與標(biāo)準(zhǔn)標(biāo)簽（ground truth，GT）相差較明顯的位置。

圖8 不同基線網(wǎng)絡(luò)的3D分割對(duì)比結(jié)果Fig.8 Comparison results of different baseline networks（（a）case 3；（b）case 22；（c）case 71；（d）case 78）

3.4 消融實(shí)驗(yàn)

通過(guò)分析不同莖網(wǎng)絡(luò)下采樣因子對(duì)比實(shí)驗(yàn)、全分辨率特征路徑有效性以及多尺度特征路徑有效性分別驗(yàn)證本文方法及各模塊的有效性。

3.4.1 不同莖網(wǎng)絡(luò)下采樣因子對(duì)比實(shí)驗(yàn)分析

本節(jié)針對(duì)3D 高分辨率網(wǎng)絡(luò)（3DHRNet）莖網(wǎng)絡(luò)中使用不同下采樣因子對(duì)于分割結(jié)果的影響進(jìn)行分析。受限于顯存，下采樣因子只采用2倍或4倍。實(shí)驗(yàn)結(jié)果如表2 所示。當(dāng)采用連續(xù)兩次卷積進(jìn)行4 倍下采樣時(shí)，相比于使用1 次2 倍卷積下采樣，胰腺分割在Dice 系數(shù)，Jaccard 系數(shù)和精確率上分別降低了0.74%，1.12%和2.6%。其主要原因是胰腺器官在腹部CT 中所占比例較小，形狀和位置變化較大，在莖網(wǎng)絡(luò)中使用4 倍下采樣會(huì)導(dǎo)致特征位置和細(xì)節(jié)信息的嚴(yán)重丟失，降低分割結(jié)果的平均準(zhǔn)確率。

表2 采用不同莖網(wǎng)絡(luò)下采樣因子的對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Comparison results using different down-sampling factors in the stem network

圖9 展示了測(cè)試集中每個(gè)樣本分別通過(guò)2 倍下采樣（2×）和4 倍下采樣（4×）3D 高分辨率網(wǎng)絡(luò)獲得的平均準(zhǔn)確率?？梢钥闯?，當(dāng)莖網(wǎng)絡(luò)采用更小的2 倍下采樣因子時(shí)，能夠提升大部分樣本的平均分割準(zhǔn)確率。后續(xù)消融實(shí)驗(yàn)均基于莖網(wǎng)絡(luò)采用2 倍下采樣因子的3D高分辨率網(wǎng)絡(luò)。

圖9 莖網(wǎng)絡(luò)中使用不同下采樣因子測(cè)試樣本的對(duì)比實(shí)驗(yàn)結(jié)果Fig.9 Comparison results of test samples utilizing different down-sampling factors in the stem network（（a）Dice；（b）Jaccard；（c）precision；（d）recall）

3.4.2 全分辨率特征路徑聚合模塊有效性分析

為了驗(yàn)證全分辨率特征路徑聚合模塊的有效性，本節(jié)針對(duì)3D高分辨率網(wǎng)絡(luò)添加和未添加全分辨率特征路徑聚合模塊以及將全分辨率特征路徑聚合模塊替換為單層卷積模塊進(jìn)行實(shí)驗(yàn)分析。如表3 所示。相比于未添加全分辨率特征路徑聚合模塊的3D 高分辨率分割網(wǎng)絡(luò)，當(dāng)添加全分辨率特征路徑聚合模塊時(shí)，在Dice系數(shù)、Jaccard系數(shù)和召回率3個(gè)評(píng)價(jià)標(biāo)準(zhǔn)上分別提升0.44%、0.64%和1.55%，標(biāo)準(zhǔn)差分別降低0.53%、0.76%和1.85%，最小分割準(zhǔn)確率分辨提升1.65%、2.31%和6.43%。從中可以看出，全分辨率特征路徑聚合模塊提供的全分辨率輸入圖像的位置和細(xì)節(jié)信息，顯著提升了分割結(jié)果的平均準(zhǔn)確率，增加了胰腺分割網(wǎng)絡(luò)的穩(wěn)定性以及改善了困難樣本的分割結(jié)果。而當(dāng)將全分辨率模塊替換為單層卷積模塊時(shí)，Dice 系數(shù)，Jaccard 系數(shù)和召回率3 個(gè)評(píng)價(jià)標(biāo)準(zhǔn)卻出現(xiàn)了顯著下降，低于未使用全分辨率特征路徑聚合模塊的高分辨率網(wǎng)絡(luò)。這是因?yàn)閱螌泳矸e模塊無(wú)法擬合輸入到輸出之間復(fù)雜的非線性變換，縮小輸入和輸出特征之間的語(yǔ)義差距。反而由于直接融合特征使原始特征信息產(chǎn)生了混亂，導(dǎo)致更低的分割精度。

表3 全分辨率特征路徑聚合模塊消融實(shí)驗(yàn)Table 3 Ablation study of the full-resolution feature path aggregation module

圖10 展示了3D 高分辨率網(wǎng)絡(luò)添加（是）和未添加（否）全分辨率特征路徑聚合模塊以及將全分辨率特征路徑聚合模塊替換為單層卷積模塊（單層卷積）輸出分割結(jié)果的總體分布箱線圖，以圖10（a）Dice 系數(shù)最左側(cè)盒子為例加以說(shuō)明。最左側(cè)盒子底部表示分割結(jié)果分布的第1 四分位，盒子頂部表示分割結(jié)果的第3 四分位，最底部的水平線表示最小值，最頂部的水平線表示最大值。最左側(cè)盒子中實(shí)線表示平均值，虛線表示中位數(shù)。平均值、中位數(shù)均是反映數(shù)據(jù)整體分布的評(píng)價(jià)指標(biāo)。從圖10 可以看出，本文方法在Dice 系數(shù)、Jaccard 系數(shù)和召回率上有著更高的平均值和中位數(shù)，并且結(jié)果分布更加集中，進(jìn)一步驗(yàn)證了提出方法的有效性和穩(wěn)定性。

圖10 全分辨率特征路徑聚合模塊對(duì)比實(shí)驗(yàn)箱線圖Fig.10 Boxplot of experimental results using the full-resolution feature path aggregation module（（a）Dice；（b）Jaccard；（c）precision；（d）recall）

除此之外，通過(guò)圖11 定性展示了單層卷積模塊輸出特征、全分辨率特征路徑聚合模塊輸出特征和分割掩碼之間的對(duì)比結(jié)果。從圖11 可以看出，單層卷積模塊輸出的特征相比于全分辨率特征路徑聚合模塊輸出特征，和分割掩碼之間有著更大的語(yǔ)義差距。

圖11 不同模塊輸出特征和分割掩碼之間的語(yǔ)義信息比較Fig.11 Semantic comparison between output features of different modules and segmentation masks（（a）segmentation masks；（b）output feature maps of full resolution feature aggregation model；（c）output feature maps of multi-scale feature aggregation module）

3.4.3 多尺度特征路徑聚合模塊有效性分析

為了驗(yàn)證多尺度特征路徑聚合模塊對(duì)于胰腺分割性能的影響，本節(jié)針對(duì)3D高分辨率網(wǎng)絡(luò)添加和未添加多尺度特征路徑聚合模塊進(jìn)行實(shí)驗(yàn)分析，如表4所示。相比于未添加多尺度特征路徑聚合模塊的3D 高分辨率分割網(wǎng)絡(luò)，添加多尺度特征路徑聚合模塊在Dice 系數(shù)、Jaccard 系數(shù)和召回率上分別提升0.49%、0.71%和1.83%，最小值分別提升1.68%、2.35%和5.85%，標(biāo)準(zhǔn)差分別降低0.59%、0.87%和1.94%。從中可以看出，添加多尺度特征路徑聚合模塊，以漸進(jìn)，平緩的方式融合壓縮多尺度特征，減少中間過(guò)程特征信息內(nèi)容損失，能夠顯著提升胰腺分割網(wǎng)絡(luò)性能。

表4 多尺度特征路徑聚合模塊消融實(shí)驗(yàn)Table 4 Ablation study of the multi-scale feature path aggregation module

圖12 展示的是測(cè)試樣本在3D 高分辨率網(wǎng)絡(luò)中添加（是）和未添加（否）多尺度特征路徑聚合模塊輸出分割結(jié)果的總體分布箱線圖。從圖中可以看出，添加了多尺度特征路徑聚合模塊在大部分評(píng)價(jià)指標(biāo)上，中位數(shù)和平均值均有所提高，并且整體分割結(jié)果的平均準(zhǔn)確率也都有所改善。

3.5 不同分割模型的結(jié)果對(duì)比

為了進(jìn)一步驗(yàn)證本文方法的先進(jìn)性，本文方法與當(dāng)前具有代表性的分割方法進(jìn)行了比較。

不同分割方法定量比較結(jié)果如表5所示。相比于編碼解碼結(jié)構(gòu)的胰腺分割網(wǎng)絡(luò)（Zhou等，2017；Yu等，2018；Schlemper 等，2019；Xie 等，2020；Zhang 等，2021a，b；王瑞豪 等，2021；畢秀麗 等，2022；Liu 等，2022），Dice系數(shù)從最高85.40%提升到86.50%，最小Dice系數(shù)從最高70.61%提升到83.19。由于本文提出的3D路徑聚合高分辨網(wǎng)絡(luò)能夠全程保持高分辨率并且最大程度地減少分割網(wǎng)絡(luò)中胰腺特征位置和細(xì)節(jié)信息的損失，顯著提升了胰腺分割網(wǎng)絡(luò)的性能，改善了困難樣本的分割結(jié)果。表5的最后一列給出了每例樣本平均推斷時(shí)間的結(jié)果對(duì)比。由于Zhou 等人（2017）在3個(gè)軸狀面分別訓(xùn)練模型分割胰腺，并且通過(guò)循環(huán)迭代的過(guò)程進(jìn)行測(cè)試，所以相比本文方法推斷時(shí)間增加明顯。Zhou 等人（2017）、Yu 等人（2018）和Xie等人（2020）將測(cè)試過(guò)程由分步驟變?yōu)槎说蕉?，顯著減少了推斷時(shí)間消耗，但測(cè)試過(guò)程中采用循環(huán)迭代的方式并沒(méi)有改變。因此，推斷時(shí)間消耗高于本文提出方法。Zhang等人（2021b）通過(guò)結(jié)合傳統(tǒng)和深度學(xué)習(xí)方法分3步分割胰腺，在所有對(duì)比方法中時(shí)間消耗成本最大。畢秀麗等人（2022）方法基于2D U-Net，雖然極大減少了推斷時(shí)間消耗，但由于網(wǎng)絡(luò)缺少捕獲3D上下文特征信息的能力，Dice系數(shù)減少了11.4%。

表5 不同分割方法的對(duì)比實(shí)驗(yàn)結(jié)果Table 5 Comparison results of different segmentation methods

為了進(jìn)一步驗(yàn)證本文方法的有效性，通過(guò)圖13定性展示分割結(jié)果和標(biāo)準(zhǔn)標(biāo)簽分割邊界的對(duì)比結(jié)果。其中，紅色實(shí)線（GT）表示標(biāo)準(zhǔn)標(biāo)簽邊界，藍(lán)色實(shí)線（SEG）表示分割結(jié)果邊界。從圖中可以看出，本文方法的分割邊界與標(biāo)準(zhǔn)標(biāo)簽分割邊界非常接近，進(jìn)一步驗(yàn)證了本文方法能夠保留精確的胰腺位置和細(xì)節(jié)信息。

圖13 本文方法分割結(jié)果（SEG）和標(biāo)準(zhǔn)標(biāo)簽結(jié)果（GT）的對(duì)比展示Fig.13 Comparison of predicted segmentation results of the proposed method and ground truth（（a）case 8；（b）case 40；（c）case 52；（d）case 72）

4 結(jié)論

針對(duì)現(xiàn)有胰腺分割網(wǎng)絡(luò)編碼過(guò)程丟失位置和細(xì)節(jié)信息的問(wèn)題，本文提出基于3D路徑聚合高分辨率網(wǎng)絡(luò)的胰腺分割方法。通過(guò)提出的全分辨率特征路徑聚合模塊和多尺度特征路徑聚合模塊，縮小全分辨率圖像輸入和深層輸出特征語(yǔ)義差異的同時(shí)，以一種平緩自適應(yīng)的方式漸進(jìn)壓縮融合多尺度特征。

在NIH 胰腺數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文方法是一種高性能的胰腺分割方法。由于提出方法能夠始終保持輸入圖像特征和分割結(jié)果的細(xì)節(jié)和位置信息，因此，在分割結(jié)果上顯著優(yōu)于經(jīng)典分割方法和最先進(jìn)的胰腺分割方法，除此之外，本文方法具有相對(duì)較少的推斷時(shí)間，實(shí)時(shí)性強(qiáng)。但本文方法部署于臨床應(yīng)用還存在較高的計(jì)算復(fù)雜度。因此，未來(lái)工作將從輕量級(jí)網(wǎng)絡(luò)模型方面開(kāi)展，通過(guò)剪枝、模型壓縮等方法降低模型復(fù)雜度的同時(shí)保持較高的分割精度。