蘭冬雷，王曉東，姚宇，王辛，周繼陶

基于鄰近切片注意力融合的直腸癌分割網(wǎng)絡(luò)

蘭冬雷1，2*，王曉東1，2，姚宇1，2，王辛3，周繼陶3

（1.中國科學(xué)院 成都計(jì)算機(jī)應(yīng)用研究所，成都 610213； 2.中國科學(xué)院大學(xué)，北京 100049； 3.四川大學(xué)華西醫(yī)院 腹部腫瘤科，成都 610041）（?通信作者電子郵箱461779062@qq.com）

針對直腸癌目標(biāo)靶區(qū)在磁共振成像（MRI）圖像的大小、形狀、紋理和邊界清晰程度不同等問題，為了克服患者之間的個體差異性并提高分割精度，提出一種基于鄰近切片注意力融合的直腸癌分割網(wǎng)絡(luò)（ASAF-Net）。首先，使用高分辨率網(wǎng)絡(luò)（HRNet）作為主干網(wǎng)絡(luò)，并在特征提取過程始終保持高分辨率特征表示，以減少語義信息和空間位置信息的損失；其次，通過鄰近切片注意力融合（ASAF）模塊融合并增強(qiáng)相鄰切片之間的多尺度上下文語義信息，使網(wǎng)絡(luò)能夠?qū)W習(xí)相鄰切片之間的空間特征；最后，在解碼網(wǎng)絡(luò)使用全卷積網(wǎng)絡(luò)（FCN）和空洞空間金字塔池化（ASPP）分割頭協(xié)同訓(xùn)練，并通過添加相鄰切片間的一致性約束作為輔助損失緩解訓(xùn)練過程中出現(xiàn)的相鄰切片差異過大的問題。實(shí)驗(yàn)結(jié)果表明，與HRNet相比，ASAF-Net在平均交并比（IoU）、平均Dice相似系數(shù)（DSC）指標(biāo)上分別提升了1.68和1.26個百分點(diǎn)，平均95%豪斯多夫距離（HD）降低了0.91 mm。同時(shí)，ASAF-Net在直腸癌MRI圖像多目標(biāo)靶區(qū)的內(nèi)部填充和邊界預(yù)測方面均能實(shí)現(xiàn)更好的分割效果，有助于提升醫(yī)生在臨床輔助診斷中的效率。

直腸癌；圖像分割；注意力機(jī)制；特征融合；深度學(xué)習(xí)

0 引言

世界衛(wèi)生組織國際癌癥研究機(jī)構(gòu)（International Agency for Research on Cancer， IARC）發(fā)布的2020全球癌癥統(tǒng)計(jì)數(shù)據(jù)顯示，結(jié)直腸癌的發(fā)病率位居全球第三，它的發(fā)病率和死亡率均保持上升趨勢［1］。2020年我國結(jié)直腸癌的發(fā)病率和死亡率分別位居我國惡性腫瘤的第3位和第5位［2］。結(jié)直腸癌已經(jīng)成為常見的嚴(yán)重危害國人身體健康的惡性腫瘤之一，因此，結(jié)直腸癌的篩查和治療是一個迫切的需求。

針對腫瘤距肛門小于等于10 cm的直腸癌患者，醫(yī)療工作者一般參考腫瘤大小、癌細(xì)胞轉(zhuǎn)移到直腸系膜內(nèi)/外淋巴結(jié)的情況和直腸系膜是否被侵犯等信息對患者進(jìn)行TNM（Tumor Node Metastasis）分期診斷［3］。根據(jù)直腸癌的診斷標(biāo)準(zhǔn)，醫(yī)療工作者首先從醫(yī)學(xué)影像上確定腫瘤的位置，其次通過判斷腫瘤對直腸壁固有肌層和直腸系膜筋膜的浸潤程度診斷直腸癌分期；因此，準(zhǔn)確分割腫瘤和直腸系膜等目標(biāo)區(qū)域?qū)χ笇?dǎo)直腸癌TNM分期和制定個體化治療方案至關(guān)重要。

磁共振成像（Magnetic Resonance Imaging， MRI）對人體軟組織具備成像清晰的特點(diǎn)，是膀胱、直腸和子宮等人體腹部器官較優(yōu)的檢查方案，且選擇不同的成像參數(shù)能提供豐富的信息?；贛RI的輔助診斷分析方法具備無創(chuàng)、非侵入性、獲取成本相對較低和對人體無輻射損傷等優(yōu)點(diǎn)，對疾病的診斷、分析和預(yù)后等方面具有重要的研究價(jià)值［4］。直腸癌的人工分割需要多序列圖像和臨床信息準(zhǔn)確定位腫瘤，目前臨床上大多采用純手工或半工的方式勾畫，不僅復(fù)雜、耗時(shí)，且病灶區(qū)域的勾畫受醫(yī)生專業(yè)水平影響較大，分割標(biāo)注獲取成本高。

基于深度學(xué)習(xí)的自動分割技術(shù)大幅減少了醫(yī)療工作者的工作量，并在一定程度上減小因個人偏見和臨床經(jīng)驗(yàn)造成的分割誤差；然而，現(xiàn)有方法集中于肺部分割［5-6］、肝臟分割［7］、大腦分割［8］和視網(wǎng)膜血管分割［9］等，直腸癌的自動定位和分割方面研究較少。相較于其他類型的癌癥，由于直腸是一個中空的內(nèi)臟，所以直腸壁和腫瘤周圍的背景在不同的切片上變化較大，腫瘤和直腸壁之間的對比度低，難以準(zhǔn)確定位和分割。目前的研究集中在單目標(biāo)分割任務(wù)上，如腫瘤分割［10］和淋巴結(jié)分割［11］等，單目標(biāo)分割難以滿足直腸癌TNM分期診斷需求。

針對目前直腸癌分割問題，本文設(shè)計(jì)了一種基于鄰近切片注意力融合的直腸癌分割網(wǎng)絡(luò)（Adjacent Slice Attention Fusion Network for rectal cancer segmentation， ASAF-Net），以實(shí)現(xiàn)直腸癌MRI中腫瘤、直腸系膜和外淋巴結(jié)區(qū)的多目標(biāo)分割。ASAF-Net在編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)之間引入一個鄰近切片注意力融合（Adjacent Slice Attention Fusion， ASAF）模塊，利用注意力機(jī)制融合和增強(qiáng)相鄰切片之間的上下文信息，將三維（Three-Dimensional， 3D）體積信息融合到二維（Two-Dimensional， 2D）卷積神經(jīng)網(wǎng)絡(luò)；在解碼網(wǎng)絡(luò)中引入相鄰切片間的一致性約束作為輔助損失，緩解訓(xùn)練過程中出現(xiàn)的相鄰切片差異過大的問題。實(shí)驗(yàn)結(jié)果表明，ASAF-Net與其他主流的分割網(wǎng)絡(luò)相比具有較穩(wěn)健的性能提升。

1 相關(guān)工作

1.1　深度學(xué)習(xí)分割方法

語義分割是醫(yī)學(xué)圖像分析中的一項(xiàng)重要技術(shù)手段。隨著數(shù)據(jù)量的增加和算力的提升，深度學(xué)習(xí)依靠強(qiáng)大的特征提取能力，在圖像處理（分割、分類、檢測等）任務(wù)中取得了突破性的成果，并逐漸開始在圖像處理領(lǐng)域占據(jù)主導(dǎo)地位。Long等［12］提出了全卷積網(wǎng)絡(luò)（Fully Convolutional Network， FCN），F(xiàn)CN將經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)中的全連接層全部替換為卷積層，利用反卷積和跳躍連接對特征圖進(jìn)行上采樣恢復(fù)至與輸入圖像相同的尺寸，幫助網(wǎng)絡(luò)從抽象的特征中挖掘每個像素所屬的類別，將圖像級別的分類進(jìn)一步延伸至像素級別的分類。Ronneberger等［13］提出的U-Net與FCN都是編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)，U-Net采用更巧妙的解碼器設(shè)計(jì)和跳躍連接的疊操作（Concatenation），更好地融合多尺度特征信息。包含壓縮路徑和擴(kuò)展路徑的對稱U形結(jié)構(gòu)網(wǎng)絡(luò)由此成為了醫(yī)學(xué)圖像分割的經(jīng)典方法。DeepLab網(wǎng)絡(luò)［14］利用空洞卷積在不增加參數(shù)量的同時(shí)增大了感受野，并且在解碼器中設(shè)計(jì)了空洞空間金字塔池化（Atrous Spatial Pyramid Pooling， ASPP）模塊。ASPP是一種特殊的金字塔池化模塊［15］，通過并行設(shè)計(jì)多種空洞率的空洞卷積特征提取路徑，再將它們進(jìn)行融合，以挖掘多感受野特征信息，增強(qiáng)網(wǎng)絡(luò)識別同一目標(biāo)不同尺度的能力。Wang等［16］從維持高分辨率特征的角度出發(fā)，提出了高分辨率網(wǎng)絡(luò)（High Resolution Network， HRNet），極大緩解了上下采樣過程中導(dǎo)致的大量的有效信息丟失問題。HRNet在整個編碼-解碼過程中維持高分辨率特征，并通過設(shè)置并行的多分辨率分支不斷地進(jìn)行多分辨率分支之間的信息交互，減少語義信息和位置信息的損耗，使網(wǎng)絡(luò)更適合位置敏感的語義分割任務(wù)。

1.2　注意力機(jī)制

注意力機(jī)制不存在嚴(yán)格的數(shù)學(xué)定義，因此有大量變種和不同的實(shí)現(xiàn)方式。本質(zhì)上，注意力機(jī)制的核心是讓網(wǎng)絡(luò)專注于“重要”的信息，忽略“相對不重要”的信息，提升網(wǎng)絡(luò)的表示能力。注意力機(jī)制在自然語言處理中主要用于解決機(jī)器翻譯中的長序列問題［17］。Mnih等［18］提出的RAM（Recurrent Attention Model）在循環(huán)神經(jīng)網(wǎng)絡(luò)中引入注意力機(jī)制分類圖像，首次將注意力機(jī)制應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域。Hu等［19］提出的SENet（Squeeze-and-Excitation Network）通過建模特征通道，強(qiáng)化或弱化相關(guān)特征以提升網(wǎng)絡(luò)的準(zhǔn)確率。Woo等［20］和Wang等［21］分別提出了CBAM（Convolutional Block Attention Module）和ECA（Efficient Channel Attention module），隱式和自適應(yīng)地預(yù)測潛在的關(guān)鍵特征的代表性模塊。自注意力由Vaswani等［22］提出，Wang等［23］將自注意力引入計(jì)算機(jī)視覺領(lǐng)域，提出的非局部網(wǎng)絡(luò)可以捕捉兩個位置之間的遠(yuǎn)距離依賴關(guān)系，在視頻分類和目標(biāo)檢測任務(wù)上取得了成功?；谧⒁饬C(jī)制的方法高效、簡單、通用，在多數(shù)任務(wù)場景下都能顯著地提高網(wǎng)絡(luò)的速度、結(jié)果質(zhì)量，增強(qiáng)泛化能力。本文利用注意力設(shè)計(jì)多尺度特征融合模塊，提升多尺度之間的融合效率，改善分割結(jié)果。

1.3　直腸癌分割

目前的直腸癌分割研究大多集中在單目標(biāo)分割任務(wù)上。Trebeschi等［24］利用卷積神經(jīng)網(wǎng)絡(luò)自動定位和分割140名局部晚期直腸癌患者的MRI數(shù)據(jù)，在獨(dú)立的驗(yàn)證數(shù)據(jù)集上單目標(biāo)Dice相似系數(shù)（Dice Similarity Coefficient， DSC）為68%；Rao等［25］利用通道拼接和空洞卷積改進(jìn)U-Net，在DSC指標(biāo)上提高了2.7個百分點(diǎn)；Meng等［26］基于592例數(shù)據(jù)集，提出了帶邊界約束的掩碼分割網(wǎng)絡(luò)（Mask Segmentation with Boundary Constraints Network，MSBC-Net），MSBC-Net的參數(shù)量是U-Net的4倍，平均DSC為80.1%，對于直腸系膜包裹的直腸壁的分割DSC為75.6%。直腸癌的單目標(biāo)分割結(jié)果對臨床診斷的輔助效果有限，由于不同目標(biāo)之間存在較大差異性，多目標(biāo)分割通常面臨各目標(biāo)分割精度方差較大、目標(biāo)誤分割等問題，因此直腸癌的多目標(biāo)分割是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。本文從鄰近切片的多尺度特征融合的角度出發(fā)，通過注意力機(jī)制挖掘空間上下信息并融合到多尺度特征中，改善網(wǎng)絡(luò)的多目標(biāo)分割性能。

2 ASAF?Net

2.1　網(wǎng)絡(luò)整體架構(gòu)設(shè)計(jì)

ASAF-Net采用編碼器-解碼器結(jié)構(gòu)，由主干網(wǎng)絡(luò)（backbone）、頸部網(wǎng)絡(luò)（neck）和解碼網(wǎng)絡(luò)（decoder）這3個組件構(gòu)成。主干網(wǎng)絡(luò)采用卷積網(wǎng)絡(luò)堆疊，用于特征提??；頸部網(wǎng)絡(luò)對相鄰切片的深層高級語義特征進(jìn)行注意力融合和增強(qiáng)，學(xué)習(xí)相鄰切片之間的一致性上下文信息；解碼網(wǎng)絡(luò)用于處理頸部網(wǎng)絡(luò)輸出的特征圖，對圖像的每個像素進(jìn)行分類，得到最終的分割結(jié)果。ASAF-Net的整體架構(gòu)如圖1所示。

圖1　ASAF-Net整體架構(gòu)

2.2　主干網(wǎng)絡(luò)

以前的一些先進(jìn)方法如SegNet［27］、DeconvNet［28］、U-Net［13］和SimpleBaseline［29］等都采用高分辨率恢復(fù)過程（如圖2（a）所示），先降低分辨率，再從低分辨率中提高表示的分辨率。語義分割任務(wù)依賴高分辨率的特征表示，而高分辨恢復(fù)過程不可避免地會造成上下文信息的丟失，不利于位置敏感的語義分割任務(wù)。相較于常用的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)U-Net，本文采用HRNet作為特征提取的主干網(wǎng)絡(luò)，參數(shù)量和計(jì)算量更少。HRNet在整個特征提取過程始終保持高分辨率的特征表示，輸出的高分辨率特征保持了強(qiáng)語義信息，并且學(xué)到的語義表征在空間上也更精確［16］。高分辨率保持過程如圖2（b）所示。

其中：concat（）表示以通道維度進(jìn)行拼接；、和表示權(quán)重超參數(shù)，通過幾組不同經(jīng)驗(yàn)值的實(shí)驗(yàn)對比，分別設(shè)置為0.8、1.0和0.8。以相同模式讀取N張相鄰圖像作為網(wǎng)絡(luò)的輸入，圖1以N=3為例，主干網(wǎng)絡(luò)進(jìn)行特征提取后，輸入頸部網(wǎng)絡(luò)進(jìn)行進(jìn)一步特征融合操作。

2.3　頸部網(wǎng)絡(luò)

頸部網(wǎng)絡(luò)利用注意力機(jī)制融合和增強(qiáng)相鄰切片之間多尺度上下文信息。圖3展示了同一病人的3張連續(xù)MRI和它們對應(yīng)的多目標(biāo)標(biāo)注結(jié)果。

圖3　同一病人的3張鄰近MRI切片及其對應(yīng)分割標(biāo)注

由圖3可見，同一病例的相鄰切片之間的目標(biāo)區(qū)域在空間位置、形態(tài)、大小和對比度等方面呈現(xiàn)一定的相似性。挖掘和利用相鄰切片之間的上下文信息融合至二維分割網(wǎng)絡(luò)是一種利用先驗(yàn)信息提升分割精度的方法，這種先驗(yàn)信息融合操作可以簡單分為兩類：一類是先利用主干網(wǎng)絡(luò)提取特征，再進(jìn)行融合，如Zhang等［30］將相鄰3張切片提取的特征利用空間注意力融合改善分割結(jié)果；另一類在主干網(wǎng)絡(luò)提取特征的同時(shí)進(jìn)行融合，如Lv等［31］利用殘差I(lǐng)nception模塊替換U-Net的基本模塊，將相鄰切片上下文信息融合作用于整個特征提取階段。本文采用先提取特征后融合的方式，不同于文獻(xiàn)［30］，本文選用通道注意力進(jìn)行融合，在融合時(shí)有效利用了多尺度特征。

圖4　ASAF模塊

2.4　解碼網(wǎng)絡(luò)

2.5　損失函數(shù)

訓(xùn)練時(shí)，網(wǎng)絡(luò)的損失為主分割頭FCN的損失與輔助分割頭的ASPP的損失加權(quán)和。如式（7）所示：

3 實(shí)驗(yàn)與結(jié)果分析

3.1　實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文的實(shí)驗(yàn)環(huán)境如下：Windows 10操作系統(tǒng)，CPU 13th Gen Intel Core i7-13700K，GPU NVIDIA GeForce RTX 4090，顯存大小24 GB。深度學(xué)習(xí)框架為PyTorch 1.9.0，Python 3.8.8。

實(shí)驗(yàn)數(shù)據(jù)為四川大學(xué)華西醫(yī)院腹部腫瘤科2015至2020年間收治的127例確診Ⅱ/Ⅲ期直腸癌患者M(jìn)RI，其中每名患者的MRI中含有17～55張切片。每例直腸癌患者都是由一名具有5年診斷經(jīng)驗(yàn)的低年資放療醫(yī)師勾畫，并由另一名具有10年診斷經(jīng)驗(yàn)的高年資放療醫(yī)師校正。

127例病例轉(zhuǎn)換為2D切片后共有2 917張，在劃分?jǐn)?shù)據(jù)集時(shí)，以病人為單位進(jìn)行劃分，即不能出現(xiàn)單個病人的一部分2D切片出現(xiàn)在訓(xùn)練集，而另一部分2D切片又出現(xiàn)在驗(yàn)證集中的情況。將127例原始數(shù)據(jù)劃分為5組（5-Flod），每個子集分別做一次驗(yàn)證集，其余的4組子集作為訓(xùn)練集，將訓(xùn)練后得到的5個最優(yōu)網(wǎng)絡(luò)的平均結(jié)果表示網(wǎng)絡(luò)的最終性能。五折交叉驗(yàn)證有效利用了有限的數(shù)據(jù)，更好地驗(yàn)證網(wǎng)絡(luò)的泛化性能。

3.2　實(shí)驗(yàn)參數(shù)設(shè)置

圖5　學(xué)習(xí)率隨迭代次數(shù)增加的衰減

3.3　評價(jià)指標(biāo)

為了定量評估不同網(wǎng)絡(luò)的分割性能，本文采用交并比（Intersection over Union， IoU）、DSC和95%豪斯多夫距離（Hausdorff Distance， HD）評價(jià)指標(biāo)，其中IoU也被稱為Jaccard相似系數(shù)（Jaccard Similarity Coefficient， JSC）。IoU、DSC和95%HD指標(biāo)旨在將預(yù)測分割圖與標(biāo)注圖從內(nèi)部填充區(qū)域和邊界區(qū)域兩個角度結(jié)合進(jìn)行綜合評估，更有利于語義分割任務(wù)，以獲取更精確的分割性能。

3.4　結(jié)果與分析

為了評估本文網(wǎng)絡(luò)的有效性，將本文網(wǎng)絡(luò)與FCN、U-Net、DeepLabV3和HRNetV2對同一分割數(shù)據(jù)集進(jìn)行分割對比。分割結(jié)果如表1、2所示。由表1可得，本文網(wǎng)絡(luò)的IoU、DSC和95%HD均值高于其他網(wǎng)絡(luò)，IoU、DSC和95%HD均值分別取得63.07%、75.96%和25.46 mm。表2則分別列出了每一目標(biāo)的分割精度，結(jié)果顯示，HRNetV2在直腸系膜的分割上取得最優(yōu)，腫瘤和外淋巴結(jié)區(qū)的表現(xiàn)均不如本文網(wǎng)絡(luò)。特別地，本文方法在外淋巴結(jié)區(qū)的分割上，相較于HRNetV2，IoU和DSC分別提升了4.65和3.38個百分點(diǎn)，95%HD降低了3.49 mm。實(shí)驗(yàn)結(jié)果表明，本文的ASAF模塊融合了鄰近切片上下文信息，能夠帶來較為顯著的性能提升。

圖6為不同分割網(wǎng)絡(luò)的可視化對比，第一組和第二組為相鄰3張切片結(jié)果，第三組為獨(dú)立的兩張不相鄰切片。對于第一組中相鄰切片的不同網(wǎng)絡(luò)的預(yù)測結(jié)果，F(xiàn)CN和DeepLabV3只在第一張和第三張切片上分割了腫瘤，從結(jié)果上幾乎無法看出相鄰切片之間存在相關(guān)性；U-Net、DeepLabV3和HRNetV2對腫瘤靶區(qū)的分割結(jié)果都較差，并且還錯誤地分割了外淋巴結(jié)區(qū)，特別地，HRNetV2在直腸系膜的分割上的輪廓最接近金標(biāo)準(zhǔn)；本文網(wǎng)絡(luò)在腫瘤分割上取得了更好的結(jié)果，在輪廓上也更接近金標(biāo)準(zhǔn)。對于第二組相鄰3張切片結(jié)果圖，F(xiàn)CN的表現(xiàn)最差，沒有正確分割外淋巴結(jié)區(qū)；U-Net成功預(yù)測了所有目標(biāo)，但腫瘤輪廓與金標(biāo)準(zhǔn)差別較大，且所預(yù)測的直腸系膜邊界輪廓尖銳，不平滑；DeepLabV3和HRNetV2在外淋巴結(jié)區(qū)和直腸系膜的預(yù)測上，邊界輪廓得到較大改善，但對腫瘤的分割預(yù)測依然較差。對于第三組中的第1張切片，HRNetV2對直腸系膜的預(yù)測結(jié)果最接近金標(biāo)準(zhǔn)，本文網(wǎng)絡(luò)次之；對于第三組中的第2張切片，F(xiàn)CN、U-Net和DeepLabV3對腫瘤的預(yù)測與金標(biāo)準(zhǔn)差異較大，HRNetV2則沒能分割腫瘤。圖6表明了本文網(wǎng)絡(luò)在直腸癌的多目標(biāo)分割任務(wù)上有著更穩(wěn)健的分割結(jié)果，取得了多目標(biāo)分割較權(quán)衡的結(jié)果。

表1不同方法的分割結(jié)果對比

Tab.1　Comparison of segmentation results of different networks

表2不同方法的多目標(biāo)分割結(jié)果對比

Tab.2　Comparison of multi-object segmentation results of different networks

圖6　不同網(wǎng)絡(luò)分割結(jié)果的可視化對比

不同分割方法的參數(shù)量、計(jì)算量見表1。本文網(wǎng)絡(luò)在HRNetV2基礎(chǔ)上，增加了ASPP輔助分割頭、ASAF模塊和相鄰切片一致性約束，參數(shù)量和計(jì)算量分別增加了6.95×106和6.67 GFLOPs，多目標(biāo)分割的平均IoU和平均DSC指標(biāo)分別提高了1.68和1.26個百分點(diǎn)，平均95%HD降低了0.91 mm。

3.5　消融實(shí)驗(yàn)

為了驗(yàn)證本文網(wǎng)絡(luò)的ASAF模塊的有效性，進(jìn)行了消融實(shí)驗(yàn)，結(jié)果如表3和圖7所示。

圖7中，方法①作為基線方法（Baseline），它在HRNetV2的基礎(chǔ)上增加ASPP輔助分割頭。相較于HRNetV2（表1），基線方法的平均IoU提升從61.39%提升到了61.83%，平均DSC從74.70%提升到了74.89%。方法②在方法①的基礎(chǔ)上加入了ASAF模塊后，平均IoU、平均DSC和平均95%HD指標(biāo)均優(yōu)于基線方法，平均IoU和平均DSC分別提升了1.11和0.58個百分點(diǎn)，平均95%HD降低了0.55 mm。方法③引入了約束相鄰兩張切片之間的一致性損失，緩解優(yōu)化過程中出現(xiàn)的相鄰切片差異大的問題，實(shí)驗(yàn)結(jié)果表明，一致性損失約束能夠給分割結(jié)果帶來一定的性能提升，平均IoU和平均DSC分別提升了0.28和0.16個百分點(diǎn)，平均95%HD降低了0.17 mm。一致性損失帶來的性能提升較為有限，且在實(shí)驗(yàn)時(shí)需要不斷地調(diào)參尋找最優(yōu)的損失權(quán)重，泛化能力差，推廣到其他分割任務(wù)難度和代價(jià)高。方法④同時(shí)加入ASAF模塊和一致性損失約束，取得了最佳分割結(jié)果，相較于方法①，平均IoU和平均DSC分別提升了1.24和1.07個百分點(diǎn)，平均95%HD降低了0.96 mm。表3中的實(shí)驗(yàn)結(jié)果說明本文網(wǎng)絡(luò)對于改善分割結(jié)果是有利的。

圖7為消融實(shí)驗(yàn)中不同網(wǎng)絡(luò)對3張直腸癌MRI分割結(jié)果的可視化對比。從第1張切片不同網(wǎng)絡(luò)的分割結(jié)果可以看出，圖7（f）加上ASAF模塊后，腫瘤分割得到了明顯改善（箭頭所指目標(biāo)），并且ASAF模塊和一致性損失都提升了外淋巴結(jié)區(qū)的分割精度，外淋巴結(jié)區(qū)更接近金標(biāo)準(zhǔn)（圓圈圈出的目標(biāo)）。第2張切片分割結(jié)果的外淋巴結(jié)區(qū)也同樣得到了改善。在第3張切片不同網(wǎng)絡(luò)的結(jié)果中，方法④通過結(jié)合ASAF模塊和一致性損失，成功分割了腫瘤目標(biāo)（箭頭所指）。

最后，為了驗(yàn)證ASAF模塊的泛化能力，本文將它與不同的主干網(wǎng)絡(luò)進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。方法⑤和⑦分別為ResNet和U-Net分割網(wǎng)絡(luò)，方法⑥⑧則分別在⑤⑦基礎(chǔ)上加上ASAF模塊。表4實(shí)驗(yàn)結(jié)果表明，ASAF模塊作用于其他基干網(wǎng)絡(luò)也能帶來一定的性能提升。

表3　網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)結(jié)果對比

圖7　消融實(shí)驗(yàn)分割結(jié)果對比

表4ASAF模塊泛化能力的消融實(shí)驗(yàn)結(jié)果

Tab.4　Ablation experimental results of ASAF module generalization ability

4 結(jié)語

本文提出一種基于鄰近切片注意力融合的直腸癌分割網(wǎng)絡(luò)（ASAF-Net），用于直腸癌MRI的多目標(biāo)語義分割。該網(wǎng)絡(luò)以HRNet作為特征提取的主干網(wǎng)絡(luò)，解碼網(wǎng)絡(luò)中使用FCN和ASPP分割頭協(xié)同訓(xùn)練，并在編碼網(wǎng)絡(luò)和解碼網(wǎng)絡(luò)之間引入ASAF模塊。該模塊輸入當(dāng)前切片與它前、后切片的多尺度特征，利用注意力機(jī)制融合和增強(qiáng)相鄰切片特征之間上下文信息，使得網(wǎng)絡(luò)能夠?qū)W習(xí)相鄰切片之間的空間信息。最后，在解碼網(wǎng)絡(luò)中加入相鄰切片間的一致性損失約束作為輔助，緩解訓(xùn)練過程中出現(xiàn)的相鄰切片差異大的問題。通過在127例直腸癌患者的MRI多目標(biāo)分割數(shù)據(jù)集上進(jìn)行評估，實(shí)驗(yàn)結(jié)果表明，本文提出的ASAF-Net與其他主流的分割網(wǎng)絡(luò)相比有著較為穩(wěn)健的性能提升，實(shí)驗(yàn)評估指標(biāo)IoU取得63.07%，DSC取得75.96%，95%HD取得25.46 mm，實(shí)驗(yàn)結(jié)果均優(yōu)于其他主流的分割網(wǎng)絡(luò)。

本文實(shí)驗(yàn)所采用的直腸癌MRI數(shù)據(jù)獲取成本較高，數(shù)據(jù)量仍不足，同時(shí)圖像的語義信息較簡單且目標(biāo)靶區(qū)較固定，使用架構(gòu)更復(fù)雜的網(wǎng)絡(luò)反而使得分割精度降低。如何基于有限的數(shù)據(jù)樣本量，設(shè)計(jì)一個架構(gòu)簡潔高效的直腸癌多目標(biāo)分割網(wǎng)絡(luò)，減小各目標(biāo)之間的分割精度方差是下一步的研究重點(diǎn)。

[1] SUNG H， FERLAY J， SIEGEL R L， et al. Global cancer statistics 2020： GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries［J］. CA： A Cancer Journal for Clinicians， 2021， 71（3）： 209-249.

[2] WANG F H， ZHANG X T， LI Y F， et al. The Chinese Society of Clinical Oncology （CSCO）： clinical guidelines for the diagnosis and treatment of gastric cancer［J］. Cancer Communications， 2021， 41（8）： 747-795.

[3] 馮超，盧方明，李曉軍，等. 探討高分辨MRI對直腸癌術(shù)前T、N分期及環(huán)周切緣評估的準(zhǔn)確性［J］. 世界最新醫(yī)學(xué)信息文摘， 2019， 19（68）：189-190.（FENG C， LU F M， LI X J， et al. Exploring the accuracy of high-resolution MRI for preoperative T and N staging and peri-annular margin assessment of rectal cancer［J］. World Latest Medicine Information， 2019， 19（68）： 189-190.）

[4] 熊赤，牛朝詩. 多模態(tài)磁共振成像在腦膠質(zhì)瘤鑒別診斷的應(yīng)用［J］. 立體定向和功能性神經(jīng)外科雜志， 2013， 26（1）：49-54.（XIONG C， NIU C S. Application of multimodal magnetic resonance imaging in the differential diagnosis of glioma［J］. Chinese Journal of Stereotactic and Functional Neurosurgery， 2013， 26（1）： 49-54.）

[5] WANG S， ZHOU M， LIU Z， et al. Central focused convolutional neural networks： developing a data-driven model for lung nodule segmentation ［J］. Medical Image Analysis， 2017， 40： 172-183.

[6] SONG J， YANG C， FAN L， et al. Lung lesion extraction using a toboggan based growing automatic segmentation approach ［J］. IEEE Transactions on Medical Imaging， 2016， 35（1）： 337-353.

[7] BEN-COHEN A， DIAMANT I， KLANG E， et al. Fully convolutional network for liver segmentation and lesions detection［C］// Proceedings of the 2016 International Workshop on Deep Learning in Medical Image Analysis/ International Workshop on Large-Scale Annotation of Biomedical Data and Expert Label Synthesis， LNCS 10008. Cham： Springer， 2016：77-85.

[8] DE BRéBISSON A， MONTANA G. Deep neural networks for anatomical brain segmentation ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2015： 20-28.

[9] ZHUANG J. LadderNet： multi-path networks based on U-Net for medical image segmentation［EB/OL］. （2019-08-28）［2022-12-25］.https：//arxiv.org/pdf/1810.07810.pdf.

[10] ZHU H T， ZHANG X Y， SHI Y J， et al. Automatic segmentation of rectal tumor on diffusion-weighted images by deep learning with U-Net ［J］. Journal of Applied Clinical Medical Physics， 2021， 22（9）： 324-331.

[11] ZHAO X， XIE P， WANG M， et al. Deep learning-based fully automated detection and segmentation of lymph nodes on multiparametric-mri for rectal cancer： a multicentre study［J］. eBioMedicine， 2020， 56： No.102780.

[12] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 39（4）： 640-651.

[13] RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.

[14] CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（4）：834-848.

[15] HE K， ZHANG X Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，37（9）： 1904-1916.

[16] WANG J， SUN K， CHENG T， et al. Deep high-resolution representation learning for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（10）： 3349-3364.

[17] BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. （2016-05-19）［2022-12-28］.https：//arxiv.org/pdf/1409.0473.pdf.

[18] MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Red Hook， NY： Curran Associates Inc.， 2014： 2204-2212.

[19] HU J， SHEN L， SUN G， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.

[20] WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.

[21] WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2235-2239.

[22] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International and Workshop on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

[23] WANG X， GIRSHICK R， GUPTA A， et al. Non-local neural networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：7794-7803.

[24] TREBESCHI S， VAN GRIETHUYSEN J J M， LAMBREGTS D M J， et al. Deep learning for fully-automated localization and segmentation of rectal cancer on multiparametric MR［J］. Scientific Reports， 2017， 7： No.5301.

[25] RAO Y， ZHENG W， ZENG S， et al. Using channel concatenation and lightweight atrous convolution in U-Net for accurate rectal cancer segmentation［C］// Proceedings of the 4th International Conference on Pattern Recognition and Artificial Intelligence. Piscataway： IEEE， 2021： 247-254.

[26] MENG P， SUN C， LI Y， et al. MSBC-Net： automatic rectal cancer segmentation from MR scans ［EB/OL］. ［2023-02-20］.https：//www.semanticscholar.org/reader/5deddb5627e2a4805d72836b4039254c4ee94ebf.

[27] BADRINARAYANAN V， KENDALL A， CIPOLLA R. SegNet： a deep convolutional encoder-decoder architecture for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（12）： 2481-2495.

[28] NOH H， HONG S， HAN B. Learning deconvolution network for semantic segmentation［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015：1520-1528.

[29] YUAN J， LIU Y， SHEN C， et al. A simple baseline for semi-supervised semantic segmentation with strong data augmentation［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 8209-8218.

[30] ZHANG Y， YUAN l， WANG Y， et al. SAU-Net： efficient 3D spine MRI segmentation using inter-slice attention［C］// Proceedings of the 3rd Conference on Medical Imaging with Deep Learning. New York： JMLR.org， 2020：903-913.

[31] LV P， WANG J， WANG H. 2.5D lightweight RIU-Net for automatic liver and tumor segmentation from CT ［J］. Biomedical Signal Processing and Control， 2022， 75： No.103567.

Rectal cancer segmentation network based on adjacent slice attention fusion

LAN Donglei1，2*， WANG Xiaodong1，2， YAO Yu1，2， WANG Xin3， ZHOU Jitao3

（1，，610213，；2，100049，；3，，，610041，）

Aiming at the problem that the target regions of rectal cancer show different sizes， shapes， textures， and boundary clarity on Magnetic Resonance Imaging （MRI） images， to overcome the individual variability among patients and improve the segmentation accuracy， an Adjacent Slice Attention Fusion Network for rectal cancer segmentation （ASAF-Net） was proposed. Firstly， using High Resolution Network （HRNet） as the backbone network， the high-resolution feature representation was maintained during the feature extraction process， thereby reducing the loss of semantic information and spatial location information. Secondly， the multi-scale contextual semantic information between adjacent slices was fused and enhanced by the Adjacent Slice Attention Fusion （ASAF） module， so that the network was able to learn the spatial features between adjacent slices. Finally， in the decoder， the co-training of Fully Convolutional Network （FCN） and Atrous Spatial Pyramid Pooling （ASPP） segmentation heads was carried out， and the large differences between adjacent slices during training was reduced by adding consistency constraints between adjacent slices as an auxiliary loss. Experimental results show that compared with HRNet， ASAF-Net improves the mean Intersection over Union （IoU） and mean Dice Similarity Coefficient （DSC） by 1.68 and 1.26 percentage points， respectively， and reduces the 95% mean Hausdorff Distance （HD） by 0.91 mm. At the same time， ASAF-Net can achieve better segmentation results in both internal filling and edge prediction of multi-objective target regions in rectal cancer MRI image， and helps to improve physician efficiency in clinical auxiliary diagnosis.

rectal cancer; image segmentation; attention mechanism; feature fusion; deep learning

This work is partially supported by National Natural Science Foundation of China （82073338）， Key Research and Development Project of Sichuan Provincial Science and Technology Program （2022YFS0217）.

LAN Donglei， born in 1998， M. S. candidate. His research interests include deep learning， medical image processing.

WANG Xiaodong， born in 1973， research fellow. His research interests include network engineering.

YAO Yu， born in 1980， Ph. D.， research fellow. His research interests include machine learning， pattern recognition.

WANG Xin， born in 1977， Ph. D.， professor. Her research interests include rectal tumor diagnosis and treatment.

ZHOU Jitao， born in 1985， Ph. D.， chief physician. Her research interests include rectal tumor diagnosis and treatment.

TP391.41

A

1001-9081（2023）12-3918-09

10.11772/j.issn.1001-9081.2023010045

2023?01?17；

2023?03?15；

2023?03?16。

國家自然科學(xué)基金資助項(xiàng)目（82073338）；四川省科技計(jì)劃項(xiàng)目重點(diǎn)研發(fā)項(xiàng)目（2022YFS0217）。

蘭冬雷（1998—），男，廣西河池人，碩士研究生，主要研究方向：深度學(xué)習(xí)、醫(yī)學(xué)圖像處理；王曉東（1973—），男，四川樂山人，研究員，主要研究方向：網(wǎng)絡(luò)工程；姚宇（1980—），男，四川宜賓人，研究員，博士，主要研究方向：機(jī)器學(xué)習(xí)、模式識別；王辛（1977—），女，四川成都人，教授，博士，主要研究方向：直腸腫瘤的診斷與治療；周繼陶（1985—），女，四川成都人，主治醫(yī)師，博士，主要研究方向：直腸腫瘤的診斷與治療。