孔德鳳 賈偉

摘要：細(xì)胞核的形狀、紋理和空間分布等信息能夠為各類疾病診斷提供重要的參考信息，對細(xì)胞核的準(zhǔn)確分割是疾病診斷中的關(guān)鍵步驟。針對細(xì)胞核形狀多樣、邊界模糊和重疊等問題，提出一種基于改進U-Net的細(xì)胞核分割方法。首先，利用并聯(lián)空洞卷積模塊和串聯(lián)空洞卷積模塊改進Inception-ResNet的性能，擴大U-Net卷積核的感受野；其次，提出一種采用全局最大池化和全局平均池化的殘差注意力機制，同時獲得局部特征和全局特征。實驗結(jié)果表明，與現(xiàn)有細(xì)胞核分割方法相比，所提出的細(xì)胞核分割方法能夠?qū)?xì)胞核進行準(zhǔn)確分割。

關(guān)鍵詞：Inception-ResNet;殘差注意力; U-net; 細(xì)胞核分割

中圖分類號：TP391? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2022）30-0004-03

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

1 概述

病理圖像中的細(xì)胞核包含著大量的重要信息，準(zhǔn)確獲取細(xì)胞核的大小、形狀、紋理和空間分布等信息能夠為多種疾病提供重要的參考指標(biāo)[1]。因此，對細(xì)胞核的準(zhǔn)確分割對于各種疾病的準(zhǔn)確診斷和預(yù)后判斷具有重要意義[2]。大量的研究表明[3]，由于U-Net[4]的網(wǎng)絡(luò)結(jié)構(gòu)能夠有效利用病理圖像中的低分辨率信息和高分辨率信息，在訓(xùn)練樣本較少的情況下獲得較好的分割效果，使得基于U-Net的分割方法成為近年來細(xì)胞核分割的研究熱點，例如，IBTEHAZ等[5]提出一種可用于細(xì)胞核分割的多殘差塊U-Net （Multi-Residual U-Net，MU-Net） 的分割方法，該方法在U-Net中使用殘差塊，用于融合多尺度病理圖像特征，并增強編碼器和解碼器之間的聯(lián)系。ZHOU等[6]提出利用U-Net++分割細(xì)胞核，通過增強病理圖像的特征融合，提高分割準(zhǔn)確性。Li等[7]提出雙U-Net （Dual U-Net，DU-Net），并將該結(jié)構(gòu)應(yīng)用到細(xì)胞核分割中，用于提高重疊細(xì)胞核的分割效果。

由于病理切片制作技術(shù)的差異和細(xì)胞分布不均勻的影響，病理圖像中經(jīng)常出現(xiàn)細(xì)胞核邊界模糊和細(xì)胞核重疊的情況。此外，病理圖像中的細(xì)胞核存在圓形和梭形等多種形狀，這些因素導(dǎo)致現(xiàn)有的U-Net及其改進方法無法獲取理想的分割結(jié)果。為解決上述問題，本文提出一種基于改進U-Net的細(xì)胞核分割方法（Improved U-Net，IU-Net），該方法在U-Net中引入Inception-ResNet結(jié)構(gòu)[8]和注意力機制[9]，并利用空洞卷積[10]增強Inception-ResNet特征融合程度，獲取更多的細(xì)胞核特征信息。將殘差塊引入注意力機制的同時，使用最大池化和平均池化獲取更多的深層特征和淺層特征信息，進一步提高細(xì)胞核分割的效果。

2 基于IU-Net的細(xì)胞核分割

2.1基于IU-Net的分割方法

用于細(xì)胞核分割的IRAU的結(jié)構(gòu)如圖1所示， 將改進的Inception-ResNet（Improved Inception-ResNet，IIRN）模塊分別應(yīng)用到U-Net的編碼器、瓶頸層和解碼器中，并將基于雙池化的殘差注意力 （Residual Attention based on Double Pooling，RABD）模塊嵌入U-Net的跳連接中。此外，為了更有效地提取細(xì)胞核特征和減少計算量，在瓶頸層中，先使用1×1卷積核進行降維，再使用1×1卷積核進行升維，并把降維前和升維后的特征信息進行融合，把融合結(jié)果作為瓶頸層的輸出。

2.2 IIRN模塊

為擴大U-Net的卷積層感受野和獲取更精細(xì)的細(xì)胞核圖像特征，對Inception-ResNet進行改進，使用并聯(lián)空洞卷積模塊和串聯(lián)空洞卷積模塊分別代替Inception-ResNet-A模塊的兩個分支中的3×3卷積，在每次卷積計算之后使用激活函數(shù)Leaky ReLU防止梯度消失并獲得更好的泛化能力，并利用批歸一化（Batch Normalization，BN）進行歸一化處理，提高訓(xùn)練速度和精度。如圖2所示，并聯(lián)空洞卷積包括4個3×3卷積核，這4個卷積核的空洞率分別設(shè)置為1、2、4和8，并聯(lián)方式在提取到不同尺度的細(xì)胞核特征后，再進行特征融合，有利于獲得與細(xì)胞核相關(guān)的更準(zhǔn)確的全局特征信息和局部特征信息。串聯(lián)空洞卷積包括4個3×3卷積核，這4個卷積核的空洞率分別設(shè)置為1、2、4和8，按照空洞率由小到大的順序排列，前一層提取的特征信息作為后一層的輸入，逐步提高感受野范圍，通過串聯(lián)空洞卷積具有多層不同尺度的感受野，可以獲得更多與細(xì)胞核大小和形狀相關(guān)的特征信息。

2.3 RABD模塊

為提高注意力機制的性能，獲得更準(zhǔn)確地融合細(xì)胞核的淺層特征和深層特征信息，提出使用RABD將注意力機制與殘差網(wǎng)絡(luò)相結(jié)合，并在殘差注意力機制中同時使用全局最大池化（Global Max Pooling，GMP）和全局平均池化（Global Average Pooling，GAP）對細(xì)胞核特征進行壓縮，在使用全局最大池化獲取重要的局部特征信息的同時，使用全局平均池化獲取全局特征信息。

RABD的結(jié)構(gòu)如圖3所示，GMP和GAP分別對應(yīng)1個分支，每個分支都將U-Net在下采樣過程中獲取的病理圖像信息分別作為輸入，在得到2個分支的池化結(jié)果后，首先都要經(jīng)過1個全連接（Fully Connected，F(xiàn)C）層，在通過BN和激活函數(shù)Leaky ReLU之后，再經(jīng)過1個FC層和激活函數(shù)Sigmoid，隨后對2個分支的結(jié)果進行加運算，通過加運算能夠在強調(diào)深層特征的同時，也強調(diào)淺層特征。最后將U-Net在下采樣過程中獲取的病理圖像信息與加運算的結(jié)果進行乘運算，使注意力權(quán)重疊加到由編碼器輸出的病理圖像信息上。

3 實驗分析

3.1實驗數(shù)據(jù)與評價指標(biāo)

選用公共數(shù)據(jù)集Data Science Bowl 2018（https：//www.kaggle.com/c/data-science-bowl-2018/overview）對本文提出方法的有效性和準(zhǔn)確性進行驗證。為避免過度擬合，提高泛化能力，對圖像進行預(yù)處理，通過剪裁將所有病理圖像調(diào)整為256×256×3，并利用數(shù)據(jù)增強技術(shù)對數(shù)據(jù)集中的數(shù)據(jù)進行擴充。

實驗中使用像素準(zhǔn)確率（Pixel Accuracy，PA）、平均交并比（Mean Intersection over Union，MIoU） 、F1-Score和Dice相似系數(shù)（Dice similarity coefficient，DSC）對分割細(xì)胞核的效果進行評估。PA和MIoU的計算公式分別為：

[PA=e=0vpeee=0vj=0vpej]? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

[MIoU=1v+1e=0vpeej=0vpej+j=0vpje-pee]? ? ? ? ? ? ? ? ? （2）

其中，[pee]是真實像素類別為[e]的像素被預(yù)測為類別[e]的總數(shù)量，[pej]是真實像素類別為[e]的像素被預(yù)測為類別[j]的總數(shù)量，[v]是類別總數(shù)。

F1-Score的計算公式為：

[F1=2TP2TP+FP+FN]? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中，[TP]是真陽性數(shù)量，[FP]是假陽性數(shù)量，[FN]是假陰性數(shù)量。

DSC的計算公式為：

[DSC=2A?BA+B]? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

其中，[A]是使用分割方法得到的分割結(jié)果，[B]是真實分割結(jié)果，[A?B]是兩種分割結(jié)果的交集部分。

3.2結(jié)果與分析

將IU-Net與現(xiàn)有的細(xì)胞核分割方法MU-Net[5]、U-Net++[6]和DU-Net[7]進行比較。圖4是細(xì)胞核分割結(jié)果的比較，第一列是病理圖像原圖，第二列是細(xì)胞核分割的真實標(biāo)簽，從第三列到第七列分別是細(xì)胞核分割方法MU-Net、U-Net++、DU-Net和IU-Net的細(xì)胞核分割結(jié)果。從圖4中可以看出，在細(xì)胞核較大且細(xì)胞核不重疊的情況下，MU-Net具有較好的分割效果，但是當(dāng)細(xì)胞核較小且出現(xiàn)重疊情況時，MU-Net無法進行準(zhǔn)確分割。U-Net++對細(xì)胞核邊界模糊的細(xì)胞核分割效果較好，但是無法在較小細(xì)胞核重疊時進行準(zhǔn)確分割。DU-Net對大部分重疊細(xì)胞核的分割效果較好，但是對梭形細(xì)胞核和部分較小重疊細(xì)胞核的分割效果不夠好。IU-Net能夠?qū)Ω鞣N形狀和各種情況下的細(xì)胞核進行有效分割，其對細(xì)胞核分割的效果優(yōu)于現(xiàn)有的細(xì)胞核分割方法。

為客觀評價分割結(jié)果，各細(xì)胞核分割方法分別獨立執(zhí)行25次，在所有擴充后的數(shù)據(jù)中，每次隨機選取80%的數(shù)據(jù)作為訓(xùn)練集，剩下20%的數(shù)據(jù)作為測試集，獲得的四項評價指標(biāo)PA、MIoU、F1-Score和DCS的平均值如表1所示。

從表1的比較結(jié)果可以看出，IU-Net在四項評價指標(biāo)PA、MIoU、F1-Score和DCS中的值都高于現(xiàn)有細(xì)胞核分割方法，說明IRAU在細(xì)胞核分割的整體表現(xiàn)優(yōu)于現(xiàn)有細(xì)胞核分割方法，能夠準(zhǔn)確分割細(xì)胞核。這是因為IU-Net中的IIRN 利用空洞卷積擴大了感受野，能夠提取更多的細(xì)胞核的淺層和深層特征信息，通過RABD將淺層特征信息與深層信息有效地融合在一起，更好地描述細(xì)胞核特征。

4 結(jié)論

本文提出的細(xì)胞核分割方法IU-Net，其通過改進Inception-ResNet，擴大U-Net的卷積層感受野，在提出的RABD中，將注意力機制與殘差網(wǎng)絡(luò)相結(jié)合，并采用GMP和GAP對細(xì)胞核特征進行壓縮，從而更有效地利用細(xì)胞核的淺層特征和深層特征，使得IU-Net能夠提高分割細(xì)胞核的有效性和準(zhǔn)確性。

參考文獻：

[1] Nir G，Hor S，Karimi D，et al.Automatic grading of prostate cancer in digitized histopathology images：learning from multiple experts[J].Medical Image Analysis，2018，50：167-180.

[2] Veta M，Pluim J P W，van Diest P J，et al.Breast cancer histopathology image analysis：a review[J].IEEE Transactions on Biomedical Engineering，2014，61（5）：1400-1411.

[3] Liu L L，Cheng J H，Quan Q，et al.A survey on U-shaped networks in medical image segmentations[J].Neurocomputing，2020，409：244-258.

[4] Ronneberger O，F(xiàn)ischer P，Brox T.U-net：convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science.Cham：Springer International Publishing，2015：234-241.

[5] Ibtehaz N，Rahman M S.MultiResUNet：Rethinking the U-Net architecture for multimodal biomedical image segmentation[J].Neural Networks，2020，121：74-87.

[6] Zhou Z，Siddiquee M M R，Tajbakhsh N，et al.UNet++：redesigning skip connections to exploit multiscale features in image segmentation[J].IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.

[7] Li X L，Wang Y Y，Tang Q S，et al.Dual U-net for the segmentation of overlapping glioma nuclei[J].IEEE Access，2019（7）：84040-84052.

[8] Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，inception-ResNet and the impact of residual connections on learning[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence.New York：ACM，2017：4278-4284.

[9] Chen L C，Yang Y，Wang J，et al.Attention to scale：scale-aware semantic image segmentation[C]∥Proceedings of the IEEE conference on computer vision and pattern recognition， Las Vegas， USA， 2016：3640-3649.

[10] Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

【通聯(lián)編輯：唐一東】