許 廣，管軍霖，甘才軍,2，汪華登,2**

(1.桂林電子科技大學(xué)計(jì)算機(jī)與信息安全學(xué)院，廣西桂林 541004；2.廣西圖像圖形與智能處理重點(diǎn)實(shí)驗(yàn)室，廣西桂林 541004)

0 引言

隨著醫(yī)學(xué)影像技術(shù)的快速發(fā)展，共振成像(MR)、計(jì)算機(jī)斷層掃描(CT)、超聲、正電子發(fā)射斷層掃描(PET)等成為醫(yī)療機(jī)構(gòu)開(kāi)展疾病診斷、手術(shù)計(jì)劃制定、預(yù)后評(píng)估和隨訪必不可少的設(shè)備，因而產(chǎn)生了大量的醫(yī)學(xué)影像數(shù)據(jù)。醫(yī)學(xué)圖像處理是分析醫(yī)學(xué)圖像的首要步驟，使得圖像更加直觀、清晰，提高診斷效率，因此國(guó)內(nèi)外都十分重視醫(yī)學(xué)影像處理研究[1-4]。醫(yī)學(xué)圖像分割是圖像處理的重要環(huán)節(jié)和主要難點(diǎn)，也是制約三維重建等技術(shù)應(yīng)用的瓶頸性問(wèn)題。細(xì)胞核的分割結(jié)果是病理學(xué)家進(jìn)行癌癥分類(lèi)和評(píng)級(jí)的重要依據(jù)。截至目前，病理圖像細(xì)胞核分割問(wèn)題存在的主要難點(diǎn)包括：細(xì)胞圖像復(fù)雜且細(xì)胞種類(lèi)繁多，每種細(xì)胞處于的生長(zhǎng)階段不同，其形態(tài)卻有可能相同;來(lái)自多中心的細(xì)胞病理圖像受染色不均、光照條件不一致等的影響較大，灰度值容易發(fā)生變化[5,6];細(xì)胞圖像經(jīng)常重疊，沒(méi)有明顯的邊界;細(xì)胞的大小變化很大，細(xì)胞核形態(tài)各異[7]。

為解決病理圖像細(xì)胞核分割的難題，研究人員借助計(jì)算機(jī)技術(shù)輔助實(shí)現(xiàn)細(xì)胞核的自動(dòng)分割，這具有重要的醫(yī)學(xué)價(jià)值。傳統(tǒng)的分割方法包括基于閾值的分割和分水嶺分割算法。閾值分割法[8]是一種基于區(qū)域的圖像分割技術(shù)。龍建武等[9]提出自適應(yīng)閾值分割與Canny邊緣檢測(cè)算子相結(jié)合的方法，并基于高斯徑向基函數(shù)，利用邊緣檢測(cè)算子檢測(cè)到的邊緣點(diǎn)灰度均值作為分割閾值來(lái)提取目標(biāo)，該方法能夠檢測(cè)出模糊的小目標(biāo)。分水嶺分割算法是另一種比較經(jīng)典的、基于數(shù)學(xué)形態(tài)學(xué)的分割方法[10，11]，具體分為排序和淹沒(méi)兩個(gè)過(guò)程，其主要缺點(diǎn)是圖像中的噪聲等會(huì)導(dǎo)致過(guò)度分割。

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，越來(lái)越多的細(xì)胞分割采用深度學(xué)習(xí)方法，其性能往往優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法，是當(dāng)前主流的細(xì)胞核分割算法[12-15]。例如，圖1所示為基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的細(xì)胞分割網(wǎng)絡(luò)結(jié)構(gòu)圖[16-18]，該網(wǎng)絡(luò)包含3個(gè)卷積層。首先將預(yù)處理后的原始圖像輸入到卷積網(wǎng)絡(luò)的第一層，使用3×3的卷積核進(jìn)行特征提取；然后將結(jié)果輸入到第二層網(wǎng)絡(luò)，進(jìn)行2×2的卷積操作后激活并進(jìn)行最大池化，接著進(jìn)入第三、第四層網(wǎng)絡(luò)；最后使用全連接層和Softmax函數(shù)作為分類(lèi)器，輸出各個(gè)像素的分類(lèi)結(jié)果。李宗民等[19]采用一種基于生成對(duì)抗網(wǎng)絡(luò)的分割模型(該網(wǎng)絡(luò)結(jié)合對(duì)抗網(wǎng)絡(luò)GAN和自編碼器[20])，設(shè)計(jì)一種針對(duì)細(xì)胞分割的Cell-GAN,然后基于訓(xùn)練學(xué)習(xí)到的細(xì)胞形態(tài)學(xué)知識(shí)來(lái)對(duì)細(xì)胞圖像的信息進(jìn)行判斷，并引入單個(gè)細(xì)胞核指導(dǎo)因子，用于分割細(xì)胞的精確定位。韓文忠等[21]使用全卷積網(wǎng)絡(luò)(FCN)進(jìn)行磁共振成像(MRI)膀胱圖像的分割，相比于CNN，該網(wǎng)絡(luò)完全舍棄了全連接層，且能夠接收任意尺寸的輸入，實(shí)現(xiàn)了端到端的訓(xùn)練。

圖1 基于CNN的細(xì)胞分割流程圖Fig.1 Flowchart of CNN-based cell segmentation

重疊、圖像對(duì)比度低以及雜質(zhì)干擾是制約細(xì)胞圖像分割的主要問(wèn)題。傳統(tǒng)方法比較依賴于參數(shù)的調(diào)節(jié)，往往只能針對(duì)特定的細(xì)胞環(huán)境，在復(fù)雜環(huán)境中的分割效果不好。盡管深度學(xué)習(xí)實(shí)現(xiàn)了在復(fù)雜環(huán)境下的較好分割，但是這種優(yōu)勢(shì)僅局限于單細(xì)胞分割，無(wú)法有效地分割重疊細(xì)胞圖像。為此，本研究采用深度學(xué)習(xí)的思想，提出一種基于U-Net[22]網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)(ResNet)[23]的新型語(yǔ)義分割模型，擬在保證細(xì)胞核分割準(zhǔn)確率較高的前提下，實(shí)現(xiàn)相互接觸和重疊細(xì)胞核圖像的精確分割。

1 模型與方法

基于U-Net[22]網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)(ResNet)[23]，本研究提出一種新型語(yǔ)義分割模型。該模型利用不同的殘差模塊提取多尺度的信息。該模型的數(shù)據(jù)處理流程如下：首先對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)預(yù)處理，得到灰度圖；然后采用隨機(jī)劃分圖像塊(Image patch)的方式，將劃分的圖片連同其標(biāo)簽，送入ResNet+U-Net模型進(jìn)行若干輪次的訓(xùn)練，保存最佳的模型權(quán)重；最后，在測(cè)試集上對(duì)模型進(jìn)行測(cè)試，將測(cè)試集圖片送入網(wǎng)絡(luò)，得到最終的細(xì)胞核分割結(jié)果(圖2)。

圖2 數(shù)據(jù)處理流程Fig.2 Flowchart of data processing

1.1 數(shù)據(jù)預(yù)處理

圖像預(yù)處理可以實(shí)現(xiàn)圖像的簡(jiǎn)化、增強(qiáng)和消除無(wú)關(guān)信息等效果，從而提升特征抽取和圖像分割的準(zhǔn)確度和精確度。零相位分量分析白化(Zero-phase Component Analysis Whitening，ZCA白化)是一種圖像預(yù)處理方法，其主要目的是防止數(shù)據(jù)冗余和維數(shù)爆炸。經(jīng)ZCA白化處理后，不同維度的數(shù)據(jù)之間具有相關(guān)性低、方差相同的特點(diǎn)，從而使數(shù)據(jù)盡可能接近原始的輸入數(shù)據(jù)。因此，本研究采用ZCA白化進(jìn)行圖像數(shù)據(jù)的預(yù)處理，具體過(guò)程如下。

對(duì)于含有m個(gè)樣本的數(shù)據(jù)集{x(1),x(2),…,x(m)}，假設(shè)每個(gè)樣本的維度是n,即x(i)∈Rn,i=1,…,m。在處理過(guò)程中，首先對(duì)數(shù)據(jù)進(jìn)行亮度和對(duì)比度的歸一化，對(duì)每個(gè)像素點(diǎn)x(i)減去圖像的灰度均值，再除以標(biāo)準(zhǔn)差(為避免分母為0，標(biāo)準(zhǔn)差加上很小的常數(shù)e=0.001)。然后使用公式(1)計(jì)算訓(xùn)練樣本的協(xié)方差矩陣：

(1)

xZCAwhite=UxPCAwhite。

(2)

通過(guò)ZCA白化使得數(shù)據(jù)x映射到xZCAwhite空間，特征向量各維度方差相等，數(shù)據(jù)的重要程度得到統(tǒng)一。從圖3可以看出，ZCA白化之后細(xì)胞核和背景的對(duì)比度提升最大，這有利于后續(xù)網(wǎng)絡(luò)的特征提取。

(a)原始細(xì)胞核切片，(b)PCA方法預(yù)處理結(jié)果，(c)對(duì)比度受限均衡化方法預(yù)處理結(jié)果，(d)本文ZCA白化的預(yù)處理結(jié)果(a) Original nuclei slice,(b) Result of PCA preprocessing,(c) Result of contrast constrained equalization preprocessing,(d) ZCA preprocessing result圖3 預(yù)處理前后圖像對(duì)比Fig.3 Image comparison before and after preprocessing

1.2 基于U-Net和ResNet的網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)的Res-block通常采用兩個(gè)3×3 Conv對(duì)特征圖進(jìn)行卷積，然后和原始輸入特征進(jìn)行短路連接(Short cut connection)。本研究新型細(xì)胞核分割網(wǎng)絡(luò)模型是在U-Net和ResNet網(wǎng)絡(luò)及兩種不同的殘差模塊結(jié)構(gòu)Res-block 1和Res-block 2的基礎(chǔ)上提出的。圖4是Res-block 1和Res-block 2的具體結(jié)構(gòu)，藍(lán)色表示特征編碼部分的卷積單元，黃色表示特征解碼過(guò)程的上采樣單元。Res-block 1包括3個(gè)卷積模塊，依次是1×1 Conv、3×3 Conv和1×1 Conv。使用兩層1×1 Conv的目的主要是為了減少計(jì)算參數(shù)數(shù)量:先用一個(gè)1×1 Conv進(jìn)行降維，使得第二層較大的卷積核個(gè)數(shù)相對(duì)較少，從而減少卷積操作參數(shù)的計(jì)算量，然后再用一個(gè)1×1 Conv進(jìn)行升維。Res-block 1殘差模塊采用基于瓶頸(Bottle neck)的結(jié)構(gòu)進(jìn)行特征編碼，同時(shí)集合數(shù)據(jù)正則化處理(BN層)緩解梯度消失。相比于傳統(tǒng)的殘差模塊，Res-block 1具有較強(qiáng)的特征聚合能力，同時(shí)參數(shù)的計(jì)算量顯著減少，能夠促進(jìn)模型進(jìn)行更深層次的特征提取。而Res-block 2的結(jié)構(gòu)相對(duì)簡(jiǎn)單，包括兩個(gè)1×1 Conv的卷積模塊和相應(yīng)的BN、ReLu模塊。Res-block 2在特征解碼階段的上樣操作中，采用dropout函數(shù)防止模型的過(guò)擬合，同時(shí)借助跳躍連接(Skip connection)實(shí)現(xiàn)特征的融合，有利于分割邊緣細(xì)節(jié)精度的提升。

圖4 Res-block 1(左)和Res-block 2(右)殘差模塊結(jié)構(gòu)Fig.4 Residual modules diagrams of Res-block 1 (left)and Res-block 2 (right)

圖5展示了本研究基于ResNet和U-Net進(jìn)行細(xì)胞核分割的網(wǎng)絡(luò)模型，該模型保留了U-Net的基本結(jié)構(gòu)，包括收縮路徑和擴(kuò)張路徑兩部分。相比于傳統(tǒng)U-Net大小單一的卷積核，新模型通過(guò)堆疊多個(gè)殘差模塊，利用步長(zhǎng)卷積替換傳統(tǒng)的池化層(Pooling layer)，使不同大小的卷積核實(shí)現(xiàn)了多尺度和深層次的特征提取，同時(shí)減少了采樣過(guò)程空間細(xì)節(jié)信息的丟失。另外，在上采樣階段，新模型通過(guò)跳躍連接多尺度的特征融合，將對(duì)應(yīng)收縮路徑的高分辨率信息疊加到上采樣層，進(jìn)一步提高醫(yī)學(xué)圖像復(fù)雜邊緣的分割精度。

圖5 網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 Structure of network model

在每個(gè)殘差模塊中，新模型都用BN對(duì)數(shù)據(jù)進(jìn)行歸一化處理。BN的基本原理是使用一定規(guī)范化方法[24]，將網(wǎng)絡(luò)每一維的輸入處理成均值為0、方差為1的標(biāo)準(zhǔn)正態(tài)分布，從而加快神經(jīng)網(wǎng)絡(luò)的收斂速度，縮短訓(xùn)練時(shí)間。具體的算法步驟如下：

Step 1.fork=1，…，Kdo

Step 1.2.對(duì)于訓(xùn)練網(wǎng)絡(luò)的每一維特征，根據(jù)步驟step 1.1，將每一維的x(k)都轉(zhuǎn)化為y(k)。

Step 3.fork=1,…,Kdo

Step 3.1.對(duì)于包含多個(gè)樣本的batch B,用樣本的均值和方差代替總體的均值和方差。具體計(jì)算方法為

E[x]=EB[μB]，

Step 3.2.運(yùn)用計(jì)算得到的期望和方差，計(jì)算出預(yù)測(cè)值

其中：E[x]和var[x]分別表示總體數(shù)據(jù)的均值和方差；α為縮放因子，取值為1.01；β為平移因子，取值為0.99；ε為調(diào)節(jié)因子，取值為0.001。

訓(xùn)練階段參數(shù)的學(xué)習(xí)過(guò)程如公式(3)所示。表1為本研究網(wǎng)絡(luò)模型的參數(shù)情況，包含各個(gè)模塊處理數(shù)據(jù)的輸入和輸出大小，以及各模塊的使用次數(shù)。

表1 網(wǎng)絡(luò)模型參數(shù)Table 1 Parameters of network model

(3)

本研究使用交叉熵(Cross entropy)來(lái)衡量模型語(yǔ)義分割的精度，使用Dice loss來(lái)度量分割細(xì)胞核和ground-truth在大小、形態(tài)等方面的近似性。Cross entropy和Dice loss分別按公式(4)和公式(5)[25]計(jì)算，通過(guò)這兩種損失函數(shù)的評(píng)價(jià)，可以直觀地反映出本研究所提出模型的分割質(zhì)量。

(4)

(5)

1.3 新模型的訓(xùn)練與測(cè)試

學(xué)習(xí)率對(duì)于模型訓(xùn)練是非常重要的，實(shí)驗(yàn)設(shè)定初始學(xué)習(xí)率為0.001，每30個(gè)epoch衰減率為0.7。Batch size也是非常重要的量，而較小的Batch size會(huì)使得網(wǎng)絡(luò)訓(xùn)練得更快，因此本實(shí)驗(yàn)中設(shè)定Batch size為16。

實(shí)驗(yàn)所用的兩個(gè)細(xì)胞核數(shù)據(jù)集為ISBI2018 Cell和MoNuSeg。其中，MoNuSeg包含30個(gè)病人的病理切片，每張切片大小是1 000×1 000 dpi，包含乳腺、肝臟、腎臟、前列腺、胸腺、直腸、胃等7種不同器官的細(xì)胞核，分為14張訓(xùn)練集和16張測(cè)試集。其中,訓(xùn)練集包含7種器官，每個(gè)器官隨機(jī)選取兩張切片。ISBI2018 Cell是包含30個(gè)病人的120張切片的多器官細(xì)胞核數(shù)據(jù)集，由國(guó)際醫(yī)學(xué)影像頂級(jí)會(huì)議ISBI收集。該數(shù)據(jù)集中的每張切片大小為565×448 dpi，都進(jìn)行了標(biāo)準(zhǔn)染色(蘇木精-伊紅染色)，且其細(xì)胞種類(lèi)比MoNuSeg更豐富。

為驗(yàn)證Res-block 1和Res-block 2在減少訓(xùn)練時(shí)間、提高細(xì)胞核分割準(zhǔn)確率方面的有效性，本實(shí)驗(yàn)基于MoNuSeg數(shù)據(jù)集，分別從訓(xùn)練時(shí)間和分割質(zhì)量?jī)蓚€(gè)角度對(duì)新模型進(jìn)行消融實(shí)驗(yàn)。同時(shí)，使用MoNuSeg數(shù)據(jù)集驗(yàn)證所提模型在其他數(shù)據(jù)集上的泛化能力。

2 結(jié)果與分析

相比于傳統(tǒng)的Res-block，Res-block 1 + Res-block 2可以顯著減少U-Net的參數(shù)量，在數(shù)據(jù)集相同、訓(xùn)練輪數(shù)相同的前提下，訓(xùn)練和測(cè)試的時(shí)間是最少的，Dice loss和Cross-entropy也是最小的，在Precision、Recall ratio、F1-score等方面是最高的(表2，3)。

表2 Res-block 1+Res-block 2對(duì)訓(xùn)練和測(cè)試時(shí)間的影響Table 2 Influence of Res-block 1+Res-block 2 on the training and test time

表3 Res-block 1+Res-block 2對(duì)模型性能的影響Table 3 Influence of Res-block 1+Res-block 2 on the model performance

根據(jù)圖6的實(shí)驗(yàn)結(jié)果來(lái)看，新模型算法在分割質(zhì)量上要優(yōu)于其他深度學(xué)習(xí)方法和傳統(tǒng)的分水嶺算法，相比于U-Net+Attention也有一定提高。如圖7所示，對(duì)于目標(biāo)細(xì)胞核和背景對(duì)比度差異較大的細(xì)胞分割問(wèn)題，新模型能使目標(biāo)細(xì)胞核之間極少發(fā)生直接接觸，也沒(méi)有大面積的粘連現(xiàn)象，這與U-Net+Attention分割結(jié)果沒(méi)有明顯的差異。但是，在處理一些存在細(xì)胞核間相互粘連的分割問(wèn)題時(shí)，新模型仍然能較好地實(shí)現(xiàn)細(xì)胞的獨(dú)立分割，并將不同的細(xì)胞核很好地區(qū)分開(kāi)來(lái)，展現(xiàn)出比U-Net+Attention更好的性能。這是因?yàn)楸狙芯康腞es-block 1和Res-block 2實(shí)現(xiàn)了更加豐富的特征提取和融合，同時(shí)多層次的卷積結(jié)構(gòu)以及BN操作又增加了模型對(duì)不同形態(tài)細(xì)胞核的適應(yīng)能力，所以分類(lèi)器能充分利用上下文信息，對(duì)前景和背景像素做出更加準(zhǔn)確的預(yù)測(cè)。

圖6 不同算法在ISBI2018 Cell數(shù)據(jù)集上的分割質(zhì)量比較Fig.6 Comparison of segmentation quality of different algorithms towards ISBI2018 Cell dataset

圖7 本文算法和U-Net+Attention比較Fig.7 Comparison of our algorithm with U-Net+Attention

本文模型的算法采用Res-block 1和Res-block 2的改進(jìn)殘差結(jié)構(gòu)，提升了分類(lèi)器分類(lèi)的準(zhǔn)確率和置信度，是一種高效的分割模型。如表4所示，相比于其他深度學(xué)習(xí)的細(xì)胞核分割算法，本研究算法在準(zhǔn)確率方面有所提升，在precision和F1-score上均是最高的。此外，基于Res-block 1和Res-block 2的改進(jìn)U-Net模型，本研究算法的交叉熵(Cross-entropy)和Dice loss數(shù)都較小，實(shí)現(xiàn)了更加豐富的多尺度特征提取和融合，分割結(jié)果的假陽(yáng)性和假陰性更低，更接近真實(shí)的細(xì)胞核形態(tài)。

表4 本文算法和其他算法性能對(duì)比Table 4 Performance comparison between our algorithm and other algorithms

本研究使用MoNuSeg數(shù)據(jù)集驗(yàn)證所提模型在其他數(shù)據(jù)集上的泛化能力。實(shí)驗(yàn)結(jié)果的可視化效果如圖8所示,其中第一列為原始病理圖像切片，第二列為對(duì)應(yīng)的細(xì)胞核分割的label，第三列為本研究算法的分割結(jié)果。從圖8可以看出，本研究模型在其他細(xì)胞核數(shù)據(jù)集也取得較好的分割結(jié)果。

圖8 本文算法在MoNuSeg數(shù)據(jù)集的測(cè)試結(jié)果Fig.8 Test results of our algorithm on the MoNuSeg dataset

3 結(jié)論

本研究基于深度學(xué)習(xí)的方法，結(jié)合廣泛用于醫(yī)學(xué)圖像分割的U-Net網(wǎng)絡(luò)以及ResNet網(wǎng)絡(luò)中的殘差模塊，提出一種新型的細(xì)胞核分割模型，實(shí)現(xiàn)了細(xì)胞的精確分割。與其他的深度學(xué)習(xí)方法相比，新模型在面對(duì)細(xì)胞間存在大量接觸、細(xì)胞和背景對(duì)比度較小的分割實(shí)例時(shí)，分割的可視化效果更好，準(zhǔn)確率更高。但是，由于來(lái)自不同醫(yī)學(xué)中心的細(xì)胞核數(shù)據(jù)集中的細(xì)胞核形態(tài)和大小等差異很大，因此如何設(shè)計(jì)出更加具有魯棒性的細(xì)胞核分割算法，并提高模型的泛化能力，是未來(lái)需要深入研究的問(wèn)題。