蔡健，孔祥勇，吳瀅，尹梓名，王平，盧嚴(yán)磚，彭瑞陽，孫曉晗，王鈺澤

（1.上海理工大學(xué)健康科學(xué)與工程學(xué)院，上海 200093；2.上海交通大學(xué)附屬兒童醫(yī)院，上海 200040；3.石河子大學(xué)食品學(xué)院，新疆石河子 832099）

0 引言

腎病是人類常見疾病，多表現(xiàn)為腎小球病變。腎小球內(nèi)的形態(tài)及結(jié)構(gòu)改變能夠提供腎臟損害的關(guān)鍵信息，因此，通過腎活檢組織病理學(xué)對腎小球形態(tài)結(jié)構(gòu)進(jìn)行分析至關(guān)重要。

隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域中的應(yīng)用越來越廣泛，其中卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展尤為迅速，常用于癌癥檢測與分類，亦可用于腎小球疾病檢測與病變分類。然而，由于缺乏高質(zhì)量訓(xùn)練數(shù)據(jù)，腎小球疾病輔助診斷技術(shù)發(fā)展較為緩慢。

數(shù)據(jù)增強技術(shù)可用于擴充數(shù)據(jù)量不足的數(shù)據(jù)集，成為解決數(shù)據(jù)量不足問題的首要方法。傳統(tǒng)數(shù)據(jù)增強技術(shù)可通過提高圖像亮度與對比度，也可以對數(shù)據(jù)集圖像進(jìn)行平移、翻轉(zhuǎn)、裁剪和變形等幾何變換方式擴充數(shù)據(jù)量。該種方法與原始數(shù)據(jù)息息相關(guān)，對于提高算法性能產(chǎn)生的作用十分有限，不能明顯改善模型訓(xùn)練效果。生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）具有很強的數(shù)據(jù)合成能力，能夠產(chǎn)生高質(zhì)量的合成數(shù)據(jù)，從而提升算法性能，因此受到研究人員的廣泛關(guān)注。

1 相關(guān)研究

GANs在圖像生成、模式轉(zhuǎn)換等計算機視覺領(lǐng)域應(yīng)用廣泛，例如人臉合成、風(fēng)格轉(zhuǎn)換等，其還能合成出難以獲取的醫(yī)學(xué)圖像數(shù)據(jù)。例如，Diaz等利用深度卷積生成對抗網(wǎng)絡(luò)（Deep Convolutional Generative Adversarial Networks,DCGANs）合成高質(zhì)量的視網(wǎng)膜圖像，并對青光眼視網(wǎng)膜圖像進(jìn)行了準(zhǔn)確分類；Sun等利用GANs根據(jù)異常圖像生成正常外觀的醫(yī)學(xué)圖像，不需要訓(xùn)練數(shù)據(jù)成對出現(xiàn)便可獲得質(zhì)量較好的正常及病變腦部MRI圖像。

由于醫(yī)學(xué)圖像尺寸較大、顏色信息復(fù)雜以及組織形態(tài)多樣，病理圖像合成具有較大挑戰(zhàn)性。為此，李晨等利用GANs對宮頸癌病理圖像相關(guān)數(shù)據(jù)集進(jìn)行擴充，生成宮頸癌細(xì)胞質(zhì)部分圖像，然后利用分類模型對相關(guān)數(shù)據(jù)集進(jìn)行分類，顯著提升了低分化宮頸癌病理圖像的分類效果；楊俊豪等針對數(shù)據(jù)集中乳腺癌病理圖像各類樣本數(shù)量不均衡的問題，提出使用GANs生成不均衡樣本，將生成數(shù)據(jù)并入訓(xùn)練集進(jìn)行訓(xùn)練，分類準(zhǔn)確率提升5%。此外，在多種常見癌癥病理圖像分類任務(wù)中，GANs表現(xiàn)均良好。然而，上述合成方法獲得的圖像分辨率較低，且針對腎小球病理圖像的合成研究較為缺乏。清晰的腎小球病理圖像包含很多特征細(xì)節(jié)，獲得分辨率較高的腎小球圖像對于腎病的診斷至關(guān)重要。

針對以上問題，本文提出一種基于pix2pixHD的腎小球病理圖像合成方法，用于合成高分辨率且清晰的腎小球圖像，從而對數(shù)據(jù)集進(jìn)行擴充，提高深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率，最終提升圖像分割效果。首先利用腎小球mask掩膜作為圖像合成的約束條件，利用生成器實現(xiàn)標(biāo)簽映射向腎小球病理圖像的空間映射；然后引入標(biāo)準(zhǔn)差特征匹配損失對損失函數(shù)進(jìn)行改進(jìn)。結(jié)果表明，本文方法合成的高分辨率腎小球病理圖像可以提高模型網(wǎng)絡(luò)分割性能，相較對照圖像合成算法具有更好的視覺效果和定量化指標(biāo)評價結(jié)果。

2 本文方法概述

本文方法流程如圖1所示，可以概括為初分割—生成—再分割的步驟。首先對原始病理圖像中的腎小球進(jìn)行分割，篩選出最優(yōu)分割模型；然后采用不同圖像生成算法對原始數(shù)據(jù)集生成腎小球病理圖像，選擇表現(xiàn)最優(yōu)的圖像生成算法。為驗證圖像生成算法的有效性，將生成的腎小球病理圖像與原始病理圖像合并成訓(xùn)練集，對初分割中的最優(yōu)圖像分割算法進(jìn)行訓(xùn)練完成再分割，觀察圖像分割效果。

Fig.1 Flow of the method proposed圖1 本文方法流程

3 網(wǎng)絡(luò)模型建立

pix2pixHD是一個基于條件生成對抗網(wǎng)絡(luò)（Conditional Generative Adversarial Nets，CGAN）的框架。相較于基于GAN的pix2pix，pix2pixHD具備多尺度的生成器和判別器，同時改進(jìn)了損失函數(shù)設(shè)計，能夠產(chǎn)生清晰的高分辨率圖像。pix2pixHD通過將噪聲和條件輸入到生成器G中實現(xiàn)圖像到圖像的翻譯，使用判別器D判斷生成圖像是否為真實圖像，最終目標(biāo)為尋找生成器與判別器之間的納什平衡，目標(biāo)函數(shù)表示為：

式中，

D

(

x

)表示判別器D判斷輸入數(shù)據(jù)來自真實數(shù)據(jù)的概率；

G

(

z

)表示生成器G根據(jù)數(shù)據(jù)分布生成的數(shù)據(jù)。

3.1 生成器結(jié)構(gòu)

基于pix2pixHD全局生成器構(gòu)建生成器網(wǎng)絡(luò)，該網(wǎng)絡(luò)為自編碼網(wǎng)絡(luò)的一種變體模型，通過編碼與解碼相結(jié)合的方式，根據(jù)特征圖將噪聲轉(zhuǎn)化為與真實圖像相似的圖像。生成器由下采樣、殘差塊和下采樣組成，結(jié)構(gòu)如圖2所示。

Fig.2 Generator structure圖2 生成器結(jié)構(gòu)

對pix2pixHD原有編碼器進(jìn)行改進(jìn)，將下采樣變?yōu)樽畲蟪鼗由蠚埐顗K，緩解神經(jīng)網(wǎng)絡(luò)傳播中信息丟失的問題，同時增加卷積塊數(shù)量，使得網(wǎng)絡(luò)更深，以便提取更加深層的信息。生成器由4個下采樣、4個上采樣和9個殘差塊組成。將尺寸為256×256，通道數(shù)為3的標(biāo)簽圖像輸入網(wǎng)絡(luò)中，首先經(jīng)過卷積核為7×7，步長為1的卷積層，得到尺寸為256×256，維度為64的特征圖像；然后經(jīng)過最大池化及殘差塊的4次下采樣，每經(jīng)過一次下采樣，圖像尺寸減半，維度加倍，每次卷積后都會進(jìn)行批量標(biāo)準(zhǔn)化（Batch Normalization，BN）處理，將Relu作為激活函數(shù)。將經(jīng)過下采樣的特征圖像輸入到9個殘差塊中，每個殘差塊都包含兩個卷積核為3×3，步長為1的卷積層，最后得到尺寸為16×16，維度為1 024的特征圖像。特征圖像經(jīng)過4次上采樣，每次上采樣包含一個卷積核為3×3，步長為2的反卷積層，反卷積后進(jìn)行BN處理，將Relu作為激活函數(shù)。此時，圖像尺寸加倍，維度減半，得到尺寸為256×256，維度為64的特征圖像。最后，將特征圖像經(jīng)過卷積核為7×7，步長為1的卷積層得到生成圖像。

3.2 判別器結(jié)構(gòu)

采用pix2pixHD的多尺度判別器，分別對原圖進(jìn)行2倍和4倍的下采樣，對不同尺度的圖像進(jìn)行判別并取平均值。判別器結(jié)構(gòu)如圖3所示。

3個尺寸的判別器結(jié)構(gòu)相同，均由5個卷積層組成。對于原尺寸判別器，首先輸入大小為256×256，通道數(shù)為3的圖像，經(jīng)過3次卷積核為4×4，步長為2的卷積層，圖片尺寸會相應(yīng)縮小，維度會相應(yīng)增大；然后經(jīng)過2次卷積核為4×4，步長為1的卷積層。以上卷積后都會進(jìn)行BN處理，以Leaky ReLU作為激活函數(shù)。

Fig.3 Discriminator structure圖3 判別器結(jié)構(gòu)

3.3 損失函數(shù)

對原有pix2pixHD損失函數(shù)進(jìn)行改進(jìn)，為了穩(wěn)定訓(xùn)練，在原有損失函數(shù)中加入判別器的特征匹配損失。pix2pix的損失函數(shù)表示為：

判別器的特征匹配損失函數(shù)表示為：

最終損失函數(shù)為：

式中，λ表示特征匹配損失的權(quán)重。

3.4 U-Net模型構(gòu)建

采用醫(yī)學(xué)圖像分割性能良好的U-Net網(wǎng)絡(luò)作為骨干模型，使用特征提取能力強的VGG19小型網(wǎng)絡(luò)作為模型的編碼器，并加載在ImageNet數(shù)據(jù)集預(yù)訓(xùn)練完成的權(quán)重進(jìn)行訓(xùn)練。U-Net分割模型結(jié)構(gòu)如圖4所示。

Fig.4 U-Net network structure圖4 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

對VGG19網(wǎng)絡(luò)進(jìn)行改進(jìn)，保存卷積層與池化層并且去掉全連接層。其編碼器有5個下采樣編碼塊，輸入圖片尺寸為256×256，通道數(shù)為3，每個編碼塊都采用卷積核為3×3，步長為1的卷積操作，圖像尺寸不會改變。圖像到達(dá)下一個編碼塊時，會經(jīng)過卷積核為2×2，步長為2的最大池化操作，圖片尺寸變?yōu)樵瓉淼?/2，圖像維度會增加。不同的編碼塊會提取不同深度的圖像特征。最終，編碼器會得到尺寸為8×8，維度為512的特征圖像，然后通過卷積核為3×3，步長為2的反卷積以擴展特征圖像尺寸。每次經(jīng)過反卷積后都會與卷積過程中的相應(yīng)尺寸特征層進(jìn)行連接，此時特征層的維度會擴大為卷積后特征維度與反卷積后特征維度之和，然后再進(jìn)行下一次反卷積，最終獲得與原圖尺寸相同的二值分割圖像。

4 實驗方法與結(jié)果分析

4.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集包括Kaggle腎小球分割比賽數(shù)據(jù)集和上海市兒童醫(yī)院腎臟科病理圖像數(shù)據(jù)，該數(shù)據(jù)集包含30張腎臟病理圖像，其中20張圖像作為訓(xùn)練集，10張圖像作為測試集。訓(xùn)練集中包含3 000個腎小球圖像，對病理圖像中腎小球及相應(yīng)mask圖像進(jìn)行裁剪，將其縮放至256×256，以構(gòu)建腎小球數(shù)據(jù)集，用于圖像生成。部分腎小球圖像如圖5所示。

4.2 實驗參數(shù)設(shè)置

使用3種基于GAN的方法生成腎小球病理圖像，分別為cycleGAN、pix2pix和pix2pixHD，均在Pytorch框架上使用Adam優(yōu)化器進(jìn)行訓(xùn)練，epochs為2 000，batchsize為4，初始學(xué)習(xí)率為0.000 2。對于腎小球分割實驗，使用U-Net網(wǎng)絡(luò)，以VGG19作為編碼器，在Pytorch框架上使用Adam優(yōu)化器進(jìn)行訓(xùn)練，epochs為30，batchsize為16，初始學(xué)習(xí)率為0.000 1，并使用在ImageNet數(shù)據(jù)集上預(yù)先訓(xùn)練完成的模型進(jìn)行參數(shù)初始化，損失函數(shù)為Dice loss。

Fig.5 Part of the glomerulus and itslabe lmap圖5 部分腎小球及其標(biāo)簽圖

實驗平臺為搭載NVIDIA GeForce RTX 2080Ti GPU及32GB內(nèi)存的服務(wù)器，Linux系統(tǒng)，Python 3.6語言。

4.3 評價標(biāo)準(zhǔn)

采用Inception分?jǐn)?shù)（Inception Score，IS）和Fréchet Inception距離（Fréchet Inception Distance，F(xiàn)ID）評價模型性能。

IS的計算公式為：

FID的計算公式為：

式中，

X

表示實際圖像，

G

表示生成圖像，

T

表示矩陣對角線上元素的總和。FID越低說明兩個圖像分布越接近，意味著生成圖片的質(zhì)量較高、多樣性較好。

采用Dice分?jǐn)?shù)作為語義分割的評價指標(biāo)，表示為：

式中，

x

為預(yù)測像素，

y

為Ground Truth。Dice分?jǐn)?shù)越高說明分割效果越好。

4.4 實驗結(jié)果

4.4.1 腎小球分割實驗

在相同訓(xùn)練集下，選擇不同分割模型對腎小球圖像進(jìn)行分割。為減少訓(xùn)練集樣本較少的影響，分別對其進(jìn)行垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)、隨機旋轉(zhuǎn)90°、轉(zhuǎn)置、平移縮放旋轉(zhuǎn)、添加高斯噪聲等傳統(tǒng)數(shù)據(jù)增強操作，根據(jù)Dice分?jǐn)?shù)選擇最優(yōu)分割模型。

由表1可知，在相同測試集及訓(xùn)練集下，以VGG19作為編碼器的U-Net模型表現(xiàn)最佳，Dice分?jǐn)?shù)為0.882，訓(xùn)練過程也更加穩(wěn)定。VGG19作為編碼器能更好地提取病理圖像中腎小球的不同特征，因此本文選用以VGG19作為編碼器的U-Net網(wǎng)絡(luò)作為驗證腎小球圖像生成效果的分割模型。U-Net對腎小球的分割效果如圖6所示。

Fig.6 Glomerular segmentation effect by U-Net圖6 U-Net腎小球分割效果

Table 1 Comparison of segmentation effects of different models表1 不同模型分割效果比較

4.4.2 腎小球圖像生成實驗

比較本文模型與pix2pix、cycleGAN、pix2pixHD 3種經(jīng)典圖像生成模型的性能。圖7為在相同標(biāo)簽下各模型生成的腎小球圖像，其中pix2pix生成的圖像過于雜亂無法展示。通過對比發(fā)現(xiàn)，本文方法能夠生成更清晰的腎小球圖像。

Fig.7 Comparison of images generated by different models圖7 不同模型生成圖像比較

由表2定量評估結(jié)果可知，本文模型合成的腎小球圖像與原圖FID值更加接近，即與原圖更加相似；IS更高，說明合成圖像質(zhì)量較好；pix2pixHD算法生成的圖像邊界較為模糊，腎小球內(nèi)部結(jié)構(gòu)不清晰，IS值較小，說明圖像合成質(zhì)量較差；cycleGAN生成的圖像沒有清晰的輪廓，腎小球內(nèi)部雜亂無章，定量評估從側(cè)面驗證了視覺上的判斷；pix2pix生成的圖像更加混亂，且沒有完整的腎小球形狀，定量評估指標(biāo)也與原圖指標(biāo)相差較大。

Table 2 Comparison of quantitative evaluation of images generated by different models表2 不同模型生成圖像定量評估指標(biāo)比較

4.4.3 腎小球合成圖像驗證實驗

使用VGG19作為編碼器的U-Net網(wǎng)絡(luò)作為分割網(wǎng)絡(luò)，同時采用本文模型生成1 000張腎小球圖像，并將生成圖像并入原始訓(xùn)練數(shù)據(jù)集，一同輸入到分割網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，然后在相同測試集中進(jìn)行測試，結(jié)果如圖8所示。在向數(shù)據(jù)集中加入生成圖像后，本文模型能更好地識別出腎小球。圖9為未分割的腎小球圖像，圖10、圖11分別為初分割和再分割的腎小球圖像?？梢钥闯觯疚哪Ｐ湍芨泳?xì)地分割目標(biāo)腎小球。且經(jīng)過計算，本文模型再分割的Dice分?jǐn)?shù)為92.3%，相較于不加入合成圖像的數(shù)據(jù)集，有力提升了分割網(wǎng)絡(luò)的表現(xiàn)，提升分?jǐn)?shù)為4%，說明本文模型生成的圖像包含傳統(tǒng)數(shù)據(jù)增強方法所不具備的信息增益。

Fig.8 Adding synthetic glomerulus images segmentation renderings圖8 加入合成腎小球圖像的分割效果

Fig.9 Unsegmented glomerulus image圖9 腎小球未分割圖

Fig.10 Glomerular initial segmentation image圖10 腎小球初分割圖

Fig.11 Glomerularre-segmentation image圖11 腎小球再分割圖

5 結(jié)語

針對腎小球病理圖像數(shù)據(jù)不足的問題，本文提出基于pix2pixHD的腎小球病理圖像合成方法，通過對生成器結(jié)構(gòu)及損失函數(shù)進(jìn)行改進(jìn)，融合更深層次的圖像特征，相較于其他經(jīng)典圖像合成模型生成的腎小球病理圖像更加清晰且多樣，能夠提供傳統(tǒng)數(shù)據(jù)增強算法不含有的信息增益，從而提高了腎小球圖像分割效果。然而，本文模型訓(xùn)練效率較低，需要使用的計算資源很多，下一步工作是優(yōu)化模型結(jié)構(gòu)，提升模型訓(xùn)練效率。