常 曉，蔡 昕，楊 光，聶生東*

生成對(duì)抗網(wǎng)絡(luò)在醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域的應(yīng)用

常 曉1，蔡 昕1，楊 光2，聶生東1*

1. 上海理工大學(xué)醫(yī)學(xué)影像工程研究所，上海 200082；2. 華東師范大學(xué) 物理與電子科學(xué)學(xué)院，上海 200062

近年來(lái)，生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）以其獨(dú)特的對(duì)抗訓(xùn)練機(jī)制引起廣泛的關(guān)注，應(yīng)用場(chǎng)景也逐漸延伸到醫(yī)學(xué)圖像領(lǐng)域，先后出現(xiàn)了眾多優(yōu)秀的研究成果．本文首先介紹了GAN的理論背景及衍生出的典型變體，特別是多種用于醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域的基礎(chǔ)GAN模型．隨后從多種不同的目標(biāo)任務(wù)和訓(xùn)練方式出發(fā)，對(duì)前人的研究成果進(jìn)行了歸納總結(jié)，并對(duì)優(yōu)缺點(diǎn)進(jìn)行了分析．最后就目前GAN在醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域存在的不足以及未來(lái)的發(fā)展方向進(jìn)行了細(xì)致討論．

生成對(duì)抗網(wǎng)絡(luò)（GAN）；醫(yī)學(xué)影像；圖像轉(zhuǎn)換；多模態(tài)；深度學(xué)習(xí)

引 言

生成對(duì)抗網(wǎng)絡(luò)[1]（Generative Adversarial Network，GAN）自2014年被提出后就廣受關(guān)注，并因新穎的訓(xùn)練方式率先在計(jì)算機(jī)視覺(jué)領(lǐng)域大放異彩，而后被引入圖像轉(zhuǎn)換（Image Translation）領(lǐng)域[2-7].其目的是使一幅圖像在保留自身核心內(nèi)容的前提下，攜帶上另一個(gè)圖像數(shù)據(jù)集或者圖像樣本的部分屬性，并完成轉(zhuǎn)換．

GAN的這一思想恰好滿(mǎn)足了臨床醫(yī)學(xué)圖像領(lǐng)域的多種需求[8,9]．首先，臨床影像學(xué)檢查包含多種成像方法，它們各有優(yōu)缺點(diǎn)．譬如，計(jì)算機(jī)斷層掃描（Computed Tomography，CT）和正電子發(fā)射斷層掃描（Positron Emission Computed Tomography，PET）成像方式方便快捷，但有一定的輻射，且不適合孕婦和新生兒；而磁共振成像（Magnetic Resonance Imaging，MRI）掃描的優(yōu)勢(shì)之一便是無(wú)電離輻射．如果能由磁共振圖像估計(jì)出對(duì)應(yīng)的CT/PET圖像，或者由低劑量CT/PET圖像估計(jì)高劑量CT/PET圖像，那么將大大擴(kuò)展影像學(xué)的應(yīng)用范圍．其次，為實(shí)現(xiàn)精準(zhǔn)診療，醫(yī)學(xué)圖像的去噪尤為重要．GAN的出現(xiàn)為醫(yī)學(xué)圖像去噪提供了全新的思路，可通過(guò)網(wǎng)絡(luò)學(xué)習(xí)含噪圖像到去噪圖像的映射進(jìn)而實(shí)現(xiàn)圖像去噪．然后，對(duì)于目前亟待解決的圖像超分辨問(wèn)題（例如將厚層CT圖像轉(zhuǎn)換成薄層CT圖像、將低分辨率磁共振圖像轉(zhuǎn)換到高分辨率磁共振圖像），以及某些醫(yī)學(xué)領(lǐng)域中特殊的圖像轉(zhuǎn)換問(wèn)題（例如將小樣本數(shù)據(jù)轉(zhuǎn)換為大樣本數(shù)據(jù)），GAN也會(huì)發(fā)揮一定功能．

除了GAN應(yīng)用于醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域時(shí)臨床目標(biāo)的區(qū)別，由于醫(yī)用數(shù)據(jù)收集的特殊性（比如難以收集海量的醫(yī)學(xué)數(shù)據(jù)，各家醫(yī)療機(jī)構(gòu)的數(shù)據(jù)難以互通，共享困難；醫(yī)療領(lǐng)域本身具有極強(qiáng)專(zhuān)業(yè)性和敏感性，企業(yè)想要得到高質(zhì)量的醫(yī)療數(shù)據(jù)往往需要付出更高的成本；醫(yī)生勾畫(huà)的金標(biāo)準(zhǔn)數(shù)據(jù)比較難以獲得），GAN在醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域的研究中采用的網(wǎng)絡(luò)訓(xùn)練方式也有所區(qū)別，主要集中在以下三種：監(jiān)督式訓(xùn)練、半監(jiān)督式訓(xùn)練與無(wú)監(jiān)督式訓(xùn)練．其中，后兩者在實(shí)際臨床應(yīng)用中更加廣泛，而這也與GAN開(kāi)發(fā)中的無(wú)監(jiān)督或者弱監(jiān)督屬性不謀而合．為便于從事該領(lǐng)域的研究人員根據(jù)自身數(shù)據(jù)集的特點(diǎn)，尋適合適的訓(xùn)練方式，我們對(duì)于這部分的文獻(xiàn)也進(jìn)行了梳理總結(jié)，盡量涵蓋多種成像手段，這也是我們有別于其他同類(lèi)綜述的新穎之處．

本文主要針對(duì)GAN在醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域的熱門(mén)研究進(jìn)行綜述：第一部分介紹了原始GAN模型與文獻(xiàn)中多有涉及的幾種典型變體，以及常用于醫(yī)學(xué)圖像轉(zhuǎn)換的基礎(chǔ)GAN模型；第二、第三部分分別從目標(biāo)任務(wù)、訓(xùn)練方式的角度系統(tǒng)梳理了近年來(lái)GAN在醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域的應(yīng)用；第四部分在對(duì)文獻(xiàn)總結(jié)分析的基礎(chǔ)上，詳細(xì)討論了目前存在的問(wèn)題與未來(lái)的發(fā)展方向．

1 GAN及其改進(jìn)模型

1.1 原始GAN模型及典型變體

2014年，Goodfellow等[1]提出了最初的GAN模型，它是一種無(wú)監(jiān)督機(jī)器學(xué)習(xí)框架．完整的GAN模型由生成器G和鑒別器D組成：G負(fù)責(zé)捕捉數(shù)據(jù)的分布，并學(xué)習(xí)如何生成相同分布的數(shù)據(jù)；D是一個(gè)二元分類(lèi)器，負(fù)責(zé)評(píng)估該分布來(lái)自真實(shí)分布的概率，整個(gè)訓(xùn)練就是一個(gè)對(duì)抗模式，如圖1所示．

但隨著研究的深入，原始GAN存在的問(wèn)題逐漸暴露，具體表現(xiàn)為：（1）訓(xùn)練結(jié)果不穩(wěn)定；（2）生成目標(biāo)不明確，可控性不強(qiáng)；（3）生成器和鑒別器之間的訓(xùn)練難以平衡；（4）生成圖像效果不理想且收斂速度慢；（5）出現(xiàn)模式坍塌現(xiàn)象，生成的樣本嚴(yán)重缺乏多樣性．針對(duì)這些問(wèn)題，眾多優(yōu)秀的改進(jìn)GAN模型相繼出現(xiàn)（圖2），改進(jìn)策略主要集中在兩個(gè)方面：損失函數(shù)層面、網(wǎng)絡(luò)結(jié)構(gòu)層面. 對(duì)損失函數(shù)進(jìn)行改進(jìn)的模型包括：對(duì)抗損失依據(jù)條件概率優(yōu)化的條件生成對(duì)抗網(wǎng)絡(luò)（Conditional Generative Adversarial Networks，CGAN）模型[10]、用最小二乘對(duì)抗損失替換交叉熵對(duì)抗損失的最小二乘生成對(duì)抗網(wǎng)絡(luò)（Least Squares Generative Adversarial Networks，LSGAN）模型[11]、用Wasserstein 距離替代JS距離（Jensen-Shannon distance）來(lái)定義目標(biāo)函數(shù)的Wasserstein GAN（WGAN）模型[12]，以及含梯度懲罰項(xiàng)的Wasserstein GAN with Gradient Penalty（WGAN-GP）模型[13]等．典型的對(duì)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的模型包括融入卷積神經(jīng)網(wǎng)絡(luò)的深度卷積生成對(duì)抗網(wǎng)絡(luò)（Deep Convolution Generative Adversarial Networks，DCGAN）模型、將CGAN網(wǎng)絡(luò)和拉普拉斯金字塔網(wǎng)絡(luò)（Laplacian Pyramid Network）相結(jié)合的拉普拉斯生成對(duì)抗網(wǎng)絡(luò)（Laplacian Generative Adversarial Network，LAPGAN）模型[14]、對(duì)生成圖像進(jìn)行精細(xì)化鑒別的PatchGAN模型[15]、生成高分辨率圖像的漸進(jìn)生長(zhǎng)式生成對(duì)抗網(wǎng)絡(luò)（Progressive Growing of GANs，PGGAN）模型[16]等．

圖1 生成對(duì)抗網(wǎng)絡(luò)中生成器G與鑒別器D之間的對(duì)抗模式[1]

圖2 醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域的常用GAN模型. (a)按改進(jìn)策略分類(lèi)；(b)按訓(xùn)練方式分類(lèi)

1.2 半監(jiān)督式與無(wú)監(jiān)督式GAN模型

本文將結(jié)合目前的文獻(xiàn)信息，介紹幾種常用于醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域中的半監(jiān)督式訓(xùn)練與無(wú)監(jiān)督式訓(xùn)練的GAN模型：Pix2Pix[15]、Pix2PixHD[2]、CycleGAN[3]．前兩者適用于配對(duì)數(shù)據(jù)集的圖像轉(zhuǎn)換，而后者則可以用在非配對(duì)數(shù)據(jù)集上．Pix2Pix是基于CGAN進(jìn)行圖像轉(zhuǎn)換的條件GAN模型，選用U-Net[17]作為生成器架構(gòu)以共享底層圖像信息，選用PatchGAN作為鑒別器架構(gòu)以恢復(fù)圖像的高頻部分，目標(biāo)函數(shù)包含對(duì)抗損失與L1損失以完整恢復(fù)出圖像的高低頻信息．Pix2PixHD是Pix2Pix的重要升級(jí)，生成器和鑒別器的設(shè)計(jì)都采用類(lèi)似LAPGAN的思路，以支持高分辨率圖像的生成．但它們都在非配對(duì)數(shù)據(jù)集上表現(xiàn)不佳．CycleGAN的出現(xiàn)為非配對(duì)數(shù)據(jù)集的圖像轉(zhuǎn)換提供了思路．它通過(guò)訓(xùn)練兩對(duì)生成器-鑒別器，實(shí)現(xiàn)圖像在兩個(gè)域之間的無(wú)監(jiān)督轉(zhuǎn)換. 它的特別之處在于引入了循環(huán)一致性約束，使得風(fēng)格轉(zhuǎn)換后的圖像在反向轉(zhuǎn)換后可以回到轉(zhuǎn)換前的狀態(tài). 類(lèi)似的還有DualGAN[18]和DiscoGAN[19]．

2 GAN在不同目標(biāo)任務(wù)下的應(yīng)用

2.1 含噪圖像轉(zhuǎn)化為去噪圖像

一直以來(lái)，醫(yī)學(xué)圖像的去噪都是一個(gè)重要的研究課題. GAN的出現(xiàn)為由含噪圖像生成去噪圖像提供了一個(gè)新思路．在CT領(lǐng)域，GAN主要應(yīng)用于如何去除低劑量CT（Low-Dose CT，LDCT）圖像所含噪聲．2018年，Yang等[20]提出了一種融入感知相似度的WGAN模型，引入了人類(lèi)的視覺(jué)感知概念．它能更好地保留去噪后圖像的細(xì)節(jié)特征，但拋棄了3D空間信息．隨后，Shan等[21]在Yang等[20]的基礎(chǔ)上，搭建了2D和3D相結(jié)合的基于輸送路徑的卷積編碼器（Conveying Path-based Convolutional Encoder-decoder，CPCE）．它彌補(bǔ)了前者浪費(fèi)空間信息的不足，實(shí)現(xiàn)了更加快速的3D圖像去噪．Liao等[22]同樣受到Y(jié)ang等[20]工作的啟發(fā)，通過(guò)感知損失[20]來(lái)減少稀疏重建的錐束CT（Cone-Beam CT，CBCT）圖像的偽影．生成器選用LSGAN模型，鑒別器結(jié)合了PatchGAN模型和LAPGAN模型，很好地解決了跨尺度出現(xiàn)的條紋偽影. 該方法可以極大地校正使用1/3投影重建的臨床CBCT圖像中出現(xiàn)的錐束偽影．但它的不足之處在于對(duì)訓(xùn)練數(shù)據(jù)要求較高，文中采用的是用67張投影圖重建的稀疏（sparse-view）圖像和200張投影圖重建的稠密（dense-view）圖像組成的配對(duì)數(shù)據(jù). 但上述GAN模型的損失函數(shù)容易引發(fā)梯度消失現(xiàn)象．為此，WGAN模型及其變體的應(yīng)用研究開(kāi)始受到了研究者們的關(guān)注[23,24]．針對(duì)人體不同部位解剖結(jié)構(gòu)的差異性與共通性，Huang等[25]借鑒條件GAN的思想，將解剖部位標(biāo)簽融入WGAN網(wǎng)絡(luò)，充分利用解剖先驗(yàn)信息，自適應(yīng)地生成高分辨率的CT圖像．在磁共振領(lǐng)域，Ran等[26]提出一種端到端的基于WGAN的3D去噪模型，如圖3所示．不僅在生成器中加入了殘差塊來(lái)實(shí)現(xiàn)深層的圖像特征學(xué)習(xí)，更通過(guò)修改對(duì)抗損失提升噪聲抑制和結(jié)構(gòu)保持能力．

圖3 (a)加入殘差塊的生成器G的網(wǎng)絡(luò)框架[26]；(b)所用鑒別器D的網(wǎng)絡(luò)框架[26]

2.2 低分辨率圖像轉(zhuǎn)換為高分辨率圖像

高分辨率的影像數(shù)據(jù)可以為醫(yī)生提供更加準(zhǔn)確、豐富的診斷信息．在將GAN與多種影像數(shù)據(jù)結(jié)合的研究中，大多要求低分辨率影像數(shù)據(jù)和對(duì)應(yīng)的高分辨率影像數(shù)據(jù)配對(duì)出現(xiàn)．2018年，Chen等[27]在GAN的基礎(chǔ)上構(gòu)建了多層密集連接超分辨率網(wǎng)絡(luò)（multi-level Densely ConnectedSuper-Resolution Network，mDCSRN），用以實(shí)現(xiàn)從低分辨率3D磁共振圖像中恢復(fù)高分辨率細(xì)節(jié)．該研究的難點(diǎn)在于血管的生成，而該文章所生成圖像中的血管不僅維持了與金標(biāo)準(zhǔn)相同的形狀和大小，并且與灰質(zhì)之間的間隙也更加清晰．2020年，Sun等[28]通過(guò)結(jié)合GAN與單圖像超分辨率（Single Image Super-Resolution，SISR）技術(shù)，高質(zhì)量完成了動(dòng)態(tài)對(duì)比度增強(qiáng)的乳腺磁共振圖像的超分辨任務(wù)[圖4(a)]．這項(xiàng)研究表明基于SISR，磁共振檢查的時(shí)間可以大大縮短，但該研究的不足之處在于數(shù)據(jù)量較小、缺乏多中心的數(shù)據(jù)和對(duì)局部特征的關(guān)注，并且沒(méi)有與其他自動(dòng)化方法進(jìn)行對(duì)比．不同于大多數(shù)超分辨研究需建立在配對(duì)數(shù)據(jù)集上的要求，2021年，Xie等[29]提出可以利用CycleGAN從不配對(duì)的磁共振圖像中，沿不同成像方位生成高分辨率的磁共振圖像，最后通過(guò)圖像融合達(dá)到超分辨目的．因?yàn)檩椛鋭┝康年P(guān)系，低劑量CT/PET圖像的超分辨率研究也相當(dāng)重要．2018年，Wang等[30]基于3D CGAN從低劑量PET圖像中估計(jì)全劑量PET圖像[圖4(b)]．但該工作的完成極大依賴(lài)于配對(duì)數(shù)據(jù)的參與，且目前還只局限在腦部PET圖像．2019年，Kudo等[31]結(jié)合CGAN從厚層CT圖像中重建出薄層CT圖像[圖4(c)]．生成的CT圖像可以高分辨率準(zhǔn)確再現(xiàn)主要解剖結(jié)構(gòu)，獲得了最佳的峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structure Similarity Index Measure/Mean Structure Similarity Index Measure，SSIM/MSSIM）和視覺(jué)圖靈測(cè)試結(jié)果，但目前只局限于正常組織圖像，未對(duì)病灶圖像進(jìn)行深入研究．上述兩項(xiàng)工作的不足之處都是沒(méi)有結(jié)合多模態(tài)影像信息．2021年，De Farias等[32]利用帶有金字塔結(jié)構(gòu)的GAN模型生成超分辨率的CT圖像，大幅度增加了組學(xué)特征的數(shù)量，從而提升了基于特征建模的組學(xué)模型的診斷準(zhǔn)確率．但該研究主要集中于病灶區(qū)域，尤其是病灶內(nèi)的影像特征，對(duì)全局圖像的一致性要求相對(duì)寬松（PSNR/SSIM都沒(méi)有顯著提高），但局限性在于必須提供勾畫(huà)好感興趣區(qū)域（Region of Interest，ROI）的影像數(shù)據(jù)．

2.3 模態(tài)轉(zhuǎn)換

在醫(yī)學(xué)圖像領(lǐng)域，影像數(shù)據(jù)間的轉(zhuǎn)換通常是作為一種輔助手段來(lái)提升影像診斷準(zhǔn)確性，這里盡量涵蓋不同領(lǐng)域運(yùn)用GAN進(jìn)行模態(tài)轉(zhuǎn)換的研究成果．在多序列磁共振領(lǐng)域，2018年，Yu等[33]利用CGAN模型實(shí)現(xiàn)了從1加權(quán)磁共振圖像合成液體衰減反轉(zhuǎn)恢復(fù)（Fluid Attenuated Inversion Recovery，F(xiàn)LAIR）磁共振圖像，以改善由單一1加權(quán)圖像進(jìn)行腦腫瘤分割的結(jié)果. 該方法對(duì)于不同外觀(guān)、不同大小、不同位置的腦腫瘤，均表現(xiàn)出很好的分割效果，但生成圖像的邊緣信息較為模糊．此后，該團(tuán)隊(duì)又提出了一種邊緣感知3D-CGAN模型[34]以挖掘跨模態(tài)高質(zhì)量磁共振圖像合成中的更多可能性．其中的Sobel濾波器可以更好地恢復(fù)圖像邊緣信息，但該研究沒(méi)有基于驗(yàn)證集進(jìn)行最優(yōu)參數(shù)的選擇，且數(shù)據(jù)集必須配對(duì)收集，限制了其臨床應(yīng)用．為避免輻射，由磁共振圖像估計(jì)CT圖像也是當(dāng)下一大熱點(diǎn)，而這部分研究也要求數(shù)據(jù)集是配對(duì)收集的．例如，2017年，Nie等[35]就曾利用DCGAN模型，在給定磁共振圖像塊的情況下生成對(duì)應(yīng)的CT圖像塊[圖5(a)]．該方法通過(guò)對(duì)損失函數(shù)進(jìn)行修改，克服了圖像塊訓(xùn)練中上下文信息丟失的問(wèn)題．而Zhao等[36]也基于相似思路，利用由磁共振圖像中生成的CT圖像進(jìn)行骨結(jié)構(gòu)分割．利用GAN既生成了CT圖像，又基于生成的CT圖像進(jìn)一步生成了分割結(jié)果，充分體現(xiàn)了GAN網(wǎng)絡(luò)強(qiáng)大的域適應(yīng)能力[圖5(b)]．特別地，這兩個(gè)研究[35,36]所用的數(shù)據(jù)高度重合. 為能夠進(jìn)行僅MR引導(dǎo)的放射治療，Maspero等[37]集中評(píng)估了多種GAN模型快速合成CT圖像的表現(xiàn)，以及將其集成至MR引導(dǎo)的放射治療中的可行性. 這項(xiàng)研究通過(guò)融合多模態(tài)磁共振圖像來(lái)豐富圖像信息，解決了生成的CT圖像上氣腔（Air Pockets）位置與磁共振圖像不一致的問(wèn)題，如圖5(c)中preparation所示．另外，還有不少?gòu)默F(xiàn)有影像數(shù)據(jù)估計(jì)缺省影像數(shù)據(jù)的研究．2017年，Bi等[38]利用有監(jiān)督的方式通過(guò)多通道GAN（M-GAN）模型從CT數(shù)據(jù)合成了PET數(shù)據(jù)．2018年，Pan等[39]利用CycleGAN模型從MRI數(shù)據(jù)估計(jì)PET數(shù)據(jù)，從而借助完整的MRI和PET數(shù)據(jù)對(duì)阿茲海默癥進(jìn)行診斷. 2020年，Wei等[40]利用加入注意力機(jī)制的CGAN，從多序列磁共振圖像估計(jì)出PET圖像，并進(jìn)一步用于多發(fā)性硬化癥的個(gè)體縱向分析．2021年，Lewis等[41]在研究結(jié)核病時(shí)，利用GAN網(wǎng)絡(luò)實(shí)現(xiàn)X射線(xiàn)圖像到CT圖像的轉(zhuǎn)換，從而解決面臨資源匱乏型環(huán)境或危重患者時(shí)CT不可用的困境，依靠綜合生成的CT圖像將結(jié)核病識(shí)別率提高了7.50%．這些研究通過(guò)現(xiàn)有影像數(shù)據(jù)完成對(duì)缺省影像數(shù)據(jù)的估計(jì)，大大擴(kuò)展了計(jì)算機(jī)輔助診斷的應(yīng)用場(chǎng)景．它們的關(guān)鍵之處都在于生成圖像是否逼真，關(guān)于這一點(diǎn)，不僅要依賴(lài)于肉眼觀(guān)測(cè)，更要依靠諸如PSNR、MSE、FID（Fréchet Inception Distance）距離在內(nèi)的量化指標(biāo)進(jìn)行綜合考量．下游任務(wù)的表現(xiàn)性能也可以用來(lái)衡量生成結(jié)果的有效性．

(a) (b) (c)

圖5 三項(xiàng)針對(duì)磁共振圖像轉(zhuǎn)換為CT圖像的研究. (a)基于DCGAN，數(shù)據(jù)包括來(lái)自ADNI的大腦公開(kāi)數(shù)據(jù)和自己獲取的骨盆數(shù)據(jù)[35]；(b)分割任務(wù)與圖像轉(zhuǎn)換任務(wù)依靠GAN網(wǎng)絡(luò)實(shí)現(xiàn)結(jié)合，數(shù)據(jù)也來(lái)自ADNI的大腦公開(kāi)數(shù)據(jù)[36]；(c)僅MR引導(dǎo)的放射治療[37]

2.4 小樣本轉(zhuǎn)換為大樣本

目前，很多醫(yī)學(xué)圖像獲取的途徑較少，且存在各種困難，導(dǎo)致收集到的數(shù)據(jù)規(guī)模較?。虼?，如何對(duì)樣本數(shù)據(jù)進(jìn)行有效增廣成為了研究熱點(diǎn)．在磁共振領(lǐng)域，2017年，Calimeri等[42]利用GAN網(wǎng)絡(luò)實(shí)現(xiàn)了人大腦磁共振圖像數(shù)據(jù)的擴(kuò)充，有效提升了診斷算法的泛化能力，但僅能生成2D圖像，且質(zhì)量有待進(jìn)一步提高，同時(shí)缺乏與其他GAN模型的結(jié)果對(duì)比. 隨后，Han等利用GAN實(shí)現(xiàn)了對(duì)多序列腦磁共振圖像的數(shù)據(jù)增廣[43]，利用條件PGGAN實(shí)現(xiàn)了轉(zhuǎn)移性腦瘤檢測(cè)任務(wù)中的數(shù)據(jù)增廣[44]，利用PGGAN來(lái)生成有腫瘤/無(wú)腫瘤的腦磁共振圖像以提高腫瘤檢測(cè)任務(wù)的敏感性[45]，分別如圖6(a)～(c)所示．這些工作大大減少了包括檢測(cè)、分割、分類(lèi)等在內(nèi)的多種影像任務(wù)所需的標(biāo)注數(shù)據(jù)量，能更精準(zhǔn)地恢復(fù)圖像的細(xì)節(jié)信息，但不能實(shí)現(xiàn)端到端．2019年，Hassan Dar等[46]基于CGAN模型，通過(guò)合成多個(gè)具有不同對(duì)比度的相同解剖結(jié)構(gòu)的磁共振圖像來(lái)豐富可用的診斷信息．針對(duì)已配準(zhǔn)的圖像，他們采取像素級(jí)損失和感知損失，而對(duì)于未配準(zhǔn)的圖像則采用循環(huán)一致性損失．此方法可以實(shí)現(xiàn)端到端地圖像合成，能適應(yīng)多種數(shù)據(jù)集類(lèi)型．Appan等[47]和Iqbal等[48]均利用GAN進(jìn)行視網(wǎng)膜病理圖像的擴(kuò)充，分別提升了出血任務(wù)的自動(dòng)檢測(cè)性能和視網(wǎng)膜血管的分割性能，解決了模型在小樣本數(shù)據(jù)集上表現(xiàn)不佳的問(wèn)題. 利用GAN進(jìn)行心電圖數(shù)據(jù)擴(kuò)充可以解決數(shù)據(jù)集不平衡的問(wèn)題[49-51]，消除數(shù)據(jù)稀缺的影響，提高心律失常分類(lèi)模型的檢測(cè)靈敏度和精度．Madani等[52]將GAN網(wǎng)絡(luò)用于心血管異常分類(lèi)任務(wù)中胸部X射線(xiàn)圖像數(shù)據(jù)的擴(kuò)充．Bailo等[53]將Pix2PixHD模型應(yīng)用到紅細(xì)胞分割任務(wù)的圖像擴(kuò)充．Hallaji等[54]基于GAN提出一種對(duì)抗性插補(bǔ)分類(lèi)網(wǎng)絡(luò)，以預(yù)測(cè)當(dāng)數(shù)據(jù)中存在缺失值和類(lèi)別不平衡時(shí)肝移植患者的生存機(jī)會(huì)．總而言之，利用GAN進(jìn)行數(shù)據(jù)擴(kuò)充的應(yīng)用領(lǐng)域十分廣泛，具有很大的發(fā)展?jié)摿Γ?/p>

圖6 (a)利用GAN進(jìn)行大腦磁共振圖像的增廣[43]；(b)腦腫瘤檢測(cè)中基于條件PGGAN的磁共振數(shù)據(jù)增廣[44]；(c)腦腫瘤檢測(cè)中融合了噪聲-圖像GAN和圖像-圖像GAN的磁共振數(shù)據(jù)增廣[45]

3 不同訓(xùn)練方式下的GAN應(yīng)用

不同的網(wǎng)絡(luò)訓(xùn)練方式是為了滿(mǎn)足不同的數(shù)據(jù)集類(lèi)型：包括全部為配對(duì)數(shù)據(jù)的數(shù)據(jù)集、全部為非配對(duì)數(shù)據(jù)的數(shù)據(jù)集和既有配對(duì)數(shù)據(jù)又有非配對(duì)數(shù)據(jù)的數(shù)據(jù)集．在上述應(yīng)用場(chǎng)景中，多數(shù)任務(wù)的訓(xùn)練采用有監(jiān)督方式進(jìn)行，其好處是可以通過(guò)加入醫(yī)學(xué)先驗(yàn)知識(shí)獲得準(zhǔn)確性較高的結(jié)果. 但不少醫(yī)學(xué)圖像存在部分模態(tài)數(shù)據(jù)缺失或無(wú)標(biāo)記數(shù)據(jù)的情況，另外兩種訓(xùn)練方式得以衍生：半監(jiān)督式訓(xùn)練和無(wú)監(jiān)督式訓(xùn)練. 前者旨在使用少量的標(biāo)記數(shù)據(jù)和大量的無(wú)標(biāo)記數(shù)據(jù)進(jìn)行模型訓(xùn)練；而后者情況相對(duì)更加復(fù)雜，包括無(wú)標(biāo)記數(shù)據(jù)和無(wú)配對(duì)數(shù)據(jù)兩種情況. 不同的GAN模型通過(guò)不同的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)以及不同的損失函數(shù)設(shè)計(jì)適應(yīng)于不同的訓(xùn)練模式．下文將介紹半監(jiān)督式和無(wú)監(jiān)督式訓(xùn)練時(shí)的GAN應(yīng)用.

3.1 半監(jiān)督的訓(xùn)練方式

半監(jiān)督學(xué)習(xí)介于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之間，可以在減少人力成本和時(shí)間成本的前提下獲得準(zhǔn)確的診斷結(jié)果. 尤其對(duì)于小批量樣本來(lái)說(shuō)，半監(jiān)督學(xué)習(xí)還有助于避免過(guò)擬合．2017年，Alex等[55]基于GAN模型先利用大量未標(biāo)記的腦部病變磁共振圖像進(jìn)行了預(yù)訓(xùn)練，再通過(guò)提取少量標(biāo)記患者的病灶區(qū)域?qū)W(wǎng)絡(luò)進(jìn)行了微調(diào). 該方法大大減少了所需標(biāo)記樣本的數(shù)量，減輕了臨床醫(yī)生的標(biāo)記工作量，并且模型表現(xiàn)出很好的泛化能力．2018年，Madani等[56]在對(duì)胸部X光片進(jìn)行心臟異常分類(lèi)任務(wù)中，利用GAN實(shí)現(xiàn)心臟數(shù)據(jù)的增廣，證明了與傳統(tǒng)的監(jiān)督式卷積神經(jīng)網(wǎng)絡(luò)相比，半監(jiān)督學(xué)習(xí)的GAN模型達(dá)到同樣準(zhǔn)確率所需的數(shù)據(jù)量減少了一個(gè)數(shù)量級(jí)．但該工作并未對(duì)多標(biāo)簽疾病分類(lèi)進(jìn)行更多研究．Jiang等[57]通過(guò)GAN由大量的CT圖像合成磁共振圖像，再結(jié)合原始數(shù)量有限的磁共振圖像實(shí)現(xiàn)了半監(jiān)督的腫瘤分割任務(wù)，有效提高了腫瘤分割的準(zhǔn)確性，如圖7(a)所示．2020年，You等[58]將半監(jiān)督學(xué)習(xí)框架與WGAN模型相結(jié)合，高效且魯棒地從低分辨率CT圖像中恢復(fù)準(zhǔn)確的高分辨率CT圖像．但所提方法訓(xùn)練時(shí)間較長(zhǎng)，細(xì)微信息不能全部很好地恢復(fù)．Wang等[59]使用包括成對(duì)和不成對(duì)的表觀(guān)彌散系數(shù)（Apparent Diffusion Coefficient，ADC）-2加權(quán)磁共振圖像，利用多個(gè)GAN網(wǎng)絡(luò)實(shí)現(xiàn)多參數(shù)磁共振圖像合成的任務(wù)，如圖7(b)所示．該方法通過(guò)多個(gè)GAN網(wǎng)絡(luò)的搭建，巧妙地化解了全尺寸圖像生成的難度，將生成全尺寸圖像的任務(wù)分解為幾個(gè)生成子圖像的簡(jiǎn)單任務(wù)，再利用StitchLayer以隔行掃描的方式將子圖像無(wú)縫融合，最終形成全尺寸的ADC-2加權(quán)圖像．2022年，Li等[60]利用LAPGAN生成大規(guī)模逼真的組織病理圖像及其掩膜，實(shí)現(xiàn)了針對(duì)組織病理圖像的半監(jiān)督分割. 但生成的部分圖像存在偽影，解決策略或許需要來(lái)自病理學(xué)家的先驗(yàn)知識(shí)．

3.2 無(wú)監(jiān)督的訓(xùn)練方式

醫(yī)學(xué)影像中包含很多無(wú)標(biāo)記或非配對(duì)的數(shù)據(jù)，無(wú)監(jiān)督GAN模型的出現(xiàn)，為利用這些數(shù)據(jù)提供了途徑．基于CGAN模型，Zhang等[61]實(shí)現(xiàn)了基于無(wú)標(biāo)記腺體顯微鏡圖像的準(zhǔn)確分割．而Wolterink等[62]實(shí)現(xiàn)了從低劑量CT圖像到高質(zhì)量的常規(guī)劑量CT圖像的非配對(duì)合成．該研究的最大優(yōu)勢(shì)在于處理速度快，處理512 × 512 × 90的CT數(shù)據(jù)用時(shí)不超過(guò)10 s，但缺乏對(duì)全身不同部位CT圖像以及對(duì)于兒童的研究. 基于CycleGAN模型，Chartsias等[63]實(shí)現(xiàn)了不成對(duì)的人體心臟CT圖像到磁共振圖像的轉(zhuǎn)換. 生成圖像可以直接用于擴(kuò)展某個(gè)給定任務(wù)的可用訓(xùn)練集數(shù)據(jù)量．Wolterink等[64]基于CycleGAN模型，利用不成對(duì)的磁共振圖像與CT圖像實(shí)現(xiàn)磁共振圖像到CT圖像的轉(zhuǎn)換. 該研究為僅基于MRI的放療計(jì)劃提供了技術(shù)支持．Yang等[65]在Wolterink等[64]工作的基礎(chǔ)上，在輸入的磁共振圖像與合成的CT圖像間加入結(jié)構(gòu)的直接約束項(xiàng)，解決了部分實(shí)驗(yàn)結(jié)果的結(jié)構(gòu)不一致問(wèn)題，如圖8(a)所示．Bermudez等[66]通過(guò)對(duì)528個(gè)二維軸向腦部磁共振切片的學(xué)習(xí)，實(shí)現(xiàn)了基于GAN網(wǎng)絡(luò)進(jìn)行1加權(quán)腦部磁共振圖像的無(wú)監(jiān)督合成，如圖8(b)所示．在兩名成像專(zhuān)家的盲法評(píng)估下，合成圖像的質(zhì)量得分與真實(shí)圖像的質(zhì)量得分基本重疊. 該項(xiàng)研究為大腦的結(jié)構(gòu)變化提供了定量框架．上述方法都是通過(guò)學(xué)習(xí)真實(shí)圖像的分布，來(lái)生成接近真實(shí)圖像的圖像. 而Mahmood等[67]設(shè)計(jì)了一種“反其道而行之”的無(wú)監(jiān)督學(xué)習(xí)算法，讓真實(shí)的醫(yī)學(xué)圖像分布逼近生成的醫(yī)學(xué)圖像分布，從而使這些經(jīng)過(guò)域適應(yīng)的真實(shí)圖像數(shù)據(jù)可以用于那些利用合成數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò). 該研究目前已被應(yīng)用于內(nèi)窺鏡檢查中．2021年，Li等[68]利用無(wú)監(jiān)督GAN模型實(shí)現(xiàn)了光學(xué)顯微成像中的染色過(guò)程，可以在不需要配對(duì)訓(xùn)練數(shù)據(jù)的情況下學(xué)習(xí)兩個(gè)圖像域之間的映射．該方法在不同的成像條件和成像模式下實(shí)現(xiàn)了穩(wěn)定和高保真度的圖像轉(zhuǎn)換，可以避免收集配對(duì)樣本時(shí)破壞樣本的問(wèn)題．

(a) (b)

圖8 (a)使用結(jié)構(gòu)約束的cycleGAN進(jìn)行非配對(duì)大腦磁共振數(shù)據(jù)-大腦CT數(shù)據(jù)的合成[65]；(b)用于合成T1加權(quán)磁共振圖像的GAN網(wǎng)絡(luò)架構(gòu)[66]

4 總結(jié)與展望

本文對(duì)基于GAN的醫(yī)學(xué)圖像轉(zhuǎn)換研究進(jìn)行了總結(jié)，時(shí)間跨度為2017～2022年（表1）．由表1可以看出應(yīng)用于磁共振圖像模態(tài)轉(zhuǎn)換的GAN研究最為普遍，主要是基于以下原因：MRI涉及眾多序列，成像時(shí)間相對(duì)較長(zhǎng)，圖像轉(zhuǎn)換有助于減少時(shí)間成本；MRI具有較多的公共數(shù)據(jù)集，為模型訓(xùn)練的研究提供了眾多樣本來(lái)源．另外，Pix2Pix模型在含噪圖像轉(zhuǎn)換至去噪圖像的任務(wù)中廣泛應(yīng)用，但它要求數(shù)據(jù)必須配對(duì)出現(xiàn)，這就意味著所用損失函數(shù)中很有可能包含L1損失或者L2損失，用以保證結(jié)構(gòu)一致性．目前較為通用的三種模型性能評(píng)價(jià)指標(biāo)包括均方誤差（Mean Square Error，MSE）、PSNR和SSIM，也可以結(jié)合任務(wù)需求通過(guò)在下游任務(wù)的表現(xiàn)來(lái)評(píng)價(jià)．

盡管GAN被越來(lái)越多地應(yīng)用于醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域，但也存在一定局限．1）目前醫(yī)學(xué)領(lǐng)域的圖像-圖像轉(zhuǎn)換任務(wù)能實(shí)現(xiàn)的圖像尺寸大小有限，多數(shù)為256×256，甚至更小，因此不可避免的要裁剪掉一部分圖像才能適應(yīng)網(wǎng)絡(luò)的需求．如果使用整幅圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練，必然能提供更多的有用信息，但也有可能削弱病灶處包含的圖像信息，影響最終決策．2）目前，含噪圖像至去噪圖像的轉(zhuǎn)換任務(wù)中大多只會(huì)模擬滿(mǎn)足某種特定分布的噪聲，這無(wú)疑會(huì)降低模型的魯棒性．當(dāng)面對(duì)不同數(shù)據(jù)時(shí)，需要對(duì)模型重新進(jìn)行訓(xùn)練優(yōu)化．特別是在加入Wasserstein距離度量損失的模型中，當(dāng)輸入數(shù)據(jù)和目標(biāo)數(shù)據(jù)的分布發(fā)生變化時(shí)，就必須針對(duì)新的數(shù)據(jù)集重新調(diào)整訓(xùn)練參數(shù)．3）采用GAN進(jìn)行低分辨率圖像至高分辨率圖像的轉(zhuǎn)換或者模態(tài)轉(zhuǎn)換的任務(wù)時(shí)，對(duì)解剖結(jié)構(gòu)的一致性有嚴(yán)格限制．

表1 基于GAN的醫(yī)學(xué)圖像轉(zhuǎn)換研究

+表示在原來(lái)的模型上進(jìn)行了改進(jìn)；→表示單向轉(zhuǎn)換；LGAN表示生成對(duì)抗損失；Limage表示圖像域的元素級(jí)損失（像素級(jí)損失）；Lgradient表示梯度域的元素級(jí)損失；Lperceptual表示特征域的元素級(jí)損失；Lcycle表示循環(huán)一致性損失；LWGAN表示推土機(jī)距離損失；LSSIM表示結(jié)構(gòu)相似性損失；L1表示L1范數(shù)損失；Lfrequency表示頻率損失；LWGAN-GP表示加入梯度懲罰的推土機(jī)距離損失；Lseg表示分割圖中的像素級(jí)損失；Ledge表示類(lèi)似于Lgradient，但加入了梯度特征圖作為圖像像素的權(quán)重；M1表示人眼觀(guān)察；M2表示核密度函數(shù)（Kernel density function）；M3表示IS（Inception Score，一種評(píng)價(jià)GAN模型的量化指標(biāo)）；M4表示Qv（一種眼底圖像質(zhì)量的評(píng)價(jià)指標(biāo)）；M5表示感知損失；M6表示紋理?yè)p失；M7表示均方根誤差（Root Mean Square Error，RMSE）/ 歸一化均方誤差（Normalized Mean Squared Error，NMSE）/ 平均絕對(duì)誤差（Mean Absolute Error，MAE）/ 均方誤差（Mean Square Error，MSE）；M8表示峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）；M9表示結(jié)構(gòu)相似性（Structure Similarity Index Measure，SSIM）；M10表示病變顯眼評(píng)分（Lesion conspicuity scores）；M11表示專(zhuān)家對(duì)于圖像質(zhì)量的打分；M12表示T-SNE（T-distributed Stochastic Neighbor Embedding，一種數(shù)據(jù)的降維與可視化方法）；M13表示視覺(jué)圖靈測(cè)試（Visual Turing test）；M14表示噪聲水平；M15～17均表示下游任務(wù)：M15表示分類(lèi)任務(wù)，M16表示檢測(cè)任務(wù)，M17表示分割任務(wù)；?表示對(duì)應(yīng)研究論文中未提及.

正是由于上述的局限性，GAN在醫(yī)學(xué)圖像轉(zhuǎn)換領(lǐng)域還具有廣泛的研究前景．1）目前的許多任務(wù)都是直接套用現(xiàn)有的GAN網(wǎng)絡(luò)，缺乏臨床知識(shí)的限定，未來(lái)可以將臨床的先驗(yàn)知識(shí)加入網(wǎng)絡(luò)框架中；2）由于血管分割精細(xì)度的問(wèn)題，GAN在這方面的應(yīng)用目前還不多．3）2D訓(xùn)練網(wǎng)絡(luò)和3D訓(xùn)練網(wǎng)絡(luò)之間的聯(lián)動(dòng)，以及如何將前者訓(xùn)練得到的結(jié)果遷移到后者，還有待進(jìn)一步研究．這不僅可以提高2D網(wǎng)絡(luò)的泛化能力，更可以促進(jìn)3D網(wǎng)絡(luò)的初始化效果. 例如，可以分別訓(xùn)練橫斷面、矢狀面、冠狀面的三個(gè)2D網(wǎng)絡(luò)，然后利用訓(xùn)練好的2D網(wǎng)絡(luò)初始化3D模型．4）可利用集成學(xué)習(xí)來(lái)提高GAN模型性能．5）目前許多GAN模型在訓(xùn)練時(shí)都融合多個(gè)損失函數(shù)，如何給不同損失函數(shù)設(shè)置權(quán)重以適應(yīng)任務(wù)需求也是未來(lái)研究方向之一．6）在含噪圖像轉(zhuǎn)換至去噪圖像的過(guò)程中，可以考慮直接由原始的投影數(shù)據(jù)映射到目標(biāo)圖像，避免在學(xué)習(xí)含噪圖像到去噪圖像的映射過(guò)程中一并學(xué)習(xí)噪聲特征．

無(wú)

[1] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative Adversarial Nets[C]. Advances in Neural Information Processing Systems, 2014: 2672-2680 .

[2] WANG T C, LIU M Y, ZHU J Y, et al. High-resolution image synthesis and semantic manipulation with conditional gans[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 8798-8807.

[3] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]// Proceedings of the IEEE international conference on computer vision, 2017: 2223-2232.

[4] LI P L, LIANG X D, JIA D Y, et al. Semantic-aware grad-gan for virtual-to-real urban scene adaption[J]. 2018. arXiv:1801.01726.

[5] CHEN Y, LAI Y K, LIU Y J. Cartoongan: Generative adversarial networks for photo cartoonization[C]// Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 9465-9474.

[6] YI R, LIU Y J, LAI Y K, et al. Apdrawinggan: Generating artistic portrait drawings from face photos with hierarchical gans[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 10743-10752.

[7] PARK T, LIU M Y, WANG T C, et al. GauGAN: semantic image synthesis with spatially adaptive normalization[C]// ACM SIGGRAPH 2019 Real-Time Live! 2019.

[8] QIU Y, NIE S D, WEI L. Segmentation of breast tumors based on full convolutional network and dynamic contrast enhanced magnetic resonance image[J]. Chinese J Magn Reson, 2022, 39(2): 196-207.

邱玥, 聶生東,魏瓏. 基于全卷積網(wǎng)絡(luò)的乳腺腫瘤動(dòng)態(tài)增強(qiáng)磁共振圖像分割[J]. 波譜學(xué)雜志, 2022, 39(2): 196-207.

[9] HU Y, WANG L J, NIE S D. Fine brain functional parcellation based on t-distribution stochastic neighbor embedding and automatic spectral clustering[J]. Chinese J Magn Reson, 2021, 38(3): 392-402.

胡穎, 王麗嘉, 聶生東. 融合t-分布隨機(jī)鄰域嵌入與自動(dòng)譜聚類(lèi)的腦功能精細(xì)分區(qū)方法[J]. 波譜學(xué)雜志, 2021, 38(3): 392-402.

[10] MIRZA M, OSINDERO S. Conditional generative adversarial nets[J]. 2014. arXiv:1411.1784.

[11] MAO X D, LI Q, XIE H R, et al. Least squares generative adversarial networks[C]// Proceedings of the IEEE international conference on computer vision, 2017: 2794-2802.

[12] ADLER J, LUNZ S. Banach wasserstein GAN[C]// Proceedings of the 32nd international conference on Neural Information Processing Systems, 2018: 6755-6764.

[13] GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of wasserstein gans[C]// Proceedings of the 31st international conference on Neural Information Processing Systems, 2017: 5769-5779.

[14] DENTON E L, CHINTALA S, SZLAM A, et al. Deep generative image models using a Laplacian pyramid of adversarial networks[C]// NIPS, 2015.

[15] ISOLA P, ZHU J Y, ZHOU T H, et al. Image-to-image translation with conditional adversarial networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 5967-5976.

[16] KARRAS T, AILA T, LAINE S, et al. Progressive growing of gans for improved quality, stability, and variation[J]. 2017, arXiv:1710.10196.

[17] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015: 234-241.

[18] YI Z L, ZHANG H, TAN P, et al. Dualgan: Unsupervised dual learning for image-to-image translation[C]// Proceedings of the IEEE international conference on computer vision, 2017: 2849-2857.

[19] KIM T, CHA M, KIM H, et al. Learning to discover cross-domain relations with generative adversarial networks[C]// International Conference on Machine Learning, 2017: 1857-1865.

[20] YANG Q S, YAN P K, ZHANG Y B, et al. Low-dose CT image denoising using a generative adversarial network with wasserstein distance and perceptual loss[J]. IEEE T Med Imaging, 2018, 37(6): 1348-1357.

[21] SHAN H M, ZHANG Y, YANG Q S, et al. 3-D convolutional encoder-decoder network for low-dose CT via transfer learning from a 2-D trained network[J]. IEEE T Med Imaging, 2018, 37(6): 1522-1534.

[22] LIAO H, HUO Z, SEHNERT W J, et al. Adversarial sparse-view CBCT artifact reduction[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 154-162.

[23] ZHANG Y K, HU D J, ZHAO Q L, et al. CLEAR: comprehensive learning enabled adversarial reconstruction for subtle structure enhanced low-dose CT imaging[J]. IEEE T Med Imaging, 2021, 40(11): 3089-3101.

[24] ZHANG X, FENG C L, WANG A H, et al. CT super-resolution using multiple dense residual block based GAN[J]. Signal Image Video P, 2021, 15(4): 725-733.

[25] HUANG Z X, LIU X F, WANG R P, et al. Considering anatomical prior information for low-dose CT image enhancement using attribute-augmented Wasserstein generative adversarial networks[J]. Neurocomputing, 2021, 428: 104-115.

[26] RAN M S, HU J R, CHEN Y, et al. Denoising of 3D magnetic resonance images using a residual encoder-decoder Wasserstein generative adversarial network[J]. Med Image Anal, 2019, 55: 165-180.

[27] CHEN Y, SHI F, CHRISTODOULOU A G, et al. Efficient and accurate MRI super-resolution using a generative adversarial network and 3D multi-level densely connected network[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 91-99.

[28] SUN K, QU L Q, LIAN C F, et al. High-resolution breast MRI reconstruction using a deep convolutional generative adversarial network[J]. J Magn Reson Imaging, 2020, 52(6): 1852-1858.

[29] XIE H Q, LEI Y, WANG T H, et al. Synthesizing high-resolution MRI using parallel cycle-consistent generative adversarial networks for fast MR imaging[J]. Med Phys, 2021, 49(1): 357-369.

[30] WANG Y, YU B T, WANG L, et al. 3D conditional generative adversarial networks for high-quality PET image estimation at low dose[J]. Neuroimage, 2018, 174: 550-562.

[31] KUDO A, KITAMURA Y, LI Y, et al. Virtual thin slice: 3D conditional GAN-based super-resolution for CT slice interval[C]// International Workshop on Machine Learning for Medical Image Reconstruction, 2019: 91-100.

[32] DE FARIAS E C, DI NOIA C, HAN C, et al. Impact of GAN-based lesion-focused medical image super-resolution on the robustness of radiomic features[J]. Sci Rep, 2021, 11(1): 1-12.

[33] YU B T, ZHOU L P, WANG L, et al. 3D CGAN based cross-modality MR image synthesis for brain tumor segmentation[C]// 2018 IEEE 15th International Symposium on Biomedical Imaging. 2018: 626-630.

[34] YU B T, ZHOU L P, WANG L, et al. Ea-GANs: edge-aware generative adversarial networks for cross-modality MR image synthesis[J]. IEEE T Med Imaging, 2019, 38(7): 1750-1762.

[35] NIE D, TRULLO R, LIAN J, et al. Medical image synthesis with context-aware generative adversarial networks[C]// International conference on medical image computing and computer-assisted intervention, 2017: 417-425.

[36] ZHAO M Y, WANG L, CHEN J W, et al. Craniomaxillofacial bony structures segmentation from MRI with deep-supervision adversarial learning[C]// International conference on medical image computing and computer-assisted intervention, 2018: 720-727.

[37] MASPERO M, SAVENIJE M H F, DINKLA A M, et al. Dose evaluation of fast synthetic-CT generation using a generative adversarial network for general pelvis MR-only radiotherapy[J]. Phys Med Biol, 2018, 63(18): 185001.

[38] BI L, KIM J, KUMAR A, et al. Synthesis of positron emission tomography (PET) images via multi-channel generative adversarial networks (GANs)[M]// Springer: Molecular imaging, reconstruction and analysis of moving body organs, and stroke imaging and treatment. 2017: 43-51.

[39] PAN Y S, LIU M X, LIAN C F, et al. Synthesizing missing PET from MRI with cycle-consistent generative adversarial networks for Alzheimer’s disease diagnosis[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 455-463.

[40] WEI W, POIRION E, BODINI B, et al. Predicting PET-derived myelin content from multisequence MRI for individual longitudinal analysis in multiple sclerosis[J]. NeuroImage, 2020, 223: 117308.

[41] LEWIS A, MAHMOODI E, ZHOU Y, et al. Improving tuberculosis (TB) prediction using synthetically generated computed tomography (CT) images[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 3265-3273.

[42] CALIMERI F, MARZULLO A, STAMILE C, et al. Biomedical data augmentation using generative adversarial neural networks[C]// International conference on artificial neural networks, 2017, 626-634.

[43] HAN C, HAYASHI H, RUNDO L, et al. GAN-based synthetic brain MR image generation[C]// 2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018), 2018: 734-738.

[44] HAN C, MURAO K, NOGUCHI T, et al. Learning more with less: Conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images[C]// Proceedings of the 28th ACM International Conference on Information and Knowledge Management, 2019: 119-127.

[45] HAN C, RUNDO L, ARAKI R, et al. Combining noise-to-image and image-to-image GANs: Brain MR image augmentation for tumor detection[J]. IEEE Access, 2019, 7: 156966-156977.

[46] HASSAN DAR S U I, YURT M, KARACAN L, et al. Image synthesis in multi-contrast MRI with conditional generative adversarial networks[J]. IEEE T Med Imaging, 2019, 38(10): 2375-2388.

[47] APPAN K P, SIVASWAMY J. Retinal image synthesis for CAD development[C]// International Conference Image Analysis and Recognition, 2018: 613-621.

[48] IQBAL T, ALI H. Generative adversarial network for medical images (MI-GAN)[J]. J Med Syst, 2018, 42(11): 231.

[49] SHAKER A M, TANTAWI M, SHEDEED H A, et al. Generalization of convolutional neural networks for ECG classification using generative adversarial networks[J]. IEEE Access, 2020, 8: 35592-35605.

[50] YANG H X, LIU J H, ZHANG L H, et al. ProEGAN-MS: A progressive growing generative adversarial networks for electrocardiogram generation[J]. IEEE Access, 2021, 9: 52089-52100.

[51] WANG Y L, SUN L, SUBRAMANI S. CAB: Classifying arrhythmias based on imbalanced sensor data[J]. KSII Transactions on Internet and Information Systems, 2021, 15(7): 2304-2320.

[52] MADANI A, MORADI M, KARARGYRIS A, et al. Chest X-ray generation and data augmentation for cardiovascular abnormality classification[C]// Medical Imaging 2018: Image Processing, 2018, 10574105741M.

[53] BAILO O, HAM D, MIN SHIN Y. Red blood cell image generation for data augmentation using conditional generative adversarial networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2019, 1039-1048.

[54] HALLAJI E, RAZAVI-FAR R, PALADE V, et al. Adversarial learning on incomplete and imbalanced medical data for robust survival prediction of liver transplant patients[J]. IEEE Access, 2021, 9: 73641-73650.

[55] ALEX V, VAIDHYA K, THIRUNAVUKKARASU S, et al. Semisupervised learning using denoising autoencoders for brain lesion detection and segmentation[J]. J Med Imaging, 2017, 4(4): 041311.

[56] MADANI A, MORADI M, KARARGYRIS A, et al. Semi-supervised learning with generative adversarial networks for chest X-ray classification with ability of data domain adaptation[C]// 2018 IEEE 15th International symposium on biomedical imaging (ISBI 2018), 2018: 1038-1042.

[57] JIANG J, HU Y C, TYAGI N, et al. Tumor-aware, adversarial domain adaptation from ct to mri for lung cancer segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention, 2018: 777-785.

[58] YOU C Y, LI G, ZHANG Y, et al. CT super-resolution GAN constrained by the identical, residual, and cycle learning ensemble (GAN-CIRCLE)[J]. IEEE T Med Imaging, 2020, 39(1): 188-203.

[59] WANG Z W, LIN Y, CHENG K T T, et al. Semi-supervised mp-MRI data synthesis with StitchLayer and auxiliary distance maximization[J]. Med Image Anal, 2020, 59: 101565.

[60] LI W Y, LI J Y, POLSON J, et al. High resolution histopathology image generation and segmentation through adversarial training[J]. Med Image Anal, 2022, 75: 102251.

[61] ZHANG Y Z, YANG L, CHEN J X, et al. Deep adversarial networks for biomedical image segmentation utilizing unannotated images[C]// International conference on medical image computing and computer-assisted intervention, 2017: 408-416.

[62] WOLTERINK J M, LEINER T, VIERGEVER M A, et al. Generative adversarial networks for noise reduction in low-dose CT[J]. IEEE T Med Imaging, 2017, 36(12): 2536-2545.

[63] CHARTSIAS A, JOYCE T, DHARMAKUMAR R, et al. Adversarial image synthesis for unpaired multi-modal cardiac data[C]// International workshop on simulation and synthesis in medical imaging, 2017: 3-13.

[64] WOLTERINK J M, DINKLA A M, SAVENIJE M H, et al. Deep MR to CT synthesis using unpaired data[C]// International workshop on simulation and synthesis in medical imaging, 2017: 14-23.

[65] YANG H, SUN J, CARASS A, et al. Unpaired brain MR-to-CT synthesis using a structure-constrained CycleGAN[M]// Springer: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. 2018: 174-182.

[66] BERMUDEZ C, PLASSARD A J, DAVIS L T, et al. Learning implicit brain MRI manifolds with deep learning[C]// Medical Imaging 2018: Image Processing, 2018: 10574105741L.

[67] MAHMOOD F, CHEN R, DURR N J. Unsupervised reverse domain adaptation for synthetic medical images via adversarial training[J]. IEEE T Med Imaging, 2018, 37(12): 2572-2581.

[68] LI X Y, ZHANG G X, QIAO H, et al. Unsupervised content-preserving transformation for optical microscopy[J]. Light-Sci Appl, 2021, 10(1): 44.

Applications of Generative Adversarial Networks in Medical Image Translation

1，1，2，-1*

1. Institute of Medical Imaging Engineering, University of Shanghai for Science and Technology, Shanghai 200082, China; 2. School of Physics and Electronic Science, East China Normal University, Shanghai 200062, China

In recent years, the generative adversarial network (GAN) has attracted widespread attention with its unique adversarial training mechanism. Its applications have gradually extended to the field of medical imaging, and much excellent research has emerged. This paper reviews the research progress of the popular application for GAN in medical image translation. It starts with an introduction to the basic concepts of GAN and its typical variants, emphasizing on several GANs related to medical image translation. Then, the recent progress is summarized and analyzed from the perspectives of different target tasks and training modes. Finally, the remaining challenges of GAN in medical image translation and the directions of future development are discussed.

generative adversarial network (GAN),medical image,image translation,multimodal,deep learning

O482.53

A

10.11938/cjmr20212962

2021-12-06;

2022-02-18

國(guó)家自然科學(xué)基金資助項(xiàng)目(81830052)；上海市分子影像重點(diǎn)實(shí)驗(yàn)室資助項(xiàng)目(18DZ2260400).

* Tel:18930490962, E-mail: nsd4647@163.com.