趙增順，高寒旭，孫 騫，滕升華，常發(fā)亮，Dapeng Oliver Wu

1(山東科技大學(xué) 電子通信與物理學(xué)院，山東 青島 266590)2(山東大學(xué) 控制科學(xué)與工程學(xué)院，濟南 250061)3(佛羅里達(dá)大學(xué) 電子與計算機工程系，美國 佛羅里達(dá)州 蓋恩斯維爾 32611)

1 引 言

近年來，深度學(xué)習(xí)技術(shù)在計算機視覺[1，2]、自然語言處理[3，4]和語音識別[5]等領(lǐng)域得到了廣泛應(yīng)用.深度網(wǎng)絡(luò)使用大規(guī)模數(shù)據(jù)集進行訓(xùn)練，在圖像語義理解和內(nèi)容生成方面明顯優(yōu)于先前的方法.但深度網(wǎng)絡(luò)模型多為有監(jiān)督訓(xùn)練，模型依賴于大量的標(biāo)注數(shù)據(jù)和長時間的訓(xùn)練.以此為背景，Goodfellow等人提出的生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)[6]不需要假設(shè)分布便可以從潛在空間中推斷出真實樣本，Yann Lecun將其稱為“過去十年機器學(xué)習(xí)界最酷的想法”.GAN作為一種學(xué)習(xí)生成模型的新方法，在各種具有挑戰(zhàn)性的任務(wù)中表現(xiàn)優(yōu)異，如逼真圖像生成[7，8]、視頻幀生成[9，10]、藝術(shù)風(fēng)格遷移[11，12]等.

本文主要介紹基于生成對抗網(wǎng)絡(luò)的圖像領(lǐng)域的應(yīng)用.首先對生成對抗網(wǎng)絡(luò)的基本模型及其衍生模型作了簡要介紹；簡要介紹了其訓(xùn)練方法；重點介紹了生成對抗網(wǎng)絡(luò)的具體應(yīng)用.

2 生成對抗網(wǎng)絡(luò)模型

2.1 基本模型理論

GANs由Goodfellow等人[6]在2014年提出，其來源于博弈論中的二人零和博弈，包含一個生成模型和一個判別模型.給定隨機噪聲變量z服從先驗分布pz(z)(如高斯分布)，生成模型G通過這個噪聲生成樣本，記作G(z).將真實樣本x和生成樣本G(z)分別輸入判別模型D，判別模型輸出表示置信度的概率值，用于判斷真假使用，概率值大于0.5則判斷為真，概率值小于0.5則判斷為假.當(dāng)D最后無法區(qū)別出真實數(shù)據(jù)x和生成數(shù)據(jù)G(z)時則停止訓(xùn)練，此時達(dá)到生成器與判別器之間判定誤差的平衡.

GAN的目標(biāo)函數(shù)如下所示，整個優(yōu)化過程可以視為一個最大-最小化問題.

其中，pdata(x)是真實數(shù)據(jù)，pz(x)是生成數(shù)據(jù).當(dāng)訓(xùn)練判別器D時，希望真實數(shù)據(jù)的判別值越大越好；同時希望對生成數(shù)據(jù)的判別值logD(x)越小越好，所以log(1-D(G(z)))也是越大越好.訓(xùn)練中使用梯度上升，使價值函數(shù)的值越來越高.同理，當(dāng)訓(xùn)練生成器G時，希望價值函數(shù)的值越小越好，即使用梯度下降來訓(xùn)練生成器的參數(shù).其結(jié)構(gòu)如圖1所示.

圖1 GANs的結(jié)構(gòu)[13]Fig.1 Structure of GANs[13]

2.2 GAN模型變體

與其他生成式模型[14，15]相比較，生成對抗網(wǎng)絡(luò)可以比其他模型產(chǎn)生更好的樣本(圖像更銳利、清晰).與PixelRNN[14]相比，GAN生成一個樣本的運行時間更短.與VAE(Variational AutoEncoders)[15]相比，GAN在理論上可以漸進地逼近任意概率分布，克服了VAE最終模擬的結(jié)果必然存在偏置的問題.但是GAN依然存在不收斂、模型過于自由不可控和崩潰問題.鑒于此，對GAN提出了一些改進[16-25].

2.2.1 cGANs

區(qū)別于其他生成式模型，GAN的生成器使用一種分布直接進行采樣而無需預(yù)先建模，從而真正實現(xiàn)理論上完全擬合真實數(shù)據(jù)分布，這是GAN最大的優(yōu)點.然而簡單GAN的方法對尺寸較大的圖像無法進行有效控制，為了穩(wěn)定GAN，自然想到給GAN增加條件約束，于是便產(chǎn)生了Conditional Generative Adversarial Nets(CGAN)[16].cGANs的結(jié)構(gòu)如圖2所示.在生成模型(G)和判別模型(D)的建模中均引入條件變量y，使用額外信息y對模型增加條件，可以指導(dǎo)數(shù)據(jù)生成過程.這些條件變量y可以基于多種信息，例如類別標(biāo)簽，用于圖像修復(fù)的部分?jǐn)?shù)據(jù)，來自不同模態(tài)的數(shù)據(jù).如果條件變量y是類別標(biāo)簽，可以視為CGAN將無監(jiān)督的GAN變成有監(jiān)督模型的一種改進.經(jīng)過證明，這個改進是十分有效的，并在后續(xù)的相關(guān)工作[17，25，31]中得到了廣泛的應(yīng)用.Mehdi Mirz等[16]的工作是在MNIST數(shù)據(jù)集上以類別標(biāo)簽為條件變量，生成指定類別的圖像.

圖2 cGANs的結(jié)構(gòu)[13]Fig.2 Structure of cGANs[13]

2.2.2 卷積GANs

卷積神經(jīng)網(wǎng)絡(luò)在有監(jiān)督學(xué)習(xí)的各項任務(wù)中大放異彩，但在無監(jiān)督學(xué)習(xí)領(lǐng)域應(yīng)用卻較少.LAPGAN(Laplacian Generative Adversarial Networks)[17]是建立在GAN和cGAN基礎(chǔ)上的成功嘗試，由具有K層的拉普拉斯金字塔框架的卷積GAN級聯(lián)構(gòu)成.拉普拉斯金字塔頂端用來訓(xùn)練普通的GAN，生成器輸入只有噪聲.而后像素更高的圖像用來訓(xùn)練cGAN，輸入不僅有噪聲，還有同級高斯金字塔的圖像經(jīng)過上采樣后得到的圖像.正是由這種粗糙到精細(xì)的方式，使得LAPGAN能夠產(chǎn)生更高分辨率的圖像.

另外，Radford等人[18]將有監(jiān)督學(xué)習(xí)中的CNN與無監(jiān)督學(xué)習(xí)中的GAN結(jié)合到了一起，提出了一種稱為DCGAN(Deep convolutional GAN)的網(wǎng)絡(luò)結(jié)構(gòu).該網(wǎng)絡(luò)由四個卷積層作為鑒別器，其實質(zhì)就是一個沒有pooling的全卷積網(wǎng)絡(luò).DCGAN能有效地學(xué)習(xí)物體的特征，且在訓(xùn)練過程中表現(xiàn)更加穩(wěn)定.

2.2.3 WGAN

與DCGAN[18]不同，WGAN[19]從損失函數(shù)的角度對GAN做出了改進，損失函數(shù)改進置換即使在全連接層上也能得到很好的結(jié)果.WGAN理論上給出了GAN訓(xùn)練不穩(wěn)定的原因，即交叉熵(Jensen-Shannon divergence)不適合衡量不相交部分的分布的距離，轉(zhuǎn)而使用Wassertein距離去衡量生成數(shù)據(jù)分布和真實數(shù)據(jù)分布的距離，解決了訓(xùn)練不穩(wěn)定和模式崩潰的問題.實際上，WGAN沒能完全解決GAN訓(xùn)練穩(wěn)定性問題， WGAN中采用Lipschitz限制的方法需要把判別器參數(shù)絕對值截斷到不超過固定常數(shù)c.對此Gulrajani提出了WGAN-GP[20]，更換了梯度懲罰，判別器能學(xué)到合理的參數(shù)取值，解決了WGAN收斂緩慢的問題.

2.2.4 其他模型

Chen等[21]將信息理論與GAN相結(jié)合提出了InfoGAN模型.該模型將噪聲z的具體維數(shù)與數(shù)據(jù)的語義特征相關(guān)聯(lián)推導(dǎo)出可解釋的特征，實現(xiàn)了對噪聲z的高效利用.Improved GAN[22]提出了對于GANs新的結(jié)構(gòu)和訓(xùn)練過程：特征匹配；最小批量判斷；歷史平均；單邊標(biāo)簽平滑；虛擬批量歸一化.Yu等[23]將GAN與RNN(Recurrent Neural Network)結(jié)合提出了SeqGAN，解決了GAN的輸出為連續(xù)實數(shù)分布而無法產(chǎn)生離散空間的分布的問題.Mao等[24]提出了LSGAN(Least Squares Generative Adversarial Networks)，其使用最小二乘損失函數(shù)代替GAN的損失函數(shù)，緩解了GAN訓(xùn)練不穩(wěn)定和生成圖像質(zhì)量差及多樣性不足的問題.ACGAN[25]和Improved GAN[22]利用標(biāo)簽信息，可生成更高質(zhì)量的圖片，穩(wěn)定性良好.更進一步地，Zhou等[26]以ACGAN和Imporved GAN為基準(zhǔn)提出了AMGAN( Activation Maximization Generative Adversarial Network)，AMGAN可看做是Improved GAN和輔助分類器的組合.作者提出的AM評分可用于樣本質(zhì)量度量，并證明Inception Score可用于多樣性度量.AMGAN優(yōu)于其他模型[20，23，25]，并在Cifar-10獲得了最高的評分(8.91).訓(xùn)練模型時利用標(biāo)簽信息，表1給出了各種模型的從屬類別.

表1 各網(wǎng)絡(luò)模型類別Table 1 Category of each network model

3 訓(xùn)練方法

3.1 隨機梯度下降

考慮到進行優(yōu)化的函數(shù)：

其中，參數(shù)w用于估計Q(w)的最小值，Qi為數(shù)據(jù)集的第i個觀測值.

與標(biāo)準(zhǔn)的梯度下降算法在整個訓(xùn)練集上更新目標(biāo)函數(shù)的參數(shù)不同，隨機梯度下降(Stochastic gradient descent，SGD)僅使用單樣本來更新和計算參數(shù)的梯度，因此我們可以頻繁地更新權(quán)重，使其快速收斂.

w：=w-η▽Qi(w)

其中η是學(xué)習(xí)率，▽Qi(wt)是Qi相對于w的梯度.SGD通常用于小批量，一般包含少量數(shù)據(jù)點.在實踐中通常采用動量法，以加速SGD收斂.SGD算法的其他擴展如Adagrad，Adadelta和Adam都可以很好地訓(xùn)練深度網(wǎng)絡(luò).

3.2 反向傳播

4 應(yīng) 用

4.1 圖像合成

生成對抗網(wǎng)絡(luò)在圖像處理方面最廣泛的應(yīng)用之一就是圖像合成：Reed等[7]首次提出利用GAN實現(xiàn)文字描述合成圖像，它以DCGAN[18]作為基礎(chǔ)模型，實現(xiàn)了輸入“粉色花瓣的花”，輸出包含這些要素的圖像；Behnza[8]的研究能夠?qū)W習(xí)語義上有意義的面部表征，并在二元交互中生成適當(dāng)?shù)拿娌勘砬?

4.1.1 圖像補全

圖像補全旨在合成圖像總?cè)笔Щ驌p壞的部分.Pathak等[27]首次提出將GAN應(yīng)用于圖像補全，提出深度GANs模型(Context Encoder).該模型結(jié)合Encoder-Decoder網(wǎng)絡(luò)和GAN，以完全無監(jiān)督的方式進行訓(xùn)練，Encoder-Decoder部分用于學(xué)習(xí)圖像特征和生成圖像待修補區(qū)域?qū)?yīng)的預(yù)測圖，GAN部分用于判斷生成圖像來自訓(xùn)練集或預(yù)測集的可能性，當(dāng)生成的預(yù)測圖與ground truth在圖像內(nèi)容上達(dá)到一致，并且GAN的判別器無法判斷預(yù)測圖是否來自訓(xùn)練集或預(yù)測集時，則模型參數(shù)達(dá)到最佳值.但是此模型存在的弊端是其全連接層不能保存精確的空間信息.對此，Li等[28]提出上下文感知語義修補方法CASI，將圖像上下文輸入全卷積生成網(wǎng)絡(luò)，圖像缺失區(qū)域使用掩碼操作進行填充，然后通過合成操作將其放置在圖像上下文中.

與文獻(xiàn)[27]方法類似，Yeh[29]使用DCGAN[18]實現(xiàn)圖像補全，并使用Adam進行優(yōu)化，能成功預(yù)測缺失區(qū)域的信息，還原度較高.Yang[30]提出了一種基于圖像內(nèi)容和紋理約束的圖像合成方法，可以通過建模全局內(nèi)容約束和卷積神經(jīng)網(wǎng)絡(luò)的局部紋理約束來合成缺失的圖像區(qū)域.缺點是迭代速度慢.

4.1.2 圖像風(fēng)格轉(zhuǎn)換

人眼能夠很有效地的辨別出不同畫家不同流派繪畫風(fēng)格這種很抽象的東西，而多層網(wǎng)絡(luò)的實質(zhì)其實就是找出更復(fù)雜、更內(nèi)在的特性.圖像風(fēng)格轉(zhuǎn)換同樣分為有監(jiān)督和無監(jiān)督的方式.

想要將草圖生成理想圖像，需要添加細(xì)節(jié)信息(顏色、紋理等).Isola等[31]對cGAN作出了改進：在目標(biāo)函數(shù)中加入了L1約束項(用于約束生成圖片和原始圖片偏差不至于太大)；生成器中用U-net結(jié)構(gòu)代替ecoder-decoder；鑒別器使用PatchGAN[32]的判別方式(在圖像的每個N×N塊上去判斷是否為真).但是，基于cGAN[16]提出的模型必須要求成對數(shù)據(jù)(paired data)，Zhu等[33]提出了一個不成對(unparied data)的圖像到圖像轉(zhuǎn)換模型—CycleGAN，解決了模型需要成對數(shù)據(jù)進行訓(xùn)練的難題.該模型架構(gòu)基于[34]，由兩個生成器和兩個判別器構(gòu)成，其中生成器包括編碼器、轉(zhuǎn)換器和解碼器，鑒別器屬于卷積網(wǎng)絡(luò)，需要從圖像中提取特征.在具體實現(xiàn)時，采用生成質(zhì)量更高的LSGAN[24]替換原始GAN使訓(xùn)練過程更加穩(wěn)定，對Dx，Dy進行滯后更新避免模式震蕩.然而，CycleGAN對非成對圖片集的成功轉(zhuǎn)換集中在色彩和貼圖轉(zhuǎn)換上，諸如幾何形態(tài)上的上的轉(zhuǎn)換(如貓→狗)大多沒有成功.Perera等[12]將無監(jiān)督圖像到圖像的轉(zhuǎn)換問題擴展到多個輸入設(shè)置，將來自多個模態(tài)的配對圖像作為輸入并轉(zhuǎn)換到指定域.Xian等[11]提出可以由草圖生成理想圖像的TextureGAN，用戶將示例紋理“拖”到場景中的草圖，系統(tǒng)即可自動填充該目標(biāo)區(qū)域的紋理.TextureGAN使用的是文獻(xiàn)[35]的網(wǎng)絡(luò)架構(gòu)，但其重新定義了特征損失和對抗損失，并引入新的損失(風(fēng)格損失、像素?fù)p失、顏色損失)來改善紋理細(xì)節(jié).

4.1.3 3D圖像生成

生成對抗網(wǎng)絡(luò)可用于3D圖像的生成，受文獻(xiàn)[18]的啟發(fā)，Wu等[36]結(jié)合對抗網(wǎng)絡(luò)和傳統(tǒng)的體積卷積網(wǎng)絡(luò)提出了3D-GAN模型.3D-GAN在3D數(shù)據(jù)上進行訓(xùn)練，其生成器包含5個體積全卷積層，它從概率潛在空間隨機采樣生成對象，鑒別器判斷輸入對象的真?zhèn)?Gadelha等[37]提出的投影生成對抗網(wǎng)絡(luò)(PrGANs)可以從2D圖形集合中學(xué)習(xí)3D形狀的概率分布，此模型包括3D形狀生成器，視點生成器，投影模塊和鑒別器.其中，判別器僅顯示2D圖像，投影模塊捕獲3D表示，并在傳遞給判別器之前將其轉(zhuǎn)換為2D圖像.不斷迭代訓(xùn)練周期，生成器通過改進生成的3D體素形狀完善投影效果.

4.2 圖像分類

早期GAN模型主要應(yīng)用于無監(jiān)督學(xué)習(xí)，而將GAN應(yīng)用到分類問題時，需要對網(wǎng)絡(luò)做改動，Improved GANs[22]屬于半監(jiān)督分類方法.Luc等[38]訓(xùn)練了一個CNN語義分割網(wǎng)絡(luò)(用于對單幅圖像進行基于像素的分類)和一個對抗網(wǎng)絡(luò)(用于區(qū)分標(biāo)簽圖和預(yù)測出來的概率圖)實現(xiàn)對圖像內(nèi)容的分類，具體操作是先將分割網(wǎng)絡(luò)的兩種訓(xùn)練圖片輸入對抗網(wǎng)絡(luò)中，再用sigmoid函數(shù)進行二分類，文中提出的混合損失函數(shù)，就是將交叉熵?fù)p失和GAN的損失結(jié)合起來.文獻(xiàn)[38]屬于有監(jiān)督分類方法.

4.3 圖像超分辨率

超分辨率是從觀測到的低分辨率圖像重建出相應(yīng)的高分辨率圖像，訓(xùn)練后的模型可以生成照片般逼真的細(xì)節(jié).但生成對抗網(wǎng)絡(luò)生成的圖片質(zhì)量不是很好，Ledig等[39]針對這一問題作出優(yōu)化，用參數(shù)化的殘差網(wǎng)絡(luò)表示生成器，用VGG分類網(wǎng)絡(luò)作為判別器.此外，作者提出了一個全新的損失函數(shù)，該損失函數(shù)包括兩部分：對抗損失(adversarial loss)與內(nèi)容損失(content loss).其中，內(nèi)容損失可被看作為重建的高分辨率圖像和原始高分辨率圖像之間特征圖(feature map)的歐式距離(Euclidean distance)損失.由于這一全新?lián)p失函數(shù)使用，生成對抗網(wǎng)絡(luò)能夠恢復(fù)降采樣后的圖像的生動紋理和小顆粒細(xì)節(jié)，使超分效果更接近人的視覺感受.然而，VGG網(wǎng)絡(luò)無法捕捉超分辨率任務(wù)中所需的高頻細(xì)節(jié)，對此，Wu等[40]提出一個新的框架—SRPGAN.首先使用雙三次插值對低分辨率圖像進行縮放，經(jīng)過生成器的編碼與解碼后，生成高分辨率圖像.將真實圖像和生成圖像分別輸入鑒別器并提取特征，得到對抗損失和感知損失，最后將兩種損失函數(shù)與內(nèi)容損失結(jié)合，從而得出D和G的總目標(biāo)函數(shù).從實驗結(jié)果可以看出，SRPGAN[40]在細(xì)節(jié)恢復(fù)方面超越了SRGAN[39].

4.4 其他應(yīng)用

4.4.1 醫(yī)學(xué)圖像

Dong Nie等[41]首次將GAN框架應(yīng)用于合成醫(yī)學(xué)圖像領(lǐng)域，提出通過三維全卷積神經(jīng)網(wǎng)絡(luò)(3D FCN)學(xué)習(xí)從MR(magnetic resonance)圖像到CT(Computed Tomography)圖像的非線性映射，并將3D FCN作為GAN中的生成器.為生成更加逼真的CT圖像，除傳統(tǒng)的重建誤差損失之外又增加了一個對抗性損失項.此外，作者采用Auto-Context Model(ACM)，為使ACM具有上下文感知能力，其每個階段都使用GAN架構(gòu)進行訓(xùn)練.結(jié)果表明，3D GAN模型顯著優(yōu)于當(dāng)前三種先進的模型(Atlas，SR，SRF+)，不僅如此，此模型還可以應(yīng)用于諸如超分辨率、圖像去噪等涉及醫(yī)學(xué)圖像分析生成的其他任務(wù)中.

GANCS[42]是一種新型的CS(compressed sensing)框架，它采用LSGAN[24]學(xué)習(xí)紋理細(xì)節(jié)，并使用l1逐像素?fù)p失來控制高頻噪聲.GANCS結(jié)合了生成對抗網(wǎng)絡(luò)的優(yōu)勢，用于MRI(Magnetic Resonance Imaging)重建有良好的效果.SegAN[43]是一種新型端到端對抗神經(jīng)網(wǎng)絡(luò)，旨在分割醫(yī)學(xué)圖像.SegAN使用全卷積神經(jīng)網(wǎng)絡(luò)作為分割器來生成預(yù)測的分割圖像，并提出具有多尺度L1損失函數(shù)的對抗批評網(wǎng)絡(luò)，對抗批評網(wǎng)絡(luò)最大限度地挖掘生成的分割圖像和ground truth之間的特征差異，使分割器能夠準(zhǔn)確地學(xué)習(xí)ground truth分割對抗的特征.

4.4.2 圖像安全

圖像隱寫術(shù)可以保證圖像的安全，Denis等[44]提出將DCGAN[18]模型應(yīng)用于圖像隱寫問題.此文考慮的是從文本到圖像的嵌入，并引入了隱寫生成對抗網(wǎng)絡(luò)模型SGAN.SGAN包含三部分：生成器網(wǎng)絡(luò)G、鑒別器網(wǎng)絡(luò)D和隱寫分析網(wǎng)絡(luò)S(steganalyser，確定圖像是否包隱藏的秘密消息)，但它僅適于使用相同的密鑰嵌入.與現(xiàn)有采用DCGAN的工作不同，Shi等人基于WGAN[19]提出了SSGAN[45]，它解決了文獻(xiàn)[44]存在的問題，更適合隨機密鑰嵌入.另外，此模型生成的圖像更加高質(zhì).

傳統(tǒng)的隱寫術(shù)會使原圖像發(fā)生改變，為克服這一弊端，Liu等[46]提出了基于ACGAN[25]無覆蓋信息隱藏方法.首先構(gòu)建代碼字典進行文本信息K到類別標(biāo)簽C的映射，然后生成加密圖像以實現(xiàn)信息的隱藏，最后由鑒別器提取加密信息.實驗表明此方法能夠有效抵抗現(xiàn)有隱寫分析算法的檢測，并且其隱藏通信具有良好的可靠性和安全性.但由此產(chǎn)生的圖像不夠清晰，仍需進一步的改進，下一步可以考慮使用更復(fù)雜的Wasserstein GAN[19]構(gòu)建更逼真的圖像.

4.4.3 視頻預(yù)測

視頻預(yù)測是指對于給出的靜態(tài)圖片或者一段連續(xù)視頻幀Z1，Z2，…，Zn，可以預(yù)測隨后的視頻幀Zn+1，Zn+2，…，Zn+t(t為需要預(yù)測的幀的數(shù)量).Mathieu等[47]將生成對抗網(wǎng)絡(luò)擴展到視頻處理領(lǐng)域，采用對抗網(wǎng)絡(luò)進行視頻幀預(yù)測，擬解決使用l1或l2損失函數(shù)造成的圖像模糊問題，使預(yù)測的圖像更加銳利.此外，文中將生成器的損失函數(shù)定義為對抗損失、l2損失與圖像梯度差分損失的加權(quán)和.Vondrick和Torralba[10]提出了一個通過變換現(xiàn)有幀中像素來生成未來幀的模型.文獻(xiàn)[9]在DCGAN的基礎(chǔ)上提出“two streams”架構(gòu)[48]視頻預(yù)測模型，雙流指的是靜止的背景流和移動的前景流，它們之間相互獨立，其中，單流架構(gòu)由時空卷積和反卷積組成，雙流架構(gòu)可以對靜態(tài)背景和動態(tài)前景建模.該模型中生成網(wǎng)絡(luò)輸入的是低維的潛在編碼向量，輸出高維視頻，判別網(wǎng)絡(luò)的任務(wù)是判別生成場景和真實場景，同時識別視頻幀間的運動.作者從Flickr下載超過200萬條視頻進行模型的訓(xùn)練，激活函數(shù)采用ReLU，模型訓(xùn)練完成后，可以從單副圖像上直接預(yù)測32幀(64×64分辨率)圖像，經(jīng)測試，其中有20%的人認(rèn)為這些生成的視頻是真實的.

5 結(jié)束語

GANs作為無監(jiān)督生成模型一個強大的算法框架，已經(jīng)在計算機視覺領(lǐng)域得到了廣泛應(yīng)用.相比于傳統(tǒng)的生成式網(wǎng)絡(luò)模型，GANs可以從潛在空間和數(shù)據(jù)之間的映射和逆映射中學(xué)習(xí)高度非線性的映射，克服了需要依賴真實數(shù)據(jù)的缺點，由此生成模型能夠生成合理的圖像.憑借深度神經(jīng)網(wǎng)絡(luò)的強大功能，改進GAN并將GAN應(yīng)用于各種領(lǐng)域仍有巨大的機會.