徐松林

摘要：近年來，隨著人工智能的發(fā)展，越來越多的研究者加入到了人工智能的研究當(dāng)中。其中計(jì)算機(jī)視覺計(jì)算領(lǐng)域的研究也受到越來越多的人的關(guān)注，而生成式對(duì)抗網(wǎng)絡(luò)是處理計(jì)算機(jī)圖像與視覺的一種有效的算法。本文介紹了生成式對(duì)抗網(wǎng)絡(luò)的基本原理與主要算法，并對(duì)算法的主要應(yīng)用進(jìn)行了介紹，最后并做了總結(jié)。

關(guān)鍵詞：人工智能;生成式對(duì)抗網(wǎng)絡(luò);GAN

中圖分類號(hào)：TP393? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2019）03-0061-02

1 引言

生成式對(duì)抗網(wǎng)絡(luò)（Generative Countermeasure Network，GAN）是由GoodFellow等人[1]在2014年研發(fā)出來的一種網(wǎng)絡(luò)。GAN目前已經(jīng)成為計(jì)算機(jī)視覺研究當(dāng)中炙手可熱的一種深度學(xué)習(xí)模型。隨著人工智能的不斷發(fā)展，人們?cè)絹碓蕉嗟匕阎攸c(diǎn)放到了圖像領(lǐng)域的研究當(dāng)中，其中包括圖像處理[2]、圖像生成[3]以及視頻檢索[4]等方面。在這些領(lǐng)域當(dāng)中，GAN無疑已經(jīng)成為最具研究?jī)r(jià)值的一種算法。由于大部分的深度學(xué)習(xí)模型均是監(jiān)督式學(xué)習(xí)，對(duì)數(shù)據(jù)的要求比較高，而GAN不需要提前知道假設(shè)分布便可以自動(dòng)推斷出真實(shí)的數(shù)據(jù)集，所以GAN在圖像處理領(lǐng)域中表現(xiàn)的十分的優(yōu)異[5]。

本文章節(jié)安排如下，在第2小節(jié)介紹GAN的基本理論與主要算法， 第3小節(jié)介紹了GAN的主要應(yīng)用，最后在第4小節(jié)進(jìn)行了總結(jié)與展望。

2 生成式對(duì)抗網(wǎng)絡(luò)

2.1 基本原理

在GAN中，主要包括兩個(gè)部分，一個(gè)是生成模型G，另外一個(gè)是判別模型D，其具體結(jié)構(gòu)如圖2-1所示。

在圖2-1中，Generator代表GAN的生成模型G，而Discriminator代表判別模型D。在GAN中，G與D基本上都是由深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的一種函數(shù)。其中G根據(jù)真實(shí)的部分?jǐn)?shù)據(jù)獲取其分布，并將這些數(shù)據(jù)映射到新的空間當(dāng)中，將新生成的數(shù)據(jù)記做[G（z）]，分布記作[pg（z）]，其中[z]是一個(gè)隨機(jī)變量。此時(shí)，D中的輸入除了正常的數(shù)據(jù)外，還包括新生成的數(shù)據(jù)[G（z）]，而D的輸出一般是一個(gè)標(biāo)量或者一個(gè)概率值，表示之前由G生成的數(shù)據(jù)被認(rèn)定是真實(shí)數(shù)據(jù)的概率，并將此概率輸出到G，使得G根據(jù)次概率不斷地進(jìn)行調(diào)整，最后使得[G（z）]與真實(shí)的數(shù)據(jù)保持一致。在極致情況下，即D已經(jīng)將新生成的數(shù)據(jù)[G（z）]當(dāng)成了真實(shí)的數(shù)據(jù)，此時(shí)的模型達(dá)到了最優(yōu)，并且認(rèn)為G已經(jīng)得到了真實(shí)數(shù)據(jù)完整的分布。一般來講，G是某種深度神經(jīng)網(wǎng)絡(luò)，對(duì)于數(shù)據(jù)輸入達(dá)到的層數(shù)，既可以是第一層，也可以是最后一層，并且對(duì)于其中的隱藏層，可以加入噪聲更好的模擬真實(shí)的數(shù)據(jù)情況。除此之外，GAN對(duì)[z]的要求很少，通常[z]的維度為100維左右，并且是隨機(jī)的。由于要經(jīng)過D的判斷將梯度回傳并以此更新參數(shù)，所有G必須是可微的，否則會(huì)破壞整個(gè)GAN中信息的傳遞。

除了上述GAN中的生成器外，GAN中另外一個(gè)重要的部件便是判別器D了。D的主要目的是為了給生成器G提供反饋，判斷輸入的數(shù)據(jù)是否為真實(shí)的數(shù)據(jù)。其具體過程需要兩個(gè)協(xié)議，第一個(gè)協(xié)議是從真實(shí)的數(shù)據(jù)中進(jìn)行采樣，輸入到D之后D會(huì)給出一個(gè)概率值，值越大，表明其實(shí)真實(shí)樣本的概率越大，并且假設(shè)在D輸入的過程中，真實(shí)樣本的個(gè)數(shù)與G生成樣本的個(gè)數(shù)是相等的，在此協(xié)議下，D輸出的概率值要盡可能地接近1。在第二種協(xié)議下，G會(huì)從真實(shí)的數(shù)據(jù)中按照某種分布進(jìn)行采樣，并將采樣之后生成的數(shù)據(jù)作為D的輸入，而此時(shí)D的目標(biāo)輸出就是使得此類型數(shù)據(jù)最后輸出概率為0，而G的目標(biāo)是為了使得D的輸出為1，經(jīng)過一系列的模型參數(shù)訓(xùn)練，最后會(huì)達(dá)到一種平衡，通過G生成的樣本數(shù)據(jù)與真實(shí)的數(shù)據(jù)沒有差異，而D所反饋的概率為0.5，即此時(shí)D已經(jīng)分辨不出輸入的數(shù)據(jù)到底是真實(shí)的數(shù)據(jù)還是經(jīng)過G生成的樣本數(shù)據(jù)。

2.2 主要算法

在原始的GAN中，對(duì)先驗(yàn)的要求非常的低，數(shù)據(jù)可以是任意的一種分布，最終GAN將會(huì)模擬出任意一種分布來。GAN使用機(jī)器的自身來進(jìn)行訓(xùn)練，通過自身參數(shù)的不斷調(diào)整，獲得足夠多的數(shù)據(jù)，并且找到現(xiàn)實(shí)中的某種規(guī)律，已經(jīng)脫離了人類的“限制”。但是GAN由于其具有無限建模的能力，所以往往會(huì)出現(xiàn)函數(shù)無法逼近或者無法收斂等問題，而且GAN模擬生成的數(shù)據(jù)比較單一，不具有多樣性特征，而且對(duì)于某些特定的分布，比如離散分布，其學(xué)習(xí)的效果是非常差的。面對(duì)這些問題，人們對(duì)原始的GAN進(jìn)行了一系列的改進(jìn)，使其克服剛才提到的缺陷。下面列舉一些常見的改進(jìn)型算法。

1）CGAN算法[6]，通過在數(shù)據(jù)生成的過程中增加約束性的條件，即利用標(biāo)簽將輸入輸出進(jìn)行標(biāo)記，這樣能使得模型快速達(dá)到收斂條件，但是此種算法所要求的數(shù)據(jù)必須是帶帶有標(biāo)簽的數(shù)據(jù)。

2）DCGAN算法[7]，將CNN的優(yōu)點(diǎn)應(yīng)用在GAN中，使得整個(gè)訓(xùn)練過程趨于穩(wěn)定，并且生成器生成的數(shù)據(jù)具有多樣性，更加符合GAN的需求，但是此種算法由于引進(jìn)了CNN，整個(gè)模型易崩潰，會(huì)出現(xiàn)梯度爆炸等問題。

3）WGAN算法[8]，通過對(duì)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)中的權(quán)重進(jìn)行剪枝處理，使得整個(gè)訓(xùn)練過程更加穩(wěn)定，并且易于收斂，理論上解決了梯度消失的問題，但是如果對(duì)某些必要的權(quán)重進(jìn)行剪枝，還是會(huì)使得梯度消失或者爆炸。

4）WGAN-GP算法，利用梯度懲罰措施實(shí)現(xiàn)生成器與判別器之間的平衡，但是其最大的缺點(diǎn)就是收斂速度慢，生成的樣本多樣性較差。

3 GAN的主要應(yīng)用

GAN的主要應(yīng)用是在視覺計(jì)算上面，從最初的圖像生成，再到圖像計(jì)算等，越來越多的人利用GAN以及改進(jìn)后的GAN模型處理計(jì)算機(jī)視覺方面的問題，其中最主要的原因在于GAN可以通過自身的對(duì)抗性不斷進(jìn)行模型的改進(jìn)，最終取得良好的效果。下面介紹幾個(gè)典型的應(yīng)用。

1）生成圖片。應(yīng)對(duì)于各種各樣的數(shù)據(jù)，GAN都可以學(xué)習(xí)到其真實(shí)的數(shù)據(jù)分布，如何使得圖片能夠更加的接近真實(shí)事物，這一直是圖片研究中的重點(diǎn)內(nèi)容。DCGAN在此方面取得了良好的結(jié)果，由于有CNN的加入，DCGAN目前已經(jīng)成為GAN模型的標(biāo)準(zhǔn)。除此之外，DCGAN還可以對(duì)圖片的矢量進(jìn)行運(yùn)算，從而擺脫對(duì)圖片數(shù)據(jù)庫中圖片本身的記憶。

2）圖像的風(fēng)格遷移與翻譯。圖片的風(fēng)格遷移是指將圖片的一種風(fēng)格轉(zhuǎn)換為另一種風(fēng)格，例如pix2pix模型[8]，就可以實(shí)現(xiàn)圖片風(fēng)格的轉(zhuǎn)換，但是pix2pix模型訓(xùn)練的數(shù)據(jù)需要成對(duì)的數(shù)據(jù)，而循環(huán)GAN[9]突破了這一限制，主要是將原圖片先映射到某一個(gè)空間中，之后再?gòu)拇丝臻g得到變換后的圖片，在這個(gè)過程中，通過生成器將圖片做映射，之后通過生成器與判別器的匹配可以提高重新生成圖像的質(zhì)量。此時(shí)，將原始圖像與重新生成的圖像數(shù)據(jù)進(jìn)行比對(duì)，如果分布相一致，那就有理由認(rèn)為目標(biāo)圖像與原始圖像是一致的。除此之外，循環(huán)GAN還可以應(yīng)用到很多的方面，包括對(duì)圖像內(nèi)季節(jié)的遷移，或者將2維的圖片轉(zhuǎn)換到三維的場(chǎng)景中，甚至是一些名人的圖片到真人的轉(zhuǎn)換。

3）圖像還原。目前隨著人工智能技術(shù)的發(fā)展，人臉識(shí)別的精確度也越來越高。利用人臉識(shí)別技術(shù)，可以在人群密集的地方進(jìn)行人臉自動(dòng)搜索，用于發(fā)現(xiàn)可疑人物等。但是目前制約這項(xiàng)技術(shù)發(fā)展的主要原因是在視頻中進(jìn)行人臉識(shí)別時(shí)，經(jīng)常受到其他人的干擾，真正的嫌疑人有可能被其他人遮擋，只有一個(gè)側(cè)面相，但是往往就需要從這一個(gè)側(cè)面相當(dāng)中取出全部的面貌特征進(jìn)行比對(duì)。之后，TP-GAN[10]被人們提了出來，這種算法可以整合局部與整體信息，對(duì)于還原后的圖像保留了原有信息的特征，所以在面對(duì)具有不同光照、不同背景甚至不同側(cè)面的圖片時(shí)，可以利用TP-GAN算法合成目標(biāo)人的正臉圖片，并且合成之后的圖片與實(shí)際的人臉是非常相似的。其中最主要的原因是由于TP-GAN生成網(wǎng)絡(luò)時(shí)，在關(guān)注全局結(jié)構(gòu)的基礎(chǔ)上，還關(guān)心局部推理，最后將這兩個(gè)特征進(jìn)行合并，最終合成最后的圖像。

4 總結(jié)與展望

在圖像視頻領(lǐng)域，GAN作為一種新型的學(xué)習(xí)算法得到了廣大研究者的關(guān)注。GAN對(duì)于樣本不足、圖像質(zhì)量差、特征提取困難等問題，提供了良好的解決方案。本文對(duì)GAN在視覺方面的應(yīng)用進(jìn)行了介紹，分析了GAN主要改進(jìn)后算法的優(yōu)缺點(diǎn)，并列舉了GAN中的主要應(yīng)用。除此之外，GAN還可以與其他的深度學(xué)習(xí)模型相結(jié)合，解決了許多機(jī)器學(xué)習(xí)中無法解決的問題。

除了本文中提到的應(yīng)用外，GAN還可以在其他領(lǐng)域中取得較大的成就。例如在專家系統(tǒng)中，可以利用GAN解決具體的問題，如對(duì)特定的場(chǎng)景進(jìn)行系統(tǒng)生成，或者將圖片與游戲相結(jié)合，生成特定的游戲場(chǎng)景，并提高場(chǎng)景的視覺質(zhì)量。

參考文獻(xiàn)：

[1] Goodfellow I J， Pouget-Abadie J， Mirza M， et al. Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems， 2014， 3： 2672-2680.

[2] Sonka M， Hlavac V， Ceng R B D M. Image Processing， Analysis and Machine Vision[M].? Chapman & Hall Computing， 1993： 685–686.

[3] Cappelli R， Maio D， Maltoni D， et al. Synthetic Fingerprint-Image Generation[C]， 2000.

[4] Krizhevsky A， Sutskever I， Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks[C]， 2012： 1097-1105.

[5] 王坤峰， 茍超， 段艷杰， et al. 生成式對(duì)抗網(wǎng)絡(luò)GAN的研究進(jìn)展與展望[J]. 自動(dòng)化學(xué)報(bào)， 2017， 43（3）： 321-332.

[6] Mirza M， Osindero S. Conditional Generative Adversarial Nets[J]. Computer Science， 2014： 2672-2680.

[7] Radford A， Metz L， Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. Computer Science， 2015.

[8] Arjovsky M， Chintala S， Bottou L. Wasserstein GAN[J]， 2017.

[9] Zhu J Y， Park T， Isola P， et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[J]， 2017： 2242-2251.

[10] Huang R， Zhang S， Li T， et al. Beyond Face Rotation： Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis[J]， 2017： 2458-2467.

【通聯(lián)編輯：李雅琪】