王坤峰 茍 超 段艷杰 林懿倫 鄭心湖 王飛躍

生成式對抗網(wǎng)絡(luò)GAN的研究進展與展望

王坤峰1,2茍 超1,3段艷杰1,3林懿倫1,3鄭心湖4王飛躍1,5

生成式對抗網(wǎng)絡(luò)GAN(Generative adversarial networks)目前已經(jīng)成為人工智能學(xué)界一個熱門的研究方向.GAN的基本思想源自博弈論的二人零和博弈,由一個生成器和一個判別器構(gòu)成,通過對抗學(xué)習(xí)的方式來訓(xùn)練.目的是估測數(shù)據(jù)樣本的潛在分布并生成新的數(shù)據(jù)樣本.在圖像和視覺計算、語音和語言處理、信息安全、棋類比賽等領(lǐng)域,GAN正在被廣泛研究,具有巨大的應(yīng)用前景.本文概括了GAN的研究進展,并進行展望.在總結(jié)了GAN的背景、理論與實現(xiàn)模型、應(yīng)用領(lǐng)域、優(yōu)缺點及發(fā)展趨勢之后,本文還討論了GAN與平行智能的關(guān)系,認(rèn)為GAN可以深化平行系統(tǒng)的虛實互動、交互一體的理念,特別是計算實驗的思想,為ACP(Arti fi cial societies,computational experiments,and parallel execution)理論提供了十分具體和豐富的算法支持.

生成式對抗網(wǎng)絡(luò),生成式模型,零和博弈,對抗學(xué)習(xí),平行智能,ACP方法

生成式對抗網(wǎng)絡(luò)GAN(Generative adversarial networks)是Goodfellow等[1]在2014年提出的一種生成式模型.GAN在結(jié)構(gòu)上受博弈論中的二人零和博弈(即二人的利益之和為零,一方的所得正是另一方的所失)的啟發(fā),系統(tǒng)由一個生成器和一個判別器構(gòu)成.生成器捕捉真實數(shù)據(jù)樣本的潛在分布,并生成新的數(shù)據(jù)樣本;判別器是一個二分類器,判別輸入是真實數(shù)據(jù)還是生成的樣本.生成器和判別器均可以采用目前研究火熱的深度神經(jīng)網(wǎng)絡(luò)[2].GAN的優(yōu)化過程是一個極小極大博弈(Minimax game)問題,優(yōu)化目標(biāo)是達到納什均衡[3],使生成器估測到數(shù)據(jù)樣本的分布.

在當(dāng)前的人工智能熱潮下,GAN的提出滿足了許多領(lǐng)域的研究和應(yīng)用需求,同時為這些領(lǐng)域注入了新的發(fā)展動力.GAN已經(jīng)成為人工智能學(xué)界一個熱門的研究方向,著名學(xué)者LeCun甚至將其稱為“過去十年間機器學(xué)習(xí)領(lǐng)域最讓人激動的點子”.目前,圖像和視覺領(lǐng)域是對GAN研究和應(yīng)用最廣泛的一個領(lǐng)域,已經(jīng)可以生成數(shù)字、人臉等物體對象,構(gòu)成各種逼真的室內(nèi)外場景,從分割圖像恢復(fù)原圖像,給黑白圖像上色,從物體輪廓恢復(fù)物體圖像,從低分辨率圖像生成高分辨率圖像等[4].此外,GAN已經(jīng)開始被應(yīng)用到語音和語言處理[5?6]、電腦病毒監(jiān)測[7]、棋類比賽程序[8]等問題的研究中.

本文綜述了生成式對抗網(wǎng)絡(luò)GAN的最新研究進展,并對發(fā)展趨勢進行展望.第1節(jié)介紹GAN的提出背景.第2節(jié)描述GAN的理論與實現(xiàn)模型,包括GNN的基本原理、學(xué)習(xí)方法、衍生模型等.第3節(jié)列舉GAN在圖像和視覺、語音和語言、信息安全等領(lǐng)域的典型應(yīng)用.第4節(jié)對GAN進行思考與展望,討論GAN與平行智能,特別是與計算實驗的關(guān)系.最后,第5節(jié)對本文進行總結(jié).

1 GAN的提出背景

本節(jié)介紹GAN的提出背景,以便讀者更好地理解GAN的研究進展和應(yīng)用領(lǐng)域.

1.1 人工智能的熱潮

近年來,隨著計算能力的提高和各行業(yè)數(shù)據(jù)量的劇增,人工智能取得了快速發(fā)展,使得研究者對人工智能的關(guān)注度和社會大眾對人工智能的憧憬空前提升[2,9].學(xué)術(shù)界普遍認(rèn)為人工智能分為兩個階段:感知階段和認(rèn)知階段.在感知階段,機器能夠接收來自外界的各種信號,例如視覺信號、聽覺信號等,并對此作出判斷,對應(yīng)的研究領(lǐng)域有圖像識別、語音識別等.在認(rèn)知階段,機器能夠?qū)κ澜绲谋举|(zhì)有一定的理解,不再是單純、機械地做出判斷.基于多年的研究經(jīng)驗,本文作者認(rèn)為人工智能的表現(xiàn)層次包括判斷、生成、理解和創(chuàng)造及應(yīng)用,如圖1所示.一方面,這些層次相互聯(lián)系相互促進;另一方面,各個層次之間又有很大的鴻溝,有待新的研究突破.

無論是普遍認(rèn)為的人工智能兩階段還是本文作者總結(jié)的人工智能四個層次,其中都涉及理解這個環(huán)節(jié).然而,理解無論對人類還是人工智能都是內(nèi)在的表現(xiàn),無法直接測量,只能間接從其他方面推測.如何衡量人工智能的理解程度,雖然沒有定論,但是著名學(xué)者Feynman有句名言“What I cannot create,I do not understand.(不可造者,未能知也.)”這說明機器制造事物的能力從某種程度上取決于機器對事物的理解.而GAN作為典型的生成式模型,其生成器具有生成數(shù)據(jù)樣本的能力.這種能力在一定程度上反映了它對事物的理解.因此, GAN有望加深人工智能的理解層面的研究.

1.2 生成式模型的積累

圖1 人工智能的研究層次Fig.1 The levels of arti fi cial intelligence

生成式模型不僅在人工智能領(lǐng)域占有重要地位,生成方法本身也具有很大的研究價值.生成方法和判別方法是機器學(xué)習(xí)中監(jiān)督學(xué)習(xí)方法的兩個分支.生成式模型是生成方法學(xué)習(xí)得到的模型.生成方法涉及對數(shù)據(jù)的分布假設(shè)和分布參數(shù)學(xué)習(xí),并能夠根據(jù)學(xué)習(xí)而來的模型采樣出新的樣本.本文認(rèn)為生成式模型從研究出發(fā)點的角度可以分為兩類:人類理解數(shù)據(jù)的角度和機器理解數(shù)據(jù)的角度.

從人類理解數(shù)據(jù)的角度出發(fā),典型的做法是先對數(shù)據(jù)的顯式變量或者隱含變量進行分布假設(shè),然后利用真實數(shù)據(jù)對分布的參數(shù)或包含分布的模型進行擬合或訓(xùn)練,最后利用學(xué)習(xí)到的分布或模型生成新的樣本.這類生成式模型涉及的主要方法有最大似然估計法、近似法[10?11]、馬爾科夫鏈方法[12?14]等.從這個角度學(xué)習(xí)到的模型具有人類能夠理解的分布,但是對機器學(xué)習(xí)來說具有不同的限制.例如,以真實樣本進行最大似然估計,參數(shù)更新直接來自于數(shù)據(jù)樣本,導(dǎo)致學(xué)習(xí)到的生成式模型受到限制.而采用近似法學(xué)習(xí)到的生成式模型由于目標(biāo)函數(shù)難解一般只能在學(xué)習(xí)過程中逼近目標(biāo)函數(shù)的下界,并不是直接對目標(biāo)函數(shù)的逼近.馬爾科夫鏈方法既可以用于生成式模型的訓(xùn)練又可以用于新樣本的生成,但是馬爾科夫鏈的計算復(fù)雜度較高.

從機器理解數(shù)據(jù)的角度出發(fā),建立的生成式模型一般不直接估計或擬合分布,而是從未明確假設(shè)的分布中獲取采樣的數(shù)據(jù)[15],通過這些數(shù)據(jù)對模型進行修正.這樣得到的生成式模型對人類來說缺乏可解釋性,但是生成的樣本卻是人類可以理解的.以此推測,機器以人類無法顯式理解的方式理解了數(shù)據(jù)并且生成了人類能夠理解的新數(shù)據(jù).在GAN提出之前,這種從機器理解數(shù)據(jù)的角度建立的生成式模型一般需要使用馬爾科夫鏈進行模型訓(xùn)練,效率較低,一定程度上限制了其系統(tǒng)應(yīng)用.

GAN提出之前,生成式模型已經(jīng)有一定研究積累,模型訓(xùn)練過程和生成數(shù)據(jù)過程中的局限無疑是生成式模型的障礙.要真正實現(xiàn)人工智能的四個層次,就需要設(shè)計新的生成式模型來突破已有的障礙.

1.3 神經(jīng)網(wǎng)絡(luò)的深化

過去10年來,隨著深度學(xué)習(xí)[16?17]技術(shù)在各個領(lǐng)域取得巨大成功,神經(jīng)網(wǎng)絡(luò)研究再度崛起.神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的模型結(jié)構(gòu),得益于計算能力的提升和數(shù)據(jù)量的增大,一定程度上解決了自身參數(shù)多、訓(xùn)練難的問題,被廣泛應(yīng)用于解決各類問題中.例如,深度學(xué)習(xí)技術(shù)在圖像分類問題上取得了突破性的效果[18?19],顯著提高了語音識別的準(zhǔn)確率[20],又被成功應(yīng)用于自然語言理解領(lǐng)域[21].神經(jīng)網(wǎng)絡(luò)取得的成功和模型自身的特點是密不可分的.在訓(xùn)練方面,神經(jīng)網(wǎng)絡(luò)能夠采用通用的反向傳播算法,訓(xùn)練過程容易實現(xiàn);在結(jié)構(gòu)方面,神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計自由靈活,局限性小;在建模能力方面,神經(jīng)網(wǎng)絡(luò)理論上能夠逼近任意函數(shù),應(yīng)用范圍廣.另外,計算能力的提升使得神經(jīng)網(wǎng)絡(luò)能夠更快地訓(xùn)練更多的參數(shù),進一步推動了神經(jīng)網(wǎng)絡(luò)的流行.

1.4 對抗思想的成功

從機器學(xué)習(xí)到人工智能,對抗思想被成功引入若干領(lǐng)域并發(fā)揮作用.博弈、競爭中均包含著對抗的思想.博弈機器學(xué)習(xí)[22]將博弈論的思想與機器學(xué)習(xí)結(jié)合,對人的動態(tài)策略以博弈論的方法進行建模,優(yōu)化廣告競價機制,并在實驗中證明了該方法的有效性.圍棋程序AlphaGo[23]戰(zhàn)勝人類選手引起大眾對人工智能的興趣,而AlphaGo的中級版本在訓(xùn)練策略網(wǎng)絡(luò)的過程中就采取了兩個網(wǎng)絡(luò)左右互博的方式,獲得棋局狀態(tài)、策略和對應(yīng)回報,并以包含博弈回報的期望函數(shù)作為最大化目標(biāo).在神經(jīng)網(wǎng)絡(luò)的研究中,曾有研究者利用兩個神經(jīng)網(wǎng)絡(luò)互相競爭的方式對網(wǎng)絡(luò)進行訓(xùn)練[24],鼓勵網(wǎng)絡(luò)的隱層節(jié)點之間在統(tǒng)計上獨立,將此作為訓(xùn)練過程中的正則因素.還有研究者[25?26]采用對抗思想來訓(xùn)練領(lǐng)域適應(yīng)的神經(jīng)網(wǎng)絡(luò):特征生成器將源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)變換為高層抽象特征,盡可能使特征的產(chǎn)生領(lǐng)域難以判別;領(lǐng)域判別器基于變換后的特征,盡可能準(zhǔn)確地判別特征的領(lǐng)域.對抗樣本[27?28]也包含著對抗的思想,指的是那些和真實樣本差別甚微卻被誤分類的樣本或者差異很大卻被以很高置信度分為某一真實類的樣本,反映了神經(jīng)網(wǎng)絡(luò)的一種詭異行為特性.對抗樣本和對抗網(wǎng)絡(luò)雖然都包含著對抗的思想,但是目的完全不同.對抗思想應(yīng)用于機器學(xué)習(xí)或人工智能取得的諸多成果,也激發(fā)了更多的研究者對GAN的不斷挖掘.

2 GAN的理論與實現(xiàn)模型

圖2 GAN的計算流程與結(jié)構(gòu)Fig.2 Computation procedure and structure of GAN

2.1 GAN的基本原理

GAN的核心思想來源于博弈論的納什均衡.它設(shè)定參與游戲雙方分別為一個生成器(Generator)和一個判別器(Discriminator),生成器的目的是盡量去學(xué)習(xí)真實的數(shù)據(jù)分布,而判別器的目的是盡量正確判別輸入數(shù)據(jù)是來自真實數(shù)據(jù)還是來自生成器;為了取得游戲勝利,這兩個游戲參與者需要不斷優(yōu)化,各自提高自己的生成能力和判別能力,這個學(xué)習(xí)優(yōu)化過程就是尋找二者之間的一個納什均衡.GAN的計算流程與結(jié)構(gòu)如圖2所示.任意可微分的函數(shù)都可以用來表示GAN的生成器和判別器,由此,我們用可微分函數(shù)D和G來分別表示判別器和生成器,它們的輸入分別為真實數(shù)據(jù)x和隨機變量z. G(z)則為由G生成的盡量服從真實數(shù)據(jù)分布pdata的樣本.如果判別器的輸入來自真實數(shù)據(jù),標(biāo)注為1.如果輸入樣本為G(z),標(biāo)注為0.這里D的目標(biāo)是實現(xiàn)對數(shù)據(jù)來源的二分類判別:真(來源于真實數(shù)據(jù)x的分布)或者偽(來源于生成器的偽數(shù)據(jù)G(z)),而G的目標(biāo)是使自己生成的偽數(shù)據(jù)G(z)在D上的表現(xiàn)D(G(z))和真實數(shù)據(jù)x在D上的表現(xiàn)D(x)一致,這兩個相互對抗并迭代優(yōu)化的過程使得D和G的性能不斷提升,當(dāng)最終D的判別能力提升到一定程度,并且無法正確判別數(shù)據(jù)來源時,可以認(rèn)為這個生成器G已經(jīng)學(xué)到了真實數(shù)據(jù)的分布.

2.2 GAN的學(xué)習(xí)方法

本節(jié)中我們討論GAN的學(xué)習(xí)訓(xùn)練機制.

首先,在給定生成器G的情況下,我們考慮最優(yōu)化判別器D.和一般基于Sigmoid的二分類模型訓(xùn)練一樣,訓(xùn)練判別器D也是最小化交叉熵的過程,其損失函數(shù)為:

其中,x采樣于真實數(shù)據(jù)分布pdata(x),z采樣于先驗分布pz(z)(例如高斯噪聲分布),E(·)表示計算期望值.這里實際訓(xùn)練時和常規(guī)二值分類模型不同,判別器的訓(xùn)練數(shù)據(jù)集來源于真實數(shù)據(jù)集分布pdata(x) (標(biāo)注為1)和生成器的數(shù)據(jù)分布pg(x)(標(biāo)注為0)兩部分.給定生成器G,我們需要最小化式(1)來得到最優(yōu)解,在連續(xù)空間上,式(1)可以寫為如下形式:

對任意的非零實數(shù)m和n,且實數(shù)值y∈[0,1],表達式

處得到最小值,此即為判別器的最優(yōu)解.由式(4)可知,GAN估計的是兩個概率分布密度的比值,這也是和其他基于下界優(yōu)化或者馬爾科夫鏈方法的關(guān)鍵不同之處.

另一方面,D(x)代表的是x來源于真實數(shù)據(jù)而非生成數(shù)據(jù)的概率.當(dāng)輸入數(shù)據(jù)采樣自真實數(shù)據(jù)x時,D的目標(biāo)是使得輸出概率值D(x)趨近于1,而當(dāng)輸入來自生成數(shù)據(jù)G(z)時,D的目標(biāo)是正確判斷數(shù)據(jù)來源,使得D(G(z))趨近于0,同時G的目標(biāo)是使得其趨近于1.這實際上就是一個關(guān)于G和D的零和游戲,那么生成器G的損失函數(shù)為ObjG(θG)=?ObjD(θD,θG).所以GAN的優(yōu)化問題是一個極小—極大化問題,GAN的目標(biāo)函數(shù)可以描述如下:

總之,對于GAN的學(xué)習(xí)過程,我們需要訓(xùn)練模型D來最大化判別數(shù)據(jù)來源于真實數(shù)據(jù)或者偽數(shù)據(jù)分布G(z)的準(zhǔn)確率,同時,我們需要訓(xùn)練模型G來最小化log(1?D(G(z))).這里可以采用交替優(yōu)化的方法:先固定生成器G,優(yōu)化判別器D,使得D的判別準(zhǔn)確率最大化;然后固定判別器D,優(yōu)化生成器G,使得D的判別準(zhǔn)確率最小化.當(dāng)且僅當(dāng)pdata=pg時達到全局最優(yōu)解.訓(xùn)練GAN時,同一輪參數(shù)更新中,一般對D的參數(shù)更新k次再對G的參數(shù)更新1次.

2.3 GAN的衍生模型

自Goodfellow等[1]于2014年提出GAN以來,各種基于GAN的衍生模型被提出,這些模型的創(chuàng)新點包括模型結(jié)構(gòu)改進、理論擴展及應(yīng)用等.部分衍生模型的計算流程與結(jié)構(gòu)如圖3所示.

GAN在基于梯度下降訓(xùn)練時存在梯度消失的問題,因為當(dāng)真實樣本和生成樣本之間具有極小重疊甚至沒有重疊時,其目標(biāo)函數(shù)的Jensen-Shannon散度是一個常數(shù),導(dǎo)致優(yōu)化目標(biāo)不連續(xù).為了解決訓(xùn)練梯度消失問題,Arjovsky等[29]提出了Wasserstein GAN(W-GAN).W-GAN用Earth-Mover代替Jensen-Shannon散度來度量真實樣本和生成樣本分布之間的距離,用一個批評函數(shù)f來對應(yīng)GAN的判別器,而且批評函數(shù)f需要建立在Lipschitz連續(xù)性假設(shè)上.另外,GAN的判別器D具有無限的建模能力,無論真實樣本和生成的樣本有多復(fù)雜,判別器D都能把它們區(qū)分開,這容易導(dǎo)致過擬合問題.為了限制模型的建模能力,Qi[30]提出了Losssensitive GAN(LS-GAN),將最小化目標(biāo)函數(shù)得到的損失函數(shù)限定在滿足Lipschitz連續(xù)性函數(shù)類上,作者還給出了梯度消失時的定量分析結(jié)果.需要指出,W-GAN和LS-GAN并沒有改變GAN模型的結(jié)構(gòu),只是在優(yōu)化方法上進行了改進.

圖3 GAN衍生模型的計算流程與結(jié)構(gòu)((a)GAN[1],W-GAN[29],LS-GAN[30];(b)Semi-GAN[31];(c)C-GAN[32]; (d)Bi-GAN[33];(e)Info-GAN[34];(f)AC-GAN[35];(g)Seq-GAN[6])Fig.3 Computation procedures and structures of GAN-derived models

GAN的訓(xùn)練只需要數(shù)據(jù)源的標(biāo)注信息(真或偽),并根據(jù)判別器輸出來優(yōu)化.Odena[31]提出了Semi-GAN,將真實數(shù)據(jù)的標(biāo)注信息加入判別器D的訓(xùn)練.更進一步,Conditional GAN(CGAN)[32]提出加入額外的信息y到G、D和真實數(shù)據(jù)來建模,這里的y可以是標(biāo)簽或其他輔助信息.傳統(tǒng)GAN都是學(xué)習(xí)一個生成式模型來把隱變量分布映射到復(fù)雜真實數(shù)據(jù)分布上,Donahue等[33]提出一種Bidirectional GANs(BiGANs)來實現(xiàn)將復(fù)雜數(shù)據(jù)映射到隱變量空間,從而實現(xiàn)特征學(xué)習(xí).除了GAN的基本框架,BiGANs額外加入了一個解碼器Q用于將真實數(shù)據(jù)x映射到隱變量空間,其優(yōu)化問題轉(zhuǎn)換為

InfoGAN[34]是GAN的另一個重要擴展.GAN能夠?qū)W得有效的語義特征,但是輸入噪聲變量z的特定變量維數(shù)和特定語義之間的關(guān)系不明確,而InfoGAN能夠獲取輸入的隱層變量和具體語義之間的互信息.具體實現(xiàn)就是把生成器G的輸入分為兩部分z和c,這里z和GAN的輸入一致,而c被稱為隱碼,這個隱碼用于表征結(jié)構(gòu)化隱層隨機變量和具體特定語義之間的隱含關(guān)系.GAN設(shè)定了pG(x)=pG(x|c),而實際上c與G的輸出具有較強的相關(guān)性.用G(z,c)來表示生成器的輸出,作者[34]提出利用互信息I(c;G(z,c))來表征兩個數(shù)據(jù)的相關(guān)程度,用目標(biāo)函數(shù)

來建模求解,這里由于后驗概率p(c|x)不能直接獲取,需要引入變分分布來近似后驗的下界來求得最優(yōu)解.

Odena等[35]提出的Auxiliary Classi fi er GAN (AC-GAN)可以實現(xiàn)多分類問題,它的判別器輸出相應(yīng)的標(biāo)簽概率.在實際訓(xùn)練中,目標(biāo)函數(shù)則包含真實數(shù)據(jù)來源的似然和正確分類標(biāo)簽的似然,不再單獨由判別器二分類損失來反傳調(diào)節(jié)參數(shù),可以進一步調(diào)節(jié)損失函數(shù)使得分類正確率更高,AC-GAN的關(guān)鍵是可以利用輸入生成器的標(biāo)注信息來生成對應(yīng)的圖像標(biāo)簽,同時還可以在判別器擴展調(diào)節(jié)損失函數(shù),從而進一步提高對抗網(wǎng)絡(luò)的生成和判別能力.

考慮到GAN的輸出為連續(xù)實數(shù)分布而無法產(chǎn)生離散空間的分布,Yu等[6]提出了一種能夠生成離散序列的生成式模型Seq-GAN.他們用RNN實現(xiàn)生成器G,用CNN實現(xiàn)判別器D,用D的輸出判別概率通過增強學(xué)習(xí)來更新G.增強學(xué)習(xí)中的獎勵通過D來計算,對于后面可能的行為采用了蒙特卡洛搜索實現(xiàn),計算D的輸出平均作為獎勵值反饋.

3 GAN的應(yīng)用領(lǐng)域

作為一個具有“無限”生成能力的模型,GAN的直接應(yīng)用就是建模,生成與真實數(shù)據(jù)分布一致的數(shù)據(jù)樣本,例如可以生成圖像、視頻等.GAN可以用于解決標(biāo)注數(shù)據(jù)不足時的學(xué)習(xí)問題,例如無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等.GAN還可以用于語音和語言處理,例如生成對話、由文本生成圖像等.本節(jié)從圖像和視覺、語音和語言、其他領(lǐng)域三個方面來闡述GAN的應(yīng)用.

3.1 圖像和視覺領(lǐng)域

GAN能夠生成與真實數(shù)據(jù)分布一致的圖像.一個典型應(yīng)用來自Twitter公司,Ledig等[36]提出利用GAN來將一個低清模糊圖像變換為具有豐富細(xì)節(jié)的高清圖像.作者用VGG網(wǎng)絡(luò)[37]作為判別器,用參數(shù)化的殘差網(wǎng)絡(luò)[19]表示生成器,實驗結(jié)果如圖4所示,可以看到GAN生成了細(xì)節(jié)豐富的圖像.

圖4 基于GAN的生成圖像示例[36]Fig.4 Illustration of GAN-generated image[36]

GAN也開始用于生成自動駕駛場景.Santana等[38]提出利用GAN來生成與實際交通場景分布一致的圖像,再訓(xùn)練一個基于RNN的轉(zhuǎn)移模型實現(xiàn)預(yù)測的目的,實驗結(jié)果如圖5所示.GAN可以用于自動駕駛中的半監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)任務(wù),還可以利用實際場景不斷更新的視頻幀來實時優(yōu)化GAN的生成器.

Gou等[39?40]提出利用仿真圖像和真實圖像作為訓(xùn)練樣本來實現(xiàn)人眼檢測,但是這種仿真圖像與真實圖像存在一定的分布差距.Shrivastava等[41]提出一種基于GAN的方法(稱為SimGAN),利用無標(biāo)簽真實圖像來豐富細(xì)化仿真圖像,使得合成圖像更加真實.作者引入一個自正則化項來實現(xiàn)最小化合成誤差并最大程度保留仿真圖像的類別,同時利用加入的局部對抗損失函數(shù)來對每個局部圖像塊進行判別,使得局部信息更加豐富.

3.2 語音和語言領(lǐng)域

目前已經(jīng)有一些關(guān)于GAN的語音和語言處理文章.Li等[5]提出用GAN來表征對話之間的隱式關(guān)聯(lián)性,從而生成對話文本.Zhang等[42]提出基于GAN的文本生成,他們用CNN作為判別器,判別器基于擬合LSTM的輸出,用矩匹配來解決優(yōu)化問題;在訓(xùn)練時,和傳統(tǒng)更新多次判別器參數(shù)再更新一次生成器不同,需要多次更新生成器再更新CNN判別器.SeqGAN[6]基于策略梯度來訓(xùn)練生成器G,策略梯度的反饋獎勵信號來自于生成器經(jīng)過蒙特卡洛搜索得到,實驗表明SeqGAN在語音、詩詞和音樂生成方面可以超過傳統(tǒng)方法.Reed等[43]提出用GAN基于文本描述來生成圖像,文本編碼被作為生成器的條件輸入,同時為了利用文本編碼信息,也將其作為判別器特定層的額外信息輸入來改進判別器,判別是否滿足文本描述的準(zhǔn)確率,實驗結(jié)果表明生成圖像和文本描述具有較高相關(guān)性.

3.3 其他領(lǐng)域

除了將GAN應(yīng)用于圖像和視覺、語音和語言等領(lǐng)域,GAN還可以與強化學(xué)習(xí)相結(jié)合,例如前述的SeqGAN[6].還有研究者將GAN和模仿學(xué)習(xí)融合[44?45]、將GAN和Actor-critic方法結(jié)合[46]等. Hu等[7]提出MalGAN幫助檢測惡意代碼,用GAN生成具有對抗性的病毒代碼樣本,實驗結(jié)果表明基于GAN的方法可以比傳統(tǒng)基于黑盒檢測模型的方法性能更好.Childambaram等[8]基于風(fēng)格轉(zhuǎn)換提出了一個擴展GAN的生成器,用判別器來正則化生成器而不是用一個損失函數(shù),用國際象棋實驗示例證明了所提方法的有效性.

圖5 基于GAN的生成圖像示例(奇數(shù)列為生成圖像,偶數(shù)列為目標(biāo)圖像)[38]Fig.5 Another illustration of GAN-generated images(Odd columns show the generated images,and even columns show the target images)[38]

4 GAN的思考與展望

4.1 GAN的意義和優(yōu)點

GAN對于生成式模型的發(fā)展具有重要的意義. GAN作為一種生成式方法,有效解決了可建立自然性解釋的數(shù)據(jù)的生成難題.尤其對于生成高維數(shù)據(jù),所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不限制生成維度,大大拓寬了生成數(shù)據(jù)樣本的范圍.所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能夠整合各類損失函數(shù),增加了設(shè)計的自由度.GAN的訓(xùn)練過程創(chuàng)新性地將兩個神經(jīng)網(wǎng)絡(luò)的對抗作為訓(xùn)練準(zhǔn)則并且可以使用反向傳播進行訓(xùn)練,訓(xùn)練過程不需要效率較低的馬爾科夫鏈方法,也不需要做各種近似推理,沒有復(fù)雜的變分下界,大大改善了生成式模型的訓(xùn)練難度和訓(xùn)練效率.GAN的生成過程不需要繁瑣的采樣序列,可以直接進行新樣本的采樣和推斷,提高了新樣本的生成效率.對抗訓(xùn)練方法摒棄了直接對真實數(shù)據(jù)的復(fù)制或平均,增加了生成樣本的多樣性.GAN在生成樣本的實踐中,生成的樣本易于人類理解.例如,能夠生成十分銳利清晰的圖像,為創(chuàng)造性地生成對人類有意義的數(shù)據(jù)提供了可能的解決方法.

GAN除了對生成式模型的貢獻,對于半監(jiān)督學(xué)習(xí)也有啟發(fā).GAN學(xué)習(xí)過程中不需要數(shù)據(jù)標(biāo)簽.雖然GAN提出的目的不是半監(jiān)督學(xué)習(xí),但是GAN的訓(xùn)練過程可以用來實施半監(jiān)督學(xué)習(xí)中無標(biāo)簽數(shù)據(jù)對模型的預(yù)訓(xùn)練過程.具體來說,先利用無標(biāo)簽數(shù)據(jù)訓(xùn)練GAN,基于訓(xùn)練好的GAN對數(shù)據(jù)的理解,再利用小部分有標(biāo)簽數(shù)據(jù)訓(xùn)練判別器,用于傳統(tǒng)的分類和回歸任務(wù).

4.2 GAN的缺陷和發(fā)展趨勢

GAN雖然解決了生成式模型的一些問題,并且對其他方法的發(fā)展具有一定的啟發(fā)意義,但是GAN并不完美,它在解決已有問題的同時也引入了一些新的問題.GAN最突出的優(yōu)點同時也是它最大的問題根源.GAN采用對抗學(xué)習(xí)的準(zhǔn)則,理論上還不能判斷模型的收斂性和均衡點的存在性.訓(xùn)練過程需要保證兩個對抗網(wǎng)絡(luò)的平衡和同步,否則難以得到很好的訓(xùn)練效果.而實際過程中兩個對抗網(wǎng)絡(luò)的同步不易把控,訓(xùn)練過程可能不穩(wěn)定.另外,作為以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的生成式模型,GAN存在神經(jīng)網(wǎng)絡(luò)類模型的一般性缺陷,即可解釋性差.另外, GAN生成的樣本雖然具有多樣性,但是存在崩潰模式(Collapse mode)現(xiàn)象[4],可能生成多樣的,但對于人類來說差異不大的樣本.

雖然GAN存在這些問題,但不可否認(rèn)的是, GAN的研究進展表明它具有廣闊的發(fā)展前景.例如,Wasserstein GAN[29]徹底解決了訓(xùn)練不穩(wěn)定問題,同時基本解決了崩潰模式現(xiàn)象.如何徹底解決崩潰模式并繼續(xù)優(yōu)化訓(xùn)練過程是GAN的一個研究方向.另外,關(guān)于GAN收斂性和均衡點存在性的理論推斷也是未來的一個重要研究課題.以上研究方向是為了更好地解決GAN存在的缺陷.從發(fā)展應(yīng)用GAN的角度,如何根據(jù)簡單隨機的輸入,生成多樣的、能夠與人類交互的數(shù)據(jù),是近期的一個應(yīng)用發(fā)展方向.從GAN與其他方法交叉融合的角度,如何將GAN與特征學(xué)習(xí)、模仿學(xué)習(xí)、強化學(xué)習(xí)等技術(shù)更好地融合,開發(fā)新的人工智能應(yīng)用或者促進這些方法的發(fā)展,是很有意義的發(fā)展方向.從長遠(yuǎn)來看,如何利用GAN推動人工智能的發(fā)展與應(yīng)用,提升人工智能理解世界的能力,甚至激發(fā)人工智能的創(chuàng)造力是值得研究者思考的問題.

4.3 GAN與平行智能的關(guān)系

王飛躍研究員[47?48]于2004年提出了復(fù)雜系統(tǒng)建模與調(diào)控的ACP(Arti fi cial societies,computational experiments,and parallel execution)理論和平行系統(tǒng)方法.平行系統(tǒng)強調(diào)虛實互動,構(gòu)建人工系統(tǒng)來描述實際系統(tǒng),利用計算實驗來學(xué)習(xí)和評估各種計算模型,通過平行執(zhí)行來提升實際系統(tǒng)的性能,使得人工系統(tǒng)和實際系統(tǒng)共同推進[49?50].ACP理論和平行系統(tǒng)方法目前已經(jīng)發(fā)展為更廣義的平行智能理論[51].GAN訓(xùn)練中真實的數(shù)據(jù)樣本和生成的數(shù)據(jù)樣本通過對抗網(wǎng)絡(luò)互動,并且訓(xùn)練好的生成器能夠生成比真實樣本更多的虛擬樣本.GAN可以深化平行系統(tǒng)的虛實互動、交互一體的理念.GAN作為一種有效的生成式模型,可以融入到平行智能研究體系.本節(jié)從以下幾個方面討論GAN與平行智能的關(guān)系.

4.3.1 GAN與平行視覺

平行視覺[52]是ACP理論在視覺計算領(lǐng)域的推廣,其基本框架與體系結(jié)構(gòu)如圖6所示.平行視覺結(jié)合計算機圖形學(xué)、虛擬現(xiàn)實、機器學(xué)習(xí)、知識自動化等技術(shù),利用人工場景、計算實驗、平行執(zhí)行等理論和方法,建立復(fù)雜環(huán)境下視覺感知與理解的理論和方法體系.平行視覺利用人工場景來模擬和表示復(fù)雜挑戰(zhàn)的實際場景,使采集和標(biāo)注大規(guī)模多樣性數(shù)據(jù)集成為可能,通過計算實驗進行視覺算法的設(shè)計與評估,最后借助平行執(zhí)行來在線優(yōu)化視覺系統(tǒng).其中產(chǎn)生虛擬的人工場景便可以采用GAN實現(xiàn),如圖5所示.GAN能夠生成大規(guī)模多樣性的圖像數(shù)據(jù)集,與真實數(shù)據(jù)集結(jié)合起來訓(xùn)練視覺模型,有助于提高視覺模型的泛化能力.

圖6 平行視覺的基本框架與體系結(jié)構(gòu)[52]Fig.6 Basic framework and architecture for parallel vision[52]

4.3.2 GAN與平行控制

平行控制[53?55]是一種反饋控制,是ACP理論在復(fù)雜系統(tǒng)控制領(lǐng)域的具體應(yīng)用,其結(jié)構(gòu)如圖7所示.平行控制核心是利用人工系統(tǒng)進行建模和表示,通過計算實驗進行分析和評估,最后以平行執(zhí)行實現(xiàn)對復(fù)雜系統(tǒng)的控制.除了人工系統(tǒng)的生成和計算實驗的分析,平行控制中的人工系統(tǒng)和實際系統(tǒng)平行執(zhí)行的過程也利用GAN進行模擬,一方面可以進行人工系統(tǒng)的預(yù)測學(xué)習(xí)和實際系統(tǒng)的反饋學(xué)習(xí),另一方面可以進行控制單元的模擬學(xué)習(xí)和強化學(xué)習(xí).

4.3.3 GAN與平行學(xué)習(xí)

平行學(xué)習(xí)[56]是一種新的機器學(xué)習(xí)理論框架,是ACP理論在學(xué)習(xí)領(lǐng)域的體現(xiàn),其理論框架如圖8所示.平行學(xué)習(xí)理論框架強調(diào):使用預(yù)測學(xué)習(xí)解決如何隨時間發(fā)展對數(shù)據(jù)進行探索;使用集成學(xué)習(xí)解決如何在空間分布上對數(shù)據(jù)進行探索;使用指示學(xué)習(xí)解決如何探索數(shù)據(jù)生成的方向.平行學(xué)習(xí)作為機器學(xué)習(xí)的一個新型理論框架,與平行視覺和平行控制關(guān)系密切.GAN在大數(shù)據(jù)生成、基于計算實驗的預(yù)測學(xué)習(xí)等方面都可以和平行學(xué)習(xí)結(jié)合發(fā)展.

5 結(jié)論

本文綜述了生成式對抗網(wǎng)絡(luò)GAN的研究進展. GAN提出后,立刻受到了人工智能研究者的重視. GAN的基本思想源自博弈論的二人零和博弈,由一個生成器和一個判別器構(gòu)成,通過對抗學(xué)習(xí)的方式來迭代訓(xùn)練,逼近納什均衡.GAN作為一種生成式模型,不直接估計數(shù)據(jù)樣本的分布,而是通過模型學(xué)習(xí)來估測其潛在分布并生成同分布的新樣本.這種從潛在分布生成“無限”新樣本的能力,在圖像和視覺計算、語音和語言處理、信息安全等領(lǐng)域具有重大的應(yīng)用價值.

圖7 平行控制系統(tǒng)的結(jié)構(gòu)[55]Fig.7 Structure of parallel control systems[55]

圖8 平行學(xué)習(xí)的理論框架圖[56]Fig.8 Theoretical framework of parallel learning[56]

本文還展望了GAN的發(fā)展趨勢,重點討論了GAN與平行智能的關(guān)系,認(rèn)為GAN可以深化平行系統(tǒng)的虛實互動、交互一體的理念,為ACP理論提供具體和豐富的算法支持.在平行視覺、平行控制、平行學(xué)習(xí)等若干平行系統(tǒng)中,GAN可以通過生成與真實數(shù)據(jù)同分布的數(shù)據(jù)樣本,來支持平行系統(tǒng)的理論和應(yīng)用研究.因此,GAN作為一種有效的生成式模型,可以融入到平行智能的研究體系.

1 Goodfellow I,Pouget-Abadie J,Mirza M,Xu B,Warde-Farley D,Ozair S,Courville A,Bengio Y.Generative adversarial nets.In:Proceedings of the 2014 Conference on Advances in Neural Information Processing Systems 27.Montreal,Canada:Curran Associates,Inc.,2014.2672?2680

2 Goodfellow I,Bengio Y,Courville A.Deep Learning.Cambridge,UK:MIT Press,2016.

3 Ratli ffL J,Burden S A,Sastry S S.Characterization and computation of local Nash equilibria in continuous games. In:Proceedings of the 51st Annual Allerton Conference on Communication,Control,and Computing(Allerton).Monticello,IL,USA:IEEE,2013.917?924

4 Goodfellow I.NIPS 2016 tutorial:generative adversarial networks.arXiv preprint arXiv:1701.00160,2016.

5 Li J W,Monroe W,Shi T L,Jean S,Ritter A,Jurafsky D. Adversarial learning for neural dialogue generation.arXiv preprint arXiv:1701.06547,2017.

6 Yu L T,Zhang W N,Wang J,Yu Y.SeqGAN:sequence generative adversarial nets with policy gradient.arXiv preprint arXiv:1609.05473,2016.

7 Hu WW,Tan Y.Generating adversarial malware examples for black-box attacks based on GAN.arXiv preprint arXiv: 1702.05983,2017.

8 Chidambaram M,Qi Y J.Style transfer generative adversarial networks:learning to play chess di ff erently.arXiv preprint arXiv:1702.06762,2017.

9 Bengio Y.Learning deep architectures for AI.Foundations and Trends in Machine Learning,2009,2(1):1?127

10 Kingma D P,Welling M.Auto-encoding variational Bayes. arXiv preprint arXiv:1312.6114,2013.

11 Rezende D J,Mohamed S,Wierstra D.Stochastic backpropagation and approximate inference in deep generative models.arXiv preprint arXiv:1401.4082,2014.

12 Hinton G E,Sejnowski T J,Ackley D H.Boltzmann Machines:Constraint Satisfaction Networks that Learn.Technical Report No.CMU-CS-84?119,Carnegie-Mellon University,Pittsburgh,PA,USA,1984.

13 Ackley D H,Hinton G E,Sejnowski T J.A learning algorithm for Boltzmann machines.Cognitive Science,1985, 9(1):147?169

14 Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief nets.Neural Computation,2006,18(7): 1527?1554

15 Bengio Y,Thibodeau-Laufer′E,Alain G,Yosinski J.Deep generative stochastic networks trainable by backprop.arXiv preprint arXiv:1306.1091,2013.

16 Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks.Science,2006,313(5786): 504?507

17 LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015, 521(7553):436?444

18 Krizhevsky A,Sutskever I,Hinton G E.Imagenet classi fication with deep convolutional neural networks.In:Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe,Nevada,USA: ACM,2012.1097?1105

19 He K M,Zhang X Y,Ren S Q,Sun J.Deep residual learning for image recognition.In:Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,NV,USA:IEEE,2016.770?778

20 Hinton G,Deng L,Yu D,Dahl G E,Mohamed A R,Jaitly N, Senior A,Vanhoucke V,Nguyen P,Sainath T N,Kingsbury B.Deep neural networks for acoustic modeling in speech recognition:the shared views of four research groups.IEEE Signal Processing Magazine,2012,29(6):82?97

21 Sutskever I,Vinyals O,Le Q V.Sequence to sequence learning with neural networks.In:Proceedings of the 2014 Conference on Advances in Neural Information Processing Systems 27.Montreal,Canada:Curran Associates,Inc.,2014. 3104?3112.

22 He D,Chen W,Wang L W,Liu T Y.A game-theoretic machine learning approach for revenue maximization in sponsored search.arXiv preprint arXiv:1406.0728,2014.

23 Silver D,Huang A,Maddison C J,Guez A,Sifre L,van Den Driessche G,Schrittwieser J,Antonoglou I,Panneershelvam V,Lanctot M,Dieleman S,Grewe D,Nham J,Kalchbrenner N,Sutskever I,Lillicrap T,Leach M,Kavukcuoglu K, Graepel T,Hassabis D.Mastering the game of go with deep neural networks and tree search.Nature,2016,529(7587): 484?489

24 Schmidhuber J.Learning factorial codes by predictability minimization.Neural Computation,1992,4(6):863?879

25 Ganin Y,Ustinova E,Ajakan H,Germain P,Larochelle H,Laviolette F,Marchand M,Lempitsky V.Domainadversarial training of neural networks.Journal of Machine Learning Research,2016,17(59):1?35

26 Chen W Z,Wang H,Li Y Y,Su H,Wang Z H,Tu C H, Lischinski D,Cohen-Or D,Chen B.Synthesizing training images for boosting human 3D pose estimation.In:Proceedings of the 2016 Fourth International Conference on 3D Vision(3DV).Stanford,CA,USA:IEEE,2016.479?488

27 Szegedy C,Zaremba W,Sutskever I,Bruna J,Erhan D, Goodfellow I,Fergus R.Intriguing properties of neural networks.arXiv preprint arXiv:1312.6199,2013.

28 McDaniel P,Papernot N,Celik Z B.Machine learning in adversarial settings.IEEE Security&Privacy,2016,14(3): 68?72

29 Arjovsky M,Chintala S,Bottou L.Wasserstein GAN.arXiv preprint arXiv:1701.07875,2017.

30 Qi G J.Loss-sensitive generative adversarial networks on Lipschitz densities.arXiv preprint arXiv:1701.06264,2017.

31 Odena A.Semi-supervised learning with generative adversarial networks.arXiv preprint arXiv:1606.01583,2016.

32 Mirza M,Osindero S.Conditional generative adversarial nets.arXiv preprint arXiv:1411.1784,2014.

33 Donahue J,Kr¨ahenb¨uhl P,Darrell T.Adversarial feature learning.arXiv preprint arXiv:1605.09782,2016.

34 Chen X,Duan Y,Houthooft R,Schulman J,Sutskever I, Abbeel P.InfoGAN:interpretable representation learning by information maximizing generative adversarial nets.In: Proceedings of the 2016 Neural Information Processing Systems.Barcelona,Spain:Department of Information Technology IMEC,2016.2172?2180

35 Odena A,Olah C,Shlens J.Conditional image synthesis with auxiliary classi fi er GANs.arXiv preprint arXiv: 1610.09585,2016.

36 Ledig C,Theis L,Husz′ar F,Caballero J,Cunningham A, Acosta A,Aitken A,Tejani A,Totz J,Wang Z H,Shi W Z. Photo-realistic single image super-resolution using a generative adversarial network.arXiv preprint arXiv:1609.04802, 2016.

37 Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition.arXiv preprint arXiv:1409.1556,2014.

38 Santana E,Hotz G.Learning a driving simulator.arXiv preprint arXiv:1608.01230,2016.

39 Gou C,Wu Y,Wang K,Wang F Y,Ji Q.Learning-bysynthesis for accurate eye detection.In:Proceedings of the 2016 IEEE International Conference on Pattern Recognition (ICPR).Cancun,Mexico:IEEE,2016.

40 Gou C,Wu Y,Wang K,Wang K F,Wang F Y,Ji Q.A joint cascaded framework for simultaneous eye detection and eye state estimation.Pattern Recognition,2017,67:23?31

41 Shrivastava A,P fi ster T,Tuzel O,Susskind J,Wang W D,Webb R.Learning from simulated and unsupervised images through adversarial training.arXiv preprint arXiv: 1612.07828,2016.

42 Zhang Y Z,Gan Z,Carin L.Generating text via adversarial training.In:Proceedings of the 2016 Conference on Advances in Neural Information Processing Systems 29.Curran Associates,Inc.,2016.

43 Reed S,Akata Z,Yan X C,Logeswaran L,Lee H,Schiele B.Generative adversarial text to image synthesis.In:Proceedings of the 33rd International Conference on Machine Learning.New York,NY,USA:ICML,2016.

44 Ho J,Ermon S.Generative adversarial imitation learning. In:Proceedings of the 2016 Conference on Advances in Neural Information Processing Systems 29.Curran Associates, Inc.,2016.4565?4573

45 Finn C,Christiano P,Abbeel P,Levine S.A connection between generative adversarial networks,inverse reinforcement learning,and energy-based models.arXiv preprint arXiv: 1611.03852,2016.

46 Pfau D,Vinyals O.Connecting generative adversarial networks and actor-critic methods.arXiv preprint arXiv: 1610.01945,2016.

47 Wang Fei-Yue.Parallel system methods for management and control of complex systems.Control and decision,2004, 19(5):485?489,514 (王飛躍.平行系統(tǒng)方法與復(fù)雜系統(tǒng)的管理和控制.控制與決策, 2004,19(5):485?489,514)

48 Wang Fei-Yue.Computational experiments for behavior analysis and decision evaluation of complex systems.Journal of System Simulation,2004,16(5):893?897 (王飛躍.計算實驗方法與復(fù)雜系統(tǒng)行為分析和決策評估.系統(tǒng)仿真學(xué)報,2004,16(5):893?897)

49 Wang F Y,Zhang J,Wei Q L,Zheng X H,Li L.PDP: parallel dynamic programming.IEEE/CAA Journal of Automatica Sinica,2017,4(1):1?5

50 Bai Tian-Xiang,Wang Shuai,Shen Zhen,Cao Dong-Pu, Zheng Nan-Ning,Wang Fei-Yue.Parallel robotics and parallel unmanned systems:framework,structure,process,platform and applications.Acta Automatica Sinica,2017,43(2): 161?175 (白天翔,王帥,沈震,曹東璞,鄭南寧,王飛躍.平行機器人與平行無人系統(tǒng):框架、結(jié)構(gòu)、過程、平臺及其應(yīng)用.自動化學(xué)報,2017, 43(2):161?175)

51 Wang F Y,Wang X,Li L X,Li L.Steps toward parallel intelligence.IEEE/CAA Journal of Automatica Sinica,2016, 3(4):345?348

52 Wang Kun-Feng,Gou Chao,Wang Fei-Yue.Parallel vision: an ACP-based approach to intelligent vision computing. Acta Automatica Sinica,2016,42(10):1490?1500 (王坤峰,茍超,王飛躍.平行視覺:基于ACP的智能視覺計算方法.自動化學(xué)報,2016,42(10):1490?1500)

53 Wang Fei-Yue.On the modeling,analysis,control and management of complex systems.Complex Systems and Complexity Science,2006,3(2):26?34 (王飛躍.關(guān)于復(fù)雜系統(tǒng)的建模、分析、控制和管理.復(fù)雜系統(tǒng)與復(fù)雜性科學(xué),2006,3(2):26?34)

54 Wang Fei-Yue,Liu De-Rong,Xiong Gang,Cheng Chang-Jian,Zhao Dong-Bin.Parallel control theory of complex systems and applications.Complex Systems and Complexity Science,2012,9(3):1?12 (王飛躍,劉德榮,熊剛,程長建,趙冬斌.復(fù)雜系統(tǒng)的平行控制理論及應(yīng)用.復(fù)雜系統(tǒng)與復(fù)雜性科學(xué),2012,9(3):1?12)

55 Wang Fei-Yue.Parallel control:a method for data-driven and computational control.Acta Automatica Sinica,2013, 39(4):293?302 (王飛躍.平行控制:數(shù)據(jù)驅(qū)動的計算控制方法.自動化學(xué)報,2013, 39(4):293?302)

56 Li Li,Lin Yi-Lun,Cao Dong-Pu,Zheng Nan-Ning,Wang Fei-Yue.Parallel learning—a new framework for machine learning.Acta Automatica Sinica,2017,43(1):1?8 (李力,林懿倫,曹東璞,鄭南寧,王飛躍.平行學(xué)習(xí)— 機器學(xué)習(xí)的一個新型理論框架.自動化學(xué)報,2017,43(1):1?8)

Generative Adversarial Networks:The State of the Art and Beyond

WANG Kun-Feng1,2GOU Chao1,3DUAN Yan-Jie1,3LIN Yi-Lun1,3ZHENG Xin-Hu4WANG Fei-Yue1,5

Generative adversarial networks(GANs)have become a hot research topic in arti fi cial intelligence.Inspired by the two-player zero-sum game,GAN is composed of a generator and a discriminator,both trained with the adversarial learning mechanism.The aim of GAN is to estimate the potential distribution of existing data and generate new data samples from the same distribution.Since its initiation,GAN has been widely studied due to its enormous prospect for applications,including image and vision computing,speech and language processing,information security,and chess game.In this paper we summarize the state of the art of GAN and look into its future.First of all,we survey the GAN′s background,theoretic and implementation models,application fi elds,advantages and disadvantages,and development trends.Then,we investigate the relation between GAN and parallel intelligence with the conclusion that GAN has a great potential in parallel systems especially in computational experiments,in terms of virtual-real interaction and integration. Finally,we clarify that GAN can provide speci fi c and substantial algorithmic support for the ACP theory.

Generative adversarial networks,generative models,zero-sum game,adversarial learning,parallel intelligence,ACP methodology

王坤峰 中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室副研究員.主要研究方向為智能交通系統(tǒng),智能視覺計算,機器學(xué)習(xí).E-mail:kunfeng.wang@ia.ac.cn(WANG Kun-Feng Associate professor at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.His research interest covers intelligent transportation systems,intelligent vision computing,and machine learning.)

茍 超 中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室博士研究生.主要研究方向為智能交通系統(tǒng),圖像處理,模式識別.E-mail:gouchao2012@ia.ac.cn(GOU Chao Ph.D.candidate at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.His research interest covers intelligent transportation systems,image processing,and pattern recognition.)

段艷杰 中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室博士研究生.主要研究方向為智能交通系統(tǒng),機器學(xué)習(xí)及應(yīng)用.E-mail:duanyanjie2012@ia.ac.cn(DUAN Yan-Jie Ph.D.candidate at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.Her research interest covers intelligent transportation systems,machinelearning and its application.)

林懿倫 中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室博士研究生.主要研究方向為社會計算,智能交通系統(tǒng),深度學(xué)習(xí)和強化學(xué)習(xí).E-mail:linyilun2014@ia.ac.cn(LIN Yi-Lun Ph.D.candidate at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.His research interest covers social computing,intelligent transportation systems,deep learning and reinforcement learning.)

鄭心湖 明尼蘇達大學(xué)計算機科學(xué)與工程學(xué)院研究生.主要研究方向為社會計算,機器學(xué)習(xí),數(shù)據(jù)分析.E-mail:zheng473@umn.edu(ZHENG Xin-Hu Postgraduate in the Department of Computer Science and Engineering,University of Minnesota,USA.His research interest covers social computing, machine learning,and data analytics.)

王飛躍 中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室研究員.國防科學(xué)技術(shù)大學(xué)軍事計算實驗與平行系統(tǒng)技術(shù)研究中心主任.主要研究方向為智能系統(tǒng)和復(fù)雜系統(tǒng)的建模、分析與控制.本文通信作者.E-mail:feiyue.wang@ia.ac.cn(WANG Fei-Yue Professor at The State Key Laboratory of Management and Control for Complex Systems, Institute of Automation,Chinese Academy of Sciences.Director of the Research Center for Computational Experiments and Parallel Systems Technology,National University of Defense Technology.His research interest covers modeling,analysis,and control of intelligent systems and complex systems.Corresponding author of this paper.)

王坤峰,茍超,段艷杰,林懿倫,鄭心湖,王飛躍.生成式對抗網(wǎng)絡(luò)GAN的研究進展與展望.自動化學(xué)報,2017, 43(3):321?332

Wang Kun-Feng,Gou Chao,Duan Yan-Jie,Lin Yi-Lun,Zheng Xin-Hu,Wang Fei-Yue.Generative adversarial networks:the state of the art and beyond.Acta Automatica Sinica,2017,43(3):321?332

2017-02-01 錄用日期2017-03-01

Manuscript received February 1,2017;accepted March 1,2017國家自然科學(xué)基金(61533019,71232006,91520301)資助

Supported by National Natural Science Foundation of China (61533019,71232006,91520301)本文責(zé)任編委劉德榮

Recommended by Associate Editor LIU De-Rong 1.中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室北京100190 中國 2.青島智能產(chǎn)業(yè)技術(shù)研究院 青島266000 中國 3.中國科學(xué)院大學(xué)北京100049中國 4.明尼蘇達大學(xué)計算機科學(xué)與工程學(xué)院明尼阿波利斯MN 55414美國 5.國防科學(xué)技術(shù)大學(xué)軍事計算實驗與平行系統(tǒng)技術(shù)研究中心長沙410073 中國

1.The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences,Beijing 100190,China 2.Qingdao Academy of Intelligent Industries,Qingdao 266000,China 3.University of Chinese Academy of Sciences,Beijing 100049,China 4.Department of Computer Science and Engineering,University of Minnesota,Minneapolis,MN 55414,USA 5.Research Center for Computational Experiments and Parallel Systems Technology,National University of Defense Technology,Changsha 410073,China

DOI10.16383/j.aas.2017.y000003