花強(qiáng),劉軼功,張峰,董春茹

(河北大學(xué) 河北省機(jī)器學(xué)習(xí)與計算智能重點(diǎn)實(shí)驗(yàn)室， 河北 保定 071002)

近年來，基于無監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)技術(shù)受到了越來越多學(xué)者的關(guān)注[1-4]，其中生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)[5-9]和變分自編碼器(variational auto-encoder，VAE)[10]是高維復(fù)雜數(shù)據(jù)建模的2類最重要的深度生成模型. GAN模型的優(yōu)勢在于不需要對生成分布進(jìn)行顯式表達(dá)，避免了VAE模型中復(fù)雜的馬爾可夫鏈采樣和推理計算，可以訓(xùn)練得到生成高品質(zhì)樣本的生成模型.然而，原始GAN及其眾多變種不包含從數(shù)據(jù)空間到隱變量空間的映射，缺少有效的推理機(jī)制，并且缺乏完備的理論保障，從而使得GAN的訓(xùn)練需要謹(jǐn)慎地選擇各個超參數(shù).進(jìn)一步的研究發(fā)現(xiàn)，GAN對生成樣本多樣性和準(zhǔn)確性的懲罰不平衡，有可能導(dǎo)致生成器傾向于重復(fù)生成少數(shù)幾種樣本，出現(xiàn)模式坍塌(mode collapse)[11-12]問題.因此，Donahue等[13]受VAE的編碼器原理啟發(fā)，提出了一種雙向生成對抗網(wǎng)絡(luò)(adversarial feature learning，BiGAN).BiGAN在原始GAN框架的基礎(chǔ)上，引入編碼器實(shí)現(xiàn)了隱變量特征空間的學(xué)習(xí)和推理機(jī)制.同一時期，Dumoulin等[14]獨(dú)立的提出了與BiGAN類似的模型——對抗學(xué)習(xí)推理(adversarially learned inference，ALI)，ALI將一個稱為推理器的編碼網(wǎng)絡(luò)和一個深度定向生成網(wǎng)絡(luò)集成在GAN的框架下共同訓(xùn)練.模型結(jié)合了GAN和VAE的部分優(yōu)點(diǎn)，具有良好的學(xué)習(xí)性能，與當(dāng)前流行的自監(jiān)督和弱監(jiān)督特征學(xué)習(xí)方法[15-16]相比也具有一定的競爭力.由于BiGAN和ALI模型在優(yōu)化目標(biāo)函數(shù)時，需要最小化真實(shí)數(shù)據(jù)分布和生成樣本分布的差異，通常利用分布散度作為基本度量，如Jensen-Shannon(JS)散度或Kullback-Leibler(KL)散度.然而，真實(shí)數(shù)據(jù)分布和生成樣本分布的支撐集是高維空間中的低維流形時，2個分布重疊部分的測度為0，這將導(dǎo)致在訓(xùn)練模型迭代過程中，出現(xiàn)梯度為零或者無窮大的情況，從而使得生成器無法接收有效的梯度信息，導(dǎo)致訓(xùn)練失敗，影響模型魯棒性.基于此原因，Arjovsky等[17]提出了Wasserstein GAN(WGAN)模型.WGAN使用Wasserstein距離代替GAN模型損失函數(shù)中的KL散度作為衡量2個概率分布之間的相似性.理論和實(shí)驗(yàn)表明，該方法能夠在一定程度上緩解GAN模型訓(xùn)練過程中的梯度消失和爆炸現(xiàn)象，但是WGAN不具備隱含特征學(xué)習(xí)功能，容易出現(xiàn)模型坍塌的問題.

為了同時解決上述生成模型存在的模式坍塌和梯度消失爆炸問題，本文提出了一種基于Wasserstein距離的雙向?qū)W習(xí)推理模型(Wasserstein bidirectional learned inference，WBLI).WBLI使用Wasserstein距離代替BiGAN中的KL散度作為衡量概率分布差異的度量；同時，WBLI模型由生成器、編碼器和判別器3個網(wǎng)絡(luò)模塊構(gòu)成，其中生成器和編碼器在數(shù)據(jù)特征空間和與之對應(yīng)的隱變量空間的聯(lián)合分布之間建立雙向聯(lián)系，而判別器度量了2個聯(lián)合分布的Wasserstein距離；最后，WBLI采用了交替迭代算法對網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練.在MNIST和Fashion MNIST數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，WBLI模型可以有效緩解基于KL散度的模型在訓(xùn)練過程中梯度消失或梯度爆炸的缺陷；此外，WBLI通過引入有學(xué)習(xí)數(shù)據(jù)樣本內(nèi)在特征的逆映射的編碼器結(jié)構(gòu)，具有類似于BiGAN和ALI模型具有的隱式正則化、模式覆蓋等優(yōu)點(diǎn).

本文的主要貢獻(xiàn)：1)提出了一種基于Wasserstein距離的雙向?qū)W習(xí)推理模型(WBLI)，該模型緩解了基于KL散度的BiGAN及ALI訓(xùn)練過程中梯度消失或梯度爆炸問題，從而提高了模型對于樣本分布的魯棒性；同時WBLI一定程度可以緩解WGAN中的模式坍塌問題.2)從結(jié)構(gòu)及實(shí)驗(yàn)2方面將WBLI與BiGAN和WGAN進(jìn)行了深度比較，結(jié)果表明WBLI從模型功能和圖像生成效果上都有一定的提高.

1 相關(guān)模型

首先介紹雙向生產(chǎn)對抗網(wǎng)絡(luò)模型及Wasserstein距離，并引入本文工作所需的主要數(shù)學(xué)符號和基礎(chǔ)概念.

1.1 雙向生成對抗網(wǎng)絡(luò)

GAN最早于2014年由Goodfellow等[5]提出，是一種實(shí)現(xiàn)復(fù)雜數(shù)據(jù)分布學(xué)習(xí)的無監(jiān)督生成模型.該模型主要由生成器網(wǎng)絡(luò)G和判別器網(wǎng)絡(luò)D兩部分構(gòu)成，其中生成器將輸入的隨機(jī)噪聲映射為生成樣本，而判別器同時接收真實(shí)樣本和生成樣本，并判別輸入樣本的真?zhèn)?即判別樣本是真實(shí)樣本還是生成樣本).在GAN模型的訓(xùn)練過程中，通過構(gòu)建目標(biāo)函數(shù)引入競爭機(jī)制讓這2個網(wǎng)絡(luò)同時得到優(yōu)化，最終使得生成器生成與真實(shí)樣本數(shù)據(jù)分布足夠相似的新數(shù)據(jù)分布.GAN模型的結(jié)構(gòu)如圖1所示.

圖1 GAN 結(jié)構(gòu)Fig.1 Structure of GAN

設(shè)q(x)為真實(shí)數(shù)據(jù)分布，其中x∈ΩX，設(shè)p(z)為一個固定的隱編碼分布，其中z∈ΩZ，通常定義為簡單分布，例如標(biāo)準(zhǔn)正態(tài)分布p(z)=N(0,1)，生成器G∶ΩZ→ΩX:可以將隱編碼分布映射到數(shù)據(jù)分布，D(x)代表x來自于真實(shí)數(shù)據(jù)分布q(x)而不是生成樣本分布的概率.據(jù)此GAN網(wǎng)絡(luò)的優(yōu)化目標(biāo)函數(shù)如下：

(1)

圖2 BiGAN結(jié)構(gòu)Fig.2 Structure of BiGAN

(2)

BiGAN采用與GAN相同的基于交替梯度的EM優(yōu)化算法來優(yōu)化目標(biāo)函數(shù)[18].理論上，在BiGAN達(dá)到最優(yōu)解時，即KL散度收斂達(dá)到最小的情況下，可認(rèn)為所有邊緣分布和所有條件分布都已達(dá)到匹配.然而，如引言部分所述，BiGAN目標(biāo)函數(shù)中采用KL散度衡量數(shù)據(jù)分布間的差異，在某些情況下會出現(xiàn)梯度爆炸的情形，從而導(dǎo)致訓(xùn)練失敗，影響模型魯棒性[19].

1.2 Wasserstein距離

生成模型的傳統(tǒng)設(shè)計方法依靠最大似然估計，或者最小化未知的真實(shí)數(shù)據(jù)分布q(x)和生成樣本分布pG(x)之間的KL散度

(3)

文獻(xiàn)[19]中證明當(dāng)處理2個由低維流形支持的分布時，那么這2個低維流形將會具有極小重疊甚至沒有重疊，這意味著KL散度在大部分區(qū)域是無意義的，即KL(q(x)‖pG(x))=∞，并且JS散度將變?yōu)槌?shù)log2，這將導(dǎo)致判別器損失函數(shù)的梯度為無窮或零，從而導(dǎo)致模型訓(xùn)練失敗.因此，Arjovsky等[17]通過全面的理論分析，把Wasserstein距離與其他廣受關(guān)注的度量概率分布的距離和散度相比，用Wasserstein距離替換原始GAN中的KL散度，提出了WGAN模型，其采用的Wasserstein距離定義為

(4)

其中，∏(pr,pg)是以pr和pg為邊緣分布的所有可能的聯(lián)合概率分布的集合.對于每個聯(lián)合分布γ(x,y)，都可以通過采樣的方法獲得(x,y)～γ.計算(x,y)的范數(shù)‖x-y‖，這樣就可以計算每個聯(lián)合分布γ(x,y)的期望值E(x,y)～γ[‖x-y‖].W(pr,pg)為γ(x,y)期望的下確界，更直觀的說，它表示為了將pr移動到pg需要將x移動到y(tǒng)的最小距離或能量.

Wasserstein距離相對KL散度與JS散度具有相對平滑特性，即使2個分布之間沒有交集，Wasserstein距離亦能夠正確度量它們之間的差異，進(jìn)而產(chǎn)生有意義的梯度.因此，WGAN能有效緩解基于KL散度或JS散度的GAN模型的梯度消失或梯度爆炸問題.然而，理論上目前的深度神經(jīng)網(wǎng)絡(luò)只能夠逼近連續(xù)映射，而GAN訓(xùn)練過程中，目標(biāo)映射是具有間斷點(diǎn)的非連續(xù)映射，不在深度神經(jīng)網(wǎng)絡(luò)的可表示泛函空間之中，這導(dǎo)致了收斂困難，從而產(chǎn)生了模式坍塌，可見WGAN并沒有完全克服GAN中的模式坍塌問題.

2 基于Wasserstein距離的雙向?qū)W習(xí)推理

基于以上分析，本文將Wasserstein距離引入到BiGAN中，提出了一種基于Wasserstein距離的雙向?qū)W習(xí)推理模型(即WBLI)，以綜合BiGAN和Wasserstein距離的優(yōu)點(diǎn)，從而獲得更加穩(wěn)定的學(xué)習(xí)模型.

(5)

其中，θG,θE,θD分別表示生成器G、推理器E和判別器D的模型參數(shù).WBLI使用對抗方式聯(lián)合訓(xùn)練一個生成器與一個推理器，生成器G將服從簡單分布的隱變量映射到數(shù)據(jù)空間，而推理器E將訓(xùn)練樣本從數(shù)據(jù)空間反映射回隱變量空間.因此，對抗博弈在G，E與D之間展開.因?yàn)閃BLI具有逆映射結(jié)構(gòu)，所以推理器在編碼的過程中將相似樣本的隱變量聚在一起，使得流形連續(xù)，達(dá)到隱式正則化的效果，從而可以提高模型泛化能力.

γ([x1,x2],[y1,y2])∈∏(q(x,z),p(x,z)),

此時Wasserstein距離的計算公式如(6)式

(6)

(7)

其中

由于映射函數(shù)f的參數(shù)可調(diào)節(jié)，故f要滿足在γ?π時使整體附加項(xiàng)趨于無窮，使得supf無解，從而達(dá)到類似(6)式的約束效果.而當(dāng)γ∈π時，s和x都是從同一個邊緣分布中采樣，s和x兩個隨機(jī)變量分布的期望值相等，故Ef(s)-Ef(x)=0，t和y同理，從而整體附加項(xiàng)等于零.這樣就成功地去掉了γ∈π的約束.將(7)式2項(xiàng)合并得到(8)式

(8)

由于sup為凸函數(shù)且inf為凹函數(shù)，根據(jù)極小極大原理[20]，得到 (9) 式

(9)

(10)

在具體算法實(shí)現(xiàn)中，可將函數(shù)f(x)用一簇參數(shù)為w的神經(jīng)網(wǎng)絡(luò)參數(shù)化，并采用權(quán)重裁剪方法使得函數(shù)滿足Lipschitz連續(xù)，此時求上界的問題便可轉(zhuǎn)化為如下(11)式所表示的優(yōu)化問題

(11)

接下來生成器要近似地最小化Wasserstein距離，可由此設(shè)置最小化損失函數(shù)L，由于Wasserstein距離的優(yōu)良性質(zhì)，可有效避免判別器的梯度消失問題.再考慮到L的第1項(xiàng)與生成器無關(guān)，得到WBLI最終的2個損失函數(shù)

LG=-Ex～p(z)[fw(x)]，

(12)

(13)

LD是(11)式的相反數(shù)，可以指示訓(xùn)練進(jìn)程，其數(shù)值越小，表示真實(shí)分布與生成分布的Wasserstein距離越小，WBLI訓(xùn)練得越好.在訓(xùn)練生成器時，首先固定判別器的參數(shù)，從正態(tài)分布N(0,1)中采樣m個樣本作為一個批次的訓(xùn)練數(shù)據(jù)輸入判別器，然后根據(jù)(13)式計算生成器損失，同樣采用RMSProp[21]算法更新其參數(shù).由于更優(yōu)的判別器可以反向傳播給生成器更準(zhǔn)確的梯度信息，因此從訓(xùn)練開始，在每次更新生成器之前，均需更新判別器n次，以使判別器D更快收斂.完整的訓(xùn)練過程如算法1所示.

算法1 WBLI輸入 z: 隱變量;T: 訓(xùn)練數(shù)據(jù)集;m: 批次大小;α: 學(xué)習(xí)率;c: 判別器的梯度剪裁數(shù).n: 生成器和推理器優(yōu)化過程中的判別器更新次數(shù).輸出 判別器參數(shù)θD;生成器參數(shù)θG;推理器參數(shù)θE1)隨機(jī)初始化θD和θG2)重復(fù)3) for t=0,…,n do 4) z1,…,zm～p(z)5) x1,…,xm～q(x)6) z^1,…,z^m～qE(z^|x=xi),i=1,…,m7) x^1,…,x^m～pG(x^|z=zj),j=1,…,m8) LD←1m∑mi=1fθD(D(xi,z^i))-1m∑mi=1fθD(D(x^i,zi))9) θD←θD+α×RMSProp(θD,?θDLD)10)剪裁θD,將其限制在[-c,c]范圍內(nèi)11)結(jié)束重復(fù)12)z1,…,zi～p(z)13) LG←1m∑mi=1fθD(D(xi,z^i))14) θG←θG+α×RMSProp(θG,?θGLG),θE←θE+α×RMSProp(θE,?θELG)15) 結(jié)束至判別器收斂

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)運(yùn)行操作系統(tǒng)為64位Windows10，編程語言為Python3.6，基于TensorFlow開源框架，使用的數(shù)據(jù)集為MNIST[22]和FashionMNIST[23].MNIST是手寫體數(shù)據(jù)集，分為60 000個訓(xùn)練樣本和10 000個測試樣本.所有數(shù)字圖像都標(biāo)準(zhǔn)化為28X28像素的固定大小.每個像素由0到255之間的值表示，其中0為黑色，255為白色，介于兩者之間的數(shù)值代表不同的灰色影像.FashionMNIST由德國Zalando科技公司的研究部門提供，F(xiàn)ashionMNIST的大小、格式和訓(xùn)練集、測試集劃分與原始的MNIST完全一致，涵蓋了來自10種類別的共70 000個不同商品的正面圖片.

3.2 生成樣本質(zhì)量與Wasserstein距離

眾所周知，在訓(xùn)練GAN和BiGAN過程中，生成器G的目標(biāo)是盡量生成真實(shí)的圖片去欺騙判別器D；而D的目標(biāo)是盡量把G生成的圖片和真實(shí)的圖片區(qū)分開.這樣，G和D就構(gòu)成了一個動態(tài)的“博弈過程”.然而GAN和BiGAN在訓(xùn)練過程中沒有任何指示訓(xùn)練進(jìn)度的指標(biāo)，只能基于經(jīng)驗(yàn)和生成樣本的效果來判斷模型是否收斂.本文提出的WBLI模型在引入Wasserstein距離度量后，自動建立了生成模型訓(xùn)練的進(jìn)程監(jiān)視指標(biāo).本節(jié)實(shí)驗(yàn)就是驗(yàn)證生成樣本質(zhì)量同Wasserstein距離的正比關(guān)系.

在本節(jié)實(shí)驗(yàn)，WBLI模型中生成器G、推理器E、判別器D均由3層神經(jīng)元網(wǎng)絡(luò)實(shí)現(xiàn).設(shè)定3個網(wǎng)絡(luò)的隱含層神經(jīng)元個數(shù)均取128，則生成網(wǎng)絡(luò)G輸入、隱含和輸出層神經(jīng)元個數(shù)依次為10-128-784，推理網(wǎng)絡(luò)E與G的神經(jīng)元結(jié)構(gòu)鏡像對稱為784-128-10，判別網(wǎng)絡(luò)D接收G和E的聯(lián)合數(shù)據(jù)進(jìn)行真?zhèn)闻袛?，因此網(wǎng)絡(luò)結(jié)構(gòu)為794-128-1.模型學(xué)習(xí)率設(shè)為0.000 1.根據(jù)算法1，每訓(xùn)練5次判別網(wǎng)絡(luò)，則更新訓(xùn)練1次生成網(wǎng)絡(luò)和推理網(wǎng)絡(luò)，輸出損失函數(shù)并記錄生成樣本.抽取了5張不同迭代階段的生成樣本和對應(yīng)Wasserstein距離值，關(guān)系如圖3所示，可以直觀地看到，判別器所輸出的Wasserstein距離與生成器的生成圖片的質(zhì)量高度相關(guān)(更多隨迭代次數(shù)生成的樣本序列見圖4).隨著Wasserstein距離的不斷減小，生成樣本的質(zhì)量逐漸提高.因此，Wasserstein距離可作為訓(xùn)練階段進(jìn)程評判指標(biāo)，這也是WBLI相比于其他基于KL散度模型的一個優(yōu)勢.

圖3 生成樣本質(zhì)量和Wasserstein距離的關(guān)系Fig.3 Relationship between the quality of generated images and Wasserstein distance

圖4 生成樣本序列Fig.4 Generating sample sequence graphs

3.3 WBLI模型生成樣本多樣性測試

如前所述，GAN和WGAN不具備隱含特征學(xué)習(xí)功能，易出現(xiàn)模式坍塌問題，即無論輸入模型的簡單隨機(jī)分布如何變化，生成器生成的樣本都缺乏多樣性，不能支撐數(shù)據(jù)空間.WBLI模型能否生成多樣性樣本，是評估該模型優(yōu)劣的重要指標(biāo).

在計算機(jī)圖像領(lǐng)域，定量評價圖像相似度的方法有很多，例如常用方法之一是基于單尺度的結(jié)構(gòu)相似性指標(biāo)SSIM[24-25]

SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[x(x,y)]γ,

(14)

其中x和y分別表示2個視窗圖像，l(x,y),c(x,y)和s(x,y)分別表示2個視窗圖像的亮度、對比度和結(jié)構(gòu)相似度度量，其具體計算公式見文獻(xiàn)[24-25]；而參數(shù)α,β,γ用于控制3部分度量在SSIM中所占比例，一般設(shè)α=β=γ=1.當(dāng)計算2張影像的結(jié)構(gòu)相似性值時，會創(chuàng)建一個局部性視窗，并按式(14)計算視窗內(nèi)圖像的結(jié)構(gòu)相似性值，每次以像素為單位移動視窗，直到整張影像每個位置的SSIM都計算完畢并求取均值，作為2張影像的結(jié)構(gòu)相似性指標(biāo).而為構(gòu)建更貼近主觀的圖像相似性質(zhì)量評價方法，文獻(xiàn)[26]在SSIM的基礎(chǔ)上提出了多層級結(jié)構(gòu)相似性指標(biāo)MS-SSIM[26]，其基本思路為同時考慮多個尺度對圖像相似度進(jìn)行度量，具體定義為

(15)

其中M為尺度層數(shù)，lM(x,y)為視窗圖像x和y在M層上的亮度相似性度量，而cj(x,y)和sj(x,y)分別為視窗圖像x和y在第j層尺度上的對比度和結(jié)構(gòu)相似性度量；而參數(shù)αM用于控制第M層亮度相似性所占比例，βj和γj為第j層尺度上對比度相似性和結(jié)構(gòu)相似性度量所占的比例.本文采用多層級結(jié)構(gòu)相似性指標(biāo)MS-SSIM衡量圖片集的相似性，其值越小，代表圖像集多樣性越好.

圖5為FashionMNIST訓(xùn)練集和測試集各10類數(shù)據(jù)的MS-SSIM平均值，可看到大部分類的MS-SSIM值都小于0.25，因此選擇0.25作為判斷生成樣本是否達(dá)到真實(shí)數(shù)據(jù)集多樣性標(biāo)準(zhǔn)的閾值.同時，通過統(tǒng)計生成樣本MS-SSIM值的變化也可監(jiān)控模式坍塌情況.

圖5 數(shù)據(jù)集的MS-SSIM平均值Fig.5 MS-SSIM average graphs of data sets

圖6表明隨著訓(xùn)練迭代增加，生成樣本的MS-SSIM值逐步減少，最后降低至FashionMNIST數(shù)據(jù)集的MS-SSIM平均值之下.由此可見，WBLI模型的訓(xùn)練過程穩(wěn)定，沒有產(chǎn)生模式坍塌現(xiàn)象.作為對照，圖7給出了BiGAN訓(xùn)練過程中MS-SSIM值的變化趨勢.由圖7可見，在BiGAN訓(xùn)練過程中生成的樣本MS-SSIM值停留在較高水平，并隨迭代次數(shù)增加有增加趨勢，這表明生成樣本出現(xiàn)了相似度過高現(xiàn)象，樣本趨于單調(diào)，從而發(fā)生模式坍塌.

圖7 BiGAN模式坍塌下MS-SSIM值Fig.7 Mode collapse of BiGAN

圖6 WBLI生成樣本的MS-SSIM值Fig.6 MS-SSIM graphs for generating samples

為更加直觀地體現(xiàn)WBLI生成樣本的多樣性，圖8給出了部分WBLI生成樣本的示例.

圖8 WBLI生成樣本示例Fig.8 Generated samples by WBLI

3.4 生成樣本分類識別率

評估生成樣本的質(zhì)量，只是通過圖像觀察是不規(guī)范的.基于同一Le Net-5[25]卷積分類器，分別對WBLI、BiGAN和WGAN模型生成的樣本數(shù)據(jù)在給定類別信息后，進(jìn)行分類測試.

首先為了對BiGAN，WGAN和WBLI有更全面的分析，表1中對這3種模型從是否包含隱變量編碼、梯度穩(wěn)定性以及判別器輸入變量構(gòu)成3個方面進(jìn)行了比較.由表1可看出，BiGAN模型可以通過編碼器從數(shù)據(jù)空間學(xué)習(xí)到隱含特征，并且判別器的輸入是包含原始數(shù)據(jù)和隱變量數(shù)據(jù)的高維向量，使得網(wǎng)絡(luò)能夠?qū)Φ蛯有畔和高層信息z共同進(jìn)行判別，從而提高了判別能力.WGAN憑借Wasserstein距離的優(yōu)點(diǎn)和權(quán)重裁剪技術(shù)避免梯度消失，且其值保持平滑穩(wěn)定.本文提出的WBLI模型正是同時集成了2類模型的優(yōu)勢.

表1 3種模型功能的比較

分類識別率實(shí)驗(yàn)以MNIST手寫數(shù)字?jǐn)?shù)據(jù)集為初始訓(xùn)練集.實(shí)驗(yàn)設(shè)定3種模型分別以MNIST手寫數(shù)據(jù)集進(jìn)行訓(xùn)練.將訓(xùn)練好的3種模型分別生成1 000個生成樣本，然后輸入到同樣已經(jīng)預(yù)先訓(xùn)練好的Le Net-5卷積分類器中，3種模型生成樣本的分類測試正確率如表2所示，同時表2也列出部分生成樣本圖像示例.從生成的示例樣本可看到，WBLI模型生成的樣本更清晰，各類數(shù)字間特征更明顯，辨識度更高.而識別正確率結(jié)果也說明WBLI模型生成的樣本更具有真實(shí)樣本的特征，而這正是因?yàn)閃BLI綜合了WGAN的梯度穩(wěn)定性與BiGAN的推理結(jié)構(gòu).

表2 3種生成樣本分類識別率

4 總結(jié)

在BiGAN模型結(jié)構(gòu)基礎(chǔ)上，引入Wasserstein距離代替KL散度用于計算分布間的差異性，建立了基于Wasserstein距離的魯棒無監(jiān)督生成式學(xué)習(xí)模型WBLI，并將基于Wasserstein距離的多維優(yōu)化問題轉(zhuǎn)化為可求解形式，得到了模型的生成器和判別器的對抗損失函數(shù).一方面，由于WBLI采用的Wasserstein距離具有整體平滑的特性，理論上解決了當(dāng)前基于KL散度或JS散度的無監(jiān)督生成模型(如GAN，BiGAN)的梯度爆炸或梯度消失問題；另一方面，借鑒BiGAN中引入推理器E從而使得模型可以有效緩解模式坍塌問題.WBLI解決了原模型訓(xùn)練不穩(wěn)定的問題，建立了一個可靠的與生成樣本的質(zhì)量高度相關(guān)的訓(xùn)練進(jìn)程指標(biāo)，實(shí)驗(yàn)結(jié)果驗(yàn)證了上述優(yōu)點(diǎn).