陳亞瑞，王浩楠，張芝慧，楊劍寧，丁文強(qiáng)

(天津科技大學(xué)人工智能學(xué)院，天津300457)

生成模型(generative model)是通過引入隱變量建模數(shù)據(jù)的生成過程，訓(xùn)練后的模型可以用于生成新的數(shù)據(jù)樣本．深度生成模型是生成模型和深度神經(jīng)網(wǎng)絡(luò)相結(jié)合．變分自編碼(variational autoencoder，VAE)模型[1-2]和生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GAN)[3-4]作為應(yīng)用最廣泛的兩類深度生成模型，近年來憑借強(qiáng)大的性能表現(xiàn)受到圖像處理[5]、計(jì)算機(jī)視覺、自然語言處理等[6]領(lǐng)域的關(guān)注．這兩類深度生成模型能對(duì)復(fù)雜的高維度數(shù)據(jù)進(jìn)行建模，而且隨著它們變體模型的產(chǎn)生[7-8]，已經(jīng)在數(shù)據(jù)特征提取、數(shù)據(jù)降維、目標(biāo)檢測和生成新數(shù)據(jù)集等方面取得較好的實(shí)際效果．變分自編碼模型通過對(duì)生成過程進(jìn)行顯式建模，采用似然函數(shù)為優(yōu)化目標(biāo)，其中基于變分推理的證據(jù)下界優(yōu)化度量指標(biāo)為衡量模型優(yōu)劣提供了定量指標(biāo)，該模型已經(jīng)成為深度生成模型領(lǐng)域的研究熱點(diǎn)．

變分自編碼器模型作為無監(jiān)督特征學(xué)習(xí)[9]的重要工具，其主要思想是通過神經(jīng)網(wǎng)絡(luò)對(duì)生成模型和后驗(yàn)概率分布的變分近似分布進(jìn)行建模，通過學(xué)習(xí)隱空間與數(shù)據(jù)空間的特征映射，輸出新的重構(gòu)數(shù)據(jù)空間．但因其推理模型表示能力不足，所以生成圖像較為模糊，生成樣本多樣性受限．當(dāng)前很多研究工作基于變分自編碼模型進(jìn)行改進(jìn)，提升數(shù)據(jù)生成質(zhì)量及生成數(shù)據(jù)的多樣性．Manuel等[10]將類別標(biāo)簽信息加入到變分自編碼模型中，提出條件變分自編碼(condition variational autoencoder，CVAE)模型，并將其應(yīng)用于半監(jiān)督學(xué)習(xí)中．Louizos等[11]為了讓變分自編碼模型能夠更明確地學(xué)習(xí)到某些非變性因素的特征表示，提出變分公平自編碼(variational fair autoencoder，VFAE)模型．Vincent等[12]為了去除生成圖像的噪點(diǎn)，改善變分自編碼的生成效果，提出了去噪變分自編碼(denoising variational autoencoder，DVAE)模型．Kingma等[13]將自回歸神經(jīng)網(wǎng)絡(luò)(如PixelRNN[14])應(yīng)用于變分自編碼模型中，充分利用自回歸神經(jīng)網(wǎng)絡(luò)的生成能力，極大地提升了變分自編碼模型的生成效果．

生成對(duì)抗網(wǎng)絡(luò)[3-4]的提出受到業(yè)界的廣泛關(guān)注．因其采用對(duì)抗訓(xùn)練的方式，能夠生成更清晰、更真實(shí)的數(shù)據(jù)樣本，進(jìn)而被應(yīng)用于無監(jiān)督和半監(jiān)督學(xué)習(xí)領(lǐng)域[4,15]．然而，生成對(duì)抗網(wǎng)絡(luò)存在訓(xùn)練不穩(wěn)定、梯度消失和模式崩潰等問題有待解決．為了優(yōu)化變分自編碼模型和生成對(duì)抗網(wǎng)絡(luò)，有許多研究人員將生成對(duì)抗網(wǎng)絡(luò)的對(duì)抗策略引入到變分自編碼模型中.Makhzani等[7]將對(duì)抗策略引入到自編碼模型中，提出對(duì)抗自編碼(adversarial autoencoder，AAE)模型，其度量模型精度的方式已不再是變分下界，雖然沒有廣泛沿用，但模型思想具有很高的研究價(jià)值．Larsen等[16]將生成對(duì)抗網(wǎng)絡(luò)引入到自編碼模型中，提出一種優(yōu)化像素級(jí)圖像的混合模型(AE-GAN)．Dumoulin等[17]提出對(duì)抗學(xué)習(xí)推斷理論(adversarially learned inference)，將對(duì)抗策略引入到推理模型中，讓對(duì)抗策略與變分自編碼模型的結(jié)合進(jìn)一步成為可能．Mescheder等[8]將對(duì)抗思想引入到變分貝葉斯模型中，用“黑盒方法”重新定義推理模型，提出對(duì)抗變分貝葉斯(adversarial variational Bayes，AVB)模型．Huang等[18]提出Intro變分自編碼(introspective variaitonal autoencoders，Intro VAE)模型，并通過該模型得到了超高分辨率的圖像生成效果．

在變分自編碼模型及其變體模型中，推理模型的表示能力不足一直是生成圖像效果不佳的重要原因.因此，本文提出基于對(duì)抗策略的變分自編碼(adversarial variational autoencoder，AVAE)模型解決這一問題．首先介紹變分自編碼模型和對(duì)抗變分貝葉斯模型，其次對(duì)提出的基于對(duì)抗策略的變分自編碼模型進(jìn)行詳細(xì)介紹，最后結(jié)合實(shí)驗(yàn)驗(yàn)證該生成模型在給定參數(shù)的情況下能夠增加推理模型的表示能力，得到更好的變分似然下界，有效提升圖像的生成效果．

1 背 景

1.1 變分自編碼模型

傳統(tǒng)變分自編碼模型是由推理模型(又稱編碼器)和生成模型(又稱解碼器)組成的[1-2]，其中，推理模型是通過多層神經(jīng)網(wǎng)絡(luò)將真實(shí)數(shù)據(jù)x編碼為一個(gè)低維隱變量z，生成模型是將隱變量z通過多層神經(jīng)網(wǎng)絡(luò)還原映射到高維度數(shù)據(jù)空間．變分自編碼模型結(jié)構(gòu)如圖1所示，其中白色節(jié)點(diǎn)z表示隱變量，灰色節(jié)點(diǎn)x表示可觀測量，節(jié)點(diǎn)之間的有向線段表示變量之間的依賴關(guān)系；黑色實(shí)心小方塊表示模型參數(shù)值；qφ(zx)與虛線部分為推理過程，pθ(zx)與實(shí)線部分為生成過程，φ和θ為相關(guān)過程的參數(shù)；方框表示該過程可以重復(fù)出現(xiàn)，例如在該模型中基于隱變量可以重復(fù)生成數(shù)據(jù)樣本，觀測到N條數(shù)據(jù)，則該過程重復(fù)出現(xiàn)了N次．

圖1 變分自編碼模型Fig. 1 Variational autoencoder model

在變分自編碼模型中，先驗(yàn)概率分布 p(z)服從標(biāo)準(zhǔn)高斯分布 N (0,I)，推理模型通過引入近似后驗(yàn)概率分布qφ(zx)逼近真實(shí)后驗(yàn)概率分布pθ(zx)，φ和θ均為模型參數(shù)．通過推導(dǎo)，得到數(shù)據(jù)對(duì)數(shù)似然logpq(x)的下界，又稱為證據(jù)下界[2]或變分似然下界，即

其中：Eqφ(zx)logpθ(xz )為生成模型的重構(gòu)誤差項(xiàng)，用來比較新生成的圖像與真實(shí)圖像之間的差距，通過最大化重構(gòu)誤差項(xiàng)，模型可以得到更好的生成效果；

DKL(qφ(zx) p(z ))為兩個(gè)分布之間的KL散度，用DKL進(jìn)行正則化約束，通過讓近似后驗(yàn)概率分布逼近給定的先驗(yàn)分布，使正則化項(xiàng)最?。?/p>

此時(shí)，變分自編碼模型的目標(biāo)是通過隨機(jī)梯度下降算法[19]學(xué)習(xí)到最優(yōu)的模型參數(shù)φ和θ，使得證據(jù)下界最大，即

變分自編碼模型在訓(xùn)練過程中使用了重參化方法(reparameterization)[1-2]，目的是解決隨機(jī)梯度下降過程中參數(shù)的梯度消失問題．

作為生成模型，雖然變分自編碼模型將變分下界作為模型精度度量標(biāo)準(zhǔn)，但是在圖像生成過程中仍存在生成圖像模糊和生成樣本多樣性受限等問題．這些問題與近似推理模型的表示能力有限有關(guān)[16,18]，而對(duì)抗變分貝葉斯模型很大程度上解決了這一問題．

1.2 對(duì)抗變分貝葉斯模型

對(duì)抗變分貝葉斯模型[8]通過引入“黑盒方法”增加推理模型的表示能力，然后引入對(duì)抗策略求解目標(biāo)函數(shù)中的正則化項(xiàng)．該模型主要包含3個(gè)組件，分別是推理模型、生成模型及鑒別器，如圖2所示：Qφ為推理模型，將真實(shí)圖像x通過神經(jīng)網(wǎng)絡(luò)編碼為隱變量z；Pθ為生成模型，將隱變量z還原映射到高維度數(shù)據(jù)空間；D為鑒別器，用于鑒別隱變量與圖像數(shù)據(jù)形成的數(shù)據(jù)組合；φ和θ為相關(guān)組件的學(xué)習(xí)參數(shù)．

圖2 對(duì)抗變分貝葉斯模型結(jié)構(gòu)示意圖Fig. 2 Schematic diagram of the structure of adversarial variational Bayes model

對(duì)抗變分貝葉斯模型將先驗(yàn)概率分布 p(z)設(shè)定為標(biāo)準(zhǔn)高斯分布 N (0,I)，將真實(shí)圖像x產(chǎn)生的隱變量z輸入到生成模型中，得到重構(gòu)圖像x′并計(jì)算負(fù)重構(gòu)誤差．在此期間，對(duì)抗變分貝葉斯模型重新定義優(yōu)化為

并通過“黑盒方法”向推理模型中加入隨機(jī)噪聲，增加推理模型的靈活性，能有效地表示任何種類隱變量的分布，進(jìn)而將式(3)中 log p(z)-log qφ(zx )與鑒別器建立聯(lián)系，將其推導(dǎo)成含有鑒別器函數(shù) D(x,z)的形式，得出優(yōu)化參數(shù)φ時(shí)的最優(yōu)解為

至此，對(duì)抗變分貝葉斯模型的目標(biāo)函數(shù)為

模型的鑒別器有兩個(gè)輸入，分別是真實(shí)圖像與隱變量組合(x1,z1)和真實(shí)圖像與先驗(yàn)隨機(jī)變量組合(x2,z2)．變分貝葉斯模型認(rèn)定(x1,z1)為正樣本，(x2,z2)為負(fù)樣本，以此讓模型引入對(duì)抗的訓(xùn)練方式．鑒別器的目標(biāo)函數(shù)為

對(duì)抗變分貝葉斯模型在訓(xùn)練過程中讓推理模型和鑒別器交替訓(xùn)練，持續(xù)提升推理模型的表示能力和生成模型的生成能力．待模型訓(xùn)練完成后，可以將先驗(yàn)分布采樣的隨機(jī)噪聲通過生成模型直接映射到數(shù)據(jù)空間，以此作為模型的最終輸出．該模型生成圖像的效果相比于變分自編碼模型有很大提升，且隨著訓(xùn)練的進(jìn)行，生成的圖像也更具多樣性．

2 改進(jìn)的變分自編碼模型

2.1 引入噪聲的推理模型

在傳統(tǒng)變分自編碼模型的推理模型中引入隨機(jī)噪聲，將推理模型表示成qφ(zx,ε1)，其中ε1是來自標(biāo)準(zhǔn)高斯分布 N (0,I)的隨機(jī)噪聲，φ為推理模型參數(shù)．具體做法是將低維度的隨機(jī)噪聲加入到高維度的圖像數(shù)據(jù)中，增加推理模型輸入端的維度．此時(shí)推理模型中不僅包含圖像數(shù)據(jù)，而且包含低維的隨機(jī)噪聲，可提升其表示能力．VAE和AVAE推理模型示意圖如圖3所示，其中Q為推理模型，x為圖像數(shù)據(jù)，z為隱變量，1ε為來自標(biāo)準(zhǔn)高斯分布的隨機(jī)噪聲，即推理模型噪聲．模型的優(yōu)化目標(biāo)為

圖3 VAE和AVAE推理模型示意圖Fig. 3 Schematic diagram of VAE and AVAE inference model

其中：φ和θ分別為推理模型和生成模型的參數(shù).AVAE模型通過在推理模型中引入隨機(jī)噪聲，使其獲得學(xué)習(xí)更復(fù)雜數(shù)據(jù)分布的能力，進(jìn)而提升推理模型的表示能力．

AVAE模型沿用變分自編碼模型中的重參化方法[2,11]避免模型在訓(xùn)練過程中遇到參數(shù)的梯度消失，進(jìn)而能更順利地使用隨機(jī)梯度下降對(duì)參數(shù)更新．模型重參化過程如圖4所示，其中x為圖像數(shù)據(jù)，z為隱變量，μ和σ為推理模型的神經(jīng)網(wǎng)絡(luò)計(jì)算出的隱變量分布的均值和方差，ε2為來自標(biāo)準(zhǔn)高斯分布的重參化噪聲，gφ為重參化函數(shù)，其形式為 gφ(ε, x )=

圖4 AVAE模型的重參化及推理過程Fig. 4 Reparameterization and inference process of AVAE model

重參化方法是對(duì)于每一個(gè)隱變量z ～ qφ(zx,ε1)，通過使用隨機(jī)變量ε2的可微分函數(shù) gφ(ε2,x )重新設(shè)定隱變量z

對(duì)于每一個(gè)真實(shí)數(shù)據(jù)x，采用隨機(jī)梯度下降算法，將式(7)改寫為

將樣本 z(l)輸入到式(9)中等號(hào)后邊第二項(xiàng)，即推導(dǎo)出生成模型生成真實(shí)數(shù)據(jù)x的概率密度．基于隨機(jī)噪聲的模型優(yōu)化問題為

2.2 對(duì)抗網(wǎng)絡(luò)

AVAE模型通過增加對(duì)抗網(wǎng)絡(luò)引入對(duì)抗策略，同時(shí)增加聚合正則化約束，進(jìn)而更好地訓(xùn)練推理模型．推理模型qφ(zx )表示單個(gè)樣本x的近似后驗(yàn)概率分布，對(duì)于樣本集的隱變量空間可以用聚合后驗(yàn)概率分布 q(z)表示，即

AVAE模型在對(duì)抗網(wǎng)絡(luò)的輸入中加入圖像數(shù)據(jù)x，如圖5所示，其中Dφ為對(duì)抗網(wǎng)絡(luò)部分，z為隱變量，z′為從先驗(yàn)分布 p(z)中采樣的隨機(jī)變量．對(duì)抗網(wǎng)絡(luò)將圖像數(shù)據(jù)與先驗(yàn)隨機(jī)變量的組合(x,z′)判定為正樣本，將圖像數(shù)據(jù)與隱變量的組合(x,z)判定為負(fù)樣本．

圖5 AVAE模型對(duì)抗網(wǎng)絡(luò)示意圖Fig. 5 Schematic diagram of AVAE model’s adversarial network

由此，對(duì)抗網(wǎng)絡(luò)的目標(biāo)函數(shù)為

其中：Dφ(x,z)為對(duì)抗網(wǎng)絡(luò)函數(shù)，φ表示對(duì)抗網(wǎng)絡(luò)參數(shù)．對(duì)抗網(wǎng)絡(luò)的目的是增加聚合正則化項(xiàng)，讓聚合后驗(yàn)分布q(z)近似給定的先驗(yàn)分布p(z)．因?yàn)樵黾恿司酆险齽t化約束，模型可以通過對(duì)抗訓(xùn)練進(jìn)一步優(yōu)化推理模型參數(shù)φ．對(duì)抗網(wǎng)絡(luò)在模型下的優(yōu)化問題為

2.3 AVAE算法

AVAE模型通過向變分自編碼模型的推理模型增加隨機(jī)噪聲，增加推理模型的表示能力，同時(shí)，引入對(duì)抗網(wǎng)絡(luò)增加聚合正則化約束進(jìn)一步訓(xùn)練推理模型．模型給定先驗(yàn)分布p(z)和隨機(jī)噪聲ε1的分布均為標(biāo)準(zhǔn)高斯分布 N (0,I)，推理模型為qφ(zx,ε1)，生成模型為pθ(xz)，使用重參化方法及隨機(jī)梯度下降算法對(duì)參數(shù)進(jìn)行更新．

模型先將圖像數(shù)據(jù)x和隨機(jī)噪聲ε1同時(shí)輸入到推理模型中，增加推理模型的輸入維度，提升其表示能力．在訓(xùn)練過程中，推理模型優(yōu)化式(11)和對(duì)抗網(wǎng)絡(luò)優(yōu)化式(14)交替進(jìn)行優(yōu)化．訓(xùn)練分兩個(gè)階段，通過式(11)計(jì)算并優(yōu)化推理模型的參數(shù)φ，以最大程度讓聚合后驗(yàn)概率分布 q(z)近似給定的先驗(yàn)分布 p(z)；通過式(14)，先計(jì)算并優(yōu)化對(duì)抗網(wǎng)絡(luò)參數(shù)φ，讓對(duì)抗網(wǎng)絡(luò)與推理模型進(jìn)行對(duì)抗訓(xùn)練，接著再一次更新推理模型參數(shù)φ，完成聚合正則化約束，增加推理模型的表示能力．

在訓(xùn)練過程中，生成模型參數(shù)θ通過式(11)不斷得到優(yōu)化．待模型訓(xùn)練完成后，可以直接通過對(duì)p(z)分布隨機(jī)采樣作為隱變量，并借助訓(xùn)練好的生成模型生成更真實(shí)、更清晰的新圖像數(shù)據(jù)．AVAE模型算法如下：

1. i←0.

2. WHILE沒有收斂DO.

3. 從真實(shí)數(shù)據(jù)分布pData(x)采樣

5. 從先驗(yàn)分布p(z)中采樣{ z(1), z(2),… ,z(k)}.6. 對(duì)于優(yōu)化式(11)計(jì)算參數(shù)的隨機(jī)梯度.

7. 基于隨機(jī)梯度下降算法，可以得到參數(shù)的更新式θ←θ+ higθ，φ←φ+ higφ.

8. 對(duì)于優(yōu)化式(14)計(jì)算參數(shù)的隨機(jī)梯度.

9. 基于隨機(jī)梯度下降算法，可以得到參數(shù)的更新式φ←φ+ higφ，φ←φ+ higφ.

10. i←i+1.

11. END WHILE.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)計(jì)

本節(jié)所用的數(shù)據(jù)集包括手寫數(shù)字?jǐn)?shù)據(jù)集MNIST(數(shù)據(jù)來源：http://yann.lecun.com/exdb/mnist/)和服飾商品數(shù)據(jù)集Fashion-MNIST(數(shù)據(jù)來源：http://www.worldlink.com.cn/en/osdir/fashion-mnist.html)兩種．MNIST數(shù)據(jù)集包括手寫數(shù)字圖像0～9，共10類數(shù)據(jù)，其中訓(xùn)練圖像60000張，測試圖像10000張．這些手寫數(shù)字圖像都經(jīng)過尺寸標(biāo)準(zhǔn)化，固定大小為28像素×28像素，每個(gè)像素值為0～1，每個(gè)圖像都被平展并轉(zhuǎn)換為784(28×28)個(gè)特征的一維numpy數(shù)組．Fashion-MNIST數(shù)據(jù)集包括T-shirt(T恤)、pullover(套衫)、dress(裙子)、coat(外套)、sandal(涼鞋)等服飾商品，共10類數(shù)據(jù)，其中訓(xùn)練圖像60000張，測試圖像10000張．這些服飾圖像也經(jīng)過尺寸標(biāo)準(zhǔn)化，圖像固定大小為28像素×28像素．實(shí)驗(yàn)在tensorflow 1.15環(huán)境下進(jìn)行，操作系統(tǒng)Windows10，運(yùn)行平臺(tái)工具Python3.7．

實(shí)驗(yàn)中AVAE模型的推理模型、生成模型和對(duì)抗網(wǎng)絡(luò)均采用三隱層全連接神經(jīng)網(wǎng)絡(luò)，中間節(jié)點(diǎn)個(gè)數(shù)分別為256、64、32．參數(shù)的優(yōu)化主要采用自適應(yīng)矩估計(jì)(Adam)算法，該算法是隨機(jī)梯度下降算法的一種變形，可以保證每次迭代參數(shù)的學(xué)習(xí)率具有一定的范圍．

3.2 對(duì)比實(shí)驗(yàn)

3.2.1 隨機(jī)噪聲維度的選擇

通過改變推理模型中隨機(jī)噪聲的維度進(jìn)行實(shí)驗(yàn)，衡量標(biāo)準(zhǔn)為模型的變分似然下界(ELBO)．實(shí)驗(yàn)中所有模型的隱變量維度均為10，將注入隨機(jī)噪聲的變分自編碼模型的噪聲維度分別設(shè)置為5、10、15．模型在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖6所示，其中dim為隱變量維度．根據(jù)圖6的對(duì)比結(jié)果可知，向推理模型中注入隨機(jī)噪聲可以提高模型的精度，即得到更優(yōu)的變分似然下界．同時(shí)，隨機(jī)噪聲維度不宜設(shè)置過大，其維度為10時(shí)在兩個(gè)數(shù)據(jù)集上均得到了更好的實(shí)驗(yàn)結(jié)果．

圖6 VAE與注入噪聲的VAE模型實(shí)驗(yàn)結(jié)果Fig. 6 Experimental results of VAE and injected noise VAE

3.2.2 精度對(duì)比

通過實(shí)驗(yàn)對(duì)比VAE模型、加入隨機(jī)噪聲的VAE模型、AVB模型及AVAE模型幾種模型的精度，實(shí)驗(yàn)的衡量標(biāo)準(zhǔn)為模型的變分似然下界(ELBO)．由于隨機(jī)噪聲維度為10時(shí)實(shí)驗(yàn)結(jié)果較好，所以設(shè)置所有模型的隨機(jī)噪聲維度均為10，只改變AVAE模型的隱變量維度為10和15．模型在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖7所示，其中dim為隱變量維度．根據(jù)圖7的對(duì)比結(jié)果可知，AVAE模型在兩個(gè)數(shù)據(jù)集下均得到了更好的實(shí)驗(yàn)結(jié)果，即得到了更優(yōu)的變分似然下界．而且相比于改變隨機(jī)噪聲維度，改變隱變量維度對(duì)模型結(jié)果影響更為顯著．與注入隨機(jī)噪聲的變分自編碼模型相比，AVAE模型因?yàn)橐雽?duì)抗策略，得到了更優(yōu)的變分似然下界；同時(shí)，當(dāng)隱變量維度為10時(shí)，模型的精度最高．

圖7 改變隱變量維度AVAE與VAE類模型的實(shí)驗(yàn)結(jié)果Fig. 7 Experimental results of changing hidden variable dimension in AVAE and VAE models

除此之外，將AVAE模型與對(duì)抗變分貝葉斯模型進(jìn)行對(duì)比，在確保網(wǎng)絡(luò)結(jié)構(gòu)相同的情況下，隨機(jī)噪聲維度均設(shè)置為10，并改變隱變量維度．實(shí)驗(yàn)結(jié)果取多次實(shí)驗(yàn)精度的平均值，模型在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果見表1，其中dim為隱變量維度．根據(jù)表1的對(duì)比結(jié)果可以得到，在推理模型中加入隨機(jī)噪聲的變分自編碼模型在兩個(gè)數(shù)據(jù)集上均可以提升模型精度，且在隱變量維度為10時(shí)，得到了更好的實(shí)驗(yàn)結(jié)果．同時(shí)，AVAE模型因?yàn)榧尤雽?duì)抗網(wǎng)絡(luò)，比僅加入隨機(jī)噪聲的變分自編碼模型在任何隱變量維度上都得到更高的模型精度．通過對(duì)比表1的最后兩行可以發(fā)現(xiàn)，在隱變量為10和15的情況下，AVAE模型在兩個(gè)數(shù)據(jù)集上均得到了更好的實(shí)驗(yàn)結(jié)果，即更優(yōu)的變分似然下界．隨著隱變量維度的增加，推理模型需要學(xué)習(xí)更多的圖像特征，使得每一種模型的精度逐漸變差，且當(dāng)隱變量維度為10時(shí)，AVAE模型在所有模型中得到 的精度最高．

表1 精度對(duì)比實(shí)驗(yàn)結(jié)果Tab. 1 Experiment results of accuracy comparison

3.3 生成圖像效果

引入隨機(jī)噪聲的變分自編碼模型、變分貝葉斯模型和AVAE模型的隱變量維度和隨機(jī)噪聲維度均為10，生成圖像效果如圖8所示．相比于引入隨機(jī)噪聲的變分自編碼模型，AVAE和對(duì)抗變分貝葉斯模型可以生成更加清晰、真實(shí)的圖像，如圖8中的數(shù)字“6”和“手提包”．實(shí)驗(yàn)結(jié)果表明對(duì)抗網(wǎng)絡(luò)和聚合正則化約束的引入可以提高模型的精度，同時(shí)提升圖像的生成效果．

圖8 模型生成圖像效果展示Fig. 8 Model generation effect display

4 結(jié) 語

本文提出了一種基于對(duì)抗策略的變分自編碼模型，并在實(shí)驗(yàn)中展示其模型精度及生成圖像效果．與經(jīng)典的3種模型的對(duì)比實(shí)驗(yàn)顯示，該模型在給定參數(shù)的情況下可以得到優(yōu)于其他模型的變分似然下界(ELBO)，且在MNIST和Fashion-MNIST數(shù)據(jù)集上獲得了較好的生成圖像效果．

經(jīng)過證實(shí)，在推理模型中加入隨機(jī)噪聲可以提高變分自編碼模型的模型精度；對(duì)抗網(wǎng)絡(luò)和聚合正則化約束的加入均可以提升推理模型的表示能力．基于對(duì)抗策略的變分自編碼模型相比于其他模型，可以提高圖像生成的效果，且在無監(jiān)督學(xué)習(xí)中表現(xiàn)得較為突出．