陸萍 陳志峰 施連敏

摘 要： 隨著深度學(xué)習(xí)在模型、算法與理論上的突破性進(jìn)展，以玻爾茲曼機(jī)為基礎(chǔ)的各類深度模型近年來(lái)在目標(biāo)識(shí)別與自然語(yǔ)言處理等諸多領(lǐng)域得到廣泛應(yīng)用。概述了玻爾茲曼機(jī)的相關(guān)概念，分析了受限玻爾茲曼機(jī)模型所具有的優(yōu)勢(shì)。對(duì)RBM中的學(xué)習(xí)方法進(jìn)行了詳細(xì)的描述，對(duì)應(yīng)用最為廣泛的受限玻爾茲曼機(jī)的幾種典型學(xué)習(xí)算法進(jìn)行了對(duì)比，并指出學(xué)習(xí)算法的研究在未來(lái)仍將是深度學(xué)習(xí)中的一項(xiàng)核心問(wèn)題。

關(guān)鍵詞： 受限玻爾茲曼機(jī)； 深度模型； 隱藏單元； 學(xué)習(xí)方法

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2014）11-10-04

RBM learning method comparison

Lu Ping， Chen Zhifeng， Shi Lianmin

（Dept. of Information， Suzhou Institute of Trade & Commerce， Suzhou， Jiangsu 215009， China）

Abstract： With the deep learning on the breakthrough of models， algorithms and theory studies， models based on Boltzmann machine have been used in many areas in recent years， such as target recognition and natural language processing. The concept of Boltzmann machine is presented. The restricted Boltzmann machine's advantage is also pointed out. In this paper， the learning method of RBM is described in detail and some typical learning algorithms widely used are compared. The study on learning algorithms will still be a core issue in deep learning area.

Key words： RBM； depth model； hidden units； learning method

0 引言

當(dāng)前深度學(xué)習(xí)（deep learning）作為機(jī)器學(xué)習(xí)中新興的代表，由于其具有能夠處理大規(guī)模的數(shù)據(jù)、自動(dòng)提取有意義的特征、完成數(shù)以百萬(wàn)計(jì)的自由參數(shù)的學(xué)習(xí)等諸多淺層模型所無(wú)法匹敵的能力，而受到各領(lǐng)域的廣泛關(guān)注。目前深度學(xué)習(xí)模型已經(jīng)被逐漸應(yīng)用于圖像分類、目標(biāo)識(shí)別、自然語(yǔ)言處理、數(shù)據(jù)挖掘等各類應(yīng)用中。當(dāng)前的深度模型，如深度信念網(wǎng)絡(luò)（deep belief net，DBN）、深度玻爾茲曼機(jī)（deep Boltzmann machine， DBM）等均采用的是由受限玻爾茲曼機(jī)（restricted Boltzmann machine，RBM）堆疊而成。在RBM中，可見層各單元之間與隱藏層各單元之間無(wú)連接的拓樸結(jié)構(gòu)使得其模型相對(duì)簡(jiǎn)單，參數(shù)學(xué)習(xí)相對(duì)容易，因此使用RBM作為構(gòu)建深度模型的基礎(chǔ)結(jié)構(gòu)單元成為研究人員的最佳選擇。雖然深度學(xué)習(xí)模型還有堆疊自動(dòng)編碼器（stacked auto encoders）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural net，CNN）等，但由于以RBM為核心的結(jié)構(gòu)在深度模型中占據(jù)著核心的地位，因此本文主要關(guān)注于RBM的模型結(jié)構(gòu)與其中的學(xué)習(xí)方法。

1 玻爾茲曼機(jī)概述

1.1 玻爾茲曼機(jī)

玻爾茲曼機(jī)（Boltzmann machine， BM）是源于物理學(xué)的一種基于能量函數(shù)的建模方法，能夠描述變量的高層相互作用。雖然BM中學(xué)習(xí)算法復(fù)雜，但其模型與算法有完備的物理解釋與數(shù)理統(tǒng)計(jì)理論基礎(chǔ)。Hinton與Sejnowski最早將BM模型引入人工神經(jīng)網(wǎng)絡(luò)中，用于自動(dòng)提取數(shù)據(jù)的內(nèi)在特征表示。將BM作為單層反饋網(wǎng)絡(luò)時(shí)，具有與Hopfield網(wǎng)絡(luò)類似的對(duì)稱權(quán)值，且每個(gè)單元與自已無(wú)連接。網(wǎng)絡(luò)由可見層與隱藏層組成，對(duì)應(yīng)的網(wǎng)絡(luò)節(jié)點(diǎn)也可以分為可見單元（visible unit）與隱藏單元（hidden unit），每個(gè)單元不存在自回路，圖1給出了BM的示意圖。

圖1 BM模型結(jié)構(gòu)示意圖

由于其中樣本分布服從玻爾茲曼分布故命名為BM ，BM由二值單元構(gòu)成，各單元的狀態(tài)隨機(jī)，且只可取0或1兩種狀態(tài)，1指代單元處于激活（on）狀態(tài)，0則指代此單元處于斷開（off）狀態(tài)。由于每個(gè)單元僅有2種狀態(tài)si={0，1}，因此網(wǎng)絡(luò)的總的能量函數(shù)為：

⑴

其中wij為神經(jīng)元i與j之間的連接權(quán)重，θi為神經(jīng)元i的閾值。神經(jīng)元i狀態(tài)為0與1所產(chǎn)生的能量的差值則可表示為：

⑵

si=1的概率為：

⑶

其中T為系統(tǒng)的溫度。相應(yīng)的，si=0的概率則為：

⑷

由式（3）/式（4）可得：

⑸

進(jìn)一步將上式推廣到網(wǎng)絡(luò)中任意兩個(gè)全局狀態(tài)α與β，有：

⑹

此即為玻爾茲曼分布的表達(dá)式。

1.2 受限玻爾茲曼機(jī)

由于BM的模型結(jié)構(gòu)復(fù)雜，學(xué)習(xí)時(shí)間很長(zhǎng)，而且無(wú)法確切地計(jì)算BM所表示的分布，甚至獲得BM表示分布的隨機(jī)樣本也非常困難。為此，Smolensky提出了受限玻爾茲曼機(jī)（restricted Boltzmann machine， RBM）模型，其結(jié)構(gòu)如圖2所示。與一般BM相比，RBM具有更優(yōu)的性質(zhì)：在給定可見層單元輸入時(shí)，各隱藏層單元的激活條件獨(dú)立；反之亦然。這樣盡管RBM所表示的分布仍無(wú)法有效計(jì)算，但卻可以通過(guò)Gibbs采樣獲得服從RBM分布的隨機(jī)樣本。

圖2 RBM模型結(jié)構(gòu)示意圖

RBM也可以被看作為一個(gè)無(wú)向圖（undirected graph）模型，其中v為可見層，用于表示輸入數(shù)據(jù)，h為隱藏層，可以看作為特征提取器，W為兩層間對(duì)稱的連接權(quán)重。若一個(gè)RBM中可見層單元數(shù)為n，隱藏層單元數(shù)為m，用向量V與h分別表示可見層與隱藏層的狀態(tài)，當(dāng)狀態(tài)（v，h）給定時(shí)，與BM類似，則RBM中的能量定義為：

⑺

其中wij為可見單元i與隱藏單元j之間的連接權(quán)重，ai為可見單元i的偏置，bj為隱藏單元j的偏置。θ={wij，ai，bj}指代RBM中所有參數(shù)集。當(dāng)θ確定時(shí)，則可根據(jù)式⑺的能量函數(shù)獲得（v，h）的聯(lián)合概率為：

⑻

其中z（θ）為保證P（v，h|θ）成為概率分布的歸一化項(xiàng)，也稱為劃分函數(shù)。若可見單元服從某種概率分布，根據(jù)RBM的給定可見單元時(shí)各隱藏單元激活狀態(tài)獨(dú)立的條件，可獲得隱藏單元為1的條件概率為：

⑼

同理，若令隱藏單元服從某種概率分布，可見單元向量v為1的條件概率分布為：

（10）

因此可以獲得在給定可見單元向量v時(shí)隱藏單元j的條件概率及給定隱藏單元向量h時(shí)可見單元i為1的條件概率分布為：

（11）

其中，為sigmoid激活函數(shù)。

2 RBM中的學(xué)習(xí)

為了學(xué)習(xí)RBM中的參數(shù)集θ，以擬合給定的訓(xùn)練數(shù)據(jù)，可以通過(guò)最大化RBM在訓(xùn)練集上的對(duì)數(shù)似然函數(shù)而獲得，假設(shè)訓(xùn)練集中樣本數(shù)為T，有：

（12）

這樣獲得最優(yōu)的參數(shù)θ*則可以采用隨機(jī)梯度上升法求得使的最大值，為此，對(duì)logP（v（t）|θ）求參數(shù)θ的偏導(dǎo)數(shù)有：

（13）

其中為求關(guān)于分布P的數(shù)學(xué)期望。由于訓(xùn)練樣本已知，所以上式中前一項(xiàng)期望易求得，但對(duì)于P（h，v|θ）需要求得隱藏單元與可見單元的聯(lián)合分布，由于劃分函數(shù)Z（θ）的存在，無(wú)法直接計(jì)算，而只能采用一些采樣方法獲得其近似值。若分別用與指代P（h|v（t），θ）和P（h，v|θ）分布，則對(duì)式（13）中關(guān)于連接權(quán)重Wij，可見單元偏置ai和隱藏單元偏置bj的偏導(dǎo)數(shù)分別為：

（14）

RBM的學(xué)習(xí)過(guò)程可以分為正階段與負(fù)階段兩個(gè)步驟。在正階段，可見單元狀態(tài)取訓(xùn)練輸入樣本值，經(jīng)采樣得到隱藏單元。在負(fù)階段中，從當(dāng)前模型采樣得到可見單元與隱藏單元狀態(tài)，重建可見單元狀態(tài)。BM的學(xué)習(xí)即通過(guò)調(diào)節(jié)連接權(quán)重，使得模型定義的概率分布P-（va）與訓(xùn)練樣本集定義的概率P+（va）一致，如果采用K-L散度度量?jī)蓚€(gè)概率的近似程度：

（15）

當(dāng)且僅當(dāng)P+（va）=P-（va）時(shí)，G=0，即兩個(gè)分布完全一致。這樣可以通過(guò)不斷調(diào)節(jié)連接權(quán)重來(lái)使模型確定的概率分布與數(shù)據(jù)概率分布的K-L散度盡可能接近。RBM的學(xué)習(xí)步驟如下：

⑴ 隨機(jī)設(shè)定網(wǎng)絡(luò)的初始連接權(quán)重wij（0）與初始高溫；

⑵ 按照已知概率P（va）依次給定訓(xùn)練樣本，在訓(xùn)練樣本的約束下按照SA算法運(yùn)行網(wǎng)絡(luò)到平衡狀態(tài)，統(tǒng)計(jì)，同樣在無(wú)約束條件下按同樣的步驟運(yùn)行網(wǎng)絡(luò)相同次數(shù)，統(tǒng)計(jì)；

⑶ 修改各個(gè)連接權(quán)重：wij（k+1）=wij（k）+Δwij。

重復(fù)上面的步驟，直到-小于某個(gè)閾值，獲得合適的權(quán)重。

3 RBM學(xué)習(xí)方法對(duì)比

當(dāng)前在對(duì)RBM的研究中，典型的學(xué)習(xí)方法有Gibbs采樣（Gibbs sampling）算法，變分近似方法（variational approach），對(duì)比散度 （contrastive divergence，CD）算法，模擬退火 （simulate annealing） 算法等。下面對(duì)這些方法進(jìn)行對(duì)比。

3.1 Gibbs采樣算法

Gibbs采樣（Gibbs sampling）算法是一種基于馬爾可夫鏈蒙特卡羅（Markov Chain Monte Carlo， MCMC）策略的采樣方法。給定一個(gè)N維的隨機(jī)向量X=（X1，X2，…，XN），若直接求取X的聯(lián)合分布P（X1，X2，…，XN）非常困難，但如果可以在給定其他分量時(shí)，求得第k個(gè)分量的條件分布P（Xk|Xk-），其中Xk-=（X1，X2，…，Xk-1，Xk+1，…，XN）指代排除Xk的其他N-1維的隨機(jī)向量，則可以從X的一個(gè)任意狀態(tài)[x1（0），x2（0），…，xk（0）]開始，利用條件分布，對(duì)各分量依次迭代采樣。隨著采樣次數(shù)增加，隨機(jī)變量[x1（n），x2（n），…，xk（n）]將會(huì)以幾何級(jí)數(shù)的速度收斂于聯(lián)合分布P（X1，X2，…，XN）。在訓(xùn)練RBM的迭代過(guò)程中，可以設(shè)置一個(gè)收斂到模型分布的馬爾可夫鏈，將其運(yùn)行到平衡狀態(tài)時(shí)，用馬爾可夫鏈近似期望值。

使用Gibbs采樣算法具有通用性好的優(yōu)點(diǎn)，但是由于每次迭代中都需要馬爾可夫鏈達(dá)到極限分布，而Gibbs采樣收斂度緩慢，需要很長(zhǎng)的時(shí)間，因此也限制了其應(yīng)用。

3.2 變分方法

變分方法（variational approach）的基本思想是通過(guò)變分變換將概率推理問(wèn)題轉(zhuǎn)換為一個(gè)變分優(yōu)化問(wèn)題。對(duì)于比較困難的概率推理問(wèn)題，對(duì)應(yīng)的變分優(yōu)化問(wèn)題通常也缺乏有效的精確解法，但此時(shí)可以對(duì)變分優(yōu)化問(wèn)題進(jìn)行適當(dāng)?shù)乃沙?，借助于迭代的方法，獲得高效的近似解。在變分學(xué)習(xí)中，對(duì)每個(gè)訓(xùn)練樣本可見單元向量v，用近似后驗(yàn)分布q（h|v，μ）替換隱藏單元向量上的真實(shí)后驗(yàn)分布p（h|v，θ），則RBM模型的對(duì)數(shù)似然函數(shù)有下面形式的變分下界：

（16）

其中H（·）為熵函數(shù)。

使用變分法的優(yōu)勢(shì)在于，它能夠在實(shí)現(xiàn)最大化樣本對(duì)數(shù)似然函數(shù)的同時(shí)，最小化近似后驗(yàn)分布與真實(shí)后驗(yàn)分布之間的K-L距離。若采用樸素平均場(chǎng)方法，選擇完全可因式分解化的分布來(lái)近似真實(shí)后驗(yàn)分布：，其中q（hj=1）=μj，訓(xùn)練樣本的對(duì)數(shù)似然函數(shù)的下界有如下的形式：

（17）

采用交替優(yōu)化的方式，首先固定參數(shù)θ，最大化上式學(xué)習(xí)變分參數(shù)μ，得到不平均場(chǎng)不動(dòng)點(diǎn)方程：

（18）

接下來(lái)，再給定變分參數(shù)μ，采用Gibbs采樣法與模擬退火方法等其他方法更新模型參數(shù)θ。在實(shí)際使用中，使用變分方法能夠很好地估計(jì)數(shù)據(jù)期望，但由于式（17）中的負(fù)號(hào)會(huì)改變變分參數(shù)，使得近似后驗(yàn)分布與真實(shí)后驗(yàn)分布的K-L距離增大，因此將其用來(lái)近似模型期望時(shí)不適用。

3.3 對(duì)比散度算法

對(duì)比散度（contrastive divergence， CD）學(xué)習(xí)方法由Hinton提出，能夠有效地進(jìn)行RBM學(xué)習(xí)，而且能夠避免求取對(duì)數(shù)似然函數(shù)梯度的麻煩，因此在基于RBM構(gòu)建的深度模型中廣泛使用。CD算法使用估計(jì)的概率分布與真實(shí)概率分布之間K-L距離作為度量準(zhǔn)則。在近似的概率分布差異度量函數(shù)上求解最小化。執(zhí)行CD學(xué)習(xí)算法時(shí)，對(duì)每個(gè)批次的各訓(xùn)練樣本運(yùn)行n步Gibbs采樣，使用得到的樣本計(jì)算。則連接權(quán)重的CD梯度近似為：

（19）

其中pn為n步Gibbs采樣后獲得的概率分布。通常在使用中只需要取n=1即可以進(jìn)行有效的學(xué)習(xí)，因此在使用中較為方便。但CD算法隨著訓(xùn)練過(guò)程的進(jìn)行與參數(shù)的增加，馬爾可夫鏈的遍歷性將會(huì)下降，此時(shí)算法對(duì)梯度的近似質(zhì)量也會(huì)退化。

3.4 模擬退火算法（Simulated Annealing）

模擬退火算法是對(duì)Gibbs采樣算法的改進(jìn)，由于Gibbs采樣收斂速度緩慢，因此模擬退火算法采用有索引溫度參數(shù)的目標(biāo)分布進(jìn)行采樣，其核心思想是模擬多個(gè)不同的溫度并行運(yùn)行多個(gè)MCMC鏈，每個(gè)MCMC鏈在一個(gè)有序序列溫度ti上，且t0=1

4 結(jié)束語(yǔ)

隨機(jī)深度神經(jīng)網(wǎng)絡(luò)的興起，借助RBM來(lái)學(xué)習(xí)深層網(wǎng)絡(luò)逐漸成為了研究的主流，作為深度網(wǎng)絡(luò)的基礎(chǔ)單元結(jié)構(gòu)—RBM，也成為深度學(xué)習(xí)領(lǐng)域中的核心，它為人們解決各類問(wèn)題提供了一種強(qiáng)有力的工具。本文對(duì)RBM的基本模型進(jìn)行簡(jiǎn)要介紹，并對(duì)RBM的各種學(xué)習(xí)方法進(jìn)行對(duì)比分析。目前RBM的各種學(xué)習(xí)算法仍各有利弊，尚未有滿足各種場(chǎng)合要求的學(xué)習(xí)方法。因此，進(jìn)一步研究如何有效減少計(jì)算復(fù)雜性，簡(jiǎn)化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，以及快速有效的RBM學(xué)習(xí)方法仍將在深度學(xué)習(xí)模型中占據(jù)重要的地位。

參考文獻(xiàn)：

[1] 李海峰，李純果.深度學(xué)習(xí)結(jié)構(gòu)和算法比較分析[J].河北大學(xué)學(xué)報(bào)（自

然科學(xué)版），2012.32（5）：538-544

[2] Salakhutdinov R， Hinton G E. An efficient learning procedure for

deep Boltzmann machines[J]. Neural Computation，2012.24（8）：1967-2006

[3] 孫志軍，薛磊，許陽(yáng)明，王正.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，

2012.29（8）：2806-2810.

[4] 鄭胤，陳權(quán)峰，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].

中國(guó)圖象圖形學(xué)報(bào)，2014.19（2）：175-184

[5] 程強(qiáng)，陳峰，董建武，徐文立.概率圖模型中的變分近似推理方法[J].自

動(dòng)化學(xué)報(bào)，2012.38（11）：1721-1734

[6] Geoffrey E. Hinton，Simon Osindero，Yee-Whye T eh. A fast

learning algorithm for deep belief nets[J]. Neural Computation，2006.18（7）：1527-1554

[7] Ruslan Salakhutdinov，Geoffrey Hinton. Deep Boltzmann Machines[J].

JMLR W&CP，2009.5：448-455

[8] 陳達(dá)，高升，藺志青.基于受限波茲曼機(jī)的推薦算法研究[J].軟件，

2013.34（12）：156-159，185