◆任楚嵐 曾召俠

淺析深度信念網絡模型

◆任楚嵐 曾召俠

（沈陽化工大學（沈陽）計算機科學與技術學院 遼寧 110000）

深度信念網絡（Deep Belief Network，DBN）是深度學習模型之一，是實現(xiàn)人工智能的重要模型。它是由多個受限玻爾茲曼機（RBM）堆加而成。一般在模型的最后一層加入分類器模型進行分類。目前已在生物特征識別、語音識別、機器故障診斷、疾病診斷等諸多領域得到廣泛應用。鑒于深度信念網絡模型的優(yōu)點及其強大的自主學習能力，主要做了四個方面的工作：第一，闡述了深度學習的背景以及深度信念網絡的來源，第二，詳細介紹了深度信念網絡的基本原理和模型框架，第三，對受限玻爾茲曼機的學習過程等進行了介紹，第四，總結了深度信念網絡在疾病預測領域的研究與應用。

深度學習；深度信念網絡；受限玻爾茲曼機；對比散度

2006年，Hinton[1]和他的學生在《科學》上發(fā)表了一篇文章，深度信念網絡（Deep Belief Network，DBN）模型首次被提出，當時，推動了深度學習的發(fā)展[2]。在深度信念網絡模型的學習過程中，采用逐層訓練（layer-Wise Training）的貪婪式無監(jiān)督學習方法進行訓練，從而解決了梯度消失問題，在模型的最后使用分類器對模型結果進行分類?？梢哉f，深度信念網絡是結合了無監(jiān)督學習和有監(jiān)督學習的多層概率機器學習模型。

深度信念網絡[2-3]是深度學習中重要的學習模型，通過組合低層特征形成更加抽象的高層特征或屬性類別。在各界得到廣泛關注，從此掀起了深度學習研究的浪潮。近年來，深度信念網絡被廣泛應用于與人們生活息息相關的課程領域，可以實現(xiàn)機器翻譯，人臉識別[4]，語音識別、信號恢復、商業(yè)推薦、金融分析，醫(yī)療輔助和智能交通等。

基于深度信念網絡的優(yōu)勢和特征學習能力，本文主要圍繞深度信念網絡概括為以下內容：（1）深度信念網絡的基本原理；（2）受限玻爾茲曼機的算法執(zhí)行過程；（3）深度信念網絡在疾病預測中的研究進展；

1 深度信念網絡原理

深度信念網絡由若干個受限玻爾茲曼機（Restricted Boltzmann Machines，RBM）的堆疊和一層有監(jiān)督的反向傳播網絡組成，訓練時可通過由低到高逐層訓練這些RBM來實現(xiàn)。整個訓練的過程可以概括為兩個部分：一個是預訓練（pre-Training），采用無監(jiān)督逐層學習的方式對神經網絡結構的參數(shù)進行初始化，另一個是精調（Fine-Tuning）在模型的最后使用反向傳播算法對網絡參數(shù)進行全局微調。即使整個網絡積累了多層，依舊可以合理地優(yōu)化參數(shù)，這種學習方法解決了梯度消失問題，使得深度神經網絡的學習更加高效。

1.1 受限玻爾茲曼機

受限玻爾茲曼機（RBM）最早起源于玻爾茲曼機（Boltzmann Machine，BM），BM不僅有著強大的無監(jiān)督學習能力，而且還能夠學習數(shù)據中復雜的規(guī)則[4]，但是，這種訓練相對比較復雜，且訓練時間較長，為了克服這一問題，Smolensky引入了一種限制的玻爾茲曼機，則為受限玻爾茲曼機[5]，其結構如圖（1）所示。

圖1 RBM結構圖

RBM是由一層可見層（visible）和一層隱含層（hidden）組成，且層內無連接。h1到hn是n個實數(shù)，v1到vm是m個實數(shù)，這些實數(shù)都是0到1之間的數(shù)字，它們各自組成了一個h向量和一個v向量。每個顯層和隱層之間都存在一個權重w，一共有n·m權重，c和b分別是隱藏和顯層的偏置向量。

RBM它是基于能量的模型，那么，對于一組給定的狀態(tài)（v，h），其能量公式定義為：

其中，是參數(shù)、和，等式右側表示的能量有三個部分，一個是由于權重連接兩側的節(jié)點和產生的，必須三個都為1才算有能量的輸出；另外兩個是節(jié)點上的偏置和節(jié)點輸入的向量維度值相乘，同樣三個必須為1才算有能量的輸出。

每一個能量對應著一種狀態(tài)，能量越小，表示模型越穩(wěn)定。當參數(shù)確定時，由能量公式可得顯層和隱層神經元的聯(lián)合概率分布為：

其中，（）是歸一化因子，

由此，當確定輸入層的狀態(tài)時，各隱含層節(jié)點之間的激活狀態(tài)是相互獨立的。因此，第個隱含層節(jié)點的激活概率為：

鑒于受限玻爾茲曼機的結構是對稱的，當確定隱藏層節(jié)點的狀態(tài)時，各輸入層節(jié)點的激活狀態(tài)之間也是條件獨立的，因此同理，第個可見單元的激活概率可以表示為：

目前，受限玻爾茲曼機被用于處理機器學習不同的問題，如分類、回歸、降維、高維時間序列建模、特征提取、協(xié)同過濾等。

1.2 對比散度快速學習算法

其中，是學習率（learning rate），〈〉data是訓練數(shù)據集所定義的數(shù)學期望，〈〉recon表示一步重構后模型定義的期望。

1.3 深度信念網絡的基本結構

深度信念網絡是由多個受限玻爾茲曼機和一層有監(jiān)督的分類器堆疊而成，如圖（2）所示。DBN在整個學習過程中總共可以總結為兩個階段：第一階段是：無監(jiān)督學習，第二階段是：有監(jiān)督的微調。

(1)第一階段是對多層RBM進行貪婪式訓練，即逐層訓練，對模型自底向上逐層訓練。將前一個RBM的輸出值作為下一層RBM的輸入值，從而實現(xiàn)網絡參數(shù)的初始化。

(2)第二階段是對模型進行微調。為了使得整個模型結構的目標函數(shù)達到最優(yōu)，可以采用BP神經網絡算法或者支持向量機對參數(shù)進行微調從而達到全局最優(yōu)，將微調之后的網絡參數(shù)作為整個網絡的初始參數(shù)。相對于傳統(tǒng)的神經網絡，DBN有著較高的準確率，同時解決了易陷入局部最優(yōu)問題。

圖2 DBN結構圖

2 深度信念網絡在疾病預測中的研究

鑒于深度信念網絡有較好的特征學習能力，許多研究者通過搭建深度信念網絡模型來對各種疾病進行預測預后，并努力提高對疾病的預測準確率，促使深度信念網絡已經成為智慧醫(yī)療的一個重要的實現(xiàn)途徑。

張婷等人采用多隱層深度信念網絡模型提取肺結節(jié)圖像的深層特征，從而對肺結節(jié)良惡性進行分類，最終達到了95%的準確率，驗證了該方法優(yōu)于BP神經網絡和支持向量機（SVM）[7]；逯鵬等人利用重構誤差進行自主確定網絡深度搭建DBN模型，實驗表明采用這樣的方法得到了較高的準確率[8]；Brosch等人將不同的 DBN 模型相結合，建立了大腦形態(tài)模型，通過自動捕捉腦部病變發(fā)生前可能出現(xiàn)的病理信息，進行分析并實現(xiàn)對腦部疾病的早期診斷[9]；陳德華等人提出一種基于深度信念網絡的甲狀腺結節(jié)良惡性鑒別方法，實驗結果表明基于深度信念網絡的預測方法具有較高的準確率，在非稀疏數(shù)據和稀疏數(shù)據集上分別達到94%和88.84%[10]。Kamada提出了自適應結構的DBN模型，并將其應用在綜合醫(yī)學檢查數(shù)據的癌癥預測中，該方法在探索輸入數(shù)據的最佳隱層神經元數(shù)，并通過對算法的擴展，在DBN中生成新的隱層，其提出的方法相對于傳統(tǒng)的DBN分類精度較高。深度信念網絡用于疾病預測，使得智慧醫(yī)療更近一步實現(xiàn)，為醫(yī)療機構提供了便利[11]。

3 總結

深度學習的發(fā)展使得越來越多的人工智能得以實現(xiàn)，促使深度學習成為人工智能的一個新的研究領域，本文主要從深度學習的來源和深度信念網絡的原理，以及受限玻爾茲曼機的學習過程進行介紹，在最后整理了深度信念網絡在疾病預測領域的研究。在深度信念網絡的發(fā)展過程中也存在一些不足，例如對于神經網絡層數(shù)和神經元個數(shù)的確定，沒有統(tǒng)一的規(guī)定，這些都需要在以后的研究工作中加以完善。

[1]Hinton G，Osindero S，Teh Y.A fast learning algorithm for deep belief nets[J].Neural Compution，2006，18（7）：1527-1554.

[2]Rizk Y，Hajj N，Mitri N，et al.Deep belief networks and cortical algorithms：a comparative study for supervised classification[J].Applied Computing and Informatics，2019，15：81-93.

[3]Wang Gongming，Jia Qingshan，Qiao Junfei，et al.A sparse deep belief network with efficient fuzzy learning frame-work[J].Neural Networks，2020，121：430-440.

[4]張春霞，姬楠楠，王冠偉.受限玻爾茲曼機[J].工程數(shù)學學報，2015（04）：15.

[5]Lin M，F(xiàn)an X.Low resolution face recognition with pose variations using deep belief networks[C]//International Congress on Image and Signal Processing，2011：1522-1526

[6]Hinton G E. Training products of experts by minimizing contrastive divergence [J].Neural Computation，2002，14（8）：1771-1800.

[7]張婷，趙文婷，趙涓涓，強彥.改進是深度信念網絡肺結節(jié)良惡性分類[D].太原：太原理工大學，2018.

[8]逯鵬，王玉辰，李奇航.基于改進深度信念網絡的心血管疾病預測研究[J/OL].2018，35（12）.

[9]Brosch T，Yoo Y，Li D K B，et al.Modeling the Variability in Brain Morpholopy and Lesion Distribution in Multiple Sclerosis by Deep Learning[C]// Internation Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing.2014：462-469。

[10]陳德華，周東陽，樂嘉錦.基于深度學習的甲狀腺結節(jié)良惡性預測方法研究[J].微型機與應用，2017，36（12）：13-15.

[11]Kamada S，Ichimura T，Harada T，Adaptive structural learning of deep belief network for medical examination data and its knowledge extraction by using C4.5[C]// 2018 IEEE First International Conference on Artificial Intelligence and Knowledge Engineering（AIKE），Laguna Hills，CA，2018：33-40.