劉道元，郭 宇，黃少華，方偉光，楊能俊

(南京航空航天大學(xué) 機(jī)電學(xué)院，江蘇 南京 210016)

0 引言

目前，產(chǎn)品需求類型急劇增加，更新?lián)Q代越來(lái)越快，從而驅(qū)動(dòng)從按庫(kù)存生產(chǎn)到按訂單生產(chǎn)模式的轉(zhuǎn)變[1]。在按訂單生產(chǎn)的企業(yè)中，準(zhǔn)確的訂單完工期預(yù)測(cè)對(duì)合理的生產(chǎn)計(jì)劃制定、準(zhǔn)確的調(diào)度排產(chǎn)、按時(shí)的產(chǎn)品交付具有重要意義，甚至影響了制造企業(yè)的信譽(yù)和競(jìng)爭(zhēng)力[2]。隨著自動(dòng)識(shí)別、智能傳感、先進(jìn)控制等技術(shù)在離散制造車間的逐步應(yīng)用，車間在制品轉(zhuǎn)運(yùn)、設(shè)備運(yùn)行、物料狀態(tài)等制造數(shù)據(jù)的采集愈加快速準(zhǔn)確[3]，而數(shù)據(jù)的體量和復(fù)雜程度也大大提高，這為訂單完工期預(yù)測(cè)提供了更加完備的數(shù)據(jù)支撐，同時(shí)對(duì)預(yù)測(cè)方法提出了更高的要求。

參考現(xiàn)有文獻(xiàn)，訂單完工期預(yù)測(cè)方法主要可以分為仿真、基于案例推理(Case-Based Reasoning, CBR)、統(tǒng)計(jì)分析和神經(jīng)網(wǎng)絡(luò)等。申建紅等[4]將Shapley值函數(shù)和仿真技術(shù)相結(jié)合，根據(jù)每道工序的工程量與單位時(shí)間完成工作量的比值，計(jì)算出每道工序的理想化工期；Vinod等[5]研究了在按訂單生產(chǎn)環(huán)境下，通過(guò)建立仿真模型來(lái)評(píng)估訂單截止日期。Chang等[6]討論了CBR在晶圓制造截止日期分配問題中的應(yīng)用；汪俊亮等[7]通過(guò)費(fèi)舍爾Z變換篩選得到強(qiáng)相關(guān)特征數(shù)據(jù)，然后采用CBR方法實(shí)現(xiàn)訂單交貨期預(yù)測(cè)。Pearn等[8]將晶圓等待加工時(shí)間擬合為Gamma分布，計(jì)算晶圓加工周期；朱雪初等[9]首先基于ReliefF算法進(jìn)行特征選擇，然后基于支持向量回歸(Support Vector Regression, SVR)完成晶圓加工周期預(yù)測(cè)。Chen等[10]使用模糊反向傳播(Back Propagation, BP)神經(jīng)網(wǎng)絡(luò)對(duì)晶圓加工周期進(jìn)行預(yù)測(cè)，并將自組織映射[11]、回歸樹[12]、模糊C-均值[13]與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合，通過(guò)先聚類再預(yù)測(cè)的方法提高預(yù)測(cè)精度；Wang等[14-16]分別設(shè)計(jì)了基于密度峰值的徑向基神經(jīng)網(wǎng)絡(luò)、基于熵的特征選擇和BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的預(yù)測(cè)模型，實(shí)現(xiàn)晶圓加工周期預(yù)測(cè)。在上述方法中，仿真技術(shù)通過(guò)仿真理想化車間的運(yùn)行狀態(tài)預(yù)估完工期，但對(duì)具有高復(fù)雜性和多擾動(dòng)特性的制造系統(tǒng)而言，仿真模型較難精準(zhǔn)地描述全制造過(guò)程。CBR融合了數(shù)據(jù)知識(shí)和專家經(jīng)驗(yàn)，但在復(fù)雜的制造系統(tǒng)中難以設(shè)計(jì)高準(zhǔn)確度的知識(shí)系統(tǒng)。統(tǒng)計(jì)分析雖然計(jì)算量小、效率高、方法簡(jiǎn)單，但統(tǒng)計(jì)模型過(guò)于簡(jiǎn)單，歷史數(shù)據(jù)的可靠性、選擇方法的科學(xué)性對(duì)預(yù)測(cè)準(zhǔn)確度影響極大。淺層的神經(jīng)網(wǎng)絡(luò)雖然對(duì)數(shù)據(jù)的完整性和可靠性要求不高，但適應(yīng)復(fù)雜映射能力較差，難以作為大規(guī)模數(shù)據(jù)的預(yù)測(cè)模型。

與仿真技術(shù)和CBR相比，在多擾動(dòng)的制造系統(tǒng)中，制造數(shù)據(jù)隱藏著車間運(yùn)行規(guī)律，使用海量數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)模型更能擬合車間實(shí)際運(yùn)行狀態(tài)，預(yù)測(cè)結(jié)果更加接近實(shí)際情況；與傳統(tǒng)的統(tǒng)計(jì)分析和淺層的神經(jīng)網(wǎng)絡(luò)相比，深度學(xué)習(xí)可以從大規(guī)模、低價(jià)值密度的樣本中提取高水平特征，獲取有價(jià)值知識(shí)，且具有更強(qiáng)的泛化能力，對(duì)處理大數(shù)據(jù)問題具有更優(yōu)越的性能[17-18]。深度學(xué)習(xí)在制造系統(tǒng)中產(chǎn)品質(zhì)量預(yù)測(cè)、訂單完成時(shí)間預(yù)測(cè)等方面已經(jīng)有所應(yīng)用，Bai等[19]使用深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)對(duì)復(fù)雜制造過(guò)程中產(chǎn)品質(zhì)量進(jìn)行預(yù)測(cè)，使用貪婪算法進(jìn)行無(wú)監(jiān)督特征學(xué)習(xí)，然后將學(xué)習(xí)的特征輸入回歸模型中，完成質(zhì)量預(yù)測(cè)；Wang等[20]將訂單組成和RFID傳感器實(shí)時(shí)采集的車間在制品信息作為數(shù)據(jù)集，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)訂單完成時(shí)間預(yù)測(cè)。

本文針對(duì)復(fù)雜離散制造車間中產(chǎn)生的海量、多源、動(dòng)態(tài)制造數(shù)據(jù)，提出一種基于深度置信網(wǎng)絡(luò)(Deep Belief Network, DBN)—DNN的訂單完工期預(yù)測(cè)方法。通過(guò)構(gòu)建ReLU激活的DBN特征提取模型，改善模型準(zhǔn)確度和收斂速度，避免過(guò)擬合問題。為了進(jìn)一步提高模型的泛化能力，在回歸預(yù)測(cè)模型中加入dropout和L2正則化。結(jié)合某航天車間的生產(chǎn)數(shù)據(jù)進(jìn)行實(shí)例驗(yàn)證，并與多隱含層BP神經(jīng)網(wǎng)絡(luò)、主成分分析和BP神經(jīng)網(wǎng)絡(luò)的結(jié)合、主成分分析和支持向量回歸的結(jié)合3種常用的預(yù)測(cè)模型進(jìn)行對(duì)比分析，驗(yàn)證了本文所提方法的準(zhǔn)確度和適用性。

1 問題描述

假定某制造車間有M臺(tái)機(jī)床，用于生產(chǎn)N種不同類型的零件，不同零件的加工路線和加工時(shí)間各異，零件的生產(chǎn)遵循以下原則：每個(gè)產(chǎn)品的加工工藝路線是確定的；每臺(tái)機(jī)器只加工在制品的一個(gè)操作；在生產(chǎn)過(guò)程中，操作者選擇入緩存區(qū)在制品進(jìn)行加工和出緩存區(qū)在制品進(jìn)行運(yùn)輸時(shí)，遵循先入先出的原則。

基于上述條件，定義訂單完工期為從訂單下達(dá)車間開始到最后一個(gè)在制品完成離開車間的整個(gè)時(shí)間長(zhǎng)度，即OCT=Tout-Tin。式中：OCT表示訂單完工期，Tout表示訂單中最后一個(gè)在制品加工完成離開車間的時(shí)刻，Tin表示訂單下達(dá)車間的時(shí)刻。訂單完工期由等待時(shí)間、準(zhǔn)備時(shí)間、加工時(shí)間、檢測(cè)時(shí)間、運(yùn)輸時(shí)間和返工時(shí)間組成。在制品等待時(shí)間的主要影響因素包括出/入緩存區(qū)排隊(duì)隊(duì)列，零件類型；在制品的加工時(shí)間主要影響因素包括設(shè)備的加工狀態(tài)、零件的類型和數(shù)量；返工時(shí)間的主要影響因素是零件類型以及產(chǎn)品的合格率；在制品準(zhǔn)備加工時(shí)間和檢測(cè)時(shí)間的主要影響因素包括工作人員的熟練程度和零件復(fù)雜程度，一般變化不大，設(shè)定為常數(shù)；運(yùn)輸時(shí)間的主要影響因素包括車間布局和車輛運(yùn)輸狀態(tài)，設(shè)定為常數(shù)。

綜上所述，將訂單完工期影響因素歸納為以下3類：

(1)訂單組成 零件的種類和數(shù)量決定了訂單間的差異性。如式(1)所示：

P=[P1,P2,…,PN]。

(1)

式中：P表示訂單的產(chǎn)品種類和數(shù)量，Pi表示第i種零件數(shù)量。

(2)在制品信息 訂單任務(wù)下達(dá)時(shí)刻(t時(shí)刻)在制品的種類、等待隊(duì)列等因素直接關(guān)系著在制品的加工順序，并隱藏著零件的加工工藝路線等信息，對(duì)訂單完工期具有重要的影響[21]。如式(2)所示：

c=1,2,…,M。

(2)

(3)機(jī)床運(yùn)行信息 機(jī)床的不確定性影響著車間的生產(chǎn)進(jìn)度。如式(3)所示：

(3)

基于以上分析，設(shè)計(jì)預(yù)測(cè)特征數(shù)據(jù)集如式(4)所示：

c=1,2,…,M。

(4)

式中CFS表示訂單完工期預(yù)測(cè)的候選特征集。

通過(guò)以上介紹的CFS，使用深度神經(jīng)網(wǎng)絡(luò)擬合公式(5)完成訂單完工期預(yù)測(cè)：

OCT=f(CFS)。

(5)

式中f表示CFS與OCT之間的對(duì)應(yīng)關(guān)系。

2 基于DBN-DNN的訂單完工期預(yù)測(cè)

基于DBN-DNN的訂單完工期預(yù)測(cè)模型步驟如圖1所示。首先，將原始數(shù)據(jù)進(jìn)行歸一化處理，隨機(jī)選取其70%作為訓(xùn)練集，其余作為測(cè)試集。然后，使用訓(xùn)練集訓(xùn)練DBN，完成特征提取。再將DBN的權(quán)重(W′)和偏值(b′)初始化DNN對(duì)應(yīng)層的權(quán)重(W)和偏值(b)，通過(guò)DNN進(jìn)行目標(biāo)值預(yù)測(cè)，并微調(diào)參數(shù)提高模型性能。最后，使用測(cè)試集測(cè)試預(yù)測(cè)模型的準(zhǔn)確度和適用性。圖1中：In表示輸入層，h1表示第1層隱藏層，hn-1表示第n-1隱含層，hn表示第n層隱含層。

2.1 數(shù)據(jù)集歸一化

數(shù)據(jù)歸一化是將數(shù)據(jù)集按比例縮放，使之落入一個(gè)小的特定區(qū)間，去除數(shù)據(jù)的單位限制，將其轉(zhuǎn)化為無(wú)量綱的純數(shù)值，便于不同單位或量級(jí)的指標(biāo)能夠比較和加權(quán)。一方面可以加快模型收斂速度，另一方面讓各個(gè)特征對(duì)結(jié)果做出相同的貢獻(xiàn)，提升模型的精度。采用式(6)所示的最大最小歸一化方法，將原始數(shù)據(jù)集進(jìn)行線性變化，使結(jié)果落到[0,1]區(qū)間，若原始訂單特征數(shù)據(jù)均相同，則代表各特征貢獻(xiàn)相同，用1表示。

(6)

式中Xmax和Xmin表示原始數(shù)據(jù)集中對(duì)應(yīng)特征的最大值和最小值。

2.2 基于DBN特征提取

DBN由若干個(gè)受限玻爾茲曼機(jī)(Restricted Boltzmann Machine, RBM)堆疊組成，一個(gè)RBM由一層可見層和一層隱含層構(gòu)成，可見層和隱含層的神經(jīng)元之間為雙向全連接[22]。DBN一方面在降低特征數(shù)據(jù)維度時(shí)，盡可能保留了原始特征；另一方面在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，難免會(huì)出現(xiàn)過(guò)擬合現(xiàn)象，DBN能夠有效改善這個(gè)問題。

假設(shè)某個(gè)RBM可見層有V個(gè)神經(jīng)元，隱含層有H個(gè)神經(jīng)元，對(duì)給定狀態(tài)(v,h)，能量函數(shù)定義如式(7)所示[23-24]：

(7)

基于以上能量函數(shù)，給定狀態(tài)(v,h)的聯(lián)合概率分布如式(8)所示：

(8)

式中Zθ表示配分函數(shù)。

由于RBM層間相互連接、層內(nèi)不連接的特殊結(jié)構(gòu)，當(dāng)給定可見層各神經(jīng)元的狀態(tài)時(shí)，隱含層各神經(jīng)元的激活狀態(tài)是相互獨(dú)立的。同理，當(dāng)給定隱含層各神經(jīng)元的狀態(tài)時(shí)，可見層各神經(jīng)元的激活狀態(tài)也相互獨(dú)立，因此第j個(gè)隱含層神經(jīng)元和第i個(gè)可見層神經(jīng)元的激活概率分別如式(9)和式(10)所示：

(9)

(10)

其中σ表示激活函數(shù)。

傳統(tǒng)的激活函數(shù)有Sigmiod函數(shù)和Tanh函數(shù)，但兩者的導(dǎo)數(shù)值都在(0,1)范圍內(nèi)，當(dāng)進(jìn)行多層反向傳播時(shí)，誤差梯度會(huì)不斷衰減，容易出現(xiàn)梯度消失，模型學(xué)習(xí)效率較低，同時(shí)還會(huì)丟失數(shù)據(jù)中的一些信息。本文采用ReLU激活函數(shù)[25]訓(xùn)練RBM，一方面能克服梯度消失，極大可能的保留數(shù)據(jù)信息；另一方面該激活函數(shù)會(huì)使一些輸出為0，使網(wǎng)絡(luò)具有稀疏性，緩解過(guò)擬合問題。

由于分配函數(shù)Zθ難以計(jì)算，導(dǎo)致聯(lián)合概率分布Pθ(v,h)無(wú)法計(jì)算。2002年，Hinton等[26]提出對(duì)比散度(Contrastive Divergence, CD)算法，以加快RBM訓(xùn)練學(xué)習(xí)。通過(guò)CD算法對(duì)RBM進(jìn)行訓(xùn)練，各個(gè)參數(shù)更新規(guī)則如式(11)～式(13)所示：

W′=W′+ρ(hvT-h′(v′)T)，

(11)

b′=b′+ρ(h-h′)，

(12)

a′=a′+ρ(v-v′)。

(13)

式中:v′表示可視層v的重構(gòu)，h′表示根據(jù)重構(gòu)v′所得隱藏層，ρ表示學(xué)習(xí)效率。

2.3 基于DNN訂單完工期預(yù)測(cè)

DBN預(yù)訓(xùn)練通過(guò)學(xué)習(xí)輸入數(shù)據(jù)特征的耦合關(guān)系完成特征提取，為DNN訓(xùn)練提供合理的初始參數(shù)。如圖1所示，在DBN完成預(yù)訓(xùn)練之后，將DBN參數(shù)作為DNN對(duì)應(yīng)層的初始參數(shù)，DNN最后一層網(wǎng)絡(luò)參數(shù)隨機(jī)給定，與其他層不同，該層的主要任務(wù)是利用前面網(wǎng)絡(luò)提取的特征完成訂單完工期預(yù)測(cè)。在訓(xùn)練過(guò)程中，預(yù)測(cè)值和實(shí)際值有一定的差距，因此使用BP算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，提高預(yù)測(cè)的準(zhǔn)確度。本文采用的是對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)優(yōu)，提高網(wǎng)絡(luò)預(yù)測(cè)性能，擺脫只對(duì)最后一層網(wǎng)絡(luò)參數(shù)調(diào)整而陷入局部最優(yōu)解的困境。

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中，經(jīng)常會(huì)發(fā)生過(guò)擬合現(xiàn)象，這導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練集上的表現(xiàn)力極強(qiáng)，而在測(cè)試集上的表現(xiàn)力較弱。由奧卡姆剃刀定律[27]可知，模型越復(fù)雜，越容易過(guò)擬合。為了降低DNN的復(fù)雜度，改善DNN的過(guò)擬合現(xiàn)象，加入dropout和L2正則化：

(1)dropout是在深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，將神經(jīng)網(wǎng)絡(luò)的神經(jīng)元按照一定的概率將其短暫性地從網(wǎng)絡(luò)中丟失[28]。dropout一方面簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠減少訓(xùn)練時(shí)間；另一方面每個(gè)神經(jīng)元都以一定的概率出現(xiàn)，不能保證相同兩個(gè)神經(jīng)元每次都同時(shí)出現(xiàn)，權(quán)值更新不再依賴于固定關(guān)系神經(jīng)元的共同作用，從而改善DNN的過(guò)擬合現(xiàn)象。

(2)L2正則化的思想是在原始損失函數(shù)Loss0的基礎(chǔ)上加一個(gè)正則項(xiàng)，即各層權(quán)重Wk的平方和，使在顯著減少目標(biāo)值方向上的參數(shù)保留相對(duì)完好，對(duì)無(wú)助于目標(biāo)值方向上的參數(shù)在訓(xùn)練過(guò)程中因正則項(xiàng)而衰減。具體形式如式(14)所示：

(14)

3 實(shí)例分析

根據(jù)上述特征數(shù)據(jù)集，通過(guò)反復(fù)試驗(yàn)，最終選擇相對(duì)較好的DBN-DNN網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)進(jìn)行訂單完工期預(yù)測(cè)。DBN網(wǎng)絡(luò)結(jié)構(gòu)如下：1059→750→300→50，參數(shù)設(shè)置如下：學(xué)習(xí)率α=0.000 1，批尺寸batch_size=128，學(xué)習(xí)周期epochs=20。設(shè)計(jì)DNN網(wǎng)絡(luò)結(jié)構(gòu)如下：1 059→750→300→50，參數(shù)設(shè)置如下：學(xué)習(xí)率α′=0.001，dropout數(shù)據(jù)特征保留概率keep_prob′=0.9，批尺寸batch_size′=128，學(xué)習(xí)周期epochs′=150。因?yàn)榫礁`差(RMSE)對(duì)預(yù)測(cè)中特大或特小誤差非常敏感，所以RMSE能夠很好的反映預(yù)測(cè)模型的準(zhǔn)確度。RMSE是指預(yù)測(cè)值與真實(shí)值偏差的平方與預(yù)測(cè)次數(shù)(m′)比值的平方根，計(jì)算如式(15)所示：

(15)

將使用Sigmoid激活函數(shù)訓(xùn)練DBN，并在DNN中未添加dropout和L2正則化的預(yù)測(cè)模型稱為R-DBN-DNN。圖2是本文設(shè)計(jì)的預(yù)測(cè)模型和R-DBN-DNN在同樣參數(shù)條件下的求解結(jié)果，實(shí)線表示訓(xùn)練集的優(yōu)化過(guò)程，虛線表示測(cè)試集的測(cè)試過(guò)程。從收斂速度看，前者以較快的速度收斂；從模型泛化能力看，前者在訓(xùn)練集和測(cè)試集上的最小RMSE分別為17.11和21.22，后者在訓(xùn)練集和測(cè)試集上的RMSE分為別8.01和31.81，雖然后者在訓(xùn)練集上誤差小，但在測(cè)試集上誤差遠(yuǎn)大于前者。

預(yù)測(cè)模型完成訓(xùn)練后，將測(cè)試集輸入模型，驗(yàn)證模型的準(zhǔn)確度。預(yù)測(cè)結(jié)果如圖3所示，描述的是從測(cè)試集中選取200個(gè)樣本(sp200)作為預(yù)測(cè)對(duì)象，實(shí)線表示樣本的真實(shí)值，虛線表示模型的預(yù)測(cè)值，可以看出預(yù)測(cè)值與真實(shí)值非常接近，且兩者的變化方向和幅度幾乎相同。

用模型預(yù)測(cè)值與樣本真實(shí)值之間的差值大小評(píng)估預(yù)測(cè)模型的好壞。本文使用RMSE、殘差平方和(SSE，計(jì)算如式(16))、平均絕對(duì)誤差(MAE,計(jì)算如式(17))、R平方(R2,計(jì)算如式(18))和預(yù)測(cè)時(shí)間(T)評(píng)價(jià)預(yù)測(cè)模型在測(cè)試集上的預(yù)測(cè)性能。

(16)

(17)

(18)

神經(jīng)網(wǎng)絡(luò)[20]和支持向量回歸[9]被廣泛運(yùn)用于訂單完工期預(yù)測(cè)或相似目標(biāo)預(yù)測(cè)，為闡述本文所提方法的準(zhǔn)確度和適用性，提出以下3種方法進(jìn)行對(duì)比分析，通過(guò)反復(fù)實(shí)驗(yàn)得到相對(duì)較好的訓(xùn)練參數(shù)：

(1)使用多隱含層的基于誤差逆?zhèn)鞑ニ惴ǖ腂P神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，該模型的結(jié)構(gòu)為1 059→750→300→50→1，與本文設(shè)計(jì)的模型結(jié)構(gòu)相同，參數(shù)設(shè)置如下：學(xué)習(xí)率α=0.001，dropout數(shù)據(jù)特征保留概率keep_prob=0.82，批尺寸batch_size=256，學(xué)習(xí)周期epochs=150，該方法簡(jiǎn)稱為M-BPNN。

(2)首先使用主成分分析(PCA)方法將數(shù)據(jù)集從1 059個(gè)特征降維到300個(gè)特征，然后使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，該網(wǎng)絡(luò)結(jié)構(gòu)為300→50→1，參數(shù)設(shè)置如下：學(xué)習(xí)率α=0.001，dropout數(shù)據(jù)特征保留概率keep_prob=0.85，批尺寸batch_size=128，學(xué)習(xí)周期epochs=150，該方法簡(jiǎn)稱為PCA-BPNN。

(3)首先使用PCA方法降維至100個(gè)特征，然后基于支持向量機(jī)的回歸算法SVR進(jìn)行預(yù)測(cè)，選擇徑向基核函數(shù)，核函數(shù)系數(shù)gamma=0.01，懲罰因子C=100，該方法簡(jiǎn)稱為PCA-SVR。

不同比對(duì)模型對(duì)sp200預(yù)測(cè)結(jié)果如圖4所示，不同模型對(duì)測(cè)試集預(yù)測(cè)精度統(tǒng)計(jì)分析結(jié)果如表1所示。從圖3和圖4可以看出，與其他3種預(yù)測(cè)模型相比，DBN-DNN的樣本實(shí)際值(實(shí)線)和樣本預(yù)測(cè)值(虛線)擬合程度最好，表明其預(yù)測(cè)精度最高，PAC-BPNN實(shí)線與虛線偏差最大，預(yù)測(cè)結(jié)果出現(xiàn)了最大誤差；車間存在隨機(jī)擾動(dòng)，在M-BPNN、PCA-BPNN、PCA-SVR三種預(yù)測(cè)模型中，少部分樣本實(shí)際值與預(yù)測(cè)值相差較大，而DBN-DNN每個(gè)樣本預(yù)測(cè)值都比較精確，抗干擾能力較強(qiáng)。在訓(xùn)練過(guò)程中，與DBN-DNN相比，M-BPNN損失值波動(dòng)較大，增大批尺寸，梯度下降方向更準(zhǔn)確，且容易陷入過(guò)擬合，減小dropout特征保留概率，提高泛化能力。表1通過(guò)描述模型好壞的評(píng)價(jià)指標(biāo)：RMSE、SSE、MAE、R2，以數(shù)值形式直觀地驗(yàn)證了DBN-DNN優(yōu)于其他3種預(yù)測(cè)模型。這4種預(yù)測(cè)模型預(yù)測(cè)精度從高到低分別是：DBN-DNN,M-BPNN,PCA-SVR,PCA-BPNN，驗(yàn)證了DBN-DNN在解決預(yù)測(cè)問題的最優(yōu)性。

表1 不同回歸算法結(jié)果對(duì)比

從本實(shí)驗(yàn)可以得到以下結(jié)論：

(1)與R-DBN-DNN相比，ReLU激活函數(shù)避免了梯度消失，以較快的速度收斂于最小值，并使網(wǎng)絡(luò)具有稀疏性，與dropout、L2正則化共同改善了DBN-DNN預(yù)測(cè)模型的過(guò)擬合問題，提高了模型的泛化能力。

(2)與M-BPNN相比，DBN確定的DNN初始參數(shù)優(yōu)于M-BPNN模型隨機(jī)生成的初始參數(shù)，不易收斂到局部最優(yōu)解。

(3)與PCA-BPNN和PCA-SVR相比，DBN-DNN的特征提取、邏輯推理能力強(qiáng)，更適合處理大量的生產(chǎn)制造數(shù)據(jù)。

(4)在以上所有預(yù)測(cè)模型中，DBN-DNN的可靠性、適用性強(qiáng)，預(yù)測(cè)值最接近真實(shí)值，擬合復(fù)雜制造系統(tǒng)非線性映射程度最高。

4 結(jié)束語(yǔ)

本文重點(diǎn)針對(duì)復(fù)雜制造系統(tǒng)訂單完工期預(yù)測(cè)展開研究，建立了一種基于DBN-DNN的離散制造車間訂單完工期預(yù)測(cè)模型。該方法采用ReLU激活函數(shù)改進(jìn)特征提取模型，極大可能地保留了數(shù)據(jù)信息；在回歸預(yù)測(cè)模型中，增加dropout和L2正則化，改善了模型過(guò)擬合現(xiàn)象，提高了模型的泛化能力。

將基于DBN-DNN的訂單完工期預(yù)測(cè)模型運(yùn)用到某航天機(jī)加車間中，隨著訂單完工期預(yù)測(cè)能力的提升，車間生產(chǎn)計(jì)劃更加合理，調(diào)度排產(chǎn)更加科學(xué)，提高了車間整體運(yùn)行效率。在后續(xù)的研究中可以考慮車間的突發(fā)狀況數(shù)據(jù)，提高模型的魯棒性，并通過(guò)建立大數(shù)據(jù)分布式處理平臺(tái)，提高計(jì)算效率。