余 萍，曹 潔

1.蘭州理工大學 電氣工程與信息工程學院，蘭州730050

2.蘭州理工大學 甘肅省工業(yè)過程先進控制重點實驗室，蘭州730050

3.蘭州理工大學 電氣與控制工程國家實驗教學示范中心，蘭州730050

1 引言

深度學習（Deep Learning，DL）是一種源于人工神經(jīng)網(wǎng)絡(luò)的機器學習方法，其本質(zhì)是通過在層次結(jié)構(gòu)中堆疊多層非線性信息處理模塊來模擬數(shù)據(jù)背后的高級表示，并對模式進行分類和預(yù)測。結(jié)合特定的領(lǐng)域任務(wù)，深度學習可以自動完成對數(shù)據(jù)的學習，提取出不同水平和維度的有效特征表示，有更高的數(shù)據(jù)解釋能力。早在20世紀80年代，多層神經(jīng)網(wǎng)絡(luò)的理論就已經(jīng)被提出[1]，典型算法是采用了隨機設(shè)定初始值及梯度下降優(yōu)化策略的BP（Back-Propagation）神經(jīng)網(wǎng)絡(luò)[2-3]。然而過擬合、梯度消失及計算能力受限等問題制約了神經(jīng)網(wǎng)絡(luò)的發(fā)展。直到2006年，Hinton團隊提出一種無監(jiān)督深層神經(jīng)網(wǎng)絡(luò)的有效訓練算法，即深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBN）[4-5]，它成功地訓練了具有多層網(wǎng)絡(luò)結(jié)構(gòu)的受限玻爾茲曼機（Restricted Boltzmann Machine，RBM），在沒有任何監(jiān)督的情況下呈現(xiàn)了數(shù)據(jù)的統(tǒng)計特性。這一技術(shù)的出現(xiàn)打破了神經(jīng)網(wǎng)絡(luò)發(fā)展的瓶頸，同時，伴隨著處理器計算能力的提升，引發(fā)了深度學習的熱潮。近年來，涌現(xiàn)出許多新的模型訓練方法，并被用來有效解決越來越多極具挑戰(zhàn)性的問題，在圖像處理[6-7]、醫(yī)學圖像分析[8-9]、語音識別[10]、目標檢測[11-12]、文本檢測和識別[13-14]以及自然語言處理[15-16]等諸多領(lǐng)域均獲得了突破性進展。

表1列舉了近五年來一些重要的深度學習研究綜述和專著，這些文獻詳細地反映了深度學習取得的階段性進展或在某一領(lǐng)域的應(yīng)用概況。表2列舉了目前主流的幾款深度學習開源仿真工具平臺，旨在為研究者提供參考。值得注意的是深度學習在故障診斷與預(yù)測中的應(yīng)用仍屬于新興領(lǐng)域，因此，本文特別強調(diào)以下兩個方面：（1）圍繞故障診斷與預(yù)測這一研究主題，梳理了五種典型深度學習模型的結(jié)構(gòu)、原理及區(qū)別；（2）整理了深度學習在故障診斷與預(yù)測領(lǐng)域的最新研究進展，對存在的問題、面臨的挑戰(zhàn)進行了分析，并就解決的辦法以及今后的發(fā)展趨勢和研究方向進行了展望。

表1 近五年發(fā)表的深度學習相關(guān)應(yīng)用研究綜述和專著

表2 深度學習主流開源仿真工具

2 深度學習模型

2.1 AE及其變體

自動編碼器（AE）是一種典型的前饋無監(jiān)督神經(jīng)網(wǎng)絡(luò)[71]，其結(jié)構(gòu)如圖1所示：包括編碼器和解碼器兩個部分。

圖1 單隱含層自動編碼器結(jié)構(gòu)

編碼器接受輸入x并將其映射到隱層h，其非線性映射關(guān)系如下：

式中，φf為非線性編碼激活函數(shù)，b為編碼器偏差向量，ω為輸入層與隱層間的連接權(quán)值矩陣。隱層H可以看作是數(shù)據(jù)樣本X的一種更抽象、更有意義的表示。然后，解碼器再以相似的方式將隱層表示映射回原始表示：

式中，φg為解碼激活函數(shù)，ω′為解碼器偏差向量，b′為隱層與輸出層間的連接權(quán)值矩陣。

定義θ為模型參數(shù)集合：

為了使得輸出y與輸入x的重構(gòu)誤差最小，要對參數(shù)θ進行優(yōu)化，相應(yīng)的優(yōu)化問題表示如下：

式（4）表示樣本的平均重構(gòu)誤差優(yōu)化指標，N為樣本數(shù)。

為了使隱含層的輸出更具魯棒性，三種典型的改進包括：稀疏自動編碼器（Sparse Auto-Encoder，SAE）、去噪自動編碼器（Denoising Auto-Encoder，DAE）和堆疊去噪自動編碼器（Stacked Denoising Auto-Encoder，SDAE）。

2.1.1 SAE

為防止樣本性質(zhì)的波動，在隱層單元上增加稀疏性約束[72]，使得學習到的隱層表示成為稀疏表示，相應(yīng)的優(yōu)化功能更新為：

式中，m是隱含層的層數(shù)，第二項是隱層單元上的Kullback-Leibler（KL）散度總和。其中：

式中，p是預(yù)先定義的平均激活目標，pj是整個數(shù)據(jù)集中第j個隱藏神經(jīng)元的平均激活度。

2.1.2 DAE

DAE的思想是將含有噪聲的數(shù)據(jù)樣本作為輸入送入編碼器進行編碼，再通過解碼器從含噪的樣本中去重建去噪后的輸入。最常用的噪聲是dropout噪聲，它隨機地將輸入特征的一部分設(shè)置為零[73]。增加了去噪功能的DAE增強了噪聲干擾情況下的網(wǎng)絡(luò)魯棒性。

2.1.3 SDAE

SDAE的思想是通過將第j層的輸出作為第j+1層的輸入，這樣可以將多個DAE堆疊在一起，逐層完成貪婪訓練，從而形成更深層的網(wǎng)絡(luò)來學習高級表示[74]。SDAE依然采用梯度下降算法來訓練網(wǎng)絡(luò)參數(shù)。經(jīng)過SDAE的分層預(yù)訓練后，可以將自動編碼器的參數(shù)設(shè)置為DNN所有隱藏層的初始值，然后執(zhí)行受監(jiān)督的微調(diào)以最小化預(yù)測錯誤。在網(wǎng)絡(luò)輸出端通常添加一個SoftMax回歸層，以將最后一層輸出映射到目標。研究表明，基于SDAE的預(yù)訓練DNN模型，相比隨機初始化條件下的DNN具有更強的收斂能力[75]。

2.2 DBN

深度置信網(wǎng)絡(luò)（DBN）是由疊加多個受限玻爾茲曼機（RBM）來構(gòu)建的。RBM是具有一個顯層和一個隱層的雙層神經(jīng)網(wǎng)絡(luò)，如圖2（a）所示，顯層(v)與隱層(h)之間存在對稱連接約束，但層內(nèi)節(jié)點之間無任何連接。RBM可以從訓練數(shù)據(jù)分布中得到潛在的特征表示，因此它是一個生成模型[76]。

圖2 受限玻爾茲曼機（RBM）與深度置信網(wǎng)絡(luò)（DBN）

給定模型參數(shù)θ=[ω,a,b]時，能量函數(shù)可定義為：

式（7）中，ωij表示顯層和隱層間的連接權(quán)值；ai表示可視層偏置值；bj表示隱層偏置值。根據(jù)能量函數(shù)E計算所有單元的聯(lián)合分布：

RBM采用了無監(jiān)督的對比散度算法（Contrastive Divergence，CD）進行網(wǎng)絡(luò)訓練，訓練目標是使聯(lián)合概率最大化。

疊加多個RBM就構(gòu)成了DBN，它具有學習訓練數(shù)據(jù)深層表示的能力，其中第i層（隱層）的輸出作為第i+1層（顯層）的輸入，結(jié)構(gòu)如圖2（b）所示。與SDAE類似，DBN也是通過無監(jiān)督的逐層貪婪學習算法進行網(wǎng)絡(luò)訓練，學習過程包含預(yù)訓練和微調(diào)兩個步驟。

2.3 CNN

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種典型的監(jiān)督型前饋神經(jīng)網(wǎng)絡(luò)，它的訓練目標是通過交替和疊加卷積核以及池化操作來實現(xiàn)對抽象特征的學習。結(jié)構(gòu)上主要包含三部分：卷積層（Convolution layer）、池化層（Pooling layer）和全連接層（Fully Connected layer，F(xiàn)C layer），如圖3所示。

卷積層采用多個卷積核來實現(xiàn)對多特征的提取，每一層的輸出都是對多輸入特征進行卷積，數(shù)學模型如下：

池化層的作用是通過池化操作將特征空間的尺寸減半，從而在保證特征不變性的情況下，降低特征維度。常見的池化操作有最大值池化（Max-pooling）和均值池化（Mean-pooling）。

最后，輸入數(shù)據(jù)在經(jīng)過多次卷積和池化后，傳遞到一個或多個完全連接（FC）層，其結(jié)果將作為頂層分類器（例如，SoftMax）的輸入。

CNN的訓練方式包括前向傳播和反向傳播。首先，輸入信號經(jīng)過多次卷積、池化、全連接運算得到實際輸出信號，并計算實際輸出和理想輸出的差；然后利用BP算法反向逐層傳遞誤差；最后利用梯度下降法更新各層參數(shù)[77]。

近年來CNN的主要改進技術(shù)體現(xiàn)在兩方面：（1）采用ReLU、GeLU等改進的非線性激活函數(shù)[78]，加速了網(wǎng)絡(luò)的收斂速度，更適應(yīng)深層網(wǎng)絡(luò)的訓練；（2）采用了深層網(wǎng)絡(luò)的正則化方法[79]，很大程度地防止了訓練過程中的過擬合現(xiàn)象。

2.4 RNN

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一個處理順序數(shù)據(jù)的框架，通過每層之間節(jié)點的連接結(jié)構(gòu)來記憶之前的信息，并利用這些信息來影響后面節(jié)點的輸出。RNN可充分挖掘序列數(shù)據(jù)中的時序信息以及語義信息，這種方式在處理時序數(shù)據(jù)時比全連接神經(jīng)網(wǎng)絡(luò)和CNN更具有深度表達能力。如圖4所示，多層感知器只能從輸入數(shù)據(jù)映射到目標向量，而RNN能夠從以前輸入的整個歷史映射到目標向量，從而利用過去的信息克服簡單神經(jīng)網(wǎng)絡(luò)的局限性。RNN以后向傳播的方式通過時間對受監(jiān)控的任務(wù)進行訓練。

RNN可以使用其內(nèi)部存儲器來處理順序數(shù)據(jù)，t時刻的隱層神經(jīng)元狀態(tài)ht由該時刻的輸入xt和前一時刻的隱層神經(jīng)元狀態(tài)ht-1確定。在典型的vanilla RNN中：

圖3 基于CNN的故障診斷流程

圖4 多層感知器與典型RNN

式中，φ為非線性可微轉(zhuǎn)移函數(shù)，采用不同的轉(zhuǎn)移函數(shù)可以形成不同的RNN模型；ω為隱層與輸入層的連接權(quán)值，u為隱層神經(jīng)元之間的連接權(quán)值，b為偏置值。

對于分類任務(wù)，通常加全連接層和softmax分類層，將序列映射到特定類別標簽[80]。

2.5 GAN

Goodfellow等人2014年提出了生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）[81]。盡管出現(xiàn)的時間較短，但以其獨特的特點迅速成為了機器學習領(lǐng)域最令人興奮的突破之一。GAN結(jié)構(gòu)如圖5所示，生成器(FG)和鑒別器(FD)巧妙地展開相互競爭，生成器試圖混淆鑒別器，而鑒別器則試圖區(qū)分輸入數(shù)據(jù)集中的生成器生成的樣本和原始的實際樣本，由此建立了一個零和博弈的框架。在這個框架中，生成器和鑒別器不斷競爭，各自獲得更強的模擬原始數(shù)據(jù)樣本和迭代識別的能力[82]。

圖5 GAN結(jié)構(gòu)示意圖

3 深度學習在故障診斷與預(yù)測中的應(yīng)用

3.1 研究背景

系統(tǒng)的異常檢測和故障診斷一直是學術(shù)界關(guān)注的重點問題，而隨著工業(yè)設(shè)備日趨復(fù)雜化、大型化和智能化，高效獲取準確、完備的診斷信息越來越困難。傳統(tǒng)的診斷技術(shù)已很難滿足現(xiàn)代工業(yè)的故障診斷需求，迫切需要能夠?qū)⒐收蠙C理、模型建立、特征提取與分類方法等相關(guān)問題相融合的混合智能故障診斷技術(shù)，而深度學習的出現(xiàn)為這一技術(shù)的實現(xiàn)提供了新的思路和途徑。下面從三個方面分析未來工業(yè)的故障診斷與預(yù)測為什么需要深度學習。

（1）故障復(fù)雜性

復(fù)雜工業(yè)系統(tǒng)從結(jié)構(gòu)上來說具有多層次、互相關(guān)和復(fù)雜性等特點，這就導致了系統(tǒng)的故障具有了傳播性、耦合性、繼發(fā)性和不確定性的特點。舉例說明，一個微小故障的存在可能引發(fā)大型故障的出現(xiàn)，或隨著系統(tǒng)結(jié)構(gòu)層次進行故障傳播從而引發(fā)一系列故障，繼發(fā)多故障的耦合，最終對設(shè)備構(gòu)成致命性毀壞。在這一過程中僅故障種類就包含了早期微小故障、復(fù)合故障、系統(tǒng)故障等。微小故障具有潛在性和動態(tài)響應(yīng)微弱的特點；復(fù)合故障和系統(tǒng)故障由于多因素耦合和傳遞路徑復(fù)雜，導致難以有效溯源故障成因。這些都為故障診斷帶來了難度，傳統(tǒng)基于數(shù)據(jù)的故障診斷技術(shù)中人工設(shè)計并提取故障特征的方法已遠遠不能滿足實際需要，而能夠進行數(shù)據(jù)深層挖掘、自動提取故障特征、具有端對端操作特點的深度學習技術(shù)必將成為整個故障診斷體系中的關(guān)鍵性技術(shù)。

（2）環(huán)境復(fù)雜性

系統(tǒng)未知的干擾和噪聲會對故障信號產(chǎn)生很大的影響，例如微小故障信號的幅值較低，很容易被未知擾動和噪聲信號所掩蓋，尤其是當噪聲和微小故障信號發(fā)生混疊時，就很難對其進行區(qū)別。而深度學習方法中已有很多優(yōu)秀的改進模型用來幫助解決此類問題，如堆疊去噪自動編碼器（SDAE）、自帶去噪功能的CNN等。此外，由于數(shù)據(jù)采集、傳輸、存儲過程中受環(huán)境影響所導致的異常以及傳感器自身漂移等因素，都將使得系統(tǒng)的故障和征兆具有隨機性、模糊性和信息不確定性等特點，這些都需要進行深度的數(shù)據(jù)挖掘來實現(xiàn)故障的有效識別。

（3）數(shù)據(jù)復(fù)雜性

隨著信息化技術(shù)的發(fā)展，未來復(fù)雜工業(yè)系統(tǒng)將不僅能獲得到時間與空間兩個維度上不同尺度的海量數(shù)據(jù)，還能獲取到不同來源、不同工況、不同部門、不同類型的海量數(shù)據(jù)，這就為數(shù)據(jù)的處理帶來了巨大難度。如何實現(xiàn)對海量故障數(shù)據(jù)的快速分析和深度挖掘是大數(shù)據(jù)時代的挑戰(zhàn)性難點，而深度學習方法必將是攻克這一難題的有力武器。

3.2 發(fā)展趨勢

如圖6所示，隨著深度學習技術(shù)的不斷發(fā)展，在故障診斷領(lǐng)域中，數(shù)據(jù)處理的方法已由單一算法逐漸演變到混合模型算法，例如深層/淺層網(wǎng)絡(luò)的相互合作等；應(yīng)用范圍也越來越廣，從最初的機械設(shè)備到風力發(fā)電設(shè)備，再到航空航天設(shè)備等，普遍性和實用性獲得了極大的提升；技術(shù)側(cè)重點也從故障診斷到退化狀態(tài)研究，再到故障預(yù)測。由此可見，深度學習在這一領(lǐng)域的發(fā)展是值得期待的。

圖6 基于深度學習的故障診斷與預(yù)測研究概覽

3.3 深度學習用于故障診斷的一般流程

基于深度學習的故障診斷基本框架如圖7所示，包括定義狀態(tài)階段、數(shù)據(jù)預(yù)處理階段、訓練階段、測試階段及診斷結(jié)果評估階段等五個步驟。

圖7 基于深度學習的故障診斷基本框架

易見，基于深度學習的故障診斷方法的特點在于：（1）與“淺”層網(wǎng)絡(luò)不同，深度學習沒有人工設(shè)計故障特征環(huán)節(jié)，將故障特征選擇提取和分類模型訓練合為一體；（2）深度學習是多隱層網(wǎng)絡(luò)，能夠避免維度災(zāi)難和“淺”層網(wǎng)絡(luò)診斷能力不足的局限性。

3.4 數(shù)據(jù)來源

數(shù)據(jù)是所有機器學習和人工智能方法的基礎(chǔ)。為了進行有效的故障檢測，使得研究方法的驗證結(jié)果更有說服力，必須對數(shù)據(jù)集的可靠性、實用性和通用性做很好的評估。但實際采集數(shù)據(jù)耗時嚴重，例如軸承劣化過程可能需要很多年的時間，因此大多數(shù)研究人員都采用人工注入故障的方法來收集數(shù)據(jù)。因此，除了規(guī)范的實際實驗數(shù)據(jù)以外，目前幾種典型的可用于測試、評估和比較不同的算法的通用故障數(shù)據(jù)集如表3所示。從現(xiàn)有文獻來看，CWRU數(shù)據(jù)集[83]用于軸承故障識別的應(yīng)用研究最多，有利于研究結(jié)果的對比。而更多的數(shù)據(jù)集的出現(xiàn)，也為深度學習故障診斷與預(yù)測提供了更豐富的選擇。

3.5 深度學習方法在故障診斷與預(yù)測中的應(yīng)用

3.5.1 基于AE的故障診斷方法

在故障診斷中使用自動編碼器的研究報道較多。文獻[93]使用了深度為5的AE網(wǎng)絡(luò)實現(xiàn)了自適應(yīng)提取故障特征及有效分類的軸承故障診斷，分類精度達到99.6%，明顯高于70%的反向傳播神經(jīng)網(wǎng)絡(luò)。為減少噪聲對故障特征的干擾，文獻[94]以多級齒輪傳動系統(tǒng)為研究對象，在多工況條件下基于去噪自編碼器（DAE）對多種故障進行了診斷，實驗結(jié)果表明，其診斷準確率明顯高于單隱含層BPNN、多隱含層BPNN及基于常用特征的SVM分類。在文獻[95]中，實現(xiàn)了一種由三個堆疊的自編碼器組成的堆疊去噪自動編碼器（SDAE），實驗中原始的CWRU軸承數(shù)據(jù)受到15 db隨機噪聲的干擾，用以實現(xiàn)噪聲條件的模擬，并以多工況數(shù)據(jù)集作為測試集，檢驗其在轉(zhuǎn)速和負載變化下的故障識別能力。實驗表明，該方法達到了最低91.79%的診斷準確率，比傳統(tǒng)的SAE高3%～10%。在文獻[96]中使用了另一種形式的SDAE，CWRU數(shù)據(jù)集的信號與時間域中不同級別的人工隨機噪聲相結(jié)合，然后轉(zhuǎn)換為頻率信號。該方法比DBN網(wǎng)絡(luò)具有更高的診斷精度，特別是在附加噪聲的情況下，故障診斷精度提高了7%。文獻[97]有效集成了DAE和Elastic Net（EN）來解決故障診斷中的噪聲干擾問題，實驗結(jié)果表明，該方法能有效地檢測工業(yè)過程中的異常樣本，并能準確地將故障變量與正常變量隔離開來。為應(yīng)對處理較大數(shù)據(jù)集的需要，文獻[98]提出一種引入了dropout技術(shù)和ReLU激活功能的堆疊式自動編碼器（SAEs）來解決齒輪箱故障診斷問題，在自動提取顯著故障特征的同時，減少了訓練過程中的過擬合問題，提高小訓練集的訓練性能。實驗結(jié)果表明，該方法優(yōu)于原編碼器及其他一些傳統(tǒng)方法。文獻[99]構(gòu)建了一種4層的堆疊稀疏自動編碼器（SSAE），該方法對振動數(shù)據(jù)進行非線性投影壓縮，壓縮比為70%，并在變換域內(nèi)進行自適應(yīng)特征提取，分類精度高達97.47%，比SVM高8%，比傳統(tǒng)單隱層人工神經(jīng)網(wǎng)絡(luò)高60%，比多隱層人工神經(jīng)網(wǎng)絡(luò)高46%。

表3 若干典型的故障診斷測試數(shù)據(jù)集

此外，研究者也開展了著重于混合式設(shè)計以改進診斷性能研究和早期微小故障的研究。如文獻[100]設(shè)計了一種由一系列不同激活功能的自動編碼器（AE）集成的深度自動編碼器（Ensemble Deep Auto-Encoders，EDAE），然后按照一種組合策略來確保診斷結(jié)果的準確性和穩(wěn)定性。實驗結(jié)果表明該方法的分類精度為99.15%，與BPNN（88.22%）、SVM（90.81%）和RF（92.07%）相比，性能顯著提升。文獻[101]采用了一種基于自動編碼器的極限學習機（Extreme Learning Machine，ELM），綜合了自動編碼器的自動特征提取能力和ELM的高訓練速度優(yōu)點。與小波包分解支持向量機（WPD-SVM）（94.17%）、經(jīng)驗?zāi)B(tài)分解支持向量機（EMD-SVM）（82.83%）、WPD-ELM（86.75%）和EMDELM（81.55%）相比，平均準確率為99.83%。更重要的是，由于采用了ELM，使用相同的訓練和測試數(shù)據(jù)，所需的培訓時間減少了60%到70%。文獻[102]構(gòu)造了一種深耦合自動編碼器（DCAE）模型，將捕獲到的不同多模數(shù)據(jù)之間的關(guān)鍵信息無縫集成到數(shù)據(jù)中加以融合，即從多模數(shù)據(jù)中獲取聯(lián)合信息進行故障診斷，實驗結(jié)果表明，該模型能夠進行準確的故障診斷，具有更好的性能。文獻[103]提出一種新的軸承智能診斷方法，通過創(chuàng)建新子集的方法從不同的故障模式中學習并識別特征，在此基礎(chǔ)上提出了一種具有自適應(yīng)微調(diào)功能的基于子集的深度自動編碼器（Subset Based Deep Auto-Encoder，SBDA）模型來實現(xiàn)特征的自動提取。該方法以三個公共軸承數(shù)據(jù)集為對象進行了實驗驗證，平均測試精度分別為99.65%、99.66%和99.60%。與13種智能診斷方法的比較表明，SBDA能獲得更高的診斷精度。文獻[104]提出了一種由自動編碼器和SoftMax分類器構(gòu)成深度學習網(wǎng)絡(luò)（Deep Learning Network，DLN），用于識別不同程度的軸承故障。首先，通過集成經(jīng)驗?zāi)B(tài)分解（Ensemble Empirical Mode Decomposition，EEMD）方法形成高維特征向量作為DLN的輸入；然后，在DLN中完成學習和參數(shù)微調(diào)用以減小分類誤差。實驗結(jié)果表明，該方法對軸承故障診斷具有較好的效果，也為更復(fù)雜的數(shù)據(jù)分類提供了有力的理論與實驗研究基礎(chǔ)。文獻[105]提出了一種基于深度自動編碼器的無監(jiān)督電機故障診斷方法。該方法利用加速度計獲取振動信號，僅通過正常數(shù)據(jù)進行網(wǎng)絡(luò)訓練。實驗以接收機工作特性曲線的曲線下面積（Area Under Curve，AUC）對診斷性能進行了評價，結(jié)果表明多層感知器（MLP）自動編碼器、卷積神經(jīng)網(wǎng)絡(luò)自動編碼器和由長短期記憶（Long Short-Term Memory，LSTM）單元組成的循環(huán)式自動編碼器都優(yōu)于OCSVM（One-Class Support Vector Machine）算法。這其中，MLP自動編碼器是性能最高的體系結(jié)構(gòu)，實現(xiàn)了99.11%的AUC。文獻[106]基于疊層稀疏自動編碼器，實現(xiàn)了一種能夠提高分類和預(yù)測精度的實時在線處理方案，對傳統(tǒng)統(tǒng)計技術(shù)檢測不到的早期故障具有較高的檢測效率。

3.5.2 基于DBN的故障診斷方法

作為最早出現(xiàn)的深度學習模型，早在2013年就有報道基于DBN的故障診斷研究結(jié)果。文獻[107]提出基于DBN的多傳感器健康診斷可分為三個階段：第一階段，定義用于DBN訓練和測試的數(shù)據(jù)集；第二階段，開發(fā)基于預(yù)定義好的健康狀態(tài)的DBN分類診斷模型；第三階段，驗證DBN分類模型。并與現(xiàn)有的SVM等四種診斷技術(shù)進行了比較，證明了該方法的有效性。

近年來，DBN更多的是與其他技術(shù)相結(jié)合來解決故障診斷問題。文獻[108]實現(xiàn)了一種多傳感器振動數(shù)據(jù)融合技術(shù)，融合了通過多個二層SAE提取的時域和頻域特征；然后利用基于三層RBM的DBN進行分類。結(jié)果表明，即使在運行工況發(fā)生變化后，也能有效地識別軸承故障，該方法的診斷精度達97.82%。文獻[109]提出了一種基于DBN的變壓器故障診斷方法，通過分析變壓器油中溶解氣體與故障類型的關(guān)系，確定氣體的非編碼比作為DBN模型的特征參數(shù)，并采用多層和多維映射的方法提取斷層類型的更詳細差異，在此基礎(chǔ)上構(gòu)建并測試了DBN診斷模型。通過不同的特征參數(shù)、不同的訓練數(shù)據(jù)集和樣本數(shù)據(jù)集，分析了DBN診斷模型的性能，實驗結(jié)果表明，該方法大大提高了電力變壓器故障診斷的準確性。文獻[110]針對軸承故障分類問題，提出了一種自適應(yīng)DBN和雙樹復(fù)小波包（Dual-Tree Complex Wavelet Packet，DTCWPT）相結(jié)合的診斷方法。首先利用DTCWPT對振動信號進行預(yù)處理，在振動信號中生成具有9×8特征參數(shù)的原始特征集，然后利用5層自適應(yīng)DBN（“72-400-250-100-16”結(jié)構(gòu)）進行故障分類。實驗表明該方法的平均準確率為94.38%，遠高于ANN（63.13%）、GRNN（69.38%）和SVM（66.88%）的診斷精度。文獻[111]提出了一種改進的壓縮傳感卷積DBN網(wǎng)絡(luò)（Convolutional Deep Belief Network，CDBN），用于滾動軸承的故障特征學習和故障診斷。在采用CS（Compressed Sensing）降低振動數(shù)據(jù)量的基礎(chǔ)上，構(gòu)造了一個新的CDBN模型并采用指數(shù)移動平均（Exponential Moving Average，EMA）技術(shù)，提高了網(wǎng)絡(luò)的泛化性能。實驗結(jié)果表明，相對于傳統(tǒng)方法，該方法更有效。類似的，在文獻[112]中，采用卷積RBMs構(gòu)造卷積DBN，首先，將自動編碼器壓縮降維后的數(shù)據(jù)送入基于高斯可見單元的卷積DBN學習故障特征，然后利用SoftMax層進行分類，得到了97.44%的準確率，與同條件下的AE（90.76%）、DBN（88.10%）和CNN（91.24%）相比，具有更好的分類精度。在文獻[113]中，由多個DBN進行特征提取，然后根據(jù)提取的特征確定故障條件，在負載變化情況下進行診斷，并最終通過DS（Dempster-Shafer）證據(jù)理論融合診斷結(jié)果，診斷準確率達98.8%。為進一步克服缺陷、提高網(wǎng)絡(luò)性能，文獻[114]針對不平衡數(shù)據(jù)的分類問題，提出了一種進化的成本敏感DBN網(wǎng)絡(luò)（Evolutionary Cost-Sensitive Deep Belief Network，ECS-DBN）。ECS-DBN采用自適應(yīng)差分進化算法，將錯誤分類成本進行優(yōu)化后，應(yīng)用于DBN網(wǎng)絡(luò)中。實驗結(jié)果表明，該方法在故障診斷基準數(shù)據(jù)集和現(xiàn)實數(shù)據(jù)集上均有很好的診斷能力。文獻[115]提出了一種結(jié)合奈斯特羅夫動量的自適應(yīng)學習速率DBN網(wǎng)絡(luò)，分別在齒輪箱和機車軸承試驗臺的數(shù)據(jù)集上進行實驗驗證，結(jié)果表明，該方法的故障識別率得到顯著提升，證明了該方法的準確性和魯棒性。文獻[116]提出了一種基于DBN和傳遞學習策略的高壓斷路器機械故障診斷方法。首先，利用DBN實現(xiàn)了對樣本數(shù)據(jù)故障特征的深度挖掘和自適應(yīng)提取，并結(jié)合傳遞學習方法，通過調(diào)整訓練樣本的權(quán)重來實現(xiàn)數(shù)據(jù)學習的目標。結(jié)果表明，該方法可獲得更強的泛化能力。

3.5.3 基于CNN的故障診斷方法

自2016年CNN被用于識別軸承故障以來，出現(xiàn)了很多基于這一主題的文獻報道，從數(shù)據(jù)源處理、抗噪、提速、結(jié)構(gòu)改進、靈敏性等多方面、多角度不斷提升CNN的故障診斷性能和適用范圍。文獻[117]采用了一種傳感器融合方法，將從驅(qū)動端和風扇端兩個加速度傳感器采集的CWRU原始數(shù)據(jù)進行時空信息疊加，從而將一維時間序列數(shù)據(jù)轉(zhuǎn)換為二維輸入矩陣。樣本的70%用于訓練、15%用于驗證、15%用于測試；實驗結(jié)果表明，基于兩個傳感器數(shù)據(jù)的平均診斷精度為99.41%，高于只有一個傳感器時98.35%的平均診斷精度。文獻[118]中使用的自適應(yīng)交疊CNN（Adaptive Overlapping Convolutional Neural Network，AOCNN），能夠直接處理一維原始振動信號，并消除嵌入在時域信號中的移位變量問題。該方法在自適應(yīng)卷積層將樣本分割成若干段后，采用稀疏濾波（Sparse Filtering，SF）的方法獲取局部特征。分類結(jié)果表明，采用SF的AOCNN能診斷出軸承的10種健康狀況，檢測準確率達99.19%。針對實際軸承損傷數(shù)據(jù)很難甚至不可能收集到，轉(zhuǎn)而使用人工軸承損傷數(shù)據(jù)從而產(chǎn)生的應(yīng)用差異問題，文獻[119]使用了德國Paderborn大學軸承數(shù)據(jù)集，此數(shù)據(jù)集包括人為誘發(fā)故障和機器老化導致的實際自然故障。該文獻提出了一種新的基于空洞卷積的深度初始網(wǎng)絡(luò)模型（Deep Inception Net with Atrous Convolution，ACDIN），當僅使用人工軸承損壞產(chǎn)生的數(shù)據(jù)進行訓練時，ACDIN將實際軸承故障的診斷精確度從75%（傳統(tǒng)數(shù)據(jù)驅(qū)動方法的最佳結(jié)果）提高到95%。此外，文中還利用特征可視化方法分析了該模型高性能背后的機理。文獻[120]提出了一種基于故障位置和損傷程度不同而對原始振動信號進行智能分類的故障診斷方法。通過將數(shù)據(jù)集轉(zhuǎn)換成光譜圖的方式，最大程度地保留時域信號的原始信息，然后利用深度全卷積神經(jīng)網(wǎng)絡(luò)進行訓練。實驗結(jié)果表明，此方法收斂速度快，精度高達100%，具有更好的泛化能力。針對含噪信號所導致的診斷精度不高的問題，文獻[121]實現(xiàn)了具有2個卷積層和2個匯集層的4層CNN結(jié)構(gòu)，其精度優(yōu)于傳統(tǒng)的SVM和淺層SoftMax回歸分類器，特別是當振動信號與環(huán)境噪聲混合時，這種改進可以提升25%的診斷準確率，體現(xiàn)了CNN算法出色的去噪能力。文獻[122]提出了一種基于CNN的滾動軸承故障診斷新方法，通過將一維振動信號轉(zhuǎn)換成二維圖像，并利用CNN對圖像分類的有效性，可使CWRU軸承數(shù)據(jù)集達到100%的診斷精度。此外，當負載條件發(fā)生變化時，在不重新訓練分類器的情況下，該方法仍能以較高的精度獲得滿意的性能，具有較強的魯棒性和抗噪聲能力。為了節(jié)省CNN算法訓練時間，在文獻[123]中采用了多尺度深度CNN（Multi-Scale Deep Convolutional Neural Network，MS-DCNN），使用不同尺度的卷積核并行提取不同尺度的特征。實驗對比9層一維CNN、二維CNN和提出的MS-DCNN的平均精度分別為98.57%、98.25%和99.27%。此外，MS-DCNN需要確定的網(wǎng)絡(luò)參數(shù)數(shù)量僅為52 172個，遠遠低于一維CNN（171 606個）和二維CNN（213 206個）。文獻[124]構(gòu)建了一個新的深度學習框架，并利用遷移學習來實現(xiàn)高精度的機器故障診斷，實驗結(jié)果表明該算法訓練速度快、精度高。文獻[125]在傳統(tǒng)CNN結(jié)構(gòu)的基礎(chǔ)上，加入一個錯位層，可以更好地提取不同信號之間的關(guān)系，最終實驗中獲得了96.32%的診斷準確率，相比傳統(tǒng)CNN83.39%的診斷準確率，性能得到了很大的提升。文獻[126]提出了一種新的基于LeNet-5的CNN故障診斷方法。將信號轉(zhuǎn)換成二維圖像作為網(wǎng)絡(luò)的輸入，并利用電機軸承、自吸離心泵、軸向柱塞液壓泵這三個基準數(shù)據(jù)集進行了測試，預(yù)測精度分別為99.79%、99.481%和100%。實驗結(jié)果優(yōu)于自適應(yīng)深度CNN、稀疏濾波、深度置信網(wǎng)絡(luò)和支持向量機等。文獻[127]提出了一種包含一維殘差塊的更深層的一維卷積神經(jīng)網(wǎng)絡(luò)（Deeper One-Dimensional CNN，Der-1DCNN），在框架內(nèi)還包含了殘差學習的思想并首次采用了寬卷積核和dropout技術(shù)，有效地緩解了網(wǎng)絡(luò)訓練難度和性能退化的問題，提高了網(wǎng)絡(luò)的泛化性能。實驗表明，該方法與目前常規(guī)的軸承故障診斷深度學習方法相比，具有更好的診斷性能。文獻[128]實現(xiàn)了一種基于CNN的新體系結(jié)構(gòu)（即LiftingNet），該結(jié)構(gòu)包括分割層、預(yù)測層、更新層、匯集層和完全連接層，主要學習過程有分割、預(yù)測、更新和循環(huán)。利用CWRU數(shù)據(jù)集對方法進行了分類性能驗證，轉(zhuǎn)速相同情況下分類精度為99.63%，四種不同的轉(zhuǎn)速下平均精度仍達到93.19%，比常規(guī)方法高14.38%。針對普遍存在的故障診斷中由于標記樣本的體積較小所造成的DL模型的深度較淺，限制了最終預(yù)測精度的問題，文獻[129]基于ResNet-50提出一種遷移學習卷積神經(jīng)網(wǎng)絡(luò)（Transfer Convolutional Neural Network，TCNN）用于故障診斷。首先，將時域故障信號轉(zhuǎn)換為RGB圖像格式作為ResNet-50輸入；然后對所提出的TCNN在軸承損壞數(shù)據(jù)集、CWRU電機軸承數(shù)據(jù)集和自吸離心泵數(shù)據(jù)集三個數(shù)據(jù)集上進行測試。實驗結(jié)果表明TCNN（ResNet-50）的預(yù)測精度高達98.95%±0.007 4、99.99%±0和99.20%±0，明顯優(yōu)于其他DL模型和傳統(tǒng)診斷方法。此外，從提高診斷靈敏性角度出發(fā)，以早期微小故障為對象的診斷方法研究是極具現(xiàn)實意義的研究方向，值得深入研究。文獻[130]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的變速軸承早期故障診斷新方法。結(jié)合譜能量圖（SEM）和DS-DLM算法，實現(xiàn)了可變操作速度下的軸承早期故障診斷，效果顯著。

3.5.4 基于RNN的故障診斷方法

早在2005年就出現(xiàn)了將RNN用于故障診斷的文獻[131]，2008—2010年出現(xiàn)了大量此類文獻，但由于梯度消失/爆炸及難以訓練等問題該方法經(jīng)歷了一段時間的沉寂，直到2015年才逐漸復(fù)蘇。文獻[132]中將RNN用于軸承故障診斷，首先，利用離散小波變換提取故障特征，并進行特征選擇，然后，輸入RNN進行故障分類。實驗表明，該方法在非平穩(wěn)工況下也能準確地檢測和分類軸承故障。文獻[133]中提出了一種將一維CNN和LSTM結(jié)合起來進行軸承故障分類的方法，整體結(jié)構(gòu)包括一維CNN層、Maxpooling層、LSTM層和SoftMax層。實驗測試精度為99.6%。文獻[134]中提出一種具有堆疊隱藏層的LSTM單元，以均方誤差（MSE）作為損失函數(shù)，并采用自適應(yīng)學習率來提高訓練效果?；贑WRU數(shù)據(jù)集的診斷實驗顯示，該方法在轉(zhuǎn)速為1 750轉(zhuǎn)/min和1 797轉(zhuǎn)/min時的平均測試精度分別為94.75%和96.53%。文獻[135]提出了一種新的基于RNN的軸承故障診斷方法。該方法利用了具有很強的泛化能力的基于GRU的非線性預(yù)測去噪自動編碼器（GRU-NP-DAEs），從上一周期預(yù)測下一周期的多次振動值，然后利用下一周期數(shù)據(jù)與GRU-NP-DAE生成的輸出數(shù)據(jù)之間的重構(gòu)誤差，對異常情況進行檢測，并進行故障分類。實驗結(jié)果表明，該方法具有較強的魯棒性和較高的分類精度，性能優(yōu)秀。

3.5.5 基于GAN的故障診斷方法

2014年提出的生成對抗網(wǎng)絡(luò)（GAN）在故障診斷領(lǐng)域最早的應(yīng)用報道出現(xiàn)在2017年[136]，該文獻針對故障數(shù)據(jù)量遠小于正常數(shù)據(jù)量而導致的數(shù)據(jù)不平衡問題，設(shè)計了一個用于故障檢測和診斷的深度神經(jīng)網(wǎng)絡(luò)，并將生成對抗網(wǎng)絡(luò)的過采樣與標準的過采樣技術(shù)進行了比較。仿真結(jié)果表明，在給定條件下，生成對抗網(wǎng)絡(luò)的過采樣性能良好，所設(shè)計的深度神經(jīng)網(wǎng)絡(luò)能夠?qū)Ξ惒诫妱訖C的故障進行高精度的分類。文獻[137]提出了一種用于滾動軸承無監(jiān)督故障診斷的分類對抗式自動編碼器（Categorical Generative Adversarial Auto-Encoders，CatAAE）。該模型用對抗性方法訓練了一個在編碼空間上施加先驗分布的自動編碼器，然后，分類器通過預(yù)測分類和樣本間的信息平衡對輸入樣本進行聚類。實驗結(jié)果表明，當環(huán)境噪聲和電機負載發(fā)生變化時，該方法具有良好的性能和較高的聚類指標，且具有較強的魯棒性。文獻[138]提出了一種結(jié)合GAN和SDAE的故障診斷方法。首先，利用GAN生成器產(chǎn)生與振動信號原始樣本分布相似的新樣本。然后，將生成的樣本和等量原始樣本一起輸入SDAE進行分類，并對新模型進行了并行優(yōu)化。實驗結(jié)果表明，該方法可在小樣本情況下實現(xiàn)精確故障分類，且具有良好的抗噪聲能力。文獻[139]提出了一種將Wasserstein GAN與傳統(tǒng)分類器相結(jié)合的混合生成對抗網(wǎng)絡(luò)，同樣可以解決小樣本情況下的能耗元件的自動故障診斷問題，在訓練過程中以有限的故障訓練樣本模擬現(xiàn)實場景進行故障診斷，實驗結(jié)果證明了該方法的有效性。文獻[140]提出了一種新的基于生成對抗網(wǎng)絡(luò)（GAN）的工業(yè)時間序列不平衡故障診斷方法。在GAN中采用了編碼器-解碼器-編碼器三個子網(wǎng)絡(luò)，該子網(wǎng)絡(luò)基于深度卷積生成對抗網(wǎng)絡(luò)（Deep convolutional GAN）。為了驗證該方法的有效性和可行性，利用CWRU滾動軸承數(shù)據(jù)進行了驗證，性能良好。

3.5.6 基于深度學習的故障預(yù)測方法

故障預(yù)測是依靠歷史數(shù)據(jù)來估計預(yù)測對象未來時刻工作狀態(tài)的方法。深度學習具有深度特征學習和復(fù)雜非線性函數(shù)逼近的能力，表明了其在故障預(yù)測中的有效性。然而，就目前的研究成果看，此類文獻還比較少，有待研究者做進一步研究。文獻[141]中，將多目標進化算法與傳統(tǒng)的DBN訓練技術(shù)相結(jié)合，將多個DBN同時進化為兩個相互沖突的目標，再用進化后的DBN構(gòu)建一個用于剩余壽命（Remaining Useful Life，RUL）估計的集成模型，通過差分進化算法優(yōu)化模型組合權(quán)重，并在幾種預(yù)測基準數(shù)據(jù)集上進行算法評估，驗證了方法的優(yōu)越性。文獻[142]應(yīng)用帶FNN的DBN進行自動特征學習，在軸承座上垂直于軸的方向安裝了兩個加速度計，每5分鐘采集一次數(shù)據(jù)，采樣頻率為102.4 kHz，持續(xù)時間為2 s，實驗結(jié)果表明，所提出的基于DBN的方法能夠準確預(yù)測未來5 min和50 min的真實RUL。文獻[143]研究了常規(guī)RNN、AdaBoost-LSTM和GRU（Gated Recurrent Unit）-LSTM三種RNN模型在航空發(fā)動機故障預(yù)測中的應(yīng)用。文獻[144]提出了一個非常有效的RUL預(yù)測結(jié)構(gòu)，設(shè)計了一種基于LSTM的編碼器-解碼器結(jié)構(gòu)。首先，通過編碼器將多變量輸入序列轉(zhuǎn)換成固定長度的矢量，再利用該矢量生成目標序列，然后，在無監(jiān)督情況下進行網(wǎng)絡(luò)訓練，最后，利用重建誤差計算健康指數(shù)，并將其用于RUL估計。從實驗結(jié)果可以看出，較大的重建誤差對應(yīng)于更不健康的機器狀況，實現(xiàn)了基于重建誤差的機器健康狀況表征。文獻[145]提出了一種基于深度學習的故障預(yù)測方法，通過故障模型訓練、故障特征識別、故障演化等方法，在設(shè)備狀態(tài)監(jiān)測和測試驗證的海量數(shù)據(jù)基礎(chǔ)上，實現(xiàn)了在線動態(tài)故障預(yù)測。文獻[146]提出了一種基于稀疏自動編碼器的深度轉(zhuǎn)移學習（DTL）網(wǎng)絡(luò)。采用三種轉(zhuǎn)移策略，將由歷史故障數(shù)據(jù)訓練的SAE轉(zhuǎn)移到新的目標上。并以刀具剩余使用壽命（RUL）預(yù)測為例，驗證了DTL方法的有效性。文獻[147]提出了一種基于長短期記憶（LSTM）網(wǎng)絡(luò)和支持向量機（SVM）的電力系統(tǒng)故障預(yù)測方法。根據(jù)南方電網(wǎng)萬江變電站的實際電力系統(tǒng)數(shù)據(jù)進行了實驗，結(jié)果表明與現(xiàn)有的數(shù)據(jù)挖掘方法相比，該方法有明顯的改進。文獻[148]分別用長短時記憶（LSTM）網(wǎng)絡(luò)、棧式自編碼器（SAE）和門循環(huán)單元（GRU）神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了電力負荷的預(yù)測，驗證了深度學習模型在預(yù)測應(yīng)用中的可行性，并從中選擇了最佳預(yù)測模型。文獻[149]提出了一種新的在線數(shù)據(jù)驅(qū)動框架，利用深卷積神經(jīng)網(wǎng)絡(luò)（CNN）預(yù)測軸承的RUL。首先利用Hilbert-Huang變換（HHT）對訓練數(shù)據(jù)進行處理，并構(gòu)造一種新的非線性退化指標，然后利用CNN識別出退化指標與振動數(shù)據(jù)之間的隱藏模式，最終實現(xiàn)了對軸承退化的自動估計。實驗結(jié)果表明，與目前最先進的RUL估計方法相比，該框架具有更好的性能和通用性。

3.5.7 五種模型應(yīng)用于故障診斷與預(yù)測的優(yōu)缺點

結(jié)合文獻，表4整理了故障診斷與預(yù)測領(lǐng)域中常用的五種深度學習方法的優(yōu)缺點。

表4 五種模型應(yīng)用于故障診斷與預(yù)測的優(yōu)缺點

4 總結(jié)與展望

4.1 存在的問題及解決方法探索

作為一個新興的、重要的研究領(lǐng)域，深度學習在很多應(yīng)用中都顯示出巨大的威力和潛力。但是，在故障診斷方面仍然存在一些需要進一步發(fā)展和完善的空間。

4.1.1 從數(shù)據(jù)角度

（1）缺乏大量的有效數(shù)據(jù)

基于深度學習的故障診斷方法性能的好壞很大程度上取決于數(shù)據(jù)集的規(guī)模和質(zhì)量，即依賴于大量優(yōu)秀的數(shù)據(jù)。然而，現(xiàn)實中這通常是做不到的。首先，設(shè)備無法承受在故障條件下運行的嚴重后果，其次，設(shè)備存在發(fā)生預(yù)期故障前的潛在耗時退化過程，也就是說從非目標機器上采集的公共可用數(shù)據(jù)集或自收集數(shù)據(jù)集和實際的目標機器的運行軌跡不可能完全吻合，勢必由于目標設(shè)備的自然老化而存在差異性，即使在同一臺機器在不同的負載設(shè)置下，也不可避免地存在訓練集和測試集的分布差異，性能仍然會受到影響。相較于圖像識別領(lǐng)域中由包含1 000多萬個注釋圖像的大型數(shù)據(jù)集ImageNet作為支撐，基準CNN模型就能達到152層的巨大優(yōu)勢，大量有效數(shù)據(jù)的缺乏是基于深度學習的故障診斷技術(shù)的發(fā)展瓶頸之一。

遷移學習的出現(xiàn)為解決這一問題提供了新的思路和方法，多種遷移學習的框架被提出[150]。目前比較流行的方法是域自適應(yīng)[151]，通過研究域不變特征自適應(yīng)建立從源域到目標域的知識遷移。對于源域的標記數(shù)據(jù)和目標域的未標記數(shù)據(jù)，域自適應(yīng)算法可以減小兩域之間的分布差異。從這個角度出發(fā)，設(shè)計新的域自適應(yīng)模塊與深度學習體系結(jié)構(gòu)相結(jié)合，用來克服有效數(shù)據(jù)的不足問題，是一個值得研究的方向。此外，GAN網(wǎng)絡(luò)的出現(xiàn)也為這一問題的解決提供了新思路，可以模擬任何數(shù)據(jù)分布的強大功能勢必使得GAN在解決有效數(shù)據(jù)量缺乏這一問題上提供非凡助力。

（2）使用數(shù)據(jù)源單一，且不平衡

從前述文獻分析中可以看到，現(xiàn)有文獻大多數(shù)使用了CWRU數(shù)據(jù)集。很多精度超過99%的DL方法都是在固定的運行條件下獲得的，這勢必影響測試精度的準確性，一旦受到噪聲或電機轉(zhuǎn)速/負載變化的影響，精度可能下降到90%以下，而這種影響在實際應(yīng)用中是不可避免的。此外，樣本的選擇并沒有保證均衡抽樣，這意味著健康狀態(tài)和故障情況不接近1∶1，存在嚴重的不平衡，這時僅采用精度作為評估算法的唯一指標顯然會影響算法在實際應(yīng)用中的有效性。

針對此問題，認為如果考慮選用通用數(shù)據(jù)集，則首先需要對原始數(shù)據(jù)集進行各種干擾以此來打破數(shù)據(jù)集的飽和度，即用隨機噪聲污染信號來測試算法的去噪能力，其次，可以選擇更為復(fù)雜的數(shù)據(jù)源，比如前文提到的德國Paderborn大學提供的故障數(shù)據(jù)庫，或多個數(shù)據(jù)源綜合驗證的方法進行性能比較可能結(jié)果更為準確和有效。同時，可搭建實驗仿真分析平臺，注入不同類型的故障，得到不同故障對應(yīng)的仿真信號，通過分析故障機理的方式對深度學習方法進行有益的補充，或許是一個可行的研究思路。

（3）數(shù)據(jù)處理的復(fù)雜性

如前所述，數(shù)據(jù)的復(fù)雜性不言而喻，如何對樣本多源、且存在標注不規(guī)范、不統(tǒng)一、不全面的數(shù)據(jù)進行有效處理是提高深度學習性能不可回避的重要問題。筆者認為，增設(shè)完善的數(shù)據(jù)預(yù)處理平臺，多角度出發(fā)搭建各自獨立又逐層遞進的子網(wǎng)絡(luò)來實現(xiàn)不同類型的數(shù)據(jù)處理，待數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的數(shù)據(jù)規(guī)范類型后再輸入深度學習網(wǎng)絡(luò)中進行故障特征提取和分類不失為一種可行的思路。

4.1.2 從結(jié)構(gòu)角度

（1）缺乏理論證據(jù)

目前，很多深度學習模型正被用于解決特定的故障診斷問題并取得了很好的效果。但是研究者沒有解釋深層網(wǎng)絡(luò)內(nèi)部的計算機制，也就是說缺乏足夠豐富的理論證據(jù)說明為什么在故障診斷和預(yù)測中使用深度學習可以獲得特定的結(jié)果以及如何去選擇、設(shè)計或?qū)崿F(xiàn)深度學習體系結(jié)構(gòu)。

針對這一問題，認為模型和數(shù)據(jù)可視化是可以嘗試的途徑之一。學習的表示和應(yīng)用模型的可視化可以為這些深度學習模型的選擇、設(shè)計提供參考。例如，用于高維數(shù)據(jù)可視化的t-SNE算法模型[152]以及2016年提出的可視化操作平臺Deep Motif Dashboard[153]等。

（2）深度網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化

從前述文獻中不難看出，基于深度學習的故障診斷方法具有訓練數(shù)據(jù)多、計算量大的特點，這成為深度學習方法在故障診斷領(lǐng)域?qū)崿F(xiàn)在線診斷以及故障預(yù)測的瓶頸之一。這就要求研究者施加結(jié)構(gòu)限制以控制各種深度學習架構(gòu)的計算量，同時，又不能以降低診斷精度為代價。尋找一些精度與速度之間的平衡，或者在保證精度的前提下，引入其他方法來提高速度的方法更加值得研究，例如，實現(xiàn)并行操作，包括GPU加速、數(shù)據(jù)并行和模型并行等。

（3）模型的參數(shù)優(yōu)化

在模型構(gòu)建過程中參數(shù)的動態(tài)優(yōu)化調(diào)整是其發(fā)展的一大挑戰(zhàn)。從現(xiàn)有文獻看，針對優(yōu)化學習模型參數(shù)的可見報道稀缺，基本集中在非線性激活函數(shù)的改進[154]和參數(shù)初始化[155]等方面，這無疑是制約深度學習技術(shù)發(fā)展的一大阻礙。今后的研究應(yīng)該花更大的力氣多角度、多方法的實現(xiàn)模型參數(shù)優(yōu)化，從而從根本上提高深度學習網(wǎng)路性能。

4.1.3 從方法角度

（1）發(fā)展混合算法

根據(jù)前述，深度學習模型因理論支撐不足而被人們稱為“黑匣子”，其在故障診斷領(lǐng)域的應(yīng)用也給人“因人而異”的印象，這些問題的存在，使得其泛化能力備受質(zhì)疑。由此，很多研究者進行了混合算法的初探，比如文獻[156-158]將深度學習和頻譜、小波、PCA等進行了混合，他們試圖通過加入人工提取特征環(huán)節(jié)來減少訓練時間。然而這種做法可能會在算法的早期訓練中就產(chǎn)生偏差從而導致結(jié)果不可靠，同時也違背了深度學習端到端學習的重要思想。近年來又涌現(xiàn)出了一些新的方法[104，159]試圖解決上述問題，這是一種好的現(xiàn)象，但目前還遠沒有達到各種方法“有機結(jié)合”的程度。因此，在今后的研究中還應(yīng)繼續(xù)探索新的可能性，比如，將深層、淺層網(wǎng)絡(luò)進行組合構(gòu)建新的具有優(yōu)異性能的混合深度學習模型；將監(jiān)測數(shù)據(jù)組合成為二維圖譜，以充分展示深度學習模型的圖形處理優(yōu)勢等，最終通過各種方法取長補短、優(yōu)勢互補的有機結(jié)合實現(xiàn)高效、高準確率的復(fù)雜工業(yè)系統(tǒng)的故障診斷與預(yù)測。

（2）缺乏對結(jié)果評價的基準

從前述文獻可以看出，很多研究者已成功應(yīng)用各種深度學習方法實現(xiàn)了故障診斷和預(yù)測，并就診斷精度與SVM、單隱層神經(jīng)網(wǎng)絡(luò)等方法進行比較，效果明顯。但這可能會產(chǎn)生誤導，因為使用多層信息處理模塊能夠得到更好的診斷結(jié)果這幾乎是可以預(yù)見的。然而，在實際應(yīng)用中，得到一個好的診斷結(jié)果絕不是衡量一個故障診斷與預(yù)測方法好壞的唯一標準，可靠性、靈敏性、穩(wěn)定性、效率、成本、泛化能力等都是不可忽視的問題。比如，實現(xiàn)架構(gòu)是否為受控系統(tǒng)、實現(xiàn)方法是否很好地解決了故障診斷的可靠性問題、是否存在信息的丟失而影響了系統(tǒng)的穩(wěn)定性、方法的靈敏性如何、時間是否有延遲等問題都有可能導致診斷失去意義。因此，制定結(jié)果評價基準是實現(xiàn)方法性能準確鑒定的必要前提條件。如何建立合理、全面、可操作的結(jié)果評價基準是今后研究中需要思考的問題。

4.1.4 從應(yīng)用角度

故障診斷與預(yù)測技術(shù)絕不能僅僅停留在實驗研究層面，它一定是能夠進行實際應(yīng)用的技術(shù)手段。因此，研究者應(yīng)該從工業(yè)實際和學術(shù)雙角度出發(fā)，全面考慮環(huán)境、成本、可靠性、靈敏性、實用性、效率等眾多因素，且不能將工作集中在提高低設(shè)計級別的故障診斷上，故障的預(yù)測、停機時間的控制、故障的隔離、故障決策效率、微小故障的跟蹤、設(shè)備老化進程跟蹤、跨領(lǐng)域策略等等問題都應(yīng)是今后的研究方向。

4.2 展望

對于工程界而言，深度學習已經(jīng)為未來的研究開辟了一片廣闊的天地。正如本文所看到的，深度學習展示了很多的優(yōu)點并取得了一定的成績，這使得它更具吸引力。然而，如上所述，其在故障診斷與預(yù)測領(lǐng)域中仍然存在很多的挑戰(zhàn)和難點，這也為今后發(fā)展的方向提供了指導。對應(yīng)用深度學習進行故障診斷和預(yù)測的發(fā)展趨勢作如下展望：

（1）研究進程從故障診斷到退化狀態(tài)識別再到故障預(yù)測已成為必然趨勢。

（2）研究數(shù)據(jù)的來源、構(gòu)建大數(shù)據(jù)庫、進行復(fù)雜數(shù)據(jù)的處理已成為基于深度學習的故障診斷與預(yù)測技術(shù)發(fā)展瓶頸的重要突破口。

（3）突破深度學習理論研究瓶頸，探索其內(nèi)部算法打開“黑匣子”是其技術(shù)發(fā)展不可回避的問題。

（4）將深度學習與傳統(tǒng)淺層模型相結(jié)合，構(gòu)建具有優(yōu)異性能的混合深度學習模型勢在必行。

（5）從應(yīng)用視角出發(fā)，嘗試用人工故障訓練的算法對自然故障進行預(yù)測，這實際上是對基于深度學習的故障診斷與預(yù)測算法在現(xiàn)實中應(yīng)用的合理期望。

5 結(jié)束語

故障診斷與預(yù)測的最終目的是準確判斷部件的狀態(tài)從而預(yù)防事故的發(fā)生。與傳統(tǒng)淺層機器學習方法相比，深度學習在故障診斷和預(yù)測中能夠提供更好的表示和分類，因此利用深度學習方法進行故障診斷與預(yù)測是必要、可行的。本文首先對近年來深度學習及其在各領(lǐng)域發(fā)展的優(yōu)秀綜述文獻以及主流的開源仿真工具平臺進行了整理，同時介紹了目前典型的五種深度學習模型，包括AE及其變體、DBN、CNN、RNN和GAN；其次就深度學習在故障診斷與預(yù)測中的應(yīng)用研究進行了歸納總結(jié)，從研究背景、實現(xiàn)流程及研究動態(tài)等三個方面進行了闡述，并在研究動態(tài)中就發(fā)展趨勢、數(shù)據(jù)來源進行了介紹，系統(tǒng)梳理了近年來這一領(lǐng)域發(fā)表的相關(guān)論文；最后從研究實際出發(fā)就深度學習在故障診斷與預(yù)測領(lǐng)域應(yīng)用中存在的問題、挑戰(zhàn)及解決方法進行了探討，并對未來的發(fā)展進行了展望。