李金科

（西安石油大學(xué)機械工程學(xué)院，陜西西安 710065）

近年，許多研究將深度學(xué)習(xí)技術(shù)應(yīng)用到旋轉(zhuǎn)機械故障診斷領(lǐng)域，以實現(xiàn)故障的識別、分類，便于健康檢測。盡管深度神經(jīng)網(wǎng)絡(luò)能夠自動從原始振動信號中提取深度特征，實現(xiàn)了從原始信號到診斷的自動端到端過程。深度學(xué)習(xí)的有效性很大程度上取決于大量訓(xùn)練數(shù)據(jù)，然而，現(xiàn)實中大量標記訓(xùn)練數(shù)據(jù)難以獲取，標注難度大，且深度學(xué)習(xí)模型的泛化能力弱。對于深度神經(jīng)網(wǎng)絡(luò)而言，在不使用大量測試數(shù)據(jù)的情況下很難提取訓(xùn)練和測試數(shù)據(jù)的共同特征，這常常限制了深度學(xué)習(xí)模型的廣泛應(yīng)用。此外，工況變化也會降低故障識別精度。當在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好的深度模型應(yīng)用于新的工況故障識別時，也必須重新設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)。因此亟需尋求一種超參數(shù)優(yōu)化少、訓(xùn)練數(shù)據(jù)量小、泛化能力強的方法，以滿足實際應(yīng)用中快速準確的故障診斷要求。因此滿足樣本量少、泛化能力好的元學(xué)習(xí)方法引起了故障診斷領(lǐng)域研究者的關(guān)注，并在近幾年中得到了應(yīng)用。

本文中主要介紹了元學(xué)習(xí)的基本概念和分類，及其在旋轉(zhuǎn)機械故障診斷中的應(yīng)用，調(diào)研了故障診斷中元學(xué)習(xí)的最新研究情況，并對這些元學(xué)習(xí)方法進行了分析和總結(jié)，對其未來研究方向提出了展望，以期為相關(guān)領(lǐng)域的研究者提供一些思路。

1 元學(xué)習(xí)

1.1 元學(xué)習(xí)的基本概念

元學(xué)習(xí)（Meta-learning）的目的是在2 個層次上學(xué)習(xí)元知識，其中內(nèi)部層次的學(xué)習(xí)將基本學(xué)習(xí)者的支持集作為輸入，外部層次的學(xué)習(xí)在元任務(wù)中輸入元學(xué)習(xí)者的查詢集，通過跨任務(wù)的迭代雙層優(yōu)化，模型學(xué)習(xí)元知識快速適應(yīng)所需任務(wù)，因此元學(xué)習(xí)又被稱為“學(xué)會如何學(xué)習(xí)”。

1.2 元學(xué)習(xí)的分類及應(yīng)用

元學(xué)習(xí)方法致力于如何有效地獲取元知識來指導(dǎo)最優(yōu)參數(shù)的搜索。從這個角度來看，關(guān)于元學(xué)習(xí)的工作可以分為以下3 類。

1.2.1 基于優(yōu)化的元學(xué)習(xí)

基于優(yōu)化的方法是學(xué)習(xí)模型參數(shù)，優(yōu)化初始化的元知識，這使得模型能夠快速適應(yīng)新任務(wù)。因此，這種方法為任意一種深度模型提供了一種學(xué)習(xí)范式，因此模型不可知。

基于優(yōu)化的元學(xué)習(xí)旨在為所有給定的故障識別任務(wù)提供全局共享的初始化，以便在僅使用少量樣本進行微調(diào)后，模型能夠快速適應(yīng)新任務(wù)。ZHANG 等[1]提出了一個基于元優(yōu)化的元學(xué)習(xí)少樣本軸承故障診斷模型，利用內(nèi)外雙層循環(huán)優(yōu)化網(wǎng)絡(luò)參數(shù)，其網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化過程解決了LI等[2]提出的滾動軸承故障診斷中的數(shù)據(jù)稀缺和數(shù)據(jù)不平衡問題，并且在診斷人為造成的軸承故障時，相對于LI等[2]提出的基于連體網(wǎng)絡(luò)的模型，使用具有可學(xué)習(xí)內(nèi)層循環(huán)學(xué)習(xí)率的MAML（Model-Agnostic Meta-Learning，模型無關(guān)的元學(xué)習(xí)）模型可以將準確率提升到97%。此外，由于CWRU（Case Western Reserve University，凱斯西儲大學(xué)）數(shù)據(jù)集只包含來自人為制造的軸承缺陷的振動數(shù)據(jù)，這與實際工況中缺陷隨時間變化的情況不一致。因此，ZHANG等[1]還將提出的方法應(yīng)用于Paderborn 數(shù)據(jù)集，以探究MAML 在面對真實軸承故障時的泛化能力。實驗結(jié)果表明，與目前其他最先進的少樣本學(xué)習(xí)方法相比，MAML 在5 類別、10 類別均表現(xiàn)更好。

1.2.2 基于度量的元學(xué)習(xí)

基于度量的元學(xué)習(xí)可以分別用于少樣本和跨域故障診斷中的故障識別，它可以學(xué)習(xí)少數(shù)故障樣本支持的特征或嵌入空間，以識別未知樣本的故障類別。簡而言之，支持集的樣本不提供用于更新參數(shù)的故障信息，而是被視為要與查詢樣本進行比較的類原型。利用度量函數(shù)例如歐幾里得距離、余弦距離等來計算樣本之間的距離從而進行分類識別。近年來對基于度量的方法進行了大量的研究，如Matching Net[3]、Pro-totypical Net[4]和Relation Net[5]，以上度量方法在故障診斷中的應(yīng)用也得到了廣泛的研究。

LI等[6]提出了一種新的深度學(xué)習(xí)方法——多尺度動態(tài)融合原型簇網(wǎng)絡(luò)（Multiscale Dynamic Fusion Prototypical Cluster Network，MFPCN），其引入了多尺度動態(tài)融合模塊，利用閥門機制調(diào)制不同尺度的特征，對有限的訓(xùn)練樣本提取出更多可區(qū)分的特征，彌補了Snell 等提出的原型網(wǎng)絡(luò)（ProNet）在有限標記樣本下提取機械振動信號特征能力較弱的缺點[6]。此外LI等[6]還提出原型模糊c 均值聚類算法，利用未標記樣本信息生成精細化原型，為基于度量的原型最近鄰分類器提供了更精確的距離度量基準。最后，采用聯(lián)合學(xué)習(xí)模式對模型進行訓(xùn)練，使聯(lián)合損失在最近鄰分類和全局分類2 個耦合任務(wù)上表現(xiàn)良好。經(jīng)過大量實驗表明，LI等[6]提出的MFPCN 方法優(yōu)于傳統(tǒng)的深度學(xué)習(xí)方法WDCNN（Deep Convolutional Neural Networks with Wide First-layer Kernel，首層寬卷積深度神經(jīng)網(wǎng)絡(luò)），在少樣本故障分類任務(wù)中平均準確率提高了18%以上。此外，LI等[6]還將該方法應(yīng)用于實際風(fēng)電場中少量標記樣本下的風(fēng)力發(fā)電機行星齒輪箱健康診斷，測試精度優(yōu)于其他模型算法。實驗結(jié)果表明，該方法在強噪聲條件下比其他算法具有更好的魯棒性。

1.2.3 基于模型的元學(xué)習(xí)

基于模型的方法借助于神經(jīng)網(wǎng)絡(luò)從任務(wù)中提取元知識，其中ω可以表示歷史數(shù)據(jù)、優(yōu)化策略等。因此，存在另一個通常由網(wǎng)絡(luò)參數(shù)化的小空間來提供引導(dǎo)信息。為了實現(xiàn)少樣本和跨域的故障診斷，診斷模型必須利用歷史數(shù)據(jù)來指導(dǎo)新工況中的診斷?；谀Ｐ偷脑獙W(xué)習(xí)就是這樣一種方法，它有一個外部存儲模塊來集成以前的故障消息。該模塊在給出新數(shù)據(jù)時進行更改，并對查詢集的樣本進行預(yù)測。因此，在大多數(shù)情況下，這種方法是以順序方式實現(xiàn)的，適用于時間序列數(shù)據(jù)。即元學(xué)習(xí)器fω的知識被提供給基礎(chǔ)學(xué)習(xí)器gθ，用于快速自適應(yīng)。大多數(shù)基于模型的方法具有存儲知識的存儲模塊，這使得任務(wù)特定的適應(yīng)更加容易，并限制了基礎(chǔ)學(xué)習(xí)器的參數(shù)空間，但在故障診斷中，基于模型的元學(xué)習(xí)沒有得到廣泛的研究。

2 元學(xué)習(xí)與其他技術(shù)的融合

上述的元學(xué)習(xí)策略及模型在一定程度上提升了在小樣本條件下深度學(xué)習(xí)網(wǎng)絡(luò)對故障診斷的性能，但仍有改善空間。近期，除了在深度學(xué)習(xí)中結(jié)合元學(xué)習(xí)外，一些研究嘗試將元學(xué)習(xí)與半監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)中的領(lǐng)域泛化等新技術(shù)結(jié)合用于提高模型的泛化能力以及在小樣本中的診斷精度，并取得了良好的效果，網(wǎng)絡(luò)的泛化性能和魯棒性也得到了進一步改善和提高。

XU 等[7]提出了CUMCA（Constructing Unsupervised Meta-learning Tasks with Clustering and Augmentation，利用聚類和增廣構(gòu)建無監(jiān)督元學(xué)習(xí)任務(wù)）方法，利用聚類嵌入方法和數(shù)據(jù)增強函數(shù)構(gòu)造任務(wù)，在元學(xué)習(xí)的內(nèi)外層之間建立了一種新的數(shù)據(jù)增強函數(shù)，進一步對增強數(shù)據(jù)在內(nèi)外層中的作用進行了理論分析，并在MiniImagenet 和Omniglot 數(shù)據(jù)集上進行實驗，結(jié)果表明，該方法通過構(gòu)造合適的無監(jiān)督任務(wù)分布，使得無標記數(shù)據(jù)集構(gòu)建的無監(jiān)督元學(xué)習(xí)任務(wù)與監(jiān)督元學(xué)習(xí)方法測試精度和泛化能力均接近。特別是在Omniglot 數(shù)據(jù)集的實驗中，CUMCA 與監(jiān)督元學(xué)習(xí)MAML 的性能差異小于1%。

ZHAO 等[8]提出了一種基于記憶的多源元學(xué)習(xí)（Memory-based Multi-source Meta-Learning，MML）框架，在訓(xùn)練中模擬域泛化的訓(xùn)練—測試過程，有效地提高了模型在不可見域上的泛化能力。此外，該模型引入了一個基于內(nèi)存的模塊和MetaBN（Meta-Batch Normalization，元批量標準化方法）以充分利用元學(xué)習(xí)的優(yōu)勢并得到進一步的改進。經(jīng)過大量的實驗證明，該方法能有效提高模型對不可見域的泛化能力，在4種大規(guī)模ReID 數(shù)據(jù)集上的泛化性能優(yōu)于現(xiàn)有方法。

3 研究展望

綜上，通過整理近年元學(xué)習(xí)在小樣本故障診斷中的研究可以發(fā)現(xiàn)，雖然元學(xué)習(xí)在解決樣本數(shù)量較少的故障診斷方面發(fā)揮了重要作用，但距離實際應(yīng)用仍有一定差距，還有很多問題需要進一步研究、探討和解決。下文從小樣本故障診斷目前所面臨的問題入手，分析了現(xiàn)有解決方法的不足，并對相關(guān)領(lǐng)域未來的研究方向及需要解決的問題進行了總結(jié)和展望。

3.1 元學(xué)習(xí)算法計算復(fù)雜

盡管如前所述元學(xué)習(xí)在故障診斷中引起了廣泛關(guān)注，但元學(xué)習(xí)的方法擴展和應(yīng)用仍存在一些問題和挑戰(zhàn)。此前元學(xué)習(xí)與深度學(xué)習(xí)相結(jié)合在不同類型中發(fā)展了很多，但每種類型都有其優(yōu)缺點。一般來說，基于優(yōu)化的元學(xué)習(xí)由于雙層學(xué)習(xí)而具有最佳的任務(wù)泛化能力，基于度量的元學(xué)習(xí)簡單，并且可以有效避免元優(yōu)化中的參數(shù)特性導(dǎo)致的過度擬合，而基于模型的元學(xué)習(xí)器中的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)靈活多變。由于基于優(yōu)化的方法需要實現(xiàn)內(nèi)層和外層學(xué)習(xí)，所以計算時間長。此外，元學(xué)習(xí)器在多次內(nèi)層學(xué)習(xí)后進行更新，這需要記憶用于元參數(shù)反向傳播的中間梯度信息，對計算機的性能要求高。對于一些基于度量的方法，當測試任務(wù)與訓(xùn)練任務(wù)差異較大時，這些方法的測試精度和泛化能力將顯著降低。基于模型的元學(xué)習(xí)相較于其他2 種泛化能力較弱。

本文認為，為了減少計算時間以及降低對計算機的性能要求，可采用自適應(yīng)學(xué)習(xí)率策略，簡化計算的同時保持模型和泛化能力。如何更好地相結(jié)合，來提高泛化能力和預(yù)測精度的同時，降低計算量和資源使用量是值得進一步研究的問題。

3.2 故障數(shù)據(jù)采集困難

在實際工程中，由于機械設(shè)備的工作條件、機械結(jié)構(gòu)和時間序列數(shù)據(jù)的時間特性，數(shù)據(jù)采集既昂貴又耗時。同時采集數(shù)據(jù)的質(zhì)量取決于信號傳輸、傳感器性能、采樣頻率等，很難獲取絕對干凈且分布一致的數(shù)據(jù)。而將元學(xué)習(xí)應(yīng)用到故障診斷中時，從一個任務(wù)到另一個任務(wù)的泛化在大多數(shù)情況下需要多個訓(xùn)練集進行訓(xùn)練，然而通常不可能同時有區(qū)別地收集這么多類別的豐富的故障數(shù)據(jù)，或是收集的故障數(shù)據(jù)質(zhì)量差等問題，這將導(dǎo)致模型訓(xùn)練效果差。

對于此問題，本文認為可以結(jié)合遷移學(xué)習(xí)，使用已有圖像數(shù)據(jù)集來輔助模型進行預(yù)訓(xùn)練，再將信號轉(zhuǎn)化為時頻圖，結(jié)合元學(xué)習(xí)框架對模型進行微調(diào)，解決樣本類別過多不易采集的問題。對于質(zhì)量較低的樣本數(shù)據(jù)，可以使用異常點剔除、均值插補等數(shù)據(jù)清洗方式先對數(shù)據(jù)進行預(yù)處理，或者采用數(shù)據(jù)增強等方式對樣本數(shù)據(jù)進行擴充。如何有效地結(jié)合數(shù)據(jù)處理或遷移學(xué)習(xí)中的方法是未來解決樣本數(shù)據(jù)采集困難的重要手段和研究方向。

4 結(jié)束語

元學(xué)習(xí)在類別較少的跨域故障診斷中的泛化和小樣本問題解決中取得了顯著的成功，但是由于計算成本高、基礎(chǔ)理論研究的欠缺以及故障數(shù)據(jù)采集等問題，使其得到進一步推廣變得困難。近年來，一些研究將元學(xué)習(xí)框架和深度學(xué)習(xí)、域泛化相結(jié)合，或與其他技術(shù)相結(jié)合，解決了小樣本故障診斷和跨域故障診斷的問題。本文首先闡明了元學(xué)習(xí)的相關(guān)概念，并從數(shù)學(xué)優(yōu)化的角度將故障診斷中的元學(xué)習(xí)算法分為3 類：基于優(yōu)化、基于度量和基于模型，并對這些研究進行了調(diào)查和總結(jié)，證明了元學(xué)習(xí)方法在故障診斷中的有效性，然后分析了現(xiàn)有研究的不足，對未來研究方向進行了展望。總之，元學(xué)習(xí)方法對于小樣本的故障診斷和跨域故障診斷是一種有效的方式，但要達到實際工程應(yīng)用，仍有一些問題亟待解決和進一步的探索。