羅舒楊, 周 奇, 黃旭豐, 吳金紅
華中科技大學, 武漢 430074
發(fā)動機是現(xiàn)代工業(yè)中最重要的動力源之一,在航空、汽車、船舶和能源等領域有著廣泛的應用[1].然而,長時間的運行和復雜的工作環(huán)境會導致發(fā)動機逐漸磨損并出現(xiàn)故障,特別是在嚴苛的工作條件下,如高溫、高壓、高濕度和高振動等情況下.一旦發(fā)動機出現(xiàn)故障,將會造成巨大的經(jīng)濟損失和人員傷亡[2-3].因此對發(fā)動機設備的故障預測和健康管理(PHM)具有重要研究意義.
剩余壽命預測(RUL)是PHM技術中一項重要的工作.發(fā)動機的剩余使用壽命RUL為發(fā)動機從當前運行時刻t到其運行到失效狀態(tài)即出現(xiàn)故障時刻T度過的時間[4].發(fā)動機RUL的預測可以幫助維修人員更好地制定維修計劃,以便及時進行必要的維護和更換部件,從而延長發(fā)動機的使用壽命,提高設備可靠性和安全性[5-6].
一般來說,現(xiàn)有的RUL預測方法大致可以分為2類,即基于模型的方法和基于數(shù)據(jù)驅(qū)動的方法[7].基于模型的方法需要根據(jù)具體對象廣泛的先驗知識構建相應的壽命預測模型.然而,隨著裝備結(jié)構復雜性的增加,建立系統(tǒng)對象的壽命預測模型對操作人員的經(jīng)驗知識要求也隨之增加,這極大程度地限制了此類方法的廣泛應用.基于數(shù)據(jù)驅(qū)動的方法采用機器學習或概率統(tǒng)計來揭示信號數(shù)據(jù)與RUL標簽之間的潛在相關性和因果關系.由于不需要退化機制模型,因此易于應用于實際工業(yè)活動,已成為最流行的RUL預測方法.因此,本文采用的是基于數(shù)據(jù)驅(qū)動的方法來預測發(fā)動機RUL.
基于機器學習的發(fā)動機RUL預測方法是通過淺層次的機器學習模型自適應地構建發(fā)動機傳感器數(shù)據(jù)和對應RUL標簽之間的關聯(lián)關系.王加昌等[8]構建了支持向量回歸模型(SVR)和多層感知機(MLP)等多個基于機器學習方法的壽命預測模型,并評估了各個模型的優(yōu)劣.然而基于機器學習的方法大多需要人工提取數(shù)據(jù)特征,這極大程度地提高了任務的復雜性.隨著計算機科學的發(fā)展,深度學習方法能構建端到端的壽命預測模型,這能顯著降低任務的復雜度,同時深度學習方法往往有著更好的特征提取能力.馬占偉等[9]提出一種多尺度卷積神經(jīng)網(wǎng)絡MCNN,利用多尺度卷積核提取更全面的數(shù)據(jù)特征,提高模型在滾動軸承壽命預測任務上的能力.王智龍等[10]提出一種時間卷積網(wǎng)絡與融合注意力機制的門控循環(huán)單元(TCN-AGRU)的滾動軸承剩余預測模型,探索一種新的軸承壽命預測方法.XU等[11]提出一種集成模型,利用深度學習和非平穩(wěn)高斯過程回歸來構建渦扇發(fā)動機壽命預測模型.ZHANG等[12]提出一種基于長短時記憶神經(jīng)網(wǎng)絡(LSTM)的壽命預測模型,利用長短時記憶神經(jīng)網(wǎng)絡處理時序信息的優(yōu)勢來提高模型預測精度.
盡管基于數(shù)據(jù)驅(qū)動的設備壽命預測方法已有大量的研究,但現(xiàn)有的發(fā)動機壽命預測方法仍然存在著一定的局限性.比如現(xiàn)有壽命預測模型多利用循環(huán)神經(jīng)網(wǎng)絡(RNN)或者其變體來提取數(shù)據(jù)中的時間信息[13-15],然而這類方法的退化特征提取能力較差,在復雜工況和多故障條件下的壽命預測精度仍然較低.此問題嚴重阻礙了該類模型在實際工業(yè)中的發(fā)展應用.
為了解決上述的問題,本文提出一種新的基于深度學習方法的壽命預測模型——多尺度時間卷積網(wǎng)絡(MTCN).該模型利用時間卷積網(wǎng)絡來提取數(shù)據(jù)中的時序信息;同時利用多尺度卷積模塊的特性,提取復雜工況和復雜故障狀態(tài)下的設備性能退化特征,從而提高模型在復雜工況下的壽命預測精度.最后,在C-MAPSS渦扇發(fā)動機數(shù)據(jù)集上驗證所提出方法的有效性.
本節(jié)介紹了所提出多尺度時間卷積網(wǎng)絡構建過程中的理論支撐,具體包括時間卷積神經(jīng)網(wǎng)絡和基于映射損失的信號選擇方法.
時間卷積神經(jīng)網(wǎng)絡(TCN)由一維全卷積層組成,該全卷積層具有相同的輸入和輸出長度的因果卷積、擴展卷積和殘差模塊.TCN使用零填充來保持層與層之間的長度相同.網(wǎng)絡中的因果卷積允許層之間形成因果關系,從而避免信息泄漏.同時,殘差模塊和擴展卷積控制了存儲器的長度.它們保證模型具有長期記憶能力,避免梯度消失問題,進一步增強模型的預測能力[12].具體來說,TCN具有以下優(yōu)點:首先,TCN繼承卷積神經(jīng)網(wǎng)絡的感受野特征,具有靈活的感受野,可以根據(jù)不同的任務特征調(diào)整感受野的大小.感受野是指一個特定的神經(jīng)元在輸入空間上所關注的區(qū)域[16].其次,不同階段參數(shù)的共享使模型避免了遞歸神經(jīng)網(wǎng)絡中的梯度消失問題,可以在不按特定順序處理數(shù)據(jù)的情況下并行處理時態(tài)數(shù)據(jù).最后,卷積核的共享允許更低的內(nèi)存占用和更短的網(wǎng)絡反饋循環(huán),使模型更快地收斂.
(1)因果卷積
因果卷積具有單向結(jié)構,即只能感知具有嚴格時間約束的記憶歷史信息,結(jié)構如圖1所示.對于前一層在T時刻的值,因果卷積只依賴于T時刻的下一層及其歷史值,即輸出序列中的元素,只依賴于輸入序列元素和歷史元素.為了確保輸入和輸出具有相同的長度,模型使用零填充方法.零填充應用于輸入數(shù)據(jù)序列的前端,以確保卷積層中的因果關系.在沒有擴展的情況下,保持與輸入相同長度所需的填充總量為(卷積核長度-1).
圖1 因果卷積Fig.1 Causal convolution
(2)擴張卷積
傳統(tǒng)卷積神經(jīng)網(wǎng)絡使用池化操作避免過擬合.但隨著卷積層的加深,網(wǎng)絡需要更多的參數(shù),計算復雜度也隨之增加.擴張卷積可以很好地解決這個問題.擴張卷積結(jié)構如圖2所示.擴張卷積通過在標準卷積中添加擴張率來改變卷積核的大小,擴張率表示內(nèi)核中的間隔數(shù).與傳統(tǒng)卷積網(wǎng)絡相比,擴張卷積可以在相同的層數(shù)下獲得更大的感受野.擴張卷積的數(shù)學可以表示為以下形式:
圖2 擴張卷積Fig.2 Dilated convolution
(1)
其中,d表示擴張率,k表示卷積核尺寸,s-d·i表示歷史時間方向.當d=1時,此時為標準卷積.通過改變d的值來控制感受野的范圍.卷積神經(jīng)網(wǎng)絡中的感受野是指特征中的節(jié)點在輸入數(shù)據(jù)上映射的區(qū)域的大小.擴大感受野可以提升模型長期記憶能力.感受野與卷積核的大小和卷積層的數(shù)量呈線性關系.
發(fā)動機的信號監(jiān)測往往是由多個傳感器共同完成的,然而并不是所有傳感器都對發(fā)動機剩余壽命分析提供幫助.為了降低數(shù)據(jù)冗余,提高任務學習效率,本文借鑒文獻[17]中的信號選擇方法,保留數(shù)據(jù)中有價值的傳感信號,剔除無用的傳感信號.
該方法提出了損失邊界值lossb來判斷信號是否有助于后續(xù)發(fā)動機剩余壽命預測任務,其數(shù)學式可表示為以下形式:
(2)
當傳感器信號不包含任何RUL信息時,該信號獲得的每個訓練樣本不能通過其樣本信息有效地映射相應的RUL標簽值.這意味著任何模型都不能通過建立RUL與輸入樣本之間的實際映射關系來降低訓練損失值.此時,模型的輸出值有2種情況.一種是每個輸出值都是隨機值,另一種是所有輸出值收斂于一個值,該值是訓練樣本真實標簽分布得到的損失函數(shù)的局部或全局最優(yōu)點.lossb是當訓練樣本中不包含任何與RUL相關的信息時,訓練模型的最小損失值.因此,本文采用lossb作為判斷信號數(shù)據(jù)是否包含有助于預測任務信息的閾值.
信號映射能力的強弱可表示如下:
(3)
其中,f是線性整流函數(shù)Relu,lossa表示訓練十次的平均損失值,m表示信號映射相應RUL標簽值的能力.
本文提出一種基于多尺度時間卷積網(wǎng)絡模型,該模型利用多尺度卷積模塊取代傳統(tǒng)TCN中的擴張卷積模塊,增加卷積感受野,提高模型訓練效率和特征提取能力.傳統(tǒng)TCN中的擴張卷積模塊通過更改擴張率,增加卷積核的間隔來提高卷積核的感受野,從而獲得更多的信息.但在實際操作時擴張率參數(shù)的確定是一個難點.因此,考慮到多尺度卷積核能夠在不同的尺度上對輸入數(shù)據(jù)進行特征提取,再將不同尺度的信息進行融合輸出.其綜合考慮多尺度信息及多個感受野的信息.提高模型特征提取能力,在一定程度上降低了模型訓練難度.圖3展示了MTCN模型的基本框架.根據(jù)圖中信息可以看出,MTCN由特征提取器和預測器2大模塊組成.其中,特征提取器由3個子模塊組成.每個子模塊中包含3個卷積模塊和一個卷積層.每個卷積模塊的卷積核尺寸不同,3個卷積模塊共同組成多尺度卷積模塊.卷積層則是充當殘差連接模塊,旨在解決模型訓練過程中的梯度消失或梯度爆炸問題.輸入數(shù)據(jù)經(jīng)過3個卷積模塊,得到的結(jié)果經(jīng)過通道拼接操作后與卷積層的結(jié)果相加得到輸出結(jié)果.該結(jié)果作為下一個模塊的輸入.經(jīng)過特征提取器處理后的結(jié)果將輸入預測器,經(jīng)全局平均池化層、線性層后得到發(fā)動機預測RUL值.MTCN網(wǎng)絡的具體參數(shù)如表1所示.表中卷積層參數(shù)值分別代表輸出通道數(shù)、卷積核尺寸和卷積核步長.MTCN網(wǎng)絡中所有激活函數(shù)均使用ReLu.
表1 MTCN網(wǎng)絡參數(shù)細節(jié)Tab.1 The details of parameters of the MTCN
圖3 MTCN網(wǎng)絡結(jié)構Fig.3 The structure of MTCN
本文所提出的基于多尺度時間卷積神經(jīng)網(wǎng)絡的發(fā)動機剩余壽命預測方法流程如圖4所示,主要包括數(shù)據(jù)預處理階段、訓練階段和評估階段.下面將具體介紹所提出方法的流程.
圖4 MTCN流程圖Fig.4 The flow chart of MTCN
(1)信號選擇
為了降低發(fā)動機壽命預測的復雜度,根據(jù)上述信號選擇方法,對存在多源傳感器信號的數(shù)據(jù)進行處理,選擇對發(fā)動機壽命預測分析有貢獻的傳感器數(shù)據(jù),剔除無用的傳感器數(shù)據(jù),降低數(shù)據(jù)復雜度.信號選擇的結(jié)果如圖5所示.將m為0的傳感器剔除,剩余傳感器均認為與發(fā)動機性能退化有關.
圖5 信號選擇結(jié)果Fig.5 The results of signal selection
(2)數(shù)據(jù)標準化
為了加快梯度下降中最優(yōu)解的求解速度,采用標準尺度歸一化方法對樣本的各個特征維進行歸一化,該歸一化方法原理可表示如下:
(4)
(3)劃分數(shù)據(jù)集
C-MAPSS數(shù)據(jù)集包含訓練數(shù)據(jù)和測試數(shù)據(jù),分別歸類做了(1)和(2)操作后訓練數(shù)據(jù)和測試數(shù)據(jù).
(4)設置RUL標簽
C-MAPSS渦扇發(fā)動機數(shù)據(jù)集包含4個子數(shù)據(jù)集,分別為FD001、FD002、FD003和FD004.每個子數(shù)據(jù)集中的內(nèi)容包括發(fā)動機編號、時間、工況和傳感器數(shù)據(jù)等.其中time_in_cycles代表時間步,操作者每隔一個時間步收集一次所有傳感器的數(shù)據(jù).其中train_FD00X中的time_in_cycles代表該發(fā)動機從正常運行到停止工作的整個壽命.而test_00X中的time_in_cycle是隨機停止在發(fā)動機某一狀態(tài)(不一定是故障)的時間步.RUL預測的目的就是進行剩余的time_in_cycles的預測計算.對于C-MAPSS渦扇發(fā)動機數(shù)據(jù)集,本文將早期渦扇發(fā)動機的RUL標簽閾值設置為常數(shù).在大多數(shù)情況下,當剩余使用壽命值在115左右時,信號的滑動平均值開始快速變化,這表明此時發(fā)動機的健康狀態(tài)開始發(fā)生變化,因此本文在試驗中將其設置為115.如果發(fā)動機真實RUL值大于115,則將其RUL標簽設置為115.
(5)模型訓練
將訓練集輸入進基于Pytorch框架構建的MTCN模型進行訓練,規(guī)范模型權重參數(shù),并通過均方根誤差MSE計算預測RUL值和真實RUL值之間的差異,再通過Adam優(yōu)化器反向更新網(wǎng)絡參數(shù).
(6)模型評價
將測試數(shù)據(jù)輸入訓練好的MTCN模型中,并預測發(fā)動機RUL值,這些測試數(shù)據(jù)是未參與過MTCN模型訓練的.通過評估測試數(shù)據(jù)的評價指標來判斷模型的優(yōu)劣.
為了驗證所提出多尺度時間卷積網(wǎng)絡在發(fā)動機壽命預測問題上的有效性,本文在C-MAPSS數(shù)據(jù)集上進行大量的對比分析試驗.首先利用2個發(fā)動機壽命預測常用評價指標(均方根誤差和評分函數(shù))對所提出方法和傳統(tǒng)TCN進行對比分析,驗證所提出的多尺度卷積模塊的特征提取能力.然后分析不同時間窗長度對所提出方法的影響,從而得到效果最佳的模型參數(shù).利用獲得的最佳模型,預測4個設備整個運行過程壽命,對比真實壽命和預測值之間的差異來分析所提出方法的有效性.最后,將所提出方法和目前最先進的方法進行對比分析,驗證所提出方法的先進性.本文所有的試驗分析均在一臺配置有一個Core (TM) i7-11700K CPU、一個8G顯存的英偉達GeForce RTX 3070 GPU和一個32G RAM的計算機上進行,同時本文所有的程序均在Pytorch框架下執(zhí)行.考慮到試驗過程中存在的偶然誤差,每個試驗在相同條件下均重復10次.
在本文中,主要采用NASA收集的商用模塊化航空推進系統(tǒng)仿真(C-MAPSS)數(shù)據(jù)集來評估所提出的方法.C-MAPSS數(shù)據(jù)集包含4個不同的子數(shù)據(jù)集.如表2所示,FD001、FD002、FD003和FD004具有不同數(shù)量的工況和故障模式.F002和F004數(shù)據(jù)集運行工況和故障模式更為復雜,因此RUL比F001和F003數(shù)據(jù)集更難預測.在C-MAPSS數(shù)據(jù)集中的21個傳感器中,存在部分傳感器的數(shù)據(jù)無法表征發(fā)動機的退化過程.因此,本文利用上述“映射損失邊界”方法去除這些傳感器數(shù)據(jù)序列,并使用剩余的傳感器的數(shù)據(jù)進行RUL預測.在實際情況下,渦扇發(fā)動機在早期的退化過程可以忽略不計,也就是說,發(fā)動機的RUL在早期應該保持不變.因此,本文將發(fā)動機開始退化前的RUL均設置為一個定值,即退化閾值.而渦扇發(fā)動機的線性退化發(fā)生在這個退化閾值之后.在本文中,將退化閾值設置為115.C-MAPSS數(shù)據(jù)集包含訓練集和測試集.訓練集包含完整的從運行到故障過程中每個時間步的數(shù)據(jù).在測試集中,發(fā)動機在故障發(fā)生前隨機停機,目的是預測最后一個時間步長的真實RUL.
表2 C-MAPSS數(shù)據(jù)集介紹Tab.2 The introduction of the C-MAPSS dataset
(1)評價標準
為了提高模型評價的全面性,本文采用均方根誤差R和評分函數(shù)S這2個指標.評分函數(shù)是一種非對稱的評價指標,它會根據(jù)預測結(jié)果與真實值之間的差距來給出評分.如果預測結(jié)果小于真實值,則被視為“超前預測”,相應的分數(shù)更低.如果預測結(jié)果大于真實值,則被視為“滯后預測”,相應的會獲得更高的分數(shù).均方根誤差是常用的預測任務性能指標,其定義如下:
(5)
評分函數(shù)用數(shù)學公式表示為
(6)
由式(6)可以看出,當預測的RUL值高于實際RUL值時,分數(shù)函數(shù)懲罰更嚴重.因此,分數(shù)函數(shù)偏向于選擇預測早期故障的模型,而不是預測延遲故障的模型.
(2)MTCN與TCN結(jié)果對比分析
為了驗證所提出的多尺度卷積模塊的有效性,將所提出的多尺度時間卷積網(wǎng)絡和傳統(tǒng)時間卷積網(wǎng)絡算法進行對比.除算法外,其他工作條件設置相同,其結(jié)果如表3所示.根據(jù)結(jié)果可以看出,所提出的方法在FD002子數(shù)據(jù)集和FD004子數(shù)據(jù)集上的2個性能評價指標均低于TCN,在FD001子數(shù)據(jù)集上的表現(xiàn)略低于TCN,而在FD003子數(shù)據(jù)集上的與TCN各有優(yōu)劣.結(jié)果表明所提出的MTCN在FD002子數(shù)據(jù)集的均方根誤差和評分函數(shù)、FD003的評分函數(shù)和FD004的均方根誤差和評分函數(shù)指標上是優(yōu)于傳統(tǒng)TCN的,說明MTCN在處理工況復雜的問題時效果明顯優(yōu)于傳統(tǒng)TCN.這是由于多尺度卷積模塊具有更強大的特征提取能力,能在復雜的數(shù)據(jù)中提取出表征設備退化的特征.同時,對于工況較為簡單的子數(shù)據(jù)集,所提出的MTCN與傳統(tǒng)TCN效果相似.上述結(jié)果驗證了所提出的多尺度卷積模塊有效性.
表3 MTCN與TCN模型的性能比較結(jié)果Tab.3 Performance comparison results of MTCN and TCN
(3)時間窗長度對模型的影響
由于C-MAPSS數(shù)據(jù)集中包含多個傳感器數(shù)據(jù),不同長度的多元時間序列數(shù)據(jù)中包含的設備RUL信息又是不同的,因此在訓練前選擇合理的時間窗長度是必要的.為了驗證時間窗長度對模型的影響,本文分別在C-MAPSS 4個子數(shù)據(jù)集上進行對比試驗.將時間窗長度分別設置為10、20、30……70,并通過試驗獲得模型在測試集數(shù)據(jù)上的表現(xiàn).所提出方法在不同時間窗長度條件下的性能結(jié)果如圖6所示.根據(jù)結(jié)果可以看出,當時間窗長度設置為40的時候,MTCN在FD001和FD003子數(shù)據(jù)集上的R和S綜合結(jié)果最佳.當時間窗長度設置為20時,MTCN在FD002子數(shù)據(jù)集上的R和S綜合結(jié)果最佳.當時間窗長度設置為30時,MTCN在FD004子數(shù)據(jù)集上的表現(xiàn)最佳.結(jié)果表明,對于復雜工況和多故障的數(shù)據(jù)集,所提出方法更適合使用較小的時間窗長度,而對于較為容易的數(shù)據(jù)集,所提出方法在較大時間窗長度條件下性能更佳.
圖6 不同時間窗長度下MTCN的性能Fig.6 Performance of MTCN with different time window lengths
(4)預測結(jié)果的詳細分析
下面對預測結(jié)果進行更直觀細致的分析.首先,分別從FD001、FD002、FD003和FD004數(shù)據(jù)集中隨機選擇一個發(fā)動機設備,并將預測的RUL值和實際的RUL值進行比較,最后通過可視化的方式呈現(xiàn).圖7中(a)~(d)分別為FD001設備編號24、FD002設備編號80、FD003設備編號99和FD004設備編號8的結(jié)果.從結(jié)果可以看出,FD001和FD003的RUL預測結(jié)果較好,FD002和FD004的預測結(jié)果波動性很大.這是由于FD002和FD004的工況和故障數(shù)量較為復雜,RUL預測難度較大.同樣,MTCN的前期運行RUL預測誤差要高于后期,這是由于后期數(shù)據(jù)退化特征明顯,更容易擬合.因此隨著運行時間增加,模型的RUL預測精度隨之提高.盡管MTCN在FD002和FD004數(shù)據(jù)集上的預測結(jié)果存在波動,但RUL預測值均小于RUL真實值.這表明本文所提出方法在評分函數(shù)指標上表現(xiàn)較好,同時,在實際應用中,“超前預測”更容易避免安全事故的發(fā)生.
圖7 C-MAPSS數(shù)據(jù)集部分設備RUL結(jié)果對比Fig.7 Comparison results of some devices in C-MAPSS dataset
(5)MTCN與現(xiàn)有方法對比分析
為了驗證所提出MTCN方法的先進性,本文將MTCN與現(xiàn)有的文獻中的方法進行對比分析.這些方法包括:時間卷積注意力網(wǎng)絡(TCAN)[18]、長短時記憶神經(jīng)網(wǎng)絡(LSTM)[19]和有向無環(huán)圖網(wǎng)絡(DAG)[20].為了保證對比試驗的可靠性,所有的方法測試數(shù)據(jù)相同,且運行條件一致.不同對比方法的預測結(jié)果如表4所示.根據(jù)結(jié)果可以分析得出MTCN在預測難度較大的FD002和FD004數(shù)據(jù)集上的表現(xiàn)效果顯著高于其他對比方法,其R和S分別降低了17 343%、51.57%、4.33%和18.16%.結(jié)果表明,所提出方法能顯著提高模型的特征提取能力,從而提升模型的預測能力,尤其是在復雜工況和復雜故障的條件下.
表4 MTCN與現(xiàn)有方法對比結(jié)果Tab.4 Performance comparison results of MTCN and other the state-of-the-art method
本文提出一種基于多尺度時間卷積網(wǎng)絡的發(fā)動機RUL預測方法.在所提出的方法中,利用時間卷積網(wǎng)絡的特點,分析信號中的時序信息,提取信號時間尺度上的退化特征.然后利用多尺度卷積網(wǎng)絡的特點,增加網(wǎng)絡的感受野,從而提取不同空間尺度上的退化特征.為了驗證所提出方法的有效性和先進性,本文在C-MAPSS數(shù)據(jù)集上進行大量的分析試驗,對模型參數(shù)進行探討分析.同時還將提出的方法和現(xiàn)有的先進方法進行對比分析.結(jié)果表明,本文提出的多尺度時間卷積網(wǎng)絡模型的退化特征提取能力更強,對復雜工況和復雜故障條件下的發(fā)動機RUL預測精度更高.不僅如此,MTCN模型的預測結(jié)果基本是“超前預測”,相較于“滯后預測”的模型,在工業(yè)實際應用中更容易避免安全事故的法傷,減少經(jīng)濟損失.
本文所提出的方法在簡單工況條件下的效果并沒有很大的提升,同時,多尺度卷積會導致模型參數(shù)增加,這無疑在一定程度上限制了MTCN的工業(yè)應用.未來將進一步研究輕量化所提出的方法,從而更適應實際工業(yè)應用.