馬依琳,陶慧玲,董啟文,王 曄

（華東師范大學(xué) 數(shù)據(jù)科學(xué)與工程學(xué)院,上海 200062）

0 引 言

隨著在線購(gòu)物的日益普及,我國(guó)物流行業(yè)蓬勃發(fā)展.航空物流作為現(xiàn)代物流的重要組成部分,具有高時(shí)效性的顯著特點(diǎn),能夠滿足人們對(duì)物流速度更高的需求.在近兩年全球疫情形勢(shì)下,航空物流更是表現(xiàn)出了其重要的戰(zhàn)略作用.我國(guó)航空物流的體量較大,2020 年我國(guó)航空貨郵周轉(zhuǎn)量完成了240.2 億噸公里,規(guī)模穩(wěn)居全球第二[1].但相比發(fā)達(dá)國(guó)家,我國(guó)航空物流發(fā)展的起點(diǎn)較晚,存在前期投入高、運(yùn)營(yíng)成本高等問(wèn)題.根據(jù)國(guó)際咨詢機(jī)構(gòu)Armstrong &Associates 估算的數(shù)據(jù),2019 年中國(guó)物流費(fèi)用約占GDP 的14.50%,相比美國(guó)8.00%的占比,仍有很大的發(fā)展?jié)摿2].在復(fù)雜多變的國(guó)際形勢(shì)下,如何降低航空物流的成本,提高服務(wù)質(zhì)量,保障國(guó)內(nèi)國(guó)際雙循環(huán),是我國(guó)航空物流下一階段發(fā)展的挑戰(zhàn)[1].

確保飛機(jī)安全運(yùn)行是整個(gè)運(yùn)輸流程中首要保證的環(huán)節(jié),一旦飛機(jī)發(fā)生意外事故,不僅會(huì)造成巨大的財(cái)產(chǎn)損失,更會(huì)造成不可挽回的人員傷亡,后果不堪設(shè)想.對(duì)飛機(jī)進(jìn)行維護(hù)和修理的費(fèi)用在航空公司運(yùn)營(yíng)成本中占據(jù)了很大部分,單機(jī)單次檢修的成本高達(dá)100 萬(wàn)元至800 萬(wàn)元[3].發(fā)動(dòng)機(jī)作為飛機(jī)最核心的部件,它的可靠性和安全性在飛機(jī)整體運(yùn)行中起著至關(guān)重要的作用.由于航空發(fā)動(dòng)機(jī)的結(jié)構(gòu)十分復(fù)雜,零部件眾多,又經(jīng)常處于高溫、高壓、高速旋轉(zhuǎn)的高負(fù)荷工作環(huán)境,不可避免地會(huì)出現(xiàn)性能退化或故障的情況.有資料顯示[4],航空發(fā)動(dòng)機(jī)的維修成本占飛機(jī)總維修成本的1/3 以上.

傳統(tǒng)的發(fā)動(dòng)機(jī)維修方式可以分為基于故障的維修和基于時(shí)間的維修[4].基于故障的維修是指當(dāng)故障發(fā)生以后,對(duì)特定的故障零部件進(jìn)行維修或更換,這種事后的維修方式無(wú)法對(duì)未來(lái)可能發(fā)生的故障起到預(yù)防的作用.基于時(shí)間的維修是指根據(jù)發(fā)動(dòng)機(jī)制造商所提供的維修時(shí)間表,定期地對(duì)發(fā)動(dòng)機(jī)進(jìn)行檢查和修理,是一種預(yù)防性維修方式.但是定期維修沒(méi)有考慮到發(fā)動(dòng)機(jī)的個(gè)體差異,無(wú)法對(duì)每個(gè)發(fā)動(dòng)機(jī)制定科學(xué)合理的維修時(shí)間間隔,過(guò)度維修會(huì)加重維修成本負(fù)擔(dān),而缺乏維護(hù)則會(huì)導(dǎo)致嚴(yán)重的事故發(fā)生.如何在降低維修成本的同時(shí),確保航空發(fā)動(dòng)機(jī)的安全性和可靠性,是航空發(fā)動(dòng)機(jī)發(fā)展中所遇到的難題.

故障預(yù)測(cè)和健康管理 (Prognostics and Health Management,PHM) 是美國(guó)等航空發(fā)達(dá)國(guó)家所提出的一種健康管理技術(shù)[5],旨在推動(dòng)維修保障模式改革,提高發(fā)動(dòng)機(jī)的安全性和經(jīng)濟(jì)性.其中,剩余使用壽命 (Remaining Useful Life,RUL) 預(yù)測(cè)是指根據(jù)設(shè)備當(dāng)前的健康狀態(tài)、工作環(huán)境和傳感器監(jiān)測(cè)信息等,結(jié)合物理模型、歷史數(shù)據(jù),對(duì)未來(lái)故障發(fā)生的時(shí)間進(jìn)行預(yù)測(cè),估計(jì)設(shè)備的剩余使用壽命,是故障預(yù)測(cè)技術(shù)中最具挑戰(zhàn)性和最核心的部分.根據(jù)所預(yù)測(cè)發(fā)動(dòng)機(jī)的剩余使用壽命,可以合理地制訂飛行計(jì)劃和檢修計(jì)劃,及時(shí)地發(fā)現(xiàn)隱蔽的故障,預(yù)防事故的發(fā)生,進(jìn)行健康管理.

目前,國(guó)內(nèi)外對(duì)RUL 預(yù)測(cè)的研究大致分為3 類(lèi): 基于物理模型的方法、數(shù)據(jù)驅(qū)動(dòng)的方法和兩者混合的方法.基于物理模型的方法是指根據(jù)發(fā)動(dòng)機(jī)的失效機(jī)理或損傷法則、設(shè)備的結(jié)構(gòu)特點(diǎn)以及專(zhuān)家經(jīng)驗(yàn)等多方面因素,對(duì)研究對(duì)象構(gòu)建相應(yīng)的物理模型,該物理模型能夠具體地解釋產(chǎn)品退化規(guī)律,如Paris 等[6]針對(duì)機(jī)械材料疲勞裂紋擴(kuò)展問(wèn)題而建立的Paris-Erdogan 模型,經(jīng)過(guò)不斷的改進(jìn)和更新,得到了廣泛的應(yīng)用[7-9].雖然基于物理模型的方法準(zhǔn)確性較高,但它對(duì)研究對(duì)象的先驗(yàn)知識(shí)要求非常高,而且對(duì)于航空發(fā)動(dòng)機(jī)這類(lèi)結(jié)構(gòu)特別復(fù)雜的設(shè)備,通常難以構(gòu)建準(zhǔn)確、全面的物理失效模型,適用性較低.

數(shù)據(jù)驅(qū)動(dòng)的方法是指對(duì)大量的監(jiān)測(cè)數(shù)據(jù)直接建模,從數(shù)據(jù)中得到設(shè)備的潛在退化規(guī)律,從而預(yù)測(cè)設(shè)備的RUL.數(shù)據(jù)驅(qū)動(dòng)的方法不要求研究者具備大量關(guān)于設(shè)備運(yùn)行原理的先驗(yàn)知識(shí),而且從數(shù)據(jù)中更能發(fā)現(xiàn)一些難以人工發(fā)現(xiàn)的、比較隱蔽的故障特征.因此,數(shù)據(jù)驅(qū)動(dòng)的方法在航空發(fā)動(dòng)機(jī)RUL 預(yù)測(cè)問(wèn)題中被廣泛研究.根據(jù)所使用的算法不同,數(shù)據(jù)驅(qū)動(dòng)的方法又可以細(xì)分為基于統(tǒng)計(jì)分析的方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法.基于統(tǒng)計(jì)分析的方法將傳感器數(shù)據(jù)擬合為某一用來(lái)模擬產(chǎn)品退化過(guò)程的隨機(jī)過(guò)程模型,如基于維納過(guò)程的模型[10-11]、基于伽馬過(guò)程的模型[12]和基于逆高斯過(guò)程的模型[13]等,以此估計(jì)產(chǎn)品的剩余使用壽命.此類(lèi)方法通常對(duì)產(chǎn)品的退化過(guò)程做了一定的限制和假定,在實(shí)際過(guò)程中很難被保證,從而限制了其實(shí)用性和可靠性.與之相比,機(jī)器學(xué)習(xí)的方法不對(duì)設(shè)備的退化過(guò)程做任何前提假設(shè),直接建立從輸入數(shù)據(jù)到RUL 的映射模型,對(duì)發(fā)動(dòng)機(jī)這類(lèi)復(fù)雜設(shè)備來(lái)說(shuō),此類(lèi)方法更具有實(shí)用意義.一些早期的研究使用了傳統(tǒng)機(jī)器學(xué)習(xí)的方法,如Nieto 等[14]實(shí)現(xiàn)了基于混合粒子群優(yōu)化支持向量機(jī)參數(shù)的模型對(duì)發(fā)動(dòng)機(jī)RUL 進(jìn)行預(yù)測(cè)、Khelif 等[15]使用支持向量回歸擬合RUL.傳統(tǒng)機(jī)器學(xué)習(xí)方法只能以標(biāo)量的形式獨(dú)立地處理時(shí)序數(shù)據(jù),在特征處理方面具有一定的局限性;而基于深度學(xué)習(xí)的方法不需要進(jìn)行繁瑣的特征工程,且更適合處理大量的、高維度的數(shù)據(jù).因此,基于深度學(xué)習(xí)的方法在航空發(fā)動(dòng)機(jī)RUL 預(yù)測(cè)問(wèn)題上具有更廣闊的應(yīng)用前景,受到了更多的關(guān)注.

循環(huán)神經(jīng)網(wǎng)絡(luò) (Recurrent Neural Network,RNN)和卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network,CNN) 是在RUL 預(yù)測(cè)中最常使用的兩種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò).由于RNN 存在梯度消失和梯度爆炸的問(wèn)題,其變體長(zhǎng)短期記憶網(wǎng)絡(luò) (Long Short Term Memory,LSTM)和門(mén)控循環(huán)單元 (Gated Recurrent Unit,GRU) 通過(guò)門(mén)控制單位對(duì)其做了改進(jìn),得到了更廣泛的應(yīng)用,例如: Shuai 等[16]提出了基于LSTM 的RUL 估計(jì)方法,并在3 個(gè)廣泛使用的公開(kāi)數(shù)據(jù)集上進(jìn)行了驗(yàn)證;Ren 等[17]使用多尺度全連接GRU 網(wǎng)絡(luò)對(duì)軸承的RUL 進(jìn)行了預(yù)測(cè);Wang 等[18]提出了基于雙向長(zhǎng)短期記憶 (Bidirectional Long Short Term Memory,BiLSTM) 的方法,實(shí)現(xiàn)了RUL 預(yù)測(cè);Hu 等[19]等提出的雙向遞歸神經(jīng)網(wǎng)絡(luò)(Deep Bidirectional Recurrent Neural Network,DBRNN)集成方法,構(gòu)建了幾種不同的DBRNN,將得到的一系列RUL 值重新封裝,從而得到最終的結(jié)果;Li 等[20]首先利用主成分分析 (Principal Component Analysis,PCA) 對(duì)傳感器數(shù)據(jù)進(jìn)行降維,然后利用LSTM 對(duì)提取的時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè),建立RUL 預(yù)測(cè)模型;Li 等[21]提出的基于深度卷積神經(jīng)網(wǎng)絡(luò) (Deep Convolutional Neural Network,DCNN) 的RUL 預(yù)測(cè)模型,沿時(shí)間維度進(jìn)行卷積運(yùn)算;Li 等[22]采用時(shí)間卷積網(wǎng)絡(luò) (Temporal Convolutional Network,TCN) 來(lái)估計(jì)RUL;Zeng 等[23]提出了一種新的深度注意力殘差神經(jīng)網(wǎng)絡(luò)模型用于RUL 預(yù)測(cè);Abderrezek 等[24]提出了卷積自動(dòng)編碼器 (Convolutional Auto-Encoder,CAE) 和BiLSTM 網(wǎng)絡(luò)混合的模型來(lái)預(yù)測(cè)RUL;Remadna 等[25]提出的使用CNN 提取空間特征和BiLSTM 網(wǎng)絡(luò)提取時(shí)間特征的混合RUL 預(yù)測(cè)模型.

然而,基于RNN 的方法由于本身結(jié)構(gòu)的限制,無(wú)法充分利用并行計(jì)算,存在運(yùn)行效率低的問(wèn)題.基于CNN 的模型在處理時(shí)序特征上視野受卷積核大小的限制,存在無(wú)法捕獲遠(yuǎn)距離特征的問(wèn)題.Transformer 模型是由Vaswani 等[26]提出的一種基于自我注意力機(jī)制的網(wǎng)絡(luò),該模型既能有效處理隨時(shí)間變化的長(zhǎng)期依賴關(guān)系,又能通過(guò)并行計(jì)算提高運(yùn)行效率,在自然語(yǔ)言處理等領(lǐng)域取得了巨大的成功.最近,已有學(xué)者將Transformer 模型應(yīng)用到RUL 預(yù)測(cè)問(wèn)題上,例如: Mo 等[27]將Transformer 編碼器作為模型的主干,并使用1 個(gè)門(mén)卷積單元合并每個(gè)時(shí)間步局部上下文的信息,實(shí)現(xiàn)了RUL 的預(yù)測(cè);Zhang 等[28]使用完全基于自注意力的編碼器解碼器結(jié)構(gòu),提出了由傳感器特征和時(shí)間步長(zhǎng)特征作為輸入的雙編碼器Transformer 結(jié)構(gòu),取得了不錯(cuò)的預(yù)測(cè)結(jié)果.

以上研究中,缺乏對(duì)輸入數(shù)據(jù)時(shí)間步長(zhǎng)選取的考慮,以及對(duì)操作條件和傳感器之間、傳感器與傳感器之間的影響關(guān)系的研究.針對(duì)現(xiàn)存的問(wèn)題,本文提出了一種基于Transformer 的多編碼器特征輸出融合的模型,主要工作有以下3 個(gè)方面.

(1) 選取2 個(gè)不同時(shí)間長(zhǎng)度作為輸入,利用Transformer 模型的并行計(jì)算能力,分別輸入2 個(gè)編碼器層進(jìn)行獨(dú)立的訓(xùn)練,將這2 個(gè)編碼器層的輸出結(jié)果進(jìn)行融合,增強(qiáng)短時(shí)間序列特征信息的同時(shí),保留長(zhǎng)期依賴關(guān)系.

(2) 通過(guò)添加排列熵嵌入層,將能夠反映信號(hào)單調(diào)性和變化趨勢(shì)的排列熵信息融合到傳感器數(shù)據(jù),使模型能更好地捕捉不同傳感器之間的關(guān)系信息.

(3) 將操作條件和傳感器數(shù)據(jù)分離,使其各自作為獨(dú)立的輸入通過(guò)不同的編碼器層訓(xùn)練,避免操作條件和傳感器數(shù)據(jù)之間的干擾,提升模型的預(yù)測(cè)精度.

本文將所提出的模型在航空發(fā)動(dòng)機(jī)CMAPSS (Commercial Modular Aero-Propulsion System Simulation)數(shù)據(jù)集上進(jìn)行了驗(yàn)證,且與目前先進(jìn)的模型相比,得到了更好的預(yù)測(cè)效果,體現(xiàn)了本文方法的有效性.本文的后續(xù)結(jié)構(gòu): 第1 章介紹所提模型的具體結(jié)構(gòu)和理論基礎(chǔ);第2 章描述實(shí)驗(yàn)細(xì)節(jié),展示實(shí)驗(yàn)結(jié)果,并進(jìn)行結(jié)果分析以及消融研究;第3 章對(duì)全文工作進(jìn)行總結(jié),并展望未來(lái)工作的方向.

1 RUL 預(yù)測(cè)模型搭建

1.1 模型總體架構(gòu)

本文基于Transformer 的結(jié)構(gòu),提出了多編碼器特征輸出融合的模型,其具體架構(gòu)如圖1 所示.由圖1 可知,模型主要分為多編碼器層和解碼器層2 個(gè)部分.多編碼器層可以同時(shí)對(duì)不同的輸入分別進(jìn)行特征提取,包括2 個(gè)不同時(shí)間步長(zhǎng)的編碼器層、傳感器排列熵編碼器層以及操作條件編碼器層.各個(gè)編碼器層的輸出經(jīng)過(guò)融合后,作為解碼器層的輸入,通過(guò)解碼器層對(duì)來(lái)自不同方面的特征進(jìn)行提取后,通過(guò)前饋全連接網(wǎng)絡(luò)輸出RUL 的預(yù)測(cè)值.

圖1 模型總體架構(gòu)圖Fig.1 Architecture of the proposed model

1.2 雙時(shí)間步長(zhǎng)編碼器層

發(fā)動(dòng)機(jī)當(dāng)前的狀態(tài)信息,由當(dāng)前時(shí)間點(diǎn)的傳感器信號(hào)和過(guò)去一定時(shí)間點(diǎn)的信號(hào)得到.本文采用滑動(dòng)時(shí)間窗口方法對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行分割,圖2 展示了采樣過(guò)程.

圖2 滑動(dòng)時(shí)間窗口采樣示意圖Fig.2 Sliding time window sampling process

如何選取滑動(dòng)窗口的時(shí)間長(zhǎng)度,對(duì)預(yù)測(cè)結(jié)果起到很關(guān)鍵的作用.如果時(shí)間長(zhǎng)度過(guò)長(zhǎng),距離當(dāng)前時(shí)間點(diǎn)過(guò)久的信息可能會(huì)成為無(wú)用信息甚至是干擾信息,混淆模型的預(yù)測(cè)結(jié)果;如果時(shí)間長(zhǎng)度太短,又會(huì)造成信息的丟失,影響預(yù)測(cè)結(jié)果.現(xiàn)有的研究通常嘗試不同的時(shí)間步長(zhǎng)作為輸入,最終選取效果最好的1 個(gè)時(shí)間步長(zhǎng)作為模型的輸入.

Transformer 模型相較于傳統(tǒng)的RNN、CNN 等深度學(xué)習(xí)模型,具有可并行計(jì)算的優(yōu)點(diǎn),隨著計(jì)算力的發(fā)展,可以在一定程度上犧牲內(nèi)存換取更好的實(shí)驗(yàn)結(jié)果.利用Transformer 模型的并行性,本文創(chuàng)新性地提出了選取2 個(gè)不同時(shí)間步長(zhǎng)的輸入,分別獨(dú)立地進(jìn)行特征提取,一方面保留了長(zhǎng)時(shí)間序列的特征信息,另一方面又能更集中高效地處理短時(shí)間序列的特征信息,最終將2 個(gè)編碼器層的特征輸出進(jìn)行融合.

本文所使用的多個(gè)編碼器層的結(jié)構(gòu)相似,具體如圖3 所示.從圖3 可以看到,每個(gè)編碼器層由多個(gè)結(jié)構(gòu)相同的子編碼器層堆疊而成;每個(gè)子編碼器層包括多頭自注意力層和前饋全連接層,并且都應(yīng)用了殘差連接以及標(biāo)準(zhǔn)歸一化操作,以防止梯度消失,加速模型收斂.

圖3 編碼器層結(jié)構(gòu)Fig.3 Structure of the encoder layer

由于輸入數(shù)據(jù)具有時(shí)序性,而Transformer 的自注意力機(jī)制無(wú)法直接捕捉到輸入的順序.因此,在原始數(shù)據(jù)進(jìn)入雙時(shí)間步長(zhǎng)編碼器層前,需要先通過(guò)1 個(gè)位置編碼層,對(duì)其添加相對(duì)位置信息,使模型能更好地捕捉到時(shí)序特征.本文采用Transformer 中最常用的位置編碼模式,即正弦位置編碼和余弦位置編碼[26].相應(yīng)計(jì)算公式為

公式 (1) 中:t表示時(shí)間點(diǎn);d表示傳感器的維度; 2i表示偶數(shù)位傳感器,用正弦函數(shù)(sin)來(lái)編碼;2i+1表示奇數(shù)位傳感器,用余弦函數(shù)(cos)來(lái)編碼.

自注意力機(jī)制是Transformer 模型中的核心部分.將上一層的輸出矩陣X分別與3 個(gè)權(quán)重矩陣Wq、Wk和Wv相乘后得到對(duì)應(yīng)的3 個(gè)向量,分別為查詢向量Q、鍵向量K和內(nèi)容向量V.對(duì)應(yīng)公式為

通過(guò)計(jì)算Q和K的點(diǎn)積獲得關(guān)聯(lián)矩陣,經(jīng)過(guò)Softmax 函數(shù)激活后得到每個(gè)位置對(duì)應(yīng)的權(quán)重,最后再將此權(quán)重疊加到V得到自注意力輸出.具體公式為

本文所提的模型中,多頭自注意力層采用了多頭注意力機(jī)制,即計(jì)算了多組Q、K、V,再將多組注意力輸出拼接后作為最終輸出,以均衡同一種注意力機(jī)制可能產(chǎn)生的偏差,從而提升模型效果.相應(yīng)計(jì)算公式為

公式 (4) 中:W表示多頭注意力權(quán)重矩陣;hi指第i個(gè)自注意力輸出;H為注意力頭數(shù).

1.3 傳感器排列熵編碼器層

通過(guò)對(duì)時(shí)間步長(zhǎng)數(shù)據(jù)進(jìn)行轉(zhuǎn)置,得到傳感器排列熵編碼層的輸入,傳感器排列熵編碼器層將沿著傳感器的維度進(jìn)行特征提取.然而,由于傳感器之間的位置關(guān)系不明確,模型不能夠有效獲取不同傳感器之間的位置信息.二階排列熵是一種能夠反映信號(hào)的單調(diào)性和變化趨勢(shì)的非線性動(dòng)力學(xué)參數(shù)[29],能夠放大時(shí)間序列的微弱變化,度量時(shí)間序列的復(fù)雜性,從而有效地反映不同傳感器的特征.在輸入編碼器層之前,本文添加了排列熵編碼層,先對(duì)輸入數(shù)據(jù)進(jìn)行了排列熵編碼處理,以此注入傳感器之間的關(guān)系,使編碼器層能更好地學(xué)習(xí)到不同傳感器之間的影響.

假設(shè)第i個(gè)傳感器的測(cè)量序列為{si(1),si(2),···,si(t)},采用相空間對(duì)其進(jìn)行重構(gòu),并取嵌入維數(shù)為2,得到相空間重構(gòu)矩陣

其中τ表示延遲時(shí)間.將矩陣中的每一行看作1 個(gè)重構(gòu)向量,對(duì)其進(jìn)行升序排列,得到索引的2 種排列方式;統(tǒng)計(jì)對(duì)應(yīng)排列方式出現(xiàn)的概率并記為p1和p2;最后使用公式

求得該傳感器的排列熵.

計(jì)算得到每個(gè)傳感器的二階排列熵后,對(duì)其進(jìn)行線性映射以適應(yīng)輸入矩陣的大小;在排列熵編碼器層對(duì)輸入矩陣進(jìn)行編碼,添加排列熵信息.添加公式為

公式 (7) 中:X表示輸入矩陣;S表示傳感器二階排列熵向量;We表示排列熵權(quán)重矩陣.

1.4 操作條件編碼器層

操作條件是指現(xiàn)實(shí)環(huán)境和運(yùn)行條件數(shù)據(jù)與傳感器信號(hào)數(shù)據(jù)之間的相關(guān)性較弱,現(xiàn)有的研究通常將操作條件數(shù)據(jù)和傳感器信號(hào)數(shù)據(jù)混為一談.編碼器層中自注意力機(jī)制會(huì)計(jì)算不同傳感器之間的相關(guān)性,假如操作器數(shù)據(jù)也在其中,會(huì)加重模型的計(jì)算負(fù)擔(dān),卻不能得到一個(gè)合理有效的結(jié)果.本文將操作器數(shù)據(jù)和傳感器信號(hào)數(shù)據(jù)分離,并行地作為另一個(gè)編碼器層的輸入提取特征,在減少對(duì)傳感器信號(hào)數(shù)據(jù)干擾的同時(shí),不浪費(fèi)操作條件中所包含的特征信息,從而提升模型的預(yù)測(cè)效果.

在多個(gè)編碼器層完成特征提取后,需要進(jìn)行特征融合;特征融合層將各個(gè)編碼器層輸出的結(jié)果連接后,通過(guò)線性映射作為多編碼器層融合的輸出O.相應(yīng)公式為

公式 (8) 中:Ot1、Ot2、Os、Oc分別對(duì)應(yīng)時(shí)間步長(zhǎng)1 編碼器層、時(shí)間步長(zhǎng)2 編碼器層、傳感器排列熵編碼器層和操作條件編碼器層的特征輸出結(jié)果;Wo表示特征融合權(quán)重矩陣.

1.5 解碼器層

解碼器層和圖3 中編碼器層的結(jié)構(gòu)類(lèi)似,由多個(gè)子解碼器層組成,每個(gè)子解碼器層包括2 個(gè)多頭自注意力層和1 個(gè)前饋全連接層.相應(yīng)地,每個(gè)層都進(jìn)行了殘差連接和標(biāo)準(zhǔn)歸一化: 第一個(gè)多頭自注意力層添加了掩碼操作,即將QKT向量點(diǎn)乘1 個(gè)同樣大小的上三角掩碼,避免模型提前觀察到未來(lái)時(shí)間點(diǎn)的數(shù)據(jù);第二個(gè)多頭注意力層為編碼器解碼器注意力層,將前一層的輸出作為查詢向量,將解碼器層的輸出作為鍵向量和內(nèi)容向量進(jìn)行計(jì)算;最終,依次通過(guò)展開(kāi)層和全連接層輸出所預(yù)測(cè)的RUL,得到最終結(jié)果.

2 實(shí)驗(yàn)分析

2.1 數(shù)據(jù)集介紹

CMAPSS 數(shù)據(jù)集是由美國(guó)國(guó)家航空航天局 (National Aeronautics and Space Administration,NASA) 阿姆斯研究中心,在其開(kāi)發(fā)的航空推進(jìn)系統(tǒng)仿真平臺(tái)CMAPSS 上,對(duì)渦扇發(fā)動(dòng)機(jī)的關(guān)鍵部件退化過(guò)程進(jìn)行大量仿真實(shí)驗(yàn)所得到并公開(kāi)的1 組數(shù)據(jù)[30],在航空發(fā)動(dòng)機(jī)RUL 預(yù)測(cè)問(wèn)題上被廣泛使用.圖4 展示了CMAPSS 中渦扇發(fā)動(dòng)機(jī)仿真模型的結(jié)構(gòu)圖.其中,Fan 表示發(fā)動(dòng)機(jī)風(fēng)扇,LPC (Low Pressure Compressor)表示低壓壓氣機(jī),HPC (High Pressure Compressor)表示高壓壓氣機(jī),Combustor表示燃燒室,N1 表示風(fēng)機(jī)軸,N2 表示核心軸,LPT (Low Pressure Turbine)表示低壓渦輪,HPT(High Pressure Turbine)表示高壓渦輪,Nozzle 表示噴嘴.

圖4 發(fā)動(dòng)機(jī)仿真模型結(jié)構(gòu)圖[30]Fig.4 Structure of engine simulation model

CMPASS 數(shù)據(jù)集共包含4 個(gè)子數(shù)據(jù)集,分別仿真了在不同工作狀況和不同的故障模式下渦扇發(fā)動(dòng)機(jī)的傳感器數(shù)據(jù).本文選取包含同一種工作狀況的數(shù)據(jù)集1 和數(shù)據(jù)集3 對(duì)本文模型進(jìn)行驗(yàn)證: 數(shù)據(jù)集1 模擬了高壓壓氣機(jī)性能退化這一故障;數(shù)據(jù)集3 模擬了高壓壓氣機(jī)性能退化和風(fēng)扇退化這2 種故障模式.每個(gè)子數(shù)據(jù)集包括訓(xùn)練集和測(cè)試集: 訓(xùn)練集包括100 臺(tái)發(fā)動(dòng)機(jī)從某一時(shí)刻開(kāi)始到完全失效這一時(shí)段內(nèi)每個(gè)飛行循環(huán)的操作條件數(shù)據(jù)和傳感器數(shù)據(jù);測(cè)試集包括另100 臺(tái)發(fā)動(dòng)機(jī)在某段時(shí)間內(nèi)每個(gè)飛行循環(huán)的操作條件數(shù)據(jù)和傳感器數(shù)據(jù),并給出了對(duì)應(yīng)的剩余使用壽命.數(shù)據(jù)集1 和數(shù)據(jù)集3 都用飛行循環(huán)作為衡量單位.其中,操作條件數(shù)據(jù)包括飛行高度、馬赫數(shù)和油門(mén)解算器角度這3 個(gè)發(fā)動(dòng)機(jī)工作環(huán)境參數(shù);而傳感器數(shù)據(jù)則記錄了21 個(gè)傳感器測(cè)量值,每個(gè)傳感器的詳細(xì)描述詳見(jiàn)表1.由于本文采用的CMAPSS 數(shù)據(jù)集是由NASA 提供的公共數(shù)據(jù)集,因此,本文描述傳感器數(shù)據(jù)時(shí),遵照了該數(shù)據(jù)集的官方設(shè)置,所使用的單位是航空動(dòng)力學(xué)領(lǐng)域的常用單位.

表1 傳感器詳細(xì)描述Tab.1 Description of sensors

2.2 數(shù)據(jù)預(yù)處理

2.2.1 數(shù)據(jù)歸一化

從表1 可以看到,各個(gè)傳感器的數(shù)值單位不一致.為了增強(qiáng)不同傳感器數(shù)據(jù)之間的比較性,提高模型的收斂速度和精度,本文先對(duì)傳感器數(shù)據(jù)做了縮放處理.在對(duì)比了標(biāo)準(zhǔn)歸一化和最大–最小歸一化后,本文選擇效果更好的最大–最小歸一化方法.計(jì)算過(guò)程為

公式 (9) 中:xi表示當(dāng)前時(shí)間點(diǎn)的值;分別指當(dāng)前傳感器在所有時(shí)間點(diǎn)內(nèi)的最大值和最小值;表示歸一化計(jì)算后所得到的數(shù)據(jù).

2.2.2 傳感器選擇

通過(guò)觀察發(fā)現(xiàn),在21 個(gè)傳感器的數(shù)據(jù)中,傳感器1、5、6、10、16、18、19 的監(jiān)測(cè)數(shù)據(jù)一直保持恒定.因此,應(yīng)該剔除這些無(wú)法反映發(fā)動(dòng)機(jī)退化信息的數(shù)據(jù),只留下剩余的14 個(gè)有價(jià)值的傳感器數(shù)據(jù)作為模型的輸入.圖5 展示了數(shù)據(jù)集1 中發(fā)動(dòng)機(jī)的傳感器數(shù)據(jù).其橫坐標(biāo)為飛行循環(huán),縱坐標(biāo)為歸一化后的傳感器數(shù)據(jù)().

圖5 發(fā)動(dòng)機(jī)1 號(hào)歸一化后的傳感器數(shù)據(jù)Fig.5 Scaled sensor data of engine 1

2.2.3 排列熵計(jì)算

根據(jù)公式 (6),取延遲時(shí)間τ=5,計(jì)算得到14 個(gè)傳感器的排列熵值,得到熵值如表2 所示.將計(jì)算所得的排列熵作為傳感器二階排列熵向量添加到排列熵編碼器層.

表2 傳感器二階排列熵計(jì)算結(jié)果Tab.2 Computation results of the second permutation entropy of sensors

2.2.4 RUL 標(biāo)簽設(shè)置

有研究顯示[31],分段線性退化模型能較好地處理CMAPSS 數(shù)據(jù)集的RUL 預(yù)測(cè)問(wèn)題.該模型假設(shè)發(fā)動(dòng)機(jī)在運(yùn)行初期屬于正常狀態(tài),各項(xiàng)傳感器的數(shù)據(jù)較為平穩(wěn),因此,認(rèn)為在這段時(shí)間里RUL 值均等于1 個(gè)根據(jù)經(jīng)驗(yàn)設(shè)定的RUL 最大值.當(dāng)發(fā)動(dòng)機(jī)運(yùn)行一段時(shí)間后,發(fā)動(dòng)機(jī)進(jìn)入退化狀態(tài),RUL 隨著運(yùn)行時(shí)長(zhǎng)線性遞減,如圖6 所示.圖6 中,橫坐標(biāo)為實(shí)際飛行循環(huán)數(shù);縱坐標(biāo)為設(shè)置的RUL 標(biāo)簽,表示剩余飛行循環(huán)數(shù).本文采取分段線性退化模型對(duì)訓(xùn)練集中的數(shù)據(jù)設(shè)置RUL 標(biāo)簽,并根據(jù)預(yù)測(cè)效果,將RUL 標(biāo)簽最大值設(shè)定為125 個(gè)飛行循環(huán).

圖6 分段線性退化模型Fig.6 Piecewise linear degradation model

2.2.5 評(píng)價(jià)指標(biāo)

為了驗(yàn)證模型預(yù)測(cè)結(jié)果的有效性和準(zhǔn)確性,本文使用了2 個(gè)常用的指標(biāo)來(lái)進(jìn)行評(píng)價(jià): 均方根誤差(Root Mean Square Error,RMSE),本文用RRMSE表示;預(yù)測(cè)分?jǐn)?shù) (Score),本文用Sscore表示.這二者都是值越小,表示預(yù)測(cè)的效果越好.RRMSE是回歸問(wèn)題中常用的指標(biāo),其計(jì)算公式為

公式 (10) 中:N表示樣本數(shù)量;表示樣本j的預(yù)測(cè)RUL 值;Lj表示樣本j的RUL 真實(shí)值.

Sscore是NASA 針對(duì)此公開(kāi)研究問(wèn)題提供的官方評(píng)價(jià)指標(biāo).在RUL 預(yù)測(cè)值小于真實(shí)RUL 時(shí),意味著預(yù)測(cè)的發(fā)動(dòng)機(jī)故障時(shí)間超前于真實(shí)的故障時(shí)間,根據(jù)這個(gè)測(cè)試結(jié)果所做出的維修決策偏向于保守,比較安全,Sscore的值較小;而當(dāng)RUL 預(yù)測(cè)值大于真實(shí)值時(shí),可能會(huì)導(dǎo)致意外的事故或危險(xiǎn)發(fā)生,后果更為嚴(yán)重,此時(shí)Sscore的值更高.其具體的計(jì)算公式為

公式 (11) 中:N表示樣本數(shù)量;表示樣本j的預(yù)測(cè)RUL 值;Lj表示樣本j的真實(shí)RUL 值.

2.3 模型超參數(shù)設(shè)置

在模型訓(xùn)練中,為了更充分地利用訓(xùn)練集的數(shù)據(jù),本文采用了滑動(dòng)窗口步長(zhǎng)為1 對(duì)訓(xùn)練集中的數(shù)據(jù)進(jìn)行分割,比較了不同時(shí)間長(zhǎng)度的預(yù)測(cè)效果后.對(duì)數(shù)據(jù)集1,選取20 個(gè)和30 個(gè)飛行循環(huán)的時(shí)間長(zhǎng)度作為雙時(shí)間長(zhǎng)度編碼器的輸入;對(duì)數(shù)據(jù)集3,選取20 個(gè)和40 個(gè)飛行循環(huán)的時(shí)間長(zhǎng)度作為雙時(shí)間長(zhǎng)度編碼器的輸入.表3 描述和記錄了模型中其他重要超參數(shù)的設(shè)置.

表3 模型超參數(shù)設(shè)置Tab.3 Setting of model hyperparameters

2.4 實(shí)驗(yàn)結(jié)果分析

使用表3 中的最優(yōu)參數(shù),將模型在數(shù)據(jù)集1 和數(shù)據(jù)集3 中進(jìn)行訓(xùn)練和預(yù)測(cè).在訓(xùn)練過(guò)程中,將訓(xùn)練集中90%的樣本數(shù)據(jù)作為訓(xùn)練樣本,在剩下10%的樣本數(shù)據(jù)上進(jìn)行驗(yàn)證;以均方誤差(Mean Square Error,MSE)作為損失函數(shù),使用Adam 算法優(yōu)化模型權(quán)值;最后在測(cè)試集中進(jìn)行測(cè)試,得到最終的結(jié)果.表4 展示了本文模型中所得到的RRMSE以及與其他模型的對(duì)比;表5 展示了本文模型所得到的Sscore以及與其他模型的對(duì)比.RRMSE和Sscore的值越低,代表模型的預(yù)測(cè)精度越高,效果越好.表4、表5 中,字體加粗顯示的結(jié)果代表所有方法中最好的成績(jī),下劃線顯示的結(jié)果代表所有方法中第二好的成績(jī).

表4 RMSE 結(jié)果對(duì)比Tab.4 Comparison of RMSE results

從表4 和表5 中的對(duì)比結(jié)果可以看出,本文模型在數(shù)據(jù)集1 上取得了優(yōu)于其他先進(jìn)模型的效果,RRMSE和Sscore這2 個(gè)評(píng)價(jià)指標(biāo)都得到了最好的結(jié)果: 對(duì)于Mo 等[27]提出的GCU-Transformer 模型,由于其原文并未提供Sscore指標(biāo)的結(jié)果,因此,本文只比較了在RRMSE上的成績(jī),可以看到本文模型在RRMSE上取得了2%的降低;相較于Zhang 等[28]提出的DAST 模型,本文模型的RRMSE下降了3.4%;本文模型的Sscore相較于Li 等[22]提出的TCN 模型結(jié)果下降了13%.

表5 Score 結(jié)果對(duì)比Tab.5 Comparison of score results

對(duì)于數(shù)據(jù)集3,從RRMSE來(lái)看,本文模型略高于Zeng 等[23]所提出的DARNN 模型,但在Sscore指標(biāo)上大幅度地超過(guò)了DARNN 的結(jié)果,效果提升了35%;與DAST 模型相比,本文模型Sscore分?jǐn)?shù)略高,但在RRMSE分?jǐn)?shù)上取得了很大的下降,效果提升了5.6%.如前所述,與數(shù)據(jù)集1 相比,數(shù)據(jù)集3 包含更多的故障模式,因此,數(shù)據(jù)集3 的情況更為復(fù)雜些,對(duì)于RUL 預(yù)測(cè)任務(wù)而言更具考驗(yàn).相比DARNN 模型和DAST 模型在其中一個(gè)指標(biāo)上取得了最佳效果,而另一指標(biāo)效果不佳的情況,本文模型在這2 個(gè)指標(biāo)上都取得了第二的效果.由此可見(jiàn),本文模型穩(wěn)定性較好,可以實(shí)現(xiàn)整體性能和安全性的均衡.

綜合來(lái)看,相比現(xiàn)有的先進(jìn)模型,本文模型在2 個(gè)評(píng)價(jià)指標(biāo)上都取得了不錯(cuò)的結(jié)果,且在2 個(gè)數(shù)據(jù)集上都得到了驗(yàn)證,顯示出了本文模型的可靠程度較高.

2.5 消融研究

本文采用DAST 模型[28]作為基準(zhǔn)模型.DAST 模型是由傳感器特征和時(shí)間步長(zhǎng)特征作為輸入的雙編碼器Transformer 結(jié)構(gòu),得益于自注意力機(jī)制,它能夠有效處理長(zhǎng)時(shí)間序列數(shù)據(jù).本文所提出的模型對(duì)其做了3 方面的改進(jìn)工作: 一是使用雙時(shí)間步長(zhǎng)編碼器輸入;二是添加排列熵編碼層;三是獨(dú)立拆分操作條件輸入.在數(shù)據(jù)集1 上進(jìn)行消融實(shí)驗(yàn),以研究每一部分工作對(duì)整體預(yù)測(cè)結(jié)果的影響.表6所示數(shù)據(jù)顯示了消融實(shí)驗(yàn)的結(jié)果,驗(yàn)證了每一模塊的有效性.

表6 消融實(shí)驗(yàn)結(jié)果Tab.6 Results of ablation study

3 結(jié) 論

本文提出了一種新的基于Transformer 的多編碼器特征輸出融合的RUL 預(yù)測(cè)模型: 使用2 個(gè)不同步長(zhǎng)的編碼器層分別進(jìn)行特征提取,保留長(zhǎng)短時(shí)間序列中不同的信號(hào)特征;采用二階排列熵對(duì)傳感器進(jìn)行位置編碼,使模型能更好地捕捉到不同傳感器之間的影響關(guān)系,并將操作條件數(shù)據(jù)與傳感器數(shù)據(jù)分離;使用獨(dú)立的編碼器進(jìn)行訓(xùn)練.利用Transformer 模型可并行計(jì)算的優(yōu)勢(shì),將多個(gè)不同的編碼器層的輸出進(jìn)行融合后,通過(guò)解碼器層得到最終的RUL 結(jié)果.通過(guò)在廣泛使用的航空發(fā)動(dòng)機(jī)CMAPSS 數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn),結(jié)果表明,本文模型的預(yù)測(cè)效果優(yōu)于現(xiàn)有的其他先進(jìn)算法,驗(yàn)證了本文模型能夠有效提高航空發(fā)動(dòng)機(jī)RUL 預(yù)測(cè)的精度.

在未來(lái)的工作中,可以繼續(xù)以下3 方面的研究,以期進(jìn)一步提升預(yù)測(cè)效果: 第一,可以研究更優(yōu)化的標(biāo)簽設(shè)置方法;第二,可以探索數(shù)據(jù)中存在的不平衡問(wèn)題;第三,可以嘗試?yán)脽o(wú)監(jiān)督數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練來(lái)提升模型性能.