摘要： 剩余使用壽命（remaining useful life， RUL）預(yù)測是產(chǎn)品故障預(yù)測與健康管理的重要內(nèi)容。傳統(tǒng)長短期記憶 （long short-term memory， LSTM） 網(wǎng)絡(luò)無法主動選擇關(guān)鍵特征、難以高效提取大數(shù)據(jù)所蘊含的退化信息。提出一種基于改進(jìn)LSTM網(wǎng)絡(luò)的RUL預(yù)測方法，采用隨機森林 （random forest， RF） 算法篩選輸入特征，以主動選取關(guān)鍵特征;采用雙重自注意力機制分別從特征維度和時間維度完成權(quán)重自適應(yīng)分配，使模型在學(xué)習(xí)過程中關(guān)注主要特征和歷史時間點;通過融合統(tǒng)計特征，以提高RUL預(yù)測精度。以航空發(fā)動機數(shù)據(jù)集為例完成案例分析，驗證方法有效性。結(jié)果表明，所提方法能有效提高基于復(fù)雜數(shù)據(jù)集的RUL預(yù)測精度。

關(guān)鍵詞： 剩余壽命預(yù)測; 隨機森林; 雙重自注意力機制; 長短期記憶網(wǎng)絡(luò); 航空發(fā)動機

中圖分類號： TH 17

文獻(xiàn)標(biāo)志碼： A

DOI：10.12305/j.issn.1001-506X.2024.06.16

Remaining useful life prediction based on double self-attention mechanism and long short-term memory network

WU Jiajun， SU Chun， ZHANG Yuru

（School of Mechanical Engineering， Southeast University， Nanjing 211189， China）

Abstract： Prediction of remaining useful life （RUL） is an important part of fault prognostic and health management. Traditional long short-term memory （LSTM） network cannot select the key features actively， and it is difficult to effectively extract the degradation information contained in big data. This paper proposes an RUL prediction approach based on an improved LSTM network， where the random forest （RF） algorithm is adopted to filter the input features in order to select key features actively. A double self-attention mechanism is used to complete the adaptive weight assignment from feature dimension and the time dimension. Thus， the proposed approach can focus on the key features and historical time during the learning process. By fusing the statistical features， the model can improve the accuracy of RUL prediction. To illustrate the effectiveness of the proposed method， a case study is conducted with a data set of aircraft engine. The results indicate that the proposed method can effectively improve the accuracy of RUL prediction with complicated data sets.

Keywords： remaining useful life （RUL） prediction; random forest （RF）; double self-attention mechanism; long short-term memory （LSTM） network; aircraft engine

0 引 言

與傳統(tǒng)的事后維修（corrective maintenance， CM）和周期性維修（periodic maintenance， PM）方式相比，基于狀態(tài)的維修（condition based maintenance， CBM）能夠?qū)崿F(xiàn)設(shè)備健康狀態(tài)的實時監(jiān)測，提前預(yù)測潛在故障、減少停機維修時間，并據(jù)此優(yōu)化維修策略、有效地降低維修成本^［1］。

剩余使用壽命（remaining useful life， RUL）預(yù)測是開展CBM的基礎(chǔ)與前提?？傮w上，RUL預(yù)測方法可以分為兩類，模型驅(qū)動方法（model-based approach， MBA）和數(shù)據(jù)驅(qū)動方法（data-driven approach， DDA）^［2］。其中，MBA聚焦于對象的故障機理，需要預(yù)先獲取到先驗知識，以建立反映對象性能退化機理的數(shù)學(xué)模型;DDA基于歷史數(shù)據(jù)完成RUL的在線預(yù)測，具有較高的靈活性和適應(yīng)性。常用的DDA包括傳統(tǒng)的機器學(xué)習(xí)和深度學(xué)習(xí)。傳統(tǒng)的機器學(xué)習(xí)主要包括支持向量機（support vector machine， SVM）^［3］、隨機森林（random forest， RF）^［4］、隱馬爾可夫模型（hidden Markov model， HMM）^［5］等，可利用監(jiān)測數(shù)據(jù)獲取有用的設(shè)備退化信息，完成RUL預(yù)測^［6］。傳統(tǒng)機器學(xué)習(xí)的預(yù)測效果會受到數(shù)據(jù)特性的影響，而深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)方法不需要特征工程也能取得良好的預(yù)測效果。近年來，神經(jīng)網(wǎng)絡(luò)方法在RUL預(yù)測中受到廣泛關(guān)注。

常用的神經(jīng)網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN） 和長短期記憶（long short-term memory， LSTM）網(wǎng)絡(luò)等。CNN具有強的特征提取能力，能夠有效地提取局部特征。Li等^［7］通過堆疊多層CNN以構(gòu)建深度CNN（deep CNN， DCNN），提高了RUL的預(yù)測精度。Zhu等^［8］提出一種多尺度CNN（multiscale CNN， MSCNN），其研究表明：與傳統(tǒng)CNN相比，MSCNN能夠保持全局和局部信息的同步性，從而提高預(yù)測精度。Shang等^［9］采用時域卷積網(wǎng)絡(luò)（temporal convolutional network， TCN），從長時間序列中提取深度學(xué)習(xí)特征以完成RUL預(yù)測，并以航空發(fā)動機的RUL預(yù)測為例驗證了該方法的有效性。

CNN在特征提取方面具有良好表現(xiàn)，但是在時間序列預(yù)測問題中，LSTM網(wǎng)絡(luò)具有強的遞歸能力，應(yīng)用更為廣泛。Zhang等^［10］提出一種雙向LSTM（bi-directional LSTM， Bi-LSTM） 網(wǎng)絡(luò)，完成系統(tǒng)退化評估和RUL預(yù)測。結(jié)果表明：該方法能有效平滑預(yù)測結(jié)果，減少噪聲影響。Su等^［11］融合時間窗口和序列神經(jīng)網(wǎng)絡(luò)方法，設(shè)計出LSTM單元和卷積LSTM單元，并以航空發(fā)動機的RUL預(yù)測為例驗證方法的有效性。李京峰等^［12］提出一種融合LSTM網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)的RUL預(yù)測方法，以充分提取時序信息、提高預(yù)測精度。Chen等^［13］提出基于注意力機制的深度學(xué)習(xí)框架，融合注意力機制和LSTM網(wǎng)絡(luò)的優(yōu)點以提高RUL預(yù)測精度。Zhang等^［14］提出一種基于雙向門控循環(huán)單元（bidirectional gated recurrent unit， BiGRU） 和多門控混合專家（multi-gate mixture-of-experts， MMoE） 的雙任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)，在RUL預(yù)測任務(wù)中具有較好的魯棒性和綜合性能。閆嘯家等^［15］提出一種基于殘差CNN和注意力BiLSTM融合（residual CNN-attentional BiLSTM network， RCNN-ABiLSTM）的機械設(shè)備RUL預(yù)測方法，針對非線性、多維度、長時間、大規(guī)模監(jiān)測數(shù)據(jù)處理獲得了較好的效果。

LSTM網(wǎng)絡(luò)處理時間序列數(shù)據(jù)的表現(xiàn)良好，在時間序列預(yù)測領(lǐng)域中應(yīng)用廣泛。但是，現(xiàn)有的模型也存在局限性，主要表現(xiàn)在以下3個方面：

（1） LSTM網(wǎng)絡(luò)預(yù)測時通常假設(shè)不同輸入特征對于輸出的影響相同。在工程實際中，部分特征數(shù)據(jù)包含更多的退化信息，對于預(yù)測的準(zhǔn)確性更重要;

（2） LSTM網(wǎng)絡(luò)通常僅利用遞歸后的最后一個時間步的學(xué)習(xí)特征完成回歸預(yù)測，而忽略其他歷史時間點對預(yù)測結(jié)果的影響;

（3） 僅利用LSTM網(wǎng)絡(luò)提取的抽象特征開展RUL預(yù)測，無法充分提取退化信息。

針對LSTM網(wǎng)絡(luò)在RUL預(yù)測中存在的局限性，本文采用RF完成特征篩選，引入雙重自注意力機制和統(tǒng)計特征融合方法，提出一種基于改進(jìn)LSTM網(wǎng)絡(luò)的RUL預(yù)測方法，利用歷史數(shù)據(jù)和在線數(shù)據(jù)完成RUL預(yù)測，以實現(xiàn)設(shè)備健康狀態(tài)的在線監(jiān)測。通過工程案例以及與已有方法的對比，驗證所提預(yù)測方法的有效性。

1 RUL預(yù)測的基礎(chǔ)方法理論

1.1 LSTM網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）在模型訓(xùn)練時會出現(xiàn)梯度消失和梯度爆炸的問題^［16］。在RNN的基礎(chǔ)上，LSTM網(wǎng)絡(luò)通過引入門控機制，能有效緩解上述問題。LSTM網(wǎng)絡(luò)的記憶細(xì)胞結(jié)構(gòu)包括一個遺忘門f_t、一個輸出門i_t和一個輸出門O_t，如圖1所示^［17］。

將當(dāng)前時刻的輸入數(shù)據(jù)X_t和上一時刻的隱藏層輸出h_t-1輸入遺忘門f_t。通過遺忘門過濾無用的歷史信息，其數(shù)學(xué)表達(dá)式^［18］為

f_t=σ（W_f·［h_t－1，x_t］+b_f）（1）

式中：W_f是遺忘門的權(quán)重矩陣;b_f是其對應(yīng)偏置向量;“·”表示矩陣乘法;σ（x）為Sigmoid非線性激活函數(shù)，如下所示：

σ（x）=11+e^－x（2）

輸入門i_t將決定信息的保留。狀態(tài)單元C_t是上一個狀態(tài)單元C_t-1、遺忘門f_t和輸入門i_t相結(jié)合的單元，其數(shù)學(xué)表達(dá)式為

i_t=σ（W_i·［h_t－1，x_t］+b_i）（3）

C′_t=tanh（W_c·［h_t－1，x_t］+b_c）（4）

C_t=f_t·C_t－1+i_t·C′_t（5）

式中：W_i，W_c分別是輸入門和單元狀態(tài)的權(quán)重矩陣;b_i，b_c為對應(yīng)的偏置向量;tanh（x）是激活函數(shù)，一般為雙曲正切函數(shù)，如下所示：

tanh（x）=e^x－e^－xe^x+e^－x（6）

輸出門O_t決定循環(huán)單元的輸出h_t，其數(shù)學(xué)表達(dá)式為

O_t=σ（W_o·［h_t－1，x_t］+b_o）（7）

h_t=O_t·tanh（C_t）（8）

式中：W_o、b_o分別為輸出門的權(quán)重矩陣和偏置向量。

1.2 自注意力機制

“注意力”來自于人類視覺。人在關(guān)注圖像時通常會特別關(guān)注某一區(qū)域，即人的視覺注意力會被不均勻地分散到圖像的各個部分。注意力機制的概念據(jù)此產(chǎn)生，并在圖像處理、翻譯和時間序列預(yù)測等領(lǐng)域得到應(yīng)用^［19］。

自注意力機制專注于數(shù)據(jù)的內(nèi)在聯(lián)系，將對外部信息的依賴最小化。它將單個序列的不同位置聯(lián)系起來，完成序列權(quán)重值的計算，通過計算向量之間的相似度以表征相關(guān)性，并將高權(quán)重值賦予關(guān)鍵信息，以增強其對結(jié)果的影響^［20-21］。自注意力的計算過程如下：

（1） 假設(shè)樣本序列為H =［h₁，h₂，…，h_d］^T， h_iR^t，其中t為序列長度，T為轉(zhuǎn)置。根據(jù)第i個子序列輸入特征的重要性對h_i打分，公式如下：

s_i=（W^T·h_i+b）（9）

式中：W，b分別為權(quán)重矩陣和偏置向量;（·）為得分函數(shù)，可設(shè)計為Sigmoid函數(shù)或線性函數(shù)。

（2） 在獲得所有序列特征的得分后，S =［s₁，s₂，…，s_d］，s_iR^t，采用Softmax函數(shù)完成歸一化處理，表達(dá)式如下：

α_i=Softmax（s_i）=exp（s_i）S_iexp（s_i）（10）

式中：α_i是h_i在自注意力機制運算后得到的對應(yīng)注意力權(quán)重。

（3） 經(jīng)過自注意力機制處理，得到輸出O的數(shù)學(xué)表達(dá)式如下：

式中：A =［α₁，α₂，…，α₃］;表示向量對應(yīng)位置相乘的運算。

1.3 統(tǒng)計特征提取方法

傳感器數(shù)據(jù)的統(tǒng)計特征通常含有退化信息，可用于RUL預(yù)測。Khelif等^［22］從時間窗口中提取特征的均值和線性回歸趨勢，并與RUL相關(guān)聯(lián)，作為輸入數(shù)據(jù)完成訓(xùn)練與預(yù)測。研究結(jié)果^{［9，13］}表明：通過提取相關(guān)的統(tǒng)計特征，能有效提升RUL預(yù)測精度。本文提取每個時間窗內(nèi)特征的均值和線性回歸趨勢系數(shù)，據(jù)此開展RUL預(yù)測。

1.4 RF算法

傳感器可以獲取各類數(shù)據(jù)，包括性能退化數(shù)據(jù)。若將所有數(shù)據(jù)均輸入到深度學(xué)習(xí)模型，模型可能難以獲取有用的抽象特征，同時還會增加計算成本、影響預(yù)測精度。

RF是一類集合多個決策樹分類器的繼承分類器。它從原始數(shù)據(jù)特征中隨機抽取特征子集構(gòu)建決策樹，通過計算特征與目標(biāo)變量的相關(guān)性篩選關(guān)鍵特征，以達(dá)到數(shù)據(jù)降維和提升模型性能等目的^［23］。

1.5 滑動時間窗口方法

考慮到時間序列數(shù)據(jù)對于時間的依賴關(guān)系，將某個時間點的特征取值擴(kuò)大到包含該時間點的一段區(qū)間，稱之為時間窗口?；瑒訒r間窗口方法利用時間窗口將原始數(shù)據(jù)重塑為指定長度的時間序列樣本，以便輸入模型。如圖2所示，采用一定長度的時間窗口和滑動步長完成數(shù)據(jù)拆分，分別得到訓(xùn)練樣本和測試樣本。

若原始數(shù)據(jù)長度小于一個時間窗口的長度，則采用線性插值的方法在數(shù)據(jù)前進(jìn)行補全。線性插值的公式如下^［24］：

h^j_t－1=x_t+1－x_t－1x_t+1－x_th^j_t－x_t－x_t－1x_t+1－x_th^j_t+1（12）

式中：h^j_t－1為第（t-1）時間點缺失的第j個傳感器的值;h^j_t，h^j_t+1分別為第t和（t+1）時間點對應(yīng)的第j個傳感器的值;x_t-1，x_t，x_t+1分別為最后一個時間窗口內(nèi)的第t-1、t、t+1時間點的循環(huán)次數(shù)。

2 RUL預(yù)測方法

本文提出一種基于改進(jìn)LSTM網(wǎng)絡(luò)的RUL預(yù)測方法，采用RF篩選出重要特征，引入雙重自注意力機制和統(tǒng)計特征融合方法完成RUL預(yù)測和設(shè)備健康狀態(tài)的在線監(jiān)測。首先，完成歷史數(shù)據(jù)的歸一化處理，采用RF篩選出對RUL預(yù)測有價值的特征;采用滑動時間窗口的方法沿著時間維度截取輸入數(shù)據(jù)^［25］;將得到的數(shù)據(jù)輸入到網(wǎng)絡(luò)模型中完成訓(xùn)練;采用經(jīng)訓(xùn)練的模型并利用歸一化后的在線數(shù)據(jù)完成RUL預(yù)測。綜上所述，本文提出的RUL預(yù)測方法的基本流程如圖3所示。

2.1 模型結(jié)構(gòu)

基于雙重自注意力機制和LSTM網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖4所示。該模型主要針對LSTM網(wǎng)絡(luò)存在的提取數(shù)據(jù)不充分和退化信息不完全等問題進(jìn)行了改進(jìn)，具體結(jié)構(gòu)如下：

（1） 通過第1層自注意力網(wǎng)絡(luò)，對輸入的特征分配自適應(yīng)權(quán)重;

（2） 采用LSTM網(wǎng)絡(luò)獲得不同時間步的抽象特征序列;

（3） 通過第2層自注意力網(wǎng)絡(luò)，對不同時間步和隱藏單元分配自適應(yīng)權(quán)重;

（4） 數(shù)據(jù)展平，經(jīng)過兩層全連接層得到抽象的特征，并在兩層全連接層之間引入Droupout，以防止過擬合^［26］;

（5） 提取輸入數(shù)據(jù)中每個特征在時間維度上的均值和趨勢系數(shù)，通過全連接層得到抽象特征;

（6） 融合統(tǒng)計特征和網(wǎng)絡(luò)提取的抽象特征，通過Droupout和回歸層完成預(yù)測。

2.2 性能評價指標(biāo)

本文以均方根誤差 （root mean square error， RMSE） 和評分函數(shù)作為評價指標(biāo)評估RUL預(yù)測方法的效果及有效性^{［11，18］}。通常滯后的故障預(yù)測會比提前的故障預(yù)測帶來更嚴(yán)重的后果。因此，對預(yù)測RUL值大于真實RUL值的情形，評分函數(shù)（Score）會給予更大的懲罰。因此，RMSE和評分函數(shù)的值越小，表示預(yù)測性能更好。RMSE和Score的算式如下：

式中：?_i，y_i分別表示第i個測試樣本RUL真實值和本文方法得到的RUL預(yù)測值;N為測試樣本的數(shù)量。

3 案例分析

本文以開源數(shù)據(jù)集C-MAPSS為例完成實例驗證^［27］，該數(shù)據(jù)集是研究RUL預(yù)測問題時最常用的數(shù)據(jù)集之一，文獻(xiàn)［11-15］已在該數(shù)據(jù)集上完成了RUL預(yù)測的研究。

3.1 數(shù)據(jù)集描述

C-MAPSS是渦輪風(fēng)扇發(fā)動機數(shù)據(jù)集，其中包含不同工作條件和故障模式下渦輪風(fēng)扇發(fā)動機多源性能的退化數(shù)據(jù)，共有4個子數(shù)據(jù)集，每個子集又可分為訓(xùn)練集、測試集和RUL標(biāo)簽^［21］。其中，訓(xùn)練集包含航空發(fā)動機從開始運行到發(fā)生故障的所有狀態(tài)參數(shù);測試集包含一定數(shù)量發(fā)動機從開始運行到發(fā)生故障前某一時間點的全部狀態(tài)參數(shù);RUL標(biāo)簽記錄測試集中發(fā)動機的RUL值，可用于評估模型的RUL預(yù)測能力。C-MAPSS數(shù)據(jù)集包含的基本信息如表1所示。

3.2 數(shù)據(jù)處理

3.2.1 數(shù)據(jù)歸一化

不同傳感器的測量數(shù)值范圍不盡相同。為消除該因素對RUL預(yù)測結(jié)果的影響，本文采用歸一化方法將傳感器特征數(shù)據(jù)歸一化到［0，1］范圍內(nèi)，算式如下：

y^j_i=（x^j_i－x^j_min）x^j_max－x^j_min（15）

式中：x^j_i為第j個傳感器的第i個輸出;x^j_min為第j個傳感器最小的輸出值;x^j_max為第i個傳感器最大的輸出值。

3.2.2 設(shè)置RUL標(biāo)簽

在健康狀態(tài)下，渦輪風(fēng)扇發(fā)動機運行平穩(wěn)，退化過程不明顯。利用標(biāo)簽設(shè)置方法將RUL標(biāo)簽設(shè)置為分段線性函數(shù)，如圖5所示。

其中，閾值為125。為便于訓(xùn)練，本文將RUL標(biāo)簽歸一化到［0，1］范圍內(nèi)。因此，在測試集上驗證時需要將模型輸出結(jié)果乘以125，得到最終預(yù)測結(jié)果。

3.3 傳感器特征的重要度評價和篩選

采用RF的特征重要度提取方法，完成FD001、FD002、FD003以及FD004等4個子數(shù)據(jù)集的重要度分析，獲得各傳感器特征的重要度結(jié)果如圖6所示。圖中按重要度對傳感器編號完成排序，并去除重要度為0的傳感器特征。

由圖6可知，F(xiàn)D001和FD003選取的是相同特征，F(xiàn)D002和FD004也具有相同特征。因此，相同工作條件和故障模式數(shù)量的數(shù)據(jù)集在模型訓(xùn)練時所需要的關(guān)鍵特征是相同的。

根據(jù)圖6，本文選取的傳感器數(shù)據(jù)特征如表2所示。

3.4 實驗過程和結(jié)果

為驗證方法和模型的有效性，本文分別選取FD001和FD004子集開展實驗，實驗平臺為Intel i7-1170 3.60 GHz的12核CPU，模型中各部分的超參數(shù)如表3所示。共完成3次實驗：① 實驗1考察不同的時間窗口大小對于RUL預(yù)測結(jié)果的影響;② 實驗2采用消融實驗法評估本文方法中各要素對RUL預(yù)測結(jié)果的影響^［28］;③ 實驗3對比分析本文方法與文獻(xiàn)中其他方法的RUL預(yù)測效果。

3.4.1 時間窗口大小

時間窗口大小是一類關(guān)鍵的超參數(shù)，對RUL預(yù)測性能有重要影響。較大的時間窗口能包含更多有價值的退化信息，但也會增加計算的復(fù)雜度，甚至導(dǎo)致過擬合、降低模型預(yù)測的準(zhǔn)確率。

本文在FD001和FD004子數(shù)據(jù)集上開展實驗，時間窗口的參數(shù)分別為20、30、40、50和60。為減少隨機誤差對RUL預(yù)測的影響，針對每組參數(shù)分別運行程序10次，得到的預(yù)測結(jié)果如圖7所示。FD001子數(shù)據(jù)集組成相對簡單，時間窗口大小為30時，模型的性能最佳;時間窗口變大或者變小，均會對RUL預(yù)測結(jié)果產(chǎn)生負(fù)面影響。FD004子數(shù)據(jù)集較為復(fù)雜，時間窗口大小為50和60時模型的預(yù)測性能相近，且優(yōu)于其他時間窗口大小下的預(yù)測結(jié)果。

實驗結(jié)果表明：對于復(fù)雜的數(shù)據(jù)集，為準(zhǔn)確預(yù)測RUL，通常需要較大的時間窗口，以包含更多的退化信息。

3.4.2 消融實驗

為進(jìn)一步評估本文所提方法在RUL預(yù)測上的有效性，本文針對FD001、FD004子數(shù)據(jù)集開展消融實驗。在LSTM網(wǎng)絡(luò)模型基礎(chǔ)上，依次驗證RF算法、統(tǒng)計特征融合方法和雙重自注意力機制的有效性，分別完成10次重復(fù)實驗。消融實驗共包括4種方法：

方法 1 LSTM：將所有21個傳感器特征數(shù)據(jù)傳入LSTM中完成訓(xùn)練和預(yù)測;

方法 2 RF+LSTM：先采用RF算法篩選出關(guān)鍵特征，再采用LSTM完成訓(xùn)練和預(yù)測;

方法 3 RF+Feats+LSTM：在方法2基礎(chǔ)上，將輸入數(shù)據(jù)的統(tǒng)計特征（Feats），將其與LSTM網(wǎng)絡(luò)的輸出結(jié)果融合，并通過全連接以回歸預(yù)測;

方法 4 本文方法（RF+Feats+Double self-attention+LSTM）：在方法3基礎(chǔ)上，分別在LSTM前和LSTM后各加入1層自注意力網(wǎng)絡(luò)，建立雙重自注意力機制。

實驗結(jié)果如表4所示，其中STD代表標(biāo)準(zhǔn)差。

以箱型圖表示4種方法的RMSE值，如圖8所示。由圖8可知：通過在LSTM網(wǎng)絡(luò)依次引入RF算法、統(tǒng)計特征融合方法和雙重自注意力機制，模型的預(yù)測精度持續(xù)提高;本文所提出的方法所獲得的預(yù)測精度最高。

RUL的預(yù)測值越接近真實值，表明該方法的預(yù)測精度越高。將FD001中49號發(fā)動機和FD004中71號發(fā)動機的消融實驗結(jié)果可視化，如圖9所示。由圖9可知：本文所提出的方法在消融實驗中的效果最佳，預(yù)測精度最高。

3.4.3 預(yù)測結(jié)果的對比分析

將本文方法和文獻(xiàn)中方法得到的RUL預(yù)測結(jié)果進(jìn)行對比分析，如表5所示。由表5可知：所有方法在FD001、FD003子數(shù)據(jù)集上的預(yù)測效果均優(yōu)于FD002、FD004子數(shù)據(jù)集的預(yù)測結(jié)果。主要原因是：FD002、FD004的工況和故障模式遠(yuǎn)比FD001、FD003復(fù)雜并且數(shù)據(jù)量更大，使得預(yù)測難度增加。與表5中其他方法的平均預(yù)測精度相比，對于FD002、FD004子數(shù)據(jù)集，本文所提方法的預(yù)測精度分別提高了27.48%和 21.55%。研究結(jié)果表明：本文提出的預(yù)測方法適合于多工況、多故障模式下復(fù)雜數(shù)據(jù)集的RUL預(yù)測，且能得到更準(zhǔn)確的預(yù)測結(jié)果。

3.4.4 實驗結(jié)果和自注意力機制的可視化

為直觀展示本文所提預(yù)測方法的性能，選取FD001的測試集完成RUL預(yù)測，并將結(jié)果可視化。圖10為FD001測試集中所有發(fā)動機的RUL預(yù)測結(jié)果和真實值的對比。由圖10可知：預(yù)測值和真實值之間的誤差較小，表明利用該方法開展RUL預(yù)測具有越好的可行性。

為增強雙重自注意力機制在預(yù)測過程中的可解釋性，將FD001數(shù)據(jù)集訓(xùn)練過程中的2層自注意力網(wǎng)絡(luò)的結(jié)果可視化，如圖11所示。由于LSTM網(wǎng)絡(luò)的隱藏單元和時間窗口大小分別設(shè)置為50和30，LSTM網(wǎng)絡(luò)輸出的抽象特征維度是30×50。圖11（a）為第1層的自注意力網(wǎng)絡(luò)在特征維度上的注意力權(quán)重，不同的特征分配的注意力權(quán)重不同。傳感器13的權(quán)重最大，表明該特征對于RUL預(yù)測的貢獻(xiàn)最大;圖11（b）為第2層注意力網(wǎng)絡(luò)在時間維度上的注意力權(quán)重，越靠近預(yù)測時間點的隱藏單元分配的權(quán)重越大，在預(yù)測時間點時的隱藏單元對于RUL預(yù)測的貢獻(xiàn)最大，表明當(dāng)前的狀態(tài)參數(shù)對于RUL預(yù)測的影響最大。

4 結(jié) 論

針對傳統(tǒng)LSTM網(wǎng)絡(luò)在RUL預(yù)測中呈現(xiàn)出無法主動選擇關(guān)鍵特征、難以高效提取大數(shù)據(jù)所蘊含的退化信息等問題，本文采用RF算法篩選關(guān)鍵特征，結(jié)合統(tǒng)計特征融合的方法，提出一種基于雙重自注意力機制和LSTM網(wǎng)絡(luò)的RUL預(yù)測方法，用于預(yù)測設(shè)備的RUL，以C-MAPSS數(shù)據(jù)集為例完成實驗驗證，本文得到的結(jié)論如下：

（1） 針對復(fù)雜和多故障模式數(shù)據(jù)集，本文所提方法的預(yù)測精度高于文獻(xiàn)中的其他方法。

（2） 采用RF算法開展輸入特征的重要性評估和篩選，有助于提高模型的預(yù)測精度。

（3） 引入雙重自注意力機制和融合統(tǒng)計特征能有效提高RUL的預(yù)測精度。

后續(xù)研究可結(jié)合不同工作條件和故障模式，以進(jìn)一步提升預(yù)測精度、減少計算量，實現(xiàn)模型輕量化。此外，提高模型的可遷移性也是后續(xù)研究的內(nèi)容之一，以便能將所提RUL預(yù)測方法快速遷移應(yīng)用于其他類型機器設(shè)備的RUL預(yù)測。

參考文獻(xiàn)

［1］OMSHI E M， GRALL A. Replacement and imperfect repair of deteriorating system： study of a CBM policy and impact of repair efficiency［J］. Reliability Engineering amp; System Safety， 2021， 215： 107905.

［2］LEI Y G， LI N P， GUO L， et al. Machinery health prognostics： a systematic review from data acquisition to RUL prediction［J］. Mechanical Systems and Signal Processing， 2018， 104： 799-834.

［3］NIETO P J G， GARCIA-GONZALO E， LASHERAS F S， et al. Hybrid PSO-SVM-based method for forecasting of the remaining useful life for aircraft engines and evaluation of its reliability［J］. Reliability Engineering amp; System Safety， 2015， 138： 219-231.

［4］SCHONLAU M， ZOU R Y. The random forest algorithm for statistical learning［J］. The Stata Journal， 2020， 20（1）： 3-29.

［5］LIN M Q， YOU Y Q， WANG W， et al. Battery health prognosis with gated recurrent unit neural networks and hidden Markov model considering uncertainty quantification［J］. Reliability Engineering amp; System Safety， 2023， 230： 108978.

［6］XU Z Y， SALEH J H. Machine learning for reliability engineering and safety applications： review of current status and future opportunities［J］. Reliability Engineering amp; System Safety， 2021， 211： 107530.

［7］LI X， DING Q， SUN J Q. Remaining useful life estimation in prognostics using deep convolution neural networks［J］. Reliability Engineering amp; System Safety， 2018， 172： 1-11.

［8］ZHU J， CHEN N， PENG W W. Estimation of bearing remaining useful life based on multiscale convolutional neural network［J］. IEEE Trans.on Industrial Electronics， 2019， 66（4）： 3208-3216.

［9］SHANG Z W， ZHANG B R， LI W X， et al. Machine remaining life prediction based on multi-layer self-attention and temporal convolution network［J］. Complex amp; Intelligent Systems， 2022， 8（2）： 1409-1424.

［10］ZHANG J J， WANG P， YAN R Q， et al. Long short-term memory for machine remaining life prediction［J］. Journal of Manufacturing Systems， 2018， 48： 78-86.

［11］SU C， LI L， WEN Z J. Remaining useful life prediction via a variational autoencoder and a time-window-based sequence neural network［J］. Quality and Reliability Engineering International， 2020， 36（5）： 1639-1656.

［12］李京峰， 陳云翔， 項華春， 等. 基于LSTM-DBN的航空發(fā)動機剩余壽命預(yù)測［J］. 系統(tǒng)工程與電子技術(shù)， 2020， 42（7）： 1637-1644.

LI J F， CHEN Y X， XIANG H C， et al. Remaining useful life prediction for aero-engine based on the similarity of degradation characteristics［J］. Systems Engineering and Electronics， 2020， 42（7）： 1637-1644.

［13］CHEN Z H， WU M， ZHAO R， et al. Machine remaining useful life prediction via an attention-based deep learning approach［J］. IEEE Trans.on Industrial Electronics， 2021， 68（3）： 2521-2531.

［14］ZHANG Y， XIN Y Q， LIU Z W， et al. Health status assessment and remaining useful life prediction of aero-engine based on BiGRU and MMoE［J］. Reliability Engineering amp; System Safety， 2022， 220： 108263.

［15］閆嘯家， 梁偉閣， 張鋼， 等. 基于RCNN-ABiLSTM的機械設(shè)備剩余壽命預(yù)測方法［J］. 系統(tǒng)工程與電子技術(shù)， 2023， 45（3）： 931-940.

YAN X J， LIANG W G， ZHANG G， et al. Prediction method for mechanical equipment based on RCNN-ABiLSTM［J］. Systems Engineering and Electronics， 2023， 45（3）： 931-940.

［16］MA X L， TAO Z M， WANG Y H， et al. Long short-term memory neural for traffic speed prediction using remote microwave sensor data［J］. Transportation Research Part C： Emerging Technologies， 2015， 54： 187-197.

［17］WANG H， PENG M J， MIAO Z， et al. Remaining useful life prediction techniques for electric valves based on convolution auto encoder and long short term memory［J］. ISA Transactions， 2021， 108： 333-342.

［18］GU L D， ZHENG R， ZHOU Y F， et al. Remaining useful life prediction using composite health index and hybrid LSTM-SVR model［J］. Quality and Reliability Engineering International， 2022， 38（7）： 3559-3578.

［19］DU W B， WANG Y L， QIAO Y. Recurrent spatial-temporal attention network for action recognition in videos［J］. IEEE Trans.on Image Processing， 2018， 27（3）： 1347-1360.

［20］PAN T Y， CHEN J L， YE Z S， et al. A multi-head attention network with adaptive meta-transfer learning for RUL prediction of rocket engines［J］. Reliability Engineering amp; System Safety， 2022， 225： 108610.

［21］LIU L， SONG X， ZHOU Z T. Aircraft engine remaining useful life estimation via a double attention-based data-driven architecture［J］. Reliability Engineering amp; System Safety， 2022， 221： 108330.

［22］KHELIF R， CHEBEL-MORELLO B， MALINOWSKI S， et al. Direct remaining useful life estimation based on support vector regression［J］. IEEE Trans.on Industrial Electronics， 2017， 64（3）： 2276-2285.

［23］汪千程， 蘇春， 文澤軍. 基于協(xié)整分析的風(fēng)力機多工況監(jiān)測與故障診斷［J］. 中國機械工程， 2022， 33（13）： 1596-1603.

WANG Q C， SU C， WEN Z J. Multi-condition monitoring and fault diagnosis of wind turbines based on cointegration analysis［J］. China Mechanical Engineering， 2022， 33（13）： 1596-1603.

［24］張紫嫣， 盧文科， 左鋒， 等. 基于分段線性插值法的應(yīng)變片式扭矩傳感器的溫度補償［J］. 電子測量技術(shù)， 2022， 45（8）： 143-147.

ZHANG Z Y， LU W K， ZUO F， et al. Temperature compensation of strain gauge torque sensor based on piecewise linear interpolation method［J］. Electronic Measurement Technology， 2022， 45（8）： 143-147.

［25］CHENG Y J， ZENG J Y， WANG Z L， et al. A health state-related ensemble deep learning method for aircraft engine remaining useful life prediction［J］. Applied Soft Computing， 2023， 135： 110041.

［26］GONG R， LI J X， WANG C L. Remaining useful life prediction based on multisensor fusion and attention TCN-BiGRU model［J］. IEEE Sensors Journal， 2022， 22（21）： 21101-21110.

［27］SAXENA A， GOEBEL K， SIMON D， et al. Damage propagation modeling for aircraft engine run-to-failure simulation［C］∥Proc.of the International Conference on Prognostics and Health Management， 2008： 1-9.

［28］LI H， ZHAO W， ZHANG Y X， et al. Remaining useful life prediction using multi-scale deep convolutional neural network［J］. Applied Soft Computing， 2020， 89： 106113.

［29］ZHANG C， LIM P， QIN A K， et al. Multiobjective deep belief networks ensemble for remaining useful life estimation in prognostics［J］. IEEE Trans.on Neural Networks and Learning Systems， 2017， 28（10）： 2306-2318.

［30］XIA M， ZHENG X， IMRAN M， et al. Data-driven prognosis method using hybrid deep recurrent neural network［J］. Applied Soft Computing， 2020， 93： 106351.

［31］REMADNA I， TERRISSA S L， ZEMOURI R， et al. Leveraging the power of the combination of CNN and bi-directional LSTM networks for aircraft engine RUL estimation［C］∥Proc.of the Prognostics and Health Management Conference， 2020： 116-121.

［32］XIANG S， QIN Y， LUO J， et al. Multicellular LSTM-based deep learning model for aero-engine remaining useful life prediction［J］. Reliability Engineering amp; System Safety， 2021， 216： 107927.

［33］LI Y F， CHEN Y F， SHAO H N， et al. A novel dual attention mechanism combined with knowledge for remaining useful life prediction based on gated recurrent units［J］. Reliability Engineering amp; System Safety， 2023， 239： 109514.

作者簡介

吳嘉俊（1999—），男，碩士研究生，主要研究方向為可靠性工程。

蘇 春（1970—），男，教授，博士，主要研究方向為可靠性工程、生產(chǎn)系統(tǒng)工程。

張玉茹（1997—），男，博士研究生，主要研究方向為可靠性工程。