李 智,姜 悅,蔡斐華,褚厚斌,張麗曄

(1.北京東方仿真軟件技術(shù)有限公司，北京 100029; 2.中國運載火箭技術(shù)研究院，北京 100076)

0 引言

近年來，數(shù)據(jù)挖掘技術(shù)迅猛發(fā)展，能夠借助算法從大量數(shù)據(jù)中快速獲取隱藏信息，在金融、醫(yī)療、零售、制造等行業(yè)都得到了廣泛應(yīng)用。在飛行器地面試驗階段，測控通信速率最大包絡(luò)數(shù)據(jù)可達到100 Mbps，一次總檢查所獲得的原始數(shù)據(jù)可達數(shù)十GB，按照解析后數(shù)據(jù)量增至50倍的數(shù)據(jù)容量統(tǒng)計，每次總檢查數(shù)據(jù)達到上千GB，在綜合試驗、匹配試驗、熱平衡、熱真空、總裝測試過程中累計需要經(jīng)歷上百次總檢查，產(chǎn)生的總數(shù)據(jù)量級為上百TB；在飛行器在軌運行階段，測控通信速率最大包絡(luò)數(shù)據(jù)可達到2 Mbps，每天傳輸24 h，每天產(chǎn)生總數(shù)據(jù)量約為1.15 TB。按照飛行器試驗周期一年(按照365天)計算，產(chǎn)生的總數(shù)據(jù)為420 TB?？梢钥闯觯孛嬖囼灪驮谲壴囼灝a(chǎn)生的總數(shù)據(jù)已經(jīng)達到PB級。由于測試數(shù)據(jù)信息量大、參數(shù)數(shù)量多、種類雜，依靠人工進行數(shù)據(jù)判讀及復(fù)查，不僅工作量大、效率低，而且容易造成人為判讀遺漏和偏差。利用數(shù)據(jù)挖掘技術(shù)能夠從大量無序數(shù)據(jù)中自動抽取其隱藏特征及關(guān)聯(lián)關(guān)系，及時發(fā)現(xiàn)飛行器故障征兆并采取有效措施，從而避免重大故障發(fā)生。

目前，國外航空航天領(lǐng)域已經(jīng)率先開展數(shù)據(jù)挖掘技術(shù)在故障預(yù)測與診斷方面的研究，并取得了一定的成果。如美國空軍研究實驗室開發(fā)的EHM樣機系統(tǒng)、CFM公司的CASSIOPEE、英國航空公司的ARIADNE等，它們將數(shù)據(jù)挖掘技術(shù)與故障診斷技術(shù)相融合，建立發(fā)動機維修決策支持專家系統(tǒng)。數(shù)據(jù)挖掘在我國航天領(lǐng)域的應(yīng)用研究起步較晚，尚處于理論方法探索階段，成功的應(yīng)用案例較少。

1 飛行器故障診斷研究現(xiàn)狀

1.1 測控試驗數(shù)據(jù)的特點

飛行器在進入靶場發(fā)射前需要經(jīng)過長時間的功能及性能試驗，通過對試驗過程產(chǎn)生的遙測數(shù)據(jù)進行判讀和診斷，可以評估各系統(tǒng)相關(guān)設(shè)備的電氣功能和性能指標，驗證飛行器上軟、硬件設(shè)備的可靠性。由于飛行器體系龐大、結(jié)構(gòu)復(fù)雜、分系統(tǒng)眾多，每次試驗過程都會產(chǎn)生大量數(shù)據(jù)。這些數(shù)據(jù)具有以下特點。

1)多源性：飛行器測試或在軌運行中各系統(tǒng)產(chǎn)生的數(shù)據(jù)相互交叉，多通道、多波段測控數(shù)據(jù)同時下傳，導(dǎo)致數(shù)據(jù)具有多源性。

2)多樣性：測控數(shù)據(jù)包括不同的數(shù)據(jù)類型，如源碼、解析后物理量等結(jié)構(gòu)化數(shù)據(jù)，xml等半結(jié)構(gòu)化數(shù)據(jù)，圖片、圖像、文本等非結(jié)構(gòu)化數(shù)據(jù)，即使對于結(jié)構(gòu)化數(shù)據(jù)，也包含整數(shù)型、浮點型等多種數(shù)據(jù)類型，導(dǎo)致飛行器測控數(shù)據(jù)具有多樣性。

3)復(fù)雜性：飛行器測試階段要開展靜力試驗、熱平衡、熱真空、振動、電磁兼容等多項大型地面試驗。 不同試驗狀態(tài)下飛行器采用不同的工作模式，導(dǎo)致產(chǎn)生的數(shù)據(jù)具有較高的復(fù)雜性。

當前，我國飛行器發(fā)射頻率越來越高、周期越來越短、地面測試發(fā)射控制技術(shù)向著具備快速響應(yīng)發(fā)射的能力發(fā)展，在這樣的新要求下，研究快速、先進的數(shù)據(jù)處理及故障診斷方法是十分必要的。

1.2 傳統(tǒng)診斷方法存在的問題

傳統(tǒng)的飛行器故障診斷方法包括門限判斷法、專家系統(tǒng)方法等。目前國內(nèi)應(yīng)用較為廣泛的自動判讀系統(tǒng)利用現(xiàn)有計算、網(wǎng)絡(luò)和人工智能技術(shù)，實時分析或事后分析的遙測數(shù)據(jù)，依據(jù)已錄入計算機的知識和規(guī)則自動進行數(shù)據(jù)的判讀分析，在火箭測試中發(fā)揮了很大的輔助決策作用。但是，判讀規(guī)則以及故障模式仍然需要工程師人工梳理完成，梳理過程工作量大、也很難全部覆蓋火箭所有工作狀態(tài)。

目前，試驗數(shù)據(jù)管理分散，試驗數(shù)據(jù)異構(gòu)性強，缺少規(guī)范統(tǒng)一的數(shù)據(jù)存儲格式，數(shù)據(jù)共享困難。由于缺乏規(guī)范的試驗流程與統(tǒng)一的數(shù)據(jù)存儲格式，使得試驗數(shù)據(jù)比對分析的過程中人為干涉的步驟和因素較多，不能及時、準確、規(guī)范的反應(yīng)測試環(huán)境、各類參數(shù)及測試結(jié)果，或記錄的數(shù)據(jù)無法被相關(guān)人員正確理解，很大程度上影響了測試結(jié)果的置信度與重用性，使得跨平臺數(shù)據(jù)共享困難。同時目前測試數(shù)據(jù)的挖掘與利用水平偏低?，F(xiàn)有的試驗數(shù)據(jù)管理更多地表現(xiàn)為數(shù)據(jù)堆積、數(shù)據(jù)倉庫的概念，數(shù)據(jù)之間未能有效地關(guān)聯(lián)，數(shù)據(jù)資源的利用率非常低下，數(shù)據(jù)的價值，特別是海量數(shù)據(jù)的整體價值沒有得到體現(xiàn)。試驗完成后，數(shù)據(jù)經(jīng)常僅進行基本的分析，通常是“一次測試，再不使用”，未進行數(shù)據(jù)挖掘和更深層次的數(shù)據(jù)分析，不能持續(xù)提供實時、深入的數(shù)據(jù)服務(wù)，難以通過試驗數(shù)據(jù)定量化地全面驗證產(chǎn)品各屬性的內(nèi)在關(guān)系。

隨著航天飛行器裝備及試驗技術(shù)的發(fā)展，面對過去常年累積的、目前不斷產(chǎn)生的、未來持續(xù)呈指數(shù)形式增長的海量試驗數(shù)據(jù)，傳統(tǒng)的試驗數(shù)據(jù)管理與分析手段已經(jīng)無法滿足裝備研制與優(yōu)化設(shè)計的需求。為充分利用試驗數(shù)據(jù)價值，迫切需要開展試驗數(shù)據(jù)管理與挖掘技術(shù)研究。

2 飛行器智能故障診斷方法

測控試驗數(shù)據(jù)量大、參數(shù)多，人工實時判讀效率低下，開展基于數(shù)據(jù)挖掘的飛行器故障診斷技術(shù)研究對解決構(gòu)建參數(shù)知識庫、實時異常監(jiān)測、預(yù)測問題具有決定性作用。其核心思想是研究利用數(shù)據(jù)挖掘、人工智能算法，對歷史試驗數(shù)據(jù)進行深度學習，通過分析參數(shù)數(shù)據(jù)在每次試驗中的數(shù)據(jù)鏈條特性，以及與其它參數(shù)之間的關(guān)聯(lián)性概率，參數(shù)的數(shù)據(jù)趨勢特征，形成飛行器參數(shù)知識模型庫，與人工梳理的故障模型庫結(jié)合，采用混合模式對飛行器當前實驗數(shù)據(jù)進行故障診斷和預(yù)測。

基于數(shù)據(jù)挖掘的飛行器故障診斷技術(shù)首先對參數(shù)進行預(yù)處理分析，然后利用聚類分類算法對參數(shù)之間的關(guān)聯(lián)關(guān)系及影響概率進行分類，之后對利用神經(jīng)網(wǎng)絡(luò)、貝葉斯等機器學習算法對參數(shù)值及參數(shù)間變化關(guān)系進行學習，經(jīng)過對歷史數(shù)據(jù)的反復(fù)學習后，確定參數(shù)的閥值及數(shù)據(jù)鏈特征，再對當前試驗數(shù)據(jù)進行對比分析，給出參數(shù)故障診斷的結(jié)果。具體分為離線訓(xùn)練學習建模階段和在線實時診斷階段。

2.1 離線訓(xùn)練學習建模階段

離線訓(xùn)練學習建模階段主要采用基于數(shù)據(jù)挖掘的算法建立飛行器參數(shù)知識模型庫，學習過程如圖1所示。

圖1 離線學習階段框架

2.1.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理主要完成試驗數(shù)據(jù)的處理，將參數(shù)進行變換，形成可直接用于挖掘和分析的參數(shù)，數(shù)據(jù)轉(zhuǎn)換主要包括求均值、方差、斜率、頻譜等，實現(xiàn)數(shù)據(jù)的初步加工。

2.1.2 數(shù)據(jù)標注

離線訓(xùn)練數(shù)據(jù)需要進行標注。需要注意的是，不是所有的歷史數(shù)據(jù)都需要標注，因為這樣會帶來極大的工作量并且對機器學習模型效果的提升有限，適當選取有代表性的數(shù)據(jù)標注即可。最新的技術(shù)也支持通過少量標注來自動標注歷史數(shù)據(jù)，甚至無需標注就可以進行機器學習。將標注好的歷史數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，常用的比例是9:1或者4:1，也可以根據(jù)項目的實際情況進行調(diào)整。

2.1.3 數(shù)據(jù)挖掘

挑選數(shù)據(jù)的特征是數(shù)據(jù)挖掘中的重要步驟，由于特征過多可能會帶來過擬合的問題，所以需要用特征工程技術(shù)對特征進行選取，合并、裁剪一些特征。根據(jù)不同的需求可以采用不同算法，如圖2所示。

圖2 挖掘算法庫

1)利用基于Kmeans、Clusteam、決策樹等聚類算法，對歷史數(shù)據(jù)學習，獲取單個參數(shù)值的變化范圍，進而獲取參數(shù)判據(jù)及變化數(shù)據(jù)鏈特征知識；

2)基于貝葉斯、支持向量機、Apriori等關(guān)聯(lián)規(guī)則模型學習算法獲取參數(shù)與參數(shù)之間的狀態(tài)關(guān)聯(lián)概率特征，獲取參數(shù)狀態(tài)強關(guān)聯(lián)規(guī)則知識；

3)基于退化速率的通用預(yù)測模型、指數(shù)平滑、相關(guān)向量回歸算法，對歷史數(shù)據(jù)進行學習，獲取參數(shù)的趨勢特征模型，建立參數(shù)的趨勢特征知識庫。

結(jié)合Spark、MapReduce等分布式計算的框架，可以有效地處理海量數(shù)據(jù)，通過訓(xùn)練和不斷地參數(shù)調(diào)優(yōu)得到效果最好的分類模型。

2.2 在線實時診斷階段

在線實時診斷階段結(jié)合故障模型庫進行綜合決策診斷。通過將診斷知識庫中的知識與實時實驗數(shù)據(jù)進行比對分析，分析當前試驗數(shù)據(jù)的是否存在異常或趨勢性變化，同時運用數(shù)據(jù)知識與故障模型知識進行決策診斷，從而發(fā)現(xiàn)航天飛行器可能存在的潛在故障，提前預(yù)測，將風險降低到最小。

飛行器實時故障診斷業(yè)務(wù)場景如圖3所示，實時接收火箭前端測試設(shè)備發(fā)送的數(shù)據(jù)流，對數(shù)據(jù)流進行預(yù)處理，根據(jù)聚類關(guān)系對數(shù)據(jù)流進行分類，根據(jù)參數(shù)數(shù)據(jù)鏈特征對參數(shù)值結(jié)果進行分析判定；根據(jù)關(guān)聯(lián)規(guī)則模型知識，對比參數(shù)的狀態(tài)與其它參數(shù)狀態(tài)關(guān)聯(lián)規(guī)則是否匹配，進行分析判定；根據(jù)參數(shù)趨勢特征知識，對參數(shù)趨勢變化進行判定。在診斷處理異常參數(shù)后，與故障模型庫的參數(shù)特征進行綜合診斷，實現(xiàn)對故障的定位和預(yù)測。

圖3 基于數(shù)據(jù)挖掘的飛行器故障診斷業(yè)務(wù)執(zhí)行圖

3 實例

飛行器故障診斷問題可以看作一個二分類問題，使用常用的SVM、邏輯回歸等可以達到較好的分類效果，但是由于這些算法不能捕捉到數(shù)據(jù)中的非線性特征，所以存在一定的瓶頸。樹模型可以較好地捕捉到非線性特征，被廣泛應(yīng)用到現(xiàn)代的機器學習系統(tǒng)中。常用的樹模型包括隨機森林和梯度提升決策樹(gradient boosting decision tree，簡稱GBDT)。

這里我們借助XGBoost(一個優(yōu)化的分布式梯度增強庫)作為梯度提升決策樹的實現(xiàn)。我們以5次飛行器總檢查試驗中的配電器數(shù)據(jù)作為數(shù)據(jù)源，共計117987幀數(shù)據(jù)，分別被標注為正常數(shù)據(jù)和異常數(shù)據(jù)，每幀數(shù)據(jù)包括當前指令I(lǐng)D以及30個配電器參數(shù)值。隨機將數(shù)據(jù)集拆分為訓(xùn)練集(64%)、驗證集(16%)和測試集(20%)。在特征工程階段，我們將當前指令I(lǐng)D做了one-hot編碼(單熱編碼)，生成了22個特征，加上原來的30個連續(xù)值特征，共52個特征。

在這里，我們對比了邏輯回歸和樹模型兩種算法。我們借助XGBoost(一個優(yōu)化的分布式梯度增強庫)作為梯度提升決策樹的實現(xiàn)。在樹模型中，我們設(shè)置XGBoost中樹的最大深度為6，“objective”參數(shù)設(shè)置為“binary:logistic”，即作為二分類問題，訓(xùn)練輪數(shù)為50(即生成50棵決策樹)。以AUC(area under ROC curve)作為評估指標，得到結(jié)果如表1所示。

表1 算法指標評估結(jié)果

在測試集上，我們選用不同的閾值進行故障判別，不同算法在不同閾值情況下的精確率、召回率和F1值如表2所示。

表2 不同閾值下兩種算法對比結(jié)果

可以看到，樹模型的AUC指標表現(xiàn)更優(yōu)，召回率更高，對故障更敏感，模型的整體表現(xiàn)更好。

4 基于數(shù)據(jù)挖掘的飛行器故障診斷系統(tǒng)探究

4.1 飛行器故障診斷系統(tǒng)框架設(shè)計

飛行器故障診斷系統(tǒng)分為數(shù)據(jù)存儲層、計算層、服務(wù)層和應(yīng)用層，如圖4所示。

圖4 基于大數(shù)據(jù)的多源異構(gòu)海量試驗數(shù)據(jù)融合、存儲與管理圖

數(shù)據(jù)存儲層：負責存儲系統(tǒng)需要的各類數(shù)據(jù)，涵蓋結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)。本系統(tǒng)中，采用關(guān)系型數(shù)據(jù)庫存儲結(jié)構(gòu)化數(shù)據(jù)，采用文件的形式存放半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

計算層：通過大數(shù)據(jù)存儲與處理框架滿足大數(shù)據(jù)的處理能力，并實現(xiàn)與現(xiàn)有數(shù)據(jù)庫的集成，實現(xiàn)數(shù)據(jù)抽取再存儲，實現(xiàn)多源異構(gòu)數(shù)據(jù)集成?；诖髷?shù)據(jù)技術(shù)的數(shù)據(jù)管理，主要有大數(shù)據(jù)采集、大數(shù)據(jù)存儲、大數(shù)據(jù)處理三大部分內(nèi)容。所有這些功能都圍繞大數(shù)據(jù)存儲的分布式文件系統(tǒng)展開。本系統(tǒng)擬采用hadoop 分布式文件系統(tǒng) (HDFS：hadoop distributed file system)構(gòu)建HDFS 集群，并在hadoop接口基礎(chǔ)上構(gòu)建整個文件管理系統(tǒng)。隨著SQL-on-Hadoop數(shù)據(jù)庫的出現(xiàn)，表明hadoop與關(guān)系型數(shù)據(jù)庫的有機整合已進入技術(shù)成熟期，Hadoop+RDBMS的混合通用型數(shù)據(jù)庫是數(shù)據(jù)挖掘領(lǐng)域在數(shù)據(jù)存儲和服務(wù)方面的發(fā)展趨勢。

服務(wù)層：包括基礎(chǔ)服務(wù)和分析處理服務(wù)兩部分?；A(chǔ)服務(wù)包括數(shù)據(jù)分類標準化、數(shù)據(jù)資源交換、數(shù)據(jù)資源共享、元數(shù)據(jù)管理、數(shù)據(jù)安全等為數(shù)據(jù)的處理提供服務(wù)；分析處理服務(wù)提供數(shù)據(jù)分析服務(wù)，包括特征提取、趨勢分析、故障診斷、機理模型、狀態(tài)評估分析等，為裝備的故障診斷與評估提供必要的服務(wù)算法。每個核心模塊需提供相應(yīng)的API接口，包含數(shù)據(jù)查詢接口、數(shù)據(jù)上傳、下載接口、集成第三方軟件接口，這些接口主要提供給試驗分析控件、可視化控件等外部系統(tǒng)調(diào)用。

應(yīng)用層：應(yīng)用層為系統(tǒng)提供與用戶交互的功能，以及基于安全機制的上線運行。應(yīng)用層主要實現(xiàn)產(chǎn)品數(shù)據(jù)管理、數(shù)據(jù)處理、數(shù)據(jù)挖掘算法配置、離線訓(xùn)練、在線診斷、結(jié)果可視化等功能。

4.2 基于數(shù)據(jù)挖掘的故障診斷服務(wù)流程

基于數(shù)據(jù)挖掘的故障診斷主要是調(diào)用離線訓(xùn)練形成的飛行器參數(shù)知識模型庫，對實時存入的新試驗數(shù)據(jù)進行故障診斷與趨勢分析，分析故障原因，記錄故障處理過程。

1)數(shù)據(jù)加載:將挖掘所要使用到的數(shù)據(jù)從HDFS文件系統(tǒng)和Hbase中加載至實時緩存區(qū)，供上層數(shù)據(jù)快速調(diào)用。

2)數(shù)據(jù)處理:從HDFS文件中，獲取輸入的數(shù)據(jù)。并將處理結(jié)果也保存在HDFS文件系統(tǒng)中，為數(shù)據(jù)挖掘發(fā)展所經(jīng)過的程序進行數(shù)據(jù)加載、提取、清理、轉(zhuǎn)換，對數(shù)據(jù)進行融合處理，形成規(guī)范化數(shù)據(jù)格式。

3)數(shù)據(jù)挖掘算法配置：在線完成對各類常用數(shù)據(jù)挖掘算法參數(shù)配置修改，與數(shù)據(jù)庫中數(shù)據(jù)接口關(guān)聯(lián)匹配，支持算法包括PLS、PCA等多元統(tǒng)計學習方法、KMean、Clusteam、決策樹等聚類算法，樸素貝葉斯、支持向量機、Apriori等關(guān)聯(lián)規(guī)則算法，最大特征相似集和粒計算的診斷決策技術(shù)和廣義高斯核函數(shù)決策類算法，退化速率的通用預(yù)測模、相關(guān)向量回歸預(yù)測類算法等。

4)離線訓(xùn)練：根據(jù)選擇的數(shù)據(jù)算法、參數(shù)配置值以及關(guān)聯(lián)的實驗數(shù)據(jù)集，在線運行算法模型進行學習訓(xùn)練，利用MapReduce并行計算框架，可以大大縮短訓(xùn)練時間，在獲得參數(shù)故障診斷的知識后，存入數(shù)據(jù)庫中。

5)基于數(shù)據(jù)挖掘的在線診斷：在飛行器測試之前，根據(jù)訓(xùn)練結(jié)果，選用表現(xiàn)較好的模型知識庫，與訓(xùn)練所得的知識進行比對決策，對實時存入的實驗數(shù)據(jù)進行在線故障診斷。

5 結(jié)束語

本文提出了利用數(shù)據(jù)挖掘技術(shù)、機器學習算法開展飛行器故障診斷的方法，采用對歷史試驗數(shù)據(jù)進行機器學習，獲取形成飛行器參數(shù)知識模型庫，分析當前試驗數(shù)據(jù)的異常和趨勢，可以實現(xiàn)對飛行器開展快速、有效的故障診斷，對飛行器健康狀態(tài)進行評估具有重大意義。通過探討基于數(shù)據(jù)挖掘的飛行器故障診斷系統(tǒng)框架構(gòu)成，可以實現(xiàn)數(shù)據(jù)驅(qū)動的飛行器智能故障診斷技術(shù)的系統(tǒng)化、自動化、成熟化，為下一步的工作提供指導(dǎo)。