蘇爾慈,劉 敏,李 平,馬小寧,李 鑫
(中國鐵道科學(xué)研究院集團有限公司 鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心,北京 100081)
大數(shù)據(jù)技術(shù)普及的時代已經(jīng)到來,人們對數(shù)據(jù)價值挖掘的重視程度與日俱增。大數(shù)據(jù)技術(shù)在金融、電信、醫(yī)療、影視、電商、政務(wù)等行業(yè)發(fā)揮著越來越重要的作用[1-2]。大數(shù)據(jù)時代的海量數(shù)據(jù)為數(shù)據(jù)的綜合處理帶來了新的挑戰(zhàn)[3],同時也為大規(guī)模、多維度的鐵路工務(wù)設(shè)備安全數(shù)據(jù)分析創(chuàng)造了新的契機。
既有的鐵路工務(wù)專業(yè)主要采用動態(tài)檢測與靜態(tài)檢測2 種方式對工務(wù)設(shè)備進行安全狀態(tài)排查[4-5]。動態(tài)檢測采用巡檢作業(yè)車,在行進過程中對工務(wù)設(shè)備運轉(zhuǎn)狀態(tài)進行檢測并收集探測數(shù)據(jù);靜態(tài)檢測以軌檢小車或者巡檢儀等方式進行檢測。目前鐵路工務(wù)設(shè)備安全狀態(tài)的數(shù)據(jù)分析主要根據(jù)以往的人工檢修經(jīng)驗,對數(shù)據(jù)進行簡單的分析排查,從而判斷工務(wù)設(shè)備的安全狀態(tài)。這種方式存在3 點不足:(1)工務(wù)專業(yè)設(shè)備安全數(shù)據(jù)經(jīng)過多年沉淀,數(shù)據(jù)量龐大,既有方法無法對海量數(shù)據(jù)進行有效的分析并深度挖掘數(shù)據(jù)價值;(2)工務(wù)設(shè)備狀態(tài)數(shù)據(jù)分析只針對單個系統(tǒng)內(nèi)個別種類的設(shè)備,難以探知不同設(shè)備檢測數(shù)據(jù)之間隱含的相關(guān)性;(3)由于不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)標準存在不統(tǒng)一的現(xiàn)象,對同一類數(shù)據(jù)的定義在不同系統(tǒng)中可能不一致,面對海量數(shù)據(jù)時,快速高效的數(shù)據(jù)治理往往難以實現(xiàn)。
本文基于鐵路數(shù)據(jù)服務(wù)平臺,匯集鐵路工務(wù)專業(yè)各業(yè)務(wù)系統(tǒng)數(shù)據(jù),對大量的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進行高效的集成,利用大數(shù)據(jù)治理手段對采集的數(shù)據(jù)進行有效的整合優(yōu)化,運用平臺當(dāng)中融合的機器學(xué)習(xí)框架對鐵路工務(wù)設(shè)備監(jiān)測檢測、養(yǎng)護維修等數(shù)據(jù)進行挖掘分析,以多維度的方式展示分析結(jié)果[6-7]。以客觀的大數(shù)據(jù)分析結(jié)果輔助工務(wù)專業(yè)現(xiàn)場作業(yè)人員快速定位設(shè)備缺陷,消除設(shè)備安全隱患,防范設(shè)備安全風(fēng)險,提升鐵路工務(wù)設(shè)備安全管理的效率和質(zhì)量[8-9]。
鐵路數(shù)據(jù)服務(wù)平臺是基于Hadoop 架構(gòu)的分布式大數(shù)據(jù)平臺,主要為鐵路數(shù)據(jù)治理相關(guān)工作提供平臺能力支撐。鐵路數(shù)據(jù)服務(wù)平臺在數(shù)據(jù)集成端提供結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的接入能力,同時支持PB級離線數(shù)據(jù)的分析;在實時數(shù)據(jù)分析端,支持TB 級數(shù)據(jù)的實時分析。同時,平臺引入了鐵路專業(yè)相關(guān)的自助分析算法模型,以及數(shù)據(jù)可視化功能[10],并根據(jù)鐵路行業(yè)數(shù)據(jù)特征,建立了單獨的數(shù)據(jù)分類體系,可滿足鐵路各專業(yè)大數(shù)據(jù)應(yīng)用分析的建設(shè)需求。該平臺業(yè)務(wù)數(shù)據(jù)流向如圖1 所示。
圖1 鐵路數(shù)據(jù)服務(wù)平臺業(yè)務(wù)數(shù)據(jù)流向
鐵路數(shù)據(jù)服務(wù)平臺主要由數(shù)據(jù)集成、數(shù)據(jù)共享、大數(shù)據(jù)存儲與分析等功能模塊組成,支撐市場營銷、運輸生產(chǎn)、智能決策、運輸安全、外部服務(wù)等業(yè)務(wù)應(yīng)用,如圖2 所示。
圖2 鐵路數(shù)據(jù)服務(wù)平臺功能架構(gòu)
(1)數(shù)據(jù)集成:該功能提供輕量化和可擴展的數(shù)據(jù)接入方式,將結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)接入到數(shù)據(jù)服務(wù)平臺。
(2)數(shù)據(jù)存儲與分析:該功能將接入的數(shù)據(jù)存儲于企業(yè)數(shù)據(jù)倉庫當(dāng)中,平臺提供了統(tǒng)計分析、數(shù)據(jù)挖掘服務(wù)、可視化服務(wù)等功能,利用數(shù)據(jù)倉庫和數(shù)據(jù)集市等構(gòu)建面向業(yè)務(wù)人員的統(tǒng)計分析功能組件。增加對大數(shù)據(jù)分析的支持,提供“拖、拉、拽”形式的分析和可視化環(huán)境,用戶根據(jù)業(yè)務(wù)需求選擇封裝后的算法組件和可視化組件,即可得出分析結(jié)果。
(3)數(shù)據(jù)共享:平臺面向全類型數(shù)據(jù)(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化)進行海量規(guī)模存儲和快速查詢讀取。融合關(guān)系型數(shù)據(jù)庫存儲技術(shù)和大數(shù)據(jù)存儲計算技術(shù),完成結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的存儲計算,并實現(xiàn)對數(shù)據(jù)表的申請、授權(quán)等管理。可以針對不同用戶生成不同的數(shù)據(jù)共享策略,粒度控制到字段級。
鐵路數(shù)據(jù)服務(wù)平臺可針對工務(wù)專業(yè)各類設(shè)備檢測數(shù)據(jù)進行實時采集,按照大數(shù)據(jù)治理需求,對設(shè)備安全狀態(tài)數(shù)據(jù)進行同步數(shù)據(jù)質(zhì)量監(jiān)控,在數(shù)據(jù)集成的源頭就開始進行數(shù)據(jù)篩選和清洗的工作,提升有價值數(shù)據(jù)的比重。利用平臺的存儲組件,對海量工務(wù)設(shè)備歷史檢修、檢測數(shù)據(jù)進行同步抽取,沉淀進入鐵路數(shù)據(jù)服務(wù)平臺的文件系統(tǒng)當(dāng)中,采用大數(shù)據(jù)分析挖掘算法對工務(wù)設(shè)備安全狀態(tài)開展動態(tài)分析研判。
本文設(shè)計開發(fā)的鐵路工務(wù)設(shè)備安全畫像是基于鐵路數(shù)據(jù)服務(wù)平臺的數(shù)據(jù)集成、數(shù)據(jù)存儲與分析、數(shù)據(jù)共享3 大功能建設(shè)開發(fā)的,在既有的人工經(jīng)驗基礎(chǔ)上,綜合各系統(tǒng)數(shù)據(jù),建立關(guān)聯(lián)關(guān)系,從整體上把控鐵路工務(wù)專業(yè)各設(shè)備的安全態(tài)勢,通過大數(shù)據(jù)分析對潛在的安全隱患提前預(yù)判并給出警示。
本文以工務(wù)設(shè)備安全態(tài)勢評價的需求作為出發(fā)點,梳理了工務(wù)專業(yè)涉及設(shè)備安全評價的主要數(shù)據(jù)項點和數(shù)據(jù)源,包含工務(wù)安全生產(chǎn)管理系統(tǒng)、工務(wù)管理信息系統(tǒng)(PWMIS)、探傷與鋼軌損傷管理系統(tǒng)等7 個系統(tǒng)。經(jīng)初步測算,總共需接入數(shù)據(jù)條目約為943 萬條,既有的關(guān)系型數(shù)據(jù)庫在數(shù)據(jù)匯集運算環(huán)節(jié)無法提供高效穩(wěn)定的支撐,需引入大數(shù)據(jù)平臺與技術(shù),對數(shù)據(jù)進行抽取、清洗和轉(zhuǎn)換。
本文借助鐵路數(shù)據(jù)服務(wù)平臺,對工務(wù)數(shù)據(jù)進行集成與分析,可有效發(fā)揮大數(shù)據(jù)技術(shù)對海量數(shù)據(jù)抽取和運算的優(yōu)勢。
鐵路工務(wù)專業(yè)各系統(tǒng)數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)交換環(huán)節(jié),以JDBC 或Web Service 等數(shù)據(jù)接口的方式實時匯聚到數(shù)據(jù)邊緣節(jié)點服務(wù)器,由鐵路數(shù)據(jù)服務(wù)平臺封裝的Kafka、Flume 等組件設(shè)定數(shù)據(jù)采集任務(wù),以并行的方式對各系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)進行抽取轉(zhuǎn)換,并以文件形式存儲于大數(shù)據(jù)集群的HDFS 和HBase 當(dāng)中,如圖3 所示。
圖3 數(shù)據(jù)集成示意
工務(wù)數(shù)據(jù)在集成過程中進行了基本的清洗和標注,對數(shù)據(jù)結(jié)構(gòu)進行了二次梳理和簡化,清除了許多不必要的“臟數(shù)據(jù)”,保留下來的數(shù)據(jù)比各子系統(tǒng)的源數(shù)據(jù)更加貼近核心業(yè)務(wù),同時數(shù)據(jù)結(jié)構(gòu)更加清晰,便于后續(xù)的數(shù)據(jù)分析。
工務(wù)數(shù)據(jù)在經(jīng)過集成轉(zhuǎn)換之后,利用數(shù)據(jù)平臺當(dāng)中融合的機器學(xué)習(xí)框架,對工務(wù)數(shù)據(jù)開展深度挖掘和算法分析,發(fā)揮大數(shù)據(jù)平臺的獨特性能,即可完成既有關(guān)系型數(shù)據(jù)庫不具備的高效數(shù)據(jù)分析工作,如圖4 所示。
圖4 數(shù)據(jù)分析示意
整合工務(wù)各類固定設(shè)備的基礎(chǔ)數(shù)據(jù)、檢測監(jiān)測數(shù)據(jù)、運營維護數(shù)據(jù)等,建立科學(xué)的多維度安全評價體系,構(gòu)建影響安全因素的關(guān)鍵特征標簽體系。應(yīng)用人工智能算法,實現(xiàn)設(shè)備安全狀態(tài)時空預(yù)測,開展面向事故故障防范的故障自動檢測與識別研究,形成工務(wù)專業(yè)設(shè)備設(shè)施全生命周期管理機制,使得設(shè)備設(shè)施修護具有針對性,故障防控具有超前性,安全預(yù)警具有時效性。
工務(wù)設(shè)備安全畫像體系主要以1 km 線路為刻畫對象,制定工務(wù)線路設(shè)備安全狀態(tài)評價體系,對每公里單元線路設(shè)備狀態(tài)進行及時客觀地綜合評價;展示每公里單元線路設(shè)備狀態(tài)不同等級占比,對高危設(shè)備進行預(yù)警;預(yù)測下一周期線路設(shè)備安全態(tài)勢,給出預(yù)警提示及閉環(huán)管理;統(tǒng)計分析單元區(qū)間內(nèi)的重要動、靜態(tài)檢測指標,并以可視化方式展示;以每公里單元線路設(shè)備的安全狀態(tài)為標準對安全能力進行排名,便于重點盯控。
應(yīng)用功能包含設(shè)備狀態(tài)指標統(tǒng)計分析、單元設(shè)備狀態(tài)安全評價、關(guān)鍵指標及安全態(tài)勢趨勢預(yù)測、高危設(shè)備及不良態(tài)勢安全預(yù)警等4 個方面,以多維度的安全綜合分析及預(yù)警助力業(yè)務(wù)部門和站段深入了解工務(wù)設(shè)備的性能,提前排除設(shè)備安全隱患,便于系統(tǒng)內(nèi)部重點監(jiān)督管控,提升安全綜合管理效率,達到工務(wù)設(shè)備狀態(tài)的整體監(jiān)控及超前預(yù)警的目的。
3.2.1 單元線路設(shè)備評價
該功能以1 km 線路為刻畫對象,制定基于鋼軌、橋梁、隧道、涵洞、路基等維度的工務(wù)線路設(shè)備安全狀態(tài)評價體系,對每公里單元線路設(shè)備及各維度設(shè)備安全狀態(tài)進行評價,以不同等級進行劃分,對于高危的線路設(shè)備進行預(yù)警。并整合所有單元的評價結(jié)果,形成每公里區(qū)間內(nèi)的工務(wù)設(shè)備綜合評價等級占比。
3.2.2 線路設(shè)備安全狀態(tài)展示
該功能將每公里區(qū)間內(nèi)的工務(wù)設(shè)備綜合評價等級占比以餅狀圖的形式進行可視化展示,并基于歷史等級占比情況,從時間、空間上預(yù)測未來安全走勢,以柱狀圖、餅狀圖、折線圖、儀表盤、散點圖等可視化形式展示工務(wù)安全態(tài)勢。在此基礎(chǔ)上,基于歷史信息預(yù)測相應(yīng)病害發(fā)生的時空規(guī)律和發(fā)展趨勢。
3.2.3 動靜態(tài)檢測指標統(tǒng)計
展示各類檢測方式的最新檢測時間,以及動、靜態(tài)病害的重要提醒,例如軌道質(zhì)量指標(TQI,Track Quality Index)報警、偏差等級報警等。
將重要動、靜態(tài)檢測指標按類別進行統(tǒng)計分析,并以可視化形式展示。
智能統(tǒng)計的檢測指標包括:
(1)最新一次TQI 趨勢;
(2)任意時間范圍的TQI 趨勢分析;
(3)最新一次動檢等級分布;
(4)任意時間、任意等級和超限類型的動檢等級統(tǒng)計;
(5)最新一次車載等級分布;
(6)任意等級和超限類型的車載等級統(tǒng)計。
3.2.4 線路設(shè)備安全能力排名
該功能將每公里單元線路設(shè)備安全狀態(tài)由低到高排名,便于重點預(yù)警及盯控。列表字段包括序號、線名、行別、公里、安全狀態(tài)(等級)、分值。工務(wù)安全態(tài)勢包含設(shè)備狀態(tài)指標統(tǒng)計分析、關(guān)鍵指標及安全態(tài)勢趨勢預(yù)測2 個方面。
3.2.5 工務(wù)電子地圖
該功能將工務(wù)設(shè)備基本臺賬、動態(tài)檢測、靜態(tài)病害、周邊環(huán)境等信息通過地理信息系統(tǒng)(GIS,Ge o g r a phic Information System)電子地圖進行實時動態(tài)展示,實現(xiàn)時間、空間維度的信息搜索及目標定位,便于鐵路局集團有限公司決策層、業(yè)務(wù)處室、站段直觀地掌握全局工務(wù)設(shè)備安全態(tài)勢,及時發(fā)現(xiàn)安全狀態(tài)不良的設(shè)備并掌握其問題詳情。
(1)突出重點,實現(xiàn)高鐵線路安全多維管理。通過將高鐵線路各類靜態(tài)數(shù)據(jù)、檢查信息、維修信息與電子地圖有機結(jié)合,實現(xiàn)鋼軌、道岔、路基、橋梁、隧道、通道門、防護柵欄、攝像頭、聲屏障等高鐵設(shè)備在電子地圖上的精準展示,從而以友好的可視化交互方式查看不同設(shè)備的位置、基本信息、安全狀態(tài)。將軌檢小車、人工檢查所獲取的各級靜態(tài)偏差數(shù)據(jù)及故障點的修理信息在電子地圖實時展示,便于安全管理人員全方位的把握高鐵設(shè)備安全狀態(tài)。
(2)全面防護,確保普速線路安全保障全覆蓋。普速鐵路的GIS 電子地圖綜合展示功能將鋼軌、道岔、路基、橋梁、隧道、涵渠、護網(wǎng)等多種工務(wù)設(shè)備納入統(tǒng)一管理,并進行個性化展示。與高速線路管理相似,將動檢、靜檢、修理信息所涉及的各類故障數(shù)據(jù)通過電子地圖及時展示出來,為線路故障的及時掌握提供支持。此外,相較于高鐵GIS 展示,根據(jù)普速線路承載通過總重偏大的特點,增加大修信息的歷史查詢和預(yù)警功能,做到普速安全管控全覆蓋。
(3)實時預(yù)警,及時把控設(shè)備安全狀態(tài)。電子地圖中的動態(tài)預(yù)警模塊針對工務(wù)外出作業(yè)頻繁、設(shè)備經(jīng)常性維修等特點,實現(xiàn)了防洪信息、天氣信息、大修預(yù)警等預(yù)警信息的GIS 展示,便于各級業(yè)務(wù)管理部門直觀地掌握工務(wù)系統(tǒng)安全狀態(tài),實現(xiàn)預(yù)警即響應(yīng)。
本文闡述了利用大數(shù)據(jù)平臺對工務(wù)系統(tǒng)數(shù)據(jù)進行數(shù)據(jù)集成、存儲、分析、共享的全流程,設(shè)計了鐵路工務(wù)設(shè)備安全畫像應(yīng)用,并給出了整體設(shè)計思路和詳細功能設(shè)計。給予作業(yè)人員及安全管理人員更客觀的數(shù)據(jù)分析視圖,幫助安全管理人員更好地預(yù)防事故故障的發(fā)生,提早消除重點安全隱患。結(jié)合大數(shù)據(jù)技術(shù),對工務(wù)設(shè)備狀態(tài)數(shù)據(jù)開展多維度綜合分析及展示,可拓展工務(wù)設(shè)備安全狀態(tài)評價的方式。