羅 強

（河南大有能源股份有限公司新安煤礦，河南 洛陽 471800）

煤礦機電系統(tǒng)由多種機械設(shè)備構(gòu)成，其系統(tǒng)運行管理是一項復(fù)雜的工程。煤礦機電設(shè)備運行狀態(tài)直接關(guān)系到煤礦企業(yè)的生產(chǎn)效率及生產(chǎn)安全性、穩(wěn)定性，因此管理和控制煤礦機電設(shè)備的運行工作至關(guān)重要。隨著科學(xué)技術(shù)及現(xiàn)代工業(yè)的發(fā)展，煤礦機電設(shè)備的性能得到顯著提升，其自動化程度也不斷提高，推動著生存量的增加，從而提高了企業(yè)經(jīng)濟效益。然而，制造技術(shù)及先進機電裝備的應(yīng)用、電子商務(wù)的發(fā)展等，使增加效益和節(jié)能減耗成為煤礦企業(yè)面臨的重要任務(wù)。煤礦機電設(shè)備運行過程中會產(chǎn)生多種數(shù)據(jù)，數(shù)據(jù)管理的標準及格式存在一定差異，加之機電設(shè)備管理系統(tǒng)的獨立性，在數(shù)據(jù)管理中極易存在信息孤島問題，導(dǎo)致數(shù)據(jù)難以高效合理地利用[1]。但是智能技術(shù)、大數(shù)據(jù)技術(shù)的發(fā)展，為機電設(shè)備數(shù)據(jù)管理的自動化和智能化提供了重要的技術(shù)支撐，此技術(shù)通過對巨量的煤礦機電設(shè)備運行數(shù)據(jù)的處理分析，對煤礦機電設(shè)備運行進行了有效管理。鑒于此，文章依據(jù)煤礦檢點設(shè)備數(shù)據(jù)管理狀況，設(shè)計了煤礦機電設(shè)備管理系統(tǒng)平臺，此平臺實現(xiàn)了數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)采集、存儲、數(shù)據(jù)處理分析及挖掘等的一體化，能夠及時存儲、挖掘和分析數(shù)據(jù)規(guī)律，并對數(shù)據(jù)進行有效利用，以確保煤礦機電運行的穩(wěn)定性和安全性。

1 煤礦機電管理系統(tǒng)平臺框架設(shè)計

（1）總體框架。煤礦機電設(shè)備運行中產(chǎn)生的數(shù)據(jù)量較多，數(shù)據(jù)復(fù)雜且具有異構(gòu)性，文章結(jié)合用戶需求將煤礦機電設(shè)備管理體系設(shè)計為資源層、數(shù)據(jù)層、應(yīng)用層和服務(wù)層等架構(gòu)。①資源層主要包括物資管理、資源計劃、設(shè)備生命周期管理等子系統(tǒng)，以及相應(yīng)的硬件設(shè)備。②數(shù)據(jù)層包括數(shù)據(jù)存儲和數(shù)據(jù)處理兩個子系統(tǒng)，其中數(shù)據(jù)存儲系統(tǒng)主要由PLM和MMS數(shù)據(jù)庫、中間數(shù)據(jù)集庫和ERP數(shù)據(jù)庫、分布式數(shù)據(jù)庫、歷史數(shù)據(jù)庫和云數(shù)據(jù)庫構(gòu)成，而數(shù)據(jù)處理系統(tǒng)主要由數(shù)據(jù)采集、預(yù)處理、分布式存儲及數(shù)據(jù)挖掘和數(shù)據(jù)可視化等構(gòu)成[2]。數(shù)據(jù)層主要是采集和處理、分析數(shù)據(jù)信息，并對其進行一體化顯示，能夠更好地依據(jù)煤礦機電設(shè)備大型部件的復(fù)雜性及設(shè)備多樣性的特征構(gòu)建完善的數(shù)據(jù)采集和分類體系，使其采集及信息分類更加規(guī)范。預(yù)處理系統(tǒng)主要是對物聯(lián)網(wǎng)智慧終端所采集的數(shù)據(jù)進行清洗降噪，數(shù)據(jù)分析主要是對設(shè)備運行狀態(tài)及歷史數(shù)據(jù)等進行深度分析，挖掘出其運行規(guī)律及其高價值內(nèi)容。實際顯示主要是將機電設(shè)備運行狀態(tài)以動態(tài)化的方式進行呈現(xiàn)，實現(xiàn)對運行狀態(tài)的動態(tài)監(jiān)測。③應(yīng)用層主要由運行狀態(tài)監(jiān)控系統(tǒng)、井下設(shè)備動態(tài)監(jiān)控系統(tǒng)、設(shè)備數(shù)量在線監(jiān)測系統(tǒng)、設(shè)備地理位置的監(jiān)控、維修記錄系統(tǒng)、故障模式識別系統(tǒng)、故障自動診斷及設(shè)備健康預(yù)測系統(tǒng)、運行環(huán)境可視化、運行狀態(tài)評估體系、設(shè)備生產(chǎn)周期管理系統(tǒng)及設(shè)備維護決策優(yōu)化等子系統(tǒng)構(gòu)成[3]。該層主要是依據(jù)用戶需求確保機電設(shè)備運行的優(yōu)化、互聯(lián)和高效運維，利用設(shè)備實時監(jiān)控、在線數(shù)量監(jiān)測等將各機電設(shè)備統(tǒng)一構(gòu)成設(shè)備群，實現(xiàn)其運行管理的整體性和系統(tǒng)化。④服務(wù)層主要由設(shè)備監(jiān)測、大數(shù)據(jù)分析及運維優(yōu)化等子系統(tǒng)構(gòu)成。主要是按照用戶的實際需求定制應(yīng)用模塊，減少不必要應(yīng)用的資源占用，實現(xiàn)系統(tǒng)運行服務(wù)的透明化、模塊化和標準化。同時，在服務(wù)層服務(wù)器中接入移動裝置，實現(xiàn)PC端與移動端數(shù)據(jù)交互，不但能提高機電設(shè)備的管理效率，也使管理更加便捷有效。

（2）系統(tǒng)功能設(shè)計。此煤礦機電設(shè)備管理體系選用結(jié)構(gòu)化手段設(shè)計系統(tǒng)功能，系統(tǒng)功能主要為預(yù)處理、采集、分布式存儲、數(shù)據(jù)可視化及數(shù)據(jù)挖掘等模塊，各模塊又包括相應(yīng)的子模塊。數(shù)據(jù)采集模塊包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)、職工信息數(shù)據(jù)、設(shè)備實時監(jiān)控數(shù)據(jù)、歷史監(jiān)控數(shù)據(jù)等數(shù)據(jù)的采集模塊，預(yù)處理模塊主要包括多元技術(shù)融合、數(shù)據(jù)轉(zhuǎn)換、提取元數(shù)據(jù)、監(jiān)控數(shù)據(jù)的降噪處理等模塊，數(shù)據(jù)挖掘模塊主要包括設(shè)備健康監(jiān)測、學(xué)習(xí)算法庫、傳感器建模、大數(shù)據(jù)專用模型，可視化模塊主要為運營狀態(tài)的可視化、企業(yè)運營狀況的可視化、設(shè)備健康狀況的展示等功能模塊。

2 關(guān)鍵技術(shù)構(gòu)成

該系統(tǒng)中主要應(yīng)用了數(shù)據(jù)管理技術(shù)、多元數(shù)據(jù)融合及數(shù)據(jù)并行處理等大數(shù)據(jù)技術(shù)。

（1）數(shù)據(jù)管理技術(shù)。該系統(tǒng)中數(shù)據(jù)管理技術(shù)采用的是高通量技術(shù)。按照煤礦機電設(shè)備種類多、數(shù)量量大且復(fù)雜的特征，文章所用文件系統(tǒng)為分布式存儲系統(tǒng)，應(yīng)用了LZW及霍夫曼算法的高效編碼壓縮法，對海量數(shù)據(jù)進行非結(jié)構(gòu)化和結(jié)構(gòu)化的寫入。在資源分析及描述基礎(chǔ)上，采用了分布式資源描述框架（RDF）的存儲模式，以確保設(shè)備運行數(shù)據(jù)的共享及利用，同時按照此數(shù)據(jù)描述方法構(gòu)建了機電設(shè)備運行數(shù)據(jù)的元數(shù)據(jù)模型。選用分布式存儲方式進行存儲，不但能夠減少存儲開銷，還能提高查詢效率，應(yīng)用可擴展性及列存儲的特征滿足巨量RDF數(shù)據(jù)存儲的需求，以向用戶提供索引及查詢服務(wù)，確保查詢服務(wù)的高效。

（2）多元數(shù)據(jù)融合技術(shù)。煤礦機電設(shè)備多種多樣，其產(chǎn)生的數(shù)據(jù)也較為復(fù)雜多樣，數(shù)據(jù)源形式復(fù)雜。為便于分析和處理機電設(shè)備的相關(guān)數(shù)據(jù)，文章采用了多元數(shù)據(jù)融合技術(shù)，將企業(yè)資源計劃作為信息融合的關(guān)系型數(shù)據(jù)，融合過程中需要利用數(shù)據(jù)庫所對應(yīng)的接口表，數(shù)據(jù)并不會直接導(dǎo)入資源計劃系統(tǒng)，而是從運行環(huán)境、層次化物料表等對此大數(shù)據(jù)語義實行一體化的融合，實現(xiàn)了半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)同BOM所定義的語義結(jié)構(gòu)的節(jié)點融合，繼而實現(xiàn)了煤礦企業(yè)數(shù)據(jù)信息的融合統(tǒng)一。為詳細描述煤礦企業(yè)數(shù)據(jù)資源，按照煤礦機電設(shè)備運行大數(shù)據(jù)的功能、類別及特性等進行詳細分析，在此基礎(chǔ)上定義了煤礦機電設(shè)備大數(shù)據(jù)詞集。該詞集具有較強的通用性，其內(nèi)容主要為數(shù)據(jù)所屬設(shè)備、數(shù)據(jù)資源名稱、數(shù)據(jù)資源標識、數(shù)據(jù)位置、數(shù)據(jù)所屬企業(yè)及數(shù)據(jù)形成時間、數(shù)據(jù)狀態(tài)、數(shù)據(jù)約束及數(shù)據(jù)的基本描述。以定義元數(shù)據(jù)的方式對實體數(shù)據(jù)內(nèi)容進行統(tǒng)一，利用接口標準實現(xiàn)數(shù)據(jù)交換并確保其規(guī)范性，進而形成數(shù)據(jù)池，實現(xiàn)數(shù)據(jù)專業(yè)性及標準化模型的構(gòu)建。

（3）數(shù)據(jù)并行處理技術(shù)。煤礦企業(yè)機電設(shè)備的數(shù)據(jù)量較大，可用性不高，質(zhì)量不高。鑒于此，文章選用機器學(xué)習(xí)算法來構(gòu)建數(shù)據(jù)預(yù)警分析及清洗模型，機電設(shè)備運行大數(shù)據(jù)的清洗模型依靠時間序列來分析，對機電設(shè)備運行大數(shù)據(jù)的異常值分類，根據(jù)所分類型對建模的不同影響，選用迭代檢驗法檢測且修復(fù)此異常值。數(shù)據(jù)清洗效率的提高需要利用時間序列環(huán)境下的數(shù)據(jù)清洗同Mapreduce技術(shù)的集合，共同構(gòu)建設(shè)備運行大數(shù)據(jù)的清洗模型。按照處理算法與非線性的時間序列特征提取、BOM復(fù)雜結(jié)構(gòu)的離散裝備分析建模，對設(shè)備故障及其同認知見的關(guān)系進行解析，以實時監(jiān)測煤礦機電設(shè)備運行的健康程度，并實現(xiàn)故障預(yù)警和跟蹤劣化趨勢。同時，還應(yīng)用了時空數(shù)據(jù)、時間序列和深度學(xué)習(xí)算法等技術(shù)，以完善數(shù)據(jù)分析處理系統(tǒng)。

（4）可視化技術(shù)。對職工信息及設(shè)備信息進行解析和表達離不開大數(shù)據(jù)技術(shù)中的可視化技術(shù)，對機電設(shè)備故障和特征的關(guān)系進行研究，能夠向用戶多角度多層次地展示機電設(shè)備的運行狀況，以更加突出數(shù)據(jù)的說服力及客觀性。所用的可視化技術(shù)主要為ECharts工具、前端技術(shù)Ajax技術(shù)和多維數(shù)據(jù)的可視化技術(shù)等。

文章綜合應(yīng)用了上述大數(shù)據(jù)技術(shù)，以確保能夠?qū)崿F(xiàn)數(shù)據(jù)加載的動態(tài)化。

3 煤礦機電設(shè)備管理系統(tǒng)平臺的軟硬件建設(shè)

（1）硬件設(shè)施建設(shè)。該服務(wù)器內(nèi)存為512G，CPU為NVIDIAK80，固態(tài)硬盤為960G，磁盤存儲空間為10T，能夠高效存儲和處理巨量數(shù)據(jù)。主節(jié)點硬盤容量達100G，從節(jié)點均為80G；主節(jié)點和從節(jié)點內(nèi)容均為8G，處理器均為4核，主頻均為3.6GHz，操作系統(tǒng)均為16.04LTS。服務(wù)器上共設(shè)虛擬機3臺，其中主節(jié)點虛擬機1臺，從節(jié)點虛擬機2臺。

（2）系統(tǒng)軟件設(shè)施建設(shè)。常見的系統(tǒng)組網(wǎng)主要有虛擬專網(wǎng)和物理專網(wǎng)的方式，其中物理專網(wǎng)中均采用裸光纖，此組網(wǎng)方式能夠為數(shù)據(jù)提供最低傳輸延時和最高傳輸?shù)陌踩?，但此組網(wǎng)成本相對較高，較適宜用于對成本不敏感、低時延和保密性要求高的應(yīng)用環(huán)境。虛擬專網(wǎng)則是通過現(xiàn)代傳輸網(wǎng)絡(luò)技術(shù)構(gòu)建獨立虛擬化網(wǎng)絡(luò)，這種組網(wǎng)能夠為數(shù)據(jù)提供最低傳輸延時和最高傳輸?shù)陌踩?，適用于時延及保密要求都較高且不關(guān)注成本的環(huán)境。同時，互聯(lián)網(wǎng)數(shù)據(jù)傳輸具有成本低的特征，但其數(shù)據(jù)傳輸?shù)目煽啃约鞍踩詿o法更好地保障，且延時較長，但能夠通過技術(shù)手段進行完善。為此，文章采用了虛擬網(wǎng)絡(luò)+互聯(lián)網(wǎng)的方式進行組網(wǎng)，在提高傳輸效率的同時，也減少了使用成本，保證了其安全性。在此運行環(huán)境中，該系統(tǒng)所用服務(wù)器的3臺虛擬機IP地址分別為192.168.88.130、192.168.88.135、192.168.88.131，均安裝有ssh和jdk系統(tǒng)，均采用Hadoop2.6版本和HBase1.2.6版本，能夠有效控制和管理相應(yīng)節(jié)點，并做好存儲及計算。

4 系統(tǒng)應(yīng)用實踐

該系統(tǒng)實施后，系統(tǒng)能夠有效清洗出系統(tǒng)平臺中機電設(shè)備運行狀態(tài)的巨量數(shù)據(jù)，修復(fù)存在的缺失值及噪聲點。當(dāng)數(shù)據(jù)量比較少時，處于初始化、生產(chǎn)中間文件和傳遞數(shù)據(jù)的狀態(tài)時需要耗費較多的時間，所以利用時間序列清洗模型能夠取得較佳的清洗處理效果。數(shù)據(jù)量的持續(xù)增多，系統(tǒng)生成中間文件及初始化、傳遞文件等所耗費的時間同數(shù)據(jù)清洗時間相比都在持續(xù)減少，可見此機電設(shè)備運行大數(shù)據(jù)清洗系統(tǒng)具有一定的優(yōu)勢。系統(tǒng)運行過程中，數(shù)據(jù)存儲的性能也非常突出，尤其是面對大數(shù)據(jù)量時，系統(tǒng)存儲、處理及管理的計算耗費及網(wǎng)絡(luò)資源都非常少，數(shù)據(jù)加載的效率得到了有效提高。在此系統(tǒng)設(shè)計中，通過利用大數(shù)據(jù)技術(shù)中的可視化技術(shù)、數(shù)據(jù)并行處理技術(shù)、多元數(shù)據(jù)融合技術(shù)及數(shù)量高通量管理技術(shù)等，能夠?qū)Υ罅繖C電設(shè)備的數(shù)據(jù)機芯融合和匯聚，且可對此數(shù)據(jù)進行深度分析及挖掘，其預(yù)測分析、可視化分析、數(shù)據(jù)處理及統(tǒng)計分析等，都能以數(shù)據(jù)的方式呈現(xiàn)機電設(shè)備運行的實時動態(tài)，強化了多種數(shù)據(jù)的增值服務(wù)，都能為機電設(shè)備的動態(tài)調(diào)撥、后期運維、質(zhì)量評估及采購指導(dǎo)等提供良好的數(shù)據(jù)支持。

5 結(jié)束語

總之，大數(shù)據(jù)技術(shù)應(yīng)用在煤礦機電設(shè)備管理中，利用其數(shù)據(jù)挖掘和深度分析、分布式存儲、多元數(shù)據(jù)融合及高通量管理技術(shù)等，構(gòu)建數(shù)據(jù)管理及分析模型，能夠有效提高對煤礦機電設(shè)備運行數(shù)據(jù)的管理能力，為機電設(shè)備的運維提供可靠的技術(shù)支撐。