王霖，方乾，張曉霞，蘇上海，施展，王雅琨

（1.煤炭科學(xué)研究總院有限公司，北京 100013；2.煤炭資源高效開(kāi)采與潔凈利用國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100013）

0 引言

隨著大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等技術(shù)的高速發(fā)展，煤礦智能化建設(shè)進(jìn)程得到極大推動(dòng)，煤礦生產(chǎn)模式發(fā)生極大轉(zhuǎn)變[1]。在該過(guò)程中，煤炭行業(yè)數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)，而傳統(tǒng)的煤礦數(shù)據(jù)處理方式中，煤礦主數(shù)據(jù)、實(shí)時(shí)監(jiān)測(cè)監(jiān)控類數(shù)據(jù)、管理業(yè)務(wù)類數(shù)據(jù)及決策分析數(shù)據(jù)各自離散存儲(chǔ)，數(shù)據(jù)集成、業(yè)務(wù)應(yīng)用及數(shù)據(jù)分析難度大，無(wú)法有效滿足煤礦企業(yè)在自動(dòng)化、信息化業(yè)務(wù)層面的應(yīng)用需求，更無(wú)法滿足智慧化決策分析需求[2]，具體體現(xiàn)在以下3 個(gè)方面。

（1）“數(shù)據(jù)孤島”現(xiàn)象。當(dāng)前數(shù)據(jù)共享和交換大多仍采用人工方式，缺乏數(shù)據(jù)處理系統(tǒng)之間的業(yè)務(wù)協(xié)同，時(shí)效性差，且數(shù)據(jù)仍以分散和弱關(guān)聯(lián)方式存在，系統(tǒng)效率低，無(wú)法滿足智慧礦山建設(shè)需求[3]。

（2）數(shù)據(jù)關(guān)聯(lián)性弱。井下局部系統(tǒng)雖然實(shí)現(xiàn)了運(yùn)行數(shù)據(jù)的采集、分析、展示功能，但沒(méi)有進(jìn)行相互關(guān)聯(lián)，難以挖掘開(kāi)采過(guò)程的動(dòng)態(tài)演進(jìn)規(guī)律，無(wú)法實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用[4]。

（3）缺乏數(shù)據(jù)管理體系，數(shù)據(jù)質(zhì)量差。煤礦內(nèi)部系統(tǒng)眾多，各類數(shù)據(jù)間沒(méi)有統(tǒng)一標(biāo)準(zhǔn)[5]，缺乏數(shù)據(jù)管控體系等，導(dǎo)致煤礦大數(shù)據(jù)質(zhì)量較差[6]。

上述問(wèn)題本質(zhì)上是由煤礦缺乏統(tǒng)一數(shù)據(jù)管理造成的。如何將煤礦大數(shù)據(jù)有效組織起來(lái)，打破底層子系統(tǒng)數(shù)據(jù)與上層智能化應(yīng)用之間的屏障，成為亟待解決的問(wèn)題[7]。對(duì)此，許多學(xué)者提出了建設(shè)智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)的思路。王國(guó)法等[4]提出智能化煤礦大數(shù)據(jù)構(gòu)建涵蓋全礦安全監(jiān)管、生產(chǎn)、運(yùn)銷、綜合服務(wù)等業(yè)務(wù)的大數(shù)據(jù)倉(cāng)庫(kù)，挖掘數(shù)據(jù)價(jià)值，使各類信息通過(guò)各種手段及時(shí)推送到礦端各級(jí)決策層中去輔助決策，以解決數(shù)據(jù)滯后、多種類型數(shù)據(jù)難以統(tǒng)一等問(wèn)題。杜毅博等[8]提出建設(shè)智能化煤礦大數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)服務(wù)化，根據(jù)業(yè)務(wù)對(duì)煤礦大數(shù)據(jù)集進(jìn)行結(jié)構(gòu)劃分，形成煤礦數(shù)據(jù)主題域。吳群英等[9]提出利用數(shù)據(jù)倉(cāng)庫(kù)可實(shí)現(xiàn)煤礦大數(shù)據(jù)的數(shù)據(jù)挖掘。

上述研究均指出了智能化煤礦建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的重要性，但沒(méi)有詳細(xì)闡述具體建設(shè)方法。鑒此，本文針對(duì)智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)建模方法展開(kāi)研究，以綜采工作面為例展示了建模過(guò)程及應(yīng)用效果。

1 數(shù)據(jù)倉(cāng)庫(kù)及其建模

1.1 數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)可定義為支持管理決策過(guò)程的、面向主題的、集成的、隨時(shí)間變化的持久的數(shù)據(jù)集合[10]，其核心是對(duì)數(shù)據(jù)進(jìn)行組織、劃分，構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境，提供統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。數(shù)據(jù)倉(cāng)庫(kù)的核心過(guò)程是將累積的大量數(shù)據(jù)資料進(jìn)行匯聚與融合，建立規(guī)范化統(tǒng)一的數(shù)據(jù)環(huán)境，支撐各種類型數(shù)據(jù)分析與展示。其運(yùn)轉(zhuǎn)流程如圖1 所示。

圖1 數(shù)據(jù)倉(cāng)庫(kù)運(yùn)轉(zhuǎn)流程Fig.1 Data warehouse operation process

業(yè)務(wù)系統(tǒng)在滿足業(yè)務(wù)功能需求的同時(shí)產(chǎn)生大量業(yè)務(wù)過(guò)程數(shù)據(jù)，將各類業(yè)務(wù)過(guò)程數(shù)據(jù)進(jìn)行統(tǒng)一匯集，形成數(shù)據(jù)倉(cāng)庫(kù)中的原始數(shù)據(jù)。多數(shù)據(jù)源的集合解決了“數(shù)據(jù)孤島”難題。

ETL（Extraction-Transformation-Load，抽取、轉(zhuǎn)換、加載）是數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加工技術(shù)。數(shù)據(jù)倉(cāng)庫(kù)的原始數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)質(zhì)量差，可通過(guò)ETL 進(jìn)行數(shù)據(jù)內(nèi)容清洗、數(shù)據(jù)結(jié)構(gòu)統(tǒng)一、數(shù)據(jù)關(guān)聯(lián)融合，形成數(shù)據(jù)倉(cāng)庫(kù)模型[11]。

1.2 數(shù)據(jù)倉(cāng)庫(kù)建模

數(shù)據(jù)倉(cāng)庫(kù)建設(shè)首先要選擇合適的分層架構(gòu)對(duì)數(shù)據(jù)進(jìn)行組織劃分。按照層級(jí)劃分?jǐn)?shù)據(jù)的方式具有以下優(yōu)點(diǎn)：①明確數(shù)據(jù)定位。每個(gè)數(shù)據(jù)分層都有明確的作用域和職責(zé)，使用模型時(shí)更容易理解數(shù)據(jù)的作用。② 避免重復(fù)建設(shè)。規(guī)范的數(shù)據(jù)分層為金字塔結(jié)構(gòu)，數(shù)據(jù)自底向上逐步匯聚，避免“煙囪式”建設(shè)方式的低效性。③統(tǒng)一數(shù)據(jù)口徑。通過(guò)分層可實(shí)現(xiàn)計(jì)算邏輯的高內(nèi)聚、低耦合，相同類型數(shù)據(jù)口徑在特定層級(jí)內(nèi)實(shí)現(xiàn)，統(tǒng)一數(shù)據(jù)出口，避免多次計(jì)算造成口徑差異。

目前常用的數(shù)據(jù)倉(cāng)庫(kù)建模方法包括范式建模、維度建模、DataVault 建模及Anchor 建模[12-13]。范式建模用實(shí)體和關(guān)系對(duì)整體業(yè)務(wù)架構(gòu)進(jìn)行抽象，適用于較成熟的業(yè)務(wù)場(chǎng)景，對(duì)建模能力要求較高。維度建模從分析主題的角度出發(fā)，通過(guò)指標(biāo)刻畫(huà)分析主題并進(jìn)行維度擴(kuò)展，對(duì)原始數(shù)據(jù)做大量預(yù)處理并轉(zhuǎn)換為星型結(jié)構(gòu)，迭代快速，適用于靈活多變的業(yè)務(wù)場(chǎng)景。DataVault 建模和Anchor 建模在范式建?；A(chǔ)上擴(kuò)展了對(duì)數(shù)據(jù)變更場(chǎng)景的支持，適用于對(duì)數(shù)據(jù)強(qiáng)約束的場(chǎng)景。

當(dāng)前煤礦智能化建設(shè)仍處于初級(jí)階段。為滿足未來(lái)高速發(fā)展、快速迭代的建設(shè)需求，本文基于維度建模思想，針對(duì)煤礦數(shù)據(jù)特點(diǎn)，研究智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)建模方法。維度建模流程主要包括主題選擇、粒度選擇、維度選擇、事實(shí)選擇、模型選擇[14]。結(jié)合對(duì)分析需求調(diào)研與數(shù)據(jù)業(yè)務(wù)過(guò)程的理解，明確模型所屬主題是維度建模的第1 步。確定主題后需要進(jìn)一步確定模型的粒度，原子粒度能夠表達(dá)最細(xì)節(jié)的業(yè)務(wù)明細(xì)，但不適合直接用于分析，需根據(jù)應(yīng)用場(chǎng)景進(jìn)行粒度選擇。維度用于分析所需的角度，模型添加更多的維度能擴(kuò)展更加豐富的分析方式。事實(shí)即統(tǒng)計(jì)指標(biāo)，事實(shí)選擇需要確定將哪些事實(shí)放到事實(shí)表中，事實(shí)必須與粒度吻合，因此在選擇事實(shí)時(shí)可能會(huì)對(duì)粒度和維度進(jìn)行調(diào)整。維度模型包括星型模型、雪花模型、星座模型。其中最常用的是星型模型，其數(shù)據(jù)結(jié)構(gòu)是1 張事實(shí)表為中心，維度表分布在事實(shí)表周圍，從不同的維度描述數(shù)據(jù)情況[15]，形成一個(gè)有別于實(shí)體關(guān)系圖的數(shù)據(jù)結(jié)構(gòu)，如圖2 所示。星型模型適用于以分析查詢?yōu)橹鞯膽?yīng)用場(chǎng)景。雪花模型、星座模型適用于維度之間關(guān)聯(lián)復(fù)雜的場(chǎng)景。

圖2 星型維度模型數(shù)據(jù)結(jié)構(gòu)Fig.2 Data structure of star dimension model

2 智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)建模

煤礦數(shù)據(jù)主要包括由綜合自動(dòng)化、井下監(jiān)測(cè)、生產(chǎn)管理、安全管理、地測(cè)、經(jīng)營(yíng)管理等業(yè)務(wù)系統(tǒng)采集及人工錄入臺(tái)賬的數(shù)據(jù)。智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)建模時(shí)需要綜合考慮煤礦數(shù)據(jù)的領(lǐng)域特點(diǎn)與煤礦智能化應(yīng)用分析需要，先設(shè)計(jì)整體架構(gòu)，再研究建模方法。

2.1 數(shù)據(jù)倉(cāng)庫(kù)整體架構(gòu)

為了保證煤礦數(shù)據(jù)的有序流轉(zhuǎn)，滿足智能化應(yīng)用對(duì)數(shù)據(jù)的需求，智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)整體采用分層架構(gòu)，如圖3 所示。

圖3 智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)分層架構(gòu)Fig.3 Layered architecture of intelligent coal mine data warehouse

原始數(shù)據(jù)層存放從煤礦各業(yè)務(wù)系統(tǒng)匯集的原始數(shù)據(jù)。該層數(shù)據(jù)模型保持與源業(yè)務(wù)系統(tǒng)結(jié)構(gòu)和內(nèi)容上的一致性，記錄數(shù)據(jù)變化，為上層數(shù)據(jù)計(jì)算提供充分的擴(kuò)展性。

明細(xì)數(shù)據(jù)層存放經(jīng)過(guò)標(biāo)準(zhǔn)化處理的結(jié)構(gòu)、類型、命名統(tǒng)一的規(guī)范化數(shù)據(jù)。在進(jìn)行標(biāo)準(zhǔn)化處理時(shí)需使用業(yè)務(wù)字典、配置說(shuō)明及點(diǎn)表映射等信息對(duì)原始數(shù)據(jù)進(jìn)行轉(zhuǎn)換，數(shù)據(jù)質(zhì)量方面需要解決數(shù)據(jù)內(nèi)容中的異常值、缺失值、無(wú)效值等問(wèn)題。

基礎(chǔ)指標(biāo)層是整個(gè)分層架構(gòu)中最重要的一層，在明細(xì)數(shù)據(jù)層提供高質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)的基礎(chǔ)上，通過(guò)實(shí)現(xiàn)具體機(jī)理邏輯、統(tǒng)計(jì)邏輯及算法邏輯，構(gòu)建基礎(chǔ)指標(biāo)體系。該層數(shù)據(jù)模型主要沉淀基礎(chǔ)指標(biāo)結(jié)果，保證指標(biāo)口徑的一致性。

服務(wù)數(shù)據(jù)層面向煤礦智能化分析應(yīng)用提供定制化的數(shù)據(jù)模型，在基礎(chǔ)指標(biāo)層基礎(chǔ)上計(jì)算衍生指標(biāo)，實(shí)現(xiàn)跨主題指標(biāo)關(guān)聯(lián)拼接，提供多維度、多指標(biāo)的綜合型分析模型。

公共維度層主要由維度數(shù)據(jù)模型構(gòu)成，為各個(gè)層級(jí)數(shù)據(jù)模型計(jì)算提供統(tǒng)一的維度信息，同時(shí)為煤礦智能化分析應(yīng)用提供用于維度擴(kuò)展的屬性信息。

2.2 數(shù)據(jù)倉(cāng)庫(kù)建模過(guò)程

煤礦子系統(tǒng)眾多，各子系統(tǒng)包含的數(shù)據(jù)具有很高的相似性，如各類設(shè)備的控制信號(hào)、運(yùn)行狀態(tài)及監(jiān)控?cái)?shù)據(jù)，不同區(qū)域環(huán)境感知數(shù)據(jù)，不同業(yè)務(wù)系統(tǒng)人工操作、手工填報(bào)數(shù)據(jù)等。

綜采工作面作為煤礦生產(chǎn)的關(guān)鍵環(huán)節(jié)，生產(chǎn)過(guò)程復(fù)雜，設(shè)備數(shù)量龐大，動(dòng)作繁多[16]，其數(shù)據(jù)具有煤礦生產(chǎn)數(shù)據(jù)的典型特點(diǎn)。限于篇幅，本文以綜采工作面為例對(duì)智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)建模方法進(jìn)行論述，展示實(shí)際數(shù)據(jù)倉(cāng)庫(kù)建模過(guò)程。

2.2.1 業(yè)務(wù)數(shù)據(jù)分析

綜采工作面是指綜合機(jī)械化采煤工作面，其核心設(shè)備主要包括采煤機(jī)、液壓支架、運(yùn)輸“三機(jī)”（刮板輸送機(jī)、轉(zhuǎn)載機(jī)、帶式輸送機(jī)）、泵站等，按照數(shù)據(jù)來(lái)源進(jìn)行數(shù)據(jù)分類整理，結(jié)果見(jiàn)表1。

表1 綜采工作面核心數(shù)據(jù)分類Table 1 Classification of kernel data of fully mechanized working face

按照數(shù)據(jù)來(lái)源進(jìn)行組織會(huì)忽略同類數(shù)據(jù)間的關(guān)聯(lián)性，造成數(shù)據(jù)和業(yè)務(wù)概念間的割裂，因此本文采用業(yè)務(wù)過(guò)程、業(yè)務(wù)事實(shí)、數(shù)據(jù)域的3 級(jí)結(jié)構(gòu)重新對(duì)數(shù)據(jù)進(jìn)行組織劃分。業(yè)務(wù)過(guò)程是指煤礦業(yè)務(wù)的基本活動(dòng)事件；業(yè)務(wù)事實(shí)是指具體某一業(yè)務(wù)事件下的度量，是業(yè)務(wù)定義中不可拆分的指標(biāo)，具有明確的業(yè)務(wù)含義；數(shù)據(jù)域是對(duì)同類型業(yè)務(wù)過(guò)程的抽象。以綜采工作面開(kāi)采過(guò)程為例，其數(shù)據(jù)組織如圖4 所示。

圖4 綜采工作面數(shù)據(jù)3 級(jí)組織Fig.4 Three-level data structure of fully mechanized working face

綜采工作面生產(chǎn)流程包括破煤、裝煤、運(yùn)煤、支護(hù)、采空區(qū)處理、回采巷道運(yùn)輸?shù)?，將其中與生產(chǎn)相關(guān)的過(guò)程歸屬到生產(chǎn)域，在業(yè)務(wù)過(guò)程內(nèi)對(duì)各自的業(yè)務(wù)事實(shí)（如破煤過(guò)程中的采煤機(jī)位置、方向、傾角、滾筒高度等）進(jìn)行管理。按照業(yè)務(wù)過(guò)程劃分?jǐn)?shù)據(jù)能夠指導(dǎo)數(shù)據(jù)模型的構(gòu)建。

2.2.2 應(yīng)用需求分析

通過(guò)實(shí)地調(diào)研國(guó)能寧夏煤業(yè)有限責(zé)任公司、國(guó)能神東煤炭集團(tuán)有限責(zé)任公司等大型煤炭生產(chǎn)企業(yè)，對(duì)綜采工作面典型的智能化應(yīng)用分析需求進(jìn)行了梳理，將需求劃分為設(shè)備、生產(chǎn)、安全、自動(dòng)化4 個(gè)分析主題，如圖5 所示。

圖5 綜采工作面智能化應(yīng)用分析主題Fig.5 Intelligent application analysis subjects of fully mechanized working face

設(shè)備主題主要包括功效分析、停機(jī)分析、狀態(tài)分析、能耗分析；生產(chǎn)主題主要包括工作面推進(jìn)分析、液壓支架支護(hù)分析、割煤過(guò)程分析；安全主題主要包括液壓支架壓力分析、端頭端尾推進(jìn)分析、液壓支架移架階段分析；自動(dòng)化主題主要包括循環(huán)割煤自動(dòng)化分析、泵站自動(dòng)化分析、跟機(jī)自動(dòng)化分析。

2.2.3 分層架構(gòu)設(shè)計(jì)

基于對(duì)業(yè)務(wù)數(shù)據(jù)與應(yīng)用需求的分析，按照分層架構(gòu)對(duì)綜采工作面數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行設(shè)計(jì)，如圖6 所示。

圖6 綜采工作面數(shù)據(jù)倉(cāng)庫(kù)分層架構(gòu)Fig.6 Layered architecture of data warehouse of fully mechanized working face

原始數(shù)據(jù)層按照數(shù)據(jù)采集單元?jiǎng)澐譃橐簤褐Ъ軅鞲袛?shù)據(jù)、采煤機(jī)機(jī)身傳感數(shù)據(jù)、運(yùn)輸“三機(jī)”傳感數(shù)據(jù)等。該層數(shù)據(jù)模型記錄所有類型的歷史采集數(shù)據(jù)，最大程度地保留數(shù)據(jù)原始特征。

明細(xì)數(shù)據(jù)層和基礎(chǔ)指標(biāo)層數(shù)據(jù)模型按照數(shù)據(jù)域進(jìn)行組織，劃分為生產(chǎn)域和設(shè)備域。生產(chǎn)域包括割煤、裝煤、運(yùn)維、支護(hù)等生產(chǎn)過(guò)程的明細(xì)事實(shí)及基礎(chǔ)指標(biāo)；設(shè)備域包括與設(shè)備運(yùn)行狀態(tài)和參數(shù)相關(guān)的基礎(chǔ)指標(biāo)。明細(xì)數(shù)據(jù)層數(shù)據(jù)模型按照基礎(chǔ)事實(shí)信息構(gòu)建，主要包括滾筒電流模型、牽引溫度模型、膠帶轉(zhuǎn)速模型等。在此基礎(chǔ)上，基礎(chǔ)指標(biāo)層按照指標(biāo)計(jì)算邏輯構(gòu)建設(shè)備電流指標(biāo)模型、設(shè)備溫度指標(biāo)模型、采煤機(jī)循環(huán)割煤指標(biāo)模型等。

服務(wù)數(shù)據(jù)層按分析主題進(jìn)行組織，對(duì)主題下相關(guān)指標(biāo)進(jìn)行整合，構(gòu)建主題分析模型，如設(shè)備分析主題下的功效分析模型、停機(jī)分析模型等，安全分析主題下的礦壓分析模型、移架分析模型等。

公共維度層包括基礎(chǔ)屬性模型，如設(shè)備信息維度模型、液壓支架屬性維度模型，還包括基于機(jī)理模型階段劃分模型，如割煤階段維度模型、液壓支架動(dòng)作階段維度模型等。

2.3 數(shù)據(jù)模型構(gòu)建方法

煤礦原始數(shù)據(jù)多為時(shí)序類型數(shù)據(jù)，包含名稱、時(shí)間、數(shù)據(jù)值等信息（不同數(shù)據(jù)類型通過(guò)名稱區(qū)分）。該類型數(shù)據(jù)缺少關(guān)聯(lián)性，難以直接用于分析決策。將原始數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)倉(cāng)庫(kù)維度模型需要經(jīng)過(guò)維度對(duì)齊、維度關(guān)聯(lián)、維度化指標(biāo)聚合等過(guò)程。通過(guò)多維度的聯(lián)系將不同類型數(shù)據(jù)進(jìn)行關(guān)聯(lián)，解決數(shù)據(jù)間關(guān)聯(lián)性的問(wèn)題。

2.3.1 維度對(duì)齊

由于不同設(shè)備、監(jiān)控系統(tǒng)采集數(shù)據(jù)時(shí)的頻率、延時(shí)存在差異，所以原始數(shù)據(jù)無(wú)法在時(shí)間維度直接關(guān)聯(lián)。經(jīng)過(guò)對(duì)底層采集方式調(diào)研，目前測(cè)點(diǎn)采樣多采用“惰性上報(bào)”方式，即當(dāng)采樣值變化超過(guò)特定范圍才上報(bào)一次數(shù)據(jù)，因此采用右鄰插值方法進(jìn)行冗余數(shù)據(jù)填充，如圖7 所示。

圖7 測(cè)點(diǎn)數(shù)據(jù)時(shí)間維度對(duì)齊Fig.7 Time dimension alignment of measured point data

測(cè)點(diǎn)1 在時(shí)間軸上有2 個(gè)采樣值ut1和ut2，測(cè)點(diǎn)2 在時(shí)間軸上有2 個(gè)采樣值vt3和vt4。為測(cè)點(diǎn)1 補(bǔ)充t3時(shí)刻采樣值u't3=ut2，為測(cè)點(diǎn)2 補(bǔ)充t1時(shí)刻采樣值v't1=vt3，按時(shí)間軸進(jìn)行迭代，即可實(shí)現(xiàn)測(cè)點(diǎn)1 與測(cè)點(diǎn)2 的采樣值對(duì)齊。

2.3.2 維度關(guān)聯(lián)

在實(shí)際井下環(huán)境中，環(huán)境傳感器或監(jiān)控系統(tǒng)采樣點(diǎn)存在豐富的維度信息，如所屬區(qū)域、系統(tǒng)、設(shè)備、過(guò)程、環(huán)境等。但受限于采集設(shè)備及采樣方式，采集上報(bào)的數(shù)據(jù)僅包含采樣值，因此在建立數(shù)據(jù)模型時(shí)必須對(duì)維度信息進(jìn)行關(guān)聯(lián)擴(kuò)展，如圖8 所示。

圖8 維度信息關(guān)聯(lián)擴(kuò)展Fig.8 Association expansion of dimension information

主要采用2 種方法進(jìn)行維度關(guān)聯(lián)：①配置型維度關(guān)聯(lián)。礦井各系統(tǒng)存在大量相對(duì)靜態(tài)的配置型維度信息，如礦井區(qū)域劃分、設(shè)備屬性、所屬業(yè)務(wù)系統(tǒng)等。配置型維度模型數(shù)據(jù)量小、定制化強(qiáng)，可通過(guò)手工方式建立并維護(hù)測(cè)點(diǎn)與維度信息屬性之間的映射關(guān)系，借助映射關(guān)系直接實(shí)現(xiàn)配置型維度信息的關(guān)聯(lián)擴(kuò)展。② 計(jì)算型維度關(guān)聯(lián)。基于原始采樣數(shù)據(jù)，經(jīng)過(guò)不同計(jì)算型維度（如割煤階段、液壓支架移動(dòng)階段、環(huán)境安全等級(jí)等）的關(guān)聯(lián)實(shí)現(xiàn)計(jì)算型維度模型構(gòu)建。計(jì)算型維度數(shù)據(jù)變化頻繁、數(shù)據(jù)量大，無(wú)法通過(guò)手工建立映射關(guān)系的方式與測(cè)點(diǎn)進(jìn)行關(guān)聯(lián)，因此采用拉鏈化方法，將原始維度模型時(shí)間點(diǎn)分布轉(zhuǎn)換為時(shí)間區(qū)間分布，再通過(guò)計(jì)算采樣時(shí)間的包含關(guān)系，實(shí)現(xiàn)計(jì)算型維度關(guān)聯(lián)。

2.3.3 維度化指標(biāo)聚合

通過(guò)維度擴(kuò)展可將離散的測(cè)點(diǎn)時(shí)序數(shù)據(jù)模型轉(zhuǎn)換為多維度的指標(biāo)數(shù)據(jù)模型。但在某些綜合分析場(chǎng)景中，需要將不同分析主題、數(shù)據(jù)模型指標(biāo)進(jìn)行關(guān)聯(lián)分析。為了同時(shí)滿足單主題分析與跨主題的綜合分析需求，基于多個(gè)分析主題數(shù)據(jù)模型進(jìn)行維度交叉關(guān)聯(lián)，生成多維度多指標(biāo)的多維數(shù)據(jù)立方體，滿足不同維度切片下的分析需求。

2.4 數(shù)據(jù)倉(cāng)庫(kù)遷移

不同煤礦的井下開(kāi)采情況、運(yùn)行環(huán)境、設(shè)備型號(hào)等存在較大差異，在實(shí)際調(diào)研和部署過(guò)程中發(fā)現(xiàn)存在以下問(wèn)題。

（1）不同煤礦基于各自數(shù)據(jù)倉(cāng)庫(kù)計(jì)算出的數(shù)據(jù)模型指標(biāo)不一致，導(dǎo)致無(wú)法跨礦井進(jìn)行數(shù)據(jù)比較分析，且數(shù)據(jù)模型難以在不同煤礦復(fù)用。

（2）算法訓(xùn)練需要大量樣本數(shù)據(jù)，不同礦井由于數(shù)據(jù)不一致，導(dǎo)致無(wú)法使用同一算法。

（3）數(shù)據(jù)倉(cāng)庫(kù)建設(shè)是一個(gè)持續(xù)迭代的過(guò)程，會(huì)不斷沉淀業(yè)務(wù)指標(biāo)計(jì)算邏輯及口徑，不同煤礦之間的經(jīng)驗(yàn)積累難以借鑒和利用。

為了解決上述問(wèn)題，提出建設(shè)煤礦參數(shù)化數(shù)據(jù)倉(cāng)庫(kù)思想（圖9），對(duì)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)進(jìn)行優(yōu)化，以解決數(shù)據(jù)倉(cāng)庫(kù)遷移問(wèn)題。

圖9 煤礦參數(shù)化數(shù)據(jù)倉(cāng)庫(kù)Fig.9 Parametric coal mine data warehouse

參數(shù)化數(shù)據(jù)倉(cāng)庫(kù)包括煤炭行業(yè)通用數(shù)據(jù)倉(cāng)庫(kù)和參數(shù)化ETL 方法2 個(gè)部分。煤炭行業(yè)通用數(shù)據(jù)倉(cāng)庫(kù)從行業(yè)角度進(jìn)行抽象設(shè)計(jì)。雖然不同礦井地質(zhì)條件、開(kāi)采環(huán)境、規(guī)模存在較大差異，但是行業(yè)內(nèi)開(kāi)采方法、工藝，采用的設(shè)備、系統(tǒng)，開(kāi)采過(guò)程都具有相似性，為建立煤炭行業(yè)通用數(shù)據(jù)倉(cāng)庫(kù)提供了基礎(chǔ)；參數(shù)化ETL 方法是指在構(gòu)建數(shù)據(jù)處理邏輯時(shí)采用參數(shù)化方法，將不同礦井間的差異化因素抽象為礦井系統(tǒng)參數(shù)配置單獨(dú)進(jìn)行維護(hù)管理，可通過(guò)修改配置信息實(shí)現(xiàn)不同礦井的異構(gòu)數(shù)據(jù)源統(tǒng)一接入。

3 煤礦數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用

3.1 數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)構(gòu)建

在實(shí)驗(yàn)室環(huán)境下搭建5 臺(tái)服務(wù)器集群（CPU32核，內(nèi)存128 GB，數(shù)據(jù)盤(pán)4 TB），在集群上安裝分布式文件存儲(chǔ)系統(tǒng)（Hadoop 2.6.0-cdh5.13.0），安裝分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)Hive 1.3.0（基于Hadoop 的數(shù)據(jù)倉(cāng)庫(kù)工具[17]）作為數(shù)據(jù)模型的承載系統(tǒng)，從而構(gòu)建煤礦數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，其核心架構(gòu)如圖10 所示。首先從各類數(shù)據(jù)系統(tǒng)中接入數(shù)據(jù)到原始數(shù)據(jù)層；然后將Hive作為數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)存儲(chǔ)，同時(shí)使用其ETL 功能進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)各層次結(jié)構(gòu)的抽取、轉(zhuǎn)換、加載，在服務(wù)數(shù)據(jù)層之上接入應(yīng)用層數(shù)據(jù)庫(kù)，如MySQL 等；最后可接入常見(jiàn)的數(shù)據(jù)可視化應(yīng)用，如商業(yè)報(bào)表工具或智慧大屏幕。

圖10 煤礦數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)核心架構(gòu)Fig.10 Core structure of coal mine data warehouse platform

煤礦數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)數(shù)據(jù)來(lái)源于山西天地王坡煤業(yè)有限公司（以下稱王坡煤礦）綜采工作面。數(shù)據(jù)通過(guò)液壓支架電液控系統(tǒng)進(jìn)行采集，數(shù)據(jù)采集時(shí)間為2019 年12 月至2020 年5 月，數(shù)據(jù)存儲(chǔ)于MySQL 數(shù)據(jù)庫(kù)，從中抽取部分?jǐn)?shù)據(jù)，見(jiàn)表2。

表2 綜采工作面采煤機(jī)位置數(shù)據(jù)Table 2 Location data of shearer in fully mechanized working face

原始數(shù)據(jù)每個(gè)數(shù)據(jù)類別下包含具體的測(cè)點(diǎn)信息，每個(gè)測(cè)點(diǎn)通過(guò)標(biāo)簽字段進(jìn)行唯一標(biāo)志，每個(gè)測(cè)點(diǎn)的采樣值按時(shí)間序列組織，如數(shù)據(jù)類別、時(shí)間、標(biāo)簽、數(shù)據(jù)值、數(shù)據(jù)狀態(tài)等。

3.2 實(shí)際應(yīng)用

3.2.1 輔助機(jī)理模型分析

以采煤機(jī)采煤過(guò)程中液壓支架壓力變化分析需求的實(shí)際場(chǎng)景為例，采煤機(jī)在綜采工作面每割一刀煤，液壓支架會(huì)進(jìn)行降柱、移架、升柱、推溜4 個(gè)動(dòng)作，以割煤周期對(duì)液壓支架壓力變化趨勢(shì)進(jìn)行分析。通過(guò)原始的采煤機(jī)位置序列數(shù)據(jù)無(wú)法直接獲得割煤循環(huán)周期信息。由于采用兩端斜切進(jìn)刀割三角煤工藝，所以通過(guò)割煤機(jī)理模型算法與采煤機(jī)位置明細(xì)數(shù)據(jù)生成工作面割煤階段維表，其數(shù)據(jù)結(jié)構(gòu)見(jiàn)表3，其中方向1，2 分別為上行、下行。

表3 割煤階段維表數(shù)據(jù)結(jié)構(gòu)Table 3 Dimension table data structure of coal cutting stage

通過(guò)將割煤階段維表與液壓支架壓力明細(xì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，即可得到每個(gè)液壓支架壓力值對(duì)應(yīng)的割煤階段信息，再結(jié)合液壓支架高度、刮板輸送機(jī)行程明細(xì)數(shù)據(jù)，實(shí)現(xiàn)液壓支架移架機(jī)理模型算法，生成液壓支架循環(huán)動(dòng)作階段維表，表結(jié)構(gòu)及樣例數(shù)據(jù)見(jiàn)表4，其中動(dòng)作階段1，2，3 分別為降柱、移架、升柱。

表4 液壓支架循環(huán)動(dòng)作階段維表數(shù)據(jù)結(jié)構(gòu)Table 4 Dimension table data structure of cyclic hydraulic support action

將帶有割煤階段信息的液壓支架壓力數(shù)據(jù)與液壓支架循環(huán)動(dòng)作階段維度數(shù)據(jù)關(guān)聯(lián)，可得出液壓支架壓力隨割煤刀號(hào)的變化規(guī)律，如圖11 所示。

圖11 液壓支架壓力隨割煤變化規(guī)律Fig.11 Changes law of hydraulic support pressure with coal cutting

從圖11 可判斷液壓支架升降情況，以割第139 刀煤為例，該過(guò)程中液壓支架壓力最大值點(diǎn)對(duì)應(yīng)降柱開(kāi)始時(shí)間點(diǎn)，壓力最小值點(diǎn)對(duì)應(yīng)降柱結(jié)束、升柱開(kāi)始時(shí)間點(diǎn)，壓力從最小值增大直至平穩(wěn)的拐點(diǎn)對(duì)應(yīng)升柱結(jié)束時(shí)間點(diǎn)。

從圖11 可看出每次液壓支架動(dòng)作過(guò)程中壓力變化特點(diǎn)。利用不同維度數(shù)據(jù)之間的關(guān)聯(lián)，可建立一種關(guān)于割煤刀號(hào)和液壓支架壓力變化的離散礦壓預(yù)測(cè)模型。

3.2.2 煤礦可視化應(yīng)用

設(shè)計(jì)的智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)已成功應(yīng)用于王坡煤礦管理駕駛艙，如圖12 所示。通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行可視化分析，可清晰地得出煤礦生產(chǎn)、運(yùn)營(yíng)、安全監(jiān)控等指標(biāo)，實(shí)現(xiàn)煤礦大數(shù)據(jù)的互聯(lián)互通和充分應(yīng)用，實(shí)現(xiàn)指標(biāo)分析及決策場(chǎng)景落地。面向角色的管理駕駛艙可展示煤礦領(lǐng)導(dǎo)及生產(chǎn)、機(jī)電、調(diào)度中心、安監(jiān)、通風(fēng)、信息中心等部門領(lǐng)導(dǎo)最關(guān)心的生產(chǎn)、經(jīng)營(yíng)、安全類綜合性指標(biāo)130 個(gè)。

圖12 智能煤礦管理駕駛艙Fig.12 Management cockpit of intelligent coal mine

3.3 應(yīng)用效果對(duì)比

將從業(yè)務(wù)系統(tǒng)中采集的未經(jīng)處理數(shù)據(jù)標(biāo)記為原始數(shù)據(jù)模型，與本文設(shè)計(jì)的智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行定性和定量對(duì)比。從定性角度主要比較數(shù)據(jù)組織度、模型復(fù)用度和迭代難易度，見(jiàn)表5?？煽闯鐾ㄟ^(guò)智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)組織數(shù)據(jù)，能夠全面提高數(shù)據(jù)使用效率。

表5 原始數(shù)據(jù)模型與煤礦數(shù)據(jù)倉(cāng)庫(kù)的定性對(duì)比Table 5 Qualitative comparison between primary data model and coal mine data warehouse

從定量角度選取綜采工作面典型的10 個(gè)分析指標(biāo)對(duì)數(shù)據(jù)查詢響應(yīng)時(shí)間進(jìn)行對(duì)比，結(jié)果見(jiàn)表6。基于原始數(shù)據(jù)模型的查詢直接在原始數(shù)據(jù)上進(jìn)行，基于智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)的查詢選擇在基礎(chǔ)指標(biāo)層進(jìn)行（基礎(chǔ)指標(biāo)層數(shù)據(jù)模型實(shí)現(xiàn)了完整的指標(biāo)體系，是數(shù)據(jù)倉(cāng)庫(kù)的核心）。

表6 原始數(shù)據(jù)模型與煤礦數(shù)據(jù)倉(cāng)庫(kù)的定量對(duì)比Table 6 Quantitative comparison between primary data model and coal mine data warehouse

從表6 可看出，本文數(shù)據(jù)倉(cāng)庫(kù)在多個(gè)指標(biāo)查詢過(guò)程中均優(yōu)于原始數(shù)據(jù)模型，查詢時(shí)間均縮減50%以上，原因在于基于原始數(shù)據(jù)模型的查詢要實(shí)現(xiàn)數(shù)據(jù)清洗、預(yù)處理、關(guān)聯(lián)、指標(biāo)統(tǒng)計(jì)等邏輯，而數(shù)據(jù)倉(cāng)庫(kù)在基礎(chǔ)指標(biāo)層已完成基礎(chǔ)指標(biāo)預(yù)計(jì)算，只需進(jìn)行輕度的聚合計(jì)算即可。

4 結(jié)論

（1）闡述了智能化煤礦建設(shè)過(guò)程中數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)方法，以綜采工作面為例介紹了煤礦數(shù)據(jù)倉(cāng)庫(kù)建模過(guò)程。

（2）針對(duì)煤礦數(shù)據(jù)倉(cāng)庫(kù)的可遷移性問(wèn)題，提出了煤礦參數(shù)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方法，可滿足不同類型的煤礦數(shù)據(jù)倉(cāng)庫(kù)建設(shè)需求，降低重復(fù)建設(shè)成本。

（3）利用數(shù)據(jù)倉(cāng)庫(kù)收集不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)并進(jìn)行統(tǒng)一組織、劃分、利用，解決了“數(shù)據(jù)孤島”問(wèn)題。在煤礦數(shù)據(jù)倉(cāng)庫(kù)建模過(guò)程中，通過(guò)不同維度信息的關(guān)聯(lián)，將不同類型數(shù)據(jù)融合分析，解決了不同粒度的煤礦數(shù)據(jù)關(guān)聯(lián)應(yīng)用問(wèn)題。在對(duì)數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換過(guò)程中采用統(tǒng)一標(biāo)準(zhǔn)，提高了煤礦數(shù)據(jù)質(zhì)量。

（4）對(duì)智能化煤礦數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行了現(xiàn)場(chǎng)應(yīng)用，在對(duì)多個(gè)數(shù)據(jù)指標(biāo)分析計(jì)算過(guò)程中均取得了明顯效果，驗(yàn)證了該數(shù)據(jù)倉(cāng)庫(kù)的實(shí)用性。