汪憶 鐘世成 陳素瓊

摘要：文章基于重型機(jī)械裝備制造企業(yè)的數(shù)字化發(fā)展現(xiàn)狀．對(duì)企業(yè)在進(jìn)行數(shù)字化轉(zhuǎn)型中面臨的數(shù)據(jù)孤島、數(shù)據(jù)沉睡束發(fā)揮價(jià)值、數(shù)據(jù)使用成本較高等問題進(jìn)行了分析，并深入闡述了數(shù)字化轉(zhuǎn)型涉及的大數(shù)據(jù)相關(guān)技術(shù)架構(gòu)，提出了大數(shù)據(jù)平臺(tái)建設(shè)可選的技術(shù)解決方案，為重型機(jī)械裝備制造企業(yè)構(gòu)建大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)提供借鑒和參考。

關(guān)鍵詞：機(jī)械裝備制造企業(yè)；大數(shù)據(jù)平臺(tái)；技術(shù)架構(gòu)

中圖法分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

１ 概述

１．１ 研究背景

作為國民經(jīng)濟(jì)的主體，重型機(jī)械裝備制造企業(yè)面臨數(shù)字化轉(zhuǎn)型的諸多難題和挑戰(zhàn)，其中最突出的問題是：傳統(tǒng)的“煙囪式” 應(yīng)用開發(fā)模式造成的“數(shù)據(jù)孤島”現(xiàn)象嚴(yán)重，使得數(shù)據(jù)難以發(fā)揮價(jià)值；諸多業(yè)務(wù)系統(tǒng)數(shù)據(jù)（如ＰＤＭ 系統(tǒng)、ＥＲＰ 系統(tǒng)）集成度不高，經(jīng)常出現(xiàn)數(shù)據(jù)找不到、用不上、不準(zhǔn)確等困難；由于數(shù)據(jù)存儲(chǔ)格式、代碼標(biāo)準(zhǔn)不統(tǒng)一以及數(shù)據(jù)質(zhì)量參差不齊導(dǎo)致數(shù)據(jù)不可用的現(xiàn)象時(shí)有發(fā)生；數(shù)據(jù)出現(xiàn)重復(fù)存儲(chǔ)，重復(fù)計(jì)算，取數(shù)技術(shù)難度較大，對(duì)業(yè)務(wù)人員及ＩＴ 人員技術(shù)要求過高，造成數(shù)據(jù)使用成本較高；企業(yè)目前的信息化系統(tǒng)繁多，集成度低，缺乏高效可用的數(shù)據(jù)中心，企業(yè)內(nèi)部的數(shù)據(jù)資產(chǎn)很難盤點(diǎn)，而且缺乏有效應(yīng)用服務(wù)，數(shù)據(jù)資產(chǎn)價(jià)值也很難評(píng)估；信息化技術(shù)平臺(tái)工具繁多，多廠商技術(shù)平臺(tái)集成困難，以至于體驗(yàn)差、運(yùn)維成本極高。

１．２ 問題的提出

本文基于重型機(jī)械裝備制造企業(yè)業(yè)務(wù)領(lǐng)域的大數(shù)據(jù)平臺(tái)構(gòu)建需求，對(duì)其進(jìn)行了分析，并指出研究方向。在此基礎(chǔ)上，如何基于大數(shù)據(jù)平臺(tái)生態(tài)技術(shù)架構(gòu)，構(gòu)建重型機(jī)械裝備制造企業(yè)大數(shù)據(jù)平臺(tái)技術(shù)解決方案是本文的核心研究問題。

２ 認(rèn)識(shí)Ｈａｄｏｏｐ 大數(shù)據(jù)平臺(tái)

２．１ Ｈａｄｏｏｐ 的起源

Ｈａｄｏｏｐ 是一個(gè)由Ａｐａｃｈｅ 基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，主要解決海量數(shù)據(jù)的存儲(chǔ)和分析計(jì)算問題。Ｈａｄｏｏｐ 是由Ｄｏｕｇ Ｃｕｔｔｉｎｇ 和Ｍｉｋｅ Ｃａｆａｒｅｌｌａ 于２００２ 年所創(chuàng)建的Ｎｕｔｃｈ 項(xiàng)目，Ｎｕｔｃｈ 是一個(gè)開源Ｊａｖａ實(shí)現(xiàn)的搜索引擎，目標(biāo)是構(gòu)建一個(gè)大型的全網(wǎng)搜索引擎，包括網(wǎng)頁抓取、索引、查詢等功能［１］ 。

２００３～ ２００４ 年，Ｇｏｏｇｌｅ 發(fā)表了ＧＦＳ（Ｇｏｏｇｌｅ ＦｉｌｅＳｙｓｔｅｍ，分布式文件系統(tǒng)）和ＭａｐＲｅｄｕｃｅ（開源分布式并行計(jì)算框架）２ 篇論文，受此論文的啟發(fā)，２００４ 年，Ｎｕｔｃｈ 創(chuàng)始人Ｄｏｕｇ Ｃｕｔｔｉｎｇ 基于Ｇｏｏｇｌｅ 的ＧＦＳ 論文實(shí)現(xiàn)了分布式文件存儲(chǔ)系統(tǒng)ＮＤＦＳ。２００５ 年， ＤｏｕｇＣｕｔｔｉｎｇ 又基于Ｇｏｏｇｌｅ 的ＭａｐＲｅｄｕｃｅ 論文，在Ｎｕｔｃｈ 搜索引擎實(shí)現(xiàn)了該功能，同年Ｈａｄｏｏｐ 作為Ｌｕｃｅｎｅ 的子項(xiàng)目Ｎｕｔｃｈ 的一部分正式引入Ａｐａｃｈｅ 基金會(huì)。２００６年２ 月，Ｎｕｔｃｈ 被分離出來成為一套完整獨(dú)立的軟件，命名為Ｈａｄｏｏｐ，它是以Ｄｏｕｇ Ｃｕｔｔｉｎｇ 兒子的毛絨玩具象命名的，Ｈａｄｏｏｐ 起源于Ｇｏｏｇｌｅ 的三大論文，ＧＦＳ 對(duì)應(yīng)演變?yōu)椋龋模疲樱?Ｇｏｏｇｌｅ ＭａｐＲｅｄｕｃｅ 對(duì)應(yīng)演變?yōu)椋龋幔洌铮铮?ＭａｐＲｅｄｕｃｅ，Ｂｉｇ Ｔａｂｌｅ 對(duì)應(yīng)演變?yōu)椋龋拢幔螅澹郏玻?。

２．２ Ｈａｄｏｏｐ 的核心組件

在大數(shù)據(jù)時(shí)代，如何解決大規(guī)模海量數(shù)據(jù)存儲(chǔ)和分析是關(guān)鍵，而Ｈａｄｏｏｐ 項(xiàng)目作為大數(shù)據(jù)處理的框架，其核心功能就是分布式存儲(chǔ)（ＨＤＦＳ） 和分布式計(jì)算（ＭａｐＲｅｄｕｃｅ）以及資源管理調(diào)度器（ＹＡＲＮ），下文介紹Ｈａｄｏｏｐ 的核心功能。

（１）分布式文件存儲(chǔ)ＨＤＦＳ。

ＨＤＦＳ 源于Ｇｏｏｇｌｅ 發(fā)表的一篇ＧＦＳ 的論文，是描述Ｇｏｏｇｌｅ 內(nèi)部的一個(gè)叫做ＧＦＳ 的分布式大規(guī)模文件系統(tǒng)，其具有強(qiáng)大的可伸縮性和容錯(cuò)性，之后ＤｏｕｇＣｕｔｔｉｎｇ 以ＧＦＳ 的論文思想為基礎(chǔ)，開發(fā)出了一個(gè)新的文件系統(tǒng)叫ＨＤＦＳ，并在此基礎(chǔ)上形成了一個(gè)單獨(dú)的子項(xiàng)目，最終成為Ｈａｄｏｏｐ 的核心組件之一。作為大數(shù)據(jù)生態(tài)最底層的分布式存儲(chǔ)文件系統(tǒng)，其主要解決海量數(shù)據(jù)的存儲(chǔ)問題，ＨＤＦＳ 將數(shù)據(jù)存儲(chǔ)在物理分散的多個(gè)存儲(chǔ)節(jié)點(diǎn)上，然后對(duì)這些節(jié)點(diǎn)的資源進(jìn)行統(tǒng)一的管理與分配，并且提供統(tǒng)一的訪問接口，像是訪問一個(gè)普通文件系統(tǒng)一樣使用分布式文件系統(tǒng)。

（２）分布式計(jì)算ＭａｐＲｅｄｕｃｅ。

作為Ｈａｄｏｏｐ 生態(tài)的分布式計(jì)算組件，ＭａｐＲｅｄｕｃｅ是一種并行編程模式，采用了分而治之的思想———先分后合，適用于大規(guī)模數(shù)據(jù)的并行處理，其工作原理是將待求解的復(fù)雜計(jì)算問題，先分解成若干規(guī)模較小的問題，然后分別求得各部分的結(jié)果，把各部分的結(jié)果進(jìn)行合并， 最后得到整個(gè)問題的最終結(jié)果。

ＭａｐＲｅｄｕｃｅ 的特點(diǎn)是易于編程，具有良好的擴(kuò)展性和高容錯(cuò)性， 適合大規(guī)模海量數(shù)據(jù)的離線處理。

ＭａｐＲｅｄｕｃｅ 的核心思想是Ｍａｐ 和Ｒｅｄｕｃｅ，它們分別對(duì)應(yīng)ｍａｐ 函數(shù)和ｒｅｄｕｃｅ 函數(shù)，這２ 個(gè)函數(shù)由應(yīng)用程序開發(fā)者負(fù)責(zé)具體實(shí)現(xiàn)，開發(fā)者僅需要編寫少量的業(yè)務(wù)邏輯代碼，不需要處理其他應(yīng)用方面的各種復(fù)雜問題，如數(shù)據(jù)存儲(chǔ)、資源調(diào)度、容錯(cuò)處理、結(jié)果收集、網(wǎng)絡(luò)通信等，這些問題全部由ＭａｐＲｅｄｕｃｅ 框架負(fù)責(zé)處理。需注意的是，并不是所有任務(wù)都適合用ＭａｐＲｅｄｕｃｅ，能用ＭａｐＲｅｄｕｃｅ 來處理的任務(wù)有一個(gè)基本要求，即待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個(gè)小數(shù)據(jù)集都可以完全并行地進(jìn)行處理。

３ Ｈａｄｏｏｐ 生態(tài)圈

３．１ Ｈａｄｏｏｐ 生態(tài)圈組件

Ｈａｄｏｏｐ 是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，其利用分布式集群對(duì)海量數(shù)據(jù)進(jìn)行高速并行運(yùn)算以及存儲(chǔ)，開發(fā)人員在進(jìn)行開發(fā)分布式程序中，無需了解分布式底層細(xì)節(jié)。Ｈａｄｏｏｐ 不是一個(gè)孤立的技術(shù)，而是一套完整的生態(tài)圈，目前Ｈａｄｏｏｐ 生態(tài)包含多個(gè)組件，除了核心組件ＨＤＦＳ 和ＭａｐＲｅｄｕｃｅ 及ＹＡＲＮ 外，還包括ＨＢａｓｅ，Ｈｉｖｅ，ＹＡＲＮ，Ｆｌｕｍｅ，Ｓｑｏｏｐ，Ｚｏｏｋｅｅｐｅｒ，Ａｍｂａｒｉ，Ｏｏｚｉｅ，Ｍａｈｏｕｔ，Ｐｉｇ 等。

３．２ Ｈａｄｏｏｐ 版本

大數(shù)據(jù)處理框架Ｈａｄｏｏｐ 的版本經(jīng)歷了Ｈａｄｏｏｐ１．ｘ，Ｈａｄｏｏｐ２．ｘ 以及最新Ｈａｄｏｏｐ３．ｘ 版本。首先，Ｈａｄｏｏｐ１１．ｘ 版本到Ｈａｄｏｏｐ１２．ｘ 版本變遷的最大變化是對(duì)ＭａｐＲｅｄｕｃｅ 進(jìn)行了大的拆分，Ｈａｄｏｏｐ１．ｘ 主要由ＭａｐＲｅｄｕｃｅ（分布式計(jì)算）和ＨＤＦＳ（分布式存儲(chǔ)）構(gòu)成，Ｈａｄｏｏｐ２．ｘ 在第１ 代版本的基礎(chǔ)上演變而來，在此基礎(chǔ)上增加了ＹＡＲＮ（資源調(diào)度管理系統(tǒng)）以及其他的一些組件，主要解決了Ｈａｄｏｏｐ１．ｘ 中ＭａｐＲｅｄｕｃｅ和ＨＤＦＳ 中存在的各種問題，如ＭａｐＲｅｄｕｃｅ 在擴(kuò)展性和多框架方面支持不足等。在Ｈａｄｏｏｐ２．ｘ 時(shí)代增加的ＹＡＲＮ 組件不僅支持ＭａｐＲｅｄｕｃｅ，還支持其他的計(jì)算框架，其具有較好的擴(kuò)展性、可用性及向后兼容性等，如兼容支持后來的Ｓｐａｒｋ，Ｆｌｉｎｋ 等框架。

Ｈａｄｏｏｐ３．ｘ 架構(gòu)組件和Ｈａｄｏｏｐ２．ｘ 架構(gòu)組件類似，Ｈａｄｏｏｐ３． ｘ 著重于性能優(yōu)化。從Ｈａｄｏｏｐ２． ｘ 到Ｈａｄｏｏｐ３．ｘ 版本，構(gòu)架組件已經(jīng)沒有太大的改變，Ｈａｄｏｏｐ３．ｘ 增加了許多新特性，如支持ｃｕｐ 的多重運(yùn)算、多重備份，而且內(nèi)部的數(shù)據(jù)還支持動(dòng)態(tài)平衡，提高了存儲(chǔ)效率，采用了糾刪碼存儲(chǔ)等，主要性能優(yōu)化有以下幾個(gè)方面。

（１）通用方面：精簡內(nèi)核、類路徑隔離、ｓｈｅｌｌ 腳本重構(gòu)。

（ ２）ＨＤＦＳ 存儲(chǔ)方面：支持ＥＣ（Ｅｒａｓｕｒｅ Ｃｏｄｅ）糾刪碼、支持多ＮａｍｅＮｏｄｅ。

（３）ＭａｐＲｅｄｕｃｅ 計(jì)算方面：任務(wù)本地化優(yōu)化、內(nèi)存參數(shù)自動(dòng)推斷。

（４） Ｈａｄｏｏｐ ＹＡＲＮ 時(shí)間線服務(wù)方面：Ｈａｄｏｏｐ３．ｘ采用ＴｉｍｅｌｉｎｅＳｅｒｖｉｃｅＶ２ 時(shí)間線版本服務(wù)，具有分布式寫入器體系結(jié)構(gòu)和可擴(kuò)展的后端存儲(chǔ)，并將數(shù)據(jù)的寫入與讀取分開，具有更強(qiáng)的可伸縮性、隊(duì)列配置、可靠性等。

４ 大數(shù)據(jù)計(jì)算架構(gòu)

４．１ 離線計(jì)算架構(gòu)

離線計(jì)算是指對(duì)海量靜態(tài)數(shù)據(jù)進(jìn)行處理和分析，并產(chǎn)生相應(yīng)的數(shù)據(jù)結(jié)果，供下一步數(shù)據(jù)應(yīng)用使用的過程。其特點(diǎn)是處理時(shí)間要求不高，處理數(shù)據(jù)量大，處理格式多樣， 占用計(jì)算存儲(chǔ)資源多， 通常使用ＭａｐＲｅｄｕｃｅ，Ｓｐａｒｋ，Ｓｐａｒｋ ＳＱＬ 等計(jì)算框架，以ＨＤＦＳ 為數(shù)據(jù)存儲(chǔ)，ＹＡＲＮ 為資源調(diào)度引擎，為各種離線批處理引擎提供資源調(diào)度能力，實(shí)現(xiàn)了多租戶資源分配的基礎(chǔ)。根據(jù)數(shù)據(jù)來源到應(yīng)用的流程，可以將離線處理架構(gòu)分為數(shù)據(jù)源、數(shù)據(jù)采集、離線處理引擎、業(yè)務(wù)應(yīng)用層［３］ 。

（１） 數(shù)據(jù)源：數(shù)據(jù)源的種類包括流式數(shù)據(jù)（如Ｓｏｃｋｅｔ 數(shù)據(jù)流），文件數(shù)據(jù)庫等。

（２）數(shù)據(jù)采集系統(tǒng)：Ｆｌｕｍｅ 用于批量采集數(shù)據(jù)文件、日志文件，Ｓｑｏｏｐ 用于批量采集數(shù)據(jù)庫的數(shù)據(jù)，第三方ＥＴＬ 采集工具用于數(shù)據(jù)采集加載轉(zhuǎn)換。

（３） 離線處理引擎：離線處理的引擎有Ｈｉｖｅ，Ｓｐａｒｋ ＳＱＬ，ＭａｐＲｅｄｕｃｅ，Ｓｐａｒｋ。Ｈｉｖｅ 使用傳統(tǒng)ＳＱＬ 批處理引擎，用于處理ＳＱＬ 類批處理作業(yè)，在處理海量數(shù)據(jù)時(shí)表現(xiàn)穩(wěn)定，但處理速度較慢。ＭａｐＲｅｄｕｃｅ 為傳統(tǒng)批處理引擎，用于處理非ＳＱＬ 類，其廣泛應(yīng)用于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)類的批處理作業(yè)，在處理海量數(shù)據(jù)時(shí)表現(xiàn)穩(wěn)定，但處理速度較慢。Ｓｐａｒｋ ＳＱＬ 為新型ＳＱＬ 批處理引擎，用于處理ＳＱＬ 類批處理作業(yè)，相較于ＭａｐＲｅｄｕｃｅ，其處理速度較快。Ｓｐａｒｋ 為新型批處理引擎，用于處理非ＳＱＬ 類，以及數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)類的批處理作業(yè)，處理速度較快。一般推薦優(yōu)先采用Ｓｐａｒｋ／ Ｓｐａｒｋ ＳＱＬ， 當(dāng)有存量應(yīng)用時(shí)可以使用ＭａｐＲｅｄｕｃｅ／ Ｈｉｖｅ，２ 種處理引擎也可以同時(shí)使用。

４．２ 實(shí)時(shí)計(jì)算架構(gòu)

實(shí)時(shí)計(jì)算是指數(shù)據(jù)從生成到實(shí)時(shí)采集、實(shí)時(shí)緩存、實(shí)時(shí)計(jì)算分析、實(shí)時(shí)展示應(yīng)用等處理流程，完成時(shí)間在秒級(jí)甚至毫秒級(jí)。其特點(diǎn)是處理速度快，且要求端到端的處理速度需要達(dá)到秒級(jí)，甚至毫秒級(jí)。實(shí)時(shí)計(jì)算架構(gòu)分成數(shù)據(jù)源、數(shù)據(jù)采集、實(shí)時(shí)計(jì)算處理引擎、業(yè)務(wù)應(yīng)用層。

（１）數(shù)據(jù)源：包括關(guān)系型數(shù)據(jù)庫數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)流、實(shí)時(shí)文件數(shù)據(jù)。

（２）數(shù)據(jù)采集：實(shí)時(shí)采集數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)，并將數(shù)據(jù)緩存到分布式消息系統(tǒng)Ｋａｆｋａ 中，通過實(shí)時(shí)采集工具Ｋａｆｋａ 和第三方采集工具（如ＧｏｌｄｅｎＧａｔｅ 數(shù)據(jù)庫）實(shí)時(shí)采集與定制化實(shí)時(shí)采集數(shù)據(jù)。

（３） 實(shí)時(shí)處理引擎：實(shí)時(shí)處理引擎包括ＳｐａｒｋＳｔｒｅａｍｉｎｇ，Ｓｔｒｕｃｔｕｒｅｄ Ｓｔｒｅａｍｉｎｇ，Ｆｌｉｎｋ，Ｓｔｏｒｍ，其主要作用是對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行快速分析。Ｓｔｒｕｃｔｕｒｅｄ Ｓｔｒｅａｍｉｎｇ是基于Ｓｐａｒｋ 的流處理引擎，支持秒以內(nèi)的流處理分析；Ｆｌｉｎｋ 是新一代流處理引擎，支持毫秒級(jí)的流處理分析；Ｓｐａｒｋ Ｓｔｒｅａｍｉｎｇ 以Ｓｐａｒｋ Ｃｏｒｅ 為基礎(chǔ)，提供數(shù)據(jù)的流式計(jì)算功能，支持秒以內(nèi)的流處理分析；Ｓｔｏｒｍ 是一個(gè)事件驅(qū)動(dòng)的實(shí)時(shí)流計(jì)算框架，支持毫秒級(jí)以內(nèi)的流處理分析。一般根據(jù)實(shí)際需求，選擇不同的流計(jì)算引擎。

（ ４）實(shí)時(shí)應(yīng)用：數(shù)據(jù)應(yīng)用是大數(shù)據(jù)技術(shù)和應(yīng)用的目標(biāo)。大數(shù)據(jù)實(shí)時(shí)計(jì)算架構(gòu)為大數(shù)據(jù)的實(shí)時(shí)業(yè)務(wù)應(yīng)用提供了一種通用的架構(gòu)，其需要根據(jù)行業(yè)領(lǐng)域、公司技術(shù)積累以及業(yè)務(wù)場景等，對(duì)業(yè)務(wù)需求、產(chǎn)品設(shè)計(jì)、技術(shù)選型到實(shí)現(xiàn)方案流程等進(jìn)行具體問題具體分析，并應(yīng)用大數(shù)據(jù)可視化技術(shù)，對(duì)其進(jìn)行深入研究，最終形成更為明確的應(yīng)用標(biāo)準(zhǔn)。

５ 重型裝備制造業(yè)大數(shù)據(jù)技術(shù)解決方案

通過構(gòu)建統(tǒng)一的大數(shù)據(jù)共享和分析平臺(tái)，對(duì)重型機(jī)械裝備制造企業(yè)各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測及分析，為集團(tuán)各層次用戶提供統(tǒng)一的決策分析支持，同時(shí)可以提高數(shù)據(jù)的共享與流轉(zhuǎn)、交換能力。

５．１ 總體解決方案

重型機(jī)械裝備制造企業(yè)大數(shù)據(jù)平臺(tái)主要實(shí)現(xiàn)以下幾方面的應(yīng)用。

（１）實(shí)現(xiàn)數(shù)據(jù)共享。通過數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中，確保企業(yè)集團(tuán)各級(jí)部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為企業(yè)重要資產(chǎn)的業(yè)務(wù)價(jià)值。

（２）加強(qiáng)業(yè)務(wù)協(xié)作。各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中進(jìn)行整合，建立產(chǎn)品、客戶等數(shù)據(jù)的企業(yè)級(jí)視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為企業(yè)級(jí)分析、銷售提供基礎(chǔ)。

（３）促進(jìn)業(yè)務(wù)及管理創(chuàng)新。企業(yè)集團(tuán)營銷人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為企業(yè)業(yè)務(wù)及管理創(chuàng)新創(chuàng)造有利條件。

（４）改善數(shù)據(jù)質(zhì)量。從中長期看，數(shù)據(jù)倉庫對(duì)企業(yè)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行整合、清洗，有助于改善企業(yè)整體數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)的實(shí)用性。

（５）提升企業(yè)數(shù)字化、智能化建設(shè)效率。通過大數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)ＩＴ 系統(tǒng)的建設(shè)和運(yùn)行效率。

本文提出的重型機(jī)械裝備制造企業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)是基于信創(chuàng)龍頭企業(yè)“中國電子”的產(chǎn)品線。其主要產(chǎn)品有大數(shù)據(jù)基礎(chǔ)平臺(tái)、數(shù)據(jù)中臺(tái)，如圖１ 所示。

５．２ 大數(shù)據(jù)基礎(chǔ)平臺(tái)技術(shù)架構(gòu)

將中國電子的大數(shù)據(jù)基礎(chǔ)平臺(tái)產(chǎn)品作為解決方案，該公司產(chǎn)品“大數(shù)據(jù)基礎(chǔ)平臺(tái)”兼容Ｈａｄｏｏｐ 等主流開源存儲(chǔ)與計(jì)算引擎、兼容市面上常見的商用大數(shù)據(jù)基礎(chǔ)平臺(tái)，最大化兼容目標(biāo)企業(yè)已有的大數(shù)據(jù)平臺(tái)體系，充分利舊、保護(hù)投資［４］ 。大數(shù)據(jù)基礎(chǔ)平臺(tái)技術(shù)架構(gòu)如圖２ 所示。

５．３ 數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)

在大數(shù)據(jù)平臺(tái)總體架構(gòu)中，作為技術(shù)解決方案架構(gòu)中的核心產(chǎn)品，數(shù)據(jù)中臺(tái)部署于ＩＡＡＳ 層、ＰＡＡＳ 層之上和應(yīng)用體系之下，處于企業(yè)的數(shù)字化轉(zhuǎn)型總體架構(gòu)中的底座位置。數(shù)據(jù)中臺(tái)是大型企業(yè)總體ＩＴ 架構(gòu)中的核心，該產(chǎn)品是構(gòu)建數(shù)據(jù)資產(chǎn)中心的一站式數(shù)據(jù)技術(shù)工具，是支撐各類數(shù)據(jù)應(yīng)用建設(shè)的基礎(chǔ)服務(wù)體系，將長期承載著大型企業(yè)的數(shù)據(jù)資產(chǎn)統(tǒng)一運(yùn)營，提供螺旋向上的數(shù)據(jù)治理與數(shù)據(jù)價(jià)值發(fā)揮的能力。數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)如圖３ 所示。

６ 結(jié)束語

本文從研究背景、問題的提出，再到具體技術(shù)架構(gòu)的研究，對(duì)Ｈａｄｏｏｐ 大數(shù)據(jù)平臺(tái)及生態(tài)圈、Ｓｐａｒｋ 技術(shù)架構(gòu)、大數(shù)據(jù)離線計(jì)算架構(gòu)、實(shí)時(shí)計(jì)算架構(gòu)進(jìn)行闡述，并提出了重型機(jī)械裝備制造企業(yè)以信創(chuàng)龍頭企業(yè)的產(chǎn)品線為基礎(chǔ)的大數(shù)據(jù)平臺(tái)技術(shù)解決方案，旨在為重型機(jī)械裝備制造業(yè)大數(shù)據(jù)平臺(tái)的構(gòu)建提供參考。

參考文獻(xiàn)：

［１］ 盧瀅．大數(shù)據(jù)技術(shù)在智慧工程中的應(yīng)用［Ｊ］．電子技術(shù)與軟件工程，２０２２（２）：２０８?２１１．

［２］ 黃碩．省級(jí)廣電網(wǎng)絡(luò)大數(shù)據(jù)平臺(tái)設(shè)計(jì)與建設(shè)［Ｊ］．廣播與電視技術(shù)，２０２２，４９（６）：８１?８５．

［３］ 凌諾娟．云農(nóng)場智慧服務(wù)大數(shù)據(jù)平臺(tái)研究與實(shí)現(xiàn)［Ｄ］．合肥：安徽農(nóng)業(yè)大學(xué)，２０２２．

［４］ 中國電子技術(shù)標(biāo)準(zhǔn)化研究院．大數(shù)據(jù)平臺(tái)技術(shù)白皮書［Ｒ］．北京：中國電子系統(tǒng)技術(shù)有限公司，２０２１．

作者簡介：汪憶（１９８１—），碩士，高級(jí)工程師，研究方向：大數(shù)據(jù)技術(shù)、人工智能技術(shù)、機(jī)械裝備制造業(yè)信息化、高等職業(yè)教育。