梁仲峰 陸冰芳

[摘 要]隨著“云大物智移”技術(shù)成為越發(fā)成熟的前沿技術(shù)，一定程度上顛覆了電能質(zhì)量監(jiān)測、電能量數(shù)據(jù)、配網(wǎng)設(shè)備數(shù)據(jù)分析等電網(wǎng)業(yè)務(wù)的傳統(tǒng)信息處理和數(shù)據(jù)分析方法。目前，公司數(shù)據(jù)應(yīng)用需求呈現(xiàn)出顯著的數(shù)量激增、類型多樣、響應(yīng)敏捷要求持續(xù)提升的發(fā)展態(tài)勢，對各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)融合、數(shù)據(jù)共享也提出更多更高的要求，研究分析能力、數(shù)據(jù)處理能力更強的數(shù)據(jù)分析方式具有重要的意義。在此基礎(chǔ)上，一站式可視化數(shù)據(jù)維運管理平臺是大數(shù)據(jù)背景下的必然發(fā)展方向，而在這個管理平臺建設(shè)中，全鏈路數(shù)據(jù)管理方式發(fā)揮著重要作用。本文以全鏈路數(shù)據(jù)管理為主題，分析全鏈路的應(yīng)用價值，旨在為相關(guān)研究提供借鑒。

[關(guān)鍵詞]一站式;可視化;數(shù)據(jù)運維管理平臺建設(shè);全鏈路;應(yīng)用價值

doi：10.3969/j.issn.1673 - 0194.2020.02.073

[中圖分類號]TN931.3[文獻標識碼]A[文章編號]1673-0194（2020）02-0-03

1? ? ?全鏈路數(shù)據(jù)管理概述

大數(shù)據(jù)全鏈路數(shù)據(jù)管理的前期基礎(chǔ)工作是歸納行業(yè)領(lǐng)域大數(shù)據(jù)處理流程，總結(jié)現(xiàn)有的大數(shù)據(jù)處理平臺在傳統(tǒng)大數(shù)據(jù)處理的最基本流程，如圖1所示。通過對大數(shù)據(jù)各個基本流程的接駁，向上屏蔽底層數(shù)據(jù)傳輸、環(huán)境配置等細節(jié)，向數(shù)據(jù)開發(fā)人員提供全鏈路數(shù)據(jù)開發(fā)工具，使數(shù)據(jù)開發(fā)人員能從煩瑣的數(shù)據(jù)傳輸、環(huán)境配置等任務(wù)中解放出來，專注于業(yè)務(wù)敏捷開發(fā)。同時，由于數(shù)據(jù)開發(fā)會不斷產(chǎn)生新的數(shù)據(jù)，數(shù)據(jù)管理的概念也因而成為日常應(yīng)用過程中的一個關(guān)鍵點。因為數(shù)據(jù)會不斷地衍生出新的數(shù)據(jù)，任何數(shù)據(jù)改動都會導(dǎo)致一連串的連鎖反應(yīng)。為了理清大數(shù)據(jù)處理過程中新數(shù)據(jù)與原有數(shù)據(jù)的關(guān)系，評估對現(xiàn)有數(shù)據(jù)的改動會造成的影響和風險，需要記錄數(shù)據(jù)從產(chǎn)生到被消費的元數(shù)據(jù)，開展全鏈路數(shù)據(jù)管理功能具有充足的必要性，數(shù)據(jù)采集、數(shù)據(jù)開發(fā)（離線/實時計算）、存儲、線上回流、可視化展示等是全鏈路數(shù)據(jù)管理的基本步驟。

1.1? ?數(shù)據(jù)采集

數(shù)據(jù)采集是對數(shù)據(jù)進行ETL（Extract-Transform-Load）操作，對數(shù)據(jù)進行抽?。‥xtract）、轉(zhuǎn)換（Transform）、加載（Load）到目的端的過程。對于大數(shù)據(jù)采集系統(tǒng)，主要分為以下3類：系統(tǒng)日志采集系統(tǒng)，如Flume;網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)，如Apache Nutch、Crawler4j、Scrapy等;數(shù)據(jù)集成系統(tǒng)，如MySQL、Oracle、NoSQL等。

1.2? ?數(shù)據(jù)開發(fā)

數(shù)據(jù)開發(fā)是最復(fù)雜的一個環(huán)節(jié)，在這個環(huán)節(jié)中，用戶可以使用批處理工具、實時流處理工具和機器學(xué)習(xí)算法進行開發(fā)，挖掘出潛藏在海量數(shù)據(jù)中的價值。但是無論采用何種技術(shù)，只要使用開源命令行的方式，執(zhí)行錯一個命令，在上萬行的命令里，再重新找出錯誤的命令將會付出比較高昂的代價。

1.3? ?數(shù)據(jù)儲存

數(shù)據(jù)存儲是對海量異構(gòu)數(shù)據(jù)提供存儲功能，為了滿足企業(yè)數(shù)據(jù)多樣化的存儲和應(yīng)用需要，數(shù)據(jù)存儲應(yīng)含結(jié)構(gòu)化數(shù)據(jù)存儲、非結(jié)構(gòu)化數(shù)據(jù)存儲和時序數(shù)據(jù)存儲。

1.4? ?數(shù)據(jù)回流

數(shù)據(jù)回流指將處理好的數(shù)據(jù)，回到非分布式數(shù)據(jù)庫上供門戶系統(tǒng)展示使用。由于門戶系統(tǒng)展示具有高并發(fā)的特點，分布式數(shù)據(jù)庫不適用高并發(fā)查詢。因此需要將用戶利用分布式集群計算好的結(jié)果數(shù)據(jù)回流到非分布式數(shù)據(jù)庫，再提供給門戶系統(tǒng)做展示使用。

1.5? ?可視化展示

可視化展示指提供常用普適的數(shù)據(jù)可視化功能，使開發(fā)人員能更便捷地探索原始數(shù)據(jù)，或更直觀明了地展示開發(fā)成果數(shù)據(jù)。全鏈路數(shù)據(jù)管理就是為上述各個步驟提供一個無縫銜接的集成開發(fā)環(huán)境（IDE），以降低數(shù)據(jù)開發(fā)人員的技術(shù)門檻，充分調(diào)動企業(yè)的大數(shù)據(jù)挖掘活力。目前，行業(yè)給出的解決方案是將各個步驟的功能封裝成基于模板的可復(fù)用的自定制模塊。在自定制模塊集成方面，通過基于Soot控制流的靜態(tài)代碼檢測算法，檢測出開源算法中對輸入輸出參數(shù)的I/O文件操作，并給用戶修改提示。由此，用戶無須解決底層組件的編程集成問題，只要通過選擇模塊并進行配置（如配置數(shù)據(jù)源、配置機器學(xué)習(xí)參數(shù)等）即可完成大數(shù)據(jù)采集、數(shù)據(jù)開發(fā)、存儲、線上回流、可視化展示等任務(wù)。

2? ? ?全鏈路數(shù)據(jù)管理的價值

大數(shù)據(jù)的結(jié)構(gòu)模型和核心路徑是通過采集、存儲、處理、分析、應(yīng)用、可視化展現(xiàn)的大數(shù)據(jù)全生命周期，即整個大數(shù)據(jù)鏈條。在多渠道的數(shù)據(jù)集成、企業(yè)級大數(shù)據(jù)存儲、離線批處理計算、實時流處理計算、可視化工作流開發(fā)IDE等方面都存在重要的作用。

2.1? ?有利于多渠道數(shù)據(jù)集成技術(shù)研究

目前，數(shù)據(jù)集成平臺僅根據(jù)應(yīng)用需求接入了部分結(jié)構(gòu)化數(shù)據(jù)，未包括全部系統(tǒng)、全部業(yè)務(wù)數(shù)據(jù)表;已接入的數(shù)據(jù)中未含圖片、文件、音視頻等非結(jié)構(gòu)化數(shù)據(jù);同時也未提供實時或準實時數(shù)據(jù)，調(diào)度、計量等準實時數(shù)據(jù)主要通過海量準實時數(shù)據(jù)平臺提供。為了擴大平臺的數(shù)據(jù)接入范圍，需研究離線導(dǎo)入包括MySQL、Oracle等主流關(guān)系數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)技術(shù)。研究離線導(dǎo)入包括文本數(shù)據(jù)、日志數(shù)據(jù)、語音視頻等非結(jié)構(gòu)化數(shù)據(jù)技術(shù)。由于業(yè)務(wù)系統(tǒng)龐大，傳感器測量技術(shù)、通信技術(shù)和計算機技術(shù)等在電網(wǎng)中的廣泛使用，平臺需要集成的結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和實時數(shù)據(jù)量非常龐大。為了支持多渠道數(shù)據(jù)接入功能，需要研究高強度數(shù)據(jù)壓縮及加密傳輸技術(shù)，以保證工作順利、安全進行。

2.2? ?有利于企業(yè)級大數(shù)據(jù)存儲技術(shù)研究

為了提升數(shù)據(jù)集成平臺為高端應(yīng)用提供數(shù)據(jù)支撐的能力，數(shù)據(jù)集成平臺需要具備大數(shù)據(jù)存儲能力。大數(shù)據(jù)存儲包含結(jié)構(gòu)化數(shù)據(jù)存儲、非結(jié)構(gòu)化數(shù)據(jù)存儲和時序數(shù)據(jù)存儲。從存儲技術(shù)來看，單一的數(shù)據(jù)存儲技術(shù)很難滿足企業(yè)數(shù)據(jù)存儲和應(yīng)用的需要，應(yīng)研究多類型存儲支持技術(shù)，包括OLAP數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫、分布式文件系統(tǒng)、SQL、NoSQL等。從數(shù)據(jù)資產(chǎn)安全方面看，數(shù)據(jù)資產(chǎn)對企業(yè)而言是一筆非常重要的財產(chǎn)，平臺應(yīng)充分考慮可靠性建設(shè)，研究存儲系統(tǒng)高可靠容災(zāi)設(shè)計，即使某些節(jié)點崩潰，數(shù)據(jù)也能從別的備份中尋回。從可持續(xù)發(fā)展方面看，電網(wǎng)數(shù)據(jù)量增長速度快，存儲系統(tǒng)應(yīng)具備動態(tài)擴展能力，即存儲系統(tǒng)可動態(tài)地隨企業(yè)數(shù)據(jù)量增加，實現(xiàn)從G到P級的動態(tài)擴容。為了保證平臺對高層應(yīng)用的數(shù)據(jù)供給服務(wù)的穩(wěn)定性，平臺需要具備不停機動態(tài)擴容的能力。

2.3? ?有利于離線批處理計算技術(shù)的研究

針對離線批處理系統(tǒng)具有先存儲后計算、數(shù)據(jù)的準確性和全面性要求高等特點，為了支撐企業(yè)數(shù)倉建設(shè)中的數(shù)據(jù)清洗、轉(zhuǎn)換、匯集、主題提取等數(shù)據(jù)處理需求，需要研究MapReduce、Hive、Pig等批處理工具，以支持大數(shù)據(jù)計算作業(yè)。研究Spark分布式內(nèi)存計算框架，在內(nèi)存中對數(shù)據(jù)集進行快速多次迭代計算，以支持復(fù)雜的數(shù)據(jù)挖掘算法和圖計算算法。研究豐富的作業(yè)調(diào)度策略支持，包含分鐘、小時、天、月級周期或非周期的任務(wù)執(zhí)行策略，以支持高級應(yīng)用的數(shù)據(jù)需求，使高層應(yīng)用可以按需自定義作業(yè)周期。

2.4? ?有利于實時流處理計算技術(shù)的研究

電力大數(shù)據(jù)的數(shù)據(jù)量大、種類繁多與產(chǎn)生速度快等特點，使狀態(tài)監(jiān)測與電能計量等數(shù)據(jù)逐漸構(gòu)成了大規(guī)模數(shù)據(jù)流。研究全鏈路數(shù)據(jù)管理有利于處理引擎處理這些大規(guī)模實時數(shù)據(jù)，以此覆蓋實時要求極高的流式作業(yè)場景。研究基于Spark Streaming或Storm技術(shù)，以滿足毫秒級的實時計算場景需求，如實時推薦、用戶行為分析等。

2.5? ?有利于實現(xiàn)可視化工作流開發(fā)IDE的研究

全鏈路數(shù)據(jù)管理能促進拖拽式的可視化工作流開發(fā)的IDE研究，研究向上層屏蔽環(huán)境配置等技術(shù)細節(jié)，使用戶可以通過簡單的Web式拖拽操作完成整個大數(shù)據(jù)工作流的任務(wù)開發(fā)，使業(yè)務(wù)人員和數(shù)據(jù)開發(fā)人員能夠?qū)ＷI(yè)務(wù)問題，而不是處理環(huán)境配置問題。研究大數(shù)據(jù)基本流程的模塊化封裝，以向用戶提供豐富的處理器。研究包括離線數(shù)據(jù)導(dǎo)入導(dǎo)出、在線實時數(shù)據(jù)接入、Java程序、Shell腳本、Hive腳本、機器學(xué)習(xí)等多種任務(wù)的模塊化封裝和配置集成。

2.6? ?有利于非結(jié)構(gòu)化數(shù)據(jù)檢索及檢索分析技術(shù)的研究

全鏈路數(shù)據(jù)管理能促進文本搜索引擎研究，向用戶提供友好的分布式多用戶能力的全文搜索服務(wù)。研究支持TB級別的全文檢索應(yīng)用。研究在萬級緯度、千億數(shù)據(jù)規(guī)模下向用戶提供毫秒級高性能檢索分析服務(wù)，以滿足用戶的檢索分析場景需求。

3? ? ?結(jié) 語

全鏈路數(shù)據(jù)管理方式能增強數(shù)據(jù)處理、分析能力，能為公司各業(yè)務(wù)部門提供強有力的多元化數(shù)據(jù)分析計算技術(shù)支撐，能有效實現(xiàn)業(yè)務(wù)數(shù)據(jù)全過程信息化、標準化管控，實現(xiàn)各專業(yè)數(shù)據(jù)流通和協(xié)同，促進數(shù)據(jù)共享和融合，挖掘數(shù)據(jù)潛在價值，支撐和促進公司產(chǎn)業(yè)發(fā)展新布局的落地，使南網(wǎng)公司“一主兩翼、國際拓展”產(chǎn)業(yè)發(fā)展新布局不斷推進，是跨專業(yè)的業(yè)務(wù)數(shù)據(jù)分析應(yīng)用、各專業(yè)數(shù)據(jù)的共享和融合業(yè)務(wù)改革的必然方向，在一站式可視化數(shù)據(jù)運維管理平臺建設(shè)中具有重要作用。

主要參考文獻

[1]趙麗梅，張花.基于全鏈路平臺構(gòu)建的高校數(shù)字圖書館聯(lián)盟運行體系研究[J].圖書館學(xué)刊，2019（4）.

[2]王曉磊，馬梅芳，魏樂，等.基于多載體可視化展現(xiàn)平臺的企業(yè)業(yè)務(wù)融合的研究與應(yīng)用[J].計算機產(chǎn)品與流通，2017（7）.

[3]周幫，周維，黃文德，等.一種面向GNSS應(yīng)用的數(shù)據(jù)共享平臺實現(xiàn)方法[J].全球定位系統(tǒng)，2017（6）.

[4]丁繼成，吳謀炎，趙琳，等.基于嵌入式平臺的GNSS/INS組合導(dǎo)航時間同步方法研究[J].遙測遙控，2016（3）.