陳禹旭，任昊文，黃焯恒

(南方電網(wǎng)數(shù)字電網(wǎng)研究院有限公司 平臺安全分公司，廣東 廣州 510663)

隨著我國經(jīng)濟的快速發(fā)展，電網(wǎng)數(shù)據(jù)的規(guī)模與維數(shù)日益增長。同時，我國售電側(cè)的市場改革也在同步進行中，競爭越來越激烈[1]，傳統(tǒng)電網(wǎng)面臨更多的挑戰(zhàn)。在數(shù)字化時代，電力作為傳統(tǒng)產(chǎn)業(yè)，也應(yīng)在生產(chǎn)資料、數(shù)據(jù)信息等要素方面進行數(shù)字化。通過產(chǎn)業(yè)升級手段，讓傳統(tǒng)物理電網(wǎng)逐步向數(shù)字電網(wǎng)轉(zhuǎn)型。數(shù)字電網(wǎng)就是以電網(wǎng)數(shù)據(jù)為核心，依賴數(shù)字化平臺構(gòu)建出數(shù)字化的電網(wǎng)服務(wù)，實現(xiàn)平臺賦能和業(yè)務(wù)創(chuàng)新，是目前電網(wǎng)創(chuàng)新建設(shè)的新思路、新模式。當(dāng)前電力企業(yè)的電網(wǎng)積極向數(shù)字電網(wǎng)方向升級，但由于電網(wǎng)中各個業(yè)務(wù)的應(yīng)用系統(tǒng)相對獨立，往往缺乏統(tǒng)一的標(biāo)準規(guī)范，在運營和功能實現(xiàn)上通常參差不齊，在系統(tǒng)層面沒有統(tǒng)籌規(guī)劃，造成業(yè)務(wù)模塊之間的業(yè)務(wù)協(xié)同不是十分有效。在轉(zhuǎn)型過程中，數(shù)據(jù)作為重要的生產(chǎn)資料，越來越多地體現(xiàn)出經(jīng)濟價值，被運用到新的商業(yè)模式中，數(shù)據(jù)中臺也因此產(chǎn)生。數(shù)據(jù)中臺服務(wù)可以作為電力企業(yè)重要的系統(tǒng)支撐[2]，構(gòu)成各種業(yè)務(wù)的全覆蓋監(jiān)測功能。中臺的概念源于芬蘭游戲公司Supercell，并且由阿里巴巴對其進行概念延伸，成為企業(yè)數(shù)字化轉(zhuǎn)型的重要一環(huán)。數(shù)據(jù)中臺服務(wù)通常與邊緣計算進行協(xié)同，結(jié)合起來對電網(wǎng)終端采集到的數(shù)據(jù)進行部署和智能監(jiān)測，承擔(dān)計算壓力并將其分配給邊緣側(cè)[3]。在數(shù)字電網(wǎng)的新形態(tài)下，通過中臺服務(wù)全鏈路監(jiān)控可以有效引導(dǎo)企業(yè)進行數(shù)據(jù)的聚合與復(fù)用，有效賦能前端業(yè)務(wù)應(yīng)用和業(yè)務(wù)的靈活調(diào)整。本文將數(shù)據(jù)中臺的數(shù)據(jù)處理能力與電網(wǎng)日志信息的投遞相結(jié)合，減輕在電網(wǎng)全鏈路監(jiān)控中的計算壓力，提升數(shù)據(jù)監(jiān)控的能力。

1 全鏈路數(shù)據(jù)監(jiān)控概述

1.1 數(shù)據(jù)采集開發(fā)流程

全鏈路的數(shù)據(jù)監(jiān)控包括數(shù)據(jù)采集、數(shù)據(jù)開發(fā)、數(shù)據(jù)存儲、數(shù)據(jù)回流以及數(shù)據(jù)展示[4]。數(shù)據(jù)采集就是對電網(wǎng)數(shù)據(jù)進行ETL操作。ETL操作就是指抽取(Extract)、轉(zhuǎn)換(Transform)、加載(Load)三個部分，幾乎所有電網(wǎng)數(shù)據(jù)的采集過程都依賴上述操作，對于電網(wǎng)數(shù)據(jù)多為日志信息的收集和匯總；對于網(wǎng)絡(luò)數(shù)據(jù)的采集，則會采用Apache Nutch等。而電網(wǎng)數(shù)據(jù)的開發(fā)是比較重要的環(huán)節(jié)。利用實時流處理工具、機器算法工具對數(shù)據(jù)進行批處理[5]，對數(shù)據(jù)背后的信息進行挖掘。然后，對海量的異構(gòu)數(shù)據(jù)進行存儲，無論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)，都需要進行數(shù)據(jù)分類與識別，從而進行有效的數(shù)據(jù)存儲。其次，數(shù)據(jù)回流的作用就是將處理后的數(shù)據(jù)反饋給系統(tǒng)，由門戶系統(tǒng)進行使用和處理。同時，為了系統(tǒng)的高效運行，數(shù)據(jù)在回流到非分布式數(shù)據(jù)庫的過程中會用到分布式集群的計算方法。數(shù)據(jù)展示是將計算后的電網(wǎng)數(shù)據(jù)可視化，通過屏幕或者App進行可視化功能的實現(xiàn)。該流程的具體描述如圖1所示。

圖1 全鏈路監(jiān)控的數(shù)據(jù)處理優(yōu)化流程

1.2 邊緣計算

邊緣計算的含義是指在網(wǎng)絡(luò)的邊緣側(cè)緊鄰人、物或者數(shù)據(jù)端進行資源利用，是實現(xiàn)計算、存儲、應(yīng)用等核心功能融合的新型網(wǎng)絡(luò)架構(gòu)[8]。邊緣計算具有十分明顯的優(yōu)勢，在網(wǎng)絡(luò)邊緣側(cè)可以直接提供服務(wù)，有助于使計算資源的利用率達到最大化。上述功能可以滿足用戶對海量數(shù)據(jù)的低時延、大數(shù)據(jù)量的需求，有效減少回程鏈路的負載，提高共享服務(wù)的能力。

邊緣計算與傳統(tǒng)的計算體系結(jié)構(gòu)具有明顯差異，尤其不同于分布式的云計算體系[9]，邊緣計算網(wǎng)絡(luò)綜合了上述兩種網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)點，既包含資源的高聚合性、管理的簡單性、低網(wǎng)絡(luò)依賴性和高可擴展性，又具備對網(wǎng)絡(luò)的低依賴性和較高的資源利用率，其框架包含設(shè)備域、網(wǎng)絡(luò)域、數(shù)據(jù)域和應(yīng)用域[10]，具體地如圖2所示。

在應(yīng)用域上實現(xiàn)電網(wǎng)數(shù)據(jù)全周期的管理，包括業(yè)務(wù)數(shù)據(jù)的可視化處理功能和設(shè)備運營方式的實現(xiàn)[11]。而數(shù)據(jù)的收集與互操作則依賴數(shù)據(jù)域上的功能來實現(xiàn)，并且充分考慮數(shù)據(jù)的隱私性和安全性，對數(shù)據(jù)進行有效、合理的分析。網(wǎng)絡(luò)域作為數(shù)據(jù)實時連接與網(wǎng)絡(luò)安全的重要支撐，承載起數(shù)據(jù)聚合和數(shù)據(jù)連接的任務(wù)[12]。設(shè)備域則用來掌握設(shè)備安全與操作系統(tǒng)，利用通信網(wǎng)絡(luò)，依靠傳感器、電表采集終端等設(shè)備，能夠為數(shù)字電網(wǎng)設(shè)備實現(xiàn)實時智能應(yīng)用提供有力的支撐。

圖2 邊緣計算體系結(jié)構(gòu)圖

2 數(shù)據(jù)中臺服務(wù)

2.1 數(shù)據(jù)中臺功能架構(gòu)

數(shù)據(jù)中臺依于企業(yè)級的業(yè)務(wù)能力，將電力企業(yè)的核心業(yè)務(wù)能力劃分為各種服務(wù)中心，基于某種共性服務(wù)構(gòu)建服務(wù)處理功能[13]，通常采用微服務(wù)的架構(gòu)，在中臺的共享服務(wù)中心下建設(shè)多個微服務(wù)中心，電網(wǎng)中的各類微服務(wù)應(yīng)用可以調(diào)用中臺的微服務(wù)。而數(shù)據(jù)中臺的能力相對比較復(fù)雜，通常包括電網(wǎng)數(shù)據(jù)的接入、云資源的存儲、電網(wǎng)數(shù)據(jù)的分析、電網(wǎng)數(shù)據(jù)服務(wù)、數(shù)據(jù)資產(chǎn)的管理與運營，其功能架構(gòu)圖如圖3所示。

圖3 數(shù)據(jù)中臺功能架構(gòu)圖

2.2 數(shù)據(jù)流轉(zhuǎn)架構(gòu)

數(shù)據(jù)中臺主要用于匯聚各類資源數(shù)據(jù)，業(yè)務(wù)中臺則用來接收數(shù)據(jù)，形成共享業(yè)務(wù)數(shù)據(jù)，并作為計算結(jié)果進行反饋，對業(yè)務(wù)數(shù)據(jù)進行操作，主要是反饋給數(shù)據(jù)中臺的貼源層，用以數(shù)據(jù)分析。數(shù)據(jù)中臺的設(shè)計技術(shù)架構(gòu)如圖4所示，其主要由數(shù)據(jù)服務(wù)調(diào)度、分析層、共享層、貼源層和數(shù)據(jù)資產(chǎn)管理組成。貼源層的設(shè)計目的是容納源端數(shù)據(jù)的接入功能，將各類內(nèi)外部數(shù)據(jù)進行匯總，匯總的方式多種多樣，主要包括批量接入和實時接入。而共享層可以實現(xiàn)數(shù)據(jù)的存儲和整合，遵循SG-GIM的模型，對貼源層的數(shù)據(jù)進行存儲與整合，在形成資產(chǎn)域的過程中，需要完成對數(shù)據(jù)的整合處理。分析層則以業(yè)務(wù)為導(dǎo)向，對共享層提供的數(shù)據(jù)進行加工，形成報表分析、算法模型等數(shù)據(jù)產(chǎn)品。

圖4 技術(shù)架構(gòu)

數(shù)據(jù)中臺存儲的電網(wǎng)數(shù)據(jù)日志量較為巨大，每日產(chǎn)生的數(shù)據(jù)日志信息包含了常見的電網(wǎng)故障信息、電能情況以及對應(yīng)的時間、IP地址、運行環(huán)境信息。同時包含設(shè)備日志操作信息，包括各類操作參數(shù)等等。數(shù)據(jù)中臺的投遞策略也是依靠數(shù)據(jù)共享能力實現(xiàn)，常見的日志投遞功能是將原始的電網(wǎng)日志信息通過網(wǎng)絡(luò)輸送到特定的地址或設(shè)備，對原始數(shù)據(jù)進行進一步處理，實現(xiàn)降低網(wǎng)絡(luò)負載，輕量化中臺的數(shù)據(jù)業(yè)務(wù)開銷的目的。數(shù)據(jù)流轉(zhuǎn)策略如圖5所示，讓大顆粒度的業(yè)務(wù)數(shù)據(jù)逐步向細粒度轉(zhuǎn)變，并且將數(shù)據(jù)與應(yīng)用分離，以實現(xiàn)中臺服務(wù)，并利用日志投遞的方式實現(xiàn)數(shù)字電網(wǎng)核心業(yè)務(wù)，從而實現(xiàn)整體的架構(gòu)。

圖5 數(shù)據(jù)流轉(zhuǎn)演進策略

中臺服務(wù)的開發(fā)是基于接口語法定義的格式，通過對接口的有效定義，有助于在開發(fā)中對設(shè)備信息進行描述與處理。而基于日志投遞的系統(tǒng)接口，保證智能電表監(jiān)控終端在系統(tǒng)命令觸發(fā)下完成對應(yīng)的監(jiān)控與分析動作。接口需要符合一定的格式，在中臺服務(wù)開發(fā)中，首先要對設(shè)計的各類日志投遞的接口進行定義，具體如表1所示。

表1 接口定義

全鏈路監(jiān)控的模式是對某個設(shè)備的控制行為。在應(yīng)用層，借助本地通信技術(shù)建立與采集終端之間的通信。依照要求對全局日志進行投遞，捕獲鏈路異常情況，以實現(xiàn)功能。在這個過程中，平臺采用規(guī)則引擎比對的方式對電網(wǎng)數(shù)據(jù)進行管理與識別，在達到某函數(shù)的觸發(fā)條件時就會實施計算命令。本地函數(shù)的計算過程和計算結(jié)果統(tǒng)一由平臺的計算引擎進行歸一化管理。函數(shù)名稱作為重要的計算規(guī)則調(diào)用參數(shù)被計算引擎采納，從而完成函數(shù)的啟動程序，直至結(jié)果的最終實現(xiàn)。交互協(xié)議的設(shè)備升級的消息格式如表2所示。

通常情況下，傳統(tǒng)服務(wù)器中的數(shù)據(jù)塊都是內(nèi)容龐大的，數(shù)據(jù)鏈路上的數(shù)據(jù)傳輸十分擁堵，大量的資源被占用，且資源利用率十分低下。并且，傳統(tǒng)方式會采用原始數(shù)據(jù)塊進行完整比對，既可能造成數(shù)據(jù)污染，又會給數(shù)據(jù)校驗工作帶來麻煩，影響監(jiān)控效率。因此，在數(shù)據(jù)中臺優(yōu)化中，采用MD5校驗碼來完成比對工作。它是一種典型的大文本信息摘要的應(yīng)用，具備防篡改功能。首先，可將全局日志投遞的數(shù)據(jù)采集速度視為恒定，為了考慮數(shù)據(jù)塊的大小對校驗碼傳輸與比對次數(shù)的影響，既要保證每次數(shù)據(jù)量傳輸?shù)男剩忠獪p少校驗碼的生成與傳輸次數(shù)過多的問題?？蓪⑼哆f的日志數(shù)據(jù)塊容量設(shè)置為1 M。其監(jiān)測方式是在服務(wù)器上首先計算出數(shù)據(jù)塊A的md5校驗碼Amd5，將校驗碼和數(shù)據(jù)塊的特征量和偏移量同時投遞到計算平臺。根據(jù)特征量與偏移量的共同提示信息，搜索出對應(yīng)的下一數(shù)據(jù)塊B的信息。然后，同樣地，對數(shù)據(jù)塊B計算md5校驗碼Bmd5。通過比較校驗碼Amd5與校驗碼Bmd5是否相同來確認是否成功完成了日志投遞。在實現(xiàn)日志投遞后，就會進行跳轉(zhuǎn)投遞，并開始使服務(wù)器處理下一數(shù)據(jù)塊。

表2 交互協(xié)議中全鏈路監(jiān)控的消息格式

3 實驗驗證

3.1 全鏈路監(jiān)控的業(yè)務(wù)場景實現(xiàn)

本項目的全鏈路監(jiān)控技術(shù)的實測現(xiàn)場布設(shè)于南網(wǎng)某電力公司。依照上述開發(fā)過程，在實際應(yīng)用中進行全鏈路的監(jiān)控時，運維人員在前端界面點擊發(fā)送指令，鏈路就開始執(zhí)行自檢操作，監(jiān)控的反饋結(jié)果即時通過日志投遞方式在界面顯示。主站運行的頁面如圖6所示。

圖6 電網(wǎng)主站運行的全鏈路監(jiān)控場景界面

日志系統(tǒng)不僅會完整記錄每臺設(shè)備下執(zhí)行的每次歷史操作與其操作結(jié)果，而且每次監(jiān)測鏈路間的詳細通信情況都會被展示，異常節(jié)點能夠直觀顯示。同時，通過與傳統(tǒng)的全鏈路監(jiān)測方法進行比對測試，測試24小時內(nèi)兩種監(jiān)控捕獲的鏈路異常情況，測試結(jié)果如圖7所示。紅色折線圖為本文實現(xiàn)的方式，藍色折線圖為傳統(tǒng)電網(wǎng)的監(jiān)測手段，不依賴于數(shù)據(jù)中臺服務(wù)。通過實驗數(shù)據(jù)結(jié)論可以得出本文設(shè)計的全鏈路監(jiān)控方法的可行性和有效性，對于異常的監(jiān)測預(yù)警準確性更高。

圖7 鏈路監(jiān)控對比圖

4 結(jié) 論

針對中臺服務(wù)全鏈路監(jiān)控的功能進行分析，在闡述了全鏈路監(jiān)控的研究現(xiàn)狀之后，針對中臺服務(wù)中的關(guān)鍵技術(shù)——邊緣計算技術(shù)進行展開，闡述了基于日志投遞的全鏈路監(jiān)控的實現(xiàn)流程，對其中的電網(wǎng)數(shù)據(jù)流轉(zhuǎn)處理過程進行設(shè)計。然后展開對整個數(shù)據(jù)和業(yè)務(wù)中臺的設(shè)計，并對其中的重點投遞接口模塊進行分析和實現(xiàn)。最后，對實現(xiàn)全鏈路監(jiān)控的中臺服務(wù)進行實驗驗證，說明該數(shù)據(jù)中臺具有對業(yè)務(wù)場景的監(jiān)控管理功能。并與傳統(tǒng)電網(wǎng)監(jiān)控的方式進行對比，說明基于日志投遞功能的全鏈路監(jiān)控中臺服務(wù)的可行性和準確性。在未來的研究中，提高日志投遞的快速算法能力是十分重要的研究方向，將是后續(xù)研究的重點。