趙增濤,羅 勇,梁成輝
(1.南方電網(wǎng)調(diào)峰調(diào)頻發(fā)電有限公司,廣東省廣州市 510630;2. 天生橋二級水力發(fā)電有限公司,貴州省興義市 562400;3.威海欣智信息科技有限公司,山東省威海市 264209)
智能電網(wǎng)、能源互聯(lián)網(wǎng)和泛在電力物聯(lián)網(wǎng)的提出和持續(xù)發(fā)展[1-3],推動著電力企業(yè)數(shù)字化轉(zhuǎn)型走向縱深。組織機(jī)構(gòu)、系統(tǒng)、設(shè)備、部件等各個維度的所有與電力系統(tǒng)運轉(zhuǎn)相關(guān)的現(xiàn)實世界對象(Real World Object,RWO)以及管理、協(xié)調(diào)這些RWO的對象,都經(jīng)由數(shù)字化相互聯(lián)系、彼此協(xié)作,形成企業(yè)寶貴的數(shù)據(jù)資源,支撐著電力系統(tǒng)能量流和信息流的不斷優(yōu)化[4],提高電力系統(tǒng)安全性、穩(wěn)定性、經(jīng)濟(jì)性和智能化水平。
電力企業(yè)為提升數(shù)據(jù)資源價值和管理有效性的工作一直在進(jìn)行,并隨著信息和網(wǎng)絡(luò)技術(shù)的發(fā)展和數(shù)據(jù)資源總量的增長,數(shù)據(jù)資源利用和數(shù)據(jù)及服務(wù)共享適應(yīng)性地采用了各種可用的主流技術(shù)。從早期電力系統(tǒng)自動化采用的大主機(jī)模式,到基于分布式網(wǎng)絡(luò),再到建設(shè)調(diào)控云[5]、采用分布式計算和大數(shù)據(jù)技術(shù)建立企業(yè)級海量數(shù)據(jù)平臺、大數(shù)據(jù)平臺[6-8],以及建立基于統(tǒng)一公共信息模型的對象化在線監(jiān)測或配用電網(wǎng)全域數(shù)據(jù)平臺等[9-11],一定程度上消除了業(yè)務(wù)系統(tǒng)數(shù)據(jù)的“煙囪”效應(yīng)[12],促進(jìn)了信息共享。
電力企業(yè)數(shù)據(jù)資源規(guī)模增長的趨勢是越來越快,電力企業(yè)通過建設(shè)大數(shù)據(jù)平臺、海量數(shù)據(jù)平臺等手段,一定程度上仍然會受限于特定的平臺構(gòu)建技術(shù),導(dǎo)致技術(shù)升級的阻力變大?;谔囟ǖ钠脚_選型,維護(hù)工作涉及平臺虛擬資源調(diào)度、分布式計算管理、數(shù)據(jù)流式處理、消息遞送等等全棧技術(shù),其難度、復(fù)雜度以及帶來的工作量都非常巨大。
企業(yè)中臺是融合多條線業(yè)務(wù)系統(tǒng)數(shù)據(jù)的信息共享和服務(wù)發(fā)布平臺,利用已有業(yè)務(wù)的數(shù)據(jù)、通過共享服務(wù)體系推動業(yè)務(wù)創(chuàng)新[13-14]。中臺內(nèi)的數(shù)據(jù)是相對穩(wěn)定的、非快速變化,是企業(yè)運轉(zhuǎn)過程中沉淀下來的極具價值的資產(chǎn)型數(shù)據(jù)。基于云計算平臺構(gòu)建電力企業(yè)中臺能夠避免引入過多基礎(chǔ)技術(shù)方面的問題,從而使團(tuán)隊可集中力量解決數(shù)據(jù)資源管理、共享服務(wù)方面的問題。在提高新技術(shù)迭代更新水平、計算資源利用效率、系統(tǒng)安全性等方面,企業(yè)中臺具有極大的優(yōu)勢。
本文研究基于云計算環(huán)境構(gòu)建電力企業(yè)中臺。分析阿里云可用的云服務(wù),結(jié)合中臺數(shù)據(jù)管理和服務(wù)體系構(gòu)建的需求,在企業(yè)中臺內(nèi)實現(xiàn)元數(shù)據(jù)管理、數(shù)據(jù)資源管理、共享服務(wù)發(fā)布等關(guān)鍵功能。利用阿里云大數(shù)據(jù)計算提供的數(shù)據(jù)集成、大數(shù)據(jù)計算服務(wù),完成中臺管理業(yè)務(wù)系統(tǒng)數(shù)據(jù)的綜合分析統(tǒng)計。大數(shù)據(jù)分析形成的結(jié)果數(shù)據(jù)作為新的數(shù)據(jù)資源補(bǔ)充到中臺,作為新型業(yè)務(wù)的基礎(chǔ)數(shù)據(jù)。云化構(gòu)建電力企業(yè)中臺,實質(zhì)性提升數(shù)據(jù)資源的整合和共享能力,為業(yè)務(wù)快速響應(yīng)變化提供助力。
云計算利用計算機(jī)集群構(gòu)成統(tǒng)一協(xié)調(diào)的計算資源,為用戶提供按需、便捷訪問共享資源池(計算設(shè)施、存儲設(shè)備、應(yīng)用程序等)的服務(wù)[15]。云計算平臺的核心服務(wù)層提供的服務(wù)包括基礎(chǔ)設(shè)施即服務(wù)(IaaS, infrastructure as a service)、平 臺 即 服 務(wù)(PaaS, platform as a service)、軟件 即 服 務(wù)(SaaS, software as a service)[16]。其 中,IaaS提供實體或虛擬的計算、存儲和網(wǎng)絡(luò)服務(wù),PaaS提供應(yīng)用程序部署與管理服務(wù),SaaS提供應(yīng)用程序,企業(yè)可以租用進(jìn)行信息處理。
出于高安全性的考慮,電力企業(yè)中臺構(gòu)建所基于的云計算服務(wù)通常基于企業(yè)私有云。采用公有云技術(shù)的私有云提供的服務(wù)具有同樣的服務(wù)能力。中臺需要部署業(yè)務(wù)系統(tǒng)、存儲業(yè)務(wù)數(shù)據(jù)、規(guī)范化合并業(yè)務(wù)數(shù)據(jù)、利用云平臺的大數(shù)據(jù)分析服務(wù)分析數(shù)據(jù)等等,需要使用從IaaS、PaaS到SaaS的各層服務(wù)。
阿里云作為主流的云計算產(chǎn)品[17],提供了豐富的產(chǎn)品可供選擇以構(gòu)建電力企業(yè)中臺。表1列出來主要使用的服務(wù)或產(chǎn)品。
表1 構(gòu)建中臺主要使用的阿里云服務(wù)或產(chǎn)品Table 1 Major products or services needed
除表中列出的模塊,與數(shù)據(jù)處理及共享不直接相關(guān)但必需的服務(wù)或產(chǎn)品還包括訪問控制、負(fù)載均衡等。
基于云計算環(huán)境構(gòu)建中臺,可隨時按需要加入功能組件,如圖像、語音識別等人工智能組件、物聯(lián)網(wǎng)設(shè)備接入和身份認(rèn)證組件等。中臺的能力擴(kuò)展以軟件升級和組件添加的方式進(jìn)行,具有良好的連貫性,能有效避免重復(fù)建設(shè)造成的資源浪費。
電力企業(yè)構(gòu)建中臺實現(xiàn)信息系統(tǒng)向共享式架構(gòu)轉(zhuǎn)換,通過共享服務(wù)支撐業(yè)務(wù)。服務(wù)共享的內(nèi)容是業(yè)務(wù)運轉(zhuǎn)沉淀的數(shù)據(jù),以及基于沉淀的數(shù)據(jù)再加工獲得的能滋養(yǎng)業(yè)務(wù)創(chuàng)新的衍生數(shù)據(jù)。因此,中臺管理的核心內(nèi)容是數(shù)據(jù)和服務(wù),以及抽象描述數(shù)據(jù)和服務(wù)及處理的元數(shù)據(jù)(見圖1)。
圖1 中臺服務(wù)共享的核心內(nèi)容Figure 1 Main content of service sharing in middle platform
根據(jù)云計算環(huán)境提供的服務(wù),元數(shù)據(jù)管理使用了RDS和ODS服務(wù);數(shù)據(jù)整合管理使用了RDS、ODS、ECS、MaxCompute、DataWorks;服 務(wù) 共 享 使 用 了ECS、EDAS;在數(shù)據(jù)視圖構(gòu)建方面使用了QuickBI等。
元數(shù)據(jù)是數(shù)據(jù)的“數(shù)據(jù)”,對數(shù)據(jù)及信息資源進(jìn)行描述、解釋、定位,并使其更方便檢索、使用或管理的數(shù)據(jù)[18]。元數(shù)據(jù)有指示存儲位置、資源尋找和文件記錄等功能,是數(shù)據(jù)共享和交換的基礎(chǔ)與前提。
電力企業(yè)中臺作為大型系統(tǒng),中臺內(nèi)各類資源統(tǒng)籌管理需要強(qiáng)化的元數(shù)據(jù)管理,通過元數(shù)據(jù)作為頂層抽象控制層,對中臺內(nèi)的數(shù)據(jù)和服務(wù)進(jìn)行全方位管控。
中臺是數(shù)據(jù)資源和服務(wù)共享中心,原則上不涉及具體業(yè)務(wù)功能的直接支持,因此中臺元數(shù)據(jù)強(qiáng)化技術(shù)元數(shù)據(jù)的管理(不強(qiáng)調(diào)業(yè)務(wù)和管理元數(shù)據(jù))。元數(shù)據(jù)主要內(nèi)容包括:
(1)基礎(chǔ)數(shù)據(jù)模式。即業(yè)務(wù)數(shù)據(jù)導(dǎo)入、整合到中臺后形成的基礎(chǔ)數(shù)據(jù)的模式信息。中臺管理的數(shù)據(jù)資源的形式是多樣的,有按關(guān)系或?qū)ο竽J焦芾淼慕Y(jié)構(gòu)化數(shù)據(jù),也有大量非結(jié)構(gòu)化數(shù)據(jù)。
(2)數(shù)據(jù)服務(wù)描述,包括中臺基礎(chǔ)數(shù)據(jù)服務(wù)和分析結(jié)果數(shù)據(jù)服務(wù)描述兩部分。中臺基礎(chǔ)數(shù)據(jù)服務(wù)基于RDB、Web服務(wù)以及電力行業(yè)所采用的IEC 61970、IEC 62541等標(biāo)準(zhǔn)規(guī)定的標(biāo)準(zhǔn)服務(wù)(對象數(shù)據(jù)基于OPC UA統(tǒng)一地址空間管理并支持系列訪問接口)[19-21],分析結(jié)果數(shù)據(jù)服務(wù)主要采用微服務(wù)形式[22-23]。分析結(jié)果數(shù)據(jù)通過提煉、回補(bǔ)成為基礎(chǔ)數(shù)據(jù)一部分之后,可通過平臺基礎(chǔ)數(shù)據(jù)服務(wù)訪問。
(3)數(shù)據(jù)分析邏輯、任務(wù)描述。數(shù)據(jù)分析邏輯通過配置建立,由大數(shù)據(jù)分析引擎或基于ECS自定義的數(shù)據(jù)處理任務(wù)執(zhí)行相應(yīng)的分析任務(wù)。
(4)分析結(jié)果模式。以關(guān)系或?qū)ο竽J矫枋龅臄?shù)據(jù)分析結(jié)果元數(shù)據(jù)。這部分模式在需求穩(wěn)定后,與數(shù)據(jù)管理相同步,融合到(1)中。
(5)視圖、應(yīng)用描述。視圖和應(yīng)用使用中臺的數(shù)據(jù)內(nèi)容、方式的描述。
元數(shù)據(jù)的獲取采用自動和手動獲取兩種方式。自動獲取是利用元數(shù)據(jù)獲取接口(如數(shù)據(jù)庫訪問庫表結(jié)構(gòu)的接口)或?qū)霕?biāo)準(zhǔn)化文件格式(如IEC 61970 501)存儲的信息模型[24]。通過人機(jī)界面錄入無法自動獲取的元數(shù)據(jù)。
元數(shù)據(jù)采用中臺規(guī)定的格式存儲,通過界面查看、修改。應(yīng)用需要使用元數(shù)據(jù)時,可通過元數(shù)據(jù)訪問服務(wù)讀取。除可整體管控平臺內(nèi)數(shù)據(jù)、服務(wù)內(nèi)容外,元數(shù)據(jù)還被廣泛用于數(shù)據(jù)質(zhì)量分析、服務(wù)授權(quán)等方面。
中臺的數(shù)據(jù)源自安全生產(chǎn)管理、發(fā)電控制、電網(wǎng)調(diào)度、電力營銷等各業(yè)務(wù)系統(tǒng)。根據(jù)業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)的方式,將源端數(shù)據(jù)整合到中臺中管理。
關(guān)系型業(yè)務(wù)數(shù)據(jù)通過數(shù)據(jù)抽取轉(zhuǎn)換導(dǎo)入中臺的RDS。對象型數(shù)據(jù)依據(jù)企業(yè)公共信息模型進(jìn)行規(guī)范化,包括對對象包含路徑、對象關(guān)聯(lián)等進(jìn)行規(guī)范。這些業(yè)務(wù)數(shù)據(jù)是原始數(shù)據(jù),通過RDS和對象數(shù)據(jù)訪問服務(wù)發(fā)布。
進(jìn)入到中臺RDS的關(guān)系型業(yè)務(wù)數(shù)據(jù),在企業(yè)公共信息模型覆蓋范圍內(nèi)的,編寫運行于ECS上的數(shù)據(jù)規(guī)范化匯集任務(wù)進(jìn)行對象化轉(zhuǎn)換。對象化轉(zhuǎn)換后的業(yè)務(wù)系統(tǒng)數(shù)據(jù)與直接引入的對象型數(shù)據(jù)作為待處理的整體,按照層次、關(guān)聯(lián)、分類多級匹配的方式,實現(xiàn)多源系統(tǒng)的數(shù)據(jù)的匹配、關(guān)聯(lián),完成一體化數(shù)據(jù)的規(guī)范化整合,消除業(yè)務(wù)系統(tǒng)數(shù)據(jù)間的關(guān)聯(lián)障礙。
中臺內(nèi)已有數(shù)據(jù)通過服務(wù)共享提供給外部應(yīng)用使用的同時,為提升數(shù)據(jù)質(zhì)量和數(shù)據(jù)價值,在平臺內(nèi)通過大數(shù)據(jù)引擎或自行開發(fā)的數(shù)據(jù)分析軟件進(jìn)行綜合分析應(yīng)用。分析結(jié)果構(gòu)成中臺數(shù)據(jù)的組成部分,結(jié)果數(shù)據(jù)的元數(shù)據(jù)經(jīng)提煉后整合到平臺基礎(chǔ)元數(shù)據(jù)中。通過這樣分析、補(bǔ)充的循環(huán),豐富中臺管理的數(shù)據(jù)內(nèi)容。分析結(jié)果直接通過服務(wù)方式提供也方便了應(yīng)用對統(tǒng)計分析類數(shù)據(jù)的取用。
業(yè)務(wù)數(shù)據(jù)整合管理完成后,中臺提供三大類可用數(shù)據(jù):①業(yè)務(wù)原始數(shù)據(jù);②融合后的全域?qū)ο髷?shù)據(jù);③統(tǒng)計分析類數(shù)據(jù)。
電力企業(yè)中臺提供多樣的符合國際標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和企業(yè)標(biāo)準(zhǔn)的共享服務(wù)滿足各類數(shù)據(jù)訪問需求(表2)。關(guān)系型、對象型以及非結(jié)構(gòu)化數(shù)據(jù)均配備多種類型的服務(wù)。
除關(guān)系型數(shù)據(jù)基于RDS所固有的數(shù)據(jù)庫表訪問接口外,所有類型的數(shù)據(jù)都配備了微服務(wù)和Web服務(wù)(OSB Web)。
對象數(shù)據(jù)訪問支持IEC 61790第一代的通用數(shù)據(jù)訪問(Generic Data Access,GDA)和 作 為IEC 61970 CIS第 二版的OPC UA服務(wù)[25]。GDA提供類似SQL語言的對象訪問語義支持,便于按類批量、按關(guān)聯(lián)鏈導(dǎo)航查詢[26]。OPC UA是工業(yè)互聯(lián)網(wǎng)通信層的核心標(biāo)準(zhǔn)[27],在統(tǒng)一地址空間管理對象的模型、實時、歷史、事件數(shù)據(jù),能基于安全通道以二進(jìn)制編碼方式高效傳輸數(shù)據(jù)。在應(yīng)用端對數(shù)據(jù)訪問效率要求極高時,可考慮優(yōu)先使用OPC UA服務(wù)。
服務(wù)部署方面,RDS數(shù)據(jù)服務(wù)由RDS服務(wù)器提供,OPC UA、GDA、Web服 務(wù)、FTP(S)等 在ECS上 部 署,微服務(wù)部署到EDAS。
表2 中臺的主要數(shù)據(jù)服務(wù)Table 2 Major data services on middle platform
云化構(gòu)建電力企業(yè)中臺,應(yīng)隨數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分析和服務(wù)架設(shè)的需要,申請相應(yīng)的計算資源。
中臺建設(shè)和共享服務(wù)體系構(gòu)建應(yīng)結(jié)合平臺類應(yīng)用上云,一種可行的路徑是:充分利用企業(yè)現(xiàn)有大數(shù)據(jù)平臺、海量數(shù)據(jù)平臺及各類專業(yè)性數(shù)據(jù)管控平臺的建設(shè)成果,平移這些平臺已整理的數(shù)據(jù)和已建成的服務(wù)到云環(huán)境后,通過元數(shù)據(jù)層抽象管理,再根據(jù)數(shù)據(jù)分析和業(yè)務(wù)創(chuàng)新的需求優(yōu)化、擴(kuò)展。
電力企業(yè)現(xiàn)有的基于大數(shù)據(jù)負(fù)荷預(yù)報、設(shè)備運行狀態(tài)評估、智能運檢等應(yīng)用[28-30],可以移植到基于中臺實現(xiàn),豐富中臺數(shù)據(jù)和服務(wù)。
企業(yè)中臺的數(shù)據(jù)整合管理中,非常重要的一環(huán)是基于已有數(shù)據(jù)進(jìn)行運算,獲取統(tǒng)計分析結(jié)果支持管理應(yīng)用和業(yè)務(wù)創(chuàng)新。
云化構(gòu)建的企業(yè)中臺除沿用常規(guī)的可移植到ECS中的數(shù)據(jù)分析模塊之外,大數(shù)據(jù)計算應(yīng)充分利用云服務(wù)以提高開發(fā)效率。阿里云的DataWorks是數(shù)據(jù)開發(fā)/大數(shù)據(jù)分析的完整環(huán)境(見圖2)[31]。
大數(shù)據(jù)分析的步驟包括數(shù)據(jù)源設(shè)定、數(shù)據(jù)集成、大數(shù)據(jù)計算、數(shù)據(jù)服務(wù)發(fā)布等環(huán)節(jié)。
數(shù)據(jù)集成將需要計算的數(shù)據(jù)從可用數(shù)據(jù)源導(dǎo)入到MaxCompute存儲空間[32]。數(shù)據(jù)源設(shè)定用于指明數(shù)據(jù)來源,數(shù)據(jù)來源可以是關(guān)系數(shù)據(jù)庫、非結(jié)構(gòu)化存儲等。常用數(shù)據(jù)源是中臺ECS中自行安裝的數(shù)據(jù)庫,或RDS數(shù)據(jù)庫。
圖2 大數(shù)據(jù)分析過程Figure 2 Big data analysis process
通過數(shù)據(jù)同步將數(shù)據(jù)源中的數(shù)據(jù)導(dǎo)入即完成數(shù)據(jù)集成。數(shù)據(jù)同步過程包括在工作區(qū)中建立目標(biāo)數(shù)據(jù)表、定義數(shù)據(jù)源與目標(biāo)的映射關(guān)系、配置相應(yīng)的同步任務(wù)。
大數(shù)據(jù)的分析、統(tǒng)計、處理邏輯通過編寫數(shù)據(jù)分析腳本實現(xiàn)。建立數(shù)據(jù)處理流程,在流程中增加數(shù)據(jù)處理節(jié)點。在數(shù)據(jù)處理節(jié)點中編寫MaxCompute SQL語句,測試通過后,提交到業(yè)務(wù)流程。MaxCompute SQL語法類似于SQL,能完成數(shù)據(jù)查出、緩存及利用內(nèi)置函數(shù)計算。對于基本語句無法完成的復(fù)雜處理,可編寫自定義函數(shù)(User Defined Function,UDF)實現(xiàn)功能[33],然后將UDF融合到MaxCompute SQL中使用。
MaxCompute作業(yè)提交后會有幾十到數(shù)分鐘的等待排隊調(diào)度的時間,因而大數(shù)據(jù)分析計算一般不用于實時或準(zhǔn)實時的數(shù)據(jù)分析(對實時性要求高的分析計算可編寫程序在ECS上執(zhí)行),最適用于衍生統(tǒng)計及指標(biāo)類數(shù)據(jù)。
計算結(jié)果存儲于MaxCompute的存儲中,通過配置名稱、分組、路徑、協(xié)議、訪問方式和訪問內(nèi)容、返回類型等信息即可創(chuàng)建數(shù)據(jù)訪問API。
生成的API能注冊到數(shù)據(jù)服務(wù)平臺統(tǒng)一管理和發(fā)布。數(shù)據(jù)服務(wù)可直接發(fā)布API網(wǎng)關(guān)。數(shù)據(jù)服務(wù)與API網(wǎng)關(guān)為應(yīng)用提供安全穩(wěn)定、易用的數(shù)據(jù)開放共享服務(wù)(見圖3)。
圖3 數(shù)據(jù)服務(wù)發(fā)布Figure 3 Data service publishing
通過數(shù)據(jù)服務(wù)支持應(yīng)用訪問之外,價值高的計算結(jié)果導(dǎo)出至指定數(shù)據(jù)源以供進(jìn)一步展示或分析。數(shù)據(jù)導(dǎo)出的配置過程與數(shù)據(jù)導(dǎo)入類似,僅源與目標(biāo)角色對調(diào)即可。導(dǎo)出計算結(jié)果數(shù)據(jù)到RDS中,可實質(zhì)性地為企業(yè)中臺增加新的數(shù)據(jù)內(nèi)容,也方便商業(yè)智能及其他基于數(shù)據(jù)庫方式的數(shù)據(jù)再利用。典型地,數(shù)據(jù)資源管控及指標(biāo)分析等類型的應(yīng)用,可直接取用分析結(jié)果,配以QuickBI的可視化展示[34],極大地提升應(yīng)用構(gòu)建速度。
(1)電力企業(yè)采用中臺共享服務(wù)是數(shù)據(jù)資源管理規(guī)模擴(kuò)大和計算模式升級的需要。中臺管理源自業(yè)務(wù)系統(tǒng)的數(shù)據(jù),基于業(yè)務(wù)系統(tǒng)數(shù)據(jù)衍生分析數(shù)據(jù),以服務(wù)共享促進(jìn)數(shù)據(jù)價值和新業(yè)務(wù)挖掘。
(2)中臺管理業(yè)務(wù)系統(tǒng)沉淀的數(shù)據(jù)。與業(yè)務(wù)系統(tǒng)實時、準(zhǔn)實時響應(yīng)不同,中臺管理緩變數(shù)據(jù),著眼于數(shù)據(jù)協(xié)同,有必要強(qiáng)化覆蓋全局的元數(shù)據(jù)管理以全面管控數(shù)據(jù)和共享服務(wù)。
(3)云服務(wù)提供了全方位、易用的數(shù)據(jù)分析組件,基于業(yè)務(wù)數(shù)據(jù)進(jìn)行大數(shù)據(jù)統(tǒng)計分析應(yīng)充分利用云服務(wù)中的大數(shù)據(jù)計算引擎及環(huán)境,將開發(fā)工作聚焦到業(yè)務(wù)數(shù)據(jù)演化。
(4)基于阿里云等云計算技術(shù),以私有云支撐電力企業(yè)中臺構(gòu)建是一種可行的方案?;谠品?wù)對計算節(jié)點管理、存儲資源管理、數(shù)據(jù)集成、數(shù)據(jù)分析、數(shù)據(jù)發(fā)布等功能的全方位支持,能夠提升構(gòu)建效率、降低管理復(fù)雜度。