摘要：隨著電力計(jì)量設(shè)備種類、數(shù)量的持續(xù)增長(zhǎng)，采集數(shù)據(jù)項(xiàng)、頻次的逐漸增多，電能量數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)趨勢(shì)，如何建立一套切實(shí)有效的電力計(jì)量關(guān)鍵業(yè)務(wù)全鏈路監(jiān)測(cè)體系，加強(qiáng)對(duì)各關(guān)鍵業(yè)務(wù)鏈路級(jí)的監(jiān)測(cè)，進(jìn)一步提高電力計(jì)量主站運(yùn)維效能，值得深入探討與研究。本文以南方電網(wǎng)某省電力公司為例，通過分析電力計(jì)量主站運(yùn)行監(jiān)測(cè)現(xiàn)狀問題以及南方電網(wǎng)相關(guān)政策要求，設(shè)計(jì)了基于典型場(chǎng)景分析、監(jiān)測(cè)對(duì)象與指標(biāo)界定、技術(shù)路線設(shè)計(jì)、監(jiān)測(cè)信息攔截收集、傳輸與匯聚、數(shù)據(jù)處理展現(xiàn)的電力計(jì)量主站采集鏈路監(jiān)測(cè)整體方案。

關(guān)鍵詞：電力計(jì)量;主站采集;鏈路監(jiān)測(cè);技術(shù)設(shè)計(jì)

當(dāng)前電力行業(yè)發(fā)展面臨供給側(cè)結(jié)構(gòu)性改革、售電市場(chǎng)放開、能源新技術(shù)涌現(xiàn)等變化，隨著電力計(jì)量設(shè)備種類、數(shù)量的持續(xù)增長(zhǎng)，采集數(shù)據(jù)項(xiàng)、頻次的逐漸增多，電能量數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)趨勢(shì)，對(duì)電力計(jì)量主站運(yùn)行水平提出了更高要求，如何建立一套切實(shí)有效的電力計(jì)量主站采集鏈路監(jiān)測(cè)體系，加強(qiáng)對(duì)各關(guān)鍵業(yè)務(wù)鏈路級(jí)的監(jiān)測(cè)，進(jìn)一步助力電力計(jì)量主站運(yùn)維效能提高，值得深入探討與研究。

1?電力計(jì)量主站采集鏈路監(jiān)測(cè)的建設(shè)必要性

1.1?省公司計(jì)量主站采集運(yùn)維現(xiàn)狀及問題

南方電網(wǎng)某省電力公司計(jì)量主站自上線至今已穩(wěn)定運(yùn)行多年，在服務(wù)器、中間件、數(shù)據(jù)庫(kù)等系統(tǒng)狀態(tài)及覆蓋率、自動(dòng)抄表率等業(yè)務(wù)指標(biāo)全部實(shí)現(xiàn)了高效的監(jiān)測(cè)。伴隨著公司系統(tǒng)規(guī)模的不斷壯大和業(yè)務(wù)量的逐年增加，導(dǎo)致內(nèi)部資源對(duì)象、業(yè)務(wù)層級(jí)和容器層級(jí)的監(jiān)管和排查變得越來越麻煩。當(dāng)前電力計(jì)量主站系統(tǒng)監(jiān)控暴露出以下幾方面的問題：

1.2?南網(wǎng)數(shù)字化轉(zhuǎn)型與電能量數(shù)據(jù)深化應(yīng)用要求

近年來，南方電網(wǎng)公司提出了“數(shù)字南網(wǎng)、智慧南網(wǎng)”的建設(shè)目標(biāo)，而計(jì)量自動(dòng)化系統(tǒng)作為南網(wǎng)關(guān)鍵組成系統(tǒng)之一，是支撐南網(wǎng)數(shù)字化轉(zhuǎn)型成功的關(guān)鍵組成要素，其在“數(shù)據(jù)資源、數(shù)字電網(wǎng)、數(shù)字運(yùn)營(yíng)、數(shù)字能源生態(tài)”建設(shè)中發(fā)揮著巨大的作用。同時(shí)，南方電網(wǎng)公司在2020年也提出了“開展新一代計(jì)量自動(dòng)化主站技術(shù)研究”“加強(qiáng)主站性能在線監(jiān)測(cè)”等要求。隨著電力計(jì)量設(shè)備種類、數(shù)量的持續(xù)增長(zhǎng)，采集數(shù)據(jù)項(xiàng)、頻次的逐漸增多，電能量數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)趨勢(shì)，進(jìn)一步凸顯了電力計(jì)量主站要提升計(jì)量采集能力、加強(qiáng)主站性能監(jiān)測(cè)等方面要求。因此，本文建立一套切實(shí)有效的電力計(jì)量主站采集鏈路監(jiān)測(cè)體系，加強(qiáng)對(duì)各關(guān)鍵業(yè)務(wù)鏈路級(jí)的監(jiān)測(cè)，進(jìn)一步助力電力計(jì)量主站運(yùn)維效能提高，具有十分重要的意義。

2?電力計(jì)量主站采集鏈路監(jiān)測(cè)整體設(shè)計(jì)

2.1?典型場(chǎng)景分析

監(jiān)控系統(tǒng)的主要作用是全面掌握現(xiàn)場(chǎng)所有場(chǎng)景的運(yùn)行情況，仔細(xì)觀察監(jiān)控系統(tǒng)，能夠及時(shí)發(fā)現(xiàn)潛在的問題，并采取措施予以處理。借鑒其它行業(yè)領(lǐng)域全鏈路監(jiān)測(cè)技術(shù)應(yīng)用情況，典型全鏈路監(jiān)測(cè)場(chǎng)景主要包括以下幾個(gè)方面：

2.2?監(jiān)測(cè)對(duì)象和指標(biāo)界定

運(yùn)行全鏈路監(jiān)測(cè)是指從全局上下游視角出發(fā)，利用信息采集、計(jì)算與展示技術(shù)，反映呈現(xiàn)監(jiān)測(cè)對(duì)象即端到端調(diào)用鏈路節(jié)點(diǎn)的健康狀況監(jiān)測(cè)指標(biāo)信息，助力業(yè)務(wù)運(yùn)維人員快速發(fā)現(xiàn)、定位、排查問題。其中，端到端調(diào)用鏈路節(jié)點(diǎn)、健康狀況監(jiān)測(cè)指標(biāo)信息是運(yùn)行全鏈路監(jiān)測(cè)的核心概念。

2.3?技術(shù)路線設(shè)計(jì)

為確實(shí)保障電力計(jì)量主站采集鏈路監(jiān)控?cái)?shù)據(jù)的真實(shí)性及客觀性，將獨(dú)立開發(fā)建設(shè)監(jiān)控系統(tǒng)，并針對(duì)性的開發(fā)實(shí)用化監(jiān)控?cái)?shù)據(jù)采集客戶端，嵌入計(jì)量系統(tǒng)采集監(jiān)控?cái)?shù)據(jù)，并集中采集到監(jiān)控系統(tǒng)服務(wù)端進(jìn)行分析統(tǒng)計(jì)及實(shí)時(shí)展示，最終實(shí)現(xiàn)鏈路監(jiān)控的建設(shè)。因此，設(shè)計(jì)開源監(jiān)控組件和分布式組件結(jié)合的監(jiān)測(cè)系統(tǒng)技術(shù)架構(gòu)，整個(gè)電力計(jì)量主站采集鏈路監(jiān)測(cè)從技術(shù)架構(gòu)上會(huì)根據(jù)具體業(yè)務(wù)不同有所變化，分為物理層、服務(wù)層、應(yīng)用層。其中：

（2）服務(wù)層。包括監(jiān)測(cè)信息攔截收集、數(shù)據(jù)傳輸與匯聚以及數(shù)據(jù)存儲(chǔ)與處理。

（3）應(yīng)用層。通過可視化Web界面來查詢電力計(jì)量關(guān)鍵業(yè)務(wù)全鏈路、采集信息和監(jiān)測(cè)指標(biāo)，同時(shí)還提供根據(jù)不同維度的綜合統(tǒng)計(jì)分析應(yīng)用。

監(jiān)控的核心問題在于對(duì)業(yè)務(wù)系統(tǒng)運(yùn)行數(shù)據(jù)的實(shí)時(shí)采集上，為保障數(shù)據(jù)來源可靠和真實(shí)，并且對(duì)原業(yè)務(wù)系統(tǒng)的性能影響較小，因此采用了非侵入式探針技術(shù)。非侵入式探針技術(shù)監(jiān)測(cè)在采集方式上屬于旁路連接方式，由于不需要在業(yè)務(wù)系統(tǒng)中安裝客戶端，減少了對(duì)業(yè)務(wù)系統(tǒng)的影響，避免了給現(xiàn)有業(yè)務(wù)增加管理復(fù)雜度，減少了業(yè)務(wù)運(yùn)行故障點(diǎn)，在監(jiān)測(cè)系統(tǒng)出現(xiàn)問題以后，現(xiàn)有的監(jiān)測(cè)系統(tǒng)不會(huì)受到任何的影響，使系統(tǒng)的穩(wěn)定性得到保證，同時(shí)，通過采集方式的熱部署和無縫銜接，還可以保證監(jiān)測(cè)系統(tǒng)的可擴(kuò)展性。應(yīng)用在監(jiān)測(cè)信息攔截技術(shù)選型上采用Pingpoint。Pinpoint是一款全鏈路分析工具，提供了無侵入式的調(diào)用鏈監(jiān)控、方法執(zhí)行。通過選用Pinpoint工具開展探針及數(shù)據(jù)采集工作，公司根據(jù)業(yè)務(wù)需求對(duì)其進(jìn)行探針優(yōu)化改造和插件開發(fā)，使它能夠更大程度滿足設(shè)計(jì)需求。

通過監(jiān)測(cè)信息攔截收集功能，系統(tǒng)完成了對(duì)鏈路監(jiān)測(cè)信息的收集后，再由收集器將這些數(shù)據(jù)通過數(shù)據(jù)發(fā)送器負(fù)責(zé)將采集到的數(shù)據(jù)以數(shù)據(jù)流的方式發(fā)送給數(shù)據(jù)匯聚器。其中，數(shù)據(jù)發(fā)送器通常和監(jiān)測(cè)信息收集器通常一起部署在同一臺(tái)服務(wù)器上，根據(jù)設(shè)置的發(fā)送數(shù)據(jù)間隔，將監(jiān)控?cái)?shù)據(jù)收集器中的信息采用異步線程同步的方式發(fā)送給數(shù)據(jù)匯聚器，減低對(duì)計(jì)量系統(tǒng)數(shù)據(jù)采集本身的性能影響。為了使數(shù)據(jù)能夠在監(jiān)測(cè)系統(tǒng)服務(wù)端和發(fā)送器之間實(shí)現(xiàn)高效的傳輸，也為了降低海量數(shù)據(jù)入庫(kù)和準(zhǔn)實(shí)時(shí)計(jì)算導(dǎo)致的性能問題，我們引入了實(shí)時(shí)消息隊(duì)列Kafka以及Zookeeper集群的模式作為監(jiān)測(cè)數(shù)據(jù)統(tǒng)一匯聚器[8]，以此為基礎(chǔ)，搭建數(shù)據(jù)高速傳輸路徑，使可插拔式集成得以實(shí)現(xiàn)，用戶能夠更加迅速、準(zhǔn)確的獲得監(jiān)測(cè)信息，使服務(wù)端與客戶端的流數(shù)據(jù)整合得以較好的實(shí)現(xiàn)，為數(shù)據(jù)存儲(chǔ)和流式計(jì)算提供數(shù)據(jù)。

數(shù)據(jù)處理是監(jiān)測(cè)系統(tǒng)的核心部分，主要通過獲取Kafka中的鏈路、指標(biāo)數(shù)據(jù)，完成數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算兩部分。其中，數(shù)據(jù)存儲(chǔ)采用ElasticSearch，一方面對(duì)調(diào)用鏈路、指標(biāo)原始數(shù)據(jù)進(jìn)行存儲(chǔ)，另一方面支持對(duì)經(jīng)數(shù)據(jù)計(jì)算后的數(shù)據(jù)進(jìn)行存儲(chǔ)。監(jiān)控?cái)?shù)據(jù)分析是數(shù)據(jù)計(jì)算處理的核心內(nèi)容，以匯總的監(jiān)控?cái)?shù)據(jù)為基礎(chǔ)，使調(diào)用鏈各個(gè)節(jié)點(diǎn)上的響應(yīng)時(shí)間、TPS、并發(fā)數(shù)和調(diào)用鏈得到準(zhǔn)確的計(jì)算，以此為特征完成邏輯回歸模型的創(chuàng)建。以歷史數(shù)據(jù)中獲取的調(diào)用鏈節(jié)點(diǎn)響應(yīng)時(shí)間和并發(fā)數(shù)為基礎(chǔ)，對(duì)邏輯回歸模型的有關(guān)參數(shù)信息進(jìn)行有效的訓(xùn)練，準(zhǔn)確的判斷出調(diào)用鏈在正常運(yùn)行狀態(tài)下的安全置信區(qū)域。在預(yù)測(cè)調(diào)用節(jié)點(diǎn)響應(yīng)時(shí)間、TPS、并發(fā)數(shù)以及給定時(shí)間是否正常時(shí)，可以使調(diào)用鏈安全置信區(qū)域和邏輯回歸模式來快速預(yù)測(cè)出準(zhǔn)確的結(jié)論。一旦發(fā)生問題，要第一時(shí)間報(bào)警。在應(yīng)用過程中，針對(duì)監(jiān)測(cè)系統(tǒng)做了很多定制化的改造，以更高的提高查詢效率，主要表現(xiàn)在以下兩個(gè)方面：

（2）預(yù)警算法[6]。監(jiān)控?cái)?shù)據(jù)的暗漲、持續(xù)陰跌或者是微量波動(dòng)不會(huì)被傳統(tǒng)的監(jiān)控預(yù)警算法所發(fā)現(xiàn)，使得故障漏報(bào)的情況時(shí)有發(fā)生。對(duì)于此類問題，將機(jī)器學(xué)習(xí)算法與mean-shift等均值漂移模型結(jié)合在一起后引入到監(jiān)控系統(tǒng)中，實(shí)現(xiàn)對(duì)監(jiān)控?cái)?shù)據(jù)變點(diǎn)的準(zhǔn)確查詢。變點(diǎn)主要是指在持續(xù)微量下跌到一定時(shí)間以后，變化量累計(jì)到一定程度時(shí)，變點(diǎn)前后監(jiān)測(cè)指標(biāo)會(huì)在一段時(shí)間范圍之內(nèi)發(fā)生均值漂移。傳統(tǒng)監(jiān)測(cè)預(yù)警算法難于識(shí)別的陰跌趨勢(shì)被均值漂移模型轉(zhuǎn)化成為CUSUM時(shí)間序列，通過對(duì)歷史數(shù)據(jù)的分析，使用機(jī)器學(xué)習(xí)算法將其變化趨勢(shì)自動(dòng)的反應(yīng)出來。使用支撐Web應(yīng)用將處理好的數(shù)據(jù)展示出來，工具展現(xiàn)端為用戶提供各項(xiàng)服務(wù)，針對(duì)不同的角色提供不一樣的服務(wù)，還能夠?qū)⒇?fù)載預(yù)測(cè)、應(yīng)用瓶頸以及采集全鏈路等指標(biāo)狀態(tài)進(jìn)行完美的實(shí)現(xiàn)，最大程度的支撐了典型場(chǎng)景的實(shí)現(xiàn)。

結(jié)語

本文以南方電網(wǎng)某省電力公司為例，通過分析電力計(jì)量主站運(yùn)行監(jiān)測(cè)現(xiàn)狀問題以及南方電網(wǎng)相關(guān)政策要求，設(shè)計(jì)了基于典型場(chǎng)景分析、監(jiān)測(cè)對(duì)象與指標(biāo)界定、技術(shù)路線設(shè)計(jì)、監(jiān)測(cè)信息攔截收集、傳輸與匯聚、數(shù)據(jù)處理展現(xiàn)的電力計(jì)量主站采集鏈路監(jiān)測(cè)整體設(shè)計(jì)方案。這些內(nèi)容已實(shí)現(xiàn)并開展應(yīng)用，進(jìn)一步提高了電力計(jì)量主站運(yùn)行水平，助力了電力計(jì)量主站運(yùn)維效能提高。且可滿足常見電力計(jì)量采集業(yè)務(wù)運(yùn)行鏈路監(jiān)測(cè)需要，對(duì)其它電力公司研究設(shè)計(jì)電力計(jì)量采集運(yùn)行全鏈路監(jiān)測(cè)具有較強(qiáng)的借鑒意義與可擴(kuò)展性。

參考文獻(xiàn)：

[1]馬永，吳躍，何李囡，等.基于Prometheus的基礎(chǔ)軟硬件全鏈路監(jiān)控設(shè)計(jì)和實(shí)現(xiàn)[J].電子技術(shù)與軟件工程，2019（24）：39-40

[2]丁學(xué)英，劉迪，邱鎮(zhèn).基于微服務(wù)架構(gòu)的應(yīng)用監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電力信息與通信技術(shù)，2018（7）：75-79.

[3]佟業(yè)新，曲新奎.民航微服務(wù)架構(gòu)設(shè)計(jì)[J].中國(guó)科技信息，2019（21）：27-29.

[4]劉霞霞，高阿朋，任春雷，等.一種基于APM應(yīng)用全鏈路監(jiān)控工具設(shè)計(jì)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（6）：19-22.

[5]路輝，劉星.一種全鏈路分析工具在電力生產(chǎn)管理系統(tǒng)監(jiān)控的應(yīng)用[J].中國(guó)戰(zhàn)略新興產(chǎn)業(yè)，2019（18）.

[6]李映.移動(dòng)應(yīng)用支撐系統(tǒng)中全景監(jiān)控技術(shù)的研究與實(shí)現(xiàn)[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2019（06）：61-65.

[7]劉嘉裕.基于分布式微服務(wù)全鏈路實(shí)時(shí)監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京交通大學(xué)，2018.

基金項(xiàng)目：中國(guó)南方電網(wǎng)有限責(zé)任公司科技項(xiàng)目（項(xiàng)目編號(hào)：060000KK52190002）

作者簡(jiǎn)介：林曉慶（1986—??），女，布依族，貴州貴陽人，碩士研究生，工程師，研究方向：市場(chǎng)營(yíng)銷、計(jì)量自動(dòng)化。