孫 超，常夏勤，王永貴，胡劍鋒

(南京南瑞繼保電氣有限公司，江蘇 南京 211102)

0 引 言

隨著智能電網(wǎng)的蓬勃發(fā)展，新技術(shù)在電力系統(tǒng)中的應(yīng)用越來越廣泛，從發(fā)電側(cè)的光伏、風(fēng)電等新能源廠站，到輸配電環(huán)節(jié)的特高壓交直流電網(wǎng)、柔性直流配電網(wǎng)，再到電動(dòng)汽車為代表的各種智能用電設(shè)備，電力系統(tǒng)中涉及的設(shè)備越來越復(fù)雜，產(chǎn)生的數(shù)據(jù)呈爆炸式增長，對電網(wǎng)的安全運(yùn)行風(fēng)險(xiǎn)的管控難度與日俱增，這些變化促使了近年來對電力大數(shù)據(jù)分析方面的研究不斷深入。然而，電力大數(shù)據(jù)在多源數(shù)據(jù)接入方面仍存在以下問題：(1)現(xiàn)有電力系統(tǒng)的信息化和自動(dòng)化系統(tǒng)建設(shè)周期跨度大，采用的技術(shù)復(fù)雜。同時(shí)，涉及通訊、自動(dòng)化、調(diào)度、營銷、氣象等多個(gè)專業(yè)，缺乏統(tǒng)一的數(shù)據(jù)采集監(jiān)視方法；(2)電力系統(tǒng)產(chǎn)生的數(shù)據(jù)中存在海量毫秒和秒級實(shí)時(shí)數(shù)據(jù)，可靠性要求高，缺乏有效的監(jiān)視手段；(3)現(xiàn)有大數(shù)據(jù)平臺的監(jiān)視側(cè)重于平臺內(nèi)部的資源調(diào)度、數(shù)據(jù)存儲、計(jì)算分析等方面，對外部數(shù)據(jù)接入方面的監(jiān)視功能較弱，無法滿足運(yùn)維需求。

如何結(jié)合電力大數(shù)據(jù)的特點(diǎn)解決數(shù)據(jù)采集中的監(jiān)視運(yùn)維問題，成為關(guān)系到電力大數(shù)據(jù)能否實(shí)用化的重要制約因素。

1 電力大數(shù)據(jù)采集的場景分析

1.1 多專業(yè)數(shù)據(jù)混合采集監(jiān)視

電力系統(tǒng)涉及的專業(yè)方向較多，比如設(shè)備運(yùn)維、通訊、IT、計(jì)量、安監(jiān)、市場交易等[1]；每個(gè)專業(yè)都有多種數(shù)據(jù)源，且交互方式繁雜，比如WebService、電力專用規(guī)約、特殊文件格式等；數(shù)據(jù)種類繁多[2]，比如實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)、文本數(shù)據(jù)、多媒體數(shù)據(jù)、時(shí)間序列數(shù)據(jù)等各類結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)[3]。電力數(shù)據(jù)產(chǎn)生的速率跨度大[4]，比如毫秒級廣域向量測量實(shí)時(shí)數(shù)據(jù)，秒級的穩(wěn)態(tài)監(jiān)視數(shù)據(jù)，分鐘級的微氣象數(shù)據(jù)[5]，小時(shí)級的操作票流轉(zhuǎn)數(shù)據(jù)和更長時(shí)間周期的設(shè)備實(shí)驗(yàn)數(shù)據(jù)等[6]。因此，開展電力大數(shù)據(jù)分析的前提是多源異構(gòu)數(shù)據(jù)混合采集。當(dāng)前電力大數(shù)據(jù)混合采集多采用針對已有系統(tǒng)接口開發(fā)代理采集程序[7]，每個(gè)采集程序都會(huì)產(chǎn)生大量的日志和狀態(tài)信息記錄工作狀態(tài)和數(shù)據(jù)接入的情況，需要有效的監(jiān)視手段[8]。

1.2 跨區(qū)跨級數(shù)據(jù)采集監(jiān)視

電力系統(tǒng)的數(shù)據(jù)源多分布于不同的物理位置，從電能產(chǎn)生到消費(fèi)中間會(huì)經(jīng)過發(fā)電廠、輸電網(wǎng)、配電網(wǎng)和用戶多個(gè)環(huán)節(jié)，每個(gè)環(huán)節(jié)都會(huì)產(chǎn)生需要采集的數(shù)據(jù)；電網(wǎng)公司是分級管理的集團(tuán)，分為網(wǎng)、省、地、縣四級電網(wǎng)調(diào)度管理機(jī)構(gòu)，每一層級都會(huì)產(chǎn)生大量的電網(wǎng)運(yùn)行監(jiān)控類的數(shù)據(jù)，因此采集程序?yàn)榉植际讲渴鸱绞?，對?yīng)的采集監(jiān)視模塊也要適應(yīng)分布式和遠(yuǎn)距離通訊的要求。

電力系統(tǒng)屬于關(guān)系到國家安全的重要基礎(chǔ)設(shè)施，其網(wǎng)絡(luò)安全防護(hù)要求非常高[9]，各類應(yīng)用按照安全區(qū)隔離部署的方式運(yùn)行[10]，在不同安全區(qū)之間有物理隔離網(wǎng)閘實(shí)現(xiàn)數(shù)據(jù)通訊的單向傳輸[11]，同時(shí)，由于業(yè)務(wù)數(shù)據(jù)的傳輸占用了大量帶寬，采集監(jiān)視系統(tǒng)在盡量節(jié)省帶寬不影響業(yè)務(wù)數(shù)據(jù)傳輸?shù)那疤嵯聦?shí)現(xiàn)跨物理隔離網(wǎng)閘的可靠傳輸[12]。

1.3 對數(shù)據(jù)采集監(jiān)視的要求

綜合以上電力大數(shù)據(jù)采集的特點(diǎn)，數(shù)據(jù)采集監(jiān)視需要滿足以下的要求：

(1)采用分布式架構(gòu)，能夠根據(jù)業(yè)務(wù)需求橫向擴(kuò)展。

由于采集的數(shù)據(jù)源眾多且分布廣，因此采集監(jiān)視系統(tǒng)需采用分布式架構(gòu)，貼近采集程序或裝置側(cè)部署，前端就地處理數(shù)據(jù)將結(jié)果傳輸回后端，減少網(wǎng)絡(luò)占用，提高整體性能。同時(shí)，能夠適應(yīng)接入量的不斷增加，支持前端數(shù)據(jù)收集、數(shù)據(jù)傳輸匯集、后端數(shù)據(jù)處理的橫向可擴(kuò)展性，避免由于某個(gè)環(huán)節(jié)的性能瓶頸影響整體運(yùn)行穩(wěn)定性。

(2)采用插件化方式，滿足各類系統(tǒng)接入的需求。

接入的數(shù)據(jù)源接口方式眾多，需要采用插件化方式實(shí)現(xiàn)靈活定制開發(fā)數(shù)據(jù)收集前端程序。同時(shí)插件實(shí)現(xiàn)外部數(shù)據(jù)格式到內(nèi)部格式的轉(zhuǎn)換，實(shí)現(xiàn)內(nèi)部統(tǒng)一的數(shù)據(jù)交互。

2 總體架構(gòu)

面向電力大數(shù)據(jù)的數(shù)據(jù)采集監(jiān)視系統(tǒng)由采集對象層、采集代理層、數(shù)據(jù)匯集層、數(shù)據(jù)處理層、數(shù)據(jù)存儲層和前端展示層組成，如圖1所示。

圖1 面向電力大數(shù)據(jù)的數(shù)據(jù)采集監(jiān)視系統(tǒng)架構(gòu)

采集對象層由各種多源異構(gòu)數(shù)據(jù)接入程序或工具產(chǎn)生的狀態(tài)數(shù)據(jù)組成，典型的是程序或系統(tǒng)服務(wù)的日志文件、關(guān)系數(shù)據(jù)庫中有關(guān)數(shù)據(jù)集成情況的記錄；在電力系統(tǒng)中由于有大量秒級、毫秒級數(shù)據(jù)采集，因此有些采集統(tǒng)計(jì)或者運(yùn)行狀態(tài)數(shù)據(jù)存儲在內(nèi)存數(shù)據(jù)庫中以提高性能，同時(shí)還會(huì)產(chǎn)生實(shí)時(shí)告警或事件；對于采用微服務(wù)或WebService方式交互數(shù)據(jù)的情況，服務(wù)網(wǎng)關(guān)是重要的采集監(jiān)視對象。

采集代理層是針對各類采集對象，采用插件架構(gòu)的代理程序，有部分代理是獨(dú)立于采集對象部署，有的需要嵌入采集對象，比如服務(wù)網(wǎng)關(guān)上的服務(wù)調(diào)用情況和流量監(jiān)控就需要采用服務(wù)網(wǎng)關(guān)插件的方式嵌入網(wǎng)關(guān)內(nèi)部才能獲取完整的信息。

數(shù)據(jù)匯集層主要包括彈性消息隊(duì)列作為采集數(shù)據(jù)的傳輸管道，提供海量數(shù)據(jù)的吞吐能力；面向電力行業(yè)的跨級和跨區(qū)采集監(jiān)視需求，設(shè)計(jì)跨區(qū)和跨級轉(zhuǎn)發(fā)代理功能，實(shí)現(xiàn)數(shù)據(jù)可靠跨區(qū)跨級傳輸。

數(shù)據(jù)處理層主要實(shí)現(xiàn)對采集代理的注冊管理、數(shù)據(jù)的后端接收、數(shù)據(jù)辨識、告警分析、數(shù)據(jù)統(tǒng)計(jì)，以及基于靈活索引的數(shù)據(jù)智能檢索。同時(shí)，將處理后的數(shù)據(jù)入庫。

數(shù)據(jù)存儲層包括保存所有數(shù)據(jù)的HBase數(shù)據(jù)庫和存放經(jīng)常訪問數(shù)據(jù)的緩存數(shù)據(jù)庫。

前端展示層為人機(jī)交互界面，提供動(dòng)態(tài)運(yùn)行數(shù)據(jù)的展示、分類統(tǒng)計(jì)數(shù)據(jù)展示、告警展示和統(tǒng)計(jì)報(bào)表功能。

3 關(guān)鍵技術(shù)

3.1 采集代理

采集代理分為兩類，即獨(dú)立代理和嵌入代理。其中獨(dú)立代理采用文件、SQL等松耦合方式與采集對象交互，可以獨(dú)立于采集對象運(yùn)行環(huán)境部署；嵌入代理集成在采集對象運(yùn)行框架中或利用其內(nèi)部API交互，需在采集對象運(yùn)行環(huán)境中部署運(yùn)行。

3.1.1 獨(dú)立代理

獨(dú)立代理采用Flume架構(gòu)實(shí)現(xiàn)操作系統(tǒng)日志、應(yīng)用程序日志和中間件日志文件的采集，以及關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)監(jiān)控記錄的采集。它充分利用Flume的日志采集和數(shù)據(jù)格式化處理能力，少量代碼即可實(shí)現(xiàn)數(shù)據(jù)采集功能。如圖2所示，獨(dú)立代理首先通過各類數(shù)據(jù)收集模塊獲取對應(yīng)數(shù)據(jù)源的數(shù)據(jù)信息并緩存在內(nèi)存緩存管道中，然后通過傳輸模塊串接另外一個(gè)代理將緩存數(shù)據(jù)發(fā)送到彈性消息總線上，數(shù)據(jù)接收和處理模塊從彈性消息總線獲取數(shù)據(jù)。

圖2 獨(dú)立代理數(shù)據(jù)交互圖

3.1.2 嵌入代理

嵌入代理采用插件化方式運(yùn)行于采集對象運(yùn)行框架內(nèi)，比如通過定制的網(wǎng)關(guān)過濾器插件統(tǒng)計(jì)網(wǎng)關(guān)交互的信息，包括服務(wù)調(diào)用頻度、交互數(shù)據(jù)量、服務(wù)響應(yīng)周期等。網(wǎng)關(guān)過濾插件的運(yùn)行機(jī)制如圖3所示，在“pre”過濾器中記錄服務(wù)調(diào)用信息、調(diào)用時(shí)間、輸入的數(shù)據(jù)流量；“post”過濾器中記錄收集服務(wù)調(diào)用響應(yīng)周期、返回的輸出數(shù)據(jù)流量，并計(jì)算統(tǒng)計(jì)指標(biāo)；“error”過濾器中記錄服務(wù)調(diào)用錯(cuò)誤情況。

圖3 網(wǎng)關(guān)過濾器插件機(jī)制

嵌入代理調(diào)用采集對象系統(tǒng)私有API接口的方式獲取數(shù)據(jù)，比如調(diào)用電網(wǎng)調(diào)度自動(dòng)化系統(tǒng)內(nèi)存數(shù)據(jù)庫接口獲取實(shí)時(shí)數(shù)據(jù)采集通道的運(yùn)行狀態(tài)、數(shù)據(jù)采集的流量等信息。

嵌入代理收集到數(shù)據(jù)后直接調(diào)用彈性消息總線接口將數(shù)據(jù)傳輸給數(shù)據(jù)接收和處理模塊。

3.2 數(shù)據(jù)匯集

監(jiān)視數(shù)據(jù)的匯集層由彈性消息總線，跨區(qū)代理和跨級代理組成。

3.2.1 彈性消息總線

前端代理程序收集的數(shù)據(jù)通過彈性消息總線轉(zhuǎn)發(fā)給后端的處理模塊，由于涉及的業(yè)務(wù)系統(tǒng)較多且部署分散，因此需要消息總線具備高并發(fā)吞吐量、彈性擴(kuò)展、支持各種編程語言接口、可靠傳輸機(jī)制等特性。對主流的三種消息總線的比較如表1所示。

表1 主流消息總線比較

比較項(xiàng)ActiveMQRabbitMQKafka吞吐量低高非常高可用性主從主從分布式負(fù)載均衡支持支持支持消息延遲秒毫秒毫秒編程接口豐富AMQP客戶端豐富可靠傳輸較好好好

結(jié)合電力大數(shù)據(jù)多元數(shù)據(jù)采集監(jiān)視對消息總線的要求以及主流消息總線的特性比較，選擇Kafka作為數(shù)據(jù)匯集的彈性消息總線。它具有分布式多路并發(fā)彈性擴(kuò)展部署的特點(diǎn)，具備消息時(shí)延低、可靠性高和編程接口豐富等方面的特性，能夠滿足前端代理數(shù)據(jù)匯集與后端數(shù)據(jù)接收與處理的需求。同時(shí)，采用Flume對接Kafka的方式可以將數(shù)據(jù)自動(dòng)導(dǎo)入到Hbase數(shù)據(jù)庫，提高開發(fā)和運(yùn)維效率。

3.2.2 跨區(qū)代理

電力系統(tǒng)安全防護(hù)規(guī)范規(guī)定業(yè)務(wù)數(shù)據(jù)從安全I(xiàn)/II區(qū)進(jìn)入安全I(xiàn)II區(qū)需要經(jīng)過隔離裝置(網(wǎng)閘)，它具有單向通訊特點(diǎn)，反向只能傳輸1字節(jié)報(bào)文用于狀態(tài)確認(rèn)，而彈性消息總線基于標(biāo)準(zhǔn)TCP雙向通訊無法穿越隔離裝置，需要通過跨區(qū)轉(zhuǎn)發(fā)代理實(shí)現(xiàn)報(bào)文轉(zhuǎn)發(fā)?？鐓^(qū)代理分為部署在安全I(xiàn)/II區(qū)的內(nèi)網(wǎng)跨隔離裝置代理和部署在安全I(xiàn)II區(qū)的外網(wǎng)跨隔離裝置代理。安全I(xiàn)/II區(qū)的彈性消息總線數(shù)據(jù)由內(nèi)網(wǎng)隔離裝置代理的消息消費(fèi)者模塊接收并轉(zhuǎn)入緩存由壓縮模塊將報(bào)文壓縮以減少對隔離裝置帶寬的占用，然后再由轉(zhuǎn)發(fā)程序通過并發(fā)的多個(gè)單向TCP鏈路發(fā)送給安全I(xiàn)II區(qū)的外網(wǎng)跨隔離裝置代理的轉(zhuǎn)發(fā)接收程序，再經(jīng)過解壓和緩存隊(duì)列交互最終由消息生產(chǎn)者將消息報(bào)文發(fā)送給安全I(xiàn)II區(qū)的彈性消息總線。兩種代理均具備運(yùn)行狀態(tài)監(jiān)視模塊，負(fù)責(zé)轉(zhuǎn)發(fā)鏈路的監(jiān)視和運(yùn)行狀態(tài)告警?？鐓^(qū)轉(zhuǎn)發(fā)過程如圖4所示。

圖4 跨區(qū)代理轉(zhuǎn)發(fā)機(jī)制

3.2.3 跨級代理

電力系統(tǒng)的數(shù)據(jù)采集分布在網(wǎng)、省、地、縣多級電網(wǎng)調(diào)控管理機(jī)構(gòu)，要實(shí)現(xiàn)集中的采集監(jiān)視必須在各級調(diào)控機(jī)構(gòu)部署采集代理，這些代理采集的數(shù)據(jù)通過遠(yuǎn)程網(wǎng)絡(luò)傳輸?shù)缴霞壍墓芾韱挝?，而遠(yuǎn)程網(wǎng)絡(luò)存在帶寬波動(dòng)、時(shí)延長、時(shí)斷時(shí)續(xù)等特點(diǎn)，因此需要跨級數(shù)據(jù)轉(zhuǎn)發(fā)代理提高遠(yuǎn)程傳輸?shù)目煽啃浴？缂壌沓绦虿捎没瑒?dòng)窗口技術(shù)實(shí)現(xiàn)批量數(shù)據(jù)轉(zhuǎn)發(fā)和斷點(diǎn)續(xù)傳，發(fā)送端啟動(dòng)滑動(dòng)窗口后將窗口內(nèi)的報(bào)文開始編號和窗口大小作為窗口信息發(fā)送給接收者，接收代理準(zhǔn)備好后就按序發(fā)送窗口報(bào)文，最后一條報(bào)文帶有窗口發(fā)送完畢標(biāo)識，接收代理檢查收到的報(bào)文序號和數(shù)量并發(fā)送窗口整體確認(rèn)報(bào)文，發(fā)送端收到確認(rèn)后將窗口在報(bào)文隊(duì)列中向前移動(dòng)，已經(jīng)發(fā)送過的數(shù)據(jù)刪除，交互過程如圖5所示。

如果在跨級傳輸過程中出現(xiàn)丟包，則窗口整體確認(rèn)報(bào)文中發(fā)送丟包前的最后一幀報(bào)文編號，發(fā)送端重發(fā)滑動(dòng)窗口中此編號后的報(bào)文，實(shí)現(xiàn)斷點(diǎn)續(xù)傳。

圖5 跨級代理窗口滑動(dòng)傳輸機(jī)制

3.3 數(shù)據(jù)處理

數(shù)據(jù)處理層獲取彈性消息總線中的數(shù)據(jù)并辨識數(shù)據(jù)類型后分類處理，比如對告警數(shù)據(jù)按照告警規(guī)則分類入庫和發(fā)送短信或電話語音告警；對流量數(shù)據(jù)入庫后按數(shù)據(jù)源、數(shù)據(jù)性質(zhì)等規(guī)則分類統(tǒng)計(jì)；對需要高速檢索的數(shù)據(jù)建立索引等。數(shù)據(jù)處理的基礎(chǔ)是數(shù)據(jù)接收和分類，數(shù)據(jù)處理高效的關(guān)鍵是智能索引。

3.3.1 數(shù)據(jù)接收與分類

數(shù)據(jù)接收模塊從彈性消息隊(duì)列中獲取的報(bào)文分為兩部分:報(bào)文頭和報(bào)文體，如表2和表3所示(報(bào)文頭和報(bào)文體均采用JSON格式)。在報(bào)文頭定義中“datapedigree”是數(shù)據(jù)族譜信息，用于數(shù)據(jù)分類，每個(gè)數(shù)據(jù)源的采集對象不同，族譜的層級可能不一樣，因此采用數(shù)組方式，比如營銷業(yè)務(wù)的電量計(jì)量數(shù)據(jù)源中智能電表實(shí)時(shí)數(shù)據(jù)的族譜定義為[“營銷”，“計(jì)量”，“智能電表

實(shí)時(shí)采集量”]。有了族譜定義數(shù)據(jù)處理模塊可以將數(shù)據(jù)存入HBase數(shù)據(jù)庫的對應(yīng)列簇中，并將數(shù)據(jù)族譜作為標(biāo)簽，后續(xù)的智能索引中針對此列簇建立索引，實(shí)現(xiàn)分類統(tǒng)計(jì)和動(dòng)態(tài)展示。

表2 報(bào)文頭各屬性定義及body部分定義

電量計(jì)量數(shù)據(jù)流量消息的body消息體定義如下，采用JSON格式。

表3 網(wǎng)關(guān)流量消息體定義

3.3.2 智能索引

統(tǒng)計(jì)和動(dòng)態(tài)展示模塊需要快速地檢索HBase數(shù)據(jù)庫中的數(shù)據(jù)，然而HBase數(shù)據(jù)庫需通過行鍵訪問[13]，這種訪問方式與常規(guī)檢索通過關(guān)鍵字對數(shù)據(jù)列查詢的模式不一致[14]。為了解決這個(gè)問題，系統(tǒng)采用基于ElasticSearch組件的關(guān)鍵字檢索為分類統(tǒng)計(jì)和用戶界面展示等模塊提供服務(wù)[15]，通過ElasticSearch將HBase數(shù)據(jù)庫中經(jīng)常被訪問的列按照數(shù)據(jù)標(biāo)簽建立倒排索引，并封裝數(shù)據(jù)檢索微服務(wù)。統(tǒng)計(jì)程序和界面實(shí)時(shí)檢索調(diào)用微服務(wù)，后者通過輸入的關(guān)鍵字調(diào)用ElasticSearch檢索功能獲取行鍵后再訪問Hbase數(shù)據(jù)庫獲取相關(guān)數(shù)據(jù)返回調(diào)用者，調(diào)用過程如圖6所示。

圖6 數(shù)據(jù)檢索交互過程

數(shù)據(jù)采集監(jiān)視獲取的海量日志和運(yùn)行記錄在ElasticSearch上建立倒排組合索引，包括sourcetype、sourcename、datapedigree、id、time列。數(shù)據(jù)檢索微服務(wù)實(shí)現(xiàn)根據(jù)關(guān)鍵字和檢索時(shí)間段查詢。在查詢請求中分析出的多個(gè)關(guān)鍵字通過ElasticSearch查詢符合關(guān)鍵字的數(shù)據(jù)，同時(shí)疊加檢索時(shí)間查詢，包括絕對時(shí)間查詢即通過查詢請求中的起止時(shí)間查詢和根據(jù)一個(gè)具體時(shí)間點(diǎn)及其向后或向前相對時(shí)間段實(shí)現(xiàn)時(shí)間區(qū)間查詢。

4 應(yīng)用案例

電力大數(shù)據(jù)多元數(shù)據(jù)采集監(jiān)視技術(shù)已經(jīng)在南方電網(wǎng)公司廣州供電局承接的863課題“基于大數(shù)據(jù)分析的城市電網(wǎng)設(shè)備狀態(tài)評估系統(tǒng)開發(fā)與應(yīng)用”中應(yīng)用，采集監(jiān)視集群部署在6臺服務(wù)器節(jié)點(diǎn)上，單臺服務(wù)器配置2顆12核Xeon E7 2.1 GHz的CPU、內(nèi)存64 G，安裝CentOS6.7操作系統(tǒng)。

系統(tǒng)接入22個(gè)采集源，源端系統(tǒng)涉及電力設(shè)備數(shù)據(jù)、電網(wǎng)運(yùn)行數(shù)據(jù)、管理信息、環(huán)境氣象數(shù)據(jù)四大類239子類的數(shù)據(jù)。通過定制開發(fā)代理程序?qū)崿F(xiàn)對sqoop腳本和Kettle ETL工具的批處理采集的信息監(jiān)視，以及對電力規(guī)約如IEC61850的采集信息監(jiān)視；通過開發(fā)部署于Ngix和Zuul網(wǎng)關(guān)中的嵌入式代理實(shí)現(xiàn)對WebService和Restful的數(shù)據(jù)集成模塊的信息監(jiān)視，系統(tǒng)具備不間斷連續(xù)運(yùn)行能力，現(xiàn)場無故障運(yùn)行超過一年。

系統(tǒng)動(dòng)態(tài)地統(tǒng)計(jì)各類數(shù)據(jù)的實(shí)時(shí)流量信息，對實(shí)時(shí)數(shù)據(jù)的采集監(jiān)視周期達(dá)到5秒鐘，系統(tǒng)一天采集的日志量在10 GB以上，數(shù)據(jù)庫入庫記錄上億條；傳統(tǒng)架構(gòu)下對如此大數(shù)據(jù)量的信息進(jìn)行檢索將耗時(shí)數(shù)分鐘甚至無法返回，此系統(tǒng)采用智能索引技術(shù)可在3～5秒鐘內(nèi)返回結(jié)果。以往大數(shù)據(jù)系統(tǒng)的故障排查需要運(yùn)維人員查看各個(gè)處理環(huán)節(jié)的日志分析原因，一個(gè)問題需要數(shù)小時(shí)才能定位，此系統(tǒng)收集各節(jié)點(diǎn)的日志信息，并進(jìn)行快速的檢索和分析，將最關(guān)鍵的信息呈獻(xiàn)給運(yùn)維人員，可將故障定位時(shí)間縮短到半小時(shí)以內(nèi)，大幅提高運(yùn)維效率。

5 結(jié)束語

通過分析電力大數(shù)據(jù)多源數(shù)據(jù)分布式采集監(jiān)視的應(yīng)用場景，提出一套適用于電力系統(tǒng)多專業(yè)廣域大數(shù)據(jù)采集監(jiān)視的技術(shù)方案，運(yùn)用Flume、Kafka、ElasticSearch等大數(shù)據(jù)技術(shù)，適應(yīng)電力系統(tǒng)實(shí)時(shí)數(shù)據(jù)接入、跨區(qū)和跨級傳輸?shù)奶攸c(diǎn)，實(shí)現(xiàn)基于數(shù)據(jù)分類標(biāo)簽的智能索引和分析，為運(yùn)維人員提供高效的系統(tǒng)監(jiān)控手段，推進(jìn)電力大數(shù)據(jù)技術(shù)的實(shí)用化?；诖思夹g(shù)的系統(tǒng)已經(jīng)在客戶現(xiàn)場投運(yùn)，運(yùn)行效果良好。在今后的工作中，將進(jìn)一步研究人工智能技術(shù)與數(shù)據(jù)監(jiān)視的結(jié)合，利用機(jī)器學(xué)習(xí)技術(shù)對系統(tǒng)運(yùn)行狀態(tài)進(jìn)行分析，實(shí)現(xiàn)系統(tǒng)態(tài)勢智能感知、無人自動(dòng)巡航和故障自主處置。