龐寧

（深圳供電局有限公司，廣東深圳 518048）

0.引言

電力大數(shù)據(jù)全景設(shè)施分析是智能電網(wǎng)的重要內(nèi)容，為了讓系統(tǒng)更加可靠，需要對大量的數(shù)據(jù)進行處理和分析，對電力系統(tǒng)設(shè)備進行全面監(jiān)測和實時監(jiān)測，為了保證數(shù)據(jù)處理的時效性和準確性，需要在電力大數(shù)據(jù)處理中引入先進的技術(shù)，根據(jù)全景實時數(shù)據(jù)的分析結(jié)果進行調(diào)度。

1.電網(wǎng)可靠性分析技術(shù)

在電力需求不斷加大的情況下，電網(wǎng)的規(guī)模也越來越大，電力系統(tǒng)中引入了大規(guī)?？稍偕g歇性能源?，F(xiàn)階段，最重要的工作就是保證電力系統(tǒng)的穩(wěn)定和安全，雖然安全可靠性分析技術(shù)早就被運用在電網(wǎng)中，但是該技術(shù)有著較大的運算量，只在一部分區(qū)域設(shè)置了采集點，無法實現(xiàn)全面分析。如今，信息采集系統(tǒng)更加完善，覆蓋了整個電網(wǎng)，解決了數(shù)據(jù)采集點較少的問題，電網(wǎng)對智能技術(shù)進行運用后，形成了智能電網(wǎng)，能夠得到電網(wǎng)的全景實時數(shù)據(jù)。全景實時數(shù)據(jù)的數(shù)據(jù)量非常大，在采集和計算的過程中會形成幾千階的微分方程，計算起來要耗費大量的時間，不能保證全景數(shù)據(jù)分析的時效性。另外，大規(guī)模分布式間歇能源有很強的變化性，很難對其進行精準預(yù)估，往往會形成較大的沖擊，嚴重影響電網(wǎng)的穩(wěn)定性。所以，用實時動態(tài)的方式對電網(wǎng)數(shù)據(jù)進行分析是當前電力大數(shù)據(jù)分析工作的重點。

分析電網(wǎng)可靠性的常用方法是潮流計算法，受到采集點較少和數(shù)據(jù)較少的影響，過去的潮流計算無法保證計算結(jié)果的精確性。使用了分布式能源之后，要想對全景實時數(shù)據(jù)進行計算和分析，就必須要改變過去低效和局限性較大的計算方式，利用大數(shù)據(jù)技術(shù)優(yōu)化潮流計算技術(shù)，使潮流計算具有更高的精確程度和更快的計算速度，確保全景實時數(shù)據(jù)計算分析的準確性和時效性，為電網(wǎng)的可靠性提供保障。

分析電網(wǎng)可靠性一般會使用N-1安全準則，當電力系統(tǒng)中的設(shè)備發(fā)生故障后，往往會用這一準則評價電網(wǎng)的安全。N-1安全準則具有一定的局限性，該準則沒有關(guān)注電網(wǎng)中的多重事件，只能考慮了個別設(shè)備的故障問題，但是電力系統(tǒng)出現(xiàn)問題時，故障的設(shè)備往往會對其他部位產(chǎn)生影響，形成連鎖反應(yīng)。為了彌補N-1安全準則的不足，需要從多重事件的角度研究電網(wǎng)可靠性分析的方法，在N-m的基礎(chǔ)上進行研究，計算量的增長速度會變得越來越快，需要解決計算速度的問題，保證多重事件下的數(shù)據(jù)計算能夠在一定時間內(nèi)完成。目前，解決這個問題最有效的方法就是快速高維稀疏矩陣，可以利用迭代法對非線性方程進行運算和求解。

2.輸變電設(shè)備全壽命周期管理

電網(wǎng)的運行過程是一個動態(tài)變化的過程，電網(wǎng)不會一直保持穩(wěn)定安全的狀態(tài)，所以要在電網(wǎng)中加入實施監(jiān)測系統(tǒng)，對電網(wǎng)的運行情況進行實時監(jiān)控，盡量在最短的時間內(nèi)發(fā)現(xiàn)系統(tǒng)的異常情況，找出故障部位并對該部位進行維修處理，確保電網(wǎng)能夠盡快恢復(fù)正常的運行狀態(tài)。電力系統(tǒng)中存在各種類型的設(shè)備，對電網(wǎng)故障問題進行分析，發(fā)現(xiàn)很多情況都與設(shè)備有關(guān)，要重視設(shè)備的監(jiān)控和管理，尤其要重視輸變電設(shè)備，對該設(shè)備的運行數(shù)據(jù)進行采集和分析，根據(jù)全壽命周期數(shù)據(jù)進行分析和評估，利用這些數(shù)據(jù)建立相應(yīng)的模型，使評估過程更加直觀、評價結(jié)果更加準確，以這種方式降低設(shè)備故障和電力系統(tǒng)故障的幾率。

電力系統(tǒng)中的設(shè)備數(shù)據(jù)基本都是臺賬信息，這些數(shù)據(jù)信息都存儲在設(shè)備管理系統(tǒng)中，但是全壽命數(shù)據(jù)存在較長的間隔時間，在電網(wǎng)的分布上也比較廣泛，數(shù)據(jù)的收集和整理將會變得異常困難。而大數(shù)據(jù)中心能夠?qū)θ吭O(shè)備的數(shù)據(jù)進行整合，為全壽命周期管理提供了必要的支持，根據(jù)全壽命周期數(shù)據(jù)建立性的評價模型，對不夠準確的數(shù)據(jù)進行調(diào)整，讓模型更加精準，解決等級劃分較少的問題。等級劃分可以采用聚類劃分的方法，對設(shè)備的異常部位進行檢測，同時還可以運用深度學(xué)習(xí)技術(shù)，綜合多種技術(shù)，對輸變電設(shè)備進行自動分類，準確預(yù)測輸變電設(shè)備的故障情況。

對設(shè)備運行情況進行評價和預(yù)估，大都是在實驗室環(huán)境下的評估，其中的數(shù)據(jù)也是模擬過程中形成的數(shù)據(jù)，可以對人工智能技術(shù)進行運用，在該技術(shù)的基礎(chǔ)上劃分風(fēng)險的級別。實驗室模擬的缺陷在于數(shù)據(jù)量較少，實驗環(huán)境和真實的電力設(shè)備運行環(huán)境有很大的差異，無法保證該算法對大規(guī)模設(shè)備數(shù)據(jù)進行運算評估的高效性和準確性?？梢詫?shù)據(jù)分析技術(shù)進行運用，找出電力設(shè)備運行情況和設(shè)備所處環(huán)境的聯(lián)系，分析兩者的規(guī)律和關(guān)聯(lián)特征，在真實環(huán)境中更好對設(shè)備進行監(jiān)測、運算和評估。所以，對輸變電設(shè)備全壽命周期數(shù)據(jù)進行運算和分析的過程中，可以運用數(shù)據(jù)挖掘分析算法[1]。

3.全景實時能源動態(tài)平衡調(diào)度技術(shù)

發(fā)電量、用電量和輸電量并不是一成不變的，電力系統(tǒng)的能源一直處于變化的狀態(tài)，如果各個方面的數(shù)值差異過大，就有可能使電力系統(tǒng)出現(xiàn)問題，所以要讓各部分保持平衡，按照瞬時平衡規(guī)律進行調(diào)整，由于電力系統(tǒng)無法存儲大量的電能，所以要根據(jù)用電情況對發(fā)電量和輸電量進行控制，保證電力系統(tǒng)整體的平衡性。目前在整體的調(diào)度和控制上，最常用的系統(tǒng)就是SCADA系統(tǒng)，該系統(tǒng)能夠?qū)﹄娋W(wǎng)設(shè)備的運行數(shù)據(jù)和環(huán)境數(shù)據(jù)進行監(jiān)測和采集，發(fā)現(xiàn)電力設(shè)備出現(xiàn)異常情況時，及時進行報警，SCADA系統(tǒng)還能調(diào)整系統(tǒng)設(shè)備的參數(shù)，以達到控制設(shè)備和調(diào)節(jié)系統(tǒng)的目的。

調(diào)度系統(tǒng)是最初是根據(jù)系統(tǒng)的需求和實際情況進行設(shè)計和構(gòu)建的，隨著電力系統(tǒng)不斷發(fā)展和變化，電力系統(tǒng)的數(shù)據(jù)規(guī)模越來越大，傳統(tǒng)的處理方法已經(jīng)無法滿足當前電力系統(tǒng)的實際需求，各方面數(shù)據(jù)的處理速度非常慢，而且數(shù)據(jù)的處理范圍十分有限，基本上只能對主參數(shù)進行處理，忽略了很多細節(jié)數(shù)據(jù)。如今的電力系統(tǒng)中加入了大量的間歇性能源，系統(tǒng)的不確定性和復(fù)雜性更加明顯，大量分散的數(shù)據(jù)和異構(gòu)的信息會在同一時間傳輸?shù)綌?shù)據(jù)中心，如果數(shù)據(jù)中心繼續(xù)使用過去的調(diào)度系統(tǒng)，調(diào)度系統(tǒng)的功能和效果就會受到很大影響，無法保證數(shù)據(jù)處理的時效性和精確性，也無法根據(jù)數(shù)據(jù)處理的結(jié)果進行科學(xué)調(diào)度。

電力大數(shù)據(jù)中心可以利用大數(shù)據(jù)技術(shù)對大規(guī)模的數(shù)據(jù)信息進行處理，把控全局，合理調(diào)度，整合系統(tǒng)各個部分的資源，平衡供電量和用電量。電力大數(shù)據(jù)中心能夠準確統(tǒng)計能源的用量，對能源的需求進行預(yù)估，還能夠統(tǒng)計電能的生產(chǎn)量，根據(jù)各部分的數(shù)據(jù)參數(shù)進行自動調(diào)配，發(fā)揮自動調(diào)配技術(shù)的作用。能源動態(tài)平衡調(diào)度技術(shù)以大數(shù)據(jù)技術(shù)為基礎(chǔ)，能夠?qū)Υ罅康亩嘣毠?jié)數(shù)據(jù)進行運算和處理，根據(jù)實時數(shù)據(jù)和數(shù)據(jù)模型進行調(diào)度，使電力系統(tǒng)的調(diào)度更加精確和高效[2]。

4.內(nèi)存計算技術(shù)

電力大數(shù)據(jù)全景實時分析對計算機內(nèi)存和計算技術(shù)有較高的要求，在目前的計算機體系和計算技術(shù)中，對于64bit計算機來說，最大的內(nèi)存容量為232×4GB，內(nèi)存計算技術(shù)滿足了電力系統(tǒng)大量數(shù)據(jù)的存儲需求，不必再使用磁盤進行存儲和計算，極大提高了系統(tǒng)的性能、加快了數(shù)據(jù)處理的速度。當電力系統(tǒng)出現(xiàn)海量的數(shù)據(jù)，同時又要對這些數(shù)據(jù)進行實時處理時，就可以對內(nèi)存計算技術(shù)進行應(yīng)用，該技術(shù)在實時處理大量數(shù)據(jù)和密集型計算方面有很大的優(yōu)勢。電力大數(shù)據(jù)可以根據(jù)使用頻率的不同進行劃分，將其劃分成2種數(shù)據(jù)，一種為冷數(shù)據(jù)，主要在磁盤中存儲，另一種為熱數(shù)據(jù)，可以直接存儲到計算機內(nèi)存中。

內(nèi)存計算技術(shù)需要依托于具體的平臺，當前常使用的平臺為Spark平臺。Spark屬于開源集群計算系統(tǒng)，該系統(tǒng)以內(nèi)存計算技術(shù)為基礎(chǔ)，即使是在大數(shù)據(jù)電力全景實時分析對數(shù)據(jù)分析算法的運算速度有較高要求的情況下也可使用，未以達到系統(tǒng)穩(wěn)定運行的效果。Spark系統(tǒng)能夠在并行操作的過程中對工作數(shù)據(jù)集進行運用，使運算的速度更快。在Spark系統(tǒng)的作用下，電力系統(tǒng)將會更加高效，例如，在監(jiān)測設(shè)備的過程中會形成不同類型的數(shù)據(jù)，Spark能夠快速劃分數(shù)據(jù)的類型，利用k-means聚類劃分算法對數(shù)據(jù)進行分類處理[3]。聚類算法實現(xiàn)過程如下：（1）讀取存儲于HDFS中的文件塊到內(nèi)存中，并將每個塊轉(zhuǎn)化為一個RDD，其內(nèi)部為監(jiān)測數(shù)據(jù)特征量集合；（2）映射RDD，計算不同vector對應(yīng)聚類編號，并完成鍵值的輸出，最終生成新的RDD；（3）在歸納操作中混合各RDD，并將相同的聚類數(shù)據(jù)一起存放；（4）將輸出結(jié)果寫于HDFS中。

5.流式大數(shù)據(jù)分析技術(shù)

電力流式大數(shù)據(jù)有較多的特點，如無限性和突發(fā)性，在監(jiān)測和處理時很容易遺漏部分數(shù)據(jù)，必須要保證數(shù)據(jù)的完整性和數(shù)據(jù)處理的實時性。目前的流式數(shù)據(jù)分析平臺無法保證實時性和可靠性，電力大數(shù)據(jù)全景實時分析在流式數(shù)據(jù)的分析中，可以對Storm進行運用，Storm系統(tǒng)不會出現(xiàn)遺漏數(shù)據(jù)的問題，而且計算過程相對簡單，整體的分析更加高效。但是該系統(tǒng)在資源分配方面有一定不足，由于系統(tǒng)沒有運用拓撲結(jié)構(gòu)，導(dǎo)致該系統(tǒng)無法滿足調(diào)度的需求。對Storm進行優(yōu)化時，要先設(shè)計完整的拓撲結(jié)構(gòu)，明確數(shù)據(jù)處理的前后順序，根據(jù)一定的邏輯進行處理。以電力設(shè)備的監(jiān)測為例，對流數(shù)據(jù)進行處理時，要先對數(shù)據(jù)進行去噪處理，接下來要對流數(shù)據(jù)的特征量進行計算，最后根據(jù)計算結(jié)果評價電力設(shè)備的運行狀態(tài)[4]。使用Storm系統(tǒng)時，應(yīng)注意系統(tǒng)的2種節(jié)點，系統(tǒng)包含一個主節(jié)點，即nimbus，另一種節(jié)點是從節(jié)點，即supervisor，這種節(jié)點的數(shù)量較多。系統(tǒng)會在3種環(huán)境下運行，一是slave，二是master，三是cluster。處理流數(shù)據(jù)的過程中，還要對拓撲結(jié)構(gòu)進行設(shè)計，明確處理的順序，要掌握數(shù)據(jù)源和不同的處理節(jié)點，根據(jù)一定的邏輯關(guān)系處理流數(shù)據(jù)，以設(shè)備運行狀態(tài)監(jiān)測流數(shù)據(jù)為例，第一，先獲取流數(shù)據(jù)；第二，采用不同的方法進行去噪處理；第三，采用不同的運算方法計算流數(shù)據(jù)的特征量；第四，對流狀態(tài)進行評價。

6.多核并行計算技術(shù)

電力系統(tǒng)還可以對多核并行計算技術(shù)進行運用，在多核并行計算技術(shù)的應(yīng)用中，可以形成多核CPU，將系統(tǒng)中的算法并行，提高電力系統(tǒng)中密集數(shù)據(jù)的處理效率和分析效率。當前，電力系統(tǒng)需要處理海量的數(shù)據(jù)，還要執(zhí)行非常復(fù)雜的計算任務(wù)，這種情況增加了處理和計算的時間，多核并行計算技術(shù)能夠讓數(shù)據(jù)處理和運算更加快速，在使用多核處理器和眾核處理器的情況下，可以利用并行計算技術(shù)實現(xiàn)多線并行，更有效地利用數(shù)據(jù)集群節(jié)點。圖形處理器存在著數(shù)以千計的計算核心，只有運用并行計算技術(shù)，才能更快更好地完成數(shù)據(jù)處理工作。CPU實現(xiàn)了大規(guī)模線程并行，即使有幾百萬線程，也可以順利運行，切換的過程非?？焖佟Ｔ诓⑿杏嬎阒?，主要使用SIMD，即單指令多數(shù)據(jù)的并行方式，只要下達一個命令，就可以同時控制非常多的數(shù)據(jù)。

7.列存儲技術(shù)

在列存儲技術(shù)的應(yīng)用中，電力大數(shù)據(jù)全景實時數(shù)據(jù)中各種類型的數(shù)據(jù)都能被有效存儲，在電力系統(tǒng)的數(shù)據(jù)類型中，大部分都為結(jié)構(gòu)化數(shù)據(jù)，具體來說，包含用戶的用電數(shù)據(jù)和電力系統(tǒng)中各個設(shè)備運行時的數(shù)據(jù)，還包括PMU數(shù)據(jù)，這些數(shù)據(jù)都可以對列存儲技術(shù)加以利用，使全景實時分析的數(shù)據(jù)分析更加高效。使用列存儲技術(shù)時，單獨存儲每列數(shù)據(jù)，查找相關(guān)數(shù)據(jù)時，只要找到對應(yīng)的列即可，不用讀取其他列的數(shù)據(jù)，該技術(shù)大大減少了磁盤I/O，加快了數(shù)據(jù)查詢的速度。將每列數(shù)據(jù)單獨存儲，往往會使同列中的數(shù)據(jù)具有很強的相似性，可以將列存儲技術(shù)與壓縮技術(shù)結(jié)合起來，如位向量壓縮技術(shù)或數(shù)據(jù)字典壓縮技術(shù)，通過壓縮技術(shù)提高每列數(shù)據(jù)的壓縮率。

例如，在監(jiān)測電力系統(tǒng)中的電能質(zhì)量時，往往會產(chǎn)生非常多的時序監(jiān)測數(shù)據(jù)，而且數(shù)據(jù)的監(jiān)測包含多種類型，形成參數(shù)數(shù)據(jù)和諧波數(shù)據(jù)等類型的數(shù)據(jù)，可以將監(jiān)測類型細分成具體的列簇，對單獨通道里的數(shù)據(jù)進行存儲，使其處于相鄰的節(jié)點中，使后期的檢索更加方便。列簇的劃分如下：（1）設(shè)備運行時的監(jiān)測數(shù)據(jù)單獨成為一個列簇；（2）閃變數(shù)據(jù)單獨成為一個列簇；（3）電力系統(tǒng)中的電壓電流波形數(shù)據(jù)單獨成為一個列簇；（4）將頻譜數(shù)據(jù)與諧波和簡諧波融合到一起，共同組成一個列簇，對這些數(shù)據(jù)進行存儲時，可以采用組合壓縮的存儲方式，不用按照次數(shù)單獨進行存儲。對電力系統(tǒng)的數(shù)據(jù)進行劃分之后，可以根據(jù)數(shù)據(jù)的相關(guān)性進行存儲和查詢，使數(shù)據(jù)的查找和讀取更加快速。

8.結(jié)語

大數(shù)據(jù)全景實時分析會用到多種先進的技術(shù)，需要對這些技術(shù)進行研究和應(yīng)用，將各種技術(shù)綜合運用到電力大數(shù)據(jù)全景實時分析中，結(jié)合電力系統(tǒng)的現(xiàn)狀問題、電能的需求、關(guān)鍵技術(shù)的難點進行創(chuàng)新，發(fā)揮各種關(guān)鍵技術(shù)的作用，構(gòu)建一個更加高效和精準的電力大數(shù)據(jù)分析平臺。