摘 要：

電網調控系統(tǒng)服務范圍的擴大使得電力調度數(shù)據(jù)出現(xiàn)爆炸式增長，量測數(shù)據(jù)不一致、準確性低等數(shù)據(jù)質量問題日益突出，如何快速有效地實現(xiàn)多級電網調控量測數(shù)據(jù)質量診斷與評估成為亟待解決的難題。圍繞多級電網調控運行管理業(yè)務需求，首先提出考慮長時間尺度功率平衡及多源關聯(lián)分析的調控量測數(shù)據(jù)校驗算法，實現(xiàn)功率不平衡、多源不一致等異常數(shù)據(jù)的快速研判;其次提出基于模糊層次分析法的量測數(shù)據(jù)質量評估方法，構建基于Spark的電網調控多源量測數(shù)據(jù)質量綜合評估系統(tǒng)，為大電網數(shù)據(jù)價值深度挖掘和調控精益管理提供技術支撐。

關鍵詞：

多級電網調控; 長時間尺度功率平衡; 多源關聯(lián)分析; 模糊層次分析; 數(shù)據(jù)質量綜合評估

中圖分類號： TM73

文獻標志碼： A

文章編號： 2095-8188（2024）05-0036-10

DOI：

10.16628/j.cnki.2095-8188.2024.05.005

Research and Analysis on Data Quality Diagnosis Method Based on Multi-Source Measuring Information

XIE Lin， TAO Lei， YE Ruili， FENG Qiong， FENG Chaohan， ZHANG Zhoujie

［Beijing Key Laboratory of Research and System Evaluation of Power Dispatching Automation Technology （China Electric Power Research Institute），Beijing 100192，China］

Abstract：

The rapid expansion of the service scope of the power grid control system has caused the explosive growth in power dispatching data.Data quality issues such as consistency and accuracy of measuring data have become increasingly prominent.Therefore，how to quickly and effectively realize the measuring data quality diagnosis and evaluation of multi-level power grid control has become an urgent issue.Focusing on the business requirements of multi-level power grid dispatching and control operation management，a measuring data verification algorithm considering long time scale power balance and multi-source correlation analysis is proposed to realize the rapid research and judgment of abnormal data such as power imbalance and multi-source inconsistency.Secondly，a measuring data quality evaluation method based on fuzzy analytic hierarchy process is proposed，and a comprehensive evaluation system of multi-source measuring data quality for grid control based on Spark is constructed，which can provide technical support for deep mining of data value and lean management of the control in large power grids.

Key words：

multi-level grid control; long time scale power balance; multi-source correlation analysis; fuzzy analytic hierarchy process; comprehensive evaluation of data quality

0 引 言

隨著國家電網新型電力系統(tǒng)建設的不斷推進，融合數(shù)據(jù)資源、消除數(shù)據(jù)壁壘、實現(xiàn)大數(shù)據(jù)信息共享成為重要目標。目前，調度自動化系統(tǒng)采用國、分、省、地、縣分級建設［1］，調控業(yè)務服務范圍快速擴大，數(shù)據(jù)來源迅速增多，數(shù)據(jù)類型日趨多樣，數(shù)據(jù)規(guī)模和處理壓力急劇增大，對數(shù)據(jù)采集、匯集、管控、計算和應用能力的要求不斷提升，電網調控數(shù)據(jù)校驗與質量評估也愈顯重要［2-5］。

數(shù)據(jù)質量直接影響電網運行狀態(tài)評估和電力數(shù)據(jù)價值挖掘，對維護電力系統(tǒng)正常安全運行至關重要。文獻［6］提出利用量測數(shù)據(jù)之間的相關性辨識不良數(shù)據(jù)，理論上對于防止殘差淹沒和殘差污染有一定的意義，但算法的有效性仍需進一步驗證。文獻［7］采用基于量測量突變檢測與電力網絡拓撲約束協(xié)同的不良數(shù)據(jù)檢測方法，通過給定量測系統(tǒng)量測量之間的約束關系對不良數(shù)據(jù)進行檢測和辨識，有效避免在不良數(shù)據(jù)辨識過程中殘差污染和殘差淹沒的發(fā)生。但上述方法通常只對狀態(tài)估計過程中的不良數(shù)據(jù)進行辨識，且只考慮單一數(shù)據(jù)源和單一斷面數(shù)據(jù)質量，缺乏多源數(shù)據(jù)的關聯(lián)互校驗。另外，文獻［8］分析了基于多數(shù)據(jù)來源的電力調度數(shù)據(jù)中心數(shù)據(jù)校驗的總體框架。文獻［9］提出包含各類辨識技術的歷史數(shù)據(jù)辨識方案，但并未對框架中各種方法的具體執(zhí)行方式和有效性進行詳細的分析和驗證。在基于智能電網的調控技術支持系統(tǒng)中，多源量測信息仍缺乏有效的數(shù)據(jù)質量診斷手段和應用探索，導致上級調度收到下級調度上報的數(shù)據(jù)存在質量問題時無法及時發(fā)現(xiàn)并修正，數(shù)據(jù)質量管控流程難以形成閉環(huán)。因此，基于多源量測信息的數(shù)據(jù)質量診斷方法研究具有重要意義。

本文以多級電網調控中產生的多源量測信息數(shù)據(jù)為對象，開展數(shù)據(jù)質量診斷和綜合評估方法的研究，提出考慮長時間尺度功率平衡及多源關聯(lián)分析的量測數(shù)據(jù)校驗算法和基于模糊層次分析法的量測數(shù)據(jù)質量評估方法，將研發(fā)的電網調控多源量測數(shù)據(jù)質量評估應用系統(tǒng)在國家電力調度控制中心試點建設，取得了良好的實踐效果。

1 系統(tǒng)總體架構

多源量測數(shù)據(jù)質量評估系統(tǒng)涵蓋數(shù)據(jù)匯集與存儲、數(shù)據(jù)質量診斷、數(shù)據(jù)質量評估與可視化的完整處理流程，實現(xiàn)了電網調控量測數(shù)據(jù)采集、融合、校驗、評估的全鏈路閉環(huán)管理?；赟park的電網調控多源量測數(shù)據(jù)質量評估系統(tǒng)架構如圖1所示。該系統(tǒng)主要分為3個模塊。

1.1 數(shù)據(jù)匯集與存儲

依據(jù)電網調控云總體架構設計，國分云（主導節(jié)點）負責220 kV及以上主網模型數(shù)據(jù)和量測數(shù)據(jù)的匯集處理;省地云（協(xié)同節(jié)點）負責35 kV及以上省網模型數(shù)據(jù)和量測數(shù)據(jù)的匯集處理，并向主導節(jié)點同步/轉發(fā)相關數(shù)據(jù)［1，10］。大數(shù)據(jù)平臺通過消息總線獲取云端的量測報文，并按照電力調度數(shù)據(jù)對象結構化設計［11］進行數(shù)據(jù)解析，最后依據(jù)HBase數(shù)據(jù)存儲結構，按年份和電力調度數(shù)據(jù)對象維度分表存儲海量量測數(shù)據(jù)，實現(xiàn)千億級電網量測數(shù)據(jù)的匯集與存儲［12］。

1.2 數(shù)據(jù)質量診斷

以模型數(shù)據(jù)和量測數(shù)據(jù)為驅動，首先提取海量量測數(shù)據(jù)的時空關系、變化頻率、拓撲關系等特征因素，然后利用長時間尺度功率平衡分析算法、多源關聯(lián)分析算法、基于滑動窗口的量測點校驗算法以及基于對象模型范圍的量測完整性校驗算法計算數(shù)據(jù)質量量化指標，最后利用Spark分布式計算引擎［13］進行特征因素和量化指標的綜合分析與計算，實現(xiàn)功率不平衡、多源不一致、階躍跳變、量測點缺失等異常數(shù)據(jù)的快速研判。

1.3 數(shù)據(jù)質量評估與可視化

根據(jù)電網運行數(shù)據(jù)的特點劃分質量評估維度，結合數(shù)據(jù)質量診斷算法判定異常問題，構建數(shù)據(jù)質量評估模型;然后利用基于模糊層次分析法的量測數(shù)據(jù)質量評估方法計算綜合評分;最后采用大數(shù)據(jù)可視化分析技術實現(xiàn)數(shù)據(jù)質量評估報告的多維動態(tài)交互式展示，為大電網數(shù)據(jù)價值深度挖掘和調控精益管理提供技術支撐。

在本系統(tǒng)中，數(shù)據(jù)質量診斷、數(shù)據(jù)質量評估及可視化展示是基于Spark的電網調控多源量測數(shù)據(jù)質量評估系統(tǒng)的主要模塊，實現(xiàn)了整個系統(tǒng)的核心功能。

2 多源量測數(shù)據(jù)質量診斷方法

大數(shù)據(jù)平臺存儲的數(shù)據(jù)涉及電力設備容器、電力一次設備等多種對象的量測信息。量測數(shù)據(jù)是一種具有周期性、連續(xù)性特征的時間序列數(shù)據(jù)，且各種設備對象測點的數(shù)據(jù)千差萬別。在實際電網調度控制系統(tǒng)中，源端采集設備故障、采集誤差、源端ID映射錯誤、網絡阻塞、數(shù)據(jù)轉發(fā)延遲、模型維護錯誤等多種原因均會影響各地區(qū)電力調度中心上報量測數(shù)據(jù)質量［8］，表現(xiàn)為功率不平衡、多源數(shù)據(jù)不一致、量測缺失、數(shù)據(jù)跳變等。本文針對上述量測數(shù)據(jù)特點和質量問題，首先結合ISO/IEC 25012：2008《軟件工程 軟件產品質量要求和評價（SQuaRE）數(shù)據(jù)質量模型》對數(shù)據(jù)質量的描述，將量測數(shù)據(jù)質量校驗維度劃分為完整性、及時性、準確性、一致性等［14］，然后提出基于對象模型范圍的量測完整性校驗算法、基于滑動窗口的量測點校驗算法、長時間尺度功率平衡校驗算法以及多源關聯(lián)分析校驗算法，利用Spark分布式計算引擎進行量化指標迭代計算與異常數(shù)據(jù)研判，最后利用模糊層次分析法［15-18］計算數(shù)據(jù)測點綜合評分，并通過大數(shù)據(jù)可視化分析技術［19-24］實現(xiàn)數(shù)據(jù)質量評估報告的多維動態(tài)交互式展示。

2.1 基于對象模型范圍的量測完整性校驗算法

量測完整性是指各地區(qū)電力調度中心上報數(shù)據(jù)是否涵蓋管轄區(qū)域范圍內的全部測點數(shù)據(jù)。在電網調控系統(tǒng)中，一般通過對象ID編碼、量測類型、數(shù)據(jù)來源標識一個測點。在調控云建設過程中，通過電力調度通用數(shù)據(jù)對象結構化設計對數(shù)據(jù)對象關系、數(shù)據(jù)對象ID編碼、數(shù)據(jù)對象元數(shù)據(jù)定義和數(shù)據(jù)字典進行建模［11，25］，可以根據(jù)對象基本信息模型關聯(lián)分析獲取對象模型范圍，因此本文提出基于對象模型范圍的量測完整性檢測。首先根據(jù)調度機構與設備間的調度管理關系、運維機構與設備間的運維管理關系、設備容器與設備之間的從屬關系分析獲取設備容器與設備的運維機構、調度機構信息，從而劃分各地區(qū)電力調度中心上報數(shù)據(jù)測點范圍;然后按電壓等級維度分別統(tǒng)計各地區(qū)應上送測點數(shù)量和實際上送測點數(shù)量;最后計算各數(shù)據(jù)源完整率量化指標。

2.2 基于滑動窗口的量測點校驗算法

針對量測數(shù)據(jù)量大、數(shù)據(jù)時間相關性高、計算時效性強等特點，本文提出一種基于滑動窗口的量測點校驗算法，采用增量處理方法對時間序列數(shù)據(jù)進行缺失點和跳變點的快速篩查。

設時間序列V是由量測時刻和量測值組成的元素有序集合，V={（t0，v0），（t1，v1），…，（tn，vn）}，定義一個時間間隔為w的滑動窗口Sw［t，t+w］。正常情況下，w中的量測值具有連續(xù)性且量測值數(shù)量固定，當w取值很小時，V的變化不會很大，基本均勻分布在當前窗口內所有V值的均值附近［26］，當某個量測點m的量測值V明顯偏離當前窗口的均值，m很可能為跳變點，因此，本文基于滑動窗口對測點日量測序列分時段設定閾值，實現(xiàn)跳變點的判定。

基于滑動窗口的量測點校驗算法的具體流程如下。

（1） 選定滑動窗口Sw的時間間隔w大小，放置滑動窗口Sw（vti），使其空間中心與待校驗點重合。

（2） 判定待測點的有效性，若待測點數(shù)據(jù)不為1或非法數(shù)值，認為此點為有效量測點，可以繼續(xù)參與計算，否則，認為此點為缺失點，計入缺失點序列M={（ta，vta），（tb，vtb），…，（ty，vty）}。

（3） 計算滑動窗口內量測序列值的均值avg［Sw（vti）］，公式為

avg［Sw（vti）］=vti-w/2+vti-w/2+1+…+vti+…+vti+w/2-1+vti+w/2w（1）

（4） 計算待校驗量測點偏離滑動窗口量測均值的空間距離d（vti），即

d（vti）=D{vti，avg［Sw（vti）］}（2）

（5） 劃分不同時段區(qū)間，統(tǒng)計提取量測特征值，設定時段區(qū)間閾值序列τ={τ1，τ2，…，τn}。

（6） 將空間偏離距離與對應時段區(qū)間閾值進行比較，當d（vti）lt;τi時，判定待校驗量測點為正常值，否則認為待校驗量測點為跳變點。

本文通過基于滑動窗口的量測點校驗算法可以快速發(fā)現(xiàn)跳變點和缺失點，然后對日量測數(shù)據(jù)進行統(tǒng)計，并計算跳變點和缺失點的占比。

2.3 長時間尺度功率平衡校驗算法

電力系統(tǒng)中，廠站、線路、變壓器等設備的有功功率平衡可以直接反映電網的運行狀況，也是反映量測數(shù)據(jù)準確性的重要指標，直接統(tǒng)計計算廠站、線路、變壓器等設備的量測數(shù)據(jù)，對量測數(shù)據(jù)出現(xiàn)的問題具有更加明確的指向性［27］?；陔娏ο到y(tǒng)基爾霍夫定律以及功率守恒原理，電網正常運行時設備的流入、流出有功功率的偏差應控制在合理的范圍內，如果有功功率長時間不平衡偏大，就應及時查找原因，保證電網安全穩(wěn)定運行。

廠站功率平衡校驗需要考慮站內同一電壓等級的所有線路和變壓器等設備在同一個時間斷面的流入和流出有功功率。在實際電力系統(tǒng)中，采集設備故障、采集誤差、模型維護錯誤、報送假數(shù)據(jù)等情況均可能造成匯集到大數(shù)據(jù)平臺的數(shù)據(jù)表現(xiàn)出功率不平衡，因此本文直接對廠站端上報的分鐘級量測數(shù)據(jù)進行統(tǒng)計計算，計算長時間尺度功率偏差量與偏差點，快速尋找造成廠站功率不平衡的原因，為提升基礎數(shù)據(jù)質量和推動電網安全穩(wěn)定運行提供有效支撐。

長時間尺度功率平衡校驗算法實現(xiàn)流程：

（1） 設備序列由交流線端、變壓器繞組、換流器組成，按照設備與廠站的拓撲關系，將同廠站中設備按照電壓等級分組，相同電壓等級的設備序列Dvol={Vac，Vtf，Vct}，其中交流線端Vac={Vac，1，Vac，2，…，Vac，n}、變壓器繞組Vtf={Vtf，1，Vtf，2，…，Vtf，m}、換流器Vct={Vct，1，Vct，2，…，Vct，k}，時間序列V={（t0，v0），（t1，v1），…，（tn，vn）}。

（2） 根據(jù)2.2節(jié)方法找出Dvol中所有設備的非空有效時間點序列，記為T={Tac，Ttf，Tct}，其中Tac，i={t0，t1，…，tn}為時間序列，并計算廠站所有功率平衡校驗的有效時間點序列T′，有效點數(shù)為有效時間序列T′的長度len（T′）。

Tac=Tac，1∩Tac，2∩…∩Tac，n（3）

Ttf=Ttf，1∩Ttf，2∩…∩Ttf，m（4）

Tct=Tct，1∩Tct，2∩…∩Tct，k（5）

T′=Tac∩Ttf∩Tct（6）

（3） 分別計算設備序列中各類設備在同一個有效時間斷面的流入和流出有功功率偏差，包括交流線端ΔPac，ti、變壓器繞組ΔPtf，ti、換流器ΔPct，ti，之后將所有設備在同一個有效時間斷面的有功功率偏差相加得到ΔPst，ti，計算公式為

ΔPac，ti=pac，1+pac，2+…+pac，k（7）

ΔPtf，ti=ptf，1+ptf，2+…+ptf，l（8）

ΔPct，ti=pct，1+pct，2+…+pct，l（9）

ΔPst，ti=ΔPac，ti+ΔPtf，ti+ΔPct，ti（10）

（4） 統(tǒng)計提取電力系統(tǒng)有功功率特征值，設定不同電壓等級的功率偏差閾值序列τ={τ35，τ66，…，τ220，…，τ10 00}，其中下標表示電壓等級。

（5） 比較各有效時間斷面的廠站有功功率偏差ΔPst，ti與功率偏差閾值，當ΔPst，tilt;τvol時，判定該斷面不存在有功功率不平衡問題，否則判定該時刻為功率不平衡點，并記錄到功率不平衡序列P′st={（ta，Δpta），（tb，Δptb），…，（ty，Δpty）}中，功率不平衡點的個數(shù)為功率不平衡序列P′st的長度len（P′st）。

（6） 計算廠站有功功率偏差總量SUMP′st及偏差量化指標DVst，公式為

SUMP′st=∑NiΔPst，ti（11）

DVst=len（P′st）len（T′）（12）

通過上述方法，可以選擇不同的時間尺度計算偏差量化指標。根據(jù)量測數(shù)據(jù)采集特點，一般選取分鐘級量測日數(shù)據(jù)進行校驗，既能有效體現(xiàn)電力系統(tǒng)有功功率每天的周期性變化，又能保證計算速度和效率。在實施過程中，通過偏差量化指標得出功率不平衡點的比率，表征目標量測數(shù)據(jù)是否存在質量異常問題;通過有功功率偏差總量可以得到設定時間尺度的功率偏差總量，通過分析有功功率偏差總量和目標量測數(shù)據(jù)點的值，能夠得出目標量測數(shù)據(jù)中異常問題的類型。另外，對于線路、變壓器等一次設備的功率平衡校驗，可以通過計算設備各端、在同一個時間斷面的流入和流出有功功率來計算偏差量化指標，同樣可以實現(xiàn)功率平衡校驗，并將測點信息與對象基本信息模型進行比較，分析出線路線端和變壓器繞組的模型個數(shù)和實際上送數(shù)據(jù)的測點個數(shù)，從而快速定位模型維護錯誤、少報漏報數(shù)據(jù)等數(shù)據(jù)質量問題。

2.4 多源關聯(lián)分析校驗算法

多源關聯(lián)分析校驗是指對不同數(shù)據(jù)來源對應時刻相同值域量測值差異程度的衡量。我國電力調度分為國、分、省、地、縣5級，各級調度間實現(xiàn)分層控制、信息逐級傳送，按照電力系統(tǒng)“統(tǒng)一調度、分級管理”的原則，調控云采用統(tǒng)一和分布相結合的分級部署設計，由國分主導節(jié)點、各省級協(xié)同節(jié)點和源數(shù)據(jù)端共同構成一個完整的調控云體系。不同層級數(shù)據(jù)源采集設備的差異性或省市轉發(fā)過程中數(shù)據(jù)出現(xiàn)偏差，造成匯集到大數(shù)據(jù)平臺的數(shù)據(jù)存在多源不一致問題，表現(xiàn)為多源日量測值變化趨勢互為平行、互為相反或隨機偏差等形式。本文綜合分析多源數(shù)據(jù)及變化趨勢的特性，提出多源關聯(lián)分析算法實現(xiàn)多源數(shù)據(jù)互校驗。

在多源關聯(lián)分析算法中，首先計算不同數(shù)據(jù)源樣本間的空間距離，距離越大，則兩源之間數(shù)據(jù)相似性越差。通過分析不同對象的量測數(shù)據(jù)可以得出，不同對象、統(tǒng)計口徑量測數(shù)據(jù)的量綱差異較大，而距離計算一般對數(shù)據(jù)量綱比較敏感，不同量綱數(shù)據(jù)計算出的距離值相差很大，難于比較，因此需要通過離散標準化將原始數(shù)據(jù)值線性變換后映射到［0，1］，然后計算各數(shù)據(jù)源量測點之間的偏差。單純的距離模型表示相似度往往不能很好地體現(xiàn)不同數(shù)據(jù)點對整條序列的影響程度，本文結合皮爾森系數(shù)優(yōu)化距離計算模型，通過動態(tài)分配模型權重，計算兩源之間偏差量化指標。偏差量化指標越大，表明兩源之間量測數(shù)據(jù)差別越大;反之，量測數(shù)據(jù)不存在多源不一致問題。具體的算法流程如下。

（1） 記任意對象中2個相同統(tǒng)計口徑、不同數(shù)據(jù)來源的量測序列為Vx={vx1，vx2，…，vxn}和Vy={vy1，vy2，…，vyn}，計算任意時刻i的量綱，表達式為

DIM（vxi，vyi）=max （vxi，vyi）（13）

（2） 計算不同數(shù)據(jù)源間量測值的距離度量αX，Y，計算過程中一般選取p=2。

αX，Y=1N∑Ni=1vxi-vyiDIM（vxi，vxj）p1/p（14）

（3） 計算量測序列的相關系數(shù)ρX，Y，公式為

ρX，Y=∑Ni=1（vxi-V—x）（vyi-V—y） ∑Ni=1（vxi-V—x）2 ∑Ni=1（vyi-V—y）2（15）

式中： V—x——數(shù)據(jù)源X的N個量測值的平均值;

V—y——數(shù)據(jù)源Y的N個量測值的平均值。

（4） 分析不同對象及統(tǒng)計口徑數(shù)據(jù)，統(tǒng)計提取量測特征，動態(tài)分配模型權重w，計算量測序列的綜合偏差量化指標SIM（Vx，Vy），計算公式為

SIM（Vx，Vy）=wαX，Y+（1-w）（1-ρX，Y）（16）

（5） 設定Tobj_id是對象多源偏差閾值，下標obj_id表示電力調度通用數(shù)據(jù)對象結構化設計中電力設備對象編碼。如果SIM（Vx，Vy）gt;Tobj_id，就說明不同數(shù)據(jù)源之間量測數(shù)據(jù)差別大，該量測數(shù)據(jù)存在多源不一致性;如果SIM（Vx，Vy）≤Tobj_id，就說明不同數(shù)據(jù)源之間量測數(shù)據(jù)基本相似，該量測數(shù)據(jù)多源一致。其中T={T0101，T0101，…，T0101}表示不同電力設備對象的多源偏差閾值序列。

本文通過上述方法，可以快速計算出不同數(shù)據(jù)來源對應時刻量測值的差異，實現(xiàn)多源不一致數(shù)據(jù)的快速研判，為進一步分析問題的原因提供指標依據(jù)。

2.5 基于模糊層次分析法的數(shù)據(jù)質量評估方法

數(shù)據(jù)質量評估是數(shù)據(jù)質量管理的關鍵過程和基礎部分。根據(jù)數(shù)據(jù)質量評估結果進一步分析產生數(shù)據(jù)質量問題的原因，提出數(shù)據(jù)質量改進措施，并對源端上報的量測數(shù)據(jù)進行修改和完善，是數(shù)據(jù)質量診斷方法研究的最終目的［28］。層次分析法是一種常用的數(shù)據(jù)質量評估方法，可以靈活、簡單地實現(xiàn)定性問題向定量問題的轉化［29］。該方法根據(jù)待解決問題的目標將問題有關的元素分解為不同的影響因子，并根據(jù)影響因子之間的相互隸屬與關聯(lián)關系構建一個自上而下的多層次分析結構模型。但當某一層次評價指標過多時，其思維一致性很難保證，因此模糊層次分析法更好地解決了傳統(tǒng)層次分析法存在的問題。

本文以完整性、及時性、準確性、一致性等質量維度和對象基本信息模型為基礎指標構造遞階層次模型。遞階層次模型如圖2所示。該模型共分3個層次，分別是目標層、對象模型層、準則層，其中第二級指標是第一級指標的細化，第三級指標是第二級指標的細化，如此類推，遞階層次模型亦可以根據(jù)需要增加或減少層級指標。

假設遞階層次模型的指標因素集為F={f1，f2，…，fn}，其中Fi={fi1，fi2，…，fim}，且滿足以下關系：

F1∪F2∪…∪Fn=F

根據(jù)不同應用需求，對同一層級的要素進行兩兩比較，然后對每一個因素集Fi分別進行綜合評判，形成評語集Ci={ci1，ci2，…，cim}，并根據(jù)評定尺度和模糊綜合法對Fi中各項指標相對Ci進行權重分配，形成權向量Wi={wi1，wi2，…，wim}，并建立模糊判斷矩陣R為

R=r11r12…r1nr21r22…r2n…………rn1rn2…rnn（18）

對于多層模糊評判，形成評判向量B=W·R，最終得到模糊綜合評估結果Z=B·M，其中M為評價區(qū)間向量。

本文通過模糊層次分析法計算數(shù)據(jù)測點綜合評分，對數(shù)據(jù)質量進行客觀、有效、合理的評價，最后通過大數(shù)據(jù)可視化分析技術實現(xiàn)數(shù)據(jù)質量評估報告的多維動態(tài)交互式展示，為大電網數(shù)據(jù)價值深度挖掘和調控精益管理提供技術支撐。

3 應用分析

本文研發(fā)的系統(tǒng)利用Spark分布式計算引擎對千億級量測數(shù)據(jù)進行匯集存儲和高速計算，然后將分析結果存儲在MPP集群上，最后通過大數(shù)據(jù)可視化分析技術對數(shù)據(jù)質量診斷結果進行多維動態(tài)交互式展示。該系統(tǒng)在通用檢測算法的基礎上，結合了電網業(yè)務規(guī)則，形成28類校驗規(guī)則，每天準實時對運行數(shù)據(jù)質量進行評估。國分大數(shù)據(jù)平臺日均匯集數(shù)據(jù)約18億條，電網調控量測數(shù)據(jù)質量智能綜合評估系統(tǒng)相比人工巡檢發(fā)現(xiàn)數(shù)據(jù)問題檢出率提高了121.73%，相比算法改進前問題的檢出率提高了6.02%。對全年檢出的數(shù)據(jù)問題及原因進行統(tǒng)計分析。數(shù)據(jù)問題分類如表1所示。

由表1可得，時序性數(shù)據(jù)最常出現(xiàn)量測值缺失問題，占比達到59%，設備故障、轉發(fā)/接收延遲、網絡故障等多方面原因均會導致數(shù)據(jù)上送不及時;完整性、準確性和一致性問題相對較少，但對后期數(shù)據(jù)挖掘分析的影響往往很大。數(shù)據(jù)不準確、不一致往往需要從源頭進行治理和解決，通過數(shù)據(jù)采集、融合、校驗、修正的全鏈路閉環(huán)管理體系運作，全面提升錯誤定位和異常問題解決的效率，保證數(shù)據(jù)的高質量。

為驗證方法的準確性和可行性，構建電網、斷面、發(fā)電廠、發(fā)電機、交流線路等多種對象數(shù)據(jù)集，并對實例場景數(shù)據(jù)及曲線進行分析，通過計算相關指標，驗證電網調控多源量測數(shù)據(jù)質量綜合評估系統(tǒng)的實用效果和綜合性能。

3.1 數(shù)據(jù)跳變點分析

本文采用異常數(shù)據(jù)檢測準確率Paccuracy來判斷滑動窗口寬度w對最終異常數(shù)據(jù)檢測結果的影響，其表達式為

Paccuracy=NjumpNT（19）

式中： Njump——最終檢測出的跳變點數(shù)據(jù)量;

NT——待檢測數(shù)據(jù)中跳變點的總數(shù)量。

本實驗選取33個省級電網1個月約142.6萬個測點的發(fā)電數(shù)據(jù)，滑動窗口寬度w分別取1 d、3 d、5 d、7 d、9 d，通過算法準確率、運行時間、內存利用率對算法進行衡量。滑動窗口算法分析實驗結果如圖3所示。

由圖3可見，隨著w值的逐漸增大，檢測準確率逐漸升高，當w≥5時，數(shù)據(jù)流中包含了更多的狀態(tài)信息，準確率逐漸趨于穩(wěn)定;由于滑動窗口不斷增大，計算數(shù)據(jù)量不斷增加，所以算法的運行時間呈線性增加;內存利用率開始時不斷上升，當w=5時，內存趨于平衡，這時主機內存利用率基本飽和。這里綜合考慮算法成本，本文取w=5。

以某省級電網發(fā)電數(shù)據(jù)為例，分別對2021年4月13—16日同時刻數(shù)據(jù)進行分析比較。電網發(fā)電數(shù)據(jù)變化曲線如圖4所示。由圖4可知，4月15日13：27數(shù)據(jù)出現(xiàn)明顯的突變，同時刻該地區(qū)電網未發(fā)生異常事故或拓撲結構變動，正常情況下，該省級電網發(fā)電數(shù)據(jù)不會出現(xiàn)階躍突變，因此該點屬于異常數(shù)據(jù)。

以13：24—13：30量測數(shù)據(jù)為例，利用式（1）、式（2）計算待測點的空間偏離距離。量測點空間偏離距離計算結果如表2所示。以4月15日13：27—13：29量測值為中心點的距離值超過閾值，與前后日期同時段距離值比較也相差很大，故可將5個量測點列為疑似突變點，進一步將距離值做差值比較，可判斷出13：27發(fā)生量測值明顯突變。

為進一步驗證算法的有效性，將本文算法與斜率突變識別算法的準確率進行對比。算法準確率對比如圖5所示。由圖5可知，隨著樣本數(shù)據(jù)量逐漸增加，2種算法的準確率不斷增加且趨于穩(wěn)定，但本文算法準確率相對較高，且具有明顯的優(yōu)勢。因此通過基于滑動窗口的量測點校驗算法，對窗口期內數(shù)據(jù)迭代差值比較，保證了數(shù)據(jù)跳變點檢測結果具有較高的準確性。

3.2 功率平衡分析

本文提出的長時間尺度功率平衡校驗算法適用于發(fā)電廠、變電站、換流站、線路、變壓器等多種對象場景的數(shù)據(jù)準確性校驗。以交流線路為例，利用本文算法分析線路送出端和受入端有功功率平衡情況。交流線路功率曲線如圖6所示。基于圖6（a）盤宜—B線送端和受端00：00—23：59的有功曲線，根據(jù)式（7）計算形成功率疊加曲線，通過式（11）計算出盤宜—B線功率偏差總量為0，不存在不平衡問題;基于圖6（b）70810黃州I線送端和受端同時間有功曲線，由于受端數(shù)據(jù)恒為0值，形成功率疊加曲線與受端曲線重疊，計算出

70810黃州I線功率偏差值為406.517 8 MW，其明顯高于設定閾值，可以判斷存在功率不平衡問題。通過本文有功功率偏差值計算，結合目標量測數(shù)據(jù)值分析，能夠有效監(jiān)測出目標量測數(shù)據(jù)中存在的功率不平衡問題。

進一步選取發(fā)電廠、交流線路、變壓器對象的有功功率數(shù)據(jù)各1萬條，將本文算法與單時間斷面檢測算法進行比較分析，設置校驗的偏差閾值為10，對比單個時間斷面數(shù)據(jù)、1 d時間尺度數(shù)據(jù)、7 d時間尺度數(shù)據(jù)的問題檢出量和問題檢出率。功率不平衡問題檢出情況對比如表3所示。由表3可見，采用本文算法的問題檢出率和準確率都優(yōu)于單個時間斷面的檢測方法，且隨著選取數(shù)據(jù)時間尺度的增大優(yōu)勢越明顯。

3.3 多源關聯(lián)分析

本文提出的多源關聯(lián)分析算法結合皮爾森系數(shù)優(yōu)化了距離計算模型，通過動態(tài)分配模型權重，計算兩源之間偏差量化指標，實現(xiàn)多源不一致數(shù)據(jù)的快速研判。為了進一步驗證本算法相對于其他算法對多源不一致數(shù)據(jù)研判的準確率，本文構建5種不同對象的數(shù)據(jù)集。不同對象的數(shù)據(jù)集分布情況如表4所示。

利用分群隨機抽樣法抽取實驗數(shù)據(jù)，多源關聯(lián)分析算法與距離模型算法、相關系數(shù)算法的準確率如圖7所示。由圖7可知，樣本數(shù)據(jù)量相同時，本文算法的準確率更高;隨著樣本數(shù)據(jù)量的增加，多源不一致數(shù)據(jù)分析的準確率也逐漸提升。

4 結 語

本文提出的電網調控多源量測數(shù)據(jù)質量評估系統(tǒng)可實現(xiàn)漏點、突變點、非法值等異常數(shù)據(jù)快速研判，提升了千億級數(shù)據(jù)的問題檢出率。在跨時空、跨業(yè)務、跨調度間的多源數(shù)據(jù)互校驗方面具有先進性，為大電網數(shù)據(jù)價值挖掘和調控精益管理提供高質量的數(shù)據(jù)支撐。近年來，隨著特高壓交直流互聯(lián)電網的建設、新能源的發(fā)展，以及電力市場改革的深化，中國電網運行特性發(fā)生了深刻的變化，對電網調度控制能力提出了更高的要求，亟需對模型、數(shù)據(jù)和管理等進行深入的基礎工作研究［30］。本文將深入融合云計算和深度學習等新技術，持續(xù)改進質量診斷特征量提取算法，利用深度神經網絡等方法探索主配網數(shù)據(jù)間關聯(lián)關系和電網拓撲結構特征，進一步提升電網調度營配數(shù)據(jù)質量診斷的準確性。

【參 考 文 獻】

［1］ 許洪強.調控云架構及應用展望［J］.電網技術，2017，41（10）：3104-3111.

［2］ 劉道偉， 李柏青， 邵廣惠， 等.基于大數(shù)據(jù)及人工智能的大電網智能調控系統(tǒng)框架［J］.電力信息與通信技術，2019，17（3）：14-21.

［3］ 周凱， 馬智遠， 許中.基于大數(shù)據(jù)技術的智能電網態(tài)勢感知分析［J］.電器與能效管理技術，2018，（21）：70-76.

［4］ 張雪瑩， 賴來源， 曾慶彬， 等.基于模糊評價的智能用電新技術成熟度模型［J］.廣東電力，2022，35（3）：69-78.

［5］ 王新宇， 王相杰， 張明月， 等.基于改進自適應免疫遺傳算法的智能電網虛假數(shù)據(jù)攻擊檢測方法［J］.浙江電力，2023，42（10）：84-89.

［6］ 黃彥全， 肖建， 李云飛， 等.基于量測數(shù)據(jù)相關性的電力系統(tǒng)不良數(shù)據(jù)檢測和辨識新方法［J］.電網技術，2006，30（2）：70-74.

［7］ 崔英男， 王勇.基于量測量突變檢測與拓撲約束協(xié)同的不良數(shù)據(jù)檢測［J］.上海電力學院學報，2018，34（1）：59-65.

［8］ 張亮.電力調度數(shù)據(jù)中心數(shù)據(jù)質量問題研究［J］.華東電力，2009，37（3）：403-406.

［9］ 雷霆， 朱傳柏， 黃太貴， 等.基于數(shù)據(jù)平臺的調度數(shù)據(jù)質量辨識方法［J］.電力系統(tǒng)自動化，2012，36（12）：71-75.

［10］ 許洪強， 孫世明， 葛朝強， 等.電網調控實時數(shù)據(jù)平臺體系架構及關鍵技術研究與應用［J］.電力系統(tǒng)自動化，2019，43（22）：157-164.

［11］ 許洪強.面向調控云的電力調度通用數(shù)據(jù)對象結構化設計及應用［J］.電網技術，2018，42（7）：2248-2254.

［12］ 許洪強， 蔡宇， 萬雄， 等.電網調控大數(shù)據(jù)平臺體系架構及關鍵技術［J］.電網技術，2021，45（12）：4798-4807.

［13］ 王蕊， 俞凌楓， 朱斌， 等.大數(shù)據(jù)和機器學習技術在電纜運維中的應用研究［J］.電器與能效管理技術，2020（12）：114-118.

［14］ PIPINO L L， LEE Y W， WANG R Y.Data quality assessment［J］.Communciations of the ACM，2002，45（4）：211-218.

［15］ 韋惠慧， 劉向軍.高壓直流繼電器性能模糊綜合評估方法［J］.電器與能效管理技術，2020（9）：30-35，39.

［16］ 朱凱， 李雅晴， 胡振華， 等.基于海量運行數(shù)據(jù)的主動配電網運行健康水平綜合評價方法［J］.電器與能效管理技術，2023（3）：46-53.

［17］ 秦川， 姜燕.基于經濟等效時間考慮電壓暫降的供電可靠性評估方法研究［J］.電力電容器與無功補償，2022，43（1）：144-150.

［18］ 陳力， 湯霖， 左中秋， 等.基于變異系數(shù)法和灰色關聯(lián)度的高壓并聯(lián)電容器綜合評價研究［J］.電力電容器與無功補償，2023，44 （5）：27-32.

［19］ KANDEL S， PARIKH R， PAEPCKE A， et al.Profiler：integrated statistical analysis and visualization for data quality assessment［C］∥Advanced Visual Interfaces ACM，2012（5）：547-554.

［20］ 周小明， 陳鄭平， 陶蕾， 等.基于電力調控大數(shù)據(jù)平臺的指標展示應用研究［J］.電力信息與通信技術，2016，14（12）：19-23.

［21］ 王永明， 陳宇星， 殷自力， 等.基于大數(shù)據(jù)分析的電力用戶行為畫像構建方法研究［J］.高壓電器，2022，58（10）：173-179，187.

［22］ 白雨佳， 李靖， 高升.基于最優(yōu)K均值聚類算法的負荷大數(shù)據(jù)任務均衡調度研究［J］.電力電容器與無功補償，2022，43（6）：85-91.

［23］ 劉棟， 蔣正威， 朱英偉， 等.基于LDSAD的電力監(jiān)控系統(tǒng)網絡流量異常檢測［J］.浙江電力，2022，41（3）：87-92.

［24］ 姚海成， 李豹， 黃兆棽.基于隨機森林算法的電力系統(tǒng)小干擾穩(wěn)定評估校正［J］.廣東電力，2023，36（7）：60-69.

［25］ 韓笑， 狄方春， 劉廣一， 等.應用智能電網統(tǒng)一數(shù)據(jù)模型的大數(shù)據(jù)應用架構及其實踐［J］.電網技術，2016，40（10）：3206-3212.

［26］ 嚴英杰， 盛戈皞， 劉亞東， 等.基于滑動窗口和聚類算法的變壓器狀態(tài)異常檢測［J］.高電壓技術，2016（12）：330-335.

［27］ 邢金， 宋磊， 侯貝貝， 等.電力系統(tǒng)廠站端母線功率不平衡原因分析及解決方法研究［J］.華北電力技術，2015（9）：53-57.

［28］ 嚴浩， 裘杭萍， 刁興春， 等.基于改進層次分析的數(shù)據(jù)質量綜合評估［J］.計算機應用，2014，34（S1）：287-290，297.

［29］ 王慶澤， 張守強， 艾茂民， 等.基于層次分析法-德爾菲法的配電網不停電作業(yè)能力評估和分析［J］.電器與能效管理技術，2022（4）：70-75.

［30］ 許洪強， 姚建國， 南貴林， 等.未來電網調度控制系統(tǒng)應用功能的新特征［J］.電力系統(tǒng)自動化，2018，42（1）：1-7.

收稿日期： 20240122