王子昊，王 旭，蔣傳文，龔 開，白冰青，鄧 暉

（1. 電力傳輸與功率變換控制教育部重點實驗室（上海交通大學），上海市 200240；2. 國網(wǎng)浙江省電力有限公司電力科學研究院，浙江省杭州市 310014；3. 國網(wǎng)浙江省電力有限公司電力市場仿真實驗室，浙江省杭州市 310014）

0 引言

臺風災害是影響中國沿海及部分內(nèi)陸地區(qū)的主要災害性天氣系統(tǒng)之一，臺風災害會導致配電網(wǎng)負荷損失［1］。為了評估應對極端自然災害的能力，配電網(wǎng)引入了韌性（resilience）的概念［2］。配電網(wǎng)韌性用于評價配電網(wǎng)承受小概率-高損失事件的能力。文獻［3］提出了考慮多階段配電網(wǎng)拓撲重構的配電網(wǎng)韌性評估指標。文獻［4］將災害過程中所有負荷的正常運行時間與災害持續(xù)影響時間的比值作為韌性量化指標。目前，在配電網(wǎng)韌性提升問題的研究中，文獻［5］采用線路加固方式實現(xiàn)了配電網(wǎng)韌性的提升；文獻［6］采用核密度估計法計算韌性概率分布并反映分布式發(fā)電（distributed generation，DG）對韌性的提升程度；文獻[7]構建了3 層優(yōu)化模型以提升配電網(wǎng)-城市交通網(wǎng)耦合系統(tǒng)韌性；文獻[8-9]利用可控開關實現(xiàn)網(wǎng)絡重構來滿足災后負荷需求。

強化學習是機器學習領域迅速發(fā)展的分支。目前，強化學習在配電網(wǎng)韌性的應用尚處于初步階段，如何利用強化學習實現(xiàn)災后配電網(wǎng)快速恢復仍面臨諸多技術難題。近年來，研究人員在電力系統(tǒng)中嘗試應用各種強化學習方法，例如：基于深度強化學習的負荷頻率控制策略［10］、基于競爭深度Q 網(wǎng)絡的主動配電網(wǎng)運行優(yōu)化［11］、利用深度確定策略梯度（deep deterministic policy gradient，DDPG）算法實現(xiàn)配電網(wǎng)節(jié)點電壓總偏差與線損最?。?2］、基于深度強化學習的配電網(wǎng)高恢復力決策方法［13］、基于行動者-評論家（actor-critic，AC）框架的配電網(wǎng)多時間尺度無功優(yōu)化［14］、基于多智能體深度強化學習的配電網(wǎng)無功調(diào)度方案［15］等。這些方法都基于馬爾可夫決策過程（Markov decision process，MDP）進行建模，MDP 也可應用在配電網(wǎng)韌性領域［16］。常用的強化學習方法包括基于值函數(shù)的方法、基于策略梯度（policy gradient，PG）的方法以及兩者相結合的AC方法。目前的研究［10-15，17-21］涉及3 類強化學習方法，但尚未見文獻將屬于AC 方法的近端策略優(yōu)化（proximal policy optimization，PPO）算法應用于災后配電網(wǎng)韌性提升。

PPO 算法是OpenAI 提出的一種強化學習算法，可在復雜的場景中快速學習到正確的策略。目前，PPO 算法已應用在無人機集群攻防對抗［22］、物聯(lián)網(wǎng)環(huán)境溫度預測［23］、綜合能源系統(tǒng)的多目標能源優(yōu)化調(diào)度［24］等領域?；谝陨涎芯縖22-24]，在極端災害發(fā)生后配電網(wǎng)的網(wǎng)絡重構、DG 調(diào)度及負荷恢復問題中運用PPO 算法具備可行性，使用高效的PPO算法對于解決災后配電網(wǎng)韌性提升問題有著重要意義。

本文構建了配電網(wǎng)韌性恢復力評價指標，將災后配電網(wǎng)網(wǎng)絡重構問題轉(zhuǎn)化為一個MDP，用深度神經(jīng)網(wǎng)絡擬合配電網(wǎng)已知狀態(tài)到聯(lián)絡線開關投切動作的函數(shù)映射，以最大化累計獎勵為優(yōu)化目標以減少負荷損失，在每個動作周期進行內(nèi)層優(yōu)化。最后，通過算例分析驗證了所提方法在提升災后配電網(wǎng)韌性上的有效性以及PPO 算法的收斂性。

1 PPO 算法

PPO 算法是一種基于AC 框架的深度強化學習算法，該算法基于PG 獲得最優(yōu)策略。PPO 算法由評論家網(wǎng)絡（critic network，CN）和行動者網(wǎng)絡（actor network，AN）構成。CN 學習環(huán)境和獎勵之間的關系并獲得當前的動作優(yōu)勢函數(shù)，AN 根據(jù)動作優(yōu)勢函數(shù)不斷調(diào)整策略的參數(shù)，以增加獲得高獎勵值的概率。

PPO 算法中，AN 的損失函數(shù)LAN表達式［25］為：

式 中：Et(·)為t時 刻 的 期 望 函 數(shù)；θ1為AN 的 參 數(shù)；rt(·)為t時 刻 的 新 舊 策 略 概 率 函 數(shù)；At為t時 刻 的 動作 優(yōu) 勢 函 數(shù)；clip(·)為 修 剪 函 數(shù)；ε為 小 于1 的 正常數(shù)。

PPO 算法嘗試通過最小化取得更大劣勢動作概率的同時，最大化At的數(shù)值，使AN 向高獎勵值的方向更新。傳統(tǒng)PG 算法對新策略的更新幅度十分敏感，步長較小時，難以在限定的時間內(nèi)生成更好的策略，步長較大時，生成的策略收斂困難。PPO算法使用式（1）限制了新策略的更新幅度，當步長較大時也可保證策略的穩(wěn)定收斂，從而兼顧了算法的策略優(yōu)化以及收斂性。

CN 的作用是擬合狀態(tài)價值函數(shù)，θ2為CN 的參數(shù)，CN 的損失函數(shù)LCN表達式為：

式中：s和a分別為強化學習中的狀態(tài)和動作；r(s，a)為狀態(tài)s下采取動作a的即時獎勵；γ為折扣因子；s′為狀態(tài)s下采取動作a的后繼狀態(tài)；V(·)為狀態(tài)價值函數(shù)。

2 災后配電網(wǎng)韌性提升內(nèi)層優(yōu)化模型

配電網(wǎng)韌性提升分為3 個階段，即災前提升配電網(wǎng)抵御各類型極端事件的能力、災中提升配電網(wǎng)應對、適應、吸收極端事件影響的能力、災后配電網(wǎng)從極端事件影響中迅速恢復的能力。配電網(wǎng)韌性恢復力指標衡量配電網(wǎng)逐步恢復負荷供電，使其盡快接近或者達到災前正常狀態(tài)的調(diào)控能力［2］。

本文用負荷失電率以及負荷停電率衡量配電網(wǎng)韌性恢復力。負荷失電率RLL為極端事件發(fā)生后，負荷減載總量占負荷總量的比值，表達式為：

負荷停電率RLC為極端事件發(fā)生后，配電網(wǎng)負荷停電總次數(shù)占總仿真數(shù)的比值，表達式為：

在遭受極端臺風事件后，配電網(wǎng)部分線路斷線，以災后配電網(wǎng)的負荷損失、發(fā)電成本和節(jié)點電壓偏差最小為目標，此時的優(yōu)化目標函數(shù)為：

具體約束條件如下：

1）配電網(wǎng)輻射狀網(wǎng)絡約束［26］

式（6）表示輻射狀網(wǎng)絡中的子節(jié)點最多有1 個父節(jié)點。

2）線路電壓降約束[26]

式 中：Pl，t和Ql，t分 別 為t時 段 流 經(jīng) 線 路l的 有 功 功 率和無功功率；Rl和Xl分別為線路l上的電阻和電抗；U1為電壓基值；M為一個取值很大的正數(shù)。

3）功率平衡約束

4）線路傳輸功率約束

式 中：Pl，max和Pl，min分 別 為 流 經(jīng) 線 路l的 有 功 功 率 上、下 限；Ql，max和Ql，min分 別 為 流 經(jīng) 線 路l的 無 功 功 率上、下限。

5）節(jié)點電壓約束

3 災后配電網(wǎng)韌性提升方法

本文構建基于PPO 算法的雙層優(yōu)化模型實現(xiàn)災后配電網(wǎng)韌性提升，通過分析配電網(wǎng)負荷、DG 和聯(lián)絡線通斷數(shù)據(jù)，獲得配電網(wǎng)韌性恢復力最優(yōu)的網(wǎng)絡重構策略。

3.1 基于強化學習的災后配電網(wǎng)韌性提升模型

3.1.1 配電網(wǎng)網(wǎng)絡模型及參數(shù)設置

本文采用改進的IEEE 33 節(jié)點配電網(wǎng)為研究對象，含聯(lián)絡線的配電網(wǎng)系統(tǒng)拓撲如附錄A 圖A1所示。

假設該配電網(wǎng)區(qū)域發(fā)生極端臺風災害，配電網(wǎng)內(nèi)易損線路設置情況如附錄A 圖A1 所示，該配電網(wǎng)與主網(wǎng)斷開連接，配電網(wǎng)其余線路均為電纜，在極端天氣下不會出現(xiàn)斷線事故。配電網(wǎng)被故障線路分隔形成多個原始孤島，此時，該配電網(wǎng)系統(tǒng)能量支撐來源于用戶側DG。極端災害下，DG 難以適應隨機性的故障位置。在原始孤島劃分下，可能存在部分孤島電源功率支撐不足的情況，造成配電網(wǎng)的負荷損失。設置5 條聯(lián)絡線，每條線上都有聯(lián)絡開關。各DG 技術參數(shù)見表A1，在本模型中不進行棄風、棄光操作，即當風機和光伏接入配電網(wǎng)時，其出力全部消納。

3.1.2 災后配電網(wǎng)韌性提升外層優(yōu)化模型

若將災后配電網(wǎng)系統(tǒng)作為環(huán)境，進行動作決策的聯(lián)絡線調(diào)度中心作為智能體，則災后配電網(wǎng)韌性提升問題可以轉(zhuǎn)化為典型的MDP 問題，其決策過程的狀態(tài)空間S、動作空間A、獎勵空間R定義如下。

S為聯(lián)絡線調(diào)度中心獲取到的配電網(wǎng)信息，具體包括配電網(wǎng)中聯(lián)絡線、DG 與負荷的通斷信息。第k個動作周期的狀態(tài)sk表達式為：

向 量sk有45 個 元 素；ak共 有16 種 取 值 情 況，即聯(lián)絡線調(diào)度中心每次有16 種動作選擇。

本文構建包含外層強化學習優(yōu)化與內(nèi)層傳統(tǒng)優(yōu)化的雙層優(yōu)化模型，即在每個動作周期完成內(nèi)層優(yōu)化模型的多時段優(yōu)化，并完成由全部動作周期構成的外層強化學習優(yōu)化。假設配電網(wǎng)故障線路的斷線持續(xù)時間為40 min，每5 min 作為一個動作周期，共有8 個動作周期。每個動作周期包含5 個時段，即每分鐘進行一次優(yōu)化調(diào)度。線路故障期間智能體首先根據(jù)上一個動作周期的狀態(tài)生成該動作周期的動作指令，重構后的網(wǎng)絡應最大限度地實現(xiàn)孤島間的功率聯(lián)絡并盡可能地恢復負荷。然后，根據(jù)新的系統(tǒng)拓撲圖，在約束條件下使內(nèi)層優(yōu)化模型的目標函數(shù)值最大，基于內(nèi)層優(yōu)化模型的最優(yōu)解生成該動作周期的狀態(tài)與獎勵，此后，循環(huán)這一過程。

R與負荷損失值有關，其第k個動作周期rk的表達式為：

若本動作周期的負荷損失值小于上個動作周期的負荷損失值，即當本動作周期的動作能促進配電網(wǎng)災后負荷進一步恢復時，rk取值為本動作周期的負荷恢復值，獎勵取為正數(shù)以促進強化學習向配電網(wǎng)韌性提升方向優(yōu)化；兩者相等時，rk取一個絕對值較小的負值，ξ1=20；否則，rk取一個絕對值較大的負值，ξ2=80。

顯然，外層強化學習優(yōu)化模型的優(yōu)化目標為最大化累計獎勵值，模型的最優(yōu)解相當于求解MDP的最優(yōu)策略，表達式為：

式中：K為動作周期總數(shù)。

強化學習流程如圖1 所示。值情況見附錄A 表A2。

圖1 強化學習流程圖Fig.1 Flow chart of reinforcement learning

3.2 PPO 算法訓練過程

3.2.1 PPO 算法訓練過程原理

基于災后配電網(wǎng)韌性提升的PPO 算法學習框架如圖2 所示。樣本單元由上個動作周期的狀態(tài)信息、本動作周期的動作信息和動作價值函數(shù)信息構成。CN 根據(jù)本動作周期的獎勵和狀態(tài)生成動作價值函數(shù)信息。在每個回合中，每隔指定的動作周期數(shù)后提取該區(qū)間的樣本單元集。CN 利用樣本單元集中的狀態(tài)信息和動作價值函數(shù)信息計算其損失函數(shù)值LCN并 更 新CN 的 參 數(shù)θ2。AN 中 包 含 新、舊2 個 策略，此時，結合CN 輸出的動作優(yōu)勢函數(shù)與樣本單元集中的動作信息、狀態(tài)信息計算AN 的損失函數(shù)值LAN，并更新AN 的參數(shù)θ1。在經(jīng)過足夠多的訓練后，PPO 算法中的參數(shù)會收斂于穩(wěn)定值。AN 根據(jù)新策略和給定的狀態(tài)s生成動作a，根據(jù)動作a求解內(nèi)層優(yōu)化模型后形成獎勵r和新狀態(tài)s′并輸入CN以實現(xiàn)完整的PPO 算法優(yōu)化學習循環(huán)。

圖2 PPO 算法優(yōu)化學習過程Fig.2 Optimal learning process of PPO algorithm

對于AN 和CN，梯度下降優(yōu)化均選擇Adam 優(yōu)化器，其隱藏層個數(shù)均為1，隱藏層均采用Relu 函數(shù)作為輸出函數(shù)，AN 的輸出層采用Softmax 函數(shù)來激活。AN 的輸入為含45 個元素的狀態(tài)向量s，輸出為基于s的16 個聯(lián)絡線開關動作組合概率。CN 的輸入也是狀態(tài)向量s，輸出為狀態(tài)價值函數(shù)。AN 和CN 的學習率分別是0.000 1 和0.000 2。clip 函數(shù)中的參數(shù)ε=0.2，折扣因子γ=0.9。在每個回合中依次選取前5 個動作周期和后3 個動作周期這2 個區(qū)間的樣本單元集對AN 和CN 進行訓練。設置節(jié)點23、24 處的負荷值遠大于配電網(wǎng)其他節(jié)點的負荷值，因此，將節(jié)點23、24 處的負荷視為重要負荷。在內(nèi)層優(yōu)化模型中增加5 個時段內(nèi)配電網(wǎng)線路和聯(lián)絡線通斷情況不變的約束條件，內(nèi)層優(yōu)化問題的參數(shù)ω1=0.1、ω2=0.5，發(fā) 電 機 的 發(fā) 電 成 本 系 數(shù) 均為0.5。

3.2.2 PPO 算法訓練過程測試

實驗基于Python 3.6 及Keras 庫實現(xiàn)，采用Tensorflow 作為后端，采用Cplex 求解器求解內(nèi)層優(yōu)化問題。計算機CPU 為2.60 GHz 的Intel Core i7-9750H，內(nèi)存容量為16 GB。

采用相對平均累計獎勵值及AN、CN 的損失函數(shù)的變化來評估PPO 算法的訓練情況。相對平均累計獎勵值是指當獲取第n個回合的累計獎勵值時，計算前n個回合累計獎勵值的平均值。在完成指定的回合數(shù)N后，計算每個回合對應的平均累計獎勵值與最大平均累計獎勵值的比值，從而獲取PPO 算法的整體訓練效果。

設定總回合數(shù)N=700，PPO 算法訓練過程中的相對平均累計獎勵值如圖3 所示。隨著回合次數(shù)的增加，相對平均累計獎勵值趨于穩(wěn)定。AN、CN損失函數(shù)值的變化情況分別如附錄A 圖A2 和圖A3所示。

圖3 PPO 算法訓練過程中的相對平均累計獎勵值Fig.3 Value of relative average cumulative reward in training process of PPO algorithm

當訓練次數(shù)大于400 次后，AN、CN 的損失函數(shù)值振蕩衰減。隨著訓練次數(shù)的增加，AN、CN 的損失函數(shù)值逐漸趨近于0，訓練的神經(jīng)網(wǎng)絡穩(wěn)定較快。當連續(xù)10 個回合累計獎勵值維持不變時，認為算法生成穩(wěn)定策略。PPO 算法在第190 個回合生成了穩(wěn)定策略，可見PPO 算法的收斂性較好。

PPO 算法訓練過程中一個回合包括8 次動作值輸出、8 次內(nèi)層優(yōu)化模型的最優(yōu)解輸出以及AN、CN的參數(shù)更新，每一個回合均可在6 s 內(nèi)完成，求解過程較快。

4 仿真結果分析

4.1 改進的IEEE 33 節(jié)點系統(tǒng)算例分析

4.1.1 優(yōu)化結果分析

動作周期第5 個時段的聯(lián)絡線、負荷、DG 的通斷數(shù)據(jù)是下一個動作周期的初始狀態(tài)數(shù)據(jù)，也是下一個動作周期智能體發(fā)出動作指令的依據(jù)，在最優(yōu)策略下的災后配電網(wǎng)各動作周期第5 個時段的聯(lián)絡線通斷情況、切負荷組合、DG 調(diào)度情況以及孤島范圍如圖4 所示。

PPO 算法與PG 算法在一個回合的用時基本相等，2 種算法最優(yōu)策略下各動作周期的負荷損失值見表1。結合表1 與圖4（a）至圖4（e）可知，在智能體完成網(wǎng)絡重構動作后，孤島之間彼此聯(lián)絡，前5 個動作周期失電孤島的數(shù)量依次為3、1、1、1、0，失電孤島的范圍不斷減小，前5 個動作周期第5 個時段DG 投入數(shù)量依次為2、3、4、5、5，配電網(wǎng)的供電能力呈現(xiàn)明顯的上升趨勢，前5 個動作周期第5 個時段配電網(wǎng)中斷負荷數(shù)量分別為21、17、13、11、10，負荷恢復能力持續(xù)提升。結合表1 與圖4（f）至圖4（h）可知，在配電網(wǎng)經(jīng)歷第6 個動作周期短暫的負荷損失增加后，配電網(wǎng)負荷損失值在第8 個動作周期再次降低到圖4（e）的水平，且負荷恢復速度大于前5 個動作周期的恢復速度。在8 個動作周期內(nèi)，最優(yōu)策略始終保證對節(jié)點23、24 處的重要負荷供電。

表1 不同算法最優(yōu)策略下各動作周期的負荷損失值Table 1 Load loss value of each operation cycle with the best strategies of different algorithms

圖4 災后配電網(wǎng)韌性提升策略及調(diào)度情況Fig.4 Resilience improvement strategy and dispatching situation of post-disaster distribution network

災后配電網(wǎng)各動作周期第5 個時段的DG 出力水平如附錄A 圖A4 所示?？梢姡扇」夥?、風機出力全部消納的策略可較大程度地緩解配電網(wǎng)節(jié)點1處DG1 的發(fā)電壓力。

4.1.2 PPO 算法性能分析

PPO 算法、PG 算法最優(yōu)策略下各動作周期的獎勵值如表2 所示。求得PG 算法、PPO 算法最優(yōu)策略的累計獎勵值分別為107.010 0、332.357 5，PPO 算法在限定的總回合數(shù)內(nèi)生成了累計獎勵值更大的策略。

表2 不同算法最優(yōu)策略下各動作周期的獎勵值Table 2 Reward value of each operation cycle with the best strategies of different algorithms

PPO 算法與PG 算法最優(yōu)策略的負荷停電率和負荷失電率如表3 所示。由表3 可知，基于PPO 算法的災后配電網(wǎng)韌性提升方法可以有效促進災后配電網(wǎng)的負荷恢復。

表3 IEEE 33 節(jié)點配電網(wǎng)算例的不同算法對比Table 3 Comparison of different algorithms in the case of IEEE 33-bus distribution network

PPO 算法和PG 算法生成的最優(yōu)策略對比如圖5 所示?？梢姡? 個時段至第10 個時段PPO 算法的負荷恢復值短暫小于PG 算法外，其余35 個時段PPO 算法的負荷恢復值均大于或等于PG 算法的負荷恢復值，可見PPO 算法比PG 算法更有效地提升了災后配電網(wǎng)韌性。

圖5 PPO 算法與PG 算法生成的最優(yōu)策略對比Fig.5 Comparison of optimal strategies from PPO algorithm and PG algorithm

4.2 改進的IEEE 118 節(jié)點系統(tǒng)算例分析

本算例的參數(shù)設置見附錄B。PG 算法在限定的總回合數(shù)內(nèi)沒有生成穩(wěn)定策略，而PPO 算法在第110 個回合生成了穩(wěn)定策略。PPO 算法、PG 算法最優(yōu)策略下各動作周期的獎勵值與負荷損失值分別如附錄B 表B3 和表B4 所示。由表B3 可求得PG 算法、PPO 算法最優(yōu)策略的累計獎勵值分別為-23.728、73.116，可見PPO 算法生成了累計獎勵值更大的策略。

PPO 算法與PG 算法最優(yōu)策略的負荷停電率和負荷失電率如表4 所示。由表4 可知，相比PG 算法，PPO 算法最優(yōu)策略的負荷失電率和負荷停電率更小。

表4 IEEE 118 節(jié)點配電網(wǎng)算例的不同算法對比Table 4 Comparison of different algorithms in the case of IEEE 118-bus distribution network

5 結語

本文將災后配電網(wǎng)韌性提升問題轉(zhuǎn)化為MDP問題，以配電網(wǎng)的聯(lián)絡線、DG 與負荷的通斷狀態(tài)集作為狀態(tài)空間，以聯(lián)絡線開關動作集作為動作空間，以動作周期負荷恢復值作為即時獎勵，構建了雙層優(yōu)化模型并采用深度強化學習中的PPO 算法求解災后配電網(wǎng)韌性提升問題。主要結論如下：

1）PPO 算法收斂性好。PPO 算法達到穩(wěn)定的韌性提升策略所需回合數(shù)少，且訓練的AN、CN 穩(wěn)定較快。

2）在本文算例中，相比于聯(lián)絡線開關不動作與采用PG 算法兩種情況，采用PPO 算法優(yōu)化后的負荷失電率與負荷停電率更低，生成的聯(lián)絡線、DG 與負荷最優(yōu)調(diào)度策略可以有效提升災后配電網(wǎng)韌性恢復力。

本文考慮了配電網(wǎng)線路故障情況不變的韌性提升方案，未對極端災害發(fā)生期間線路故障動態(tài)變化、災后配電網(wǎng)無功調(diào)度優(yōu)化等情況下PPO 算法的應用進行深入分析，如何進一步降低災后配電網(wǎng)負荷損失仍有待研究。

附錄見本刊網(wǎng)絡版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡全文。