劉莉莉

（中國能源建設(shè)集團(tuán)遼寧電力勘測設(shè)計(jì)院有限公司，遼寧 沈陽 110179）

0 引 言

隨著新能源技術(shù)的快速發(fā)展，新能源的接入規(guī)模不斷擴(kuò)大，導(dǎo)致電力系統(tǒng)運(yùn)行方式和結(jié)構(gòu)發(fā)生深刻變化。這種變化帶來了一些新的問題，如電力系統(tǒng)的穩(wěn)定性、安全性和經(jīng)濟(jì)性等有所下降。其中最為突出的是新能源發(fā)電的不穩(wěn)定性和間歇性，對(duì)電力系統(tǒng)的影響最為嚴(yán)重。為解決這些問題，需要研究新能源接入下電力系統(tǒng)儲(chǔ)能容量的規(guī)劃方法。目前，國內(nèi)外學(xué)者已經(jīng)提出了一些方法來規(guī)劃電力系統(tǒng)儲(chǔ)能容量。文獻(xiàn)[1]基于山體重力儲(chǔ)能的形式，構(gòu)建了一種以儲(chǔ)能成本最小為目標(biāo)的容量規(guī)劃模型，以規(guī)劃風(fēng)光儲(chǔ)聯(lián)合發(fā)電系統(tǒng)的儲(chǔ)能容量。文獻(xiàn)[2]以儲(chǔ)能凈收益總和最大化為目標(biāo)，進(jìn)行梯次電池儲(chǔ)能容量的配置，以延長儲(chǔ)能壽命。但這些方法仍存在一些問題，如計(jì)算復(fù)雜度高、規(guī)劃時(shí)間長或無法適應(yīng)系統(tǒng)運(yùn)行狀態(tài)的變化等?；诖?，文章提出一種新能源接入下電力系統(tǒng)儲(chǔ)能容量自適應(yīng)規(guī)劃方法，以適應(yīng)系統(tǒng)運(yùn)行狀態(tài)的變化，提高儲(chǔ)能容量的利用率和系統(tǒng)穩(wěn)定性。

1 構(gòu)建新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃模型

由于風(fēng)力、光伏等新能源大規(guī)模并網(wǎng)時(shí)具有波動(dòng)與隨機(jī)性，嚴(yán)重影響儲(chǔ)能裝置運(yùn)行的穩(wěn)定性，需要通過儲(chǔ)能容量規(guī)劃來抑制新能源負(fù)荷的波動(dòng)[3]?，F(xiàn)有的新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃方法具有計(jì)算復(fù)雜度高、無法適應(yīng)電力系統(tǒng)運(yùn)行變化等問題，應(yīng)用效果較差，因此文章提出一種新能源接入下電力系統(tǒng)儲(chǔ)能容量自適應(yīng)規(guī)劃方法。簡單來說，儲(chǔ)能容量的自適應(yīng)規(guī)劃就是利用強(qiáng)化學(xué)習(xí)算法的函數(shù)近似結(jié)構(gòu)來處理儲(chǔ)能容量規(guī)劃過程中遇到的復(fù)雜動(dòng)態(tài)變化問題，避免求解復(fù)雜的微分方程，以提高儲(chǔ)能容量規(guī)劃的效率和適應(yīng)性[4]。因此，需要構(gòu)建一個(gè)儲(chǔ)能容量規(guī)劃模型，并選取適當(dāng)?shù)哪繕?biāo)函數(shù)和約束條件，文章主要以儲(chǔ)能的出力滿足度和儲(chǔ)能的更換次數(shù)最優(yōu)為目標(biāo)函數(shù)。新能源接入下電力系統(tǒng)儲(chǔ)能出力滿足度是儲(chǔ)能實(shí)際出力達(dá)到預(yù)期出力的時(shí)間比，表達(dá)式為

式中：η表示新能源接入下電力系統(tǒng)儲(chǔ)能的出力滿足度；δi,t表示儲(chǔ)能在t時(shí)刻第i種天氣類別下實(shí)際出力值是否達(dá)到預(yù)期出力值的判別系數(shù)，δi,t=0 表示實(shí)際出力值未達(dá)到預(yù)期出力值，δi,t=1 表示實(shí)際出力值達(dá)到預(yù)期出力值；N表示新能源接入下電力系統(tǒng)運(yùn)行過程中所遇天氣類別的總數(shù)；M表示新能源接入下電力系統(tǒng)運(yùn)行過程中儲(chǔ)能出力的總時(shí)長；T表示儲(chǔ)能的日均出力時(shí)長。儲(chǔ)能更換次數(shù)指新能源接入下電力系統(tǒng)儲(chǔ)能模塊達(dá)到使用壽命時(shí)進(jìn)行更換的次數(shù)，計(jì)算公式為

式中：μ表示新能源接入下電力系統(tǒng)儲(chǔ)能模塊的更換頻次；qi表示第i種天氣類別下電力系統(tǒng)儲(chǔ)能模塊的整體儲(chǔ)電量；y表示新能源接入下電力系統(tǒng)的運(yùn)行年限；pi表示第i種天氣類別下新更換的儲(chǔ)能模塊使用壽命；H表示新能源接入下電力系統(tǒng)儲(chǔ)能模塊的放電深度；L表示儲(chǔ)能在整個(gè)生命周期內(nèi)循環(huán)使用的容量；C表示儲(chǔ)能在整個(gè)生命周期內(nèi)循環(huán)使用的次數(shù)。綜合式（1）與式（2），構(gòu)建新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃模型，即

式中：f表示新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃模型。已知新能源接入下電力系統(tǒng)主要由新能源模塊、電能轉(zhuǎn)換器模塊和混合儲(chǔ)能模塊組成，因此在電力系統(tǒng)運(yùn)行過程中，存在能量平衡關(guān)系，即

式中：P0表示新能源接入下電力系統(tǒng)儲(chǔ)能模塊的充放電功率；P1表示儲(chǔ)能模塊中超級(jí)電容的充放電功率；P2表示儲(chǔ)能模塊中蓄電池的充放電功率；P3表示新能源接入下電力系統(tǒng)中儲(chǔ)能模塊與新能源模塊的輸出功率總和；P4表示新能源接入下電力系統(tǒng)中新能源模塊輸出功率。根據(jù)式（1），在新能源接入下的電力系統(tǒng)正常運(yùn)行過程中，儲(chǔ)能模塊的輸出功率是影響系統(tǒng)充放電能力的重要因素[5]。因此，要想對(duì)電力系統(tǒng)儲(chǔ)能容量進(jìn)行自適應(yīng)規(guī)劃，就需要將儲(chǔ)能模塊的輸出功率作為儲(chǔ)能容量規(guī)劃模型的約束條件，表達(dá)式為

式中：Qn表示新能源接入下電力系統(tǒng)中第n個(gè)儲(chǔ)能的充放電功率；Qnmax表示新能源接入下電力系統(tǒng)中第n個(gè)儲(chǔ)能的最高功率。

文章基于新能源接入下電力系統(tǒng)儲(chǔ)能規(guī)劃的實(shí)時(shí)性與復(fù)雜性等特征，構(gòu)建了一個(gè)多目標(biāo)約束的儲(chǔ)能容量規(guī)劃模型，以得到儲(chǔ)能規(guī)劃的最優(yōu)策略。

2 基于深度強(qiáng)化學(xué)習(xí)算法求解模型

通過構(gòu)建自適應(yīng)規(guī)劃模型，優(yōu)化算法，有助于提高電力系統(tǒng)的供電可靠性和穩(wěn)定性。文章構(gòu)建的新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃模型是一個(gè)由多目標(biāo)函數(shù)組成的優(yōu)化模型，且儲(chǔ)能容量的規(guī)劃過程是一個(gè)較為復(fù)雜的動(dòng)態(tài)過程，如果采用常規(guī)算法求解模型，不僅難以保障模型的求解精度，而且求解速度極慢，因此文章采用基于深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning，DRL）算法來求解儲(chǔ)能容量規(guī)劃模型[6-7]。由于新能源發(fā)電和電力負(fù)荷等因素具有動(dòng)態(tài)性和不確定性，因此儲(chǔ)能容量規(guī)劃模型要能夠自適應(yīng)地應(yīng)對(duì)各種變化。深度強(qiáng)化學(xué)習(xí)算法通過大量的數(shù)據(jù)訓(xùn)練和學(xué)習(xí)，能夠提取系統(tǒng)內(nèi)在的特征和規(guī)律，從而有效應(yīng)對(duì)不同場景的變化。DRL 是深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的結(jié)合，兼具強(qiáng)大的感知能力與決策能力，在復(fù)雜問題求解中具有優(yōu)越的自適應(yīng)性，因此文章通過DRL 算法來求解新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃模型。首先，將文章構(gòu)建的新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃模型轉(zhuǎn)化為馬爾可夫決策過程。該過程是DRL 算法實(shí)現(xiàn)迭代的關(guān)鍵，不僅與電力系統(tǒng)儲(chǔ)能當(dāng)前狀態(tài)有關(guān)，還關(guān)系著儲(chǔ)能的下一個(gè)狀態(tài)。其次，對(duì)DRL 算法的迭代次數(shù)、離散時(shí)間間隙、狀態(tài)等參數(shù)進(jìn)行初始化設(shè)置，計(jì)算回報(bào)值，以推動(dòng)電力系統(tǒng)儲(chǔ)能規(guī)劃的馬爾可夫決策過程達(dá)到下一狀態(tài)，得到規(guī)劃的序列軌跡，并將其存儲(chǔ)在經(jīng)驗(yàn)池中用于下次迭代使用。最后，綜合考慮DRL算法折扣因子的未來回報(bào)值，確定收斂是否結(jié)束，公式為

式中：B表示未來狀態(tài)回報(bào)值；τ表示當(dāng)前狀態(tài)回報(bào)值；α表示動(dòng)作變量；σ表示折扣因子；W(β)表示期望，β表示狀態(tài)變量。在利用DRL 算法求解新能源接入下電力系統(tǒng)儲(chǔ)能容量規(guī)劃模型時(shí)，如果馬爾可夫決策結(jié)果收斂到最小回報(bào)值，則可以結(jié)束算法，并將當(dāng)前結(jié)果作為最優(yōu)方案輸出。

新能源接入電力系統(tǒng)儲(chǔ)能容量規(guī)劃是一個(gè)多階段動(dòng)態(tài)決策優(yōu)化的過程。為避免發(fā)生維數(shù)災(zāi)等問題，文章采用具有函數(shù)近似結(jié)構(gòu)的DRL 算法對(duì)模型進(jìn)行求解。該算法通過在迭代過程中逐漸逼近最優(yōu)控制解，實(shí)現(xiàn)對(duì)儲(chǔ)能容量的動(dòng)態(tài)規(guī)劃，并提高了新能源接入電力系統(tǒng)儲(chǔ)能容量規(guī)劃的自適應(yīng)性。

3 電力系統(tǒng)儲(chǔ)能容量自適應(yīng)規(guī)劃方法發(fā)展方向

未來的研究中，將結(jié)合文章設(shè)計(jì)內(nèi)容，基于歷史數(shù)據(jù)、季節(jié)性變化、天氣情況以及社會(huì)經(jīng)濟(jì)因素等進(jìn)行綜合分析，捕捉電力需求的短期和長期波動(dòng)規(guī)律。利用大數(shù)據(jù)分析技術(shù)建立更精確的電力需求預(yù)測模型，并引入機(jī)器學(xué)習(xí)提高預(yù)測模型的準(zhǔn)確性和實(shí)時(shí)性，提高電力需求變化趨勢預(yù)測效果，為儲(chǔ)能容量的規(guī)劃提供有力的數(shù)據(jù)支持。由于不同種類的儲(chǔ)能設(shè)備（如鋰電池、液流電池、飛輪儲(chǔ)能等）具有不同能量密度、功率密度、充放電效率以及循環(huán)壽命等特點(diǎn)，因此在選擇儲(chǔ)能設(shè)備時(shí)，應(yīng)根據(jù)電力系統(tǒng)的實(shí)際需求進(jìn)行性能匹配。對(duì)于快速響應(yīng)場合，選擇功率密度較高的儲(chǔ)能設(shè)備；對(duì)于長時(shí)間儲(chǔ)能場合，選擇能量密度較高的儲(chǔ)能設(shè)備。此外，還需要考慮儲(chǔ)能設(shè)備的成本、安全性、環(huán)保性等因素，進(jìn)行綜合評(píng)估和優(yōu)化。

4 結(jié) 論

文章提出的新能源接入下電力系統(tǒng)儲(chǔ)能容量自適應(yīng)規(guī)劃方法具有顯著的實(shí)用價(jià)值和發(fā)展?jié)摿?。通過建立目標(biāo)函數(shù)、引入深度強(qiáng)化學(xué)習(xí)算法，并根據(jù)實(shí)際情況自動(dòng)調(diào)整儲(chǔ)能容量，使電力系統(tǒng)實(shí)現(xiàn)儲(chǔ)能的均衡充放電，提高了系統(tǒng)的可靠性和穩(wěn)定性。該方法的應(yīng)用解決了電力系統(tǒng)中新能源的波動(dòng)性與隨機(jī)性帶來的問題，優(yōu)化了儲(chǔ)能系統(tǒng)的運(yùn)行效果。實(shí)驗(yàn)證實(shí)，采用該方法進(jìn)行電力系統(tǒng)儲(chǔ)能容量規(guī)劃時(shí)，能夠有效降低儲(chǔ)能容量的波動(dòng)率，在確保儲(chǔ)能壽命的前提下，提高儲(chǔ)能系統(tǒng)的使用效率。同時(shí)，該方法能夠適應(yīng)新能源接入的變化條件，為電力系統(tǒng)提供了更強(qiáng)的適應(yīng)性和可持續(xù)發(fā)展的能力。未來，研究者要考慮更多因素對(duì)儲(chǔ)能容量進(jìn)行調(diào)整，如電力需求的波動(dòng)性、儲(chǔ)能設(shè)備的性能匹配等，以提高儲(chǔ)能容量規(guī)劃的精確性和適應(yīng)性。