王麗君，蔚承建，胡恒愷，王 開(kāi)，劉 凱

WANG Lijun1,WEIChengjian1,HU Hengkai1,WANG Kai2,LIU Kai3

1.南京工業(yè)大學(xué) 電子與信息工程學(xué)院，南京 210009

2.東南大學(xué) 信息科學(xué)與工程學(xué)院，南京 210018

3.解放軍理工大學(xué) 國(guó)防工程學(xué)院，南京 210007

1.College of Electronics and Information Engineering,Nanjing University of Technology,Nanjing 210009,China

2.Department of Information Science and Engineering,Southeast University,Nanjing 210018,China

3.Defence College of Engineering,PLA University of Science and Technology,Nanjing 210007,China

智能電網(wǎng)，又被稱(chēng)為電網(wǎng)“高速公路”，是當(dāng)今國(guó)際最前沿的新能源產(chǎn)業(yè)之一，已成為各國(guó)爭(zhēng)相研發(fā)的熱點(diǎn)。智能電網(wǎng)發(fā)展的一個(gè)顯著特征是儲(chǔ)能設(shè)備的應(yīng)用，儲(chǔ)能設(shè)備可以降低用戶(hù)對(duì)于峰值電力的需求，減小電力需求的波動(dòng)。因此在智能電網(wǎng)中，儲(chǔ)能設(shè)備是實(shí)現(xiàn)智能電網(wǎng)的重要基礎(chǔ)之一[1-3]。

智能電網(wǎng)的另一個(gè)重要組成部分是智能電表。智能電表可以獲取當(dāng)前電網(wǎng)中各電力供應(yīng)商的信息，從而有效地管理家庭或公司的用電設(shè)備，節(jié)省用戶(hù)的用電花費(fèi)。在智能電網(wǎng)中，電價(jià)隨著用戶(hù)需求不斷動(dòng)態(tài)變化著，電價(jià)與用戶(hù)需求形成擬線性關(guān)系，即需求越大電價(jià)越高。儲(chǔ)能設(shè)備在用電高峰期為用電設(shè)備供應(yīng)電能，降低用電高峰期對(duì)電力發(fā)電機(jī)組的需求，從而可以降低能源成本和CO2的排放量。然而，如果大量的儲(chǔ)能設(shè)備在同一時(shí)刻接入電網(wǎng)進(jìn)行充電，將會(huì)使電網(wǎng)負(fù)載過(guò)大，導(dǎo)致用戶(hù)花費(fèi)提高及CO2排放量的增大，甚至有可能會(huì)損壞當(dāng)前電網(wǎng)。因此，如何對(duì)儲(chǔ)能設(shè)備進(jìn)行有效的管理是關(guān)鍵問(wèn)題所在。

多代理系統(tǒng)（Multi-agent Systems，MAS）模型作為分析系統(tǒng)性能的基本方法已受到很多研究者的關(guān)注[4-5]，多代理技術(shù)被普遍認(rèn)為是管理和控制智能電網(wǎng)的一個(gè)有效途徑。隨著可以監(jiān)視和控制家庭設(shè)備的智能電表的出現(xiàn)，軟件Agent可嵌入到智能電表中作為家庭或公司用電設(shè)備的控制管理者。在當(dāng)前的電網(wǎng)中，基于Agent技術(shù)的存儲(chǔ)管理應(yīng)用還比較少。目前只有間歇性發(fā)電設(shè)備（如太陽(yáng)能發(fā)電，風(fēng)能發(fā)電）使用了大型的電力存儲(chǔ)設(shè)備[6]。首先考慮智能電表優(yōu)化家庭電力使用的是Daryanian[7]，他考慮了家庭儲(chǔ)能設(shè)備的管理方法；Houwing[8]提出了基于Agent技術(shù)的熱電聯(lián)供設(shè)備的優(yōu)化算法；Vandael[9]利用MAS模型管理了混合動(dòng)力汽車(chē)的儲(chǔ)能設(shè)備；Vytelingum[10]研究了基于代理的智能電網(wǎng)微存儲(chǔ)管理，提出了一種依據(jù)市場(chǎng)預(yù)測(cè)價(jià)格自適應(yīng)學(xué)習(xí)的存儲(chǔ)策略，使得實(shí)際存儲(chǔ)策略接近最優(yōu)存儲(chǔ)策略，社會(huì)福利顯著提高。但其中Agent只采用了簡(jiǎn)單的學(xué)習(xí)策略，而沒(méi)有考慮Agent之間的交互問(wèn)題，所以鑒于智能電網(wǎng)對(duì)未來(lái)低碳經(jīng)濟(jì)的重要性，本文進(jìn)一步發(fā)展了Vytelingum的研究工作，提出來(lái)Agent更有效的學(xué)習(xí)策略，并考慮了Agent之間的相互學(xué)習(xí)，使得存儲(chǔ)策略更加逼近于最優(yōu)存儲(chǔ)策略，社會(huì)福利最大化。

1 模型描述

將每天分成T個(gè)固定時(shí)間段。每天，Agent從電力供應(yīng)商買(mǎi)入電量、儲(chǔ)能設(shè)備存儲(chǔ)電量。Agent集合的用電需求將會(huì)呈現(xiàn)出一種規(guī)律變化模式。下面具體描述Agent及相應(yīng)市場(chǎng)模型。

1.1 Agent描述

設(shè)用戶(hù)Agent集合為 A，一天的時(shí)間段集合J={1,2,…,T}，一般可將T設(shè)為48，即每半小時(shí)為一個(gè)時(shí)間段。Agent的目標(biāo)是最小化用戶(hù)的用電成本。假設(shè)Agent a∈A有一個(gè)基本固定的使用電量需求組合求。對(duì)于Agent a，儲(chǔ)能設(shè)備的最大儲(chǔ)電容量為cam，存儲(chǔ)效率為 μa，單位電量存儲(chǔ)成本為ma，即如果儲(chǔ)能設(shè)備充入q電量，但只能釋放出μaq電量，用戶(hù)花費(fèi)的存儲(chǔ)成本為maq。

Agent代表自利的用戶(hù)，目標(biāo)是最小化用電量成本，因此需要優(yōu)化儲(chǔ)能設(shè)備的當(dāng)日存儲(chǔ)策略

1.2 電力市場(chǎng)模型

在電力市場(chǎng)模型中，主要考慮市場(chǎng)當(dāng)中的價(jià)格機(jī)制，以及用戶(hù)的存儲(chǔ)策略。在此電力市場(chǎng)模型中，電力價(jià)格是由市場(chǎng)的總體電力需求決定的，所以需求的改變會(huì)直接影響市場(chǎng)中電價(jià)的變化。而家庭用戶(hù)的用電需求存在共同特性，如用戶(hù)在夜間用電量較少，而在傍晚的用電需求則會(huì)達(dá)到峰值，同時(shí)由于家庭用戶(hù)用電量存在周期性。根據(jù)這些特性，假設(shè)電力市場(chǎng)中用戶(hù)每日平均用電需求如圖1所示。

本文主要目的在于研究Agent自適應(yīng)策略對(duì)于Agent本身以及系統(tǒng)的影響，因此在這里首先定義社會(huì)福利標(biāo)準(zhǔn)。

負(fù)載系數(shù)：用一天的48時(shí)段平均用電量比上當(dāng)天峰值的用電量，理想值為1，較低的負(fù)載系數(shù)表明當(dāng)前系統(tǒng)中含有較高的峰值用電量。

排碳量：在發(fā)電中會(huì)產(chǎn)生大量的CO2，這里用生產(chǎn)每度電（kWh）所產(chǎn)生的CO2來(lái)描述排碳量，理想值越低越好。每度電含碳量與電力總需求成正比關(guān)系，當(dāng)電力市場(chǎng)中的總需求增大時(shí)，生產(chǎn)每度電所排出的CO2也相應(yīng)提高。

圖1 用戶(hù)平均用電需求

2 最優(yōu)存儲(chǔ)策略

在電力市場(chǎng)中，電價(jià)根據(jù)市場(chǎng)的總電量需求和供給決定的[10-11]。本文假設(shè)電價(jià)與用戶(hù)購(gòu)買(mǎi)總電量成簡(jiǎn)單的線性正比關(guān)系。根據(jù)家庭用戶(hù)普遍的用電特征，假設(shè)1天為周期性的用電情況，因此可以將1天作為一個(gè)研究周期，Agent的最優(yōu)存儲(chǔ)策略就是使得用戶(hù)一天花費(fèi)成本（實(shí)際使用電量成本和存儲(chǔ)成本）最小的策略。

為了計(jì)算最優(yōu)存儲(chǔ)策略，假設(shè)Agent完全掌握市場(chǎng)信息，即Agent a掌握了其他Agent a′∈A的私有信息，即Agent a′的用電量、存儲(chǔ)效率單位電量存儲(chǔ)成本 ma′、存儲(chǔ)容量。同時(shí)每個(gè)Agent掌握了用電價(jià)格與用電量的關(guān)系。用戶(hù)在時(shí)間段 j電價(jià)可以定義為：

Agent a一天花費(fèi)總成本等于各個(gè)時(shí)間段 j用電成本的總和，即：

其中ba表示Agent a的存儲(chǔ)策略組合，表示使用儲(chǔ)能設(shè)備的使用成本。

在這里，需要對(duì)Agent的電量存儲(chǔ)策略做進(jìn)一步的說(shuō)明。用戶(hù)每天負(fù)載的實(shí)際用電量基本上是保持不變的，為了最小化每天的用電成本，其儲(chǔ)能設(shè)備每天的總充電量乘以存儲(chǔ)效率等于總放電量，即并且用戶(hù)一天的實(shí)際用電量經(jīng)歷一個(gè)高低變化的循環(huán)過(guò)程，從而可以合理地估計(jì)，作為容量有限的儲(chǔ)能設(shè)備，也一定會(huì)經(jīng)歷充放電的循環(huán)過(guò)程。

在將Agent最優(yōu)存儲(chǔ)策略數(shù)學(xué)化描述之前，先介紹一下納什均衡的概念。納什均衡[12-13]：假設(shè)有n個(gè)局中人參與博弈，在給定其他人策略的條件下，每個(gè)局中人都選擇自己的最優(yōu)策略（個(gè)人最優(yōu)策略可能依賴(lài)于也可能不依賴(lài)于他人的策略），從而使自己利益最大化。所有局中人的策略構(gòu)成一個(gè)策略組合（Strategy Profile）。納什均衡指的是這樣一種策略組合，這種策略組合是由所有局中人的最優(yōu)策略組成。即在給定別人策略的情況下，沒(méi)有人愿意打破這種策略組合（均衡狀態(tài)），在此狀態(tài)之下，任何一個(gè)局中人單方面改變自己的策略都不會(huì)使自己的利益增大。

在電力市場(chǎng)中，用戶(hù)電價(jià) pj是由所有用戶(hù)在時(shí)間段 j的總購(gòu)買(mǎi)的電量決定的。因此agent a的用電成本依賴(lài)于其他Agent的存儲(chǔ)策略，而所有Agent都會(huì)選擇使自己用電成本最小的存儲(chǔ)策略，由于市場(chǎng)信息是完全透明的，即每個(gè)Agent都掌握了其他Agent的私有信息，因此每個(gè)Agent都會(huì)根據(jù)其他Agent的策略選取最優(yōu)存儲(chǔ)策略即滿(mǎn)足納什均衡時(shí)的存儲(chǔ)策略，式（5）的多目標(biāo)函數(shù)定義了Agent的最優(yōu)存儲(chǔ)策略。

B={ba1，ba2，…，ban} 是 Agent的 存 儲(chǔ) 策 略 集 合 ，costai(·)在公式（4）中定義，表示儲(chǔ)能設(shè)備初始剩余電量，且式中所有變量大于等于0。約束①表示充電量不得超過(guò)儲(chǔ)能設(shè)備容量；約束②表示一天的充電量必須全部用完；約束③表示每一時(shí)間段的放電量不超過(guò)當(dāng)前時(shí)刻儲(chǔ)能設(shè)備的剩余電量；約束④表示每一時(shí)間段的充電量不超過(guò)允許最大充電容量；約束⑤表示每一時(shí)間段的儲(chǔ)能設(shè)備剩余電量；約束⑥每一時(shí)間段的儲(chǔ)能設(shè)備可充電量；約束⑦考慮了用戶(hù)不可以向電力市場(chǎng)賣(mài)電；約束以同時(shí)充電與放電。從上述優(yōu)化目標(biāo)函數(shù)以及限制條件，就可以計(jì)算出最優(yōu)存儲(chǔ)策略bai*以及最優(yōu)的存儲(chǔ)容量cai*。

3 電力市場(chǎng)的ZIPML Agent

在上述計(jì)算最優(yōu)存儲(chǔ)策略的時(shí)候，假設(shè)每一時(shí)間段j的用電量和電價(jià)都是已知的，然而在電力市場(chǎng)中用戶(hù)在時(shí)間段 j的實(shí)際電價(jià)需要Agent預(yù)測(cè)。所以Agent必須通過(guò)學(xué)習(xí)算法不斷優(yōu)化自己的存儲(chǔ)策略，從而使得存儲(chǔ)策略逼近最優(yōu)存儲(chǔ)策略。學(xué)習(xí)算法的有效性將直接決定Agent在電力市場(chǎng)中的表現(xiàn)。因此本文基于CDA市場(chǎng)中ZIP Agent[14]的學(xué)習(xí)策略，提出了適應(yīng)電力市場(chǎng)的ZIPML Agent用于儲(chǔ)能設(shè)備的管理。

3.1 ZIPML Agent最佳存儲(chǔ)策略

針對(duì)實(shí)際電價(jià)需要Agent預(yù)測(cè)，且在每天同一時(shí)間段 j的電價(jià)隨著用戶(hù)實(shí)際購(gòu)買(mǎi)電量的變化（由于用戶(hù)使用儲(chǔ)能設(shè)備導(dǎo)致）而不斷變化，本文所考慮的存儲(chǔ)策略是基于前一天市場(chǎng)的最優(yōu)存儲(chǔ)策略，Agent首先需要預(yù)存儲(chǔ)容量。

Agent a的目標(biāo)是根據(jù)預(yù)測(cè)價(jià)格 pa和固定使用電量la優(yōu)化下一天的最優(yōu)存儲(chǔ)策略ba，最優(yōu)化成本函數(shù)如下：

由于市場(chǎng)的價(jià)格不斷改變，Agent每天也必須不斷改變其存儲(chǔ)容量。同時(shí)由于儲(chǔ)能設(shè)備存在使用成本要通過(guò)學(xué)習(xí)以更好地適應(yīng)市場(chǎng)，降低花費(fèi)。在這里用ca表示Agent經(jīng)過(guò)學(xué)習(xí)后的實(shí)際存儲(chǔ)容量上界，即式（6）中 ca滿(mǎn)足，其中 t表示Agent學(xué)習(xí)的天數(shù)。

3.2 單Agent學(xué)習(xí)

首先考慮Agent存儲(chǔ)策略的學(xué)習(xí)，Agent需要根據(jù)優(yōu)化的當(dāng)前最優(yōu)存儲(chǔ)策略式（6）算出）自適應(yīng)調(diào)整實(shí)際存儲(chǔ)策略?；贑DA市場(chǎng)下的ZIP策略提出了適應(yīng)電力市場(chǎng)的ZIPML策略。具體存儲(chǔ)策略自適應(yīng)學(xué)習(xí)算法形式如下：

3.3 多Agent相互學(xué)習(xí)

4 實(shí)驗(yàn)分析

根據(jù)英國(guó)用戶(hù)平均用電需求，使用java程序編寫(xiě)了存儲(chǔ)代理模擬器，用于模擬代理策略對(duì)于電力價(jià)格及自身利益的影響。為了驗(yàn)證自適應(yīng)學(xué)習(xí)算法的有效性，實(shí)驗(yàn)?zāi)M了1 000個(gè)Agent 100天內(nèi)的存儲(chǔ)策略變化趨勢(shì)。參照了用戶(hù)平均用電需求，根據(jù)圖1設(shè)置用戶(hù)電力需求。同時(shí)假設(shè)Agent在未采用儲(chǔ)能設(shè)備時(shí)每日具有相同的基本固定用電需求(? j∈J )，單位電量存儲(chǔ)成本ma=0.1，存儲(chǔ)效率 μa=0.95，學(xué)習(xí)系數(shù) λa∈[0 .05，0.1] ，沖量系數(shù)γa∈[0 .3，0.6]，初始剩余電量設(shè)置為0.5 kWh，初始最大存儲(chǔ)容量(0)設(shè)置為5 kWh，初始存儲(chǔ)策略)(? j∈J) 設(shè)置為0 kWh。

為了簡(jiǎn)化納什均衡的計(jì)算首先考慮由1 000個(gè)同質(zhì)Agent組成的系統(tǒng)，其中每個(gè)Agent的固定用電需求都如圖1所示。由于所有Agent都有相同的私有信息，因此式（5）中所有子目標(biāo) cos ta(·)完全相同，式（5）可由多目標(biāo)優(yōu)化問(wèn)題轉(zhuǎn)化為一個(gè)二次優(yōu)化問(wèn)題。根據(jù)上述設(shè)置，首先算出系統(tǒng)的納什均衡，圖2給出了納什均衡策略，其中大于0的部分表示給儲(chǔ)能設(shè)備充電；小于0的部分表示儲(chǔ)能設(shè)備放電。從圖中可以明顯看出，Agent在夜間（低電價(jià)）存儲(chǔ)電力，在傍晚（高電價(jià)）使用存儲(chǔ)的電力。

圖2 最優(yōu)存儲(chǔ)策略

圖3表示了其中一個(gè)Agent在100天內(nèi)的存儲(chǔ)策略變化趨勢(shì)，可以看出在100天的時(shí)候?qū)嶋H存儲(chǔ)策略已經(jīng)非常逼近最優(yōu)存儲(chǔ)策略?？梢钥闯鯝gent經(jīng)過(guò)30天的自適應(yīng)學(xué)習(xí)以后已經(jīng)接近最優(yōu)存儲(chǔ)策略，隨著學(xué)習(xí)天數(shù)的增加，與最優(yōu)存儲(chǔ)策略更加逼近。在市場(chǎng)交易末期最大存儲(chǔ)容量收斂于1.7 kWh。這就表明對(duì)于一般用戶(hù)，只需要容量為2 kWh的儲(chǔ)能設(shè)備就可以很好地優(yōu)化管理用電需求。開(kāi)始逼近最優(yōu)用電成本，并收斂于最優(yōu)成本，而在第100天的時(shí)候最優(yōu)用電成本與實(shí)際用電成本相比已達(dá)到了99.98%。圖7和圖8顯示了系統(tǒng)的社會(huì)福利，第10天時(shí)碳排放量已經(jīng)明顯減小，100天后碳排放量已減少至原來(lái)的93.6%。負(fù)載系數(shù)也由初始狀態(tài)下的66%上升至92%，這表明當(dāng)前系統(tǒng)中用電需求量已經(jīng)達(dá)到平坦?fàn)顟B(tài)，起到了削峰的效果，從而增加了電網(wǎng)的可靠性，提高了電網(wǎng)的使用效率。

圖5 系統(tǒng)價(jià)格

上述實(shí)驗(yàn)表明，ZIPML策略可以快速有效地逼近納什均衡策略。有了這個(gè)性質(zhì)之后，需要對(duì)ZIPML策略的有效性進(jìn)行研究，假設(shè)系統(tǒng)中每個(gè)Agent有著各不相同的固定用電需求，在這里用電需求的設(shè)置為符合圖1的正態(tài)分布。其中50%的Agent使用Vytelingum提出的學(xué)習(xí)策略，50%的Agent使用ZIPML學(xué)習(xí)策略。

這里通過(guò)用戶(hù)節(jié)省花費(fèi)的百分比來(lái)檢驗(yàn)策略的有效性。從圖4中可以看出在當(dāng)前的系統(tǒng)環(huán)境設(shè)置下，隨著時(shí)間的推移，第10天以后ZIPML Agent則可以更加有效地節(jié)省用電花費(fèi)；最終ZIPML Agent可以為用戶(hù)節(jié)省6.1%的花費(fèi)，優(yōu)于Vytelingum Agent的5.6%。

圖4 ZIPML策略與Vytelingum策略比較

最后對(duì)于社會(huì)福利進(jìn)行分析，研究在納什均衡狀態(tài)下，系統(tǒng)的集體利益是否被破壞[15]。系統(tǒng)中1 000個(gè)Agent的總體需求，用電需求的設(shè)置為符合圖1的正態(tài)分布。圖5中可以看到，隨著天數(shù)的增加，電價(jià)漸漸趨于平穩(wěn)，30天后系統(tǒng)的電價(jià)已經(jīng)接近平坦?fàn)顟B(tài)。圖6顯示了用戶(hù)總用電成本與最優(yōu)值的比較，Agent存儲(chǔ)策略經(jīng)過(guò)25天左右的自適應(yīng)學(xué)習(xí)以后，實(shí)際用電成本已

圖6 系統(tǒng)總成本

圖7 排碳量減少曲線圖

圖8 負(fù)載因素

5 結(jié)論

鑒于智能電網(wǎng)對(duì)未來(lái)低碳經(jīng)濟(jì)的重要性，本文在Vytelingum的研究工作基礎(chǔ)上，考慮了Agent之間的相互學(xué)習(xí)，在此基礎(chǔ)上提出了更有效的基于多Agent技術(shù)的ZIPML算法，使得實(shí)際存儲(chǔ)策略逼近最優(yōu)存儲(chǔ)策略。通過(guò)模擬實(shí)驗(yàn)得出，ZIPML Agent相比于Vytelingum Agent可以更加有效地節(jié)省用電花費(fèi)，約節(jié)省6.1%。用戶(hù)實(shí)際存儲(chǔ)策略經(jīng)過(guò)一段時(shí)間后逐漸逼近最優(yōu)存儲(chǔ)策略；系統(tǒng)總成本也逼近于最優(yōu)值。負(fù)載因素逐漸逼近于1，即電網(wǎng)高峰期的負(fù)荷得到有效降低，排碳量也有明顯減少，驗(yàn)證了該算法的有效性。

[1]U S Department-Of-Energy.Grid 2030：a national vision for electricity's second 100 years[EB/OL].（2003-02-01）.http：//www.ferc.gov/eventcalendar/files/20050608125055-grid-2030.pdf.

[2]Galvin R，Yeager K.Perfect power：how the micro grid revolution will unleash cleaner，greener[M].[S.l.]：More Abundant Energy.McGraw-Hill Professional，2008.

[3]MacKay D.Sustainable energy：without the hot air[M].[S.l.]：UIT Cambridge，2009.

[4]Exarchakos L，Leach M，Exarchakos G.Modelling electricity storage systems management under the influence of demandside management programmes[J].International Journal of Energy Research，2009，33（1）：62-76.

[5]van Dam K H，Houwing M，Bouwmans I.Agent-based control of distributed electricity generation with micro combined heat and power cross-sectoral learning for process and infrastructure engineers[J].Computers &Chemical Engineering，2008，32（1/2）：205-217.

[6]Korpaas M，Holen A T，Hildrum R.Operation and sizing of energy storage for wind power plants in a market system[J].International Journal of Electrical Power&Energy Systems，2003，25（8）：599-606.

[7]Daryanian B，Bohn R，Tabors R.Optimal demand-side response to electricity spot prices for storage-type customers[J].IEEE Transactions on Power Systems，1989，4（3）：897-903.

[8]Houwing M，Negenborn R R，Heijnen P W，et al.Least-cost model predictive control of residential energy resources when applying chp[M].London，UK：Power Tech，2007：425-430.

[9]Vandael S，Boucke N，Holvoet T，et al.Decentralized demand side management of plug-in hybrid vehicles in a smart Grid[C]//Autonomous Agents and MultiAgent Systems（AAMAS 2010），Toronto，Canada，2010.

[10]Vytelingum P，Voice T D，Ramchurn S D，et al.Agent-based micro-storage management for the smart grid[C]//Autonomous Agents And MultiAgent Systems（AAMAS 2010），Toronto，Canada.，2010.

[11]Williams J，Wright B.Storage and commodity markets[M].UIT，Cambridge：[s.n.]，1991.

[12]Osborne M J.An introduction to game theory[M].[S.l.]：Oxford University Press，2003.

[13]Weibull J W.Evolutionary game theory[M].Cambridge，MA：MIT Press，1995.

[14]Cliff D，Bruten J.Minimal-intelligence agents for bargaining behaviors in market-based environments，Technical Report HPL-97-91[R].1997.

[15]Holland A.Welfare losses in commodity storage games[C]//Proceedings of The 8th International Conference on Autonomous Agents and Multiagent Systems，Budapest，2009：1253-1254.