劉 青， 魯 成， 馬天祥， 段 昕

(1.新能源電力系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室(華北電力大學(xué)) ，河北 保定 071003；2.國網(wǎng)河北省電力有限公司電力科學(xué)研究院，河北 石家莊 050021)

0 引 言

“碳達(dá)峰”目標(biāo)的提出加速了我國配網(wǎng)中分布式新能源應(yīng)用比例的提高,過去能源單向流動(dòng)的形式變成了可變雙向流動(dòng),配網(wǎng)中拓?fù)潢P(guān)系日益復(fù)雜。新投入的城市配網(wǎng)更多地采用環(huán)網(wǎng)設(shè)計(jì)以提高供電可靠性指標(biāo),雄安地區(qū)、廣州等地更是采用了“雙花瓣”結(jié)構(gòu)。復(fù)雜的多端多電源網(wǎng)絡(luò)使得現(xiàn)有的配網(wǎng)三段式過流保護(hù)配置方案難以繼續(xù)使用[1-3],節(jié)點(diǎn)與連接關(guān)系大大增加,因此差動(dòng)保護(hù)與饋線自動(dòng)化技術(shù)被引入配網(wǎng)保護(hù)中。然而傳統(tǒng)差動(dòng)保護(hù)采用的光纖介質(zhì)使用維護(hù)成本高,不適合配網(wǎng)中推廣,十分限制配網(wǎng)繼電保護(hù)業(yè)務(wù)的開展與技術(shù)提升。

為此,大量專家學(xué)者基于我國5G通信研究進(jìn)程[4,5],針對(duì)配網(wǎng)保護(hù)業(yè)務(wù)5G化進(jìn)行了應(yīng)用研究。文獻(xiàn)[6]針對(duì)5G通信應(yīng)用于饋線自動(dòng)化的方案進(jìn)行了詳細(xì)的論述,并搭建實(shí)驗(yàn)平臺(tái)實(shí)現(xiàn)了終端延遲、動(dòng)作全流程時(shí)間的測(cè)試。文獻(xiàn)[7]從差動(dòng)保護(hù)對(duì)通信效果的要求出發(fā),基于國內(nèi)首個(gè)5G SA/NSA雙?；窘M網(wǎng)的電力系統(tǒng)業(yè)務(wù)平臺(tái),測(cè)試了外場(chǎng)環(huán)境下終端之間延遲與抖動(dòng)情況,并提出了延遲抖動(dòng)優(yōu)化措施。文獻(xiàn)[8]提出了不依賴外部時(shí)鐘的基于故障時(shí)刻5G數(shù)據(jù)同步方法,在10 kV線路上實(shí)現(xiàn)了基于5G通信的配網(wǎng)差動(dòng)保護(hù)功能。但是在實(shí)際應(yīng)用時(shí),終端常常因通信延遲過大影響了保護(hù)動(dòng)作可靠性,因此就有思路提出通過預(yù)測(cè)延遲,以主動(dòng)適應(yīng)延遲的變化。

目前電網(wǎng)中的延遲預(yù)測(cè)業(yè)務(wù)尚是空白,但負(fù)荷業(yè)務(wù)預(yù)測(cè)十分常見,其中短期負(fù)荷預(yù)測(cè)針對(duì)的是未來數(shù)小時(shí)或是數(shù)天的負(fù)荷曲線,這一需求與延遲預(yù)測(cè)的特征十分接近?，F(xiàn)階段對(duì)于短期預(yù)測(cè)的方法主要通過統(tǒng)計(jì)學(xué)方法與機(jī)器學(xué)習(xí),前者原理簡(jiǎn)單,但是難以處理體積龐大的數(shù)據(jù)集;后者基于機(jī)器學(xué)習(xí)算法,包括支持向量機(jī)、隨機(jī)森林算法與遺傳網(wǎng)絡(luò)[9-11]等,挖掘數(shù)據(jù)間規(guī)律能力較強(qiáng)。但是這類算法對(duì)于時(shí)間序列的處理不夠理想,難以從時(shí)間關(guān)聯(lián)中提取有效信息,于是長(zhǎng)短期記憶網(wǎng)絡(luò)(Long-short Term Memory, LSTM)為代表的神經(jīng)網(wǎng)絡(luò)就克服了這一問題,充分挖掘時(shí)序信息里的深層關(guān)系,但其對(duì)于非連續(xù)特征的處理效果又是一大劣勢(shì)。為了克服單一模型的不足之處,諸多集成學(xué)習(xí)方式應(yīng)運(yùn)而生。文獻(xiàn)[12]提出一種結(jié)合GRU與LSTM的模型,利用GRU單元預(yù)處理負(fù)荷歷史信息,再結(jié)合其他特征輸入LSTM中訓(xùn)練。文獻(xiàn)[13]引入注意力機(jī)制,改進(jìn)了傳統(tǒng)CNN-LSTM網(wǎng)絡(luò),設(shè)計(jì)了分季節(jié)進(jìn)行的短期負(fù)荷預(yù)測(cè)。

針對(duì)短期5G配電終端延遲預(yù)測(cè)問題,本文提出一種基于貝葉斯優(yōu)化LightGBM算法的主動(dòng)式搜索時(shí)間調(diào)整方法。模型以LightGBM算法為核心,將歷史延遲數(shù)據(jù)與日期、時(shí)間、溫度等因素作為輸入,訓(xùn)練過程中引入貝葉斯優(yōu)化方法尋找最優(yōu)參數(shù),最后通過計(jì)算最優(yōu)權(quán)重,結(jié)合上一時(shí)刻的延遲實(shí)測(cè)值動(dòng)態(tài)調(diào)整預(yù)測(cè)值。實(shí)驗(yàn)證明,本文提出的方法預(yù)測(cè)精度較其他方法具有突出優(yōu)勢(shì),可以很大程度上解決因延遲波動(dòng)導(dǎo)致保護(hù)裝置閉鎖的問題。

1 5G配電終端延遲預(yù)測(cè)

1.1 配電終端延遲要求

智能電網(wǎng)的強(qiáng)大離不開通信技術(shù)的支持,涵蓋多樣化的通信服務(wù)需求,5G網(wǎng)絡(luò)在電網(wǎng)為代表的垂直行業(yè)的應(yīng)用場(chǎng)景下迸發(fā)出新的發(fā)展火花[14],而其中差動(dòng)保護(hù)業(yè)務(wù)被認(rèn)為是5G低延時(shí)、高精度授時(shí)的原型業(yè)務(wù)。圖1為基于5G通信的饋線自動(dòng)化網(wǎng)絡(luò)架構(gòu)示意圖。規(guī)定中要求[15],考慮設(shè)備熱穩(wěn)定性因素,保護(hù)裝置需要在0.1 s內(nèi)完成報(bào)文交互,故障分析,跳閘命令下達(dá),斷路器物理跳閘結(jié)束這一系列動(dòng)作。

圖1 基于5G通信的饋線自動(dòng)化網(wǎng)絡(luò)架構(gòu)示意圖Fig.1 Network architecture of 5G-based FA

如圖2所示,扣除保護(hù)裝置運(yùn)算、命令觸發(fā)、斷路器動(dòng)作的時(shí)間,預(yù)留給報(bào)文傳輸?shù)臅r(shí)間小于20 ms。同時(shí)規(guī)定了極高的可靠性需求,盡量杜絕誤碼、斷連等引起保護(hù)裝置拒動(dòng)、誤動(dòng)的現(xiàn)象。由于無線路由路徑差異,排隊(duì)等待發(fā)送或是保護(hù)兩側(cè)裝置性能差異引起的延遲抖動(dòng),也會(huì)直接給保護(hù)裝置的處理加入不平衡電流,增加了誤動(dòng)的可能性。

圖2 故障切除時(shí)序圖Fig.2 Fault removal sequence diagram

而5G通信饋線自動(dòng)化技術(shù),由于不采用差動(dòng)保護(hù)原理,對(duì)于通信的要求就沒有那樣苛刻。通常來說,規(guī)定要求10 kV變電站出線開關(guān)可以在最多0.3 s內(nèi)完成動(dòng)作[16-18],而斷路器分閘時(shí)間不超70 ms。保護(hù)終端在檢測(cè)到本地故障出現(xiàn)后,會(huì)向?qū)?cè)終端發(fā)送故障信號(hào),同時(shí)啟動(dòng)故障搜索等待時(shí)間TW。在故障等待倒計(jì)時(shí)結(jié)束后,會(huì)將本地與周圍開關(guān)交換的信息結(jié)合起來判斷故障情況。同時(shí)TW可以兼顧保護(hù)裝置與相鄰裝置連接關(guān)系的確認(rèn)信號(hào),如果收不到對(duì)端信號(hào),則說明故障為區(qū)外故障,保護(hù)閉鎖。實(shí)際運(yùn)行中,延遲與抖動(dòng)常常超過固定的TW值,導(dǎo)致裝置偶發(fā)性閉鎖,若此時(shí)區(qū)域內(nèi)發(fā)生故障,就必定會(huì)導(dǎo)致拒動(dòng)現(xiàn)象,處理不及時(shí)就會(huì)在配網(wǎng)內(nèi)引起大面積蔓延,危及生產(chǎn)生活。

1.2 延遲預(yù)測(cè)原理分析

延遲(delay或latency)又叫時(shí)延或延時(shí)[19],包括幾個(gè)部分:發(fā)送延遲,傳播延遲,處理延遲,排隊(duì)延遲。簡(jiǎn)要來說,無論是主機(jī)或路由器完整發(fā)送一段數(shù)據(jù)幀,基站發(fā)送無線信號(hào)到終端的空口過程,芯片處理數(shù)據(jù),還是排隊(duì)等待發(fā)送,每一個(gè)環(huán)節(jié)都會(huì)增加終端之間互聯(lián)互通消耗的時(shí)間。

抖動(dòng)指的是分組延遲的變化程度,基本上是不可預(yù)測(cè)的[7],影響因素眾多,但是根據(jù)分析結(jié)合歷史數(shù)據(jù)可以認(rèn)為,延遲卻是可以進(jìn)行預(yù)測(cè)的。由終端發(fā)送信號(hào)到達(dá)另一個(gè)終端通常要經(jīng)過“終端-空口-基站-光纖-承載網(wǎng)-對(duì)側(cè)基站-空口-對(duì)策終端”的流程,基站及其之間使用光纖介質(zhì),與有線網(wǎng)絡(luò)共用一個(gè)架構(gòu),設(shè)計(jì)承載量巨大,能夠滿足大量用戶的連接。因此延遲的主要不穩(wěn)定環(huán)節(jié)來自基站到終端之間的空口因素,根據(jù)研究,過高/低的溫度、降水、霧霾、建筑物遮擋以及紅外反光玻璃穿透等物理因素[20-24]都有可能影響5G頻段電磁波的傳播性能,另外高溫極易影響基站、收發(fā)機(jī)、天線的性能。

結(jié)合延遲記錄可以發(fā)現(xiàn),日延遲曲線都是呈現(xiàn)一定規(guī)律的:從形式上看,波動(dòng)較大,不夠圓滑;從時(shí)間上來說,基本隨著居民日生產(chǎn)生活強(qiáng)度發(fā)生變化,基站連接數(shù)也會(huì)變化,延遲也就隨著波動(dòng)。而在夜間連接數(shù)大幅減少時(shí),基站會(huì)進(jìn)入低功耗模式,此時(shí)發(fā)射信號(hào)減弱,也會(huì)一定程度上導(dǎo)致延遲增加。本文設(shè)計(jì)配合特征變量,對(duì)延遲進(jìn)行預(yù)測(cè),實(shí)現(xiàn)搜索等待時(shí)間TW的動(dòng)態(tài)修改:當(dāng)預(yù)測(cè)到下一采樣時(shí)刻延遲會(huì)超過當(dāng)前TW時(shí),在不超過總動(dòng)作時(shí)間0.3 s的規(guī)定下,主動(dòng)調(diào)整TW大小,避免裝置閉鎖現(xiàn)象。

2 基于LightGBM模型的延遲預(yù)測(cè)方法

2.1 LightGBM模型

LightGBM是以梯度提升決策樹(Gradient Boosting Decision Tree,GBDT)為基礎(chǔ)的集成學(xué)習(xí)算法,它改進(jìn)了GBDT的缺點(diǎn),從而能更適合工業(yè)應(yīng)用。在此之前,基于決策樹模型(弱分類器)迭代訓(xùn)練的GBDT框架在分類、預(yù)測(cè)以及數(shù)據(jù)挖掘等場(chǎng)景得到了廣泛應(yīng)用。為了解決GBDT在海量數(shù)據(jù)遇到的問題,LightGBM進(jìn)行了幾項(xiàng)優(yōu)化措施,包括:基于直方圖(Histogram)的決策樹算法、帶有深度限制的按葉子生長(zhǎng)(leaf-wise)算法以及單邊梯度采樣算法,從而了降低原決策樹方法及其衍生算法(如XGBoost)的誤差,提升了計(jì)算精度,節(jié)省了時(shí)間與內(nèi)存消耗,同時(shí)支持分布式運(yùn)行,從而可以快速處理海量數(shù)據(jù)。如圖3所示,以往按層生長(zhǎng)(Level-wise)決策樹生長(zhǎng)策略改變?yōu)楝F(xiàn)在的帶有深度限制的按葉生長(zhǎng),在當(dāng)前葉子中尋找分裂增益最大的那一支,以此方式迭代。所以同以往相比,在計(jì)算次數(shù)相同的情況下其精度更高,誤差更低。此外為防止出現(xiàn)葉子過深,還要設(shè)定max_depth參數(shù)以防止過擬合。

圖3 帶深度限制的Leaf-wise的葉子生長(zhǎng)策略Fig.3 Leaf-wise foliage growth strategy with depth limitation

所以LightGBM算法速度更快,占用內(nèi)存更小,隨著處理數(shù)據(jù)數(shù)量增大,其優(yōu)勢(shì)也愈加凸顯,因此尤其適合處理小顆粒度采樣的回歸問題,如延遲預(yù)測(cè)問題等。

2.2 基于LightGBM算法的延遲預(yù)測(cè)模型構(gòu)造

近些年來,針對(duì)負(fù)荷預(yù)測(cè)、風(fēng)電功率預(yù)測(cè)等時(shí)間序列的預(yù)測(cè)問題,大多采用由RNN改進(jìn)的LSTM模型,能夠?qū)^去長(zhǎng)期與短期數(shù)據(jù)行為均留下印象,增強(qiáng)了對(duì)數(shù)據(jù)間關(guān)聯(lián)的挖掘。但代價(jià)就是為了更好地?cái)M合,LSTM模型通常包含多層,而同時(shí)又要增加Dropout層以防止過擬合。如輸入15分鐘采樣一次的負(fù)荷數(shù)據(jù),每年就有4*24*365= 35 040個(gè)采樣數(shù)據(jù),再加上氣溫、降水、節(jié)假日等特征信息,訓(xùn)練模型要花費(fèi)大量的時(shí)間與算力,普通的小型計(jì)算機(jī)CPU/GPU難以長(zhǎng)期維持高負(fù)荷的迭代訓(xùn)練。因此,本文認(rèn)為對(duì)于基于5G的配電自動(dòng)化系統(tǒng)來說,更適合選擇算力要求更低的LightGBM算法,同時(shí)其支持分布式并行計(jì)算的特點(diǎn)更是拓寬了系統(tǒng)未來的發(fā)展方向。

通常機(jī)器學(xué)習(xí)模型都會(huì)進(jìn)行人工手動(dòng)調(diào)參,以更好地對(duì)訓(xùn)練集進(jìn)行擬合,降低預(yù)測(cè)誤差。但是本文欲以實(shí)現(xiàn)實(shí)際場(chǎng)景中應(yīng)用,首先終端時(shí)空因素均是不確定的,無法確定設(shè)備配置區(qū)域的日延遲曲線有何特性,數(shù)據(jù)的分布存在差異。另外配電網(wǎng)終端數(shù)量眾多,無法窮盡人力去實(shí)現(xiàn)最優(yōu)參數(shù)配置,因此引入貝葉斯優(yōu)化加以輔助。

2.3 貝葉斯優(yōu)化

貝葉斯優(yōu)化(Bayesian Optimization,簡(jiǎn)稱BO)也叫做主動(dòng)優(yōu)化。該方法本質(zhì)上是基于模型的序貫優(yōu)化,只有在當(dāng)前輪次評(píng)估結(jié)束后才進(jìn)行下一輪,能夠根據(jù)未知目標(biāo)函數(shù)f獲取的信息選擇下一個(gè)評(píng)估位置,以最少代價(jià)獲取最優(yōu)解。傳統(tǒng)的網(wǎng)格調(diào)參 (Grid Search) 會(huì)從給定的超參數(shù)選擇中搭配并遍歷所有的超參數(shù)組合,找到這些組合中最優(yōu)的方案。這種方式下每個(gè)組合都是獨(dú)立計(jì)算,而下一次計(jì)算不會(huì)利用歷史輪次的信息,因此造成大量算例的浪費(fèi),效率低下,同時(shí)對(duì)于非凸問題還容易陷入局部最優(yōu),而BO算法則克服了以上問題。

2.3.1 貝葉斯優(yōu)化核心原理

機(jī)器學(xué)習(xí)可以看成一個(gè)黑盒子,只能知道其輸入與輸出是什么,難以確定中間過程的函數(shù)關(guān)系,因此轉(zhuǎn)向一個(gè)可以表示并解決的函數(shù)上去。假設(shè)有函數(shù)f:x→R,欲在x?X內(nèi)求得

(1)

其中,x表示模型超參數(shù),而不是常規(guī)的輸入變量,對(duì)于LightGBM算法,即為max_depth、num_leaves這類參數(shù)。貝葉斯優(yōu)化的核心是利用條件概率,根據(jù)先驗(yàn)知識(shí)來獲取隨機(jī)變量的關(guān)聯(lián)約束,式(2)為關(guān)鍵的貝葉斯定理。

(2)

下面以偽代碼形式介紹貝葉斯優(yōu)化算法實(shí)現(xiàn)過程。

Input:f,χ,S,M

D←InitSamples(f,x)

fori←|D| toTdo

p(y/x,D)←FitModel(M,D)

xi←[argmax]x?χS(x,p(y|x,D))

yi←f(xi) ΔExpensive step

D←D∪(x,yi)

end for

f表示機(jī)器學(xué)習(xí)模型,也就是輸入一組超參數(shù),可以得到輸出值。X代表超參數(shù)空間。D為(x,y)組成的數(shù)據(jù)集,其中x為一個(gè)超參數(shù)組合,y表示對(duì)應(yīng)輸出。S表示采集函數(shù)(Acquisition Function),用來挑選x。M表示通過D訓(xùn)練后擬合出的模型,此處選擇高斯模型為例。D←InitSamples(f,x)表示將輸入輸出加入到數(shù)據(jù)D中去,D=(x1,y1),…,(xn,yn)。T表示固定一個(gè)評(píng)估次數(shù),防止過量計(jì)算f造成大量資源消耗。

2.3.2 貝葉斯優(yōu)化框架

貝葉斯優(yōu)化有兩大要素,其一為概率模型代理,其二是采集函數(shù)。前者用于評(píng)價(jià)抽象的目標(biāo)函數(shù),后者則是利用代理模型的后驗(yàn)信息確定主動(dòng)選擇評(píng)估點(diǎn)的策略。

假設(shè)模型M服從高斯分布,即f～GP(μ,K),其中,GP表示高斯過程(Gaussian Processes),μ為均值,K為協(xié)方差kernel。xi←argmaxx?χS(x,p(y|x,D))表示假設(shè)的模型計(jì)算出來后,就模型來選擇滿足公式x*的參數(shù),即xi,這就是采集函數(shù)(Acquisition Function)。經(jīng)過選擇超參xi,帶入網(wǎng)絡(luò)中訓(xùn)練,輸出yi,并更新數(shù)據(jù)集D。

采集函數(shù)的功能是由已有數(shù)據(jù)集D1:t得出的后驗(yàn)分布構(gòu)造,獲取最大化增益的目標(biāo)以選擇下一個(gè)超參數(shù)組合xi+1。

αt(x;D1:t)=

(3)

常見的采集函數(shù)包括PI,EI,LCB及其組合,本文選擇EI(Expected Improvement),如式(3)。該函數(shù)屬基于提升的策略,相較于當(dāng)前觀測(cè)時(shí)刻最優(yōu)函數(shù)值有所降低(因目標(biāo)是求函數(shù)最小值)的位置作為下一個(gè)評(píng)估點(diǎn)。

2.4 K折(K-Fold)交叉驗(yàn)證

傳統(tǒng)的機(jī)器學(xué)習(xí),會(huì)將數(shù)據(jù)集按照6∶2∶2或是8∶1∶1的比例劃分訓(xùn)練集、驗(yàn)證集與測(cè)試集,這被稱為交叉驗(yàn)證(Cross-Validation)。但抽取樣本的合理與否會(huì)影響訓(xùn)練結(jié)果的好壞,同時(shí)會(huì)存在數(shù)據(jù)集應(yīng)用不充分的問題,而K折交叉驗(yàn)證就可以避免以上問題。如圖4所示,它指的是將訓(xùn)練集分為K部分(通常為均分),每部分均有一次機(jī)會(huì)作為驗(yàn)證集進(jìn)行訓(xùn)練,另外還有K-1次訓(xùn)練作為訓(xùn)練集,最后取平均誤差作為泛化誤差,這樣一來,實(shí)現(xiàn)無重復(fù)抽樣的同時(shí)保證了數(shù)據(jù)集得到了充分訓(xùn)練。

圖4 K折交叉驗(yàn)證示意圖Fig.4 Diagram of K-fold cross validation

出于對(duì)本文使用數(shù)據(jù)量的考量,這里結(jié)合兩種方法,將數(shù)據(jù)集按照8∶1∶1的比例劃分訓(xùn)練集、驗(yàn)證集與測(cè)試集,同時(shí)再在訓(xùn)練集上采用10折交叉驗(yàn)證,獲取最好泛化特性。

2.5 動(dòng)態(tài)加權(quán)組合

單一的機(jī)器學(xué)習(xí)模型總是有其弱勢(shì)所在,因此很多人都會(huì)使用集成學(xué)習(xí),它不是一個(gè)新的算法,而是一種技術(shù)框架,用以組合基礎(chǔ)模型。目前有三種有代表性的的集成學(xué)習(xí)框架:Bagging,Boosting以及Stacking。LightGBM衍生自GBDT,而GBDT本身是一個(gè)Boosting集成學(xué)習(xí)方式,而在最后一個(gè)環(huán)節(jié),本文將利用stacking思想來減小預(yù)測(cè)誤差[25]。

Stacking核心是把強(qiáng)分類器進(jìn)行強(qiáng)強(qiáng)聯(lián)合,使得融合后的模型效果更強(qiáng),其簡(jiǎn)化版為L(zhǎng)inear blending,簡(jiǎn)單來說就是加權(quán)組合思想。對(duì)于某一預(yù)測(cè)問題的兩個(gè)預(yù)測(cè)模型,設(shè)εit是第i個(gè)模型t時(shí)刻的誤差,求得偏差矩陣E,其公式如公式(4)。

其中,m為數(shù)據(jù)集內(nèi)元素個(gè)數(shù),令R=[1,1,1,…,1]T,利用拉格朗日法可以獲得最優(yōu)權(quán)重配比(ω1,ω2,…,ωn)T=K= (E-1R)/(RTE-1R),其中ω1+ω2+…+ωn=1,ωi是各個(gè)模型的權(quán)重。

(4)

考慮到延遲波動(dòng)較大,有相當(dāng)一部分變化是無法預(yù)測(cè)的,因此這里結(jié)合實(shí)時(shí)數(shù)據(jù)進(jìn)行動(dòng)態(tài)調(diào)整。方法是將當(dāng)前預(yù)測(cè)時(shí)刻的前一采樣點(diǎn)實(shí)測(cè)數(shù)據(jù)充當(dāng)?shù)诙€(gè)模型的預(yù)測(cè)結(jié)果,與LightGBM的預(yù)測(cè)結(jié)果進(jìn)行組合,整體數(shù)列缺失的一位用相鄰一個(gè)實(shí)測(cè)數(shù)據(jù)進(jìn)行填充,最終求出最優(yōu)權(quán)重配比。

2.6 預(yù)測(cè)流程

根據(jù)數(shù)據(jù)預(yù)處理過程中的可視化分析,能確定數(shù)據(jù)變化有一定的規(guī)律性,由此確定進(jìn)行訓(xùn)練的特征量包括年份,月份,日期,每周第幾日,小時(shí),周末及節(jié)假日,溫度。

首先對(duì)數(shù)據(jù)進(jìn)行清洗預(yù)處理,過濾掉缺失信息與無效錯(cuò)誤信息,也避免數(shù)據(jù)為0時(shí)會(huì)影響后續(xù)預(yù)測(cè)誤差判定公式的運(yùn)算。之后進(jìn)行特征工程。特征數(shù)據(jù)分為數(shù)值型與類別型,由于LightGBM是由決策樹模型衍生而來,樹模型基于信息增益率、基尼指數(shù)等進(jìn)行特征空間劃分,其尋找的最優(yōu)點(diǎn)是最優(yōu)分裂點(diǎn),因此過程是階躍性不可導(dǎo)的,任何不影響排序結(jié)果的單調(diào)變換均不會(huì)影響模型,所以數(shù)據(jù)無須進(jìn)行歸一化;另外LightGBM算法對(duì)于類別特征有所優(yōu)化,無需進(jìn)行One-hot編碼。導(dǎo)入Python內(nèi)置datetime庫,對(duì)于一周七天分別賦值0到6,另外對(duì)于周末節(jié)假日,工作日令其為0,其余則令為1。最后在所有特征處理后輸入模型進(jìn)行訓(xùn)練學(xué)習(xí)。

鑒于饋線自動(dòng)化的分布式特性,以及不同終端地理分布有所差異的現(xiàn)實(shí),提出集中-分布預(yù)測(cè)方式:由饋線自動(dòng)化區(qū)域主站兼做機(jī)器學(xué)習(xí)的執(zhí)行部分,每天向區(qū)域內(nèi)終端下達(dá)次日預(yù)測(cè)延遲數(shù)值。各終端根據(jù)收到的數(shù)值,結(jié)合自身實(shí)測(cè)延遲,進(jìn)行加權(quán)調(diào)整后作為自身下一階段的故障搜索等待時(shí)間TW,預(yù)測(cè)流程圖如圖5所示。

圖5 預(yù)測(cè)流程圖Fig.5 Forecasting flow chart

3 算例分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與平臺(tái)介紹

本文使用河北省試點(diǎn)線路部署的5G智能分布式FA的外場(chǎng)測(cè)試環(huán)境[26],通過運(yùn)營(yíng)商提供的CPE掛載測(cè)試出線路運(yùn)行期間5G終端的歷史延遲數(shù)據(jù)。試點(diǎn)線路架設(shè)初期,該地區(qū)5G用戶較少,SA組網(wǎng)的架構(gòu)中可以獲得與實(shí)驗(yàn)室相當(dāng)?shù)膬?yōu)秀延遲數(shù)據(jù)。但隨著5G用戶增多,該區(qū)域原有的5G基站與承載網(wǎng)負(fù)載大大增加,加上高頻基站本身覆蓋范圍較小,使得后期測(cè)試的延遲整體有所提高,且波動(dòng)較大,適合作為本文提出方法的測(cè)試數(shù)據(jù)集。選取2020年到2021年共2年的延遲數(shù)據(jù),以及對(duì)應(yīng)的溫度記錄,采樣顆粒度為1小時(shí),一天共產(chǎn)生24組數(shù)據(jù)。

本文采用的硬件平臺(tái)為 Intel Core i7-6700HQ CPU和 NVDIA GTX 965M GPU。軟件平臺(tái)基于Python 3.8版本實(shí)現(xiàn)。

3.2 驗(yàn)證評(píng)估標(biāo)準(zhǔn)

延遲預(yù)測(cè)問題屬于機(jī)器學(xué)習(xí)里的回歸問題,因此可以選擇判定系數(shù)R2/MAPE/RMSE/MAE等多種指標(biāo),在這里我們選擇平均絕對(duì)百分比誤差(Mean Absolute Percentage Error,MAPE)與均方根誤差(Root Mean Square Error,RMSE)作為橫向比較模型預(yù)測(cè)精度的指標(biāo),二者公式如下:

(5)

(6)

前者衡量的是預(yù)測(cè)值偏離真實(shí)值的相對(duì)大小,結(jié)果用百分比表示,而后者則是真實(shí)值與預(yù)測(cè)結(jié)果的絕對(duì)偏離情況,大小受數(shù)據(jù)量綱的不同而有不同,因此不同的數(shù)據(jù)集無法以相同的RMSE去比較,適合相同數(shù)據(jù)集上不同模型的訓(xùn)練結(jié)果進(jìn)行橫向比較。RMSE受極端值影響比較大,而延遲本身波動(dòng)就是比較大的,因此搭配MAPE與RMSE一起,在功能上可以達(dá)到互補(bǔ)的效果。同時(shí)RMSE有開方計(jì)算,可以放大誤差,對(duì)于離群數(shù)據(jù)更為敏感,能夠突出較大的預(yù)測(cè)誤差。二者數(shù)值均較小時(shí),表示模型的預(yù)測(cè)結(jié)果較為準(zhǔn)確。

在考量預(yù)測(cè)結(jié)果準(zhǔn)確度的同時(shí),還要兼顧模型訓(xùn)練與預(yù)測(cè)所消耗的時(shí)間,以更好地進(jìn)行方案移植與推廣應(yīng)用。

3.3 數(shù)據(jù)集預(yù)測(cè)結(jié)果與分析

表1為2021年12月20日至24日連續(xù)4天不同模型預(yù)測(cè)結(jié)果與實(shí)際延遲值的對(duì)比數(shù)據(jù)。其中模型I為線性回歸算法,模型II為隨機(jī)森林回歸,模型III為XGBoost算法,模型IV為L(zhǎng)ightGBM算法,模型V為本文提出的貝葉斯優(yōu)化的LightGBM算法。由表可看出,本文所提方法的預(yù)測(cè)誤差相較于其他三種方法是最小的,4天中第1、3、4天誤差表現(xiàn)最好,其中MAPE相比排名第二的方法差距分別是1.2%,0.42%,0.19%。單日提升數(shù)值上來看相差不大,原因是該方法基于LightGBM算法,其本身性能就比較優(yōu)異。

為評(píng)估各個(gè)模型中短期預(yù)測(cè)能力,選取連續(xù)三天作為樣本進(jìn)行預(yù)測(cè)并比較精度,結(jié)果如表2所示。由表2可以看出,當(dāng)把觀測(cè)窗口放大到3天之后,隨機(jī)出現(xiàn)的延遲波動(dòng)現(xiàn)象對(duì)于預(yù)測(cè)精度的影響就被縮小,于是模型V的優(yōu)勢(shì)就顯現(xiàn)出來了,相較于其他方法更為穩(wěn)定可靠。

結(jié)合圖6可以看出,在一天24小時(shí)時(shí)間內(nèi),計(jì)及不可預(yù)測(cè)波動(dòng)的情況下,本文提出方法對(duì)于實(shí)際曲線的預(yù)測(cè)更準(zhǔn),擬合效果更好。尤其在7～10時(shí)波峰突然增大時(shí),該方法反應(yīng)最及時(shí),跟隨效果最好,能捕捉到突然的不可測(cè)變化,很好地降低了保護(hù)裝置閉鎖的可能性。

表1 不同方法的單日預(yù)測(cè)精度比較

表2 連續(xù)三天中短期預(yù)測(cè)精度比較

需要指出的是,CPE與基站之間的空口傳播過程是影響延遲波動(dòng)的最大因素,雖然實(shí)現(xiàn)了較高的預(yù)測(cè)精度,但延遲的不可測(cè)波動(dòng)仍然會(huì)影響實(shí)際保護(hù)動(dòng)作。除提升基站覆蓋密度,加大帶寬等物理層面的手段,還可以通過優(yōu)化上行調(diào)度、空口誤碼、提高優(yōu)先級(jí)以及調(diào)整重傳機(jī)制等手段進(jìn)行基站參數(shù)優(yōu)化配置,以更好地推動(dòng)配網(wǎng)饋線自動(dòng)化5G化進(jìn)程。

圖6 不同模型24小時(shí)預(yù)測(cè)對(duì)比Fig.6 Comparison of 24-hour forecasts from different models

驗(yàn)證過程采用訓(xùn)練epochs為5 000,10折交叉驗(yàn)證,以損失函數(shù)100次迭代中無明顯下降為終止,訓(xùn)練預(yù)測(cè)時(shí)間如表3所示?？梢钥闯鲇捎谠黾恿藘?yōu)化算法,本文提出方法時(shí)間消耗相較基礎(chǔ)機(jī)器學(xué)習(xí)算法有所提高。但按照2.6節(jié)所提流程,現(xiàn)實(shí)中由主站來負(fù)責(zé)訓(xùn)練與預(yù)測(cè),由各終端結(jié)合主站下達(dá)數(shù)值進(jìn)行修正,頻次僅為每天1次,所以每天需要的時(shí)間并不多,在該任務(wù)分配思路下,該訓(xùn)練預(yù)測(cè)時(shí)間并不算長(zhǎng),由此在原理上能夠減輕終端的計(jì)算壓力,更好實(shí)現(xiàn)方案移植與推廣應(yīng)用。

表3 不同模型預(yù)測(cè)與訓(xùn)練時(shí)間比較

4 結(jié) 論

本文提出一種基于貝葉斯優(yōu)化LightGBM算法的主動(dòng)式搜索時(shí)間調(diào)整方法,該方法能夠自行求出最適合當(dāng)前區(qū)域延遲分布特征的超參數(shù)配置方案,無需人工手動(dòng)調(diào)參,同時(shí)最優(yōu)權(quán)重配比方法能夠根據(jù)上一采樣點(diǎn)數(shù)據(jù)動(dòng)態(tài)地調(diào)整下一個(gè)預(yù)測(cè)值。相較于原始機(jī)器學(xué)習(xí)算法,該方法能夠有效地捕捉延遲的突變,跟隨效果更好,預(yù)測(cè)精度更高。

后續(xù)考慮通過加入降水、電力負(fù)荷、人口數(shù)據(jù)等其他特征,并對(duì)各特征的重要度進(jìn)行排序,得到影響延遲變化最重要的特征搭配。另外,計(jì)劃通過嘗試LSTM、GRU等神經(jīng)網(wǎng)絡(luò)來解決預(yù)測(cè)問題的方法,進(jìn)一步挖掘時(shí)間信息。