薛普寧， 周志剛， 蔣 毅， 陳 昕， 方修睦， 劉 京

(1.哈爾濱工業(yè)大學(xué) 建筑學(xué)院， 黑龍江 哈爾濱 150006； 2.哈爾濱工業(yè)大學(xué)，寒地城鄉(xiāng)人居環(huán)境科學(xué)與技術(shù)工業(yè)和信息化部重點實驗室， 黑龍江 哈爾濱 150006；.黑龍江省計算中心， 黑龍江 哈爾濱 150026)

1 概述

集中供熱是保障人民生產(chǎn)生活的重要基礎(chǔ)能源設(shè)施。近年來，在我國能源戰(zhàn)略轉(zhuǎn)型的大背景下，隨著智慧城市、“互聯(lián)網(wǎng)+”智慧能源等概念的提出，供熱行業(yè)也興起了智慧供熱的研究浪潮[1]。智慧供熱是以數(shù)字化、網(wǎng)絡(luò)化、智能化的信息技術(shù)設(shè)施為基礎(chǔ)，以用戶為目標，以低碳、舒適、高效為主要特征，以透徹感知、廣泛互聯(lián)、深度智能為技術(shù)特點的現(xiàn)代供熱方式[2]。其內(nèi)涵是利用傳感器透徹感知供熱系統(tǒng)信息，網(wǎng)絡(luò)傳輸信息全面互聯(lián)互通，以及系統(tǒng)實現(xiàn)智能決策和智能控制。

熱負荷的準確預(yù)測是實現(xiàn)供熱系統(tǒng)運行控制、決策優(yōu)化，提高供熱效率，降低運行維護成本的重要前提。由于供熱系統(tǒng)具有規(guī)模龐大、結(jié)構(gòu)復(fù)雜、熱惰性高等特點，難以通過數(shù)學(xué)建模方法建立有效的熱負荷預(yù)測模型。機器學(xué)習(xí)通過從數(shù)據(jù)中學(xué)習(xí)模型從而賦予計算機在特定任務(wù)上的預(yù)測或決策能力。隨著數(shù)據(jù)存儲與計算機技術(shù)的飛速發(fā)展，機器學(xué)習(xí)在科研和商業(yè)領(lǐng)域得到廣泛的應(yīng)用，也為熱負荷預(yù)測提供了新的思路。供熱企業(yè)在供熱系統(tǒng)的運行管理過程中，儲存了大量的歷史運行數(shù)據(jù)，這些數(shù)據(jù)反映了供熱系統(tǒng)潛在的運行特性，使得采用機器學(xué)習(xí)算法建立熱負荷預(yù)測模型成為可能。

國內(nèi)外已有許多學(xué)者開展了機器學(xué)習(xí)算法在熱負荷預(yù)測領(lǐng)域的應(yīng)用研究，常用算法包括多元線性回歸[3]、自回歸積分移動平均[4]、支持向量回歸[5]、極限學(xué)習(xí)機[6]、回歸樹[7]、梯度提升[8]、神經(jīng)網(wǎng)絡(luò)[9]等。然而，目前的研究多集中于熱負荷的單步預(yù)測，模型輸出結(jié)果為未來某一時刻的熱負荷預(yù)測值。實現(xiàn)供熱系統(tǒng)的決策控制，需要提前掌握未來一段時期內(nèi)的熱負荷的動態(tài)概況，即對熱負荷進行多步預(yù)測。

為了實現(xiàn)供熱系統(tǒng)熱負荷的多步預(yù)測，本文提出了一種基于機器學(xué)習(xí)的供熱負荷多步遞歸預(yù)測策略，利用支持向量回歸(support vector regression，SVR)、極限梯度提升(extreme gradient boosting，XGBoost)分別建立了熱負荷單步預(yù)測模型，并根據(jù)實際供熱系統(tǒng)案例對所提出的多步遞歸預(yù)測策略的預(yù)測性能進行了評估。本文中所有模型均通過R語言予以實現(xiàn)。

2 研究方法

2.1 用于熱負荷預(yù)測的數(shù)據(jù)集

熱負荷預(yù)測屬于機器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)的任務(wù)是訓(xùn)練一個模型，使得模型能夠?qū)o定的輸入變量，對其相應(yīng)的輸出變量做出一個好的預(yù)測。這里的輸入變量指熱負荷的影響因子，輸出變量是要預(yù)測的目標時刻的熱負荷。在機器學(xué)習(xí)中，模型的每一個輸入變量被稱為一個特征或?qū)傩?，而模型要預(yù)測的目標變量則被稱為標簽。一個由特征和標簽所組成的向量，被稱為一個樣本或示例。一組樣本構(gòu)成的集合稱為數(shù)據(jù)集[10]2-3。

一般地，我們用x=(x1,x2,…,xd)T表示一個樣本的所有特征組成的向量，稱為特征向量，d稱為樣本的維數(shù)；用y表示樣本的標簽；用D={(x1,y1),(x2,y2),…,(xn,yn)}表示包含n個樣本的數(shù)據(jù)集[10]2-3。

熱負荷的影響因子可分為4類：時間變量、氣象參數(shù)、系統(tǒng)運行數(shù)據(jù)和社會因素(用戶行為)[4, 11]。時間變量即年、月、日、小時等參數(shù)；氣象參數(shù)包括室外空氣溫濕度、太陽輻射、風(fēng)速等，是熱負荷最顯著的影響因子；系統(tǒng)運行數(shù)據(jù)是反映供熱系統(tǒng)運行狀態(tài)的供回水溫度、流量、供熱量、控制信號等變量；社會因素指熱用戶的用熱模式、社會活動、自主調(diào)節(jié)等行為。雖然熱負荷的影響因子很多，相關(guān)研究表明，只需選擇少數(shù)關(guān)鍵的影響因子如時間、室外空氣溫度、歷史供熱量(熱負荷)作為熱負荷預(yù)測的數(shù)據(jù)集的特征，就可以得到較準確的熱負荷預(yù)測結(jié)果[12]。

考慮到目前我國供熱系統(tǒng)缺少對用戶行為的連續(xù)監(jiān)測記錄，而且氣象參數(shù)中也一般只記錄室外空氣溫度，本文只選擇時間變量、室外空氣溫度和歷史熱負荷這3種類型的熱負荷影響因子作為熱負荷預(yù)測中特征向量的特征。

2.2 熱負荷單步預(yù)測模型

本文提出的熱負荷多步遞歸預(yù)測策略是對熱負荷單步預(yù)測模型的拓展，因此首先給出熱負荷單步預(yù)測模型的介紹。

熱負荷單步預(yù)測模型是利用特征向量預(yù)測樣本的標簽，即預(yù)測未來目標時刻的熱負荷值。該模型可用式(1)表示[13]:

(1)

f——熱負荷單步預(yù)測模型

t——時刻

Tt+1——t+1時刻室外空氣溫度的預(yù)報值

Φt——t時刻熱負荷的真實值

Φt-1——t-1時刻熱負荷的真實值

Φt-(m-1)——t-(m-1)時刻熱負荷的真實值

m——特征向量中歷史熱負荷的總數(shù)目

2.3 熱負荷多步遞歸預(yù)測策略

2.4 熱負荷多步遞歸預(yù)測的流程

圖2為熱負荷多步遞歸預(yù)測的流程。該流程可分為4個步驟：數(shù)據(jù)預(yù)處理、數(shù)據(jù)集劃分、模型訓(xùn)練和模型評估。

2.4.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理可細分為3個子步驟：特征選擇、特征工程和特征變換。通過數(shù)據(jù)預(yù)處理將用于熱負荷預(yù)測的數(shù)據(jù)集變換為SVR模型和XGBoost模型所要求的格式。

圖1 熱負荷多步遞歸預(yù)測策略

圖2 熱負荷多步遞歸預(yù)測的流程

特征選擇旨在確定數(shù)據(jù)集的特征向量中歷史熱負荷的總數(shù)目m。本文采用偏自相關(guān)函數(shù)(partial autocorrelation function,符號為P)對熱負荷時間序列進行分析以確定最優(yōu)的m值。對于一個熱負荷時間序列，偏自相關(guān)函數(shù)移除當前值Φt與歷史值Φt-i之間的所有變量Φt-1，Φt-2，…，Φt-i+1帶來的影響后，度量Φt和Φt-i的相關(guān)性[14]。若P絕對值超過顯著性水平，表明歷史值與當前值具有很強的相關(guān)性，則可將該歷史值用作樣本的一個特征。在本文的特征選擇中，當熱負荷時間序列的P絕對值不再大于顯著性水平時，對應(yīng)的m值的最大值作為最終的m值。

特征工程旨在將類別特征變換為數(shù)值特征。SVR和XGBoost均要求輸入變量為數(shù)值特征。本文在特征工程中采用one-hot編碼(one-hot encoding)方法。對于一個有k個類別取值的類別特征，one-hot編碼用長度為k的二元向量對k個類進行編碼，二元向量的每個元素與每個類一一對應(yīng)，當類別取值為i時，相應(yīng)的二元變量的第i個元素為1，其余元素均為0[15]。

(2)

式中x′——經(jīng)特征變換后，一個特征的特征值的新值

x——一個特征的特征值的原值

xmin——一個特征的原取值區(qū)間的下限

xmax——一個特征的原取值區(qū)間的上限

2.4.2 數(shù)據(jù)集劃分

經(jīng)數(shù)據(jù)預(yù)處理后的數(shù)據(jù)集，本文采用留出法(hold-out)直接將其劃分為兩個互斥的子集，其中一個子集用作訓(xùn)練集，另一個作為測試集。我們在訓(xùn)練集上建立熱負荷單步預(yù)測模型，然后在測試集上，利用所提出的多步遞歸預(yù)測策略預(yù)測熱負荷，然后對預(yù)測結(jié)果進行評估。

2.4.3 模型訓(xùn)練

本文分別采用SVR模型和XGBoost模型建立熱負荷單步預(yù)測模型。SVR模型在之前有很多成功的應(yīng)用，因此本文選擇SVR作為基準模型以評估后續(xù)熱負荷預(yù)測的結(jié)果。

① SVR模型

SVR是用于回歸任務(wù)的支持向量機模型[10]121-145。學(xué)習(xí)目標是基于訓(xùn)練集在輸入空間中得到一個超平面，使得預(yù)測變量的真實值與超平面對應(yīng)的預(yù)測值的偏差盡可能小。對于熱負荷預(yù)測這種在輸入空間中的非線性可分問題，SVR通過引入核函數(shù)，將樣本的特征向量由輸入空間映射到更高維度的特征空間中，使得非線性可分問題轉(zhuǎn)換為在高維特征空間中的線性可分問題。SVR模型可表示為：

(3)

式中fsvr——SVR模型

ws——SVR的超平面的法向量

φ——將特征向量由原輸入空間映射到高維特征空間的核函數(shù)

b——SVR的超平面的位移項

本文中，核函數(shù)φ采用高斯核函數(shù)，其計算公式為:

(4)

式中κ——高斯核函數(shù)

σ——高斯核函數(shù)的帶寬參數(shù)

SVR模型的訓(xùn)練可以形式化為一個凸二次規(guī)劃問題，優(yōu)化目標是結(jié)構(gòu)風(fēng)險最小化，優(yōu)化變量是ws和b[10]121-145。如果ws和b的某一取值使得式(5)取得最小值，那么此時ws和b的取值稱為該優(yōu)化問題的最優(yōu)解，該最優(yōu)解對應(yīng)的超平面即為最終的SVR模型。

(5)

(6)

式中 C——正則化常數(shù)

lε——不敏感損失函數(shù)

ε——不敏感損失參數(shù)

②XGBsoot模型

XGBoost是一種提升樹模型，屬于集成學(xué)習(xí)技術(shù)，通過構(gòu)建并結(jié)合多個基學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)。XGBoost模型采用的基學(xué)習(xí)器為回歸樹，即XGBoost模型是多個回歸樹組成的集合[16]，可用式(7)表示:

(7)

fcart——回歸樹

K——回歸樹的總數(shù)目

對于一棵具有N個葉結(jié)點的回歸樹，設(shè)w=(w1,w2,…,wN)T為葉結(jié)點的權(quán)重向量，可以用函數(shù)q:x→{1,2,…,N}描述回歸樹的內(nèi)部結(jié)構(gòu)，函數(shù)值q(x)表示樣本被劃歸到的葉結(jié)點的索引值。如式(8)所示，函數(shù)q和葉結(jié)點權(quán)重向量w描述了一棵回歸樹的所有預(yù)測信息?；貧w樹的復(fù)雜度函數(shù)Ω可用式(9)表示。

fcart(x)=wq(x)

(8)

(9)

式中w——權(quán)重向量w中的一個元素，表示回歸樹中一個葉結(jié)點的權(quán)重值

Ω——描述回歸樹的復(fù)雜度的函數(shù)

γ——損失函數(shù)值減少的最小閾值，為常數(shù)

λ——葉結(jié)點的權(quán)重向量的L2正則化項

XGBoost模型訓(xùn)練的優(yōu)化目標函數(shù)為[16]：

(10)

式中J——目標函數(shù)值

l——損失函數(shù)

XGBoost模型的訓(xùn)練采用基于加性模型的訓(xùn)練策略，依次訓(xùn)練每一棵回歸樹。第z輪模型訓(xùn)練時，保持已訓(xùn)練的回歸樹fcart,1，fcart,2，...，fcart,z-1不變，然后訓(xùn)練新的回歸樹fcart,z，如果回歸樹fcart,z可以優(yōu)化目標函數(shù)J，則將fcart,z加到XGBoost模型中。該過程循環(huán)進行，直到XGBoost模型包含K個回歸樹。對于熱負荷預(yù)測任務(wù)，損失函數(shù)l一般為均方誤差，因此，優(yōu)化目標函數(shù)式可改寫為[16]：

(11)

(12)

(13)

Ij={i|q(xi)=j,j=1,2,…,N}

(14)

式中J(z)——第z輪模型訓(xùn)練時的目標函數(shù)值

Ij——劃分到回歸樹中第j個葉結(jié)點的所有樣本的索引值的集合

g——損失函數(shù)l的一階導(dǎo)數(shù)

h——損失函數(shù)l的二階導(dǎo)數(shù)

2.4.4 模型評估

當模型訓(xùn)練結(jié)束后，利用建立的基于SVR的熱負荷單步預(yù)測模型和基于XGBoost的熱負荷單步預(yù)測模型，采取圖1所示的熱負荷多步遞歸預(yù)測策略，分別對測試集中的樣本，預(yù)測其熱負荷，并對熱負荷的預(yù)測結(jié)果進行評估。

本文采用平均絕對誤差(mean absolute error，MAE)和平均絕對百分誤差(mean absolute percentage error，MAPE)對熱負荷預(yù)測的結(jié)果進行評價。兩個指標的計算公式為：

(15)

(16)

式中IMAE——平均絕對誤差

IMAPE——平均絕對百分誤差

IMAE和IMAPE值越小，表明熱負荷的預(yù)測結(jié)果越精確；反之，則表明熱負荷的預(yù)測結(jié)果越差。

3 案例分析

本文收集了長春市某集中供熱系統(tǒng)熱源首站2017年12月22日至2018年3月7日的運行數(shù)據(jù)，數(shù)據(jù)采集的時間步長為1 h。用于熱負荷預(yù)測的數(shù)據(jù)集包含2個時間變量(月份和小時)、室外空氣溫度以及逐時熱負荷。表1為逐時熱負荷和室外空氣溫度的統(tǒng)計概況。我們采用熱負荷多步遞歸預(yù)測策略，按照圖2的流程，對該供熱系統(tǒng)未來24 h的逐時熱負荷進行預(yù)測，即預(yù)測范圍H=24。

表1 逐時熱負荷和室外空氣溫度概況

首先通過特征選擇步驟確定用作模型輸入特征的歷史熱負荷的總數(shù)目m。圖3為逐時熱負荷時間序列的偏自相關(guān)分析結(jié)果。我們將顯著性水平設(shè)置為0.15。如圖3所示，當時間超過24 h后，P絕對值不再大于0.15，也就是說滯后時間超過24 h的歷史熱負荷與熱負荷當前值的相關(guān)性很小。因此，我們設(shè)定用于模型輸入特征的歷史熱負荷數(shù)目m=24。

圖3 逐時熱負荷時間序列的偏自相關(guān)分析結(jié)果

然后通過特征工程對類別特征月份和小時進行處理，采用one-hot編碼將月份和小時分別變換為數(shù)值特征。然后使用最小-最大規(guī)范化，把所有的數(shù)值特征映射到新的取值區(qū)間[0, 1]內(nèi)。最終，通過數(shù)據(jù)預(yù)處理，數(shù)據(jù)集共包含53個特征。

我們將預(yù)處理后的數(shù)據(jù)集進行劃分，其中訓(xùn)練集包含61個供暖日的數(shù)據(jù)，測試集包含14個供暖日的數(shù)據(jù)。

在訓(xùn)練SVR模型和XGBoost模型時，需要設(shè)定一些參數(shù)，參數(shù)配置不同，建立的模型的性能往往有顯著差別。這些參數(shù)的設(shè)定過程稱為超參數(shù)優(yōu)化。本文對SVR模型的3個超參數(shù)進行優(yōu)化，包括正則化常數(shù)C、不敏感損失參數(shù)ε、高斯核函數(shù)的帶寬參數(shù)σ。對XGBoost模型的4個超參數(shù)進行優(yōu)化，包括回歸樹的總數(shù)目K、回歸樹的深度dcart、訓(xùn)練過程中的樣本的子采樣率r以及學(xué)習(xí)率η?；貧w樹的深度dcart控制回歸樹中根節(jié)點到葉結(jié)點的路徑的最大長度；子采樣率r描述XGBoost模型的訓(xùn)練過程的隨機性；學(xué)習(xí)率η又被稱為收縮因子，其作用是在XGBoost模型的每一輪訓(xùn)練過程中，調(diào)節(jié)新添加的回歸樹的權(quán)重向量在XGBoost模型中所占的比例[16]。

我們采用10折交叉驗證和網(wǎng)格搜索方法在訓(xùn)練集上確定最優(yōu)的超參數(shù)。SVR和XGBoost的超參數(shù)優(yōu)化結(jié)果見表2。根據(jù)超參數(shù)優(yōu)化結(jié)果，在訓(xùn)練集上學(xué)習(xí)得到最終的熱負荷單步預(yù)測模型。

表2 SVR和XGBoost的超參數(shù)設(shè)置

4 結(jié)果與討論

采用圖1所示的熱負荷多步遞歸預(yù)測策略，利用建立的基于SVR的熱負荷單步預(yù)測模型和基于XGBoost的熱負荷單步預(yù)測模型，依據(jù)測試集中14個供暖日的樣本，分別對該供熱系統(tǒng)在這14個供暖日的逐時熱負荷進行預(yù)測，并采用式(15)和式(16)對預(yù)測結(jié)果進行評估。

表3給出了基于SVR的熱負荷多步遞歸預(yù)測策略和基于XGBoost的熱負荷多步遞歸預(yù)測策略在測試集上的總預(yù)測精度，圖4描繪了兩個模型在其中某一個測試供暖日的詳細預(yù)測結(jié)果。由圖4可知，基于SVR的熱負荷多步遞歸預(yù)測策略和基于XGBoost的熱負荷多步遞歸預(yù)測策略均可以對未來24 h的逐時熱負荷進行準確預(yù)測，且基于XGBoost的熱負荷多步遞歸預(yù)測策略的預(yù)測精度要高于基于SVR的熱負荷多步遞歸預(yù)測策略的預(yù)測精度。

表3 SVR和XGBoost在測試集上的熱負荷多步遞歸預(yù)測精度的總預(yù)測精度

圖4 SVR和XGBoost在某測試日的逐時熱負荷多步遞歸預(yù)測結(jié)果

我們進一步對基于SVR的熱負荷多步遞歸預(yù)測策略和基于XGBoost的熱負荷多步遞歸預(yù)測策略的預(yù)測穩(wěn)定性進行評估。針對SVR和XGBoost在每個測試供暖日的預(yù)測結(jié)果，我們繪制其預(yù)測精度的箱線圖，見圖5。箱線圖可以度量預(yù)測精度的散布程度。由圖5可知，XGBoost在這14個測試供暖日的預(yù)測精度的分布更加集中，這表明基于XGBoost的熱負荷多步遞歸預(yù)測策略在預(yù)測穩(wěn)定性方面優(yōu)于基于SVR的熱負荷多步遞歸預(yù)測策略。

圖5 SVR和XGBoost的逐時熱負荷多步遞歸預(yù)測精度的箱線圖

XGBoost模型通過將多個學(xué)習(xí)器進行結(jié)合，往往可以獲得比單一學(xué)習(xí)器更優(yōu)越的泛化性能。從預(yù)測精度和預(yù)測穩(wěn)定性角度看，XGBoost模型更適用于熱負荷多步遞歸預(yù)測任務(wù)。也就是說，通過將多個回歸樹的預(yù)測結(jié)果集成，XGBoost模型可以在熱負荷多步遞歸預(yù)測任務(wù)中取得比SVR模型更好的預(yù)測結(jié)果。

如2.3節(jié)所述，熱負荷遞歸預(yù)測策略是對熱負荷單步預(yù)測模型的拓展。在熱負荷預(yù)測過程中，遞歸地調(diào)用單步預(yù)測模型有可能會產(chǎn)生誤差累積，導(dǎo)致預(yù)測結(jié)果的精度隨著預(yù)測范圍H的增大而降低。為分析熱負荷多步遞歸預(yù)測的誤差累積程度，我們計算了基于SVR的熱負荷多步遞歸預(yù)測策略和基于XGBoost的熱負荷多步遞歸預(yù)測策略，在這14個測試采暖日中各時刻預(yù)測結(jié)果的IMAE的平均值，結(jié)果見圖6。通過圖6可以看出，對于本文中預(yù)測未來24 h的逐時熱負荷概況的案例，隨著時間的變化，預(yù)測結(jié)果的IMAE值的平均值始終在7.5 MW左右波動。表明基于SVR的熱負荷多步遞歸預(yù)測策略和基于XGBoost的熱負荷多步遞歸預(yù)測策略均不會產(chǎn)生明顯的誤差累積，在預(yù)測范圍的各時刻均可以得到較為準確的熱負荷預(yù)測值。

圖6 SVR和XGBoost在各時刻預(yù)測結(jié)果MAE的平均值

5 結(jié)論

為實現(xiàn)集中供熱系統(tǒng)的運行優(yōu)化和決策控制，有必要對熱負荷的動態(tài)概況進行預(yù)測。本文提出了一種基于機器學(xué)習(xí)的熱負荷多步遞歸預(yù)測策略，該策略是對熱負荷單步預(yù)測模型的拓展。詳細介紹了熱負荷多步遞歸預(yù)測的流程，該流程可分為數(shù)據(jù)預(yù)處理、數(shù)據(jù)集劃分、模型訓(xùn)練和模型評估4個步驟。為評估所提出的熱負荷多步遞歸預(yù)測策略的適用性，收集了某供熱系統(tǒng)熱源首站2017年12月22日至2018年3月7日的運行數(shù)據(jù)。按照熱負荷多步遞歸預(yù)測的流程，分別使用SVR模型和XGBoost模型建立了熱負荷單步預(yù)測模型，利用所建立的單步預(yù)測模型，按照提出的熱負荷多步遞歸預(yù)測策略，對該供熱系統(tǒng)未來24 h的逐時熱負荷概況進行了預(yù)測，并從多方面評估了熱負荷多步遞歸預(yù)測策略的預(yù)測性能。主要結(jié)論如下：

① 在預(yù)測精度和預(yù)測穩(wěn)定性方面，基于XGBoost的熱負荷多步遞歸預(yù)測策略均優(yōu)于基于SVR的熱負荷多步遞歸預(yù)測策略。

② 基于SVR的熱負荷多步遞歸預(yù)測策略和基于XGBoost的熱負荷多步遞歸預(yù)測策略不會產(chǎn)生明顯的誤差累積，在預(yù)測范圍內(nèi)，各時刻的預(yù)測結(jié)果均可以滿足工程精度要求。

③ 熱負荷多步遞歸預(yù)測策略可以實現(xiàn)對供熱系統(tǒng)短期熱負荷的動態(tài)概況的準確預(yù)測，為供熱系統(tǒng)的運行優(yōu)化和決策控制提供技術(shù)支撐。