劉家學(xué) 沈貴賓

(中國民航大學(xué)電子信息與自動(dòng)化學(xué)院 天津 300300)

0 引 言

運(yùn)輸航空公司的能源消費(fèi)量約占到民航業(yè)總能源消費(fèi)量的94%，所產(chǎn)生的二氧化碳排放量約占到整個(gè)民航業(yè)的90%[1]，能源的高效利用已成為航空公司面臨的一個(gè)關(guān)鍵性挑戰(zhàn)[2]。為進(jìn)一步開展民航業(yè)節(jié)能減排工作，掌握運(yùn)輸航空公司能耗的變化方向和發(fā)展特性，有必要對航空公司能耗預(yù)測進(jìn)行研究。

目前，在能耗預(yù)測的相關(guān)研究中，主要的預(yù)測方法有情景分析法[3]、ARMA時(shí)間序列法[4]、灰色預(yù)測法[5]、支持向量回歸預(yù)測法[6-7]和人工神經(jīng)網(wǎng)絡(luò)預(yù)測法[8]等。情景分析法不可避免地?fù)诫s有預(yù)測者的主觀影響因素，預(yù)測結(jié)果受人為影響大，合理性較差?；疑A(yù)測模型簡單且計(jì)算方便，但不適用于波動(dòng)數(shù)據(jù)，ARMA時(shí)間序列法對于高度復(fù)雜非線性系統(tǒng)的預(yù)測能力不足。而支持向量回歸預(yù)測法和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)預(yù)測方法，在針對小樣本、非線性等情況下，易于出現(xiàn)“過擬合”，預(yù)測精度和模型穩(wěn)定性不高。隨著航空運(yùn)輸業(yè)的發(fā)展，能耗呈上升趨勢，易受季節(jié)、國家政策、機(jī)型、機(jī)隊(duì)規(guī)模等多種因素的影響，且航空公司的能耗結(jié)構(gòu)復(fù)雜，能耗數(shù)據(jù)同時(shí)呈現(xiàn)出趨勢性和波動(dòng)性。常規(guī)傳統(tǒng)預(yù)測模型表達(dá)能力有限，無法清晰展現(xiàn)航空運(yùn)輸公司能耗數(shù)據(jù)的發(fā)展特性，預(yù)測模型需要進(jìn)一步改進(jìn)。

為了進(jìn)一步提高預(yù)測精度，在充分考慮航空公司能耗的數(shù)據(jù)特征的基礎(chǔ)上，本文采用LSTM[9]循環(huán)神經(jīng)網(wǎng)絡(luò)建立能耗時(shí)間窗滑動(dòng)預(yù)測模型。航空公司能耗受到外界諸多因素的影響，是一個(gè)非線性、強(qiáng)耦合的復(fù)雜系統(tǒng)，無法用精確的數(shù)學(xué)模型來描述，具有不確定性。本文將航空公司的歷史能耗數(shù)據(jù)作為時(shí)間序列模型進(jìn)行能耗預(yù)測。

1 長短時(shí)記憶網(wǎng)絡(luò)

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型各個(gè)層之間的節(jié)點(diǎn)是完全連通的，但每層之間的節(jié)點(diǎn)卻沒有任何連接，這種網(wǎng)絡(luò)結(jié)構(gòu)無法對序列問題進(jìn)行建模。

RNN的隱藏層增加了一個(gè)隱藏層狀態(tài)，節(jié)點(diǎn)在各層不再是無連接的，其網(wǎng)絡(luò)會(huì)對歷史信息進(jìn)行記憶并傳遞到后面的節(jié)點(diǎn)中，即一個(gè)節(jié)點(diǎn)當(dāng)前時(shí)刻的輸出與前面時(shí)刻的輸入也有關(guān),如圖1所示。

圖1 RNN網(wǎng)絡(luò)結(jié)構(gòu)

RNN單元輸出有兩個(gè)，隱藏層輸出ht以及狀態(tài)輸出yt，其數(shù)學(xué)表達(dá)式為：

ht=fa(Wxhxt+Whhht-1+bh)

(1)

yt=Whyht+by

(2)

式中:Wxh為輸入層到隱藏層的權(quán)重系數(shù)；Whh為隱藏層到隱藏輸出的權(quán)重系數(shù)；bh為隱藏層的偏置項(xiàng)系數(shù)；fa為激活函數(shù)；Why為隱藏層到狀態(tài)輸出層的權(quán)重系數(shù);by為狀態(tài)輸出層的偏置項(xiàng)系數(shù)；t表示時(shí)刻。

由于傳統(tǒng)RNN需要記錄歷史信息，相當(dāng)于一個(gè)多層的前饋神經(jīng)網(wǎng)絡(luò)，歷史信息過多會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)出現(xiàn)梯度消失、梯度爆炸等問題，損失歷史信息[10]。針對這些問題，進(jìn)一步出現(xiàn)了長短時(shí)記憶循環(huán)網(wǎng)絡(luò)。

與傳統(tǒng)RNN相比，LSTM除了擁有“隱藏狀態(tài)”外，還增加了一個(gè)“細(xì)胞狀態(tài)”，同時(shí)在與時(shí)間點(diǎn)對應(yīng)的每層中的神經(jīng)元中添加了輸入門、輸出門以及忘記門，用來控制增加或刪除信息的程度。該模型可以學(xué)習(xí)長期的依賴信息，同時(shí)避免梯度消失問題[9]，誤差更小，模型預(yù)測準(zhǔn)確率更高。當(dāng)前使用最廣泛的 LSTM網(wǎng)絡(luò)就是使用圖2中的LSTM單元替代原先RNN隱含層中的神經(jīng)節(jié)點(diǎn)[11]。

圖2 LSTM單元示意圖

LSTM單元更新可以分為以下幾個(gè)步驟：

(3)

it=σ(Wxixt+Whiht-1+Wcict-1+bi)

(4)

ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)

(5)

(6)

ot=σ(Wxoxt+Whoht-1+Wcoct-1+bo)

(7)

ht=ot⊙tanh(ct)

(8)

LSTM模型同樣具有前向傳播和反向傳播兩部分，前向傳播部分通過式(3)-式(8)計(jì)算神經(jīng)元的輸出值。反向傳播采取BPTT算法，其原理與經(jīng)典反向傳播算法類似，只是其反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)時(shí)，同時(shí)包括時(shí)間和網(wǎng)絡(luò)兩個(gè)方向，根據(jù)所計(jì)算的誤差，應(yīng)用相應(yīng)的優(yōu)化算法更新神經(jīng)元權(quán)重。

梯度下降法是最常用的優(yōu)化算法之一，在每一個(gè)深度學(xué)習(xí)框架中都實(shí)現(xiàn)了各種優(yōu)化的梯度下降法，常見的有SGD、AdaGrad、RMSProp、Adam等。本文使用的是自適應(yīng)矩估計(jì)(Adaptive Moment Estimation，Adam)優(yōu)化算法，Adam會(huì)對每一個(gè)參數(shù)都計(jì)算自適應(yīng)的學(xué)習(xí)率。Adam不但保存一個(gè)指數(shù)衰減的歷史平方梯度平均值，還保存一個(gè)歷史梯度的指數(shù)衰減均值，在實(shí)際應(yīng)用中，Adam有著更好的表現(xiàn)。

2 基于LSTM的航空能耗模型

2.1 數(shù)據(jù)預(yù)處理

首先判斷序列的平穩(wěn)性，由于航空公司的能耗數(shù)據(jù)具有季節(jié)性，所以需要消除時(shí)序的季節(jié)性趨勢，以得到平穩(wěn)的序列。使用一階差分法處理原始數(shù)據(jù)，消除原始序列的非平穩(wěn)性。

另外，LSTM框架包括輸入層、隱藏層和輸出層。航空公司的能耗數(shù)據(jù)是一個(gè)時(shí)間序列，顯然不符合網(wǎng)絡(luò)輸入輸出要求。為了適用于訓(xùn)練模型，需要將時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為監(jiān)督學(xué)習(xí)型數(shù)據(jù)。

對于時(shí)間序列{x1,x2,…,xn}，{xn}是預(yù)測的目標(biāo)值，本文用前m天的能耗值預(yù)測下一天的能耗值，那么可以將時(shí)間序列數(shù)據(jù)按照滑動(dòng)時(shí)間窗口長度m轉(zhuǎn)換為：

輸入：(n-m)×m維的矩陣X；

輸出：(n-m)維的矩陣Y；

即經(jīng)過變換之后，得到用于學(xué)習(xí)訓(xùn)練的樣本為：

(9)

2.2 模型構(gòu)建

由于樣本數(shù)據(jù)有限，模型復(fù)雜度較低，本文所構(gòu)建的LSTM網(wǎng)絡(luò)只有三層，第一層為輸入層，輸入序列維度是m，輸出序列維度為隱藏層單元個(gè)數(shù)S；第二層為LSTM層，輸入和輸出維度均為S；第三層為Dense層，輸入序列維度是S，輸出序列維度為1，最終將輸入與輸出對應(yīng)起來。模型架構(gòu)如圖3所示。

圖3 時(shí)間序列預(yù)測模型

2.3 模型預(yù)測

為實(shí)現(xiàn)對序列數(shù)據(jù)的多步預(yù)測，采取逐點(diǎn)迭代的預(yù)測方式。使用滑動(dòng)時(shí)間窗定義模型觀測數(shù)據(jù)的寬度，對于下一個(gè)預(yù)測點(diǎn)，使具有固定寬度(固定個(gè)數(shù)的觀測數(shù)據(jù))的時(shí)間窗向后推移一個(gè)步長。

例如時(shí)刻t-1是最新預(yù)測到的月份，時(shí)刻t是下一預(yù)測的月份，那么序列yt-1、yt-2、yt-3、…、yt-m是此時(shí)滑動(dòng)時(shí)間窗口包含的所有觀測數(shù)據(jù)。

2.4 基于Grid-Search的參數(shù)優(yōu)化

在構(gòu)建深度學(xué)習(xí)模型時(shí)，超參數(shù)的選取至關(guān)重要。網(wǎng)格搜索算法(Grid-Search)是通過指定參數(shù)值，對其進(jìn)行窮舉搜索選取最優(yōu)參數(shù)組合的模型優(yōu)化方法，簡單實(shí)用、可以并行進(jìn)行運(yùn)算而且運(yùn)行時(shí)間可控[14]。在訓(xùn)練模型時(shí)，待選取的超參數(shù)主要包括學(xué)習(xí)率、網(wǎng)絡(luò)步長、隱藏層個(gè)數(shù)、批尺寸等。通過給定相關(guān)超參數(shù)的范圍，Grid-Search通過循環(huán)遍歷每一種參數(shù)組合，從中選出性能最好的一組參數(shù)。

例如，要確定隱藏層單元個(gè)數(shù)，首先根據(jù)經(jīng)驗(yàn)設(shè)置參數(shù)為200，在保持其他參數(shù)不變的情況下，以此參數(shù)為中心，模型分別遍歷100、150、200、250、300。根據(jù)測試結(jié)果，選取最優(yōu)的隱藏層單元個(gè)數(shù)。

模型的根本原理是分析原始序列的趨勢和季節(jié)性，從原始序列中刪除這些不穩(wěn)定因素，得到一個(gè)穩(wěn)定的序列，然后將穩(wěn)定的序列應(yīng)用到基于Grid-Search參數(shù)優(yōu)化后的LSTM預(yù)測模型中，得到預(yù)測序列，并將預(yù)測值轉(zhuǎn)換成原來的區(qū)間。模型主要流程圖4所示。

圖4 航空公司能耗的預(yù)測流程圖

3 實(shí)例仿真

3.1 實(shí)驗(yàn)數(shù)據(jù)和評價(jià)指標(biāo)

數(shù)據(jù)來自于某航空公司的2009年1月至2016年12月總計(jì)7年的月度能耗數(shù)據(jù)，采樣周期為1個(gè)月，將數(shù)據(jù)分成訓(xùn)練集和驗(yàn)證集，訓(xùn)練集包括2009年至2015年的數(shù)據(jù)，驗(yàn)證集包括2016年的數(shù)據(jù)。依次采用LSTM模型、RNN、SVR和ARMA對能耗數(shù)據(jù)進(jìn)行仿真，并對各個(gè)預(yù)測結(jié)果進(jìn)行分析。

采用相對誤差(RE)、平均相對誤差(RME)和均方根誤差(RMSE)作為檢驗(yàn)預(yù)測模型的預(yù)測效果的指標(biāo)：

(10)

實(shí)驗(yàn)同一臺(tái)計(jì)算機(jī)上進(jìn)行仿真，LSTM和RNN模型使用深度學(xué)習(xí)框架Keras及其后端框架tensorflow[13]構(gòu)建，SVR使用MATLAB軟件，并結(jié)合Libsvm工具箱進(jìn)行建模和仿真。ARMA模型由統(tǒng)計(jì)軟件SPSS進(jìn)行仿真。

3.2 模型對比

為了驗(yàn)證LSTM模型的有效性，下文將LSTM模型分別與RNN、ARMA和SVR進(jìn)行對比。為此，再分別建立基于ARMA和SVR的航空能耗預(yù)測模型。

3.2.1基于ARMA的航空能耗預(yù)測模型

對于航空公司能耗數(shù)據(jù)的時(shí)間序列{x1,x2,…,xn}，自回歸移動(dòng)平均模型[4]ARMA(p,q)，可以表示為：

xt=φ1xt-1+φ2xt-2+…+φpxt-p+

et-θ1et-1-θ2et-2-…-θqet-q

(11)

et+l-θ1et+l-1-θ2et+l-2-…-θqet+l-q

(12)

本文根據(jù)文獻(xiàn)[15]提出的基于新陳代謝灰色馬爾可夫-ARMA方法構(gòu)建航空能耗預(yù)測的ARMA模型，并進(jìn)行仿真試驗(yàn)。

3.2.2基于SVR的航空能耗預(yù)測模型

對于航空公司能耗數(shù)據(jù)的時(shí)間序列{x1,x2,…,xn}，為了滿足輸入輸出要求，也需要依據(jù)式(9)進(jìn)行變換，使用變換之后的樣本對SVR進(jìn)行訓(xùn)練[12]。

使用的回歸函數(shù)為：

(13)

由此得到一步預(yù)測為：

(14)

s.t.t=m+1,…,n

式中:xn-m+1={xn-m+1,xn-m+2,…,xn}，得到一個(gè)樣本xn-m+2={xn-m+2,xn-m+3,…,xn+1}，則二步預(yù)測為：

(15)

以此類推可以得到第l步預(yù)測為：

(16)

式中：xn-m+l={xn-m+l,…，xn+1,…,xn+l-1}。

本文SVR模型中的懲罰因子C取20，高斯核函數(shù)參數(shù)γ=0.01，窗口大小為6。

3.3 參數(shù)尋優(yōu)

訓(xùn)練模型過程中，需要確定的超參數(shù)主要包括：窗口長度、隱藏層個(gè)數(shù)、學(xué)習(xí)率，分別采用Grid-Search策略逐個(gè)循環(huán)遍歷進(jìn)行參數(shù)尋優(yōu)。由于數(shù)據(jù)量相對較少，歷史依賴信息少，所以設(shè)定窗口長度的取值范圍從最小值開始，設(shè)定為m∈{1，2，3，…，12}，隱藏層神經(jīng)元個(gè)數(shù)的取值范圍為n∈{50, 100, 150, 200, 250, 300}。在設(shè)置學(xué)習(xí)率的取值范圍時(shí)，由于在訓(xùn)練過程中，LSTM 模型的精度和損失受學(xué)習(xí)率的取值影響較大，學(xué)習(xí)率過高或過低都可能會(huì)出現(xiàn)過擬合或欠擬合，陷入死循環(huán)或者輸出變“糊”的情況會(huì)經(jīng)常發(fā)生，影響模型的預(yù)測性能。所以設(shè)置學(xué)習(xí)率的取值范圍為3個(gè)等級{0.001，0.01，0.1}，在每個(gè)等級上擴(kuò)充為3個(gè)數(shù)值，即設(shè)定學(xué)習(xí)率η∈{0.001，0.003，0.005，0.01，0.03，0.05，0.1，0.3，0.5}進(jìn)行搜索。

取驗(yàn)證集的RMSE作為評判標(biāo)準(zhǔn)，實(shí)驗(yàn)記錄了在不同參數(shù)條件下的仿真結(jié)果，基于篇幅有限，以下列出學(xué)習(xí)率η為0.001、0.01、0.1的仿真結(jié)果圖(如圖5、圖6、圖7所示)，圖中顏色越深，代表著RMSE值越小，預(yù)測精度越高。

圖5 η=0.001參數(shù)尋優(yōu)

圖6 η=0.01參數(shù)尋優(yōu)

圖7 η=0.1參數(shù)尋優(yōu)

根據(jù)圖7的實(shí)驗(yàn)結(jié)果，當(dāng)學(xué)習(xí)率為0.1級別時(shí)，顏色普遍較淺，代表其RMSE越大，說明在建立此LSTM模型時(shí)，學(xué)習(xí)率不易過大。同時(shí)根據(jù)圖5和圖6的結(jié)果可以判斷，在學(xué)習(xí)率固定下，隱藏層神經(jīng)元個(gè)數(shù)相對偏大，窗口長度相對偏小時(shí)，其RMSE值較好，模型精度更高。

以下列出LSTM模型參數(shù)尋優(yōu)結(jié)果中，前5組最優(yōu)的參數(shù)組合以及對應(yīng)的RMSE如表1所示。

表1 LSTM模型的最優(yōu)參數(shù)組合

3.4 預(yù)測結(jié)果分析

根據(jù)網(wǎng)格搜索算法選出的最優(yōu)參數(shù)組合，即參數(shù)組合為(m，n，η)=(4，200，0.001)，訓(xùn)練出LSTM的參數(shù)預(yù)測模型，并與其他預(yù)測模型的預(yù)測結(jié)果進(jìn)行對比。

ARMA、SVR、RNN和LSTM模型預(yù)測值的RME和RMSE如表2所示，各個(gè)模型2016年預(yù)測值的RE如表3所示。其中LSTM模型的RME為0.019 4，預(yù)測精度最高。 ARMA、SVR和LSTM預(yù)測下一年每個(gè)月能耗的預(yù)測結(jié)果如圖8所示。其中LSTM預(yù)測值與實(shí)際數(shù)據(jù)相差最小。以上結(jié)果說明本文提出的LSTM模型對預(yù)測精度有一定的提高，預(yù)測效果更好。

圖8 ARMA，SVR和LSTM模型預(yù)測

模型RMERMSEARMA0.032321261SVR0.025518798RNN0.025015603LSTM0.019410162

表3 各模型的RE對比 %

4 結(jié) 語

本文根據(jù)航空公司能耗統(tǒng)計(jì)數(shù)據(jù)具有的非線性和非平穩(wěn)性的數(shù)據(jù)特征，提出了基于Grid-Search 優(yōu)化的LSTM預(yù)測模型，進(jìn)一步提升了航空公司能耗預(yù)測的精度。以某航空公司月度綜合能耗數(shù)據(jù)進(jìn)行仿真試驗(yàn)，對ARMA、SVR、RNN和LSTM預(yù)測模型進(jìn)行了驗(yàn)證和對比，證實(shí)了LSTM預(yù)測模型的有效性。本文提出的預(yù)測模型，更適用于具有趨勢性且內(nèi)部影響因素復(fù)雜的隨機(jī)時(shí)間序列的短期預(yù)測，可為航空公司制定能源規(guī)劃、能耗管理和節(jié)能減排的優(yōu)化開展提供一定的參考。