羅廣誠(chéng)，郜家玨，蔡文學(xué)

（華南理工大學(xué) 電子商務(wù)系，廣州 510000）

0 引言

時(shí)間序列預(yù)測(cè)是通過(guò)歷史觀測(cè)數(shù)據(jù)建立模型以解釋數(shù)據(jù)變化規(guī)律，并對(duì)未來(lái)進(jìn)行預(yù)測(cè)的技術(shù)，廣泛應(yīng)用在水文氣象、信號(hào)處理以及金融經(jīng)濟(jì)等許多領(lǐng)域。時(shí)間序列數(shù)據(jù)分為平穩(wěn)性時(shí)間序列和非平穩(wěn)性時(shí)間序列。對(duì)于平穩(wěn)時(shí)間序列，尤其是線性模型的建模和預(yù)測(cè)，已有許多成熟的技術(shù)和方法。但在實(shí)際問(wèn)題中，大多數(shù)序列并非平穩(wěn)、線性的，而目前對(duì)于這類(lèi)時(shí)間序列的分析和處理上沒(méi)有較為完善的方法。

隨著人工智能技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等模型以其良好的非線性預(yù)測(cè)和實(shí)用性，被廣泛應(yīng)用在時(shí)間序列預(yù)測(cè)中。其中長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short－term Memory，LSTM）是應(yīng)用最廣泛的預(yù)測(cè)方法之一，主要應(yīng)用方面有交通流預(yù)測(cè)、故障時(shí)間預(yù)測(cè)、語(yǔ)義關(guān)系分類(lèi)、文本分類(lèi)、情感分類(lèi)、股票預(yù)測(cè)等方面［1－5］。LSTM 模型是一種時(shí)間遞歸神經(jīng)網(wǎng)絡(luò)，對(duì)于時(shí)間序列的數(shù)據(jù)而言預(yù)測(cè)精度高，并且LSTM 模型擁有大量的非線性傳輸層，不僅可以依據(jù)歷史數(shù)據(jù)對(duì)未來(lái)變化趨勢(shì)進(jìn)行預(yù)測(cè)，還可以通過(guò)輸入影響因素等非線性數(shù)據(jù)敏銳捕捉非線性因素影響下的未來(lái)變化；基于灰色關(guān)聯(lián)度分析（Grey Relation Analysis，GRA）進(jìn)行LSTM 模型中非線性輸入因素的選擇是常用的方式［6］。但其也存在對(duì)季節(jié)性時(shí)間序列中的周期、趨勢(shì)性變化不敏感的特點(diǎn)［7］。而季節(jié)性差分自回歸移動(dòng)平均模型（Seasonal Autoregressive Integrated Moving Average，SARIMA）對(duì)于包含周期、趨勢(shì)性變化的季節(jié)性時(shí)間序列預(yù)測(cè)具有良好的效果，目前被廣泛應(yīng)用在城市交通流預(yù)測(cè)、價(jià)格預(yù)測(cè)、疾病預(yù)測(cè)、CPI 和GDP指數(shù)預(yù)測(cè)等方面［8－10］。然而SARIMA 模型僅適用于短期線性時(shí)間序列的預(yù)測(cè)并且預(yù)測(cè)精度較低［11］。

綜上所述，若采用組合思想則能夠充分利用二者的優(yōu)勢(shì)，實(shí)現(xiàn)對(duì)序列更為準(zhǔn)確的預(yù)測(cè)。針對(duì)SARIMA 模型和LSTM 模型的組合，文獻(xiàn)［12］中提出將兩種模型進(jìn)行串聯(lián)組合，將SARIMA 模型預(yù)測(cè)后的結(jié)果作為輸入層數(shù)據(jù)，重新輸入到LSTM 模型中，得到最終結(jié)果。而本文針對(duì)兩種模型預(yù)測(cè)上的優(yōu)劣勢(shì)，提出采用并聯(lián)方式將兩種模型進(jìn)行組合，即將數(shù)據(jù)分別輸入SARIMA 模型與LSTM 模型，然后再對(duì)兩種預(yù)測(cè)結(jié)果進(jìn)行合理并聯(lián)，以實(shí)現(xiàn)將SARIMA 對(duì)周期、趨勢(shì)性變化敏感的優(yōu)點(diǎn)及LSTM預(yù)測(cè)精度高且可以用來(lái)非線性數(shù)據(jù)進(jìn)行預(yù)測(cè)的優(yōu)點(diǎn)相組合，提高季節(jié)性時(shí)間序列預(yù)測(cè)精度。其中GRA－LSTM 模型的輸入數(shù)據(jù)需要基于GRA 法選取關(guān)鍵影響因素作為非線性數(shù)據(jù)輸入。本文以某民航公司春運(yùn)數(shù)據(jù)為例，對(duì)組合模型進(jìn)行了驗(yàn)證。結(jié)果表明，組合模型的預(yù)測(cè)精度高于支持向量機(jī)、灰色預(yù)測(cè)、GRA－LSTM 單模型以及SARIMA 單模型。

1 GRA－LSTM 模型

GRA—LSTM 模型是由GRA 和LSTM 模型組合而成，基本原理是先根據(jù)GRA 法結(jié)果，選擇相關(guān)性高的因素作為關(guān)鍵影響因素，然后將其作為非線性輸入量輸入到LSTM 模型中進(jìn)行預(yù)測(cè)。

1.1 GRA法

GRA 法是一種基于各影響因素?cái)?shù)據(jù)分析，用灰色關(guān)聯(lián)度來(lái)描述因素間關(guān)系的多因素統(tǒng)計(jì)分析方法。GRA 法原理簡(jiǎn)單，不需要大量數(shù)據(jù)作為基礎(chǔ)，計(jì)算量小、運(yùn)行速度快，適用于分析各種影響因素與客流量之間存在的相關(guān)關(guān)系。因此，采用GRA 法求得各影響因素與民航客流量之間序列變化趨勢(shì)的相似或相異程度，從而刪選出影響民航客流量的關(guān)鍵影響因素，并作為L(zhǎng)STM 模型的輸入進(jìn)行預(yù)測(cè)。

灰色關(guān)聯(lián)度分析法具體步驟如下：

（1）確定反映系統(tǒng)行為特征的參考序列X0；影響系統(tǒng)行為的比較序列X1，X2，...，Xn；其中Xi＝｛Xi（k）｜k＝1，2，...，m｝。

（2）對(duì)參考序列和比較序列進(jìn)行無(wú)量綱化處理：

其中，ρ為分辨系數(shù)，取值區(qū)間為（0，1），具體取值視情況而定，ρ值越小，分辨力越大。當(dāng)ρ≤0.546 3時(shí)，分辨力最好，通常取ρ＝0.5。

（4）計(jì)算X0序列和Xi序列的關(guān)聯(lián)度ri：

基于GRA 法分析結(jié)果，對(duì)灰色關(guān)聯(lián)度ri＝1，2，...，p按從大到小進(jìn)行排序。若設(shè)灰色關(guān)聯(lián)序列為r1＞r2＞...＞rp，則表明第一個(gè)比較序列對(duì)應(yīng)的影響因素對(duì)參考序列影響最大，第p個(gè)因素影響最小。對(duì)設(shè)定的最小關(guān)聯(lián)度閾值σ，取σ∈（0，1），對(duì)滿足ri ＜σ的比較序列則認(rèn)為這些序列對(duì)網(wǎng)絡(luò)輸出的影響較小，將其刪除從而優(yōu)化輸入數(shù)據(jù)，將余下的比較序列對(duì)應(yīng)的影響因素作為關(guān)鍵影響因素輸入到LSTM 模型中。

1.2 LSTM 模型

LSTM 深度神經(jīng)網(wǎng)絡(luò)通過(guò)復(fù)雜的非線性單元構(gòu)建，具有長(zhǎng)期記憶效應(yīng)和深度學(xué)習(xí)能力。LSTM 網(wǎng)絡(luò)由1 個(gè)輸入層、1 個(gè)輸出層以及多個(gè)隱藏層構(gòu)成。其中隱藏層由記憶元組組成，每個(gè)元組包含輸入門(mén)、遺忘門(mén)和輸出門(mén)，門(mén)控制著元組和網(wǎng)絡(luò)之間的信息流動(dòng)，其基本結(jié)構(gòu)如圖1 所示。

圖1 LSTM 網(wǎng)絡(luò)元組結(jié)構(gòu)Fig.1 Tuple structure of LSTM network

圖1 中，Ct－1和Ct表示細(xì)胞的舊狀態(tài)和新?tīng)顟B(tài)，細(xì)胞狀態(tài)是LSTM 網(wǎng)絡(luò)的關(guān)鍵，像傳送帶一樣在整個(gè)鏈上運(yùn)行。在LSTM 中，門(mén)結(jié)構(gòu)可以決定信息是否通過(guò)，以對(duì)細(xì)胞狀態(tài)信息有選擇地進(jìn)行增刪。其主要計(jì)算步驟如下：

第一步：用來(lái)決定什么信息可以通過(guò)，即遺忘門(mén)。其中，輸入為當(dāng)前層的輸入xt和上一層的輸出ht－1，遺忘門(mén)狀態(tài)輸出ft為：

第二步：產(chǎn)生需要更新的新信息并存儲(chǔ)于細(xì)胞狀態(tài)中，即輸入門(mén)。新的細(xì)胞狀態(tài)Ct首先通過(guò)舊的細(xì)胞狀態(tài)Ct－1乘以ft來(lái)忘記不需要的信息，然后加上新的候選信息it·。其中，it為輸入門(mén)狀態(tài)。

第三步：輸出門(mén)用來(lái)決定模型的輸出。首先，通過(guò)sigmoid 層得到初始輸出狀態(tài)值ot后，使用tanh層將細(xì)胞狀態(tài)的值縮放到［－1，1］之間，相乘得到輸出值ht。

其中，ft、it、ot分別表征遺忘門(mén)、輸入門(mén)和輸出門(mén)的狀態(tài)值；為溝通輸入xt與元組的遺忘門(mén)、輸入門(mén)、輸出門(mén)以及元組輸入的權(quán)重矩陣；為連接上一層輸出ht－1與元組的遺忘門(mén)、輸入門(mén)和輸出門(mén)以及元組輸入的權(quán)重矩陣；bf、bi、bo、bc為遺忘門(mén)、輸入門(mén)、輸出門(mén)和元組輸入的偏置向量；σ為sigmoid激活函數(shù)。

1.3 GRA－LSTM 模型預(yù)測(cè)流程

首先，根據(jù)GRA法的分析結(jié)果選擇合適的影響因素作為關(guān)鍵影響因素，然后對(duì)歷史客流量數(shù)據(jù)和關(guān)鍵影響因素?cái)?shù)據(jù)進(jìn)行歸一化處理后，構(gòu)成輸入量輸入到LSTM網(wǎng)絡(luò)模型中。PCA－LSTM預(yù)測(cè)模型的表達(dá)式如下：

其中，ht＋1為預(yù)測(cè)值；ht，ht－1，...，ht－n是歷史數(shù)據(jù)；是通過(guò)GRA法選出的m個(gè)關(guān)鍵影響因素?cái)?shù)據(jù)。其中包括歷史數(shù)據(jù)及預(yù)測(cè)值ht＋1對(duì)應(yīng)的當(dāng)前輸入值。根據(jù)設(shè)定目標(biāo)誤差不斷訓(xùn)練模型，直至誤差小于目標(biāo)誤差，此時(shí)輸出預(yù)測(cè)結(jié)果。

2 SARIMA 模型

SARIMA模型又稱季節(jié)性差分自回歸滑動(dòng)平均模型，是在ARIMA模型的基礎(chǔ)上演化出的一種針對(duì)具有季節(jié)性或周期性規(guī)律變化數(shù)據(jù)的預(yù)測(cè)模型，是時(shí)間序列預(yù)測(cè)領(lǐng)域中的主要預(yù)測(cè)模型之一。該模型的通用表達(dá)式為：

其中，p為自回歸階數(shù)；q為移動(dòng)平均階數(shù)；d為差分階數(shù)；P、Q、D分別為季節(jié)求和自回歸移動(dòng)平均模型中的自回歸、移動(dòng)平均和差分的值；S為季節(jié)周期和循環(huán)長(zhǎng)度。

SARIMA模型的主要處理步驟為：

（1）判定數(shù)據(jù)平穩(wěn)性

首先將初始數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)處理后的數(shù)據(jù)構(gòu)造時(shí)間序列折線圖進(jìn)行可視化，通過(guò)觀察折線圖對(duì)數(shù)據(jù)的平穩(wěn)性進(jìn)行初步判斷。

（2）數(shù)據(jù)差分

若初步判定為非平穩(wěn)數(shù)據(jù)，則需要對(duì)數(shù)據(jù)進(jìn)行差分，不斷進(jìn)行差分操作直到數(shù)據(jù)變?yōu)槠椒€(wěn)時(shí)間序列。

（3）通過(guò)ACF（自相關(guān)函數(shù)）和PACF（偏自相關(guān)函數(shù)）圖形確定參數(shù)值引入ACF和PACF圖形，通過(guò)判斷可視化的圖形是截尾還是拖尾來(lái)確定模型參數(shù)中p、P、q和Q的值。判定規(guī)則如下：若ACF拖尾且PACF截尾，通過(guò)可視化的階數(shù)確定p和P；若ACF截尾且PACF拖尾，通過(guò)可視化階數(shù)確定q和Q；若ACF和PACF均為拖尾，則通過(guò)可視化階數(shù)可以確定p和P、q和Q。

（4）確定S值

通過(guò)對(duì)季節(jié)性時(shí)間序列數(shù)據(jù)進(jìn)行平均法、移動(dòng)平均趨勢(shì)剔除法等方法分解來(lái)確定S的值。

（5）模型確定

得到所有參數(shù)后，需要使用參數(shù)估計(jì)對(duì)模型進(jìn)行校驗(yàn)，直至確定最終模型。

3 組合模型設(shè)計(jì)

組合模型是在SARIMA和LSTM單模型預(yù)測(cè)結(jié)果的基礎(chǔ)上設(shè)計(jì)了組合層，即基于SARIMA模型預(yù)測(cè)結(jié)果中提取的包含周期、趨勢(shì)信息的單位節(jié)點(diǎn)比例序列，對(duì)LSTM得到的初步預(yù)測(cè)結(jié)果進(jìn)行修正得到最終預(yù)測(cè)結(jié)果，實(shí)現(xiàn)了將SARIMA對(duì)周期、趨勢(shì)性變化敏感的優(yōu)點(diǎn)及LSTM預(yù)測(cè)精度高且可以用來(lái)對(duì)非線性數(shù)據(jù)進(jìn)行預(yù)測(cè)的優(yōu)點(diǎn)相結(jié)合。設(shè)計(jì)思路為：

（1）LSTM單模型預(yù)測(cè)

將歷史數(shù)據(jù)以及根據(jù)GRA法確定的關(guān)鍵影響因素?cái)?shù)據(jù)輸入LSTM模型，得到初步預(yù)測(cè)結(jié)果Li（i＝1，2，...，n）。其中，n為最小時(shí)間節(jié)點(diǎn)個(gè)數(shù)。

（2）SARIMA單模型預(yù)測(cè)

將歷史數(shù)據(jù)輸入到SARIMA模型得到預(yù)測(cè)結(jié)果Si（i＝1，2，...，n）。

（3）組合設(shè)計(jì)

根據(jù)SARIMA模型中的預(yù)測(cè)結(jié)果si抽取包含周期、趨勢(shì)信息的單位節(jié)點(diǎn)比例序列θi，對(duì)LSTM得到的初步預(yù)測(cè)結(jié)果進(jìn)行修正以得到最終預(yù)測(cè)結(jié)果。

①首先根據(jù)LSTM模型初步預(yù)測(cè)結(jié)果，得到總時(shí)段預(yù)測(cè)結(jié)果數(shù)值總和L總：

②提取SARIMA預(yù)測(cè)結(jié)果中單位節(jié)點(diǎn)Si比例序列θi（i＝1，2，...，n），以抽取時(shí)間序列中周期、趨勢(shì)信息，具體計(jì)算公式如下：

③將SARIMA模型中的單位節(jié)點(diǎn)比例序列θi與總時(shí)段預(yù)測(cè)結(jié)果數(shù)值總和L總相乘，得到最終預(yù)測(cè)結(jié)果fi（i＝1，2，...，n）。計(jì)算公式為：

通過(guò)組合使得預(yù)測(cè)結(jié)果既可以很好地?cái)M合時(shí)間序列中的周期、趨勢(shì)性變化，也可以敏銳捕捉非線性因素影響下的變化。fi的完整表達(dá)式為：

組合模型處理步驟如圖2 所示。

圖2 組合模型處理步驟Fig.2 Processing steps of combined model

4 實(shí)例分析

實(shí)例以某民航公司2016～2018 年春運(yùn)客流量數(shù)據(jù)作為測(cè)試數(shù)據(jù)，用于對(duì)模型進(jìn)行訓(xùn)練；將2019年春運(yùn)客流量數(shù)據(jù)作為預(yù)測(cè)數(shù)據(jù)判斷模型預(yù)測(cè)準(zhǔn)確度。

4.1 基于GRA 法選取客流量關(guān)鍵影響因素

影響客運(yùn)量的因素多種多樣，為了更好地研究客運(yùn)量的關(guān)鍵影響因素，參考相關(guān)文獻(xiàn)［13－14］，提出以下影響航運(yùn)客運(yùn)量因素，見(jiàn)表1。

表1 民航春運(yùn)客流量影響因素Tab.1 Influencing Factors of Air Spring Festival travel rush Passenger Flow

從統(tǒng)計(jì)局官網(wǎng)上收集了2016～2018 年春運(yùn)典型日民航日出港旅客數(shù)以及影響因素?cái)?shù)據(jù)，對(duì)其進(jìn)行灰色關(guān)聯(lián)度分析后，得到的分析結(jié)果見(jiàn)表2。

表2 關(guān)聯(lián)度分析結(jié)果Tab.2 Correlation Analysis Results

根據(jù)關(guān)聯(lián)度分析結(jié)果可以得出：

（1）經(jīng)濟(jì)社會(huì)發(fā)展、旅游發(fā)展、自身的發(fā)展以及其它相關(guān)運(yùn)輸方式的發(fā)展這4 方面，對(duì)航運(yùn)客流的影響因素均在0.9 以上。

（2）其它因素中，只有節(jié)假日屬性對(duì)航運(yùn)客流的影響因素大于0.9；天氣因素、周六日屬性航運(yùn)客流的影響因素均小于0.7。因此選取影響程度大于0.7 的13 項(xiàng)因素作為關(guān)鍵影響因素。

4.2 模型預(yù)測(cè)

將2016～2018 年民航春運(yùn)日出港旅客數(shù)以及2016～2019 年關(guān)鍵影響因素?cái)?shù)據(jù)輸入到LSTM 模型中，得到圖3 預(yù)測(cè)結(jié)果。

圖3 LSTM 單模型預(yù)測(cè)結(jié)果Fig.3 LSTM single model prediction results

由圖3 可以看出，LSTM 模型預(yù)測(cè)結(jié)果與真實(shí)值擬合度較高，但與真實(shí)值相比預(yù)測(cè)趨勢(shì)存在延遲。將2016～2018 年民航春運(yùn)日出港旅客數(shù)輸入到SARIMA 模型中，得到圖4 預(yù)測(cè)結(jié)果：

圖4 SARIMA 單模型預(yù)測(cè)結(jié)果Fig.4 Prediction results of single ARIMA model

SARIMA 模型的預(yù)測(cè)結(jié)果在趨勢(shì)上與真實(shí)值基本吻合，但預(yù)測(cè)精度不甚滿意。根據(jù)組合模型設(shè)計(jì)思想，將兩種模型進(jìn)行組合后，得到的預(yù)測(cè)結(jié)果如圖5 所示。

圖5 組合模型預(yù)測(cè)結(jié)果Fig.5 Prediction results of combined model

可以看到組合模型無(wú)論是在預(yù)測(cè)精度和趨勢(shì)變化上都比單模型效果要好。根據(jù)表3 可知組合模型預(yù)測(cè)平均絕對(duì)百分比誤差為3.9%。

表3 組合模型預(yù)測(cè)誤差Tab.3 Prediction error of hybrid model

4.3 與其它預(yù)測(cè)模型的對(duì)比

為檢驗(yàn)和說(shuō)明組合模型的預(yù)測(cè)性能，采用支持向量機(jī)、灰色預(yù)測(cè)、GRA－LSTM 單模型以及SARIMA單模型等經(jīng)典的預(yù)測(cè)模型與之進(jìn)行對(duì)比，其預(yù)測(cè)曲線如圖6 所示。同時(shí)采用MAE（平均絕對(duì)誤差）、RMSE（均方根誤差）以及MAPE（平均絕對(duì)百分比誤差）作為誤差衡量指標(biāo)，幾種模型的預(yù)測(cè)誤差見(jiàn)表4。

圖6 幾種模型預(yù)測(cè)結(jié)果Fig.6 Prediction results of several models

由表4 和圖6 可知，本文提出的GRA－LSTM＋SARIMA 組合模型與真實(shí)值的擬合程度是最好的，預(yù)測(cè)誤差也是幾種模型中最低的。其中，MAPE 比支持向量機(jī)、灰色預(yù)測(cè)、GRA－LSTM 單模型以及SARIMA單模型分別降低了2.1%、1.1%、0.7%、6.7%。

表4 幾種模型預(yù)測(cè)誤差Tab.4 Prediction errors of several models

5 結(jié)束語(yǔ)

通過(guò)評(píng)估LSTM 模型和SARIMA 模型的優(yōu)劣勢(shì)，提出將兩種模型進(jìn)行組合。通過(guò)實(shí)驗(yàn)表明，組合模型在預(yù)測(cè)上比單模型具有優(yōu)越性。其次組合模型之一的LSTM 模型的輸入層不僅僅是歷史數(shù)據(jù)，還有基于GRA 法選取的關(guān)鍵影響因素，因此組合模型能夠捕捉非線性時(shí)間序列的變化，更好地針對(duì)實(shí)際變化進(jìn)行預(yù)測(cè)。