徐玉萍，鄧俊翔，蔣澤華

基于組合預測模型的鐵路貨運量預測研究

徐玉萍，鄧俊翔，蔣澤華

(華東交通大學 交通運輸與物流學院，江西 南昌 330013)

為了進一步提高鐵路貨運量的預測精度，提出基于乘積季節(jié)模型與引入注意力機制(Attention Mechanism)的長短期記憶(Long Short-Term Memory)模型的組合預測模型。首先建立乘積季節(jié)模型、LSTM模型與引入注意力機制的LSTM模型，然后利用誤差修正法分別將2種LSTM模型與乘積季節(jié)模型組合起來進行預測，最后將預測結(jié)果分別與單一模型進行對比。采用2005年至2018年全國鐵路月度貨運量進行預測分析，結(jié)果表明2種組合預測模型的預測精度均高于單一預測模型的預測精度，其中基于乘積季節(jié)模型與引入注意力機制的LSTM模型的組合預測模型精度最高，具有研究和實用價值。

鐵路貨運量，乘積季節(jié)模型，LSTM模型，組合預測模型，注意力機制

鐵路貨運量的預測對鐵路運輸行業(yè)的發(fā)展有著至關(guān)重要的作用，既可以明確未來鐵路貨運量的發(fā)展趨勢又能對未來的發(fā)展有一個大致的判斷。合理的鐵路貨運量預測不僅能夠及時發(fā)現(xiàn)我國鐵路貨運行業(yè)發(fā)展過程中的問題，為我國鐵路貨運相關(guān)部門提供建設(shè)性建議，也能夠為我國未來鐵路建設(shè)提供一個合理的方向。常用的預測方法有時間序列分析與機器學習兩種。時間序列分析方法又分為簡單時序平均數(shù)法、加權(quán)序時平均數(shù)法、簡單移動平均法、加權(quán)移動平均法、指數(shù)平滑法、季節(jié)趨勢預測法與市場壽命周期預測法等，主要用于金融、交通運輸以及疾病防控等領(lǐng)域。張立欣等[1]通過對阿拉爾市近20年的風速進行分析，利用差分自回歸移動平均模型(以下簡記ARIMA)乘積季節(jié)模型進行預測，預測效果較好。決策樹、支持向量機、神經(jīng)網(wǎng)絡(luò)、隨機森林與樸素貝葉斯等為常用的機器學習方法，這些方法廣泛應用于自動機器翻譯、計算機視覺(即時拍照翻譯等)、語音識別與預測分析等方面。GAO等[2]提出一種非線性回歸方法，即隨機森林回歸(RFR)，通過對2001年至2013年的鐵路貨運量數(shù)據(jù)分析，發(fā)現(xiàn)預測精度高，泛化能力強，魯棒性好，參數(shù)可調(diào)性強。當然，也不僅限于以上提到的方法，如通過小波灰色GM(1,N)模型進行貨運量預測[3]；改進粒子群算法優(yōu)化長短期記憶(Long Short-Term Memory)模型進行貨運量預測[4]；利用粒子群對灰色Verhulst模型進行優(yōu)化以提高預測精度[5]。隨著各領(lǐng)域?qū)τ陬A測精度要求的不斷提高，原有單一模型已經(jīng)不能滿足現(xiàn)有的預測需求，不少學者已對組合預測模型進行了研究，梁寧等[6]提出構(gòu)建多項式核函數(shù)與徑向基核函數(shù)線性組合的SVM-mixed預測模型并通過果蠅優(yōu)化算法確定最優(yōu)參數(shù)以提高鐵路貨運量的預測精度。楊靜等[7]對比自回歸移動平均模型(ARMA模型)與小波ARMA組合模型對北京某地鐵站進站量進行預測，發(fā)現(xiàn)組合預測模型效果更好。ZHOU等[8]提出基于粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的組合預測方法以解決BP神經(jīng)網(wǎng)絡(luò)存在的局部最優(yōu)、精度低、收斂性差等問題，實驗表明模型具有較好的收斂性能和穩(wěn)定性。對鐵路貨運量預測已有大量研究，單就組合預測模型而言，主要還是通過一種模型算法對另一個模型的參數(shù)選取方式進行改進以解決單一算法中的局部最優(yōu)問題，而對鐵路貨運量數(shù)據(jù)特征的研究較少。通過對鐵路貨運量的分析，可以發(fā)現(xiàn)鐵路貨運量的數(shù)據(jù)同時具備線性與非線性的特征，選擇適合的模型對預測精度的高低起到至關(guān)重要的作用，故提出基于擅長擬合線性特征數(shù)據(jù)的乘積季節(jié)模型與擅長擬合非線性數(shù)據(jù)的LSTM模型的組合預測模型，為了進一步提高預測精度，引入了注意力機制，使得整個組合模型更適合鐵路貨運量的預測。

1 模型構(gòu)建

1.1 乘積季節(jié)模型

基于傳統(tǒng)時間序列分析得出的差分自回歸移動平均模型早在20世紀70年代便已公開發(fā)表。此模型根據(jù)原始時間序列是否平穩(wěn)以及回歸中所含部分的不同，包括自回歸模型(AR)、移動平均模型(MA)、ARMA模型以及ARIMA模型。

設(shè)序列X={1,2,…,x}為一個時間序列，由于ARMA模型要求序列平穩(wěn)，所以需要對序列進行平穩(wěn)化處理。ARIMA模型的表達式為：

若序列X具有季節(jié)性的變動規(guī)律，則稱為季節(jié)性模型，季節(jié)性模型的一般表達式為：

乘積季節(jié)模型是(,,)與(,,)的結(jié)合。設(shè)et～(,,)，則有：

建立乘積季節(jié)模型，首先通過對數(shù)據(jù)的分析得出是否存在季節(jié)性，存在則確定其周期，設(shè)為s；之后根據(jù)已知數(shù)據(jù)利用ADF檢驗獲得具體值和；為了消除時間序列數(shù)據(jù)的季節(jié)性應該運用季節(jié)差分法，使新的序列趨于平穩(wěn)，其差分步長應與季節(jié)周期保持一致；通過計算相應的AIC值來確定，，，的階數(shù)并利用極大似然法求得模型參數(shù)的估計值。

1.2 長短期記憶神經(jīng)網(wǎng)絡(luò)模型

LSTM模型最早于1997年由Sepp Hochreiter和Jurgen Schmidhuber 提出。LSTM則為循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變體，主要是為了解決RNN存在的長期依賴問題，適用于處理和預測時間序列。LSTM模型的改進主要在于由一組獨特的記憶細胞組成，這些記憶細胞將RNN中的隱藏層神經(jīng)元取代，其關(guān)鍵是記憶細胞的狀態(tài)。每個 LSTM 單元由3個控制信息存儲和流入的門(gate)和核心信元cell組成，3個門分別是輸入門(Input gate)、輸出門(Output gate)、遺忘門( Forgetgate)，具體結(jié)構(gòu)如圖1所示。每個單元塊內(nèi)的3類門均使用sigmoid激活單元函數(shù)來決定它們是否啟動，使模型狀態(tài)的改變以及信息的添加可以通過單元塊選擇性地流動。LSTM模型結(jié)構(gòu)的控制模式，有利于對時間序列上的信息進行選擇性地記憶，滿足時間序列中長期和短期關(guān)聯(lián)性分析的需求。在時刻，LSTM神經(jīng)網(wǎng)絡(luò)定義如下：

式中：W，W，W和W為x的權(quán)重；b，b，b和b偏置條件；為sigmoid激活函數(shù)；tan為雙曲正切函數(shù)。

激活函數(shù)sigmoid與tan函數(shù)的表達式分別表示為：

(7)

LSTM運用于預測的流程：

1) 選擇Keras作為實驗平臺，運用python進行編寫基于Tensorflow為接口實現(xiàn)模型的運行。

2) 將獲取的鐵路貨運量進行劃分，標準化處理這些數(shù)據(jù)，而后分為訓練集與測試集。

3) 將訓練集作為輸入值獲得序列x與h?1，進入遺忘門f，查看x與h?1信息確定C?1中信息的保留，全過程由sigmoid函數(shù)進行處理。

5) 通過輸入門i的sigmoid函數(shù)得到初始輸出，再經(jīng)輸出門o的tan函數(shù)得到預測值h。

6) 模型建立后需要通過參數(shù)的比選得出最優(yōu)參數(shù)以獲得最優(yōu)模型，帶入測試集進行預測。

1.3 注意力機制

從對人類視覺的研究中得出，注意力機制(Attention Mechanism)通過將足夠的注意力分配給關(guān)鍵信息來突出顯示重要的本地信息。注意機制在諸如語音識別，機器翻譯和文本識別等序列化數(shù)據(jù)中非常出色。基于注意力機制的神經(jīng)網(wǎng)絡(luò)在深度學習研究中引起了學者們的極大的興趣。XUE等[9]通過構(gòu)建基于注意力的時空分層卷積長短期記憶(ST-HConvLSTM)網(wǎng)絡(luò)，對時空域中的動作結(jié)構(gòu)進行建模，經(jīng)過數(shù)據(jù)集評估得出模型性能最佳。黨宏社[10]等[10]將存儲注意力和解碼自注意力組合形成混合注意力，以解決文本重復、曝光偏差等問題。

注意力機制主要通過提取新聞中的信息來輔助預測價格波動，從而將其應用于股票預測中。例如，喬若羽[11]通過引入注意力機制給各時間維度的信息賦予不同權(quán)重以優(yōu)化RNN、LSTM和GRU等模型以提高性能。注意機制可以具有軟性或硬性注意。注意力機制專注于輸入信息中的一個元素，基于最大采樣或隨機采樣選擇信息，這需要大量的訓練才能獲得良好的結(jié)果。軟注意力機制為所有輸入信息分配權(quán)重，使輸入信息的使用效率更高，并及時獲得結(jié)果[12]。將軟注意力機制引入到LSTM模型當中，為所有輸入特征逐個加權(quán)，以達到提高預測精度的目的。注意力機制可以表述為：

其中：a為最終權(quán)重；e為第1次加權(quán)計算的結(jié)果；w為注意力機制的權(quán)重；為注意力機制的偏差。

注意力機制主要分為2個步驟：1) 計算注意力分布；2) 根據(jù)注意力分布計算輸入信息的加權(quán)平均值。注意力機制結(jié)構(gòu)如圖2所示。

圖2 注意力機制結(jié)構(gòu)

1.4 基于誤差修正的組合預測模型

乘積季節(jié)模型對于非線性擬合能力差，預測精度不夠，故引入誤差修正的方法將乘積季節(jié)模型與基于注意力機制的LSTM模型(以下簡稱LSTM (AM))進行組合，以提高原有預測模型的預測精度。將貨運量數(shù)據(jù)先由乘積季節(jié)模型進行預測，所得預測值與實際值計算得出殘差,在此記為預殘差，將預殘差輸入基于注意力機制的LSTM模型進行訓練以獲得訓練后的殘差，在此記為終殘差，利用終殘差對預測值進行誤差修正，最后輸出最終預測結(jié)果，如圖3所示。

圖3 誤差修正結(jié)構(gòu)

2 實驗與結(jié)果分析

2.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)均取自國家統(tǒng)計局官網(wǎng)，如圖4所示，選取2005年1月至2018年10月的鐵路貨運量月度數(shù)據(jù)共166組，以2005年1月至2017年10月的貨運量數(shù)據(jù)作為訓練數(shù)據(jù)，以2017年11月至2018年10月的貨運量數(shù)據(jù)作為測試數(shù)據(jù)。所有模型均使用Python進行編寫，LSTM模型與LSTM (AM)模型采用Keras框架。

2.2 實驗評價指標

選取平均絕對誤差(Mean Absolute Error，MAE)、平均相對誤差(Mean Relative Error，MRE)均方根誤差(Root Mean Square Error, RMSE)作為實驗主要評價指標。

2.3 實驗結(jié)果分析

實驗將乘積季節(jié)模型、LSTM模型、LSTM(AM)模型、門控循環(huán)單元(GRU)模型、乘積季節(jié)模型與LSTM的組合模型以及乘積季節(jié)模型與LSTM(AM)的組合模型的預測值進行了對比。如圖5所示，各模型的預測值與實際值的對比。各模型的逐點相對誤差如圖6所示。

圖4 2005年1月至2018年10月鐵路貨運量

圖5 模型預測值與實際值的對比

從圖5可以看出，乘積季節(jié)模型預測數(shù)據(jù)與實際數(shù)據(jù)變化趨勢大致相同，即模型對于線性特征數(shù)據(jù)預測較好，LSTM模型預測數(shù)據(jù)與實際數(shù)據(jù)對比可以看出變化趨勢相差較大，但總體誤差較于前者要小。在引入注意力機制以后，LSTM模型的預測精度再次提高。由圖6也能看出組合模型降低了整體的相對誤差，預測效果較好。由表1可以看出，GRU與LSTM的性能在很多方面相差不大，但結(jié)果表明LSTM更適合鐵路貨運量特征的預測，幾種預測模型相互比較，組合預測模型的評價指標最好，即預測精度最高。

圖6 逐點相對誤差

表1 評價指標對比

3 結(jié)論

1) 對比乘積季節(jié)模型、LSTM模型、GRU模型、引入注意力機制的LSTM模型與基于修正誤差的組合模型，發(fā)現(xiàn)組合預測模型可提高預測精度。由此可以看出，所提出的組合預測模型適用于數(shù)據(jù)量較多且具有復雜線性特征數(shù)據(jù)。

2) 組合預測模型效果最好，但從評價指標可以看出，引入注意力機制的LSTM模型與2個組合預測模型的預測效果差距不大，主要原因是網(wǎng)絡(luò)已經(jīng)收斂，損失不會再有明顯下降，說明該模型仍有處理更大數(shù)據(jù)量的能力，下一步研究可以加入更多的數(shù)據(jù)用于模型的訓練，再進一步提高預測能力。

3) 后續(xù)也可以再引入其他模型進行組合，同樣加大數(shù)據(jù)規(guī)模對模型進行更好的修改，進一步提高模型的預測精度，由于模型考慮到數(shù)據(jù)的線性與非線性特征，也可為其他領(lǐng)域復雜時間序列的預測提供一些參考。

[1] 張立欣, 叢申, 范振岐. 基于ARIMA乘積季節(jié)模型對阿拉爾市風速變化的分析[J]. 數(shù)學的實踐與認識, 2017, 47(23): 157?163. ZHANG Lixin, CONG Shen, FAN Zhenqi. Analysis of wind speed variation in alar based on multiple seasonal ARIMA model[J]. Journal of Mathematics in Practice and Theory, 2017, 47(23): 157?163.

[2] GAO Junning, LU Xiaochun. Forecast of China railway freight volume by random forest regression model[C]// 2015 International Conference on Logistics, Informatics and Service Sciences (LISS). Barcelona: IEEE, 2015: 1?6.

[3] 崔乃丹, 向萬里, 孟學雷, 等. 基于小波灰色GM(1,1)模型的貨運量預測研究[J]. 鐵道科學與工程學報, 2017, 14(11): 2480?2486. CUI Naidan, XIANG Wanli, MENG Xuelei, et al. Railway freight volume forecasting based on grey GM(1,1) model and wavelet de-noising[J]. Journal of Railway Science and Engineering, 2017, 14(11): 2480? 2486.

[4] 李萬, 馮芬玲, 蔣琦瑋. 改進粒子群算法優(yōu)化LSTM神經(jīng)網(wǎng)絡(luò)的鐵路客運量預測[J]. 鐵道科學與工程學報, 2018, 15(12): 3274?3280. LI Wan, FENG Fenling, JIANG Qiwei. Prediction for railway passenger volume based on modified PSO optimized LSTM neural network[J]. Journal of Railway Science and Engineering, 2018, 15(12): 3274?3280.

[5] 賀政綱, 黃娟. 基于FPSO灰色Verhulst模型的鐵路貨運量預測[J]. 鐵道學報, 2018, 40(8): 1?8. HE Zhenggang, HUANG Juan. Prediction of railway freight volumes based on FPSO grey Verhulst model[J]. Journal of the China Railway Society, 2018, 40(8): 1?8.

[6] 梁寧, 耿立艷, 張占福, 等. 基于GRA與SVM-mixed的貨運量預測方法[J]. 交通運輸系統(tǒng)工程與信息, 2016, 16(6): 94?99. LIANG Ning, GENG Liyan, ZHANG Zhanfu, et al. A prediction method of railway freight volumes using GRA and SVM-mixed[J]. Journal of Transportation Systems Engineering and Information Technology, 2016, 16(6): 94?99.

[7] 楊靜, 朱經(jīng)緯, 劉博, 等. 基于組合模型的城市軌道交通短時客流預測[J]. 交通運輸系統(tǒng)工程與信息, 2019, 19(3): 119?125. YANG Jing, ZHU Jingwei, LIU Bo, et al. Short-term passenger flow prediction for urban railway transit based on combined model[J]. Journal of Transportation Systems Engineering and Information Technology, 2019, 19(3): 119?125.

[8] ZHOU Cheng, TAO Juncheng. Adaptive combination forecasting model for China’s logisitc freight volume based on an improved PSO-BP neural network[J]. Economic Modelling, 2015, 31(4): 646?666.

[9] XUE Fei, JI Hongbing, ZHANG Wenbo, et al. Attention- based spatial-temporal hierarchical ConvLSTM network for action recognition in videos[J]. IET Computer Vision, 2019, 13(8): 708?718.

[10] 黨宏社, 陶亞凡, 張選德. 基于混合注意力與強化學習的文本摘要生成[J]. 計算機工程與應用, 2020, 56(1): 185?190. DANG Hongshe, TAO Yafan, ZHANG Xuande. Abstractive summarization model based on mixture attention and reinforcement learning[J]. Computer Engineering and Applications, 2020, 56(1): 185?190.

[11] 喬若羽. 基于神經(jīng)網(wǎng)絡(luò)的股票預測模型[J]. 運籌與管理, 2019, 28(10): 132?140. QIAO Ruoyu. Stock prediction model based on neural network[J]. Operations Research and Management Science, 2019, 28(10): 132?140.

[12] Dat T T, Alexandros I, Juho K, et al. Temporal attention-augmented bilinear network for financial time-series data analysis[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(5): 1407? 1418.

Railway freight volume forecasting based on a combined model

XU Yuping, DENG Junxiang, JIANG Zehua

(School of Transportation and Logistics, East China Jiaotong University, Nanchang 330013, China)

In order to further improve the prediction accuracy of railway freight volume, this paper proposed a combined prediction model based on multiplicative seasonal ARIMA model and the LSTM (Long Short-Term Memory) model that introduced the attention mechanism. Firstly, a product seasonal model, an LSTM model and an LSTM model with attention mechanism were established. Then, two types of LSTM models were combined with the product seasonal model for prediction using the error correction method. Finally, the prediction results were compared with single model. Based on the analysis of the monthly railway freight volume from 2005 to 2018, the results show that the prediction accuracy of the two combined prediction models is higher than that of the single prediction model. Among them, the combined prediction model based on multiplicative seasonal ARIMA model and the LSTM model with attention mechanism has the highest accuracy, and the experiment has research and practical value.

railway freight volume; multiplicative seasonal ARIMA model; LSTM neural network model; combined forecasting model; attention mechanism

U294.1+3

A

1672 ? 7029(2021)01 ? 0243 ? 07

10.19713/j.cnki.43?1423/u.T20200281

2020?04?07

國家自然科學基金資助項目(51708218)；江西省社科規(guī)劃項目(18YJ16)；南昌市社科重點規(guī)劃項目(JJ210802)

徐玉萍(1973?)，女，江西豐城人，教授，從事交通運輸規(guī)劃與管理、運輸經(jīng)濟研究；E?mail：1423907384@qq.com

(編輯 蔣學東)