張大斌 黃均杰 凌立文 林銳斌

基于注意力時間卷積網(wǎng)絡(luò)的農(nóng)產(chǎn)品期貨分解集成預(yù)測摘要針對農(nóng)產(chǎn)品期貨時間序列數(shù)據(jù)受多方面因素影響，非線性、非平穩(wěn)數(shù)據(jù)特征難以提取而導(dǎo)致預(yù)測準確性不高的問題，基于“分解-集成”的預(yù)測思想，本文提出一種基于自適應(yīng)噪聲完備經(jīng)驗?zāi)B(tài)分解（CEEMDAN）與Transformer-Encoder-TCN的農(nóng)產(chǎn)品期貨預(yù)測方法．首先，使用CEEMDAN將時間序列分解為多尺度多頻率的本征模態(tài)分量（IMF）與殘差，降低了序列建模復(fù)雜度;其次，使用融合多階段自注意力單元Transformer-Encoder的時間卷積網(wǎng)絡(luò)（TCN）對各個分量子序列進行特征提取與預(yù)測，優(yōu)化了序列顯著特征建模權(quán)重;最后，將各個子序列預(yù)測值線性相加集成得到最終預(yù)測結(jié)果．以南華期貨公司農(nóng)產(chǎn)品指數(shù)中的大豆期貨指數(shù)為研究對象，采用時序交叉驗證與參數(shù)遷移的方式進行模型重訓(xùn)練，消融和對比實驗結(jié)果表明，提出的新模型在RMSE、MAE和DS三個評價指標上具有良好的效果，驗證了該模型對農(nóng)產(chǎn)品期貨預(yù)測的有效性．

關(guān)鍵詞農(nóng)產(chǎn)品期貨;自適應(yīng)噪聲完備經(jīng)驗?zāi)B(tài)分解;自注意力機制;Transformer-Encoder;時間卷積網(wǎng)絡(luò)

中圖分類號F830.91;TP183

文獻標志碼A

0引言

農(nóng)產(chǎn)品作為關(guān)系國計民生的大宗商品之一，是農(nóng)業(yè)經(jīng)濟發(fā)展中重要的組成部分，其價格劇烈波動將阻礙農(nóng)產(chǎn)品經(jīng)濟的可持續(xù)健康發(fā)展．而期貨市場具備套期保值與價格發(fā)現(xiàn)功能，穩(wěn)定高效的農(nóng)產(chǎn)品期貨交易市場預(yù)測機制在穩(wěn)定農(nóng)產(chǎn)品供應(yīng)量、糧食現(xiàn)貨價格預(yù)警方面具有重要意義，也能為政府決策者制定農(nóng)業(yè)經(jīng)濟政策提供重要參考［1］．

傳統(tǒng)的農(nóng)產(chǎn)品時間序列預(yù)測建模方法主要基于計量統(tǒng)計模型，該類模型具有較強的線性擬合能力，包括ARIMA、ETS、GARCH等［2］．然而，以上傳統(tǒng)計量統(tǒng)計模型非線性建模能力較差，隨著市場影響因素的增多，模型泛化能力也隨之下降．因此，不少學(xué)者將分解集成策略與預(yù)測模型相結(jié)合以提高農(nóng)產(chǎn)品時間序列預(yù)測精度［3］．分解集成預(yù)測方法是一種分而治之的策略，常見的分解方法包括小波分解（WD）［4］、經(jīng)驗?zāi)B(tài)分解（EMD）［5］以及自適應(yīng)噪聲完備經(jīng)驗?zāi)B(tài)分解（ComplementaryEnsembleEmpiricalModeDecompositionwithAdaptiveNoise，CEEMDAN）［6］等，這些分解方法在時序預(yù)測任務(wù)中起到重要作用．例如：唐振鵬等［7］利用VMD與EMD進行糧食期貨價格序列二次分解，再進行集成學(xué)習(xí)預(yù)測;Zhou等［8］利用CEEMDAN分解原油價格序列后使用XGBoost算法對其進行集成預(yù)測．

隨著人工智能算法的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)預(yù)測模型被應(yīng)用于農(nóng)產(chǎn)品時間序列預(yù)測領(lǐng)域，常見的算法包括長短期記憶網(wǎng)絡(luò)（LSTM）［9］、時間卷積網(wǎng)絡(luò)（TemporalConvolutionNetwork，TCN）［10］等．以往的研究表明，LSTM具備記憶時序特征能力，TCN則具有較強的局部時序相關(guān)性建模能力，上述模型在農(nóng)產(chǎn)品時間序列短期預(yù)測領(lǐng)域具有較強優(yōu)勢［11-12］．此外，這些模型在各類農(nóng)產(chǎn)品時間序列預(yù)測任務(wù)上呈現(xiàn)優(yōu)越的非線性建模能力．Wang等［13］利用LSTM對大連期貨交易所的大豆期貨價格進行預(yù)測，驗證了LSTM模型具有更好的預(yù)測精度;Chuluunsaikhan等［14］將主題文本建模技術(shù)與深度學(xué)習(xí)模型CNN、LSTM相結(jié)合，預(yù)測了韓國市場豬肉每日零售價格;張杰等［15］構(gòu)建了融合傳遞熵的圖神經(jīng)網(wǎng)絡(luò)，有效地提高了大豆期貨價格走勢預(yù)測精度．

然而，上述深度學(xué)習(xí)模型對于長序列的全局建模仍具有局限性，因此有學(xué)者開始嘗試將全局建模能力極佳的注意力機制與深度學(xué)習(xí)模型融合并應(yīng)用到農(nóng)產(chǎn)品時間序列預(yù)測領(lǐng)域［16］．

注意力機制最早應(yīng)用于計算機視覺中［17］．2017年，谷歌機器翻譯團隊提出了經(jīng)典的Transformer模型［18］，該模型采用多頭自注意力機制（Multi-headSelf-Attention）自動捕捉輸入序列不同位置處的相對關(guān)聯(lián)來進行機器翻譯任務(wù)，并且取得了良好的效果;Niu等［19］利用CEEMDAN分解能源類時間序列，再利用融合注意力機制的GRU模型進行預(yù)測，預(yù)測精度得到顯著提高;賈寧等［20］設(shè)計了LSTM-DA模型用于蔬菜類農(nóng)產(chǎn)品價格預(yù)測，先利用CNN層提取局部特征，再利用LSTM提取序列特征，兩層均融合了注意力機制，有效地降低了預(yù)測誤差;Yin等［21］利用STL分解策略將蔬菜價格分解為趨勢成分、季節(jié)性成分和殘差成分，并使用融合注意力機制的LSTM進行預(yù)測，解決了因季節(jié)性影響而產(chǎn)生的預(yù)測滯后問題．

本文結(jié)合傳統(tǒng)復(fù)雜時間序列分解集成建模策略與最新人工智能理論研究各自的優(yōu)勢，提出一種分解集成預(yù)測策略下融合多階段自注意力單元Transformer-Encoder的時間卷積網(wǎng)絡(luò)模型，并應(yīng)用在農(nóng)產(chǎn)品期貨收益率序列預(yù)測任務(wù)中．本文設(shè)計的CEEMDAN-Transformer-Encoder-TCN方法主要的創(chuàng)新點和貢獻點如下：

1）在TCN建模過程中融合了多階段自注意力單元Transformer-Encoder，注意力機制與TCN模型的因果卷積機制兩者形成互補，有效地增強了模型局部與全局建模能力，自動優(yōu)化農(nóng)產(chǎn)品期貨顯著性時間點與季節(jié)性成分的建模權(quán)重，構(gòu)建了一種新穎的時間卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)．

2）由于農(nóng)產(chǎn)品期貨收益率具有非平穩(wěn)、非線性特征，基于CEEMDAN將收益率序列分解為多個頻率的IMF（IntrinsicModeFunction）分量，降低了序列復(fù)雜度．同時，采用時序交叉驗證與參數(shù)遷移的方式構(gòu)建的模型訓(xùn)練流程有效地挖掘了子序列特征，改善了預(yù)測效果．

3）基于真實大豆期貨收益率數(shù)據(jù)集進行實驗，探索了一種新的農(nóng)產(chǎn)品期貨收益率預(yù)測方法，未來可擴展運用到多種農(nóng)產(chǎn)品期貨預(yù)測任務(wù)上．

1研究方法

1.1自適應(yīng)噪聲完備經(jīng)驗?zāi)B(tài)分解（CEEMDAN）

CEEMDAN是一種有效的信號序列分解算法，由Torres等［22］在2011年提出，其對殘差加入高斯白噪聲并繼續(xù)分解計算IMF分量均值，有效地解決了白噪聲從高頻到低頻的轉(zhuǎn)移傳遞問題．CEEMDAN算法過程描述如下：

1.2Transformer-Encoder模型

人類大腦在處理接收到的畫面信息時無法同時仔細觀察眼前的一切，會選擇性地聚焦某些重要且較有價值的區(qū)域，這種機制被稱為注意力機制．本文將其作為神經(jīng)網(wǎng)絡(luò)組件的一部分以有效地提取全局特征權(quán)重信息，其公式如下：

1.3時間卷積網(wǎng)絡(luò)（TCN）

在基于神經(jīng)網(wǎng)絡(luò)模型處理時序問題的研究中，通常采用經(jīng)典的RNN結(jié)構(gòu)，但最新的研究發(fā)現(xiàn)TCN在多種任務(wù)上表現(xiàn)不輸于RNN．TCN本質(zhì)上是針對一維空間進行全維度卷積以處理時序問題的神經(jīng)網(wǎng)絡(luò)，具有捕捉長期時序關(guān)系的能力，其優(yōu)點如下：不同于RNN的順序計算，TCN的計算速度更快，所需內(nèi)存量更少，可以進行大規(guī)模的并行處理從而縮短了神經(jīng)網(wǎng)絡(luò)訓(xùn)練和驗證的時間;TCN為改變卷積核感受域大小提供了更多靈活性，通過堆疊更多的卷積層、使用更大的膨脹系數(shù)及增大濾波器大小等更好地控制模型時間記憶的長短;TCN運用了殘差連接，避免了RNN中經(jīng)常出現(xiàn)的梯度爆炸或梯度消失問題．

圖2對TCN整體結(jié)構(gòu)進行了說明，圖3則表示TCN中每一層的殘差結(jié)構(gòu)．TCN主要包含3種基本結(jié)構(gòu)：因果卷積、膨脹卷積與殘差連接．TCN的每一個隱層之間使用膨脹卷積進行連接，每一個隱層即為一個因果卷積殘差模塊，TCN由多個因果卷積殘差模塊組成．

1.4Transformer-Encoder-TCN模型

本文設(shè)計了一種新的時間卷積網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)膨脹系數(shù)為4，構(gòu)建包含有4層殘差塊的TCN網(wǎng)絡(luò)，并在每一層因果殘差塊之間引入由自注意力單元構(gòu)成的Transformer-Encoder，將每一層經(jīng)因果卷積編碼后的時間步特征作為其輸入，通過自注意力機制進行特征權(quán)重優(yōu)化后繼續(xù)作為下一層因果殘差塊的輸入，最后拼接一層全連接層作為預(yù)測輸出，模型如圖4所示．

Transformer-Encoder-TCN結(jié)構(gòu)設(shè)計思路如下：

1）在時間步特征中融合位置編碼能為模型提供當前時間步的前后順序信息．最新的研究表明，模型層數(shù)越深、感受域越大，卷積操作可以在一定程度上編碼目標的更多絕對位置信息［23］．在本文提出的模型中，TCN的因果卷積殘差模塊為了保證輸入與輸出的神經(jīng)元數(shù)量一致，在時間步中添加了Zero-padding進行時間步補全，這一機制同樣為下一層Transformer-Encoder層隱式建模了位置信息，有助于更深層次的時序信息建模．

2）從互補性角度看，卷積是一種模板匹配式的局部操作運算，不同位置采用相同的卷積核進行濾波，一個卷積層通常只會建模鄰域數(shù)據(jù)之間的關(guān)系．而自注意力機制則屬于自適應(yīng)濾波式的全局操作運算，一個Transformer-Encoder層具有并行化建模數(shù)據(jù)內(nèi)部全局關(guān)系的能力，但其缺少對于局部信息的先驗知識，因此卷積操作和自注意力機制可以形成良好的互補［24］．

除此之外，由于農(nóng)產(chǎn)品期貨時間序列具有顯著的季節(jié)性，自注意力機制在季節(jié)性特征建模中能發(fā)揮有效作用．自注意力機制能增強保留重要特征、減弱冗余特征，而季節(jié)性是一種周期性的重復(fù)特征，其往往在時序預(yù)測任務(wù)中發(fā)揮重要作用，運用自注意力機制能自動有效地增強季節(jié)性成分的建模權(quán)重，省略繁瑣的季節(jié)性調(diào)整步驟;同時，由于其優(yōu)越的時間維度全局加權(quán)能力，不同周期的季節(jié)性成分加權(quán)后能獲得較為平穩(wěn)顯著的季節(jié)性序列特征．

1.5本文預(yù)測模型

本文的模型框架主要包括3個步驟：1）使用CEEMDAN分解方法對時間序列進行多尺度自適應(yīng)分解，得到多個高頻到低頻排序的IMF分量與殘差;2）分解子序列的預(yù)測，使用Transformer-Encoder-TCN模型對各個IMF分量序列進行特征抽取;3）將子序列預(yù)測值線性相加集成．本文預(yù)測模型結(jié)構(gòu)如圖5所示．

2實驗結(jié)果與分析

2.1數(shù)據(jù)材料

為驗證所提出模型的有效性，本文選取大豆期貨作為實證研究對象，數(shù)據(jù)集爬取于中國南華期貨公司的多類商品指數(shù)歷史走勢網(wǎng)站（http：／／www.nanhua.net／nhzc／varietytrend.html），該樣本涵蓋了2011年1月4日至2021年1月4日期間的大豆價格指數(shù)日度數(shù)據(jù)，共2428個時間觀測值，并對其進行對數(shù)處理以獲得2011年1月5日至2021年1月4日期間大豆期貨對數(shù)收益率序列（對數(shù)收益率rt=lnxt+1xt）．

從經(jīng)濟學(xué)意義的角度上講，由于對數(shù)收益率具備可加性，其均值能正確反映出該投資物的真實收益率，收益率的預(yù)測更具重要意義．而從計算建模的角度看，對數(shù)收益率易于統(tǒng)計處理的性質(zhì)給模型構(gòu)建帶來了巨大的便利性，取對數(shù)可以讓數(shù)據(jù)更加平穩(wěn)，削弱了原始價格變量的異方差與共線性．由圖7可知，對數(shù)收益率序列圍繞著0均值上下波動，數(shù)據(jù)呈正態(tài)分布，具有波動聚集性．

此外，本文通過單位根檢驗（AugmentedDickey-Fullertest，ADF）進行平穩(wěn)性檢驗，判斷序列是否存在單位根：如果序列平穩(wěn)，則單位根不存在;反之，序列不平穩(wěn)即存在單位根．原假設(shè)存在單位根，如果得到的顯著性檢驗統(tǒng)計量小于5％顯著性水平下的臨界值，則對應(yīng)有95％的把握來拒絕原假設(shè)，說明序列平穩(wěn)具有顯著性.檢驗結(jié)果如表2所示，對數(shù)收益率序列在顯著性水平為5％的情況下平穩(wěn)性遠高于價格序列．

2.2預(yù)測過程

為提高預(yù)測模型的泛化能力，緩解時序預(yù)測中常出現(xiàn)的過擬合與概念漂移問題，本文采用時間序列交叉驗證中的前向滾動窗口方法［25］，通過分段預(yù)測［26］并求誤差均值來測試模型的整體預(yù)測效果．為了保證模型能學(xué)習(xí)到較長時間段內(nèi)的規(guī)律，在每一個預(yù)測周期內(nèi)，用過去3年的數(shù)據(jù)來構(gòu)造輸入序列，將時序排序的前90％數(shù)據(jù)作為訓(xùn)練集，并使用CEEMDAN進行序列逐級分解，得到當前預(yù)測周期由高頻到低頻排序的多尺度分量．

序列分解結(jié)果如圖8所示，紅色序列為原收益率序列，藍色序列為IMF分量與殘差，可以觀察到序列被分解為高中低三類頻級的分量．殘差代表著收益率的長期發(fā)展趨勢，低頻項波動幅度代表重大事件對收益率的影響期限長短，期限越長期貨市場受影響時間越久，高頻項則代表短期期貨市場受突發(fā)事件和供需事件引起的收益劇烈波動．

本文選擇遷移學(xué)習(xí)式的訓(xùn)練策略，模型依次對當前周期得到的多尺度分量進行特征趨勢提取，當上一個頻率分量訓(xùn)練結(jié)束后，模型在上一個頻率分量訓(xùn)練得到的參數(shù)基礎(chǔ)上不斷進行重訓(xùn)練，這種在預(yù)訓(xùn)練模型上進行參數(shù)微調(diào)（fine-tune）的訓(xùn)練方式有利于更好地捕捉不同時期的時序規(guī)律，加快模型訓(xùn)練收斂速度．而過去3年里最后10％數(shù)據(jù)則作為驗證集，并將在驗證集上預(yù)測效果最好的模型權(quán)重保存，接著使用未來6個月數(shù)據(jù)構(gòu)造的測試集來檢驗?zāi)Ｐ皖A(yù)測效果．

在下一輪周期驗證中，將構(gòu)造的訓(xùn)練集、驗證集與測試集整體往后推移6個月，以此類推，直至覆蓋全部10a樣本，最后將分段訓(xùn)練得到的模型預(yù)測誤差求平均．交叉驗證分段預(yù)測過程如圖9所示．

2.3參數(shù)設(shè)置

超參數(shù)的合理設(shè)置對于模型效果具有至關(guān)重要的影響．由于本文的關(guān)鍵改進在神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)創(chuàng)新，因此CEEMDAN分解方法僅采用py-EMD庫中的內(nèi)置默認參數(shù)設(shè)置，經(jīng)過多次實驗，TCN中因果卷積殘差模塊層數(shù)設(shè)置為4，各層卷積核數(shù)量分別設(shè)置為20、15、10、5，卷積核大小設(shè)置為2，膨脹因子則為2n，n為殘差塊層數(shù)，而Transformer-Encoder中blocks設(shè)置為1，heads設(shè)置為5，即五頭自注意力．

為了構(gòu)建適合TCN輸入格式的數(shù)據(jù)集，本文將時間滑動窗口設(shè)置為10，即使用過去10天的信息來預(yù)測下一個交易日的收益率，批大小（batch_size）設(shè)置為128，使用均方誤差（MSE）作為損失函數(shù)，選擇Adam算法進行梯度訓(xùn)練，初始學(xué)習(xí)速率設(shè)置為0.001，訓(xùn)練過程中使用余弦退火算法進行學(xué)習(xí)率調(diào)節(jié)，最大訓(xùn)練輪數(shù)設(shè)置為5000，當連續(xù)5輪驗證集誤差不再下降時使用早停機制停止訓(xùn)練．

2.4評價指標

本文對模型的評價指標從兩個維度來選?。旱?個維度采用均方根誤差（RootMeanSquaredError，RMSE）和平均絕對誤差（MeanAbsoluteError，MAE）來衡量真實值和預(yù)測值之間的誤差，其值越小越好;第2個維度是方向性命中率（DirectionalSymmetry，DS），這一指標能衡量模型預(yù)測走勢的精確度，取值范圍為0至1，其值越接近1越好．

2.5消融實驗

本文模型主要由CEEMDAN、TransformerE-ncoder與TCN3個核心組件構(gòu)造．為了驗證本文模型的有效性，對其進行消融實驗，設(shè)計了如下4種組合方式：

1）TCN，記為模型1;

2）Transformer-Encoder-TCN，記為模型2;

3）CEEMDAN-TCN，記為模型3;

4）CEEMDAN-Transformer-Encoder-TCN，記為本文模型．

由表3消融實驗的結(jié)果可知，本文所提出的模型通過多個周期交叉驗證后在3個評價指標上均取得了最佳預(yù)測效果．模型1作為基線模型，預(yù)測精度較低．模型2由于添加了自注意力單元模塊，建模了全局時序信息后在RMSE與MAE兩個指標上預(yù)測精度比起單一的TCN模型略有提高，但受限于數(shù)據(jù)復(fù)雜的全局波動性，DS精度有所降低．而模型3由于采用了先分解再集成的預(yù)測策略，依據(jù)分而治之的思想降低了預(yù)測復(fù)雜度，比起單一TCN模型預(yù)測效果有了非常顯著的提升．本文模型整合了分解集成策略與自注意力單元各自的優(yōu)勢，通過分解算法得到多尺度分量后，自注意力單元更容易聚焦于不同頻率的顯著特征，比起單一TCN模型，RMSE誤差指標降低了33.7％，MAE誤差指標降低了31.5％，DS精度提升了43.4％．

為了更直觀地觀測本文模型的預(yù)測效果，由于篇幅限制，僅取多折交叉驗證中最后一折的測試集作出預(yù)測，結(jié)果如圖10所示，黑色實線代表真實值，灰色虛線代表預(yù)測值，本文模型在一定程度上能較好地擬合真實值，但更傾向于保守預(yù)測，少數(shù)異常波動收益率點的預(yù)測結(jié)果具有滯后性，這符合期貨投資收益率中寧可少賺也不多虧的原則．以上實驗結(jié)果表明，本文提出的預(yù)測模型改進方式具有一定可行性．

2.6對比實驗

為了進一步驗證本文所提出模型的優(yōu)越性，將其與LSTM、CEEMDAN-LSTM、SVR、CEEMDAN-SVR模型進行對比實驗．為了保證實驗公平性，對比模型預(yù)測流程與本文模型一致.其中：LSTM隱藏層神經(jīng)元數(shù)量根據(jù)經(jīng)驗與滑動窗口長度設(shè)置為10，隱藏層數(shù)設(shè)置為1，隱藏層激活函數(shù)設(shè)置為ReLU，其余訓(xùn)練參數(shù)如學(xué)習(xí)速率等則與本文模型一致；SVR模型使用sklearn庫中的默認參數(shù)，核函數(shù)為RBF．對比實驗結(jié)果如表4所示．

由表4可知，LSTM作為深度學(xué)習(xí)模型的一種，能建模序列時間尺度上的依賴關(guān)系，其獨特的門控記憶機制使得其在序列建模任務(wù)上比起傳統(tǒng)機器學(xué)習(xí)模型SVR更具優(yōu)勢，而兩者在應(yīng)用分解集成策略將復(fù)雜序列轉(zhuǎn)換為簡單子序列后，從3個評價指標結(jié)果上看預(yù)測精度均獲得顯著提升，驗證了分解策略的有效性．

4種對比模型中，LSTM模型容易陷入梯度彌散或爆炸的困境，SVR模型則無法很好地捕捉時間尺度上的依賴關(guān)系，而本文模型在應(yīng)用分解集成策略的基礎(chǔ)上同時融合了局部信息與全局信息進行建模，避免了梯度消失或爆炸問題，因果卷積的Zero-padding機制與自注意力單元形成互補，較好地建模了農(nóng)產(chǎn)品期貨季節(jié)性成分，在誤差精度和方向性精度上均展示出較強優(yōu)勢．本文模型改進了大豆期貨收益率短期預(yù)測效果，在農(nóng)產(chǎn)品期貨預(yù)測上具有一定潛力．

3結(jié)論

針對農(nóng)產(chǎn)品期貨預(yù)測精度低的問題，本文提出一種基于CEEMDAN與Transformer-Encoder-TCN模型的分解集成預(yù)測方法，并在真實大豆期貨收益率數(shù)據(jù)集上進行實驗．CEEMDAN通過挖掘序列多尺度特征，降低了序列建模復(fù)雜度，TCN模型的Zero-padding機制為自注意力單元抽象表達了時序數(shù)據(jù)中的絕對位置信息，而自注意力單元Transformer-Encoder則有效地增強了TCN模型的全局關(guān)聯(lián)建模能力，優(yōu)化了顯著特征的建模權(quán)重．實驗通過時間序列交叉驗證與參數(shù)遷移訓(xùn)練的方式進行，研究結(jié)果表明本文模型在農(nóng)產(chǎn)品期貨收益率預(yù)測研究中具備一定可行性．

本文仍存在一些不足之處，CEEMDAN分解后的子序列數(shù)量不確定，其中高頻子序列仍存在較大復(fù)雜性，這增加了建模難度．另外，由于CEEMDAN的計算時間較長，因此本文模型更側(cè)重于離線計算場景，對于眾多農(nóng)產(chǎn)品期貨在線高頻交易場景的需求無法滿足，未來研究將重點將針對其他農(nóng)產(chǎn)品期貨高頻交易場景下的預(yù)測問題進行擴展研究．

參考文獻

References

［1］

劉洋，羅其友，周振亞，等.我國主要農(nóng)產(chǎn)品供需分析與預(yù)測［J］.中國工程科學(xué)，2018，20（5）：120-127

LIUYang，LUOQiyou，ZHOUZhenya，etal.AnalysisandpredictionofthesupplyanddemandofChinasmajoragriculturalproducts［J］.StrategicStudyofCAE，2018，20（5）：120-127

［2］HanZY，ZhaoJ，LeungH，etal.Areviewofdeeplearningmodelsfortimeseriesprediction［J］.IEEESensorsJournal，2021，21（6）：7833-7848

［3］張永安，顏斌斌.一種股票市場的深度學(xué)習(xí)復(fù)合預(yù)測模型［J］.計算機科學(xué)，2020，47（11）：255-267

ZHANGYongan，YANBinbin.Deeplearninghybridforecastingmodelforstockmarket［J］.ComputerScience，2020，47（11）：255-267

［4］趙娜，孫紅，黎銓祺，等.基于小波分解的時序預(yù)測模型mWDLNet及其應(yīng)用研究［J］.小型微型計算機系統(tǒng)，2022，43（3）：561-567

ZHAONa，SUNHong，LIQuanqi，etal.ResearchonapplicationoftimeseriesforecastmodelmWDLNetbasedonwaveletdecomposition［J］.JournalofChineseComputerSystems，2022，43（3）：561-567

［5］WangS，MuL，LiuDR.AhybridapproachforElNiopredictionbasedonempiricalmodedecompositionandconvolutionalLSTMencoder-decoder［J］.Computers＆Geosciences，2021，149：104695

［6］WangYN，YuanZ，LiuHQ，etal.AnewschemeforprobabilisticforecastingwithanensemblemodelbasedonCEEMDANandAM-MCMCanditsapplicationinprecipitationforecasting［J］.ExpertSystemswithApplications，2022，187：115872

［7］唐振鵬，吳俊傳，張婷婷，等.基于二次分解和集成學(xué)習(xí)的糧食期貨價格預(yù)測研究［J］.系統(tǒng)工程理論與實踐，2021，41（11）：2837-2849

TANGZhenpeng，WUJunchuan，ZHANGTingting，etal.Researchongrainfuturespriceforecastingbasedonsecondarydecompositionandensemblelearning［J］.SystemsEngineeringTheory＆Practice，2021，41（11）：2837-2849

［8］ZhouYR，LiTY，ShiJY，etal.ACEEMDANandXGBOOST-basedapproachtoforecastcrudeoilprices［J］.Complexity，2019，2019：1-15

［9］韓金磊，熊萍萍，孫繼紅.基于LSTM和灰色模型的股價時間序列預(yù)測研究［J］.南京信息工程大學(xué)學(xué)報（自然科學(xué)版），2023，15（6）：631-642

HANJinlei，XIONGPingping，SUNJihong.StockpricetimeseriespredictionbasedonLSTMandgreymodel［J］.JournalofNanjingUniversityofInformationScience＆Technology（NaturalScienceEdition），2023，15（6）：631-642

［10］BaiS，KolterJZ，KoltunV.Anempiricalevaluationofgenericconvolutionalandrecurrentnetworksforsequencemodeling［J］.arXive-print，2018，arXiv：1803.01271

［11］LiGQ，ChenW，LiDH，etal.Comparativestudyofshort-termforecastingmethodsforsoybeanoilfuturesbasedonLSTM，SVR，ESandwavelettransformation［J］JournalofPhysics：ConferenceSeries，2020，1682（1）：012007

［12］ChengW，WangY，PengZ，etal.High-efficiencychaotictimeseriespredictionbasedontimeconvolutionneuralnetwork［J］.Chaos，Solitons＆Fractals，2021，152：111304

［13］WangCH，GaoQ.HighandlowpricespredictionofsoybeanfutureswithLSTMneuralnetwork［C］／／2018IEEE9thInternationalConferenceonSoftwareEngineeringandServiceScience（ICSESS）.November23-25，2018，Beijing，China.IEEE，2019：140-143

［14］ChuluunsaikhanT，RyuGA，YooKH，etal.Incorporatingdeeplearningandnewstopicmodelingforforecastingporkprices：thecaseoftherepublicKorea［J］.Agriculture，2020，10（11）：513

［15］張杰，甄柳琳，徐碩，等.融合傳遞熵的圖神經(jīng)網(wǎng)絡(luò)農(nóng)產(chǎn)品期貨預(yù)測模型［J］.計算機工程與應(yīng)用，2023，59（2）：321-328

ZHANGJie，ZHENLiulin，XUShuo，etal.Graphneuralnetworkmodelbasedontransferentropyforagriculturalfuturesforecasting［J］.ComputerEngineeringandApplications，2023，59（2）：321-328

［16］WeiXL，LeiBB，OuyangHB，etal.Stockindexpricespredictionviatemporalpatternattentionandlong-short-termmemory［J］.AdvancesinMultimedia，2020，2020：1-7

［17］MnihV，HeessN，GravesA，etal.Recurrentmodelsofvisualattention［C］／／AdvancesinNeuralInformationProcessingSystems，2014：2204-2212

［18］VaswaniA，ShazeerN，ParmarN，etal.Attentionisallyouneed［C］／／Proceedingsofthe31stInternationalConferenceonNeuralInformationProcessingSystems，2017：6000-6010

［19］NiuHL，XuKL，LiuC.Adecomposition-ensemblemodelwithregroupingmethodandattention-basedgatedrecurrentunitnetworkforenergypriceprediction［J］.Energy，2021，231：120941

［20］賈寧，鄭純軍.基于LSTM-DA神經(jīng)網(wǎng)絡(luò)的農(nóng)產(chǎn)品價格指數(shù)短期預(yù)測模型［J］.計算機科學(xué)，2019，46（增刊2）：62-65，71

JIANing，ZHENGChunjun.Short-termforecastingmodelofagriculturalproductpriceindexbasedonLSTM-DAneuralnetwork［J］.ComputerScience，2019，46（sup2）：62-65，71

［21］YinHL，JinD，GuYH，etal.STL-ATTLSTM：vegetablepriceforecastingusingSTLandattentionmechanism-basedLSTM［J］.Agriculture，2020，10（12）：612

［22］TorresME，ColominasMA，SchlotthauerG，etal.Acompleteensembleempiricalmodedecompositionwithadaptivenoise［C］／／2011IEEEInternationalConferenceonAcoustics，SpeechandSignalProcessing（ICASSP）.May22-27，2011，Prague，CzechRepublic.IEEE，2011：4144-4147

［23］IslamMA，JiaS，BruceNDB.Howmuchpositioninformationdoconvolutionalneuralnetworksencode？［J］.arXive-print，2020，arXiv：2001.08248

［24］WangXL，GirshickR，GuptaA，etal.Non-localneuralnetworks［C］／／2018IEEE／CVFConferenceonComputerVisionandPatternRecognition.June18-23，2018，SaltLakeCity，UT，USA.IEEE，2018：7794-7803

［25］NairBB，MohandasVP，SakthivelNR.Adecisiontree-roughsethybridsystemforstockmarkettrendprediction［J］.InternationalJournalofComputerApplications，2010，6（9）：1-6

［26］MNgJCP，MehralizadehM.ForecastingEastAsianindicesfuturesviaanovelhybridofwavelet-PCAdenoisingandartificialneuralnetworkmodels［J］.PLoSOne，2016，11（6）：e0156338

Forecastingagriculturalcommodityfutureswithdecompositionand

ensemblestrategybasedonattentionaltemporalconvolutionnetwork

ZHANGDabin1HUANGJunjie1LINGLiwen1LINRuibin1

1CollegeofMathematicsandInformatics，SouthChinaAgriculturalUniversity，Guangzhou510642，China

AbstractToaddressthelowpredictionaccuracyinagriculturalcommodityfuturesduetotheirnonlinearandnon-smoothfeaturesresultingfromvariousinfluencingfactors，thispaperproposesadecompositionandensembleforecastingapproachbasedonCEEMDANandTransformer-Encoder-TCN.First，theComplementaryEnsembleEmpiricalModeDecompositionwithAdaptiveNoise（CEEMDAN）isusedtodecomposethetimeseriesintomultiscaleIntrinsicModeFunction（IMF）andresiduals，reducingthecomplexityofseriesmodeling.Second，eachsubseriesispredictedviaTemporalConvolutionalNetwork（TCN）incorporatingmulti-stageself-attentionunit（Transformer-Encoder），whichoptimizesthemodelingweightsofsignificantfeatures.Finally，thepredictionresultsofeachsubseriesarelinearlysummedandintegratedtoobtainthefinalpredictionresults.ThesoybeanfuturesrevenueindexintheagriculturalcommodityindexofSouthChinaFuturesCompanyisusedastheresearchobject.Themodelisretrainedbytime-seriescross-validationandparametertransfer.TheablationandcomparisonexperimentalresultsshowthattheproposedmodelhassuperiorityinRMSE，MAEandDS，verifyingitseffectivenessinpredictingagriculturalcommodityfutures.

Keywordsagriculturalcommodityfutures;complementaryensembleempiricalmodedecompositionwithadaptivenoise（CEEMDAN）;self-attention;Transformer-Encoder;temporalconvolutionnetwork（TCN）