摘要：時(shí)間序列預(yù)測是當(dāng)前研究的主要方向之一，能有效解決工業(yè)、交通等領(lǐng)域的工藝指標(biāo)和客流量預(yù)測問題。通過分析現(xiàn)有的時(shí)間序列模型，可以預(yù)測未來的發(fā)展趨勢。首先，分析現(xiàn)有時(shí)間序列預(yù)測模型的結(jié)構(gòu)，以了解其技術(shù)實(shí)現(xiàn)方式；其次，根據(jù)技術(shù)手段的不同，將模型分為優(yōu)化提升類和創(chuàng)新類；最后，討論了時(shí)間序列預(yù)測模型的未來發(fā)展趨勢。

關(guān)鍵詞：時(shí)間序列優(yōu)化提升神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測模型

中圖分類號：TP3

TheAnalysisofDevelopmentTrendsinTimeSeriesForecastingModels

WANGRuifangMAPinganYUTing

（LanzhouResources&EnvironmentVOC-techUniversity，Lanzhou，GansuProvince，730021，China）

Abstract：Timeseriesforecastingisoneoftheprimaryresearchdirectionsintimeseriesanalysiscurrently.Iteffectivelyaddressesissuessuchasforecastingprocessindicatorsandpassengerflowinfieldslikeindustryandtransportation.Inthispaper，thefuturedevelopmenttrendsarespeculatedthroughtheanalysisandresearchofexistingtimeseriesmodels.Firstly，ananalysisofthestructureofexistingtimeseriesforecastingmodelsisconductedtoidentifythetechnicalimplementationmethodsofthemodels.Then，basedondifferenttechnicalapproaches，theyareclassifiedintooptimization-enhancementandinnovationcategories.Finally，thefuturedevelopmenttrendsoftimeseriesforecastingmodelsarediscussed.

KeyWords：Timeseries；Optimizationandimprovement；Neuralnetwork；Timeseriespredictionmodel

隨著深度學(xué)習(xí)的快速發(fā)展，針對不同的預(yù)測任務(wù)需求，早期的時(shí)間序列預(yù)測模型已經(jīng)難以實(shí)現(xiàn)當(dāng)下的時(shí)間序列預(yù)測任務(wù)。傳統(tǒng)的機(jī)器學(xué)習(xí)主要以融合集成為主，但同時(shí)也容易造成模型的復(fù)雜度提升，內(nèi)存占用空間大等情況。因此，根據(jù)任務(wù)需求設(shè)計(jì)出具有新型網(wǎng)絡(luò)架構(gòu)的時(shí)間序列預(yù)測模型成為必然趨勢，不僅可以更深層次地捕獲數(shù)據(jù)特征，也降低了模型復(fù)雜度。本文主要通過對傳統(tǒng)及新興時(shí)間序列預(yù)測模型進(jìn)行總結(jié)分析，總結(jié)出時(shí)間序列預(yù)測模型未來的發(fā)展趨勢。

1問題的提出

時(shí)間序列是指一組或者多組按照時(shí)間先后順序排列的數(shù)據(jù)點(diǎn)，其數(shù)據(jù)間隔點(diǎn)可以根據(jù)需求自行規(guī)定進(jìn)行數(shù)據(jù)采集，如秒、分、小時(shí)等。另一方面，根據(jù)時(shí)間序列特性及不同的任務(wù)需求，時(shí)間序列模型的功能也不盡相同。眾所周知，良好的數(shù)據(jù)支持可以極大地捕獲數(shù)據(jù)之間的變化特性從而進(jìn)一步提升模型的精度。

從任務(wù)需求分析，對于時(shí)間序列而言主要有分類、聚類及預(yù)測。時(shí)間序列分類任務(wù)，主要是根據(jù)已經(jīng)標(biāo)記好的訓(xùn)練數(shù)據(jù)來確定時(shí)間序列屬于預(yù)先定義的類別。時(shí)間序列聚類任務(wù)，通過對時(shí)間序列數(shù)據(jù)預(yù)處理，特征提取以及聚類算法等操作，發(fā)現(xiàn)時(shí)序數(shù)據(jù)的趨勢等，為任務(wù)提供有效決策。時(shí)間序列預(yù)測任務(wù)主要是通過先前的歷史數(shù)據(jù)，計(jì)算分析其變化特征或規(guī)律并對未來數(shù)據(jù)的變化做出預(yù)測。參數(shù)組成主要可分為單時(shí)間序列和多元時(shí)間序列，單時(shí)間序列預(yù)測任務(wù)只受自身數(shù)據(jù)影響，而多元時(shí)間序列預(yù)測任務(wù)不僅受自身數(shù)據(jù)影響，同時(shí)也會由于其他參數(shù)變化而受到影響。

而在現(xiàn)實(shí)工業(yè)等預(yù)測任務(wù)中，多元時(shí)間序列預(yù)測占較高比重。一方面，由于現(xiàn)實(shí)世界情況較為復(fù)雜，預(yù)測參數(shù)之間存在特定的影響因子；另一方面，通過計(jì)算多元時(shí)間序列相關(guān)性可以提高模型的預(yù)測精度。例如：為實(shí)現(xiàn)煤礦巷道變形風(fēng)險(xiǎn)預(yù)測，需要對溫度與孔隙水壓等參數(shù)變化進(jìn)行預(yù)測[1]；為了對不同氣象條件下的客流量做出精準(zhǔn)預(yù)測，需要對交通需求與天氣變化等參數(shù)進(jìn)行融合預(yù)測[2]；根據(jù)采空區(qū)煤自燃這一嚴(yán)重威脅，以一氧化碳、二氧化碳、甲烷、乙炔等氣體濃度指標(biāo)進(jìn)行預(yù)測分析，確定不同階段的氣體濃度指標(biāo)，避免煤自燃情況發(fā)生[3]；針對空氣污染事件頻發(fā)，選取氣溫、氣壓、固體顆粒物、風(fēng)速等參數(shù)進(jìn)行建模預(yù)測，規(guī)避空氣污染問題[4]；對于海洋污染問題，通過對海水溫度、pH值、溶解氧及鹽度等參數(shù)分析預(yù)測，可以及時(shí)有效了解海域的變化情況[5]；為做好人口出生率研究，通過對GDP，保險(xiǎn)保費(fèi)收入與財(cái)政收入等多個(gè)變量進(jìn)行分析研究，最后以GDP、城鎮(zhèn)居民可支配收入、農(nóng)村居民可支配收入等促進(jìn)生育率的參數(shù)為指標(biāo)進(jìn)行預(yù)測，實(shí)現(xiàn)人口出生率預(yù)測[6]。

在早期的時(shí)間序列預(yù)測任務(wù)中，預(yù)測模型種類較少，主要代表有Transformer[7]、CNN（ConvolutionalNeuralNetworks）[8]、ARIMA（AutoregressiveIntegratedMovingAverageModel）[9]、LSTM（LongShort-TermMemory）[10]、GNN（GraphNeuralNetwork）[11]等。

上述模型分別提出了注意力機(jī)制、卷積神經(jīng)網(wǎng)絡(luò)、差分移動(dòng)自回歸架構(gòu)、長短時(shí)記憶網(wǎng)絡(luò)等。早期的時(shí)間序列預(yù)測模型對于時(shí)間序列噪聲處理、缺失值補(bǔ)充、特征提取等處理不足，模型精度較低，但他們創(chuàng)造的模型網(wǎng)絡(luò)架構(gòu)為時(shí)間序列預(yù)測任務(wù)提供了很好的發(fā)展思路。

2現(xiàn)有時(shí)間序列預(yù)測模型

根據(jù)當(dāng)下的模型結(jié)構(gòu)分析，現(xiàn)有時(shí)間序列預(yù)測模型主要可以分為優(yōu)化提升類和創(chuàng)新類兩大類。優(yōu)化提升是指通過對已有的時(shí)間序列預(yù)測方法進(jìn)行研究分析，優(yōu)化模型中存在的不足之處，或者對兩種或多種已有的時(shí)間序列預(yù)測方法進(jìn)行研究分析，提取各自模型中的“有效”模塊進(jìn)行融合等操作。創(chuàng)新是指根據(jù)時(shí)間序列預(yù)測任務(wù)，通過對時(shí)間序列分析及任務(wù)需求，設(shè)計(jì)出新的時(shí)間序列預(yù)測方法或者神經(jīng)網(wǎng)絡(luò)架構(gòu)，并且可以在預(yù)測任務(wù)中展現(xiàn)出比較高的預(yù)測精度及較低的模型復(fù)雜度等。

2.1優(yōu)化提升

2.1.1Former類

長期以來，Transformer模型作為老牌的時(shí)間序列預(yù)測模型一直備受關(guān)注，其編碼器，解碼器網(wǎng)絡(luò)架構(gòu)及注意力機(jī)制也作為熱點(diǎn)研究內(nèi)容。而在近幾年中，以Transformer模型為基礎(chǔ)架構(gòu)，衍生出了一系列Former類時(shí)間序列預(yù)測模型，主要通過對Transformer模型存在的數(shù)據(jù)處理及時(shí)序特征提取不足等問題進(jìn)行優(yōu)化集成或者設(shè)計(jì)出新的網(wǎng)絡(luò)架構(gòu)模型進(jìn)行融合等，主要代表有以下幾種模型。

（1）Reformer[12]：使用局部敏感哈希及可逆殘差層對注意力結(jié)構(gòu)進(jìn)行優(yōu)化，降低模型復(fù)雜度。

（2）Performer[13]：設(shè)計(jì)出一個(gè)廣義的注意力框架，對于長序列預(yù)測任務(wù)有較高的精度。

（3）Longformer[14]：針對Tramsformer處理長文本的不足，提出了滑窗機(jī)制（Slidingwindowattention）、膨脹滑窗機(jī)制（Dilatedslidingwindow）、融合全局信息的滑窗機(jī)制（Dilatedslidingwindow），降低了模型的時(shí)間復(fù)雜度。

（4）Informer[15]：設(shè)計(jì)出新的ProbSparseself-attention注意力機(jī)制，并針對傳統(tǒng)解碼器層進(jìn)行優(yōu)化提升generativedecoder，通過以上改進(jìn)提升模型性能，降低時(shí)間復(fù)雜度。

（5）Autoformer[16]：針對傳統(tǒng)注意力機(jī)制存在的時(shí)序依賴問題，提出了一種自相關(guān)機(jī)制的深度分解架構(gòu)。

（6）FEDformer[17]：引入傅里葉分析法將時(shí)間序列的頻域部分與Transformer結(jié)合，從而改善了模型在長時(shí)間序列中的預(yù)測精度問題。

（7）Non-stationaryTransformers[18]：構(gòu)建多層感知網(wǎng)絡(luò)計(jì)算時(shí)間序列的非平穩(wěn)因子，并將其引入到注意力計(jì)算中得到非平穩(wěn)注意力，通過非平穩(wěn)性特征還原解決時(shí)間序列模型的過度歸一化問題。

（8）Crossformer[19]：將時(shí)間序列進(jìn)行分段處理，并構(gòu)建雙層注意力網(wǎng)絡(luò)架構(gòu)，關(guān)注自身注意力得分的同時(shí)也關(guān)注多元時(shí)間序列之間的相關(guān)性，以此來提升模型預(yù)測精度。

（9）iTransformer[20]：對于多元時(shí)間序列預(yù)測，將每一個(gè)獨(dú)立的時(shí)間序列看作一個(gè)Token，并通過注意力機(jī)制挖掘多變量參數(shù)之間的相關(guān)性。

上述模型分別通過對Transformer模型進(jìn)行不同程度的優(yōu)化改進(jìn)，在時(shí)間序列預(yù)測任務(wù)中表現(xiàn)出良好的性能，在一定程度上彌補(bǔ)了Transformer模型的不足之處，在增強(qiáng)模型功能的基礎(chǔ)上也提高了模型的預(yù)測精度，降低了預(yù)測誤差。

2.1.2其他神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的主要內(nèi)容貫穿整個(gè)時(shí)間序列研究，主要可分為前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)，而隨著神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，在時(shí)間序列預(yù)測任務(wù)中單一的卷積神經(jīng)網(wǎng)絡(luò)，LSTM等神經(jīng)網(wǎng)絡(luò)的功能已經(jīng)相形見絀，難以達(dá)到目標(biāo)要求。伴隨著神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，對于時(shí)間序列數(shù)據(jù)處理以及數(shù)據(jù)特征捕獲，模型算法復(fù)雜度等要求也逐步提升，因此在此基礎(chǔ)上對CNN等模型進(jìn)行結(jié)構(gòu)優(yōu)化，性能提升是一個(gè)不可避免的技術(shù)手段。通過對原有模型的結(jié)構(gòu)拆分以及特性分析，提取出原有模型中的閃光點(diǎn)進(jìn)行融合嵌套等，設(shè)計(jì)搭建出一系列新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，組成功能更好的時(shí)間序列預(yù)測模型。以下述時(shí)間序列預(yù)測模型為代表。

（1）RNN（RecurrentNeuralNetwork）[21]：針對CNN模型中輸出僅考慮前一個(gè)輸入的影響而忽略了其他時(shí)刻輸入在運(yùn)算過程中的作用，設(shè)計(jì)出一種可以對以前的信息進(jìn)行記憶保留，并有效應(yīng)用于當(dāng)前輸出計(jì)算中的網(wǎng)絡(luò)架構(gòu)。

（2）TCN（TemporalConvolutionalNetwork）[22]：通過優(yōu)化模型結(jié)構(gòu)可并行處理時(shí)間序列，并根據(jù)不同的任務(wù)要求可以更加靈活地指定模型的感受野，通過對每一層的卷積核共享降低了內(nèi)存的使用率。

（3）ModernTCN[23]：模型主要通過空洞卷積擴(kuò)大卷積核的感受野，同時(shí)通過殘差連接等提升模型性能。

（4）GCN（GraphConvolutionalNetwork）[24]：對于傳統(tǒng)卷積結(jié)構(gòu)無法處理非歐幾里的結(jié)構(gòu)類數(shù)據(jù)，GCN通過將拓?fù)鋱D使用拉普拉斯矩陣進(jìn)行表述，將其映射到頻域中卷積，最后再利用逆轉(zhuǎn)變換完成圖卷積操作。

（5）SegRNN[25]：在輸入端通過分段迭代的方法，將輸入進(jìn)行分段來提高運(yùn)算效率，輸出端使用并行多步預(yù)測方法提升模型性能。

（6）MTGCN[26]：設(shè)計(jì)出一個(gè)通用的多元時(shí)間序列圖神經(jīng)網(wǎng)絡(luò)架構(gòu)，解決了GNN無法直接應(yīng)用到未知相關(guān)性的多元時(shí)間序列預(yù)測問題。

（7）FourierGNN[27]：設(shè)計(jì)了一種新的超變量圖結(jié)構(gòu)，將每一個(gè)變量或時(shí)間戳都視為圖節(jié)點(diǎn)。同時(shí)提出傅里葉圖神經(jīng)網(wǎng)絡(luò)，將傅里葉圖算子進(jìn)行堆疊，并進(jìn)行矩陣運(yùn)算等操作。

（8）CrossGNN[28]：針對時(shí)間序列中存在的意外噪聲，構(gòu)建出自適應(yīng)多尺度識別器，Cross-ScaleGNN及Cross-VariableGNN等進(jìn)行多尺度時(shí)間序列模擬、動(dòng)態(tài)關(guān)系捕獲等，通過上述方式來降低噪聲對時(shí)間序列預(yù)測任務(wù)的影響。

2.2創(chuàng)新

根據(jù)不同的時(shí)間序列預(yù)測任務(wù)研究可以得出，傳統(tǒng)的Transformer或者CNN等神經(jīng)網(wǎng)絡(luò)互相嵌套融合難以解決全部問題。因此，根據(jù)任務(wù)需求，針對特定問題進(jìn)行研究分析，設(shè)計(jì)出新的神經(jīng)網(wǎng)絡(luò)架構(gòu)是極其重要的。與此同時(shí)，隨著神經(jīng)網(wǎng)絡(luò)的不斷深入研究，時(shí)間序列預(yù)測模型也得到飛速發(fā)展。例如：對于時(shí)間序列的分析研究，已經(jīng)不再局限于從一維角度出發(fā)，可以通過技術(shù)手段對其進(jìn)行映射變?yōu)槎S等，在這樣的技術(shù)創(chuàng)新可以更加準(zhǔn)確地捕捉到變化特征。另一方面，對于時(shí)間序列存在的噪聲影響以及模型結(jié)構(gòu)復(fù)雜但功能不足等問題，現(xiàn)如今已創(chuàng)新設(shè)計(jì)出大量時(shí)間序列預(yù)測模型予以解決。以下述模型為代表。

（1）MSDR（Multi-StepDependencyRelation）[29]：主要針對時(shí)間序列的復(fù)雜時(shí)空依賴性，設(shè)計(jì)出一種新的多步依賴關(guān)系神經(jīng)網(wǎng)絡(luò)將多個(gè)歷史時(shí)間步步驟進(jìn)行融合作為每一個(gè)時(shí)間單位的輸入，以此捕獲時(shí)間序列復(fù)雜的動(dòng)態(tài)依賴關(guān)系。

（2）RevIN（ReversibleInstanceNormalization）[30]：對于存在時(shí)序分布偏移的預(yù)測任務(wù)，設(shè)計(jì)出可逆實(shí)例歸一化方法并可適用于大量預(yù)測模型中。

（3）DEPTS（DeepExpansionLearningforPeriodicTimeSeries）[31]：大部分時(shí)間序列存在一定的周期性，該模型通過對時(shí)序間的復(fù)雜關(guān)系進(jìn)行逐層擴(kuò)展，并設(shè)計(jì)周期模塊進(jìn)行信息捕獲，通過上述方式提升模型性能。

（4）MICN（Multi-scaleIsometricConvolutionNetwork）[32]：通過一種新的建模視角設(shè)計(jì)出IsometricConvolution模塊對局部及全局信息進(jìn)行特征計(jì)算，極大地降低了模型復(fù)雜度。

（5）TimesNet[33]：將時(shí)間序列從1維映射到2維，在二維空間中分析時(shí)序周期內(nèi)及周期間的變化，從而提升模型的預(yù)測精度。

（6）OneNet[34]：使用基于強(qiáng)化學(xué)習(xí)的方法與傳統(tǒng)在線編程框架相融合，將跨時(shí)間維度與跨空間維度模型進(jìn)行線性融合，極大地降低了在線預(yù)測誤差。

（7）ClimODE[35]：設(shè)計(jì)出一種結(jié)合了物理信息的氣候預(yù)測方法，以全球氣候信息作為神經(jīng)流，實(shí)現(xiàn)了氣候預(yù)測的全新技術(shù)突破。

（8）FITS[36]：設(shè)計(jì)出一種新的周期性解耦網(wǎng)絡(luò)架構(gòu)，通過捕獲二維時(shí)序變化建模實(shí)現(xiàn)的時(shí)間序列預(yù)測。

（9）Time-LLM（LargeLanguageModels）[37]：通過將大型語言模型重新編程，利用Prompt-as-Prefix強(qiáng)化模型的數(shù)據(jù)處理能力。

（10）STanHop（SparseTandemHopfield）[38]：提出一種新的STanHop-Net網(wǎng)絡(luò)架構(gòu)，把Hopfield與外部存儲模塊相融合，提升了模型的學(xué)習(xí)能力以及響應(yīng)速率。

上述模型根據(jù)不同的時(shí)間序列預(yù)測任務(wù)，創(chuàng)新性地設(shè)計(jì)出了不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)或者算法，通過這種不同創(chuàng)新的模型設(shè)計(jì)，也讓時(shí)間序列預(yù)測模型得到了快速發(fā)展。

3未來趨勢分析

通過對最近幾年的國內(nèi)及國際學(xué)術(shù)期刊發(fā)表的時(shí)間序列論文研究分析，不難發(fā)現(xiàn)時(shí)間序列預(yù)測模型仍存在巨大潛力且發(fā)展越來越多元化。優(yōu)化提升與創(chuàng)新仍舊作為時(shí)間序列預(yù)測模型發(fā)展的兩條主干線。對于不同需求的時(shí)間序列預(yù)測任務(wù)，很難設(shè)計(jì)出一種完全符合其要求的時(shí)間序列模型。同時(shí)在當(dāng)下的神經(jīng)網(wǎng)絡(luò)模型中，也沒有在數(shù)據(jù)預(yù)處理及時(shí)間序列特征提取，模型復(fù)雜度這幾個(gè)方面中都展現(xiàn)出優(yōu)異性能的預(yù)測模型。因此，創(chuàng)新與優(yōu)化提升將繼續(xù)作為主要技術(shù)手段推進(jìn)時(shí)間序列預(yù)測模型的發(fā)展。

（1）對于已經(jīng)存在的時(shí)間序列預(yù)測模型，首先，研究重點(diǎn)在于通過對模型及模塊功能分析，剖析其主要?jiǎng)?chuàng)新點(diǎn)。其次，分析出現(xiàn)有創(chuàng)新點(diǎn)的不足之處或者模型中存在的問題等。再次，進(jìn)行可行性分析，將兩個(gè)或者多個(gè)時(shí)間序列預(yù)測模型的主要?jiǎng)?chuàng)新點(diǎn)進(jìn)行分析，研究模型融合的可行性以及最終模型所具有的功能等。最后，再與其他類模型進(jìn)行融合集成，所構(gòu)建的新模型表現(xiàn)出更好的預(yù)測性能。以Transformer、CNN模型為例，雖然提出的時(shí)間較早，但現(xiàn)在仍然有很多研究人員以此為基礎(chǔ)進(jìn)行優(yōu)化改造，設(shè)計(jì)出新的預(yù)測模型。因此，在優(yōu)化提升這一技術(shù)路線中，主要在于發(fā)現(xiàn)現(xiàn)有模型的不足之處與長處，只有完完整整地理解了一個(gè)時(shí)間序列預(yù)測模型的網(wǎng)絡(luò)架構(gòu)及所表現(xiàn)出的性能，才可以獲得好的設(shè)計(jì)思路，并在此基礎(chǔ)之上進(jìn)行優(yōu)化提升，構(gòu)建出新的時(shí)間序列預(yù)測模型。

（2）根據(jù)時(shí)間序列預(yù)測任務(wù)需求，需要設(shè)計(jì)出新的神經(jīng)網(wǎng)絡(luò)架構(gòu)以及預(yù)測模型。通過對現(xiàn)有的模型結(jié)構(gòu)分析，可以發(fā)現(xiàn)時(shí)間序列分段，特征還原以及圖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)是當(dāng)下主流的研究方向之一。在之前的研究過程中，時(shí)間序列的特征提取等研究比較局限，研究人員習(xí)慣于把時(shí)間序列固定在一個(gè)特定的維度并將其看作一個(gè)大的整體。這種整體性的處理方法難以挖掘出數(shù)據(jù)潛在的變化特征，而在最近幾年的發(fā)展研究過程中，研究重點(diǎn)側(cè)重于對原始數(shù)據(jù)進(jìn)行切割分段，通過將時(shí)間序列進(jìn)行等份分割等操作來捕獲時(shí)間序列更深層次的數(shù)據(jù)變化特征。同時(shí)針對時(shí)間序列預(yù)處理過程，當(dāng)下的研究重點(diǎn)已經(jīng)不局限于處理好數(shù)據(jù)，更關(guān)注如何在模型訓(xùn)練過程中保留數(shù)據(jù)的原始特性。創(chuàng)新設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)不僅可以很好地完成時(shí)間序列預(yù)測任務(wù)，同時(shí)也為時(shí)間序列預(yù)測模型發(fā)展注入新鮮血液，提供了新的設(shè)計(jì)思路。

同時(shí)85788b6aebcfe9ad63548df4dae83208，根據(jù)目前的時(shí)間序列預(yù)測模型性能分析，可以發(fā)現(xiàn)時(shí)序預(yù)測模型的功能不再單一。過去的時(shí)間序列預(yù)測模型研究重點(diǎn)僅限于如何做好時(shí)間序列特征提取，提高模型預(yù)測精度完成時(shí)間序列預(yù)測任務(wù)。而當(dāng)下時(shí)間序列預(yù)測模型研究擴(kuò)展為，在保證模型預(yù)測精度的前提下，研究人員開始對模型性能進(jìn)行擴(kuò)展提升。從過去的單一的時(shí)序預(yù)測到現(xiàn)在的時(shí)序預(yù)測、分析、填補(bǔ)及分類等。簡而言之，使用一個(gè)模型可以滿足不同的時(shí)序處理任務(wù)。這樣的模型功能整合雖然擴(kuò)展了模型的性能，但同時(shí)也應(yīng)該注意模型的算法復(fù)雜度等問題。

綜上所述，未來時(shí)間序列預(yù)測模型發(fā)展將保持創(chuàng)新與優(yōu)化的主要路線，研究重點(diǎn)應(yīng)該更側(cè)重于對時(shí)間序列的特征還原及保留，避免由于追求高的預(yù)測精度而進(jìn)行過度數(shù)據(jù)處理。同時(shí)，對于時(shí)間序列的特征提取，時(shí)間序列分段、圖像神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)搭建等技術(shù)也將成為主要的研究手段。在時(shí)間序列預(yù)測任務(wù)中圖神經(jīng)網(wǎng)絡(luò)表現(xiàn)出了良好的性能，而時(shí)間序列分段等創(chuàng)新的技術(shù)手段不僅有效提取了時(shí)間序列特征也提供了新的研究路線。而時(shí)間序列預(yù)測模型的性能擴(kuò)展也將作為新的挑戰(zhàn)推動(dòng)時(shí)間序列的研究發(fā)展。在此過程中，也需要將模型復(fù)雜度及內(nèi)存占用空間等指標(biāo)作為重點(diǎn)關(guān)注指標(biāo)，在保證模型性能的前提下盡可能地降低模型的復(fù)雜度。

參考文獻(xiàn)

• 賈連鑫，劉永鑫，丁總意.煤礦巷道變形風(fēng)險(xiǎn)的多元時(shí)間序列模型研究與應(yīng)用[J].工業(yè)建筑，2023，53（S2）：602-605，610.
• ?，|琦，陳海燕，劉莉，等.基于多元時(shí)序和模式挖掘的終端區(qū)交通流預(yù)測（英文）[J].TransactionsofNanjingUniversityofAeronauticsandAstronautics，2023，40（5）：595-606.
• 李沂蔓.采空區(qū)煤自燃多元指標(biāo)時(shí)間序列預(yù)測研究[D].廊坊：華北科技學(xué)院，2024.
• 馬園.基于深度學(xué)習(xí)的空氣質(zhì)量預(yù)測研究[D].濟(jì)5c5a102c2fad57c8e6d4faa8f7036fec南：山東大學(xué)，2024.
• 許崇軒.基于相空間重構(gòu)和雙向門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的海水指標(biāo)預(yù)測研究[D].秦皇島：燕山大學(xué)，2023.
• 郭良箴.湖北省人口出生率影響因素研究及趨勢預(yù)測[D].武漢：華中師范大學(xué)，2022.

[7]VASWANIA，SHAZEERN，PARMARN，etal.Attentionisallyouneed[J].AdvancesinNeuralInformationProcessingSystems，2017，30：112-127.

[8] LECUNY，BOSERB，DENKERJS，etal.Backpropagationappliedtohandwrittenzipcoderecognition[J].NeuralComputation，1989，1（4）：541-551.

[9] SHUMWAYRH，STOFFERDS，SHUMWAYRH，etal.ARIMAmodels[J].TimeSeriesAnalysisandItsApplications：withRexamples，2017，102（479）：75-163.

[10] HOCHREITERS，SCHMIDHUBERJ.Longshort-termmemory[J].NeuralComputation，1997，9（8）：1735-1780.

[11] SCARSELLIF，GORIM，TSOIAC，etal.Thegraphneuralnetworkmodel[J].IEEETransactionsonNeuralNetworks，2008，20（1）：61-80.

[12] KITAEVN，KAISERL，LEVSKAYAA.Reformer：Theefficienttransformer[J].arXivPreprint，2020：arXiv：2001.04451.

[13] GROTOWSKIJ.Performer[M]//TheGrotowskiSourcebook.Routledge，2013：376-380.

[14] BELTAGYI，PETERSME，COHANA.Longformer：Thelong-documenttransformer[J].arXivPreprint，2020：arXiv：2004.05150.

[15] ZHOUH，ZHANGS，PENGJ，etal.Informer：Beyondefficienttransformerforlongsequencetime-seriesforecasting[C]//ProceedingsoftheAAAIconferenceonartificialintelligence.2021，35（12）：11106-11115.

[16] CHENM，PENGH，F(xiàn)UJ，etal.Autoformer：Searchingtransformersforvisualrecognition[C]//ProceedingsoftheIEEE/CVFinternationalconferenceoncomputervision.2021：12270-12280.

[17] ZHOUT，MAZ，WENQ，etal.Fedformer：Frequencyenhanceddecomposedtransformerforlong-termseriesforecasting[C]//InternationalConferenceonMachineLearning.PMLR，2022：27268-27286.

[18] LIUY，WUH，WANGJ，etal.Non-stationarytransformers：Exploringthestationarityintimeseriesforecasting[J].AdvancesinNeuralInformationProcessingSystems，2022，35：9881-9893.

[19] ZHANGY，YANJ.Crossformer：Transformerutilizingcross-dimensiondependencyformultivariatetimeseriesforecasting[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[20] LIUY，HUT，ZHANGH，etal.itransformer：Invertedtransformersareeffectivefortimeseriesforecasting[J].arXivPreprint，2023：arXiv：2310.06625.

[21] GROSSBERGS.Recurrentneuralnetworks[J].Scholarpedia，2013，8（2）：1888.

[22] LEAC，VIDALR，REITERA，etal.Temporalconvolutionalnetworks：Aunifiedapproachtoactionsegmentation[C]//ComputerVision–ECCV2016Workshops：Amsterdam，TheNetherlands，October8-10and15-16，2016，Proceedings，PartIII14.SpringerInternationalPublishing，2016：47-54.

[23] LUOD，WANGX.ModernTCN：Amodernpureconvolutionstructureforgeneraltimeseriesanalysis[C]//TheTwelfthInternationalConferenceonLearningRepresentations.2024.

[24] ZHANGS，TONGH，XUJ，etal.Graphconvolutionalnetworks：acomprehensivereview[J].ComputationalSocialNetworks，2019，6（1）：1-23.

[25] LINS，LINW，WUW，etal.Segrnn：Segmentrecurrentneuralnetworkforlong-termtimeseriesforecasting[J].arXivPreprint，2023：arXiv：2308.11200.

[26] WUZ，ZHANM，ZHANGH，etal.MTGCN：Amulti-taskapproachfornodeclassificationandlinkpredictioningraphdata[J].InformationProcessing&Management，2022，59（3）：102902.

[27] YIK，ZHANGQ，F(xiàn)ANW，etal.FourierGNN：Rethinkingmultivariatetimeseriesforecastingfromapuregraphperspective[J].AdvancesinNeuralInformationProcessingSystems，2024，36：459-481.

[28] HUANGQ，SHENL，ZHANGR，etal.Crossgnn：Confrontingnoisymultivariatetimeseriesviacrossinteractionrefinement[J].AdvancesinNeuralInformationProcessingSystems，2024，36：761-797.

[29] LIUD，WANGJ，SHANGS，etal.Msdr：Multi-stepdependencyrelationnetworksforspatialtemporalforecasting[C]//Proceedingsofthe28thACMSIGKDDConferenceonKnowledgeDiscoveryandDataMining.2022：1042-1050.

[30] KIMT，KIMJ，TAEY，etal.Reversibleinstancenormalizationforaccuratetime-seriesforecastingagainstdistributionshift[C]//InternationalConferenceonLearningRepresentations.2021.

[31] FANW，ZHENGS，YIX，etal.DEPTS：Deepexpansionlearningforperiodictimeseriesforecasting[J].arXivPreprint，2022：arXiv：2203.07681.

[32] WANGH，PENGJ，HUANGF，etal.Micn：Multi-scalelocalandglobalcontextmodelingforlong-termseriesforecasting[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[33] WUH，HUT，LIUY，etal.Timesnet：Temporal2d-variationmodelingforgeneraltimeseriesanalysis[C]//TheEleventhInternationalConferenceonLearningRepresentations.2022.

[34] KIMYB，LEES，STRATOSK.Onenet：Jointdomain，intent，slotpredictionforspokenlanguageunderstanding[C]//2017IEEEAutomaticSpeechRecognitionandUnderstandingWorkshop（ASRU）.IEEE，2017：547-553.

[35] VERMAY，HEINONENM，GARGV.ClimODE：ClimateForecastingWithPhysics-informedNeuralODEs[C]//TheTwelfthInternationalConferenceonLearningRepresentations.2023.

[36] XUZ，ZENGA，XUQ.FITS：ModelingTimeSerieswith$10k$Parameters[J].arXivPreprint，2023：arXiv：2307.03756.

[37] JINM，WANGS，MAL，etal.Time-llm：Timeseriesforecastingbyreprogramminglargelanguagemodels[J].arXivPreprint，2023：arXiv：2310.01728.

[38] WUD，HUJYC，LIW，etal.Stanhop：Sparsetandemhopfieldmodelformemory-enhancedtimeseriesprediction[J].arXivPreprint，2023：arXiv：2312.17346.