摘" 要：股票市場是國民經(jīng)濟的一個重要組成部分，股票投資是一項高風(fēng)險但同時高回報的投資方式。為了給股票投資者提供參考，對未來股票價格進(jìn)行了預(yù)測研究。設(shè)計了一種基于深度學(xué)習(xí)的集成預(yù)測算法，對未來5日的股價進(jìn)行預(yù)測。研究結(jié)果顯示，基于預(yù)測性能的權(quán)重分配集成方法相比基本模型平均絕對誤差（MAE）降低，在平均絕對誤差評價指標(biāo)上給出了最好的結(jié)果。

關(guān)鍵詞：深度學(xué)習(xí)；股價預(yù)測；集成學(xué)習(xí)

中圖分類號：TP18" 文獻(xiàn)標(biāo)識碼：A" " " 文章編號：2096-4706（2024）09-0114-06

Stock Price Prediction Based on Integrated Deep Learning

GUO Huiting， CHANG Yanzhen， LI Liang， XU Yongli

（Beijing University of Chemical Technology， Beijing" 100029， China）

Abstract： The stock market is an important component of the national economy， and stock investment is a high-risk but high-return investment method. To provide guidance for stock investors， a research is conducted to predict future stock prices. This paper designs an integrated prediction algorithm based on Deep Learning for predicting the stock price over the next 5 days. The research results show that the MAE of the weight allocation integrated method based on prediction performance reduces compared to the basic model and gives the best results on MAE index.

Keywords： Deep Learning; stock price prediction; integrated learning

0" 引" 言

股票市場是國民經(jīng)濟的一個重要組成部分，隨著經(jīng)濟的高速發(fā)展，股票市場也涌入越來越多的投資者。股票的價格波動受到多方面因素的影響，因此股票投資是一項高風(fēng)險但同時高回報的項目。作為投資者來說，希望對股票價格有正確的預(yù)測從而達(dá)到降低風(fēng)險獲得收益的目的。長期以來，股票預(yù)測一直是一項具有吸引力的任務(wù)，但由于市場的隨機性和參與者行為模式的波動性，股票預(yù)測仍然具有挑戰(zhàn)性。

股票價格預(yù)測的研究可以分為統(tǒng)計學(xué)和非統(tǒng)計學(xué)兩個方向?；诮y(tǒng)計學(xué)的股票價格預(yù)測方法有傳統(tǒng)的廣義自回歸條件異方差模型（Generalized AutoRegressive Conditional Heteroskedasticity， GARCH）[1]，差分整合移動平均自回歸模型（Autoregressive Integrated Moving Average model， ARIMA）[2]等，這些方法能很好的捕捉到股票價格的線性相關(guān)特征，但是對于非線性特征無法很好的處理?；诜墙y(tǒng)計學(xué)的股票價格預(yù)測方法可以分為兩支，傳統(tǒng)的機器學(xué)習(xí)方法和隨后發(fā)展起來的深度學(xué)習(xí)方法。隨著機器學(xué)習(xí)的興起，支持向量機（Support Vector Machine， SVM）[3]不僅可以用作分類，也可以進(jìn)行回歸預(yù)測，陳懿冰[4]等人利用支持向量機模型對市場指數(shù)進(jìn)行預(yù)測，發(fā)現(xiàn)在股市平穩(wěn)性比較好的情況下預(yù)測結(jié)果比較好，但是突變情況下擬合不是很好，經(jīng)過改進(jìn)的決策樹預(yù)測模型[5]可以提取股票序列特征進(jìn)行回歸預(yù)測，改進(jìn)過后的BP神經(jīng)也可以用來預(yù)測股價[6]。隨著深度學(xué)習(xí)在各個領(lǐng)域中的發(fā)展和應(yīng)用，越來越多的學(xué)者開始嘗試?yán)蒙疃葘W(xué)習(xí)進(jìn)行股價預(yù)測。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）在圖像分類回歸問題中得到廣泛使用，Ashwin Siripurapu [7]將時序數(shù)據(jù)畫成折線圖來滿足CNN卷積的特征提取，但是沒有得到很好的結(jié)果；齊曉娜等[8]利用長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory， LSTM）進(jìn)行股票價格預(yù)測可以獲得比較優(yōu)異的預(yù)測精度；劉震等[9]利用改進(jìn)的基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）的模型LSTM可以實現(xiàn)對股票價格的預(yù)測；Transformer最初提出是為了機器翻譯問題[10]，隨后也被廣泛應(yīng)用于圖像處理等領(lǐng)域，張倩玉等人[11]利用注意力機制捕獲輸入特征參數(shù)的權(quán)重并結(jié)合門控循環(huán)神經(jīng)網(wǎng)絡(luò)（Gated Recurrent Neural Network， GRU）進(jìn)行股票價格預(yù)測；陳詩樂等人[12]提出了基于GA-Transformer模型的多因子股票預(yù)測方法，該方法使用遺傳算法（Genetic Algorithm， GA）進(jìn)行特征選擇，并結(jié)合Transformer模型進(jìn)行股票預(yù)測；也有學(xué)者融合情感特征如股票評論數(shù)據(jù)等自然語言來對股票價格進(jìn)行預(yù)測[13]。

為了基于股票多因子歷史數(shù)據(jù)對未來5日的股票收盤價格進(jìn)行預(yù)測，我們設(shè)計了一種基于深度學(xué)習(xí)的集成預(yù)測算法。這一算法將改進(jìn)的Transformer編碼器模型、長短期記憶網(wǎng)絡(luò)和時間卷積網(wǎng)絡(luò)3種模型分別在單任務(wù)預(yù)測和多任務(wù)預(yù)測模式下訓(xùn)練，為不同模型的單任務(wù)預(yù)測和多任務(wù)預(yù)測集成設(shè)計了一種新的權(quán)重分配方式。利用本文提出的算法，可以基于當(dāng)下股票的歷史多因子數(shù)據(jù)對未來多日股票收盤價進(jìn)行預(yù)測，為投資者股票操作提供參考。

1" "數(shù)據(jù)處理

1.1" 數(shù)據(jù)來源

本文采用的數(shù)據(jù)集來自IBM、洛斯保險、建設(shè)銀行和上證指數(shù)，股票數(shù)據(jù)通過招商證券客戶端下載得到。

1.2" 特征選擇

股票市場中被廣泛使用的是K線圖，K線圖數(shù)據(jù)包含股票的開盤價、收盤價、最高價和最低價，每日的K線圖放在一起就是日K線圖，日K線圖能反映大勢的狀況和價格信息；在各股票數(shù)據(jù)平臺上我們能觀察到在股票不同的趨勢位置，有與K線圖對應(yīng)的成交量，很多交易信號需要K線圖結(jié)合成交量來判斷。這個5個特征信息是股票市場交易的重要依據(jù)，所以本文選取股票的開盤價、收盤價、最高價、最低價和成交量作為特征來源。

1.3" "數(shù)據(jù)歸一化

由于數(shù)據(jù)的量綱不同，我們對數(shù)據(jù)進(jìn)行歸一化處理。本文采用了最小最大歸一化方法，根據(jù)式（1）將數(shù)據(jù)歸一化。我們按8：1：1的比例去劃分全部數(shù)據(jù)集，劃分出訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)。公平起見，在選擇最大值最小值時只從訓(xùn)練數(shù)據(jù)中選擇，即Di = {第i個因子的訓(xùn)練數(shù)據(jù)}，對五個因子分別取最大值和最小值，然后在因子內(nèi)進(jìn)行歸一化：

其中：i ∈ {1，2，3，4，5}，k表示遍歷全部數(shù)據(jù)。歸一化后的數(shù)據(jù)如圖1所示。

1.4" "數(shù)據(jù)集劃分

通過滑動窗口構(gòu)建數(shù)據(jù)集樣本，分別在劃分好的訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)中按圖2方法構(gòu)建訓(xùn)練集、驗證集和測試集。驗證集用來保存最優(yōu)模型，測試集用來預(yù)測，下文呈現(xiàn)的實驗結(jié)果均來自測試集。根據(jù)歷史m天的數(shù)據(jù)預(yù)測未來n天。本文實驗中m取128，在單任務(wù)回歸預(yù)測中n取1，在多任務(wù)回歸預(yù)測中n取5。

2" 網(wǎng)絡(luò)結(jié)構(gòu)

根據(jù)股票的歷史數(shù)據(jù)來預(yù)測該股票未來的收盤價格屬于回歸問題，近年來，深度學(xué)習(xí)用來處理時間序列的常見模型有RNN、LSTM、TCN等，RNN網(wǎng)絡(luò)可以利用歷史數(shù)據(jù)對未來數(shù)據(jù)做出預(yù)測，但是學(xué)習(xí)不到長期依賴，而LSTM在RNN基礎(chǔ)上做了改進(jìn)，所以以下實驗我們采用LSTM和TCN。Transformer最初用來處理機器翻譯問題，隨后在圖片處理上也有很好的應(yīng)用，其關(guān)鍵組件注意力機制也被很多模型添加引用。去除詞嵌入組件以及對輸出進(jìn)行通道縮減和添加線性層后，Transformer編碼層可以應(yīng)用于回歸問題。

2.1" Transformer編碼層

以Transformer編碼層為主體結(jié)構(gòu)，搭建了如圖3所示的深度神經(jīng)網(wǎng)絡(luò)。不論是傳統(tǒng)的自然語言理解還是本文研究的時間序列，都需要考慮前后順序位置關(guān)系，用于自然語言處理的Transformer是將位置編碼加到詞向量中，而本文通過添加時間特征向量來體現(xiàn)時間信息[14]。

利用式（2）構(gòu)造時間特征，選擇k = 1，即非周期構(gòu)造一個維度，周期性構(gòu)造一個維度。x是原始時間序列特征，sin是周期性激活函數(shù)，w和b是可學(xué)習(xí)的參數(shù)。在實驗中，sin函數(shù)使得算法能夠捕獲數(shù)據(jù)中的周期性行為，與此同時線性項（i = 0對應(yīng)的公式）表示時間的非周期進(jìn)程，用于捕獲輸入中的非周期性模式。

網(wǎng)絡(luò)的輸入是128×5的五因子歷史股票數(shù)據(jù)，經(jīng)過Time2vector層加上時間信息后變?yōu)?28×7的歷史數(shù)據(jù)，依次通過多頭注意力層，殘差和LayerNorm歸一化層，前饋神經(jīng)網(wǎng)絡(luò)層和殘差和LayerNorm歸一化層，最后經(jīng)過全局平均池化降低通道數(shù)，再經(jīng)過線性層和dropout層輸出結(jié)果。

2.2" TCN時間卷積網(wǎng)絡(luò)

TCN模型是以CNN模型為基礎(chǔ)，并做了因果卷積（Causal Convolution）、膨脹卷積（DilatedConvolution）和殘差模塊（Residual block）的改進(jìn)。搭建如4圖所示的TCN網(wǎng)絡(luò)結(jié)構(gòu)。輸出序列經(jīng)過一個全連接層后輸出最終結(jié)果。

2.3" LSTM長短期記憶網(wǎng)絡(luò)

LSTM是一種時間循環(huán)神經(jīng)網(wǎng)絡(luò)，它的提出是為了解決一般的RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）存在的長期依賴問題，數(shù)據(jù)經(jīng)過LSTM后再添加一個全連接層輸出最終結(jié)果。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

2.4" 集成學(xué)習(xí)

集成學(xué)習(xí)是一種學(xué)習(xí)器結(jié)合的方法，最初用于分類問題，由訓(xùn)練數(shù)據(jù)構(gòu)建一組基學(xué)習(xí)器，然后通過對每個基學(xué)習(xí)器的預(yù)測進(jìn)行投票來產(chǎn)生最終預(yù)測。常見的集成方法有兩種，同構(gòu)集成和異構(gòu)集成，本文采用的是異構(gòu)集成，用不同類型的學(xué)習(xí)器，即我們前文提到的3種模型框架。

對回歸問題來說，基于3種模型預(yù)測未來5天的股票收盤價，其中包括單任務(wù)回歸預(yù)測和多任務(wù)回歸預(yù)測，將單任務(wù)回歸預(yù)測第k天的結(jié)果 ，i = 1，3，5以及多任務(wù)回歸預(yù)測中第k天的結(jié)果 ，i = 2，4，6進(jìn)行集成得到最終的預(yù)測結(jié)果，其中i為奇數(shù)表示3種模型單任務(wù)預(yù)測，i為偶數(shù)表示3種模型多任務(wù)預(yù)測，i = 1，2表示Transformer Block；i = 3，4表示TCN Block；i = 5，6表示LSTM Block。預(yù)測第k天的整體流程圖如圖6所示，其中k = 1，2，3，4，5。集成的計算公式如下：

其中" 表示集成的權(quán)重，在平均集成下，=1/6。

在經(jīng)典的集成預(yù)測中，每一個基本預(yù)測模型在最終的預(yù)測中占有完全相等的投票權(quán)。一個自然的想法是，動態(tài)的為所有預(yù)測模型設(shè)置集成權(quán)重，使得預(yù)測精度更高的預(yù)測模型獲得更大的集成權(quán)重，從而提升集成預(yù)測的準(zhǔn)確性。這里，我們利用平均絕對誤差（Mean Absolute Error， MAE）來刻畫預(yù)測模型的準(zhǔn)確性，MAE越小的模型被賦予越大的集成權(quán)重。集成權(quán)重的具體計算方式為：

其中" 表示第k個任務(wù)中第i個模型在驗證集上的MAE值，。在上述公式中，首先計算每一個模型的平均絕對誤差（MAE），進(jìn)而計算每一個MAE與最大MAE的“差距”，將這些“差距”進(jìn)行歸一化作為模型對應(yīng)的集成權(quán)重。這樣設(shè)置權(quán)重，可以使得MAE越小的模型在集成預(yù)測中的權(quán)重越大。

2.5" 損失函數(shù)和優(yōu)化器

對于回歸問題來說，我們選擇均方誤差損失（Mean-Square Error， MSE）來作為損失函數(shù)，單任務(wù)預(yù)測的損失函數(shù)如式（5）所示，多任務(wù)預(yù)測的損失函數(shù)如式（6）所示：

其中" 和" 分別表示單任務(wù)預(yù)測下第i個樣本的真實值和模型的預(yù)測值， 和" 分別表示多任務(wù)預(yù)測下第i個樣本第k天的真實值和模型的預(yù)測值。

選擇Adam作為優(yōu)化器，Adam結(jié)合了AdaGrad和RMSProp兩種算法的優(yōu)點，對梯度的一階矩估計和二階矩估計進(jìn)行綜合考慮，計算出更新步長，通過權(quán)重的不斷更新使損失值越來越小。

2.6" 評估指標(biāo)

本文選擇MAE，平均絕對百分比誤差（Mean Absolute Percentage Error， MAPE），決定系數(shù)R2和相關(guān)系數(shù)r為算法的評估指標(biāo)，這四種指標(biāo)的計算公式如下：

其中" 和" 分別表示真實值和模型預(yù)測值， 表示樣本真實值的平均值，。

3" 實驗結(jié)果分析

3.1" 實驗設(shè)置

本文提出的深度學(xué)習(xí)回歸模型數(shù)在TensorFlow框架下實現(xiàn)，設(shè)備為GPU的服務(wù)器，TensorFlow版本2.6.2，Linux系統(tǒng)版本5.4.0。

將原始數(shù)據(jù)最小最大歸一化之后通過滑動窗口構(gòu)建訓(xùn)練集、驗證集和測試集。實驗分為單任務(wù)回歸預(yù)測和多任務(wù)回歸預(yù)測兩部分，單任務(wù)回歸預(yù)測是根據(jù)過去128天數(shù)據(jù)分別預(yù)測未來5天中單天的收盤價，多任務(wù)回歸預(yù)測是根據(jù)過去128天數(shù)據(jù)預(yù)測未來連續(xù)5天的收盤價。將上述兩類實驗分別在3種模型上訓(xùn)練預(yù)測，模型具體的超參數(shù)設(shè)置如表1所示。

3.2" 結(jié)果分析

將模型在測試集上進(jìn)行預(yù)測，由于初始數(shù)據(jù)進(jìn)行了歸一化，下面的結(jié)果都是返回歸一化之前即原始價格去計算損失。模型名稱后綴O表示單任務(wù)回歸預(yù)測，C表示多任務(wù)回歸預(yù)測，平均集成表示權(quán)重取1/6的單任務(wù)回歸預(yù)測和多任務(wù)回歸預(yù)測集成，本文集成表示按本文方法重新分配權(quán)重的單任務(wù)回歸預(yù)測和多任務(wù)回歸預(yù)測集成。

表2是預(yù)測未來5天股票價格在4個數(shù)據(jù)集上的MAE結(jié)果，可以看出本文設(shè)計的權(quán)重分配方式相比平均集成在4個數(shù)據(jù)集上MAE都減小，并且本文集成相比6種基本模型的MAE值都達(dá)到了最優(yōu)，說明本文方法的有效性。在和SVR [4]模型的比較中本文集成的MAE值更優(yōu)。和ARIMA [2]模型的比較中3個數(shù)據(jù)集上最優(yōu)，剩余1個數(shù)據(jù)集上次優(yōu)。

表2的結(jié)果顯示在5天的總?cè)蝿?wù)上本文集成都達(dá)到最優(yōu)，下面對IBM數(shù)據(jù)集結(jié)果在單天維度上進(jìn)行詳細(xì)分析。表3分別展示了IBM測試集在不同模型以及單天維度上的結(jié)果。從表3中可以看出，單任務(wù)回歸預(yù)測和多任務(wù)回歸預(yù)測在不同的模型上都各有優(yōu)勢，對于TCN和LSTM來說，單任務(wù)和多任務(wù)的結(jié)果差距不是很明顯，但是對于Transformer來說，單任務(wù)預(yù)測未來第1天的結(jié)果優(yōu)勢明顯，但是隨著預(yù)測時間的向后推移，Transformer多任務(wù)的優(yōu)勢體現(xiàn)出來；整體來看，無論是單任務(wù)預(yù)測還是多任務(wù)預(yù)測，預(yù)測未來的時間越遠(yuǎn)，誤差越大。

在單天維度上，應(yīng)用本文提出的權(quán)重分配方式后預(yù)測精度相比于平均集成都有明顯提高，說明該種權(quán)重分配方式的有效性；在原先6種模型上，第1天優(yōu)勢在TCN_O，第2天優(yōu)勢在TCN_C，第3天優(yōu)勢在LSTM_O，最優(yōu)值分散于不同的模型上，經(jīng)過分配權(quán)重的集成后，在單天維度上指標(biāo)的優(yōu)勢變得集中，單天維度的最優(yōu)值不再分散于各個模型上，這也是集成方法的優(yōu)勢所在。

將單任務(wù)預(yù)測和多任務(wù)預(yù)測的6種模型按本文方法分配權(quán)重集成在測試集上第3天的預(yù)測結(jié)果以及MAE畫圖，基線模型選取的是Transformer Block單任務(wù)預(yù)測在測試集第3天上的結(jié)果。從圖7中可以看出本文方法數(shù)據(jù)擬合的比較好，MAE波動更小且靠近0。

為了展示本文方法在股票價格的預(yù)測值和真實值的分布，計算決定系數(shù)和相關(guān)系數(shù)如表4所示，通過結(jié)果可以看出兩者存在強相關(guān)性，同時隨著時間的向后推移，相關(guān)系數(shù)變小，這也和前文提到的預(yù)測未來的時間越遠(yuǎn)MAE誤差越大相符合。

將股票價格的真實值作為橫軸，本文方法的預(yù)測值作為縱軸，繪制第3天的散點圖如圖8所示，可以更直觀地看出兩者的相關(guān)性。

4" 結(jié)" 論

本文基于股票的歷史開盤價、收盤價、最高價、最低價和交易量數(shù)據(jù)，提出了預(yù)測未來多日股票收盤價的集成算法。這一算法將改進(jìn)的Transformer編碼器模型、長短期記憶網(wǎng)絡(luò)和時間卷積網(wǎng)絡(luò)3種模型分別在單任務(wù)預(yù)測和多任務(wù)預(yù)測模式下訓(xùn)練，并且我們?yōu)椴煌Ｐ偷膯稳蝿?wù)預(yù)測和多任務(wù)預(yù)測集成設(shè)計了一種新的權(quán)重分配方式。在測試集上的結(jié)果表明本文方法有較低的平均絕對誤差和較高的相關(guān)性。通過本文方法投資者可以作為參考來預(yù)測未來股價進(jìn)行股票投資。未來的研究考慮納入更多的因子作為特征，并且加入投資者情緒信息來輔助預(yù)測。

參考文獻(xiàn)：

[1] BOLLERSLEV T. Generalized autoregressive conditional heteroskedasticity [J].Eeri Research Paper，1986，31（3）：307-327.

[2] BOX G E P，PIERCE D A. Distribution of residual autocorrelations in autoregressive-integrated moving averagetime seriesmodels [J].Journal of the American statistical Association，1970，65（332）：1509-1526.

[3] CORTES C，VAPNIK V. Support vector machine [J].Machine learning，1995，20（3）：273-297.

[4] 陳懿冰，張玲玲，聶廣禮，等.基于改進(jìn)的支持向量回歸機的金融時序預(yù)測 [J].數(shù)學(xué)的實踐與認(rèn)識，2012，42（4）：38-44.

[5] 李想.基于XGBoost算法的多因子量化選股方案策劃 [D].上海：上海師范大學(xué)，2017.

[6] ZHANG H. The forecasting model of stock price based on PCA and BP neural network [J].Journal of Financial Risk Management，2018，7（4）：369-385.

[7] SIRIPURAPU A. Convolutional networks for stock trading [J].Stanford Univ. Dep. Comput. Sci，2014，1（2）：1-6.

[8] 齊曉娜，張宇敬，鄭艷娟，等.深度學(xué)習(xí)算法在股票價格預(yù)測方面的研究 [J].軟件，2021，42（7）：70-72.

[9] 劉震，王惠敏，華思瑜，等.基于深度學(xué)習(xí)的股價預(yù)測研究 [J].科技創(chuàng)新導(dǎo)報，2018，15（13）：247-248.

[10] VASWANI A，SHAZEER N，PARMAR N，et al. Attention is all you need [C]//NIPS'17： Proceedings of the 31st International Conference on Neural Information Processing Systems.Red Hook：Curran Associates Inc，2017：6000-6010.

[11] 張倩玉，嚴(yán)冬梅，韓佳彤.結(jié)合深度學(xué)習(xí)和分解算法的股票價格預(yù)測研究 [J].計算機工程與應(yīng)用，2021，57（5）：56-64.

[12] 陳詩樂，王笑，周昌軍.基于GA-Transformer模型的多因子股票預(yù)測 [J].廣州大學(xué)學(xué)報：自然科學(xué)版，2021，20（1）：44-55.

[13] 嚴(yán)冬梅，何雯馨，陳智.融合情感特征的基于RoBERTa-TCN的股價預(yù)測研究 [J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2022，6（12）：123-133.

[14] KAZEMI S M，GOEL R，EGHBALI S，et al. Time2vec：Learning a vector representation of time[J].arXiv：

1907.05321 [cs.LG].（2019-07-11）.http：//arxiv.org/abs/1907.05321.

作者簡介：郭慧婷（1998—），女，漢族，山西晉中人，碩士在讀，研究方向：深度學(xué)習(xí)在金融時間序列上的應(yīng)用；常延貞（1981—），女，漢族，山東濱州人，副教授，博士，研究方向：偏微分方程數(shù)值解、計算最優(yōu)控制；厲亮（1984—），男，漢族，臺灣苗栗人，副教授，博士，研究方向：隨機偏微分方程、金融數(shù)學(xué)、量化投資+AI；通訊作者：徐永利（1982—），男，漢族，山東濟南人，教授，博士，研究方向：統(tǒng)計學(xué)習(xí)理論、機器學(xué)習(xí)、計算機輔助青光眼診斷。