林杰　康慧琳

摘 要： 針對(duì)中國(guó)股票市場(chǎng)，提出了一種基于注意力機(jī)制的LSTM股價(jià)趨勢(shì)預(yù)測(cè)模型。選取42只中國(guó)上證50從2009年到2017年的股票數(shù)據(jù)為實(shí)驗(yàn)對(duì)象，根據(jù)股票市場(chǎng)普遍認(rèn)可的經(jīng)驗(yàn)規(guī)則，分別對(duì)每個(gè)技術(shù)指標(biāo)進(jìn)行量化處理得到股票漲跌的趨勢(shì)數(shù)據(jù)，并和交易數(shù)據(jù)混合作為預(yù)測(cè)模型的輸入，然后使用基于注意力機(jī)制的LSTM模型提取股價(jià)趨勢(shì)特征進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明：引入股票離散型趨勢(shì)數(shù)據(jù)到預(yù)測(cè)模型中，能夠在已有交易數(shù)據(jù)和技術(shù)指標(biāo)的基礎(chǔ)上提升預(yù)測(cè)精確度，與傳統(tǒng)的機(jī)器學(xué)習(xí)模型SVM和單一的LSTM模型相比，基于注意力機(jī)制的LSTM模型具有更好的預(yù)測(cè)能力。

關(guān)鍵詞： 股價(jià)趨勢(shì)預(yù)測(cè);LSTM;注意力機(jī)制

中圖分類號(hào)： TP 183/ F 830.9

文獻(xiàn)標(biāo)志碼： A

Abstract： This paper addresses problem of stock price movements prediction for china stock markets. We present an Attention-Based LSTM approach to predict stock price movements. Nine years of historical data from 2009 to 2017 of 42 stocks of SSE 50 are selected for experimental evaluation. According to the empirical rules generally accepted by the stock market， the stock technical indicators are quantified to obtain the stock price movements prediction and together with the trading data as input to the prediction model. Then， we use Attention-Based LSTM to extract important features for prediction. The experimental results suggest that introducing stock discrete trend data into the prediction model can achieve higher prediction accuracy based on trading data and technical indicators. Experimental results also show that the Attention-Based LSTM model outperforms both traditional machine learning model SVM and the single LSTM model on overall performance.

Key words： stock price movements prediction; LSTM; attention mechanism

股票市場(chǎng)被稱為“經(jīng)濟(jì)晴雨表”，它的波動(dòng)與市場(chǎng)經(jīng)濟(jì)的興衰息息相關(guān)。股價(jià)趨勢(shì)預(yù)測(cè)是一個(gè)經(jīng)典問題，一直受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。Fama（1970）的有效市場(chǎng)假說（efficient market hypothesis）指出，股票市場(chǎng)是“有效信息”市場(chǎng)。也就是說，如果能把股票交易數(shù)據(jù)進(jìn)行有效處理并使用合適的算法，就可以預(yù)測(cè)股票的漲跌趨勢(shì)，這一理論成為后續(xù)股票預(yù)測(cè)研究工作的基礎(chǔ)和依據(jù)。

目前越來越多的學(xué)者開始投入股票預(yù)測(cè)研究中，試圖用各種方法和模型來解決金融時(shí)間序列數(shù)據(jù)非線性、非平穩(wěn)、高噪聲，以及股票市場(chǎng)規(guī)則高復(fù)雜性的問題。近年來， 隨著大數(shù)據(jù)與云計(jì)算的興起，深度學(xué)習(xí)算法取得了巨大突破。深度神經(jīng)網(wǎng)絡(luò)是一個(gè)高度復(fù)雜的非線性人工智能系統(tǒng)，適合處理多影響因素、不穩(wěn)定的非線性難題，它能夠從數(shù)據(jù)中提取抽象特征，并能在不依賴計(jì)量經(jīng)濟(jì)學(xué)假設(shè)和金融專業(yè)知識(shí)的情況下識(shí)別隱藏的非線性關(guān)系，這使得深度學(xué)習(xí)可能成為解決股價(jià)趨勢(shì)預(yù)測(cè)問題的突破口。

早在20世紀(jì)90年代，應(yīng)用神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)股價(jià)趨勢(shì)便受到國(guó)外學(xué)術(shù)界的廣泛關(guān)注。White（1988）首次將BP神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于股票市場(chǎng)時(shí)間序列的處理和預(yù)測(cè)中，使用IBM公司股票日收益率為實(shí)證研究的對(duì)象。Kolarik和Rudorfer （1994）將ANN模型和ARIMA模型比較，發(fā)現(xiàn)ANN模型預(yù)測(cè)效果更優(yōu)。近年來，國(guó)內(nèi)外學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)股票市場(chǎng)問題的研究也取得了進(jìn)展。Bildirici 等（2009）學(xué)者將ARCH/GARCH模型和ANN模型相結(jié)合，選取伊斯坦布爾股票市場(chǎng)三十年的股票歷史數(shù)據(jù)作為研究對(duì)象，發(fā)現(xiàn)GARCH和ANN的混合模型比APGARCH模型具有更好的預(yù)測(cè)效果，但處理海量數(shù)據(jù)比較棘手。Hammad等（2007）利用多層BP神經(jīng)網(wǎng)絡(luò)分析了約旦證劵市場(chǎng)的股票價(jià)格，通過實(shí)證分析發(fā)現(xiàn)相比較于統(tǒng)計(jì)學(xué)和計(jì)量經(jīng)濟(jì)學(xué)分析方法，BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)效果更優(yōu)，但是文章中并未提及傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)容易陷入局部極小值的問題。

雖然人工神經(jīng)網(wǎng)絡(luò)相較于其他模型有較好的預(yù)測(cè)能力，但經(jīng)過多年的模型優(yōu)化，人工神經(jīng)網(wǎng)絡(luò)及其各種改進(jìn)的模型仍不能完全擺脫易陷入局部最小值的缺陷，研究人員開始尋找新的解決思路。近年來，深度學(xué)習(xí)算法在語(yǔ)音識(shí)別、自然語(yǔ)言處理、計(jì)算機(jī)視覺等諸多領(lǐng)域均取得了巨大成功?？紤]到時(shí)序關(guān)系在金融領(lǐng)域是普遍存在的，加上深度學(xué)習(xí)中LSTM對(duì)時(shí)間序列有著良好的處理能力，研究人員開始將LSTM模型應(yīng)用到金融時(shí)間序列問題的研究中。例如，Chen等（2015）使用LSTM預(yù)測(cè)中國(guó)股票回報(bào)率，根據(jù)投資回報(bào)率將標(biāo)簽分為7類，利用LSTM模型對(duì)股票回報(bào)率進(jìn)行預(yù)測(cè)。與隨機(jī)預(yù)測(cè)方法相比，LSTM模型提高了股票回報(bào)率預(yù)測(cè)的準(zhǔn)確率。Fischer（2018）使用LSTM預(yù)測(cè)了金融市場(chǎng)的表現(xiàn)，形成了短期的投資策略，包括直接預(yù)測(cè)股價(jià)和投資組合等。

目前將LSTM模型應(yīng)用于金融時(shí)間序列的研究偏少，同時(shí)LSTM模型用于金融時(shí)間序列預(yù)測(cè)的結(jié)果并不令人滿意。注意力機(jī)制（attention mechanism）最早由Treisman等（1980）提出，通過計(jì)算注意力概率分布從眾多信息中選出關(guān)鍵信息，對(duì)關(guān)鍵性輸入進(jìn)行突出，實(shí)現(xiàn)對(duì)傳統(tǒng)模型的優(yōu)化。已有實(shí)驗(yàn)表明，融入注意力機(jī)制的LSTM比單一的LSTM在機(jī)器翻譯、情感分類、關(guān)系分類等問題中有更好的表現(xiàn)。例如，Wang等（2016）提出的AT-LSTM模型，在LSTM的隱藏層中加入了注意力機(jī)制，提高了文本情感分類的精確度。

因此，本文提出了一種基于注意力機(jī)制的LSTM股價(jià)趨勢(shì)預(yù)測(cè)模型，用來提高股價(jià)趨勢(shì)預(yù)測(cè)的精度。首先，介紹了實(shí)驗(yàn)使用的數(shù)據(jù)集，著重描述了連續(xù)型技術(shù)指標(biāo)和離散型技術(shù)指標(biāo)。然后，詳細(xì)描述了本文提出的基于注意力機(jī)制的LSTM預(yù)測(cè)模型架構(gòu)。最后進(jìn)行兩個(gè)對(duì)比實(shí)驗(yàn)，驗(yàn)證了引入股票離散型趨勢(shì)數(shù)據(jù)和本文提出的基于注意力機(jī)制的LSTM股價(jià)趨勢(shì)預(yù)測(cè)模型的有效性。

1 數(shù)據(jù)集描述

從大智慧客戶端獲取了42只中國(guó)上證50從2009年1月至2017年12月的股票交易數(shù)據(jù)，每條交易數(shù)據(jù)都有開盤價(jià)、收盤價(jià)、最高價(jià)、最低價(jià)、交易量等信息，共計(jì)83716條交易數(shù)據(jù)，并根據(jù)交易數(shù)據(jù)計(jì)算得到股票的技術(shù)指標(biāo)。選取每支股票2016年和2017年的數(shù)據(jù)作為測(cè)試集，其余部分用來模型訓(xùn)練。42只股票數(shù)據(jù)共同構(gòu)成實(shí)驗(yàn)的數(shù)據(jù)集，共同反映市場(chǎng)情況。

1.1 數(shù)據(jù)預(yù)處理

1.1.1 數(shù)據(jù)標(biāo)準(zhǔn)化

股票交易數(shù)據(jù)各變量數(shù)值處于不同的量級(jí)，如果不進(jìn)行標(biāo)準(zhǔn)化處理，大量級(jí)變量對(duì)結(jié)果的影響會(huì)覆蓋小量級(jí)變量對(duì)結(jié)果的影響，從而丟失小量級(jí)變量所包含的信息。需注意的是，由于開盤價(jià)、收盤價(jià)、最高價(jià)和最低價(jià)4者間具有相關(guān)性，因此對(duì)這4個(gè)變量統(tǒng)一進(jìn)行標(biāo)準(zhǔn)化處理。本文采用min-max標(biāo)準(zhǔn)化法，如下所示：

1.2 技術(shù)指標(biāo)介紹

1.2.1 連續(xù)型技術(shù)指標(biāo)——實(shí)際時(shí)序序列

使用以下7個(gè)技術(shù)指標(biāo)用于股價(jià)趨勢(shì)預(yù)測(cè)：MA、K、D、WR、MACD、RSI和CCI。根據(jù)表1中的公式，通過股票交易數(shù)據(jù)，可以計(jì)算得到這7個(gè)技術(shù)指標(biāo)值。通過觀察表1可知，技術(shù)指標(biāo)是連續(xù)型數(shù)值，它們的值在[-1，1]，不會(huì)出現(xiàn)大量級(jí)覆蓋小量級(jí)信息的情況。

1.2.2 離散型技術(shù)指標(biāo)——股價(jià)趨勢(shì)預(yù)測(cè)

根據(jù)現(xiàn)有的專家知識(shí)經(jīng)驗(yàn)，對(duì)1.2.1中的股票技術(shù)指標(biāo)（連續(xù)型）進(jìn)行量化處理得到各指標(biāo)對(duì)股票漲跌趨勢(shì)的預(yù)測(cè)，它反映的是各指標(biāo)對(duì)未來股價(jià)“上漲”和“下跌”的判斷。在這里，把它稱為離散型技術(shù)指標(biāo)。其中，用“+1”代表“上漲”，“-1”代表“下跌”。下文將詳細(xì)介紹每個(gè)離散型技術(shù)指標(biāo)漲跌判斷的專家規(guī)則。

（1）移動(dòng)平均線（MA）

移動(dòng)平均線又稱均線，將一定時(shí)期內(nèi)的股票（指數(shù)）收盤價(jià)加以平均得到。將某一股票不同時(shí)間的平均值連接起來，形成一根MA，用以觀察股票變動(dòng)趨勢(shì)。有專家經(jīng)驗(yàn)知識(shí)指出：若當(dāng)前價(jià)高于其移動(dòng)平均線，則產(chǎn)生購(gòu)買信號(hào)，預(yù)示未來行情看漲;若當(dāng)前價(jià)低于其移動(dòng)平均線，則產(chǎn)生出售信號(hào)，預(yù)示未來行情看跌。因此，量化規(guī)則如下：如果當(dāng)前收盤價(jià)Clsprc高于MA，行情漲跌趨勢(shì)為“漲”，標(biāo)記為“+1”;如果當(dāng)前收盤價(jià)Clsprc低于MA，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”。在股票市場(chǎng)，常用線有5天、10天、30天、60天、120天和240天的指標(biāo)。本文中使用10日均線，即MA2。

（2）隨機(jī)指標(biāo)（K、D）

K和D通過最近幾個(gè)交易日的最高價(jià)、最低價(jià)和收盤價(jià)的波動(dòng)，來估計(jì)未來的漲跌趨勢(shì)，精準(zhǔn)反映股票在一段時(shí)間內(nèi)的隨機(jī)振幅，是進(jìn)行中短期趨勢(shì)波段分析研判的較佳的技術(shù)指標(biāo)。有專家經(jīng)驗(yàn)知識(shí)指出：一般當(dāng)月K、D值在低位時(shí)逐步進(jìn)場(chǎng)吸納，即產(chǎn)生購(gòu)買信號(hào)。因此，量化規(guī)則如下：如果當(dāng)前K值大于前一天，行情漲跌趨勢(shì)為“漲”，標(biāo)記為“+1”;如果當(dāng)前K值小于前一天，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”。D也遵從此規(guī)定。

（3）威廉指標(biāo)（WR）

利用“最后一周期”的最高價(jià)、最低價(jià)、收市價(jià)，計(jì)算當(dāng)日收盤價(jià)的擺動(dòng)點(diǎn)，度量市場(chǎng)處于超買還是超賣狀態(tài)。有專家經(jīng)驗(yàn)知識(shí)指出：WR屬于擺動(dòng)類反向指標(biāo)，即股價(jià)上漲，WR指標(biāo)向下，股價(jià)下跌，WR指標(biāo)向上。因此，量化規(guī)則如下：如果當(dāng)前WR值小于前一天，行情漲跌趨勢(shì)為“漲”，標(biāo)記為“+1”;如果當(dāng)前WR值大于前一天，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”。WR1是10天買賣強(qiáng)弱指標(biāo);WR2是6天買賣強(qiáng)弱指標(biāo)。本文中使用WR1。

（4）指數(shù)平滑移動(dòng)平均線（MACD）

MACD由快的指數(shù)移動(dòng)平均線（EMA12）減去慢的指數(shù)移動(dòng)平均線（EMA26）得到。有專家經(jīng)驗(yàn)知識(shí)指出：MACD從負(fù)數(shù)轉(zhuǎn)向正數(shù)，是購(gòu)買的信號(hào);MACD從正數(shù)轉(zhuǎn)向負(fù)數(shù)，是售出的信號(hào)。因此，量化規(guī)則如下：如果當(dāng)前MACD值大于前一天，行情漲跌趨勢(shì)為“漲”，標(biāo)記為“+1”;如果當(dāng)前MACD值小于前一天，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”。

（5）相對(duì)強(qiáng)弱指數(shù)（RSI）

相對(duì)強(qiáng)弱指數(shù)RSI以數(shù)字計(jì)算的方式來量化分析市場(chǎng)買賣意向和實(shí)力。相對(duì)強(qiáng)弱指數(shù)RSI認(rèn)為，在一個(gè)正常的股市中，多空買賣雙方的力量必須得到均衡，股價(jià)才能穩(wěn)定。有專家經(jīng)驗(yàn)知識(shí)指出：RSI指標(biāo)的取值范圍在0～100，70以上可認(rèn)為是超買，30以下可認(rèn)為是超賣。在正常區(qū)間（30，70）內(nèi)，若向上的力量較大，則RSI曲線上升，是購(gòu)買的信號(hào)，若向下的力量較大，則RSI曲線下降，是售出的信號(hào)。因此，量化規(guī)則如下：若當(dāng)前RSI值小于30，行情漲跌趨勢(shì)為“漲”，標(biāo)記為“+1”;若當(dāng)前RSI值大于70，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”;如果RSI值在30～70，當(dāng)前RSI值大于前一天，行情漲跌趨勢(shì)為“漲”，標(biāo)記為“+1”;若當(dāng)前RSI值小于前一天，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”。

（6）隨順市勢(shì)指標(biāo)（CCI）

CCI是專門測(cè)量股價(jià)是否已超出常態(tài)分布范圍，波動(dòng)于正無窮大和負(fù)無窮大之間的指標(biāo)。有專家經(jīng)驗(yàn)知識(shí)指出：在100以上可認(rèn)為是超買，-100以下可認(rèn)為是超賣。在振蕩區(qū)（-100，+100），若向上的力量較大，是購(gòu)買的信號(hào)，若向下的力量較大，則是售出的信號(hào)。因此，量化規(guī)則如下：若當(dāng)前CCI值小于-100，行情漲跌趨勢(shì)為“漲”，標(biāo)記為“+1”;若當(dāng)前CCI值大于100，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”;如果CCI值在-100～+100，當(dāng)前CCI值大于前一天，行情漲跌趨勢(shì)為“漲”， 標(biāo)記為“+1”，若當(dāng)前CCI值小于前一天，行情漲跌趨勢(shì)為“跌”，標(biāo)記為“-1”。

2 預(yù)測(cè)模型

本文所提出的基于注意力機(jī)制的LSTM的股價(jià)趨勢(shì)預(yù)測(cè)模型架構(gòu)如圖1所示。它包括數(shù)據(jù)準(zhǔn)備層、輸入層、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層、注意力機(jī)制層、全連接層和輸出層。數(shù)據(jù)準(zhǔn)備層完成股票混合數(shù)據(jù)集的構(gòu)建;長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層充分發(fā)揮LSTM的優(yōu)勢(shì)，保持股票數(shù)據(jù)信息并提取其特征;注意力機(jī)制層用來識(shí)別股票漲跌最主要的特征;最后經(jīng)過全連接層，使用Softmax分類器得出分類結(jié)果。

2.1 數(shù)據(jù)準(zhǔn)備層

預(yù)測(cè)模型的輸入包括交易數(shù)據(jù)和技術(shù)指標(biāo)兩部分，技術(shù)指標(biāo)又分為連續(xù)型（詳見1.2.1）和離散型（詳見1.2.2），預(yù)測(cè)模型的輸出是“漲跌”預(yù)測(cè)標(biāo)簽。將前t天的股票數(shù)據(jù)依次輸入Attention-Based LSTM網(wǎng)絡(luò)中，預(yù)測(cè)第t+1天的漲跌情況。將模型預(yù)測(cè)得到的結(jié)果與真實(shí)的漲跌情況進(jìn)行對(duì)比，來調(diào)整預(yù)測(cè)模型。

2.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層

用數(shù)據(jù)準(zhǔn)備層的輸出數(shù)據(jù)作為長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層的輸入，充分發(fā)揮LSTM的時(shí)間序列處理優(yōu)勢(shì)，保持股票信息并提取其特征。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short term memory，LSTM）是一種改進(jìn)的RNN模型，它解決了RNN訓(xùn)練過程中梯度爆炸或者梯度消失等問題，所有的RNN都有一種重復(fù)的神經(jīng)網(wǎng)絡(luò)模塊鏈?zhǔn)降男问?。在?biāo)準(zhǔn)的RNN中，這個(gè)重復(fù)的模塊只有一個(gè)非常簡(jiǎn)單的結(jié)構(gòu)，例如一個(gè)tanh層或者sigmoid層。與單一tanh循環(huán)體結(jié)構(gòu)不同，LSTM是一種擁有三個(gè)“門”的特殊網(wǎng)絡(luò)結(jié)構(gòu)，它們分別是忘記門（forget gate）、輸入門（input gate）和輸出門（output gate）。忘記門負(fù)責(zé)選擇忘記過去無用信息;輸入門負(fù)責(zé)確定有用的新信息被存放在細(xì)胞狀態(tài)中;輸出門決定輸出信息。LSTM單元結(jié)構(gòu)如圖2所示。

記憶模塊進(jìn)行狀態(tài)更新和信息輸出的過程如下：

（1） LSTM的核心是Cell ：“Cell State”即細(xì)胞狀態(tài)，是隨著時(shí)間而變化的整個(gè)模型的記憶傳輸帶。傳送帶本身是無法控制哪些信息是否被記憶，起控制作用的忘記門、輸入門和輸出門。

3 實(shí)驗(yàn)結(jié)果與分析

為了檢驗(yàn)本文提出的離散型技術(shù)性指標(biāo)的效果，以及基于注意力機(jī)制的LSTM預(yù)測(cè)模型的作用，設(shè)置了以下兩組實(shí)驗(yàn)。實(shí)驗(yàn)一， 為檢驗(yàn)本文提出的離散型技術(shù)性指標(biāo)的效果，使用三種不同的輸入數(shù)據(jù)，分別使用基于注意力機(jī)制的LSTM模型進(jìn)行股價(jià)趨勢(shì)預(yù)測(cè)實(shí)驗(yàn);實(shí)驗(yàn)二，為了檢驗(yàn)本文提出的基于注意力機(jī)制的LSTM模型的效果，使用基本交易數(shù)據(jù)（7維）+離散型技術(shù)指標(biāo)（7維）為輸入數(shù)據(jù)，分別使用Attention-Based LSTM模型、SVM模型和LSTM模型進(jìn)行股價(jià)趨勢(shì)預(yù)測(cè)實(shí)驗(yàn)。

本文的實(shí)驗(yàn)環(huán)境為Ubuntu 16.04操作系統(tǒng)， 采用Tensorflow 開源平臺(tái)作為深度學(xué)習(xí)平臺(tái)，采用Python3.5編寫實(shí)驗(yàn)程序，利用Python調(diào)用Tensorflow框架來實(shí)現(xiàn)基于注意力機(jī)制的LSTM模型的搭建。在SVM分類對(duì)比實(shí)驗(yàn)中，采用Python的第三方機(jī)器學(xué)習(xí)庫(kù)Scikit-learn來實(shí)現(xiàn)傳統(tǒng)機(jī)器學(xué)習(xí)的分類方法。

3.1 模型參數(shù)

在傳統(tǒng)機(jī)器學(xué)習(xí)SVM分類方法中，設(shè)置Kernel為Polynomia，目標(biāo)函數(shù)的懲罰系數(shù)C為1，degree設(shè)置為1。在LSTM模型和Attention-Based LSTM模型中，設(shè)置droupout rate 為 0.5。在訓(xùn)練的時(shí)候采用小批量隨機(jī)梯度下降法，以減少訓(xùn)練損失，mini-batch設(shè)置為64。

3.2 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用的評(píng)估分類模型的指標(biāo)為模型分類的準(zhǔn)確率（Accuracy）和F值（F-measuree）。計(jì)算這兩個(gè)評(píng)估統(tǒng)計(jì)指標(biāo)需要先計(jì)算精確率（Precision）和召回率（Recall）。精確率和召回率公式如下：

Precisionpositive=TPTP+FP（13）

Precisionnegative=TNTN+FN（14）

Recallpositive=TPTP+FN（15）

Recallnegative=TNTN+FP（16）

其中：TP表示預(yù)測(cè)上漲趨勢(shì)，實(shí)際也為上漲的樣本個(gè)數(shù);FP表示預(yù)測(cè)下跌趨勢(shì)，實(shí)際也為上漲的樣本個(gè)數(shù);TN表示預(yù)測(cè)下跌趨勢(shì)，實(shí)際也為下跌的樣本個(gè)數(shù);FN表示預(yù)測(cè)下跌趨勢(shì)，實(shí)際也為上漲的樣本個(gè)數(shù)。

Accuracy和F-measure公式如下：

Accuracy=TP+TNTP+FN+TN+FP（17）

F-measure=2×Precision×RecallPrecision+Recall（18）

其中：Precision是Precisionpositite和Precisionnegative的加權(quán)平均;Recall是Recallpositite和Recallnegative的加權(quán)平均。

3.3 對(duì)比實(shí)驗(yàn)分析

3.3.1 不同輸入數(shù)據(jù)集的預(yù)測(cè)對(duì)比實(shí)驗(yàn)

為檢驗(yàn)本文提出的離散型技術(shù)性指標(biāo)的效果，實(shí)驗(yàn)分別采用以下三種輸入數(shù)據(jù)集：a. 基本交易數(shù)據(jù)（7維）;b. 基本交易數(shù)據(jù)（7維）+連續(xù)型技術(shù)指標(biāo)（7維）;c. 基本交易數(shù)據(jù)（7維）+離散型技術(shù)指標(biāo)（7維）。本實(shí)驗(yàn)中，用前20天的股票數(shù)據(jù)去預(yù)測(cè)第21天的股票漲跌，使用基于注意力機(jī)制的LSTM網(wǎng)絡(luò)作為預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果如表2所示。

使用BASIC+離散型指標(biāo)數(shù)據(jù)的數(shù)據(jù)集在基于注意力機(jī)制的LSTM模型中是最優(yōu)的，將近55%的正確率。相較于只使用交易數(shù)據(jù)，正確率提升將近2.5%，相較于BASIC+連續(xù)型輸入，正確率有1%的提高，實(shí)驗(yàn)結(jié)果驗(yàn)證了加入離散型技術(shù)指標(biāo)的有效性。離散型技術(shù)指標(biāo)數(shù)據(jù)作為模型的輸入時(shí)，它向模型輸入了各個(gè)技術(shù)指標(biāo)所感知的趨勢(shì)信息，相較于輸入股票實(shí)際的技術(shù)指標(biāo)，這是向前邁進(jìn)的一步。實(shí)驗(yàn)小結(jié)：引入股票離散型趨勢(shì)數(shù)據(jù)到預(yù)測(cè)模型中，能夠在已有交易數(shù)據(jù)和技術(shù)指標(biāo)的基礎(chǔ)上提升預(yù)測(cè)精確度。

3.3.2 Attention-Based LSTM模型與SVM、LSTM模型的對(duì)比實(shí)驗(yàn)

為了檢驗(yàn)本文提出的含有注意力機(jī)制的LSTM模型的效果，分別使用Attention-Based LSTM模型、SVM模型和LSTM模型進(jìn)行股價(jià)漲跌預(yù)測(cè)實(shí)驗(yàn)。本實(shí)驗(yàn)中，用前20天的股票數(shù)據(jù)去預(yù)測(cè)第21天的股票漲跌，使用基本交易數(shù)據(jù)（7維）+離散型技術(shù)指標(biāo)（7維）為輸入數(shù)據(jù)。實(shí)驗(yàn)結(jié)果如表3所示。

表3列出了含有離散型技術(shù)指標(biāo)混合數(shù)據(jù)集分別在SVM、LSTM和LSTM+ Attention 模型的分類正確率和F值。從實(shí)驗(yàn)結(jié)果可以看出，SVM在本次試驗(yàn)中表現(xiàn)最差，使用LSTM模型進(jìn)行股票預(yù)測(cè)，相較于SVM模型，預(yù)測(cè)的正確率提高了3%。實(shí)驗(yàn)結(jié)果表明了LSTM模型在股票預(yù)測(cè)中的有效性。Attention-Based LSTM模型表現(xiàn)最為出色，正確率提升將近5%。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的機(jī)器學(xué)習(xí)模型SVM和單一的LSTM模型相比，基于注意力機(jī)制的LSTM模型具有更好的預(yù)測(cè)能力。

4 總結(jié)與展望

針對(duì)金融時(shí)間序列動(dòng)態(tài)不穩(wěn)定性以及長(zhǎng)期依賴的特性，本文提出了一種基于注意力機(jī)制的LSTM股價(jià)趨勢(shì)預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明引入股票離散型趨勢(shì)數(shù)據(jù)到預(yù)測(cè)模型中，能夠在已有交易數(shù)據(jù)和技術(shù)指標(biāo)的基礎(chǔ)上提升預(yù)測(cè)精確度，與傳統(tǒng)的機(jī)器學(xué)習(xí)模型SVM和單一的LSTM模型相比，基于注意力機(jī)制的LSTM模型具有更好的預(yù)測(cè)能力。未來可以進(jìn)一步從豐富專家經(jīng)驗(yàn)規(guī)律特征，引入宏觀經(jīng)濟(jì)指標(biāo)，加入金融新聞與評(píng)論、網(wǎng)民情緒語(yǔ)料等方面來優(yōu)化本模型。

參考文獻(xiàn)：

[1] MALKIEL B G， FAMA E F. Efficient capital markets： a review of theory and empirical work[J]. The journal of Finance， 1970， 25（2）： 383-417.

[2] WHITE H. Economic prediction using neural networks： the case of IBM daily stock returns[C]//Neural Networks， 1988， IEEE International Conference on. IEEE，1988：451-458.

[3] KOLARIK T， RUDORFER G.Time series forecasting using neural networks[J].Time Series and Neural Networks，1994，12（3）：86-94.

[4] BILDIRICI M， ERSIN. Improving forecasts of GARCH family models with the artificial neural networks： an application to the daily returns in Istanbul Stock Exchange[J]. Expert Systems with Applications， 2009， 36（4）： 7355-7362.

[5] HAMMAD A， ALI S M A， HALL E L. Forecasting the Jordanian stock price using artificial neural network[J]. Intelligent Engineering Systems through Artificial Neural Networks， 2007， 17.

[6] GRAVES A， MOHAMED A， HINTON G. Speech recognition with deep recurrent neural networks[C]//Acoustics， speech and signal processing （icassp）， 2013 ieee international conference on. IEEE， 2013： 6645-6649.

[7] WANG S， JIANG J. Learning natural language inference with LSTM[J]. arXiv preprint arXiv：1512.08849， 2015.

[8] SUN Y， WANG X， TANG X. Deeply learned face representations are sparse， selective， and robust[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015： 2892-2900.

[9] CHEN K， ZHOU Y， DAI F. A LSTM-based method for stock returns prediction： a case study of China stock market[C]//Big Data （Big Data）， 2015 IEEE International Conference on. IEEE， 2015： 2823-2824.

[10] FISCHER T， KRAUSS C. Deep learning with long short-term memory networks for financial market predictions[J]. European Journal of Operational Research， 2018， 270（2）： 654-669.

[11] TREISMAN A M， GELADE G. A feature-integration theory of attention[J]. Cognitive psychology， 1980， 12（1）： 97-136.

[12] LUONG M T， PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation[J]. arXiv preprint arXiv：1508.04025， 2015.

[13] WANG Y， HUANG M， ZHAO L. Attention-based lstm for aspect-level sentiment classification[C]//Proceedings of the 2016 conference on empirical methods in natural language processing. 2016： 606-615.

[14] ZHOU P， SHI W， TIAN J， et al. Attention-based bidirectional long short-term memory networks for relation classification[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. 2016， 2： 207-212.

[15] KARA Y， BOYACIOGLU M A， BAYKAN ? K. Predicting direction of stock price index movement using artificial neural networks and support vector machines： the sample of the Istanbul Stock Exchange[J]. Expert systems with Applications， 2011， 38（5）： 5311-5319.

[16] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural computation， 1997， 9（8）： 1735-1780.

[17] MIKOLOV T， KARAFI？T M， BURGET L， et al. Recurrent neural network based language model[C]//Eleventh Annual Conference of the International Speech Communication Association. 2010.

[18] ABADI M， BARHAM P， CHEN J， et al. Tensorflow： a system for large-scale machine learning[C]//OSDI. 2016， 16： 265-283.