沈 括，朱怡帆，孟祥毅，李海濟(jì)

（安徽大學(xué)互聯(lián)網(wǎng)學(xué)院，合肥 230031）

0 引言

由于城市可利用土地不斷減少，而機(jī)動(dòng)車流量持續(xù)增加，城市的交通系統(tǒng)建設(shè)速度無(wú)法滿足日益增長(zhǎng)的交通需求，交通擁堵的情況日益常態(tài)化。百度地圖公布數(shù)據(jù)顯示，2020 年中國(guó)交通擁堵排名前三的城市分別是重慶、貴陽(yáng)和北京，長(zhǎng)期的交通擁堵不僅增大了交通管理難度，還容易發(fā)生交通事故。如何緩解交通擁堵、提高通行效率是如今智慧交通面臨的重要課題。

在現(xiàn)如今的大數(shù)據(jù)時(shí)代背景下，交通數(shù)據(jù)的規(guī)模不斷增大，累積的數(shù)據(jù)顛覆了傳統(tǒng)數(shù)據(jù)的規(guī)模，甚至可以達(dá)到PB 級(jí)別。基于傳統(tǒng)統(tǒng)計(jì)模型的數(shù)學(xué)方法已很難處理這些海量數(shù)據(jù)，而利用大數(shù)據(jù)平臺(tái)所提供的強(qiáng)存儲(chǔ)和強(qiáng)計(jì)算能力，結(jié)合一些神經(jīng)網(wǎng)絡(luò)模型、機(jī)器學(xué)習(xí)算法等，可以較好地對(duì)大規(guī)模交通流量進(jìn)行預(yù)測(cè)。

早期的交通流量預(yù)測(cè)模型，如整合移動(dòng)平均自回歸法（ARIMA）、支持向量機(jī)（SVM）、馬爾科夫鏈模型（Markov chain model）等，雖然取得了不錯(cuò)的預(yù)測(cè)效果，但無(wú)法深入挖掘數(shù)據(jù)之間的內(nèi)在聯(lián)系。長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)LSTM 可以挖掘大數(shù)據(jù)之間的深層關(guān)系，而且能滿足神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)訓(xùn)練的特征，因此該模型在交通、電力等領(lǐng)域的預(yù)測(cè)中應(yīng)用廣泛，并呈現(xiàn)出良好的長(zhǎng)期與短期預(yù)測(cè)性能。

目前，國(guó)內(nèi)外很多學(xué)者對(duì)LSTM 模型及應(yīng)用領(lǐng)域都開(kāi)展了廣泛的研究。瑞典首都斯德哥爾摩、東京、紐約等一些國(guó)際性大都市，近些年來(lái)也一直致力于交通信息系統(tǒng)解決交通擁堵問(wèn)題。Altché 和Fortelle在第20 屆智能運(yùn)輸系統(tǒng)國(guó)際會(huì)議上提出利用LSTM 模型預(yù)測(cè)車輛行駛軌跡。Santosh 等使用大數(shù)據(jù)技術(shù)結(jié)合LSTM 模型預(yù)測(cè)瘧疾發(fā)病率。國(guó)內(nèi)，程肇蘭等基于LSTM研究鐵路貨運(yùn)量預(yù)測(cè)。本文在LSTM 基本模型基礎(chǔ)上，構(gòu)建了基于貝葉斯優(yōu)化的LSTM 模型，探究交通流量預(yù)測(cè)，并驗(yàn)證模型的有效性與準(zhǔn)確性。

1 基礎(chǔ)理論簡(jiǎn)介

1.1 LSTM神經(jīng)網(wǎng)絡(luò)

LSTM是一種在RNN的基礎(chǔ)上提出的特殊循環(huán)神經(jīng)網(wǎng)絡(luò)。相較于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)，LSTM 可以很好地解決梯度消失和梯度爆炸的問(wèn)題。其核心之處在于設(shè)計(jì)一個(gè)記憶細(xì)胞，具備選擇記憶的功能，可以選擇記憶重要信息，過(guò)濾掉噪聲信息，減輕記憶負(fù)擔(dān)。LSTM 使用遺忘門、輸入門、輸出門來(lái)控制信息，完成該網(wǎng)絡(luò)功能的實(shí)現(xiàn)。圖1給出了LSTM的工作原理。

圖1 LSTM工作原理

（1）遺忘門。遺忘門的作用是選擇性保留細(xì)胞中的信息并舍棄價(jià)值低的信息，其計(jì)算公式為：

W為遺忘門的權(quán)重矩陣，h為上一時(shí)刻輸出向量，x為當(dāng)前輸入向量，b為偏置項(xiàng)，為激活函數(shù)。

（2）輸入門。輸入門的作用是將重要的信息選擇性地記錄到細(xì)胞中，根據(jù)細(xì)胞狀態(tài)決定當(dāng)前時(shí)刻的輸入，其計(jì)算公式為：

W為輸入門的權(quán)重矩陣，x為當(dāng)前輸入向量，h為上一個(gè)時(shí)刻輸出向量，b、b為偏置項(xiàng)，、tanh為激活函數(shù)，f為遺忘門的輸出，i是要保留下來(lái)的新信息，?是新數(shù)據(jù)形成的控制參數(shù)，最終實(shí)現(xiàn)狀態(tài)的更新。

（3）輸出門。輸出門的作用是基于細(xì)胞狀態(tài)決定最終輸出結(jié)果。其計(jì)算公式為：

W為輸出門的權(quán)重矩陣，b為偏置項(xiàng)，最終得到h可以作為L(zhǎng)STM 的輸出值和下一個(gè)狀態(tài)的輸入值。

1.2 貝葉斯優(yōu)化算法

普通求函數(shù)極值的問(wèn)題，可以利用基于梯度的優(yōu)化來(lái)解決。但在LSTM 模型調(diào)參的過(guò)程中，不能夠直接確定對(duì)應(yīng)的函數(shù)關(guān)系，所以無(wú)法使用傳統(tǒng)的優(yōu)化算法來(lái)對(duì)超參數(shù)進(jìn)行調(diào)優(yōu)。而貝葉斯優(yōu)化算法是一種black box 優(yōu)化算法，不需要知道目標(biāo)函數(shù)的表達(dá)式，以極其簡(jiǎn)潔的框架來(lái)尋找全局最優(yōu)解，非常適用于LSTM 模型的調(diào)參。

算法的思路是利用目標(biāo)函數(shù)的先驗(yàn)概率分布及已知觀測(cè)點(diǎn)來(lái)更新后驗(yàn)概率分布，然后根據(jù)后驗(yàn)概率分布尋找下一個(gè)極小值點(diǎn)，使極小值不斷減小，最終得到最優(yōu)超參數(shù)。定義貝葉斯優(yōu)化目標(biāo)為：

式中是最終優(yōu)化的超參數(shù)，( )是待優(yōu)化的目標(biāo)函數(shù)。

式中Σ(,)是協(xié)方差矩陣：

由貝葉斯定理可知：

通過(guò)不斷的迭代更新使= x,最終得到最優(yōu)化的超參數(shù)。

算法流程如下：

表示模型未知的目標(biāo)函數(shù)，即所謂的black box；表示所要優(yōu)化超參數(shù)的搜索空間；表示數(shù)據(jù)集；表示采集函數(shù)；表示高斯模型。

1.3 評(píng)價(jià)指標(biāo)

本文采用均方根誤差和平均絕對(duì)誤差指標(biāo)來(lái)對(duì)不同模型的預(yù)測(cè)結(jié)果進(jìn)行評(píng)估。

（1）均方根誤差（RMSE）

均方根誤差指預(yù)測(cè)值與實(shí)際值偏差平方的平均值再取平方根，用來(lái)衡量預(yù)測(cè)值和實(shí)際值之間的偏差。

（2）平均絕對(duì)誤差（MAE）

平均絕對(duì)誤差指各次預(yù)測(cè)值與實(shí)際值的絕對(duì)偏差的平均值，可以避免誤差相互抵消的情況。

2 基于貝葉斯優(yōu)化的LSTM模型

在傳統(tǒng)的LSTM 神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，需要人為調(diào)節(jié)超參數(shù)。超參數(shù)的取值對(duì)模型的性能有很大的影響，但超參數(shù)的選擇無(wú)規(guī)律性，且具有很大的偶然性，這對(duì)人為調(diào)參很不友好，往往無(wú)法得到最優(yōu)超參數(shù)。針對(duì)這一問(wèn)題，本文引入貝葉斯優(yōu)化算法，貝葉斯優(yōu)化算法主要包含概率代理模型和采集函數(shù)兩個(gè)部分。概率代理模型可以利用高斯過(guò)程尋找目標(biāo)函數(shù)的近似，得到目標(biāo)函數(shù)的后驗(yàn)概率分布；采集函數(shù)根據(jù)后驗(yàn)概率分布，在未知區(qū)域和已觀測(cè)到出現(xiàn)最優(yōu)結(jié)果的區(qū)域進(jìn)行采樣，選擇合適的樣本點(diǎn)使得目標(biāo)函數(shù)取極值。綜上分析，本文引入基于貝葉斯優(yōu)化的LSTM模型。

該模型分為三個(gè)階段，第一階段訓(xùn)練LSTM模型，第二階段將需要進(jìn)行優(yōu)化的超參數(shù)傳入貝葉斯優(yōu)化模型，第三階段利用優(yōu)化后的LSTM模型輸出預(yù)測(cè)結(jié)果。圖2給出了基于貝葉斯優(yōu)化的LSTM模型流程。

圖2 基于貝葉斯優(yōu)化的LSTM模型流程

（1）LSTM訓(xùn)練階段

步驟1 超參數(shù)初始化。

步驟2 輸入訓(xùn)練集進(jìn)行LSTM 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

步驟3 輸出與訓(xùn)練集維度一致的數(shù)據(jù)，并不斷地對(duì)超參數(shù)進(jìn)行更新。

（2）貝葉斯優(yōu)化階段

步驟1 定義需要優(yōu)化的超參數(shù)，并設(shè)置參數(shù)空間。

步驟2 定義優(yōu)化目標(biāo)函數(shù)，并將定義的超參數(shù)帶入LSTM模型進(jìn)行訓(xùn)練。

步驟3 利用高斯過(guò)程求目標(biāo)函數(shù)的后驗(yàn)概率分布，根據(jù)后驗(yàn)概率分布對(duì)超

參數(shù)樣本點(diǎn)進(jìn)行采樣，優(yōu)先選擇最優(yōu)超參數(shù)，實(shí)現(xiàn)對(duì)超參數(shù)的更新。

步驟4 不斷更新目標(biāo)函數(shù)的后驗(yàn)概率分布和超參數(shù)，直至滿足模型的要求。

（3）LSTM預(yù)測(cè)階段

步驟1 將驗(yàn)證集傳入訓(xùn)練好的LSTM模型，輸出預(yù)測(cè)結(jié)果。

步驟2 根據(jù)預(yù)測(cè)結(jié)果求出誤差。

3 實(shí)例分析

3.1 數(shù)據(jù)來(lái)源

本文使用的數(shù)據(jù)集是2018 年英國(guó)高速公路數(shù)據(jù)集，該數(shù)據(jù)集以十五分鐘為周期，連續(xù)觀測(cè)高速公路的流量。其基本信息如表1所示。

表1 數(shù)據(jù)集的基本特征

3.2 數(shù)據(jù)的預(yù)處理

（1）原數(shù)據(jù)集主要包含時(shí)間、不同種類車流量和速度等信息，但存在某些缺失值和異常值，需要對(duì)數(shù)據(jù)集進(jìn)行清洗，去除缺失值和異常值。

（2）根據(jù)原數(shù)據(jù)集的不同種類的車流量計(jì)算某一時(shí)刻的總車流量。

（3）對(duì)數(shù)據(jù)進(jìn)行歸一化處理（按最大最小值中心化，再按極差縮放），去除量綱影響。

（4）將前90%的數(shù)據(jù)集作為訓(xùn)練集，后10%的數(shù)據(jù)集作為驗(yàn)證集。

3.3 模型對(duì)比

本文使用keras 框架來(lái)進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，引入序貫?zāi)Ｐ蛠?lái)描述各層網(wǎng)絡(luò)。為了進(jìn)一步探究貝葉斯優(yōu)化的LSTM 模型處理時(shí)序序列的優(yōu)越性，本文建立了RNN 神經(jīng)網(wǎng)絡(luò)模型、GRU神經(jīng)網(wǎng)絡(luò)模型與其進(jìn)行對(duì)比。

3.3.1 RNN神經(jīng)網(wǎng)絡(luò)模型

RNN 是指隨時(shí)間推移重復(fù)發(fā)生的結(jié)構(gòu)，一般適用于處理序列數(shù)據(jù)。RNN 記憶模塊可以獲取計(jì)算過(guò)的信息，具體表現(xiàn)為對(duì)上一時(shí)刻的信息進(jìn)行記憶并應(yīng)用到當(dāng)前時(shí)刻的輸出。其最大的特點(diǎn)是循環(huán)利用不同時(shí)刻的信息，但隱含層的輸入會(huì)隨著時(shí)間的推移覆蓋原有信息，造成梯度消失問(wèn)題。

3.3.2 GRU神經(jīng)網(wǎng)絡(luò)模型

與LSTM相似，GRU的設(shè)計(jì)也是為了解決長(zhǎng)期記憶依賴中的梯度消失和梯度爆炸等問(wèn)題。相較于LSTM復(fù)雜的重復(fù)網(wǎng)絡(luò)模塊，GRU只有更新門與重置門，結(jié)構(gòu)大大簡(jiǎn)化的同時(shí)也保持了較好的效果。更新門的作用是決定更新的效果，控制上一時(shí)刻的特定信息保存到當(dāng)前時(shí)刻，重置門的作用是控制上一時(shí)刻的特定信息被忽略。通過(guò)兩個(gè)門函數(shù)，GRU 最終將重要信息保存下來(lái)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)結(jié)果

圖3給出了不同模型在驗(yàn)證集上的預(yù)測(cè)效果，表2 給出了不同模型預(yù)測(cè)結(jié)果的誤差指標(biāo)，可以看出貝葉斯優(yōu)化的LSTM 模型預(yù)測(cè)的結(jié)果最優(yōu)。

圖3 各模型流量預(yù)測(cè)結(jié)果

根據(jù)表2 的結(jié)果可知，貝葉斯優(yōu)化的LSTM模型預(yù)測(cè)結(jié)果的RMSE、MAE 分別為95.683、75.373。相較于LSTM 模型，均方根誤差降低了6.30%，平均絕對(duì)誤差降低了5.67%；相較于RNN 模型，均方根誤差降低了10.10%，平均絕對(duì)誤差降低了7.44%；相較于GRU 模型，均方根誤差降低了16.12%，平均絕對(duì)誤差降低了13.20%?？梢钥闯鲐惾~斯優(yōu)化的LSTM模型預(yù)測(cè)結(jié)果更接近真實(shí)值，精度更高。

表2 對(duì)高速公路時(shí)間序列預(yù)測(cè)結(jié)果

4.2 誤差分析圖

圖4給出了不同模型的誤差對(duì)比柱狀圖，圖中的柱狀圖越高則說(shuō)明誤差越大。從圖4可以看出，GRU 模型的RMSE 和MAE 對(duì)應(yīng)的柱狀圖最高，貝葉斯優(yōu)化的LSTM 模型的RMSE 和MAE對(duì)應(yīng)的柱狀圖最低，說(shuō)明貝葉斯優(yōu)化的LSTM 模型誤差最小，相較于其他模型優(yōu)勢(shì)明顯。

圖4 不同模型的誤差分析

5 結(jié)語(yǔ)

本文提出了基于貝葉斯優(yōu)化的LSTM 模型，用于探究高速交通流量預(yù)測(cè)問(wèn)題。首先對(duì)模型的基本理論進(jìn)行了分析，然后引入貝葉斯優(yōu)化的LSTM 模型，最后進(jìn)行實(shí)例分析來(lái)驗(yàn)證模型的優(yōu)越性。通過(guò)實(shí)驗(yàn)結(jié)果可以看出，基于貝葉斯優(yōu)化的LSTM 模型預(yù)測(cè)精度高于其它模型，能夠準(zhǔn)確地預(yù)測(cè)高速交通流量，具有一定的應(yīng)用價(jià)值。在高速交通流量預(yù)測(cè)過(guò)程中，影響因素復(fù)雜多變，探究多因素模型對(duì)預(yù)測(cè)精度的影響將是下一步的研究方向。