張浩 劉大明

摘? 要：針對傳統(tǒng)的軌跡預(yù)測存在精度低和計算較復(fù)雜的問題，文章提出一種基于自動編碼器（AE）和門控循環(huán)單元（GRU）模型的數(shù)據(jù)驅(qū)動方法，利用歷史信息和各種軌跡屬性預(yù)測軌跡位置。該方法將數(shù)據(jù)預(yù)處理層、AE層和GRU層與定制的批處理過程融合在一起。該模型在真實軌跡數(shù)據(jù)集上訓(xùn)練。通過與現(xiàn)有預(yù)測方法進(jìn)行比較，結(jié)果驗證所提模型性能相比于RNN，AE-RNN，LSTM和GRU有顯著的提高。

關(guān)鍵詞：軌跡預(yù)測;自動編碼器;門控循環(huán)單元;數(shù)據(jù)驅(qū)動

中圖分類號：TP183? ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2021）02-0149-05

Abstract：Aiming at the problems of low precision and computational complexity in traditional trajectory prediction，a data driven method based on auto encoder（AE）and gated recurrent unit（GRU）model was proposed，which used historical information and various trajectory attributes to predict trajectory location. This method fuses the data preprocessing layer，AE layer and GRU layer with the custom batch process. The model is trained on real trajectory data sets. Compared with the existing prediction methods，the results show that the performance of the proposed model is significantly better than that of RNN，AE-RNN，LSTM and GRU.

Keywords：trajectory prediction;AE;GRU;data driven

0? 引? 言

城市公共出行是非隨機(jī)和周期性的，人們總是頻繁地出現(xiàn)在特定的地點。同時，隨著移動定位技術(shù)[1]和通信傳輸技術(shù)[2-4]的發(fā)展，越來越多的移動軌跡數(shù)據(jù)被記錄下來，這使得分析人類在城市中的移動模式成為可能[5]。車輛軌跡預(yù)測作為移動數(shù)據(jù)管理的一個重要研究分支，在智能交通系統(tǒng)中發(fā)揮著重要作用[6]，在真實的交通環(huán)境中具有很高的應(yīng)用價值。

目前關(guān)于車輛軌跡預(yù)測的研究主要分為兩步。第一步是根據(jù)原始軌跡數(shù)據(jù)建立交通網(wǎng)絡(luò)模型[7]。軌跡數(shù)據(jù)是時空數(shù)據(jù)，由語義相關(guān)的點組成。每個點都記錄了運動物體的位置和時間信息，反映了物體在一定時空環(huán)境中的運動模式。交通網(wǎng)絡(luò)的基礎(chǔ)是軌跡預(yù)測模型，包括軌跡分割、地圖匹配[8]等問題。該過程將軌跡數(shù)據(jù)轉(zhuǎn)換為符合預(yù)測模型輸入的規(guī)范化數(shù)據(jù)。交通網(wǎng)絡(luò)模型可以在一定程度上反映運動物體的運動模式。然而，目前的研究往往只是對軌跡數(shù)據(jù)進(jìn)行簡單的格式化，忽略了軌跡數(shù)據(jù)所包含的深層信息，給基于位置的數(shù)據(jù)服務(wù)分析帶來了困難[9]。因此，選擇一種高效的交通網(wǎng)絡(luò)建模方法會影響預(yù)測模型的效率[10]。此外，選擇合適的預(yù)測模型也非常重要。模型驅(qū)動方法通過尋找軌跡數(shù)據(jù)的規(guī)律來建立數(shù)學(xué)模型，將軌跡數(shù)據(jù)歸納成公式來預(yù)測軌跡，并通過一系列的組合來擬合真實模型。然而，這些方法需要大量有代表性的數(shù)據(jù)來完善模型。同時，以這種方式建立的模型往往是單調(diào)的，不能反映運動模式的多樣性。因此，預(yù)測模型需要基于真實軌跡數(shù)據(jù)建立數(shù)據(jù)驅(qū)動的預(yù)測模型。隨著計算機(jī)計算能力的提高[11，12]，深度學(xué)習(xí)算法得到了迅速的發(fā)展[13-15]，在處理大量復(fù)雜數(shù)據(jù)方面表現(xiàn)出了顯著的優(yōu)勢。一方面，深度學(xué)習(xí)算法可以對含有大量變量的數(shù)據(jù)集進(jìn)行隱藏特征提取，提高泛化能力，使用自動編碼器（auto-encoder，AE）網(wǎng)絡(luò)提高模型訓(xùn)練效率。另一方面，深度學(xué)習(xí)算法在處理大型時序數(shù)據(jù)集時效率更高。門控循環(huán)單元（Gated Recurrent Unit，GRU）網(wǎng)絡(luò)可以提取時間特征并在下一個時間對軌跡做出預(yù)測。因此，通過對模型的訓(xùn)練和調(diào)整，深度學(xué)習(xí)算法可以達(dá)到最優(yōu)的性能，從而減少預(yù)測誤差，適合解決軌跡預(yù)測問題。

在本研究中，我們提出了一種新的基于深度學(xué)習(xí)算法的數(shù)據(jù)驅(qū)動預(yù)測方法，它結(jié)合了一個AE層和一個GRU層來預(yù)測軌跡。提出了AE層的模型學(xué)習(xí)和壓縮預(yù)處理數(shù)據(jù)減少復(fù)雜性，而AE層的輸出作為輸入數(shù)據(jù)到GRU層進(jìn)行訓(xùn)練，提高預(yù)測效率和準(zhǔn)確性。針對GRU模型的非均衡輸入數(shù)據(jù)集，提出了一種新的定制批處理方法。在一個真實的數(shù)據(jù)集上實現(xiàn)了AE-GRU模型，實驗結(jié)果表明，該模型優(yōu)于現(xiàn)有的一些傳統(tǒng)方法和深度學(xué)習(xí)方法。

1? 相關(guān)理論

AE是一種神經(jīng)網(wǎng)絡(luò)，其目的是實現(xiàn)維數(shù)的減少和數(shù)據(jù)去噪。近年來，AE在模式識別[16]、故障診斷[17]和特征學(xué)習(xí)[18]中的應(yīng)用取得了較好的效果。AE層可以學(xué)習(xí)從輸入數(shù)據(jù)集中壓縮原始數(shù)據(jù)并生成原始數(shù)據(jù)的表示（編碼），然后將表示解壓縮（解碼）為與原始數(shù)據(jù)緊密匹配的東西。在本研究中，我們提出利用AE從時空矩陣中提取隱式數(shù)據(jù)特征，這些從AE層提取的特征將作為GRU層的輸入數(shù)據(jù)。

給定軌跡數(shù)據(jù)T={tc1，tc2，…，tcn}，我們的第一個目標(biāo)是通過對數(shù)值數(shù)據(jù)進(jìn)行歸一化處理并且記錄非數(shù)值數(shù)據(jù)來預(yù)處理每個tci∈X。下一個目標(biāo)是減少數(shù)據(jù)維數(shù)，并通過自動編碼器提取隱式特征，隨后是定制的批處理過程，以使特征序列達(dá)到相同長度。最后，利用定制的批數(shù)據(jù)進(jìn)行基于GRU模型的預(yù)測層訓(xùn)練。

式中tci中的行表示軌跡數(shù)據(jù)，列表示一組有序的時間戳T={t1，t2，…，tm}。

GRU神經(jīng)網(wǎng)絡(luò)以門控循環(huán)單元代替?zhèn)鹘y(tǒng)的循環(huán)單元來解決RNN（Recurrent Neural Network）中容易出現(xiàn)的梯度問題，相比于LSTM（long-short term memory）神經(jīng)網(wǎng)絡(luò)的門控循環(huán)單元，GRU神經(jīng)網(wǎng)絡(luò)僅需要兩個門控循環(huán)單元便可解決梯度問題，在一定程度上節(jié)省了內(nèi)存，加快了運行速度，GRU神經(jīng)網(wǎng)絡(luò)循環(huán)單元的結(jié)構(gòu)如圖1所示。

其中ht-1為上一時刻隱含層狀態(tài)，rt為重置門，zt為更新門，σ為sigmoid激活函數(shù)。 為當(dāng)前時刻隱含層的激活狀態(tài)，ht為當(dāng)前時刻隱含層輸出狀態(tài)，GRU神經(jīng)網(wǎng)絡(luò)的循環(huán)單元中有兩個門，即重置門rt和更新門zt。

GRU主要通過兩個門對輸入信息進(jìn)行更新，重置門rt主要影響上一時刻信息的保留情況，更新門zt主要對當(dāng)前時刻隱含層狀態(tài)進(jìn)行更新。GRU循環(huán)單元最大的改進(jìn)就是僅通過一個更新門zt以及1-zt就能同時實現(xiàn)對信息的遺忘和保留，從而提高了訓(xùn)練速度。

2? 預(yù)測模型

本文提出了一種基于AE神經(jīng)網(wǎng)絡(luò)和GRU神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測深度學(xué)習(xí)模型。模型由三個部分組成，首先數(shù)據(jù)進(jìn)行預(yù)處理，然后將預(yù)處理后的數(shù)據(jù)輸入AE層，其次AE層可以提取特征并生成特征向量。第三部分以AE層生成的特征向量作為數(shù)據(jù)輸入，訓(xùn)練GRU預(yù)測層，流程圖如圖2所示。

預(yù)測時間序列數(shù)據(jù)最簡單的方法是直接訓(xùn)練預(yù)處理的矩陣X′。然而，這種方法有兩個缺點。首先，經(jīng)過擴(kuò)充軌跡數(shù)據(jù)的原始特征很大且難以判斷特征之間的相關(guān)性，訓(xùn)練速度會變慢，性能會顯著降低。其次，當(dāng)使用具有多個特征的數(shù)據(jù)預(yù)測幾個參數(shù)時，模型可能會出現(xiàn)過擬合的問題，導(dǎo)致泛化能力差。而AE神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)地發(fā)現(xiàn)數(shù)據(jù)特征，并有效地表示復(fù)雜數(shù)據(jù)，提高訓(xùn)練速度和精度。因此，我們在預(yù)測模型中提出AE層，從預(yù)處理數(shù)據(jù)X中提取特征。AE層的具體工作機(jī)制如圖3所示。

它包含一個編碼器過程和一個解碼器過程。這兩個過程是具有相同結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。輸入和輸出層具有相同的含義和相同的節(jié)點數(shù)量。編碼器層可以將輸入數(shù)據(jù)X的維數(shù)減少到一個隱藏層，解碼器層將隱藏層解碼到 ，其中 和X之間的誤差需要盡可能小。編碼器過程的數(shù)學(xué)表示為：

此外，解碼器過程的數(shù)學(xué)表示為：

式中（ω1，ω2，…，ωn）和（b1，b2，…，bn）為編碼器編碼過程中的權(quán)重和偏差，和 為譯碼過程中的權(quán)值和偏差，n為譯碼層數(shù)和解碼器層數(shù)。為了訓(xùn)練出合適的參數(shù)，目標(biāo)函數(shù)如式（3）所示，其中N為批量處理的輸入數(shù)據(jù)個數(shù)。最后，在接下來的過程中，將隱含層En作為GRU層的輸入。

針對軌跡預(yù)測，我們針對GRU層設(shè)置了定制的批量技術(shù)。在一般的深度學(xué)習(xí)算法中，采用小批量技術(shù)對輸入數(shù)據(jù)進(jìn)行處理，不僅可以提高模型的訓(xùn)練速度，還可以通過在訓(xùn)練過程中引入隨機(jī)性來處理過擬合問題。一般的小型批處理技術(shù)是不合適的。為此，本文提出了一種新的基于文獻(xiàn)[19]的定制批處理技術(shù)，以適應(yīng)軌跡數(shù)據(jù)特征。

每一批次的數(shù)據(jù)集由多段數(shù)據(jù)組成且每一段的數(shù)據(jù)長度皆不同，需要將其轉(zhuǎn)化成統(tǒng)一長度的數(shù)據(jù)段，然后將定制的批處理數(shù)據(jù)作為輸入數(shù)據(jù)應(yīng)用到GRU層進(jìn)行模型訓(xùn)練。GRU層有一個更新門和一個重置門，見圖1。在本實驗中采取正向傳播的運算方法，具體結(jié)構(gòu)如圖4所示。更新門是LSTM模型的輸入門和遺忘門的組合，用于保留以前狀態(tài)的歷史信息。重置門決定了多少先前的信息需要與新的輸入相結(jié)合。

更新門由式（4）計算，其中σ為一個sigmoid激活函數(shù)，En，t為時間戳t的輸入向量，ht-1為t-1時最后一個GRU細(xì)胞的輸出向量。uz，wz，bz為線性變換的權(quán)值和偏差參數(shù)。En，t和ht-1經(jīng)過線性變換后，信息通過一個更新門相加，再由一個sigmoid激活函數(shù)激活。最終，信息被壓縮在0和1之間。

復(fù)位門通過式（5）計算。這個方程與更新門相似，只是線性變換的參數(shù)wr，ur，br不同。

計算出復(fù)位門的輸出rt后，可由式（6）得到候選狀態(tài) ，其中時間戳t-1處的隱藏狀態(tài)和時間戳t處的復(fù)位門信息通過Hadamard積進(jìn)行處理。然后，乘積被時間戳t處的輸入向量En，t加上權(quán)重w，再加上偏置的b。最后，利用tanh激活函數(shù)對-1到1之間的信息進(jìn)行壓縮，生成? 。

最后，利用更新門zt進(jìn)行Hadamard積，得到歷史狀態(tài)ht-1和候選狀態(tài) 。然后將結(jié)果相加，如式（7）所示。在此基礎(chǔ)上計算得到當(dāng)前時間戳t的狀態(tài)信息ht。

3? 實驗結(jié)果及分析

本文實驗采用微軟研究GeoLift項目的真實軌跡數(shù)據(jù)集。該數(shù)據(jù)由經(jīng)緯度、瞬時速度、偏移角、時間等要素組成。預(yù)測算法均采用Python語言實現(xiàn)，在Keras深度學(xué)習(xí)框架下實現(xiàn)，所有實驗均在CPU為Intel Core i5-8250和內(nèi)存為8 GB的計算機(jī)上運行。

3.1? 評價指標(biāo)

本文分別通過RMSE和準(zhǔn)確率MAPE對模型預(yù)測效果進(jìn)行定量評價。

式中，yi和分別為實際值和預(yù)測值。

3.2? 實驗分析

實驗所使用的軌跡數(shù)據(jù)集，其中70%作為訓(xùn)練數(shù)據(jù)、20%作為驗證數(shù)據(jù)、10%作為測試數(shù)據(jù)。為了驗證本文模型的效果，對實驗迭代過程所產(chǎn)生的誤差進(jìn)行分析。如圖5所示。

從圖5中可以看出隨著迭代次數(shù)的增加預(yù)測模型所產(chǎn)生的預(yù)測誤差逐漸減小至平穩(wěn)，可以驗證本文所提模型的適用性。

為了驗證本文所提模型的精度，在隨機(jī)抽取的10，50，100條軌跡中分別與RNN、AE-RNN、LSTM、GRU進(jìn)行誤差比較。

如表1和表2所示，RNN的預(yù)測誤差最大，AE-RNN相對于RNN添加了AE環(huán)節(jié)，從而優(yōu)化了對冗余信息的選擇。LSTM預(yù)測模型克服了RNN神經(jīng)網(wǎng)絡(luò)的梯度爆炸問題，在原有的預(yù)測精度上有了進(jìn)一步的提升，GRU預(yù)測模型的誤差由于門結(jié)構(gòu)的減少使得誤差相對LSTM神經(jīng)網(wǎng)絡(luò)更加小，加入AE結(jié)構(gòu)的預(yù)測模型的預(yù)測誤差相對GRU模型更小。從中發(fā)現(xiàn)本文采用的預(yù)測模型的精度顯著提高。從表中可以看出隨著軌跡條數(shù)的增加誤差略有增大，到達(dá)一定數(shù)目后誤差趨于穩(wěn)定，可以體現(xiàn)出本文算法具有強(qiáng)大的泛化能力，更加適用于預(yù)測。

圖6和圖7是不同模型的預(yù)測曲線圖，本文所提出的AE-GRU算法的預(yù)測曲線圖波動幅度更小。在長序列時間數(shù)據(jù)的問題上可以克服現(xiàn)存算法的不足，優(yōu)化后的模型預(yù)測性能明顯提升，說明AE-GRU模型能夠發(fā)掘軌跡的深層規(guī)律，在預(yù)測結(jié)果的穩(wěn)定性和精準(zhǔn)性上有明顯的提升。

4? 結(jié)? 論

在本文中，我們提出了一種基于AE和GRU的深度神經(jīng)網(wǎng)絡(luò)融合的軌跡預(yù)測方法。該模型的AE層可以從預(yù)處理數(shù)據(jù)中提取一些屬性因子和軌跡特征。消除了數(shù)據(jù)冗余，提高了模型的泛化能力。然后利用GRU層從時間序列數(shù)據(jù)集中提取非線性和復(fù)雜的時間特征，進(jìn)而預(yù)測軌跡。但是該預(yù)測模型仍存在計算耗時長的問題，仍需不斷地優(yōu)化模型。

參考文獻(xiàn)：

[1] ALAHI A，GOEL K，RAMANATHAN V，et al. Social LSTM：Human Trajectory Prediction in Crowded Spaces [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：961-971.

[2] 尹博南，艾元，彭木根.霧無線接入網(wǎng)：架構(gòu)、原理和挑戰(zhàn) [J].電信科學(xué)，2016，32（6）：20-27.

[3] PENG M G，LI Y，JIANG J M，et al. Heterogeneous cloud radio access networks：a new perspective for enhancing spectral and energy efficiencies [J].IEEE Wireless Communications，2014，21（6）：126-135.

[4] ZHANG Z F，ZHANG P R，LIU D，et al. SRSM-Based Adaptive Relay Selection for D2D Communications [J]. IEEE Internet of Things Journal，2017，5（4）：2323-2332.

[5] ZHANG F S，JIN B H，WANG Z Y，et al. On Geocasting over Urban Bus-Based Networks by Mining Trajectories [J].IEEE Transactions on Intelligent Transportation Systems，2016，17（6）：1734–1747.

[6] SCHWARTING W，ALONSO-MORA J，RUS D. Planning and Decision-Making for Autonomous Vehicles [J] Annual Review of Control，Robotics，and Autonomous Systems，2018（1）：187–210.

[7] ZHU L，XU C Q，GUAN J F，et al. Finding top-k similar users based on Trajectory-Pattern model for personalized service recommendation [C]//2016 IEEE International Conference on Communications Workshops（ICC）.Kuala Lumpur：IEEE，2016：553–558.

[8] ZHENG Y. Trajectory data mining：an overview [J].ACM Transactions on Intelligent Systems and Technology，2015，6（3）：1-41.

[9] HOUENOU A，BONNIFAIT P，CHERFAOUI V，et al. Vehicle trajectory prediction based on motion model and maneuver recognition [C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems.Tokyo：IEEE，2013：4363–4369.

[10] GIACOMETTI A，SOULET A. Frequent Pattern Outlier Detection Without Exhaustive Mining [C]//Advances in Knowledge Discovery and Data Mining.Berlin：Springer-Verlag，2016：196–207.

[11] LI Y，LIU J，CAO B，et al. Joint Optimization of Radio and Virtual Machine Resources With Uncertain User Demands in Mobile Cloud Computing [J].IEEE Transactions on Multimedia，2018，20（9）：2427–2438.

[12] PENG M G，ZHANG K C，JIANG J M，et al. Energy-Efficient Resource Assignment and Power Allocation in Heterogeneous Cloud Radio Access Networks [J].IEEE Transactions on Vehicular Technology，2015，64（11）：5275–5287.

[13] CAO B，XIA S C，HAN J W，et al. A Distributed Game Methodology for Crowdsensing in Uncertain Wireless Scenario [J].IEEE Transactions on Mobile Computing.2020，19（1）：15–28.

[14] CAO B，ZHANG L，LI Y，et al. Intelligent Offloading in Multi-Access Edge Computing：A State-of-the-Art Review and Framework [J].IEEE Communications Magazine.2019，57（3）：56–62.

[15] ZHANG Z F，ZOU Y，GAN C Q. Textual sentiment analysis via three different attention convolutional neural networks and cross-modality consistent regression [J].Neurocomputing.2018，275：1407–1415.

[16] LIU T，LI Z R，YU C X，et al. NIRS feature extraction based on deep auto-encoder neural network [J].Infrared Physics & Technology，2017，87：：124-128.

[17] SHAO H D，JIANG H K，ZHAO H W，et al. A novel deep autoencoder feature learning method for rotating machinery fault diagnosis [J].Mechanical Systems and Signal Processing，2017，95：187-204.

[18] MENG Q X，CATCHPOOLE D，SKILLICOM D，et al. Relational autoencoder for feature extraction [C]//2017 International Joint Conference on Neural Networks（IJCNN）.Anchorage：IEEE，2017：364–371.

[19] HIDASI B，KARATZOGLOU A，BALTRUNAS L，et al. Session-based Recommendations with Recurrent Neural Networks [J/OL].arXiv：1511.06939 [cs.LG].（2016-03-29）.https：//arxiv.org/abs/1511.06939.

作者簡介：張浩（1996—），男，漢族，安徽蚌埠人，碩士研究生在讀，研究方向：軌跡預(yù)測，物聯(lián)網(wǎng)技術(shù);劉大明（1971—），男，漢族，上海人，副教授，博士，研究方向：物聯(lián)網(wǎng)技術(shù)，嵌入式系統(tǒng)與設(shè)計，智能工業(yè)機(jī)器人等。