王雨露,張龑,彭乾

(湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院, 湖北 武漢 430062)

0 引言

隨著深度學(xué)習(xí)的不斷發(fā)展,計(jì)算機(jī)擴(kuò)展了人類的視覺,如在自動(dòng)駕駛汽車、服務(wù)機(jī)器人、智能交通、智慧校園等領(lǐng)域,行人安全成為研究熱點(diǎn)。例如,在湖邊,如果監(jiān)控系統(tǒng)可以預(yù)測(cè)湖邊行人的軌跡,那么就能對(duì)行人落水提出預(yù)警,保證湖邊游玩行人的安全。因此,預(yù)測(cè)行人軌跡對(duì)于包括自動(dòng)駕駛和監(jiān)控系統(tǒng)在內(nèi)的多種應(yīng)用至關(guān)重要。在非自動(dòng)駕駛中,經(jīng)驗(yàn)豐富的駕駛員會(huì)根據(jù)周圍環(huán)境預(yù)測(cè)車輛和行人的行為[1],而學(xué)者們就需要根據(jù)這種人類的自我意識(shí)來(lái)設(shè)計(jì)自動(dòng)駕駛系統(tǒng),在自動(dòng)駕駛中,對(duì)行人軌跡的準(zhǔn)確預(yù)測(cè)使控制器能夠在對(duì)抗性環(huán)境中提前規(guī)劃車輛的運(yùn)動(dòng),例如,它是防撞系統(tǒng)或緊急制動(dòng)系統(tǒng)[2-4]的關(guān)鍵部件;在監(jiān)控系統(tǒng)中,預(yù)測(cè)行人軌跡對(duì)于幫助識(shí)別異常活動(dòng)也至關(guān)重要[5-7]。目前,國(guó)內(nèi)外對(duì)行人軌跡預(yù)測(cè)的研究日益增多,因此就有必要對(duì)該領(lǐng)域的相關(guān)技術(shù)和文獻(xiàn)進(jìn)行總結(jié)。

本文的組織結(jié)構(gòu)如下:第1部分介紹了行人軌跡預(yù)測(cè)的發(fā)展,并給出了軌跡預(yù)測(cè)的問(wèn)題描述;第2部分分類列舉了目前的軌跡預(yù)測(cè)方法,并對(duì)比了優(yōu)缺點(diǎn);第3部分介紹了軌跡預(yù)測(cè)方法中使用的數(shù)據(jù)集,并在其數(shù)據(jù)集中對(duì)某些算法進(jìn)行分析和對(duì)比;第4部分闡述了行人軌跡預(yù)測(cè)方法未來(lái)的研究方向,并總結(jié)全文。

1 相關(guān)工作

1.1 行人軌跡預(yù)測(cè)介紹行人軌跡預(yù)測(cè)是在給定的場(chǎng)景中,通過(guò)利用一段行人運(yùn)動(dòng)的歷史視頻和場(chǎng)景信息來(lái)建立模型,讓機(jī)器學(xué)習(xí)從行人行為、行人交互、周圍環(huán)境的影響等方面生成一些規(guī)則[8],來(lái)預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)行人的運(yùn)動(dòng)軌跡,即預(yù)測(cè)行人在未來(lái)固定時(shí)刻的位置坐標(biāo)[9]。行人軌跡預(yù)測(cè)其實(shí)是預(yù)測(cè)任務(wù)中的一種。

預(yù)測(cè)任務(wù)分為短期預(yù)測(cè)和長(zhǎng)期預(yù)測(cè)[10,11],短期預(yù)測(cè)側(cè)重于短期動(dòng)作視頻,這些視頻通常持續(xù)幾秒鐘,僅根據(jù)歷史時(shí)空序列數(shù)據(jù)預(yù)測(cè)下一時(shí)刻的觀測(cè)值;長(zhǎng)期預(yù)測(cè)則是通過(guò)當(dāng)前觀察到的人類行為推斷出未來(lái)的行動(dòng),即根據(jù)歷史時(shí)空序列數(shù)據(jù)預(yù)測(cè)接下來(lái)一段連續(xù)時(shí)間的觀測(cè)值,旨在對(duì)動(dòng)作轉(zhuǎn)換進(jìn)行建模,即給定一個(gè)動(dòng)作視頻A,其中A可以是完整的或不完整的動(dòng)作執(zhí)行,目標(biāo)是推斷下一個(gè)動(dòng)作B。預(yù)測(cè)任務(wù)按照建模方式分為基于傳統(tǒng)參數(shù)模型的預(yù)測(cè)方法、基于傳統(tǒng)機(jī)器學(xué)習(xí)模型的預(yù)測(cè)方法和基于深度學(xué)習(xí)模型的預(yù)測(cè)方法,基于以上三種方法包括的主要模型如圖1所示,而本文中主要介紹的是基于深度學(xué)習(xí)模型的預(yù)測(cè)方法中的循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短期記憶網(wǎng)絡(luò)和圖神經(jīng)網(wǎng)絡(luò)。

圖1 預(yù)測(cè)方法

1.2 行人軌跡預(yù)測(cè)問(wèn)題描述行人軌跡預(yù)測(cè)問(wèn)題在實(shí)際方法中主要分為兩種[12],一種是在傳統(tǒng)模型中經(jīng)常用到的建模方式,即依據(jù)行人當(dāng)時(shí)的方向速度,預(yù)測(cè)下一時(shí)刻該行人的方向速度,并在此基礎(chǔ)上計(jì)算之后的坐標(biāo)位置;另一種是將該類任務(wù)可以轉(zhuǎn)化為時(shí)間序列預(yù)測(cè)問(wèn)題,行人軌跡被映射成一組坐標(biāo)點(diǎn),行人過(guò)去時(shí)間的坐標(biāo)位置為當(dāng)前時(shí)刻的輸入,輸出為預(yù)測(cè)的未來(lái)一段時(shí)間的行人坐標(biāo)。此類問(wèn)題是通過(guò)海量的歷史數(shù)據(jù)來(lái)挖掘移動(dòng)目標(biāo)的行為特征,結(jié)合目標(biāo)的當(dāng)前位置,預(yù)判目標(biāo)的運(yùn)動(dòng)趨勢(shì)。

在行人軌跡預(yù)測(cè)任務(wù)中雖然選擇建模方式并不困難,但是由于行人運(yùn)動(dòng)中,行人的軌跡受到多種因素的影響導(dǎo)致軌跡難以精準(zhǔn)預(yù)測(cè),影響因素主要包括以下幾點(diǎn):

第一,行人周圍的物體可能會(huì)影響行人的運(yùn)動(dòng)軌跡,影響運(yùn)動(dòng)軌跡的物體可能為樹木或道路等物理障礙物,也可能為車輛和其他行人在內(nèi)的移動(dòng)物體。依據(jù)Moussaid等[13]的研究,傾向于結(jié)伴而行的行人超過(guò)3/5,行人之間的互動(dòng)主要是由常識(shí)和社會(huì)習(xí)俗驅(qū)動(dòng)的。因此,這種人與人之間的交互是非常抽象的,在算法中往往很難表現(xiàn)出精確的建模。

第二,行人的運(yùn)動(dòng)軌跡非常多變,以至于幾乎不可能準(zhǔn)確地預(yù)測(cè)行人未來(lái)的行走軌跡,因?yàn)樾腥说哪康牡睾皖A(yù)期路徑是未知的,所以針對(duì)每一條軌跡,都會(huì)有多條可能的未來(lái)軌跡,即軌跡預(yù)測(cè)是一個(gè)多模態(tài)問(wèn)題[14]。

因此,行人軌跡的隨機(jī)性、個(gè)體之間的復(fù)雜交互以及場(chǎng)景的復(fù)雜性使軌跡預(yù)測(cè)問(wèn)題充滿挑戰(zhàn)[9],并且這幾個(gè)影響因素之間也是相互作用、影響的。這也是軌跡預(yù)測(cè)任務(wù)從統(tǒng)計(jì)模型向深度學(xué)習(xí)模型轉(zhuǎn)變的重要原因。

2 行人軌跡預(yù)測(cè)的技術(shù)分類

自20世紀(jì)90年代以來(lái),行人軌跡預(yù)測(cè)問(wèn)題逐漸被重視,基于統(tǒng)計(jì)模型的預(yù)測(cè)方法開始被提出,但是這些模型缺乏統(tǒng)一的評(píng)價(jià)指標(biāo),并且數(shù)據(jù)集的質(zhì)量也參差不齊,因此該類模型很少被使用。但是隨著人工智能的興起,機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)逐漸被應(yīng)用到軌跡預(yù)測(cè)中。軌跡預(yù)測(cè)任務(wù)大致可以分為三類,即特征因素、建模方法、預(yù)測(cè)方法。特征因素一般包括行人的軌跡特征和運(yùn)動(dòng)學(xué)特征、環(huán)境信息等;建模方法一般分為基于統(tǒng)計(jì)模型的方法和基于知識(shí)學(xué)習(xí)的方法兩大類;預(yù)測(cè)方法包括單軌跡預(yù)測(cè)、多軌跡預(yù)測(cè)等(見圖1)。本研究將從建模方法作為模型分類依據(jù),對(duì)行人軌跡預(yù)測(cè)技術(shù)進(jìn)行分類總結(jié),如圖2所示。

圖2 行人軌跡預(yù)測(cè)分類

2.1 基于統(tǒng)計(jì)模型的預(yù)測(cè)方法在基于統(tǒng)計(jì)模型的方法中,較早被應(yīng)用在軌跡預(yù)測(cè)任務(wù)中的是的基于運(yùn)動(dòng)學(xué)的方法,主要通過(guò)概率統(tǒng)計(jì)模型來(lái)反映個(gè)體的運(yùn)動(dòng)特點(diǎn),之后,這種模型通常會(huì)根據(jù)行人的行走速度、當(dāng)前位置等行為特點(diǎn)建立模型,并將其與貝葉斯濾波器(Bayesian filtering)、馬爾科夫網(wǎng)絡(luò)(Markov nets)和貝葉斯網(wǎng)絡(luò)(Bayesian network)相結(jié)合。Helbing等[15]在1995年提出社會(huì)力模型(social force model,SFM模型),該模型結(jié)合了行人流的一些特性,依據(jù)人與人的交互作用建立了行人的模型,將社會(huì)力模型擴(kuò)展為行人路徑選擇模型。之后,Rinke等[16]在社會(huì)力模型的基礎(chǔ)上提出一種基于社會(huì)力模型的多層次道路使用者運(yùn)動(dòng)及其相互作用表示方法,通過(guò)先確定行人運(yùn)動(dòng)目標(biāo)點(diǎn),然后利用拉格朗日多項(xiàng)式依次估計(jì)其他軌跡,最后運(yùn)用基于社會(huì)力模型進(jìn)行軌跡選擇,生成預(yù)測(cè)軌跡。而Pavlovic等在2011年[17]基于馬爾科夫鏈提出切換線性動(dòng)力學(xué)系統(tǒng)(switched linear dynamical system,SLDS)模型[18],該模型以馬爾科夫鏈為基礎(chǔ),能夠在不同的線性運(yùn)動(dòng)學(xué)模型間進(jìn)行轉(zhuǎn)換,并能對(duì)真實(shí)環(huán)境中的非線性行人運(yùn)動(dòng)進(jìn)行預(yù)測(cè)。但是,由于基于該模型的提取的特征信息不能很好地支撐狀態(tài)轉(zhuǎn)換,并且為了滿足更復(fù)雜的運(yùn)動(dòng)模型測(cè)試的精度要求,需要構(gòu)建更大的運(yùn)動(dòng)獲取行人運(yùn)動(dòng)數(shù)據(jù)。之后,Kooij等于2014年[19]建立了基于上下文的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(dynamic bayesian network,DBN)模型用于行人路徑預(yù)測(cè),該模型將情境信息(即行人頭部方向、情況緊迫性和周圍環(huán)境)與 SLDS模型相結(jié)合,預(yù)測(cè)精確度相對(duì)于SLDS模型得到了提高。Alahi等同年提出SAM模型[20],該模型通過(guò)提取行人間的相對(duì)位置來(lái)顯示行人的社交特性。該模型首先進(jìn)行OD先驗(yàn),然后將人群中個(gè)體軌跡連接起來(lái)獲取參與者之間的關(guān)系。而與SAM模型同的是 Yi等[21]提出將靜止人群作為主要部分的行人行為模型,通過(guò)對(duì)固定人群和行人之間的相互作用的推斷,使用人類屬性來(lái)改善人群中的預(yù)測(cè),通過(guò)場(chǎng)景能量圖的深淺,表示行人間交互性的強(qiáng)弱。

但是,基于統(tǒng)計(jì)模型的預(yù)測(cè)方法在進(jìn)行預(yù)測(cè)推理時(shí)需要進(jìn)行大量的計(jì)算,而且不能提取目標(biāo)物體的基本運(yùn)動(dòng)類型(例如轉(zhuǎn)身)以及場(chǎng)景中其他物體的信息?？偠灾?基于統(tǒng)計(jì)模型的預(yù)測(cè)方法雖然在一些研究成果,然而,由于基于運(yùn)動(dòng)學(xué)方法的局限性以及信息無(wú)法完全提取等問(wèn)題,使得預(yù)測(cè)結(jié)果與現(xiàn)實(shí)有較大的偏差,使得傳統(tǒng)的方法很難準(zhǔn)確地預(yù)測(cè)出復(fù)雜場(chǎng)景中的行人的軌跡。

2.2 基于知識(shí)學(xué)習(xí)的預(yù)測(cè)方法近年來(lái),隨著深度學(xué)習(xí)的興起,神經(jīng)網(wǎng)絡(luò)在圖像分類、行人識(shí)別等領(lǐng)域取得了不錯(cuò)的效果[22],在此基礎(chǔ)上,提出了一系列的時(shí)序數(shù)據(jù)處理模型,以知識(shí)學(xué)習(xí)為基礎(chǔ)的方法得到了廣泛的應(yīng)用,并且它們比以前的方法具有更好的預(yù)測(cè)性能。遞歸神經(jīng)網(wǎng)絡(luò)最早被運(yùn)用到行人軌跡任務(wù)中,之后研究學(xué)者又將注意力機(jī)制與遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合用于研究行人軌跡預(yù)測(cè)任務(wù);后來(lái),隨著生成對(duì)抗網(wǎng)絡(luò)與圖神經(jīng)網(wǎng)絡(luò)的興起,遞歸神經(jīng)網(wǎng)絡(luò)與生成對(duì)抗網(wǎng)絡(luò)兩者的結(jié)合、圖神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合也是行人軌跡預(yù)測(cè)任務(wù)中一個(gè)新的研究趨勢(shì);而近兩年,Transformer架構(gòu)的提出,也逐漸被研究學(xué)者考慮引用到行人軌跡預(yù)測(cè)任務(wù)中。因此,下面將從遞歸神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)三個(gè)方向介紹行人軌跡預(yù)測(cè)方法,而Transformer因目前使用的較少,因此暫時(shí)先不介紹基于Transformer的行人軌跡預(yù)測(cè)方法。

2.2.1 基于遞歸神經(jīng)網(wǎng)絡(luò)的方法 由于行人軌跡預(yù)測(cè)問(wèn)題本質(zhì)上是一個(gè)動(dòng)態(tài)的時(shí)間序列處理與預(yù)測(cè)問(wèn)題,而遞歸神經(jīng)網(wǎng)絡(luò)可以有效反映個(gè)體的時(shí)序特征,因此遞歸神經(jīng)網(wǎng)絡(luò)成為近年來(lái)軌跡預(yù)測(cè)的重要方向,而其中的長(zhǎng)短記憶網(wǎng)絡(luò)(LSTM)運(yùn)用最為廣泛(其結(jié)構(gòu)如圖3所示),如Social-LSTM模型、SS-LSTM模型。其中,Social-LSTM模型[23]是首個(gè)使用深度學(xué)習(xí)來(lái)預(yù)測(cè)行人軌跡的算法,模型架構(gòu)如圖4所示,而SS-LSTM模型[24]是在Social-LSTM模型的基礎(chǔ)上使用三種不同的LSTM來(lái)捕獲人、社會(huì)和場(chǎng)景尺度信息,提高了行人軌跡的預(yù)測(cè)精度。在行人軌跡任務(wù)中,由于行人軌跡會(huì)受到其他行人以及物體的影響,可能會(huì)改變或限制行人的活動(dòng),因此關(guān)注這些場(chǎng)景因素也是十分必要的,一些研究學(xué)者就將注意力機(jī)制與遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合,增強(qiáng)了行人之間的交互,提高了軌跡預(yù)測(cè)的準(zhǔn)確率,如CGNS模型、MRGL模型?；谶f歸神經(jīng)網(wǎng)絡(luò)方法的具體描述如表1所示。

表1 基于遞歸神經(jīng)網(wǎng)絡(luò)的方法

圖3 長(zhǎng)短記憶網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 Social-LSTM模型架構(gòu)圖

綜上,基于遞歸神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)方法雖然在軌跡預(yù)測(cè)的精度上得到了提高,但是也存在參數(shù)效率低、訓(xùn)練成本高等缺點(diǎn)。

2.2.2 基于生成對(duì)抗網(wǎng)絡(luò)的方法 生成對(duì)抗網(wǎng)絡(luò)是是一種通過(guò)將無(wú)監(jiān)督問(wèn)題視為有監(jiān)督問(wèn)題,并同時(shí)使用生成模型和判別模型來(lái)自動(dòng)訓(xùn)練生成模型的架構(gòu),因此為了提高軌跡預(yù)測(cè)的準(zhǔn)確率,有學(xué)者采用生對(duì)抗網(wǎng)絡(luò)的方法為行人生成未來(lái)軌跡。在這些對(duì)抗性訓(xùn)練框架中,有兩個(gè)矩陣:一個(gè)生成未來(lái)表示的生成網(wǎng)絡(luò)和一個(gè)鑒別器,其目的是區(qū)分預(yù)測(cè)的表示或其時(shí)間一致性[27-28],以及通過(guò)生成二進(jìn)制分類分?jǐn)?shù)來(lái)指示預(yù)測(cè)是真的還是假的實(shí)際地面實(shí)況數(shù)據(jù)。生成對(duì)抗網(wǎng)絡(luò)原理如圖5所示。Gupta等在Social-LSTM模型的基礎(chǔ)上提出Social-GAN[29]模型,加入生成對(duì)抗網(wǎng)絡(luò)預(yù)測(cè)多模態(tài)軌跡,模型架構(gòu)如圖6所示。

圖5 生成對(duì)抗網(wǎng)絡(luò)原理圖

圖6 Social-GAN模型架構(gòu)圖

Sadeghian A等提出Sophie[30]模型,該模型結(jié)合行人之間的社交使用場(chǎng)景上下文信息,引入注意力機(jī)制并與基于LSTM自動(dòng)編碼器的生成對(duì)抗網(wǎng)絡(luò)相結(jié)合,來(lái)預(yù)測(cè)每個(gè)行人的未來(lái)路徑。Kosaraju等提出Social-BiGAT模型[31],通過(guò)將圖注意力機(jī)制和生成對(duì)抗網(wǎng)絡(luò)結(jié)合,不僅可以為給定的行人生成多個(gè)軌跡,還以多模式的方式為多個(gè)行人生成軌跡。李文禮等提出SAN-GAN模型[32],該模型基于視野域模塊捕捉行人視野域動(dòng)態(tài)變化,對(duì)所有行人建立扇形視野域并篩選有效信息,可以有效預(yù)測(cè)行人在復(fù)雜環(huán)境中進(jìn)行交互的未來(lái)路徑。吳家皋等提出的SRA-SIGAN模型[33],首先使用SR-LSTM獲取運(yùn)動(dòng)意圖信息,使得社會(huì)交互模塊能夠表達(dá)目標(biāo)與相鄰行人之間的位置和運(yùn)動(dòng)信息,然后引入速度注意力機(jī)制模塊處理行人之間的交互,最后由GAN預(yù)測(cè)未來(lái)的軌跡。余力等提出的MAGAM模型[34]利用LSTM對(duì)每個(gè)行人的歷史軌跡序列進(jìn)行建模,然后引入了融合位置信息的多頭注意力機(jī)制,來(lái)刻畫同一空間中目標(biāo)行人在多個(gè)影響因素下對(duì)周圍行人的關(guān)注。張睿等提出的基于生成對(duì)抗網(wǎng)絡(luò)的可解釋模型[35]在GAN的框架下,引入物理注意力機(jī)制和社會(huì)注意力機(jī)制,使得模型能夠預(yù)測(cè)出物理限制和社會(huì)行為規(guī)范的多條未來(lái)軌跡?；谶f歸神經(jīng)網(wǎng)絡(luò)方法的具體描述如表2所示。

表2 基于生成對(duì)抗網(wǎng)絡(luò)的方法

生成對(duì)抗網(wǎng)絡(luò)通過(guò)生成器和判別器之間的訓(xùn)練雖然可以提高軌跡預(yù)測(cè)的準(zhǔn)確率,但是基于GAN的模型也同時(shí)容易出現(xiàn)收斂速度慢、模式崩塌、過(guò)生成等問(wèn)題。

2.2.3 基于圖神經(jīng)網(wǎng)絡(luò)的方法 圖神經(jīng)網(wǎng)絡(luò)是一類處理圖域信息的深度學(xué)習(xí)模型,而在行人交互場(chǎng)景中存在著豐富的圖信息,因此研究學(xué)者也開始將圖神經(jīng)網(wǎng)絡(luò)運(yùn)用到行人軌跡預(yù)測(cè)任務(wù)中。在處理時(shí)空信息時(shí),基于遞歸神經(jīng)網(wǎng)絡(luò)模型采用的是聚合操作,而圖神經(jīng)網(wǎng)絡(luò)是利用圖的各結(jié)點(diǎn)間的信息傳輸所獲取的相關(guān)信息,從而對(duì)圖中各結(jié)點(diǎn)的狀態(tài)進(jìn)行更新,從而得到較強(qiáng)的預(yù)測(cè)能力。Mohamed等提出用于人類軌跡預(yù)測(cè)的社會(huì)時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)模型Social-STGCNN[36],該模型以時(shí)間卷積網(wǎng)絡(luò)作為序列解碼器,將行人交互建模為圖,然后解碼圖卷積網(wǎng)絡(luò)輸出的信息生成行人軌跡,模型架構(gòu)如圖7所示。與Social-STGCNN模型類似的還有AVGCN模型[37],該模型利用基于人類注意力的圖卷積網(wǎng)絡(luò)(GCN)進(jìn)行軌跡預(yù)測(cè),并且該模型還利用變分軌跡預(yù)測(cè)的方法考慮了行人軌跡的隨機(jī)性。Li等基于Social-STGCNN模型提出Attention-GCNN模型[38],將注意力機(jī)制與圖神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái),通過(guò)設(shè)置邊的權(quán)重來(lái)提取行人之間的交互信息,從而預(yù)測(cè)行人軌跡。Ivanovic等提出Trajectron++[39-40],該模型是一種模塊化的圖結(jié)構(gòu)的循環(huán)模型,同時(shí)結(jié)合智能體的動(dòng)態(tài)和異構(gòu)數(shù)據(jù)(例如語(yǔ)義地圖等),生成行人未來(lái)軌跡的分布。Wang等提出的Graph TCN模型[41]將空間相互作用建模為社會(huì)圖,并通過(guò)改進(jìn)的時(shí)間卷積網(wǎng)絡(luò)捕捉時(shí)空相互作用。Shi等提出SGCN模型[42],使用稀疏有向空間圖和稀疏有向時(shí)間圖來(lái)預(yù)測(cè)行人的軌跡。Rainbow等在Social-STGCNN模型上提出Semantics-STGCNN模型[43],該模型不同類型的道路使用者之間隱含的相關(guān)性引入圖卷積神經(jīng)網(wǎng)路中,可以更好地預(yù)測(cè)個(gè)體軌跡,并可用于用于多類軌跡預(yù)測(cè)。之后,Li等又提出Multiclass-SGCN模型[44],該模型是一種基于稀疏圖卷積網(wǎng)絡(luò)的多類軌跡預(yù)測(cè)方法,引入行人速度和行人標(biāo)簽信息,并根據(jù)交互得分自適應(yīng)地決定行人的空間和時(shí)間連接,提供了更現(xiàn)實(shí)和合理的軌跡預(yù)測(cè)?；趫D神經(jīng)網(wǎng)絡(luò)方法的具體描述如表3所示。

表3 基于圖神經(jīng)網(wǎng)絡(luò)的方法

圖7 Social-STGCNN模型架構(gòu)圖

近幾年基于圖神經(jīng)網(wǎng)絡(luò)廣泛被用于軌跡預(yù)測(cè),也取得了亮眼的成績(jī),并且也逐漸將注意力機(jī)制、生成對(duì)抗網(wǎng)絡(luò)多種方法與圖神經(jīng)網(wǎng)絡(luò)進(jìn)行結(jié)合,但是現(xiàn)在的大多數(shù)算法考慮到的因素單一,沒(méi)有考慮到行人運(yùn)動(dòng)過(guò)程中的深層運(yùn)動(dòng)特性以及與其類型運(yùn)動(dòng)個(gè)體之間的相互作用,如行人運(yùn)動(dòng)速度、行人運(yùn)動(dòng)方向、汽車運(yùn)動(dòng)速度等,而這些信息卻更符合真實(shí)場(chǎng)景中的行人運(yùn)動(dòng)狀態(tài),更具有應(yīng)用價(jià)值。隨著圖網(wǎng)絡(luò)技術(shù)的發(fā)展和成熟,圖神經(jīng)網(wǎng)絡(luò)在軌跡預(yù)測(cè)任務(wù)中的應(yīng)用將是非常有前途的。

3 數(shù)據(jù)集及性能指標(biāo)

3.1 數(shù)據(jù)集在行人軌跡預(yù)測(cè)任務(wù)中,涉及數(shù)據(jù)集主要有以下幾種:ETH[45]、UCY[46]、SDD[47]、 Town Center[48]、Edinburgh[49]、Interaction[50]、Grand Central[51]、 ActEV/VIRAT。數(shù)據(jù)集詳情如表4所示。

表4 數(shù)據(jù)集詳情

3.2 評(píng)價(jià)指標(biāo)行人軌跡預(yù)測(cè)任務(wù)主要有兩個(gè)評(píng)價(jià)指標(biāo):平均位移誤差(ADE)和最終位移誤差(FDE).平均位移誤差是測(cè)量軌跡的平均預(yù)測(cè)性能,最終位移誤差僅考慮軌跡端點(diǎn)的預(yù)測(cè)精度,兩個(gè)評(píng)價(jià)指標(biāo)的公式如下:

3.3 算法性能比較在行人軌跡任務(wù)中,由于ETH和UCY數(shù)據(jù)集是廣泛被使用的數(shù)據(jù)集,因此本文中只比較基于深度學(xué)習(xí)的各個(gè)模型在這兩個(gè)數(shù)據(jù)集上的性能,比較結(jié)果如表5所示。

表5 性能比較

從表2的數(shù)據(jù)可知,基于遞歸神經(jīng)網(wǎng)絡(luò)的方法(Social-LSTM、SS-LSTM)的預(yù)測(cè)精確度要低于基于生成對(duì)抗網(wǎng)絡(luò)和基于圖神經(jīng)網(wǎng)絡(luò)的方法。而且隨著將注意力機(jī)制與圖神經(jīng)網(wǎng)絡(luò)結(jié)合,基于兩種技術(shù)結(jié)合的方法(Attention-GCNN、Trajectron、Trajectron++、Graph TCN)的預(yù)測(cè)精度相對(duì)于只使用圖神經(jīng)網(wǎng)絡(luò)方法的預(yù)測(cè)效果更好,其中,Graph TCN方法比Social-STGCNN方法的預(yù)測(cè)準(zhǔn)確率提高了大約50%。因此,隨著圖網(wǎng)絡(luò)技術(shù)的發(fā)展和成熟,使用注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò)結(jié)合的方法可以更精確的預(yù)測(cè)行人未來(lái)的路徑。

4 結(jié)語(yǔ)

本研究對(duì)近些年來(lái)行人軌跡預(yù)測(cè)任務(wù)進(jìn)行研究,從軌跡預(yù)測(cè)問(wèn)題的實(shí)質(zhì)和挑戰(zhàn)為出發(fā)點(diǎn),對(duì)目前行人軌跡預(yù)測(cè)方法進(jìn)行分類,并且總結(jié)了不同模型的優(yōu)缺點(diǎn)。通過(guò)研究行人軌跡預(yù)測(cè)任務(wù)的發(fā)展方向可以發(fā)現(xiàn),基于深度學(xué)習(xí)的軌跡預(yù)測(cè)模型要優(yōu)于基于統(tǒng)計(jì)學(xué)模型的方法,并且多種方法結(jié)合的模型的預(yù)測(cè)精度以及效率要高于基于單一方法的預(yù)測(cè)模型。但是,由于實(shí)際場(chǎng)景復(fù)雜多變,當(dāng)前的軌跡預(yù)測(cè)模型在實(shí)際場(chǎng)景應(yīng)用中還存在許多不足,因此未來(lái)行人軌跡預(yù)測(cè)任務(wù)的研究可以從以下幾個(gè)方面展開。

1)融合其他場(chǎng)景因素對(duì)行人軌跡預(yù)測(cè)任務(wù)所產(chǎn)生的影響。在現(xiàn)有的模型中,并未考慮到場(chǎng)景因素對(duì)行人軌跡變化的影響,例如道路狀況、靜動(dòng)態(tài)障礙物等,因此在模型中有效地融合場(chǎng)景因素是十分有必要的。

2)考慮不同視角下的數(shù)據(jù)集?，F(xiàn)在方法中使用的數(shù)據(jù)集大部分都是俯瞰視角下產(chǎn)生的數(shù)據(jù),而使用俯瞰視角數(shù)據(jù)的應(yīng)用只是實(shí)際應(yīng)用中的一部分,因此獲取行人的平視及第一人稱視角等不同視角的數(shù)據(jù)是之后值得研究的方向。

3)融合行人本身的主觀意圖。行人本身的主觀意圖對(duì)于該行人未來(lái)的軌跡起著重要的作用,例如行人的姿勢(shì)和方向決定了該行人是否會(huì)突然轉(zhuǎn)彎、停止,因此融入行人的主觀意圖也是行人軌跡預(yù)測(cè)任務(wù)的研究熱點(diǎn)。