焦新宇，楊殿閣，江 昆，曹 重，謝詩超，王思佳

（汽車安全與節(jié)能國家重點實驗室，智能新能源汽車協(xié)同創(chuàng)新中心，清華大學汽車工程系，北京 100084）

前言

智能汽車駕駛決策是無人駕駛實現(xiàn)的關鍵技術(shù)。經(jīng)典的決策方法是基于人工控制邏輯，結(jié)合環(huán)境感知和車輛動力學模型生成車輛行駛軌跡［1-2］。這種明確的控制邏輯最大優(yōu)勢就是可靠性高，但卻因為場景和環(huán)境動態(tài)的高度復雜性和多變性，需要人工針對性設定各種復雜的控制邏輯，這就需要人類知識的積累可以覆蓋車輛行駛時的各種場景和意外情況。

人工智能技術(shù)特別是深度學習等端到端學習技術(shù)的發(fā)展為車輛行駛軌跡的決策提供了全新的思路［3-4］，可以實現(xiàn)從傳感信息到行駛軌跡或行駛控制指令的端到端預測，就可以避免復雜的車輛動力學控制模型和人工邏輯。NVIDIA公司使用深度神經(jīng)網(wǎng)絡［5］，實現(xiàn)了較精確的從圖像到轉(zhuǎn)向盤轉(zhuǎn)角的端到端車輛控制，COMMA.AI公司也進行了類似的研究［6］。百度公司也致力基于深度學習的端到端自動駕駛，公布了阿波羅計劃，并公布了Roadhackers數(shù)據(jù)庫，含有10 000km的攝像頭行駛數(shù)據(jù)等，對無人駕駛研究進行支持。

基于百度Roadhackers數(shù)據(jù)庫與端到端學習機制，可以對智能車無人駕駛控制邏輯進行探索，實現(xiàn)從圖像到行駛軌跡曲率的預測，進而可以支持行駛方向和轉(zhuǎn)向盤的直接控制。但由于數(shù)據(jù)庫中訓練數(shù)據(jù)有限，原始數(shù)據(jù)中存在駕駛員行為決策不定性的因素，基于該數(shù)據(jù)實現(xiàn)行駛軌跡曲率的準確預測存在很大困難。為此，本文中對行駛軌跡進行量化，建立行駛軌跡曲率預測模型，并提出合理的評價體系。此后，采用端到端學習機制研究直接從圖像到行駛軌跡曲率的預測，針對其性能不佳的問題，采用場景切分和特征預提取進行優(yōu)化，并對其進行試驗驗證。

1 行駛軌跡曲率預測模型與評價體系

建立行駛軌跡曲率預測模型，給出行駛軌跡曲率和軌跡位置坐標以及轉(zhuǎn)向盤轉(zhuǎn)角的關系。在此基礎上，考慮曲率的波動量，建立行駛軌跡曲率的評價體系。

1.1 行駛軌跡及轉(zhuǎn)向盤轉(zhuǎn)角與行駛軌跡曲率換算模型

行駛軌跡曲率可以定量地反映行駛軌跡的彎曲程度。實際數(shù)據(jù)采集中，可以由GPS信息計算曲率。為計算給定點軌跡曲率，取其前后各10個點，共21個點，擬合三次方程并計算曲率。

通過車輛建模，即可實現(xiàn)轉(zhuǎn)向盤轉(zhuǎn)角和曲率的換算。以線性2自由度車輛模型為例：

式中：δ為轉(zhuǎn)向盤轉(zhuǎn)角；k為曲率；u為速度；K為穩(wěn)定性因數(shù)；L為軸距；n為轉(zhuǎn)向系角傳動比。使用更精確的車輛模型，可以實現(xiàn)轉(zhuǎn)向盤轉(zhuǎn)角和行駛軌跡曲率更精確的對應。

由上述分析可知，行駛軌跡曲率可以對行駛軌跡的彎曲程度進行反映，且可以和轉(zhuǎn)向盤轉(zhuǎn)角相互換算。因此，實現(xiàn)圖片到行駛軌跡曲率的預測，即可化為對行駛軌跡和轉(zhuǎn)向盤轉(zhuǎn)角的預測。

1.2 行駛軌跡曲率預測評價體系

在軌跡規(guī)劃或軌跡預測中，均需對所得軌跡的優(yōu)劣進行量化評價。現(xiàn)有軌跡規(guī)劃或預測中，一般只能通過直觀顯示［1］或車道中心線偏移距［2，5］來評價。但是，以車道中心線為標準僅適用于車道保持，且不能反映轉(zhuǎn)彎方向的預測性能。

針對上述問題，本文中提出一種更為全面合理的軌跡預測評價體系。以行駛軌跡曲率預測模型進行量化，以均方根誤差和相關系數(shù)對預測軌跡曲率的數(shù)值進行評價，并基于允許誤差的思想，對預測正確率進行評價。由于轉(zhuǎn)彎方向?qū)Π踩兄匾饬x，單獨對方向預測提出一個評價指標。

行駛軌跡曲率預測評價體系由4個評價指標組成，如圖1所示。

圖1 行駛軌跡曲率預測評價體系

1.2.1 均方根誤差與相關系數(shù)

回歸分析中，常用均方根誤差RMSE與相關系數(shù)r進行評價：

1.2.2 預測正確率與方向正確率

在實際的交通場景中，不同人類駕駛員的駕駛軌跡曲率是不同的，轉(zhuǎn)向盤抖動也導致駕駛軌跡曲率的波動。因此，計算預測正確率時，應在數(shù)據(jù)庫人類駕駛員數(shù)據(jù)基礎上允許一定的誤差。

據(jù)牛清寧［7］的研究，在正常駕駛情況下，時間窗為20s時，轉(zhuǎn)向盤轉(zhuǎn)角標準差約為0.973°。采用線性2自由度車輛模型將其換算為曲率波動，車輛模型參數(shù)選為：穩(wěn)定性因數(shù)K=0.0015s2／m2，軸距L=3m，轉(zhuǎn)向系角傳動比n=15。高速公路場景下，取車速為30m／s，代入式（1）得

額外考慮到不同駕駛員的駕駛軌跡曲率的差異，計算預測正確率時，取2.5×10-4m-1作為允許誤差。

方向正確率計算中，考慮到安全性的要求，允許誤差應取較小值，取曲率絕對值小于1×10-4m-1為直行。取曲率左轉(zhuǎn)為正，右轉(zhuǎn)為負，預測曲率和實際曲率符號相同則視為方向預測正確。

2 基于端到端學習機制的行駛軌跡曲率預測

卷積神經(jīng)網(wǎng)絡是一種典型的端到端學習模型，適于組織圖像中的特征，被用于NVIDIA和COMMA.AI公司從圖像到轉(zhuǎn)向盤轉(zhuǎn)角的端到端預測。使用百度Roadhackers數(shù)據(jù)庫，卷積神經(jīng)網(wǎng)絡輸入端為圖片像素值，輸出端為軌跡曲率數(shù)值，原理框圖見圖2。

圖2 圖片 -軌跡曲率預測原理框圖

軌跡曲率預測基于COMMA.AI公司的卷積神經(jīng)網(wǎng)絡模型，如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡端到端學習模型

神經(jīng)網(wǎng)絡輸入為3×320×160的RGB圖像矩陣，綜合使用卷積層、Dropout層和全連接層，輸出層含有1個節(jié)點，與曲率標簽對應。

訓練集為百度Roadhackers數(shù)據(jù)庫中的81 484張行駛圖片及對應曲率，測試集為12 760張。每次訓練采樣500張圖片，共訓練50次。

測試結(jié)果曲率 時間曲線如圖4所示。

評價結(jié)果：均方根誤差 RMSE=2.9773×10-4m-1，相關系數(shù)r=0.3326，預測正確率64.4%，方向正確率61.1%。

可以看出，端到端預測結(jié)果的預測正確率和方向正確率均較低，且均方根誤差較大，相關系數(shù)也較低，預測結(jié)果存在大量不符合實際的波動。

圖4 卷積神經(jīng)網(wǎng)絡端到端行駛軌跡曲率預測

以端到端學習機制為基礎的智能汽車自主決策，當相同環(huán)境信息輸入網(wǎng)絡時，其輸出結(jié)果必然一致。而真實駕駛中，人類駕駛員針對同樣的環(huán)境輸入，可能由于不同的駕駛?cè)蝿蘸妥陨韨€性而進行不同的行為決策。面向經(jīng)典監(jiān)督學習的數(shù)據(jù)庫圖片-標簽形式下，行為決策的不定性在神經(jīng)網(wǎng)絡的訓練中難以體現(xiàn)，加深網(wǎng)絡或結(jié)合強化學習進行決策，也難以解決這一問題。

進行場景劃分，預先進行行為決策，包含駕駛員的主觀因素，在駕駛模式固定的前提下，利用神經(jīng)網(wǎng)絡進行軌跡決策或車輛控制，則可以避免上述的神經(jīng)網(wǎng)絡行為決策困難的問題。

另外，圖片中含有大量無關信息，如天空、樹木、建筑物等，神經(jīng)網(wǎng)絡難以提取周圍車輛、車道線等有效信息。經(jīng)過上述討論，以場景切分實現(xiàn)決策固化，以特征預提取降低神經(jīng)網(wǎng)絡的預測難度，能夠?qū)崿F(xiàn)對端到端的預測結(jié)果的優(yōu)化。

3 場景切分與特征預提取

3.1 高速公路行駛場景切分

國內(nèi)外主流研究將高速公路行駛場景切分為跟馳和變道兩種［8-9］。考慮無前車的自由流，將高速公路行駛分為車道保持和變道兩種場景。

3.2 變道場景特征預提取

變道場景下，車輛行駛方向的快速變化，引起圖片中車道線位置的快速變化，因此，車道線信息是變道場景行駛軌跡曲率預測中的有效信息，將其進行預提取，可以進一步提高預測性能。

車道線識別的任務可以由機器視覺或手動標注的方法來實現(xiàn)，如圖5所示。

為提高神經(jīng)網(wǎng)絡的預測性能，必須保證其訓練集和測試集的準確性。圖5（b）為基于LIM等［10］的車道線識別方法進行優(yōu)化后的結(jié)果，出現(xiàn)一些漏判和錯判。而圖5（a）的手動提取結(jié)果，將原始車道和目標車道的3條車道線標注出來，保證了神經(jīng)網(wǎng)絡數(shù)據(jù)集的準確性。

圖5 車道線識別方法對比

車道線原始數(shù)據(jù)為6個坐標點，將坐標點數(shù)據(jù)處理為直線解析式y(tǒng)=kx＋b，經(jīng)過預處理后，即可將3條車道線信息以6個數(shù)據(jù)的形式儲存。

4 基于場景切分和特征預提取的行駛軌跡曲率預測

以變道場景為例，以端到端學習機制為基礎，說明基于場景切分和特征預提取的行駛軌跡曲率預測優(yōu)化方法的有效性。

將車道線畫在圖片上突出表達，即可輸入卷積神經(jīng)網(wǎng)絡模型進行訓練。此外，將圖片中車道線的數(shù)學特征輸入BP神經(jīng)網(wǎng)絡，還可實現(xiàn)車道線- 軌跡曲率的預測，并進行連續(xù)圖片數(shù)據(jù)輸入優(yōu)化。系統(tǒng)方案如圖6所示。

圖6 變道場景行駛軌跡曲率預測方案

4.1 卷積神經(jīng)網(wǎng)絡變道場景行駛軌跡曲率預測

使用與端到端曲率預測中相同的卷積神經(jīng)網(wǎng)絡端到端學習模型，以1 700張圖片及對應曲率為訓練集，測試集為500張。采用場景切分和特征預提取的方法，針對變道場景，將車道線畫在圖片上，再輸入卷積神經(jīng)網(wǎng)絡進行訓練。

預測結(jié)果如圖7所示，圖中正負交替的峰反映了測試集左右交替的變道行為。

將場景切分和特征預提取優(yōu)化結(jié)果與端到端的預測結(jié)果對比，如表1所示。

圖7 基于車道線提取的變道場景軌跡曲率預測

表1 卷積神經(jīng)網(wǎng)絡端到端與優(yōu)化結(jié)果對比

由表1看出，場景切分和特征預提取使4項評價指標均有大幅改善。由圖7可知，曲線趨勢可以較好地反映出來。

通過實車試驗對上述優(yōu)化方法進行驗證。以地基增強的差分GPS采集車輛位置坐標，以攝像頭同步采集行駛圖片，試驗設備如圖8所示。

圖8 試驗設備與安裝

進行場景切分和特征預提取優(yōu)化后，基于車道線提取的變道場景曲率預測的試驗結(jié)果見圖9。

與使用百度數(shù)據(jù)訓練的優(yōu)化結(jié)果進行對比，如表2所示。

圖9 基于車道線提取的變道場景曲率預測試驗驗證

表2 卷積神經(jīng)網(wǎng)絡優(yōu)化結(jié)果試驗驗證

由表2可知，試驗數(shù)據(jù)訓練結(jié)果相關系數(shù)略低于百度數(shù)據(jù)訓練結(jié)果，而均方根誤差、預測正確率和方向正確率則略好。4項指標數(shù)值上都較為接近，試驗結(jié)果證明了基于車道線提取的卷積神經(jīng)網(wǎng)絡變道場景曲率預測方法的有效性。

可見，經(jīng)過場景切分和特征預提取后，在相同的行為決策模式內(nèi)，端到端學習對人類駕駛員的駕駛模式的模仿和預測性能有了大幅提高。

4.2 BP神經(jīng)網(wǎng)絡變道場景行駛軌跡曲率預測

在場景切分和特征預提取的系統(tǒng)方案中，已做出變道行為決策之后，前方車輛、障礙物等引發(fā)變道決策的因素可以不必繼續(xù)考慮，僅用車道線信息作為輸入，即可完成變道動作。為此，可以使用神經(jīng)網(wǎng)絡直接實現(xiàn)車道線- 軌跡曲率的預測。變道場景下，本車道和目標車道的車道線斜率和截距特征只需6個數(shù)據(jù)表達，可以使用節(jié)點數(shù)量較少的BP神經(jīng)網(wǎng)絡，結(jié)構(gòu)如圖10所示。

圖10 BP神經(jīng)網(wǎng)絡結(jié)構(gòu)

訓練集為與卷積神經(jīng)網(wǎng)絡預測中相同的1 700張變道場景圖片車道線數(shù)據(jù)及對應曲率，測試集為500張。訓練結(jié)果見圖11。

將均經(jīng)過場景切分和特征預提取優(yōu)化后的BP神經(jīng)網(wǎng)絡的車道線- 軌跡曲率預測與卷積神經(jīng)網(wǎng)絡端到端學習預測結(jié)果進行對比，如表3所示。

由表3可以看出，車道線- 軌跡曲率的預測結(jié)果在4項指標上均優(yōu)于卷積神經(jīng)網(wǎng)絡的結(jié)果。這是因為BP神經(jīng)網(wǎng)絡輸入的是純車道線信息，而卷積神經(jīng)網(wǎng)絡的預測中，雖然突出顯示了車道線，但是圖片中仍有天空、樹木等其它信息。同時，這也體現(xiàn)了端到端學習的潛力，在數(shù)據(jù)量較大時，可能學習到更多的有效特征。

圖11 變道場景車道線- 軌跡曲率預測

表3 車道線- 軌跡曲率與端到端學習預測對比

由于實際駕駛的時空連續(xù)性，每一時刻的駕駛決策不僅與當前時刻的環(huán)境輸入有關，還與此前一段時間的環(huán)境輸入有關。據(jù)此進行連續(xù)輸入優(yōu)化，將連續(xù)5張圖片所提取的車道線特征數(shù)據(jù)作為神經(jīng)網(wǎng)絡的輸入，訓練結(jié)果如圖12所示。

圖12 連續(xù)輸入車道線- 軌跡曲率預測結(jié)果

將車道線 軌跡曲率預測的5張連續(xù)圖片預測結(jié)果和單張輸入預測結(jié)果進行對比，如表4所示。

表4 車道線- 軌跡曲率預測連續(xù)輸入優(yōu)化

由表4看出，連續(xù)5張圖片輸入下，各項指標全面優(yōu)于單張圖片，說明考慮行駛的時空連續(xù)性使預測更為準確。

對上述性能最佳的BP神經(jīng)網(wǎng)絡連續(xù)輸入曲率預測結(jié)果，通過行駛軌跡 曲率換算模型計算行駛軌跡，并投影到道路平面進行可視化，如圖13所示。白色實線為實際軌跡，黑色點為預測軌跡。

圖13 連續(xù)輸入車道線- 軌跡曲率預測結(jié)果可視化

由圖13可見，預測軌跡和實際軌跡較為接近，實現(xiàn)了較為準確的軌跡預測。

對連續(xù)輸入車道線- 軌跡曲率預測進行試驗驗證，訓練集取1 000張圖片數(shù)據(jù)，測試集為470張，預測效果見圖14。

圖14 連續(xù)輸入車道線- 軌跡曲率預測試驗驗證

評價結(jié)果：均方根誤差 RMSE=1.5645×10-4m-1，相關系數(shù)r=0.9141，預測正確率96.0%，方向正確率98.7%。

可以看出，試驗驗證結(jié)果的評價指標反映出的性能較好，均方根誤差很小，相關系數(shù)、預測正確率和方向正確率均較高，說明在實際應用中，在變道場景的固定決策模式下，僅用車道線信息進行軌跡預測的方法是合理的。

5 結(jié)論

基于端到端學習機制，直接從圖像實現(xiàn)行駛軌跡曲率的準確預測，從而為實現(xiàn)車輛方向的直接控制提供依據(jù)。

（1）建立了行駛軌跡曲率預測模型，實現(xiàn)了對行駛軌跡的量化表達。在此基礎上，建立了合理的行駛軌跡曲率預測評價體系。

（2）使用卷積神經(jīng)網(wǎng)絡端到端學習模型，利用百度Roadhackers數(shù)據(jù)庫，進行了行駛軌跡曲率預測，并指出行為決策的不定性帶來的困難，提出通過場景切分預先進行行為決策，以實現(xiàn)預測性能優(yōu)化的思想。

（3）以變道場景為例，通過車道線特征預提取實現(xiàn)了端到端學習預測性能優(yōu)化。此外，利用BP神經(jīng)網(wǎng)絡，實現(xiàn)了從車道線特征到行駛軌跡曲率的預測，并進行了連續(xù)圖片數(shù)據(jù)輸入優(yōu)化。利用場景切分和特征預提取方法在變道場景下實現(xiàn)了較為準確的軌跡預測，并得到了試驗驗證。