常富祥，丁 佳，魏福華，姚壽文，王 瑀，張家豪

(1.北京理工大學 機械與車輛學院， 北京 100081； 2.陸裝駐北京地區(qū)第一代表室， 北京 100072)

隨著人工智能技術的不斷發(fā)展，作為其重要分支之一的自動駕駛技術也廣泛受到關注[1]。研究表明，在加強道路交通安全、緩解城市交通擁堵、減少因車輛尾氣排放導致的空氣污染等方面，自動駕駛技術將會帶來顛覆性的改變[2]。隨著自動駕駛技術的逐步成熟，自動駕駛車輛的安全性成為關注的焦點問題。

對于具有高度復雜系統(tǒng)的汽車而言，高安全性代表著低事故率?，F(xiàn)階段對于自動駕駛車輛安全性測試的主要手段是進行路面試驗來采集車輛的安全性數(shù)據(jù)，這種方式所需的經濟與時間成本十分高昂，且對于一些較為關鍵的極端工況(如碰撞、接近碰撞、復雜信號燈路口、環(huán)島等)，很難在現(xiàn)實世界中進行模擬并復制還原[3]。

虛擬現(xiàn)實技術的愈加成熟，使得將現(xiàn)實世界在虛擬世界重構并加以模擬成為可能。利用虛擬現(xiàn)實技術，在虛擬世界中進行路面試驗[4]，用自動駕駛車輛模型代替真實的自動駕駛車輛，不僅能夠最大限度地降低自動駕駛汽車開發(fā)過程中的成本，還能極大地縮短研發(fā)周期。

由于自動駕駛車輛進行自主駕駛是建立在對周圍環(huán)境中的目標對象進行識別和理解之上的，而交通場景中存在的目標對象種類繁多且變化較大，這就造成了目標檢測與目標識別的任務變得極為復雜。為解決這一問題，一種全新的驅動自動駕駛的方法應運而生，這就是基于端到端深度學習的方法。

端到端深度學習自動駕駛技術的發(fā)展，在1988年到2017年具有五項較有代表性的成果。1988年，卷積神經網絡(CNN)技術還沒有得到充分的發(fā)展，卡耐基梅隆大學通過采用一個三層的較淺的反向傳播神經全連接網絡，使用仿真路面圖對一臺陸軍軍用救護車進行訓練，通過輸入單目相機數(shù)據(jù)和雷達數(shù)據(jù)，使得車輛能夠沿著道路行駛[5]。雖然此時的系統(tǒng)構成還非常簡單，但卻首次證明了端到端學習形成自動駕駛系統(tǒng)的能力。

2005年，紐約大學的 Yann LeCun教授團隊在ICCV會議上發(fā)表了基于端到端學習的野外避障車輛研究的成果[6]，該研究通過使用CNN神經網絡對人的駕駛行為進行學習，使得該自動駕駛系統(tǒng)可以在應對變化較大的復雜非道路環(huán)境時保持較好的魯棒性，該研究通過采用深度學習的方法，直接將圖像映射到行駛模式下，為自動駕駛技術的發(fā)展開辟了全新的思路。

2015 年的ICCV會議上，美國Princeton大學的研究團隊提出了使用直接感知的深度自動駕駛算法進行自動駕駛研究并進行了試驗[7]，其思路是利用深度神經網絡對駕駛操控過程進行直接感知，降低算法的復雜性，極大提升了自動駕駛算法的魯棒性。

2016年，英偉達發(fā)布了DAVE2項目[8]，該項目通過訓練卷積神經網絡，建立單個前置攝像頭與駕駛命令之間的映射，使車輛在有無車道線的道路、高速公路、停車場、未鋪砌的路面等區(qū)域行駛，并擁有30幀/秒的處理速度。該項目也是深度學習的方法首次被應用在實際可載人的自動駕駛車輛上的實例之一。

2017年，伯克利大學發(fā)布了Berkeley Deep Drive Video Dataset[9]，該研究使用FCN-LSTM(全卷積-長短期記憶網絡)架構，將大規(guī)模視頻數(shù)據(jù)集輸入到網絡中去，通過對單目視覺的觀察和以往車輛的運動狀態(tài)來預測之后車輛運動狀態(tài)的分布。

以上5個具有代表性的研究成果，均采用深度學習或深度強化學習的方法來驅動自動駕駛，使用神經網絡或深度神經網絡對駕駛這一人類技能進行學習，通過建立環(huán)境感知與駕駛決策之間的動作映射關系，實現(xiàn)車輛的自主駕駛，并且提高了自動駕駛算法的性能，但自動駕駛系統(tǒng)的魯棒性尚不穩(wěn)定。

本文通過對深度強化學習驅動的自動駕駛系統(tǒng)展開研究，設計并實現(xiàn)了一種端對端的深度強化學習驅動的自動駕駛算法，并以虛擬現(xiàn)實環(huán)境下自動駕駛仿真訓練平臺為基礎，對其進行訓練與測試，以增強自動駕駛系統(tǒng)的魯棒性，使深度強化學習和端對端控制在自動駕駛領域的應用成為可能。

1 算法總體設計

傳統(tǒng)的機器學習包含了3個重要的要素：目標、表示、優(yōu)化。目標層面的研究關注的是系統(tǒng)應該具備的學習模型的類型，而強化學習的輸入是能使激勵函數(shù)最大的模型[10]。表示層面研究的重點是輸入數(shù)據(jù)的表示方法，數(shù)據(jù)的表示方法可以很大程度的影響消息效果。深度學習是近年來開始興起的重要人工智能方法，尤其是在圖像的表示方面有著很好的效果。深度強化學習則是將深度學習和強化學習二者相結合，使用深度學習方法來表征Markov決策過程的狀態(tài)，使用強化學習方法對學習過程的方向進行把控[11]。

通常而言，深度強化學習算法可以分為三大類，分別是基于價值(Value Based)的深度強化學習算法，基于策略(Policy Based)的深度強化學習算法和基于模型(Actor Based)的深度強化學習算法。常見的是以DQN(Deep Q-Learning Network)為代表的基于價值的深度強化學習算法，此算法中僅有一個價值函數(shù)網絡，沒有策略函數(shù)網絡[12]，以及以DDPG，TRPO為代表的基于模型的深度強化學習算法，這些算法中既有價值函數(shù)網絡，又有策略函數(shù)網絡。

對于車輛來說，DQN是指在快速前進時獲得獎賞，與墻壁、其他車輛、行人等發(fā)生碰撞時接受懲罰，學習如何將獎賞最大化的方法。以方向盤、加速踏板、制動踏板、換擋桿位置、車速、左右傾角等車輛自身信息以及與墻壁、其他車輛、行人、車道線距與角度等數(shù)據(jù)作為輸入，通過七層神經網絡對此加以學習。最初車輛將隨意行駛并與墻壁或周邊車輛發(fā)生碰撞，隨后車輛會逐漸學習掌握向前行駛并回避障礙物，最終掌握為實現(xiàn)無碰撞行駛所需的轉向、加速、制動等功能的操作方法。更進一步，在障礙物會隨機出現(xiàn)的環(huán)境下，車輛如何進行無碰撞的行駛方法將得到充分學習，當加大發(fā)生碰撞的懲罰后，車輛間將保持充分的距離，最終實現(xiàn)在無信號燈的路口也可以不相互碰撞，順利通過[13]。此外，即使突然增加障礙物，車輛在學習后也能充分應對，不與之發(fā)生碰撞。

通過對強化學習和深度學習的研究，本文提出一種如圖1所示的基于端對端深度強化學習的自動駕駛方法，從理論上解釋算法設計的各個要素，使用基于循環(huán)神經網絡(Recurrent Neural Networks，RNN)的雙向長短時間記憶網絡(Bidirectional Long Short-term Memory，BLSTM)BLSTM-RNN的自動駕駛多模態(tài)行為預測模型，以實現(xiàn)長距離自治的自動駕駛，并增強系統(tǒng)的魯棒性，融入了為提升訓練效果和泛化能力而采用的網絡訓練及防止過擬合方法，利用Python編程完成算法模型的實現(xiàn)。

圖1 基于端對端深度強化學習的自動駕駛方法示意圖

2 算法設計與實現(xiàn)

本文將深度學習方法與強化學習方法進行有機結合，設計了基于端對端深度強化學習的自動駕駛方法，實現(xiàn)自動駕駛系統(tǒng)具備感知(Perception)和動作(Action)之間端對端學習的能力，并使用訓練好的模型來控制車輛行駛。以下為算法的基本設計思路。

2.1 智能體設計

一個自動駕駛任務的完成，包含了一系列的動作(Action)、觀察(Observation)和反饋值(Reward)。為了實現(xiàn)車輛的自動駕駛，需要設計一個可完成與環(huán)境之間進行交互的智能體。當智能體與環(huán)境進行交互后，環(huán)境會發(fā)生變化(如自動駕駛車輛的空間位置)，此時智能體不一定能得到環(huán)境的所有信息，因而需要觀察這一行為來表示智能體所獲取的感知信息。交互過程如圖2所示。

圖2 智能體與環(huán)境間的交互過程示意圖

在每個時間步長(time-step)，智能體執(zhí)行某一動作，如選擇車輛的行駛方向或改變車輛的前進、轉向和制動等駕駛動作，并將動作反映至環(huán)境中，環(huán)境的狀態(tài)隨之改變，并將此狀態(tài)傳遞至智能體，同時對智能體進行反饋。在此基礎上，任務目標轉化為智能體如何從環(huán)境中得到更多的反饋。

反饋值的獲取過程是進行量化的過程，反饋值越多代表所執(zhí)行的動作越滿足期望。在不考慮過擬合的情況下，如何找到一個最優(yōu)的策略，以得到更多的反饋值是研究的目標。由于最優(yōu)策略是未知的，求解過程的開始需要使用一個隨機策略作為起點。通過建立智能體與環(huán)境之間的交互來進行試驗，可得到最初的一組自身狀態(tài)s1、動作a1及反饋值r1，即樣本集合{s1，a1，r1}，通過對樣本不斷地進行迭代求解便可以得到更優(yōu)的反饋。

2.2 Markov決策過程

根據(jù)樣本的采集過程可知，樣本是具有時序的，因此在算法執(zhí)行過程中，下一時刻的環(huán)境狀態(tài)僅受到當前的狀態(tài)和動作的影響。這就是馬爾可夫決策過程，用數(shù)學方法可描述為如式(1)所示。

一個狀態(tài)st是Markov當且僅當

P(st+1|st)=P(st+1|st，st-1，…，s1，s0)

(1)

式中:P為概率；s0，s1，…，st，st+1分別為起始時刻到t+1時刻的狀態(tài)。

對于如何獲取最優(yōu)策略，常用的方法主要有兩類，一是直接對策略進行優(yōu)化，使回報值更高，這種方法被稱為基于策略的方法(Policy-based Method)；二是通過估計價值函數(shù)(Value-based Method)來間接獲得最優(yōu)策略。

通常由于迭代更新，基于策略的方法存在學習效率慢的缺陷，而基于價值函數(shù)的方法可能會導致空間維度過高的問題，因此選用融合了兩種方法的Actor-Critic(Actor：策略，Critic：評價)算法，算法流程如圖3所示。

圖3 Actor-Critic算法流程示意圖

此時，Actor部分會基于概率對行為進行選擇，Critic 部分會基于 Actor 的行為與輸入的狀態(tài)對行為進行評判打分，并將結果反饋給Actor，之后Actor 再次根據(jù) Critic 的打分對選擇行為的概率進行修正，而Critic部分根據(jù)環(huán)境返回的回報值，通過價值函數(shù)不斷調整自身的打分結構，由此構成帶有反饋的閉環(huán)算法。

2.3 價值函數(shù)

由于價值函數(shù)是無法準確得到的，因此需要估算價值函數(shù)。此時價值函數(shù)可被定義為期望值的回報，回報越高，價值就越大，越值得選擇。利用Bellman方程進行迭代可估算價值函數(shù)：

v(s)=Ε[Gt|St=s]=

Ε[Rt+1+λRt+2+λ2Rt+3+…|St=s]=

Ε[Rt+1+λ(Rt+2+λRt+3+…)|St=s]=

Ε[Rt+1+λGt+1|St=s]=

Ε[Rt+1+λv(St+1)|St=s]

(2)

v(s)=Ε[Rt+1+λv(St+1)|St=s]

(3)

式中：Gt、St和Rt分別為t時刻的收獲、狀態(tài)及獲得的獎勵；λ表示衰減系數(shù)；v(s)為價值函數(shù)，v(St+1)為下一狀態(tài)的價值；Ε表示價值。式(3)建立了當前狀態(tài)的價值與下一狀態(tài)的價值之間的關系，同時建立了當前狀態(tài)的價值和當前反饋之間的關系，可計算出價值函數(shù)。

由于每一個狀態(tài)，都存在多個可以選擇執(zhí)行的動作，而每個可能被執(zhí)行的動作又會導致很多個可能出現(xiàn)的狀態(tài)，因此需要通過評價每個可被選擇執(zhí)行動作的價值來指導動作的選擇。為了能夠得到價值最高的動作，需要對動作價值進行量化表示，這種量化表示動作價值的方法被稱為動作價值函數(shù)

Qπ(s，a)=Ε[rt+1+λrt+2+λ2rt+3+…|s，a]=

Εs′[r+λQπ(s′，a′)|s，a]

(4)

式中：π為策略；Qπ(s，a)為動作價值函數(shù)；s′為下一個狀態(tài)；a′為下一個動作。通過使用動作價值函數(shù)可以對最優(yōu)策略進行求解。而要求得最優(yōu)策略，首先需要求解最優(yōu)動作價值函數(shù)

(5)

將式(4)代入式(5)可得

(6)

當取最大值時可以得到最優(yōu)的Q值，因此等式右側的Q值在取得最大值時，能夠使a′值最大，即得到最高價值的動作。

2.4 策略迭代

使用策略進行迭代是為了通過使用迭代計算的方法使計算策略的過程最終收斂，從而得到策略的最優(yōu)值。策略迭代一般分成兩步，分別是策略評估(Policy Evaluation)和策略改進(Policy Improvement)。策略評估可以對價值函數(shù)進行更新并且能夠更好地估算出迭代過程中當前的策略價值。而策略改進則是使用貪婪策略(Greedy Policy)制造一個新的樣本用于初始的策略評估。

價值函數(shù)迭代計算過程中，每次迭代計算都需要對所有價值函數(shù)進行依次更新，然而對所有狀態(tài)和所有動作都進行遍歷是無法實現(xiàn)的，因此使用一種改進過后更新Q值的算法

(7)

雖然目標Q值可由價值函數(shù)迭代計算得出，但由于存在很大的累計誤差，因此不能直接將此目標值直接賦給新的目標值。為此引入?yún)?shù)α，每一步具體的實現(xiàn)取決于參數(shù)α的值，最終可以迭代收斂到最優(yōu)的目標值，且能夠減少估計誤差帶來的影響。

關于如何選擇生成動作的策略，通常有兩種方法，一種是選擇隨機進行動作的生成來得到一個動作，另一種是通過貪婪策略，在當前Q值的基礎上，通過計算得到最優(yōu)動作

(8)

相較于第一種方法，貪婪策略不容易更新得到更優(yōu)的Q值，但卻可以對算法的有效性進行判斷。為了讓算法同時具備上述兩種方法的優(yōu)點，對貪婪策略進行改進，具體方法是給定一個很小的ε值，作為選取隨機動作的概率值，因此又被稱為ε-greedy策略。

2.5 Q值神經網絡化

對于復雜的自動駕駛問題，除了需輸入車輛動力學參數(shù)和控制參數(shù)，還需輸入從虛擬環(huán)境中采集的圖像信息，這將導致算法的維度急劇增大，因此需對狀態(tài)數(shù)據(jù)進行降維處理。本文采用值函數(shù)近似的方法對算法進行降維處理

Q(s，a)=f(s，a)

(9)

式中，f可以使用多種函數(shù)類型進行替換，通過使用這種函數(shù)化的表示方法，算法的計算不再受到維度的限制。由于Q值實際如何分布是未知的，因此通過引入?yún)?shù)ω，使函數(shù)f近似表示Q值函數(shù)，式(9)可以表示為

Q(s，a)?f(s，a，ω)

(10)

神經網絡對于處理高維數(shù)據(jù)具有很大的優(yōu)勢，并且由于自動駕駛過程所采集的圖像數(shù)據(jù)具有時序性，且每張圖像信息是連續(xù)變化的，因此采用循環(huán)神經網絡(Recurrent Neural Network，RNN)替換函數(shù)f。循環(huán)神經網絡有別于其他神經網絡的區(qū)別是，其獨特的網絡結構允許其讀取歷史中的信息，并利用歷史中的信息影響后續(xù)網絡的傳輸，具有很好的處理具有時序性數(shù)據(jù)的能力，其典型的結構如圖4所示。

圖4 循環(huán)神經網絡結構示意圖

可以看出循環(huán)神經網絡的每一隱藏層之間的結點是存在連接的，每一隱藏層的輸入都包含了本層輸入層的輸入和上一隱藏層的輸出。

在RNN中，在下一時間段，神經元的輸出信號可以反過來作用到本身，對于第i層神經元而言，在t時刻，除第i-1層神經元會將輸出信號輸送給它以外，自身在上一時刻的輸出也會作為輸入信號傳輸給自身。

為方便分析，按照時間段展開，可表示為如圖5所示。

圖5 RNN神經網絡結構示意圖

圖5中，Xt，Ot和St分別表示t時刻的輸入，輸出和狀態(tài)。由圖中可以看出，t+1時刻的神經網絡輸出的最終結果變?yōu)榱嗽摃r刻的輸入和前序所有結果共同影響所產生的結果，實現(xiàn)了神經網絡時序建模。

2.6 防止梯度消失

當采用RNN進行降維時，在時間序列上會發(fā)生梯度消失的現(xiàn)象。當前神經網絡的預測位置和當前相關信息存在時間間隔，并且這個時間間隔會逐漸增大，當間隔變得很大時，簡單的循環(huán)神經網絡就會喪失學習的能力，為此使用長短時間記憶網絡(Long Short-Term Memory，LSTM)來解決這一問題。

LSTM網絡是一個擁有3個“門”的特殊網絡結構，依次為“遺忘門”、“輸入門”、“輸出門”，通過“細胞門”開關實現(xiàn)時間上的記憶功能，防止梯度消失。圖6為LSTM的結構單元和公式。

圖6 LSTM單元結構示意圖

圖6公式中，c為記憶細胞狀態(tài)；x為輸入；a為各層輸出；Wf、bf、Wu、bu、Wc、bc、Wo、bo為線性關系的系數(shù)和偏倚。

此時，循環(huán)神經網絡已經被改編，成為了深層循環(huán)神經網絡(Deep RNN)。具體做法是需要在BasicLSTMCell的基礎上再封裝一層MultiRNNCell，就可以實現(xiàn)基于循環(huán)時間網絡的雙向長短時間記憶網絡(BLSTM-RNN)。由于BLSTM的網絡結構構成了一個無環(huán)圖，其輸出是同時考慮了前后的因素得到的，因此更具有魯棒性。

3 仿真試驗

初步的訓練過程定義了一個名為interpret_action的代理函數(shù)完成六個動作的實現(xiàn)，包含停止、直線行駛、向左行駛、向右行駛、左轉和右轉。隨后定義compute_reward獎勵函數(shù)為車輛行駛速度和偏離中心線距離的類，行駛速度越快且距離車道中心越近，獲得的獎勵值就越高。除此之外還定義了終止函數(shù)isDone來執(zhí)行事件的終止，當發(fā)生碰撞或車速低于設定閾值的情況，訓練就會被終止。主循環(huán)通過獲取圖像信息，根據(jù)當前策略計算要采取的動作，獲得獎勵進行排序，如果測試終止，車輛模型就會被重置為原始狀態(tài)。

在進行虛擬環(huán)境下自動駕駛神經網絡算法的訓練時，選擇6名測試人員參與了人工駕駛訓練的工作，測試人員分別使用虛擬環(huán)境下駕駛采集裝置，在虛擬環(huán)境中按自身駕駛習慣進行人工駕駛。駕駛訓練所選用的場景為城市交通環(huán)境，并對駕駛訓練數(shù)據(jù)進行了記錄和統(tǒng)計。

測試人員的駕駛時間、平均車速、車輛距中心線平均距離的統(tǒng)計信息如表1所示。

表1 測試數(shù)據(jù)

測試過程中還分別記錄了測試人員在駕駛過程中的車速、油門踏板、制動踏板變化情況，現(xiàn)以圖7中第一名測試人員所得數(shù)據(jù)為例進行介紹，如圖8所示。

圖7 虛擬環(huán)境中人工駕駛采集

圖8 測試人員駕駛過程曲線

6名測試人員駕駛時車輛距道路中心線距離分布統(tǒng)計數(shù)據(jù)如圖9所示。

圖9 車輛距道路中心線距離分布直方圖

之后，使用6名測試人員駕駛時所得的駕駛數(shù)據(jù)對自動駕駛神經網絡分別進行訓練，使用訓練后的神經網絡算法進行自主駕駛測試，具體測試結果仍以第一個測試人員駕駛采集的數(shù)據(jù)訓練為例，如圖10所示。

圖10 自主駕駛測試過程曲線

由此可以看出，使用每位試驗人員的駕駛數(shù)據(jù)進行訓練得到的算法在自主駕駛測試中表現(xiàn)相差較大，自主駕駛測試的表現(xiàn)與試驗人員在進行人工駕駛訓練時的駕駛表現(xiàn)有關，駕駛員的駕駛表現(xiàn)越好，訓練的效果也越好，并且經過自動駕駛算法訓練的自動駕駛車輛，其行駛速度和行駛過程(加速踏板與制動踏板開度變化小)也更加穩(wěn)定，提高了車輛行駛的平穩(wěn)性。

將算法用試驗人員的駕駛數(shù)據(jù)訓練之后，對所有進行自動駕駛測試的車輛距道路中心線距離進行采樣，采樣結果如圖11所示。

圖11 車輛距道路中心線距離采樣統(tǒng)計曲線

從統(tǒng)計結果來看，經過訓練的算法在自動駕駛時，車輛距中心線的距離基本保持在0～10 cm之間，與人工駕駛相比，自動駕駛車輛車道保持的更好，這說明算法在進行訓練時保持了良好的策略，且忽略了人工駕駛時駕駛員主觀因素的影響，使得自動駕駛車輛更好地保持了道路中心線。結合圖9中的數(shù)據(jù)及表1中距道路中心線平均距離可以得出，測試人員5、6駕駛時車輛距道路中心線的距離最大，測試人員4駕駛時車輛距道路中心線的距離最小，與自動駕駛的數(shù)據(jù)對比后發(fā)現(xiàn)，測試5與測試6的車輛距道路中心線的距離較大，測試4的距離最小。因此可以得出，車輛與駕駛訓練過程中車輛距道路中心線平均距離越小，所訓練出的算法在進行自主駕駛時越容易接近道路中心線，車輛的安全性也越高。

4 結論

利用虛擬現(xiàn)實仿真環(huán)境試驗進行深度學習訓練成本低、效率高的特點，結合自動駕駛技術與深度強化學習，設計并實現(xiàn)了一種端對端深度強化學習的自動駕駛算法，以虛擬現(xiàn)實環(huán)境下自動駕駛仿真訓練平臺對其進行仿真訓練與測試。結果表明，車輛自主駕駛的表現(xiàn)與人工駕駛的表現(xiàn)有關，駕駛員的駕駛表現(xiàn)越好，訓練的效果也越好，并且經過自動駕駛算法訓練后，車輛的行駛速度和行駛過程(加速踏板與制動踏板開度變化小)更加穩(wěn)定，提高了車輛行駛的平穩(wěn)性，可以滿足車輛長距離自治的需要。該方法可以有效提高自動駕駛的訓練效果，降低自動駕駛技術測試的研究成本，大幅度提高了研發(fā)效率，對于處理大規(guī)模、高維度的算法具有很高的參考價值。

本研究雖然僅對車輛的直駛、轉向和停車功能進行了驗證，沒有設計復雜道路條件下車輛的多種行駛模式，但隨著車載大規(guī)模運算的應用，以及駕駛員的恐懼感、舒適性等體感參數(shù)的融入，將使得深度強化學習和端對端控制在實際載人自動駕駛領域的應用成為可能。