李永迪，李彩虹，張耀玉，張國勝，周瑞紅，梁振英

(山東理工大學 計算機科學與技術(shù)學院，山東 淄博 255049)

近年來,深度學習DL(deep learning)[1]和強化學習RL(reinforcement learning)[2]成為人工智能領域的熱門。傳統(tǒng)的強化學習用于機器人路徑規(guī)劃時,不能適應環(huán)境復雜度高的狀況;而深度學習具有較強的感知能力,能夠適應更加復雜的問題,但是決策能力稍欠缺。將深度學習和強化學習相結(jié)合的深度強化學習DRL( deep reinforcement learning)[3]算法, 取長補短,具有二者的感知優(yōu)勢和決策優(yōu)勢[4],目前在移動機器人路徑規(guī)劃[5]技術(shù)中得到了廣泛應用。

DDPG[6]是將DPG(deterministic policy gradient)和神經(jīng)網(wǎng)絡相融合的策略方法。DDPG算法具有多維特征提取能力,能從樣本中習得避障經(jīng)驗,具備一定的泛化能力,可根據(jù)不同的環(huán)境選擇合適的避障策略[7-8]。周盛世等[9]在DDPG算法的基礎上結(jié)合人工勢場法設計了回報函數(shù),但并未對模型收斂效果進行探討;Wang等[10]在Q學習[11]中添加LSTM層用于Q函數(shù)的近似過程,提高了算法的魯棒性;Lobos-Tsunekawa等[12]基于DDPG算法和LSTM,記憶地圖障礙物位置并實現(xiàn)雙足機器人避障,但在算法收斂速度方面討論較少;袁帥等[13]在算法感知端引入LSTM,將障礙物狀態(tài)信息作為輸入,提高了記憶和認知障礙物的能力,但未對復雜環(huán)境進行驗證;楊秀霞等[14]采用基于LSTM和速度障礙法的DDPG避障方法,解決了算法無法表示不同數(shù)量障礙物的狀態(tài)信息的問題,提高了泛化能力,但未對算法訓練效率進行討論。

本文針對上述問題,對DDPG算法進行改進。引入LSTM結(jié)構(gòu),將移動機器人搭載的激光雷達的探測信息、機器人的狀態(tài)信息以及機器人當前位置與目標點的距離和角度作為網(wǎng)絡的輸入,角速度和線速度作為輸出,遺忘和記憶樣本信息;結(jié)合人工勢場法[15],賦予目標點和障礙物對機器人的引力和斥力,設計勢場獎懲函數(shù),解決環(huán)境獎勵稀疏的缺點;利用勢場的合力對機器人的角速度進行調(diào)節(jié),減少路徑冗余路段。

1 算法原理分析

1.1 DDPG算法原理

DDPG算法基于Actor-Critic算法[16]框架,與DQN算法結(jié)合,使用卷積神經(jīng)網(wǎng)絡[17]模擬策略函數(shù)和價值函數(shù),算法訓練使用深度學習的方法,準確模擬非線性函數(shù),并且在高維度動作空間下有較好的收斂性。

策略π是動作概率分布的映射,而確定性策略π去掉了概率分布,只取最大概率的動作,定義為

πθ(s)=a,

(1)

式中θ為確定性策略π的參數(shù),目標是尋找一個θ使動作策略π的選擇最優(yōu)。

在DDPG算法中,智能體與當前環(huán)境進行交互從而獲取當前時刻的狀態(tài)信息,通過神經(jīng)網(wǎng)絡對獲取的信息進行分析,輸出智能體要執(zhí)行的動作策略,智能體行動后與環(huán)境交互獲得反饋,再對反饋后的各個動作策略進行評價,最后更新神經(jīng)網(wǎng)絡的參數(shù)。DDPG算法框架如圖1所示。

圖1 DDPG算法框架

在Actor網(wǎng)絡中,在線策略網(wǎng)絡負責根據(jù)當前的狀態(tài)信息st選擇要執(zhí)行的動作at,智能體執(zhí)行動作后生成下一時刻的st+1和獎勵rt;目標策略網(wǎng)絡負責根據(jù)從經(jīng)驗池中抽取的采樣數(shù)據(jù)選擇下一步執(zhí)行的動作at+1,并更新網(wǎng)絡參數(shù)θ。計算公式為

θt+1=θt+αθπ(st,θ)[?atQ(st,at,ω)]a=πθ(s)。

(2)

在Critic網(wǎng)絡中,在線價值網(wǎng)絡負責根據(jù)獲取的當前時刻的狀態(tài)st和動作at計算網(wǎng)絡的Q值,并更新目標價值yi和網(wǎng)絡參數(shù)ω;目標價值網(wǎng)絡負責更新網(wǎng)絡參數(shù)ω′,計算st+1的Q值Q(st+1,at+1,ω′)。網(wǎng)絡參數(shù)ω和目標Q值yi的更新公式為:

ωt+1=ωt+αω[yi-Q(st,at,ω)]?ωQ(st,at,ω),

yi=rt+γQ(st+1,at+1,ω′)。

(3)

1.2 人工勢場法

人工勢場法是移動機器人路徑規(guī)劃常用的方法,其原理是在環(huán)境中設置人工引力和斥力,使目標點和障礙物分別產(chǎn)生對機器人的引力和斥力,越靠近目標點引力越大,方向始終朝向目標點;越靠近障礙物斥力越大,方向從障礙物指向機器人。通過引力和斥力的合力作用使機器人在運動過程中有方向引導,最終避開障礙物,到達目標點。

引力勢場函數(shù)Uatt表示為

(4)

式中:ηa為引力系數(shù),始終大于0;ρ(qgoal,q)為當前機器人與目標點的距離。

斥力勢場函數(shù)Urep表示為

(5)

式中:ηr為斥力系數(shù);ρ(q,qobs)為機器人與障礙物的實時距離;ρ0為障礙物的安全距離,當障礙物進入這個范圍就會受到斥力勢場影響。

總勢場U和機器人受到的合力F為:

(6)

2 APF-LSTM-DDPG算法設計

為提高訓練速度和穩(wěn)定性,本文提出了APF-LSTM-DDPG算法?；贒DPG算法,結(jié)合LSTM和人工勢場法,設計勢場獎懲函數(shù)作為前期的輔助,加快訓練速度;利用人工勢場法調(diào)整算法的動作選擇策略,提升所規(guī)劃路徑的平滑程度,并減少路徑長度。APF-LSTM-DDPG算法包含了連續(xù)的狀態(tài)空間和動作空間[18]、獎懲函數(shù)以及網(wǎng)絡結(jié)構(gòu)的設計。

2.1 連續(xù)的狀態(tài)空間和動作空間設計

移動機器人模型如圖2所示。

圖2 Turtlebot3機器人模型

使用兩輪差分的Turtlebot3作為移動機器人仿真模型,搭載全方位的雷達傳感器,機器人結(jié)構(gòu)和其激光雷達數(shù)據(jù)采集結(jié)構(gòu)如圖3的(a)和(b)所示。

(a) Turtlebot3機器人結(jié)構(gòu)圖

圖3(a)中θ是機器人當前行進方向Or_head與目標點方向Ogoal的夾角,θ∈[-π, π];機器人與周圍環(huán)境中的障礙物相關信息通過激光雷達獲取,使用機器人前方180°的探測范圍和10個方向上的雷達數(shù)據(jù)。

在仿真環(huán)境中,機器人當前位置、行駛角度和速度信息由定位系統(tǒng)獲取,機器人的位姿信息由激光雷達測距信息di以及機器人與目標點之間的距離ρ(qgoal,q)和角度θ組成,狀態(tài)空間st定義為

st=(d1～d10,ρ(qgoal,q),θ)。

(7)

機器人在行駛過程中遇到障礙物需改變方向來避障,通過改變線速度和角速度來控制轉(zhuǎn)彎幅度,線速度的取值范圍為[0.0, 0.22],單位m/s;角速度的取值范圍為[-2.0, 2.0 ],單位rad/s。機器人的運動過程如圖4所示。

圖4 機器人運動過程

圖4中,(xt,yt)為在t時刻機器人的坐標,θt為t時刻機器人行進朝向和x軸正方向的夾角,當前時刻的機器人位姿信息pt定義為

pt=[xt,yt,θt]T,

(8)

機器人的運動學模型為

(9)

式中:T為機器人采樣周期,(xt+1,yt+1,θt+1)是根據(jù)t時刻的位姿信息和運動信息計算而來,[vc,wc]表示當前機器人的線速度和角速度。則移動機器人動作空間A定義為

A=(vc,wc)。

(10)

2.2 勢場獎懲函數(shù)設計

在訓練初期,DDPG算法會選擇隨機動作策略而探索不必要的區(qū)域,致使算法收斂時間長且不穩(wěn)定,設計連續(xù)的勢場獎懲函數(shù),以提高學習效率。

當機器人與目標點的距離ρt小于目標點范圍cg,或離最近障礙物距離minx小于障礙物碰撞距離co時給予相應獎勵:

(11)

根據(jù)機器人在運動過程中與目標點的距離dt變化量給予相應獎勵:

(12)

在訓練前期會隨機選擇多余動作,造成機器人行進方向頻繁變化而增加多余訓練,增加累計轉(zhuǎn)角和θs的相應獎勵:

(13)

在機器人進入一個或多個障礙物的斥力勢場范圍cr時會給予斥力獎勵,獎勵與距離正相關:

(14)

式中di為機器人與第i個障礙物的距離,當機器人離開斥力勢場范圍后獎勵為0。

獎懲函數(shù)包括到達目標點和觸碰障礙物的獎勵R1、距離變化量獎勵R2、轉(zhuǎn)角和獎勵R3以及斥力獎勵R4,在訓練前期勢場作為輔助,能夠快速學習避障到達目標點,隨著訓練的增加,權(quán)重k逐漸增大。所以總的獎勵函數(shù)設置為

R=R1+R2+R3+(1-k)R4。

(15)

2.3 基于LSTM的網(wǎng)絡結(jié)構(gòu)

APF-LSTM-DDPG算法在Actor網(wǎng)絡和Critic網(wǎng)絡的基礎上增加了LSTM網(wǎng)絡層。

如圖5所示,LSTM用于處理移動機器人狀態(tài)信息。在每一時刻t,將機器人狀態(tài)信息Ct-1=(s1,a1,...,sn,an)作為LSTM的輸入序列,經(jīng)過遺忘門提取關鍵信息后存儲在ht。在經(jīng)驗池中保存數(shù)據(jù)時將表現(xiàn)較好的樣本存入,為后續(xù)更新Actor網(wǎng)絡和Critic網(wǎng)絡提供樣本數(shù)據(jù)。所有障礙物的狀態(tài)信息輸入后,將存儲在ht中的數(shù)據(jù)維度轉(zhuǎn)換為狀態(tài)向量ht:

圖5 LSTM處理數(shù)據(jù)模型

(16)

移動機器人的當前狀態(tài)st經(jīng)過LSTM處理后作為APF-LSTM-DDPG網(wǎng)絡的輸入ht,輸送給Actor網(wǎng)絡和Critic網(wǎng)絡的全連接層。

如圖6所示,APF-LSTM-DDPG神經(jīng)網(wǎng)絡由四層網(wǎng)絡組成。第一層為LSTM層,包含兩個隱含的LSTM記憶單元,以獲取時間序列信息,對當前狀態(tài)信息和上一時刻的狀態(tài)信息的遺忘和記憶;第二、三層為全連接層,包含512個神經(jīng)元節(jié)點,將LSTM處理后的狀態(tài)信息作為輸入;第四層為全連接層,輸出發(fā)送給機器人的角速度和線速度。Actor網(wǎng)絡和Critic網(wǎng)絡的隱藏層相同,Critic網(wǎng)絡給出機器人當前狀態(tài)和動作的Q值。

圖6 APF-LSTM-DDPG網(wǎng)絡結(jié)構(gòu)

APF-LSTM-DDPG算法包含14個輸入和2個輸出,其中10個方向的雷達信息和線速度、角速度以及與目標點距離和角度為輸入,機器人執(zhí)行的動作為輸出。如圖7所示。

圖7 APF-LSTM-DDPG算法的輸入輸出

2.4 融合路徑規(guī)劃算法

機器人通過APF-LSTM-DDPG算法選擇動作與環(huán)境交互,交互后得到狀態(tài)信息并存入到經(jīng)驗池中作為樣本,在移動過程中受到人工勢場法干預。算法在訓練時從經(jīng)驗池中隨機采樣n個樣本,經(jīng)LSTM單元處理數(shù)據(jù)后進行網(wǎng)絡的更新。改進后的算法流程如圖8所示。

為減少算法選擇冗余動作,利用人工勢場法為動作的選擇做引導。當移動機器人周圍存在障礙物時受到斥力Frep,靠近目標點時受到引力Fatt,通過合力F引導機器人的運動行為。機器人受力分析如圖9所示。

圖9 機器人受力分析

如果機器人到達勢場區(qū)域,基于人工勢場法,根據(jù)當前移動機器人受到的合力F來修正其角速度,表達式為

(17)

式中:θf是機器人以自身為坐標受到合力的角度,θr為當前機器人朝向的角度,α=0.3為調(diào)節(jié)系數(shù),β=2π,(θr-β-θf)和(θr+β-θf)為機器人朝向與合力方向外角的差值。

2.5 遷移學習

局部路徑規(guī)劃中的大部分任務存在相關性,在不同地圖環(huán)境中利用參數(shù)遷移來初始化相關任務中的參數(shù),可以加快移動機器人在不同場景下策略的學習。

訓練開始階段加載初始模型,獲取全部的模型參數(shù)。通過隨機初始化訓練獲得趨向目標點的模型參數(shù)ωi,將ωi初始化為離散場景ωs,再將離散環(huán)境下的模型參數(shù)初始化為特殊障礙物場景ωt,完善避障規(guī)則Vs與Vt,實現(xiàn)局部路徑規(guī)劃。本文所設計的的遷移學習結(jié)構(gòu)圖如圖10所示。

圖10 遷移學習結(jié)構(gòu)圖

3 仿真驗證

為驗證所設計的APF-LSTM-DDPG算法在機器人路徑規(guī)劃中的有效性,基于Python語言,在ROS平臺上利用Gazebo搭建不同的3D仿真環(huán)境:離散型障礙物、一型障礙物、U型障礙物和混合障礙物環(huán)境,進行模型的訓練。

為更清晰地觀察實驗結(jié)果,將繪制兩種算法訓練的每輪平均獎勵對比圖,橫坐標為訓練的迭代次數(shù),設為n,縱坐標為迭代到第n輪時本輪的平均獎勵,設為r;將機器人和仿真環(huán)境實時投影在Rviz軟件中顯示,并繪制出機器人行走的軌跡。在Rviz中,機器人所在位置為起點,綠色方框代表目標點,黑色圓柱體代表障礙物,藍色實線代表規(guī)劃的路徑軌跡。

在Gazebo中搭建訓練環(huán)境,設置并初始化APF-LSTM-DDPG算法的參數(shù),使移動機器人經(jīng)過訓練學習到繞過障礙物的經(jīng)驗,能夠到達目標點,部分參數(shù)設置見表1。

表1 路徑規(guī)劃任務參數(shù)設置

3.1 無障礙物下的仿真

Gazebo搭建的仿真環(huán)境如圖11所示。

圖11 無障礙物環(huán)境

在訓練過程中隨機生成目標點,根據(jù)獎懲函數(shù)給予獎勵,經(jīng)過訓練后輸出每輪的平均獎勵,如圖12所示。APF-LSTM-DDPG算法由于人工勢場法力的作用對角速度進行調(diào)節(jié),會迅速找尋到目標點,得到更多獎勵高的樣本,算法更快地收斂。從圖12中可以看出APF-LSTM-DDPG算法在30輪后開始收斂,原始算法在100輪左右開始收斂,且收斂后APF-LSTM-DDPG算法較為穩(wěn)定。

圖12 無障礙物環(huán)境每輪平均獎勵對比

設置三個不同的目標點,使機器人按右上、左上和左下的順序依次尋路,利用訓練后的模型進行路徑規(guī)劃的結(jié)果如圖13所示。APF-LSTM-DDPG算法由于學習到的經(jīng)驗較好,規(guī)劃的路徑更短,轉(zhuǎn)彎角度更小。

(a) DDPG算法 (b) APF-LSTM-DDPG算法圖13 無障礙物環(huán)境路徑規(guī)劃

3.2 離散障礙物下的仿真

離散障礙物訓練環(huán)境在Gazebo中顯示如圖14所示。

圖14 離散障礙物環(huán)境

利用遷移學習將具有趨向目標點經(jīng)驗的無障礙物環(huán)境模型遷移到離散環(huán)境中作為初始化模型,設置實驗參數(shù),機器人碰撞障礙物后給予負獎勵并立即進入下一輪,縮短訓練周期,進行200輪訓練后,輸出平均獎勵,如圖15所示。從圖15可以看出機器人在離散障礙物場景中獲得的平均獎勵在訓練前期處于正負值交替狀態(tài),說明還沒有學習到充足的避障經(jīng)驗,每輪的平均獎勵隨著迭代次數(shù)的增加逐漸上升,算法開始逐漸收斂,且APF-LSTM-DDPG算法的收斂速度明顯快于原始算法。

圖15 離散障礙物環(huán)境每輪平均獎勵對比

利用訓練得到的模型進行從起點到目標點的路徑規(guī)劃,規(guī)劃結(jié)果如圖16所示。從圖16可以看出,相比于原始DDPG算法,APF-LSTM-DDPG算法規(guī)劃的路徑更短,冗余路段更少。

(a) DDPG算法 (b) APF-LSTM-DDPG算法圖16 離散障礙物環(huán)境路徑規(guī)劃

3.3 U型障礙物下的仿真

特殊障礙物包括一型和U型,存在陷入局部最優(yōu)等問題,通過LSTM單元和人工勢場法合力的作用,使機器人更快地繞過障礙物,提高模型收斂的速度。U型障礙物環(huán)境如圖17所示。

(a) Gazebo中的U型環(huán)境 (b) Rviz中的U型環(huán)境圖17 U型障礙物環(huán)境

將APF-LSTM-DDPG算法和原始算法在離散障礙物環(huán)境下學習到避障經(jīng)驗的算法模型用作U型障礙物環(huán)境的初始化模型,同樣進行200輪訓練,輸出每輪平均獎勵,如圖18所示。APF-LSTM-DDPG算法訓練到25輪前后,平均獎勵上升到正值,說明算法已經(jīng)學習到部分避障經(jīng)驗;而在130輪左右時,每輪的平均獎勵基本穩(wěn)定,說明算法趨于收斂。

圖19為兩個算法在U型障礙物環(huán)境中規(guī)劃的路徑。U型環(huán)境中,APF-LSTM-DDPG算法從起點到終點所用步數(shù)為179,原始DDPG算法為191。從圖19可以看出,在人工勢場法輔助下訓練出的算法模型,能夠在激光雷達探測到障礙物時直接繞過,在不觸碰障礙物的條件下規(guī)劃出一條從起點到目標點的較優(yōu)路線,且APF-LSTM-DDPG算法規(guī)劃的路徑較短。

(a) DDPG算法 (b) APF-LSTM-DDPG算法圖19 U型障礙物環(huán)境路徑規(guī)劃

3.4 一型障礙物下的仿真

一型障礙物環(huán)境將作為U型環(huán)境訓練模型的泛化測試環(huán)境,所以不單獨在一型環(huán)境下進行訓練,將APF-LSTM-DDPG算法在U型環(huán)境中的訓練模型用于一型障礙物環(huán)境的路徑規(guī)劃任務。一型障礙物環(huán)境如圖20所示。

(a) Gazebo中的一型環(huán)境 (b) Rviz中的一型環(huán)境圖20 一型障礙物環(huán)境

圖21為兩個算法在一型障礙物環(huán)境中規(guī)劃的路徑。APF-LSTM-DDPG算法從起點到終點所用步數(shù)為181,原始DDPG算法為186。從結(jié)果可知,該算法具有一定的泛化性。

(a) DDPG算法 (b) APF-LSTM-DDPG算法圖21 一型障礙物環(huán)境路徑規(guī)劃

對兩種算法在四種障礙物環(huán)境中路徑規(guī)劃時從起點到目標點的步數(shù)進行匯總,見表2。從表2可以看出,在每個環(huán)境中APF-LSTM-DDPG算法路徑規(guī)劃所用步數(shù)均較少。

表2 到達目標點所用步數(shù) 單位:步

3.5 混合障礙物環(huán)境中對比仿真測試

在混合障礙物場景中,分別基于傳統(tǒng)DDPG算法、文獻[19]復現(xiàn)的算法和本文提出的APF-LSTM-DDPG算法進行仿真驗證。為方便稱呼,簡稱文獻[19]中的算法為LDDPG算法。LDDPG算法是結(jié)合LSTM神經(jīng)網(wǎng)絡并以環(huán)境圖像作為輸入的路徑規(guī)劃算法,將其輸入改為與本文設計的算法同樣的14個輸入,以便進行仿真測試。對比平均獎勵和利用收斂模型進行路徑規(guī)劃的成功率,搭建的環(huán)境如圖22所示。

(a) Gazebo中的混和環(huán)境 (b) Rviz中的混和環(huán)境圖22 混合障礙物環(huán)境

圖23給出了三種算法在混和障礙物下訓練所獲得的平均獎勵。

圖23 混合障礙物環(huán)境每輪平均獎勵對比

LDDPG算法由于具有LSTM結(jié)構(gòu),對于時序輸入數(shù)據(jù)有記憶功能,能夠更好地學習狀態(tài)信息,相較于原始DDPG算法能夠更快學習到經(jīng)驗,加快收斂;APF-LSTM-DDPG算法在具有LSTM結(jié)構(gòu)的基礎上引入了人工勢場法作為輔助策略,獲取更多有效的狀態(tài)信息,所以收斂速度最快。

利用三種算法的收斂模型進行路徑規(guī)劃,如圖24所示。顯然,傳統(tǒng)DDPG算法模型規(guī)劃出的路徑更加冗余;LDDPG算法模型規(guī)劃的路徑相比傳統(tǒng)DDPG算法較短,但避障策略不充足;而本文提出的APF-LSTM-DDPG算法模型可以規(guī)劃出一條較優(yōu)路徑。

(a) DDPG算法(b) APF-LSTM-DDPG算法(c) LDDPG算法圖24 路徑規(guī)劃對比

將算法收斂模型在混合障礙物場景中重復進行100輪路徑規(guī)劃,統(tǒng)計到達目標點的成功率,見表3。相較于其他兩種算法,APF-LSTM-DDPG算法的成功率更高、魯棒性更強。

表3 算法成功率對比

4 結(jié)論

本文提出了一種基于DDPG算法,引入LSTM結(jié)構(gòu)和人工勢場法的融合路徑規(guī)劃算法,利用合力調(diào)節(jié)動作策略的選擇,通過LSTM的記憶功能提高學習的效率,并且在ROS中搭建不同環(huán)境進行仿真,驗證了該算法的有效性。APF-LSTM-DDPG算法具有以下特點:

1)算法分別賦予目標點和障礙物引力和斥力,設計相應的勢場函數(shù)加快學習避障策略,通過合力的作用調(diào)節(jié)角速度,引導機器人更快到達目標點。

2)在神經(jīng)網(wǎng)絡中增加一層LSTM網(wǎng)絡,通過對狀態(tài)信息的遺忘和記憶功能加快算法收斂速度,使訓練好的模型具有更強的泛化性能。

3)算法的在線運行時間和訓練時間沒有關聯(lián),并且算法充分訓練后得到的收斂模型,實際運行時不需要再進行訓練。機器人通過傳感器實時感知當前環(huán)境信息,經(jīng)訓練模型可以求出一條合理的局部規(guī)劃路徑,滿足運行的實時性需求。

算法在簡單的混合障礙物環(huán)境中可以實現(xiàn)路徑規(guī)劃任務,考慮到實際應用中,障礙物環(huán)境會更復雜且存在動態(tài)障礙物,所以之后的工作是設計訓練效率更高的神經(jīng)網(wǎng)絡模型,應對機器人更加復雜多變的工作環(huán)境。