任子玉

摘要：避障路徑規(guī)劃是智能車技術(shù)的關(guān)鍵部分，避障路徑規(guī)劃具有重大研究意義與應(yīng)用前景。對(duì)智能車輛自主避障路徑規(guī)劃進(jìn)行了綜述，分析了人工勢場法、智能優(yōu)化算法、強(qiáng)化學(xué)習(xí)等避障算法，指出任何一種有效的智能車避障系統(tǒng)均不能只依靠單一算法操作，因此結(jié)合多種避障路徑規(guī)劃算法應(yīng)用于實(shí)際，是未來的研究熱點(diǎn)與難點(diǎn)。

關(guān)鍵詞：智能控制；避障規(guī)劃；人工勢場法；強(qiáng)化學(xué)習(xí)；智能算法

DOIDOI：10.11907/rjdk.171628

中圖分類號(hào)：TP301

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：16727800（2017）010020904

0引言

1950年初，美國生產(chǎn)的第一臺(tái)自動(dòng)引導(dǎo)車輛開啟了智能車輛（Intelligent Vehicle IV）發(fā)展之路[1]。1960年，通用汽車就已經(jīng)測試了汽車自動(dòng)駕駛測試軌道、車道跟蹤、車道變換和自動(dòng)跟蹤功能?，F(xiàn)今，美國卡內(nèi)基梅隆Navlab、德國慕尼黑大學(xué)、意大利帕爾瑪大學(xué)VisLab以及谷歌的無人駕駛汽車都在智能車輛領(lǐng)域取得了突破性進(jìn)展。，由國防科技大學(xué)自主研制的紅旗HQ3無人車也完成了從長沙到武漢286公里的高速全程無人駕駛試驗(yàn)。智能車輛的發(fā)展需要經(jīng)歷兩個(gè)階段，初級(jí)階段是生產(chǎn)具有輔助駕駛系統(tǒng)ADAS及各類自動(dòng)駕駛系統(tǒng)的智能車輛，終極階段則是實(shí)現(xiàn)完全的無人駕駛。

研究智能車輛可以有效地提升車輛行駛安全性，降低交通事故發(fā)生的概率。避障問題是智能車領(lǐng)域的關(guān)鍵環(huán)節(jié)與研究熱點(diǎn)，由于復(fù)雜的周圍環(huán)境及智能車本身是一個(gè)非線性實(shí)變系統(tǒng)，整個(gè)控制系統(tǒng)無法用簡單的數(shù)學(xué)模型來描述，根據(jù)車輛行駛壞境實(shí)現(xiàn)有效避障的難度很大，所以智能車需要安裝避障路徑規(guī)劃系統(tǒng)。避障規(guī)劃又叫局部路徑規(guī)劃，是一種動(dòng)態(tài)路徑規(guī)劃，主要用于探測障礙物，并跟蹤障礙物移動(dòng)軌跡推算下一步可能位置，最終繪制出一幅障礙物地圖[2]。避障規(guī)劃不僅要考慮空間還要考慮時(shí)間序列，這是智能車難度最高的環(huán)節(jié)。避障規(guī)劃的重點(diǎn)在于避障算法的設(shè)計(jì)，避障規(guī)劃算法主要有傳統(tǒng)算法、圖形法、仿生學(xué)算法以及智能算法等。本文將介紹智能車自主避障路徑規(guī)劃的多種方法，其中包括人工勢場法、智能優(yōu)化算法及強(qiáng)化學(xué)習(xí)，并針對(duì)不同算法的缺點(diǎn)提出相應(yīng)的改進(jìn)措施。

1人工勢場法（APF）

人工勢場法（Artificial Potential Field，簡稱APF）是由Khatib于1986年提出的一種虛擬力法，它是傳統(tǒng)算法的代表，由目標(biāo)引力與周圍障礙物斥力共同作用控制智能車的運(yùn)動(dòng)軌跡[3]。人工勢場法的最終目的是找到一個(gè)連續(xù)路徑可以使智能車從初始位置到目標(biāo)位置，同時(shí)避免與障礙物碰撞。

1.1傳統(tǒng)人工勢場法

傳統(tǒng)人工勢場法中，障礙物是具有正勢能的排斥力，而目標(biāo)是具有負(fù)勢能的吸引力。人工勢場的定義是：

智能車與目標(biāo)的引力函數(shù)：

Uatt（q）=12ερ2（q，qgoal）（1）

式（1）中，ε是尺度因子，ρ（q，qgoal）表示物體當(dāng)前狀態(tài)與目標(biāo)的距離。引力就是引力場對(duì)距離的導(dǎo)數(shù)，所以這時(shí)負(fù)梯度為：

Fatt（q）=-Uatt（q）=ξ（qgoal-q）（2）

智能車對(duì)障礙物的斥力場為：

Urep（q）=12η1ρ（q，qobs）-1ρ＼-0，if ρ（q，qobs）≤ρ＼-00，if ρ（q，qobs）>ρ＼-0（3）

式（3）中的η代表斥力因子，ρ（q，qobs）代表智能車和障礙物之間的距離，ρ0代表每個(gè)障礙物的影響半徑。斥力就是斥力場的負(fù)梯度：

Frep（q）=-Urep（q）=

η1ρ（q，qobs）-1ρ＼-01ρ2（q，qobs）ρ（q，qobs），if ρ（q，qobs）≤ρ＼-00，if ρ（q，qobs）>ρ＼-0（4）

引力場與斥力場矢量相加后就是合力的場，合力也是引力與斥力的疊加，所以合勢場為[4]：

U（q）=Uatt（q）+Urep（q）（5）

相應(yīng)智能車在運(yùn)動(dòng)中的合力為：

F（q）=-U（q）=Fatt（q）+Frep（q）（6）

人工勢場法有助于控制智能車實(shí)時(shí)避障，并且規(guī)劃相對(duì)安全的路徑。但是當(dāng)遇到引力與斥力剛好大小相等、方向相反的某一個(gè)點(diǎn)時(shí)，智能車會(huì)陷入局部最優(yōu)解或者產(chǎn)生震蕩擺動(dòng)現(xiàn)象；當(dāng)目標(biāo)位置附近有障礙物時(shí)，斥力遠(yuǎn)遠(yuǎn)大于引力，智能車就會(huì)很難到達(dá)目標(biāo)位置；當(dāng)物體離目標(biāo)位置相對(duì)較遠(yuǎn)時(shí)，引力遠(yuǎn)遠(yuǎn)大于斥力，此時(shí)可能忽略相對(duì)較小的斥力，智能車就有可能碰到障礙物。

1.2改進(jìn)方法

對(duì)于人工勢場法避障規(guī)劃存在的問題有以下改進(jìn)方法：

1.2.1局部最優(yōu)改進(jìn)方法

局部最優(yōu)問題是人工勢場法的重要問題，一種解決方法是改變力的方向，將斥力旋轉(zhuǎn)固定的角度；另一種解決方法是加一個(gè)隨機(jī)擾動(dòng)，避免智能車產(chǎn)生局部最優(yōu)值。

1.2.2碰到障礙物改進(jìn)方法

由于引力遠(yuǎn)大于斥力，智能車有可能與障礙物產(chǎn)生碰撞。針對(duì)此問題，可以通過增大智能車受到的斥力避免碰撞，具體做法就是擴(kuò)大斥力的作用范圍[5]；此外也可以通過修正引力函數(shù)解決，避免由于離目標(biāo)位置太遠(yuǎn)導(dǎo)致引力過大。將引力場增加一個(gè)范圍限定，如式（7）所示。

Uatt（q）=12ερ2（q，qgoal），ρ（q，qgoal）≤d*goald*goalερ（q，qgoal）-12ε（d*goal）2，ρ（q，qgoal）>d*goal （7）

式（7）中，d*goal 給定一個(gè)閾值限制智能車與目標(biāo)位置間的距離，相應(yīng)的引力負(fù)梯度也就是引力相應(yīng)變成：

Fatt（q）=ε（qgoal-q），ρ（q，qgoal）≤d*goal

d*goalε（qgoal-q）ρ（q-qgoal），ρ（q，qgoal）>d*goal（8）endprint

1.2.3達(dá)不到目標(biāo)點(diǎn)改進(jìn)方法

當(dāng)目標(biāo)位置附近有障礙物時(shí)，斥力將遠(yuǎn)遠(yuǎn)大于引力，智能車輛會(huì)很難到達(dá)目標(biāo)位置，可以通過引入一種新的斥力函數(shù)解決問題?？紤]到目標(biāo)及智能車距離的影響，新的斥力函數(shù)為：

Urep（q）=12η（1ρ（q，qobs）-1ρ＼-0）2ρn（q，qgoal），if ρ（q，qobs）≤ρ＼-00，if ρ（q，qobs）>ρ＼-0 （9）

增加一個(gè)斥力函數(shù)后，智能車靠近目標(biāo)時(shí)斥力場會(huì)增大，但是此時(shí)兩者間距離逐漸減少，所以在一定程度上可以起到對(duì)斥力場的拖拽作用，從而避免了智能車與障礙物碰撞。

1.2.4無法避開動(dòng)態(tài)障礙物改進(jìn)方法[6]

為了使智能車能夠同時(shí)避開靜態(tài)障礙物與動(dòng)態(tài)障礙物，可以在式（3）的斥力函數(shù)中增加速度因子，并且在驗(yàn)證過程中設(shè)置3種情況：障礙物從側(cè)面靠近智能車、障礙物從側(cè)面遠(yuǎn)離智能車、智能車超過障礙物?；谒俣鹊母倪M(jìn)算法成功避免了人工勢場法存在的問題，并且能夠規(guī)劃出完整平滑的路徑。

此外，還有很多人工勢場改進(jìn)方法：區(qū)域隔離法、高斯組合隸屬函數(shù)法、人為隨機(jī)波動(dòng)引入法等[7]。

2智能優(yōu)化算法

傳統(tǒng)算法無法處理未知障礙物的避障問題，隨著智能技術(shù)的日益發(fā)展，人們發(fā)現(xiàn)模糊邏輯算法、神經(jīng)網(wǎng)絡(luò)法、遺傳算法等各種智能優(yōu)化算法是可以解決智能車的避障問題的。智能優(yōu)化算法是一種啟發(fā)式優(yōu)化算法，包括模糊邏輯算法、遺傳算法、蟻群算法、粒子群算法、模擬退火算法、神經(jīng)網(wǎng)絡(luò)算法、禁忌搜索算法等。

2.1模糊邏輯算法

模糊邏輯（Fuzzy Logic，簡稱FL）算法是將模糊控制中感知與動(dòng)作智能結(jié)合起來[8]。關(guān)鍵在于建立合適的模糊控制器，有3個(gè)主要特點(diǎn)：①用語言變量代替數(shù)學(xué)變量；②用模糊控制條件語句描述變量之間的關(guān)系；③用模糊算法描述復(fù)雜關(guān)系[9]。

模糊邏輯算法成功地處理了定位精度差的問題，但是不能夠自主學(xué)習(xí)且缺乏靈活性，確定了模糊規(guī)則與隸屬度后無法更改。

2.2神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)（Neural Network，簡稱NN）是一種模仿生物結(jié)構(gòu)與功能的模型，也是一種非線性數(shù)據(jù)建模工具[10]。神經(jīng)網(wǎng)絡(luò)算法在模糊規(guī)則與隸屬度確定上具有較強(qiáng)靈活性。神經(jīng)網(wǎng)絡(luò)可以將傳感器收集到的信息數(shù)據(jù)看作輸入，智能車下一位置的運(yùn)動(dòng)方向看作輸出，剔除冗余與對(duì)立樣本，得到最終的樣本集[11]。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則簡單、自主學(xué)習(xí)能力強(qiáng)，但若從傳感器得到的數(shù)據(jù)不完整，神經(jīng)網(wǎng)絡(luò)就無法進(jìn)行下去，而且泛化能力差，所以在避障規(guī)劃應(yīng)用上并不成功[12]。

2.3遺傳算法

遺傳算法（Genetic Algorithm，簡稱GA）是借鑒了達(dá)爾文進(jìn)化論與孟德爾遺傳學(xué)說的一種隨機(jī)化搜索方法[13]。遺傳算法使用的是適者生存原則，它通過復(fù)制或選擇算子、交叉算子、變異算子等一步步進(jìn)化后，輸出當(dāng)下最優(yōu)值。遺傳算法具有并行計(jì)算能力、群體搜索特性與可擴(kuò)展性，一般不需要輔助信息，但是效率比其它智能優(yōu)化算法低，而且在利用選擇交叉算子時(shí)，會(huì)丟失一些優(yōu)秀的基因片段，從而導(dǎo)致過早收斂。此外，在編碼環(huán)境中會(huì)有較長的計(jì)算時(shí)間與很大的數(shù)據(jù)存儲(chǔ)空間需求[14]。

2.4模糊邏輯算法、神經(jīng)網(wǎng)絡(luò)法與遺傳算法結(jié)合

為了提高智能車避障路徑規(guī)劃效率，可將多種智能優(yōu)化算法相結(jié)合，形成新的優(yōu)化方法，從而實(shí)現(xiàn)高效率避障[1519]。

2.4.1模糊邏輯與遺傳算法結(jié)合

經(jīng)研究，可運(yùn)用模糊邏輯與遺傳算法兩種智能算法實(shí)現(xiàn)智能車的安全避障。設(shè)計(jì)模糊控制器，如圖1所示，將超聲波傳感器獲取的目標(biāo)方向與距離綜合信息作為輸入，智能車的速度、轉(zhuǎn)角作為輸出，分別建立速度與轉(zhuǎn)角的模糊規(guī)則。因遺傳算法能得到全局最優(yōu)解且不需要輔助信息，可將避障模糊控制器完善到最優(yōu)，從而實(shí)現(xiàn)避障優(yōu)化[20]。

2.4.2模糊邏輯與神經(jīng)網(wǎng)絡(luò)結(jié)合

針對(duì)智能車避障過程中影響因素復(fù)雜及難以建立精確模型的問題，可采用超聲波傳感器與定位傳感器獲取智能車所處環(huán)境的輸入信息，利用同時(shí)具有模糊邏輯與神經(jīng)網(wǎng)絡(luò)優(yōu)點(diǎn)的神經(jīng)網(wǎng)絡(luò)記憶模糊控制規(guī)則，建立起多層BP神經(jīng)網(wǎng)絡(luò)。經(jīng)過測試發(fā)現(xiàn)該算法具有很強(qiáng)適應(yīng)性，能夠幫助智能車完成安全避障[21]。

2.4.3神經(jīng)網(wǎng)絡(luò)與遺傳算法結(jié)合

針對(duì)智能車避開動(dòng)態(tài)障礙物，采用一種基于神經(jīng)網(wǎng)絡(luò)與遺傳算法的避障結(jié)合方法[22]，提出一種神經(jīng)網(wǎng)絡(luò)模型，通過簡化編碼方式并確定動(dòng)態(tài)環(huán)境的適應(yīng)度函數(shù)，利用遺傳算法中復(fù)制或選擇算子、交叉算子、變異算子等一步步進(jìn)化后，尋找出最優(yōu)解，使智能車在動(dòng)態(tài)環(huán)境中也能完成有效避障。

3強(qiáng)化學(xué)習(xí)算法

強(qiáng)化學(xué)習(xí)是指智能車?yán)帽旧淼膫鞲衅鞑粩嗯c環(huán)境相互作用來獲得之前未知的環(huán)境知識(shí)，是一種仿生算法[23]。智能車感知到環(huán)境中的一個(gè)狀態(tài)并根據(jù)上一次的狀態(tài)轉(zhuǎn)移過程獲得一個(gè)獎(jiǎng)賞，利用學(xué)習(xí)到的策略知識(shí)，將當(dāng)前環(huán)境狀態(tài)映射到自身動(dòng)作，并作用于環(huán)境，環(huán)境產(chǎn)生一個(gè)狀態(tài)轉(zhuǎn)移過程，使得智能車感知到一個(gè)新狀態(tài)，如此循環(huán)往復(fù)。

強(qiáng)化學(xué)習(xí)的4個(gè)要素為：策略、獎(jiǎng)賞、值函數(shù)及非必需的環(huán)境模型[24]。①策略是從周圍環(huán)境感知的形態(tài)到在此環(huán)境下可采用一種映射；②獎(jiǎng)賞，也就是立即回報(bào)，表示智能車的眼前目標(biāo)；③值函數(shù)是智能車獲得的所有獎(jiǎng)賞累加的期望值，可以看作智能車的長期回報(bào)，指明了智能車在長期運(yùn)行過程中動(dòng)作選擇的標(biāo)準(zhǔn)；④環(huán)境模型給出了狀態(tài)轉(zhuǎn)移過程中詳細(xì)的概率分布。在經(jīng)典強(qiáng)化學(xué)習(xí)算法中，Sarsa算法與QLearning算法都能在有限時(shí)間內(nèi)解決智能車避障問題，并給出最優(yōu)解[25]。強(qiáng)化學(xué)習(xí)具有在線學(xué)習(xí)與自主學(xué)習(xí)的特點(diǎn)。

3.1基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)在一定程度上會(huì)占用大量內(nèi)存，而且要經(jīng)過層層收斂，學(xué)習(xí)速度較慢。因此，神經(jīng)網(wǎng)絡(luò)的Qlearning算法可以改善存儲(chǔ)空間不足問題，通過神經(jīng)網(wǎng)絡(luò)來逐漸逼近Q函數(shù)，在獲得智能車的狀態(tài)后不斷更新Q值[26]。根據(jù)BP算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后使智能車完成避障[27]。endprint

3.2基于強(qiáng)化學(xué)習(xí)的HSIC算法

仿人智能控制（HSIC）是在功能與結(jié)構(gòu)上模擬對(duì)人的控制，是接近于人的思維方式[28]。它可以實(shí)現(xiàn)在線特征辨識(shí)與特征記憶，并且達(dá)到分層遞階信息處理效果，廣泛應(yīng)用于啟發(fā)式及直接推理邏輯方面。仿人智能控制的算法是：

u=Kpe+kKp∑n-1i=1em，i， e·e·>0∪ e=0∩e·≠0kKp∑n-1i=1em，i， e·e·<0∪ e·=0（10）

式（10）中，u為控制輸出，Kp、k分別為比例系數(shù)與抑制系數(shù)，e為誤差。

仿人智能控制可以實(shí)現(xiàn)多模態(tài)控制，因而能適用于有多性能指標(biāo)要求的控制系統(tǒng)，并可應(yīng)用于各種復(fù)雜控制過程。伴隨著控制問題復(fù)雜性的不斷增加，控制參數(shù)在不確定因素的影響下無法在運(yùn)行過程中保持恒定，加入強(qiáng)化學(xué)習(xí)模塊，有利于實(shí)現(xiàn)實(shí)時(shí)控制?；趶?qiáng)化學(xué)習(xí)的仿人智能控制器如圖2所示。強(qiáng)化學(xué)習(xí)在環(huán)境作用下優(yōu)化控制器參數(shù)包括以下6個(gè)步驟：①獲取當(dāng)前學(xué)習(xí)系統(tǒng)狀態(tài)，隨機(jī)初始化各參數(shù)；②調(diào)整狀態(tài)值，計(jì)算調(diào)整后的Q值；③找到Q值中最大值；④計(jì)算相應(yīng)的評(píng)價(jià)函數(shù)值；⑤若此時(shí)r=0，停止學(xué)習(xí)，更新Q，輸出調(diào)整后的參數(shù)結(jié)果；⑥若此時(shí)r≠0，重復(fù)上述過程[29]。當(dāng)?shù)玫阶钸m合的控制器參數(shù)時(shí)，便停止學(xué)習(xí)優(yōu)化參數(shù)，整個(gè)基于強(qiáng)化學(xué)習(xí)的仿人智能控制就此結(jié)束。

圖2仿人智能控制器

4結(jié)語

人工勢場法、智能優(yōu)化算法與強(qiáng)化學(xué)習(xí)算法等都可在一定程度上解決智能車自主避障路徑規(guī)劃問題，每種算法都有其優(yōu)缺點(diǎn)：人工勢場法是模擬力場的算法，它計(jì)算簡明、應(yīng)用廣泛，但會(huì)產(chǎn)生局部最優(yōu)、達(dá)不到目標(biāo)位置及碰到障礙物問題；遺傳算法具有并行計(jì)算能力、群體搜索特性及可擴(kuò)展性，一般不需要輔助信息，但它的效率比其它智能優(yōu)化算法低；模糊邏輯算法成功處理了定位精度差的問題，但該算法不能夠自主學(xué)習(xí)且缺乏靈活性，確定了模糊規(guī)則與隸屬度后無法更改；神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)規(guī)則簡單、自主學(xué)習(xí)能力強(qiáng)，但很難應(yīng)用于復(fù)雜多變的環(huán)境。此外智能水滴算法[30]、基于粒子群算法[31]等同樣可以應(yīng)用于智能車避障問題。任何一種有效的智能車避障系統(tǒng)均不能依靠單一方法進(jìn)行路徑規(guī)劃，因此利用多種算法進(jìn)行避障路徑規(guī)劃，是未來該領(lǐng)域的研究重點(diǎn)與難點(diǎn)。

參考文獻(xiàn)參考文獻(xiàn)：

[1]孫玉輝.面向自主駕駛的智能車輛導(dǎo)航平臺(tái)技術(shù)研究[D].南京：東南大學(xué)，2014.

[2]FUJIMORI A，NIKIFORUK P N，GUPTA M M. Adaptive navigation of mobiie robots with obstacie avoidance[J]. IEEE Transactions on Robotics and Automation，1997，134：596601.

[3]SABER R O，MURRAY R M.Flocking with obstacle avoidance：cooperation with limited communication in mobile networks[C].Proc of IEEE Conf on Decision and Contr01.Piscataway：IEEE Press，2003：20222028.

[4]修彩靖，陳慧.基于改進(jìn)人工勢場法的無人駕駛車輛局部路徑規(guī)劃的研究[J].汽車工程，2013，39（9）：808811.

[5]GP MIN，JH JEON，CL MIN. Obstacle avoidance for mobile robots using artificial potential field approach with simulated annealing[C]. IEEE International Symposium on Industrial Electronics，2001（3）：15301535.

[6]杜，郭達(dá)，張新鋒.智能車避障路徑規(guī)劃方法研究[J].汽車節(jié)能，2016（3）：1722.

[7]劉琨，張永輝，任佳.基于改進(jìn)人工勢場法的無人船路徑規(guī)劃算法[J].海南大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，34（2）：99104.

[8]馮冬青，謝宋和.模糊智能控制[M].北京：化學(xué)工業(yè)出版社，1998.

[9]李鴻明.基于模糊控制的規(guī)則化描述方法研究[D].合肥：合肥工業(yè)大學(xué)，2010.

[10]郭琦，洪炳熔.基于人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)智能機(jī)器人的避障軌跡控制[J].機(jī)器人，2002，24（6）：508512.

[11]沈顯慶，汪才杰.智能機(jī)器人的模糊神經(jīng)網(wǎng)絡(luò)避障算法[J].黑龍江科技學(xué)院學(xué)報(bào)，2012，22（6）：613616.

[12]汪明磊.智能車輛自主導(dǎo)航中避障路徑規(guī)劃與跟蹤控制研究[D].合肥：合肥工業(yè)大學(xué)，2013.

[13]SC YUN，V GANAPATHY，LO CHONG.Improved genetic algorithms based optimum path planning for mobile robot[J].International Conference on Control Automation Robotics & Vision，2011，20（1）：15651570.

[14]周嘉，賈麗媛.改進(jìn)的遺傳算法在全局優(yōu)化中的應(yīng)用與研究[J].科學(xué)時(shí)代，2011（12）：139140.

[15]YANG S X，LUO C. A neurai network approach to compiete coverage path pianning[C]. IEEE Transactions on Systems，Man and Cybernetics，2004（34）：718724.endprint

[16]ZARATE L E，BECKER M，GARRIDO B D M，et al. An artificiai neurai network structure abie to obstacie avoidance behavior used in mobiie robots [C]. IEEE 28th Annuai Conference of the Industriai Eiectronics Society，2002（3）：24572461.

[17]DEI H A R，MEDRANO M N，MARTIN D B B. A simple approach to robot navigation based on cooperative neurai networks[C]. IEEE 28th Annuai Conference of the Industriail Eiectronics Society，2002（3）：24212426.

[18]WOONGGIE H，SEUNGMIN B，TAEYONG K. Genetic aigorithm based path pianning and dynamic obstacie avoidance of mobiie robots [C]. IEEE Internationai Conference on ComputationaiCybernetics and Simuiation，1997（3）：27472751.

[19]SADATI N，TAHERI J. Genetic aigorithm in robot path pianning probiem in crisp and fuzzified environments[C]. IEEE Internationai Conference on Industriai Technoiogy，2002（1）：1114.

[20]胡永仕，張陽.基于遺傳模糊算法的智能車輛避障路徑規(guī)劃研究[J].福州大學(xué)學(xué)報(bào)：自然科學(xué)版，2015，43（2）：219224.

[21]丁吉，段鎖林，任富強(qiáng)，等.基于模糊規(guī)劃器的輪式移動(dòng)機(jī)器人避障研究[J].常州大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，22（4）：3438.

[22]陳華華，杜歆，顧偉康.基于神經(jīng)網(wǎng)絡(luò)和遺傳算法的機(jī)器人動(dòng)態(tài)避障路徑規(guī)劃[J].傳感技術(shù)學(xué)報(bào)，2004（4）：551555.

[23]KAELBLING L P，LITTMAN M L，MOORE A W.Reinforcement learning：a survey[J].Intelligence Research，1996，4（3）：237285.

[24]胡裕靖.多智能體強(qiáng)化學(xué)習(xí)中的博弈、均衡和知識(shí)遷移[D].南京：南京大學(xué)，2015.

[25]劉忠，李海紅，劉全.強(qiáng)化學(xué)習(xí)算法研究[J].計(jì)算機(jī)工程與設(shè)計(jì)， 2008，29（22）：58055809.

[26]喬俊飛，侯占軍，阮曉鋼.基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)在避障中的應(yīng)用[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，48（S2）：17471750.

[27]唐鵬，李小堅(jiān).強(qiáng)化學(xué)習(xí)在移動(dòng)機(jī)器人避障上的應(yīng)用[J].科學(xué)家，2016，4（5）：58.

[28]李祖樞.仿人智能控制[M].北京：國防工業(yè)出版社，2003.

[29]C YE，NC YUNG，D WANG.A fuzzy controller with supervised learning assisted reinforcement learning algorithm for obstacle avoidance[J]. Systems Man & Cybernetics Part B Cybernetics IEEE Transactions on，2003，33（1）：1727.

[30]宋曉琳，潘魯彬，曹昊天.基于改進(jìn)智能水滴算法的汽車避障局部路徑規(guī)劃[J].汽車工程，2016，38（2）：185191.

[31]黃神，孫德寶，秦元慶.基于粒子群算法的移動(dòng)機(jī)器人路徑規(guī)劃[J].測控技術(shù)，2006，25（4）：4950.

責(zé)任編輯（責(zé)任編輯：何麗）endprint