張育綺 廖志恒 馮嵐?jié)? 代苑 李小松

摘 要：針對傳統(tǒng)自主駕駛汽車復(fù)雜的車道檢測、路徑規(guī)劃和運動控制技術(shù)問題，基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計了一種視覺車道保持系統(tǒng)，該方法可直接從視覺傳感器中獲取數(shù)據(jù)以控制車輛轉(zhuǎn)向?；谙Ь€方法對圖像進行區(qū)域剪切獲取感興趣區(qū)域，解決了訓(xùn)練過程需標記大量的數(shù)據(jù)集而時間成本高的問題。采用上、下采樣結(jié)合及色彩空間轉(zhuǎn)換方法進行數(shù)據(jù)增強，避免了數(shù)據(jù)不平衡和過擬合現(xiàn)象。最后，結(jié)合實際情況修正了轉(zhuǎn)角損失與油門損失權(quán)重比。將預(yù)處理后的數(shù)據(jù)饋送到神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，通過仿真實驗驗證了方法的可行性，實現(xiàn)了基于端到端學(xué)習(xí)的DIY小車在所設(shè)置軌道上的自主駕駛。

關(guān)鍵詞：車道保持;端對端學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);數(shù)據(jù)增強

中圖分類號：TP391.7? 文獻標識碼：B? 文章編號：1671-7988（2020）22-34-03

Abstract： Aiming at the complex lane detection， path planning and motion control technology of traditional autonomous driving vehicles， a visual lane keeping system is designed based on the convolutional neural network， which can directly obtain data from the vision sensor to control the vehicle steering. Find the region of interest based on the vanishing line method. This solves the problem of requiring a large amount of time to mark a large data set during training. The method of up-down sampling and color space conversion is used to enhance the data， which avoids the phenomenon of data imbalance and overfitting. Finally， the weight ratio between the Angle loss and the throttle loss is corrected according to the actual situation. The pre-processed data were fed to the neural network for training.?The feasibility of the method was verified by simulation experiments， and the autonomous driving of the DIY car on the set track based on end-to-end learning was realized.

Keywords： Lane keeping; End - to - end learning; Convolutional neural network; Enhance the data

CLC NO.： TP391.7? Document Code： B? Article ID： 1671-7988（2020）22-34-03

1 引言

車道保持是自動駕駛汽車的一個基本功能，相比雷達、激光雷達等傳感器，普通彩色相機由于成本低、獲取信息豐富，仍廣泛用于基于視覺的車道線保持系統(tǒng)[1，2]?；诙说蕉藢W(xué)習(xí)的方法可從原始圖片中自適應(yīng)提取特征，有效避免了人工特征提取的局限性[3]。

2 數(shù)據(jù)預(yù)處理

2.1 基于消失點檢測設(shè)定感興趣區(qū)域

通過透視投影在世界坐標系中的一組平行線收斂到圖像空間中的一個公共點，在二維圖像像素平面中，當前行駛車道的終點即消失點（VP）[4，5]。先對原圖像進行二值化處理，之后進行Hough變換得到當前車道左、右車道線的斜率和截距為（kl，bl），（kr，br），帶入式（1）求兩條直線的交點縱坐標，即為消失點。由于CNN僅遍歷道路部分，即訓(xùn)練時間成本會降低。

2.2 數(shù)據(jù)增強

2.2.1 基于上、下采樣的數(shù)據(jù)增強

由于人工誤操作致使轉(zhuǎn)角值為0的數(shù)據(jù)占比過半，轉(zhuǎn)角為-1的數(shù)據(jù)次之，轉(zhuǎn)角為1的數(shù)據(jù)只有200個左右，轉(zhuǎn)角在（-1，0）和（0，1）的彎道數(shù)據(jù)占比極小。采用這類數(shù)據(jù)訓(xùn)練出的駕駛模型更傾向于直線行駛，左轉(zhuǎn)向過急或者喪失右轉(zhuǎn)向。本文采用上、下采樣相結(jié)合的方法去解決數(shù)據(jù)不平衡問題。采樣分為上采樣和下采樣，上采樣是把小眾類復(fù)制多份，下采樣是從大眾類中剔除一些樣本，處理后轉(zhuǎn)角在（-1，0）和（0，1）的小批量且重要的數(shù)據(jù)明顯增強，轉(zhuǎn)角為零的數(shù)據(jù)量從之前的4900張左右減至700張左右，數(shù)據(jù)均衡效果明顯。

2.2.2 HSV色彩空間轉(zhuǎn)換

本文將圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間，并分別提取出H、S、V分量，V通道使得白色和黃色車道線特征更加明顯，因此選擇V通道作為CNN的輸入。且將V通道元素分別乘以一個在一定范圍內(nèi)變化的隨機值，也即是加入了隨機光照噪聲，范圍越寬，增強幀與原始幀的差異就越大，這樣經(jīng)過CNN訓(xùn)練之后模型對外界環(huán)境光照的變化適應(yīng)性會更強。

2.2.3 添加高斯擾動噪聲

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高頻特征時易發(fā)生過擬合，而學(xué)習(xí)高頻特征對模型提升無幫助。采用具有零均值特性的高斯噪聲，可有效地使高頻特征失真，減弱其對模型的影響。同時會使得低頻成分（重要的特征）受到影響，但神經(jīng)網(wǎng)絡(luò)能夠通過學(xué)習(xí)而忽略那些影響。當具體給出某一視頻幀時，就會獲取相應(yīng)的標記轉(zhuǎn)向角，由于轉(zhuǎn)向方向是一個連續(xù)值，所以標記值不一定是唯一工作的方向，稍微不同的轉(zhuǎn)向值都可能會起作用。因此在訓(xùn)練過程中，在標記轉(zhuǎn)向值中隨機加入輕微的高斯擾動噪聲。通過此方法，在不完全扭曲原始轉(zhuǎn)向值的情況下，在數(shù)據(jù)中創(chuàng)建更多的變化，使數(shù)據(jù)信息量更加豐富。

3 CNN架構(gòu)

通過激活函數(shù)f（x）的非線性運算輸出特征圖Tx。計算公式如（2）所示：

4 實驗結(jié)果與分析

4.1 仿真實驗

在經(jīng)過CNN訓(xùn)練的端對端駕駛模型進行道路測試之前，首先對搭建的卷積神經(jīng)網(wǎng)絡(luò)性能進行評估和對數(shù)據(jù)預(yù)處理方法的有效性進行仿真驗證。

基于前期研究發(fā)現(xiàn)，損失權(quán)重比設(shè)置會影響訓(xùn)練結(jié)果總損失進而影響實驗結(jié)果，因此設(shè)計四種損失權(quán)重比：（1）轉(zhuǎn)角損失：油門損失=9：1;（2）轉(zhuǎn)角損失：油門損失=8：2;（3）轉(zhuǎn)角損失：油門損失=7：3;（4）轉(zhuǎn)角損失：油門損失=6：4。損失值收斂點是訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的一個良好指標，由圖1可直觀觀測出4種情況下訓(xùn)練結(jié)果在1000次迭代后均收斂。

綜合圖2、表1、 2可得出結(jié)論：（1）所設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)預(yù)處理方法均滿足可行性要求;（2）轉(zhuǎn)角信息對實驗的成功率更重要，因此合理控制轉(zhuǎn)角損失與油門損失權(quán)重比是提高實驗成功率的關(guān)鍵。

4.2 道路測試

通過WiFi實現(xiàn)工作站、智能小車、X-Box和智能手機之間的通訊而進行路試。

綜合表3可以得出，智能小車的轉(zhuǎn)角信息更為重要，較大的轉(zhuǎn)角損失與油門損失權(quán)重比能提高車道線保持的成功率，又結(jié)合表2可知，仿真實驗與真實路測得出的結(jié)果相同。因此本文所提出的基于端對端學(xué)習(xí)的車道線保持可以實現(xiàn)。

5 結(jié)束語

本文基于端到端學(xué)習(xí)方法實現(xiàn)了車道線保持，該方法從前置車載視攝像機拍攝的圖像幀中自動生成適當?shù)霓D(zhuǎn)向角控制車輛。針對傳統(tǒng)視覺傳感器使用過程中出現(xiàn)的魯棒性差和神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間成本高等問題進行了研究，采用尋找消失線的方法對圖像進行感興趣區(qū)域剪切。又針對深度學(xué)習(xí)過程中出現(xiàn)的數(shù)據(jù)不平衡、數(shù)據(jù)信息不豐富以及過擬合等問題分別采取了上、下采樣相結(jié)合的方法、隨機添加高斯擾動噪聲和將圖片進行HSV色彩空間轉(zhuǎn)換并提取V通道作為CNN的輸入等方法對數(shù)據(jù)進行增強。然后綜合實際情況考慮了影響神經(jīng)網(wǎng)絡(luò)訓(xùn)練損失值結(jié)果的因素，并通過仿真實驗和道路實驗驗證了轉(zhuǎn)角損失與油門損失權(quán)重比對實驗結(jié)果的影響。

參考文獻

[1] Broggi A.Vision-based driving assistance[J].IEEE Intelligent Sys -tems & Their Applications，1998，13（6）：22-23.

[2] 周欣，黃席樾，黎昱.基于單目視覺的高速公路車道保持與距離測量[J].中國圖象圖形學(xué)報，2018， 8（5）：590-595.

[3] Schmidhuber，Jürgen.Deep learning in neural networks：An overview [J]. Neural Networks， 2015， 61：85-117.

[4] Simond N，Rives P.Homography from a vanishing point in urban sce -nes[C]//Intelligent Robots and Systems，2003.（IROS 2003）. Procee -dings.2003 IEEE/RSJ International Conference on. IEEE， 2003， 1： 1005-1010.

[5] Miksik O.Rapid vanishing point estimation for general road detection [C]//Robotics and Automation （ICRA）， 2012 IEEE International Conference on. IEEE， 2012： 4844-484.