種玉祥　梁耀中

摘要：步入21世紀，隨著人工智能的發(fā)展，智能車的研究成為一大熱點，而智能汽車研究的基礎(chǔ)就是定位問題。目前有2種定位方法，一種是實時定位與建圖（SLAM），另一種則是基于道路場景表征建模的定位方法，兩者各有所長。本文針對基于視覺的道路場景表征建模定位方法進行了優(yōu)化與改進。首先，本文提出了一種對點云處理的方法，對當前Z坐標一定距離內(nèi)的點云取不同權(quán)值，進行加權(quán)投影，以此來構(gòu)建道路的二維場景。采用ORB特征提取算子提取二維特征，并采用視覺里程計算法獲取車輛運動軌跡信息。構(gòu)建了輕量級神經(jīng)網(wǎng)絡(luò)，用來檢測道路標志特征，例如車道線、斑馬線、道路標志牌等。對二維場景精度差的問題進行補充。

關(guān)鍵詞：視覺SLAM;GPS;融合定位;智能車定位;輕量級神經(jīng)網(wǎng)絡(luò)

【Abstract】Inthe21stcentury，withthedevelopmentofartificialintelligence，theresearchofsmartcarshasbecomeahottopic，andthebasisofsmartcarresearchisthepositioningproblem.Therearecurrentlytwopositioningmethods，oneissimultaneouslocalizationandmapping（SLAM），theotherisapositioningmethodbasedonroadscenerepresentationmodeling.Eachmethodhascorrespondingadvantage.Thispaperoptimizesandimprovesthevision-basedroadscenerepresentationmodelingandpositioningmethod.Firstofall，thispaperproposesamethodforpointcloudprocessing，whichtakesdifferentweightsforthepointcloudwithinacertaindistanceofthecurrentZcoordinateandperformsweightedprojectiontoconstructatwo-dimensionalroadscene.TheORBfeatureextractionoperatorisusedtoextracttwo-dimensionalfeatures，andthevisualmileagecalculationmethodisusedtoobtainvehicletrajectoryinformation.Alightweightneuralnetworkisconstructedtodetectroadsignfeatures，suchaslanelines，zebracrossings，roadsigns，etc.Andtheproblemofpooraccuracyintwo-dimensionalscenesissupplemented.

【Keywords】visualSLAM;GPS;fusionpositioning;intelligentvehiclepositioning;lightweightnetwork

作者簡介：種玉祥（1995-），男，碩士研究生，主要研究方向：視覺SLAM。

1基于道路場景建模的自動駕駛車輛定位

自從SLAM方法問世以后，自動駕駛車輛的定位方法就分成了兩大類。一類是以激光和視覺相機進行的實時定位與建圖，即SLAM。另一類則是根據(jù)已經(jīng)建立好的地圖來進行定位的道路場景建模定位。

實時定位與建圖是根據(jù)建圖時所使用的傳感器不同，可再分為視覺SLAM[1]和激光SLAM[2]。其中，視覺SLAM方法主要流程可表述為：前端、視覺里程計、后端、回環(huán)檢測等。在小型家用掃地機器人等應(yīng)用場景中已取得較好應(yīng)用成效，但是在戶外無人駕駛領(lǐng)域的應(yīng)用卻仍亟待繼續(xù)深入研究。

而基于道路場景建模的定位方法，是先要建立道路的多維地圖，再與行駛過程中的地圖進行匹配，這種定位方法和平常在看地圖尋找目的地時具有相同的邏輯過程。所以，當車輛使用這種方法進行定位時，對道路的建模和表征，每個節(jié)點所包含的信息的準確性，以及相應(yīng)的信息維度，就是其獲得定位精確性的根本和基礎(chǔ)。

一般來說，為了進行更加精確的定位，在進行道路場景建模時，就會使用精度較高的傳感器。例如GPS和高精度慣性導航傳感器、激光雷達、高清攝像頭等等。在進行道路多維地圖構(gòu)建時，建圖車輛以某一固定的速度在地圖標識路段行駛，將采集多種數(shù)據(jù)信息，例如GPS信號、慣性導航傳感器信號、視覺圖像等等。而在采集了多重傳感器的數(shù)據(jù)后，通過傳感器標定，數(shù)據(jù)融合，將采集到的信息進行關(guān)聯(lián)[3-5]。

在道路場景建模完成后，先通過普通的GPS進行定位，并在所建立的模型中得到一定范圍內(nèi)的采集點，接著對采集車采集到的各種信息，諸如視覺圖像、點云信息、慣導數(shù)據(jù)等與事先建立好的多維地圖進行匹配。根據(jù)采集車選用傳感器的不同，道路多維地圖通常可分為2類，即：基于視覺攝像頭的多維地圖構(gòu)建;基于高精度激光雷達的多維地圖構(gòu)建。

和采用激光雷達相比，運用相機進行地圖的構(gòu)建和定位可以大大降低制圖與定位的成本，所以，近年來，多種視覺地圖構(gòu)建方法陸續(xù)涌現(xiàn)出來。本文也提出了一種視覺地圖構(gòu)建方式，該方法包含諸如節(jié)點位姿、二維場景特征、道路標志特征等節(jié)點要素，如圖1所示。

其中，道路二維投影特征由文中提出的區(qū)域點云加權(quán)投影方法，由優(yōu)化后的點云圖中運算獲取。節(jié)點位姿則可以通過傳統(tǒng)的視覺里程計算法等獲取。道路標識特征由輕量級神經(jīng)網(wǎng)絡(luò)識別得到。

本文提出的節(jié)點要素獲取方法將在下文進行闡釋與分析。

2道路投影特征

不管是基于視覺、還是激光所構(gòu)建的多維地圖，都是由大量的數(shù)據(jù)采集節(jié)點組成，在每個節(jié)點，都要采集視覺數(shù)據(jù)、GPS信息、以及與RTK組合系統(tǒng)采集的高精度位置信息。為了使文中構(gòu)建的視覺多維地圖能夠更加準確，本文在每個節(jié)點選擇存儲的信息分別為：節(jié)點位姿、道路投影特征、道路標志特征、GPS信號等。

2.1點云預處理

本方法要對三維點云進行處理，用來形成二維特征。車載系統(tǒng)對計算性能存儲容量有較高的要求。不論是出于降低所占用的存儲資源，還是去除噪聲，降低運算負荷等目的，都要對點云進行預先處理。在預處理時，為保證點云的質(zhì)量，需要對所選定的點云的區(qū)域范圍進行選擇。首先考慮的目標是要選擇的區(qū)域，點云要盡可能地稠密，同時，還要滿足成像清晰，誤差小等要求。考慮到是用作建圖來使用，所以只需要保留道路信息，對于采集時得到的車輛和行人等動態(tài)目標要采用濾波器進行剔除，防止這些因素影響構(gòu)建好的地圖使用時的配準率。BAL數(shù)據(jù)集在使用CeresBA優(yōu)化后的可視化點云圖，如圖2所示。

2.2區(qū)域點云加權(quán)投影方法

傳統(tǒng)的經(jīng)典配準算法，主要有ICP。雖然定位精度高，但是運行速度慢，消耗的時間過長。當用于車輛自動駕駛時，研究發(fā)現(xiàn)最終準確度達到了較好效果，其運行速度卻過慢，因而不能滿足智能車輛行駛時對即時性的要求?；诖?，本文提出了一種視覺點云區(qū)域加權(quán)投影方法，通過這種方法，能夠?qū)⒀芯恐惺孪冗M行過預處理的點云轉(zhuǎn)換成二維場景特征，繼而采用目前一些運行速度較快，穩(wěn)定性較高的視覺特征提取算法進行特征匹配與特征提取，經(jīng)仿真驗證可知，這對提升點云的配準效率有較大的幫助。

此外，在將點云投影到地表平面上時，難免會丟失垂直方向上的信息。因此，在對點云進行投影時，計算研究過程中劃分的小區(qū)域內(nèi)點云的平均高度，以此來保留Z軸上的高度信息。

在校區(qū)教學樓附近運行時生成的部分二維場景圖像如圖4所示。

2.3ORB特征提取算子

在獲取了由視覺信息轉(zhuǎn)換后的二維場景地圖后，如何運用一種圖像特征提取方法，才能在不損失準確度的前提下盡可能地提高運算速度則是本次研究中在構(gòu)建視覺多維地圖時需要考慮的重點問題。目前，SIFT[6]與SURF[7]是熱門流行的特征提取算子，具有良好的性能，識別準確，但是這兩種算法在運行速度上都有些不足，特別是在行駛的車輛上使用時這一不足就體現(xiàn)得更加明顯，車輛在行駛時對定位和匹配的實時性就提出了很高的要求，因此，運行速度慢就成了很大的缺點。綜上，為了解決前述問題，Rublee等人[8]提出了ORB特征檢測算法，和SIFT、SURF相比，該算法具有更加優(yōu)良的性能。ORB算法的特征提取方法是檢測相鄰域中像素的灰度以及角點，因此該方法在保證檢測效率前提下，對速度有較大的提升。

ORB算子特征匹配示意圖如圖5所示。ORB算子在圖片發(fā)生拉伸等情形時，仍能對所獲取的圖像進行較準確的識別與匹配，能夠更好地滿足智能駕駛中二維場景的匹配與定位需求。

3車道標志信息獲取

本小節(jié)提出了一種輕量級的神經(jīng)網(wǎng)絡(luò)，對道路特征標志，如車道線、斑馬線、路牌等信息進行識別和記錄，和前文獲取的視覺點云，二維結(jié)構(gòu)等信息相結(jié)合，使建模時采集的每一個節(jié)點都具有不可替代性，用以增加使用地圖定位匹配時的準確度。

由于內(nèi)存和計算資源有限，現(xiàn)實中在車輛上部署深度神經(jīng)網(wǎng)絡(luò)較為困難?；诖?，本文設(shè)計了一種全新的神經(jīng)網(wǎng)絡(luò)基本單元Shadow模塊，并搭建出輕量級神經(jīng)網(wǎng)絡(luò)架構(gòu)ShadowNet。在一個訓練好的深度神經(jīng)網(wǎng)絡(luò)中，通常會包含豐富甚至冗余的特征圖，以保證對輸入數(shù)據(jù)有全面的理解。但是，并非所有特征圖的獲取都要用到卷積操作，也可通過線性運算與恒等映射的操作來生成。

鑒于主流神經(jīng)網(wǎng)絡(luò)計算出的中間特征圖中存在大量的冗余，為了減少所需的資源，Shadow的主要作用是生成其中的卷積核。首先，輸入數(shù)據(jù)X∈Rc×h×w，這里c是輸入通道數(shù)，w和h是輸入數(shù)據(jù)的寬度與高度，所以，生成特征圖的卷積層可用如下運算來表示：

通過上述Shadow的模塊，構(gòu)建出專門為移動設(shè)備中神經(jīng)網(wǎng)絡(luò)設(shè)計的Shadowbottleneck。Shadowbottleneck主要由2個堆疊的Shadow模塊組成。第一個Shadow模塊用作擴展層，增加了通道數(shù)。第二個Shadow模塊減少通道數(shù)，以與shortcut路徑匹配。通過使用shortcut連接與這兩個Shadow模塊的輸入、輸出相連接，能夠很好地減少計算資源的消耗，降低模型的過擬合，有效緩解梯度消失或梯度爆炸。

在道路實際模擬時采集的道路特征信息如圖7所示。

4基于視覺的多維地圖構(gòu)建方法綜述

本文提出的基于視覺的多維地圖構(gòu)建方法總體可以歸納為如下步驟：

（1）運用車載單目攝像機、車載GPS等結(jié)合慣性導航傳感器，對需要建立視覺多維地圖的路段進行數(shù)據(jù)采集，并做三維重建，在獲取其他信息的同時，也得到了點云信息。

（2）對生成點云進行加權(quán)二維投影，對處理后的二維場景采用ORB算子進行特征提取，用以進行節(jié)點匹配。

（3）由于點云轉(zhuǎn)二維后場景清晰度不足，本文在這里采用的是構(gòu)建輕量級神經(jīng)網(wǎng)絡(luò)的方法，對道路標志特征如車道線、斑馬線、道路交通標志牌等進行識別與記錄，與GPS定位，以及（2）中提及的道路二維特征進行同步匹配，使每個節(jié)點更加具有獨特性，增加匹配準確率。

（4）本文的建圖方法中，每個節(jié)點都存儲了點云信息、二維信息、道路標志特征信息。在定位時可先利用GPS等進行粗定位，再借由二維場景特征和道路特征信息進行精確定位，最后運用點云和軌跡信息進行空間位姿的精確定位。

5實驗結(jié)果分析

本文試驗采用上海工程技術(shù)大學參與改進的無人駕駛試驗采集車進行數(shù)據(jù)的獲取。實驗的測試路段選擇在上海工程技術(shù)大學內(nèi)的教學樓附近，試驗路段的俯瞰圖及試驗路段道路場景如圖8所示。由圖8可知，試驗路段完全滿足機動車行駛要求，且道路行車路線和路面都具有一般性，故認為實驗結(jié)果可作為最終結(jié)論。本次實驗的實驗線路總長度約為900m。

根據(jù)本文提出方法進行地圖構(gòu)建時，先使用車載相機對道路信息進行采集，運用視覺SLAM技術(shù)生成點云，同時對點云進行處理，獲得二維投影信息;在獲取了點云、位姿和二維投影信息后，運用輕量級神經(jīng)網(wǎng)絡(luò)對道路標志特征如：車道線、路燈、告示牌等進行道路標志特征提取。在構(gòu)建的眾多信息采集點中，隨機選擇1～2個作為多維地圖的起點，并進行特征匹配。通過視覺SLAM方法獲得視覺軌跡，最后結(jié)合視覺軌跡和地理軌跡的相對位置關(guān)系，生成視覺地圖。

驗證環(huán)節(jié)主要對視覺軌跡產(chǎn)生的累積誤差進行分析。針對多維信息構(gòu)建出的視覺多維地圖，在分析誤差時同樣要進行多維分析。本文以每10m為一個單元，選取了長度為100m的實驗路段，用以進行累積誤差的分析。測試結(jié)果如圖9所示。由圖9可知，當測試路段長度在10～90m之間時，累積誤差較低，僅在0.5m以下;當測量長度為100m時，累積誤差也能控制在0.5m左右。

6結(jié)束語

本文提出了一種基于視覺的多維地圖構(gòu)建方法。首先利用視覺SLAM原理獲取點云信息，再使用視覺點云的區(qū)域加權(quán)三維投影方法，生成二維場景表征圖像，使用ORB特征提取算子對生成的二維表征圖像進行特征提取。對于生成的二維場景表征圖像準確率低的問題，構(gòu)建了新的輕量級神經(jīng)網(wǎng)絡(luò)，識別道路標志特征，作為補充，增強每個節(jié)點的獨特性，提高視覺配準的準確率。同時，也記錄GPS等信息，在定位時先通過GPS信號進行粗定位，提高了定位的速度。經(jīng)試驗驗證，地圖制圖誤差在合理范圍內(nèi)。

參考文獻

[1]MAHONI，WILLIAMSSB，PIZARROO，etal.Efficientview-basedSLAMusingvisualloopclosures[J].IEEETransactionsonRobotics，2008，24（5）：1002-1014.

[2]TANGJian，CHENYuwei，NIUXiaoji，etal.LiDARscanmatchingaidedinertialnavigationsysteminGNSS-deniedenvironments[J].Sensors，2015，15（7）：16710-16728.

[3]ZHANGZ.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2000，22（11）：1330-1334.

[4]HWANGBOM，KIMJS，KANADET.IMUself-calibrationusingfactorization[J].IEEETransactionsonRobotics，2013，29（2）：493-507.

[5]BouguetJY.CameracalibrationtoolboxforMatlab[EB/OL].[2019-05-05].http：//www.vision.caltech.edu/bouguetj/calib_doc/.

[6]LOWEDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91-110.

[7]BAYH，ESSA，TUYTELAARST，etal.Speeded-UpRobustFeatures（SURF）[J].ComputerVision&ImageUnderstanding，2008，110（3）：346-359.

[8]RUBLEEE，RABAUDV，KONOLIGEK，etal.ORB：AnefficientalternativetoSIFTorSURF[C]//InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2012：2564-2571.