摘 要:為了維持良好的車輛生產(chǎn)和交通運輸發(fā)展,有必要對車輛的非法改裝以及超載超限行為進行有力的遏制,車輛外廓尺寸測量則是一種重要識別車輛非法改裝的方法。通過提取車輛的激光點云數(shù)據(jù),按一定的規(guī)則形成對應(yīng)的點云鳥瞰圖,運用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)對點云鳥瞰圖進行模型訓(xùn)練,使模型對車輛具有快速、準確的識別效果。識別得到的包圍框通過坐標像素的轉(zhuǎn)換可求得車輛的長、寬、高,達到車輛外廓尺寸的測量結(jié)果,并可轉(zhuǎn)換為3D檢測效果。通過試驗表明,提出的基于激光點云3D檢測的車輛外廓尺寸測量方法測量精度損失較小,檢測效率高于傳統(tǒng)測量方法。
關(guān)鍵詞: 激光點云;車輛尺寸;卷積神經(jīng)網(wǎng)絡(luò);3D檢測
近年來,車輛尺寸超限現(xiàn)象嚴重,由此帶來的交通問題頻發(fā)。車輛外廓尺寸測量技術(shù)可以分為人工測量和自動化測量。傳統(tǒng)的三維測量大多是人工檢測,勞動強度大、效率低,已經(jīng)無法符合現(xiàn)代化需求。自動化測量效率高,操作簡單,大大降低了車輛測量工作的復(fù)雜度,目前主要分為三種,分別為三坐標測量機、基于數(shù)字圖像處理的測量技術(shù)和基于激光測量的測量技術(shù)。深度學(xué)習(xí)在物體檢測領(lǐng)域已經(jīng)取得了較好的效果,因此本文提出一種基于深度學(xué)習(xí)的激光點云3D檢測的車輛外廓尺寸測量方法,通過對車輛的檢測得到外廓尺寸,且在此基礎(chǔ)上進行相應(yīng)的算法設(shè)計和優(yōu)化。
1 相關(guān)技術(shù)介紹
1.1 卷積神經(jīng)網(wǎng)絡(luò)介紹
卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),它是近年發(fā)展起來的對大型圖像處理有出色表現(xiàn)的一種高效識別方法。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)包括兩層,其一為特征提取層,用來提取局部特征,其二是特征映射層,每個映射層上面的神經(jīng)元權(quán)值相等。由于卷積神經(jīng)網(wǎng)絡(luò)的特征檢測層通過訓(xùn)練數(shù)據(jù)進行學(xué)習(xí),所以在使用卷積神經(jīng)網(wǎng)絡(luò)時,避免了顯式的特征提取,而隱式地從訓(xùn)練數(shù)據(jù)中進行學(xué)習(xí)。
1.2激光點云算法現(xiàn)狀介紹
基于Frustum的網(wǎng)絡(luò)在KITTI 數(shù)據(jù)集中表現(xiàn)出高性能,它使用Point.Net直接處理點云,但是,它需要預(yù)處理,因此也必須使用相機傳感器,僅將這種方法應(yīng)用于激光雷達數(shù)據(jù)是不可能的;相反,周等人提出了一個模型,在網(wǎng)格單元上運行端到端的學(xué)習(xí),它是KITTI中僅使用激光雷達數(shù)據(jù)進行3D和鳥瞰檢測的最佳模型,但是速度很低。Chen等人利用手工制作的特征(如點密度,最大高度和代表點強度)將激光雷達點云投影到RGB地圖上。但是這種融合的處理時間很長,并且需要輔助傳感器輸入。
2 基于改進的complex.yolo算法的車輛外廓尺寸測量方法
在本文研究中,采用改進的complex.yolo算法對車輛的激光點云數(shù)據(jù)進行處理和訓(xùn)練,在對數(shù)據(jù)進行訓(xùn)練時,向網(wǎng)絡(luò)中輸入標注的激光點云數(shù)據(jù)圖,最終得到識別準確度高的模型權(quán)重。將此權(quán)重用于車輛的激光點云數(shù)據(jù),從而識別車輛的輪廓大小,經(jīng)過坐標像素的比例轉(zhuǎn)換從而求得車輛的高、寬、長,再通過雷達坐標系和圖像坐標系的空間位置,畫出車輛的3D坐標。
2.1 complex.yolo網(wǎng)絡(luò)結(jié)構(gòu)介紹
Complex.yolo使用多視點思想進行激光點云數(shù)據(jù)的預(yù)處理以及特征提取,從而生成一個激光點云鳥瞰圖。此算法提出了一個特定的歐拉區(qū)域建議網(wǎng)絡(luò)(E.RPN),通過在回歸網(wǎng)絡(luò)中添加一個虛數(shù)和一個真實的分數(shù)來估計物體的姿態(tài),成為YOLOv2的3D版本進行點云數(shù)據(jù)的識別。首先,由64線激光雷達采集的三維點云數(shù)據(jù)轉(zhuǎn)換為鳥瞰視圖的RGB圖,覆蓋面積為80mx40m,其中,R代表點云密度,G代表物體區(qū)域的最大高度,B代表點云的強度,并且減小了單元尺寸來縮小量化誤差。然后將此鳥瞰圖作為輸入,利使用簡化的YOLOv2卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu),通過復(fù)雜的角度回歸和E.RPN進行擴展,預(yù)測每個網(wǎng)格單元的五個框,每個盒子預(yù)測回歸參數(shù),實現(xiàn)物體的3D識別。
2.2 數(shù)據(jù)預(yù)處理
本文采用KITTI數(shù)據(jù)集中的激光點云數(shù)據(jù)進行算法的訓(xùn)練和測試。KITTI數(shù)據(jù)集使用激光雷達的坐標系為攝像機視野內(nèi)的運動物體提供一個3D邊框標注,每一個物體的標注都由所屬類別和3D尺寸(height,weight和length)組成。為了適應(yīng)本論文的實現(xiàn)效果,更好的進行角度的回歸,將網(wǎng)絡(luò)的輸入鳥瞰圖改為1024x1024像素的正方形,而不是原網(wǎng)絡(luò)的512x1024,并且將雷達數(shù)據(jù)覆蓋范圍改為80mx80m,擴大檢測范圍。且KITTI數(shù)據(jù)集有8個類別,而本文只需要識別車輛,因此需要篩選出標記為車輛的點云數(shù)據(jù)進行訓(xùn)練,經(jīng)自寫腳本篩選,一共提取6000張圖片,包含車輛類數(shù)據(jù)標簽33261個,分別以類別class、中心坐標x、y、物體的ground truth寬度、物體的ground truth長度、以及物體的旋轉(zhuǎn)角度im、ie順序排列組成。
利用腳本,對KITTI中保存雷達坐標的bin文件進行物體點云信息的提取,根據(jù)論文所述的數(shù)據(jù)處理方法,提取局部像素點所對應(yīng)的點云數(shù)據(jù)的最高高度值,最大亮度值以及局部密度值,將三個通道值合并成一個通道值,形成RGB圖像。以下為激光點云RGB圖像中6幅例圖:
2.3 網(wǎng)絡(luò)訓(xùn)練
由于本文的輸入大小和分類數(shù)目與原complex.yolo算法不同,因此輸入網(wǎng)絡(luò)的第一層卷積大小為1024x1024x3,隨后都以相同方式改變,其中E.RPN擴展層的大小為32x32x40(5x(6+1+1)=40)。將經(jīng)過數(shù)據(jù)預(yù)處理的激光點云RGB圖像輸入修改過的complex.yolo網(wǎng)絡(luò),并在backup文件夾中保存訓(xùn)練好的模型。
2.4 模型結(jié)果測試
將2.2節(jié)舉例的6幅圖像輸入模型結(jié)果進行測試:
2.5 誤差分析
將檢測到的車輛個數(shù)以及車輛的尺寸與原車輛尺寸進行對比,統(tǒng)計以上6幅圖中的測量誤差,如下表所示:
檢測車輛個數(shù)和車輛尺寸誤差較小,在車輛尺寸檢測誤差允許范圍之內(nèi)。
3 結(jié)語
本文主要研究了基于激光點云3D檢測的車輛外廓尺寸測量方法,將這種方法用于對公路車輛的識別和測量,結(jié)果比較理想。適應(yīng)于本文結(jié)構(gòu)的complex.yolo算法能在同一時間里識別一定范圍內(nèi)的所有車輛并時時輸出車輛所對應(yīng)的長、寬、高度,基于激光點云3D識別的車輛外廓尺寸測量方法在合理的誤差范圍內(nèi)比傳統(tǒng)的測量方法速度更快、可進行多車輛檢測、效果更好,為檢測車輛尺寸開拓了一個新的方法領(lǐng)域,以后的研究可以向著測量其他物體大小以及改善網(wǎng)絡(luò)結(jié)構(gòu)達到更好的檢測效果和更小的誤差兩方面進行。
參考文獻:
[1]陳樹東.基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢測與車型辨識算法研究[D].電子科技大學(xué),2018.06.
[2]郜雨桐,寧慧,王巍,等.基于卷積神經(jīng)網(wǎng)絡(luò)的車輛型號識別研究[J].應(yīng)用科技,DOI:10.11991/yykj.201803011.
[3]梁春疆.基于機器視覺原理的車輛外廓尺寸在線測量系統(tǒng)[D].天津大學(xué),2015.12.
[4]Martin Simon,Stefan Milz,Karl Amende,Horst.Michael Gross,Complex.YOLO:Real.time 3D Object Detection on Point Clouds,Computer Vision and Pattern Recognition,arXiv:1803.06199(2018).
作者簡介:朱菲婷(1993.),女,漢族,浙江紹興人,攻讀吉林大學(xué)交通學(xué)院載運工具運用工程專業(yè)碩士學(xué)位,研究方向為汽車安全與車輛智能技術(shù)。