摘要：在自動駕駛技術(shù)飛速發(fā)展的今天，實現(xiàn)精準多目標感知已成為該領域的關(guān)鍵挑戰(zhàn)。提出一種基于深度學習的相機與激光雷達融合標定算法，旨在通過整合2種傳感器的優(yōu)勢，實現(xiàn)在三維空間中對目標的高效跟蹤。通過系列試驗驗證，發(fā)現(xiàn)該算法的總準確率達到88.54%，檢測時間為0.03 s，顯示其性能優(yōu)越。此外，該算法針對目標跟蹤計算，其X軸和Y軸的誤差分別控制在4.48像素和1.81像素之內(nèi)，使得整體處理時間僅為0.084 s，由此進一步證明了該算法在實時性與精度上的平衡優(yōu)勢。

關(guān)鍵詞：自動駕駛；深度學習；相機；激光雷達；融合技術(shù)

0 前言

隨著自動駕駛技術(shù)的迅猛發(fā)展，提升駕駛體驗的舒適度與安全性已成為研究的新焦點。深度學習技術(shù)的引入，為自動駕駛性能的提升提供了無限可能，同時也為多目標檢測領域帶來了創(chuàng)新的視角[1]。本文提出了一種基于深度學習的相機與激光雷達的融合標定算法，該算法結(jié)合了單目相機與激光雷達的優(yōu)勢，實現(xiàn)了2者的融合標定與目標檢測。該方法不僅有效克服了單一數(shù)據(jù)源在目標檢測中可能遇到的局限，而且顯著提升了自動駕駛技術(shù)在自動跟蹤方面的精度與可靠性。通過這種融合策略，能夠更全面地捕捉和理解車輛周圍的環(huán)境，為自動駕駛系統(tǒng)的決策提供更加豐富和精確的數(shù)據(jù)支持。

1 融合標定算法

在三維坐標系內(nèi)，二維平面內(nèi)的像素與激光點云坐標系之間呈現(xiàn)出幾何關(guān)聯(lián)度。該模型參數(shù)的推導過程，實際上就組成了相機與激光雷達融合標定的具體過程。為此，標定參數(shù)求解可通過一組方程來進行[2]。

圖1展現(xiàn)了相機與激光雷達融合標定的原理和架構(gòu)。基于該設定，激光雷達坐標系被設定為OL、XL、YL、ZL。其中在像素坐標系內(nèi)，分別為原點O，以及X軸和Y軸，而在相機坐標系內(nèi)，分別為原點O，以及U軸和V軸；θx、θy、θz表示相機在X、Y、Z軸上的旋轉(zhuǎn)角度，T（t1，t2，t3）表示雷達坐標系平移向量，（u0，v0）則表示像素坐標系內(nèi)圖像原點所投射的坐標。

設定基于三維空間中的某物理點P，在3D激光雷達坐標系中的坐標為（ XL，YL，ZL），而在相機坐標系的坐標為（ XC，YC，ZC）。這2個不同的坐標系均屬于三維空間坐標系，兩者之間轉(zhuǎn)換過程的表達式為：

2 基于機器人操作系統(tǒng)（ROS）的實時傳輸圖像和點云

本次所構(gòu)建的基于深度學習的相機與激光雷達融合技術(shù)需要從現(xiàn)實世界中獲取圖像和點云相關(guān)信息，為此，通過ROS庫中訂閱器、發(fā)布器來實現(xiàn)通信，隨后再利用回調(diào)函數(shù)，基于幀率實現(xiàn)圖像數(shù)據(jù)和云數(shù)據(jù)的傳遞。通過ROC完成python程序中節(jié)點的編寫處理?；谠摴?jié)點，即可實現(xiàn)相機與激光雷達數(shù)據(jù)的有機對接，并完成相關(guān)轉(zhuǎn)換和處理。融合標定的外參數(shù)據(jù)通過將USB相機數(shù)據(jù)和RSLidar M1激光雷達進行坐標轉(zhuǎn)換，以確保它們能夠在相同坐標下對齊。在該點上，經(jīng)由ROS的發(fā)布者即可達成數(shù)據(jù)融合，并使其存放于話題下，確保其他節(jié)點能夠共享?；赗OC消息傳輸機制即可促使融合數(shù)據(jù)傳輸?shù)綄?jié)點，保證節(jié)點能夠遵循相應頻率完成數(shù)據(jù)發(fā)表，以更好地滿足實時信息傳遞的需求。相機與激光雷達實時傳輸生成的融合圖片如圖2所示。

3 基于深度學習的相機與激光雷達的融合技術(shù)的目標檢測

3. 1 點云降采樣

激光雷達有著優(yōu)越的性能，具備極高的距離分辨率、角度分辨率，其測距精度能夠達到厘米級，但獲得的數(shù)據(jù)通常伴隨有離群點、噪聲、不規(guī)則密度等問題。這些問題需在后續(xù)的點云數(shù)據(jù)處理中予以解決，以保障點云信息提取、匹配等相關(guān)要求。點云濾波是點云處理的第一步，其主要目的是促使數(shù)據(jù)量下降。過多的點云數(shù)據(jù)必然會給后續(xù)融合工作造成極大困難。盡管隨機采樣的效率更高，但卻會導致點云微觀結(jié)構(gòu)遭受破壞。而采用體素濾波則能夠在保障效率的同時，不對數(shù)據(jù)造成影響。

步驟1：獲取空間內(nèi)的某點pi，運用KD樹完成鄰近區(qū)域搜索，確定最近n個點并完成其與點pi之間的距離計算，將距離小于閾值的r點納入集合Q內(nèi)。

步驟2：基于集合Q，檢索pi之外的其他點，將距離小于閾值標準的r點再次納入集合Q；持續(xù)實施迭代處理，直至集合Q內(nèi)點數(shù)不再發(fā)生改變。

步驟3：基于集合Q中的每個點做出相應操作，針對任意的pi∈Q，即可獲取一個聚類點云簇。完成聚類之后即可設定限定尺寸標準，保留最小與最大的聚類點閾值之間的障礙物。

本研究結(jié)合不同距離的目標提出了不同的閾值范圍，具體為：0

3. 3 相機與激光雷達的融合

4 試驗結(jié)果與分析

4. 1 算法的準確率與實時性驗證

為驗證本算法的整體可靠性，隨機獲取100張Kitti數(shù)據(jù)集中的點云和對應圖像，通過手動標記的確定192個識別框，經(jīng)由激光雷達點云篩選獲得對比結(jié)果，判定其準確率。以崔善堯等[3]研究結(jié)果為對照，具體見表1。

由表1可知，與文獻[3]結(jié)果對比，本算法面對簡單、中等、困難目標的準確率均有不同程度提升，總準確率有明顯提升，同時檢測時間也顯著縮短。

4. 2 算法效果

為驗證所提算法的跟蹤效果，將其與粒子濾波（PF）算法進行對比，通過定量分析觀察不同算法下跟蹤結(jié)果，并通過ex、ey表示X軸、Y軸上的誤差，同時獲取平均區(qū)域重疊率Ot，見表2。

由表2可知，本次算法基于鄰近兩幀檢測目標和時間間隔來確定目標移動速度，并通過圖像檢測框與速度來完成中心坐標融合處理，取得了較好的跟蹤效果。與PF算法對比，本次算法具有較好的擬合真實性，在X軸與Y軸上的偏差均更低，并且平均區(qū)域重疊率更高，每幀耗費的時長更短。

5 結(jié)語

針對高速發(fā)展的自動駕駛技術(shù)，本研究基于深度學習提出了相機與雷達激光融合算法。根據(jù)本次研究目標，首先完成了融合標定算法的架設，并基于ROS明確了實時傳輸圖像和點云技術(shù)，結(jié)合深度融合目標檢測提出了點云降采樣策略，引入KD樹最近鄰搜索的自適應歐幾里得聚類算法進行點云聚類，最終通過三維空間完成相機與激光雷達的融合。通過對比分析，證實本次算法具有較高準確率和實時性，并且目標跟蹤效果較為理想。

參考文獻

[1] 齊繼超，何麗，袁亮，等.基于單目相機與激光雷達融合的SLAM方法[J].電光與控制， 2022，29（2）：99-102，112.

[2] 吳瓊，時利，謝欣燕，等.基于視覺標記板的自動駕駛車輛激光雷達與相機在線標定研究[J].汽車技術(shù)，2020（4）：40-44.

[3] 崔善堯，賈述斌，黃勁松.圖像與激光點云融合的實時目標定位算法[J].導航定位學報， 2023，11（2）：99-105.