摘" 要： 激光雷達點云和相機圖像融合常被應用在多個領域，準確的外參標定是融合兩種信息的前提。現(xiàn)有的基于特征的標定算法，提取的3D?2D特征存在不匹配的問題，影響了整體標定的性能。為此提出一種基于特征點匹配的激光雷達與相機外參標定方法。首先利用圓心特征提取算法從點云和圖像中分別獲取標定板上4個圓心特征點的三維和二維坐標；然后建立三維點云數(shù)據(jù)和二維圖像數(shù)據(jù)中點對間約束關系；最后通過非線性優(yōu)化算法得到激光雷達和相機標定的外參，利用外參矩陣將激光雷達點云投影在對應的圖像上。實驗結(jié)果表明，文中所提方法平均重投影誤差在2.6像素內(nèi)，與基于手動匹配的標定方法相比，精度提升了42.2%；與基于兩孔圓形標定板的標定方法相比，精度提升了27.8%。

關鍵詞： 激光雷達； 點云； 相機圖像融合； 外參標定； 特征點匹配； 平均重投影誤差

中圖分類號： TN249?34" " " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " " 文章編號： 1004?373X（2025）03?0019?07

Feature point matching based extrinsic parameter calibration between lidar and camera

LI Xin， WANG Xiaoxia， YANG Fengbao

（School of Information and Communication Engineering， North University of China， Taiyuan 030051， China）

Abstract： The fusion of lidar point cloud and camera images is often applied in multiple fields， and accurate extrinsic parameter calibration is a prerequisite for fusing the two types of information. The 3D?2D features extracted with the existing feature?based calibration algorithms do not match with each other， which affects the overall calibration performance. In view of the above， this article proposes a feature point matching based calibration method for extrinsic parameters between lidar and camera. The center feature extraction algorithm is utilized to obtain the 3D and 2D coordinates of the four center feature points on the calibration board from the point cloud and image， respectively. The constraint relationships between point pairs in 3D point cloud data and 2D image data are established. The extrinsic parameters for lidar and camera calibration are obtained by nonlinear optimization algorithms， and the extrinsic parameter matrix is utilized to project the lidar point cloud onto the corresponding image. The experimental results show that the average reprojection error of the proposed method is kept within 2.6 Pixels. Its accuracy has improved by 42.2% in comparison with the calibration method based on manual matching， and by 27.8% in comparison with the calibration method based on the circular calibration plate with two holes.

Keywords： lidar; point cloud; camera image fusion; extrinsic parameter calibration; feature point matching; average reprojection error

0" 引" 言

激光雷達和相機的融合技術被廣泛應用在無人駕駛、三維建模、目標識別等領域[1]。激光雷達能精確提供目標的深度和強度信息，從而可以確定目標的精確位置及分析其表面特性，卻難以獲取目標的顏色、紋理等視覺特征。而可見光相機雖然能捕獲目標的色彩和紋理等信息，但空間感知能力不足[2]，兩者的結(jié)合可以獲取更為豐富的三維模型數(shù)據(jù)。為了實現(xiàn)激光雷達和相機之間的信息融合，需要對這兩類傳感器進行標定以獲得精確的外參矩陣。

激光雷達與相機間外參標定主要包括基于輔助信息[3?4]和基于標定設備的幾何特征[5?6]兩類方法?；谳o助信息的方法主要通過運動估計、強度互信息、語義信息等進行標定[7?9]，這些標定方法受限于特定的環(huán)境物體，且沒有使用特征點對間約束關系求解標定的平移矩陣，導致外參標定精度較差?；跇硕ㄔO備的幾何特征方法，通常是借助棋盤格或特殊形狀的標定物，在激光雷達點云和相機圖像中分別提取對應的特征，并根據(jù)特征匹配進行外參標定[10]。文獻[11]通過手動選取棋盤格上頂點，根據(jù)二維?三維間的對應關系，采用PnP （Perspective?n?Points）算法計算得到初始的外部參數(shù)估計值。文獻[12]利用兩個圓孔的標定板計算圓孔圓心在激光雷達坐標系和相機坐標系下的三維空間位置，并通過非線性優(yōu)化后求解外參。該方法需要采集標定板不同的位姿數(shù)據(jù)以獲得多組特征點對，從多組數(shù)據(jù)中任選3組以上的特征點進行標定實驗，但選取的特征點可能存在不共面的情況。文獻[13]在圖像和激光點云中分別提取了標定板的線和面特征，再依據(jù)線面對應算法求解外參矩陣，但該方法僅僅依靠線作為標定約束，求解的平移矩陣誤差較大。文獻[14]利用三維標定板，從點云和圖像中提取了單幀的棋盤格中心點，由于存在環(huán)境噪聲、標定板擺放精度等因素，提取到的中心點與理想位置之間存在一定的偏離誤差，無法保證求得旋轉(zhuǎn)矩陣的精確性。上述方法雖然各有其特點和優(yōu)勢，但在特征點匹配這一關鍵環(huán)節(jié)上都存在一定的局限性。通過準確匹配激光雷達點云中的三維特征點與相機圖像中的二維特征點，可以建立起兩者之間的對應關系，進而求解出外參矩陣，因此，特征點匹配的準確性直接影響到標定結(jié)果的精度。近年來，基于深度學習的方法[15?17]也逐漸被應用于激光雷達與相機的校準任務中，但深度學習模型依賴于大量高精度訓練數(shù)據(jù)，且針對不同場景需要重新訓練以獲得模型參數(shù)，泛化受限且成本較高。

綜上所述，本文提出一種基于特征點匹配的激光雷達與相機間的外參標定方法。該方法首先通過設計與標定板平面具有相同幾何結(jié)構的掩膜，采用網(wǎng)格搜索的方法獲取三維點云圓心特征；再根據(jù)預先設定的閾值篩選出圓形輪廓，并依據(jù)圓形的半徑精確定位到圓孔的圓心，從而獲取二維圖像的圓心特征點坐標；最后通過構建4個圓孔的三維與二維特征點間匹配關系，利用非線性優(yōu)化算法精確求解激光雷達與相機間的外參。

1" 基本原理

激光雷達與相機間外參標定流程圖如圖1所示。

1.1" 外參標定原理

外參標定是從點云和圖像數(shù)據(jù)中提取對應的特征點坐標，構建這些特征點坐標之間的關聯(lián)方程，利用優(yōu)化算法計算出外參。

本文采用基于特征點匹配的外參標定方法，由于圓孔的圓心特征比較明顯，使用帶有4個圓孔的標定板為標定物。標定板的4個圓孔圓心點在激光雷達坐標系下的坐標表示為[{PLcircle， j（xLcircle， j，yLcircle， j， zLcircle， j）}4j=1]，[{PLcircle， j（xLcircle， j，yLcircle， j， zLcircle， j）}4j=1]是在相機坐標系下的表示，在像素坐標系下表示為[{PIcircle， j（uIcircle， j，vIcircle， j）}4j=1]。它們之間的轉(zhuǎn)換關系如下：

[ZCuv1=K?XCYCZC1=K?RT01?XLYLZL1=K?RT?XLYLZL1] （1）

式中：[R]表示激光雷達坐標系到相機坐標系的3×3旋轉(zhuǎn)矩陣；[T]表示激光雷達坐標系到相機坐標系的3×1平移向量；[K]為相機的內(nèi)參矩陣，其描述了相機的內(nèi)部屬性。

根據(jù)上述式子可知，通過從標定板上提取點云4個圓孔的圓心點[{PLcircle， j}4j=1]，并與圖像上圓孔的中心點[{PIcircle， j}4j=1]匹配。在求解相機的固有參數(shù)[K]的基礎上，設定激光雷達與相機的外參初始值。根據(jù)式（1）求得點云中的圓孔中心點[{PLcircle， j}4j=1]在像素坐標下的投影點，最小化激光雷達到圖像上的投影點與圖像中圓孔中心點[{PIcircle， j}4j=1]之間的歐氏距離，優(yōu)化激光雷達與相機的外參矩陣，即旋轉(zhuǎn)矩陣[R]和平移矩陣[T]。

1.2" 特征點匹配的聯(lián)合標定方法

標定板的示意圖如圖2所示。圖中自制矩形標定板的尺寸為70 cm×70 cm，厚度為8 mm，并在標定板上挖空4個圓孔。采集不同場景下對應的點云和圖像數(shù)據(jù)，提取圓孔的點云三維坐標和圖像像素二維坐標，建立基于圓孔特征點的匹配約束方程組，利用非線性優(yōu)化算法計算激光雷達與相機間的外參矩陣。

1.2.1" 點云數(shù)據(jù)圓心特征提取算法

對于三維點云中的特征點，與文獻[12]中方法不同的是，通過生成與標定目標具有相同結(jié)構的點云掩膜以此定位每個孔的圓心，具體步驟如下。

1） 點云預處理。假設激光雷達掃描到的數(shù)據(jù)為[pL0]，為了更有效地分割點云數(shù)據(jù)，采用ROI（Region of Interest）過濾方法。通過在[x]軸和[y]軸分別設定一定的范圍，以此來過濾掉異常的噪聲點和周邊環(huán)境的干擾噪聲，進而為后續(xù)的點云分割操作提供便利。

2） 分割目標平面。為了保證在不同類型的真實環(huán)境中分割出合適的平面，包括在地平面或建筑物墻壁可能影響分割的情況下。首先，在RANSAC算法中設定了分割的模型必須與傳感器參考系的垂直軸在指定的角度容差內(nèi)平行；其次，設置模型系數(shù)優(yōu)化的最大迭代次數(shù)。至此，從預處理后的點云分割得到目標平面，分割后的點云數(shù)據(jù)用[pLplane]表示。

[pLplane={（x，y，z）}?pL0] （2）

3） 定位圓孔坐標。首先，根據(jù)標定板的尺寸，設計了與標定圓孔目標具有相同結(jié)構的幾何掩模，用[pLmap]表示。在此基礎上，首先確定掩膜的圓心位置[omap]，然后依據(jù)文獻[18]描述的網(wǎng)格搜尋方法，在初始確定的圓心領域?qū)ふ覅^(qū)域內(nèi)包含最少點的位置，即為目標平面真正的圓心[oplane]。這里只關注相對于標定板平面的旋轉(zhuǎn)偏航角[R*yaw]和[x]、[y]軸平移。

[R*yaw，t*x，y=argminyaw，x，yRyaw（pLmap+tx，y）?pLplane] （3）

匹配原理圖如圖3所示，當[omap]與[oplane]實現(xiàn)完美匹配時，圓孔內(nèi)點的數(shù)量最少，因此可以在激光雷達坐標系中定位每個圓孔中心的三維位置。與文獻[12]相比，本文方法不需要額外的圖像信息進行反投影來獲取三維點云坐標，生成的掩模固定了孔間的相對位置，大大提高了中心檢測的魯棒性和準確性。最后，每幅場景中都可以在Lidar坐標系中獲得標定板4個圓孔的中心點坐標。

1.2.2" 圖像數(shù)據(jù)圓心特征提取算法

對于從Lidar數(shù)據(jù)中提取3D圓孔中心點，需要在圖像上提取相應的圓孔中心點，具體步驟如下。

1） 圖像預處理。為了從圖像中提取對應的標定板圓心特征，根據(jù)圖像中標定板的像素值分布選擇一個合適的二值化閾值，將原始彩色圖像轉(zhuǎn)換為灰度圖像。由于圖像中可能存在與標定板像素值相似的其他景物，并且光照的條件會造成標定板反光，因此圖像中存在噪點，為了消除這些噪點，要對二值化圖像進行中值濾波。

2） 檢測圖像中的圓心。對處理后的圖像進行梯度求解，根據(jù)Canny邊緣檢測算法預先設定的閾值篩選出標定板圓孔邊緣。假設圓孔目標的方程可表示為：

[（x-a）2+（y-b）2=r2] （4）

式中：[（x，y）]表示圖像邊緣點；（[a，b]）為圓孔圓心坐標；[r]為圓孔的半徑。

對于圓孔邊緣上的每一點[{（xi，yi），i=1，2，…，n}]集合，變換后的參數(shù)空間為多個三維錐面形成的一個錐面簇。在參數(shù)空間中，錐面簇的交點[（a0，b0，r0）]對應于圖像空間中共同邊緣點的圓心位置，如圖4所示。通過這種方法就可以得到圖像中標定板4個圓孔圓心的特征點坐標。

1.2.3" 3D?2D特征點匹配與外參優(yōu)化算法

通過建立激光雷達點云數(shù)據(jù)點的三維坐標和其在RGB圖像中對應像素點的像素坐標的匹配關系，以及相機的固有參數(shù)[K]，就可以計算出激光雷達坐標系與像素坐標系的位姿關系，包括旋轉(zhuǎn)矩陣[R]和平移矩陣[T]，而求解位姿關系至少需要三對特征點對作為輸入數(shù)據(jù)[19]。

在獲取點云中標定板的圓心點[{PLcircle， j（xLcircle， j，yLcircle， j， zLcircle， j）}4j=1]和圖像中標定板的圓心點[{PIcircle， j（uIcircle， j，vIcircle， j）}4j=1]后，將外參矩陣的求解問題轉(zhuǎn)換為PnP（Perspective?n?Points）問題。采用LM（Levenberg?Marquardt）算法最小化激光雷達到圖像上的投影點與圖像中圓孔中心點[{PIcircle， j}4j=1]之間的歐氏距離，以獲取精確的旋轉(zhuǎn)矩陣[R]和平移矩陣[T]。

[e*j=j=14[PIcircle， j-KRTPLcircle， j]2] （5）

[[RT]=argmine*j] （6）

式中：[PLcircle]表示激光雷達點云的圓心坐標；[PIcircle]表示圖像中對應的圓心坐標；[e*j]表示激光雷達點云的圓心坐標[PLcircle]與圖像中對應的圓心坐標[PIcircle]之間的重投影誤差。

2" 實驗過程及結(jié)果分析

2.1" 實驗設備配置

本文采用Focus型激光雷達和云臺上的可見光相機對算法進行測試，其中相機的圖像分辨率為1 920×1 080，激光雷達的相關參數(shù)信息如表1所示。

本文在無人車駕駛平臺上進行實驗，實驗裝置如圖5所示。

2.2" 實驗結(jié)果

本節(jié)分別展示相機內(nèi)參標定、激光雷達與相機聯(lián)合標定的實驗結(jié)果。

1） 相機內(nèi)參標定

在相機內(nèi)參標定實驗中，選用了規(guī)格為9×12黑白格子的棋盤格標定板，其中標定板的尺寸為600 mm×450 mm。采集了共計24張不同角度和位置的棋盤格圖像進行標定過程，相機標定圖像如圖6所示。

使用張正友棋盤格標定法對相機進行了精確的標定，在最終獲得的標定結(jié)果中，重投影誤差為0.028 Piexl，能夠滿足精度要求。

[K=2 076.90898.202 074.7583.7001] （7）

2） 激光雷達與相機聯(lián)合標定

按照1.2節(jié)描述的方法提取每對圖像和點云的4組圓孔圓心特征點。實驗涵蓋了3個不同場景，并采集8組實驗數(shù)據(jù)，提取32組圓孔圓心特征點進行標定，以其中一組數(shù)據(jù)為例，特征點提取結(jié)果如圖7所示。

圖7a）為圖像特征點提取的效果圖，其中黑色圓圈為圓孔的邊緣，黑色點為圓孔的圓心，其圓心坐標為相應特征點的像素坐標值；圖7b）為在不同類型的真實環(huán)境中分割的標定板平面；圖7c）為根據(jù)點云圓心特征提取算法提取的4個圓孔中心點，其圓心坐標為相應特征點的三維坐標值。

將提取到的特征點坐標代入式（1）即可求解出激光雷達與相機之間的外參變換矩陣，結(jié)果如下所示：

[[RT]=0.934 8350.351 303-0.051 671 5-1.541 5180.037 676 9-0.242 835-0.969 3362.338 394-0.353 078-0.904 222-0.240 2471.116 7940001] （8）

3） 可視化結(jié)果

不同場景下的可視化結(jié)果如圖8～圖10所示。

2.3" 實驗結(jié)果分析

主觀評價主要依靠觀察者將三維點云通過標定得到的外參矩陣投影至二維圖像并進行可視化。然而，由于激光雷達的局限性導致可視化圖像中點云稀疏，且存在遮擋引起的孔洞問題。

本文采用平均重投影誤差作為客觀評價標準，該指標綜合考慮了單應矩陣計算和圖像點測量誤差，確保更高的精度。計算真實三維空間點在圖像平面上的投影（也就是圖像上的像素點）和將激光雷達坐標投影到圖像上得到的圖像坐標的差值，即為平均重投影誤差。

[En=1Nj=1NPIcircle， j-KRTPLcircle， j] （9）

式中：[En]表示第[n]次實驗的平均重投影誤差；[PLcircle]表示激光雷達點云的圓心坐標；[PIcircle]表示圖像中對應的圓心坐標；[N]為圓心特征點的個數(shù)。

將本文方法與基于手動匹配[11]的標定方法和基于兩孔圓形標定板[12]的標定方法進行平均重投影誤差對比。下面將基于手動匹配[11]的標定方法記為Manual，基于兩孔圓形標定板[12]的標定方法記為Circular。

將采集到的8組數(shù)據(jù)分別通過式（9）計算得到平均重投影誤差，設置訓練數(shù)據(jù)組數(shù)為1～8，結(jié)果如表2所示。

從表2可以看出，本文提出的方法平均重投影誤差低于兩種比較方法。圖11為表2的折線圖形式，隨著訓練數(shù)據(jù)的增加，所有方法的平均重投影誤差均呈現(xiàn)下降趨勢。

由表2可知：本文利用32組圓孔圓心特征點進行平均重投影誤差計算，平均重投影誤差在2.6 Pixel內(nèi)；基于手動匹配和基于兩孔圓形標定板的平均重投影誤差分別在4.5 Pixel和3.6 Pixel內(nèi)。

與兩種對比方法相比，本文方法精度分別提升42.2%和27.8%。因此上述實驗驗證了本文算法的有效性，實現(xiàn)了激光雷達點云與相機間的精確外參標定。

3" 結(jié)" 論

本文在總結(jié)了現(xiàn)有激光雷達與相機外參標定算法的基礎上，針對現(xiàn)有基于特征的標定算法提取的3D?2D特征存在不匹配以及影響整體標定的問題，提出了一種基于特征點匹配的外參標定方法。該方法的平均重投影誤差在2.6 Pixel內(nèi)，與基于手動匹配的方法和基于兩孔圓形標定板方法相比，分別實現(xiàn)了42.2%和27.8%的精度提升，點云投影的結(jié)果也展示了本文方法的準確性。然而，考慮到無人車在行駛過程中可能因振動導致傳感器位置變動，如何實現(xiàn)激光雷達與相機的實時標定成為未來研究的重點。

注：本文通訊作者為王肖霞。

參考文獻

[1] 熊超，烏萌，劉宗毅，等.激光雷達與相機聯(lián)合標定進展研究[J].導航定位學報，2024，12（2）：155?166.

[2] 王世強，孟召宗，高楠，等.激光雷達與相機融合標定技術研究進展[J].紅外與激光工程，2023，52（8）：119?132.

[3] YUAN C J， LIU X Y， HONG X P， et al. Pixel?level extrinsic self calibration of high resolution LiDAR and camera in targetless environments [J]. IEEE robotics and automation letters， 2021， 6（4）： 7517?7524.

[4] YIN J， YAN F， LIU Y S， et al. Automatic and targetless LiDAR?camera extrinsic calibration using edge alignment [EB/OL]. [2023?09?23]. https：//www.researchgate.net/publication/372667718.

[5] AN P， MA T， YU K， et al. Geometric calibration for LiDAR?camera system fusing 3D?2D and 3D?3D point correspondences [J]. Optics express， 2020， 28（2）： 2122?2141.

[6] ZHANG G Y， WU K Y， LIN J， et al. Automatic extrinsic parameter calibration for camera?LiDAR fusion using spherical target [J]. IEEE robotics and automation letters， 2024， 9（6）： 5743?5750.

[7] PANDEY G， MCBRIDE J R， SAVARESE S， et al. Automatic extrinsic calibration of vision and Lidar by maximizing mutual information [J]. Journal of field robotics， 2015， 32（5）： 696?722.

[8] LIU X， YUAN C， ZHANG F. Targetless extrinsic calibration of multiple small FoVLiDARs and cameras using adaptive voxelization [J]. IEEE transactions on instrumentation and measurement， 2022， 71： 1?12.

[9] TANG S， FENG Y， HUANG J， et al. Robust calibration of vehicle solid?state LiDAR?camera perception system using line?weighted correspondences in natural environments [J]. IEEE transactions on intelligent transportation systems， 2024， 25（5）： 4489?4502.

[10] FLOREZ S A R， FREMONT V， BONNIFAIT P. Extrinsic calibration between a multi?layer lidar and a camera [C]// 2008 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. New York： IEEE， 2008： 214?219.

[11] KON R， LEVEN J， KOTHAPALLI K， et al. CIS?UltraCal： An open?source ultrasound calibration toolkit [C]// Medical Imaging 2005： Ultrasonic Imaging and Signal Processing. [S.l.]： SPIE， 2005： 516?523.

[12] 陳美林，蔣國濤，皮志超，等.基于特征匹配的激光雷達和相機外參標定方法[J].控制與信息技術，2024（1）：102?108.

[13] ZHOU L P， LI Z M， KAESS M. Automatic extrinsic calibration of a camera and a 3D LiDAR using line and plane correspondences [C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. New York： IEEE， 2018： 5562?5569.

[14] KAISER M， BRUSA T， BERTSCH M， et al. Extrinsic calibration for a modular 3D scanning quality validation platform with a 3D checkerboard [J]. Sensors， 2024， 24（5）： 1575.

[15] Lü X D， WANG S， YE D. CFNet： LiDAR?camera registration using calibration flow network [J]. Sensors， 2021， 21（23）： 8112.

[16] NGUYEN A D， YOO M. CalibBD： Extrinsic calibration of the LiDAR and camera using a bidirectional neural network [J]. IEEE access， 2022， 10： 121261?121271.

[17] CHOI J D， KIM M Y. A sensor fusion system with thermal infrared camera and LiDAR for autonomous vehicles and deep learning based object detection [J]. ICT express， 2023， 9（2）： 222?227.

[18] LEVINSON J， THRUN S. Automatic online calibration of cameras and lasers [EB/OL]. [2013?06?23]. https：//www.researchgate.net/publication/305298924.

[19] VERMA S， BERRIO J S， WORRALL S， et al. Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane correspondences [C]// 2019 IEEE Intelligent Transportation Systems Conference （ITSC）. New York： IEEE， 2019： 3906?3912.