劉 宇，蔡 毅，戎寧濤，周云揚，王嶺雪

〈系統(tǒng)與設計〉

稀疏激光雷達與可見光/紅外成像系統(tǒng)的標定方法

劉 宇，蔡 毅，戎寧濤，周云揚，王嶺雪

（北京理工大學 光電學院 光電成像技術與系統(tǒng)教育部重點實驗室，北京 100081）

激光雷達與成像系統(tǒng)之間的位姿標定是激光點云與圖像像素進行融合的前提。目前主流的離線標定方法中，普通棋盤格標定板用于64線及以上的激光雷達時效果較好，而用于16線激光雷達時由于其數據稀疏而導致誤差較大。而且，涉及紅外成像系統(tǒng)的標定時，需要特制的棋盤格來獲得發(fā)射率差異。本文針對稀疏激光雷達點云數據較少的問題，研究了可以同時標定激光雷達與可見光、紅外成像系統(tǒng)的方法，設計了菱形九孔標定板，并提出幾何約束損失函數來優(yōu)化特征點的坐標。最后，分別使用紅外和可見光成像系統(tǒng)與16線激光雷達進行標定，實驗結果表明，平均重投影誤差均在3個像素之內，取得了較好的效果。本文方法還能用于稀疏激光雷達與可見光-紅外多波段成像系統(tǒng)的標定。

稀疏激光雷達；位姿估計；標定；標定板；紅外成像

0 引言

近年來，自動駕駛技術發(fā)展迅速，該技術將慣性導航系統(tǒng)、毫米波雷達、超聲波雷達、激光雷達、成像系統(tǒng)、全球定位系統(tǒng)等部署在汽車上，配合車載高性能計算平臺進行數據融合，在車輛行駛過程中自動完成場景理解、定位、避障，以保障車輛的安全行駛。

激光雷達根據激光測距原理，輸出激光點云數據，可以得到目標的距離數據。常用成像系統(tǒng)根據工作波段以及成像原理的不同，分為可見光成像系統(tǒng)和紅外成像系統(tǒng)。紅外成像系統(tǒng)因可以全天時工作，也逐漸應用于自動駕駛，是對可見光圖像的有益補充。激光雷達與可見光和紅外成像系統(tǒng)融合，可獲得周圍環(huán)境的三維信息。這些信息在融合之前，需要先對成像系統(tǒng)進行內標定，在此基礎上，再完成激光雷達與成像系統(tǒng)之間的外標定。內標定獲得成像系統(tǒng)的內參矩陣，包括像素主點、像素焦距、畸變參數等。內參矩陣反映了圖像像素與對應空間點的關系；外標定獲得成像系統(tǒng)坐標系和激光雷達坐標系之間的剛體變換矩陣，包括旋轉矩陣和平移向量等。剛體變換矩陣反映了成像系統(tǒng)與激光雷達之間的位姿關系。

激光雷達與成像系統(tǒng)之間的標定方法主要有兩類：離線標定和在線標定。

離線標定又稱有目標標定，是在非任務場景下，使用特定目標（通常是標定板），在兩個系統(tǒng)中分別找到特定目標的對應特征點。早期，由于激光雷達線數較少，如4線、8線、16線，標定板設計通常比較簡單。Rodriguez等[1]設計了挖孔同心圓標定板，特征點為同心圓的圓心；陳東等[2]設計了挖孔圓與棋盤格結合的標定板，特征點為棋盤格的角點。近年來，隨著激光雷達技術的發(fā)展，激光雷達的線數也越來越多，機械掃描式激光雷達已經達到了128線，固態(tài)激光雷達也可以達到等效100線以上的水平。因此，標定任務開始轉向使用非挖孔的棋盤格標定板來完成。使用棋盤格標定板的主要好處在于，在稠密的激光點云中可以方便地通過算法自動找到棋盤格平面的角點以及平面方程建立約束求解；棋盤格同時又可用于成像系統(tǒng)內參矩陣的標定。Zhou[3-4]和Geiger[5]等基于從激光點云中找到的棋盤格設計平面約束與直線約束獲得剛體變換矩陣。

在線標定又稱無目標標定，不需要使用特定目標，可以在執(zhí)行任務的運動過程中完成。在線標定通常是基于手眼標定（hand-eye calibration）[6]完成的，即Ishikawa[7]等通過分別計算運動過程中激光雷達與成像系統(tǒng)的運動估計，求解方程。近年來，使用卷積神經網絡（convolutional neural networks, CNN）進行在線標定成為研究熱點，只需輸入激光點云與對應的圖像，網絡即可求解得到剛體變換矩陣。Schneider[8]等提出了RegNet，該網絡使用大量標定好的激光點云和圖像數據進行訓練，執(zhí)行任務時直接回歸計算得到剛體變換矩陣；Ganesh等[9]提出了自監(jiān)督網絡CalibNet，通過最大化點云與圖像在幾何和光度上的一致性得到剛體變換矩陣。

目前主流的棋盤格離線標定方法用于64線及以上的激光雷達效果較好，而用于16線激光雷達時由于其數據稀疏而導致誤差較大，且由于棋盤格標定板是一個整體，不存在溫度差，無法用于紅外成像系統(tǒng)。

因此，本文設計一種標定方法以及標定板，可以滿足16線稀疏激光雷達、紅外成像系統(tǒng)與可見光成像系統(tǒng)的標定要求。16線激光雷達原理同樣是激光測距，但點云信息較少，因此設計了挖孔標定板，且在挖孔特征點之間建立了幾何約束；可見光成像系統(tǒng)成像原理是光的反射，為方便在可見光圖像中分辨孔和標定板，將標定板整體設計為黑色；紅外成像系統(tǒng)的成像原理是熱輻射，挖孔標定板的孔和標定板存在溫度差，可以在紅外圖像中分辨。

1 原理

1.1 標定原理

激光雷達與成像系統(tǒng)的標定實質上是坐標系之間的轉換。本文使用(l,l,l)表示以激光雷達為中心的雷達坐標系3D點坐標；使用(c,c,c)表示成像系統(tǒng)坐標系下3D點坐標；使用(w,w,w)表示世界坐標系下3D點坐標；使用(,)表示圖像的像素坐標系下2D點的坐標。相機的投影過程可以使用式(1)表示，激光雷達與成像系統(tǒng)的坐標轉換可以使用式(2)表示：

式中：為成像系統(tǒng)的內參矩陣，可以使用張正友標定法[10]獲得，wc和wc是世界坐標系到相機坐標系的旋轉矩陣和平移向量，lc和lc是激光雷達坐標系到成像系統(tǒng)坐標系的旋轉矩陣和平移向量，組合起來就是剛體變換矩陣。

通過找到對應特征點在激光雷達坐標系的坐標(l,l,l)以及像素坐標系的坐標(,)，就可以通過兩種不同方法求解得到lc和lc。

第一種方法不必求解成像系統(tǒng)坐標系下坐標，直接使用2D和3D的對應特征點，來求解PnP（perspective N points）問題。將式(1)和式(2)組合，并使用齊次坐標，將內參和外參組合到一起，得到式(3)。這是一個有12個未知數的方程組，每一對點可以提供兩個方程，因此最少需要6對特征點即可解出12個未知數，進而解出旋轉矩陣和平移向量的初值。然后將二者作為初始解，使用L-M迭代法，對式(4)的代價函數迭代優(yōu)化，得到lc和lc的迭代解，其中l(wèi)i與p是一對雷達和像素坐標對應點，≥6。

第二種方法需要求出特征點在成像系統(tǒng)坐標系下的坐標，使用3D和3D對應點來進行求解。根據張正友標定法[10]，在知道標定板的物理尺寸時，假定標定板所在平面的世界坐標為w＝0，就可以將式(1)中的投影過程轉換為求解單應性矩陣（homography matrix）的過程，進而求解成像系統(tǒng)的內參矩陣。同理，也可以使用來分解單應性矩陣得到wc和wc，再根據式(1)，計算得到特征點在成像系統(tǒng)坐標系下坐標(c,c,c)。對于多對3D特征點，建立幾何空間約束，即可求解方程組得到lc和lc的初值，然后使用ICP（iterative closest point）算法進行迭代求解?？臻g約束以及迭代方法根據標定板以及實驗設備不同都有所不同，將在下一部分進行具體介紹。

1.2 本文3D約束方法

對于稀疏激光雷達，使用普通棋盤格標定板矩形邊界點作為特征點，效果不夠好，因此需要使用挖孔標定板的內部信息作為特征點。如圖1所示，本文標定板由9個半徑相等的圓孔組成，特征點對為激光雷達坐標系和圖像像素坐標系中9個圓心的坐標。9個圓心之間有嚴格的幾何約束關系，如平行約束、垂直約束、中點約束等；使用這些約束完成特征點坐標的優(yōu)化計算以及l(fā)c和lc的初值計算。

圖1 本文設計的標定板

對于圖像中的特征點，通過Hough圓變換對圖像中的圓進行檢測，在每張圖像中可以找到9個圓心的像素坐標(,)。

在激光雷達點云中，每條激光掃描線經過圓孔，會產生距離突變，如圖2所示。假設有兩條雷達掃描線經過該圓，這兩條掃描各自會產生一段距離突變，突變的兩個端點在圓上，即圖中的、、、四點；又因圓上3點可確定一個圓，可將問題轉換為求三角形外接圓的問題，使用、、三點即可求解圓心坐標。假設、、三點在激光雷達坐標系下坐標分別為(l1,l1,l1)、(l2,l2,l2)、(l3,l3,l3)，由、、三點確認的平面方程為＋＋＋＝0，圓心坐標為(l,l,l)，半徑為（＞0）。可以得到由l、l、l、四個未知數組成的線性方程組，如式(5)所示。解該方程組，即可得到圓心坐標以及半徑。為了使結果更準確，本文從、、、四點中任選三點，計算4次，結果求平均值作為圓心坐標。

圖2 激光雷達數據計算圓心坐標

由于測量過程存在誤差，在求得2D和3D的9個圓心特征點的坐標之后，還需利用標定板的幾何約束對兩個坐標系下特征點坐標進行優(yōu)化。本文設計了損失函數（loss function），優(yōu)化loss，使坐標的誤差盡可能小。如圖1，本文標定板存在中點約束，比如為中點等；垂直約束，比如^等。本文使用lossmid表示中點約束誤差，如式(6)所示，即點與中點的距離；本文使用lossvertical表示垂直約束誤差，如式(7)所示，即兩個向量之間點積的絕對值；整體loss如式(8)所示，每個點均使用了4次，所占權重相等以免引入新的誤差。本文使用隨機搜索（random search）的方法，不斷優(yōu)化loss接近于0，降低9個點的誤差。

分別對2D特征點和3D特征點坐標進行優(yōu)化后，使用本文1.1節(jié)介紹的第二種方法來求lc和lc的初值，先將2D特征點轉換為成像系統(tǒng)坐標系下3D坐標，然后與激光雷達坐標系下的3D特征點建立約束。與第一種求解PnP問題，直接得到外參矩陣的方法相比，第二種方法對旋轉矩陣和平移向量是分別求解的，可以更好地減少二者的誤差，因此效果更好。在第2章的仿真實驗中，本文也將對比這兩種方法的效果。首先建立約束來求解lc，相比于點坐標，空間向量只受到lc的約束，因此，使用直線的方向向量與平面的法向量來建立約束，如式(9)(10)所示：

對于兩個坐標系下對應的9個特征點，求6條線的方向向量：、、CD、、、建立約束，分別使用、三點和、三點求解兩次平面法向量建立約束；這樣可以保證9個點都用了兩次，所占權重一致。一個位置下的9組對應點可以建立8個約束，通過奇異值分解（singular value decom- position，SVD）的方法即可解出lc的初值，使用多個位置下的多組對應點，建立更多約束，可得到更精確的初值結果。

使用上面得到的lc的初值作為lc，計算lc的初值，使用的約束有平面約束、直線約束以及垂直約束，如式(11)(12)(13)所示：

對于一個位置下的9組對應點，求出了2個平面法向量和6個直線方向向量。使用9個點的質心和兩個平面法向量代入式(11)得到2個方程；使用6條線段的中點和方向向量代入式(12)得到18個方程；使用雷達坐標系下、、、四個點在成像系統(tǒng)坐標系的投影點，分別代入式(13)，建立^、^、^、^四個垂直約束，得到4個方程，一共得到24個方程。因為平移向量lc有3個未知數，24個方程構成的是超定線性方程組，可以求得lc的線性最小二乘解作為初值。

在求得lc和lc的初值之后，就可以使用3D-2D點迭代或3D-3D點迭代的方法來求解lc和lc的優(yōu)化解，本文激光雷達與成像系統(tǒng)標定方法的整體流程如下：

輸入：多組圖像與對應的激光雷達點云數據；

輸出：激光雷達到成像系統(tǒng)的旋轉矩陣lc和平移向量lc；

1） 使用張正友標定法[10]獲得相機內參；

2） 每組數據在圖像中和點云中分別找到對應的9個圓心點坐標；

3） 使用設計的loss優(yōu)化點的坐標（2D和3D）；

4） 根據像素坐標得到相機坐標系下坐標；

5） 建立相機和雷達坐標系下的3D約束，求得lc和lc初值；

6） 使用3D-2D點迭代或3D-3D點迭代，得到lc和lc的優(yōu)化解。

2 仿真

實際情況下，lc和lc的真實值是未知的，通常使用特征點的重投影誤差來評價lc和lc的準確性。但這個指標默認了特征點沒有誤差，為了更好地驗證本文方法的有效性，本文進行了仿真實驗。

2.1 初值結果與PnP初值結果對比

本文1.1中介紹過，使用3D約束求解初值比PnP求解初值效果更好，本節(jié)將進行仿真實驗驗證結果。首先使用隨機的尺寸生成標定板，并隨機生成特征點的激光雷達坐標、lc和lc；使用固定的內參矩陣，得到成像系統(tǒng)坐標系和像素坐標系下坐標，分別使用3D約束和PnP方法求解lc和lc初值，與實際值進行對比，多次仿真結果如表1所示。lc使用旋轉軸的單位向量和旋轉角度表示，lc使用向量表示。表中表示使用3D約束的結果，表示使用PnP方法的初值結果，旋轉軸誤差和平移誤差均為旋轉軸向量與平移向量相對于實際的1誤差，角誤差為旋轉角與實際旋轉角的誤差，單位是弧度?？梢钥吹?，使用3D約束方法求初值的誤差相對于PnP方法的誤差小了幾個數量級，因此使用3D約束求初值可以大大減少后續(xù)迭代求解所需要的迭代次數，而PnP方法的優(yōu)點在于簡單。

2.2 本文3D約束方法的仿真

2.1節(jié)仿真了理想情況下求解初值的結果，驗證了本文方法的有效性。在實際測量中，得到的特征點坐標存在一定的誤差，需要對2.1節(jié)生成的激光雷達坐標系數據和成像系統(tǒng)坐標系數據隨機增加誤差，來模擬測量值，然后使用本文方法得到lc和lc的結果，仿真結果如表2所示。

表1 兩種方法初值誤差對比

表2 本文方法的仿真結果

從表2中可以看出，本文方法可以將特征點的loss大幅降低，以此方法解得的lc和lc誤差與實際的誤差非常小。仿真實驗驗證了本文方法的有效性，下一章將進行實際實驗。

3 實驗

3.1 實驗設備

本次實驗使用激光雷達分別與可見光成像系統(tǒng)、紅外成像系統(tǒng)進行標定，以驗證本文方法的有效性。

可見光成像系統(tǒng)使用LT-USB1080P型號的高清工業(yè)攝像頭，成像分辨率為1920×1080像素，焦距為6mm；紅外成像系統(tǒng)使用艾睿光電的IR-Pilot 640型號熱像儀，成像分辨率為640×512像素，焦距6.9mm，工作波段為8～14mm；激光雷達使用Velodyne VLP-16型號的16線稀疏激光雷達，垂直視場角為－15°～15°，分辨率為2°；水平視場角為360°，分辨率最高為0.1°，兩種實驗系統(tǒng)如圖3(a)(b)所示。根據前面的原理介紹，標定板的每個圓孔需要有至少兩條激光掃描線穿過，結合激光雷達與成像系統(tǒng)的參數以及作用距離，設定標定板的尺寸為1.2m×1.35m，每個圓孔的半徑為9cm。

3.2 實驗過程

將標定板置于激光雷達和成像系統(tǒng)視場的重合區(qū)域，距離系統(tǒng)大概2m左右，使用實驗系統(tǒng)采集多組數據，根據1.2節(jié)的本文的算法流程進行實驗，圖4(a)(b)展示了一組可見光圖像和激光點云的對應數據。圖4(c)(d)分別展示了紅外實驗系統(tǒng)的實驗場景以及紅外成像系統(tǒng)得到的紅外圖像。實驗中使用Matlab的相機標定工具箱，獲取成像系統(tǒng)的內參矩陣，使用Opencv中對應的函數來完成圖像中的圓檢測以及畸變校正，方法的其他部分使用Python進行編寫。根據標定板的距離以及激光雷達的水平分辨率，可以計算得到，相鄰激光掃描點之間的距離大約為0.5cm；也就是說理想情況下判斷圓上點時的誤差最大為0.5cm，考慮到一些激光點可能無法接收到返回值，以及激光雷達的誤差和算法的誤差，認為雷達坐標系中圓心點誤差最大為5cm，像素坐標系中圓心點最大誤差為10像素。根據這兩個參數來優(yōu)化loss，取多組數據建立3D約束求得初值，然后分別使用3D-3D的ICP算法和3D-2D的LM迭代法得到優(yōu)化解。

3.3 實驗結果

在可見光和紅外兩個波段系統(tǒng)的實驗中，本文使用相同數量的特征點，迭代相同次數，得到最后的結果。

可見光系統(tǒng)以及紅外系統(tǒng)的多次實驗結果如表3、表4所示，其中表示使用ICP算法進行3D-3D迭代的結果，表示使用L-M迭代法進行3D-2D迭代的結果，均使用3D到2D特征點在和方向的平均重投影誤差（單位為像素）來評價方法的準確性。

圖3 標定實驗裝置

圖4 實驗場景及數據

表3 可見光系統(tǒng)實驗結果

對于可見光系統(tǒng)，可以看到，本文方法在使用3D-3D迭代情況下，重投影誤差平均在4個像素左右，而使用3D-2D迭代情況下，重投影誤差平均小于3個像素，都取得了很好的效果。

對于紅外系統(tǒng)，本文方法在使用3D-3D迭代情況下，重投影誤差平均在4個像素以內，使用3D-2D迭代，重投影誤差平均在3個像素以內，效果很好。

圖5(a)(b)展示了兩種迭代方法的特征點重投影誤差散點圖?？梢钥吹剑瞬糠痔卣鼽c之外，重投影誤差都比較小，誤差較大的點可能是因為激光雷達、圖像算法等引入了測量誤差。

圖6(a)(b)分別展示了可見光系統(tǒng)和紅外系統(tǒng)使用實驗結果lc和lc將點云數據投影到圖像上的融合結果，可以看到，除了在一些距離突變很大的邊緣點有一點偏移之外，16條激光掃描線都很連貫，說明標定的效果很好，得到的融合數據可以用于后續(xù)的其他任務中。

表4 紅外系統(tǒng)實驗結果

圖5 重投影誤差

4 結論

本文針對稀疏激光雷達與可見光及紅外成像系統(tǒng)之間的標定問題，設計了一種菱形九孔標定板，并根據標定板的約束，設計了幾何約束loss來優(yōu)化特征點的測量坐標，減小誤差；根據3D幾何約束得到lc和lc的初值，使用迭代法得到lc和lc的迭代解。

本文分別使用可見光成像系統(tǒng)、紅外成像系統(tǒng)與16線激光雷達進行標定實驗。在可見光系統(tǒng)中平均重投影誤差在3個像素之內，在紅外系統(tǒng)中平均重投影誤差在3個像素之內。

圖6 激光雷達點云投影結果

本文方法還適用于可見光-紅外多波段成像系統(tǒng)，只需采集一組激光點云數據，以此為基準分別與多波段成像系統(tǒng)多個相機進行標定，方便了多波段的成像信息與激光雷達點云數據的融合過程。

[1] Fremont V, Bonnifait P. Extrinsic calibration between a multi-layer lidar and a camera[C]//, 2008: 214-219.

[2] 陳東. 三維激光和單目視覺間的聯(lián)合標定與數據融合[D]. 大連: 大連理工大學, 2009.

CHEN Dong. Calibration and Data Fusion between 3D-Laser Scanner and Monocular Vision[D]. Dalian: Dalian University of Technology, 2009.

[3] ZHOU L, DENG Z. Extrinsic calibration of a camera and a lidar based on decoupling the rotation from the translation[C]//, 2012: 642-648..

[4] ZHOU L, LI Z, Kaess M. Automatic extrinsic calibration of a camera and a 3d lidar using line and plane correspondences[C]//(IROS), 2018: 5562-5569.

[5] Geiger A, Moosmann F, Car O , et al. Automatic camera and range sensor calibration using a single shot[C]//, 2012: 3936-3943.

[6] Horaud R, Dornaika F. Hand-eye calibration[J]., 1995, 14(3): 195-210.

[7] Ishikawa R, Oishi T, Ikeuchi K. Lidar and camera calibration using motions estimated by sensor fusion odometry[C]//(IROS), 2018: 7342-7349.

[8] Schneider N, Piewak F, Stiller C, et al. RegNet: multimodal sensor registration using deep neural networks[C]/(IV), 2017: 1803-1810.

[9] Iyer G, Ram R K, Murthy J K, et al. CalibNet: geometrically supervised extrinsic calibration using 3D spatial transformer networks[C]//(IROS), 2018: 1110-1117.

[10] ZHANG Z. A flexible new technique for camera calibration[J]., 2000, 22(11): 1330-1334.

Calibration Between Sparse LIDAR and Visible/Infrared Imaging Systems

LIU Yu，CAI Yi，RONG Ningtao，ZHOU Yunyang，WANG Lingxue

(,,,100081,)

Pose estimation between LIDAR and imaging system is the prerequisite for the data fusion. Among current mainstream off-line calibration methods,common checkerboard is generally effective for 64-line and above LIDAR, but not for 16-line LIDAR due to its sparse data and will lead to large error. Furthermore, when involving calibration of infrared imaging system, specially-made checkerboard is needed to produce difference of emissivity. Aiming at the problem of less information provided by sparse LIDARs, we propose a new calibration method that can jointly calibrate LIDAR and visible/infrared imaging systems. A novel diamond-shaped nine-hole calibration board is designed, and a geometric constraint loss function is proposed to optimize the coordinates of feature points. Finally, the infrared and visible light imaging systems are used respectively, to calibrate with 16-line LIDAR. Good results are achieved and show that, all the average reprojection error is within 3 pixels.The proposed method can also be used in calibration of multi-band imaging systems that include sparse LIDAR, visible imaging system and infrared imaging system.

sparse LIDAR, pose estimation, calibration, calibration board, infrared imaging

TP249

A

1001-8891(2022)12-1264-09

2022-03-12；

2022-04-19.

劉宇（1997-），男，遼寧沈陽人，碩士研究生，主要從事激光雷達與圖像處理的研究。E-mail：andyliu0881@163.com。

王嶺雪（1973-），女，云南石屏人，副教授，博士，主要從事紅外成像、圖像處理和紅外光譜等方面的研究。E-mail：neobull@bit.edu.cn。