楊軍典　陳凌珊　程書慧

摘要：為了提高智能車觀測周圍的環(huán)境的能力，其感知系統(tǒng)采用多傳感器融合技術(shù)已經(jīng)成為一種共識。采用多傳感器融合技術(shù)可以對環(huán)境目標的位置進行融合，核心在于時間和空間對齊，其中空間對齊高度依賴于傳感器的標定參數(shù)。由于車輛行駛過程的惡劣環(huán)境，傳感器的標定參數(shù)會有失效的風險，從而使空間融合失敗。因此，本文提出了一種檢測多傳感器標定失效的方法，提高智能車的安全性。

關(guān)鍵詞：多傳感器;標定;失效;檢測

【Abstract】Inordertoimprovetheabilityofsmartcartoobservethesurroundingenvironment，ithasbecomeaconsensusthatitssensingsystemadoptsmulti-sensorfusiontechnology.Multi-sensorfusiontechnologycanbeusedtofusethelocationofenvironmentaltargets.Thecoreisthetimeandspacealignment，andthespacealignmentheavilydependsonthecalibrationparametersofthesensor.Duetotheharshenvironmentofthevehicleduringthedrivingprocess，thecalibrationparametersofthesensorwillhavetheriskoffailure，whichwillmakethespacefusionfail.Therefore，thispaperproposesamethodtodetectthefailureofmulti-sensorcalibrationtoimprovethesafetyofsmartcars.

【Keywords】multiplesensors;calibration;failure;detection

作者簡介：楊軍典（1990-），男，碩士研究生，主要研究方向：ADAS感知及功能開發(fā)技術(shù);陳凌珊（1966-），女，博士，教授，主要研究方向：新能源汽車技術(shù)、智能駕駛控制技術(shù)。

0引言

隨著技術(shù)進步，智能駕駛技術(shù)飛速發(fā)展，對主動安全的要求越來越高。安全性能的提高，離不開感知系統(tǒng)的發(fā)展。在這種背景下，智能駕駛汽車會采用越來越多的傳感器，采用多傳感器融合技術(shù)來提升智能車的感知能力。目前配備有ADAS功能的汽車普遍會采用多個攝像頭、多個毫米波雷達、激光雷達的感知方案。多傳感器融合技術(shù)首先需要標定多個傳感器的內(nèi)外參數(shù)，從而可以將各個傳感器感知到的目標統(tǒng)一到一個坐標系里面進行融合。

傳統(tǒng)的傳感器標定方法是將待標定的參數(shù)分為內(nèi)參和外參。其中，內(nèi)參指的是傳感器自身的參數(shù)，比如相機的焦距、雷達的帶寬等，外參主要是各個傳感器間的位置關(guān)系。一般內(nèi)參可以直接從傳感器廠家獲取，因此，標定的主要任務是外參。傳統(tǒng)的標定方法有特征點法和棋盤格法[1]，在一個布滿標記的標定間里，采用一個高精度的激光雷達獲得標記的三維坐標，然后使用低精度的相機或毫米波雷達對標記進行感知，最后使用PNP方法[2-3]求解相機或毫米波雷達的位姿就可以得到其相對位置。這種方法求解過程比較繁瑣，并且需要一個高精度的激光雷達提供基準。文獻[4-5]直接避開了分別求傳感器內(nèi)外參的過程，采用最小二乘法直接求解相機平面和毫米波雷達平面變換的正應性矩陣。這種方法是將雷達坐標系變換到相機坐標系，并在相機坐標系中對雷達感知到的目標進行融合，然而標定的精度會明顯受到相機和雷達感知算法的影響。文獻[6]以車輛縱向?qū)ΨQ平面為基準，首先將雷達探測面法向量和相機的光軸標定到與縱向平面平行的位置，其余兩軸投影到坐標平面分別與車身右側(cè)、車輛前進方向平行。車輛縱向?qū)ΨQ平面的確定對這種方法的影響很大，同時在大批量使用過程中，將相機光軸和雷達探測面法向量安裝位置與車輛縱向平面平行誤差調(diào)為較小是一件非常困難的事。

在智能車輛的批量生產(chǎn)過程中，傳感器的標定通常根據(jù)車輛的CAD數(shù)據(jù)模型，相對車輛某一零部件固定，從而間接獲得傳感器的安裝位置參數(shù)。因此，在這種情況下，必須設置一種簡單可靠的檢測傳感器標定是否準確的方法。除此之外，由于車輛行駛是一個動態(tài)的振動過程，傳感器的標定參數(shù)會隨時間發(fā)生變化乃至失效。一旦失效，多傳感器融合的結(jié)果必然會出錯，帶來安全隱患。因此，本文設計了一種靜態(tài)和動態(tài)檢測智能網(wǎng)聯(lián)汽車相機和毫米波雷達標定是否失效的方法，來預防可能出現(xiàn)的融合風險。最后，利用自動駕駛公司nuTonomy公開的大型開源數(shù)據(jù)集nuScenes進行了驗證。

1檢測方法

在智能駕駛汽車上，相機一般安裝在后視鏡，前向毫米波雷達則放置在前向保險杠里面。雷諾Zoe是nuScenes數(shù)據(jù)集中測試所用的車輛，各個傳感器的安裝位置[7]如圖1所示。

由圖1可看出，在一輛智能駕駛車中，所有的傳感器最終都要把感知的目標變換到車輛坐標系上，形成一個以車輛中心的局部3D空間內(nèi)。由于激光雷達價格高昂，目前仍主要搭載于研究階段的智能車上面，因此本文主要關(guān)注的是前向相機和前向雷達的標定失效問題。

1.1前向相機坐標系及目標位置感知

1.2前向雷達坐標系及目標位置感知

建立前向雷達直角坐標系如圖3所示。圖3中，Oradar-Xradar-Yradar-Zradar為坐標系的原點和各軸，F(xiàn)OV為雷達的視角。

1.3車輛坐標系

在本文中定義車輛坐標系的原點處于后軸的中心，坐標系各軸的方向如圖4所示，并將相機和雷達的坐標系及FOV一起表示出來。

1.4靜態(tài)檢測方法

首先設計一種靜態(tài)的檢測方法，如圖5所示。圖5中，放置2個小尺寸的鐵球，其在車輛坐標系中設置X_car坐標一致，Z_car與雷達的安裝高度一致，同時2個鐵球之間的距離保持在0.1m左右。

由圖5可看出，毫米波雷達背面貼合車身安裝，因此主要的安裝誤差是繞車輛行駛方向的轉(zhuǎn)角誤差過大造成的，這樣會引起雷達的掃描水平面不平行于車輛坐標系XcarOcarYcar平面。當靜態(tài)檢測時，如果雷達不能同時掃描到2個鐵球，那么就說明雷達安裝存在較大誤差，必須重新標定校準。

同時，因為2個鐵球在車輛坐標系中的X_car和Z_car坐標值相同，那么由公式（1）可知，其在像素平面上的v軸坐標一致，即2個鐵球在圖片中應該保持一條水平線。那么，如果車輛出廠時相機安裝位置誤差過大，采用上述檢測裝置拍攝到2個鐵球在圖片上并不保持在同一條水平線上，那么說明相機的安裝位置有問題，需要重新標定校準。

1.5動態(tài)檢測

靜態(tài)檢測適用于汽車從生產(chǎn)線中裝配出來，而后進行抽檢來驗證傳感器的標定是否失效。然而，更重要的是要在車輛行駛過程中，能夠?qū)崟r動態(tài)地檢測出傳感器的標定參數(shù)是否失效。借用靜態(tài)檢測的思路，在下面分別提出雷達和相機的動態(tài)檢測方法。

圖6是nuScene數(shù)據(jù)集相機在某個時刻拍攝的照片，并使用了圖形檢測框架YOLO5對圖片中的目標進行了檢測，而且也做了標記。圖6中，從左向右第二輛車（以下用Car1代表此車）明顯與其它車是分離狀態(tài)，因此也很容易被雷達發(fā)現(xiàn)并聚類為單個目標。在現(xiàn)實場景中，會經(jīng)常性地存在這樣的單個孤立分離目標。

當目標檢測出來之后，Car1標記框的左右兩側(cè)v坐標是可以計算出來的，物距可以在相鄰幀通過PnP算法或激光雷達求解，那么通過公式（1）可算出物體左右兩側(cè)的水平坐標，其差值即為Car1被圖像所檢測到的寬度Wcam，如圖7所示。

又因為Car1是一個孤立的目標，那么毫米波雷達對其寬度的感知是非常準確的，設其測量出來的寬度是Wradar。

如果Wcam和Wradar的差距非常大，那么就說明雷達或相機的標定參數(shù)已經(jīng)失效，此時如果繼續(xù)進行多傳感器目標融合的話，必然會發(fā)生誤差，因此車輛需采取相關(guān)措施，使駕駛員介入操作。

2實驗

nuScene[7]是自動駕駛公司nuTonomy在互聯(lián)網(wǎng)上開源的大型自動駕駛數(shù)據(jù)集。由圖1可知，其傳感器包括了1個激光雷達，5個毫米波雷達和6個單目相機，總共記錄了1000個場景，每個場景以2Hz的速率采樣記錄20s的時間。在本文中，主要采用了前置相機和前置毫米波雷達的數(shù)據(jù)進行驗證。下面將以第一個場景第一個采樣記錄（以下記為采樣1）的結(jié)果為例進行說明。

2.1標定參數(shù)

通過使用nuScenes數(shù)據(jù)集官方python的nuscens-devkit開發(fā)庫，可以編寫python程序來提取前置相機和前置雷達的標定參數(shù)。

傳感器坐標系相對車輛坐標系的旋轉(zhuǎn)見表1。為了簡潔表示，采用四元數(shù)（w，x，y，z）形式。

2.4驗證結(jié)果

由2.2節(jié)和2.3節(jié)可知，Wcam和Wradar的結(jié)果非常接近，說明相機和雷達的標定參數(shù)處于正常的工作狀態(tài)。

3結(jié)束語

本文對多傳感器的工作原理進行了探討，分析了目標融合失效的風險，并且提出了靜態(tài)檢測和動態(tài)檢測兩種方法來規(guī)避這種風險，提高智能車的安全性。通過nuScenes的數(shù)據(jù)驗證可知，比較多個傳感器檢測到的孤立目標寬度，可以實時驗證傳感器的標定參數(shù)是否失效。

未來可以考慮采取多個維度方向上長度的檢測，來增加傳感器標定失效的魯棒性，進一步提升智能車的主動安全性。

參考文獻

[1]許小徐，黃影平，胡興.智能汽車激光雷達和相機數(shù)據(jù)融合系統(tǒng)標定[J].光學儀器，2019，41（6）：79-86.

[2]ZHENGYinqiang，KUANGYubin，SUGIMOTOS，etal.RevisitingthePnPproblem：Afast，generalandoptimalsolution[C]∥Proceedingsof2013IEEEInternationalConferenceonComputerVision.Sydney，Australia：IEEE，2013：2344-2351.

[3]HESCHJA，ROUMELIOTISSI.Adirectleast-squares（DLS）methodforPnP[C]∥Proceedingsof2011InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2011：383-390.

[4]SUGIMOTOS，TATEDAH，TAKAHASHIH，etal.Obstacledetectionusingmillimeter-waveradaranditsvisualizationonimagesequence[C]∥InternationalConferenceonPatternRecognition.Cambridge，UK：IEEE，2004：342-345.

[5]LIUXianru，CAIZixing.Advancedobstaclesdetectionandtrackingbyfusingmillimeterwaveradarandimagesensordata[C]∥InternationalConferenceonControl，AutomationandSystems（ICCAS2010）.Gyeonggi-do，Korea（South）：IEEE，2010：1115-1120.

[6]羅逍，姚遠，張金換.一種毫米波雷達和攝像頭聯(lián)合標定方法[J].清華大學學報（自然科學版），2014，54（3）：289-293.

[7]nuScenes.Carsetupindatacollection[EB/OL].[2020-09-27].https：∥www.nuscenes.org/nuscenes#tutorials.

[8]CAESARH，BANKITIV，LANGAH，etal.nuScenes：Amultimodaldatasetforautonomousdriving[J].arXivpreprintarXiv：1903.11027，2019.

[9]陳伯孝等編著.現(xiàn)代雷達系統(tǒng)分析與設計[M].西安：西安電子科技大學出版社，2016.