賈 俊，朱 鋒，張小紅,2

（1.武漢大學 測繪學院，武漢 430079；2.地球空間信息技術協(xié)同創(chuàng)新中心，武漢 430079）

0 引言

隨著智能化時代的到來，自動駕駛和移動機器人領域蓬勃發(fā)展：如谷歌的無人駕駛汽車[1]；又如配備有大量不同類型傳感器的測量機器人，這些傳感器用以執(zhí)行環(huán)境感知和導航定位服務。多傳感器融合已成為了未來發(fā)展的趨勢。然而傳感器的組合，首先要面臨標定的問題，傳統(tǒng)的全球定位系統(tǒng)（global positioning system, GPS）和慣導組合系統(tǒng)的標定，可以通過測量桿臂和慣導初始對準獲得傳感器間平移參數(shù)和旋轉參數(shù)，而視覺和慣性測量裝置（inertial measurement unit, IMU）間平移參數(shù)不能直接量取，旋轉參數(shù)計算受限于觀測條件和組合系統(tǒng)解算精度，目前常用的標定方法通常不能獲得穩(wěn)定、可靠的標定結果。

視覺傳感器和慣性傳感器[2]的組合具有互補的特點。通過合并來自2 個不同源的信息，可以獲得魯棒的相機位姿運動，便于視覺識別和跟蹤興趣目標。相機和慣性傳感器的組合已經(jīng)在增強現(xiàn)實（augmented reality, AR）[3]和即時定位與地圖構建（simultaneous localization and mapping, SLAM）[4]等領域中得到了廣泛的應用。由于相機的光學中心是隨著焦距不斷改變的，通常無法直接量取相機和慣導之間的桿臂。為了解決標定問題，許多學者提出了不同的解決方案：21 世紀初，文獻[5]提出將相機和 IMU 安裝在具有高分辨率編碼器的擺上來解算相機和IMU 的旋轉參數(shù)；文獻[6]利用簡單無源轉臺來標定圖像解算相機和 IMU的平移參數(shù)；2007 年，文獻[7]采用基于卡爾曼濾波的遞歸算法，同時解算相機和IMU 的旋轉參數(shù)和平移參數(shù)；2011 年，文獻[8]利用相機和IMU時間同步的輸出，來估計傳感器間的旋轉參數(shù)和平移參數(shù)，這種自標定方法構成了之后標定發(fā)展的框架；2013 年，文獻[9]發(fā)布了卡利布爾（Kalibr）工具箱，該工具箱可以提供多傳感器間的離線標定，成為了相機和 IMU 標定的主流工具；2017年，香港科技大學團隊在文斯（VINS）開源代碼中，提出了在線標定方法[10]，其標定結果為，平移參數(shù)優(yōu)于2 cm，旋轉參數(shù)優(yōu)于1°。上述校準方法屬于自標定的范疇。自標定需要IMU 和相機輸出數(shù)據(jù)并建立復雜的數(shù)學模型，觀測條件也會影響結果的準確性。此外，上述自標定方案不適用于大尺寸和桿臂較長的相機和IMU，因為慣導不能充分激勵，導致結果不穩(wěn)定。

為了優(yōu)化上述方案，解決存在的問題，本文方案使用全站儀和標定場來簡化標定過程。全站儀和標定場可以提供相機和IMU 之間的轉換關系。這種相機和慣性傳感器不需要移動的標定方案，適用于大型IMU 和相機組合的應用，如機器人、車載導航、機載導航等。

1 慣導/相機空間標定的原理與方法

自標定的缺點是模型復雜，不適用于大型傳感器的標定；因此提出了新的解決方案：利用全站儀觀測慣導的角點，利用相機匹配到標定場的3 維控制點，以世界坐標系為標定的媒介，首先構建慣導坐標系和相機坐標系在世界坐標系下的關系，進而得到慣導和相機的外參數(shù)。為了方便之后的表達，本文定義在任意時刻從，A 坐標系轉換到B坐標系的變換可以表示為表示相對旋轉，表示相對平移。

1.1 相機和慣導內(nèi)參數(shù)標定

在標定外參數(shù)之前，首先對相機和慣導的內(nèi)參數(shù)進行標定。由于慣導參數(shù)尺寸在出廠前會嚴格標定給出，而變焦相機其光心在沒有固定焦距前是可變的，因此內(nèi)參數(shù)標定主要是對相機光心位置的確定。公認的相機標定方法是使用矩陣實驗室（MATLAB）[11]中的相機標定工具箱。其原理是利用單應性矩陣[12]構建3 維空間和像素平面的關系，單應性矩陣估計可表示為

式中：H 為單應性矩陣；A 為相機的內(nèi)參數(shù)矩陣；r1、 r2表示2 個平面之間的旋轉矩陣；t 表示平移矩陣。通過估計標定板平面在相機鏡頭前不同位置處，相對于相片平面的旋轉和平移，來得到單應性矩陣，進一步可以獲得相機的內(nèi)參數(shù)矩陣，內(nèi)參數(shù)矩陣可表示為

式中：（ u0, v0）為像主點坐標在像平面上的投影；fx和 fy分別為u、v 軸中的尺度因子；s 為2 個圖像軸的偏度。

1.2 世界坐標系到相機坐標系的相對姿態(tài)

利用相機標定場來獲取世界坐標系到相機坐標系之間的旋轉和平移。本文采用 N 點透視（perspective-n-point，PNP）的方法[13]，其原理是利用標定場中3 維控制點X 投影到相機像素平面u 多組同名點的映射關系，解算3×4 維度大小的投影矩陣P，映射關系可表示為

式中：（ R11,…, R33）為旋轉矩陳的元素；（T1,T2,T3）表示3 個軸向（前右上坐標系）的平移；Xw、Yw、Zw為在世界坐標系下控制點的坐標。矩陣表示旋轉和平移，有6 個自由度，表征6 個外參數(shù)（3 個表示旋轉，3 個表示平移），有3 個或3 個以上對應同名點，利用非線性最小二乘估計可以求解，求解過程可表示為：

式中：er為重投影誤差；ur為重投影得像素點坐標；參數(shù)向量wc為旋轉和平移待求參數(shù)組成（和）。

1.3 世界坐標系到慣導坐標系的相對姿態(tài)

全站儀可以測量慣導傳感器的角點在世界坐標系下的坐標。利用3 維空間變換[14]得到世界坐標系和慣導坐標系的相對姿態(tài)，空間變換可表示為

式中：（Xw,wY , Zw）為標定場中的3 維控制點坐標；（XI,IY , ZI） 為大型IMU 傳感器的角點，通常為8 個角點構成1 個立方體。3×4 維度的矩陣為赫爾默特（Helmert）變換，在這2 組數(shù)據(jù)之間有6 個自由度（3 個方向和3 個平移）。由于式（7）中的等式并不是線性的，需要使用非線性最小二乘和3 個或更多的對應點來解算，可表示為：

式中：H 為赫爾默特（Helmert）變換； X ′為仿射變換后的估計值；參數(shù)向量 Iw由2 個坐標系的旋轉和平移參數(shù)組成（）即最終得到的結果。

1.4 慣導坐標系到相機坐標系的相對姿態(tài)

結合1.3 節(jié)中的IMU 坐標系到世界坐標系的轉換關系（）以及1.2 節(jié)中世界到相機坐標系的轉換關系（），可以進一步得到從IMU 到相機坐標系的轉換關系（），旋轉平移變換可表示為：

2 標定流程與精度分析方法

2.1 標定流程

第1 步，雙目自標定。本文采用棋盤格玻璃板作為標定板，借助MATLAB 的雙目標定工具箱，獲得2 個相機的內(nèi)參數(shù)和相對姿態(tài)，要求利用脈沖信號控制2 臺相機，以相同頻率拍攝相片；同時移動標定板，使其處于不同的位置和角度。

第2 步，全站儀測量標定場靶標點。標定場的靶標點坐標是由精密儀器測量的，為了驗證其精度，本文選取了20 多個靶標點作為檢核點，利用毫米級誤差的全站儀進行測量，估計其誤差。

第3 步，全站儀測量慣導設備角點。標定針對的是大型慣導，其角點參數(shù)在慣導坐標系下為已知。為了獲得其在世界坐標系下的坐標，在慣導的角點貼上反射片，利用全站儀測得其坐標。

第4 步，相機攝像匹配靶標點。1.2 節(jié)指出，需要得到3 維控制點在相機影像中同名點的坐標。靶標點圓心為3 維控制點，且靶標點都有明確的編號。利用霍夫變換[15]提取圓心的算法，即可以得到靶標點的像素坐標，接著利用編號與對應的3 維控制點進行匹配。

第5 步，標定參數(shù)解算。按照章節(jié)1 中的原理，利用觀測得到的結果進行標定參數(shù)解算。求得到旋轉和平移參數(shù)后，按照內(nèi)外符合精度評價結果，其中PNP 的原理已在1.2 節(jié)中進行了介紹；采用多次實驗結果的標準差（standard deviation,STD）作為評價內(nèi)符合精度的重要標準。標定方案的流程如圖1 所示。

2.2 精度評定方法

好的標定參數(shù)結果對于多傳感器融合的應用至關重要。自標定由于外部信息較少，僅通過輸出結果的均值和標準差很難評定自身的精度。由于有標定場和全站儀的輔助，可有多個標定結果的評定方法。

圖1 標定方案流程

評定方法1：利用已知的IMU 尺寸參數(shù)。使用全站儀和自粘反射片來測量IMU 的角點坐標。通過測量的角點解算的IMU 長、寬、高和實際傳感器的長、寬、高參數(shù)進行比較，來評價全站儀的測量精度。

評定方法 2：選擇標定場的靶標點作為檢查點，利用全站儀測量來獲取靶標點十字絲中心的3 維控制點坐標。將全站儀測得的檢查點坐標與標定場預先給定的精確控制點坐標進行對比，檢核標定場中控制點的精度。

評定方法4：為了更好地評定相機和慣導之間的旋轉，將旋轉矩陣轉換為歐拉角進行分析，標準的轉換順序是Z→X→Y。標定得到左右相機與IMU傳感器之間的旋轉參數(shù)和平移參數(shù)后，計算結果的STD，用STD 來評價結果的穩(wěn)定性。

評定方法5：利用標定結果計算標定的左右相機之間的基線長度，與用MATLAB 進行雙目相機標定得到的基線長度做對比。同時也可以通過比較，直接用卷尺測量相機與IMU 之間的桿臂來驗證標定平移參數(shù)的準確性。

3 實驗與結果分析

3.1 實驗設備條件

雙目相機采用的是加拿大普安特-格雷（Point Grey）公司的 Grasshopper3U3 系列 GS3-U3-28S5M-C 的工業(yè)相機，以及FA1 英寸系列長通道HC1605A 鏡頭。相片的分辨率是1 920×1 200 個像素，焦距大約是16 mm，1 個像素的大小為4.54 μm。慣性傳感器IMU 為加拿大諾瓦泰爾（Novatel）系列的SPAN—FSAS 高精度捷聯(lián)慣導系統(tǒng)，它的慣導坐標系中心在它的IMU 幾何中心處，尺寸參數(shù)出廠時嚴格標定。相機、IMU 和全站儀如圖2、圖3所示。

圖2 雙目相機和慣導

圖3 實驗全站儀

全站儀采用天宇CTS 型號的免棱鏡全站儀，測點精度在毫米級。

標定場位于中國湖北省武漢市洪山區(qū)武漢大學測繪學院。標定場內(nèi)建立了精確的坐標系，每個靶標點十字絲中心的3 維控制點坐標為已知。靶標點和相機拍攝影像如圖4、圖5 所示。

圖4 靶標點示意圖

圖5 標定拍攝相片

3.2 實驗結果分析

通過大量的標定實驗，驗證了該標定方案的可行性和可靠性。為了更好地反映此方案的準確性，對校準結果進行了評估。

第1 步，驗證全站儀的測量精度。使用全站儀測量IMU 的角點，計算IMU 的長、寬、高，并將測量結果與IMU 出廠參數(shù)進行比較，評價全站儀的測量精度，如圖6 所示。

通過幾組實驗對比，可以看出全站儀的測量精度在毫米級，與全站儀規(guī)定的測量精度一致。

圖6 IMU 參數(shù)與全站儀測量結果差值

第2 步，驗證全站儀標定場的控制點精度?？紤]到隨著時間的推移以及其他外界因素，會影響控制點的準確性，選取了20 個控制點作為檢驗點。將檢查點測量得到的坐標與標定場給出的坐標進行比較，誤差分析如圖7 所示。

圖7 檢核點坐標與量測結果較差

從圖7 可以看出，檢查點與控制點坐標之間的誤差在毫米級?？紤]到全站儀的測量誤差，可以證明控制點的坐標是可靠的。

第3 步，驗證得到的相機坐標系和世界坐標系外參數(shù)的準確性。將3 維點重投影成像素坐標，并將計算出的像素坐標與觀測值做比較，實驗中1 個像素的大小是4.54 μm×4.54 μm，左右相機重投影誤差如圖8 所示。

圖8 重投影誤差分析

從圖8 可以看出，重投影的精度基本上在2 個像素以內(nèi)，這證明了結果的可靠性。

第4 步，驗證該標定方案結果的準確性。為了更好地表達旋轉的穩(wěn)定性，選擇將不同組之間標定的旋轉矩陣與其中1 組旋轉矩陣的轉置相乘并轉換成歐拉角顯示。這種表示方法的好處是更加直觀，而且在大多數(shù)相機和慣導組合應用場景中，相機和慣導的坐標系在俯仰角上有90°的旋轉，如果直接轉成歐拉角，會出現(xiàn)萬向鎖的問題；而選擇旋轉矩陣與另1 個旋轉矩陣的轉置相乘，則可以很好地規(guī)避這個問題。左右相機平移參數(shù)和旋轉參數(shù)標定結果如圖9 所示。

圖9 多次實驗結果標定結果

從圖9 可以看出，旋轉和平移非常穩(wěn)定的標定結果，旋轉參數(shù)的STD 在0.5°左右，平移參數(shù)的STD 在5 mm 左右，旋轉參數(shù)與自標定的結果相當，平移參數(shù)優(yōu)于目前厘米級的自標定精度。

第5 步，由于相機和慣導固定在參數(shù)已知的鋼板上，利用鋼尺量測相機和IMU 固定點之間的桿臂作為參考值，同時比較雙目相機之間的基線結果和MATLAB 的結果。為了減少參考的誤差，參考值多次計算取平均，鋼尺量測參考值標定精度的分析結果如表1 所示，MATLAB 參考值標定精度分析結果如表2 所示。

表1 鋼尺量測桿臂和標定方案結果對比 單位:m

MATLAB 相機標定工具箱作為公認的標定工具，與本文標定方案的比較，可以進一步驗證方案的可靠性。上述結論中，高程誤差相對于平面誤差較小，這是由于估計變焦相機光心時，光心在相機中的高程是固定的，因此高程方向上的誤差更小。與目前常用的標定方法比較：2017 年VINS 自標定方法平移參數(shù)優(yōu)于2 cm，旋轉參數(shù)優(yōu)于1°，而常用的Kalibr 工具箱，平移參數(shù)標定精度通常在厘米級，旋轉參數(shù)標定精度優(yōu)于1°；在對本次實驗設備進行標定時，由于相機和慣導的桿臂過長，慣導在激勵過程中受到相機位置的約束，多次標定結果不穩(wěn)定。對比本文提出的標定方法，可以看到相比于自標定，借助精密外部測量儀器全站儀和標定場可以獲得更好的標定結果。

表2 MATLAB 求解的基線與新標定方案的比較單位：m

4 結束語

多源傳感器的發(fā)展和應用，離不開高精度的傳感器外參標定結果。隨著移動測量機器人和自動駕駛對定位精度要求越來越高，傳感器間外參標定的好壞顯得至關重要。與現(xiàn)在廣泛使用的自標定方式不同，本文提出的標定方案借助測量儀器、無需慣導的輸出，不用對大量的觀測數(shù)據(jù)進行建模處理，同時規(guī)避了多傳感器時間同步的問題。這種標定方法適用于大型IMU 或相機與IMU 之間桿臂過長的情況，因為在這種情況下，慣導移動不便，且移動距離由于桿臂的原因受限，不能讓IMU 充分激勵達到良好的標定效果。通過實驗和結果分析，驗證了本文提出的標定方法的準確性和可靠性。