閆　利，曹　亮，陳長(zhǎng)軍，黃　亮

(武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

?

車載全景影像與激光點(diǎn)云數(shù)據(jù)配準(zhǔn)方法研究

閆利，曹亮，陳長(zhǎng)軍，黃亮

(武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079)

Registration of Vehicle-borne Panoramic Image and LiDAR Point Cloud

YAN Li，CAO Liang，CHEN Changjun，HUANG Liang

摘要：全景影像與激光點(diǎn)云的高精度配準(zhǔn)是車載移動(dòng)測(cè)量系統(tǒng)中多傳感器數(shù)據(jù)集成處理的關(guān)鍵環(huán)節(jié)。本文針對(duì)車載多面陣拼接全景影像與激光點(diǎn)云的配準(zhǔn)問題，提出了一套高精度的數(shù)據(jù)配準(zhǔn)方法。通過高密度的靜態(tài)激光點(diǎn)云解算每個(gè)面陣CCD在激光掃描儀坐標(biāo)系下的外標(biāo)定參數(shù)，以實(shí)現(xiàn)單張CCD影像與激光點(diǎn)云在掃描儀坐標(biāo)系下的配準(zhǔn)，在全景拼接過程中全景影像與單張CCD影像精確的映射關(guān)系已知，利用掃描儀坐標(biāo)系、POS坐標(biāo)系及WGS-84坐標(biāo)系間的轉(zhuǎn)換關(guān)系即可獲得全景影像與激光點(diǎn)云在物方坐標(biāo)系下的動(dòng)態(tài)、高精度的配準(zhǔn)參數(shù)。試驗(yàn)表明該數(shù)據(jù)配準(zhǔn)方法精確可靠、適用性強(qiáng)，能滿足基于全景影像與激光點(diǎn)云數(shù)據(jù)融合的城市道路竣工、部件采集、目標(biāo)提取、三維重建等高精度量測(cè)應(yīng)用需求。

關(guān)鍵詞：車載移動(dòng)測(cè)量；全景；激光掃描儀；配準(zhǔn)

一、引言

近年來，高效、高精度的城市信息采集技術(shù)的發(fā)展與應(yīng)用使測(cè)繪領(lǐng)域發(fā)生了巨大的變革。車載移動(dòng)測(cè)量系統(tǒng)(mobile mapping system，MMS)結(jié)合激光掃描儀、CCD相機(jī)、高精度定位定姿系統(tǒng)(position and orientation system，POS)、車程編碼器等多種優(yōu)異的傳感器，是近年來快速發(fā)展的一種新型集成高效的測(cè)量系統(tǒng)，廣泛應(yīng)用于地理空間數(shù)據(jù)采集與更新，并逐漸成為三維城市數(shù)據(jù)獲取的重要方法[1]。車載移動(dòng)測(cè)量系統(tǒng)的最大優(yōu)勢(shì)是多傳感器數(shù)據(jù)的集成采集與處理，而多傳感器數(shù)據(jù)的高精度配準(zhǔn)是數(shù)據(jù)集成處理的前提。本文重點(diǎn)解決車載移動(dòng)測(cè)量系統(tǒng)中全景影像與激光點(diǎn)云的數(shù)據(jù)配準(zhǔn)問題[2]。

國(guó)內(nèi)外學(xué)者對(duì)CCD影像與激光點(diǎn)云數(shù)據(jù)配準(zhǔn)問題進(jìn)行了廣泛的研究。文獻(xiàn)[3]用掃描儀和相機(jī)對(duì)平面棋盤格標(biāo)定板進(jìn)行同步測(cè)量，以求解二維激光掃描數(shù)據(jù)與框幅式影像的配準(zhǔn)參數(shù)；受文獻(xiàn)[3]方法的啟發(fā)，文獻(xiàn)[4]實(shí)現(xiàn)了對(duì)三維激光掃描數(shù)據(jù)與框幅式影像的外配準(zhǔn)；文獻(xiàn)[5]使用特殊的標(biāo)定桿對(duì)二維激光掃描數(shù)據(jù)與CCD影像進(jìn)行數(shù)據(jù)配準(zhǔn)；文獻(xiàn)[6]同樣使用平面棋盤格來對(duì)三維激光掃描數(shù)據(jù)與CCD影像進(jìn)行數(shù)據(jù)配準(zhǔn)；文獻(xiàn)[7]給出了一種配準(zhǔn)二維激光掃描數(shù)據(jù)與全向相機(jī)影像的方法。以上這幾種影像—點(diǎn)云配準(zhǔn)方法均需借助特殊的標(biāo)定合作目標(biāo)，而且由于激光掃描數(shù)據(jù)分辨率低且不一致，使激光點(diǎn)云與影像間高精度的點(diǎn)、線特征對(duì)應(yīng)的獲取非常困難[8]，因此在實(shí)際應(yīng)用過程中有一定的局限性。為了克服光學(xué)影像與激光點(diǎn)云在成像特性上的差異所帶來的問題，基于統(tǒng)計(jì)和信息論的方法在二者的標(biāo)定問題上得到了應(yīng)用。文獻(xiàn)[9]使用互信息對(duì)影像與點(diǎn)云之間的強(qiáng)度與反射信息進(jìn)行配準(zhǔn)；文獻(xiàn)[10]使用互信息對(duì)城市街區(qū)的光學(xué)影像與激光點(diǎn)云進(jìn)行配準(zhǔn)。然而，這些基于互信息的影像與激光點(diǎn)云配準(zhǔn)方法僅在城市場(chǎng)景中具有非常好的適應(yīng)性，其在自然場(chǎng)景中的應(yīng)用有非常大的局限性[11]。

已有的方法大多集中在解決普通框幅式影像與2D/3D激光點(diǎn)云的數(shù)據(jù)配準(zhǔn)問題，且局限于解決單測(cè)站、靜態(tài)數(shù)據(jù)的配準(zhǔn)問題。

本文針對(duì)車載移動(dòng)測(cè)量系統(tǒng)中多面陣拼接全景影像與激光點(diǎn)云的數(shù)據(jù)配準(zhǔn)問題，提出了一套適應(yīng)性強(qiáng)、精度高的標(biāo)定方法。該標(biāo)定方法在全景拼接過程中獲得全景影像與單張CCD影像精確的映射關(guān)系，通過分別對(duì)組成全景相機(jī)的單個(gè)CCD相機(jī)進(jìn)行內(nèi)標(biāo)定及在激光掃描儀坐標(biāo)系下的相對(duì)外標(biāo)定，并結(jié)合掃描儀坐標(biāo)系、POS坐標(biāo)系、WGS-84坐標(biāo)系間的轉(zhuǎn)換關(guān)系，即可實(shí)現(xiàn)全景影像與激光點(diǎn)云在物方坐標(biāo)系下的高精度配準(zhǔn)，為后續(xù)全景影像與激光點(diǎn)云的集成處理奠定基礎(chǔ)。

二、車載移動(dòng)測(cè)量系統(tǒng)集成

車載移動(dòng)測(cè)量系統(tǒng)是一個(gè)多傳感器集成的自動(dòng)化數(shù)據(jù)采集系統(tǒng)，可實(shí)時(shí)完成載體的GPS定位、姿態(tài)解算、城市三維空間信息的激光掃描數(shù)據(jù)及全景影像數(shù)據(jù)的采集。系統(tǒng)搭載的傳感器主要有兩類：一類是位姿傳感器，包括GPS、慣性測(cè)量單元(IMU)及車輪編碼器，用于獲取車載系統(tǒng)的位置和姿態(tài)；另一類是數(shù)據(jù)采集傳感器，包括激光掃描儀和全景相機(jī)，其中三維激光掃描儀用于獲取目標(biāo)的三維幾何信息，而全景相機(jī)則用于獲取目標(biāo)的紋理特征，如圖1所示。

圖1　車載移動(dòng)測(cè)量系統(tǒng)結(jié)構(gòu)圖

本文主要討論車載移動(dòng)測(cè)量系統(tǒng)中全景相機(jī)與激光掃描儀的集成標(biāo)定問題，因此對(duì)車載移動(dòng)測(cè)量系統(tǒng)中使用的全景相機(jī)和激光掃描儀進(jìn)行簡(jiǎn)單的介紹。

1. 多面陣拼接全景相機(jī)

目前國(guó)內(nèi)外已經(jīng)有多家廠商推出了成熟的全景相機(jī)，如PointGrey、CycloMedia、EyeScan、Fodis等。但現(xiàn)有的全景相機(jī)存在分辨率不高、價(jià)格昂貴，以及全景映射過程未知，無法自主控制等缺點(diǎn)，因此課題組自主研發(fā)了基于面陣CCD拼接的高分辨率全景相機(jī)。該全景相機(jī)由8個(gè)分辨率為2058像素×2456像素的工業(yè)CCD鏡頭沿水平方向均勻排列而成，如圖2所示。全景影像采集時(shí)，由時(shí)間同步系統(tǒng)控制8個(gè)CCD鏡頭同時(shí)曝光，通過全景拼接獲得分辨率為9173像素×2294像素的全景影像。拼接過程中保證像點(diǎn)攝影光束的方向不變，且記錄拼接全景與原始單片的像素對(duì)應(yīng)關(guān)系。

2. 激光掃描儀

車載移動(dòng)測(cè)量系統(tǒng)集成了Riegl公司兩種不同型號(hào)的激光掃描儀：2D/3D一體化掃描儀VZ-400和路面2D掃描儀LMS-Q120i，其中VZ-400掃描儀安裝在車體的右后側(cè)，用于獲取車輛兩側(cè)的目標(biāo)點(diǎn)云信息，LMS-Q120i掃描儀安裝在車體的后部，主要用于獲取地表面點(diǎn)云，從而實(shí)現(xiàn)場(chǎng)景三維空間信息和反射強(qiáng)度信息的全方位獲取。

圖2　全景相機(jī)內(nèi)部示意圖

三、車載全景影像與激光點(diǎn)云數(shù)據(jù)配準(zhǔn)

全景影像與激光點(diǎn)云的數(shù)據(jù)配準(zhǔn)是使全景影像能與物方坐標(biāo)系下同一場(chǎng)景的激光點(diǎn)云進(jìn)行“套合”，即需要恢復(fù)全景影像拍攝瞬間相機(jī)在物方坐標(biāo)系下的位置與姿態(tài)，并使全景影像中每個(gè)像素構(gòu)成的攝影光束與物方點(diǎn)云形成對(duì)應(yīng)。

圖3　全景影像與激光點(diǎn)云數(shù)據(jù)配準(zhǔn)法

在全景拼接時(shí)，全景影像與單張面陣CCD影像間的映射關(guān)系可精確得到；激光掃描儀坐標(biāo)系與POS坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可通過建立高精度標(biāo)定控制場(chǎng)解算獲得，該過程在本文中不作詳細(xì)介紹；而POS坐標(biāo)系與WGS-84坐標(biāo)系間的轉(zhuǎn)換關(guān)系可由POS數(shù)據(jù)插值獲取。因此，若能得到單張面陣CCD影像與激光點(diǎn)云在激光掃描儀坐標(biāo)系下的配準(zhǔn)參數(shù)，則可實(shí)現(xiàn)車載全景影像在物方坐標(biāo)系下與激光點(diǎn)云的高精度配準(zhǔn)。另外，由于全景成像系統(tǒng)的8個(gè)CCD鏡頭為非量測(cè)工業(yè)鏡頭，成像畸變大，內(nèi)方位元素未知，故需要首先對(duì)CCD鏡頭進(jìn)行內(nèi)標(biāo)定。車載移動(dòng)測(cè)量系統(tǒng)中的主要傳感器——激光掃描儀、全景相機(jī)、POS系統(tǒng)被固定在剛性平臺(tái)，其相對(duì)位姿關(guān)系穩(wěn)定不變，本文全景影像與激光點(diǎn)云數(shù)據(jù)配準(zhǔn)方法描述如圖3所示。

1. 單片影像與點(diǎn)云的相對(duì)配準(zhǔn)

依據(jù)本文車載全景影像與激光點(diǎn)云的數(shù)據(jù)配準(zhǔn)方法，其核心步驟在于將8個(gè)CCD鏡頭與激光點(diǎn)云在激光掃描儀坐標(biāo)系下進(jìn)行配準(zhǔn)，即獲取CCD鏡頭在掃描儀坐標(biāo)系下的外方位元素。由于課題組車載系統(tǒng)所采用的VZ-400掃描儀能夠支持在同一掃描坐標(biāo)系下的移動(dòng)二維線掃描及靜態(tài)三維全景掃描兩種工作模式，因此可利用VZ-400掃描儀在車載系統(tǒng)保持靜止?fàn)顟B(tài)下的三維全景高密度掃描數(shù)據(jù)為CCD鏡頭的標(biāo)定提供控制點(diǎn)。

在合適的標(biāo)定場(chǎng)景中布設(shè)靶標(biāo)，靶標(biāo)需分布均勻，且要在深度方向上有豐富的變化。調(diào)整車載系統(tǒng)至合適位置及方向，并在車載系統(tǒng)靜止條件下依次利用8個(gè)CCD鏡頭獲取標(biāo)定場(chǎng)景影像，且使用VZ-400掃描儀獲得標(biāo)定場(chǎng)景的激光點(diǎn)云數(shù)據(jù)。標(biāo)定數(shù)據(jù)獲取后，在每張影像和其對(duì)應(yīng)的激光點(diǎn)云數(shù)據(jù)中選取4個(gè)以上的靶標(biāo)控制點(diǎn)，得到其對(duì)應(yīng)的圖像坐標(biāo)(x,y)及激光掃描坐標(biāo)系下的激光點(diǎn)坐標(biāo)(X,Y,Z)，結(jié)合內(nèi)標(biāo)定所獲取的相機(jī)內(nèi)方位元素(x0,y0,f)和畸變參數(shù)，得出共線方程

(1)

式中，dx、dy分別為像點(diǎn)在x、y方向的畸變改正量；XS、YS、ZS分別為CCD相機(jī)在掃描儀坐標(biāo)系下的位置TCL的3個(gè)分量；而ai、bi、ci(i=1,2,3)則構(gòu)成旋轉(zhuǎn)矩陣RCL的9個(gè)元素。

由共線方程列出對(duì)應(yīng)的誤差方程并迭代優(yōu)化，即可求得CCD鏡頭與激光點(diǎn)云的在掃描儀坐標(biāo)系下的相對(duì)配準(zhǔn)參數(shù)。

2. 全景影像與點(diǎn)云的絕對(duì)配準(zhǔn)

設(shè)某物方點(diǎn)P在全景影像上成像并同時(shí)獲得其激光點(diǎn)數(shù)據(jù)，將全景影像與點(diǎn)云在物方坐標(biāo)系下的配準(zhǔn)即是求得全景成像坐標(biāo)系與物方坐標(biāo)系下點(diǎn)P的轉(zhuǎn)換關(guān)系，其中涉及全景成像坐標(biāo)系、單片坐標(biāo)系、掃描儀坐標(biāo)系、POS坐標(biāo)系和物方WGS-84坐標(biāo)系，其轉(zhuǎn)換關(guān)系描述如圖4所示。

由全景與單片的映射關(guān)系，可以獲取該點(diǎn)在對(duì)應(yīng)單片影像的像空間坐標(biāo)系下的坐標(biāo)(XC，YC，ZC)。利用上節(jié)中求得的8個(gè)CCD鏡頭在激光掃描儀坐標(biāo)系下的外方位元素TCL、RCL，則該點(diǎn)在單片像空間坐標(biāo)系與激光掃描儀坐標(biāo)系的轉(zhuǎn)換關(guān)系描述為

圖4　坐標(biāo)系統(tǒng)關(guān)系轉(zhuǎn)換示意圖

(2)

式中，(XL，YL，ZL)為該點(diǎn)在掃描儀坐標(biāo)系下的坐標(biāo)。通過系統(tǒng)標(biāo)定，掃描儀坐標(biāo)系與POS坐標(biāo)系的轉(zhuǎn)換關(guān)系TLP、RLP已知，若記POS坐標(biāo)系下點(diǎn)的坐標(biāo)為(XP，YP，ZP)，則由掃描儀坐標(biāo)系到POS坐標(biāo)系轉(zhuǎn)換關(guān)系為

(3)

(4)

式(2)—式(4)分別描述了掃描儀坐標(biāo)系、POS坐標(biāo)系、WGS-84坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。將全景影像與激光點(diǎn)云進(jìn)行配準(zhǔn)就是要獲得二者在WGS-84坐標(biāo)系下的轉(zhuǎn)換關(guān)系。若設(shè)單片的像空間坐標(biāo)系與WGS-84坐標(biāo)系的轉(zhuǎn)換矩陣為RCW、TCW，則兩坐標(biāo)系下的點(diǎn)滿足

(5)

根據(jù)矩陣推導(dǎo)可求得

(6)

TCW=TLW+RLWTCL

(7)

其中

(8)

(9)

將式(8)、式(9)代入式(6)、式(7)，即可計(jì)算出RCW和TCW。

四、試驗(yàn)與分析

1. 全景影像與點(diǎn)云數(shù)據(jù)融合精度

由上述車載影像與點(diǎn)云數(shù)據(jù)配準(zhǔn)方法可知，全景影像與激光點(diǎn)云在WGS-84坐標(biāo)系下的配準(zhǔn)其最核心的環(huán)節(jié)是求得單個(gè)CCD鏡頭在掃描儀坐標(biāo)系下的相對(duì)配準(zhǔn)參數(shù)。以某會(huì)展中心的選定建筑區(qū)域作為標(biāo)定場(chǎng)景，采用上一節(jié)中描述的方法獲取標(biāo)定數(shù)據(jù)。以3號(hào)相機(jī)為例，在影像和激光點(diǎn)云中提取了對(duì)應(yīng)的10個(gè)靶標(biāo)點(diǎn)，其中7個(gè)靶標(biāo)點(diǎn)作為控制點(diǎn)平差解算標(biāo)定參數(shù)，另外3個(gè)靶標(biāo)點(diǎn)作為檢核點(diǎn)檢驗(yàn)標(biāo)定精度，坐標(biāo)殘差統(tǒng)計(jì)見表1。

表1　影像與激光點(diǎn)云相對(duì)配準(zhǔn)殘差　像素

由表1可知，平差解算后控制點(diǎn)的點(diǎn)位均方差為1.48像素，檢核點(diǎn)的點(diǎn)位殘差也在1.6個(gè)像素以內(nèi)，標(biāo)定精度滿足相關(guān)應(yīng)用的要求。

獲得每個(gè)CCD相機(jī)在掃描儀坐標(biāo)系下的標(biāo)定參數(shù)后，在已知全景影像與單片的映射關(guān)系及掃描儀坐標(biāo)系與POS坐標(biāo)系轉(zhuǎn)換關(guān)系的情況下，經(jīng)過POS數(shù)據(jù)插值，即可實(shí)現(xiàn)全景影像與激光點(diǎn)云在WGS-84坐標(biāo)系的配準(zhǔn)，配準(zhǔn)效果如圖5所示。通過實(shí)地布設(shè)地物標(biāo)志點(diǎn)對(duì)本文的數(shù)據(jù)配準(zhǔn)精度進(jìn)行驗(yàn)證，測(cè)得在平均距離為30 m時(shí)影像的量測(cè)精度為9.907 cm。

圖5　車載全景影像與激光點(diǎn)云配準(zhǔn)效果圖

2. 全景影像與點(diǎn)云數(shù)據(jù)融合效果

獲得車載全景影像與激光點(diǎn)云在物方坐標(biāo)系下的配準(zhǔn)參數(shù)后，通過數(shù)據(jù)融合的方式可以得到賦有地表真實(shí)顏色信息的彩色點(diǎn)云數(shù)據(jù)，如圖6所示。另外，將激光點(diǎn)云數(shù)據(jù)反投影到對(duì)應(yīng)的全景影像上(如圖7所示)，也能進(jìn)一步反映出點(diǎn)云與全景影像實(shí)現(xiàn)了很好的吻合。由以上融合效果可以看出影像數(shù)據(jù)與點(diǎn)云數(shù)據(jù)形成了較為精確的套合，也進(jìn)一步驗(yàn)證了本文車載全景影像與激光點(diǎn)云的數(shù)據(jù)配準(zhǔn)精度。

圖6　融合后的激光點(diǎn)云

圖7　點(diǎn)云反投影到全景影像上的效果圖

五、結(jié)束語

本文給出了一種車載移動(dòng)測(cè)量系統(tǒng)中精確可靠、適用性強(qiáng)的全景影像與激光點(diǎn)云數(shù)據(jù)配準(zhǔn)方法，該方法通過對(duì)全景相機(jī)的各個(gè)CCD鏡頭進(jìn)行內(nèi)標(biāo)定及在激光掃描儀坐標(biāo)系下的相對(duì)標(biāo)定，使單個(gè)CCD影像與激光點(diǎn)云在掃描儀局部坐標(biāo)系下得到配準(zhǔn)。結(jié)合全景拼接過程中全景影像與各個(gè)單片之間的映射關(guān)系及掃描儀與POS系統(tǒng)之間的標(biāo)定參數(shù)，即可實(shí)現(xiàn)車載全景影像與激光點(diǎn)云動(dòng)態(tài)、高精度的配準(zhǔn)。通過實(shí)測(cè)數(shù)據(jù)驗(yàn)證，本文的標(biāo)定方法能滿足城市測(cè)量中多傳感器數(shù)據(jù)集成與處理的需求。

參考文獻(xiàn)：

[1]陳允芳，葉澤田.基于多傳感器融合的車載移動(dòng)測(cè)圖系統(tǒng)研究[J].測(cè)繪通報(bào),2007(1)：5-7.

[2]張帆，黃先鋒，李德仁.激光掃描與光學(xué)影像數(shù)據(jù)配準(zhǔn)的研究進(jìn)展[J].測(cè)繪通報(bào),2008(2)：7-10.

[3]ZHANG Q, PLESS R. Extrinsic Calibration of a Camera and Laser Range Finder(Improves Camera Calibration)[C]∥Intelligent Robots and Systems.New York: IEEE, 2004.

[4]UNNIKRISHNANN R, HEBERT M. Fast Extrinsic Calibration of a Laser Rangefinder to a Camera[R].[S.l.]：Carnegie Mellon University,2005.

[5]WASIELEWSKI S, STRAUSS O. Calibration of a Multi-sensor System Laser Rangefinder/Camera[C]∥ Intelligent Vehicles’ 95 Symposium. New York: IEEE, 1995.

[6]GAURAV P.Extrinsic Calibration of a 3D Laser Scanner and an Omnidirectional Camera[C]∥7th IFAC Symposium on Intelligent Autonomous Vehicles. Lecce: International Federation of Automatic Control, 2010.

[7]MEI C, RIVES P. Calibration between a Central Catadioptric Camera and a Laser Range Finder for Robotic Applications[C]∥Proceedings 2006 IEEE International Conference on. New York:IEEE, 2006.

[8]GONG X J, LIN Y, LIU J. 3D LiDAR-Camera Extrinsic Calibration Using an Arbitrary Trihedron[J]. Sensors,2013,13(2):1902-1918.

[9]GAURAV P. Automatic Targetless Extrinsic Calibration of a 3D LiDAR and Camera by Maximizing Mutual Information[C]∥Proceedings of the AAAI National Conference on Artificial Intelligence. Toronto:AAAI,2012.

[10]MASTIN A, KEPNER J, FISHER J. Automatic Registration of LiDAR and Optical Images of Urban Scenes[C]∥Computer Vision and Pattern Recognition. New York: IEEE, 2009.

[11]MISHRA R, ZHANG Y. A Review of Optical Imagery and Airborne LiDAR Data Registration Methods[J]. The Open Remote Sensing Journal，2012,5(1):54-63.

引文格式： 閆利，曹亮，陳長(zhǎng)軍，等. 車載全景影像與激光點(diǎn)云數(shù)據(jù)配準(zhǔn)方法研究[J].測(cè)繪通報(bào)，2015(3)：32-36.DOI:10.13474/j.cnki.11-2246.2015.0069

通信作者：曹亮

作者簡(jiǎn)介：閆利(1966—)，男，教授，研究方向?yàn)閿z影測(cè)量、遙感圖像處理和車載移動(dòng)測(cè)量技術(shù)。E-mail:lyan@sgg.whu.edu.cn

收稿日期：2014-01-15

中圖分類號(hào)：P234.5

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：0494-0911(2015)03-0032-05