黃明益，吳 軍，彭智勇

桂林電子科技大學(xué)電子工程與自動(dòng)化學(xué)院，廣西 桂林 541004

作為有效的監(jiān)控手段，攝像機(jī)早已在社會(huì)公共安全、管理調(diào)度及生產(chǎn)控制中發(fā)揮了不可替代的作用。多鏡頭全景攝像機(jī)(multi-head panoramic camera,MPC)[1]，由若干不同視角、物理獨(dú)立的傳統(tǒng)監(jiān)控?cái)z像機(jī)封裝而成并通過(guò)實(shí)時(shí)拼接子畫面獲得180°(或360°)視野范圍且各方向基本一致的高分辨率全景視頻，能夠精確獲得MPC子攝像機(jī)內(nèi)、外參數(shù)并將其多路輸出視頻重投影到設(shè)定球面(或柱面)[2-3]，在安防監(jiān)控及虛擬現(xiàn)實(shí)、實(shí)景地圖生成和低空遙感等眾多領(lǐng)域具有廣闊市場(chǎng)前景[4-8]。

旨在獲取子攝像機(jī)內(nèi)外參數(shù)的MPC標(biāo)定過(guò)程涉及單相機(jī)標(biāo)定、組合標(biāo)定兩部分內(nèi)容。MPC子攝像機(jī)一般為傳統(tǒng)針孔攝像機(jī)，前者研究開展已較深入[9-10]，困難在于如何通過(guò)組合標(biāo)定獲得子攝像機(jī)間的相對(duì)外參。為節(jié)約硬件成本，MPC通常利用較少數(shù)目的攝像機(jī)及低成本光學(xué)鏡頭來(lái)獲得180°或360°視角[1,11]，其相鄰子攝像機(jī)重疊視角小，難以有效利用影像內(nèi)在約束優(yōu)化求解相機(jī)外參，不得不在大型標(biāo)定場(chǎng)內(nèi)完成。文獻(xiàn)[12]需按預(yù)設(shè)參數(shù)在三維標(biāo)定場(chǎng)內(nèi)獲取全景相機(jī)不同方向標(biāo)定影像，通過(guò)空間后方交會(huì)解算得到單影像初始方位元素后再進(jìn)行區(qū)域網(wǎng)光束法平差以獲取精確的全景相機(jī)參數(shù)。為確保標(biāo)定影像上具有可靠控制信息，文獻(xiàn)[3]在室內(nèi)標(biāo)定場(chǎng)四周墻壁、頂部及地面不同景深位置密集布設(shè)多達(dá)1000個(gè)人工標(biāo)志點(diǎn)，且需不同位置多次攝影以獲得符合重疊度要求的全景相機(jī)標(biāo)定影像。為擺脫對(duì)高精度三維控制場(chǎng)的依賴，文獻(xiàn)[13]提出一種基于可控旋轉(zhuǎn)的主動(dòng)視覺標(biāo)定方法，將電子經(jīng)緯儀改造為旋轉(zhuǎn)平臺(tái)并對(duì)2D參照物進(jìn)行觀測(cè)以獲得三維控制信息，其優(yōu)點(diǎn)在于能將待標(biāo)定相機(jī)的等效焦距與其他參數(shù)分離開來(lái)，但需控制像機(jī)圍繞光心(或光心附近)做旋轉(zhuǎn)運(yùn)動(dòng)，使用條件過(guò)于苛刻。文獻(xiàn)[14]以照射到室內(nèi)四面墻壁的三維激光點(diǎn)取代三維控制點(diǎn)對(duì)線陣CCD旋轉(zhuǎn)全景攝影系統(tǒng)進(jìn)行高精度標(biāo)定，除依賴于昂貴的三維掃描設(shè)備外，標(biāo)定影像上激光腳點(diǎn)的自動(dòng)檢測(cè)也是個(gè)潛在問題。文獻(xiàn)[15]提出了一種基于圓形標(biāo)志點(diǎn)平面靶的全景相機(jī)高精度標(biāo)定方法，但需利用全站儀測(cè)量靶標(biāo)上特征點(diǎn)相對(duì)世界坐標(biāo)系原點(diǎn)的位置，同時(shí)要結(jié)合相機(jī)視場(chǎng)范圍在平面靶標(biāo)前多距離、多基站、多姿態(tài)、多角度成像。針對(duì)具有非重疊圖的攝像機(jī)組，文獻(xiàn)[16]提出了一種基于平面反射鏡的組合標(biāo)定技術(shù)，其基本思想是移動(dòng)、轉(zhuǎn)動(dòng)平面反射鏡使得所有攝像機(jī)能通過(guò)該鏡子“看”到一個(gè)公共校準(zhǔn)對(duì)象，關(guān)鍵在于真實(shí)相機(jī)與其鏡像相機(jī)姿勢(shì)間的幾何關(guān)系解算?？紤]到以2D棋盤格作為標(biāo)定參照物時(shí)，MPC所有攝像機(jī)觀測(cè)到完整棋盤格極其困難，文獻(xiàn)[17]提出采集大量包含平面圖案的圖像并借助于三角測(cè)量對(duì)圖像相對(duì)信息(平面中的距離和角度)的有效利用來(lái)解決控制點(diǎn)不能被同時(shí)觀測(cè)的局限性。文獻(xiàn)[18]則提出了一種基于連通性和梯度直方圖分析的棋盤格角點(diǎn)檢測(cè)技術(shù)以消除非網(wǎng)格特征干擾，從而確保能獲得高精度角點(diǎn)特征用于標(biāo)定目的。顧及全景視頻融合生成的MPC標(biāo)定相關(guān)研究還包括：文獻(xiàn)[1]建立視頻配準(zhǔn)框架對(duì)MPC參數(shù)進(jìn)行整體優(yōu)化，但需交互給出相機(jī)初始參數(shù)并要求各子相機(jī)攝影中心基本重合；文獻(xiàn)[10]就相機(jī)數(shù)目、物理尺寸參數(shù)以及圓投影下的視差變化建立數(shù)學(xué)模型，對(duì)獲取3D全景視頻的OMS設(shè)計(jì)方案進(jìn)行仿真解析；文獻(xiàn)[2]假定物方點(diǎn)與虛擬空間中心點(diǎn)距離固定，利用標(biāo)定參數(shù)值將子攝像機(jī)視頻像素對(duì)應(yīng)的虛擬物方點(diǎn)球面投影到設(shè)定球面以生成全景影像；文獻(xiàn)[8]利用標(biāo)定參數(shù)推斷重疊區(qū)域的景深，并將重疊區(qū)域投影到帶深度信息的3D曲面上以消除視差偽影。

無(wú)論是建立大型標(biāo)定場(chǎng)，還是聯(lián)合利用小型空間測(cè)量設(shè)備與2D參照物，其目的均在于提供高精度3D控制信息用于MPC子相機(jī)絕對(duì)空間位置、姿態(tài)解算，進(jìn)而推導(dǎo)出子相機(jī)間的相對(duì)外參，這種依賴于3D控制信息的標(biāo)定方式不僅實(shí)施成本高且需專業(yè)人員操作，無(wú)疑對(duì)MPC應(yīng)用開展形成限制。受單相機(jī)旋轉(zhuǎn)全景成像[19]啟發(fā)，本文提出一種結(jié)合棋盤格與旋轉(zhuǎn)攝影的MPC組合標(biāo)定方法，將MPC置于普通二維轉(zhuǎn)臺(tái)并按固定轉(zhuǎn)角間隔旋轉(zhuǎn)一周對(duì)LCD棋盤格進(jìn)行攝影，即可實(shí)現(xiàn)MPC攝像機(jī)外參精確估計(jì)，其創(chuàng)新之處在于兩方面：一是結(jié)合棋盤格與旋轉(zhuǎn)平臺(tái)坐標(biāo)系設(shè)置建立旋轉(zhuǎn)攝影嚴(yán)格方程，以之為基礎(chǔ)給出側(cè)視攝像機(jī)外參初值并通過(guò)可控的旋轉(zhuǎn)攝影擴(kuò)大單個(gè)2D棋盤格參照物對(duì)MPC的標(biāo)定控制范圍，從而實(shí)現(xiàn)側(cè)視攝像機(jī)及LCD棋盤格影像外部參數(shù)光束法平差優(yōu)化求解；二是將轉(zhuǎn)臺(tái)旋轉(zhuǎn)坐標(biāo)系原點(diǎn)平移至側(cè)視攝像機(jī)攝影中心幾何重心建立MPC空間坐標(biāo)系，以之為基礎(chǔ)通過(guò)旋轉(zhuǎn)攝影增加中心攝像機(jī)與側(cè)視攝像機(jī)間的連接點(diǎn)作為冗余觀測(cè)值，從而利用與側(cè)視攝像機(jī)間的多視幾何關(guān)系對(duì)中心攝像機(jī)外參實(shí)施光束法平差優(yōu)化求解。

1 MPC球面全景成像模型

圖1 MPC幾何結(jié)構(gòu)Fig.1 Geometry of MPC

MPC各子攝像機(jī)一般為傳統(tǒng)針孔攝像機(jī)，通過(guò)對(duì)各子攝像機(jī)視頻進(jìn)行球面透視重投影而獲得大于(或等于)180°的視場(chǎng)(圖2)。如圖2所示，令Ci(i=0,1,2,3,4)表示MPC子攝像機(jī)攝影中心，I為球面全景圖像，O和r分別為投影球面中心、半徑并假定世界坐標(biāo)系XYZ原點(diǎn)與球面投影中心重合，則MPC視野內(nèi)任一空間點(diǎn)PW到球面全景圖像像素p′的空間變換可描述為以下3階段過(guò)程：

圖2 MPC球面全景成像模型Fig.2 Panoramic imaging model of MPC

(1) 單攝像機(jī)針孔成像,即MPC某一子相機(jī)Ci對(duì)世界坐標(biāo)系下的空間點(diǎn)PW(X,Y,Z)進(jìn)行透視成像獲得像點(diǎn)p(x,y)，該幾何成像關(guān)系可由經(jīng)典的攝影測(cè)量共線方程[21]描述，有

(1)

式中，(X,Y,Z)為點(diǎn)PW空間坐標(biāo)；(u,v)為PW投影點(diǎn)p的實(shí)際像素坐標(biāo)；(XS,YS,ZS)為攝像機(jī)攝影中心在世界坐標(biāo)系中的位置；(aj,bj,cj)(j=1,2,3)為攝像機(jī)主光軸姿態(tài)角(φ,ω,κ)給出的旋轉(zhuǎn)矩陣元素；(XS,YS,ZS)與(φ,ω,κ)合稱相機(jī)外部參數(shù)；(u0,v0)為相機(jī)主點(diǎn)坐標(biāo)；f為相機(jī)等效焦距；(Δx,Δy)為攝像機(jī)鏡頭光學(xué)畸變誤差，可認(rèn)為主要由徑向畸變系數(shù)k1、k2決定，有

Δx=(u-u0)×(k1r2+k2r4)

Δy=(v-v0)×(k1r2+k2r4)

r2=(u-u0)2+(v-v0)2

以上(f,u0,v0,k1,k2)合稱相機(jī)內(nèi)部參數(shù)，若對(duì)像點(diǎn)p進(jìn)行光學(xué)畸變修正并以相機(jī)主點(diǎn)為坐標(biāo)原點(diǎn)(這里稱理想像點(diǎn)，下同)，式(1)也可表示為以下空間變換

(2a)

或

(2b)

(2) 球面重映射，即將MPC子相機(jī)Ci透視成像獲得的理想像點(diǎn)p，逆光線PWCi映射到設(shè)定投影球面獲得空間點(diǎn)PO(XO,YO,ZO)，該空間點(diǎn)應(yīng)同時(shí)滿足投影球面方程及其入射光線所在空間直線方程，即有

(3)

(4)

式中，(XO,YO,ZO)為點(diǎn)PW在世界坐標(biāo)系下的球面空間點(diǎn)坐標(biāo)；[VX,VY,VZ]T為點(diǎn)PW入射光線所在空間直線方向矢量，可由理想像點(diǎn)p的像空間坐標(biāo)旋轉(zhuǎn)得到；LP為點(diǎn)PW入射光線所在空間直線參數(shù)方程參數(shù)，這里點(diǎn)PW入射光線所在空間直線定義為以子相機(jī)Ci攝影中心為起點(diǎn)、過(guò)理想像點(diǎn)p的射線，參數(shù)LP計(jì)算公式如下[2]

(5)

(3) 球面全景圖像合成，即將球面空間點(diǎn)PO按選定模型投影至全景圖像所在平面?，F(xiàn)有球面投影模型分為4種[22]：等距投影、等立體角投影、體視投影、正交投影。考慮到正交投影模型計(jì)算簡(jiǎn)單且可建立空間點(diǎn)與球面全景圖像點(diǎn)的可逆變換關(guān)系，本文選用該投影模型，如圖2所示，將點(diǎn)PO正投影到一個(gè)與Z軸垂直的全景影像平面以獲得像素坐標(biāo)p′(x′,y′)，兩者坐標(biāo)變換關(guān)系如下

(6)

由于難以嚴(yán)格滿足各子攝像機(jī)攝影中心與投影球面中心重合這一設(shè)計(jì)條件，MPC子攝像機(jī)重疊區(qū)域同名像素投影到全景圖像平面將存在位置誤差，該誤差大小與球面投影參數(shù)(中心位置、半徑大小)選取有關(guān)，通常取全部子相機(jī)攝影中心的幾何重心為球面投影中心，球面投影半徑為與景深范圍有關(guān)的經(jīng)驗(yàn)值[2]，本文球面投影參數(shù)采用上述文獻(xiàn)設(shè)置方式。

由以上球面全景成像過(guò)程可以看出，采用“1+N”設(shè)計(jì)模式的MPC完整參數(shù)標(biāo)定應(yīng)包括兩部分內(nèi)容：5(1+N)個(gè)攝像機(jī)內(nèi)部參數(shù)IOPs，6(1+N)個(gè)攝像機(jī)外部參數(shù)EOPs。目前，單個(gè)攝像機(jī)內(nèi)、外部參數(shù)利用2D棋盤格多視圖可方便進(jìn)行求解[23]，困難在于如何簡(jiǎn)單、快速獲得MPC子攝像機(jī)相對(duì)外參。其原因在于兩方面：一是普通棋盤格很難被MPC相鄰子攝像機(jī)同時(shí)“看”到而不能形成有效的標(biāo)定控制；二是MPC各子攝像機(jī)重疊視角小而難以提供大量冗余觀測(cè)(同名特征)用于外參優(yōu)化求解。針對(duì)上述問題，這里假定MPC各子攝像機(jī)內(nèi)參已知，將MPC置于二維轉(zhuǎn)臺(tái)對(duì)單個(gè)棋盤格進(jìn)行旋轉(zhuǎn)攝影來(lái)進(jìn)行組合標(biāo)定，并結(jié)合MPC結(jié)構(gòu)設(shè)計(jì)特點(diǎn)及其旋轉(zhuǎn)攝影幾何特性，將MPC組合標(biāo)定分為側(cè)視攝像機(jī)旋轉(zhuǎn)序列影像標(biāo)定和中心攝像機(jī)多視幾何標(biāo)定兩個(gè)階段依次實(shí)施。

2 側(cè)視攝像機(jī)旋轉(zhuǎn)序列影像標(biāo)定

2.1 旋轉(zhuǎn)攝影與坐標(biāo)系設(shè)置

如圖3(a)所示，將MPC置于電腦控制的水平旋轉(zhuǎn)平臺(tái)上，按固定角度間隔β旋轉(zhuǎn)平臺(tái)一周并同步拍攝顯示在LCD上的棋盤格圖案，可獲得序列影像

式中，i表示MPC第i個(gè)子攝像機(jī)Ci；j表示子攝像機(jī)Ci在旋轉(zhuǎn)角度為j×β時(shí)采集的第j張影像，這里N=360/β。

圖3 MPC旋轉(zhuǎn)攝影Fig.3 MPC rotation photography

如圖3(b)所示，本文首先建立世界坐標(biāo)系OW-XWYWZW與棋盤格對(duì)象坐標(biāo)系OP-XPYPZP，定義如下：世界坐標(biāo)系原點(diǎn)OW位于轉(zhuǎn)臺(tái)平面旋轉(zhuǎn)中心，ZW軸與轉(zhuǎn)軸重合(垂直于轉(zhuǎn)臺(tái)平面、方向向上)，XW軸位于轉(zhuǎn)臺(tái)平面并近似平行于中心攝像機(jī)影像水平方向，YW軸根據(jù)右手法則給出；棋盤格對(duì)象坐標(biāo)系原點(diǎn)OP位于棋盤格左下角，棋盤格平面定義為OP-XPYP平面，XP軸和YP軸分別平行于棋盤格水平、垂直方向，ZP軸根據(jù)右手法則給出。

考慮到實(shí)際拍攝條件及參數(shù)初始化，這里安放LCD棋盤格時(shí)使其水平方向近似平行于中心攝像機(jī)影像水平方向(即XP軸與XW軸近似平行)，則轉(zhuǎn)臺(tái)靜止?fàn)顟B(tài)時(shí)棋盤格角點(diǎn)(XP,YP)在世界坐標(biāo)系中的空間坐標(biāo)(XW,YW,ZW)可表示為

(7)

式中，(XP,YP,0)為棋盤格角點(diǎn)在OP-XPYPZP中的空間坐標(biāo)；R(Φ,Ω,Κ)和T分別為棋盤格對(duì)象坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣與平移矢量T=[X0,Y0,Z0]T。不難理解，轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)時(shí)MPC拍攝靜止棋盤格與轉(zhuǎn)臺(tái)靜止時(shí)MPC拍攝繞ZW軸旋轉(zhuǎn)的棋盤格等效(圖4)。若將世界坐標(biāo)系水平面OW-XWYWZW沿ZW軸抬高(或降低)以使棋盤格左下角落在水平面上，則式(7)可改寫為

(8)

(9)

式中，[x,y,-f]T定義同式(2)；Ri為相機(jī)Ci在世界坐標(biāo)系中的外方位轉(zhuǎn)角矩陣。聯(lián)合式(8)和式(9)可得

(10)

式(10)即為本文MPC關(guān)于棋盤格參照物的統(tǒng)一旋轉(zhuǎn)攝影方程。MPC靜止條件下，由于視角問題，同一棋盤格難以被MPC相鄰側(cè)視相機(jī)同時(shí)拍攝，故無(wú)法提供控制信息用于側(cè)視相機(jī)間的相對(duì)姿態(tài)參數(shù)標(biāo)定計(jì)算，而式(10)給出的MPC統(tǒng)一旋轉(zhuǎn)攝影方程可視為通過(guò)平臺(tái)旋轉(zhuǎn)將固定視角下的棋盤格控制信息“擴(kuò)展”到了360°空間范圍，從而為后續(xù)MPC不同側(cè)視相機(jī)外參初始化及其整體優(yōu)化估計(jì)奠定了基礎(chǔ)。

圖4 旋轉(zhuǎn)攝影下的MPC攝影中心運(yùn)動(dòng)軌跡俯視Fig.4 MPC motion trajectory under rotating photography and top view

2.2 參數(shù)初始化與光束法平差

MPC側(cè)視攝像機(jī)在世界坐標(biāo)系下(即轉(zhuǎn)臺(tái)靜止時(shí))的外參標(biāo)定通過(guò)最小化棋盤格角點(diǎn)重投影誤差及相鄰側(cè)視攝像機(jī)重疊區(qū)域同名像素重投影誤差得到，關(guān)鍵在于給出理想的外參初值。為簡(jiǎn)化計(jì)算與說(shuō)明，這里規(guī)定側(cè)視攝像機(jī)影像像素為理想像點(diǎn)，由攝像機(jī)內(nèi)參計(jì)算得到。

攝像機(jī)內(nèi)參已知條件下，利用直接線性變換DLT[24]及棋盤格角點(diǎn)信息可估計(jì)得到該攝像機(jī)標(biāo)定影像在棋盤格對(duì)象坐標(biāo)系下的外參，該參數(shù)與MPC統(tǒng)一旋轉(zhuǎn)攝影方程相結(jié)合即可給出側(cè)視攝像機(jī)在世界坐標(biāo)系下的外參初值。由MPC坐標(biāo)系設(shè)置可知，若棋盤格平面近似垂直于轉(zhuǎn)臺(tái)平面，即取(Φ,Ω,Κ)=(0,π/2,0)，式(10)可簡(jiǎn)化為

(11)

(12)

(13)

令VF表示棋盤格空間點(diǎn)在序列影像上的重投影誤差，VG表示相鄰側(cè)視相機(jī)影像重疊區(qū)域同名像點(diǎn)的重投影誤差，本文對(duì)上述側(cè)視相機(jī)外參及棋盤格平移矢量初值進(jìn)行全局優(yōu)化的目標(biāo)方程數(shù)學(xué)表示如下

(14)

3 中心攝像機(jī)多視幾何標(biāo)定

由1.1節(jié)給出的旋轉(zhuǎn)攝影過(guò)程可知，MPC中心攝像機(jī)將無(wú)法拍攝到棋盤格；另外，MPC中心攝像機(jī)與全部側(cè)視攝像機(jī)均存在重疊，故在側(cè)視攝像機(jī)內(nèi)外參精確標(biāo)定前提下，可利用全部側(cè)視攝像機(jī)與中心攝像機(jī)間的多視幾何約束來(lái)優(yōu)化求解中心攝像機(jī)外參，潛在問題在于兩者重疊區(qū)域偏小而難以提供有效的同名特征(像點(diǎn))作為冗余觀測(cè)，幸運(yùn)的是，該問題可通過(guò)定義新MPC世界坐標(biāo)系及該坐標(biāo)系下的旋轉(zhuǎn)攝影過(guò)程得到有效解決。不失一般性，令(x0,y0)和(xi,yi)表示MPC中心攝像機(jī)C0與某一側(cè)視攝像機(jī)Ci(i=1,2,3,4)在世界坐標(biāo)系下(轉(zhuǎn)臺(tái)靜止時(shí))影像重疊區(qū)域內(nèi)的同名(理想)像點(diǎn)，則該同名像點(diǎn)與攝影基線滿足共面條件，應(yīng)有

(15)

式中

進(jìn)一步地，當(dāng)轉(zhuǎn)臺(tái)旋轉(zhuǎn)角度j×β時(shí)，C0與Ci的同名(理想)像點(diǎn)同樣滿足共面條件，應(yīng)有

(16)

式中，

整理式(16)可得

(17)

(18)

4 試驗(yàn)與分析

4.1 模擬成像仿真測(cè)試

圖5 某廣場(chǎng)虛擬三維場(chǎng)景下的MPC仿真成像Fig.5 MPC simulation imaging of a virtual 3D scene

首先對(duì)MPC側(cè)視攝像機(jī)進(jìn)行標(biāo)定。根據(jù)第1節(jié)，初始化轉(zhuǎn)角βj=j×9并在攝像機(jī)內(nèi)參已知條件下，利用棋盤格對(duì)象坐標(biāo)系下的側(cè)視攝像機(jī)外參給出其在世界坐標(biāo)系下的外參及棋盤格方位參數(shù)初值，見表2，進(jìn)而以棋盤格角點(diǎn)影像投影坐標(biāo)及相鄰攝像機(jī)同名像點(diǎn)坐標(biāo)為觀測(cè)值對(duì)初始參數(shù)進(jìn)行優(yōu)化，表3列出了棋盤格角點(diǎn)像點(diǎn)坐標(biāo)引入不同隨機(jī)誤差δ下的參數(shù)優(yōu)化(標(biāo)定)結(jié)果。由表3可以看出，當(dāng)服從正態(tài)分布的隨機(jī)誤差函數(shù)方差δ增大時(shí)，標(biāo)定模型精度隨之下降，但當(dāng)δ小于1.5像素時(shí)，模型均方根誤差均小于1個(gè)像素且對(duì)應(yīng)標(biāo)定參數(shù)與表1中設(shè)定(真)值高度一致(接近)，證明了本文側(cè)視攝像機(jī)旋轉(zhuǎn)序列標(biāo)定算法的有效性與可靠性。圖6進(jìn)一步給出了虛擬MPC側(cè)視攝像機(jī)旋轉(zhuǎn)標(biāo)定在不同隨機(jī)誤差下的殘差變化曲線，經(jīng)9～10次迭代即可收斂至預(yù)設(shè)條件，表明算法具有較高的計(jì)算效率。

側(cè)視攝像機(jī)內(nèi)、外參已知的前提下，MPC中心攝像機(jī)外參初始化、標(biāo)定計(jì)算依據(jù)第2節(jié)過(guò)程實(shí)施，表4列出了MPC中心攝像機(jī)外參初值及其在棋盤格角點(diǎn)像點(diǎn)坐標(biāo)引入不同隨機(jī)誤差下的外參標(biāo)定結(jié)果。由表4可以看出，中心攝像機(jī)標(biāo)定模型精度隨方差δ增大而下降，但模型均方根誤差均小于1個(gè)像素且對(duì)應(yīng)標(biāo)定參數(shù)與表1中設(shè)定(真)值高度一致(接近)，證明了本文中心攝像機(jī)多視幾何標(biāo)定算法的有效性與可靠性；對(duì)于相同方差δ，中心攝像機(jī)標(biāo)定精度均高于任一側(cè)視攝像機(jī)，體現(xiàn)出MPC全體側(cè)視攝像機(jī)與中心攝像機(jī)間強(qiáng)烈多視幾何約束在中心攝像機(jī)高精度標(biāo)定方面的優(yōu)勢(shì)。

表1 用于仿真測(cè)試的虛擬MPC外參及棋盤格方位參數(shù)設(shè)置

表2 虛擬MPC側(cè)視攝像機(jī)外參及棋盤格方位參數(shù)初值

表3 虛擬MPC側(cè)視攝像機(jī)外參及棋盤格方位參數(shù)標(biāo)定結(jié)果

表4 不同隨機(jī)誤差下虛擬MPC中心攝像機(jī)外參標(biāo)定結(jié)果

圖6 虛擬MPC側(cè)視攝像機(jī)旋轉(zhuǎn)標(biāo)定殘差變化Fig.6 Rotation calibration residual variation of virtual MPC side-view camera

4.2 實(shí)際全景相機(jī)測(cè)試

旨在低精度轉(zhuǎn)臺(tái)旋轉(zhuǎn)攝影條件下，利用本文算法對(duì)實(shí)際全景攝像機(jī)PanoCam的外參進(jìn)行標(biāo)定。PanoCam各子攝像機(jī)采用同一模組(內(nèi)參大小接近)，影像幅面大小相同(1280×960像素)，算法所需標(biāo)定影像由放置轉(zhuǎn)臺(tái)上的PanoCam對(duì)LCD棋盤格(格網(wǎng)大小11×11，格網(wǎng)間距20.32 mm)旋轉(zhuǎn)攝影獲取，如圖7所示，其中圖7(a)為拍攝場(chǎng)景示意；圖7(b)為轉(zhuǎn)臺(tái)靜止時(shí)PanoCam輸出的視頻影像。LCD棋盤格對(duì)象坐標(biāo)系及世界坐標(biāo)系均按第1.1節(jié)所述設(shè)置，優(yōu)化計(jì)算所需的棋盤格角點(diǎn)影像坐標(biāo)利用OPenCV庫(kù)[26]中角點(diǎn)算子檢測(cè)得到，標(biāo)定影像重疊區(qū)域同名像點(diǎn)(非棋盤格角點(diǎn))則利用SIFT算子[27]自動(dòng)匹配得到并采用RANSANC算法剔除野點(diǎn)。表5列出了由張正有算法給出的PanoCam攝像機(jī)內(nèi)參，表6同時(shí)列出了各側(cè)視攝像機(jī)標(biāo)定影像在棋盤格對(duì)象坐標(biāo)系下的外參及該參數(shù)下的棋盤格角點(diǎn)平均重投影誤差RMSE_0。

表5 PanoCam攝像機(jī)內(nèi)參統(tǒng)計(jì)

表6 棋盤格對(duì)象坐標(biāo)系下的PanoCam側(cè)視攝像機(jī)標(biāo)定影像外參及角點(diǎn)平均重投影誤差統(tǒng)計(jì)

與仿真測(cè)試過(guò)程類似，PanoCam標(biāo)定首先初始化轉(zhuǎn)角βj=j×9°并結(jié)合表5中側(cè)視攝像機(jī)內(nèi)參、表6中棋盤格對(duì)象坐標(biāo)系下的標(biāo)定影像外參，給出側(cè)視攝像機(jī)在世界坐標(biāo)系下的外參及棋盤格方位參數(shù)初值，見表7。表7同時(shí)給出了棋盤格角點(diǎn)在該參數(shù)下的重投影誤差RMSE_0及相鄰側(cè)視攝像機(jī)同名像點(diǎn)共面誤差(這里稱相對(duì)定向誤差)RMSE_1。由表7可以看出，在轉(zhuǎn)臺(tái)精度不高及難以滿足棋盤格對(duì)象坐標(biāo)系設(shè)置條件(棋盤格平面垂直于轉(zhuǎn)臺(tái)平面、棋盤格對(duì)象坐標(biāo)系X軸平行與世界坐標(biāo)系X軸)而引起的旋轉(zhuǎn)矩陣R(Φ,Ω,Κ)初始化誤差影響下，利用式(12)—式(13)給出的側(cè)視攝像機(jī)外參及棋盤格方位參數(shù)值無(wú)可避免存在誤差，體現(xiàn)為其RMSE_0(約1.7個(gè)像素)明顯高于表6中各側(cè)視攝像機(jī)標(biāo)定影像棋盤格角點(diǎn)平均重投影誤差，約9個(gè)像素的高誤差RMSE_1則從側(cè)面強(qiáng)調(diào)了利用標(biāo)定影像同名像點(diǎn)約束進(jìn)行攝像機(jī)標(biāo)定的必要性。

圖7 PanoCam棋盤格標(biāo)定影像獲取Fig.7 Acquisition of calibration image of checkerboard grid of PanoCam

表7 優(yōu)化前的側(cè)視攝像機(jī)外參及棋盤格方位參數(shù)初值及精度統(tǒng)計(jì)

以棋盤格角點(diǎn)影像投影坐標(biāo)與相鄰攝像機(jī)同名像點(diǎn)坐標(biāo)為觀測(cè)值，表8給出了本文算法對(duì)表7中初始外參優(yōu)化結(jié)果，可以看出，優(yōu)化參數(shù)下的總體誤差RMSE為0.39，約1/3個(gè)像素，已達(dá)到高標(biāo)定精度要求，其中：棋盤格角點(diǎn)重投影誤差RMSE_0為0.30，與表6中各側(cè)視攝像機(jī)標(biāo)定影像棋盤格角點(diǎn)平均重投影誤差相接近，相鄰側(cè)視攝像機(jī)同名像點(diǎn)相對(duì)定向誤差RMSE_1大幅下降至1.38個(gè)。圖8給出了PanoCam全部側(cè)視攝像機(jī)棋盤格影像(共4×5=20張)轉(zhuǎn)角標(biāo)定值與其旋轉(zhuǎn)攝影設(shè)計(jì)角度間的誤差，全部影像轉(zhuǎn)角均方根誤差約0.004 rad，最大誤差約0.006 rad(約等于0.35°)，與轉(zhuǎn)臺(tái)自身的角度重復(fù)定位精度相符，從側(cè)面驗(yàn)證了標(biāo)定算法的有效性；圖9進(jìn)一步給出了PanoCam 側(cè)視攝像機(jī)旋轉(zhuǎn)標(biāo)定的殘差變化曲線，與模擬成像仿真測(cè)試效率一致，經(jīng)9～10次迭代即可收斂至預(yù)設(shè)條件。

圖8 轉(zhuǎn)臺(tái)設(shè)定轉(zhuǎn)角與標(biāo)定值誤差Fig.8 Rotation angle error between setting value and value calibration

圖9 PanoCam側(cè)視攝像機(jī)旋轉(zhuǎn)標(biāo)定殘差變化Fig.9 Calibration residual variation of PanoCam side-view camera under rotation

表9分別列出了PanoCam中心攝像機(jī)外參初值及其在多視幾何約束下的參數(shù)優(yōu)化結(jié)果，圖10則給出了具體參數(shù)及殘差優(yōu)化計(jì)算過(guò)程，同樣經(jīng)9～10次迭代即可收斂至預(yù)設(shè)條件，具有良好的計(jì)算效率。由表9可以看出，參數(shù)優(yōu)化收斂時(shí)的中心攝像機(jī)與側(cè)視攝像機(jī)影像同名像點(diǎn)間的相對(duì)定向誤差RMSE_1小于1個(gè)像素，具有較高的標(biāo)定精度并優(yōu)于表8中側(cè)視攝像機(jī)旋轉(zhuǎn)標(biāo)定RMSE_1，獲得了與模擬成像仿真測(cè)試一致的結(jié)論。

表8 優(yōu)化后的側(cè)視攝像機(jī)外參及棋盤格方位參數(shù)及精度統(tǒng)計(jì)

表9 PanoCam 's中心攝像機(jī)外參初值及優(yōu)化結(jié)果

圖10 PanoCam中心攝像機(jī)外參優(yōu)化計(jì)算Fig.10 EOPs optimization calculation of PanoCam central camera

PanoCam設(shè)備出廠時(shí)其攝像機(jī)內(nèi)、外參數(shù)已通過(guò)高精度三維標(biāo)定場(chǎng)檢校得到，并以加密文件方式保存于自帶商業(yè)軟件內(nèi)部用于實(shí)時(shí)輸出全景視頻，因無(wú)法直接進(jìn)行參數(shù)比較，這里對(duì)標(biāo)定參數(shù)輸出的全景視頻進(jìn)行對(duì)比分析。本文全景視頻按文獻(xiàn)[2]方式生成且未進(jìn)行平滑處理[28]，PanoCam自帶軟件輸出全景視頻進(jìn)行了平滑處理，如圖11所示，其中圖11(a)—(b)分別為PanoCam在兩個(gè)不同場(chǎng)景(室內(nèi)、室外)某時(shí)刻采集的視頻影像，圖11(c)—(d)為PanoCam商業(yè)軟件輸出結(jié)果，圖11(e)—(f)為本文標(biāo)定參數(shù)輸出結(jié)果，圖11(g)—(h)分別為本文標(biāo)定參數(shù)及PanoCam商業(yè)軟件對(duì)圖7(b)中標(biāo)定影像輸出結(jié)果。對(duì)比圖11(c)和11(e)、圖11(d)和11(f)可以看出，兩者輸出全景視頻質(zhì)量整體接近，表明本文方法參數(shù)標(biāo)定精度在球面全景視頻輸出質(zhì)量上媲美高精度三維標(biāo)定場(chǎng)；對(duì)比圖11(g)和11(h)可看出，本文標(biāo)定參數(shù)輸出全景視頻質(zhì)量更優(yōu)，后者視頻重疊區(qū)域視差偽影[29]更明顯(矩形框標(biāo)記),其原因在于，MPC全景視頻輸出質(zhì)量受攝像機(jī)攝影中心不重合、場(chǎng)景深度變化及潛在的攝像機(jī)標(biāo)定誤差三方面影響,本文MPC外參優(yōu)化依據(jù)之一就是最小化反映場(chǎng)景深度變化的、相鄰攝像機(jī)同名像素重投影誤差，故能有效克服視頻重疊區(qū)域視差偽影，而PanoCam商業(yè)軟件攝像機(jī)參數(shù)是在特定場(chǎng)景深度的標(biāo)定環(huán)境下獲得，MPC攝像機(jī)攝影中心不重合使得該參數(shù)不能很好適應(yīng)新的場(chǎng)景深度變化，這也從側(cè)面證明了本文標(biāo)定參數(shù)的準(zhǔn)確性。

圖11 不同標(biāo)定參數(shù)下的PanoCam球面全景視頻輸出對(duì)比Fig.11 Comparison of spherical panoramic video outputted by PanoCam under different calibration parameters

需要指出的是，本文選用的PanoCam主要用于深度變化有限的室內(nèi)應(yīng)用場(chǎng)景，其子攝像機(jī)為短焦(2.8 mm鏡頭)，標(biāo)定計(jì)算時(shí)僅以普通LCD(24×15 inch)顯示棋盤格作為標(biāo)定參照物且轉(zhuǎn)臺(tái)中心距LCD垂直距離不大(約0.37 m)情況下即可獲得令人滿意的精度；但對(duì)于存在較大深度變化的室外場(chǎng)景，需增大MPC攝像機(jī)焦距長(zhǎng)度以保證其輸出視頻的應(yīng)用分辨率，此時(shí)為獲得清晰、完整的棋盤格影像用于標(biāo)定計(jì)算，可選用更大幅面LCD進(jìn)行棋盤格繪制并增大LCD與轉(zhuǎn)臺(tái)中心距離，相應(yīng)地，參與標(biāo)定計(jì)算的棋盤格標(biāo)定影像數(shù)有所增加，但本文方法仍可適用。為避免MPC旋轉(zhuǎn)攝影產(chǎn)生運(yùn)動(dòng)模糊，進(jìn)而影響影像特征提取及后續(xù)標(biāo)定計(jì)算精度，本文方法要求MPC按設(shè)定角度間隔旋轉(zhuǎn)后靜止2～3 s再進(jìn)行攝影，故不受旋轉(zhuǎn)平臺(tái)轉(zhuǎn)速影響，但旋轉(zhuǎn)角度間隔需綜合考慮LCD幅面、LCD與轉(zhuǎn)臺(tái)中心距離及MPC攝像機(jī)焦距大小進(jìn)行設(shè)計(jì)，以確保MPC旋轉(zhuǎn)一周時(shí)其同一側(cè)視子攝像機(jī)獲取的序列影像相鄰重疊度不小于60%，連續(xù)完整觀測(cè)棋盤格的影像數(shù)不少于5張；此外，本文方法要求MPC側(cè)視攝像機(jī)與中心攝像機(jī)視頻影像重疊度應(yīng)不少于10%，以確保能自動(dòng)匹配獲得一定數(shù)目的同名像點(diǎn)用于MPC中心攝像機(jī)多視幾何標(biāo)定計(jì)算。本文研究結(jié)果表明：

(1) 綜合考慮棋盤格對(duì)象坐標(biāo)系與轉(zhuǎn)臺(tái)世界坐標(biāo)系設(shè)置建立的旋轉(zhuǎn)攝影嚴(yán)格方程是合理的，不僅能擴(kuò)大單棋盤格標(biāo)定控制范圍還可給出良好的側(cè)視攝像機(jī)外參初值，從而確保MPC側(cè)視攝像機(jī)外參的穩(wěn)定、可靠求解。

(2) 利用MPC多視幾何關(guān)系求解中心攝像機(jī)外參是有效的，同時(shí)旋轉(zhuǎn)攝影也解決了中心攝像機(jī)與單個(gè)側(cè)視攝像機(jī)因重疊視野小而無(wú)法提供有效同名像點(diǎn)作為觀測(cè)值之不足，從而確保MPC中心攝像機(jī)外參的穩(wěn)定、高精度求解。

(3) 結(jié)合普通二維轉(zhuǎn)臺(tái)與棋盤格標(biāo)定參照物對(duì)MPC外參進(jìn)行組合標(biāo)定是可行的，成功擺脫傳統(tǒng)MPC外參估計(jì)依賴于3D標(biāo)定場(chǎng)之應(yīng)用限制，且全景視頻輸出效果媲美高精度三維標(biāo)定場(chǎng)標(biāo)定參數(shù)。

5 總 結(jié)

攝像機(jī)參數(shù)的精確獲取是MPC輸出高質(zhì)量全景視頻的前提，但傳統(tǒng)MPC組合標(biāo)定依賴于高精度3D控制信息，實(shí)施成本高且需專業(yè)人員操作，對(duì)MPC應(yīng)用開展形成限制。據(jù)此本文以LCD棋盤格作為標(biāo)定參照物，提出一種結(jié)合旋轉(zhuǎn)攝影的MPC棋盤格組合標(biāo)定方法，通過(guò)可控的旋轉(zhuǎn)攝影擴(kuò)大單個(gè)2D棋盤格參照物對(duì)MPC的標(biāo)定控制范圍并增加MPC子攝像機(jī)間的連接點(diǎn)作為冗余觀測(cè)值，將MPC置于普通二維轉(zhuǎn)臺(tái)僅需一周旋轉(zhuǎn)成像即可實(shí)現(xiàn)MPC外參嚴(yán)格解算，成本低、精度高、操作簡(jiǎn)單、對(duì)實(shí)施條件依賴小，全景視頻輸出效果媲美高精度三維標(biāo)定場(chǎng)標(biāo)定參數(shù)，是一種較理想的MPC組合標(biāo)定方法。本文標(biāo)定過(guò)程中MPC子攝像機(jī)內(nèi)參利用張正有標(biāo)定算法給并作為已知值，但通過(guò)合理的拍照控制設(shè)計(jì)(如增加轉(zhuǎn)臺(tái)旋轉(zhuǎn)周數(shù)并改變LCD相對(duì)于轉(zhuǎn)臺(tái)平面的角度)可獲得滿足張正友標(biāo)定算法要求的多視角棋盤格標(biāo)定影像，從這一角度而言，本文方法可實(shí)現(xiàn)MPC攝像機(jī)內(nèi)、外參數(shù)的完整標(biāo)定。本文方法并未考慮棋盤格角點(diǎn)提取精度問題，下一步工作將引入更準(zhǔn)確的角點(diǎn)檢測(cè)算法并采用不同大小標(biāo)定板進(jìn)行精度驗(yàn)證，同時(shí)也將結(jié)合更多實(shí)際場(chǎng)景對(duì)本文方法進(jìn)行測(cè)試并不斷優(yōu)化標(biāo)定方案、流程，以使之實(shí)用化。