崔紅霞，李婷婷，王 寧，陳麗君

(渤海大學(xué) 信息科學(xué)與技術(shù)學(xué)院，遼寧 錦州 121000)

0 引 言

全景相機(jī)[1-3]是近年來攝影測量學(xué)和計(jì)算機(jī)視覺等領(lǐng)域研究的熱點(diǎn)，多用于虛擬現(xiàn)實(shí)、智能交通、文物保護(hù)、影視拍攝等領(lǐng)域。一般地，全景相機(jī)由多個相機(jī)組成，以獲取不同視角影像，是實(shí)現(xiàn)三維場景高精度快速重建的手段之一[4-6]。全景相機(jī)的標(biāo)定內(nèi)容包括確定相機(jī)的內(nèi)方位元素(像主點(diǎn)、主距和畸變參數(shù))以及相機(jī)的外方位元素[7]和相機(jī)間固定的相對定向關(guān)系。傳統(tǒng)的標(biāo)定方法是在同一參考坐標(biāo)系下對每臺相機(jī)的內(nèi)外方位元素分別標(biāo)定，再利用外參數(shù)間接解算相機(jī)間的相對約束關(guān)系。這一類方法操作簡單方便，但沒有利用到相機(jī)之間的相對定向關(guān)系。文獻(xiàn)[8-9]以立體相機(jī)為研究對象，利用激光掃描技術(shù)對相機(jī)進(jìn)行標(biāo)定并提高三維重建結(jié)果的精度，但沒有利用相機(jī)間的約束條件；文獻(xiàn)[10-12]以立體相機(jī)為研究對象，有約束條件限制，按照附有約束條件的間接平差模型進(jìn)行自檢校光束法整體平差解算，有效地增加平差系統(tǒng)的多余觀測數(shù)，提高標(biāo)定的精度和穩(wěn)健性；文獻(xiàn)[13-16]以全景相機(jī)為研究對象，利用基于二次曲線、線性矩陣的奇異值、圓形標(biāo)志點(diǎn)等方法對全景相機(jī)的各組成相機(jī)進(jìn)行單機(jī)標(biāo)定，再解算相機(jī)間的相對定向關(guān)系，實(shí)驗(yàn)結(jié)果顯示，標(biāo)定方法可行、有效，具有較高的標(biāo)定精度。文中建立了一種附加約束條件的全景相機(jī)標(biāo)定方法,即以共線條件方程為基礎(chǔ)，將相機(jī)間內(nèi)在的幾何約束引入到自檢校光束法平差模型，以實(shí)現(xiàn)一種全景相機(jī)系統(tǒng)的標(biāo)定。

1 全景相機(jī)系統(tǒng)的標(biāo)定

文中采用的全景相機(jī)由八個處于同一平面的網(wǎng)絡(luò)攝像機(jī)構(gòu)成，通過同步曝光的方式進(jìn)行影像采集。標(biāo)定場由分布在四個平面的800多塊標(biāo)志板組成。如圖1(a)所示，固定在八邊形底座支架上，根據(jù)均勻分布原則在不同方位安裝攝像機(jī)，保證了周圍360°水平空間及至少60°垂直方向的視覺信息獲取無遺漏。圖1(b)為全景相機(jī)的俯視圖，分別為1-8號攝像機(jī)。

圖1 全景相機(jī)

1.1 傳統(tǒng)的相機(jī)檢校方法

相機(jī)檢校通常使用的方法有單像空間后方交會、自檢校光束法區(qū)域網(wǎng)平差等。其數(shù)學(xué)模型為帶有畸變方程的共線方程式，如下：

(1)

其中

其中，s(s=1,2,…,8)為相機(jī)編號；(xsi,ysi)為s號相機(jī)像點(diǎn)的像平面坐標(biāo),其中i=1,2,…,n；xs0、ys0、fs為相機(jī)影像的內(nèi)方位元素；(XSS,YSS,ZSS)為攝站點(diǎn)的物方空間坐標(biāo)；(XAsi,YAsi,ZAsi)為相機(jī)物方點(diǎn)的物方空間坐標(biāo)；aj、bj、cj(j=1,2,3)為影像的3個外方位角元素組成的9個方向余弦；Δxsi和Δysi分別表示相機(jī)影像的x,y方向的畸變誤差；k1s、k2s為影像徑向畸變參數(shù)，p1s、p2s為影像切向畸變參數(shù)，b1s、b2s為影像仿射畸變參數(shù)。

式1中共線方程的觀測值與未知數(shù)之間是非線性函數(shù)，需要對其進(jìn)行線性化，用一階泰勒級數(shù)公式展開，再求得各相機(jī)相應(yīng)元素改正數(shù)的系數(shù)，得到共線方程線性化公式如下：

c11ΔXSs+c12ΔYSs+c13ΔZSs+c14Δφs+c15Δωs+c16Δκs-c11ΔXsi-c12ΔYsi-c13ΔZsi+c17Δxs0+

c18Δys0+c19Δfs+c31Δk1s+c32Δk2s+c33Δp1s+c34Δp2s+c35Δb1s+c36Δb2s-lxs=0

c21ΔXSs+c22ΔYSs+c23ΔZSs+c24Δφs+c25Δωs+c26Δκs-c21ΔXsi-c22ΔYsi-c23ΔZsi+c27Δxs0+

c28Δys0+c29Δfs+c41Δk1s+c42Δk2s+c43Δp1s+c44Δp2s-lys=0

(2)

其中，c11，c12，…，c44為相應(yīng)的偏導(dǎo)數(shù)系數(shù)；ΔXSS、ΔYSS、ΔZSS、ΔφS、ΔωS、ΔκS、ΔXsi、ΔYsi、ΔZsi、Δxs0、Δys0、Δfs、Δk1s、Δk2s、Δp1s、Δp2s、Δb1s、Δb2s為每臺相機(jī)相應(yīng)元素改正數(shù)。

1.2 附有約束條件的全景相機(jī)檢校方法

在傳統(tǒng)的單相機(jī)檢校的自檢校光束法平差模型的基礎(chǔ)上，文中引入相機(jī)間約束條件即相對定向關(guān)系[17]，建立了附有約束條件的全景相機(jī)自檢校光束法平差方法。以相鄰相機(jī)m、n(m=1,2,…,7;n=2,3,…,8)為例,相機(jī)間的相對定向約束條件如下：

(3)

(4)

其中

考慮到全景相機(jī)系統(tǒng)中各個攝像機(jī)都是緊固相連的，可以假定相機(jī)之間的相對位置姿態(tài)是穩(wěn)定的。利用全景相機(jī)在不同時刻拍攝若干組影像，則p時刻和q時刻相鄰相機(jī)m和n之間存在如下約束關(guān)系：

(5)

(6)

結(jié)合式5和式6，考慮到式5中旋轉(zhuǎn)矩陣的正交性，以主對角線以下的三個元素為例是相互獨(dú)立的[11-12]。

具體約束方程為：

(7)

(8)

(9)

(10)

需要對約束方程線性化，按一階泰勒級數(shù)公式將式7展開得到的線性化公式，如式11。

即：

(11)

式8和式9方法相同，再將式10展開，如下：

(12)

文中探討的全景相機(jī)標(biāo)定方法，所采用的全景相機(jī)是由8個網(wǎng)絡(luò)攝像機(jī)組合而成，所涉及到的約束條件有7組，每相鄰兩相機(jī)之間的相對定向關(guān)系都是不變的。以1.1節(jié)的傳統(tǒng)相機(jī)檢校誤差方程與相機(jī)間相對定向約束條件的誤差方程[18-20]相結(jié)合，構(gòu)建附有約束條件的全景相機(jī)的自檢校光束法誤差方程，其中方程2寫成矩陣形式，如式13所示，式7～式10寫成矩陣的形式，如式14所示。

VS=A1X1+A2X2+A3X3-L1

(13)

CX3-L2=0

(14)

式13、式14組成附有約束條件的間接平差模型。其中，VS為觀測數(shù)的改正值；X1為相機(jī)內(nèi)方位元素改正值；X2為相機(jī)自身畸變參數(shù)改正值；X3為相機(jī)外方位元素的改正值；L1、L2為誤差方程的常數(shù)項(xiàng)(其中i,j,…,p為每臺相機(jī)的像點(diǎn)號)，m、n為相鄰相機(jī)(m=1,2,…,7;n=2,3,…,8)；A1、A2、A3、C分別為所對應(yīng)項(xiàng)的系數(shù)矩陣。根據(jù)式13、式14構(gòu)建其對應(yīng)的附有約束條件的間接平差法方程，如下：

(15)

(16)

解算過程中，為提高魯棒性，利用驗(yàn)后定權(quán)迭代法進(jìn)行迭代求解，并且迭代過程剔除殘差大于2倍中誤差的觀測值；最后，利用任意時刻相鄰相機(jī)獲取的像對的外方位元素，根據(jù)式3、式4計(jì)算其相對定向元素，即可反算出任意相鄰相機(jī)的位置和姿態(tài)[10-12]。

2 實(shí)驗(yàn)分析

文中所采用的實(shí)驗(yàn)檢校場為三維標(biāo)定場，由800余個標(biāo)志板組成，實(shí)驗(yàn)對象為8個網(wǎng)絡(luò)攝像頭組成的全景相機(jī)，攝像機(jī)焦距約為4 mm，獲取的影像大小均為2 048 pixel×1 920 pixel，拍攝距離約為2 600 mm，標(biāo)志板為70 mm×70 mm的標(biāo)志物，實(shí)驗(yàn)場中分別對每塊標(biāo)志板進(jìn)行數(shù)字編號，并以高精度全站儀測定所有控制點(diǎn)的三維空間坐標(biāo)。對于第i(1，2，…，8)個子相機(jī)的第j幅影像(j=1,2,3,4)，首先人工量測4-6個控制點(diǎn)，使其均勻分布于影像，以直接線性變換計(jì)算初始外方位元素，用于控制點(diǎn)反投影計(jì)算；利用初始的外方位元素以共線方程計(jì)算初始像點(diǎn)坐標(biāo)以確定橢圓的區(qū)域；從起始點(diǎn)進(jìn)行8鄰域跟蹤確定橢圓邊界；基于最小二乘橢圓擬合的方法提取橢圓中心點(diǎn)坐標(biāo)作為控制點(diǎn)精確的像點(diǎn)坐標(biāo)并對其編碼(如圖2所示，1號相機(jī)在同一攝站獲取的不同角度影像的像點(diǎn)提取和編碼)。圖2是以1號相機(jī)為例在不同角度拍攝的檢校場的局部圖。

圖2 不同角度拍攝的檢校場的局部圖

將全景相機(jī)在不同攝站、不同姿態(tài)獲取的實(shí)驗(yàn)場影像組合成6組影像，前3組影像，采用了三個攝站，每個相機(jī)在各攝站僅有四個姿態(tài)的影像；后3組影像，每個攝站8個姿態(tài)的影像；利用各組影像包含的標(biāo)志點(diǎn)的空間坐標(biāo)和像點(diǎn)坐標(biāo)，完成傳統(tǒng)方法和文中方法的檢校實(shí)驗(yàn)。

2.1 檢校結(jié)果分析

設(shè)方法A是傳統(tǒng)獨(dú)立相機(jī)的檢校方法，方法B是采用了相機(jī)間的固定相對定向關(guān)系的檢校方法；以相機(jī)1、2、3為例，分別以兩種方法解算相鄰相機(jī)的相對定向參數(shù)(位置、姿態(tài))，每相鄰兩相機(jī)之間的相對定向參數(shù)如表1和表2所示。

表1 相機(jī)1、2的相對定向參數(shù)比較

表2 相機(jī)2、3的相對定向參數(shù)比較

由表1、表2可以看出，利用方法A(傳統(tǒng)方法)檢校單個相機(jī)再計(jì)算相機(jī)之間相對定向關(guān)系)的前3組相對定向參數(shù)波動很大，其原因在于外方位線元素和角元素之間存在很大的相關(guān)性，內(nèi)外方位元素以及畸變參數(shù)之間存在很大的相關(guān)性，其檢校的穩(wěn)健性和精度受影像的姿態(tài)、攝站的布置、控制點(diǎn)的分布和數(shù)量等復(fù)雜因素的復(fù)合影響較大，因此導(dǎo)致整個檢校結(jié)果的波動大[1,11,14,16]；方法B因引入了固定的相對定向約束條件有利于克服參數(shù)之間的相關(guān)性，前3組數(shù)據(jù)的波動性低于方法A，但還是存在波動。后3組數(shù)據(jù)，因增加了每個攝站的影像數(shù)(不同姿態(tài))，方法A的檢校結(jié)果也能趨于穩(wěn)定，其8個子相機(jī)之間內(nèi)部兩兩相機(jī)的相對定向三個方向的線元素的最大標(biāo)準(zhǔn)差(單位：mm)分別為2.352、2.474、2.619，最小標(biāo)準(zhǔn)差分別為1.230、1.391、1.465；內(nèi)部各兩兩相機(jī)之相對定向角元素的最大標(biāo)準(zhǔn)差分別為0.212、0.134、0.221，最小標(biāo)準(zhǔn)差分別為0.05、0.04、0.01。方法B三個方向線元素的最大標(biāo)準(zhǔn)差分別為1.031、0.513、0.693，最小標(biāo)準(zhǔn)差分別為0.108、0.007、0.026；相對定向角元素的最大標(biāo)準(zhǔn)差分別為0.006、0.028、0.008，最小標(biāo)準(zhǔn)差分別為5.06×10-4、7.43×10-5、8.06×10-5。方法B的內(nèi)部相對定向關(guān)系波動更小、可以忽略不記，更趨于穩(wěn)定。

2.2 檢校精度分析

標(biāo)定場共有809個均勻分布的標(biāo)志點(diǎn)，選擇其中分布均勻的112個作為檢查點(diǎn)，其余為控制點(diǎn)。利用方法B的檢校結(jié)果，統(tǒng)計(jì)檢查點(diǎn)在8個獨(dú)立相機(jī)影像上的反投影像點(diǎn)中誤差和檢查點(diǎn)在X、Y和Z方向上的坐標(biāo)中誤差，如表3所示。

表3 相機(jī)檢查點(diǎn)誤差統(tǒng)計(jì)

從表3可以看出，基于文中檢校方法，7個相機(jī)的反投影像點(diǎn)平面中誤差均控制在0.81 μm以內(nèi)，即小于1/3 pixel(像元尺寸為2.5 μm)，其中4號相機(jī)的反投影誤差大于1/3 pixel小于1/2 pixel。檢查點(diǎn)物方空間坐標(biāo)誤差在X方向和Y方向比Z方向小，X方向的誤差在2 mm以內(nèi)、Y方向的誤差在1 mm以內(nèi)、Z方向誤差控制在2.5 mm內(nèi)；考慮到攝影距離2 600 mm，平面方向的相對精度達(dá)到1/1 858，深度方向(Z方向)的相對精度約為1/1 253。但個別檢查點(diǎn)本身誤差較大，測量精度不高，尤其在深度方向的精度較差。

3 結(jié)束語

傳統(tǒng)兩個或兩個以上相機(jī)組成的系統(tǒng)標(biāo)定沿用單相機(jī)檢校方法，方法簡單，但容易出現(xiàn)相機(jī)之間的相對定向計(jì)算結(jié)果不一致的穩(wěn)健性問題；對于多個相機(jī)組成的全景相機(jī)，各相機(jī)之間的相對定向關(guān)系標(biāo)定的不一致，直接影響全景虛擬拼接成像的精度和穩(wěn)定性，甚至無法全景虛擬成像。文中拓展單相機(jī)和立體相機(jī)檢校方法，提出了一種附有約束條件的全景相機(jī)標(biāo)定方法。多個網(wǎng)絡(luò)攝像頭構(gòu)建的全景相機(jī)系統(tǒng)的標(biāo)定實(shí)驗(yàn)證明，引入相對定向關(guān)系的標(biāo)定方法能取得穩(wěn)健的標(biāo)定結(jié)果且檢校精度較高，可推廣至其他類似的全景相機(jī)系統(tǒng)的標(biāo)定。為進(jìn)一步提高測量精度，需要進(jìn)一步分析控制點(diǎn)的數(shù)量、分布、控制點(diǎn)測量精度對全景相機(jī)檢校精度的影響；進(jìn)一步分析攝站的設(shè)置對檢校精度的影響，研究相鄰相機(jī)相對定向角元素和線元素約束條件的定權(quán)方法以提高檢校精度。