曹 君，洪 勇

（1.武漢城市職業(yè)學(xué)院，湖北 武漢 430064；2.立得空間信息技術(shù)股份有限公司，湖北 武漢 430070）

車載魚眼相機(jī)的間接法全景影像拼接

曹 君1,2，洪 勇2

（1.武漢城市職業(yè)學(xué)院，湖北 武漢 430064；2.立得空間信息技術(shù)股份有限公司，湖北 武漢 430070）

提出了一種車載魚眼相機(jī)的間接法全景影像拼接方法，由拼接后全景影像上的像點(diǎn)坐標(biāo)出發(fā)反求其在原始圖像上的像點(diǎn)坐標(biāo)，從而解決拼接所得全景影像像點(diǎn)非規(guī)則排列問題。通過實(shí)驗(yàn)發(fā)現(xiàn)，采用該方法得到的全景影像畫面清晰、成像質(zhì)量明顯提高，證實(shí)了該方法進(jìn)行車載魚眼影像全景拼接的可靠性。

魚眼相機(jī)；間接法；全景影像拼接

近年來，街景地圖作為一種全新的實(shí)景地圖服務(wù)模式，能為用戶提供城市、街道或其他環(huán)境360°全景影像，給用戶帶來身臨其境的感受[1]，從而得到國內(nèi)多家圖商和互聯(lián)網(wǎng)企業(yè)的青睞。目前，考慮到地圖連續(xù)性、成像視場角、影像分辨率等因素，街景地圖采集主要是通過車載多視點(diǎn)組合式魚眼全景相機(jī)獲取。然而，受數(shù)據(jù)量大、成像模式等方面限制，如何通過序列魚眼相機(jī)數(shù)據(jù)實(shí)現(xiàn)全景影像快速無縫拼接，一直是困擾各大數(shù)據(jù)生產(chǎn)商的問題。

基于上述前提，本文對(duì)車載魚眼相機(jī)的全景影像拼接模型進(jìn)行了推演，針對(duì)直接法全景影像拼接存在部分像元素內(nèi)可能出現(xiàn)“空白”（無像點(diǎn)），而有的像元素可能出現(xiàn)重復(fù)（多個(gè)像點(diǎn)）問題提出了一種間接全景影像拼接方法[2]，即由拼接后全景影像上像點(diǎn)坐標(biāo)出發(fā)反求其在原始影像上的像點(diǎn)坐標(biāo)，從而解決拼接影像像點(diǎn)非規(guī)則排列問題。

1 間接法全景影像拼接

由于現(xiàn)有全景相機(jī)由多個(gè)光心位置、不同焦距、不同獨(dú)立魚眼相機(jī)組合而成，直接從全景影像像素坐標(biāo)獲取其對(duì)應(yīng)原始魚眼影像上的像素坐標(biāo)G（srcx，srcy）較為復(fù)雜，因此，本文對(duì)該轉(zhuǎn)換過程進(jìn)行了細(xì)化，分如下幾步進(jìn)行：

1）全景像素坐標(biāo)系P（dstx, dsty） 到全景球面坐標(biāo)系PO（θ，φ）。全景像素坐標(biāo)系到全景球面坐標(biāo)系間的投影關(guān)系如圖1所示。

對(duì)全景影像上任意一點(diǎn)P（dstx，dsty）在全景球上對(duì)應(yīng)的坐標(biāo)PO可通過球面上的點(diǎn)與X軸夾角φ、與XOY平面的夾角θ來表示，其轉(zhuǎn)換關(guān)系如下：

式中，imgW、imgH分別表示全景影像的寬度和高度。

圖1 全景像素坐標(biāo)系到全景球面坐標(biāo)系

2）全景球面坐標(biāo)系PO（θ，φ）到單個(gè)相機(jī)平面坐標(biāo)系 PC（u，v）。受魚眼影像失真和變形較大的影響，在獲得像點(diǎn)在全景球面坐標(biāo)系上的坐標(biāo)后，不能直接將其對(duì)應(yīng)到單個(gè)魚眼相機(jī)坐標(biāo)系中，要先將其轉(zhuǎn)化為理想的平面坐標(biāo)系[3]。全景球面坐標(biāo)系到單個(gè)相機(jī)平面坐標(biāo)系之間的變換關(guān)系如圖2所示。

圖2 全景球面坐標(biāo)系到單個(gè)相機(jī)平面坐標(biāo)系

由于全景球面中心O與各相機(jī)攝影中心C并非嚴(yán)格位于同一幾何中心，因此，在解算全景球面坐標(biāo)PO（θ，φ）與相機(jī)平面坐標(biāo) PC（u，v）之間變換關(guān)系時(shí)，往往先假定某一物方距離D來解算球面點(diǎn)對(duì)應(yīng)物方點(diǎn)PG的坐標(biāo)值：

式中，（XO，YO，ZO）為全景球中心坐標(biāo)，全景球面坐標(biāo)系往往以該中心為原點(diǎn)，且該坐標(biāo)一般為（0，0，0）。依據(jù)共線條件方程求解該點(diǎn)在相機(jī)平面坐標(biāo)系中的坐標(biāo)值 ：

式中，（XC，YC，ZC）為事先通過高精度檢校得到的單個(gè)相機(jī)在全景球坐標(biāo)系下的坐標(biāo)；a1，a2，…c3為檢校得到的單個(gè)相機(jī)在全景球坐標(biāo)系中的旋轉(zhuǎn)向量。

3）相機(jī)平面坐標(biāo)系PC（u，v）到原始魚眼影像坐標(biāo)系PF（xF，yF）。在事先獲得魚眼相機(jī)畸變系數(shù)前提下，可根據(jù)魚眼相機(jī)球面坐標(biāo)解算其對(duì)應(yīng)的相機(jī)平面坐標(biāo)，但由于影像從球面轉(zhuǎn)為平面后，影像尺寸大幅度拉伸，因此，采用此方法獲得的平面影像往往存在大量“黑洞”。為彌補(bǔ)這一不足，可首先根據(jù)相機(jī)平面坐標(biāo)值獲取其向徑值及切向角再對(duì)魚眼相機(jī)通用畸變校正模型的反函數(shù)進(jìn)行多項(xiàng)式擬合[4]，得到相機(jī)平面坐標(biāo)向徑rC與魚眼相機(jī)球面坐標(biāo)向徑rF的對(duì)應(yīng)關(guān)系：

式中，p1，p2，…，pn+1為對(duì)檢校所得畸變函數(shù)進(jìn)行反函數(shù)擬合得到的多項(xiàng)式系數(shù)。解算其對(duì)應(yīng)的原始魚眼影像坐標(biāo)系下的坐標(biāo)值：

4）灰度內(nèi)插與賦值。經(jīng)過上述3個(gè)步驟計(jì)算后，即可獲得目標(biāo)全景影像上各像點(diǎn)對(duì)應(yīng)原始魚眼影像上的像點(diǎn)坐標(biāo)，但由于求得的像點(diǎn)坐標(biāo)不一定正好落在像元素中心，因此需要進(jìn)行灰度內(nèi)插，一般采用雙線性內(nèi)插方法，求得像點(diǎn)PF的灰度值g（xF，yF）并將其賦值給全景影像上的像元素P的灰度G（dstx，dsty）：

2 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證算法的有效性，本文以立得空間公司生產(chǎn)的全景影像采集系統(tǒng)LeadorHD為實(shí)驗(yàn)設(shè)備，進(jìn)行了多組全景影像生產(chǎn)實(shí)驗(yàn)。該設(shè)備由6個(gè)獨(dú)立相機(jī)組成，分別搭載焦距為8 mm的魚眼鏡頭，其中5個(gè)環(huán)繞一周水平安置，另一個(gè)朝上，用于拍攝天頂方向影像，如圖3所示。

圖3 LeadorHD全景影像采集系統(tǒng)示意圖

按本文算法流程對(duì)該設(shè)備采集的魚眼影像進(jìn)行全景拼接處理，并與直接法拼接效果進(jìn)行對(duì)比，結(jié)果分別如圖4和圖5所示。

圖4 直接法全景影像拼接效果

圖5 間接法全景影像拼接效果

從圖中可以看出，采用直接法進(jìn)行拼接得到的全景影像成像模糊且存在大量“黑洞”；而采用間接法進(jìn)行拼接則有效地避免了這一問題，全景影像畫面清晰、成像質(zhì)量明顯提高，由此，證明了本文算法的有效性。

3 結(jié) 語

針對(duì)車載魚眼相機(jī)全景影像拼接的需求，對(duì)間接法魚眼相機(jī)的全景影像拼接模型進(jìn)行了推演，該方法由拼接后全景影像上的像點(diǎn)坐標(biāo)出發(fā)反求原始影像上的像點(diǎn)坐標(biāo)，并進(jìn)行灰度賦值，能夠有效地解決直接法全景影像拼接過程中因像幅大幅度拉伸變形而產(chǎn)生的像點(diǎn)“空白”等問題，并通過實(shí)驗(yàn)驗(yàn)證了該方法的有效性與優(yōu)越性。參考文獻(xiàn)

[1] 周璞.街景地圖引領(lǐng)位置服務(wù)新方向[EB/OL].[2015-08-10]. http://soft.zol.com.cn/284/2841579_all.html

[2] 張劍清,潘勵(lì),王樹根.攝影測(cè)量學(xué)[M].武漢:武漢大學(xué)出版社,2009

[3] 季順平,史云.車載全景相機(jī)的影像匹配和光束法平差[J].測(cè)繪學(xué)報(bào),2013,42(1):94-100

[4] 馮文灝.近景攝影測(cè)量[M].武漢:武漢大學(xué)出版社,2002

[5] 崔漢國,陳軍,王大宇.魚眼圖像校正及拼接的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2007,33(10):190-192

[6] 續(xù)園園,李曉明.一種通用的魚眼圖像全景拼接方法[J].太原師范大學(xué)學(xué)報(bào),2011,10(1):20-23

[7] 楊恒.魚眼圖像拼接的研究與實(shí)現(xiàn)[D].武漢:武漢理工大學(xué),2013

P235

B

1672-4623（2016）10-0073-02

10.3969/j.issn.1672-4623.2016.10.021

曹君，碩士研究生，主要研究方向?yàn)橐苿?dòng)測(cè)量技術(shù)。

2015-08-14。

項(xiàng)目來源：國家高技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目（2015AA124001）；測(cè)繪地理信息公益性行業(yè)科研專項(xiàng)資助項(xiàng)目（201512008）。