張春森 嚴(yán)露 于振

摘要：針對(duì)魚眼相機(jī)自身大視場(chǎng)、超短焦距等特點(diǎn)，使傳統(tǒng)的基于小孔成像模型的相機(jī)標(biāo)定算法無(wú)法實(shí)現(xiàn)其標(biāo)定這一問(wèn)題，提出了一種基于傳統(tǒng)Kannala模型的魚眼相機(jī)標(biāo)定優(yōu)化方法。首先研究了魚眼相機(jī)的相機(jī)成像模型和畸變類型，并在傳統(tǒng)Kannala模型基礎(chǔ)上，建立分段多項(xiàng)式逼近模型實(shí)現(xiàn)原模型優(yōu)化。其次根據(jù)傳統(tǒng)Kannala模型和優(yōu)化模型分別獲得相機(jī)內(nèi)參數(shù)和畸變系數(shù)，并通過(guò)內(nèi)參數(shù)和畸變系數(shù)獲得畸變校正圖像。最后對(duì)得到的畸變校正圖像利用反投影誤差和多視圖立體視覺(jué)三維重建分別定量和定性分析算法的優(yōu)越性。相機(jī)檢校反投影誤差分析及三維重建可視化效果證明了所給優(yōu)化模型相機(jī)標(biāo)定的有效性。

關(guān)鍵詞：相機(jī)標(biāo)定;魚眼鏡頭;分段多項(xiàng)式;畸變校正;三維重建

中圖分類號(hào)：TP 391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1672 -9315（2019）06 -1026 -07

DOI：10. 13800/j.cnki.xakjdxxb. 2019. 0615

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

收稿日期：2019 -02 - 22

責(zé)任編輯：高佳

基金項(xiàng)目：陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃（2018JM5103）

通信作者：張春森（1963 -），男，陜西西安人，博士，教授，E-mail：zhchunsen@ alivun.com

0 引言

三維重建技術(shù)已被廣泛的應(yīng)用于生活和科研工作中，特別是在街景重現(xiàn)、城市導(dǎo)航、文物保護(hù)、工業(yè)設(shè)計(jì)等方面[1]，展現(xiàn)出了極強(qiáng)的生命力和影響力。三維重建技術(shù)的重點(diǎn)在于如何獲取目標(biāo)場(chǎng)景或物體的深度信息[2]。在景物深度信息已知的條件下，只需要經(jīng)過(guò)數(shù)據(jù)的配準(zhǔn)及融合，即可實(shí)現(xiàn)景物的三維重建。在這一過(guò)程中，魚眼相機(jī)由于視角范圍大，可以達(dá)到甚至超過(guò)180度[3]，為近距離拍攝大范圍場(chǎng)景創(chuàng)造了條件，同時(shí)也為三維重建提供了便利。但是魚眼相機(jī)拍攝的圖像存在較大的畸變，不能直接用來(lái)匹配應(yīng)用，需要對(duì)圖像進(jìn)行校正。在現(xiàn)有的校正方法中，通常需要首先對(duì)魚眼相機(jī)進(jìn)行標(biāo)定獲取包括等效焦距、圖像中心、畸變系數(shù)等相關(guān)參數(shù)[4]。

Geyer等提出適用于攝像機(jī)系統(tǒng)的中心折反射式球面統(tǒng)一模型用來(lái)進(jìn)行魚眼相機(jī)的標(biāo)定[5]。Ying等將魚眼相機(jī)拍攝的標(biāo)定圖像的空間線投影到一個(gè)大圓圈，利用投影在大圓圈的數(shù)學(xué)關(guān)系優(yōu)化相機(jī)參數(shù)，由于沒(méi)有對(duì)空間線之間的位置進(jìn)行約束，只能作粗略估計(jì)[6]。Scaramuzza等假設(shè)利用泰勒級(jí)數(shù)的展開描述相機(jī)的成像過(guò)程，其系數(shù)為需要校正的相機(jī)內(nèi)參數(shù)。用于估計(jì)參數(shù)的四步線性最小二乘法，與普通最小二乘法相比，此方法更準(zhǔn)確[7]。劉鳳英等針對(duì)于全景相機(jī)利用光束法空三平差法獲得了精確的標(biāo)定參數(shù)[8]。程夢(mèng)嬌等通過(guò)激光掃描儀獲取需要標(biāo)定空間的三維點(diǎn)云圖，然后利用SIFT算法描述相機(jī)與掃描數(shù)據(jù)的對(duì)應(yīng)關(guān)系，并進(jìn)行選擇，剔除不需要或誤差大的特征點(diǎn)，采用三維隨機(jī)采樣一致性濾波器對(duì)相機(jī)標(biāo)定的參數(shù)進(jìn)行估計(jì)[9]。林春雨等根據(jù)相機(jī)成像坐標(biāo)系之間的轉(zhuǎn)換，可獲得該點(diǎn)的物理尺寸及相機(jī)焦距，得出相機(jī)標(biāo)定的內(nèi)參矩陣和旋轉(zhuǎn)矩陣[1O]。

Kannala在等距投影模型的基礎(chǔ)上提出了一種通用的多項(xiàng)式形式的魚眼相機(jī)模型[11]。然而基于多項(xiàng)式的畸變函數(shù)表示方法有局限性，由于高次多項(xiàng)式在計(jì)算上的復(fù)雜性，當(dāng)畸變函數(shù)的設(shè)計(jì)較為復(fù)雜時(shí)，多項(xiàng)式模型的求解計(jì)算誤差會(huì)很大[12]。為此，文中給出了一種采用分段多項(xiàng)式逼近的魚眼相機(jī)檢校模型[13]，以實(shí)現(xiàn)對(duì)多項(xiàng)式函數(shù)模型的優(yōu)化，通過(guò)對(duì)魚眼相機(jī)獲取的真實(shí)場(chǎng)景影像的三維重建，證明了所給方法能有效提高模型標(biāo)定的計(jì)算效果。

1 魚眼相機(jī)的相機(jī)模型和畸變

1.1 常用的魚眼相機(jī)模型

普通相機(jī)成像遵循的是針孔相機(jī)模型，在成像過(guò)程中實(shí)際場(chǎng)景中的直線仍被投影為圖像平面上的直線[14]。如果使用針孔相機(jī)成像模型，當(dāng)魚眼相機(jī)的視場(chǎng)角到180度時(shí)，投影到成像平面的場(chǎng)景將會(huì)變的無(wú)限大。所以，為了讓魚眼相機(jī)擁有較大的視場(chǎng)角并且可以將圖像投影到有限的成像平面，須允許相機(jī)畸變的存在。在這些畸變中，最嚴(yán)重的畸變是徑向畸變，因此主要考慮徑向畸變對(duì)相機(jī)成像的影響。目前，用于模擬魚眼相機(jī)成像過(guò)程的模型包括4個(gè)模型：等距投影模型，等立體角投影模型，正交投影模型及體投影模型。Kan-nala魚眼相機(jī)一般多項(xiàng)式近似模型是基于等距投影模型提出的。

式（1）為等距投影關(guān)系式，θ為成像點(diǎn)p與投影中心連線與主軸的夾角;f為焦距;r為投影中心到成像點(diǎn)之間的球面半徑。

1）視場(chǎng)角相等的點(diǎn)在像面上有等徑向距離[15]，稱之為“等距投影”;

2）等距投影的魚眼相機(jī)，對(duì)于給定的球面物成像時(shí)，其徑向放大率βr不變。切向放大率隨θ的增大而變大。

1.2 魚眼相機(jī)的畸變

為了使魚眼鏡頭的視角非常大，設(shè)計(jì)者必須做出犧牲，以允許魚眼圖像產(chǎn)生更大的變形。這種變形包括徑向畸變、切向畸變和薄透鏡畸變[16]。

1.2.1 徑向畸變

徑向畸變是沿著透鏡的徑向在畸變中心處的圖像像素中心的畸變，即遠(yuǎn)離透鏡中心的地方產(chǎn)生的形變更大。徑向畸變主要包括遠(yuǎn)離光軸和靠近光軸產(chǎn)生的枕形畸變和桶形畸變。枕形畸變的形成是由于圖像的中心向光軸中心靠攏，如圖1（a）所示。桶形畸變的形成是由于圖像的中心偏離光軸中心，如圖l（b）所示。徑向畸變的表示可以根據(jù)泰勒級(jí)數(shù)展開的前幾項(xiàng)進(jìn)行表示，經(jīng)過(guò)校正的坐標(biāo)為式（5）

1.2.2 切向畸變

切向畸變是由于安裝誤差而引起的畸變，因?yàn)榍邢蚧兊拇嬖冢粋€(gè)矩形投影到成像平面上可能會(huì)變成梯形。切向畸變由參數(shù)Pi和p2描述，經(jīng)過(guò)校正的坐標(biāo)為式（6）

1.2.3 薄棱鏡畸變

薄棱鏡畸變是由于鏡頭的設(shè)計(jì)、制造和裝配的過(guò)程中存在誤差造成了圖像的畸變，稱為薄棱鏡畸變[17]。與徑向畸變和切向畸變做比較可知，魚眼相機(jī)的畸變類型中影響相對(duì)較小的畸變是薄棱鏡畸變。如果引入全部的畸變會(huì)增加畸變參數(shù)，從而造成計(jì)算復(fù)雜并且難以求解，為此主要考慮對(duì)成像影響比較大的徑向畸變和切向畸變，綜合上述可以用參數(shù)k1，k2，k3，P1，p2來(lái)描述。

2 基于多項(xiàng)式的魚眼相機(jī)標(biāo)定

2.1

Kannala相機(jī)模型

Kannala提出了一個(gè)魚眼相機(jī)的一般近似模型，該模型是基于等距投影模型[18]提出的。Opencv中使用的正是Kannala提出的魚眼相機(jī)的一般近似模型。公式（7）給出了統(tǒng)一寫成等距投影模型的魚眼相機(jī)模型。

2.2 分段多項(xiàng)式逼近模型

用多項(xiàng)式逼近函數(shù)[19]時(shí)，一般認(rèn)為多項(xiàng)式系數(shù)越高逼近效果就越好，但是當(dāng)次數(shù)越來(lái)越高時(shí)，進(jìn)行插值會(huì)出現(xiàn)龍格效應(yīng)。為了使擬合效果更好，同時(shí)避免龍格效應(yīng)，選擇分段多項(xiàng)式插值法。已知函數(shù)f（x）的分段線性插值函數(shù)IN（x）一般形式如式（14）式中Yi為函數(shù)f（x）在x處對(duì)應(yīng)的值?？梢宰C明當(dāng)節(jié)點(diǎn)加密時(shí)，分段線性插值函數(shù)與被插函數(shù)有很好的近似性。盡管分段插值函數(shù)可以很好地?cái)M合被插函數(shù)，但是在節(jié)點(diǎn)處，插值函數(shù)一般不可導(dǎo)。為此，引入3次樣條插值。即使用3次樣條函

3 實(shí)驗(yàn)與分析

3.1 相機(jī)標(biāo)定及結(jié)果

采用12 x9的黑白棋盤格為魚眼相機(jī)標(biāo)定板，通過(guò)對(duì)標(biāo)定圖像采集、棋盤格角點(diǎn)提取、以及基于C/C++語(yǔ)言結(jié)合Open CV 3.0編寫標(biāo)定程序，最終得到魚眼相機(jī)參數(shù)。

實(shí)驗(yàn)使用GoPro生產(chǎn)的HER04 Black魚眼相機(jī)進(jìn)行12次有效拍攝，并用文中所給的算法進(jìn)行相機(jī)標(biāo)定與影像校正。圖2為魚眼相機(jī)檢校模板原始影像，圖3為檢校模板角點(diǎn)檢測(cè)結(jié)果，表1為魚眼相機(jī)標(biāo)定結(jié)果，包括內(nèi)參數(shù)和鏡頭畸變系數(shù)。為測(cè)試檢校參數(shù)的準(zhǔn)確度，對(duì)原始檢校模板影像進(jìn)行校正恢復(fù)，結(jié)果如圖4所示。

3.2 實(shí)驗(yàn)分析

如圖4所示，針對(duì)某些校正圖像中出現(xiàn)“拉伸”的情況，主要原因是在進(jìn)行拍攝時(shí)，標(biāo)定板相對(duì)于相機(jī)是傾斜的，并不與相機(jī)光軸垂直，所以會(huì)出現(xiàn)近大遠(yuǎn)小的情況，也就是“拉伸”的情況。相對(duì)于人的視覺(jué)情況而言，雖然感覺(jué)圖像存在“拉伸”，但根據(jù)透視原理，符合空間分布情況。

對(duì)于拍攝的照片，分別利用文中方法和傳統(tǒng)Kannala模型對(duì)魚眼相機(jī)進(jìn)行標(biāo)定，得到了不同模型計(jì)算出的相機(jī)的平移矩陣和旋轉(zhuǎn)矩陣，以此計(jì)算每張圖像的反投影誤差（表2），圖5為可視化的反投影誤差，可以看出：利用文中所給方法圖像的誤差有了明顯降低，總體平均誤差為0. 012 417 1pixel，與傳統(tǒng)Kannala模型的0.029 267 6 pixel相比，降低了0. 016 850 5 pixel.

為進(jìn)一步驗(yàn)證文中標(biāo)定方法及所得相機(jī)參數(shù)的有效性，基于多視圖立體視覺(jué)對(duì)影像目標(biāo)進(jìn)行三維重建并與無(wú)相機(jī)檢校參數(shù)三維重建進(jìn)行比較，圖6為利用檢校獲得內(nèi)參數(shù)和畸變系數(shù)對(duì)原圖像進(jìn)行校正比較，圖7，圖8分別為采用多視圖立體技術(shù)將SFM產(chǎn)生的稀疏點(diǎn)云稠密化過(guò)程中的影像特征提取與匹配以及點(diǎn)云重建。圖9分別為無(wú)相機(jī)參數(shù)及有相機(jī)參數(shù)三維重建比較。如圖9所示，當(dāng)加入相機(jī)參數(shù)和畸變系數(shù)之后，明顯改善了圖像扭曲的問(wèn)題，顯示的紋理特征比較全面，得到的三維模型更加真實(shí)。

4 結(jié)論

1）在研究Kannala提出的基于多項(xiàng)式的魚眼相機(jī)成像模型（Kannala模型）的基礎(chǔ)上，建立分段多項(xiàng)式逼近模型對(duì)其進(jìn)行了優(yōu)化改進(jìn)。

2）通過(guò)設(shè)計(jì)標(biāo)定板，使用CoPro生產(chǎn)的HE-R04 Black魚眼相機(jī)進(jìn)行拍攝，利用C/C++語(yǔ)言結(jié)合Open CV 3.0編寫標(biāo)定程序，得到相機(jī)的內(nèi)參數(shù)和畸變系數(shù)，并用其校正原始圖像。

3）利用反投影誤差定量分析傳統(tǒng)Kannala模型和文中算法的相機(jī)標(biāo)定的計(jì)算效果。對(duì)原始圖像和校正圖像結(jié)合運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）進(jìn)行特征提取和立體匹配，獲得加密的三維點(diǎn)云。根據(jù)Meshlab對(duì)加密的三維點(diǎn)云進(jìn)行網(wǎng)格化處理，分別獲得原始圖像和校正圖像的多視圖立體視覺(jué)三維重建模型，定性分析文中算法的優(yōu)越性。

參考文獻(xiàn)（ References）：

[1]王俊，朱利.基于圖像匹配一點(diǎn)云融合的建筑物立面三維重建[J].計(jì)算機(jī)學(xué)報(bào)，2012，35，（10）：2072- 2079.

WANC Jun， ZHU Li.3D building facade reconstructionbased on image matching-point cloud fusing[ Jl. Chi-nese Journal of Computers， 2012， 35，（10）：2072 -2079，

[2]郭連朋，陳向?qū)?，劉彬，?基于Kinect傳感器多深度圖像融合的物體三維重建[J].應(yīng)用光學(xué)，2014，35（5）：811 - 816.

GUO Lian-peng， CHEN Xiang-ning， LIU Bin， et al.3D-object reconstruction based on fusion of depth images by Kinect sensor[J].Journal of Applied Optics， 2014， 35（5）：811 - 816.

[3]吳軍，王玲容，黃明益，等，多幾何約束下的魚眼相機(jī)單像高精度標(biāo)定[ J/OL].光學(xué)學(xué)報(bào)，2018：1 - 21.

WU Jun， WANG Ling-rong， HUANG Ming-yi， et al.HighPrecision Calibration of Fisheye Camera with Single Im-age under Multiple Ceometric Constraints[ J/OL]. ActaOptica Sinica，2018：1 - 21.

[4]

Hidedki Komagaata， Ikuo Ishii， Hideo Makino， et al.High precision calibration method of intrinsic parametersfor fish-eye camera[C]//The International Society forOptical Engineering， 2009， 7432： 65 - 78.

[5]

Ceyer C Daniilidis K.Catadioptric camera calibration[C]//Proceeding of IEEE Internation Conference onComputer Vision Kerkyra; IEEEInternation Conferenceon Computer Vision， Kerkyra IEEE， 1990，1;398 - 404.

[6]

YINC Xiang-hua， HU Zhan-yi. Catadioptric camera cali-bration using geometric invariants[J].IEEE Transactionon Pattern Analysis and Intelligence， 2004， 26（ 10）;1260 - 1271.

[7] Scarmuzzad， Martinellia， Siegwart R.A fle-xible for ac-curate omnidirectional camera calibration and structurefrom motion[Cl//Proceedings of IEEE IntemationalConference on Computer Vision System New York;IEEE ，2006：45 - 52.

[8]劉鳳英，陳天恩，王冬，多影像空三平差輔助下的車載全景相機(jī)嚴(yán)密標(biāo)定方法[J].測(cè)繪通報(bào)，2017 （7）：23 -28.

LIU Feng-ying， CHEN Tian-en， WANG Dong. The cali-bration method of vehicle-borne panoramic camera basedon the aerial triangulation of the multi-direction images[J]. Bulletin of Surveying and Mapping ，2017（7）：23 - 28.

[9] 程夢(mèng)嬌，申夏晶，肖江劍，等，基于激光掃描的魚眼相機(jī)三維標(biāo)定方法[J].光學(xué)學(xué)報(bào)，2017，37 （3）：260 - 268.

CHENG Meng-jiao， SHEN Xia-jing， XIAO Jiang-jian， eta1. Three-dimensional calibration of fish-eye camerabased on laser scanner[J].Acta Optica Sinica， 2017 ，37 （3）：260 -268.

[10]林春雨，高奕，王欣，等，邊緣直線擬合確定魚眼鏡頭光心算法[J].北京交通大學(xué)學(xué)報(bào)，2017，41（2）： 8 - 14.

LIN Chun-yu， CAO Yi， Wang Xin， et al.An algorithm todetermine the fish-eye lens optical center using edgestraight-line-fitting[J].Journal of Beijing Jiaotong Uni-versity，2017 ，41 （2）：8- 14.

[11] Kannal J，Brandt S S.A generic camera model and cali-bration method for conventional， wide-angle， and fish-eyelenses[J].IEEE Transactions on Pattern Analysis andMachine Intelligence-PAMI， 2006 ，28（8）：1335 - 1340.

[12]鄭利平，徐剛強(qiáng)，李琳，等，非線性畸變分布橢圓魚眼鏡頭成像建模和校正[J].儀器儀表學(xué)報(bào)，2012，33（6）：1331 -1337.

ZHENC Li-ping， XU Cang-qiang， LI Lin， et al.Imagingmodeling and correction of nonlinear distortion distribu-tion ellipse fish-eye lens[J].Chinese Journal of Scien-tific Instrument ，2012 ，33（6）：1331 - 1337.

[13] LIN Chin-teng， SHEN Tzu-Kuei， SHOU Yu-wen. Con-struction of fisheye lens inverse perspective mappingmodel and its application of obstacle detection[J].Jour-nal on Advances in Signal Processing， 2010（1）：1- 23.

[14]石恬.車載魚眼相機(jī)自標(biāo)定研究[D].西安：西安電子科技大學(xué)，2015.

SHI Tian. Research on self-calibration of fish-eye camer-a[D]. Xi' an： Xidian University， 2015.

[15]王啟超，張維光，任永平，基于全景相機(jī)的3D坐標(biāo)測(cè)量方法[J].電子測(cè)量技術(shù)，2017 ，40（12）：203 - 208.

WANG Qi-chao， ZHANC Wei-guang， REN Yong-ping.3D coordinate measurement method based on panoramiccamera[J].Electronic Measurement Technology， 2017，40（12）：203 - 208.

[16]楊必武，郭曉松，攝像機(jī)鏡頭非線性畸變校正方法綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2005 （3）：269 -274.

YANC Bi-wu， CUO Xiao-song. Overview of nonlineardistortion correction of camera lens[J].Journal of Imageand Graphics ，2005（3）：269 - 274.

[17]高松濤，王高文，張健，等，用計(jì)算全息圖校正非球面的畸變[J].光學(xué)精密工程，2013，21（8）：1929 - 1935.

GAO Song-tao， WANG Gao-wen， ZHANC Jian， et al.Correction of distortion in asphere testing with computer-generated hologram[J].Optics and Precision Engineer-ing，2013 ，21（8）：1929 - 1935.

[18]

Ciardn Hughes， Edward Jones， Martin Clavin， et al.Ac-curacy of fish-eye lens models[J]. Applied Optics，2010 ，49 （17）：3338 - 47.

[19] Martin C B.Design issues ofa hyper-field fisheye lens[J]. Novel Optical Systems Design and OptimizationⅦ，2004 ，5524：84 - 92.

[20]張春燕，鄒偉，一種魚眼鏡頭標(biāo)定板的設(shè)計(jì)、檢測(cè)與排序方法[J].計(jì)算機(jī)工程與應(yīng)用，2015 ，51（15）：188 - 192.

ZHANG Chun-yan， ZOU Wei. Design， detection andranking method for a kind of fisheye camera's calibra-tion board[J].Computer Engineering and Applications，2015 ，51（15）：188 -192.