解則曉 余江姝

摘要：針對(duì)雙目視覺(jué)系統(tǒng)進(jìn)行水下拍攝測(cè)量時(shí)存在的測(cè)量誤差較大、局限性強(qiáng)等問(wèn)題，提出了一種基于光線追蹤法的水下雙目視覺(jué)系統(tǒng)測(cè)量模型，實(shí)驗(yàn)結(jié)果表明，利用上述測(cè)量模型對(duì)水下處于30個(gè)不同位姿的被測(cè)物上的標(biāo)準(zhǔn)距離進(jìn)行重建，測(cè)量誤差平均值為-0.04197mm，最大誤差為0.2673mm，與空氣中雙目視覺(jué)系統(tǒng)測(cè)量精度相當(dāng)。

關(guān)鍵詞：機(jī)器視覺(jué);水下雙目視覺(jué);水下攝像機(jī)標(biāo)定;平面折射幾何

中圖分類號(hào)：TP391.41? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）20-0198-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Abstract： In order to improve the accuracy of underwater measurement based on stereo vision system，a measurement model of underwater stereo vision system is proposed based on refraction light path. The experimental results show that the above measurement model is used to reconstruct the standard distances of 30 underwater objects in different positions. On this basis， the proposed measurement model of underwater binocular vision system is applied to measure the standard distances between calibration points on underwater targets. The average measurement error is -0.04197mm， the maximum error is 0.2673mm， and the binocular vision system in the air is used to measure the standard distances between calibration points on underwater targets. The measurement accuracy is comparable.

Key words： machine vision; underwater stereo vision; underwater camera calibration and measument; Flat refractive geometry

1 引言

隨著全球經(jīng)濟(jì)的發(fā)展和人們活動(dòng)范圍的擴(kuò)大，對(duì)海洋資源和海洋能源的需求不斷增加，對(duì)海洋環(huán)境的了解亟待提高。攝像機(jī)被作為聲學(xué)傳感器的補(bǔ)充在海洋地質(zhì)勘測(cè)、考古和AUV自主導(dǎo)航[1]等方面都有巨大應(yīng)用潛力在水下場(chǎng)景中，攝像機(jī)通常被密封在帶有玻璃窗的防水罩中，攝像機(jī)透過(guò)平面玻璃觀察水下環(huán)境，此時(shí)被測(cè)物反射的光線會(huì)經(jīng)過(guò)水，玻璃防水罩和空氣三種介質(zhì)進(jìn)入相機(jī)鏡頭。由于三種介質(zhì)的密度不同，傳播的光線在玻璃防水罩的上下表面會(huì)發(fā)生兩次折射，使得傳統(tǒng)成像模型不再適用，基于此而推導(dǎo)得到的陸上雙目視覺(jué)測(cè)量系統(tǒng)的數(shù)學(xué)模型也不再成立。針對(duì)此問(wèn)題，文獻(xiàn)[2-3] 用將相機(jī)成像平面后移即對(duì)攝像機(jī)焦距線性加倍的方法，來(lái)近似折射帶來(lái)的變化，但由于折射造成的成像點(diǎn)的誤差是隨折射角的變化而變化的，是非線性的，并不能用線性關(guān)系很好的表現(xiàn)。文獻(xiàn)[4-6]將折射帶來(lái)的影響用鏡頭的高次畸變來(lái)代替，即通過(guò)對(duì)鏡頭高次畸變系數(shù)的計(jì)算，來(lái)補(bǔ)償折射帶來(lái)的水下圖像的畸變，但對(duì)于與鏡頭遠(yuǎn)近不一的被測(cè)物，不同的距離應(yīng)對(duì)應(yīng)不同的高次畸變系數(shù)，所以此方法精度對(duì)景深較為敏感，有一定局限性。由于上述對(duì)折射近似方法的局限性，目前考慮光線折射的物理過(guò)程的水下相機(jī)成像模型的建模與相關(guān)參數(shù)的標(biāo)定成為國(guó)內(nèi)外研究的熱點(diǎn)[7-8]。本文提出了一種基于光線追蹤法的水下雙目視覺(jué)系統(tǒng)測(cè)量模型，并利用上述測(cè)量模型對(duì)水下標(biāo)準(zhǔn)距離進(jìn)行重建恢復(fù)，其測(cè)量精度與空氣中雙目視覺(jué)系統(tǒng)測(cè)量精度相當(dāng)，有效克服了折射對(duì)視覺(jué)系統(tǒng)的影響。

2 系統(tǒng)結(jié)構(gòu)圖

攝像機(jī)被應(yīng)用到水下場(chǎng)景中，一般都被密封在帶有平面玻璃的防水罩內(nèi)，攝像機(jī)通過(guò)平面玻璃觀察水下被測(cè)物，本文通過(guò)將被測(cè)物放置在帶有平面玻璃的水箱內(nèi)，雙目攝像機(jī)放置在水箱外側(cè)的方式來(lái)模擬相機(jī)被密封在帶有平面玻璃防水罩內(nèi)的拍攝形式，系統(tǒng)結(jié)構(gòu)圖如圖1所示。

設(shè)水下有任意一被觀測(cè)點(diǎn)[P]，以[P]在左攝像機(jī)下的成像為例，對(duì)其折射光路進(jìn)行分析，[ocl]為左攝像機(jī)光心，[PL0]為[P]經(jīng)平面玻璃防水罩折射后在左攝像機(jī)像面上的成像點(diǎn)，[PL1]、[PL2]分別為[P]點(diǎn)的左折射光路與平面玻璃防水罩內(nèi)、外側(cè)表面交點(diǎn)，[vL0]、[vL1]、[vL2]分別為折射光路[oclPL1-PL1PL2-PL2P]各個(gè)光路段對(duì)應(yīng)光線的方向向量;[n]為平面玻璃防水罩的法向量，即折射平面的法向量，[dl]為平面玻璃防水罩內(nèi)表面到左光心的距離，[dg]為平面玻璃防水罩的厚度，[μ1]、[μ1]、[μ2]為空氣、玻璃和水的相對(duì)折射率。

設(shè)成像點(diǎn)[PL0]經(jīng)鏡頭畸變補(bǔ)償后像面坐標(biāo)系下坐標(biāo)為[[Xl，Yl]]，則其對(duì)應(yīng)的入射光線[oclPL0]在左攝像機(jī)坐標(biāo)系下的方向向量為其中[nl]為平面玻璃防水罩的法向量在左攝像機(jī)坐標(biāo)系下的值，[ocl=[0，0，0]T][PL1=[xL1，yL1，zL1]T]為點(diǎn)[ocl]、[PL1]在左攝像機(jī)坐標(biāo)系下坐標(biāo)值。

根據(jù)折射定律以及光線追蹤法，設(shè)折射前、后光線方向向量分別為[vi]、[vi+1]，且折射平面法向量為[nl]，則可將折射后光線方向向量表示如下其中[Pcl]為水下被觀測(cè)點(diǎn)[P]在左攝像機(jī)坐標(biāo)系下的三維坐標(biāo)值。

相類似的，對(duì)右攝像機(jī)成像光路進(jìn)行分析，可得成像點(diǎn)[PR0]對(duì)應(yīng)的入射光線[ocrPR0]在右攝像機(jī)坐標(biāo)系下的方向向量為又兩攝像機(jī)坐標(biāo)系間旋轉(zhuǎn)矩陣為[Rrl]、平移向量為[trl]，則[RrlvR0]即為方向向量[vR0]在左攝像機(jī)坐標(biāo)系下的坐標(biāo)值，將其帶入式（4），即可得經(jīng)玻璃上、下表面折射后光線[PR1PR2]、[PL2P]在左攝像機(jī)下的方向向量[vR1]、[vR2]。

且有折射光路與平面玻璃防水罩上、下表面的交點(diǎn)[PR1、PR2]在左攝像機(jī)坐標(biāo)系下坐標(biāo)為聯(lián)立上述兩方程求交點(diǎn)，即可求解得[λwl]、[λwr]，由式（13）即可得到水下被觀測(cè)點(diǎn)[P]在左攝像機(jī)坐標(biāo)系下的坐標(biāo)值[Pcl]。再利用式攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系[R]、[T]，即可得到[P]在世界坐標(biāo)系下的坐標(biāo)，但由于實(shí)際采集圖片過(guò)程中噪聲的存在或系統(tǒng)誤差的存在，上述兩光線可能相互異面，若兩光線異面，求解兩異面直線公垂線的中點(diǎn)，就其近似為待求的空間點(diǎn)[P]。

4 實(shí)驗(yàn)與結(jié)論

為了驗(yàn)證所提出方法的可靠性，進(jìn)行模型參數(shù)標(biāo)定和水下靶標(biāo)上標(biāo)準(zhǔn)距離測(cè)量實(shí)驗(yàn)。水下雙目視覺(jué)系統(tǒng)實(shí)驗(yàn)臺(tái)如圖3所示，雙目攝像機(jī)前水箱玻璃相當(dāng)玻璃防水罩的折射平面，用此來(lái)模擬相機(jī)被密封在平面玻璃防水罩內(nèi)的拍攝情況。實(shí)驗(yàn)所用的立體視覺(jué)系統(tǒng)選用Watec公司生產(chǎn)的WAT-902B模擬攝像機(jī)，該攝像機(jī)分辨率為752pixel（H）×582pixel（V），像元尺寸為8.6?m（H）×8.3?m（V）;鏡頭選用Computar公司生產(chǎn)焦距為8mm的百萬(wàn)像素級(jí)的工業(yè)鏡頭0814-M，并選用Euresys公司的Picolo Pro2采集卡對(duì)模擬相機(jī)圖像進(jìn)行采集。所用標(biāo)定靶標(biāo)為如圖4所示的水箱內(nèi)的圓點(diǎn)形靶標(biāo)，靶標(biāo)行、列方向上每?jī)蓚€(gè)標(biāo)記點(diǎn)圓心的標(biāo)準(zhǔn)距離為25mm。

利用本文算法重建得到的水下30個(gè)姿態(tài)下靶標(biāo)上標(biāo)定點(diǎn)水下的三維信息后，對(duì)靶標(biāo)上距離最遠(yuǎn)的大圓圓形標(biāo)記點(diǎn)圓心間的150mm標(biāo)準(zhǔn)長(zhǎng)度進(jìn)行恢復(fù)，測(cè)量平均誤差為-0.04197mm，最大誤差為0.2673mm，且此時(shí)對(duì)應(yīng)的靶標(biāo)傾斜角較大。而再用本文系統(tǒng)對(duì)空氣中靶標(biāo)上150mm的長(zhǎng)度進(jìn)行測(cè)量時(shí)，測(cè)量平均誤差為0.03107mm，最大誤差為0.1579mm。

參考文獻(xiàn)：

[1] Jordt A， K?ser K， Koch R. Refractive 3D reconstruction on underwater images[J]. Methods in Oceanography， 2016， 15-16： 90-113.

[2] Ferreira R.， Costeira J.P.， Santos J.A. （2005） Stereo Reconstruction of a Submerged Scene. In： Marques J.S.， Pérez de la Blanca N.， Pina P. （eds） Pattern Recognition and Image Analysis. IbPRIA 2005. Lecture Notes in Computer Science， vol 3522. Springer， Berlin， Heidelberg.

[3] Lavest J.M.， Rives G.， Lapresté J.T. （2000） Underwater Camera Calibration. In： Vernon D. （eds） Computer Vision - ECCV 2000. ECCV 2000[C]. Lecture Notes in Computer Science， vol 1843. Springer， Berlin， Heidelberg.

[4] Shortis M R， Harvey E S.? Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[5] Shortis M R， Harvey E S.? Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[6] Lavest J，Rives G，Lapreste J. Underwater Camera Calibration[J]. Lecture Notes in Computer Science，2000：654-668.

[7] Agrawal A， Ramalingam S， Taguchi Y， et al. A Theory of Multi-layer Flat Refractive Geometry[C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2012：3346-3353.

[8] ?uczyński T， Pfingsthorn M， Birk A. The Pinax-model for accurate and efficient refraction correction of underwater cameras in flat-pane housings[J]. Ocean Engineering， 2017， 133： 9-22.

【通聯(lián)編輯：梁書(shū)】