劉俸材，李愛迪，馬澤忠

1.重慶市國土資源和土地房屋勘測規(guī)劃院，重慶 400020

2.國家遙感應(yīng)用工程技術(shù)研究中心 重慶研究中心，重慶 400020

基于投影儀和攝像機的結(jié)構(gòu)光視覺標(biāo)定方法

劉俸材1，2，李愛迪1，2，馬澤忠1，2

1.重慶市國土資源和土地房屋勘測規(guī)劃院，重慶 400020

2.國家遙感應(yīng)用工程技術(shù)研究中心 重慶研究中心，重慶 400020

利用計算機視覺技術(shù)實現(xiàn)三維物體的掃描和場景恢復(fù)，在產(chǎn)品質(zhì)量檢測、機器人導(dǎo)航、逆向工程、物體識別以及文物保護(hù)和修復(fù)等方面有著廣闊的應(yīng)用前景[1]。典型的計算機視覺技術(shù)有基于雙目立體視覺技術(shù)的被動視覺測量和基于結(jié)構(gòu)光視覺的主動視覺測量[2]，而雙目立體視覺技術(shù)存在一個難以克服的問題，就是立體匹配，避免立體匹配的一種有效方法就是采用結(jié)構(gòu)光視覺[3]。

結(jié)構(gòu)光視覺傳感器的標(biāo)定過程包括兩部分，一是攝像機內(nèi)參數(shù)的標(biāo)定，二是結(jié)構(gòu)光參數(shù)標(biāo)定即求取光柵與攝像機之間的相對位置關(guān)系[4]。攝像機內(nèi)參數(shù)的標(biāo)定已經(jīng)有通用的算法[5]，因此攝像機傳感器標(biāo)定的主要內(nèi)容就是結(jié)構(gòu)光參數(shù)標(biāo)定。目前，已經(jīng)有很多學(xué)者對結(jié)構(gòu)光參數(shù)標(biāo)定進(jìn)行了深入的研究，取得了一定的成果。如R. Dewar和K.W.James使用的“拉絲法”[6]、段發(fā)階提出的“鋸齒把法”[6]、Reid于1996年提出的一種由已知平面和圖像點的匹配直接獲得攝像機像平面點與結(jié)構(gòu)光光平面點的轉(zhuǎn)換關(guān)系的方法[6]。但是目前，所有的結(jié)構(gòu)光視覺標(biāo)定算法都只求解攝像機圖像平面與特定的結(jié)構(gòu)光平面的位置關(guān)系，而一旦光平面的空間位置發(fā)生了改變，則需要通過重新標(biāo)定才能求取新的空間點坐標(biāo)。

為實現(xiàn)結(jié)構(gòu)光視覺一次性標(biāo)定后，可以實現(xiàn)任意光平面的三維測量，本文通過求取攝像機光心和投影儀光心之間的相對位置關(guān)系，可以確定攝像機圖像平面與投影儀投射的任何光平面的空間位置關(guān)系，從而實現(xiàn)對投影儀投影的任意光柵位置進(jìn)行測量。

1 結(jié)構(gòu)光視覺模型

結(jié)構(gòu)光視覺測量原理如圖1所示。圖中，Oc為攝像機的光心，XcYcZcOc為攝像機坐標(biāo)系；Op為投影儀的光心，XpYpZpOp為投影儀坐標(biāo)系。

圖1 結(jié)構(gòu)光視覺模型

由于投影儀投影的光平面在投影儀坐標(biāo)系中的坐標(biāo)可以通過投影儀的各項參數(shù)計算出來，并且投影在被測物體上的光條可以通過攝像機標(biāo)定確定其在攝像機坐標(biāo)系中應(yīng)滿足的關(guān)系，如果知道攝像機坐標(biāo)系與投影儀坐標(biāo)系之間的相對位置關(guān)系，則可以求解出被測物體上的光條在攝像機坐標(biāo)系或者投影儀坐標(biāo)系中的具體坐標(biāo)[7]。如何求取攝像機坐標(biāo)系與投影儀坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移向量T，即攝像機光心和投影儀光心之間的相對位置關(guān)系，就是本文要解決的問題。

2 特征點在投影儀坐標(biāo)系中的坐標(biāo)

本文利用標(biāo)定板中的4個角點作為特征點，該4個特征點構(gòu)成一個長方形，如圖2所示。通過計算該四個角點在投影儀坐標(biāo)系和攝像機坐標(biāo)系中的坐標(biāo)，求取投影儀光心和攝像機光心之間的相對位置關(guān)系。本文分兩步求取特征點在投影儀坐標(biāo)系中的坐標(biāo)，即先求取特征點在投影儀坐標(biāo)系中的XY坐標(biāo)，然后求取Z坐標(biāo)。

圖2 標(biāo)定板上的特征點

2.1 特征點在投影儀坐標(biāo)系中的XY坐標(biāo)

首先，固定好標(biāo)定模板并調(diào)節(jié)投影儀的位置，使投影儀的光軸垂直于模板平面并通過由四個特征點構(gòu)成的長方形的中心。為實現(xiàn)這個目標(biāo)，可以通過投影一個十字光柵來檢測投影儀的光軸是否通過特征點構(gòu)成的長方形的中心。為實現(xiàn)投影儀的光軸垂直于標(biāo)定模板平面，可以通過調(diào)節(jié)投影儀的位置并檢測投影圖像是否為完美的長方形。如果投影儀投影的圖像為梯形，則投影儀的光軸于模板平面不垂直，可以通過調(diào)節(jié)投影儀擺放姿態(tài)實現(xiàn)投影完美的長方形圖像。

不失一般性，將標(biāo)定板上特征點組成的長方形的中心作為世界坐標(biāo)系的原點[8]，X軸水平向右，Y軸豎直向下，Z軸指向標(biāo)定板里面。投影儀坐標(biāo)系以投影儀光心為原點，三個軸的方向與世界坐標(biāo)系相同。由于投影儀的光軸垂直于模板平面且穿過世界坐標(biāo)系的原點，因此投影儀坐標(biāo)系的XY平面與世界坐標(biāo)系的XY平面平行，空間點在兩個坐標(biāo)系中的坐標(biāo)只有Z軸方向存在差異。因此，四個特征點在世界坐標(biāo)系和投影儀坐標(biāo)系中具有相同的X、Y坐標(biāo)，圖中標(biāo)定板每格的大小為30 mm× 30 mm，因此四個角點在世界坐標(biāo)系中的坐標(biāo)分別為（－60，－60，0）、（60，－60，0）、（－60，60，0）、（60，60，0），在投影儀中的坐標(biāo)為（－60，－60，z）、（60，－60，z）、（－60，60，z）、（60，60，z）。這里的z本質(zhì)上就是世界坐標(biāo)系和投影儀坐標(biāo)系在z軸上的距離[9]。

2.2 特征點在投影儀坐標(biāo)系中的Z坐標(biāo)

首先，將投影儀調(diào)整到一個合適的位置，要求投影儀的光軸垂直于模板平面且通過四個特征點構(gòu)成的長方形的中心，記錄下投影圖像在模板平面上的寬度L1。然后將投影儀向后移動一段距離L，并使得移動后的投影儀仍然滿足光軸垂直于模板平面且通過四個特征點構(gòu)成的長方形的中心，記錄下投影儀投影圖像的寬度L2，兩次投影十字光柵校正投影儀位置的圖像如圖3，圖4所示。

圖3 初始位置投影“十”字光柵

圖4 改變位置后投影“十”字光柵

求取特征點在投影儀坐標(biāo)系中的z坐標(biāo)的原理如圖5所示。為方便計算，將圖5簡化如圖6所示。

圖5 結(jié)構(gòu)光視覺標(biāo)定原理圖

圖6 結(jié)構(gòu)光視覺標(biāo)定原理簡化圖

在本文實驗中，L=244，L1=270 mm，L2=390 mm，則z=793 mm，故標(biāo)定模板上的四個角點在投影儀坐標(biāo)系中的坐標(biāo)分別為：（－60，－60，793）、（60，－60，793）、（－60，60，793）、（60，60，793）。

3 結(jié)構(gòu)光視覺標(biāo)定

由于攝像機坐標(biāo)系和投影儀坐標(biāo)系均為正交坐標(biāo)系[2，10-11]，故可以用一個3×3的矩陣 R和3×1的向量T來表示上述兩個坐標(biāo)系之間的相對位置關(guān)系。設(shè)某空間點在投影儀坐標(biāo)系中的點為(xp，yp，zp)，在攝像機坐標(biāo)系中的點為(xc，yc，zc)，則有：

由公式（3）可得：

由于投影儀的光軸垂直于標(biāo)定板并通過四個特征點構(gòu)成的長方形的中心，故可以用(-x，-y，z)、(x，-y，z)、(-x，y，z)、(x，y，z)來表示四個角點在投影儀坐標(biāo)系中的坐標(biāo)。再利用張正友靈活標(biāo)定算法求取四個特征點在攝像機坐標(biāo)系中的坐標(biāo)，并將這四個特征點的坐標(biāo)值代入式（4）、式（5）便可求解r11，r12，r21，r22，r31，r32。又由于矩陣R是單位正交矩陣[12]，故

最后，結(jié)合 r1·r3=0和 r2·r3=0確定 r13、r23、r33的符號，從而計算出r13、r23、r33。再將矩陣 R的相應(yīng)元素代入公式（3），從而計算出tx、ty、tz。至此，已經(jīng)成功求取攝像機光心與投影儀光心之間的相對位置關(guān)系，即旋轉(zhuǎn)矩陣R和平移向量T。本文實驗結(jié)果如下：

4 投影任意光柵的三維測量

為計算投影儀投影在被測物體上的任意光柵條紋在投影儀坐標(biāo)系中的坐標(biāo)，現(xiàn)將投影儀投影模型簡化如圖7所示。圖中，虛線和實線投影儀分別代表標(biāo)定階段移動前和移動后的投影儀位置。假設(shè)投影儀的投影夾角為α，則有：

圖7 光柵條紋在投影儀坐標(biāo)系中的坐標(biāo)計算

現(xiàn)設(shè)屏幕圖像中心的坐標(biāo)為(u0，v0)，屏幕圖像寬度為2w（單位：像素），橫坐標(biāo)為u的光柵條紋與投影儀主軸的夾角為β，則有：

因此，屏幕圖像上的任意光柵平面（假定橫坐標(biāo)為u）在投影儀坐標(biāo)系中的坐標(biāo)為：

設(shè)被測物體上的光柵點在攝像機坐標(biāo)系中的坐標(biāo)為(xcyczc)，在投影儀坐標(biāo)系中的坐標(biāo)為(xpypzp)，則有：

上式中，3×3的旋轉(zhuǎn)矩陣R和3×1的平移向量T已通過結(jié)構(gòu)光視覺標(biāo)定求解。由于光柵在屏幕圖像中的橫坐標(biāo)u為已知，且投影儀坐標(biāo)系中的點滿足公式（10），則：

上式中，L1、L2、d為標(biāo)定過程中的已知量，w為顯示器屏幕寬度的一半（單位：像素），u0為屏幕中心像素的橫坐標(biāo)，p為標(biāo)定系數(shù)。

由攝像機成像原理可得，攝像機坐標(biāo)系中的點(xcyczc)與其在采集得到的圖像上的對應(yīng)點的坐標(biāo)(ux，vx)滿足如下關(guān)系：

上式中，M為3×3的攝像機內(nèi)參數(shù)矩陣，已通過第2章攝像機標(biāo)定求解，c為變量系數(shù)。對于攝像機采集得到的圖像上的任意點(ux，vx)，根據(jù)公式（13）可得：

由公式（14）可得：

現(xiàn)將式（15）中計算所得(xc，yc，zc)代入公式（11）可得：

上式中，c為未知參數(shù)，因此要求解(xpypzp)至少需要四個方程，而公式（16）實際上只有三個方程，現(xiàn)結(jié)合公式（12）可得：

在公式（17）中，旋轉(zhuǎn)矩陣R和平移向量T已通過結(jié)構(gòu)光視覺標(biāo)定求解，故公式（16）中，可以通過三個方程求解三個未知數(shù)，從而可計算出(xpypzp)及參數(shù)c。

由于(ux，vx)為顯示屏幕上的任意點的坐標(biāo)，因此，可以利用該方法求取投影儀投影在物體上的任意光柵條紋在投影儀坐標(biāo)系或者攝像機坐標(biāo)系中的坐標(biāo)，從而實現(xiàn)連續(xù)快速的掃描和測量。

5 實驗與結(jié)論

本實驗使用維視MV-1300UM攝像機（分辨率均為640×480，像元尺寸為5.2 μm×5.2 μm）和明基DS550數(shù)字投影儀組成結(jié)構(gòu)光視覺系統(tǒng)并進(jìn)行標(biāo)定，用標(biāo)定后的結(jié)構(gòu)光視覺系統(tǒng)測量精度較高的標(biāo)定板（角點數(shù)為15×9，每格的大小為30 mm×30 mm）上各角點之間的距離，并與雙目立體視覺系統(tǒng)[13]測量的結(jié)果進(jìn)行比較，測量結(jié)果如表1所示。

通過表1的數(shù)據(jù)可以看出，采用本文算法標(biāo)定結(jié)構(gòu)光視覺系統(tǒng)的測量精度明顯高于雙目立體視覺系統(tǒng)，其相對誤差小于0.3%，僅為雙目立體視覺系統(tǒng)的1/3左右，其絕對誤差也小于0.4 mm。實驗結(jié)果表明該結(jié)構(gòu)光視覺標(biāo)定算法可以應(yīng)用于工藝品掃描、文物保護(hù)和恢復(fù)等領(lǐng)域。由于結(jié)構(gòu)光視覺系統(tǒng)的測量精度主要受系統(tǒng)標(biāo)定誤差、圖像特征提取誤差、測量物距等因素的影響，可以通過多次標(biāo)定視覺系統(tǒng)求取平均值、利用亞像素特征提取算法、減小測量物距等方法，進(jìn)一步提高測量精度。

表1 測量結(jié)果

6 結(jié)束語

利用數(shù)字投影儀和攝像機組成結(jié)構(gòu)光視覺系統(tǒng)，再利用張正友靈活標(biāo)定算法求取攝像機內(nèi)參數(shù)以及標(biāo)定板上的四個特征點在攝像機坐標(biāo)系中的坐標(biāo)，接著計算四個特征點在投影儀坐標(biāo)系中的坐標(biāo)，從而求取攝像機光心與投影儀光心之間的相對位置關(guān)系，實現(xiàn)結(jié)構(gòu)光視覺標(biāo)定。結(jié)合投影儀自身的參數(shù)，求取投影儀投影的任意光平面與攝像機坐標(biāo)系之間的空間位置關(guān)系，因此可以求解投影儀投影在被測物體上的任意光柵的空間坐標(biāo)，實現(xiàn)三維測量和掃描。并通過對精度誤差為0.05 mm的標(biāo)定板進(jìn)行多次測量，實驗結(jié)果的最大相對誤差為0.277%，表明該方法可以應(yīng)用于標(biāo)定基于投影儀和攝像機的結(jié)構(gòu)光視覺系統(tǒng)。

[1]Thomas P K，Luc V G.Real-time range acquisition by adaptive structured light[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2006，28（3）：432-445.

[2]陳天飛，馬孜，吳翔.基于主動視覺標(biāo)定線結(jié)構(gòu)光傳感器中的光平面[J].光學(xué)精密工程，2012，20（2）：256-264.

[3]吳彰良，盧榮勝，宮能剛，等.線結(jié)構(gòu)光視覺傳感器結(jié)構(gòu)參數(shù)優(yōu)化分析[J].傳感技術(shù)學(xué)報，2004，8（4）：709-712.

[4]Wang A Q，Shao L T.A simple method of radial distortion correction with center of distortion estimation[J].Journal of Mathematical Imaging and Vision，2009，35：165-172.

[5]孫軍華，張廣軍.結(jié)構(gòu)光視覺傳感器通用現(xiàn)場標(biāo)定方法[J].機械工程學(xué)報，2009，45（3）：174-177.

[6]張廣軍.視覺測量[M].北京：科學(xué)出版社，2008：134-148.

[7]Bradski G，Kaebler A.Learning OpenCV[M].Beijing：Tsinghua University Press，2009.

[8]Zhang Zhengyou.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2000，22（11）：1330-1334.

[9]周富強，蔡雯華.基于一維靶標(biāo)的結(jié)構(gòu)光視覺傳感器標(biāo)定[J].機械工程學(xué)報，2010，46（18）：7-13.

[10]Zhang G X，Liu S G，Qiu Z R.Non-contact measurement of sculptured surface of rotation[J].Chinese Journal of Mechanical Engineering，2004，17（4）.

[11]David A，F(xiàn)orsyth，Ponce J.Computer vsion—a modern approach[M].Beijing：Tsinghua University Press，2004.

[12]薛婷.三維視覺監(jiān)測儀器化關(guān)鍵技術(shù)研究[D].天津：天津大學(xué)，2006.

[13]劉俸材，李愛迪，馬澤忠.結(jié)構(gòu)光視覺系統(tǒng)誤差分析與參數(shù)優(yōu)化[J].計算機工程與設(shè)計，2013，34（2）：757-761.

LIU Fengcai1，2，LI Aidi1，2，MA Zezhong1，2

1.Chongqing Institute of Surveying and Planning for Land Resource and Buildings,Chongqing 400020,China
2.Chongqing Research Center,National Engineering Technology Research Center for Remote Sensing Applications,Chongqing 400020,China

To get continuous scanning of the structured-light vision system which is based on the projector and camera,it is needed to calculate the space position relationship between any light plane of the projector and image plane of the camera. Also the relative position between optical centre of camera and projector requires to be obtained.This paper settles the camera intrinsic parameters.Four corner points in the calibration board are used as characteristic points,also their extrinsic parameters are computed by using the intrinsic parameters of the camera.So coordinates of four characteristic points in the camera coordinate system can be found.The coordinates of the four characteristic points in the projector coordinate system can be computed by using the parameters of the projector itself.Thus,the relative position between optical center of camera and projector is obtained.That’s the process of calibration of structured-light based on camera and projector. The angular distance between corner points on calibration board is measured by structured-light vision system that has been calibrated above.The maximum relative error is 0.277%,which indicates that the calibration algorithm can be used in structure-light vision system based on projector and camera.

structured-light vision；calibration method；camera calibration；3D recovery

為實現(xiàn)基于投影儀和攝像機的結(jié)構(gòu)光視覺系統(tǒng)連續(xù)掃描，需要計算投影儀投影的任意光平面與攝像機圖像平面的空間位置關(guān)系，進(jìn)而需要求取攝像機光心與投影儀光心之間的相對位置關(guān)系。求取攝像機的內(nèi)參數(shù)，在標(biāo)定板上選取四個角點作為特征點并利用攝像機內(nèi)參數(shù)求取該四個特征點的外參數(shù)，從而知道四個特征點在攝像機坐標(biāo)系中的坐標(biāo)。利用投影儀自身參數(shù)求解特征點在投影儀坐標(biāo)系中的坐標(biāo)，從而計算出攝像機光心與投影儀光心之間的相對位置關(guān)系，實現(xiàn)結(jié)構(gòu)光視覺標(biāo)定。利用標(biāo)定后的視覺系統(tǒng)，對標(biāo)定板上的角點距離進(jìn)行測量，最大相對誤差為0.277%，表明該標(biāo)定算法可以應(yīng)用于基于投影儀和攝像機的結(jié)構(gòu)光視覺系統(tǒng)。

結(jié)構(gòu)光視覺；標(biāo)定方法；攝像機標(biāo)定；三維恢復(fù)

A

TP212.14

10.3778/j.issn.1002-8331.1303-0421

LIU Fengcai，LI Aidi，MA Zezhong.Method for calibration of structured-light vision based on projector and camera. Computer Engineering and Applications,2014,50（24）：168-172.

劉俸材（1985—），男，碩士，主要研究領(lǐng)域為計算機視覺；李愛迪（1979—），男，高級工程師；馬澤忠（1972—），男，土家族，博士后，正研級高級工程師。E-mail：524075200@qq.com

2013-03-27

2013-07-17

1002-8331（2014）24-0168-05

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-08-28，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130828.1540.006.html