施天敏，李鋒，徐鳴華

（江蘇科技大學(xué) 電子信息學(xué)院，江蘇 鎮(zhèn)江　212003）

基于雙目視覺(jué)測(cè)量系統(tǒng)的投影儀標(biāo)定方法

施天敏，李鋒，徐鳴華

（江蘇科技大學(xué) 電子信息學(xué)院，江蘇 鎮(zhèn)江212003）

在三維視覺(jué)測(cè)量系統(tǒng)中，對(duì)儀器參數(shù)的標(biāo)定是首先需要解決的難題，而對(duì)投影儀的內(nèi)外參數(shù)標(biāo)定是三維結(jié)構(gòu)光測(cè)量系統(tǒng)中不可或缺的一部分。就目前而言，投影儀的參數(shù)標(biāo)定還存在著標(biāo)定精度偏低、方法單一、可操作性差等問(wèn)題。提出一種基于雙目視覺(jué)的投影儀標(biāo)定算法，將投影儀視為逆向相機(jī)，利用一個(gè)輔助相機(jī)捕獲投影于不同位置標(biāo)定平面，確立攝像機(jī)圖像與標(biāo)定平面之間的對(duì)應(yīng)關(guān)系，然后利用極線(xiàn)原理得到攝像機(jī)圖像與投影儀圖像之間的對(duì)應(yīng)關(guān)系，進(jìn)而獲得投影面與投影儀圖像之間的準(zhǔn)確關(guān)系，可將不成熟的投影儀標(biāo)定轉(zhuǎn)化為成熟的相機(jī)標(biāo)定。實(shí)驗(yàn)結(jié)果表明，該方法在精度上能達(dá)到標(biāo)定要求。

三維視覺(jué)；結(jié)構(gòu)光；投影儀標(biāo)定；極線(xiàn)原理

近幾年來(lái)，三維物體的測(cè)量以及掃描已經(jīng)成為計(jì)算機(jī)視覺(jué)中最熱門(mén)的領(lǐng)域，它在文物保護(hù)與恢復(fù)、機(jī)器導(dǎo)航、工業(yè)測(cè)量、制造技術(shù)以及正逆向工程等方面擁有廣闊的研究前景[1]。傳統(tǒng)的單相機(jī)-單投影三維測(cè)量系統(tǒng)一般采用相位輪廓法[2]，測(cè)量過(guò)程中用光柵投影儀將特定光柵投射至待測(cè)物體表面，利用相機(jī)捕獲因物體表面高度信息調(diào)制而產(chǎn)生變形的光柵圖像，再對(duì)采集而得的光柵圖像進(jìn)行處理，由此得出包含物體高度信息的相位，由相位信息以及標(biāo)定的系統(tǒng)參數(shù)對(duì)待測(cè)物體進(jìn)行三維點(diǎn)云重建[3]。這方法存在約束性過(guò)強(qiáng)、標(biāo)定的精準(zhǔn)度不高、操作性差等問(wèn)題，大大影響了該技術(shù)的實(shí)用性[4]。

本文將雙目視覺(jué)的原理引入至單攝像機(jī)、單投影儀系統(tǒng)[5]。具體步驟為：1）由射影變換關(guān)系建立空間標(biāo)定點(diǎn)的世界坐標(biāo)與攝像機(jī)圖像之間的對(duì)應(yīng)關(guān)系；2）利用雙目極線(xiàn)原理對(duì)攝像機(jī)圖像與投影儀圖像進(jìn)行圖像匹配；3）將攝像機(jī)投影儀的組合近似為一個(gè)雙目系統(tǒng)，逆轉(zhuǎn)雙目測(cè)量步驟，將投影儀視為逆向的攝像機(jī)，得到投影儀圖像與標(biāo)定平面之間的單應(yīng)性關(guān)系，；4）將非成像設(shè)備投影儀轉(zhuǎn)化為相對(duì)成熟的攝像機(jī)標(biāo)定技術(shù)[6]。

1　雙目視覺(jué)傳統(tǒng)模型

傳統(tǒng)的雙目視覺(jué)測(cè)量系統(tǒng)基于圖像視差原理，理論上可以確定任意物體的三維輪廓，并得到輪廓周?chē)娜S坐標(biāo)點(diǎn)。如圖1所示，左右攝像機(jī)的成像平面的實(shí)際在光心后焦距 f處，空間點(diǎn) PC在左相機(jī)下的坐標(biāo)為（XC，YC，ZC），其在左右相機(jī)中的坐標(biāo)分別為 P1（U1，V1）和 P2（U1，V1）.為簡(jiǎn)化計(jì)算過(guò)程，令左相機(jī)坐標(biāo)系 X軸 Y軸與圖像坐標(biāo)系O1UV的U軸與V軸方向分別一致。則有如下三角幾何關(guān)系：

因此由式（1）和（2）可以得出，已知空間點(diǎn)Pc在左右相機(jī)視圖中的對(duì)應(yīng)位置就可以得到該點(diǎn)的三維坐標(biāo)。

視差的定義為空間中某一點(diǎn)在左右視圖中對(duì)應(yīng)位置差：

圖1　雙目立體成像圖Fig.1　Binocular vision schematic diagram

2　單投影儀單相機(jī)模型

圖2為由雙攝相機(jī)雙目模型改進(jìn)而得的單投影儀-單攝像機(jī)模型。點(diǎn)PW=[XWYWZW1]T是世界坐標(biāo)系的一個(gè)三維坐標(biāo)點(diǎn)，并且其對(duì)應(yīng)的相機(jī)圖像平面二維坐標(biāo)點(diǎn)為PC=[UCVC1]T。由小孔成像原理[7]可得出這兩點(diǎn)的對(duì)應(yīng)關(guān)系：

其中[RCTC]稱(chēng)為外參數(shù)矩陣，表示相機(jī)圖像與世界坐標(biāo)系之間的旋轉(zhuǎn)和平移。S為一非零尺度因子，MC稱(chēng)為相機(jī)的內(nèi)參數(shù)矩陣，其定義為：

在內(nèi)參數(shù)矩陣中，（CX，CY）為光心主點(diǎn)坐標(biāo)，（fx，fy）分別為沿著圖像平面X軸Y軸方向的焦距。

HCW為兩點(diǎn)之間的單應(yīng)性矩陣，它可以表示世界坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系：

投影儀圖像平面上二維坐標(biāo)點(diǎn)Pp=[UpVp1]T與三維坐標(biāo)點(diǎn)PW有如下關(guān)系：

投影儀可以視為反向的相機(jī)，將捕獲圖像理解為逆投射圖像，因此相機(jī)的小孔成像模型也適用于投影儀。實(shí)際光路為相機(jī)圖像平面捕獲由投影平面投射至待測(cè)物體的點(diǎn)PW，而虛擬投影過(guò)程將之變?yōu)橥队皥D像捕獲相機(jī)圖像坐標(biāo)點(diǎn)PC。

圖2　單投影儀-單相機(jī)雙目成像圖Fig.2　Projector-camera Binocular imaging

圖3　投影儀角度位置變換Fig.3　Transform the angular and position of the projector

聯(lián)立式（3）和（5），得出三維坐標(biāo)點(diǎn)PW與其在投影儀圖像對(duì)應(yīng)點(diǎn)的關(guān)系，HPW即為

攝像機(jī)圖像與投影儀圖像之間的基礎(chǔ)矩陣，是一個(gè)第九個(gè)元素為1的3×3矩陣。

結(jié)合張[8]的經(jīng)典相機(jī)標(biāo)定法，只要知道基礎(chǔ)矩陣即可完成投影儀標(biāo)定。

考慮相機(jī)模型的靈活性，攝像機(jī)標(biāo)定時(shí)相機(jī)可以與標(biāo)定平面在夾角小于20°的空間任意旋轉(zhuǎn)，同理可運(yùn)用于投影儀，為方便計(jì)算，本方法只考慮水平方向小角度旋轉(zhuǎn)及平移。令投影儀的初始位子為{P1}，則公式（6）可以寫(xiě)為：

如圖3所示，當(dāng)投影儀位子由{P1}變換到{P2}，{P3}，{Pi}，……后，投影面圖像與相機(jī)圖像之間有如下關(guān)系：

為簡(jiǎn)化計(jì)算，本實(shí)驗(yàn)僅考慮水平方向投影儀位置移動(dòng)。以投影儀初始位置光心坐標(biāo)建立坐標(biāo)系，則投影儀圖像上某一點(diǎn) （x，y，z）沿X軸方向移動(dòng)后位置為（x，m，y，z），其中m為常數(shù)，i取值1，2，3……。兩幅圖之間基礎(chǔ)矩陣可以表示為：

式（9）給出了不同位置的投影儀虛擬成像之間的關(guān)系以及它與相機(jī)圖像之間的關(guān)系?？梢钥吹剑S著投影儀位置{P1}從變換到{P2}直至{Pi}，不同位置的投影儀之間可以用基礎(chǔ)矩陣來(lái)表示。為得出如圖4所示虛擬投影面，具體步驟如下：

1）將一面結(jié)構(gòu)光圖像投射至待測(cè)平面，建立空間平面坐標(biāo)系，相機(jī)捕獲圖像，確定投影儀初試位置{P1}；

2）計(jì)算相機(jī)圖像與對(duì)應(yīng)投影儀圖像之間的基礎(chǔ)矩陣；

3）左右微移動(dòng)投影儀至位置{Pi}；

圖4　不同位置投影儀虛擬像圖間基礎(chǔ)矩陣Fig.4　The fundamental matrix of different locations between virtual image projectors

4）記錄待測(cè)面圖像位置變化以及投影儀圖像位置細(xì)微變化，相機(jī)捕獲全新投影圖像；

5）由步驟3）計(jì)算不同位置投影儀內(nèi)在位移矩陣；

6）通過(guò)步驟2）～5）計(jì)算相機(jī)圖像與虛擬投影面之間的基礎(chǔ)矩陣；

7）重復(fù)步驟3）～6），直到獲得充足標(biāo)定圖像為止.

3　圖像間基礎(chǔ)矩陣計(jì)算

由于攝像機(jī)圖像與投影儀圖像不僅大小不一而且拍攝角度差異頗大，所以不能以傳統(tǒng)圖像匹配進(jìn)行圖像間基礎(chǔ)矩陣運(yùn)算。如圖5所示，在極線(xiàn)原理中，想找到3D點(diǎn)在圖像中的點(diǎn)，需追蹤連接該點(diǎn)與相機(jī)中心的直線(xiàn)，如果我們需要通過(guò)一副圖像中的點(diǎn)找到另一幅圖像中的對(duì)應(yīng)點(diǎn)[9]，那么必須沿著這條直線(xiàn)在另一幅圖像中搜索，極點(diǎn)x所對(duì)應(yīng)的極線(xiàn)為l'。任意圖像上的點(diǎn)與它對(duì)應(yīng)的極線(xiàn)之間的關(guān)系可以用一個(gè)3×3的矩陣表示，F(xiàn)為圖像間基礎(chǔ)矩陣：

它對(duì)應(yīng)于滿(mǎn)足等式l′1x+l′2y+l′3=0的點(diǎn)的集合。因此，基礎(chǔ)矩陣F將一個(gè)視角中的點(diǎn)映射到另一個(gè)視角中的一條直線(xiàn)上。

計(jì)算一對(duì)圖像的基礎(chǔ)矩陣可以轉(zhuǎn)化為求解一組等式，其中涉及到圖像中的已知匹配點(diǎn)，最少所需匹配數(shù)量為7。通過(guò)手動(dòng)選取不少于7個(gè)已知的的高質(zhì)量點(diǎn)可以進(jìn)行匹配，代入公式7求解，可以獲取圖像基礎(chǔ)矩陣。

圖5　極線(xiàn)觀測(cè)圖Fig.5　Polar observation chart

4　投影儀標(biāo)定實(shí)驗(yàn)及結(jié)果

本文使用圖3結(jié)構(gòu)光系統(tǒng)，對(duì)此投影儀算法進(jìn)行驗(yàn)證。本文使用的相機(jī)是工業(yè)相機(jī)MV-VD500SC，分辨率為2 592× 1 944，像元大小為2.2 μm×2.2 μm，主點(diǎn)坐標(biāo)為（1 296，972）。LCD投影儀為EPSON EMP-6010，其分辨率為1 024×768。標(biāo)定結(jié)果如表1和表2所示。

表1　投影儀內(nèi)參數(shù)Tab.1 Projector intrinsic parameters

表2　投影儀某一位置外參數(shù)Tab.2　Projector extrinsic parameters in a position

本投影儀標(biāo)定是基于線(xiàn)性模型以及相機(jī)小孔成像原理的，勢(shì)必會(huì)帶來(lái)誤差。分析誤差最好的辦法是根據(jù)所得參數(shù)進(jìn)行重投影誤差分析。令點(diǎn)P（M，N）為重投影計(jì)算點(diǎn)[10]，點(diǎn)Q（m，n）為實(shí)際測(cè)量像素點(diǎn)。將投影儀放置于近似平行于待測(cè)面的位置，檢測(cè)圖像中的特征點(diǎn)像素位置，視為實(shí)際像素點(diǎn)Q。根據(jù)標(biāo)定內(nèi)外參數(shù)，由已知待測(cè)面的實(shí)際具體坐標(biāo)求得虛擬投影面上重投影坐標(biāo)P。那么重投影誤差可以用式（11）表示：

圖6為選了11張不同位置的虛擬投影圖進(jìn)行的重投影分析，由圖可以看出X軸Y軸的誤差大致都在（0.31，0.32）像素范圍以?xún)?nèi)，通過(guò)計(jì)算所有點(diǎn)的均方誤差在（0.192，0.167）像素，基本可以達(dá)到標(biāo)定的目的。

經(jīng)過(guò)重投影后，圖7為模擬投影儀各位置的虛擬投影儀圖像位置圖，包含了不同位置不同角度的虛擬投影儀面，可以清晰的看到投影儀位置變換[11]，使標(biāo)定結(jié)果一目了然。

圖6　重投影誤差分析Fig.6　The re projection error analysis

圖7　重投影后虛擬投影面Fig.7　The virtual projection plane after reprojecting

5　結(jié)　論

文中提出的投影儀標(biāo)定方技術(shù)數(shù)據(jù)僅由平面黑白方塊提供，無(wú)需復(fù)雜精密設(shè)備，也能達(dá)到適合標(biāo)定進(jìn)行下一步研究的目的。操作簡(jiǎn)單，如不考慮計(jì)算復(fù)雜度對(duì)投影儀位置無(wú)特殊要求，自帶光源特征點(diǎn)對(duì)環(huán)境適應(yīng)性強(qiáng)。將投影儀標(biāo)定轉(zhuǎn)化為成熟相機(jī)標(biāo)定，相比傳統(tǒng)標(biāo)定無(wú)需對(duì)輔助相機(jī)標(biāo)定也能達(dá)到令人滿(mǎn)意的效果。今后，本文在此基礎(chǔ)上將利用已標(biāo)定投影儀實(shí)現(xiàn)對(duì)仿人眼雙目視覺(jué)的測(cè)量，最大化的利用標(biāo)定成果。

[1]THOMASPK，LUCVG.Real—time range acquisition by adaptive structured light[J].IEEE，2008，28（3）:432-445.

[2]Zhenzhong Wei，Caiqin Li，Boshen Ding.Line structured light vision sensor calibration using parallel straight lines features[J].International Journal for Light and Electron，2014，125（17）:4990-4997.

[3]Soussen，Charles，Daul，Christian，Blondel Walter.Flexible projector calibration for activestereoscopicsystems[J]. Source:Proceedings-InternationalConferenceonImage Processing，2010 17th IEEE International Conference on Image Processing，ICIP，2010:4241-4244.

[4]許慶紅，鐘約先，由志福.光學(xué)投影輪廓測(cè)量的系統(tǒng)標(biāo)定技術(shù)[J].光學(xué)技術(shù)，2000，26（2）:126-132，133.

[5]陳會(huì)，密保秀，高志強(qiáng).結(jié)構(gòu)光三維重建系統(tǒng)中投影儀的標(biāo)定[J].科學(xué)通報(bào)，2014，59（12）:1069-1078.

[6]Fengkai Ke，Jingming Xie，Youping Chen.A fast and accurate calibration method forthe structuredlightsystem based on trapezoidal phase-shifting pattern[J].International Journal for Light and Electron Optics，2014，125（18）:5249-5253.

[7]張廣軍.計(jì)算機(jī)視覺(jué)[M].北京：科學(xué)出版社，2008.

[8]Zhengyou Zhang.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2000，22（11）:1330-1334.

[9]巨志勇，黃凱.基于共生概率特征量的行人檢測(cè)[J].電子科技，2015（11）:139-142.

[10]段園園，高瑋，雷俊杰，等.一種新型的視頻十字光標(biāo)疊加技術(shù)[J].電子設(shè)計(jì)工程，2015（20）:173-176.

[11]付振振，李蓓智，楊建國(guó)，等.撓性接頭細(xì)頸測(cè)量及圖像處理方法研究[J].中國(guó)測(cè)試，2015（10）:22-26.

The projector calibration based on binocular vision measurement system

SHI Tian-min，LI Feng，XU Ming-hua
（Department of Electronic and Information，Jiangsu University of Science and Technology，Zhenjiang 212003，China）

Calibration of the instrument parameters is the first problem in 3D vision measurement system，and the internal and external parameters of the projector calibration of structure light 3D measurement is an integral part of the system.For the present，the projector calibration still have problems，such as the precision is low，there is still a single method，it is poor operational.So we put forward a kind of projector calibration algorithm based on binocular vision，the projector is regarded as a reverse camera，the projector is used to capture images like a camera，establish the corresponding relation between the image plane and camera calibration，then obtain a correspondence between the camera and the projector image image with the help of Pole line principle.Then we can obtain the accurate relation between the projective surface and the projector image，we change the immature projector calibration into mature camera calibration.The tests show that the method can be achieved calibration requirements in accuracy.

3D vision；structure light；projector calibration；pole line principle

TN911.74

A

1674－6236（2016）01-0012-04

2015-06-03稿件編號(hào)：201506042

國(guó)家自然科學(xué)基金項(xiàng)目（51307074；11204109）

施天敏（1989—），男，江蘇南通人，碩士研究生。研究方向：計(jì)算機(jī)視覺(jué)。