嚴(yán)永財(cái)，李 燕

（暨南大學(xué) 信息科學(xué)與技術(shù)學(xué)院，廣東 廣州 510640）

基于結(jié)構(gòu)光編碼技術(shù)的主動(dòng)視覺(jué)系統(tǒng)與傳統(tǒng)的立體視覺(jué)系統(tǒng)的區(qū)別在于，主動(dòng)視覺(jué)系統(tǒng)至少包含一臺(tái)向場(chǎng)景投射編碼結(jié)構(gòu)光的投影儀和一臺(tái)采集場(chǎng)景圖像的攝像機(jī)。投影儀的存在使主動(dòng)視覺(jué)系統(tǒng)可以控制特征點(diǎn)的鄰域信息以標(biāo)識(shí)特征點(diǎn)，從而解決了傳統(tǒng)視覺(jué)系統(tǒng)特征點(diǎn)匹配的問(wèn)題。目前，關(guān)于主動(dòng)視覺(jué)系統(tǒng)的研究已漸漸深入，且已經(jīng)廣泛應(yīng)用于互動(dòng)娛樂(lè)、工業(yè)測(cè)量、機(jī)器人視覺(jué)等領(lǐng)域。在運(yùn)用主動(dòng)視覺(jué)系統(tǒng)進(jìn)行三維重建之前，必須對(duì)攝像機(jī)和投影儀進(jìn)行標(biāo)定，而且標(biāo)定結(jié)果直接影響三維重建的精度。

攝像機(jī)標(biāo)定算法的研究起步較早，已經(jīng)發(fā)展得比較成熟，其中基于平面的標(biāo)定算法由于其較高的標(biāo)定精度和簡(jiǎn)單的標(biāo)定操作得到了廣泛的應(yīng)用，常用的有Z.Zhang的棋盤(pán)格算法、G.Jiang的基于同心圓算法、Tsai標(biāo)定法。而對(duì)于投影儀的平面標(biāo)定算法，通常是求出標(biāo)定板與投影圖像的點(diǎn)對(duì)應(yīng)關(guān)系，然后用類似相機(jī)標(biāo)定的方法來(lái)標(biāo)定投影儀[1-5]。其中一類方法事先標(biāo)定攝像機(jī)[1]，通過(guò)反投影來(lái)求解投影到場(chǎng)景的特征點(diǎn)的三維坐標(biāo)，用此類方法，投影儀的標(biāo)定精度會(huì)受攝像機(jī)標(biāo)定精度的制約；另一類方法不事先標(biāo)定攝像機(jī)，S.Zhang等[2]運(yùn)用正弦光柵投影，通過(guò)求垂直和水平兩個(gè)方向的相位來(lái)得到標(biāo)定平面上的固有特征點(diǎn)在投影圖像中的對(duì)應(yīng)點(diǎn)；孫勇等[3]將投影圖像和標(biāo)定板圖案設(shè)置為一模一樣的棋盤(pán)格，將兩者在相機(jī)中的成像對(duì)正，來(lái)間接求解投影圖像與標(biāo)定平面間的單應(yīng)；D.Moreno等[4]提出投影高密度的編碼結(jié)構(gòu)光給標(biāo)定平面的固有特征點(diǎn)在投影圖像中的對(duì)應(yīng)點(diǎn)定位的方法。本文提出基于彩色同心圓的投影儀標(biāo)定算法不需要事先標(biāo)定攝像機(jī)，也不必像其他既有的標(biāo)定算法那樣需要求出投影圖像與標(biāo)定板之間的單應(yīng)，其最大優(yōu)勢(shì)在于操作和處理的簡(jiǎn)易性和結(jié)果精確度的兼顧。

基于彩色同心圓的投影儀標(biāo)定需要固定投影儀和攝像機(jī)，用投影儀向一個(gè)畫(huà)有一組青色同心圓的標(biāo)定平面投影黃色洋紅色相間的棋盤(pán)格圖像，攝像機(jī)采集場(chǎng)景圖像；在預(yù)處理中利用RGB通道過(guò)濾方法分離圖像中的同心圓和棋盤(pán)格分量；分析棋盤(pán)格分量可以得到投影圖像和攝像機(jī)圖像關(guān)于標(biāo)定平面的單應(yīng)矩陣Hcp；分析同心圓分量結(jié)合上一步得到的Hcp可以求標(biāo)定平面Circular Points在投影圖像中的對(duì)應(yīng)點(diǎn)；用這些對(duì)應(yīng)點(diǎn)擬合的圓錐曲線可以求出投影儀的內(nèi)參數(shù)矩陣。此方法不僅簡(jiǎn)化了主動(dòng)視覺(jué)系統(tǒng)的標(biāo)定過(guò)程，而且獲得理想的標(biāo)定精度。

1 投影儀標(biāo)定

1.1 投影儀模型及坐標(biāo)系定義

投影儀可以看成投影方向相反的攝像機(jī)，用針孔相機(jī)模型來(lái)描述投影儀。XP是投影圖像中特征點(diǎn)的齊次坐標(biāo)，X是Xp將投影到標(biāo)定板上得到的對(duì)應(yīng)點(diǎn)齊次坐標(biāo)，則有，

其中 Pproj=Kp[R][T]為 3×4的投影矩陣，R、T分別是世界坐標(biāo)系相對(duì)投影儀坐標(biāo)系的旋轉(zhuǎn)矩陣和位移向量，Kp是投影儀內(nèi)部參數(shù)矩陣，

其中 fu、fv分別是投影儀 u、v方向的焦距，s是傾斜參數(shù)，（u0，v0）是投影儀的主點(diǎn)（Principal Point）。

標(biāo)定系統(tǒng)的坐標(biāo)系定義如圖1所示。

圖1 坐標(biāo)系定義Fig.1 The definitions of the coordinate systems

世界坐標(biāo)系OwXwYwZw定義為與攝像機(jī)坐標(biāo)系重合，即OwXwYw與攝像機(jī)圖像平面平行且Zw垂直于攝像機(jī)圖像平面。投影儀坐標(biāo)系定義OpXpYpZp與攝像機(jī)坐標(biāo)系定義類似。

1.2 同心圓的秩1約束和秩2約束

本文投影儀內(nèi)參數(shù)矩陣求解過(guò)程以及圖像預(yù)處理中同心圓分量的邊緣篩選，都運(yùn)用到同心圓投影變換前后均滿足的約束[8]：秩1約束和秩2約束。

對(duì)于已知同心圓C1、C2，其對(duì)偶圓錐曲線的線性組合為C′*=λ1C1-1+λ2C2-1， 當(dāng) C′*滿秩時(shí)，C′*與 C1、C2同心的圓 C′的對(duì)偶圓錐曲線；當(dāng)C′*的秩為1，C′*是圓心c的對(duì)偶圓錐曲線；當(dāng) C′*的秩為 2，C′*是同心圓所在平面的 Circular Points I、J的對(duì)偶圓錐曲線。C1、C2經(jīng)過(guò)投影變換 H變換為 Q1、Q2，當(dāng)Q′*=λ3Q1-1+λ4Q2-1的秩為 1， 此時(shí)的 Q′*為 Q1、Q2的秩 1 約束，記為

Δ1實(shí)際上是C1、C2的圓心在Q1、Q2所在平面上的對(duì)應(yīng)點(diǎn)的對(duì)偶圓錐曲線，當(dāng) Q′*的秩為 2 時(shí)，此時(shí)的 Q′*為 Q1、Q2的秩2約束，記為

Δ2是 C1、C2所在平面的 Circular Points 在 Q1、Q2所在平面上的對(duì)應(yīng)點(diǎn)的對(duì)偶圓錐曲線。對(duì)Δ2奇異值分解可以得到I′、J′

由公式（7）（8）可知，由兩平面的單應(yīng)矩陣可以求出其中一個(gè)平面的Circular Points在另一個(gè)平面上的對(duì)應(yīng)點(diǎn)，但是用一組同心圓映射得到Δ2的奇異值分解只能得到的 I′、J′的位置，而不能得到 I′、J′與 I、J的對(duì)應(yīng)關(guān)系。

如果已知Q1、Q2是一組同心圓的投影，則Δ1、Δ2可以通過(guò)廣義特征值分解得到。Q1、Q2的廣義特征值有3個(gè)α、α、β，α是重解，則

1.3 投影儀標(biāo)定原理

基于彩色同心圓的投影儀標(biāo)定算法關(guān)鍵是用同心圓投影變換前后需滿足的秩2約束求標(biāo)定平面的Circular Points在投影圖像中的對(duì)應(yīng)點(diǎn)和用對(duì)應(yīng)點(diǎn)擬合圓錐曲線求出投影儀內(nèi)參數(shù)矩陣。

秩2約束是分析采集圖像的同心圓分量和棋盤(pán)格分量得到的。分析棋盤(pán)格分量，用DLT算法可以求攝像機(jī)圖像到投影儀圖像的單應(yīng)矩陣Hcp；由同心圓分量可以得到標(biāo)定平面的 Circular Points Iw、Jw的成像 Iwc、Jwc，則 Iw、Jw在投影圖像中的對(duì)應(yīng)點(diǎn)Iwp、Jwp分別為：

變更標(biāo)定平面的方位采集3幅以上圖像得到3組以上Iwp、Jwp即可擬合出Absolute Conic在投影平面上的對(duì)應(yīng)圓錐曲線 ωp。

用ωp可以求投影儀的內(nèi)部參數(shù)矩陣Kp。假設(shè)投影圖像中的一點(diǎn)Xp，在三維場(chǎng)景的無(wú)窮遠(yuǎn)處有唯一的對(duì)應(yīng)點(diǎn)X∞，X∞在無(wú)窮遠(yuǎn)平面上 π∞=[0，0，0.1]T，則

其中，X?∞可以看作Xp在無(wú)窮遠(yuǎn)平面上的投影點(diǎn)在無(wú)窮遠(yuǎn)平面坐標(biāo)系（無(wú)窮遠(yuǎn)平面坐標(biāo)系中齊次坐標(biāo)X?∞，與世界坐標(biāo)系的X∞對(duì)應(yīng)）中的齊次坐標(biāo)，H∞是π∞到投影圖像的單應(yīng)矩陣。在無(wú)窮遠(yuǎn)平面坐標(biāo)系下，Absolute Conic可以表示為單位矩陣I，則Absolute Conic在投影圖像中的對(duì)應(yīng)圓錐曲線為

因此，對(duì)ωp進(jìn)行Cholesky分解可得Kp-1。

1.4 采集圖像的預(yù)處理

由于采集的圖像棋盤(pán)格分量和同心圓分量交織在一起，因此在執(zhí)行2.2的標(biāo)定過(guò)程之前，必須對(duì)采集圖像預(yù)處理以分離兩個(gè)分量。標(biāo)定板的彩色同心圓如圖2（a）所示，將棋盤(pán)格投影到標(biāo)定板上，攝像機(jī)采集的圖像如圖2（b）所示。青色的同心圓與黃色棋盤(pán)格重合位置變成綠色，與洋紅色棋盤(pán)格重合位置變成藍(lán)色，預(yù)處理步驟如下：

1）通過(guò)紅色通道并用Canny算子邊緣檢測(cè)得到如圖2（c）的邊緣圖；

2）提取出滿足秩2約束的兩條邊緣，標(biāo)記為同心圓邊緣，從而分離出同心圓分量為圖2（d）中的高亮部分；

3）綜合綠色通道和藍(lán)色通道圖像后，由于系統(tǒng)的色彩還原度較差，殘余的同心圓分量仍會(huì)影響棋盤(pán)格角點(diǎn)的提取，進(jìn)一步進(jìn)行直方圖均衡化，得到圖2（e）；

4）對(duì)圖2（e）自適應(yīng)閾值分割后得到的棋盤(pán)格分量如圖2（f）；

圖2 采集圖像的預(yù)處理過(guò)程Fig.2 The preprocessing of the gathered images

1.5 同心圓標(biāo)定算法的主要流程

1）對(duì)采集圖像預(yù)處理，分離同心圓分量和棋盤(pán)格分量；

2）由同心圓分量計(jì)算 Iwci、Jwci（i=1，2，…，n）（可標(biāo)定攝像機(jī)內(nèi)參數(shù) Kc）；

3）由棋盤(pán)格分量，求關(guān)于種朝向的標(biāo)定平面的 Hcp1、Hcp2、…、Hcpn；

4）利用公式（11）（12）求出 Iw、Jw在投影圖像中的組對(duì)應(yīng)點(diǎn) Iwpi、Jwpi（i=1，2，…，n）；

5）用最小二乘法擬合出Absolute Conic在投影圖像中的對(duì)應(yīng)圓錐曲線ωp；

6）對(duì)ωp進(jìn)行Cholesky分解得到Kp-1，求逆矩陣得到投影儀內(nèi)參數(shù)矩陣Kp。

2 實(shí)驗(yàn)與數(shù)據(jù)

搭建一個(gè)主動(dòng)視覺(jué)系統(tǒng)，通過(guò)對(duì)投影點(diǎn)的三維重建來(lái)分析投影儀標(biāo)定算法的精度。重建之前需要標(biāo)定攝像機(jī)和投影儀，用采集圖像的同心圓分量來(lái)標(biāo)定攝像機(jī)。投影儀采用Sony VPL CX21 3LCD投影儀，分辨率為1 024×768；攝像機(jī)采用MicroVision MV3000FC彩色CCD數(shù)字相機(jī)，分辨率為2 048×1 536；投影圖像為品紅色、黃色相間的棋盤(pán)格，有效區(qū)域?yàn)榭拷行牡牡膮^(qū)域；標(biāo)定板上畫(huà)有一組內(nèi)外半徑分別為12.5 cm和25 cm的青色同心圓。

由于一個(gè)標(biāo)定板朝向只需采集一幅圖像，故圖像采集過(guò)程十分簡(jiǎn)單，不需要特殊器械來(lái)固定標(biāo)定板。操作過(guò)程為：固定好投影儀和攝像機(jī)；投影儀向畫(huà)有青色同心圓的標(biāo)定板投射黃色洋紅色相間的棋盤(pán)格；攝像機(jī)采集圖像；重復(fù)改變標(biāo)定板位置和采集圖像這2個(gè)步驟直到采集到3幅以上的圖像。

實(shí)驗(yàn)將攝像機(jī)和投影儀中心距離定為500 mm，執(zhí)行2.4所述的步驟標(biāo)定出投影的內(nèi)部參數(shù)矩陣如表1所示。通過(guò)重建2 926個(gè)點(diǎn) （此時(shí)重建點(diǎn)到攝像機(jī)投影儀的平均距離約為1 200mm），用重建點(diǎn)到擬合平面的距離來(lái)衡量?jī)?nèi)參數(shù)的精度。實(shí)驗(yàn)中重建點(diǎn)偏移擬合平面的距離如圖3所示。重建點(diǎn)到擬合平面的平均距離為0.634 4mm，偏移距離的均方根為0.794 3mm。

表1 投影儀標(biāo)定結(jié)果Tab.1 Results of projector calibration

由以上的誤差分析可知，基于彩色同心圓的標(biāo)定算法不是追求最高的標(biāo)定精度，其精度相對(duì)于那些基于結(jié)構(gòu)光編碼的標(biāo)定方法[6]尚有一定的差距，但是已經(jīng)能與現(xiàn)有的許多方法[7]的相當(dāng)。此方法利用了同心圓圖案特征容易提取且與投影儀內(nèi)參數(shù)矩陣相關(guān)性高的特點(diǎn)，并充分利用標(biāo)定圖案的顏色空間，使其具備其他標(biāo)定算法所不具有的便利性。最少只需3幅圖像便可以標(biāo)定投影儀及攝像機(jī)，比精度相近的算法[5，7]平均少采集一半圖像；標(biāo)定板在一個(gè)位置只需要采集一個(gè)圖像，故不需要其他器具輔助，僅需徒手固定標(biāo)定平面。

3 結(jié)束語(yǔ)

圖3 重建點(diǎn)相對(duì)擬合平面的偏移Fig.3 Distance between reconstructed points and fitting planes

基于彩色同心圓的投影儀標(biāo)定算法有效利用簡(jiǎn)單的同心圓及棋盤(pán)格成像所提供數(shù)據(jù)，求攝像機(jī)圖像和投影圖像間的單應(yīng)矩陣結(jié)合同心圓的秩2約束完成投影儀的內(nèi)參數(shù)標(biāo)定。此外，本文還將傳統(tǒng)方法中標(biāo)定攝像機(jī)和標(biāo)定投影儀的兩個(gè)圖像整合到一個(gè)彩色圖像中，不僅減少了圖像采集量，還省去了標(biāo)定板一個(gè)朝向需采集兩幅圖像的繁瑣操作，大大簡(jiǎn)化了投影儀標(biāo)定過(guò)程，最重要的是其標(biāo)定精度仍然十分可觀。

[1]Fernandez S，Salvi J.Planar-based camera-projector calibration[C]//The 7th International Symposium on Image and Signal Processing and Analysis，2011.

[2]Zhang S，Huang PS.Novelmethod for structured light system calibration[J].Optical Engineering，2006，45（8）：83601.

[3]Sun Y，Li Y，Wang Q，et al.Calibration of the Structured LightSystem Based on Active Projection[C]//Proceedingsof the 30th Chinese Control Conference，2011：22-24.

[4]Moreno D，Taubin G.Simple，Accurate，and Robust Projector-Camera Calibration[C]//Second Joint3DIM/3DPVTConference:3D Imaging，Modeling，Processing，Visualization&Transmission，2012.

[5]張東，唐立新.基于彩色圓形標(biāo)記投射的投影儀標(biāo)定方法[J].計(jì)算機(jī)與數(shù)字工程，2011，39（4）:123-127.ZHANG Dong，TANG Li-xin.A Method of Calibrating Projector Based on Projecting Color Circular Marks[J].Computer&Digital Engineering，2011，39（4）:123-127.

[6]韋爭(zhēng)亮，鐘約先，袁朝龍，等.單攝像機(jī)單投影儀三維測(cè)量系統(tǒng)標(biāo)定技術(shù) [J].清華大學(xué)學(xué)報(bào)，2009，49 （2）：202-205.WEI Zheng-liang，ZHONG Yue-xian，YUAN Chao-long， et al.Calibration of a 3D measurement system having one camera and one projector[J].JTsinghua Univ（Sci&Tech），2009，49（2）：202-205.

[7]費(fèi)建鋒，畢德學(xué)，王永強(qiáng)，等.基于投影二維平面靶標(biāo)的投影儀現(xiàn)場(chǎng)標(biāo)定方法研究[J].傳感器與微系統(tǒng)，2008，27（4）:34-39.FEIJian-feng，BIDe-xue，WANG Yong-qiang，et al.Research on online calibration of projector based on projecting 2 D planar target[J].Transducer and Microsystem Technologies，2008， 27（4）:34-39.

[8]Kim J，Gurdjos P，Kweon I.Geometric and algebraic constraints of projected concentric circles and their applica-tions to camera calibration[J].IEEE Transaction On Pattern Analysis and Machine Intelligence，2005，27（4）:637-642.