王榮華　張華　徐鋒

摘要：針對3D掃描測量領(lǐng)域自動化水平不高，測量不穩(wěn)定，測量誤差較大的現(xiàn)狀，在雙目結(jié)構(gòu)光測量系統(tǒng)基于空間點(diǎn)相對距離不變性的多視拼接中，提出了一種基于三角約束和全局優(yōu)化的多視拼接方法。該方法包括：匹配標(biāo)記點(diǎn)時對由點(diǎn)距約束求得的可能匹配點(diǎn)加入三角約束，去除誤匹配點(diǎn)；初次拼接后，根據(jù)求得的重心用最小二乘法進(jìn)行全局優(yōu)化，得到優(yōu)化后的拼接矩。通過VC++，OpenCV等工具的算法實(shí)現(xiàn)表明：該方法能夠較好地抑制累積誤差，拼接方法穩(wěn)定、快速，能實(shí)現(xiàn)自動化拼接。

關(guān)鍵詞：雙目結(jié)構(gòu)光測量；點(diǎn)距不變性；多視拼接；三角約束；全局優(yōu)化

中圖分類號：TP274.5 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）09-0245-04

Abstract：The measurement technology of 3D scanning in automation level is low， its measurement process is not stable， and the measurement error is large. After the principle of binocular structured light measurement was analyzed， match the marked point to multi-view registration based on the relative distance of any two marked point in space is unchanged. A multi-view registration is proposed using triangle constraint and global optimization. The method includes： remove the false matching points in possible matching points by joining triple constraint； after the first registration， use the center of marking points to global optimization though least squares principle method. The algorithm is written by VC++ and OpenCV， and the algorithm is carried out by experiments test. The measurement results show that this method has advantage of restrain the accumulation error， keep up the process stable， fast and automatic.

Key words： binocular structured light measurement； relative distance unchanged； multi-view registration； triangle constraint； global optimization

3D掃描測量可獲得真實(shí)場景的高精度3D數(shù)據(jù)，多視數(shù)據(jù)的自動匹配[1]和拼接[2]是其關(guān)鍵環(huán)節(jié)，其中的精準(zhǔn)性、實(shí)時性、穩(wěn)定可靠性是難點(diǎn)。

早期的多視拼接方法基于輔助硬件設(shè)備來完成，最著名方法為利用旋轉(zhuǎn)平臺[3-4]來獲取物體的旋轉(zhuǎn)和平移向量[5-6]。該類方法雖然有較高的精度，但其對于機(jī)械加工的要求較高，測量系統(tǒng)結(jié)構(gòu)復(fù)雜，系統(tǒng)成本高，不利于應(yīng)用推廣。后來的多視拼接方法基本通過軟件算法來實(shí)現(xiàn)，主要方法有特征拼接[7-8]和標(biāo)記點(diǎn)拼接[9-10]。特征拼接通過獲得的圖像數(shù)據(jù)提取出具有一定特征的細(xì)節(jié)來對應(yīng)匹配，該方法對于特征豐富的被測物較有效，對于特征信息不明顯的被測物則適用性不足。標(biāo)記點(diǎn)拼接通過測量前在被測物體表面上或被測物周圍粘貼標(biāo)記點(diǎn)[11]，通過這些標(biāo)記點(diǎn)來實(shí)現(xiàn)多視拼接。該方法成本小，方便簡捷，處理過程的自動化程度高，

能夠保證拼接的精度。針對該方法，徐曉棟等[12]提出基于任意兩點(diǎn)間的相對距離不變的特征，引入“不太可能發(fā)生的小概率事件”方式進(jìn)行多視拼合，其方法在點(diǎn)距出現(xiàn)等邊三角形和等腰三角形時，會出現(xiàn)標(biāo)記點(diǎn)匹配錯誤，需人工改正，影響處理效率。周波等[13]應(yīng)用搜索標(biāo)記點(diǎn)同構(gòu)子圖的方法進(jìn)行多視拼合，該方法存在累積誤差影響點(diǎn)云拼接質(zhì)量。

本文利用三角約束和全局優(yōu)化的方法進(jìn)行多視拼合，由單次測量獲得的標(biāo)記點(diǎn)集得到距離矩陣，以標(biāo)記點(diǎn)的距離空間不變量為依據(jù)篩選出可能的匹配點(diǎn)對，再由三角約束對可能的匹配點(diǎn)對進(jìn)行篩選，去除誤匹配點(diǎn)對。對不同視圖中的標(biāo)記點(diǎn)正確匹配后，通過四元素法解算多視間的坐標(biāo)轉(zhuǎn)換矩陣以完成初次多視拼合。最后對拼合的多視數(shù)據(jù)進(jìn)行全局優(yōu)化，消除累積誤差。

1雙目結(jié)構(gòu)光測量系統(tǒng)

雙目結(jié)構(gòu)光測量系統(tǒng)由雙目立體視覺測量系統(tǒng)與結(jié)構(gòu)光測量系統(tǒng)組合而成，其中雙目立體視覺基于視差原理，由左右相機(jī)采集的圖像獲取被測物體的三維幾何信息。結(jié)構(gòu)光投射設(shè)備把事先準(zhǔn)備好的編碼相移光柵投射到被測物表面，左右相機(jī)采集到相移圖片進(jìn)行解相匹配，實(shí)現(xiàn)基于像素的點(diǎn)匹配。最后結(jié)合雙目視覺系統(tǒng)重建出物體表面的三維稠密點(diǎn)云數(shù)據(jù)。雙目結(jié)構(gòu)光測量系統(tǒng)結(jié)構(gòu)如圖1所示。

掃描測量時，左右相機(jī)先采集貼有標(biāo)記點(diǎn)的圖像，進(jìn)行標(biāo)記點(diǎn)提取、定位和重建，然后投射結(jié)構(gòu)光柵并采集光柵圖像重建稠密點(diǎn)云數(shù)據(jù)。對多視標(biāo)記點(diǎn)進(jìn)行匹配后解算多視轉(zhuǎn)換關(guān)系。再用求得的轉(zhuǎn)換關(guān)系對獲得的多視稠密點(diǎn)云進(jìn)行拼接，最終得到被測物的完整點(diǎn)云模型。

2標(biāo)記點(diǎn)多視拼接

得到一個視角下的三維標(biāo)記點(diǎn)，然后把被測物體移動一定角度再次得到三維標(biāo)記點(diǎn)。保證每次重建的標(biāo)記點(diǎn)與上一次測量有大于等于3個的公共標(biāo)記點(diǎn)。標(biāo)記點(diǎn)多視拼接是求每兩次測量之間的公共標(biāo)記點(diǎn)，對其正確匹配，依據(jù)匹配的標(biāo)記點(diǎn)計算兩次測量之間的坐標(biāo)變換關(guān)系，得到多視的轉(zhuǎn)換關(guān)系實(shí)現(xiàn)稠密點(diǎn)云的拼接。

2.1 標(biāo)記點(diǎn)三角約束匹配

假設(shè)第一次的測量為視A得到的n個標(biāo)記點(diǎn)為點(diǎn)集PA，第二次的測量為視B得到的m個標(biāo)記點(diǎn)為點(diǎn)集PB。尋找兩次測量的公共標(biāo)記點(diǎn)就轉(zhuǎn)換為在PA和PB中求取對應(yīng)的標(biāo)記點(diǎn)，即找到PA和PB中公共標(biāo)記點(diǎn)，并實(shí)現(xiàn)一一對應(yīng)。

令[PA={a1，a2，a3，...，ai...，an}；]i=1，2，…，n。

其中[ai=xiyiziT]，xi，yi，zi為PA中數(shù)據(jù)點(diǎn)的三維坐標(biāo)。同理[PB={b1，b2，b3，...，bj...，bm}；] i=1，2， … ，m。

標(biāo)記點(diǎn)三角匹配如下：

1）求距離矩陣DA和DB，即分別求點(diǎn)集PA和PB中的每一個點(diǎn)到其余點(diǎn)的歐式距離，并用矩陣來表示；

2）對距離矩陣DA中的每一行i，尋找其在DB中相同數(shù)目最多的一組j（相同數(shù)目必須要大于等于2），然后將（i，j）保存到可能的匹配點(diǎn)集，并找到（i，j）中哪些距離相同的點(diǎn)InA，InB。如圖2，圖中“[]”表示可能是同一點(diǎn)兩視角獲得的被測物上的同一個標(biāo)記點(diǎn)；

3）對InA，InB中的點(diǎn)再次求距離矩陣，循環(huán)執(zhí)行步驟2，直到只剩下2個以下的點(diǎn)。如圖2、3，為進(jìn)行第二次，第三次比對找到的可能匹配點(diǎn)；

4）每次都將（i，j）保存，當(dāng)保存的數(shù)目大于等于3的時候，結(jié)束循環(huán)求解。則步驟2中保存的（i，j）是可能的匹配點(diǎn)對；

5）通過以上步驟得到的匹配點(diǎn)是由點(diǎn)距約束求得，因此匹配點(diǎn)集中存在一對多的情況。依據(jù)唯一性原則，用三角約束去除誤匹配點(diǎn)后得到正確的匹配點(diǎn)對。

2.2 拼接矩陣求解

2.3 全局優(yōu)化

經(jīng)過上面的步驟，可以把不同視角下的標(biāo)記點(diǎn)拼接成一個整體。但求解旋轉(zhuǎn)與平移矩陣時，是根據(jù)兩視間的匹配標(biāo)記點(diǎn)求解，所以多視角拼接時存在累積誤差的問題，即兩兩誤差最小并不等同于全局誤差最小。這就導(dǎo)致點(diǎn)云拼接時出現(xiàn)斷層、拼飛等現(xiàn)象。對此，我們對拼接的多視標(biāo)記點(diǎn)進(jìn)行全局優(yōu)化以消除累積誤差。

假設(shè)一次測量進(jìn)行了M個視角的數(shù)據(jù)獲取，最終獲得N個標(biāo)記點(diǎn)，每個視角建立一個N*3的向量Di，記錄第i次掃描視角下獲得標(biāo)記點(diǎn)。因每個視角下不可能完全看到N個標(biāo)記點(diǎn)，所以將該視角下不可見的標(biāo)記點(diǎn)置為0。假設(shè)各視角的最優(yōu)旋轉(zhuǎn)、平移矩陣分別為Ri和Ti，則標(biāo)記點(diǎn)全局優(yōu)化的誤差準(zhǔn)則為：

首先求出所有標(biāo)記點(diǎn)在每個視角下的重心：[C=1Mi=1MDi∧]，用每個標(biāo)記點(diǎn)的重心點(diǎn)作為拼接后的點(diǎn)。然后把單次測量的點(diǎn)集到模型點(diǎn)集做優(yōu)化求解，優(yōu)化的目標(biāo)函數(shù)就可以表示為：[i=1MDi∧-C→min]。其步驟為：

1）計算每個標(biāo)記點(diǎn)在所有視角下的重心；

2）求取每個視角下標(biāo)記點(diǎn)到該視角下重心坐標(biāo)的變換；

3）重復(fù)步驟（1），（2）直到收斂。

3 實(shí)驗(yàn)及分析

實(shí)驗(yàn)用兩臺大恒相機(jī)，分辨率1280*1024，鏡頭焦距16mm，結(jié)構(gòu)光投射器選用三星投影儀PM410，用張正友平面標(biāo)定法進(jìn)行相機(jī)標(biāo)定。實(shí)驗(yàn)設(shè)備如圖5所示：

用DELL電腦，CPU為Intel（R） i5-2310，主頻2.9GHz，內(nèi)存4G，windows7操作系統(tǒng)。通過Visual C++， OpenCV等工具的算法實(shí)驗(yàn)效果如下所示，對貼有標(biāo)記點(diǎn)的水杯模型做掃描檢測，水杯底部直徑60mm，頂部直徑80mm，高75mm。如圖6、7所示即為第一次掃描和第二次掃描的左右相機(jī)獲得的貼有標(biāo)記點(diǎn)的水杯原始圖片。

提取圖片上的標(biāo)記點(diǎn)，用極線匹配進(jìn)行單次的左右標(biāo)記點(diǎn)匹配，依據(jù)雙目視差重建標(biāo)記點(diǎn)的三維點(diǎn)坐標(biāo)，并對標(biāo)記點(diǎn)進(jìn)行排序編號。圖8為第一次掃描時提取的左右匹配的標(biāo)記點(diǎn)圖像。

把水杯旋轉(zhuǎn)一定角度重復(fù)以上操作，并與第一次重建的標(biāo)記點(diǎn)用2.1節(jié)所述的算法進(jìn)行標(biāo)記點(diǎn)匹配，找出一一對應(yīng)點(diǎn)。如圖9、10所示，圖上編號的點(diǎn)表示第二次提出的標(biāo)記點(diǎn)，其中黑色框里顯示的標(biāo)記點(diǎn)表示第二次掃描時與第一次掃描時提取的點(diǎn)的匹配點(diǎn)（水杯上相同的標(biāo)記點(diǎn)）。圖9是沒有加入三角約束的匹配結(jié)果，由圖可知，藍(lán)色橢圓內(nèi)的點(diǎn)因與6、7、8號點(diǎn)的距離相等，因此簡單的根據(jù)點(diǎn)距約束不能確定出匹配點(diǎn)，圖10為加入三角約束后的示意圖。

依據(jù)匹配的標(biāo)記點(diǎn)，就可以采用2.2節(jié)所提的算法，獲得第一次掃描與第二次掃描的旋轉(zhuǎn)和平移矩陣。就可以實(shí)現(xiàn)兩次的三維點(diǎn)云的拼接。如圖11、12、13，即為第一次，第二次的點(diǎn)云和拼接后的點(diǎn)云拼接示意圖。

重復(fù)上述操作，直到獲得整個水杯的所有標(biāo)記點(diǎn)，使用2.3所提的優(yōu)化算法對拼接后的標(biāo)記點(diǎn)進(jìn)行全局優(yōu)化。本測試共在水杯上貼37個標(biāo)記點(diǎn)，進(jìn)行11個視角掃描測量。優(yōu)化前后，拼接后的標(biāo)記點(diǎn)的誤差如表1所示。

全局優(yōu)化后，用優(yōu)化后的各視角之間旋轉(zhuǎn)和平移矩陣進(jìn)行點(diǎn)云拼接，得到整個水杯點(diǎn)云模型如圖14所示：

通從上述實(shí)驗(yàn)示例可以看出，相對于點(diǎn)距約束進(jìn)行的標(biāo)記點(diǎn)匹配，加入三角約束后能夠準(zhǔn)確的去除因點(diǎn)距構(gòu)成等腰三角形或等邊三角形時的錯誤匹配點(diǎn)，提高了匹配的穩(wěn)定性和準(zhǔn)確性。并對拼接后的標(biāo)記點(diǎn)進(jìn)行全局優(yōu)化，拼接精度提高了0.0179mm，具體參數(shù)如表1所示，使得稠密點(diǎn)云拼接得到的3D模型更加精確。整個拼接過程完全實(shí)現(xiàn)了自動化操作，耗時較短，雙目相機(jī)標(biāo)定后，在線對物體的掃描測量能夠在5分鐘之內(nèi)獲得完整點(diǎn)云模型數(shù)據(jù)，離線操作時，實(shí)現(xiàn)整個模型的11次拼接用時15秒。

4 結(jié)束語

在3D掃描測量領(lǐng)域，多視點(diǎn)云的拼接一直是一個重要的研究課題和難點(diǎn)。本文介紹了一種基于標(biāo)記點(diǎn)的多視拼接方法，不同于其它依據(jù)標(biāo)記點(diǎn)空間點(diǎn)距不變性實(shí)現(xiàn)多視點(diǎn)云的匹配拼接，該方法用點(diǎn)距實(shí)現(xiàn)公共標(biāo)記點(diǎn)匹配時加入三角約束，這使得匹配更加穩(wěn)定、準(zhǔn)確，去除僅靠點(diǎn)距約束求得的誤匹配點(diǎn)。得到正確的匹配點(diǎn)后用四元素法解兩視角之間的轉(zhuǎn)換矩以實(shí)現(xiàn)兩視角拼接，依次拼接得到所有視角下的標(biāo)記點(diǎn)。求每個標(biāo)記點(diǎn)在所有視角下的重心用最小二乘法進(jìn)行全局優(yōu)化，得到優(yōu)化后多視角間的拼接矩實(shí)現(xiàn)多視點(diǎn)云精確拼合。多視點(diǎn)云拼合的旋轉(zhuǎn)與平移矩陣求解是依據(jù)被測物上或周圍的標(biāo)記點(diǎn)完成，點(diǎn)云數(shù)據(jù)的多少對拼合效率影響較小。通過實(shí)例可以看出本文方法在多視拼和中較好地抑制累積誤差，拼接方法穩(wěn)定、快速，能實(shí)現(xiàn)自動拼接，具有較強(qiáng)的實(shí)用價值。

參考文獻(xiàn)：

[1] SOON-YONG PARK， MURALI SUBBARARAO. A multiview 3D modeling system based on stereo vision techniques[J]. Machine Vision and Applications， 2005， 16（3）： 148-156.

[2] SONG Zhang. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering， 2009， 48（2）： 149-158.

[3] MAHMOOD N， OMAR C， TARDI T. Multiviews reconstruction for prosthetic design[J]. The International Arab Journal of Information Technology， 2012， 9（1）： 49-54.

[4] 周朗明， 鄭順義， 黃榮永. 旋轉(zhuǎn)平臺點(diǎn)云數(shù)據(jù)的配準(zhǔn)方法[J]. 測繪學(xué)報， 2013， 42（1）： 73-79.

[5] SHAO Wei， MENG Lin， QIN Haohua， et al. Error analysis of the motion estimation based on SVD theory[C]// Proceedings of the 33th Chinese Control Conference， 2014： 915-921.

[6] GHOUTI， L. Robust perceptual color image hashing using quaternion singular value decomposition[C]// 2014 IEEE International Conference on Acoustics， Speech and Signal Process， 2014： 3794-3798.

[7] 黃戈， 李曉峰. 基于CEGI和Fourier變換的全自動點(diǎn)云配準(zhǔn)算法[J]. 四川大學(xué)學(xué)報： 工程科學(xué)版， 2014， 46（5）： 104-109.

[8] 陳勇， 劉文宋， 劉善偉， 等. 一種基于Harris與RANSAC算法的圖像拼接軟件研發(fā)[J]. 測繪與空間地理信息， 2014， 37（9）： 97-100.

[9] 楊帆， 權(quán)巍， 白寶興， 等. 基于標(biāo)志點(diǎn)的三維點(diǎn)云自動拼接技術(shù)[J]. 計算機(jī)工程與設(shè)計， 2014， 35（9）： 3321-3325.）

[10] 張廣軍. 機(jī)器視覺[M]. 北京： 科學(xué)出版社， 2005.

[11] 解則曉， 高翔， 崔健. 移動式三維測量用圓形標(biāo)記點(diǎn)提取算法[J]. 中國激光， 2012， 40（12）：1-6.

[12] 許曉棟， 趙毅，李從心. 結(jié)構(gòu)光測量中多視拼合技術(shù)與算法實(shí)現(xiàn)[J]. 機(jī)床與液壓， 2005（10）： 137-141.

[13] 周波， 陳新河， 謝雪冬. 多視點(diǎn)云數(shù)據(jù)自動拼合算法[J]. 自動化與儀器儀表， 2007（1）： 11-13.