李秀秀，鄭江濱，張艷寧，陳 寧

（西北工業(yè)大學計算機學院，西安710129）

在基于多視覺圖像的三維目標外形體重建過程中，顏色一致性約束是判斷體素是否屬于三維目標外形的重要條件，因此顏色一致性的準確計算、閾值選取將會影響到重建結果的完整性。經典體重建方法及其改進，如多視點輪廓體相交法［1］、體素著色法［2－4］和Space－carving［5－7］法，普遍存在重建結果粗糙，重建效果易受光照變化、相機色差等因素的影響。因此很多學者對光照變化、相機色差等情況下的顏色一致性計算方法進行了研究：Hornung等［3］將體素在多視圖像中投影的顏色向量歸一化以解決光照、色差問題；Wu等［8］通過不同光照條件下的深度候選方法解決光照變化、相機色差情況下的顏色一致性準確計算問題；Aganj等［9］通過模擬退火法優(yōu)化全局的顏色一致性，實現(xiàn)噪聲情況下的精確魯棒三維目標體重建。

上述方法都是針對體素顏色一致性的有效計算進行的研究，使得存在光照變化、相機色差等現(xiàn)象時仍然能夠較為準確地計算體素在多視環(huán)境下顏色一致性。然而在三維目標外形體重建過程中，如果顏色一致性使用不當，很可能將屬于目標外形的體素剔除，從而形成空洞或是重建出錯誤的三維目標外形。針對上述問題，本文提出多重顏色一致性約束，以盡可能地剔除非目標外形上的體素，并保證三維目標外形的完整。

1 算法流程

本文的目的是通過準確、有效的顏色一致性分析，實現(xiàn)三維目標的逼真、完整外形體重建。為此，本文給出如圖1所示的重建流程。

圖1 本文方法流程圖Fig.1 Flow chart of proposed algorithm

該流程在進行體素顏色一致性計算之前加入了體素可見性分析這一步驟，即確定體素在哪些視點中可見，使得體素顏色一致性的計算只在其可見視點中進行，保證了計算的準確性；在判斷體素是否屬于目標外形時，使用了多重顏色一致性約束：體素及其鄰域顏色一致性最大約束，既能剔除非目標表面的體素，又能保證三維目標外形的完整性。以下將詳細的介紹圖1中的各個步驟。

2 基于多重顏色一致性約束的三維目標體重建

給定待重建目標O，將M個相機（C1，C2，…，CM）環(huán)繞目標O放置。目標O在各個相機所成的圖像中的投影為（S1，S2，…，SM）。使用多點輪廓體相交方法［1］得到三維目標的外形凸殼，將該凸殼及其內部體素作為初始體素空間V。

2.1 體素可見性分析

對于相機Cj，如果體素P遮擋體素Q，即體素P在該相機中可見，那么滿足：

即P到相機Cj的距離小于Q到相機Cj的距離。在本文中使用了歐式距離，即：

在體素可見性分析時，遍歷V中的體素，對體素voxi（voxi∈V），在相機Cj對應的圖像上的投影區(qū)域為pi＿j。將體素voxi與相機Cj的光心連成一條直線l，那么處于體素空間V內位于l上的體素vox都滿足：

proj（vox）表示將體素vox投影于相機Cj所成的圖像中。此時，根據(jù)公式（2），計算體素空間V內位于l上的體素到相機Cj的距離，如果體素voxi滿足：

那么體素voxi相對于l∩V上的其他體素在相機Cj可見。

為了在進一步處理中，使重建出的目標外形盡可能地接近真實目標，同時避免將屬于三維目標表面的體素剔除，在重建出的三維目標外形上形成空洞，本文提出了多個最可見體素的方法，即對相機Cj除了可見的體素外，計算l∩V中的其他體素到相機Cj的距離，并按距離由小到大排序，將前N－1個體素作為備用體素保留，并將可見體素與這N－1個體素組成最可見的N個體素。

2.2 顏色一致性計算

體素著色法與Space-carving通過定義一個體素在各個相機所成圖像的顏色值的方差函數(shù)計算體素的顏色一致性，然而使用多個相機同時獲取目標圖像，很可能存在光照變化、色差等因素，因此體素的顏色一致性將會受到影響。本文為每個體素創(chuàng)建一個顏色向量，通過歸一化該向量解決上述問題，步驟如下：

（1）將給定體素vox均勻地分成8份，形成一個子體素向量，將該向量中每個元素投影到體素vox可見的vis＿num個相機所成的圖像中，得到各個子體素在各個圖像中的顏色值，形成子體素向量對應的顏色向量：pj＝｛p＿sub1j，p＿sub2j，…，p＿subij，…，p＿sub8j｝（1≤j≤vis＿num）。

（2）歸一化子體素顏色向量pj，得到（見式（5））：

（3）計算體素vox的顏色一致性。通過計算對vox可見的vis＿num個相機對應的顏色向量的相關性來得到體素vox的顏色一致性。

式中：

從上式可以看出，photo＿consis越小，對應的體素顏色一致性越大。

2.3 多重顏色一致性約束

為了保證三維目標外形體重建的逼真度、完整性，本文定義了多重顏色一致性約束：體素顏色一致性最大和體素鄰域顏色一致性最大，在盡可能多地剔除非三維目標外形上體素的同時保證目標外形的完整性。

（1）體素顏色一致性最大約束

對于體素vox，其與相機Cj對應的光心連成的直線l上位于體素空間V的體素包括：目標外形上的體素、非目標區(qū)域的體素和目標內部的體素。其中非目標區(qū)域的體素和目標內部的體素在二維圖像上投影的顏色值來自于不同的體素，因此其顏色一致性較小。在體素vox可見的相機中，尋找vox及其N－1個備用體素的顏色一致性的最大值，該最大值對應的體素即可看作三維目標外形上的體素。

（2）體素鄰域顏色一致性最大約束

如果一個體素屬于三維目標外形，那么它鄰域的體素的一部分也屬于目標的三維外形，而且當前體素與這些鄰域體素都將滿足體素顏色一致性最大約束，因此，當前體素與其鄰域體素的顏色一致性之和應該達到最大：在體素vox可見的相機Cj中，尋找最可見的N個體素及其鄰域的顏色一致性最大值，該最大值對應的體素即可看作三維目標外形上的體素。

式中：

其中neighbor（voxt）表示體素voxt的鄰域體素。

在判斷一個體素是否屬于三維目標外形時，將上述兩個約束條件結合，可有效地剔除非物體外形上的體素，而顏色一致性最大約束的使用，則可有效避免由于顏色一致性閾值選取不當造成的“過剔除”，從而保證了三維目標外形的完整性。

3 實驗結果與分析

將16臺相機環(huán)繞目標放置，獲取的圖像分辨率為648×490。這16臺相機的內外參數(shù)通過張氏標定得到。以下只給出4臺相機獲取的圖像（見圖2）。

圖2 視點1，5，9，13獲取的圖像Fig.2 Images from viewpoint1，5，9，13

實驗分別使用體素著色法和本文方法重建三維目標的外形，體素大小為8 mm×8 mm×8 mm。圖3給出了體素著色法重建出的目標外形，共包括38 702個體素。其中矩形框標出的區(qū)域是本來屬于目標區(qū)域的體素，但是由于光照、色差或是顏色一致性約束太強烈等原因，使得該區(qū)域無法重建，在目標外形上形成了空洞

圖3 體素著色法重建結果Fig.3 Reconstruction result of voxel coloring

圖4是本文方法的重建結果。在使用本文方法重建時，備用體素的個數(shù)N－1＝7，為了能夠不斷逼近真實目標的外形，在重建后，保留該外形及其內部的體素，然后迭代實施重建過程，直到剔除的體素數(shù)量達到某一閾值為止。重建結果包含34017個體素。與體素著色法重建結果相比，本文方法明顯消除了目標面部的空洞。

圖4 本文方法重建結果Fig.4 Reconstruction result of proposed algorithm

以下將重建出的三維目標外形投影到各個相機所成的圖像中，通過其對目標區(qū)域的覆蓋情況驗證本文算法在保證三維目標外形完整性時的有效性。

圖5給出了體素著色法的重建結果在二維圖像中的投影，在矩形框內，可以看到那些屬于目標區(qū)域的像素沒有被覆蓋，也就是出現(xiàn)了“過剔除”。

圖6給出了本文方法的重建結果在二維圖像中的投影，可以明顯看出目標區(qū)域被完全覆蓋了。

圖5 體素著色法重建結果在視點1，5，9，13的投影Fig.5 2D projection of reconstruction result in viewpoint 1，5，9，13 by voxel coloring

圖6 本文方法在視點1，5，9，13的投影Fig.6 2D projection of reconstruction result in viewpoint 1，5，9，13 by proposed algorithm

表1給出本文方法和voxel coloring方法在二維圖像投影中覆蓋的面積及實際目標圖像的面積對比。從表1中的視點7和14可以看出，用本文方法得到的投影區(qū)域面積大于真實目標的面積，這是由于在視點7或14中目標的某些區(qū)域不存在，但是在其他視點中卻仍然存在，而這些區(qū)域在重建過程中被重建了出來，因此其投影區(qū)域面積大于真實目標區(qū)域的面積，如圖7所示，矩形框給出了視點7和14的原始圖像中目標的頭部缺失部分，而這些部分在其他視點是存在的。

表1 投影面積比較Table 1 Comparison of projection areas by two methods

圖7 原始圖像與本文方法圖像面積對比Fig.7 Comparison between original images and 2D projection area of reconstruction result by proposed algorithm

4 結束語

在研究多視輪廓體相交、體素著色法及其改進的基礎上，提出了多重顏色一致性約束的三維目標外形重建方法，通過在重建過程中引入體素可見性分析，提高了顏色一致性計算的準確性，在判斷體素是否屬于三維目標外形時，使用了體素及其鄰域顏色一致性最大約束，在剔除非三維目標外形體素的同時，保證了三維目標外形的完整性。本文方法能夠重建較為逼真的目標外形，但是當視點不足時也會在目標三維外形上形成空洞，因此以后將針對此問題進行研究，擬借助目標運動過程提供的時空相關性重建完整的目標三維外形。

［1］Laurentini A.The visual hull concept for silhouettebased image understanding［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1994，16（2）：150-162.

［2］Seitz S M，Dyer C R.Photorealistic scene reconstruction by voxel coloring［C］∥The Conference on Computer Vision and Pattern Reconstruction，1997：1067-1073.

［3］Hornung A，Kobbetlt L.Robust and efficient photo-consistency estimation for volumetric 3D reconstruction［J］.Lecture Notes in Computer Science，2006，3952：179-190.

［4］Culberston W B，Malzbender T，Slabaugh G.Generalized voxel coloring［J］.Vision Algorithm：Theory and Practice，2000，1883：100-115.

［5］Kutulakos K N，Seitz S M.A Theory of shape by space carving［J］.International Journal of Computer Vision，2000，38（3）：199-218.

［6］Esteban C H，Schmitt F.Silhouette and stereo fusion for 3D object modeling［J］.Computer Vision and Image Understanding，2004，96（3）：367-392.

［7］Starck J，Miller G，Hilton A.Virtual view synthesis of people from multiple view viewo sequence［J］. Graphic Models，2005，67（6）：600-620.

［8］Wu Cheng-lei，Lin Ye-bin，Ji Xiang－yang，et al. Multi-view reconstruction under varying illumination conditions［C］∥IEEE International Conference on Multimedia and Expo，Mexico，2009：930-933.

［9］Aganj E，Keriven R，Pons J P.Photo-consistency surface reconstruction from noisy point clouds［C］∥IEEE International Conference on Image Processing，2009：505-508.