王韶格 劉 賓 蘇新彥

（中北大學(xué)信息與通信工程學(xué)院 太原 030051）

1 引言

目標(biāo)三維表面重建技術(shù)，是通過(guò)進(jìn)行二維投影恢復(fù)三維形態(tài)特征的計(jì)算機(jī)技術(shù)［1］，能夠真實(shí)反映目標(biāo)表面形態(tài)，被廣泛應(yīng)用于人機(jī)交互、工業(yè)測(cè)量、文物保護(hù)等領(lǐng)域［2］。隨著技術(shù)的發(fā)展，為了適應(yīng)不同的領(lǐng)域，出現(xiàn)了各種各樣的方法，例如時(shí)間飛行法（TOF），立體視覺方法，結(jié)構(gòu)光照明等方法，隨著光場(chǎng)成像的興起，出現(xiàn)了一些基于光場(chǎng)的表面重建方法［3］。光場(chǎng)成像技術(shù)記錄了光線的方位和高度數(shù)據(jù)，將傳統(tǒng)意義上由二維數(shù)據(jù)恢復(fù)三維數(shù)據(jù)提升到了由四維數(shù)據(jù)恢復(fù)三維空間數(shù)據(jù)的高度［4］。結(jié)構(gòu)光測(cè)量技術(shù)是一種主動(dòng)式三維測(cè)量技術(shù)，利用投影裝置主動(dòng)投影結(jié)構(gòu)圖案［5］，記錄經(jīng)目標(biāo)表面不同物點(diǎn)深度調(diào)制的變形條紋投影圖案，求解相位信息從而得到三維深度信息［6］。

黃培森等［7］使用三種圖案的彩色編碼條紋投影技術(shù)，可以從物體表面的單個(gè)圖像快照中檢索三維表面輪廓信息。詹瑋琪［8］利用條紋投影獲得的絕對(duì)相位差引導(dǎo)左右圖像的匹配，提高三維測(cè)量結(jié)果的精確度。陳文靜等［9］提出利用顏色信息，只投射一幀攜帶π相移的正弦條紋圖，完成從一幀條紋圖中消除零頻對(duì)包含有用信息的基頻的影響。宋雷等［10］利用點(diǎn)陣圖像測(cè)得的采樣點(diǎn)處絕對(duì)相位值來(lái)控制正弦條紋截?cái)嘞辔坏恼_展開，有效克服相位展開困難。蔡澤偉等［11］對(duì)結(jié)構(gòu)光場(chǎng)的正弦分布進(jìn)行處理和變換，計(jì)算局部輻射差的角度方差獲取深度信息。陳佳偉等［12］利用結(jié)構(gòu)光場(chǎng)包裹相位得局部角方差為相位模糊提供約束條件，避免了系統(tǒng)標(biāo)定。

基于以上方法，本文提出了一種基于結(jié)構(gòu)光場(chǎng)的目標(biāo)三維重建方法。通過(guò)結(jié)合結(jié)構(gòu)照明和光場(chǎng)成像的技術(shù)優(yōu)勢(shì)，利用復(fù)合條紋投影圖案作為結(jié)構(gòu)化照明記錄光場(chǎng)信息，即結(jié)構(gòu)光場(chǎng)［13］，同時(shí)提供空間角度和相位編碼信息。通過(guò)傅里葉分析法得到每個(gè)顏色通道的包裹相位；通過(guò)計(jì)算包裹相位得角度方差確定光場(chǎng)深度，以得到深度圖；最后，進(jìn)行三維坐標(biāo)信息轉(zhuǎn)換，得到待測(cè)物體的三維信息。

2 光場(chǎng)成像模型

2.1 四維光場(chǎng)的雙平面模型

光場(chǎng)描述了空間中光線的輻射特性，包含光線在空間中的位置和角度信息［14］。通常利用雙平面模型來(lái)對(duì)光場(chǎng)進(jìn)行參數(shù)化表征，如圖1所示。

圖1 光場(chǎng)雙平面模型

利用光線與兩個(gè)平行平面的交點(diǎn)，四維光場(chǎng)可以參數(shù)化為L(zhǎng)(u,v,s,t)［15］，其中L表示記錄的輻射強(qiáng)度，→=(u,v)T表示光線的角度信息，=(s,t)T則表示光線的位置信息［16］。在(u,v)平面安裝微透鏡陣列進(jìn)行對(duì)光場(chǎng)的記錄。每一個(gè)微型透鏡單元都可以在傳感器上產(chǎn)生一組宏圖像，每一宏圖像中都含有若干個(gè)子像素每個(gè)子像素都代表主鏡頭的一個(gè)采樣，從而同時(shí)獲取光線位置信息與角度信息［17］。

通過(guò)執(zhí)行四維剪切，可以在所需圖像平面上對(duì)記錄的光場(chǎng)進(jìn)行數(shù)字重采樣，如式（1）：

其中，Lα表示剪切光場(chǎng)，式（1）中sα=s+u(1-1α)表示剪切值為α的位置坐標(biāo)剪切。剪切值α反映了目標(biāo)表面深度變化，故可標(biāo)記為圖像空間中的深度。該深度值通過(guò)光場(chǎng)剪切操作與角度信息耦合。

2.2 結(jié)構(gòu)光場(chǎng)成像模型

由于傳統(tǒng)的光場(chǎng)三維成像技術(shù)為被動(dòng)式三維成像，依賴于物體表面自身紋理結(jié)構(gòu)，對(duì)于低紋理物體成像時(shí)，存在魯棒性和精確度低等問(wèn)題。為此，本文引入結(jié)構(gòu)照明，通過(guò)將標(biāo)準(zhǔn)復(fù)合投影圖案投射到場(chǎng)景上，條紋投影圖案的相位信息被場(chǎng)景深度調(diào)制，接著使用光場(chǎng)相機(jī)記錄多個(gè)方向的調(diào)制投影信息。

結(jié)構(gòu)光場(chǎng)成像系統(tǒng)由投影儀和光場(chǎng)記錄設(shè)備組成，如圖2 所示。利用投影儀向場(chǎng)景表面投射標(biāo)準(zhǔn)投影圖案，從物點(diǎn)反射的光束被微透鏡分割并記錄在不同的像素上。能夠記錄光線的方向，從而可以區(qū)分和獨(dú)立處理從不同方向反射的光線。在結(jié)構(gòu)光照明下，探測(cè)器記錄的光線攜帶與目標(biāo)深度相關(guān)聯(lián)的調(diào)制相位信息［18］。

圖2 結(jié)構(gòu)光場(chǎng)三維成像系統(tǒng)示意圖

圖3 顯示了結(jié)構(gòu)光場(chǎng)三維成像模型在世界坐標(biāo)系XOZ下的二維示意圖，其中平行平面對(duì)表示光場(chǎng)坐標(biāo)系中的參數(shù)化光場(chǎng)，點(diǎn)P 表示投影儀的投影中心，Z=0 設(shè)置為參考平面。因此，記錄光線上的點(diǎn)的世界坐標(biāo)可以描述為和的函數(shù)。圖3 中的虛線表明，不同方向的光線可以用不同的相位值調(diào)節(jié)場(chǎng)景深度［19］。因此，可以從多方向估計(jì)場(chǎng)景深度。

圖3 結(jié)構(gòu)光場(chǎng)三維重建模型在世界坐標(biāo)系XOZ 下的二維示意圖

3 基于結(jié)構(gòu)光場(chǎng)的三維重建模型

3.1 設(shè)計(jì)復(fù)合條紋投影圖

由于傳統(tǒng)結(jié)構(gòu)光正弦條紋投影需投射多幅相移條紋或多頻率條紋進(jìn)行相位估計(jì)，本實(shí)驗(yàn)將RGB三個(gè)彩色通道作為載體，分別對(duì)應(yīng)三種不同條紋頻率的載波，利用一幀復(fù)合條紋投影圖來(lái)對(duì)物體表面進(jìn)行調(diào)制。由于投影儀的視野確定，正弦條紋頻率只與投影的條紋數(shù)量有關(guān)，利用最佳頻率選擇過(guò)程確定相應(yīng)通道的投影條紋數(shù)量［20］，如式（2）：

其中Nfm和Nfi分別是最大條紋集的條紋數(shù)和第i個(gè)條紋集中的條紋數(shù)。n=3，三個(gè)投影條紋頻率分別對(duì)應(yīng)R、G、B 三個(gè)顏色通道，以此獲得條紋數(shù)據(jù)的并行采集。

3.2 分離各顏色通道

由于紅色、綠色和藍(lán)色通道被用來(lái)保存獨(dú)立信息，因此它們之間的串?dāng)_最小，但各通道之間難免會(huì)產(chǎn)生干擾，引入耦合系數(shù)來(lái)得到各通道編碼圖像的修改強(qiáng)度，以此解決三個(gè)通道之間的干擾問(wèn)題。其中，經(jīng)被測(cè)物體調(diào)制的編碼圖像di(m,n) 表示第i顏色通道傳感器所記錄的編碼圖像，可以表示為式（3）：

其中，(m,n)表示圖像在傳感器上的像素坐標(biāo)，ai表示正弦條紋強(qiáng)度的直流分量，bi表示調(diào)制深度，pi表示條紋的周期，以像素為單位，Δφi為物體表面產(chǎn)生的相位變化；aj表示耦合通道的正弦條紋強(qiáng)度的直流分量，bj表示耦合通道的調(diào)制深度，pj表示耦合通道的條紋周期，Δφj表示物體表面高度引起耦合通道正弦條紋的相位變化，cij為各通道之間的耦合系數(shù)。

當(dāng)求紅色通道d1(m,n)時(shí)，如式（4）：

為計(jì)算耦合系數(shù)cij，首先將純紅色、綠色和藍(lán)色條紋圖案按順序投影到白板上，對(duì)于每種顏色，投射三幅相移圖像、0 和，共9 張圖片。然后，將這些圖像分離為R，G，B 分量，共得到27 幅灰度強(qiáng)度圖像。以紅色通道為例，求紅色通道即i=1 時(shí)與其他兩通道之間的耦合效應(yīng)強(qiáng)度為式（5）：

從而可求得各顏色通道之間耦合系數(shù)矩陣為式（6）：

其中，c11、c22、c33均為1。

利用耦合系數(shù)矩陣，求第i個(gè)通道的修改強(qiáng)度為式（7）：

3.3 結(jié)構(gòu)光場(chǎng)信息的相位深度映射

本文采用彩色相機(jī)在多個(gè)方向?qū)ξ矬w表面調(diào)制變形條紋進(jìn)行記錄，加入了方向信息，記錄的四維光場(chǎng)可表示為通過(guò)將式（7）中的替換為，對(duì)每個(gè)通道的結(jié)構(gòu)光場(chǎng)作傅里葉變換，可得三部分組成的空間頻譜：零階，以及旁瓣如式（8）：

利用中心頻率為fi,0的帶通濾波器分離出旁瓣信息，如式（9）：

對(duì)分離出的旁瓣信息進(jìn)行逆傅里葉變換，如式（10）：

對(duì)式（10）進(jìn)行反正切計(jì)算，可得第i個(gè)顏色通道的

對(duì)第i個(gè)顏色通道的相位信息進(jìn)行剪切操作得到數(shù)字重聚焦后的相位編碼場(chǎng)，如式（12）：

對(duì)數(shù)字重聚焦后的相位編碼場(chǎng)在角度維度積分，獲得特定深度即剪切值α下的重聚焦的相位圖為式（13）：

其中，Nu表示光場(chǎng)的角度分辨率。

對(duì)于數(shù)字重聚焦下的相位編碼場(chǎng)，其相對(duì)于式（13）重聚焦的相位圖的加權(quán)角度方差為式（14）：

由于該角度方差在整個(gè)深度范圍內(nèi)顯示出單峰分布趨勢(shì)，當(dāng)目標(biāo)表面深度與重聚焦深度一致時(shí)，對(duì)應(yīng)的角度方差在整個(gè)深度范圍內(nèi)最小。剪切光場(chǎng)的角度方差隨著剪切值α而變化，通過(guò)不斷迭代，在對(duì)應(yīng)正確深度的剪切值處具有極值，即找到峰值所在位置對(duì)應(yīng)的α值，從而定位對(duì)應(yīng)物點(diǎn)的深度。

4 實(shí)驗(yàn)與分析

由于傳統(tǒng)光場(chǎng)成像為被動(dòng)式三維成像，針對(duì)低紋理目標(biāo)重建精度差，為了驗(yàn)證本文提出的基于結(jié)構(gòu)光場(chǎng)的目標(biāo)三維表面重建方法的可行性，本文選取非透明低紋理物體白陶瓷瓶進(jìn)行試驗(yàn)驗(yàn)證。

4.1 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)設(shè)備由工業(yè)相機(jī)、數(shù)字式投影儀以及位移系統(tǒng)組成。工業(yè)相機(jī)為維視公司的MV-EM200C相機(jī)，分辨率為1600*1200，傳感器尺寸為1 1.8''，最大幀率40fps；數(shù)字式投影儀的型號(hào)為堅(jiān)果JMGC-JHC700；位移平臺(tái)用電腦控制，可在水平和豎直方向定量移動(dòng)。算法均在一臺(tái)電腦上運(yùn)行，電腦的具體配置為CPU 2.9GHz，內(nèi)存8GHz，操作系統(tǒng)是Windows10，運(yùn)行環(huán)境為Matlab。

4.2 實(shí)驗(yàn)及實(shí)驗(yàn)數(shù)據(jù)

圖4 是本實(shí)驗(yàn)搭建的系統(tǒng)平臺(tái)，在Matlab 中生成RGB 分量為三種不同空間頻率的條紋圖案彩色圖像，并通過(guò)投影儀投射到物體表面。彩色相機(jī)放置在位移平臺(tái)上，在9 個(gè)位置分別對(duì)目標(biāo)表面變形條紋進(jìn)行記錄。數(shù)字投影儀固定在工業(yè)相機(jī)的下方進(jìn)行斜投影，相機(jī)的光軸垂直于參考平面。

圖4 系統(tǒng)平臺(tái)

詳細(xì)的實(shí)驗(yàn)過(guò)程將以圖5 所示的白陶瓷瓶進(jìn)行展開。成像場(chǎng)景中心視角如圖6（a）所示，提取R，G，B 三個(gè)通道的正弦條紋圖案，如圖6（b）～（d）所示，使用式（7）引入耦合系數(shù)提取R，G，B 通道中編碼的三個(gè)正弦條紋圖案，如圖7所示。

圖5 實(shí)驗(yàn)所用白陶瓷瓶

圖6 提取R，G，B三個(gè)通道的正弦條紋圖案

圖7相對(duì)于圖6引入耦合系數(shù)得到各通道的修改條紋強(qiáng)度，對(duì)圖7 以及圖7 第257 行分別進(jìn)行二維傅里葉變換以及一維傅里葉變換，其頻譜如圖8所示。由圖8 可知，條紋投影的頻譜在一維和二維都可以較好地進(jìn)行分離，利用切比雪夫Ⅱ型濾波器獲得其旁瓣信息，如圖9所示。如圖10為包裹相位圖，圖11 為用包裹相位最終得到的三維目標(biāo)模型。本文的算法不依賴于目標(biāo)物表面的自身紋理特征，通過(guò)投影復(fù)合條紋圖求取相位信息，在提取RGB通道條紋圖時(shí)，加入耦合系數(shù)得到的修改強(qiáng)度有效改善了各通道之間的串?dāng)_問(wèn)題。利用包裹相位的角度方差求取深度圖，從而達(dá)到比較好的三維重建效果。

圖8 頻譜圖

圖9 獲取旁瓣信息

圖10 包裹相位圖

圖11 三維目標(biāo)重建

5 結(jié)語(yǔ)

傳統(tǒng)的被動(dòng)光場(chǎng)成像在對(duì)低紋理物體進(jìn)行測(cè)量時(shí)，由于缺少物體自身表面紋理結(jié)構(gòu)信息，精確度不高，所以本文結(jié)合結(jié)構(gòu)照明和光場(chǎng)成像，以彩色通道作為載體，利用一幀復(fù)合條紋投影圖案作為結(jié)構(gòu)化照明記錄結(jié)構(gòu)光場(chǎng)，同時(shí)獲得空間角度和相位編碼信息。首先通過(guò)傅里葉分析法得到每個(gè)顏色通道的包裹相位，由于包裹相位的角度方差在整個(gè)深度范圍內(nèi)顯示出單峰分布趨勢(shì)，當(dāng)目標(biāo)表面深度與重聚焦深度一致時(shí)，角度方差最小，以此來(lái)確定目標(biāo)深度信息，相比于傳統(tǒng)三維成像技術(shù)，提高了重建精度，且易于工程實(shí)現(xiàn)。