苑瑞寧， 邱　鈞， 劉　暢

(1. 北京信息科技大學(xué) 應(yīng)用數(shù)學(xué)研究所， 北京 100101； 2. 北京大學(xué) 數(shù)學(xué)科學(xué)學(xué)院， 北京 100871)

?

基于旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)的物體表面重構(gòu)

苑瑞寧1， 邱鈞1， 劉暢2

(1. 北京信息科技大學(xué) 應(yīng)用數(shù)學(xué)研究所， 北京 100101； 2. 北京大學(xué) 數(shù)學(xué)科學(xué)學(xué)院， 北京 100871)

摘要:光場(chǎng)的旋轉(zhuǎn)采樣模式與圖像重建的掃描模式具有相似的幾何特性. 借鑒圖像重建的全刻畫模型， 提出一種基于旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)的物體表面重構(gòu)算法， 給出了旋轉(zhuǎn)采樣光場(chǎng)的參數(shù)化表示方法， 建立了刻畫旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)與物體表面關(guān)系的模型， 得到物體表面特征點(diǎn)對(duì)應(yīng)光線在旋轉(zhuǎn)采樣光場(chǎng)中的分布函數(shù). 根據(jù)分布函數(shù)結(jié)合圖像的特征點(diǎn)匹配建立表面特征點(diǎn)位置的重構(gòu)算法， 由表面特征點(diǎn)生成物體表面的三維點(diǎn)云， 實(shí)現(xiàn)物體的三維表面重構(gòu). 實(shí)驗(yàn)結(jié)果驗(yàn)證了提出的基于旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)的物體表面重構(gòu)算法的可行性和有效性.

關(guān)鍵詞:旋轉(zhuǎn)采樣； 全刻畫模型； 光場(chǎng)； 物體表面重構(gòu)

0引言

光場(chǎng)是一種描述空間中任意點(diǎn)任意方向光線的輻照度函數(shù)， 最初以七維形式給出[1]， 經(jīng)過(guò)簡(jiǎn)化可以用雙平面四參數(shù)表征[2-3]. 光場(chǎng)數(shù)據(jù)記錄了光線的空間和角度信息， 可以用于場(chǎng)景深度估計(jì)[4-8]和物體表面重構(gòu)[9-12].

在圖像重建中， 對(duì)二維平行束掃描模式下的投影與反投影過(guò)程進(jìn)行幾何分析， 引出了圖像重建的全刻畫模型[13]. 全刻畫模型給出了重建點(diǎn)和掃描線的對(duì)應(yīng)關(guān)系、 正投影過(guò)程的幾何表示以及反投影的幾何意義， 刻畫了二維平行束掃描的正演和反演過(guò)程. 光場(chǎng)的旋轉(zhuǎn)采樣模式與圖像重建的掃描模式具有相似的幾何特性， 全刻畫模型中的重建點(diǎn)與掃描線的對(duì)應(yīng)關(guān)系同樣存在于光場(chǎng)的旋轉(zhuǎn)采樣模式中.

本文基于旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)， 借鑒圖像重建的全刻畫模型， 建立刻畫旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)與物體表面關(guān)系的模型. 在此模型下， 物體表面特征點(diǎn)與光線的對(duì)應(yīng)關(guān)系為正弦軌跡的分布函數(shù)， 對(duì)應(yīng)極線圖的正弦曲線特性. 本文將該分布函數(shù)應(yīng)用于三維表面重構(gòu)過(guò)程中特征點(diǎn)位置地計(jì)算， 實(shí)現(xiàn)物體的三維表面重構(gòu).

1建立旋轉(zhuǎn)采樣光場(chǎng)模型

1.1圖像重建的全刻畫模型

圖像重建中， 基于平行束掃描的全刻畫模型刻畫了重建點(diǎn)和掃描線的對(duì)應(yīng)關(guān)系、 正投影過(guò)程的幾何表示、 反投影的幾何意義以及重建點(diǎn)在掃描投影過(guò)程中完整的對(duì)應(yīng)軌跡. 其三維幾何結(jié)構(gòu)如圖 1 所示.

圖 1 中xroΦ為圖像重建中正弦圖的坐標(biāo)架， 在其基礎(chǔ)上添加yr軸可體現(xiàn)出投影的累加過(guò)程. 與實(shí)際的平行束掃描方式相對(duì)應(yīng)，xoy為待重建圖像坐標(biāo)架， 在掃描區(qū)域內(nèi)做反方向旋轉(zhuǎn)運(yùn)動(dòng)， 并且隨著角度的增大逐漸上升， 同時(shí)將xroyr視為是固定的. 圖中表示當(dāng)掃描角度為Φ=0°時(shí)，xroyr坐標(biāo)架與圖像平面的xoy坐標(biāo)架重合的初始情形. 對(duì)于待重建區(qū)域內(nèi)的每一個(gè)重建點(diǎn)xj， 記重建點(diǎn)xj在初始的xoy平面內(nèi)坐標(biāo)為(x,y). 在二維平行束掃描與投影幾何關(guān)系模型中， 重建點(diǎn)隨著掃描過(guò)程螺旋上升， 對(duì)應(yīng)地運(yùn)動(dòng)軌跡如圖中圓柱表面螺旋曲線所示.

重建點(diǎn)xj的軌跡方程為

(1)

沿著yr軸方向做積分， 結(jié)果顯示在xroΦ平面內(nèi)， 即為通常意義下的投影數(shù)據(jù)平面， 則重建點(diǎn)的運(yùn)動(dòng)軌跡在投影數(shù)據(jù)平面對(duì)應(yīng)為正弦線.

1.2旋轉(zhuǎn)采樣光場(chǎng)模型

本文將與平行束掃描模式相類似的采集方法引入到光場(chǎng)數(shù)據(jù)的采集中以實(shí)現(xiàn)物體的多視角三維表面重構(gòu). 采集方式如圖 2 所示， 將物體置于旋轉(zhuǎn)中心， 以其為圓心等角度間隔地旋轉(zhuǎn)一周， 完成光場(chǎng)數(shù)據(jù)采集.

基于雙平面的四維全光函數(shù)無(wú)法對(duì)所采集的數(shù)據(jù)方便地描述， 所以采用一種新的參數(shù)化描述方式， 如圖 3 所示.

圖3中P表示針孔相機(jī)的小孔位置， 可以將其看作是以O(shè)為球心， 以O(shè)P為半徑的球面上的一點(diǎn). 根據(jù)旋轉(zhuǎn)采樣方式可知OP垂直于Oy軸，OP長(zhǎng)為定值， 記為r.φ為OP與Ox軸之間的夾角， 則P的位置可以唯一由φ確定.X為空間中一點(diǎn)，xoy表示探測(cè)器平面，X在探測(cè)器上的像點(diǎn)Q記為Q(x,y).PQ可以描述旋轉(zhuǎn)采樣光場(chǎng)中任意一條光線， 即旋轉(zhuǎn)采樣光場(chǎng)可以參數(shù)化表示為L(zhǎng)(φ,x,y).

如圖 4 所示， 空間中一點(diǎn)X經(jīng)過(guò)透鏡在相機(jī)探測(cè)器平面上成像于點(diǎn)Q， 其過(guò)程可以描述為

(2)

式中：gφ(x,y)表示φ角度下采集的圖像；hφ為點(diǎn)擴(kuò)散函數(shù)， 一般情況下可以將相機(jī)看作針孔相機(jī)， 即hφ為單位脈沖函數(shù).

本文采用的光場(chǎng)采集方式與平行束掃描的采集方式相似， 由于兩者投影過(guò)程存在對(duì)應(yīng)關(guān)系， 因此可以借鑒圖像重建的全刻畫模型建立一種刻畫旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)與物體表面關(guān)系的模型. 如圖 5 所示.

空間中的重建點(diǎn)在OxOzφ空間中水平旋轉(zhuǎn)運(yùn)動(dòng)的運(yùn)動(dòng)軌跡與全刻畫模型中的重建點(diǎn)的運(yùn)動(dòng)軌跡線是相似的， 不同是該模型下的投影方式為透視投影， 但其極線圖中特征點(diǎn)的投影軌跡線與全刻畫模型中投影數(shù)據(jù)平面所對(duì)應(yīng)的軌跡線是相同的， 也是正弦軌跡線.

設(shè)針孔相機(jī)對(duì)空間中一點(diǎn)X的投影變換可以表示為一個(gè)矩陣P， 則圖像中的點(diǎn)x可以表示為如式(3)形式

(3)

式中： x和X表示齊次坐標(biāo)的形式； P為3×4矩陣， 由相機(jī)的參數(shù)決定， 可以分解為如式(4)形式

(4)

式中： t是描述鏡頭中心位置的三維平移向量， 由于旋轉(zhuǎn)過(guò)程中始終在同一水平面移動(dòng)， 所以可以表示為[-rsinφ0r-rcosφ]T； R是描述相機(jī)方向的旋轉(zhuǎn)矩陣； K通?？梢詫懽魅缡?5)形式

(5)

式中： f表示圖像與照相機(jī)中心間的距離， 若在拍攝時(shí)f保持不變， 則K是固定不變的矩陣.

由于在數(shù)據(jù)采集過(guò)程中， 相機(jī)旋轉(zhuǎn)始終處于同一水平面， 所以旋轉(zhuǎn)矩陣可以表示為

(6)

由此， 可以得到x的橫坐標(biāo)為

(7)

式中： (Ox,Oy,Oz)為空間中一點(diǎn)X的坐標(biāo).

根據(jù)式(7)可得到正弦特性曲線極線圖， 如圖 6 所示.

2基于旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)的物體表面重構(gòu)

2.1圖像匹配

為了驗(yàn)證本文所提出重構(gòu)方法的可行性和有效性， 對(duì)不同φ角度下采集的數(shù)據(jù)進(jìn)行匹配時(shí)選用了SIFT(ScaleInvariantFeatureTransform)方法. 該方法是由DavidLowe提出的一種特征提取及描述算法[14]. 它對(duì)圖像的視角變化、 噪聲保持具有較強(qiáng)的穩(wěn)健性[15]， 可以處理圖像間的平移、 旋轉(zhuǎn)、 仿射變換情況下的匹配問(wèn)題， 對(duì)任意角度拍攝的圖像具備較為穩(wěn)定的特征匹配能力， 適用于本文提出的采集方式的圖像匹配.

SIFT方法的流程主要包括以下四步：

尺度空間極值檢測(cè)： 對(duì)全部尺度的圖像位置進(jìn)行查找， 通過(guò)高斯查分函數(shù)確定潛在的可能的保持尺度和旋轉(zhuǎn)不變的點(diǎn)；

特征點(diǎn)定位： 通過(guò)擬合模型確定每個(gè)候選位置的尺度和位置；

特征點(diǎn)方向分配： 根據(jù)局部圖像梯度方向?yàn)槊總€(gè)特征點(diǎn)至少分配一個(gè)方向；

特征點(diǎn)描述： 在每個(gè)關(guān)鍵點(diǎn)的周圍區(qū)域計(jì)算局部圖像梯度并將其轉(zhuǎn)化為特征點(diǎn)的描述向量.

將描述向量的歐式距離作為特征點(diǎn)相似性度量進(jìn)行匹配. 為提升匹配準(zhǔn)確率， 對(duì)與待匹配特征點(diǎn)距離最近的兩個(gè)特征點(diǎn)作比較. 最近點(diǎn)的距離除以次近點(diǎn)的距離小于預(yù)設(shè)閾值(實(shí)際實(shí)驗(yàn)中采用的閾值為0.8)， 則認(rèn)為最近點(diǎn)為匹配點(diǎn).

2.2特征點(diǎn)位置計(jì)算

可以把旋轉(zhuǎn)采樣光場(chǎng)極線圖的正弦軌跡特性作為先驗(yàn)信息用于特征點(diǎn)的位置計(jì)算. 設(shè)在φ0角度采集的圖像上的特征點(diǎn)坐標(biāo)為(x0,y0)， 在φi角度匹配的點(diǎn)為坐標(biāo)(xi,yi)， 可以得到xoφ坐標(biāo)系下的離散點(diǎn)對(duì)(xi,φi)， 其中， i=1,2,…,n. 根據(jù)式(7)的推導(dǎo)結(jié)果， 可以知道這些點(diǎn)的軌跡線為正弦線. 若設(shè)此點(diǎn)的軌跡線為

(8)

式中： A,θ為待計(jì)算參數(shù)， 可以通過(guò)最小二乘法擬合計(jì)算參數(shù)的值. 即

(9)

最后由得到的參數(shù)根據(jù)式(7)計(jì)算出點(diǎn)的Oz值， Ox和Oy可以根據(jù)圖像中坐標(biāo)來(lái)確定， (Ox,Oy,Oz)即為點(diǎn)的位置坐標(biāo). 圖 7 給出了數(shù)據(jù)的擬合示意圖來(lái)說(shuō)明以上所述的擬合方法.

本文所采用物體表面重構(gòu)算法的完整步驟為：

輸入數(shù)據(jù)： 圖像序列形式的光場(chǎng)數(shù)據(jù)I={I1,I2,…,In};

1) 使用SIFT算法提取圖像Ii, Ij的特征點(diǎn)， 并對(duì)兩幅圖像中的特點(diǎn)進(jìn)行匹配；

2) 根據(jù)匹配結(jié)果依據(jù)式(9)使用最小二乘法擬合正弦線得到其參數(shù)A, θ；

3) 根據(jù)式(7)使用得到的正弦線參數(shù)計(jì)算特征點(diǎn)的位置坐標(biāo)(Ox,Oy,Oz)；

4) 根據(jù)特征點(diǎn)位置坐標(biāo)生成ply格式文件并顯示表示物體表面的三維點(diǎn)云圖；

輸出結(jié)果： 存儲(chǔ)特征點(diǎn)位置信息和顏色信息的ply文件.

3實(shí)驗(yàn)結(jié)果與分析

本文的光場(chǎng)數(shù)據(jù)采集過(guò)程為： 使用SONYNEX-5C相機(jī)， 物體置于PT-SD201旋轉(zhuǎn)臺(tái)上. 相機(jī)與旋轉(zhuǎn)臺(tái)間距即旋轉(zhuǎn)半徑為30cm， 旋轉(zhuǎn)間隔為10°. 旋轉(zhuǎn)一周共采集到36幅不同視角的圖像， 單幅圖像分辨率為2 280×1 250. 實(shí)際計(jì)算中選用包含物體的圖像中心區(qū)域， 分辨率為 1 060×790.

實(shí)驗(yàn)中曲線擬合采用Levenberg-Marquardt算法進(jìn)行迭代求解. 因此本文所提出算法的時(shí)間復(fù)雜度為O(kmN3)， 其中k為最大迭代次數(shù)， m為重構(gòu)點(diǎn)的數(shù)量， N為單重構(gòu)點(diǎn)所對(duì)應(yīng)圖像特征點(diǎn)的平均數(shù)量.

圖 8 給出了所采集數(shù)據(jù)和對(duì)應(yīng)視角的三維點(diǎn)云結(jié)果. 實(shí)驗(yàn)結(jié)果表明本文提出的算法對(duì)于特征點(diǎn)位置坐標(biāo)地計(jì)算具有較好效果， 可以實(shí)現(xiàn)較為精確的多視角三維表面重構(gòu)， 故使用該算法進(jìn)行基于旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)的物體表面重構(gòu)是可行和有效的.

4結(jié)論

本文從圖像重建的全刻畫模型出發(fā)， 根據(jù)光場(chǎng)旋轉(zhuǎn)采樣模式與圖像重建掃描模式的相似性建立了刻畫光場(chǎng)數(shù)據(jù)與物體表面關(guān)系的模型. 基于此模型提出一種特征點(diǎn)位置坐標(biāo)的計(jì)算方法， 該方法根據(jù)本文所給出旋轉(zhuǎn)采樣光場(chǎng)的極線圖的正弦分布函數(shù)， 對(duì)同一特征點(diǎn)在不同視角下的數(shù)據(jù)進(jìn)行擬合， 利用參數(shù)結(jié)果反算該點(diǎn)的位置坐標(biāo)， 得到物體的三維點(diǎn)云圖. 實(shí)驗(yàn)結(jié)果驗(yàn)證了本文采用的基于旋轉(zhuǎn)采樣光場(chǎng)數(shù)據(jù)的物體表面重構(gòu)算法的可行性和有效性.

參考文獻(xiàn):

[1]AdelsonEH,BergenJR.Theplenopticfunctionandtheelementsofearlyvision[J].ComputationalModelsofVisualProcessing, 1991: 3-20.

[2]LevoyM,HanrahanP.Lightfieldrendering[C].ConferenceonComputerGraphics&InteractiveTechniques, 2002: 64-71.

[3]GortlerSJ,GrzeszczukR,SzeliskiR,etal.TheLumigraph[J].InSIGGRAPH96,1996: 43-54.

[4]NeusSabater,ValterDrazic,MozhdehSei,etal.Light-fielddemultiplexinganddisparityestimation[J].HAL-00925652, 2014.

[5]TosicI,BerknerK.Lightfieldscale-depthspacetransformfordensedepthestimation[C].ComputerVisionandPatternRecognitionWorkshops(CVPRW), 2014IEEEConferenceon.IEEE, 2014:441-448.

[6]TaoMW,HadapS,MalikJ,etal.Depthfromcombiningdefocusandcorrespondenceusinglight-fieldcameras[C].ComputerVision(ICCV), 2013IEEEInternationalConferenceon.IEEE, 2013: 673-680.

[7]WannerS,GoldlueckeB.GloballyconsistentdepthLabelingof4Dlightfields[C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR). 2012, 4: 1-8.

[8]OhashiK,TakahashiK,FujiiT.Jointestimationofhighresolutionimagesanddepthmapsfromlightfieldcameras[J].StereoscopicDisplays&ApplicationsXXV, 2014, 9011(12): 2978-2982.

[9]LukeJ,RosaF,MarichalJ,etal.Depthfromlightfieldsanalyzing4Dlocalstructure[J].JournalofDisplayTechnology, 2014， 11(11).

[10]BirchG,TyoS,SchwiegerlingJ. 3Dasstigmaticdepthsensingcamera[J].Proc.SPIE8129,NovelOpticalSystemsDesignandOptimization, 2011: 75-86.

[11]KimC,ZimmerH,PritchY,etal.Scenereconstructionfromhighspatio-angularresolutionlightfields[J].AcmTransactionsonGraphics, 2013, 32(32): 96-96.

[12]TianL,WallerL. 3DintensityandphaseimagingfromlightfieldmeasurementsinanLEDarraymicroscope[J].Optica, 2015, 2(2): 104-111.

[13]趙芳薇.反投影模型下的圖像重建迭代算法[D].北京: 北京信息科技大學(xué), 2014.

[14]LoweD.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofCom1075PuterVision, 2004, 60(2): 91-110.

[15]MikolajczykK,SchmidC.Aperformanceevaluationoflocaldescriptors[J].PatternAnalysis&MachineIntelligenceIEEETransactionson, 2005, 27(10): 1615-1630.

Surface Reconstruction Based on Rotation Sampling Light Field Data

YUAN Rui-ning1, QIU Jun1, LIU Chang2

(1. Institute of Applied Mathematics, Beijing Information Science & Technology University, Beijing 100101, China;2. School of mathematical Sciences, Peking University, Beijing 100871, China)

Key words:rotation sampling; complete description model; light field; surface reconstruction

Abstract:The rotation sampling mode of light field and scan mode of image reconstruction have similar geometrical properties. A method for surface reconstruction based on rotation sampling light field data was presented according to the complete description model in image reconstruction.The parametric representation method of rotating sampling light field was presented.And the model which described the relationship between light field data based on rotation sampling and object surface was established. Thenthe distribution function of light corresponding to the surface feature points in the light field based on rotation sampling was obtained. The surface feature point position reconstruction algorithm based on this distribution function combining image feature points matching was established.The object surface point three-dimensional points cloud was generated according to the feature points and three-dimensional surface reconstruction was achieved.The experiment results demonstrate that the surface reconstruction algorithm based on rotation sampling light field data was feasible and effective.

文章編號(hào):1673-3193(2016)03-0215-05

收稿日期:2015-11-15

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(61271425； 61372150)

作者簡(jiǎn)介：苑瑞寧(1989-)， 男， 碩士生， 主要從事圖像重建研究.

通信作者：邱鈞(1966-)， 男， 教授， 博士， 主要從事圖像重建、 計(jì)算攝影研究.

中圖分類號(hào):O43

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3969/j.issn.1673-3193.2016.03.002