陳佃文， 邱　鈞， 劉　暢， 趙松年

(1. 北京信息科技大學 應用數(shù)學研究所， 北京 100101； 2. 北京大學 數(shù)學科學學院， 北京 100871；3. 中國科學院大氣物理研究所， 北京 100029)

?

基于四維光場數(shù)據(jù)的深度估計算法

陳佃文1， 邱鈞1， 劉暢2， 趙松年3

(1. 北京信息科技大學 應用數(shù)學研究所， 北京 100101； 2. 北京大學 數(shù)學科學學院， 北京 100871；3. 中國科學院大氣物理研究所， 北京 100029)

摘要:基于光場數(shù)據(jù)的四維結(jié)構(gòu)信息， 提出一種具有像素級精度的深度估計算法， 為三維表面重構(gòu)提供精確的深度信息. 首先， 由光場數(shù)據(jù)中視差與視點位移的等比關(guān)系， 給出基于光場數(shù)據(jù)的區(qū)域匹配算法， 得到初步視差圖. 其次， 基于區(qū)域匹配的誤差來源建立新的置信函數(shù)， 對誤匹配像素進行分類并優(yōu)化， 得到高精度的深度圖. 采用公開的HCI標準光場數(shù)據(jù)和實拍的光場數(shù)據(jù)進行了算法驗證和成像精度評測. 結(jié)果表明， 與已有的算法相比， 新算法具有更好的計算精度， 在平滑區(qū)域和邊緣遮擋區(qū)域有較好效果.

關(guān)鍵詞:深度估計； 光場； 視差圖； 區(qū)域匹配

0引言

光場是空間中光線輻照度信息的集合， 是對場景發(fā)出的光線的形式化描述. 最初被提出來用于形式化描述光線信息的七維全光函數(shù)L(x,y,z,θ,φ,λ,t)， 描述了空間中任意波長的光線在任意時刻的輻照度信息[1]. Levoy， Gortler等人提出了光場的雙平面參數(shù)化表征[2-3]， 即四維光場L(x,y,u,v). 基于四維光場的理論， Ng和Levoy等人設(shè)計出基于微透鏡陣列采集系統(tǒng)的手持相機[4]， 實現(xiàn)了單次曝光下的四維光場數(shù)據(jù)采集和重聚焦成像. 四維光場數(shù)據(jù)包含光線的空間和角度信息， 可用于場景的深度信息獲取與三維重構(gòu).

由光場數(shù)據(jù)獲取場景的深度信息可以通過物點的視差計算得到， 或者由聚焦堆棧獲取. 物點的視差獲取方法主要分為兩類：一類基于多視點像素匹配， 該方法將四維光場重排得到一組不同視點下的二維圖像， 通過像素匹配獲取任意物點在所有視點下的視差信息[5-7]； 另一類基于極線圖(EpipolarImages)的性質(zhì)， 物點對應的像素在極線圖呈直線狀分布， 計算梯度方向[8-9]或者尺度變換求極值[10]得到極線圖中直線的斜率， 進而獲取視差. 由聚焦堆棧中獲取深度的基本思想是， 物點清晰成像時對應的聚焦堆棧為該物點的深度信息[11-12].

本文在四維光場數(shù)據(jù)中， 利用區(qū)域匹配方法， 計算出相鄰視點圖像之間的視差圖(Disparity Map)， 在此基礎(chǔ)上， 利用一種新的置信函數(shù)將獲取的視差圖中的誤差分類， 并對每種誤差采用相應的優(yōu)化準則進行優(yōu)化， 精確地計算出每個像點對應的物體的深度信息. 同時對本文提出的算法進行了測試， 并給出相應的實驗結(jié)果和分析.

1四維光場數(shù)據(jù)中視差與深度的關(guān)系

與普通相機的結(jié)構(gòu)不同， 基于微透鏡陣列的光場相機在主透鏡(Main Lens)和探測器(Sensor)之間放置微透鏡陣列(Microlens Array)， 如圖 1 所示. 主透鏡平面和探測器平面關(guān)于微透鏡共軛， 使得一個探測器單元對應四維光場的一條光線. 因此探測器記錄了由主透鏡平面和微透鏡陣列平面參數(shù)化的光場數(shù)據(jù)， 實現(xiàn)了四維光場數(shù)據(jù)的采集.

考察光場相機中視差與深度的關(guān)系. 在圖 2 中，u1,u2為(u,v)平面上的視點，B為視點距離，A1為物點A對應的像點，s為物點A在視點u1,u2下在(x,y)平面上的視差.F為(x,y)平面到(u,v)平面之間的距離，F(xiàn)1為像點A1到(u,v)平面的距離.

圖 1　基于微透鏡列的光場相機結(jié)構(gòu)示意圖Fig.1　Diagram of light field camera with microlens array

圖 2　四維光場中視差與深度的關(guān)系示意圖Fig.2　Diagram of the relationship between disparity and depth in 4D light field

由圖 2 可知， 物點A在視點u1,u2下的視差s與視點距離B滿足

(1)

主透鏡焦距為f， 物點A的深度為Z， 主透鏡的聚焦深度為Z0， 高斯成像公式為

(2)

(3)

由式(1)～式(3)得視差和深度的關(guān)系式

(4)

由式(4)可知， 視差與視點位移成等比關(guān)系. 在四維光場數(shù)據(jù)中， 令B為相鄰視點之間的距離(光場采樣的視點間隔)，s為物點x在相鄰視點下的視差. 兩個視點的距離為kB(k=1,2,…)時， 物點x對應的視差為ks(k=1,2,…).

2深度估計

在光場數(shù)據(jù)中， 利用視差與視點位移的等比關(guān)系建立區(qū)域匹配算法， 得到相鄰視差的初步視差圖. 對初步視差圖中的誤匹配像素， 基于區(qū)域匹配的誤差來源建立新的置信函數(shù)， 對誤匹配像素進行分類， 優(yōu)化視差圖得到高精度的深度圖.

2.1初步視差的獲取

以中心視點圖像L(x,y,u0,v0)為參照， 利用區(qū)域匹配算法獲取L(x,y,u0,v0)對應的視差圖s(x,y).

在四維光場L(x,y,u,v)中， 基于視差與視點位移的等比關(guān)系， 建立視差s(x,y)的目標函數(shù)

(5)

式中：(u0,v0)為中心視點位置； (ui,vj)為任意視點位置， Δui=ui-u0， Δvj=vj-v0；E(s)為中心視圖像素(x,y)在視差為s時與所有視點圖像中對應像素的差異累加和的度量函數(shù).

由于圖像區(qū)域的像素值相近， 以及噪聲等因素， 單個像素點作為匹配基元的匹配方法魯棒性較差. 本文采用以目標像素點為中心的矩形區(qū)域來代替單個像素點作為匹配基元， 提高匹配方法的魯棒性. 采用區(qū)域匹配方法， 視差s(x,y)的目標函數(shù)為

(6)

(7)

2.2置信函數(shù)與視差優(yōu)化

由式(7)獲取的初步視差圖， 在平滑區(qū)域和遮擋區(qū)域存在誤匹配. 其原因是， 平滑區(qū)域和遮擋區(qū)域在匹配過程中， 其目標函數(shù)中存在較多與最小值相等或相近的函數(shù)值， 誤匹配概率較大. 本文建立關(guān)于視差的置信函數(shù)， 旨在標識出誤匹配區(qū)域， 進而設(shè)置閾值對其進行分類. 在此基礎(chǔ)上， 對平滑區(qū)域， 采用TV-L1模型進行平滑處理； 對遮擋區(qū)域， 采用二次匹配的方法獲取精確的視差.

建立關(guān)于視差圖s(x,y)的置信函數(shù)， 來刻畫區(qū)域匹配結(jié)果的置信度. 定義如下

(8)

(9)

式中：label(x,y)為像素(x,y)的分類標簽， 0為準確匹配區(qū)域， 1為平滑區(qū)域， 2為遮擋區(qū)域.

對于平滑區(qū)域， 本文采用TV-L1模型進行優(yōu)化

(10)

式中：μ(x,y)是優(yōu)化后的估計視差圖；TV(μ)為視差圖μ(x,y)的全變分.

對于遮擋區(qū)域， 本文通過視點平移和遮擋的關(guān)系， 篩選出可用于遮擋區(qū)域深度計算的視點. 計算遮擋區(qū)域在該組視點下關(guān)于視差的目標函數(shù)， 獲取視差.

圖 3 給出了該分類優(yōu)化方法對初步視差圖的優(yōu)化結(jié)果， 調(diào)整參數(shù)和閾值選取為

圖 3　視差圖的優(yōu)化Fig.3　Optimization of disparity map

2.3深度計算

基于優(yōu)化得到的視差圖μ(x,y)， 利用式(4)計算得到場景的深度圖

(11)

3實驗結(jié)果

本文算法驗證與數(shù)據(jù)實驗設(shè)計如下：第一組實驗采用Heidelberg Collaboratory for Image Processing (HCI) 公開的標準光場數(shù)據(jù)[13]， 給出了相關(guān)算法的誤差比較與分析. 第二組實驗采用相機實拍， 利用三軸平移臺獲取實測光場數(shù)據(jù)， 給出實際場景的深度估計和三維點云圖.

3.1 HCI光場數(shù)據(jù)試驗

本文的算法測試和精度比較采用了12組HCI基準光場數(shù)據(jù)， 其中7組為模擬光場數(shù)據(jù)， 利用計算機模擬合成， 5組為實測光場數(shù)據(jù)， 通過相機實拍獲取. 該基準光場數(shù)據(jù)對全球科研機構(gòu)與人員開放， 用于相關(guān)算法的測試. 詳細描述參閱文獻[13]. 實驗結(jié)果及誤差分析如圖 4 所示.

圖 4　HCI模擬光場數(shù)據(jù)實驗結(jié)果Fig.4　Results for some synthetic light fields of HCI datasets

圖 4 給出2組HCI模擬光場數(shù)據(jù)的試驗結(jié)果. 誤差圖中， 當估計視差的相對誤差小于0.05時為白色， 大于0.05時為黑色. 在深度連續(xù)變化區(qū)域， 本文提出的算法具有較高的計算精度， 對邊緣遮擋區(qū)域也有較好的深度估計結(jié)果.

圖 5 中為2組HCI實測光場數(shù)據(jù)的實驗結(jié)果. HCI通過單相機多次采集圖像的方式獲取實測光場數(shù)據(jù)[13]. 可以看出， 對于實際場景， 本文算法具有很好的深度分辨能力.

表 1 中在三方面給出HCI光場數(shù)據(jù)實驗的結(jié)果分析， 包括平均絕對誤差(Mean Absolute Error， MAE)， 平均平方誤差(Mean Squared Error ， MSE )和誤匹配像素的百分比(Percentage of Bad Matching Pixels ， BMP). 結(jié)果表明， 利用本文提出的算法估計的視差圖， 具有明顯誤差的像素所占比例較少.

圖 5　HCI實測光場數(shù)據(jù)實驗結(jié)果Fig.5　Results for some real light fields of HCI datasets

LFMAEMSEBMP/%(>0.1)BMP/%(>0.05)buddha0.04720.00693.0329.68buddha20.03780.00616.4114.36horses0.03550.00954.8310.80medieval0.05890.01097.8948.41monasRoom0.02230.00494.179.86papiloon0.05650.015812.2831.74stillLife0.03630.01894.219.61couple0.04740.00342.3142.67cube0.03200.00713.879.06maria0.02730.00120.5911.09pyramide0.02670.00393.147.17statu0.04220.00357.2230.66average0.03920.00774.9921.26

表 2 中給出了本文提出的算法與已有的算法在計算精度方面的比較結(jié)果. HCI官方網(wǎng)站給出了已有算法在平均平方誤差(MSE )意義下計算精度的定量分析. 其中EPI_L(G/S/C)類型的算法是利用極線圖的結(jié)構(gòu)計算深度信息； ST_AV_L(G/S)是基于立體視覺， 利用所有的視點計算深度的方法； ST_CH_L(G/S)類型的方法是利用穿過中心視點的水平和豎直方向上的視點進行深度估計. 由表2中的數(shù)據(jù)可知， 本文提出算法的結(jié)果在平均平方誤差方面(MSE)優(yōu)于HCI官方網(wǎng)站公布的已有算法的結(jié)果.

表 2　算法精度

通過上述實驗結(jié)果及誤差分析可知， 采用二次匹配和分類優(yōu)化方法有效降低了平滑區(qū)域和邊緣遮擋區(qū)域的深度估計誤差. 與已有的算法相比， 新算法具有更好的計算精度.

3.2實測光場數(shù)據(jù)實驗

本文設(shè)計了光場數(shù)據(jù)采集的過程. 采用SONY NEX-5C相機， 固定于精度為1 μm的GCM-125302AM三軸平移臺上. 以Δcam=500 μm為視點間隔， 采集同一平面內(nèi)9×9視點陣列中每個視點位置下的二維圖像， 獲取四維光場數(shù)據(jù). 同時給出該實際場景的深度估計結(jié)果和三維點云圖.

實驗過程中， 相機獲取的單幅圖像初始分辨率為4 592×3 056. 本文采用包含物體信息的圖像中心區(qū)域用于計算， 其中單幅Dog圖像的分辨率為1 500×1 200， 單幅Flower圖像的分辨率為1 600×1 400， 單幅Fairies圖像的分辨率為2 000×1 600.

圖 6 中給出了本文實際采集的光場數(shù)據(jù)的實驗結(jié)果. 結(jié)果表明， 本文提出的算法對平滑區(qū)域和邊緣區(qū)域具有很好的深度估計效果， 利用計算出的深度信息， 可以實現(xiàn)較為精確的窄視角下三維表面重構(gòu).

圖 6　實測光場數(shù)據(jù)實驗結(jié)果Fig.6　Results for some light fields of measured dataset

4結(jié)語

本文利用四維光場數(shù)據(jù)對場景進行估計深度， 提出一種具有像素級精度的深度估計方法. 該方法利用光場數(shù)據(jù)中視差與視點位移的等比關(guān)系， 以區(qū)域匹配方法為基礎(chǔ)， 與四維光場的結(jié)構(gòu)特點結(jié)合起來， 精確地計算出相鄰視圖之間的視差圖. 此外， 本文基于區(qū)域匹配的誤差來源建立新的置信函數(shù)， 對誤匹配像素進行分類， 優(yōu)化提高深度計算精度. 本文方法可進一步用于光場相機的深度信息獲取， 以及為三維場景重構(gòu)提供精確的深度信息.

參考文獻:

[1]AdelsonE H, Bergen J R. The plenoptic function and the elements of early vision[J]. Computational Models of Visual Processing, 1991: 3-20.

[2]Levoy M,Hanrahan P. Light field rendering[J]. In Siggraph 96, 1996：31-42.

[3]Gortler S J, Grzeszczuk R, Szeliski R, et al. The lumigraph[J]. In Siggraph 96,1996：43-54.

[4]Ren N, Levoy M, Bredif M, et al. Light field photography with a hand-held plenoptic camera[J]. Stanford Tech Report CTSR, 2005(2)：1-10.

[5]BishopTE,FavaroP.Plenopticdepthestimationfrommultiplealiasedviews[C].IEEE12thInternationalConferenceonComputerVisionWorkshops, 2009：1622-1629.

[6]AtanassovK,GomaS,RamachandraV,etal.Content-baseddepthestimationinfocusedplenopticcamera[J].SPIE-IS&TElectronicImaging, 2009, 7864, 78640G：1-10.

[7]OhashiK,TakahashiK,FujiiT.Jointestimationofhighresolutionimagesanddepthmapsfromlightfieldcameras[J].StereoscopicDisplays&ApplicationsXXV, 2014, 9011(12)：2978-2982.

[8]WannerS,GoldlueckeB.Globallyconsistentdepthlabelingof4Dlightfields[C].IEEEConferenceonComputerVisionandPatternRecognition(CVPR), 2012, 4：1-8.

[9]LukeJP,RosaF,Marichal-HernandezJG,etal.Depthfromlightfieldsanalyzing4Dlocalstructure[J].JournalofDisplayTechnology,IEEE, 2013, 11(11)：900-907.

[10]TosicI,BerknerK.Lightfieldscale-depthspacetransformfordensedepthestimation[C]. 2014IEEEConferenceonComputerVisionandPatternRecognitionWorkshops(CVPRW), 2014：441-448.

[11]肖相國, 王忠厚, 孫傳東, 等. 基于光場攝像技術(shù)的對焦測距方法的研究[J].光子學報, 2009, 37(12)： 2539-2543.

XiaoXiangguo,WangZhonghou,SunChuandong,etal.Arangefocusingmeasurementtechnologybasedonlightfieldphotography[J].ActaPhotonicaSinica, 2009, 37(12)：2539-2543. (inChinese)

[12]楊德剛, 肖照林, 楊恒, 等. 基于光場分析的多線索融合深度估計方法[J]. 計算機學報, 2014, 37(97)：1-15.

YangDegang,XiaoZhaolin,YangHeng,etal.Depthestimationfromlightfieldanalysisbasedmultiplecuesfusion[J].ChineseJournalofComputers, 2014, 37(97)：1-15. (inChinese)

[13]WannerS,MeisterS,GoldlueckeB.Datasetsandbenchmarksfordenselysampled4Dlightfields[J].Vision,ModellingandVisualization(VMV), 2013: 225-226.

文章編號：1673-3193(2016)04-0395-06

收稿日期：2015-12-31

基金項目：國家自然科學基金資助項目(61271425，61372150)

作者簡介：陳佃文(1987-)， 男， 碩士生， 主要從事圖像重建的研究.

中圖分類號:TP391

文獻標識碼:A

doi:10.3969/j.issn.1673-3193.2016.04.014

A Depth Estimation Algorithm Using 4D Light Field Data

CHEN Dian-wen1, QIU Jun1, LIU Chang2, ZHAO Song-nian3

(1. Institute of Applied Mathematics, Beijing Information Science & Technology University, Beijing 100101, China;2. School of Mathematical Sciences, Peking University, Beijing 100871, China;3. Institute of Atmospheric Physics, Chinese Academy of Sciences, Beijing 100029, China)

Abstract:A depth estimation algorithm was proposed based on the four-dimensional structure information of the light field data, which has pixel-level precision and provides the accurate depth information for 3D surface reconstruction. First, the area-based matching algorithm based on the light field data was presented according to the proportional relationship between the disparity and the transposition of the viewpoints in light field data.The preliminary disparity map can be achieved. Then a confidence function was proposed based on the roots of the matching error to classify and optimize the pixels with matching error.The depth map with high accuracy can be achieved. The publicly benchmark simulated light field datasets from HCI and real light field datasets were used to verify the proposed algorithm and evaluate the accuracy of the disparity map. The results show that the proposed algorithm has better accuracy than the existing algorithms, especially in the smooth and occlusions regions.

Key words:depth estimation; light field; disparity map; area-based matching