王　宇,張　旭,2,3,屠大維,2（.上海大學機電工程與自動化學院,上海 200072；2.上海大學上海市智能制造及機器人重點實驗室,上海 200072；3.上海大學機械系統(tǒng)與振動國家重點實驗室,上海 200240）

基于頻域的像素光場圖像重聚焦算法

王宇1,張旭1,2,3,屠大維1,2
（1.上海大學機電工程與自動化學院,上海 200072；2.上海大學上海市智能制造及機器人重點實驗室,上海 200072；3.上海大學機械系統(tǒng)與振動國家重點實驗室,上海 200240）

提出一種基于像素光場的頻域重聚焦算法。首先建立四維光場與像素光場的關系模型,然后基于傅里葉變換,建立了像素光場的重聚焦方法,并分析了傅里葉切片的作用和重采樣的方法。在實驗中,對比積分投影法,分析兩種不同方法對同一場景的重聚焦效果,評價了兩種方法的計算效率。實驗結果表明,基于頻域的傅里葉切片法在結果上等效于積分投影法,但是計算負擔更小。

像素光場；重聚焦；傅里葉切片

引 言

光場有別于傳統(tǒng)的二維圖像,是對場景空間中既包含位置信息、又包含方向信息的所有光線的四維光輻射場的參數(shù)化的表示［1］。傳統(tǒng)相機對拍照的要求高,尤其是面對高速運動或是多目標場景拍攝時,經(jīng)常出現(xiàn)離焦等現(xiàn)象。如抓拍高速運動物體,要減少高速運動的物體造成的運動模糊,如果減少曝光時間,則圖像過暗；若增大孔徑,則景深過小,造成背景模糊［2］。當面對多目標場景,除聚焦點之外的物體則難以成像清晰。與之相對的,光場成像技術通過先拍攝后聚焦的技術提供了解決這些問題的新途徑。它可以記錄場景中自由光線傳播的四維位置和方向信息,比傳統(tǒng)的相機記錄的內容更加豐富,增加了兩維方向信息［1］；通過數(shù)字重聚焦技術,還可以在拍攝之后重新選擇焦點或是全景深融合,解決離焦或背景模糊等問題［3-4］。

光場圖像信息在存儲時有別于傳統(tǒng)的二維圖像:普通二維圖像存儲為RGB二維矩陣；光場圖像為了在保留位置信息的前提下,增加方向信息,用四維光場模型（其中位置坐標兩維,方向坐標兩維）來表示。如圖1所示,光線L（u,v,s,t）在空間中沿直線傳播［5］。根據(jù)Levoy的光場渲染理論［6］,空間中攜帶強度和方向信息的任意光線,都可以用兩個平行平面來進行參數(shù)化表示。因此,光場中的每條光線都可以用L（u,v,s,t）表示,其中,［u,v］代表位置信息,［s,t］代表方向信息［7］。圖1中d為兩個平面間的距離,模型化距離為1,而在實際進行光場變換的過程中,d會隨著焦點的改變而改變。

作為光場成像中的核心技術之一,數(shù)字重聚焦的方法有很多,主要可以分為基于空間域的積分投影［8-9］和基于傅里葉切片定理的信號處理的方法（以下簡稱傅里葉切片定理）［4-10］兩大類?；诳臻g域的投影積分法,主要是對光線沿光路的投影積分。鑒于光場數(shù)據(jù)是四維的,因此,計算相對比較繁瑣；相較于前者,基于頻域的信號處理的方法為我們提供了一個全新的關于光場圖像的處理視角［11］,使得關于光場重聚焦的推導過程更加嚴密,同時,這種完全不同的算法在數(shù)字重聚焦的計算方面更加快捷［4-12］。無論是在計算性還是理論性,基于傅里葉切片定理的信號處理的方法,都是優(yōu)于空間域的計算方法。

本文將頻域處理方法用在光場成像數(shù)字重聚焦算法中,建立像素光場模型,提出一種基于像素光場的傅里葉切片方法,并給出推導過程。從計算簡便性和理論優(yōu)越性方面,與空間域積分投影法進行比較分析,實驗證明傅里葉切片法的優(yōu)勢。

圖1　光場的參數(shù)化Fig.1　The parameters of the light field

1　傅里葉切片法

無論是積分投影法還是傅里葉切片法,都是基于光場理論。光場理論基于光場渲染理論,即當已知某平面位置的光場信息,則該光場在移動一定距離后,光場信息發(fā)生轉變,聚焦點也隨之變化［6］。如圖2所示,A、B、C三個物體具有不同的深度,傳統(tǒng)相機的聚焦面只能在一定深度,如圖2所示的物體理想位置。此時,A清晰成像,B和C則模糊。同量,當聚焦面移動到其他位置,亦會導致其它物體離焦而不清晰。光場成像理論則不同,依靠在主透鏡和CCD之間添加的微透鏡陣列,圖3所示,光線穿過微透鏡陣列到達CCD,與二者的交點分別為［Mpx,Mpy］,［Ipx,Ipy］,位置信息已經(jīng)記錄；對于同一條光線,將二者對應坐標相減,可得到偏移量,即光線的方向信息,這樣,不僅記錄了場景光線的位置信息,同時可以記錄其方向信息［13］。經(jīng)過數(shù)學變換,可以有效還原場景的三維信息。

圖2　成像示意圖Fig.2　The schematic diagram of imaging

圖3　透鏡陣列空間復用原理Fig.3　The principal of spatial multiplexing

1.1像素光場模型

當光場從一個平面?zhèn)鬟f到另一個共軸的平行平面時,它的位置坐標［u,v］可以表示為

式中:［u,v］表示透鏡陣列所在的平面位置；［s,t］表示光場的方向信息。3D場景中的光線通過空間和光學器件到達傳感器。這些光學器件需要經(jīng)過仔細挑選,并按照期望的光學流程布置,才能合理編碼可利用的視覺信息。光場能夠記錄光線,利用了微透鏡陣列空間復用原理［15］。

一條光線與兩平面分別相交于O和Od,這兩個平面的距離d=1,直線OO′與兩平面垂直。因此,第一個平面上的O點就表示位置信息［u,v］T,而向量O′Od表示方向信息［s,t］T。由此可得,光線OOd可以表示為［u,v,s,t］T。

在理想成像面處放置透鏡陣列,在透鏡陣列1倍焦距（微透鏡陣列的焦距）處放置CCD感光器件,如圖3所示。根據(jù)高斯成像原理,1倍焦距處的成像是平行入射光線所致。CCD上對應同一個小透鏡,不同的像素來源于不同方向的光線。因此CCD的像素位置光與其小透鏡中心位置的偏移量為［px,py］T,相當于光線的方向。

首先將相機獲得的光場信息轉化為標準的光場描述?？紤]到像素尺寸大小pw,微透鏡焦距fm,則光場的方向描述［s,t］T可由下式得到

光場位置描述［u,v］T可由透鏡中心的像素坐標（［gridx,gridy］T）轉換得到

由此可得到標準光場描述

其中,相機已給出像素尺寸大小和透鏡陣列的焦距。

1.2傅里葉切片法原理

基于頻域的傅里葉切片法,提出一種全新的快速的光場圖像數(shù)字重聚焦算法。傅里葉中心切片定理最早是由Bracewell在無線電航天領域提出的,其表述為二維函數(shù)的傅里葉頻譜的一維切片,即為其二維函數(shù)的正交投影積分的傅里葉變換。因為在頻域空間的起點,函數(shù)的信號值是直流量,不隨時間變化［16-17］,因此,旋轉或者剪切等操作,是不會產(chǎn)生任何影響。為了將二維空間延伸至四維空間,同時方便操作,需要引入切片算子B。

根據(jù)式（1）,對當前透鏡陣列所在平面的光場進行變換,改變成像平面的位置,該位置變量由距離d決定。將式（4）代入式（1）可得

由式（4）可知

式（4）的比例因子、像素大小和微透鏡焦距只是一個常量,只是描述的光場坐標系和像素坐標系的變換,因此在傅里葉切片法中將不強調像素坐標和實際坐標的變換。因此,光場變換只需要對（gridx, gridy,px,py）進行四維傅里葉變換。由式（5）和式（6）可得

其中

即為切片算子。由上述推論不難看出,切片算子B是方便我們選取理想深度d處的二維傅里葉切片。然后進行數(shù)字重聚焦。首先進行四維傅里葉變換

式中:E為傅里葉頻譜函數(shù)；ξ4為四維傅里葉變換。對傅里葉變換后的像素坐標進行光場變換,即選取二維傅里葉切片,變換的方法為

根據(jù)切片算子B,在四維光場中選擇適當?shù)亩S切片。然后利用4階插值,每個透鏡都對同一點進行重采樣；然后,直接忽略到傅里葉變換下（px′,py′）坐標對應的數(shù)據(jù),即將其設置為0,得到二維圖像頻譜為

之后進行二維傅里葉反變換

得到二維圖像表達式

在實際的求和運算中,忽略像素和微透鏡焦距等常量,直接對同一個透鏡的所有像素（px,py）進行求和即可。

1.3算法復雜度分析

整個傅里葉切片算法中,主要分為預處理（傅里葉變換）、重聚焦和后處理（傅里葉反變換）。主要的過程是:

（1）預處理。對得到的光場圖像,首先進行建模,轉化為像素光場模型；然后通過快速傅里葉變換計算其四維傅里葉變換。這一步計算復雜度為O（n4log2n）。

（2）數(shù)字重聚焦。對于在光場內的任一期望的焦平面在d處的重聚焦都是可以完成的。利用式（9）、式（10）對經(jīng)過傅里葉變換的E（gridx,gridy,px,py）提取傅里葉切片,對應到像素光場,求所有微透鏡對同一點的重采樣,然后直接忽略傅里葉變換下坐標px′與py′對應的數(shù)據(jù),將其直接設為0。這樣,四維數(shù)據(jù)簡化為兩維,這一步的計算復雜度為O（n2）。

（3）計算二維傅里葉切片的反變換,對每個透鏡下的像素求和,即可得到理想深度d下的重聚焦圖片。這一步的計算復雜度為O（n2log2n）。

作為解決同一問題的不同方法,基于空間域的積分投影法和基于頻域的傅里葉切片法,都可以完成數(shù)字重聚焦的工作。圖4為兩種不同的重聚焦算法的示意圖。圖5（a）、（b）分別為空間域和頻域同時在d=—7處的聚焦效果圖對比。圖5（c）為二者相減得到的像素差的偽彩色圖。其中,圖像的存儲數(shù)據(jù)類型為無符號16位（uint 16）,范圍是0～65 535。偽彩色圖的數(shù)值范圍為［0,65］,與數(shù)據(jù)相差三個數(shù)量級,誤差率小于65/65 535≤1×10—3,即0.1%,近似相等。

因其看待問題的角度不同,因而在算法的具體實現(xiàn)上,二者的繁易程度會有差別。積分投影法的計算復雜度主要集中在積分投影部分。由于正反傅里葉變換是公式化的,因此,傅里葉切片法的計算復雜程度主要取決于兩側的投影積分和二維傅里葉切片。由圖中可以看出,頻域內的計算復雜度為O（n2）,空間域內的為O（n4）。顯然,傅里葉切片法要比積分投影法快捷許多。

圖4　兩種不同重聚焦算法示意圖Fig.4　Schematic ofthe two different algorithms

圖5　空間域和頻域效果圖和偽彩色圖Fig.5　Effects of the two ways and pseudo-color map

如圖6所示,對同一深度連續(xù)聚焦21次的時間對比。可以看出,這就驗證了上述理論的正確性,傅里葉切片法比前者有更快的運行速度。

圖6　兩種方法的時間對比Fig.6　Comparison of time consuming of the two methods

2　數(shù)字重聚焦

不同于空間域的算法,基于頻域的傅里葉切片法,首先對四維光場進行預處理,然后傅里葉變換,在頻域完成數(shù)字重聚焦后,再將圖像由頻域反變回空間域。RGB三通道分別進行傅里葉變換,然后對每個透鏡進行重采樣來進行光場重聚焦:首先尋找二維切片的坐標（px′,py′）,然后利用立方插值,通過二維切片坐標,根據(jù)新的焦點,對光場圖像進行重采樣［18］,即數(shù)字重聚焦；最后,非數(shù)字數(shù)據(jù)全部置零,經(jīng)傅里葉反變換,即可得到新的焦點下的重聚焦圖像。其中,圖7為像素光場raw圖像,圖8為重聚焦圖像。圖8（a）是焦點在前方（靠近鏡頭處）,圖8（b）是焦點在后方（遠離鏡頭處）,圖8（c）為近景聚焦,圖8（d）為遠景聚焦。

圖7　像素光場raw圖像Fig.7　Raw picture in the pixelated light field

圖8　重聚焦對比圖Fig.8　Comparison of 2D slice refocus

3　結 論

本文提出基于像素光場的傅里葉切片算法實現(xiàn)光場重聚焦。基于光場空間復用的原理推導出標準光場與像素光場的關系,并將空間變換轉化到像素光場上。根據(jù)傅里葉變換原理推導出在頻域的光場重聚焦等效方法。通過理論分析,兩者是等效的,且時間復雜度上頻率的傅里葉切片方法更小。實驗表明,與空間域相比在達到同樣效果的前提下,同樣可以完成光場重聚焦的功能,而且具有更快的運行速度,在處理大數(shù)據(jù)的情況下優(yōu)勢明顯。

［1］ ALEXANDER GERSHUN.The light field［J］.Journal of Mathematics and Physics,1939（18）:51-151.

［2］ 聶云峰,相里斌,周志良.光場成像技術進展［J］.中國科學院研究生院學報,2011,28（5）:564-572.

［3］ NG R,LEVOY M,BRéDIF M,et al.Light field photography with a hand-held plenoptic camera［R］.［S.l.］:Stanford Tech Report CSTR,2005:1-11.

［4］ NG R.Digital light field photography［D］.California:Stanford University,2006:187.

［5］ ADELSON E H,WANG J Y A.Single lens stereo with a plenoptic camera［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14（2）:99-106.

［6］ LEVOY M,HANRAHAN P.Light field rendering［C］//Proceedings of SIGGRAPH.New York:ACM Press,1996:31-42.

［7］ LEVOY M,ZHANG Z,MCDOWALL I.Recording and controlling the 4D light field in a microscope using microlens arrays［J］. Journal of Microscop,2009,235（2）:144-162.

［8］ NG R.Fourier slice photography［C］//Proceedings of SIGGRAPH.New York:ACM Press,2005:735-744.

［9］ CASTLEMAN H R.Digital image processing［M］.Englewood Cliffs,New Jersey:Prentice Hall,1979.

［10］ LEVOY M.Light fields and computational imaging［J］.Computer,2006,39（8）:46-55.

［11］ DURAND F,HOLZSCHUCH N,SOLER C,et al.A frequency analysis of light transport［J］.ACM Transactions on Graphics,2005, 24（3）:1115-1126.

［12］ 周志良.光場成像技術研究［D］.北京:中國科學技術大學,2012:114.

［13］ CHEN W C,BOUGUET J Y,CHU M H,et al.Light field mapping:effcient representation and hardware rendering of surface light field［C］//Proceeding of SIGGRAPH.New York:ACM Press,2002:447-456.

［14］ 張旭,李晨.微透鏡陣列式光場成像模型及其標定方法［J］.光學學報,2014,34（12）:95-107.

［15］ ZHANG X,LI C.Model of light field imaging and its application in refocus and all-focus［J］.Advanced Materials Research,2014, 1039:266-273.

［16］ BRACEWELL R.The Fourier transform and its applications［M］.New York:McGraw-Hill,1965.

［17］ LEVOY M.Volume rendering using the fourier projection-slice theorem［C］//Proceedings of graphics interface.Vancouver:Canadian Information Processing Society,1992,61-69.

［18］ DANSEREAU D G,PIZARRO O,WILLIAMS S B.Decoding,calibration and rectification for lenselet-based plenoptic cameras［C］// Proceeding of computer vision and pattern recognition（CVPR）.Portland,OR:IEEE,2013:1027-1034.

（編輯:張 磊）

Refocus of the pixel light field image in the frequency domain

WANG Yu1,ZHANG Xu1,2,3,TU Dawei1,2
（1.School of Mechatronic Engineering and Automation,Shanghai University,Shanghai 200072,China；2.Shanghai Key Laboratory of Intelligent Manufacturing and Robotics,Shanghai University,Shanghai 200072,China；3.State Key Laboratory of Mechanical System and Vibration,Shanghai University,Shanghai 200240,China）

This paper provides a refocus algorithm of the pixel light field in the frequency domain.It needs to pixelate the 4D light field data at first,then establishes the way of refocus in the Fourier transform and analyses the effect of Fourier slice and procedure of resample. Comparing with the method of integral projection in the experiment,the refocus results about the same scene of the two different ways are explained and the efficiency of each is evaluated. The experimental results show that the Fourier slice has a better computational performance which can achieve the same as the result with integral projection.

pixel light field；refocus；Fourier slice

TP 391

A

10.3969/j.issn.1005-5630.2016.02.006

1005-5630（2016）02-0121-07

2015-05-26

國家自然科學基金資助項目（51205244）

王宇（1987—）男,碩士,主要從事圖像處理方面的研究。E-mail:541340151@qq.com

張旭（1982—）男,博士,主要從事信息和計算機視覺方面的研究。E-mail:xuzhang@shu.edu.cn