速晉輝++金易弢++陸藝丹

摘要： 根據(jù)光場成像原理，對非聚焦型光場相機和聚焦型光場相機的成像原理和采樣模式進(jìn)行了分析，對比了兩種光場成像系統(tǒng)的成像特點。針對不同類型光場相機的信息采樣特點，推導(dǎo)了非聚焦型光場相機空域平移疊加重聚焦算法及聚焦型光場相機基礎(chǔ)圖像重構(gòu)算法，并在MATLAB中對兩種圖像重聚焦算法進(jìn)行了仿真驗證，實驗證明兩種算法都可以有效獲得任一景深清晰的像，可為光場成像技術(shù)的應(yīng)用提供借鑒。

關(guān)鍵詞：

光場成像； 圖像重構(gòu)； 重構(gòu)算法； 景深

中圖分類號： O 439文獻(xiàn)標(biāo)志碼： Adoi： 10.3969/j.issn.10055630.2017.01.006

Simulation of the algorithms for the light field image rendering

SU Jinhui， JIN Yitao， LU Yidan， ZHANG Wei

（School of OpticalElectrical and Computer Engineering， University of Shanghai for Science and Technology， Shanghai 200093， China）

Abstract：

The detailed analyses has been done on the unfocused plenoptic camera and the focused plenoptic camera respectively，based on the imaging principle and the sampling modes.The characteristics of these two different light field imaging systems are compared.The spatial domain shiftandadd rendering algorithm of the unfocused plenoptic camera and the basic rendering algorithm of the focused plenoptic have been deduced according to their sampling mode.Then the algorithms are simulated by the software MATLAB.The effectiveness of the two rendering algorithms has been verified that capture the clear image at depths.This research could serve as reference for the application of the light field imaging.

Keywords： light field imaging； imaging rendering； rendering algorithm； depth of field

引言

光場成像由于獲取了光輻射的完整分布，可以通過光場信息重構(gòu)算法的數(shù)據(jù)處理手段計算出所需的對焦圖像[12]。光場相機通過四維坐標(biāo)系參數(shù)表征出空間內(nèi)光輻射位置信息和方向信息，因此與傳統(tǒng)相機的二維圖像相比多出了兩個自由度。相較于傳統(tǒng)成像，光場成像的優(yōu)勢在于無需機械調(diào)焦，只需通過數(shù)據(jù)處理即可得到不同景深的清晰圖像，由于可在重構(gòu)之前對光輻射相位誤差進(jìn)行校正，從而能夠消除幾何像差，降低成像質(zhì)量對于光學(xué)器件性能的依賴性。光場成像過程包括了光場數(shù)據(jù)的采集和光場數(shù)據(jù)轉(zhuǎn)換為圖像的過程。

光場的概念最初由Gershun提出，用來描述三維空間內(nèi)光線的傳輸特性[34]。Adelson等提出用光線的三維坐標(biāo)、光線傳輸方向、光線波長及時間多個參數(shù)表征光場函數(shù)[5]，而Levoy等將光場函數(shù)表示為四維，并提出用兩個平行的平面對四維光場進(jìn)行參數(shù)化表征[6]。在幾何光學(xué)中，光場是指光線強度在三維空間中的位置分布和方向分布，可采用雙平面參數(shù)來表征光場?，F(xiàn)實中的成像系統(tǒng)都可以簡化為兩個平行的平面，將微透鏡陣列加入到傳統(tǒng)成像系統(tǒng)中，就可以對光場信息進(jìn)行采集，通過對探測器上每個點所接受的光線進(jìn)行積分，最終對所采集光場數(shù)據(jù)進(jìn)行處理得到所需要的對焦圖像[78]。為了提高光場信息采集的便捷性，Adelson等提出了一種光場相機的原理結(jié)構(gòu)[9]，隨后Ng等簡化了之前光場相機設(shè)計[10]，設(shè)計出了手持式光場相機，即傳統(tǒng)非聚焦型光場相機，再后來Lumsdaine等提出了改進(jìn)的聚焦型光場相機的設(shè)計[11]。

本文對非聚焦型光場相機和聚焦型光場相機的成像原理和采樣模式進(jìn)行了詳細(xì)的分析，在此基礎(chǔ)上針對不同的光場成像模式，推導(dǎo)了適用的光場圖像重構(gòu)算法。

2.2用于聚焦型光場相機的基礎(chǔ)圖像重構(gòu)算法

2.2.1

基礎(chǔ)圖像重構(gòu)算法原理

基礎(chǔ)圖像重構(gòu)算法是針對聚焦型光場相機的一種圖像重構(gòu)算法[13]，由于聚焦型光場相機的成像采集過程與非聚焦型光場相機存在差異，物體上每個點都被微透鏡陣列所采集并被探測器接收，所以場景中單個物點被多個微透鏡所采集。因此在圖像重構(gòu)過程中，需要提取每個微透鏡圖像中一定空間范圍內(nèi)的采樣信息，以此來對一個角度方向進(jìn)行圖像重構(gòu)。

若微透鏡陣列中每個透鏡之間的間距為μ，那么圖像探測器接受到所對應(yīng)微透鏡采集圖像像素范圍為μ×μ，此時選取每個微透鏡圖像間圖像信息連續(xù)且大小為M×M部分像素（其中M≤μ），將其定義為“圖像塊”尺寸，根據(jù)幾何成像的原理，將選取的所有圖像塊進(jìn)行拼接，可以重構(gòu)出對應(yīng)于不同景深的重聚焦圖像，如圖8所示。

另一種對該重構(gòu)方法的解釋是，若重構(gòu)算法中圖像塊的大小為M×M，如圖8所示，根據(jù)幾何成像原理可得

μ=Mab

（9）

由式（9）可知，不同圖像塊的尺寸對應(yīng)著不同的景深。由于對近景圖像的重構(gòu)能夠獲得每個微透鏡成像范圍內(nèi)更大尺寸的像素，因此距離微透鏡陣列較近的像面可以被重構(gòu)出比距離微透鏡陣列較遠(yuǎn)像面更高分辨率的圖像[1415]。

由于在對某一固定圖像塊尺寸進(jìn)行重構(gòu)時，不同景深目標(biāo)的邊緣無法全部實現(xiàn)完美匹配，因此該算法最終重構(gòu)出的圖像只有某一選定景深目標(biāo)是清晰的，其余景深目標(biāo)均被模糊。被清晰重構(gòu)的目標(biāo)景深與重構(gòu)時選擇的圖像塊尺寸直接相關(guān)。

2.2.2

基礎(chǔ)圖像重構(gòu)算法仿真

利用MATLAB模擬聚焦型光場相機成像模型，所建模型的光學(xué)系統(tǒng)參數(shù)如表2所示，分別對三個不同圖像以不同景深進(jìn)行成像，并使所得到的三幅圖像相互之間不形成遮擋，最后通過將模擬成像的三個光場圖像疊加得到包含多個景深信息的光場圖像。

實驗步驟如下：

（1） 在MATLAB中建立聚焦型光場相機成像模型，得到多景深目標(biāo)的光場圖像。

（2） 根據(jù)目標(biāo)物距，根據(jù)式（9）計算出對應(yīng)的圖像塊尺寸M，并對M做取整運算。

（3） 提取光場圖像的微透鏡圖像，并記錄其坐標(biāo)位置。

（4） 以每個微透鏡圖像中心為中心原點，以M為大小進(jìn)行圖像塊截取。

（5） 將所有微透鏡圖像中截取的圖像塊，按照所屬微透鏡在光場圖像中的坐標(biāo)位置進(jìn)行拼接，得到該景深聚焦情況下的重構(gòu)圖像。

根據(jù)圖2聚焦型光場相機結(jié)構(gòu)圖在MATLAB中建立仿真成像模型，并在軟件中對如圖10所示的場景進(jìn)行構(gòu)建，分別取物距為a1=15 mm、a2=25 mm和a3=40 mm三個不同目標(biāo)，坐標(biāo)y=0的平面為聚焦型光場相機模型所在平面，經(jīng)過仿真后得到光場圖像如圖11所示。

對包含多景深信息的光場圖像使用基礎(chǔ)圖像重構(gòu)算法，根據(jù)仿真圖像所在不同物距及式（9）的變形式M=μb/a得到不同景深對應(yīng)的適當(dāng)圖像塊尺寸。以a=15 mm時為例，理想的圖像塊尺寸實際計算值為M=2.8像素，由于像素數(shù)必須取整，所以允許對實際運算值進(jìn)行四舍五入，因此該物距條件下，圖像塊尺寸應(yīng)為M=3像素。仿真實驗中不同物距圖像塊大小如表3所示。

當(dāng)a1=15 mm時，得到重構(gòu)圖像如圖12所示。由圖可觀察到該物距圖像的邊緣得到了很好的匹配，實現(xiàn)了重聚焦的效果，同時在物距a2和a3上的目標(biāo)物產(chǎn)生了模糊現(xiàn)象。

當(dāng)a2=25 mm和a3=40 mm時，結(jié)果如圖13所示。由于所選目標(biāo)物所處位置較遠(yuǎn)，根據(jù)式（9）隨著景深a變大，圖像塊尺寸M隨之減小，使得最終重構(gòu)圖像分辨率較景深較淺的圖像有所降低。由于圖像塊尺寸變小，重構(gòu)圖像內(nèi)其他景深目標(biāo)物邊緣未能出現(xiàn)明顯的模糊現(xiàn)象，故對遠(yuǎn)距離目標(biāo)重構(gòu)時，會產(chǎn)生類似于全景深聚焦的效果。

3結(jié)論

在非聚焦型光場相機中，探測器位于微透鏡陣列的焦平面上，微透鏡陣列對無窮遠(yuǎn)處的物體進(jìn)行成像，將一個空間物點的所有角度方向信息采集于一個微透鏡圖像中，而一個角度方向的所有物點信息包含在所有微透鏡圖像中，即在非聚焦型光場相機中，子透鏡圖像中的一個像素表示來自光場內(nèi)一個角度方向的信息，不同方向的子圖像尺寸與微透鏡陣列數(shù)相等，通過空域平移疊加算法，雖然能夠重構(gòu)圖像，但其分辨率受到非聚焦光場相機自身器件的限制。而在聚焦型光場相機中，圖像探測器不在微透鏡陣列的焦面上，是在微透鏡陣列對主鏡頭像方某一平面的共軛像面上，微透鏡陣列可以從不同視角對該空間點進(jìn)行采集，即一個空間點被多個微透鏡所采集，空間與角度信息之間的轉(zhuǎn)換不會受到微透鏡陣列數(shù)的限制，并且由于與非聚焦型光場相機的微透鏡陣列與主透鏡位置放置的區(qū)別，聚焦型光場相機可以選用相對較大尺寸的微透鏡，通過基礎(chǔ)圖像重構(gòu)算法對微透鏡圖像進(jìn)行圖像塊選取并拼接，所得到的重構(gòu)圖像尺寸遠(yuǎn)遠(yuǎn)高于微透鏡陣列數(shù)。這樣使得空間與角度信息之間可以更為靈活的轉(zhuǎn)換，確保了光線信息得到更高效的利用，因此與非聚焦型光場相機相比，聚焦型光場相機可以拍攝出更高分辨率的圖像。實驗發(fā)現(xiàn)，針對兩種不同模式的光場相機，兩種光場重構(gòu)算法都能得到不同景深的重聚焦圖像，實現(xiàn)數(shù)字重聚焦功能，且聚焦型光場相機能夠獲得更高分辨率的圖像。

參考文獻(xiàn)：

[1]IVES F E.Parallax stereogram and process of making same：U.S，US725567A[P].19030414.

[2]LIPPMANN G.preuves réversibles.Photographies intégrales[J].Comptes Rendus de lAcadémie des Sciences，1908，146：446451.

[3]GERSHUN A.The light field[J].Journal of Mathematics and Physics，1939，18（1/2/3/4）：51151.

[4]GERSHUN A.The light field[M].Cambridge：Massachusetts Institute of Technology，1939：1315.

[5]ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14（2）：99106.

[6]LEVOY M，HANRAHAN P.Light field rendering[C]∥Proceedings of the 23rd annual conference on computer graphics and interactive techniques.New York：ACM，1996：3142.

[7]LEVOY M.Light fields and computational imaging[J].Computer，2006，39（8）：4655.

[8]BRADY D J.Optical imaging and spectroscopy[M].Hoboken：Wiley，2009：2552.

[9]ADELSON E H，BERGEN J R.The plenoptic function and the elements of early vision[M]∥LANDY F M，MOVSHON J A.Computational models of visual processing.Cambridge：MIT Press，1991：125.

[10]NG R，LEVOY M，BRDIF M，et al.Light field photography with a handheld plenoptic camera[R].Stanford Technical Report CTSR 200502，Palo Alto：Stanford University，2005：18901911.

[11]LUMSDAINE A，GEORGIEV T.The focused plenoptic camera[C]∥Proceedings of 2009 IEEE international conference on computational photography.San Francisco：IEEE，2009：18.

[12]NG R.Fourier slice photography[J].ACM Transactions on Graphics，2005，24（3）：735744.

[13]GEORGIEV T，LUMSDAINE A.Focused plenoptic camera and rendering[J].Journal of Electronic Imaging，2010，19（2）：021106.

[14]LUMSDAINE A，GEORGIEV T.Full resolution lightfield rendering[R].Adobe Technical Report，Adobe Systems，2008.

[15]張薇，郭鑫，尤素萍，等.混合式光場相機在聚焦與非聚焦模式下的超分辨重聚焦仿真（英文）[J].紅外與激光工程，2015，44（11）：33843392.

（編輯：劉鐵英）