孫延祿

自上世紀(jì)50年代以來(lái)，用電子計(jì)算機(jī)研究信息處理，并將它與光學(xué)的規(guī)律、手段等結(jié)合在一起，逐漸形成了光學(xué)信息處理新領(lǐng)域。七十多年來(lái)，隨著科技的迅速發(fā)展，數(shù)字計(jì)算機(jī)與數(shù)字圖像傳感器的結(jié)合日益緊密，已經(jīng)創(chuàng)造了一個(gè)強(qiáng)大的稱為 “計(jì)算成像”（Computational Imaging）的新工具。數(shù)字光場(chǎng)成像是它的一個(gè)重要組成部分。

1 光場(chǎng)與全光函數(shù)

光場(chǎng)是三維世界中光線集合的完備表示。與傳統(tǒng)的攝影成像只記錄光輻射在二維平面上的投影強(qiáng)度不同，光場(chǎng)成像則需要捕獲景物光輻射的完整分布，為此就需要捕捉多維度的光輻射信息并對(duì)其進(jìn)行計(jì)算成像處理，最后通過(guò)不同的顯示裝置顯示出所需要的景物影像。

光場(chǎng)的概念最早于1936年由俄羅斯學(xué)者戈?duì)栱槪℅ershun）提出，它從理論上定義了空間內(nèi)每個(gè)方向上通過(guò)每個(gè)點(diǎn)的光輻射，但卻限于當(dāng)時(shí)的技術(shù)條件無(wú)法實(shí)際測(cè)量與記錄它。1991年，埃爾森 （E.H.Adelsion）等根據(jù)人眼對(duì)外部光線的視覺(jué)感知，提出了用七維函數(shù)來(lái)表征幾何光線的空間分布，并稱之為全光函數(shù) （Plenoptic Function）。如圖1所示，在全光函數(shù)L （x，y，z，θ，Φ，λ，t）的七個(gè)變量中，x，y，z表示空間中任一點(diǎn)的三維坐標(biāo)，θ和Φ表示通過(guò)該點(diǎn)的一條光線的傳播方向，λ表示光線的波長(zhǎng)，t則表示時(shí)間。

圖1 全光函數(shù)L的七個(gè)變量

根據(jù)文獻(xiàn) [2]的論述，要在圖像感光器件只有二維的感光平面上記錄圖像全部信息，就必須至少把這七個(gè)變量中的五個(gè)先離散化 （即把它們連續(xù)變化的量替換為離散的數(shù)列）。隨著影視技術(shù)的發(fā)展，已經(jīng)逐步解決了這個(gè)問(wèn)題。首先是t，需按照所選定的拍攝頻率確定出時(shí)間序列；然后是λ，需按照顯示彩色圖像所要求的三原色選定R，G，B三個(gè)波長(zhǎng)序列。這樣，七維函數(shù)就變成為五維函數(shù)L（x，y，z，θ，Φ）了。要在計(jì)算機(jī)內(nèi)處理這個(gè)五維函數(shù)，仍然數(shù)據(jù)量很大。為了進(jìn)一步減少全光函數(shù)的維度，拉沃伊 （M.Levoy）和漢拉哈姆（P.Hanrahan）于1996年提出了利用兩個(gè)相互平行的平面來(lái)對(duì)光場(chǎng)進(jìn)行參數(shù)化表征的構(gòu)想，如圖2所示。即光場(chǎng)可以變?yōu)榫哂兴膫€(gè)自變量的四維函數(shù)L （u，v，s，t）。

圖2 四維函數(shù)L （u，v，s，t）

這個(gè)五維函數(shù)是怎樣演變?yōu)樗木S函數(shù)的，其依據(jù)在哪里？在現(xiàn)有文獻(xiàn)中卻難以找到。本文下面對(duì)這個(gè)問(wèn)題作一些推導(dǎo)，以證明這個(gè)降維變換的合理性。

圖3 一個(gè)點(diǎn)在直角坐標(biāo)系和球面坐標(biāo)系中的表示方法

為了能說(shuō)清楚此問(wèn)題，需要先說(shuō)明空間中同一個(gè)點(diǎn)在直角坐標(biāo)系和球面坐標(biāo)系中的表示方法及相互轉(zhuǎn)換關(guān)系。如圖3所示，空間內(nèi)的任意點(diǎn)P在直角坐標(biāo)系O-XYZ內(nèi)表示為P （x，y，z），而P點(diǎn)在以O(shè)為圓心的球面坐標(biāo)系中則表示為P（r，θ，Φ），其中r為矢量OP的長(zhǎng)度，θ為OP與Z軸間的夾角，Φ為OP在XOY平面上的投影OR與X軸的夾角。根據(jù)立體解析幾何，P點(diǎn)的直角坐標(biāo)與其球面坐標(biāo)間的關(guān)系為：

由式 （1）得：

由式 （1）可見(jiàn)，x、y、z都是r、θ和Φ的函數(shù)，只要r、θ和Φ的值確定了，它們的值也就確定了。

那么，上述五維函數(shù)L （x，y，z，θ，Φ）中的θ和Φ能否改由直角坐標(biāo)系中的坐標(biāo)來(lái)表示呢？回答是肯定的。

圖4 全光函數(shù)降維說(shuō)明

如圖4所示，P點(diǎn)是在坐標(biāo)系O-XYZ中的任一個(gè)點(diǎn)，我們以P（x，y，z）點(diǎn)為原點(diǎn)作出另一個(gè)坐標(biāo)系P-XYZ，而且其三個(gè)軸線PX、PY、PZ均依次平行于坐標(biāo)系O-XYZ的三個(gè)軸線OX、OY、OZ。

依據(jù)上述公式 （1），只要預(yù)先給定θ和Φ的值，再任意給定球面半徑r一個(gè)大于零的數(shù)值，就可以求出與之對(duì)應(yīng)的一點(diǎn)P在坐標(biāo)系P-XYZ中的坐標(biāo)值 （x，y，z）。這樣，P點(diǎn)在坐標(biāo)系O-XYZ中的坐標(biāo)值 （x，y，z）就可以按下式求得：

根據(jù)上述，五維函數(shù) L （x，y，z，θ，Φ）就可以改寫(xiě)為L(zhǎng) （x，y，z，x，y，z）。

光線PP的位置和方向可由P和P兩點(diǎn)的坐標(biāo) （x，y，z，x，y，z）來(lái)確定。如果認(rèn)為其中的一個(gè)點(diǎn)是景物上的一個(gè)發(fā)光點(diǎn)，另一個(gè)則可以認(rèn)為是觀察者的眼點(diǎn)或空間中的另一個(gè)點(diǎn)。

為了能進(jìn)一步減低此函數(shù)的維度，使它變?yōu)橐粋€(gè)四維函數(shù)，就必須把上述的六個(gè)自變量中的兩個(gè)給予確定的數(shù)值。例如我們選擇z、z給其兩個(gè)不同的確定值 （亦即選定了兩個(gè)相互平行的垂直于Z軸的平面），則在這樣的約束條件下，在由z、z兩個(gè)相互平行的平面內(nèi)，并與它們相交的任一條直線的位置及方向就可以用一個(gè)四維函數(shù) （x，y，x，y）表示了。

以上就是全光函數(shù)為何可以從原來(lái)的七維函數(shù)降維為四維函數(shù)L （u，v，s，t）的依據(jù)。

此外，筆者還認(rèn)為這一降維構(gòu)想的來(lái)源和已有一百多年歷史的集成攝影術(shù) （Integral Photography）有緊密聯(lián)系。眾所周知，集成攝影術(shù)的原理是20世紀(jì)初由法國(guó)人立普曼 （G.Lippmann）首先提出的。集成攝影術(shù)以采用特殊的感光板為基礎(chǔ)，它是由眾多光學(xué)上相互隔離的透鏡單元組成的透鏡陣列，在透鏡的后焦平面上敷有感光乳劑。集成攝影能記錄與再現(xiàn)景物的三維光學(xué)模型，觀看者可以不借助于任何輔助裝置，從空間的不同位置直接觀看。

在集成攝影過(guò)程中除了記錄發(fā)自景物的光束強(qiáng)度之外，還同時(shí)記錄其傳播方向。

為了解釋集成攝影的物理實(shí)質(zhì)，可以很方便地利用幾何光學(xué)的概念。

圖5 集成攝影的物理本質(zhì)說(shuō)明

如圖5所示，我們?cè)谄矫?上建立坐標(biāo)系X，Y由物體1發(fā)出的光束與平面2相交。我們觀察由物體上A點(diǎn)發(fā)出的一條與平面2相交于X，Y點(diǎn)的光線。從物體1上所有點(diǎn)發(fā)出的光線也匯聚于該點(diǎn)。這些光線的輻射強(qiáng)度決定于物體相應(yīng)部位的亮度，但這些光線的傳播方向均不同于我們所選定的那條光線。為了保存由物點(diǎn)A發(fā)出的這條光線的傳播方向信息，在平面2的后面在與之相距d的位置設(shè)立另一個(gè)平行于平面2的平面3。在平面3上建立坐標(biāo)系X’，Y’。設(shè)定由物點(diǎn)A發(fā)出的這條光線與平面3相交于X’，Y’點(diǎn)。這樣一來(lái)，X，Y及X’，Y’四個(gè)坐標(biāo)就單值地確定了由物點(diǎn)A發(fā)出的這條光線的路徑。而函數(shù)F （X，Y，X’，Y’）則表示該方向上光線的輻射強(qiáng)度。

為了記錄信號(hào)在平面3處放置感光板。要在感光平面的二維坐標(biāo)內(nèi)記錄包含有四個(gè)變量的信號(hào)，至少要對(duì)四個(gè)變量中的兩個(gè)進(jìn)行離散抽樣。在平面2處放置具有許多微小圓孔的網(wǎng)板，其相鄰孔間距為X

，Y（如圖5中平面2的右下部分所示），就可以使變量X，Y離散化。這樣一來(lái)，整個(gè)系統(tǒng)就和眾多的針孔相機(jī)相似 ，在感光板平面上會(huì)形成眾多個(gè)被攝物體的微小影像，其數(shù)量等于網(wǎng)板上圓孔的數(shù)量。圖中以An’表示物點(diǎn)的一個(gè)影像。上述過(guò)程的結(jié)果是在平面感光板上記錄下以四維函數(shù)F （X，Y，X’，Y’）表征的信號(hào)。變量X，Y相當(dāng)于圖2中的u，v；而變量X’，Y’則相當(dāng)于圖2中的s，t。

因此，我們可以認(rèn)為集成攝影術(shù)就是光場(chǎng)成像的源頭，數(shù)字光場(chǎng)成像技術(shù)是集成攝影術(shù)的繼承與發(fā)展，是集成攝影術(shù)與計(jì)算機(jī)圖像處理技術(shù)相結(jié)合的近代產(chǎn)物。

2 光場(chǎng)信息的記錄方法與相關(guān)裝置

根據(jù)景物的狀態(tài)和基線長(zhǎng)度 （即視點(diǎn)范圍寬度）等的不同，用攝影方法捕獲景物光場(chǎng)信息的方法和相關(guān)裝置可大致分為以下幾類(lèi)：

（1）移動(dòng)拍攝的攝像機(jī)：對(duì)于靜態(tài)的，且光場(chǎng)基線長(zhǎng)度比較長(zhǎng) （從數(shù)英尺到數(shù)英里）的景物，多采用此法。用單臺(tái)攝像機(jī)在連續(xù)移動(dòng)中拍攝場(chǎng)景就可以捕捉到一個(gè)光場(chǎng)。在輔助設(shè)備的支持下，攝像機(jī)可以沿著一個(gè)平面、柱面或球面移動(dòng)。此方法多用于文物與歷史遺跡的數(shù)字記錄與重現(xiàn)。

（2）多臺(tái)攝像機(jī)陣列：為了能捕捉到動(dòng)態(tài)場(chǎng)景的長(zhǎng)基線光場(chǎng)需要有多臺(tái)攝像機(jī)。如果視頻攝像機(jī)沿著一維的路線排列，則當(dāng)序列地快速顯示這些場(chǎng)景時(shí)，會(huì)使人產(chǎn)生圍繞場(chǎng)景運(yùn)行的印象。如果將攝像機(jī)配備成二維陣列，則可以捕捉到全光場(chǎng)。本世紀(jì)初，美國(guó)斯坦福大學(xué)的一批計(jì)算機(jī)專家用100臺(tái)低成本攝像機(jī)構(gòu)成了一臺(tái)多機(jī)陣列攝像系統(tǒng)，并對(duì)該系統(tǒng)的成像能力進(jìn)行了實(shí)驗(yàn)。其結(jié)果對(duì)數(shù)字光場(chǎng)攝影技術(shù)的發(fā)展具有參考價(jià)值。

（3）小透鏡陣列：如果視點(diǎn)范圍展開(kāi)在一條短的基線 （從數(shù)英寸到數(shù)微米）內(nèi)，就可以使用一臺(tái)攝像機(jī)和一個(gè)小透鏡陣列來(lái)替代多臺(tái)攝像機(jī)陣列。如前文所述，用透鏡陣列來(lái)捕捉光場(chǎng)起源于立普曼發(fā)明的集成攝影技術(shù)。如果把圖5中平面2上的微小圓孔改換成小透鏡，它就變成一個(gè)小透鏡陣列。每個(gè)小透鏡記錄一個(gè)從方陣上某個(gè)位置上觀察到的場(chǎng)景透視圖，這就構(gòu)成了一個(gè)光場(chǎng)。

其uv分辨率取決于陣列內(nèi)小透鏡的數(shù)量，而其st分辨率則取決于每個(gè)小透鏡后面圖像傳感器所對(duì)應(yīng)的像素?cái)?shù)。

圖6 把微透鏡陣列插入到圖像傳感器與攝像機(jī)主鏡頭之間

如圖6所示，把一個(gè) “場(chǎng)鏡”置于小透鏡陣列的物空間一側(cè)，并且這樣調(diào)節(jié)它的位置，使場(chǎng)景主體聚焦到小透鏡的主面上，每個(gè)小透鏡把攝入它的光線按方向分解并把主鏡頭光孔的像生成在微透鏡之下的像素平面上。這樣光場(chǎng)就被換位，此時(shí)其st分辨率取決于小透鏡的數(shù)量，而其uv分辨率則取決于每個(gè)小透鏡后面所對(duì)應(yīng)的像素?cái)?shù)。

上述第一種布置具有體積薄的優(yōu)勢(shì)，然而由它計(jì)算得出的視圖的分辨率卻是較低的。因此，如果系統(tǒng)的厚度不太受限，就應(yīng)當(dāng)優(yōu)先選擇后一種安排。在后一種安排下，只有 “場(chǎng)鏡”需要矯正像差，而不需再去矯正每個(gè)小透鏡?；谶@一優(yōu)勢(shì)，連同現(xiàn)今制造微小透鏡工藝的進(jìn)步，眾多研究者都建議把微透鏡陣列插入到圖像傳感器與攝像機(jī)主鏡頭之間，從而構(gòu)造成一臺(tái)全光攝影機(jī)。

3 實(shí)現(xiàn)場(chǎng)景真實(shí)三維顯示的新途徑

電影技術(shù)的基本發(fā)展規(guī)律是通過(guò)人造手段 （包括直接攝取與計(jì)算機(jī)生成）提取并再現(xiàn)所記錄景物的活動(dòng)影像，以及聲音等其他感官信息，使觀眾對(duì)其感受的效果逐步逼近于現(xiàn)實(shí)生活中的實(shí)際感受。從這一觀點(diǎn)出發(fā)，電影技術(shù)雖然已經(jīng)有了一百多年的發(fā)展歷史，但目前還遠(yuǎn)未達(dá)到上述目標(biāo)。僅從景物的空間再現(xiàn)效果來(lái)看，就有著明顯的差距。目前流行的3D電影采用的是雙眼視差立體顯示方法。它具有許多先天性的局限性，特別是觀看者眼睛“調(diào)節(jié)”與 “會(huì)聚”的沖突，長(zhǎng)時(shí)間觀看會(huì)造成眼部的不適與疲勞。因此只能說(shuō)，它只是利用人眼 “錯(cuò)覺(jué)”的一種假3D，還只是實(shí)現(xiàn)3D影像顯示的初級(jí)階段。

近年來(lái)，隨著電影的數(shù)字化及與計(jì)算機(jī)技術(shù)結(jié)合的日益緊密，人們?cè)诳s小這一差距方面已經(jīng)開(kāi)辟了許多新途徑。國(guó)內(nèi)外許多研究機(jī)構(gòu)和高校已經(jīng)發(fā)表了許多學(xué)術(shù)論文介紹其研究結(jié)果。其中尤為突出的就是基于光場(chǎng)重構(gòu)的真實(shí)三維顯示技術(shù)。

如本文前面所述，景物的光場(chǎng)信息本身就是多維度的光輻射信息，通過(guò)專用裝置將其捕獲之后，將耦合后的數(shù)據(jù)流送入計(jì)算機(jī)進(jìn)行處理，得出與所選用顯示系統(tǒng)相匹配的能正確顯示該景物的控制信號(hào)并通過(guò)該顯示設(shè)備重建出逼近于景物原始光場(chǎng)的再現(xiàn)光場(chǎng)。能重構(gòu)光場(chǎng)的顯示技術(shù)不只一種，常見(jiàn)的有體素點(diǎn)三維顯示、全息顯示及集成成像顯示。前兩種均可在空間中重構(gòu)出景物的真三維影像，但其所需處理的數(shù)據(jù)量都更巨大，受到計(jì)算速度及傳輸速率方面的限制，且在成像質(zhì)量方面也尚有許多不足之處。集成立體成像技術(shù)具有以下突出特點(diǎn)：（1）在不需要任何觀察設(shè)備的情況下，在空間中再現(xiàn)了三維圖像，并保留了正確的顯示比例而不受觀察距離的限制；（2）給觀察者提供了連續(xù)視點(diǎn)及全視差的真實(shí)立體圖像，克服了觀察者眼睛的匯聚與調(diào)節(jié)的沖突問(wèn)題；（3）它是一種被動(dòng)顯示技術(shù)，克服了全息顯示技術(shù)中需要輔助光源來(lái)顯示立體圖像的問(wèn)題；（4）系統(tǒng)的組成設(shè)備相對(duì)比較簡(jiǎn)單。因此，集成成像光場(chǎng)重構(gòu)技術(shù)就更加得到研發(fā)者的青睞。

集成成像光場(chǎng)重構(gòu)技術(shù)利用空間發(fā)光方向調(diào)控的陣列顯示器集成方法重構(gòu)空間景物三維光場(chǎng)，它無(wú)需任何機(jī)械掃描系統(tǒng)，采用眾多顯示器與光場(chǎng)調(diào)節(jié)屏幕組成集成化的光場(chǎng)重構(gòu)系統(tǒng)。每個(gè)顯示器顯示的圖像為特定三維區(qū)域不同視角圖像的組合。通過(guò)陣列顯示器圖像的集成重構(gòu)出三維景物的空間光場(chǎng)。

4 結(jié)語(yǔ)

相對(duì)于傳統(tǒng)攝影方法，數(shù)字光場(chǎng)攝影有許多優(yōu)勢(shì)。限于篇幅，本文未做全面介紹。由于光場(chǎng)攝影捕獲景物光輻射的完整分布，在后期計(jì)算機(jī)處理過(guò)程中可根據(jù)未來(lái)要求的不同影像顯示方式來(lái)進(jìn)行不同的影像處理。也就是說(shuō)，只要進(jìn)行一次拍攝，就可以在后期制作出不同技術(shù)類(lèi)型的影片。顯然，這十分有利于多品種影片的制作與發(fā)行，并降低其制作成本。

美國(guó)的Lytro公司已經(jīng)開(kāi)始了把數(shù)字光場(chǎng)攝影技術(shù)用于電影制作的研究，并于2016年推出了Lytro Cinema系統(tǒng)。雖然該公司已于2018年宣布倒閉，但其技術(shù)定會(huì)有其他公司轉(zhuǎn)接而得以延續(xù)。電影技術(shù)的進(jìn)步與攝影學(xué)的進(jìn)步密切相關(guān)。當(dāng)前，計(jì)算攝影學(xué)——全光視覺(jué)信息的計(jì)算采集已是前沿科研熱點(diǎn)，值得我國(guó)電影科技界的重視。