摘 要 光場(chǎng)技術(shù)在三維重建上有著無(wú)可比擬的優(yōu)勢(shì)，通過(guò)采集光線的方向和強(qiáng)度，借助渲染計(jì)算就能在虛擬世界還原現(xiàn)實(shí)場(chǎng)景。這一技術(shù)的發(fā)展為博物館創(chuàng)建虛擬漫游系統(tǒng)提供了更加先進(jìn)的助力。以上海博物館的“大英博物館百物展：濃縮的世界史”特展為例，試圖打破時(shí)間和空間的限制，通過(guò)采集展廳各部分的光場(chǎng)數(shù)據(jù)打造“永不落幕”的在線展覽，給觀眾以身臨其境的參觀體驗(yàn)，并為建設(shè)數(shù)字博物館帶來(lái)新的創(chuàng)意。

關(guān)鍵詞 光場(chǎng)技術(shù) 虛擬漫游 在線展覽 三維重建

0 引言

近年來(lái)有關(guān)三維成像的硬件和軟件技術(shù)日益成熟，越來(lái)越多的博物館采用該技術(shù)來(lái)創(chuàng)建場(chǎng)館的三維模型，讓觀眾可以在線瀏覽各個(gè)展廳。目前，主流的做法是先由激光、結(jié)構(gòu)光掃描得到三維坐標(biāo)數(shù)據(jù)，采集尺寸信息;再拍攝高清圖像得到色彩紋理;最后將幾何模型與紋理圖像相關(guān)聯(lián)，結(jié)合成完整的三維模型。其中，貼圖的真實(shí)度、還原度是三維重建成功與否的關(guān)鍵指標(biāo)。當(dāng)下，貼圖工序仍由人工完成，尚未完全實(shí)現(xiàn)自動(dòng)化，這種模式需要耗費(fèi)大量的時(shí)間和精力。而光場(chǎng)技術(shù)則為還原三維場(chǎng)景開(kāi)辟了一條新的思路，使虛擬展示的效果更加逼真。

1 光場(chǎng)技術(shù)概述

1.1 何為光場(chǎng)？

“光場(chǎng)”概念的出現(xiàn)最早可追溯到英國(guó)物理學(xué)家、化學(xué)家邁克爾·法拉第（Michael Faraday）。1846年，他在一場(chǎng)題為“光束振動(dòng)思考”（Thoughts on Ray Vibrations）的演講上，首次提出了“光應(yīng)當(dāng)被詮釋為場(chǎng)”的說(shuō)法。所謂光場(chǎng)，是指光在每一個(gè)方向通過(guò)每一個(gè)點(diǎn)的光量。光場(chǎng)信息就是表達(dá)光線的強(qiáng)度、位置和方向的集合。人眼在觀看實(shí)物時(shí)，感知的其實(shí)是物體發(fā)出的光場(chǎng)，即便沒(méi)有物體的相位信息，僅憑借光場(chǎng)強(qiáng)度就可以感受物體的三維狀態(tài)。

最初人們用七維函數(shù)代表光線在空間中的分布，即全光函數(shù)P（Θ，Φ，λ，t，Vx，Vy，Vz），包含了空間位置（x，y，z）、光線方向（Θ，Φ）、波長(zhǎng)（λ）和時(shí)間（t）。它是在t時(shí)刻經(jīng)過(guò)三維空間中坐標(biāo)為（x，y，z）的點(diǎn)，且傳播方向?yàn)椋éǎ担┑囊粭l波長(zhǎng)為λ的光線。但在實(shí)際應(yīng)用中，光的波長(zhǎng)和時(shí)間兩個(gè)維度的信息通常由RGB色彩模式和數(shù)據(jù)幀來(lái)表示。因此若想記錄光場(chǎng)，只需關(guān)注光線的方向和位置信息即可。20世紀(jì)90年代，美國(guó)斯坦福大學(xué)的研究團(tuán)隊(duì)提出了兼具合理性和實(shí)用性的光場(chǎng)雙平面模型。如圖1所示，通過(guò)記錄一條光線穿過(guò)兩個(gè)平行平面的坐標(biāo)（即四維信息），來(lái)表示此光線的位置與方向。

1.2 光場(chǎng)采集

傳統(tǒng)的光學(xué)圖像采集是在成像面記錄從鏡頭面?zhèn)鱽?lái)的光線匯聚在一個(gè)位置上的強(qiáng)度，因此只能采集一個(gè)方向的圖像，且采集時(shí)成像焦點(diǎn)是固定的，無(wú)法反映出光的方向信息，而光場(chǎng)采集則能收集各個(gè)角度的光線強(qiáng)度，以確定光場(chǎng)的分布關(guān)系。

光場(chǎng)采集的實(shí)際應(yīng)用中，可將光場(chǎng)雙平面模型中的uv平面視為鏡頭面，xy平面視為感光成像面。相機(jī)陣列是最直接的光場(chǎng)采集方式，陣列中不同相機(jī)的位置對(duì)應(yīng)了不同方位的各個(gè)采樣點(diǎn)，可同時(shí)采集不同角度和空間分辨率的光場(chǎng)，但存在著體積大、成本高的缺點(diǎn)。

相比之下，微透鏡陣列由通光孔徑及浮雕深度為微米級(jí)的透鏡組成，不僅具有傳統(tǒng)透鏡的聚焦、成像等基本功能，而且具有單元尺寸小、集成度高的特點(diǎn)。通過(guò)在主透鏡和成像面之間架設(shè)微透鏡陣列，光線穿過(guò)每個(gè)微透鏡從而在成像面的感光元件上得到不同的方向和位置信息，再結(jié)合微透鏡坐標(biāo)和鏡頭子孔徑坐標(biāo)，便可獲取光場(chǎng)的分布情況。

1.3 渲染重建

如圖2所示，在光場(chǎng)視圖的重建過(guò)程中，首先采集圖像陣列，接著分析光場(chǎng)分布規(guī)律，再計(jì)算出光線在新的成像面上的交點(diǎn)位置和強(qiáng)度信息，最后重新建立成像平面。類似于傳統(tǒng)光學(xué)成像模式中的調(diào)焦，光場(chǎng)成像通過(guò)計(jì)算得出不同成像平面位置的圖像并對(duì)焦，做到了先拍攝、后聚焦。從某種意義上，對(duì)于光場(chǎng)成像來(lái)說(shuō)處處都是焦點(diǎn)。此外，利用不同深度平面的圖像序列還可計(jì)算三維深度及合成全景深圖像等。

目前，圖像拼接技術(shù)已廣泛運(yùn)用于場(chǎng)景還原中，通過(guò)光場(chǎng)渲染既能夠?qū)崿F(xiàn)三維自由轉(zhuǎn)動(dòng)，也能夠根據(jù)觀眾的視角多次重新對(duì)焦，從而使觀眾獲得更加真實(shí)的瀏覽感知。

2 用光場(chǎng)技術(shù)創(chuàng)建虛擬漫游系統(tǒng)

2.1 創(chuàng)建流程

如圖3所示，開(kāi)發(fā)虛擬漫游系統(tǒng)的第一步是對(duì)真實(shí)場(chǎng)景進(jìn)行光場(chǎng)采集。在完成場(chǎng)景各個(gè)關(guān)鍵位置的全景色彩信息和深度信息采集后，這些復(fù)雜的數(shù)據(jù)尚無(wú)法直接用于重建。只有排除重復(fù)采集的冗余信息，去除采集過(guò)程中產(chǎn)生的噪點(diǎn)，才能大大優(yōu)化數(shù)據(jù)的有效性，便于素材的后期處理。

有了這些實(shí)際環(huán)境數(shù)據(jù)，就可以由軟件分析出其光場(chǎng)分布規(guī)律，并將這些規(guī)律應(yīng)用于三維重建。借助渲染算法，結(jié)合采樣時(shí)的坐標(biāo)系統(tǒng)及幾何參數(shù)，將獲取的亮度、紋理、陰影、輪廓等信息進(jìn)行匹配，這樣每個(gè)角度的光影效果都可跟隨觀眾的視角而發(fā)生變化。

三維模型的建立并不意味著虛擬漫游系統(tǒng)的完成。一個(gè)完整的虛擬漫游系統(tǒng)，其功能除了讓觀眾在展館場(chǎng)景中全方位沉浸式漫游外，還要讓觀眾在無(wú)法接觸實(shí)物的情況下與文物進(jìn)行互動(dòng)，可運(yùn)用文本、聲音、圖像等多媒體形式，開(kāi)發(fā)一系列自主操控和交互功能。

2.2 應(yīng)用案例

如表1所示，上海博物館將光場(chǎng)技術(shù)應(yīng)用到文物三維重建和虛擬展廳建設(shè)中，致力于手機(jī)端、網(wǎng)頁(yè)端、HTML5端的跨平臺(tái)開(kāi)發(fā)，讓無(wú)法親臨現(xiàn)場(chǎng)的觀眾在線參觀展覽。

下面以“大英博物館百物展：濃縮的世界史”特展為例，具體談?wù)勆虾２┪镳^如何用光場(chǎng)技術(shù)實(shí)現(xiàn)虛擬漫游展覽。如圖4所示，整個(gè)展覽共有十個(gè)部分：“序廳”“開(kāi)端”“最初的城市”“權(quán)利與哲學(xué)”“儀式與信仰”“貿(mào)易與侵略”“創(chuàng)新與適應(yīng)”“邂逅與聯(lián)結(jié)”“我們制造的世界”“尾廳”。為保證虛擬展廳各視角的完整性，我們精心選取了25個(gè)視點(diǎn)來(lái)采集光場(chǎng)信息，并妥善解決角度遮擋問(wèn)題，盡量避免無(wú)效的重復(fù)采集。當(dāng)然，僅僅還原展覽的結(jié)構(gòu)布局是不夠的，還應(yīng)當(dāng)圍繞參觀動(dòng)線，渲染現(xiàn)場(chǎng)氣氛，營(yíng)造出一種“邊走邊看”的多感官體驗(yàn)。當(dāng)觀眾在虛擬展廳中漫游時(shí)，不只是隨意地行走在場(chǎng)景中，還能近距離欣賞感興趣的展品。比如放置在序廳的“埃及佘盆梅海特內(nèi)棺”，觀眾可通過(guò)鼠標(biāo)或觸摸等方式，放大文物的細(xì)節(jié)，只見(jiàn)棺上的花紋圖案生動(dòng)清晰、色彩過(guò)渡層次分明、紋理刮痕細(xì)致無(wú)比，真正做到了文物的數(shù)字化“復(fù)活”。

3 啟發(fā)與思考

光場(chǎng)技術(shù)不僅可以用來(lái)還原展覽的三維場(chǎng)景，同樣也適用于文物的數(shù)字化處理。目前，文物的三維重建大多通過(guò)激光掃描獲得三維幾何信息，再進(jìn)行人工貼圖來(lái)建模。但在操作中，當(dāng)遇到深色、暗色或高反光的物體時(shí)，便會(huì)對(duì)光學(xué)圖像的采集造成困難。如有的文物表面對(duì)激光反射率低，近距離反復(fù)掃描會(huì)導(dǎo)致點(diǎn)云數(shù)據(jù)的噪點(diǎn)增多，在后期處理的過(guò)程中不得不人工剔除噪點(diǎn)，從而造成一定的細(xì)節(jié)損失，只能靠添加紋理材質(zhì)來(lái)彌補(bǔ)。而運(yùn)用光場(chǎng)技術(shù)則可達(dá)到事半功倍的效果。通過(guò)采集和再現(xiàn)光線的方向和強(qiáng)度，準(zhǔn)確地反映出空間中各物體的位置關(guān)系，完美模擬人眼看到的景深信息，并利用數(shù)字調(diào)焦功能，有效解決由視覺(jué)誤差引起的眩暈問(wèn)題。這些優(yōu)勢(shì)決定了光場(chǎng)技術(shù)是一種極具潛力的裸眼立體技術(shù)，且可為增強(qiáng)現(xiàn)實(shí)技術(shù)提供支持，讓虛擬對(duì)象完美地融入真實(shí)場(chǎng)景之中。

隨著信息技術(shù)的發(fā)展，在創(chuàng)建虛擬漫游系統(tǒng)的基礎(chǔ)上，未來(lái)可進(jìn)一步拓展光場(chǎng)技術(shù)在文博行業(yè)的應(yīng)用領(lǐng)域，立足文物保護(hù)、學(xué)術(shù)研究、宣傳教育，更好地還原文物及其背后的文化底蘊(yùn)，打造一個(gè)開(kāi)放、共享的數(shù)字博物館。

參考文獻(xiàn)

[1]張永春.虛擬現(xiàn)實(shí)技術(shù)在博物館的應(yīng)用探討：兼談?wù)憬〔┪镳^虛擬展覽的創(chuàng)建過(guò)程[J].中國(guó)信息界，2010（7）：31-34.

[2]劉旭，李海峰.基于光場(chǎng)重構(gòu)的空間三維顯示技術(shù)[J].光學(xué)學(xué)報(bào)，2011（9）：202-206.

[3]李建華.關(guān)于中國(guó)美術(shù)館虛擬展覽系統(tǒng)初步設(shè)計(jì)的構(gòu)想[J].中國(guó)美術(shù)館，2014（6）：28-30.

[4]蘇忱，李海峰.應(yīng)用于混合現(xiàn)實(shí)的光場(chǎng)三維顯示研究綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016（6）：905-912.

[5]李克恭，吳文魁，劉清.基于網(wǎng)絡(luò)環(huán)境的虛擬展覽館建設(shè)方法探討[J].測(cè)繪與空間地理信息，2016（11）：125-128.

（2020-03-11收稿，2020-03-24修回）

作者簡(jiǎn)介：高玥珺（1978—），女，從事博物館多媒體數(shù)字化采集與制作發(fā)布，E-mail： 2875858283@qq.com。

The implementation of virtual roaming exhibitions with light field technology// GAO Yuejun

Author's Address Shanghai Museum， E-mail： 2875858283@qq.com

Abstract The light field technology has the incomparable advantage in 3D reconstruction. By collecting the direction and intensity of light， the real scene can be rebuilt in digital world with the rendering algorithm. The development of this technology has provided a lot of help for the implementation of virtual roaming system in museums. Take the special exhibition "A History of the World in 100 Objects"in Shanghai Museum as an example， the everlasting online exhibition will be built by collecting the light field data from every part of the exhibition hall. It gives the visitors a total immersion visiting experience without the limitation of time or space. And it also provides new ideas for the digital museums.

Keywords light field technology， virtual roaming， online exhibitions， 3D reconstruction