劉知一
中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所),北京 100086
LED 電影虛擬攝制技術(shù)起源于實時預(yù)演的需求,相比于傳統(tǒng)基于藍(lán)幕或綠幕的實時預(yù)演,LED 電影虛擬攝制系統(tǒng)通過LED 顯示系統(tǒng)、高性能計算機(jī)圖形渲染系統(tǒng)、攝影機(jī)跟蹤系統(tǒng)、同步系統(tǒng)等技術(shù)手段協(xié)作,達(dá)到了真正意義上的“所見即所得”拍攝,規(guī)避了大面積藍(lán)幕或綠幕造成的溢色問題,可以為實景提供高還原度的動態(tài)環(huán)境光照,為反射或透射物體提供正確的反射或透射影像,并能通過虛擬數(shù)字場景的快速切換,為電影主創(chuàng)人員帶來逼真的沉浸式拍攝體驗,極大地優(yōu)化了影片攝制流程,提高了拍攝制作效率,已經(jīng)成為電影虛擬化攝制的熱點及發(fā)展方向。
LED 電影虛擬攝制與傳統(tǒng)電影攝制相比,融合了大量的現(xiàn)代信息技術(shù)手段,在近年的實際建設(shè)和應(yīng)用過程中,由于缺乏對LED 虛擬攝制整體系統(tǒng)架構(gòu)和整體流程的深入理解,缺少LED 電影虛擬攝制系統(tǒng)中主要設(shè)備技術(shù)指標(biāo)的研究,既導(dǎo)致LED電影虛擬攝制影棚的建設(shè)質(zhì)量無法評估,也間接遲滯了我國LED 電影虛擬攝制影棚的建設(shè)進(jìn)度。統(tǒng)籌考慮電影級別虛擬攝制需求和當(dāng)前市場上相關(guān)產(chǎn)品的實際情況,明確主要設(shè)備及其技術(shù)指標(biāo)建議,已成為推動我國LED 電影虛擬攝制影棚建設(shè)刻不容緩的環(huán)節(jié)。
LED 電影虛擬攝制系統(tǒng)根據(jù)功能一般可以劃分為9 個子系統(tǒng),分別是:沉浸式LED 顯示系統(tǒng)、渲染引擎系統(tǒng)、攝影機(jī)跟蹤系統(tǒng)、同步系統(tǒng)、基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)、燈光照明系統(tǒng)、視頻數(shù)據(jù)處理系統(tǒng)、攝影系統(tǒng)、移動終端控制系統(tǒng),如圖1所示。
圖1 LED 電影虛擬攝制系統(tǒng)組成
(1)沉浸式LED 顯示系統(tǒng):該系統(tǒng)作為顯示背景墻,負(fù)責(zé)準(zhǔn)確還原高畫面質(zhì)量的三維數(shù)字場景,顯示盡可能逼真的電影級畫面質(zhì)量,并為攝影機(jī)拍攝在可用角度、抑制頻閃和摩爾紋、可用光圈等方面提供盡可能高的寬容度,這取決于屏幕本身的像素間距、亮度、刷新率等基礎(chǔ)因素,當(dāng)然這些與顯示系統(tǒng)的成本緊密相關(guān)。
(2)渲染引擎系統(tǒng):LED 虛擬攝制技術(shù)建立在計算機(jī)圖形實時渲染的基礎(chǔ)上,它要求虛擬場景能隨著真實攝影機(jī)的運(yùn)動、用戶的交互控制等實時變化。渲染引擎系統(tǒng)負(fù)責(zé)按照真實攝影機(jī)的跟蹤數(shù)據(jù),動態(tài)合成全部背景和內(nèi)視錐畫面,將合成的畫面實時渲染到LED 顯示系統(tǒng)上,從而實現(xiàn)這種實時變化,產(chǎn)生真實感強(qiáng)且具備交互性的背景畫面。
(3)攝影機(jī)跟蹤系統(tǒng):該系統(tǒng)負(fù)責(zé)對拍攝現(xiàn)場物理攝影機(jī)的運(yùn)動情況進(jìn)行跟蹤,對攝影機(jī)跟蹤數(shù)據(jù)進(jìn)行處理,解算得到物理攝影機(jī)位置與姿態(tài)運(yùn)動等信息,并將這些數(shù)據(jù)通過數(shù)據(jù)接口導(dǎo)入到渲染引擎,渲染引擎根據(jù)提前標(biāo)定的攝影機(jī)靶面、焦距等內(nèi)參,結(jié)合攝影機(jī)跟蹤系統(tǒng)傳遞的實時數(shù)據(jù),驅(qū)動虛擬場景內(nèi)的虛擬攝影機(jī)運(yùn)動,實現(xiàn)虛擬場景與物理攝影機(jī)的同步切換與改變。
(4)同步系統(tǒng):該系統(tǒng)通過同步鎖相和幀鎖定技術(shù)使攝影機(jī)跟蹤系統(tǒng)、物理攝影機(jī)、LED 信號處理器、渲染系統(tǒng)等系統(tǒng)或設(shè)備都連接到一臺主時鐘,確保上述設(shè)備在拍攝過程中始終能保持同步,從而避免渲染畫面、拍攝合成畫面等出現(xiàn)“撕裂”現(xiàn)象。
(5)基礎(chǔ)網(wǎng)絡(luò)系統(tǒng):LED 虛擬攝制現(xiàn)場涉及大量數(shù)據(jù)傳輸和實時操作,包括渲染系統(tǒng)的控制數(shù)據(jù)、攝影機(jī)跟蹤和動作捕捉系統(tǒng)的動作捕捉數(shù)據(jù)、燈光照明系統(tǒng)的控制數(shù)據(jù)、現(xiàn)場監(jiān)看數(shù)據(jù)等,基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)負(fù)責(zé)為拍攝現(xiàn)場的數(shù)據(jù)交換提供基礎(chǔ)。
(6)燈光照明系統(tǒng):LED 屏幕雖然可以實現(xiàn)一部分光照功能,但一般用于顯示的LED 燈珠光譜較窄導(dǎo)致其顯色性受限,因此使用顯色性更高的LED 燈光陣列或其他影視燈光設(shè)備作為主要光源,是LED虛擬攝制流程中不可或缺的環(huán)節(jié)。
(7)視頻數(shù)據(jù)處理系統(tǒng):數(shù)字時代電影制作更加強(qiáng)調(diào)前后期制作的融合,比如將調(diào)色等后期環(huán)節(jié)前置到拍攝階段。視頻數(shù)據(jù)處理系統(tǒng)主要融合數(shù)字影像工程師(Digital Image Technician,DIT)與初級剪輯調(diào)色的基本功能。
(8)攝影系統(tǒng):攝影系統(tǒng)是電影拍攝所需要的最基本器材,包括主體攝影機(jī)、鏡頭、監(jiān)視器、跟焦器等機(jī)身基礎(chǔ)附件以及軌道、移動車、搖臂等。
(9)移動終端控制系統(tǒng):該系統(tǒng)主要為現(xiàn)場工作人員,例如攝影指導(dǎo)、導(dǎo)演等提供基礎(chǔ)的數(shù)字場景控制功能,可以簡易調(diào)整數(shù)字場景中的數(shù)字道具和虛擬光照等,從而進(jìn)一步提升拍攝時的協(xié)同工作效率。
在建設(shè)和應(yīng)用LED 電影虛擬攝制影棚時,通常包括系統(tǒng)搭建、前期開發(fā)、前期制作、現(xiàn)場拍攝、后期制作共5個部分。
與傳統(tǒng)攝制流程相比,一是在前期制作階段,為充分發(fā)揮LED 虛擬攝制技術(shù)預(yù)覽的效能,增加了大量的虛擬場景制作及系統(tǒng)調(diào)試工作,包括虛擬內(nèi)容生產(chǎn)、虛擬場景調(diào)試、攝影機(jī)跟蹤系統(tǒng)調(diào)試、系統(tǒng)同步調(diào)試以及燈光匹配調(diào)試等,如圖2所示。
圖2 LED 電影虛擬攝制系統(tǒng)通用流程-前期制作
二是在前期開發(fā)階段之前,還需要在攝影棚內(nèi)完成LED 虛擬攝制系統(tǒng)的搭建,包括沉浸式LED 顯示系統(tǒng)搭建、渲染引擎系統(tǒng)搭建、攝影機(jī)追蹤系統(tǒng)搭建、同步系統(tǒng)搭建、基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)搭建以及燈光照明系統(tǒng)的部署,如圖3所示。
圖3 LED 電影虛擬攝制系統(tǒng)通用流程-系統(tǒng)搭建
從上述通用流程中可以看出,在建設(shè)和應(yīng)用LED 電影虛擬攝制影棚時,無論是系統(tǒng)搭建階段還是前期制作階段,相比較傳統(tǒng)攝制流程,沉浸式LED顯示系統(tǒng)、渲染引擎系統(tǒng)、攝影機(jī)跟蹤系統(tǒng)、同步系統(tǒng)、基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)更為關(guān)鍵。這五個核心子系統(tǒng)相關(guān)設(shè)備的基礎(chǔ)指標(biāo),將決定LED 電影虛擬攝制影棚的先進(jìn)性和可用性。
沉浸式LED 顯示系統(tǒng)包括LED 顯示屏和LED 處理器,是LED 電影虛擬攝制系統(tǒng)中對拍攝效果影響最直接也是最昂貴的部分。該系統(tǒng)影響因素較多,主要包括:
(1)像素間距
像素(Pixel)是LED 顯示屏上的最小可控成像單位,LED 顯示屏上的每個像素由封裝在燈座上的發(fā)光二極管構(gòu)成,像素間距是指LED 顯示屏發(fā)光單元間的物理距離。像素間距越小,圖像的顯示效果會更加細(xì)膩,虛擬攝制時物理攝影機(jī)離沉浸式LED 顯示屏的距離也就可以越近,出現(xiàn)摩爾紋的概率越低,虛擬攝制的質(zhì)量和靈活性也就越好。但隨著像素間距的減小,同等面積LED 面板所需的燈珠及控制芯片將增加,控制芯片的增多將顯著提高電路板設(shè)計和加工的難度,成本也將大幅增加。
因此,在選擇像素間距時,還應(yīng)根據(jù)實際場地大小,綜合建設(shè)成本進(jìn)行選擇。場地越小,LED 顯示屏總面積越小,則越應(yīng)該選擇小間距的LED 顯示屏;場地較大,則可以選擇點間距相對較大的LED 顯示屏。
考慮目前市場上用于LED 虛擬攝制的主流LED顯示屏像素間距及發(fā)展趨勢,建議用于虛擬攝制的LED 顯示屏點間距不大于2.84mm,在其他參數(shù)均等的條件下,盡量選擇小間距。
(2)燈珠質(zhì)量差異
每個發(fā)光顯示單元的燈珠質(zhì)量會影響到單個像素的最終顯示效果,此外多個燈珠組合起來后,如果燈珠之間質(zhì)量差異較大,也將造成LED 顯示屏的整體亮度均勻度、色彩飽和度等方面的巨大差異,進(jìn)而影響虛擬攝制的畫面質(zhì)量。對該指標(biāo)的衡量,可以通過LED 顯示屏的亮度/色度可視角度,以及亮度/色度均勻度來進(jìn)行。
其中,亮度/色度可視角度是水平方向觀察中心點的亮度下降到LED 顯示屏法線方向亮度的一半時,該方向與法線夾角的2 倍稱為LED 顯示屏的視角。該指標(biāo)將影響畫面顏色的一致性和顏色準(zhǔn)確度,為了滿足攝影機(jī)傾斜角度的拍攝需求,可視角度應(yīng)盡量大,一般要求不低于140°,才能為拍攝現(xiàn)場提供較為靈活的拍攝角度。
亮度/色度均勻度則是LED 顯示屏的兩個相鄰箱體的亮度偏差/色度偏差。亮度/色度均勻度出現(xiàn)較大偏差,不僅會導(dǎo)致同一畫面不同位置的亮度和顏色不相同,甚至?xí)斐杀尘爱嬅娲汀Mㄟ^對市場上主流產(chǎn)品的測試,建議選擇亮度均勻度不大于5%、色度均勻度不大于0.006的產(chǎn)品。
(3)亮度
顯示亮度是沉浸式LED 顯示屏在顯示方面最直觀,也是對電影虛擬攝制影響最大的一個技術(shù)指標(biāo),顯示亮度將決定虛擬攝制中物理攝影機(jī)光圈的選擇與設(shè)定。當(dāng)顯示亮度足夠高時,物理攝影機(jī)就可以使用更大的光圈范圍,目前建議選擇亮度不低于1000cd/m2的產(chǎn)品。
不過由于LED 顯示屏當(dāng)前主流采用多路復(fù)用控制方式,如果LED 顯示屏過亮,也會使一些本該關(guān)斷或低亮的像素點亮或過亮,從而在暗部圖像產(chǎn)生偽影,這也是在選擇LED 顯示屏?xí)r需要仔細(xì)觀察的因素。
(4)色域
色域是指LED 顯示系統(tǒng)可以顯示的顏色范圍,色域覆蓋率大小由LED 視頻處理器的設(shè)置和性能、LED 顯示屏三基色燈珠的光譜特性及發(fā)光亮度等因素共同決定。針對不同行業(yè)的應(yīng)用,規(guī)定了不同的色彩空間標(biāo)準(zhǔn)和色域,如數(shù)字電視領(lǐng)域采用的REC.709,數(shù)字電影領(lǐng)域采用的DCI-P3,以及色域更大的BT.2020。沉浸式LED 顯示屏所能支持的色彩空間標(biāo)準(zhǔn)和色域,是沉浸式LED 顯示系統(tǒng)評估的重要指標(biāo)。
通過對市面上主流產(chǎn)品的實際測試,建議選擇DCI-P3 色域覆蓋率不低于90%,且BT.2020 色域覆蓋率不低于80%的產(chǎn)品。
(5)傳遞函數(shù)
人類的視覺對亮度感知能力并不是呈線性關(guān)系的,所有顯示終端都需要設(shè)置一個合理的傳遞函數(shù)來進(jìn)行映射,糾正亮度感知變化與實際亮度值變化不統(tǒng)一的問題,常用的傳遞函數(shù)值包括2.2、2.4、2.6等。
如果實際顯示數(shù)值與設(shè)定數(shù)值偏差較大,則整體圖像將出現(xiàn)偏亮導(dǎo)致層次感較差,或偏暗導(dǎo)致灰階無法分辨的缺陷,嚴(yán)重影響整體圖像的質(zhì)量。
綜合考慮主流LED 虛擬攝制顯示屏的實測結(jié)果,以及電影行業(yè)關(guān)于顯示端的相關(guān)要求,建議選擇與設(shè)定值差異能控制在±0.10之內(nèi)的LED 顯示屏。
(6)位深
圖像位深是圖像能夠承載更多信息的基本保障和核心參數(shù)。位深越大,圖像所能承載的信息量就越大;當(dāng)位深太低時,可能會導(dǎo)致出現(xiàn)明顯色帶,顏色顯示不均勻。相應(yīng)地,顯示端也需要較大的位深處理和顯示能力,才能夠?qū)?yīng)高位深的輸入圖像信號,將其完整顯示出來。
例如,如果一個10bit 深度的圖像輸入至沉浸式LED 顯示屏,10bit 深度圖像理論上可以記錄10.7 億種色彩,而沉浸式LED 顯示屏的深度只有8bit,即只能顯示1677 萬種色彩,無法將10bit 深度輸入圖像源的色彩信息全部顯示出來,必然丟失很多色彩信息。
通過對市場上主流產(chǎn)品的測試,為實現(xiàn)更佳的攝影機(jī)內(nèi)視錐拍攝效果,建議選擇圖像位深不低于12bit的產(chǎn)品用于虛擬攝制。
(7)掃描模式
LED 掃描模式是指采用多路復(fù)用控制方式的LED 顯示屏,在一定的顯示區(qū)域內(nèi),同時點亮的行數(shù)與整個區(qū)域行數(shù)的比例。LED 顯示屏使用的驅(qū)動器IC 越多,一次點亮的燈珠越多,掃描數(shù)的分母數(shù)字就越小,LED 顯示屏幕就可以更快地完成一次完整圖像的刷新,對攝影機(jī)圖像傳感器更為友好,從而產(chǎn)生更平滑的圖像而減少偽影。
目前,市場上主流產(chǎn)品大多已不低于1/16 掃,建議選擇不低于1/16 掃的顯示屏,推薦優(yōu)先使用1/8 掃及更高的產(chǎn)品。
(8)刷新率
刷新率是每秒在LED 顯示屏上重復(fù)出現(xiàn)完整畫面的次數(shù),一般來說如能達(dá)到80Hz 以上的刷新率,基本就可消除人眼的圖像閃爍和抖動感,眼睛不會太容易疲勞,而在用于虛擬攝制時,則不能僅僅局限于滿足消除人眼的圖像閃爍和抖動感。
一方面,攝影機(jī)圖像傳感器與人眼相比,對較低的刷新率更為敏感,刷新率越高,攝影機(jī)拍攝下的LED 顯示屏顯示效果就越好;另一方面,由于LED 顯示屏的顯示特性,當(dāng)畫面需顯示低灰度值時,脈沖調(diào)制信號將通過占空比增加,即增加低電平信號所占比例,實現(xiàn)LED 顯示屏低灰度值的顯示。刷新率不變的情況下,當(dāng)占空比較高時,攝影機(jī)畫面出現(xiàn)頻閃效應(yīng)的概率越大,嚴(yán)重影響實際拍攝。
基于目前市場上主流產(chǎn)品的性能,建議選擇刷新率不低于3840Hz 的顯示屏,推薦優(yōu)先選擇刷新率達(dá)到7680Hz的顯示屏。
(9)反射率
反射率衡量LED 顯示屏的顯示面板和LED 燈珠對外界干擾光的反射程度,虛擬攝制現(xiàn)場中各類設(shè)備設(shè)施、道具、演員的反射光、照明燈等,疊加照射在反射率較差的LED顯示屏上時,會導(dǎo)致畫面對比度和層次感降低,畫面顯示的暗部細(xì)節(jié)丟失。因此,用于虛擬攝制的LED顯示屏,應(yīng)對顯示面板和燈珠進(jìn)行特殊工藝處理,降低LED 顯示屏的反射率,減輕拍攝現(xiàn)場的外界光線對圖像層次感和暗部細(xì)節(jié)的影響。
LED 顯示屏的反射包括鏡面反射和漫反射,通過對市場上主流產(chǎn)品鏡面反射率和漫反射率的實際測試,建議選擇鏡面反射率不高于0.25%,漫反射率不高于5.30%的產(chǎn)品。
(10)LED 信號處理器性能與功能
LED 信號處理器和接收卡組成一整套鏈路,實現(xiàn)對LED 顯示屏體的全面控制。電影級別虛擬攝制都會用到實拍高質(zhì)量畫面素材和三維虛擬場景實時渲染畫面。沉浸式LED 顯示屏輸入信號的數(shù)據(jù)量大、位深高,這就對LED 信號處理器提出了非常高的技術(shù)性能要求。
LED 處理器的技術(shù)指標(biāo),包括性能和功能兩方面,詳見圖4。其中,性能主要是處理器對高分辨率圖像信號的支持、高帶載像素的支持、高位深圖像的支持以及信號處理的延遲。功能則主要是為拍攝現(xiàn)場調(diào)度提供靈活性和可靠性,包括亮度校正、色彩校正、HDR 支持以及處理器自身備份的支持。
圖4 LED 處理器技術(shù)指標(biāo)分析
綜上所述,沉浸式LED 顯示系統(tǒng)的技術(shù)指標(biāo)建議如表1所示。
表1 沉浸式LED 顯示系統(tǒng)技術(shù)指標(biāo)建議
實時渲染是LED 電影虛擬攝制能夠順利進(jìn)行的關(guān)鍵步驟,它一方面負(fù)責(zé)構(gòu)建虛擬場景、管理虛擬場景內(nèi)資產(chǎn),另一方面作為整套系統(tǒng)信息交互的中心,既要接收攝影機(jī)跟蹤系統(tǒng)的空間位置信息,又要驅(qū)動高性能引擎節(jié)點完成場景實時渲染。
LED 電影虛擬攝制系統(tǒng)通常包含較大規(guī)模的LED 顯示屏,單一渲染節(jié)點不足以驅(qū)動所有LED 顯示屏,為此渲染系統(tǒng)必須具備多機(jī)同步渲染功能。
多機(jī)同步渲染技術(shù)的實現(xiàn)主要是通過為每臺渲染計算機(jī)配置完全一樣的渲染引擎軟件與場景資產(chǎn),并連接于同一局域網(wǎng)之中?;诰W(wǎng)絡(luò)協(xié)議發(fā)送啟用同步渲染指令,實時傳遞外部輸入數(shù)據(jù)如攝影機(jī)位置姿態(tài)、交互控制數(shù)據(jù)、同步信號等信息,來執(zhí)行對應(yīng)的渲染任務(wù)。
渲染引擎節(jié)點關(guān)鍵技術(shù)指標(biāo)主要體現(xiàn)在:
(1)具備足夠的計算能力,可以實現(xiàn)高分辨率、高精度三維數(shù)字資產(chǎn)的實時渲染。
(2)具備較高的網(wǎng)絡(luò)吞吐能力,以支持高精度數(shù)字資產(chǎn)的多機(jī)同步渲染。
(3)具備較快的I/O 能力,以滿足本機(jī)穩(wěn)定運(yùn)行渲染引擎軟件與場景資產(chǎn)實例的要求。
基于作者所在單位在無錫國家數(shù)字電影產(chǎn)業(yè)園LED 虛擬攝制影棚建設(shè)的實踐經(jīng)驗,渲染引擎節(jié)點的技術(shù)指標(biāo)建議如表2所示。
表2 渲染引擎節(jié)點技術(shù)指標(biāo)建議
為了準(zhǔn)確實時渲染攝影機(jī)的內(nèi)視錐視圖,LED電影虛擬攝制過程中,需要通過攝影機(jī)跟蹤設(shè)備,跟蹤真實世界中攝影機(jī)的運(yùn)動,并通過變換矩陣,解算得到真實世界中物理攝影機(jī)位置與姿態(tài),最終驅(qū)動三維場景中虛擬攝影機(jī)的同步運(yùn)動。
攝影機(jī)跟蹤是指對真實空間中攝影機(jī)的位置和姿態(tài)進(jìn)行追蹤的過程,包含空間位置信息X、Y、Z 和姿態(tài)信息橫搖(Pan)、俯仰(Tilt)、橫滾(Roll)六個自由度,一般簡寫為6DOF(Degree of Freedom,DOF)。在電影虛擬攝制過程中,這6個自由度的信息被實時傳送至渲染引擎,為引擎中的虛擬攝影機(jī),提供真實攝影機(jī)在三維空間中的位置和姿態(tài)信息,以及鏡頭參數(shù)信息,包括焦距、焦點和光圈等,依靠實時渲染技術(shù),實現(xiàn)虛擬攝影機(jī)與真實攝影機(jī)的運(yùn)動及構(gòu)圖的同步。
從實現(xiàn)原理上,攝影機(jī)跟蹤技術(shù)可分為由內(nèi)向外跟蹤和由外向內(nèi)跟蹤。
(1)采用信標(biāo)的方法都屬于由外向內(nèi)跟蹤技術(shù),通常采用光學(xué)跟蹤方式,使用攝像頭或其他傳感器放置在一個固定的位置,面向被追蹤的物體。典型的由外向內(nèi)跟蹤設(shè)備有Vicon、OptiTrack、HTC VIVE 等。
(2)由內(nèi)向外跟蹤不需要外部傳感器或信標(biāo),被追蹤對象需要搭載不同的傳感器,利用算法來獲取對象的精確位置。通常在由內(nèi)向外的位置跟蹤中,典型方法是將傳感器綁在被跟蹤的設(shè)備上,例如攝影機(jī),從而實現(xiàn)追蹤。典型的由內(nèi)向外跟蹤設(shè)備有Ncam、Mo-Sys、RedSpy等。
在攝影機(jī)跟蹤技術(shù)中,跟蹤系統(tǒng)的精確度是該系統(tǒng)最為重要的特性之一,系統(tǒng)精確度越高,由跟蹤數(shù)據(jù)求得的攝影機(jī)運(yùn)動,越能夠真實地還原攝影機(jī)在現(xiàn)實世界中的運(yùn)動。跟蹤系統(tǒng)的魯棒性則是指系統(tǒng)在標(biāo)記點或跟蹤傳感器被遮擋情況下,跟蹤系統(tǒng)能維持正常工作的特性。
參考《基于LED 背景墻的電影虛擬化制作中攝影機(jī)跟蹤技術(shù)研究》[2]中相關(guān)實測數(shù)據(jù)、《XR 虛實融合制作系統(tǒng)技術(shù)要求與測試方法》[3]團(tuán)體標(biāo)準(zhǔn)的相關(guān)技術(shù)要求,以及作者近期LED 虛擬攝制的實踐經(jīng)驗,攝影機(jī)跟蹤系統(tǒng)的技術(shù)指標(biāo)建議如表3所示。
表3 攝影機(jī)跟蹤系統(tǒng)技術(shù)指標(biāo)建議
LED 電影虛擬攝制系統(tǒng)中,同步包含了三個方面的含義:
(1)LED 顯示屏的同步:LED 顯示屏可能根據(jù)拍攝需要組裝成任意形狀,圖像數(shù)據(jù)通過網(wǎng)線傳輸,不同箱體間的接縫可以精準(zhǔn)對齊,因此不存在邊緣圖像重疊和混合的問題,不同箱體間的顯示同步成為影響畫面的主要因素。
(2)多機(jī)渲染的同步:在多機(jī)渲染系統(tǒng)中,所有渲染主機(jī)節(jié)點都必須嚴(yán)格遵循精確到毫秒的計時規(guī)定,以使得畫面在視覺上無縫同步。不僅要讓所有渲染節(jié)點都通過相同的模擬計時信息同時生成內(nèi)容,而且還要讓顯卡緩沖區(qū)中當(dāng)前圖像和下一幀圖像的畫面交換操作在正確的時間發(fā)生,以防止實時渲染畫面出現(xiàn)“撕裂”。
(3)整體系統(tǒng)的同步:在虛擬攝制現(xiàn)場,務(wù)必保證所有核心設(shè)備之間的高精度同步。每臺設(shè)備如攝像機(jī)、渲染計算機(jī)和LED 信號處理器都帶有一個內(nèi)部時鐘,即便兩臺設(shè)備完全一致,其內(nèi)部時鐘仍可能互不同步。如果未能統(tǒng)一,將導(dǎo)致顯示方面的問題,如畫面撕裂等。
LED 電影虛擬攝制系統(tǒng)一般推薦采用同步鎖相(Genlock)加上幀鎖定技術(shù),使攝影機(jī)、LED 信號處理器、渲染系統(tǒng)等設(shè)備都連接到一臺主時鐘,確保所有接收或記錄數(shù)據(jù)的設(shè)備在拍攝過程中保持同步。
從系統(tǒng)整體角度出發(fā),應(yīng)要求關(guān)鍵設(shè)備具備支持同步鎖相的能力,故同步系統(tǒng)技術(shù)指標(biāo)建議如表4所示。
表4 同步系統(tǒng)技術(shù)指標(biāo)建議
LED 電影虛擬攝制影棚的基礎(chǔ)網(wǎng)絡(luò),從目前需求層面上,一般不涉及三層路由、訪問控制列表(Access Control Lists,ACL)等復(fù)雜配置,部署階段主要是硬件和連線層面的搭建,包括:匯聚交換機(jī)、接入交換機(jī)、無線接入點(Access Points,AP)的硬件部署;各類設(shè)備與接入交換機(jī)間的線纜連接及丟包測試,包括網(wǎng)線、光纖線等;POE 設(shè)備的連線及測試;無線網(wǎng)絡(luò)的配置及測試;各類設(shè)備IP 地址段的劃分、配置與測試等。
但另一方面,由于虛擬攝制過程中需要對大量的高分辨率、高精度三維數(shù)字資產(chǎn)進(jìn)行實時多機(jī)渲染,因此需要棚內(nèi)基礎(chǔ)網(wǎng)絡(luò)提供高速穩(wěn)定的數(shù)據(jù)吞吐,以解決虛擬攝制的高帶寬需求,并可在此高速內(nèi)部網(wǎng)絡(luò)上,通過有線和無線相結(jié)合的方式,承載影棚內(nèi)部的視頻數(shù)據(jù)處理、多部門實時監(jiān)看等需求。同時,還需滿足拍攝現(xiàn)場部分POE 設(shè)備(例如追蹤攝像頭)的支持。
為此,對虛擬攝制影棚的基礎(chǔ)網(wǎng)絡(luò)系統(tǒng),主要考慮網(wǎng)絡(luò)設(shè)備的端口數(shù)量和速率等,其技術(shù)指標(biāo)建議如表5所示。
表5 基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)技術(shù)指標(biāo)建議
全球LED電影虛擬攝制影棚建設(shè)方興未艾,國內(nèi)電影級別的LED虛擬攝制影棚尚處在孵化期,關(guān)于對LED電影虛擬攝制系統(tǒng)整體架構(gòu)的理解,相關(guān)設(shè)備的技術(shù)規(guī)范,應(yīng)用虛擬攝制影棚開展電影拍攝的通用流程指南以及相關(guān)人才隊伍建設(shè),目前國內(nèi)和國外尚有較大差距。本文以LED電影虛擬攝制系統(tǒng)組成、LED虛擬攝制通用流程為出發(fā)點,對LED電影虛擬攝制系統(tǒng)中沉浸式LED 顯示系統(tǒng)、渲染引擎節(jié)點、攝影機(jī)跟蹤系統(tǒng)、同步系統(tǒng)、基礎(chǔ)網(wǎng)絡(luò)系統(tǒng)主要設(shè)備的技術(shù)指標(biāo)進(jìn)行了研究分析,并根據(jù)當(dāng)前LED虛擬攝制的實踐經(jīng)驗提出了具體建議,可為LED電影虛擬攝制影棚方案設(shè)計和系統(tǒng)建設(shè)提供有益參考。