馬金秀

中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所),北京 100086

1 前言

以LED 為背景墻的虛擬攝制系統(tǒng)近年來迅速點(diǎn)燃了國內(nèi)外的影視市場,此項技術(shù)是目前影視制作領(lǐng)域的前沿技術(shù),國內(nèi)尚處于研究、探索、實(shí)踐階段。本文研究基于中國電影科學(xué)技術(shù)研究所 (中央宣傳部電影技術(shù)質(zhì)量檢測所)搭建的虛擬拍攝實(shí)驗環(huán)境,把以往主要用于動作捕捉的高精度Vicon動作捕捉系統(tǒng)和LED 背景墻、虛幻引擎 (Unreal Engine)4.27渲染系統(tǒng)進(jìn)行了結(jié)合應(yīng)用,提高了物理攝影機(jī)的追蹤精度,提升了LED 虛擬拍攝的拍攝質(zhì)量。對結(jié)合應(yīng)用過程中的技術(shù)難點(diǎn),如坐標(biāo)系的匹配、跟蹤原點(diǎn)的設(shè)定、物理攝影機(jī)與虛擬攝影機(jī)的綁定和匹配等做了細(xì)致研究。本文提出的將Vicon動作捕捉系統(tǒng)用于LED 虛擬攝制,實(shí)現(xiàn)物理攝影機(jī)與虛擬攝影機(jī)綁定和匹配的方法,旨在為行業(yè)從業(yè)人員提供技術(shù)指導(dǎo),推動LED 虛擬攝制技術(shù)的行業(yè)應(yīng)用和發(fā)展。

2 項目研究背景及面臨的問題

2.1 LED虛擬攝制技術(shù)的興起

將實(shí)景影像投射到演員身后進(jìn)行拍攝在20世紀(jì)30年代就出現(xiàn)了,該技術(shù)通常用于拍攝汽車駕駛鏡頭,通過電影放映機(jī)生成后方投影進(jìn)行拍攝,它的缺點(diǎn)很明顯:只能從一個固定視角進(jìn)行拍攝,否則投影的畫面和拍攝的實(shí)景前景在視角上會出現(xiàn)透視關(guān)系錯誤。LED 顯示技術(shù)的發(fā)展以及游戲引擎實(shí)時渲染能力的提高,讓根據(jù)鏡頭視角變化實(shí)時渲染背景成為一種可能。

2019年,好萊塢拍攝迪士尼的科幻劇集 《曼達(dá)洛人》第一季時,采用了以LED 作為背景墻的虛擬攝制技術(shù)?！堵_(dá)洛人》中有一半的鏡頭是在名為StageCraft①的片場里完成的。以LED 背景墻替代傳統(tǒng)綠幕,綜合應(yīng)用了攝影機(jī)追蹤、虛幻引擎實(shí)時渲染等技術(shù),實(shí)現(xiàn)了現(xiàn)場實(shí)景和虛擬背景的協(xié)同攝制和攝影機(jī)內(nèi)(In-camera)最終成像?！堵_(dá)洛人》搭建的 “LED Volume”是一個高度為6 米,周長為54米的LED 視頻墻,由點(diǎn)間距為2.84 毫米的1326個LED 模組組成,形成270度半圓形背景屏幕,22米直徑的表演空間,頂部是LED 屏幕天花板。以LED 作為背景墻的虛擬攝制技術(shù)自2019年起迅速掀起了虛擬攝制的熱潮,2019年可以認(rèn)為是以LED 作為背景墻進(jìn)行虛擬攝制的元年。

2.2 面臨的問題

LED 虛擬攝制技術(shù)發(fā)展之初主要用于電視劇集的拍攝,電視劇集和電影在技術(shù)規(guī)格上存在較大差異,電影在色彩還原、亮度、對比度等技術(shù)參數(shù)上都有更高的要求,提升LED 虛擬攝制的拍攝質(zhì)量,需要更高精度的追蹤系統(tǒng),以實(shí)現(xiàn)物理攝影機(jī)和虛擬攝影機(jī)的精準(zhǔn)匹配,減少系統(tǒng)誤差,提升拍攝質(zhì)量。LED 虛擬攝制系統(tǒng)是多套系統(tǒng)的集成,在系統(tǒng)搭建上存在多種技術(shù)解決方案,不同的技術(shù)解決方案,其拍攝性能有很大區(qū)別。在攝影機(jī)追蹤系統(tǒng)的搭建中,一些小型工作室采用了很多民用設(shè)備解決對物理攝影機(jī)的追蹤問題,但民用設(shè)備的捕捉精度有限,其拍攝效果無法保證。綜上所述,更高精度的追蹤系統(tǒng)用于LED 虛擬拍攝將有助于LED 虛擬攝制技術(shù)的發(fā)展與應(yīng)用。

3 物理攝影機(jī)和虛擬攝影機(jī)的匹配實(shí)現(xiàn)

3.1 LED虛擬攝制系統(tǒng)技術(shù)架構(gòu)

LED 虛擬攝制系統(tǒng)主要由攝影系統(tǒng)、攝影機(jī)追蹤系統(tǒng)、LED 屏顯示系統(tǒng)、游戲引擎渲染系統(tǒng)、同步系統(tǒng)、燈光照明系統(tǒng)等構(gòu)成,各系統(tǒng)協(xié)同工作,并在攝影機(jī)里實(shí)現(xiàn)最終成像。其工作原理為:攝影機(jī)追蹤系統(tǒng)將捕捉到的物理攝影機(jī)的運(yùn)動軌跡賦予游戲引擎中的虛擬攝影機(jī),物理攝影機(jī)驅(qū)動虛擬攝影機(jī),虛擬攝影機(jī)通過游戲引擎渲染系統(tǒng)把正確的虛擬環(huán)境投射到LED墻上,被攝物在LED背景墻前進(jìn)行表演,由物理攝影機(jī)完成拍攝,實(shí)現(xiàn)攝影機(jī)內(nèi)最終成像的效果,其系統(tǒng)架構(gòu)如圖1所示,在虛擬拍攝系統(tǒng)中還可以加入數(shù)字資產(chǎn)管理、后期處理等系統(tǒng)。

圖1 LED虛擬攝制系統(tǒng)

3.2 攝影機(jī)運(yùn)動追蹤技術(shù)

攝影機(jī)運(yùn)動追蹤技術(shù)是LED 虛擬攝制系統(tǒng)中的關(guān)鍵技術(shù),需要通過對真實(shí)攝影機(jī)位置的追蹤,將攝影機(jī)的實(shí)時位置移動數(shù)據(jù)實(shí)時傳入到虛幻引擎,通過物理攝影機(jī)和虛擬場景中虛擬攝影機(jī)的綁定和匹配,獲得正確的視角渲染虛擬場景,實(shí)現(xiàn)虛擬攝制。

3.3 攝影機(jī)追蹤系統(tǒng)分類

攝影機(jī)追蹤方案根據(jù)實(shí)現(xiàn)原理的不同可以分為主動式和被動式,主動式的位置跟蹤中,攝影機(jī)或傳感器位于被跟蹤的設(shè)備上,典型的主動式跟蹤設(shè)備有Ncam、Lightcraft、MoSys、RedSpy等；被動式追蹤通常采用光學(xué)跟蹤方式,面向被追蹤的物體,使用攝影機(jī)或其他傳感器放置在一個固定的位置,典型的被動式跟蹤設(shè)備有Vicon、OptiTrack、HTC Vive等。

3.4 光學(xué)追蹤技術(shù)原理

LED 虛擬攝制系統(tǒng)通常采用復(fù)雜的光學(xué)追蹤解決方案。一般會在攝影機(jī)上安裝反射標(biāo)記點(diǎn),圍繞LED 背景墻架設(shè)一圈攝像頭,其工作原理為:在光學(xué)動作捕捉系統(tǒng)中,每個紅外動作捕捉鏡頭上都有紅外(長波)發(fā)射器,鏡頭會發(fā)射出紅外光,被捕捉的目標(biāo)上附著了能夠反射紅外光線的標(biāo)識點(diǎn)(Marker),標(biāo)識點(diǎn)反射的紅外光會被多個鏡頭上的感應(yīng)器矩陣接收。不同位置的鏡頭采集到標(biāo)識點(diǎn)的位置后,就可以計算出這個點(diǎn)在空間中的三維坐標(biāo),通過這種原理,動作捕捉系統(tǒng)可以同時采集到目標(biāo)上多個標(biāo)識點(diǎn)的一系列三維坐標(biāo)。大量坐標(biāo)數(shù)據(jù)通過POE交換機(jī)傳輸給動作捕捉軟件,便可以解算出目標(biāo)在空間中的位置、方向和運(yùn)動軌跡等信息,進(jìn)而實(shí)現(xiàn)對目標(biāo)的追蹤。

3.5 Vicon追蹤系統(tǒng)對物理攝影機(jī)與虛擬攝影機(jī)的綁定和匹配實(shí)現(xiàn)

3.5.1 技術(shù)難點(diǎn)

要實(shí)現(xiàn)物理攝影機(jī)與虛擬攝影機(jī)的綁定和匹配需要解決兩個技術(shù)難點(diǎn):一是坐標(biāo)系的匹配,Vicon追蹤系統(tǒng)采用左手坐標(biāo)系,本實(shí)驗渲染系統(tǒng)采用的是虛幻引擎 (UE),虛幻引擎使用右手坐標(biāo)系,要實(shí)現(xiàn)物理攝影機(jī)和虛擬攝影機(jī)的綁定,首先要使兩者的坐標(biāo)系實(shí)現(xiàn)匹配。其次是坐標(biāo)原點(diǎn)的設(shè)定,其設(shè)定關(guān)系到匹配的精準(zhǔn)性。在虛擬攝制中,虛幻引擎中的虛擬LED 背景墻必須和真實(shí)物理環(huán)境中的LED 背景墻完全一致,這樣才能盡可能減少拍攝效果誤差。一般采取激光掃描的方式對攝影棚中的真實(shí)LED背景墻進(jìn)行建模,以達(dá)到尺寸上的精準(zhǔn)匹配。虛擬LED 背景墻和真實(shí)LED 背景墻不僅在尺寸上要精準(zhǔn)匹配,更重要的一點(diǎn)是坐標(biāo)原點(diǎn)需要完全一致,要實(shí)現(xiàn)坐標(biāo)原點(diǎn)的一致,在真實(shí)的攝影機(jī)追蹤環(huán)境中,就需要標(biāo)定原點(diǎn)。

3.5.2 Vicon 追蹤系統(tǒng)搭建

Vicon動作捕捉系統(tǒng)由運(yùn)動捕捉攝像頭、Vicon 系統(tǒng)支持的POE 交換機(jī)、Shōgun 數(shù)據(jù)處理軟件等組成,可提供實(shí)時和離線數(shù)字光學(xué)運(yùn)動捕捉數(shù)據(jù),這些數(shù)據(jù)可應(yīng)用于動畫制作、虛擬現(xiàn)實(shí)系統(tǒng)、生命科學(xué)等方面。對于虛擬攝制來說,Vicon動作捕捉系統(tǒng)只捕捉相當(dāng)于剛體的物理攝影機(jī)的運(yùn)動軌跡,可以完全滿足虛擬攝制對于物理攝影機(jī)運(yùn)動的精度需求。

本文的研究環(huán)境基于中國電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測所)拍攝技術(shù)研究實(shí)驗室。實(shí)驗室設(shè)計架設(shè)攝像頭桁架的尺寸為寬度5.2米,高度3米,長度9.4米。根據(jù)攝像頭有效的捕捉角度,架設(shè)6 個Vicon Vantage V16 (1600萬像素)攝像頭,支持120FPS全分辨率拍攝,6個MX-T160攝像頭。實(shí)驗室有效的捕捉范圍為:寬度2.3米,長度5.4米。搭建完成后的環(huán)境如圖2 所示。攝影機(jī)追蹤系統(tǒng)架構(gòu)如圖3所示。

圖2 拍攝技術(shù)研究實(shí)驗室

圖3 攝影機(jī)追蹤系統(tǒng)架構(gòu)圖

3.5.3 物理攝影機(jī)與虛擬攝影機(jī)的綁定和匹配解決方案

(1)三維笛卡爾坐標(biāo)系

笛卡爾坐標(biāo)系 (Cartesian Coordinate System)也稱直角坐標(biāo)系,在數(shù)學(xué)中是一種正交坐標(biāo)系,由法國數(shù)學(xué)家勒內(nèi)·笛卡爾引入而得名。直角坐標(biāo)系的x軸、y軸與z軸必須相互垂直。包含z軸的直線為z線。在三維空間里,當(dāng)我們設(shè)定了x軸、y軸的位置與方向的同時,我們也設(shè)定了z線的方向。在z線以原點(diǎn)為共同點(diǎn)的兩條半線中,存在正值和負(fù)值,這兩種不同的坐標(biāo)系統(tǒng)稱為右手坐標(biāo)系與左手坐標(biāo)系。右手坐標(biāo)系又稱為標(biāo)準(zhǔn)坐標(biāo)系或正值坐標(biāo)系,如圖4所示。

圖4 笛卡爾坐標(biāo)系

(2)虛幻引擎(UE)和Vicon追蹤系統(tǒng)坐標(biāo)系的匹配方法

任何坐標(biāo)系下的坐標(biāo)都是相對坐標(biāo)。因此,笛卡爾三維坐標(biāo)系下,通過變換坐標(biāo)軸的正向方向,就能夠得到兩種不同的坐標(biāo)系,即左手坐標(biāo)系和右手坐標(biāo)系。這就為Vicon追蹤系統(tǒng)和虛幻引擎渲染系統(tǒng)的坐標(biāo)匹配提供了理論依據(jù)。

虛幻引擎為左手坐標(biāo)系:X 軸正向為右,Z 軸正向為上,Y 軸正向向后,如圖5所示。

圖5 虛幻引擎坐標(biāo)系

Vicon追蹤系統(tǒng)采用的是右手坐標(biāo)系:Y 軸正向為右,Z軸正向為上,X 軸正向向后,如圖6所示。

圖6 Vicon坐標(biāo)系

本實(shí)驗系統(tǒng)測試了幾種方式,在物理攝影機(jī)通過Live Link導(dǎo)入虛幻引擎時,在Live Link中更改坐標(biāo)軸方向,測試了Z軸±90度變換,以及X 軸、Y 軸的±90度、±180度變換,均不能實(shí)現(xiàn)軸向的匹配,并會造成坐標(biāo)軸的混亂。

經(jīng)過多次研究和測試,Vicon追蹤系統(tǒng)左手坐標(biāo)系和虛幻引擎右手坐標(biāo)系匹配的技術(shù)解決方案為:借助虛幻引擎中的空Actor(跟蹤原點(diǎn))轉(zhuǎn)換Z 軸的方向,實(shí)現(xiàn)Vicon坐標(biāo)軸的轉(zhuǎn)換。圖7是物理攝影機(jī)進(jìn)入虛幻引擎時攝影機(jī)的初始位置,通過把虛擬攝影機(jī)拖入空Actor下,作為它的子項,虛擬攝影機(jī)的位置信息由跟蹤原點(diǎn)控制,更改空Actor Z軸方向,旋轉(zhuǎn)-90度,虛擬攝影機(jī)現(xiàn)在位于和虛擬屏幕垂直90 度位置,實(shí)現(xiàn)和物理攝影機(jī)的坐標(biāo)匹配,如圖8所示。

圖7 攝影機(jī)初始位置

圖8 攝影機(jī)轉(zhuǎn)換坐標(biāo)之后

(3)坐標(biāo)原點(diǎn)的設(shè)定

真實(shí)物理世界的原點(diǎn)必須和虛擬場景里的原點(diǎn)完全一致,虛擬攝制時才能有正確的拍攝效果。

首先對真實(shí)物理世界的原點(diǎn)進(jìn)行標(biāo)定。原點(diǎn)標(biāo)定必須要有基準(zhǔn)參照物,在Vicon追蹤系統(tǒng)中,采用校準(zhǔn)棒標(biāo)定原點(diǎn)。Vicon 校準(zhǔn)棒 (5 Marker Wand and L-Frame)有5個反光標(biāo)記點(diǎn),中間點(diǎn)為原點(diǎn)位,校準(zhǔn)棒所標(biāo)定的原點(diǎn)既是物理場景中的跟蹤原點(diǎn),也是虛擬場景中的跟蹤原點(diǎn)。在原點(diǎn)標(biāo)定時,需要特別注意方向,T 字校準(zhǔn)棒標(biāo)定原點(diǎn)的同時也標(biāo)定了X軸、Y 軸、Z軸的方向。為保證物理場景中LED 背景墻的位置與虛擬世界中LED 背景墻位置方向一致,對Vicon追蹤系統(tǒng)來說,T 字校準(zhǔn)棒擺放位置如圖9所示。

圖9 T 字校準(zhǔn)棒擺放位置

(4)標(biāo)記點(diǎn)

Vicon追蹤系統(tǒng)在進(jìn)行人體動作捕捉時,通過往人體上貼標(biāo)記點(diǎn)的方式捕捉人物動作。Vicon追蹤系統(tǒng)用于虛擬攝制追蹤物理攝影機(jī)的運(yùn)動時,同樣需要在攝影機(jī)上設(shè)置標(biāo)記點(diǎn)。

在研究中發(fā)現(xiàn)標(biāo)記點(diǎn)的設(shè)置需要滿足兩個條件:一是標(biāo)記點(diǎn)至少要5個,才能區(qū)分X 軸、Y 軸、Z軸的軸向方向；二是標(biāo)定的軸向要互相垂直,方便進(jìn)入虛幻引擎時的軸向轉(zhuǎn)換。

本實(shí)驗系統(tǒng)設(shè)計并制作了7個標(biāo)記點(diǎn)的標(biāo)識物(通常稱為Marktree),如圖10 所示,分別代表X軸、Y 軸和Z軸3個軸向,且互相垂直,另外2個標(biāo)記點(diǎn)用以區(qū)分前后,如圖11。Marktree置于物理攝影機(jī)上 (圖12),跟隨攝影機(jī)拍攝時進(jìn)行的推拉搖移等運(yùn)動而運(yùn)動,它作為一個道具剛體進(jìn)入虛幻引擎。

圖10 Marktree三維顯示圖

圖11 Marktree坐標(biāo)

圖12 實(shí)物Marktree

(5)物理攝影機(jī)剛體道具的制作

Marktree的標(biāo)記點(diǎn)在Vicon 數(shù)據(jù)處理軟件Shōgun顯示為點(diǎn)的狀態(tài),7 個標(biāo)記點(diǎn)的Marktree顯示7個點(diǎn),在剛體道具制作過程中,最先選擇的3個點(diǎn)非常重要,決定了剛體代表的物理攝影機(jī)的方向,即X 軸、Y 軸 和Z 軸的方向。以7個點(diǎn)的Marktree為例,依次選擇攝影機(jī)拍攝方向最后面的點(diǎn)、最前面的點(diǎn)和攝影機(jī)左側(cè)的點(diǎn),剩余其他點(diǎn)選擇順序不限,如圖13所示。全部點(diǎn)選擇完成后,創(chuàng)建道具即可完成剛體道具的創(chuàng)建,這個道具代表物理攝影機(jī),如圖14 所示。圖中,錘子形狀的物體借助了Vicon在做動作捕捉時骨骼的概念,代表骨骼的 “根”,Vicon追蹤系統(tǒng)用于虛擬攝制時,它的位置代表物理攝影機(jī)CMOS成像的位置,根據(jù)不同攝影機(jī)CMOS成像位置不同,可以調(diào)整創(chuàng)建的骨骼道具根位置的偏移量,確定CMOS的位置。位置信息越準(zhǔn)確,在后期虛擬攝制中的誤差越小。

圖13 Shōgun中的Marktree最初顯示

圖14 Marktree的剛體道具

(6)物理攝影機(jī)和虛擬攝影機(jī)的綁定

要實(shí)現(xiàn)物理攝影機(jī)和虛擬攝影機(jī)的綁定需要解決兩個問題:一是物理攝影機(jī)追蹤信息需要實(shí)時導(dǎo)入虛幻引擎,二是物理攝影機(jī)和虛擬攝影機(jī)的關(guān)聯(lián)。

物理攝影機(jī)的實(shí)時跟蹤數(shù)據(jù)通過Live Link 插件進(jìn)入虛幻引擎。Live Link在分發(fā)被追蹤的攝影機(jī)信息方面至關(guān)重要,配合nDisplay將追蹤信息送至每個群集節(jié)點(diǎn)。Live Link提供了一個通用接口,它主要有2 個作用:管理數(shù)據(jù)源和管理主體。Live Link還利用角色的概念來定義應(yīng)該如何使用傳入的數(shù)據(jù),這讓數(shù)據(jù)能更容易映射到引擎中的目標(biāo)Actor。支持的角色包括攝影機(jī)、光源、角色、變換和基本角色 (用于一般數(shù)據(jù))。源是數(shù)據(jù)進(jìn)入Live Link客戶端的方式,可以在插件中對源進(jìn)行定義,這樣第三方無需修改引擎代碼即可構(gòu)建自己的源。源負(fù)責(zé)管理它們接收動畫數(shù)據(jù)的方式 (例如通過網(wǎng)絡(luò)協(xié)議接收)。每個源都擁有對客戶端的引用,以便其向客戶端傳輸數(shù)據(jù)。Live Link導(dǎo)入Vicon追蹤數(shù)據(jù),需要安裝專用的插件,把物理攝影機(jī)當(dāng)作 “道具”接入虛幻引擎。

虛擬攝影機(jī)和物理攝影機(jī)的綁定通過Live Link的控制器實(shí)現(xiàn)。Live Link 控制器能簡化將Live Link信息用于Actor的過程,會自動從Live Link對象獲取數(shù)據(jù),并流送給場景中用戶選擇的Actor。應(yīng)用Live Link控制器,為虛擬攝影機(jī)添加數(shù)據(jù)源,選擇在Vicon Shōgun中設(shè)定的代表真實(shí)物理攝影機(jī)的剛體道具,虛擬攝影機(jī)將開始從選定的Live Link對象自動接收數(shù)據(jù),即實(shí)現(xiàn)了虛擬攝影機(jī)和物理攝影機(jī)的綁定。Live Link控制器實(shí)現(xiàn)了虛擬攝影機(jī)和物理攝影機(jī)實(shí)時的數(shù)據(jù)鏈接,但要將數(shù)據(jù)賦予內(nèi)視錐進(jìn)行拍攝,需要在nDisplay中把虛擬攝影機(jī)和內(nèi)視錐攝影機(jī)ICVFX 攝像機(jī) (ICVFX Camera)進(jìn)行掛載。

4 結(jié)論

虛擬攝影機(jī)和物理攝影機(jī)的綁定和匹配是以LED 為背景墻進(jìn)行虛擬攝制時的關(guān)鍵技術(shù)之一。要實(shí)現(xiàn)物理攝影機(jī)和虛擬攝影機(jī)的綁定和匹配,首要進(jìn)行的是追蹤系統(tǒng)的方案選擇和設(shè)計。多種追蹤系統(tǒng)可以實(shí)現(xiàn)對物理攝影機(jī)的追蹤,但追蹤精度不同會導(dǎo)致拍攝效果差異很大。由于拍攝現(xiàn)場的情況復(fù)雜,還存在丟失物理攝影機(jī)追蹤信號的情況,因此,穩(wěn)定、高精度的追蹤系統(tǒng)是保證拍攝效果的關(guān)鍵因素。本文研究利用高精度的Vicon追蹤系統(tǒng)實(shí)現(xiàn)物理攝影機(jī)和虛幻引擎的虛擬攝影機(jī)綁定和匹配,對于其他右手坐標(biāo)系的追蹤系統(tǒng)進(jìn)入虛幻引擎有一定的參考性,同時也為用戶提供了多方位、多層級的技術(shù)解決方案。

注釋

①StageCraft是工業(yè)光魔 (ILM)聯(lián)合行業(yè)內(nèi)部ILM Fuse、Lux Machina、Profile Studios、NVIDIA 和ARRI等公司,共同研發(fā)的端到端影視實(shí)時虛擬攝制解決方案 (命名為StageCraft)。