單傳蓬 曾 義
1.北京電影學院數(shù)字影視動畫創(chuàng)作教育部工程研究中心,北京 100088 2.北京元客視界科技有限公司,北京 100041
電影自誕生之日起即與奇幻、把戲和魔術等雜耍方式密不可分。真人動畫電影是利用現(xiàn)代電影制作技術和特殊拍攝方式將真人演員角色和動畫虛擬角色合成到同一敘事畫面中的電影。作為特效電影的重要呈現(xiàn),真人與動畫的合成效果往往包含著大量特技鏡頭,其中又以實拍場景人物與動畫場景人物的交互合成畫面最為普遍,也最難處理。將真人角色和虛擬角色相互融合無疑對電影創(chuàng)作者的技術能力和藝術水平提出了挑戰(zhàn)[1]。既要求塑造出真實可信的虛擬角色,又需在合成視覺效果上讓人認可,是真人動畫合拍電影成功與否的關鍵。實時交互預演以全數(shù)字環(huán)境為基礎,對制作內(nèi)容進行實時可視化呈現(xiàn),在電影制作的每個實際生產(chǎn)環(huán)節(jié)之前進行,使得創(chuàng)作人員在提高藝術創(chuàng)造力的同時,節(jié)省拍攝時間,提高拍攝效率。實時交互預演技術將實時動作捕捉、實時渲染合成和實時拍攝剪輯三大技術手段集成應用,推動了攝制流程的實時化、高效性,而后期前置使得動畫表演和鏡頭合成更加便捷且直接。
在數(shù)字時代,智能化、信息化的深入為電影技術的迭代提供了動力,如何進一步優(yōu)化真人動畫電影的制作流程,減少合成師、動畫師和剪輯師的工作任務,釋放導演、攝影和演員等主創(chuàng)人員的創(chuàng)作力與想象力,是生產(chǎn)高品質(zhì)特效電影亟需解決的核心問題。本文結合影片《飛向月球》的實際拍攝過程,對實時交互預演系統(tǒng)的具體技術、流程和規(guī)范進行研究,通過分析實時交互技術對真人動畫電影的作用和影響,梳理出拍攝該類電影的可行性技術方案,以期促進同類型特效電影制作的標準化流程建立和示范應用落地。
真人動畫電影自誕生至今已有一百多年的歷史,其作為一種重要的電影類型不斷發(fā)展演進。當今,實時交互預演技術作為真人動畫電影的重要特攝技術之一被廣泛應用,為電影創(chuàng)作者帶來了前所未有的交互性與實時性體驗,為特效鏡頭的高質(zhì)量實現(xiàn)提供了一定便捷性。隨著真人動畫電影的發(fā)展,交互預演技術經(jīng)歷了從無到有、從模擬到虛擬的發(fā)展演變過程。從實現(xiàn)手段來看,真人動畫電影可分為傳統(tǒng)攝影技法、傳統(tǒng)二維手繪、特效物理化妝和電腦動畫技術四種類型。
二十世紀初,愛迪生、盧米埃爾兄弟、梅里愛等早期電影家拉開了電影技術與藝術的發(fā)展序幕。布萊克頓(J.Stuart Blackton)先后創(chuàng)作了《奇幻的圖畫》(The Enchanted Drawing)和《滑稽臉的幽默相》(Humorous Phases of Funny Faces)。這兩部影片沒有明確的故事情節(jié),均采用動畫角色結合真人表演方式,通過魔術式的畫面效果戲謔觀眾,吸引人們眼球。原本工作于愛迪生實驗室的布雷克頓通過停機再拍的早期特技手段,實現(xiàn)了真實人物、動畫人物及動畫道具互動表演的奇幻效果,這類作品后被稱為“把戲電影”(Trick Film)[2]。此階段只能通過服化道和攝影技巧來實現(xiàn)動畫效果,借助演員排練預演以接近導演要求,并通過拍攝后的放映來判斷特效完成效果。
隨著美國動畫電影的發(fā)展,一類二維手繪與真實拍攝相結合的電影開始登場。華特·迪士尼影片公司(Walt Disney Productions)第一部長篇真人動畫電影《南方之歌》(Song of the South)于1946 年上映,影片動畫角色和真人演員結合巧妙?!赌戏街琛返某霈F(xiàn),標志著真人動畫電影從實驗動畫階段逐步發(fā)展到劇情動畫階段。之后相繼推出《歡樂滿人間》(Mary Poppins,1963)、《飛天萬能床》(Bedknobs and Broomsticks,1971)等多部類似影片。中國動畫的發(fā)展始于二十世紀二十年代,在經(jīng)歷了戰(zhàn)亂、萌芽時期,達到過兩次民族文化的高潮,并取得了較為豐碩的成果。早期我國動畫作品類型多樣且充滿活力,在國際上獲得了很高的評價,奠定了結合自身民族風格的發(fā)展之路[3]。上海美術電影制片廠先后制作出品了真人動畫《瓷娃娃》(1982)和《三十六個字》(1984)。兩部影片均采用先實拍再手繪的制片方式,優(yōu)勢在于成熟的二維動畫技術和相對簡單的制作流程;劣勢則在于逐幀繪制方式的工作量較大,且實景與二維動畫合成效果的代入感較低。這個階段依舊沒有特別好的預演預判方法,多通過創(chuàng)作前期的故事版和視覺草圖給出特效預期效果。
相較于傳統(tǒng)二維手繪的扁平化效果,基于特效物理化妝術的第三種類型,則擁有更加逼真立體和強代入感的真實質(zhì)感?!疤匦Щ瘖y”一詞對應英文中的“Prosthetic Makeup”,是指通過特定材料和機械驅動的物理技術改變演員體貌特征或創(chuàng)造全新模型,重塑一個全新的虛構角色。1895 年《蘇格蘭女王瑪麗的行刑》(The Execution of Mary,Queen of Scots)被認為是面部特效造型技術的真正濫觴;1902 年,科幻電影鼻祖喬治·梅里愛在《月球旅行記》(Le voyage dans la lune)中通過特效化妝塑造了奇特的“月球人”形象;而1977年起上映的《星球大戰(zhàn)》三部曲,則是特效化妝技術的集大成者,其通過使用特制道具和化妝技術,塑造了經(jīng)典的達斯·維德、楚巴卡、格里多以及“布偶感”十足的尤達大師(正傳三部曲中均為手工制作布偶)等特異形象[4]。特效效果達標與否,多由導演通過監(jiān)視器實時監(jiān)看進行判斷。
二十世紀九十年代末,計算機動畫(Computer Animation)技術逐步成熟并被廣泛應用于電影制作中,由此,特效電影中的虛擬角色和奇觀場景開始閃亮登場,并沖擊著傳統(tǒng)的特效化妝行業(yè)。特效化妝師尼克·達德曼(Nick Dudman)曾說:“以前我們只用傳統(tǒng)的化妝方法和假肢道具來處理特效,然而當復雜的怪物特效盛行時,我們就必須學會如何運用無線電控制、裝備以及其他相關的技術。當電腦開始為電影制作出神奇的怪物——如侏羅紀公園——我們開始擔心化妝師的實際化妝技術還能維持多長時間。事實上,盡管看起來電腦可能會占領所有傳統(tǒng)的實際化妝領域,但是我們現(xiàn)在發(fā)現(xiàn)這兩者之間有合作的空間——電腦特技和實際化妝技術兩者可以相輔相成?!盵5]事實確實如此。
動作捕捉在二十一世紀才在影視領域大規(guī)模應用,并成為特效電影的核心技術之一,動作捕捉技術的出現(xiàn),使后續(xù)特效電影中的動畫效果與制作效率較傳統(tǒng)特技都有了質(zhì)的提升。第一部應用動作捕捉技術制作的動畫影片《Brilliance》于1985 年上映,當時的制作過程依舊使用后期特技合成手段,在真人動畫合成的數(shù)據(jù)匹配上,往往會出現(xiàn)不確定性和反復性。1990 年上映的科幻電影《全面回憶》(Total Recall)就出現(xiàn)過類似問題。其制作公司Metrolight 工作室在一家光學動作捕捉設備運營商的協(xié)助下,嘗試使用動作捕捉技術完成機場安檢X 光機器顯示人體骨架運動的動畫特效鏡頭[6]。但由于當時沒有實時預演技術,導演無法實時觀看動作演示及合成效果,后期發(fā)現(xiàn)動作捕捉數(shù)據(jù)問題時為時已晚。當此類問題在真人動畫電影拍攝中頻繁出現(xiàn)時,實時交互預演技術應運而生。
電影實時交互預演技術是當前國際上電影制作流程的最新發(fā)展趨勢之一,由于它是連接導演、攝像、美術、燈光、特效和后期制作等技術流程的橋梁[7],被業(yè)界稱為是“下一代電影工業(yè)技術流程”中的重要一環(huán)。在國外,高精度的動作捕捉技術與實時交互預演技術已然成為真人動畫電影《阿麗塔:戰(zhàn)斗天使》《失控玩家》等影片制作過程中不可或缺的特攝技術手段,并擁有完善的實時交互預演制片流程體系。影片《阿凡達》(2009)正式開拓了虛擬攝制領域,通過使用光學捕捉系統(tǒng)對演員進行精準的表演捕捉;運用Autodesk MotionBuilder 軟件對虛擬場景進行實時渲染,實現(xiàn)了“所見即所得”的實時監(jiān)看效果。高精度的動作捕捉技術與實時交互預演技術最終成就了《阿凡達》的技術傳奇。
二十世紀九十年代末,隨著國內(nèi)電影業(yè)市場化改革和好萊塢大片引入中國,國內(nèi)導演也開始模仿好萊塢模式,拍起了中國式大片,如2002年張藝謀導演的《英雄》、陳凱歌的《無極》等國產(chǎn)大片,不僅使用好萊塢運用的技術,還請來好萊塢團隊參與攝制,好萊塢電影制作流程也被部分引進,其中,虛擬預演(PreViz)便是其中一個[8]。2015 年起,《捉妖記》《瘋狂的外星人》《刺殺小說家》《流浪地球》等優(yōu)秀作品紛紛面世,國產(chǎn)真人動畫電影在技術工業(yè)化、制片規(guī)范化上日趨成熟。
真人動畫電影的真人拍攝與動作捕捉拍攝就像太極圖中的黑白兩極,只有無縫銜接、互相配合才能組成一個完美的圓。真人動畫電影《飛向月球》于2018 年策劃啟動,并在前期策劃和籌備階段,主創(chuàng)團隊根據(jù)影片特點,制定了嚴密的拍攝方案和技術實現(xiàn)手段。在電影籌備期,制片團隊根據(jù)實現(xiàn)方式不同,將鏡頭劃分為純實拍鏡頭、純虛擬鏡頭、虛實結合鏡頭三種類型。而實時交互預演技術一直貫穿整個拍攝周期,其中包含了動作捕捉技術、實時監(jiān)看技術、真實與虛擬交互的代理物體應用、同步觸發(fā)打板系統(tǒng)研發(fā)等四大技術應用點。
動作捕捉技術是實時交互預演技術中非常重要的一環(huán),它在完成虛擬角色動畫預演功能的同時,同步采集角色骨骼運動的動作捕捉數(shù)據(jù),并傳輸給后期制作公司完成后續(xù)的動畫數(shù)據(jù)修復和鏡頭合成。影片《飛向月球》中有大量必須在綠幕環(huán)境下攝制的鏡頭,因此選擇了對場地沒有限制的慣性動作捕捉完成(圖1);也有在真實場景或虛擬場景下的動畫角色鏡頭,出于拍攝精準度和抗干擾性考慮,部分鏡頭選用通過光學動作捕捉設備完成(圖2)。
圖1 《飛向月球》慣性動作捕捉技術在綠幕拍攝中的應用
圖2 《飛向月球》光學動作捕捉設備
光學動作捕捉是一種較為常用的影視級動作捕捉技術,是指在搭建好的特定空間內(nèi),在演員身體關節(jié)指定部位貼上反光標記點,當演員運動時,攝影機陣列就能夠捕捉到這些標記點,并通過將它的位置變化投影到多個攝影機的成像平面上進行三角分割,從而推斷出時間到空間的位移[9]?!讹w向月球》劇組從數(shù)據(jù)捕捉度、排練場地容量、制片成熟度等方面綜合考慮,選用OptiTrack 系統(tǒng)在約1000 平方米的動作捕捉棚內(nèi)完成了光學動作捕捉板塊的攝制;而慣性動作捕捉技術是基于傳感器技術與人體動力學、無線傳輸技術和計算機技術的高度融合而研發(fā)的具有綜合性的動作捕捉技術[10]。擺脫了光學動作捕捉技術對于攝像機硬件設施與動作捕捉拍攝場地的限制,符合影片《飛向月球》中部分綠幕和實景動畫鏡頭攝制的動作捕捉需求,之所以選擇Xsens 慣性動作捕捉系統(tǒng),是因為它是為數(shù)不多可以達到影視級動畫效果的慣性動作捕捉設備。實際拍攝過程中,動作捕捉方案的具體選用取決于相應特效鏡頭的屬性分類。對電影特效屬性的分類和分級是一項非常重要的工作。制片部門在拿到劇本的特效分析數(shù)據(jù)后,需要與技術團隊一起對這些數(shù)據(jù)和資料展開分類工作,同時根據(jù)特效制作周期和制作難度對特效鏡頭進行難度分級,最終整理成特效分類及難度列表[11]。
電影虛擬制作中實時監(jiān)看系統(tǒng),可以讓導演實時監(jiān)看合成畫面,以保證最終拍攝的鏡頭真實而準確。影片《飛向月球》主要體現(xiàn)在動作捕捉數(shù)據(jù)傳輸預覽的實時性、虛擬角色調(diào)度與空間匹配的實時性,以及虛擬場景渲染的實時性。
3.2.1 動作捕捉數(shù)據(jù)傳輸?shù)膶崟r性
動作捕捉數(shù)據(jù)的實時傳輸解決了以往特效電影表演問題后置化的弊端,具體體現(xiàn)在三個方面:第一,因為動畫表演特別是微表情數(shù)據(jù)傳遞會出現(xiàn)不同程度的衰減,需要實時監(jiān)看表演的準確性,并現(xiàn)場做出決策;第二,動畫角色的造型與動作捕捉演員往往差距很大,甚至是生物類、機械類角色,在形體結構、骨骼比例上差距大,需要實時看到動畫角色的動畫效果以便判斷;第三,鏡頭內(nèi)往往同時有多個實拍角色和動畫角色,他們需要視線對位甚至肢體發(fā)生交互,此時,演員和導演需要實時監(jiān)看角色之間視線和動作的匹配度。
《飛向月球》動作捕捉數(shù)據(jù)的實時傳輸畫面,演員表演〔圖3(a)〕的數(shù)據(jù)記錄借助動作捕捉數(shù)據(jù)實時傳輸?shù)讲僮鞴ぷ髡尽矆D3(b)〕中。而動作捕捉數(shù)據(jù)監(jiān)看功能的實現(xiàn)使用了切換臺預覽總線技術(圖4),動作捕捉現(xiàn)場軟件內(nèi)置畫面、MotionBuiler 角色語言畫面、UE 場景預演畫面、現(xiàn)場表演場監(jiān)畫面等四個通道的視頻輸入現(xiàn)場切換總控臺(圖5),根據(jù)項目需求切換輸出至動作捕捉指導、動畫指導、表演指導等大屏實時監(jiān)看。這一操作順序旨在方便導演及特效指導在動作捕捉有效區(qū)域指導演員表演的同時,實時對比核實動作捕捉數(shù)據(jù)的有效性和準確性,做到在現(xiàn)場及時發(fā)現(xiàn)問題并解決問題。其中,實時監(jiān)看所使用的虛擬攝影機從功能上看,它是一個配有監(jiān)視器的交互接口。一方面,CG 場景與虛擬角色的動作捕捉數(shù)據(jù)實時呈現(xiàn)在監(jiān)視器上,使得導演能夠實時監(jiān)控虛擬環(huán)境下的演員表演;另一方面,虛擬攝影機與現(xiàn)場攝影機同步捆綁,操作數(shù)據(jù)同步傳輸,攝影師就能在虛擬環(huán)境中模擬任何實拍攝影機的運動效果,如變焦、軌道運動、穩(wěn)定器等[12]。
圖3 《飛向月球》動作捕捉數(shù)據(jù)的實時傳輸過程
圖5 現(xiàn)場視頻切換總控制臺架構圖
3.2.2 虛擬角色調(diào)度與空間匹配的實時性
電影的角色塑造通常要求演員在有限空間內(nèi)通過表演調(diào)度來完成。這種常見的演員演繹方式在真人動畫電影拍攝時卻變得沒那么容易,虛擬角色的表演調(diào)度與真實空間位置匹配、現(xiàn)場動作捕捉演員的表演調(diào)度與虛擬空間位置的匹配是攝制團隊必須要面對的拍攝問題。
影片《飛向月球》在這一問題上采用了實體測量、等量縮放作為解決方案。影片主角董小寶是數(shù)字虛擬角色,在影片的實拍場景和虛擬場景中出現(xiàn)近70 分鐘,制作團隊首先需要解決其空間走位和交互的問題。在實拍現(xiàn)場最初的待機走位環(huán)節(jié),由技術人員對實拍場景進行尺寸測量〔圖6(a)〕,之后按照一定的比例計算方式對其進行等比建模,最后導入UE 軟件中,與綁定好的董小寶模型進行實時渲染合成和動作捕捉數(shù)據(jù)錄制。
圖6 《飛向月球》的實景測量及其虛擬場景的等比例搭建
根據(jù)筆者調(diào)研了解,在真人動畫電影中應用空間匹配計算方式的文獻并不多見。在進行實際場景的虛擬化建模時,劇組遵循了等比例縮放的計算公式,此處以餐桌前董小寶過生日的鏡頭為例。在實拍現(xiàn)場,通過米尺測量記錄實拍場景的固定尺寸,如a 米高的桌子,并繪制頂視圖和前視圖。下一步明確數(shù)字角色在故事中的約定身高,即董小寶b 米高,最后通過使用UE 內(nèi)置的米尺工具獲得數(shù)字角色在虛擬場景中的絕對尺寸,影片中為10 個單位并等比例計算出實拍場景在軟件中的尺寸X。
具體的計算公式如式(1)(2)所示:
根據(jù)式(1)(2)計算結果,創(chuàng)作者們在UE 軟件中,通過建模方式將實景中a 米高的桌子生成為X 單位高的虛擬桌子,再通過計算獲得虛擬桌子的寬和長,最終得到桌子〔圖6(b)〕乃至整個場景的虛擬尺寸。
3.2.3 虛擬場景渲染的實時性
在實時虛擬預演系統(tǒng)中,實時性是系統(tǒng)進行及時交互的關鍵,而實時渲染技術解決了畫面實時渲染的問題。動作捕捉數(shù)據(jù)傳輸?shù)膶崟r性旨在及時預判表演的精準度和空間的匹配度,這要求畫面的實時渲染實時合成,以便動畫效果及時反饋。對于傳統(tǒng)的渲染引擎RenderMan、V-Ray 和Arnold 這類離線渲染器而言,使用光線追蹤算法進行單機位渲染的效率極低,雖然渲染出的畫面效果十分逼真,但渲染速度決定了其無法應用在實時預演系統(tǒng)中[13],因此我們選擇了最有代表性的UE。
同樣作為真人動畫電影,《誰陷害了兔子羅杰》(Who Framed Roger Rabbit,1988)在制作時首先對實景與真人演員進行了拍攝,演員以兔子玩偶或其他道具作為視線和表演參考[14]。這類輔助真人匹配拍攝的道具我們可以稱之為代理物體。代理物體最早出現(xiàn)在特效電影的實景藍幕/綠幕拍攝中,由于動畫角色的表演拍攝同樣需要匹配對手搭檔的視線和空間尺寸,代理物體在動作捕捉出現(xiàn)后被應用其中。
在《飛向月球》的綠幕和動作捕捉拍攝現(xiàn)場,經(jīng)常會看到大小不一、形狀各樣的代理物體。代理物體的模型主要是用來模擬場景或角色的位置、高度、比例等,通過使用代理物體快速解決真實演員與虛擬角色之間的比例匹配與交互難題。《飛向月球》拍攝現(xiàn)場,根據(jù)應用對象的不同分成了場景代理和角色代理。
場景代理是為了實現(xiàn)虛擬角色調(diào)度與空間匹配的實時性,需要通過計算得出虛擬物體的尺寸,現(xiàn)場在進行演員動作數(shù)據(jù)捕捉時同樣需要1:1 復原原實拍現(xiàn)場的物體并使用場景代理做好標記,創(chuàng)作團隊對代理物體進行精準的定位和擺放,就是對演員表演范圍區(qū)域的捕捉(圖7)。
角色代理根據(jù)功能還可以分為角色代理物體、角色代理兼動作捕捉演員?!讹w向月球》的創(chuàng)作團隊對動畫角色董小寶制作了兩類代理物體:一類是角色代理物體〔(圖8(a)〕,該模型的固定高度起到引導視線的作用,同時其下方的滑輪裝置可以在工作人員的推動下,同步模擬動畫角色的運動路徑,以便后續(xù)動作捕捉演員的表演定位;另一類代理物體是由真人扮演的代理物體〔圖8(b)〕,演員外部套的綠色服裝可以為后期摳像所使用,其胸前紅色十字用于標記董小寶的眼睛高度,便于引導董大寶的視線,此時的代理物體在起到視線引導、路徑模擬作用的同時,還具備獲取慣性動作捕捉數(shù)據(jù)的功能。
圖8 《飛向月球》角色代理物體
在傳統(tǒng)實拍電影的拍攝現(xiàn)場,打板是場記的主要工作之一,目的是為了記錄每個鏡頭的信息和始末,方便后期剪輯處理。而在動作捕捉現(xiàn)場,我們同樣需要打板環(huán)節(jié),并且難度會更大,因為除了錄制表演視頻外,還要考慮演員肢體、手指和面部動作捕捉數(shù)據(jù)錄制、現(xiàn)場收音同步的問題,而多源異構信息采集一旦出現(xiàn)延遲就會造成動作捕捉數(shù)據(jù)丟失或聲畫不同步的問題。因此,同步觸發(fā)打板系統(tǒng)應運而生。
同步觸發(fā)打板系統(tǒng)是根據(jù)電影拍攝自主研發(fā)的拍攝系統(tǒng),包括電子打板器與信號同步器兩個主要模塊。電子打板器以傳統(tǒng)場記板〔圖9(a)〕為基礎,裝配電子按鍵器〔圖9(b)〕,其中的無線傳輸模塊以單片機為基礎開發(fā)邏輯電路。場記板在拍下瞬間觸發(fā)電子按鍵器響應,由主控芯片將生成的模擬信號轉換成數(shù)字信號,通過無線網(wǎng)絡發(fā)送至動作捕捉片場的主控單元;而信號同步器則以電子電路技術為基礎,用來接收片場主控信號,通過數(shù)字信號轉換為模擬信號,經(jīng)過濾波、功放等處理后以多通道方式同步輸出至片場表情捕捉、錄音和攝影等設備作為啟動控制,確保片場數(shù)據(jù)錄制信息同步開始,解決多源信號同步問題(圖10)。
圖9 《飛向月球》同步觸發(fā)打板系統(tǒng)
圖10 《飛向月球》同步觸發(fā)打板系統(tǒng)使用流程圖
實時交互預演通常指在能夠滿足實時可視化、反饋、編輯的環(huán)境下,采用多種交互方式來輔助完成鏡頭畫面預演的技術,是電影虛擬攝制體系的重要組成部分[15],也幾乎成為真人動畫電影虛擬化制作體系中的標配。制片組根據(jù)需求選擇合適的拍攝方案尤其重要。在電影《飛向月球》正片拍攝之初,團隊進行了8 分鐘的樣片拍攝,測試了影像合成效果、核心拍攝技術,并梳理了拍攝方案、團隊架構和制片流程等,為后面整部影片的順利進行奠定了基礎。
在藝術與技術融合的創(chuàng)作需求下,《飛向月球》的創(chuàng)作者們同樣感受到了中國電影技術研發(fā)環(huán)節(jié)提質(zhì)升級、科技人才儲備面臨擴充的迫切需求?!讹w向月球》在多項虛擬攝制新技術上進行探索應用,這些實踐經(jīng)驗也逐漸應用于北京電影學院的日常教學中,反哺學生創(chuàng)作及人才培養(yǎng)。本次拍攝在實時交互預演技術制片流程、引擎技術與傳統(tǒng)三維動畫兼容性等方面還存有若干技術難點,我們會在后續(xù)的真人動畫電影創(chuàng)作中逐步完善,梳理出中國本土化的實時交互預演系統(tǒng)及相關攝制方案。