柏 齡

中影華夏電影科技(北京)有限公司,北京 100088

1 前言

應(yīng)卡梅隆團隊與片方迪士尼的要求,在2022年6月的歐洲電影展會 (CineEurope)上,我國具有核心自主知識產(chǎn)權(quán)的CINITY 品牌使用專屬制版工藝制作了《阿凡達(dá):水之道》(暫譯名,下同)首次公開的時長8分鐘的演示片段,并通過融合了4K、3D、高亮度、高幀率、高動態(tài)范圍、廣色域、沉浸式音頻等7大電影放映領(lǐng)域高新技術(shù)的CINITY 放映系統(tǒng)在展會期間向參會的業(yè)內(nèi)同行進行了獨家放映。在場的很多專業(yè)人士對于 《阿凡達(dá):水之道》的藝術(shù)和制作與CINITY 的放映相結(jié)合的觀影效果表示“這是一次前所未有的觀影體驗”。

《阿凡達(dá):水之道》故事主題依然圍繞家園、愛和敬畏自然,但這部影片使用了更先進的視效制作技術(shù)、更逼真的角色創(chuàng)作手法以及更清晰流暢的畫面,目的是帶來“最具沉浸感的3D 體驗”。更具創(chuàng)新性的3D 實拍技術(shù),特別是水下3D 拍攝的實現(xiàn)以及高幀率、高分辨率等技術(shù)的綜合應(yīng)用都遠(yuǎn)遠(yuǎn)超越了《阿凡達(dá)》系列第一部。CINITY 版本的高動態(tài)范圍完美還原了 《阿凡達(dá):水之道》中畫面的明暗對比,4K 分辨率使影片細(xì)節(jié)更清晰,高幀率的運用在保持畫面內(nèi)容力量感與速度感的同時,減少了動態(tài)模糊對3D 實拍效果的影響,而CINITY 廣色域技術(shù)配合高亮度,則更助力將潘多拉星球斑斕的色彩呈現(xiàn)給觀眾。相信在行業(yè)發(fā)展的關(guān)鍵時期,《阿凡達(dá):水之道》及該系列后續(xù)影片的陸續(xù)上映,必將迎來新一輪關(guān)于3D、高幀率及其他高新技術(shù)應(yīng)用的持續(xù)探索和發(fā)展。

2 近年來3D技術(shù)在國內(nèi)的發(fā)展及應(yīng)用

2009年《阿凡達(dá)》在電影科技支撐的基礎(chǔ)上橫空出世,而影片中運用的3D 技術(shù)也在當(dāng)時推動電影工業(yè)踏入了一個全新的階段。當(dāng)年該片在全球斬獲了28億美元的票房收入,即便在物價大幅提升的今天,這仍是一個難以超越的紀(jì)錄,潘多拉星球帶給一代人的視覺沖擊無可媲美。在28億美元的整體票房中,3D 票房高達(dá)18.5億美元,超過總票房占比的70%,這也是前所未有的。3D 技術(shù)帶來全新視聽體驗的同時也大幅促進了觀影環(huán)境的改造升級。2009年《阿凡達(dá)》上映后,我國3D 銀幕數(shù)量在短期內(nèi)大幅增加,強大的市場需求掀起了空前的3D熱潮,推動電影行業(yè)快速進入3D 時代。2010年之后新建的影院,支持3D 放映系統(tǒng)基本可以說成為影廳的標(biāo)配。截至2021年9月,根據(jù)國家電影局的數(shù)據(jù)統(tǒng)計顯示,國內(nèi)銀幕數(shù)已突破8萬塊,位列世界第一,其中88%以上的影廳都支持3D 放映。3D一度成為新技術(shù)與高質(zhì)量影片的代名詞。

隨后數(shù)年內(nèi),為解決3D 影片片源不足的問題,3D 立體轉(zhuǎn)制技術(shù)開始被廣泛應(yīng)用。但隨著觀眾觀影水平的提升,以及影院放映亮度衰減、3D 眼鏡佩戴不夠舒適、影片本身過度追求3D 效果等問題,使得3D 影片的體驗感逐步下降,特別是在新鮮感消退后,匆匆趕制的3D 效果逐漸引發(fā)了觀影者們的一些負(fù)面情緒。其中,許多影片僅在國內(nèi)市場發(fā)行轉(zhuǎn)制3D 版的做法更使觀眾對“中國特供3D 版”產(chǎn)生抵觸。而據(jù)相關(guān)調(diào)研數(shù)據(jù)顯示,3D 影片的票房收入在全球電影票房中的占比在2017年至2021年呈逐年下降趨勢,特別是在2021年僅占到6.57%。

3D 技術(shù)的本質(zhì)是突出主題的手段,為內(nèi)容呈現(xiàn)服務(wù),起到錦上添花的作用,并不改變影片主體。首先,舒適的3D 效果有助于突出影片主旨,將創(chuàng)作者試圖傳達(dá)給觀眾的信息以更直觀、更具沖擊力的方式呈現(xiàn)。其次,在影片的創(chuàng)意和設(shè)計階段就需考慮是否有必要通過3D 方式來展現(xiàn)情節(jié)與內(nèi)容。影片如適合使用3D 表現(xiàn),則在場景設(shè)計、動作設(shè)計、拍攝設(shè)備的選擇、景別選取、焦點位置、特效制作等環(huán)節(jié)都要充分考慮到3D 與2D 的呈現(xiàn)差異,以及如何發(fā)揮3D 的技術(shù)特點。拍攝時,要對比前期設(shè)計,通過現(xiàn)場3D 拍攝效果監(jiān)看,再調(diào)整拍攝的視差或畫面構(gòu)圖。而從 《阿凡達(dá):水之道》CINITY 技術(shù)演示研討會上釋放出的演示片段來看,正是很好地詮釋了這一點。片段中對戰(zhàn)斗場面的呈現(xiàn),在打斗間穿插的對話與表現(xiàn)角色情緒的特寫鏡頭,在交待劇情的同時又有效緩解了連續(xù)的3D 打斗場景以避免給觀影者造成不適感。

相比13年前《阿凡達(dá)》系列第一部,《阿凡達(dá):水之道》在3D 拍攝與制作方面都有了長足發(fā)展。據(jù)悉,此次《阿凡達(dá):水之道》的3D 拍攝使用了多個索尼全畫幅Venice數(shù)字?jǐn)z影機,索尼為滿足卡梅隆導(dǎo)演對《阿凡達(dá)》系列影片后續(xù)的開發(fā)需求專門定制了獨特的擴展系統(tǒng),可使光學(xué)模塊與攝影機機身分離最遠(yuǎn)達(dá)到20 英尺 (6 米多)。而通過Blackmagic的轉(zhuǎn)換盒從索尼Venice攝影機獲取的拍攝信號,將根據(jù)不同SDR/HDR、2K/4K、24FPS/48FPS的需求,轉(zhuǎn)換成各種組合以進行現(xiàn)場3D 監(jiān)看。除此之外,據(jù)已公開的信息,為完成水下3D攝影,水下3D 拍攝系統(tǒng)和適用鏡頭的開發(fā)、水下拍攝效果監(jiān)看的實現(xiàn)也成為重要的技術(shù)突破點。從演示片段中的水場景來看,也確實全面地展示出3D技術(shù)與水的自然效果在該片中的高度結(jié)合。同時,高幀率的應(yīng)用也成為減少閃爍與抖動等影響3D 效果的有效手段。

作為3D 技術(shù)的引領(lǐng)者,卡梅隆導(dǎo)演深刻理解這項技術(shù),知道如何利用3D 為故事服務(wù),創(chuàng)造更豐富、更真實的觀影體驗。此次《阿凡達(dá):水之道》勢必又將是一部通過創(chuàng)新技術(shù)的展現(xiàn)令人耳目一新的作品。

3 高幀率技術(shù)的發(fā)展與應(yīng)用

《阿凡達(dá):水之道》的另一大亮點則是對高幀率的應(yīng)用,該片已知使用48FPS拍攝。高幀率的運用是近些年備受關(guān)注的話題,對這方面的探索走得最遠(yuǎn)的無疑是李安導(dǎo)演,2016年 《比利·林恩的中場戰(zhàn)事》和2019年的《雙子殺手》,突破性地使用了高幀率技術(shù),使其一躍成為了新的技術(shù)高點。卡梅隆導(dǎo)演表示此次高幀率在 《阿凡達(dá):水之道》中的應(yīng)用,將“成為減少閃爍與抖動等影響該片3D 效果問題的有效手段”。

3.1 高幀率給影片放映帶來的效果提升

與傳統(tǒng)24FPS 相比,高幀率影片優(yōu)勢非常明顯,高幀率將電影每秒的信息量提高到數(shù)倍,大幅減少影片運動鏡頭的模糊和抖動,能使畫面更流暢、更清晰,讓觀眾觀影時減少由于畫面模糊、卡頓和抖動帶來的不適感,避免出戲,使觀眾更好地沉浸到故事之中。在穩(wěn)定與流暢的基礎(chǔ)上,高幀率在相同時長內(nèi)呈現(xiàn)出了更多內(nèi)容細(xì)節(jié)。以李安導(dǎo)演 《比利·林恩的中場戰(zhàn)事》中的鏡頭為例,高幀率的運用將男主角在戰(zhàn)場上因極度恐懼產(chǎn)生的緊張感,通過面部肌肉的僵硬和無法自控的顫抖高度還原給觀眾(圖1)。而《雙子殺手》中男主角瞄準(zhǔn)高速運動的列車車廂,對目前人物進行射殺的場景,也成為體現(xiàn)高幀率豐富了畫面細(xì)節(jié)的代表鏡頭之一 (圖2)。在《阿凡達(dá):水之道》的演示片段里,也能清楚感受到在水下、戰(zhàn)斗等場景中,運用4K、48FPS帶來的在畫面連貫性和清晰度上的優(yōu)勢。

圖1 影片 《比利·林恩的中場戰(zhàn)事》一秒鐘分鏡示意圖

圖2 影片 《雙子殺手》中場景

3.2 高幀率應(yīng)用如何與創(chuàng)作更緊密結(jié)合仍待深入探索

雖然幀率提升對電影呈現(xiàn)有有利的一面,但也有觀點指出,過于清晰、過于流暢的畫面,會失去電影感。什么是“電影感”一直是業(yè)界爭論的話題,這其中既涉及藝術(shù)的突破又離不開技術(shù)的支撐。從黑白到彩色、從無聲到有聲、從膠片到數(shù)字,電影百年的魅力在于帶來了無限的可能,創(chuàng)造了無限的想象空間,在藝術(shù)與技術(shù)相互促進的每個發(fā)展階段,對“電影感”的理解都應(yīng)是不同的。能夠帶給觀眾更美、更真實、更舒適的觀感就是我們一直追求的“電影感”,因此觀眾的接受度才是真正評判一部電影是否有“電影感”的標(biāo)準(zhǔn)。

電影語言的表達(dá)方式多樣且獨特,創(chuàng)作團隊為了表達(dá)、烘托創(chuàng)作主旨,往往采用各種手段和方式處理鏡頭畫面,對觀眾進行潛移默化的影響,這就要求影片在使用高幀率制作時,不是一味追求畫面線性的流暢度,同時還要考慮到鏡頭語言的特點。例如,展現(xiàn)力量的鏡頭,怎樣更好保留角色帶來的爆發(fā)力和沖擊力;利用高幀率如何更好表現(xiàn)人物情感沖突或突出畫面重心等,這些都要求高幀率的表現(xiàn)方式結(jié)合電影內(nèi)容本身的特點提前進行設(shè)計。

3.3 利用人工智能算法實現(xiàn)影片幀率提升

雖然高幀率有可見的優(yōu)勢,但從前端方案設(shè)計、拍攝設(shè)備準(zhǔn)備到后期制作工藝,高幀率相較傳統(tǒng)24FPS影片在每個流程環(huán)節(jié)都有不同,因此現(xiàn)階段實拍高幀率影片片源不足仍是很現(xiàn)實的問題。為了在合理控制成本的前提下,解決此問題,使用人工智能技術(shù)實現(xiàn)幀率提升成為了過渡期的有效方案。

視頻插幀技術(shù)旨在通過對原始視頻序列幀的信息提取、整合及分析,生成中間幀,從而實現(xiàn)對原始幀率進行提升。假設(shè)輸入幀序列為 {I0,I1,…,In},則在對 {I0,I1}進行插幀運算時,其過程可以描述為:

其中A (·)為輔助函數(shù),負(fù)責(zé)提取插幀相關(guān)的物理量,如光流、深度、語義信息等;而F (·)為插幀函數(shù),用于整合輔助函數(shù)輸出的物理信息,并生成{I0,I1}的中間幀。

插幀算法的本質(zhì)為對插幀函數(shù)進行刻畫擬合,過程比較復(fù)雜,傳統(tǒng)算法往往通過添加假設(shè)條件和簡化問題的方式對插幀函數(shù)進行重構(gòu),這樣的估計法會限制算法的泛化性和插幀結(jié)果的精確度,難以滿足大銀幕電影的需求。與傳統(tǒng)算法對插幀函數(shù)直接建模不同,人工智能技術(shù)通過大數(shù)據(jù)海量學(xué)習(xí),對原有幀和中間幀的關(guān)系進行數(shù)學(xué)的刻畫,以得到更優(yōu)的視覺效果和泛化性。其中,最具代表性的是基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network,DCNN)的算法。深度卷積神經(jīng)網(wǎng)絡(luò)在線性分類模型的基礎(chǔ)上,通過卷積對輸入圖像的有效信息進行提取,疊加非線性函數(shù),對復(fù)雜的前后關(guān)系進行通用建模和刻畫,同時在網(wǎng)絡(luò)設(shè)計的過程中引入池化層、重采樣層、反卷積層等算子,形成靈活多變的網(wǎng)絡(luò)結(jié)構(gòu),對輸入數(shù)據(jù)進行高效的提取與整合。基于深度卷積神經(jīng)網(wǎng)絡(luò)的視頻插幀技術(shù),根據(jù)輔助函數(shù)和插幀方式的不同,可大致分為光流法和卷積法。而目前基于卷積神經(jīng)網(wǎng)絡(luò)的運算模型常見有:

(1)深度感知視頻幀插幀算法 (Depth-Aware Video Frame Interpolation,DAIN),采用深度信息對權(quán)重函數(shù)進行增強,提升算法精度的同時增強穩(wěn)定性。

(2)感知視頻中運動加速度的視頻插幀算法(Quadratic Video Interpolation,QVI),在深度感知視頻幀插幀算法基礎(chǔ)上進行了增強。進行中間光流生成時,深度感知視頻幀插幀算法會假設(shè)幀間運動為勻速直線運動,這種假設(shè)限制了模型的表達(dá)能力,在處理復(fù)雜運動時會因匹配度不夠而產(chǎn)生負(fù)效應(yīng)。運動加速度的視頻插幀算法通過對多幀運動信息的估計,使用二次模型對幀間運動進行刻畫。即要對 {I0,I1}進行插幀時,需輸入連續(xù)四幀I-1,I0,I1,I2,將原插幀函數(shù)變形為:

從而增強模型對處理復(fù)雜運動的能力,提升插幀精度。

(3)視頻幀插值的實時中間流估計(Real-Time Intermediate Flow Estimation for Video Frame Interpolation,RIEF),與常見采用先做前后、再做中間的光流估計框架不同,視頻幀插值的實時中間流估計是通過對輸入幀的信息提取與整合,直接對中間光流進行估計,有效壓縮了運行時間。

由上述代表性的算法可見,擁有更強學(xué)習(xí)能力的深度卷積視覺神經(jīng)網(wǎng)絡(luò)配以大量訓(xùn)練數(shù)據(jù),已越來越多的通過定制化開發(fā)應(yīng)用于解決圖像處理、畫質(zhì)提升、三維重構(gòu)、虛擬和增強等各類視覺問題中。而與電影行業(yè)的結(jié)合應(yīng)用,最關(guān)鍵是讓人工智能深度學(xué)習(xí)與熟悉電影語言表達(dá)方式的特點。不同題材影片雖風(fēng)格迥異,但往往都集合了推、拉、搖、移、旋轉(zhuǎn)等各種鏡頭運用,同時要需綜合分析畫面中物體交互運動類型、形變情況、遮擋關(guān)系、光影變換等因素,加上大銀幕充分展現(xiàn)畫面每一處細(xì)節(jié),稍有不準(zhǔn)確就會造成不適的觀影體驗,因此對人工智能算法處理幀率提升的精確度要求格外高。對插幀前后畫面焦點虛實及色彩空間的一致性、保證物體邊緣無變形或不完整顯示、畫面內(nèi)容無非正常閃爍及抖動、運動物體不因幀率提升而產(chǎn)生拖尾及重影,以及畫面內(nèi)容沒有非常規(guī)的運動不同步等指標(biāo)的要求,依靠開源算法以自動化方式無法滿足需求,是通過定制化開發(fā),并不斷輸入實拍數(shù)據(jù)集,對算法模型進行訓(xùn)練、優(yōu)化與迭代來實現(xiàn)的。

CINITY 制版工藝中的CINITY AMR (CINITY 人工智能母版重制)技術(shù)就是在原有CINITY母版制作工藝實現(xiàn)的提高影片對比度、提升動態(tài)范圍、色彩增強及重新對影調(diào)進行精準(zhǔn)映射的基礎(chǔ)上,創(chuàng)新采用人工智能方式對傳統(tǒng)24FPS影片進行的母版重制,在使電影畫面超分至4K 的同時提高了幀率,與CINITY 放映系統(tǒng)技術(shù)指標(biāo)相匹配,讓影片畫面更清晰、色彩更真實、細(xì)節(jié)更豐富、動作更流暢,為觀眾帶來沉浸式觀影體驗。目前通過CINITY AMR 技術(shù)已制作多部高幀率影片,市場反響良好?！栋⒎策_(dá)》第一部也計劃使用人工智能的方式制作高幀率重制版,并在CINITY 影廳展現(xiàn)給觀眾。

通過對人類感知視覺信息過程的不斷模擬、迭代更新和海量數(shù)據(jù)訓(xùn)練,人工智能的應(yīng)用水平將會不斷提高,繼續(xù)助力電影級別畫面的超分和幀率變換。

3.4 高幀率實現(xiàn)方式的結(jié)合運用

實際拍攝與人工智能插幀運算兩種實現(xiàn)影片高幀率的方式并不沖突,甚至可以結(jié)合運用。從創(chuàng)作需要角度出發(fā),通過前期設(shè)計,對要重點突出高幀率優(yōu)勢的場景更多采用實拍方式,而對運動較平緩、固定機位拍攝或不具代表性的場景鏡頭,則可考慮通過人工智能插幀運算方式來實現(xiàn)幀率變換,有效控制各項成本的同時提高制作質(zhì)量和效率。

4 總結(jié)

卡梅隆導(dǎo)演曾說,“我希望人們遺忘技術(shù),就像你在電影院看到的不是銀幕而是真實世界。一切技術(shù)的根本目的,是讓人們察覺不到技術(shù)的存在?！彼械男录夹g(shù)手段都是在為內(nèi)容服務(wù),不論3D、高幀率還是其他高新技術(shù),歸根結(jié)底是為更極致地還原創(chuàng)作者本身的意圖,更具沖擊力地傳達(dá)給觀眾創(chuàng)作的主旨,引起共鳴。對于 《阿凡達(dá)》系列的探討,其實早已超越了電影技術(shù)和藝術(shù)本身的范疇,它引發(fā)的思考和帶來的影響力已推動電影產(chǎn)業(yè)各方面加速發(fā)展升級。相信隨著 《阿凡達(dá):水之道》及其他國內(nèi)外重磅大片的上映,電影行業(yè)也必將在高新技術(shù)發(fā)展和藝術(shù)創(chuàng)作領(lǐng)域都得到跨越式的提升,尤其在3D 技術(shù)與高幀率技術(shù)方面,將會得到進一步的發(fā)展與應(yīng)用。