侯 明

基于VR360°影視作品的創(chuàng)作及應(yīng)用研究
——以《魅力山西?魅力五臺(tái)》的拍攝為例

侯 明

一、360°VR影視作品的創(chuàng)作背景

（一）創(chuàng)作源起

近年來，隨著中國(guó)經(jīng)濟(jì)的不斷發(fā)展，以電影產(chǎn)業(yè)為代表的中國(guó)文化市場(chǎng)也獲得了巨大、高速的發(fā)展。2012年，中國(guó)內(nèi)地電影票房超過170億人民幣；2015年則超過440億元人民幣；2016年的第一季度更是達(dá)到了145億元人民幣。使得2016年的2月份讓中國(guó)電影票房成為了世界第一名。①內(nèi)地電影票房數(shù)據(jù)庫(kù).http://58921.com/alltime.

2015年，全球資本市場(chǎng)大規(guī)模的投入資金搶占工業(yè)4.0與互聯(lián)網(wǎng)+時(shí)代的新型視聽傳媒市場(chǎng)，使虛擬現(xiàn)實(shí)技術(shù)迎來了第三次大爆發(fā)。新媒體技術(shù)帶動(dòng)了電影電視的轉(zhuǎn)型，由此派生出360°全景視頻、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)和影像現(xiàn)實(shí)等虛擬現(xiàn)實(shí)新概念及創(chuàng)新型的視聽影像藝術(shù)作品。

2016年，由五洲傳播中心及北京電影學(xué)院主辦的“遇見中國(guó)”青年VR視頻影像大展于暑期展開。本次VR視頻影像大展的作品主題范圍廣，可以包括歷史文化的風(fēng)景旅游區(qū)的內(nèi)容、具有儀式感的節(jié)日文化內(nèi)容、飲食文化、運(yùn)動(dòng)技藝、現(xiàn)代生活和工作場(chǎng)景。為了促進(jìn)中外年輕人對(duì)中國(guó)優(yōu)秀文化的了解，推動(dòng)中國(guó)文化的國(guó)際傳播[1]，本文作者為了迎接這個(gè)影像大展，決定組織以北京電影學(xué)院研究生為主體的VR創(chuàng)作團(tuán)隊(duì)用360°VR影視作品的創(chuàng)作形式來表現(xiàn)中國(guó)優(yōu)秀的文化景觀，參加該大展的在線展播及中美旅游年活動(dòng)的國(guó)際交流。同時(shí)，借此機(jī)會(huì)一并開展基于VR的360°影視作品視音頻創(chuàng)作應(yīng)用的理論研究工作。經(jīng)再三斟酌之后，我們決定將創(chuàng)作主題定位為展示中國(guó)世界遺產(chǎn)目錄中的重要文化景觀之一的山西省五臺(tái)山。在介紹和展現(xiàn)五臺(tái)山的自然風(fēng)景、文化底蘊(yùn)的同時(shí)，引入山西省歌舞劇院民族樂團(tuán)的實(shí)地藝術(shù)表演，以360°影視及MV的形式表現(xiàn)參展作品的主題和意義，拍攝完成一部名為《魅力山西·魅力五臺(tái)》的原創(chuàng) 360°VR影視作品。

（二）拍攝內(nèi)容

五臺(tái)山位于山西省忻州市五臺(tái)縣境內(nèi)，距省會(huì)太原市約230公里，最高處海拔達(dá)3061.1米，為山西省最高峰，有“山西屋脊”之稱。

據(jù)文獻(xiàn)記載，東漢永平十一年（公元68年），印度高僧迦葉摩騰、竺法蘭從洛陽(yáng)來到了五臺(tái)山。由于山里很早就有阿育王的舍利塔，再加上五臺(tái)山又是文殊菩薩演教和居住的地方，他二人想在此建寺。到了隋朝，隋文帝又下詔在五個(gè)臺(tái)頂各建一座寺廟。目前，五臺(tái)山是中國(guó)唯一一處青廟（即漢傳佛教）與黃廟（即藏傳佛教）交相輝映的佛教道場(chǎng)，因此，漢蒙藏等民族在此和諧共處?，F(xiàn)存五臺(tái)山的寺院共47處。臺(tái)內(nèi)39處，臺(tái)外8處。其中，多為敕建寺院。著名的有顯通寺、塔院寺、菩薩頂、南山寺、黛螺頂、廣濟(jì)寺、萬(wàn)佛閣等。[2]

作為中國(guó)傳統(tǒng)文化和自然景觀結(jié)合的代表，五臺(tái)山歷經(jīng)千百年來的傳承被完好地保留了下來。因此，利用最新型的360°VR技術(shù)對(duì)五臺(tái)山進(jìn)行影視的拍攝和制作，可以讓更多的人通過新科技孕育的虛擬現(xiàn)實(shí)360°VR影視作品，來了解五臺(tái)山內(nèi)的古代建筑和自然風(fēng)韻、了解中國(guó)傳統(tǒng)文化，領(lǐng)略民族精神的內(nèi)涵和真諦，達(dá)到傳播中國(guó)文化的和平目的。

二、360度VR影視作品的前期拍攝及視音頻的設(shè)計(jì)應(yīng)用

（一）虛擬現(xiàn)實(shí)（Virtual Reality，簡(jiǎn)稱：VR）技術(shù)簡(jiǎn)介

是綜合利用計(jì)算機(jī)系統(tǒng)圖形技術(shù)和各種顯示及控制設(shè)備接口，在計(jì)算機(jī)上生成可交互的視聽媒體三維環(huán)境，結(jié)合空間感知定位技術(shù)（Simultaneous Localization and Mapping，簡(jiǎn)稱：SLAM）、即時(shí)定位與地圖構(gòu)建技術(shù)，使得設(shè)備在實(shí)時(shí)獲取周圍的環(huán)境信息時(shí)，能精確地將虛擬物體放在正確的位置，利用觀者的實(shí)體行為數(shù)據(jù)提供觀者沉浸在虛擬環(huán)境中的感覺的一種新媒體技術(shù)。

虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)是實(shí)時(shí)（Presence）、交互（Interaction）和自主（Autonomy）；特征是沉浸（Immersion）、交互（Interaction）和構(gòu)想（Imagination）。

利用來自多源的信息融合交互式三維動(dòng)態(tài)視聽虛擬及真實(shí)場(chǎng)景和實(shí)體行為的系統(tǒng)仿真技術(shù)，可使用戶沉浸于該環(huán)境中。因此，360°VR影視作品又被稱為360°全景作品（360 Virtual Reality or 360VR）。360°VR影視作品也可以被看作是簡(jiǎn)版的虛擬現(xiàn)實(shí)，或稱為VR Lite。它是一種利用多鏡頭的攝像機(jī)拍攝視頻后，再經(jīng)過視頻素材的縫合而成的全景動(dòng)態(tài)視頻影像。后期觀看時(shí)，觀者需要佩戴著全景眼鏡入戶在前后左右上下自由地選擇方位來觀看影像內(nèi)容，從而會(huì)自主地沉浸在被拍攝下后放映的虛擬真實(shí)的世界中。但是，由于是簡(jiǎn)版的VR技術(shù)，所以觀者是無(wú)法與全景動(dòng)態(tài)視頻內(nèi)的角色及道具交流互動(dòng)的。

目前，已開發(fā)出商業(yè)產(chǎn)品的360°VR影視拍攝系統(tǒng)和公司的產(chǎn)品非常之多。如JAUNT CINEMATIC VR、NEXTVR、NOKIA、強(qiáng)氧360、得圖等。一般都是采用多攝像機(jī)的組合拍攝，然后拍攝下來的視頻素材在后期制作時(shí)利用全景圖縫合制作軟件“Autopano Giga”之中完成影像的縫合調(diào)整，之后再進(jìn)入全景視頻剪輯制作軟件“Autopano Video Pro”或“Adobe Premiere Pro”之中完成最終的影像剪輯，再經(jīng)過特效合成軟件“NUKE”的擦除與視覺效果合成技術(shù)完成360°VR影視作品的視頻制作。當(dāng)然，最后還要結(jié)合音頻工具軟件將處理過的聲音與畫面影像合成為最終成片。放映時(shí)可以通過計(jì)算機(jī)連接VR頭戴式全景眼鏡或者智能移動(dòng)客戶端內(nèi)的App結(jié)合頭戴式VR BOX進(jìn)行觀看。

（二）現(xiàn)有的360°VR影視專業(yè)全景相機(jī)的分類和拍攝時(shí)的常見問題

1. 國(guó)外品牌的專業(yè)全景相機(jī)，整體來說成本昂貴或者體積龐大。如NEXTVR是由多臺(tái)的RED數(shù)字?jǐn)z影機(jī)組裝而成的，外形笨重，操作復(fù)雜。

2. 而輕型組裝類攝影機(jī)目前全景愛好者們推崇的是Go Pro相機(jī)。該相機(jī)原本是運(yùn)動(dòng)型照相機(jī)，通過配件可將6個(gè)甚至更多的Go Pro照相機(jī)組合在一起進(jìn)行拍攝。但是，該組合照相機(jī)在拍攝高清質(zhì)量的圖片或者視頻時(shí)不能做到統(tǒng)一曝光，因?yàn)榘ńM件在內(nèi)的組裝設(shè)備太多。這樣后期制作時(shí)就回產(chǎn)生大量復(fù)雜的拼接影像的工作。而且該組合的穩(wěn)定性欠缺，價(jià)格也比較高，沒有配套的直播服務(wù)和SDK服務(wù)。

3. 一些國(guó)內(nèi)的品牌主要使用兩個(gè)魚眼鏡頭來完成拍攝任務(wù)。但是在魚眼鏡頭的邊緣處通常會(huì)有較為嚴(yán)重的圖像信號(hào)失真與畸變，達(dá)不到專業(yè)影像的要求。而且通過屏幕錄制器進(jìn)行分享的影像像素較低，內(nèi)置的風(fēng)扇還會(huì)影響到聲音的同期錄音。

（三）得圖F4全景照相機(jī)技術(shù)簡(jiǎn)介

在本次的360°VR影視作品創(chuàng)作中，攝制組聯(lián)合五洲傳播中心及北京電影學(xué)院使用了得圖網(wǎng)（http∶//www.detu.com）全程提供的360°VR影視作品拍攝器材，即得圖F4全景照相機(jī)（圖1）來進(jìn)行VR的拍攝任務(wù)。

圖1：得圖F4全景照相機(jī)

得圖F4全景照相機(jī)的功能特點(diǎn)如下：

1. 高品質(zhì)的四鏡頭全視角鏡頭組；

2. 360°X360°全視角全景拍攝模式；

3. 高解像度魚眼鏡頭；

4. 超過6K的高畫質(zhì)全景視頻；

5. 總數(shù)4800萬(wàn)像素的索尼背照式圖像傳感器；

6. 每路視頻最高支持2880?2160分辨率；

7. 支持生成6500?3250分辨率的全景視頻；

8. 可直播的全景攝像機(jī)；

9. 提供DeLive軟件支持4K分辨率的網(wǎng)絡(luò)直播；

10. 配套的直播主機(jī)支持專業(yè)級(jí)別的直播服務(wù)；

11. 5400 mAh鋰電池可以支持3小時(shí)以上工作時(shí)間；

12. 145?75?75 mm的輕巧機(jī)身尺寸設(shè)計(jì)；

13. 670g的機(jī)身自重；

14. TF卡可擴(kuò)充容量128G?4=512G，支持云儲(chǔ)存、支持同步錄音。①得圖F4手冊(cè).http://cam.detu.com/zh/f4.

得圖F4全景相機(jī)可用無(wú)線遙控或一鍵同步方式進(jìn)行錄制，同時(shí)具備畫面畫框的部分拼接和縫合功能。完成的影像作品則利用了智能移動(dòng)客戶端中的VR類App分屏顯示，可在頭戴式VR BOX的雙鏡眼鏡中進(jìn)行觀看。在應(yīng)用了H.264實(shí)時(shí)硬件編碼器和搭載的新型圖像傳感器后可以呈現(xiàn)高清的畫質(zhì)。拍攝時(shí)采用了6K的高清畫質(zhì)，并優(yōu)化了制作性價(jià)比，降低了部分功耗。由于F4的重量為670g，所以無(wú)法進(jìn)行航拍處理，但是可以借由支架或者全向平衡車進(jìn)行移動(dòng)攝影。由于F4全景相機(jī)的畫框安全距離在距攝影機(jī)支架軸心1.2米范圍之內(nèi)，所以，在進(jìn)行拍攝時(shí)，所有的工作人員必須采用遙控模式進(jìn)行拍攝，要躲避自身，防止自身入畫相機(jī)的取景框。

（四）360°VR影視作品《魅力山西·魅力五臺(tái)》的視頻拍攝

《魅力山西·魅力五臺(tái)》360°VR影視作品的主要拍攝地點(diǎn)為南臺(tái)、北臺(tái)、湖、塔院寺內(nèi)外、龍泉寺內(nèi)外及泉水處和南山寺；次要拍攝地點(diǎn)定為東臺(tái)、西臺(tái)、中臺(tái)、顯通寺、殊像寺、萬(wàn)佛閣、黛螺頂和普華寺。

由于現(xiàn)階段的360°VR影視作品創(chuàng)作類似于電影初創(chuàng)之期的愛迪生電影和盧米埃爾電影時(shí)代，還沒有形成較為系統(tǒng)的藝術(shù)創(chuàng)作體系，而作品的內(nèi)容則類似電影初創(chuàng)之期的梅里愛時(shí)代之前，需要實(shí)驗(yàn)炫技和獵奇雜耍的成分居多，一般是無(wú)故事情節(jié)、無(wú)造型設(shè)計(jì)、無(wú)美學(xué)體系的，而聲音也只有簡(jiǎn)單的環(huán)境聲效和背景音樂，無(wú)刻意的研發(fā)創(chuàng)作立體聲體系。因此，在360°VR影視作品的拍攝中，要意識(shí)到導(dǎo)演賴以剪輯視頻的技法和鏡頭語(yǔ)言、音頻制作的改變。例如，不僅遠(yuǎn)、全、中、近、特的景別選擇權(quán)交給了觀者來自主選擇，而且像推、拉、搖的鏡頭運(yùn)動(dòng)選擇權(quán)也一并交給了觀者，包括但不限于俯、仰、平的視角選擇權(quán)也屬于了觀者，僅剩下移動(dòng)和跟拍方法由劇組來掌握，而這恰恰就決定了在360°全景范圍內(nèi)導(dǎo)演重點(diǎn)推薦給觀者所展示的畫面內(nèi)容。當(dāng)然，觀者也可以選擇反向運(yùn)動(dòng)觀賞內(nèi)容。

另外，在360°VR影視作品拍攝中，延時(shí)攝影和高速攝影技法會(huì)受到局限，長(zhǎng)時(shí)間的延時(shí)和超高速的拍攝模式在現(xiàn)階段實(shí)施還較為困難。而夜空星斗變化和日出日落、云層流動(dòng)的常見鏡頭在3小時(shí)電池使用期內(nèi)可以進(jìn)行無(wú)人看管式的拍攝。所以，在拍攝技巧上創(chuàng)作者需要注意多次拍攝和補(bǔ)拍的鏡頭中天氣的變化和植物的狀態(tài)是否有太大的差異？如有太大的差異則以有效鏡頭數(shù)量多的為準(zhǔn)。通過剪輯，創(chuàng)作者可以硬性地打斷單一的空間沉浸感進(jìn)行空間自由切換。

（五）360°VR影視作品《魅力山西·魅力五臺(tái)》的音樂設(shè)計(jì)

借助音樂可以有效的表現(xiàn)出五臺(tái)山特色的文化氣質(zhì)。因此，本次的360°VR影視作品的藝術(shù)創(chuàng)作創(chuàng)新點(diǎn)在于部分內(nèi)容結(jié)合了山西省歌舞劇院民族管弦樂團(tuán)的以MV形式體現(xiàn)的實(shí)地演奏。

經(jīng)實(shí)地演出協(xié)調(diào)后，確定聲音由三首民族音樂配合五臺(tái)山的秀美風(fēng)光畫面組成。三首民族音樂分別為古琴曲《歐鷺忘機(jī)》、民族樂器合奏《人說山西好風(fēng)光》和琵琶獨(dú)奏《新十面埋伏》。其中，《鷗鷺忘機(jī)》這首琴曲是規(guī)勸人們要心地善良。這無(wú)形中貼合了五臺(tái)山悠久的佛教文化傳承；而《人說山西好風(fēng)光》的合奏曲則開宗明義，可以立即喚起觀者對(duì)山西的第一音樂印象。

三、360°VR影視作品的后期視音頻制作與播放設(shè)計(jì)應(yīng)用

（一）圖像縫合

360°VR影視作品的后期制作主要包括圖像縫合、剪輯、三維特效合成、字幕設(shè)計(jì)和視聽內(nèi)容合成。最終完成作品后上傳網(wǎng)站在新媒體中播出。

所以，后期制作的第一步是將所拍攝的視頻素材進(jìn)行360°的縫合。一般來說，采用主流拍攝工藝的基本是推薦“Autopano Giga”來完成縫合和調(diào)整、在“Autopano Video Pro”中剪輯素材。本次使用的得圖F4照相機(jī)具備一定的縫合能力，視頻素材可以在“Adobe Photoshop”中首先被制作成一個(gè)全景縫合的圖像靜幀。然后再利用此靜幀可以在“Adobe Premiere Pro”中進(jìn)行視頻剪輯，這樣可以省卻大量的手工工作。在制作時(shí)需注意的是視頻素材片段之間的銜接是否合理、劇情是否流暢、及轉(zhuǎn)場(chǎng)效果是否統(tǒng)一等問題。

（二）剪輯合成

后期制作的第二步是剪輯。需要將在南臺(tái)、北臺(tái)、湖拍攝的視頻素材的部分內(nèi)容來貼合樂曲《人說山西好風(fēng)光》《新十面埋伏》的實(shí)地演奏，以及將塔院寺內(nèi)外到龍泉寺內(nèi)外及泉水處拍攝的視頻素材的部分內(nèi)容來貼合樂曲《鷗鷺忘機(jī)》。所以，第二步要借助于“NUKE”軟件對(duì)部分扭曲及人物穿幫的視頻素材進(jìn)行擦除或恢復(fù)。

（三）音頻制作

360°VR影視作品的音頻部分絕大部分的制作與傳統(tǒng)影視作品相同。如在VR的外景拍攝階段，要使用電容指向性話筒來紀(jì)錄特定的聲音素材，如鳥鳴等；在錄取環(huán)境背景聲時(shí)要使用帶有海綿或塑料防風(fēng)罩的電容話筒；在錄取大動(dòng)態(tài)的聲音時(shí)，如錄制鐘聲時(shí)要使用動(dòng)圈話筒。由于360°VR影視作品的拍攝中有樂隊(duì)和樂手的現(xiàn)場(chǎng)表演，所以，還要置現(xiàn)場(chǎng)播放的揚(yáng)聲器躲在攝影機(jī)的畫框安全范圍外來播放前期已錄制好的音樂來配合演員的表演（該方式被稱為前期錄音同期現(xiàn)場(chǎng)播放）。

而在音頻的后期制作階段則與傳統(tǒng)的制作方法略有不同。由于傳統(tǒng)的影視錄音采用的是立體聲錄音技術(shù)，觀者對(duì)銀幕不會(huì)產(chǎn)生360°的頭部旋轉(zhuǎn)模式。所以，錄還音的聲道數(shù)量和揚(yáng)聲器的定位關(guān)系則相對(duì)較為簡(jiǎn)單，使用全景電位器即可進(jìn)行還音聲場(chǎng)的設(shè)置?？墒窃?60°VR影視作品觀片時(shí)，頭部運(yùn)動(dòng)的自主權(quán)交給了觀者本身。因此，傳統(tǒng)的左、中、右立體聲還音的聲場(chǎng)也會(huì)跟隨觀者頭部的運(yùn)動(dòng)而進(jìn)行一定的位移。所以，在最后聲音經(jīng)過全景電位器的設(shè)置后還需要對(duì)觀片移動(dòng)客戶端的音頻部分進(jìn)行軟件開發(fā)工具“SDK”（Software Development Kit）的項(xiàng)目開發(fā)，使得觀片移動(dòng)客戶端裝置中的陀螺儀和GPS全球定位器或動(dòng)作捕捉系統(tǒng)能夠?qū)崟r(shí)地跟蹤對(duì)應(yīng)觀者臉部的正向位置，從而將觀者的頭部運(yùn)動(dòng)自動(dòng)地轉(zhuǎn)化為第二次的全景電位器的合成效應(yīng)，正向面對(duì)觀者臉部的多聲道聲音信號(hào)自動(dòng)推高若干電平，以造成觀者收聽到的聲音信號(hào)類似于自然聽到的聲音，來滿足頭部阻擋與雙耳正向位置所造成的聽音差異體驗(yàn)。從而讓觀者在觀看360°VR影視作品《魅力山西·魅力五臺(tái)》時(shí)可以盡情地飽覽祖國(guó)的大好河山之美。

結(jié)語(yǔ)

在互聯(lián)網(wǎng)+時(shí)代，通過虛擬現(xiàn)實(shí)的360°VR影視作品的藝術(shù)創(chuàng)作手段來展現(xiàn)文化與自然內(nèi)涵，有利于大眾對(duì)大自然留給人類的世界遺產(chǎn)形成直觀的認(rèn)識(shí)與了解。

虛擬現(xiàn)實(shí)技術(shù)為當(dāng)下的互聯(lián)網(wǎng)傳播提供了很好的觀者體驗(yàn)?zāi)Ｊ?。虛擬現(xiàn)實(shí)創(chuàng)造的虛擬空間不僅為視聽傳媒形態(tài)提供了新的技術(shù)手段和新的藝術(shù)表現(xiàn)空間，而且，三維動(dòng)態(tài)化仿真的實(shí)時(shí)交互沉浸式體驗(yàn)還可以大大豐富影視藝術(shù)的理論語(yǔ)言和發(fā)展影視美學(xué)思維，能帶給觀者更加豐富多彩的藝術(shù)感受。因此，360°VR 影視作品的藝術(shù)創(chuàng)作大有所為。

伴隨著虛擬現(xiàn)實(shí)技術(shù)中的畫面移步易景，聲音藝術(shù)的新疆域也逐漸清晰地展現(xiàn)在了影視藝術(shù)和技術(shù)工作者的面前。

[1]北京電影學(xué)院動(dòng)畫學(xué)院.“遇見-中國(guó)”VR影像大展暨VR影像創(chuàng)作扶持計(jì)劃報(bào)名啟事[EB/OL].(2016-06-07)[2017-04-02]http:// animation.bfa.edu.cn/content/2016-06/07/content_93707.htm.

[2]鳳凰網(wǎng)華人佛教.數(shù)字五臺(tái)山：現(xiàn)存47座寺院有8處藏傳黃廟[EB/OL].(2014-09-19)[2017-04-02]http://fo.ifeng.com/a/20140918/ 40813058_0.shtml.

侯 明，男，北京人，北京郵電大學(xué)世紀(jì)學(xué)院講師，中國(guó)高校影視學(xué)會(huì)會(huì)員，中國(guó)電影家協(xié)會(huì)電影聲音藝術(shù)工作委員會(huì)常務(wù)理事、中國(guó)錄音師協(xié)會(huì)電影錄制制作專業(yè)委員會(huì)常務(wù)理事；主要從事新媒體聲音研究。

本文系北京電影學(xué)院“中國(guó)文藝評(píng)論基地”《中外電影理論評(píng)論研究》（項(xiàng)目編號(hào)：CLACA-2015-010）階段性研究成果。