姚國強

虛擬現(xiàn)實技術(shù)中的未來音頻制作技術(shù)研究新展望

姚國強

一、基于歷史發(fā)展的聽覺藝術(shù)與視音頻技術(shù)的演進歷程回顧

（一）聽覺藝術(shù)發(fā)展歷史回眸

聽覺是人類重要的生理機能之一。依靠人類左右的兩耳可以感知到外部世界聲源的信息，從而達到人類認識客觀世界環(huán)境及聽到各種聲源變化的主要目的。因為人類言語的產(chǎn)生實現(xiàn)了人與人利用聲音進行實時信息交流的可能，并使得人類從此與自然界的其他生物之間發(fā)生了重要的性質(zhì)變化。所以，聽覺藝術(shù)的形成之于人類則由來已久。音樂、繪畫和舞蹈的出現(xiàn)，則是人類文明社會和文化發(fā)展不斷演進的重要結(jié)果。

早在18世紀工業(yè)革命爆發(fā)之前，中國與西方的音樂藝術(shù)其實都已經(jīng)相當(dāng)?shù)姆睒s和發(fā)達。

1791年，英國人詹姆斯·瓦特剛剛改良完成的蒸汽機就被投入到紡織、采礦、冶金、造紙等工業(yè)部門。而那年正是中國清朝的乾隆56年，先后6次下江南巡視的乾隆皇帝迎來了其80壽辰。為了給酷愛中國戲曲的老皇帝祝壽，南方的“三慶”“四喜”“和春”“春臺”等四大“徽班”專程進京演出祝壽戲[1]，受到了皇族權(quán)貴及京城民眾的熱烈歡迎。此后，四大“徽班”就留在北京繼續(xù)進行民間演出，成為了京劇[2]發(fā)展史上重要的歷史事件。[3]

而自巴洛克時期之后，西方的古典主義音樂也迎來了輝煌的發(fā)展時期。奧地利的著名歐洲古典主義作曲家沃爾夫?qū)ぐ敹嘁了埂つ豙4]于1791年的年末去世，他一生創(chuàng)作了大量作品，包括器樂作品的協(xié)奏曲、交響樂和人聲作品的歌劇。他的音樂生涯前期為薩爾斯堡領(lǐng)主的樂師，后期去了維也納創(chuàng)作音樂謀生。此時，德國長笛演奏家特奧巴爾德·波姆改造完善了管弦樂中的木管樂器的發(fā)聲腔體及機械按鍵結(jié)構(gòu)和指法體系，使得木管樂器的音色和靈活性得到了大大的提高，成為了交響樂隊中的固定樂器。莫扎特創(chuàng)作的大量經(jīng)典音樂作品都是用這種改善后的木管樂器來演奏的，技術(shù)的進步促進了音樂形式的豐富與繁榮。由此可見，在18世紀末，想聽到某個作曲家、樂手或戲曲家表演的音樂作品并不是一件簡單的事情。因為即使是皇帝想要欣賞戲曲演出節(jié)目，也要興師動眾的南巡或者等待戲班跋涉千里上京才能實現(xiàn)。而其他的封建領(lǐng)主則需要自己掏錢供養(yǎng)樂師才能夜夜笙歌，只有在京城或者大城市的市民階層才能花錢看到著名樂師藝人的現(xiàn)場演出。

當(dāng)?shù)谝淮喂I(yè)革命用蒸汽機打碎了封建君主制度的枷鎖后，便創(chuàng)造出了大量新興的行業(yè)。而城鎮(zhèn)市民的高速增長則為聽覺藝術(shù)新形態(tài)的發(fā)展提供了新興市場和變革契機。

19世紀末開始的第二次工業(yè)革命帶領(lǐng)世界進入到了電氣化的時代。基礎(chǔ)科學(xué)的進步和經(jīng)濟的飛速發(fā)展，使得通信技術(shù)成為了民眾日常生活的必須。在意大利人安東尼奧·梅烏奇、英裔美國人亞歷山大·格雷厄姆·貝爾和美國人托馬斯·阿爾瓦·愛迪生對電聲傳送技術(shù)的研究基礎(chǔ)上，促使了電話在19世紀末的誕生。

1877年，愛迪生在對貝爾電話的改進工作中意識到可以通過帶針膜片記錄聲音，于是他在聲音的振動中刻蝕蠟紙從而保留下了聲音的軌跡。此后，他還與助手發(fā)明了利用圓筒上滾動的錫箔記錄聲音的圓筒留聲機（Phonograph）。

1887年，艾米爾·伯利納在圓筒留聲機技術(shù)基礎(chǔ)上研制出唱盤和一種叫Gramophone的圓盤留聲機，將聲音振動信號記錄在涂蠟圓盤上。[5]因為圓盤的攜帶比圓筒更方便，使得使用機械動力的78轉(zhuǎn)Gramophone留聲機受到了大眾的歡迎。從此，電話和留聲機的發(fā)明開啟了電聲學(xué)領(lǐng)域的技術(shù)大門。對于普通民眾來說，通信的現(xiàn)實意義就是不需要樂器和歌手現(xiàn)場演出也可以聽到音樂的時代終于到來了。留聲機推動了當(dāng)時音樂藝術(shù)在大眾之中的流行傳播和發(fā)展。因此，時代的改變使得“聽音樂”一詞由聽現(xiàn)場音樂家的演奏音樂而變?yōu)榱寺犅曇糨d體上的音頻信息。而“聽音樂會”則成為了“聽音樂”一詞原本的含義。雖然這種變化最終導(dǎo)致“聽音樂”缺失了撫弄絲竹的樂趣，但是，聽眾卻獲得了可以隨心所欲地滿足聽覺審美鑒賞需要的能力。作為聲音藝術(shù)的音樂是隨著時代的變化而發(fā)生概念的演進與內(nèi)涵的擴展，自此，聽覺藝術(shù)上升到了聲音藝術(shù)的領(lǐng)域。

（二）虛擬現(xiàn)實技術(shù)的基礎(chǔ)——視音頻技術(shù)的發(fā)展過程回顧

當(dāng)今的虛擬現(xiàn)實技術(shù)實際上是一種綜合利用計算機系統(tǒng)圖形技術(shù)和各種顯示及控制設(shè)備接口、在計算機上生成多源的信息融合交互式三維動態(tài)視聽虛擬及真實場景，結(jié)合空間感知的“即時定位與地圖構(gòu)建”技術(shù)（Simultaneous Localization and Mapping,簡稱SLAM）。這種技術(shù)可使設(shè)備實時地獲取到周圍的環(huán)境信息，以便能夠精確地將虛擬物體放到正確的位置上。同時，還可以利用觀影者的實體行為數(shù)據(jù)來提供觀影者沉浸于該仿真的虛擬環(huán)境中。虛擬現(xiàn)實技術(shù)實際上是一種具備新媒體特征的包含視聽觸覺的新技術(shù)。

技術(shù)的基礎(chǔ)必然是根植于視聽技術(shù)發(fā)展的歷程之中的。虛擬現(xiàn)實內(nèi)容的制作技術(shù)也必然是與視聽媒體內(nèi)容的制作技術(shù)的發(fā)展息息相關(guān)。縱觀留聲機的發(fā)明過程，虛擬現(xiàn)實中最為基礎(chǔ)的聲音保存與還放制作技術(shù)與當(dāng)年留聲機的留聲技術(shù)，其最大的不同實際上是在聲音保存的介質(zhì)上，而不是在發(fā)明原理上。

1879年，愛迪生和助手接著發(fā)明了著名的白熾燈泡。燈泡的發(fā)明有力地促進了電子科學(xué)技術(shù)的發(fā)展和電影技術(shù)的誕生。

1888年之后，愛迪生和助手利用白熾燈泡光線照射膠片上的圖像，發(fā)明了活動電影放映機Kinetoscope。活動電影放映機是通過機械裝置放映影像的器材，但是一次僅能供一個人播放觀看。

1894年，愛迪生在美國第一次舉行了活動電影放映機的公開放映活動。為了讓人們在看到畫面的同時又能聽到聲音，1895年，愛迪生研究了將圓筒留聲機Phonograph放入活動電影放映機的機器裝置——有聲活動電影機Kinetophone。這樣，視聽媒體就第一次被有機地結(jié)合在了一起。

1895年，法國人奧古斯特·盧米埃爾和路易斯·盧米埃爾發(fā)明了手提式電影放映機Film projection。同年12月28日[6]，盧米埃爾兄弟在巴黎卡布辛大街的咖啡館第一次用電影放映機和銀幕公開放映了自己拍攝的電影短片，公認的電影至此誕生。

1904年，英國物理學(xué)家約翰·安布羅斯·弗萊明根據(jù)1883年愛迪生在燈泡改進過程中發(fā)現(xiàn)并留下的懸而未決問題的“愛迪生效應(yīng)”發(fā)明了電子管。電子管是一種可以放大電信號的電子設(shè)備。利用電子管的放大功能，電信號可以推動揚聲器發(fā)出巨大的聲音。

1906年圣誕節(jié)前夜，加拿大人雷金納德·奧布里·費森登在紐約附近設(shè)立了一個廣播站并進行有史以來的第一次廣播。廣播的內(nèi)容則是由圓筒留聲機播放的英籍德國作曲家喬治·弗里德里?！ず嗟聽柕摹毒G樹成蔭》（意大利語：Ombra Mai Fu）、費森登自己小提琴演奏法國作曲家阿道夫·夏爾·亞當(dāng)?shù)摹妒ド埔埂罚∣ Holy Night）、費森登自己演唱法國作曲家查理·弗朗索瓦·古諾的《喜歡和安靜》（Adore and Be Still）等音樂作品。費森登最后還朗讀了一段《圣經(jīng)》中的《路加福音》（Gospel of Luke）。[7][8]而世界上第一座持有經(jīng)營執(zhí)照的電臺則是美國匹茲堡KDKA電臺。于1920年11月2日正式對外開始廣播。

1927年，以美國華納兄弟公司出品的《爵士歌手》為標志，到1929年華納公司的《紐約之光》[9]，有聲電影逐漸占據(jù)了電影市場主流。有聲電影中的光學(xué)錄音使用膠片感光的方式來實現(xiàn)。所以在現(xiàn)場拍攝時，聲音可以被記錄在膠片上。而放映時則通過光信號轉(zhuǎn)變?yōu)殡娦盘?，在電影院中還音出拍攝時所記錄下來的聲音。由于膠片上有齒孔的存在可以有效地保證膠片上的聲音和畫面能夠同步還放。

至此，1931年中國也誕生了最早的光學(xué)錄音電影《雨過天青》和《歌場春色》。[10]

不難發(fā)現(xiàn)，以膠片為記錄基礎(chǔ)的光學(xué)聲底與畫面印制在一起的優(yōu)點是成本低、壽命長、易保存。

1898年，丹麥人瓦蒂瑪·波爾森發(fā)明了錄音電話機Telegraphone。[11]其實這是一種磁性鋼絲錄音機。經(jīng)過第二次世界大戰(zhàn)的戰(zhàn)爭洗禮，20世紀50年代開始了磁性錄音設(shè)備的大量使用。比起此前的記錄介質(zhì)，磁性錄音具有便攜性能強、制作成本低、音質(zhì)好等特點。它還能夠在拍攝的現(xiàn)場就立刻還放。而這些優(yōu)點是光學(xué)錄音時代所無法比擬的。之后，光學(xué)錄音系統(tǒng)主要被用來印制電影膠片的拷貝。畢竟電影膠片拷貝可以更方便地在電影院里還放畫面和聲音。因此，盡管光學(xué)電影錄音拷貝的還音質(zhì)量惡評甚多，但是，首先電影拷貝在進行光學(xué)錄音處理及制片發(fā)行放映方面經(jīng)濟便宜；第二，膠片拷貝要比磁性聲帶更容易保存。即使到現(xiàn)在，通過實踐發(fā)現(xiàn)一般的觀眾大多數(shù)人無法區(qū)別磁性4聲道還音和杜比光學(xué)4聲道的還音差異。[12]

二、電影錄音技術(shù)與虛擬現(xiàn)實技術(shù)發(fā)展進程對比

2014年，美國社交網(wǎng)絡(luò)平臺——臉書公司（Facebook）宣布收購沉浸式虛擬現(xiàn)實技術(shù)公司——奧庫魯斯公司（Oculus），實現(xiàn)了時隔7年后虛擬現(xiàn)實技術(shù)的復(fù)蘇。

2015年，全球資本市場大規(guī)模投入資金開始搶占工業(yè)4.0與互聯(lián)網(wǎng)+時代的新型視聽傳媒市場，實現(xiàn)了虛擬現(xiàn)實技術(shù)第三次爆發(fā)。科技帶動了電影電視的轉(zhuǎn)型，由此派生出來360°全景視頻、增強現(xiàn)實、混合現(xiàn)實和影像現(xiàn)實等虛擬現(xiàn)實技術(shù)。因此，虛擬現(xiàn)實對于音頻制作的發(fā)展創(chuàng)新就成為了必然要求。目前，對于虛擬現(xiàn)實圖像及視頻技術(shù)的研究正方興未艾，而對虛擬現(xiàn)實技術(shù)中的音頻制作技術(shù)的研究尚乏善可陳。因此，盡快展開虛擬現(xiàn)實技術(shù)中的音頻制作技術(shù)研究，對于增進國家文化技術(shù)“軟實力”、深化推進國家經(jīng)濟“供給側(cè)改革”、開創(chuàng)“大眾創(chuàng)業(yè)、萬眾創(chuàng)新”社會則具有了迫在眉睫的社會意義及理論意義。

通過研究，虛擬現(xiàn)實技術(shù)最終呈現(xiàn)給觀者的是在虛擬環(huán)境中實施自主交互式的包含視音頻的內(nèi)容及觸覺感知的內(nèi)容。因此，這種內(nèi)容創(chuàng)作技術(shù)是建立在電影電視技術(shù)和計算機游戲技術(shù)之上的一種全新形態(tài)的多媒體技術(shù)。其中的視頻與音頻創(chuàng)作技術(shù)必然與電影電視和計算機游戲的創(chuàng)作過程有著傳承和發(fā)展的關(guān)系?？偨Y(jié)目前虛擬現(xiàn)實技術(shù)的專業(yè)特點，最為重要的核心特征就是具有計算機生成的可交互的、被稱為“虛擬環(huán)境”（Virtual Environment，簡稱：VE）的三維環(huán)境。

虛擬現(xiàn)實的技術(shù)特點是“實時”（Presence）、“交互”（Interaction）和“自主”（Autonomy）；而其重要的技術(shù)特征則是“3I”：“沉浸”（Immersion）、“交互”（Interaction）和“構(gòu)想”（Imagination）。虛擬現(xiàn)實技術(shù)中的視音頻內(nèi)容制作技術(shù)實際上是在傳統(tǒng)電影電視技術(shù)和計算機游戲制作技術(shù)的基礎(chǔ)之上有所創(chuàng)新和發(fā)展的一項新的技術(shù)。

（一）電影錄音技術(shù)的發(fā)展過程

廣播和電影的出現(xiàn)，使得聲音藝術(shù)及視聽藝術(shù)必須依賴于音頻制作這一技術(shù)制作環(huán)節(jié)。隨著科學(xué)技術(shù)的不斷發(fā)展創(chuàng)新，音頻制作工藝也發(fā)生了天翻地覆的變化。

1881年，法國人克雷芒·阿尼耶斯·阿德爾（Clément Agnès Ader）在巴黎展示了第一個雙聲道音頻系統(tǒng)（《科學(xué)美國人》Scientific American雜志對此曾進行過報道）。阿德爾使用一系列的電話拾音器連接從巴黎歌劇院到巴黎電子展的一套房間內(nèi)，通過房間里的電話接收機，聽眾左右耳可以分別聽到在現(xiàn)場左右設(shè)置的電話拾音器進行的實況轉(zhuǎn)播演出。

1900年，巴黎世界博覽會上獻映了第一部環(huán)幕電影風(fēng)光片。法國的格里麥·塞松發(fā)明的環(huán)幕電影畫面以360°環(huán)行包圍著觀眾。所以，環(huán)幕電影的聲音系統(tǒng)具有全方位的立體空間感。[13]

現(xiàn)代立體聲技術(shù)是20世紀30年代由英國工程師艾倫·布魯姆林在EMI所發(fā)明的。他的專利技術(shù)包含了立體聲錄音、立體聲電影、還有環(huán)繞聲。①Early stereo recordings restored.BBC.2008-08-01.Archived from the original on 7 August 2008.Retrieved 2008-08-07.http:// news.bbc.co.uk/2/hi/technology/7537782.stm.艾倫·布魯姆林早在1933年就開始了雙耳拾音的技術(shù)實驗。而對于電影中使用的立體聲技術(shù)直到1935年才完成。他的實驗短片《列車在海因斯站》（Trains At Hayes Station）完全實現(xiàn)了說話聲音跟隨畫面里演員的行走方向進行運動的技術(shù)設(shè)計。

1938年，英國科學(xué)家亞歷克·李維斯發(fā)表了作為電話科技的描述脈沖編碼調(diào)制（PCM）的第一個專利技術(shù)。而后，數(shù)字音頻技術(shù)經(jīng)過了漫長的發(fā)展。

1952年9月30日，第一部西尼拉瑪電影《這是西尼拉瑪》公映①西尼拉瑪電影官網(wǎng)http://cinerama.topcities.com/.。西尼拉瑪電影使用的是35毫米全涂磁錄音和膠片，在放映時與三條畫面連鎖同步運動放映。這種立體聲影片有6個聲道。其中的5個聲道輸向銀幕后面的5組揚聲器，而另外1個聲道則作為觀眾廳內(nèi)的環(huán)境聲揚聲器。

1955年，Todd-AO立體聲系統(tǒng)推出。它采用了65毫米的電影底片拍攝，然后擴印成70毫米涂磁拷貝進行播映。

1974年，臨場音響的森薩朗得系統(tǒng)立體聲Sensurround作品《大地震》公映。②森薩朗得電影官網(wǎng)http://www.in70mm.com/newsletter/2004/69/sensurround/about.htm.

1972年，日本天龍公司推出了第一個8個通道的數(shù)字錄音機DN-023R。這是一個4磁頭開盤式的廣播磁帶錄像機。4月24日第一次用于錄制了斯美塔那的四重奏表演和莫扎特的弦樂四重奏K.458和K.421。

1979年，日本的索尼公司和荷蘭的飛利浦公司合資公司開發(fā)了第一個數(shù)字光盤CD，并于1982年開始上市發(fā)售。

1987年，索尼開發(fā)了數(shù)字音頻磁帶DAT（Digital Audio Tape）。

1982年，阿根廷人烏戈·蘇查雷利（西班牙語：Hugo Zuccarelli）發(fā)明的人頭錄音（Dummy head recording）——Holophonics技術(shù)③Holophonics“全息聲音”http://www.acousticintegrity.com/acousticintegrity/Holophonics.html.令聽覺系統(tǒng)充當(dāng)干涉儀，從而能讓聲音得到立體空間音響效果。Holophonics技術(shù)的聲音特征證明了用普通的雙聲道立體聲揚聲器也能有效的、清晰地聽出來立體聲。為了優(yōu)化這種效果，揚聲器也被特別設(shè)計以重現(xiàn)波場合成（Wave field synthesis，WFS）錄音。

近年來，索尼以此技術(shù)還開發(fā)了虛擬立體聲聽音技術(shù)（Virtualphones Technology），利用了Holophonics技術(shù)的耳機來還放聲音，可以將5.1或者7.1聲道的立體聲轉(zhuǎn)換為雙聲道的立體聲來還放，并保留多聲道立體聲的聲場感受。

（二）虛擬現(xiàn)實VR的發(fā)展簡史和分類

1968年，伊凡·蘇澤蘭（Ivan Sutherland）與學(xué)生鮑勃·斯普魯（Bob Sproull）創(chuàng)造了第一個可以用于虛擬現(xiàn)實及增強現(xiàn)實的頭戴式顯示器系統(tǒng)，確立了VR的技術(shù)原理。這個第一次開啟了頭戴式虛擬現(xiàn)實系統(tǒng)的實驗應(yīng)用，由于設(shè)備非常沉重需要掛在天花板上，所以，該系統(tǒng)又被戲稱為“達摩克利斯之劍”。

伴隨著20世紀70年代末的信息技術(shù)與計算機的興起，虛擬現(xiàn)實技術(shù)通過信息技術(shù)的支持迎來了第二次高速發(fā)展的時期。1982年，游戲行業(yè)久負盛名的美國Atari公司成立了虛擬現(xiàn)實研究實驗室。賈瑞恩·拉尼爾（Jaron Lanier）經(jīng)過對虛擬現(xiàn)實相關(guān)技術(shù)進行持續(xù)研究和開發(fā)，于1984年創(chuàng)辦的VPL Research公司在研究可視化編程語言和數(shù)據(jù)手套等虛擬現(xiàn)實設(shè)備方面取得了較大的進展。雖然拉尼爾提出了“虛擬現(xiàn)實技術(shù)”，并使得“VR”成為當(dāng)下已廣為人知的技術(shù)概念。但當(dāng)時的VR試圖開發(fā)商業(yè)化時長卻未能成功。

2012年，奧庫魯斯公司生產(chǎn)的虛擬現(xiàn)實（Virtual Reality。簡稱：VR）產(chǎn)品——“Oculus Rift”眼鏡，通過國外知名眾籌網(wǎng)站Kick Starter募集到了160萬美元的風(fēng)投資金。

2014年，奧庫魯斯公司被著名的美國社交網(wǎng)絡(luò)平臺——臉書公司（Facebook）以20億美元的價格要約收購。“Oculus Rift”眼鏡吸引了大批開發(fā)者投身于VR的項目開發(fā)中，正式打響了這場VR的世紀之戰(zhàn)。此后對Magic Leap的多輪風(fēng)投引爆了2015-2016年VR產(chǎn)業(yè)的全面爆發(fā)。在所謂的VR“元年”之際，全球資本市場開始大規(guī)模的投入資金開發(fā)虛擬現(xiàn)實技術(shù)，搶占工業(yè)4.0與互聯(lián)網(wǎng)+時代的新視聽傳媒市場份額，預(yù)示著時隔7年的VR技術(shù)開始正式復(fù)蘇，重返商業(yè)化的市場競爭，因而從發(fā)展的角度實現(xiàn)了VR技術(shù)的第三次爆發(fā)。

目前，虛擬現(xiàn)實大致可以細化為以下幾類：

表1 虛擬現(xiàn)實分類及特點、代表技術(shù)與裝具

表2 虛擬現(xiàn)實與電影立體聲制作的歷史對照

三、電影數(shù)字立體聲與虛擬現(xiàn)實音頻的制作模式

在簡述了聲音藝術(shù)創(chuàng)作中音頻技術(shù)的發(fā)展脈絡(luò)后，對比VR與電影音頻制作的開發(fā)歷程，不難看出，兩者之間十分有意思的時間對應(yīng)關(guān)系。

（一）電影數(shù)字立體聲與虛擬現(xiàn)實音頻的發(fā)展制作對比

自電影聲音數(shù)字化以來，世界上主要的電影立體聲錄還音制式大致由杜比Dolby、數(shù)字影院系統(tǒng)DTS和索尼數(shù)字動態(tài)立體聲SDDS此三家系統(tǒng)構(gòu)成，基本壟斷了全世界的商業(yè)電影市場。由此，高清數(shù)字電視也選用了杜比數(shù)字立體聲系統(tǒng)作為廣播伴音進行播放。近年來，杜比全景聲、巴可數(shù)字聲以及中國學(xué)者研究的全維度環(huán)繞立體聲（ADSS）[15]等新的數(shù)字空間聲系統(tǒng)也層出不窮，使得音頻技術(shù)與聲音藝術(shù)創(chuàng)作者對于空間聲再現(xiàn)真實世界中的環(huán)境聲場的學(xué)術(shù)研究也保持著不斷發(fā)展的態(tài)勢。

現(xiàn)階段開發(fā)制作VR、AR、MR及CR聲音的主要工具引擎有Unreal、Unity、Cryengine、TORQUE、COCOS、UNIGINE等。在節(jié)目的編程開發(fā)及美術(shù)、聲音設(shè)計上，新的工具引擎開發(fā)與畫面、聲音技術(shù)制作模塊的優(yōu)化和完善已然成為一個必不可缺的主要技術(shù)環(huán)節(jié)。開發(fā)新的硬件器材和相關(guān)的App、研究工具引擎的應(yīng)用技術(shù)也正是VR音頻制作進程中的主要任務(wù)。所以，盡管目前正處在VR的開發(fā)與發(fā)展期，但是群雄割據(jù)但還沒有國際統(tǒng)一的技術(shù)標準，所以基本上還是各說各的為多。由此，要進一步地開發(fā)出通用的VR硬件裝備加入到混合現(xiàn)實（MR）及影像現(xiàn)實（CR）的內(nèi)容制作及播放環(huán)節(jié)中。同時，還要進一步地改造現(xiàn)有的傳統(tǒng)觀影場所，以適合發(fā)展中的各種形態(tài)和制式的虛擬現(xiàn)實影像的還放體系。

前述可見，目前虛擬現(xiàn)實技術(shù)以及內(nèi)容的呈現(xiàn)基本是利用個人的裝具來實現(xiàn)的。而電影、游戲與VR呈現(xiàn)的聲音則采用了不同的還放途徑。

通過體驗VR、AR、MR裝具，可以發(fā)現(xiàn)，虛擬現(xiàn)實、增強現(xiàn)實以及混合現(xiàn)實的音頻隨著內(nèi)容分類的不同而呈現(xiàn)出制作模式的差異。音頻的播放，大致是在游戲應(yīng)用和類似地圖導(dǎo)航的應(yīng)用中，通過計算機游戲引擎和地圖的變化來帶動不同的聲音素材在交互活動中實現(xiàn)播放的。由此，聲效音頻不一定具備影視同期聲的精確聲場定位，虛擬物體的聲效也不一定要匹配真實物體發(fā)出的聲音。大部分聲音只有簡單的語音、聲效和背景音樂，無刻意研發(fā)和創(chuàng)作的空間聲還音體系。而在影像現(xiàn)實和360°VR影視中，聲音的呈現(xiàn)方法則與現(xiàn)代數(shù)字立體聲電影一樣需要高度的逼真。這兩類不同形態(tài)的聲音導(dǎo)致了音頻制作體系的不同。所以說，這導(dǎo)致了在目前現(xiàn)有的電影立體聲制作體系和游戲聲音制作體系之外有了新的發(fā)展要求和制作變化。

有聲電影的聲音，如語言、音響及音樂在播放時必須與畫面一一對應(yīng)（聲音蒙太奇中的對位手法除外）。而電影聲音及畫面的運動則被導(dǎo)演的藝術(shù)設(shè)計所操控，所以觀者在觀影過程中是無法操控的也不能在技術(shù)上與故事內(nèi)容進行參與和互動的。因此，電影中的聲音與畫面必然是與經(jīng)過剪輯設(shè)計的時間線所對應(yīng)，只能通過導(dǎo)演設(shè)計的視角來觀影和聽聲。例如，電影《兵臨城下》①電影《兵臨城下》Enemy at the Gates.2001.http://www.imdb.com/title/tt0215750/.中，參加斯大林格勒戰(zhàn)役的狙擊手瓦西里在噴水池的尸體堆中隱蔽著，利用戰(zhàn)場炮聲響起的時刻開槍射殺敵人。影片中此段落是完整的一個外景場景，鏡頭經(jīng)導(dǎo)演設(shè)計后成為了主觀或者客觀的視角，并不會因為不同的觀者在觀看時產(chǎn)生時間上的差異。因此影片在電影院放映時，電影中所有的語言及音響都會與影片的空間環(huán)境相一致，與實際發(fā)聲的聲源及發(fā)聲時間所對應(yīng)。

而交互式電子游戲的聲音呈現(xiàn)方式是游戲參與者在觸發(fā)了地圖中的某個物體或者區(qū)域后才發(fā)聲。因此，其語言及音響必然是在關(guān)卡中伴隨游戲參與者的動作進展而互動，而與背景音樂BMG的發(fā)聲而互不連貫。這樣其聲音與畫面就沒有了必然的時間線對應(yīng)，畫面只能看到由游戲參與者和游戲設(shè)計者選定的視角。例如，在游戲《使命召喚》②游戲《使命召喚2》Call of Duty2.2005.http://www.imdb.com/title/tt0469287/.中，在斯大林格勒的關(guān)卡中，游戲參與者扮演狙擊手瓦西里在噴水池尸體堆中隱蔽，游戲提示游戲參與者必須利用戰(zhàn)場炮聲響起的時刻開槍射殺敵人。此關(guān)卡段落是完整的一個外景場景，游戲視角完全被設(shè)計成了游戲參與者的主觀視角。由于游戲參與者的心理承受能力和反應(yīng)靈敏度各有差異，有可能某些游戲參與者可以立即完成射殺任務(wù)，而有些游戲參與者則可能需要等很久才能完成射殺任務(wù)。這種互動能力的差異就產(chǎn)生了關(guān)卡時間長度的差異。因此，語言及音響將伴隨游戲參與者的操作而由游戲引擎帶動同步發(fā)聲，而背景音樂BGM則會不斷的循環(huán)播放去等待游戲參與者完成任務(wù)。因此，這個音樂和語言、音響就不會像電影音樂那樣同步一致。這就使得這兩種聲音在與畫面相向而行時互不一致。電影中，聲音與畫面同步一致，但在游戲中則不一定能做到同步一致。

特別是在360°VR影視中，由于整個環(huán)境空間都已被事先拍攝下來，所以，當(dāng)觀者頭戴眼鏡隨意調(diào)整視角在360°空間內(nèi)自由觀看時，聲音的定位也是不一致的。電影《兵臨城下》中瓦西里在噴水池中狙擊敵人的段落在360°VR影視中則會向觀者開放360°環(huán)境空間，由觀者自由選擇參與觀看時的視角，可以身臨其境的全方位體驗和感受電影中戰(zhàn)場的冷酷和血腥。由于在多次觀賞過程中可以隨意的處于不同的環(huán)境位置，從而可以更加深入的感受到藝術(shù)家藝術(shù)創(chuàng)作與造型設(shè)計的美學(xué)意義。根據(jù)360°VR影視全視角無死角的圖像特性，360°VR影視聲音制作工藝及流程必須要融入對視頻和觀者運動捕捉的處理構(gòu)思與設(shè)計。因此，360°VR影視包含并且兼容傳統(tǒng)電影的聲音制作工藝及流程，也是最接近電影制作工藝的影像展示方式。

（二）虛擬現(xiàn)實中音頻制作模式的新發(fā)展

1. 運動捕捉與三維空間跟蹤技術(shù)

為了開發(fā)制作虛擬現(xiàn)實視音頻產(chǎn)品，傳統(tǒng)影視聲音制作體系和模式將要融入新的技術(shù)和知識內(nèi)容。首先就是聲音制作者必須掌握動作與運動捕捉技術(shù)。其中包含了對觀者的運動捕捉和對被拍攝物體的運動捕捉及三維空間跟蹤兩個部分。在虛擬現(xiàn)實內(nèi)容產(chǎn)品體驗過程中，觀者完全沉浸在一個360°自由的互動虛擬空間中，在這個虛擬空間中觀者的身體會發(fā)生各種不同方位的運動。因此，通過光電攝影機及傳感器來采集和捕捉人體運動的數(shù)據(jù)來融合交互式三維動態(tài)視聽虛擬及真實場景，以及結(jié)合空間感知的“即時定位與地圖構(gòu)建”技術(shù)來對聲音的產(chǎn)生、聲像的變化與角色語言的交互互動就變得具有非常重要的意義了。

其次是對被拍攝物體的運動捕捉。這種運動捕捉技術(shù)早已成為電影視頻特效制作中的一個重要環(huán)節(jié)。通過掌握被拍攝物體的運動捕捉數(shù)據(jù)，在聲音動作效果的處理上就具備了精準的時間性與空間性客觀因果對應(yīng)關(guān)系。例如，目前在電影特效制作中的三維空間跟蹤技術(shù)可以在視頻工藝中重建三維虛擬環(huán)境，通過運動捕捉和三維空間跟蹤技術(shù)可以替換掉畫面不需要的內(nèi)容。這些數(shù)據(jù)還可以進一步結(jié)合虛擬現(xiàn)實開發(fā)工具和引擎，為自動交互和添加各種不同的聲音及創(chuàng)建實時的、隨觀者運動變化的空間聲場建立起數(shù)據(jù)基礎(chǔ)。所以說，聲音制作者如何利用和處理這些運動捕捉數(shù)據(jù)對于虛擬現(xiàn)實中的音頻制作具有舉足輕重的關(guān)系。

2. 視音頻制作統(tǒng)一設(shè)計的合成技術(shù)

在360°VR影視作品的拍攝錄制中，由于打破了傳統(tǒng)電影的畫框限制，觀者可以跳出導(dǎo)演與剪輯預(yù)設(shè)的故事窗口，自由自在地融入到場景之中。傳統(tǒng)電影的聲音拾音方式必然要受到巨大的技術(shù)挑戰(zhàn)，話筒和話筒員將面臨著無處可藏的困窘境地。為了避免話筒和話筒員進入畫面穿幫，傳統(tǒng)電影錄音制作中會采取各種方法來隱藏話筒或者使用微型話筒。這種方法在一定程度上雖然避免了穿幫，但卻可能影響到錄音的技術(shù)質(zhì)量。

聲音藝術(shù)理論和實踐工作者通過多年的創(chuàng)作經(jīng)驗積累和總結(jié)出了“同期錄音三原則”[16]和“同期錄音的五條基本原則”。

“同期錄音三原則”指出：同期錄音時，語言聲音要優(yōu)先于音響聲音錄制；畫內(nèi)聲音要優(yōu)先于畫外聲音錄制；錄音助理(話筒員)工作時要面向演員和攝影機。

“同期錄音的五條基本原則”[17]則指出：聲畫景別相一致的原則；畫內(nèi)突出主體的原則；畫內(nèi)聲（臺詞）與前景聲（臺詞）為主的原則；話筒盡可能逼近發(fā)聲體的原則；收錄主臺詞盡可能避免噪聲的原則。

當(dāng)進行完全開放的360°場景的同期聲音錄制時，如果在人物比較多的場景中可以將聲音拾取工作人員設(shè)計為串場的龍?zhí)兹宋锝巧M入畫中，以此使話筒員成為合理的存在。但是場景在草原或沙漠、大海之中錄制對話同期聲，或者在交響樂隊中錄制演奏，如果繼續(xù)隱藏或者使用微型話筒，在這種情況下錄音工作會遇到相當(dāng)大的困難，難以實現(xiàn)上述的原則或者導(dǎo)致錄制的聲音質(zhì)量損失過重。因此，聲音藝術(shù)工作者就需要掌握基本的圖像擦除技術(shù)，使用擦除技術(shù)可以有效的打破隱藏話筒的局限。例如，在一個360°VR影視靜止的真實外景草原對話鏡頭中，話筒和話筒員可以隨意的逼近被拍攝對象，在后期制作時再在圖像中擦除掉話筒和話筒員的影像，從而保證了畫面內(nèi)容的單一性。如果所拍攝的是運動鏡頭，就需要更好的掌握高水平的擦除技術(shù)。而當(dāng)聲音工作者掌握了這種擦除技術(shù)之后，同理也可以擦除掉周圍影響畫面的照明設(shè)備或是其他出現(xiàn)中畫面中的人員或景物。所以此技術(shù)必然會對聲音創(chuàng)作以及其他部門產(chǎn)生積極、有益的促進作用。

3. ADR技術(shù)

ADR技術(shù)也就是自動對白替換技術(shù)（Automatic Dialog Replacement）。ADR技術(shù)很早就被運用在了電影聲音的制作之中了?？梢韵胂?，ADR技術(shù)在虛擬現(xiàn)實作品的聲音制作中也可以大量運用。首先就是在非真實的內(nèi)外景拍攝及同期錄音時，由于需要進行藍綠幕背景的摳像特技攝影，受現(xiàn)場混亂或者大量動作捕捉器材設(shè)備及信號的影響，同期錄音可能非常棘手。此時，ADR技術(shù)就可以有效地展開對白替換，結(jié)合圖像擦除和合成技術(shù)完成同期聲場環(huán)境中對白效果的模擬。同理，在真實的內(nèi)外景拍攝及同期錄音時，前述的圖像擦除技術(shù)和運動擦除復(fù)原技術(shù)以及ADR技術(shù)結(jié)合，也可以達到保證對白質(zhì)量的技術(shù)目的。

4. 引擎音頻開發(fā)和應(yīng)用技術(shù)

由于虛擬現(xiàn)實的特點是“實時”“交互”“自主”“沉浸”和“構(gòu)想”。虛擬現(xiàn)實影像作品可以使觀者具備自主自由交互運動的觀賞能力。因此，傳統(tǒng)電影中由導(dǎo)演與剪輯設(shè)置的時間進度也就被顛覆了，聲音與畫面沒有了剪輯設(shè)置好的對應(yīng)時間線。這種虛擬現(xiàn)實作品的聲音制作就具備了傳統(tǒng)電子游戲的音頻制作特征。

另外，傳統(tǒng)電影聲音制作工藝中所有的聲音素材添加與調(diào)整，立體聲的分配完全是由聲音設(shè)計師的主觀藝術(shù)設(shè)計和傳統(tǒng)的手工制作模式來完成的。而音頻參數(shù)的調(diào)整大部分是憑著錄音師的創(chuàng)作經(jīng)驗和主觀聽覺感受來進行調(diào)整的。特別是擬音環(huán)節(jié)則完全是手工創(chuàng)作的。大量的數(shù)字設(shè)備，如數(shù)字音頻工作站（DAW）則僅僅是參與了手工處理流程的效率提高，并沒有帶來智能化的改變。因此，這種手工的模擬制作方式模式是無法適應(yīng)在虛擬現(xiàn)實中觀者主宰時間線的進程和互動隨機的位置以及自由在空間變化的情形。所以，此時聲音藝術(shù)創(chuàng)作者就需要運用虛擬現(xiàn)實的引擎和開發(fā)工具來進行虛擬音頻的制作和開發(fā)相關(guān)的APP。這樣對聲音資料素材的使用及調(diào)度完全可以自動進行。因此，掌握聲音引擎的開發(fā)技術(shù)可以進一步的促進VR聲音的國際化技術(shù)開發(fā)標準。例如，可以利用類似C語言進行音頻的虛擬周邊設(shè)備的開發(fā)處理和虛擬全景電位器的聲音素材自動分配技術(shù)，或者開發(fā)出可以實時調(diào)用聲音素材庫的模塊來結(jié)合畫面運動進行動作捕捉和三維空間定位的數(shù)據(jù)，從而實現(xiàn)交互還原虛擬空間環(huán)境中的聲音素材與立體聲場的定位變化。另外，虛擬現(xiàn)實對于音頻制作技術(shù)的另一個領(lǐng)域則是觸覺震動，聲音本質(zhì)上是一種機械振動，模仿虛擬現(xiàn)實中觸覺感知的震動也可以經(jīng)由音頻引擎的開發(fā)帶動驅(qū)動相關(guān)放大器和觸覺電子器械的實時響應(yīng)。

5. 虛擬現(xiàn)實立體聲聲場在影院的還放技術(shù)

在虛擬現(xiàn)實的技術(shù)開發(fā)與內(nèi)容制作領(lǐng)域內(nèi)，由于電影立體聲技術(shù)的發(fā)展歷史成熟而久遠，已有了大量的成型技術(shù)與內(nèi)容產(chǎn)品。同時，聲音的數(shù)據(jù)量相對于圖像的數(shù)據(jù)量要小得多，在現(xiàn)有的計算機技術(shù)條件下，已具備了可以快速實時上傳下載的能力，而聲音創(chuàng)作的周期與人員配置也較為靈活。所以，VR的聲音制作已具備了天然的優(yōu)勢。但是，我們也不得不意識到虛擬現(xiàn)實的音頻制作之路上還存在很多的挑戰(zhàn)。例如，空間聲場的還放技術(shù)還不成熟。由于虛擬現(xiàn)實的觀看和聽音系統(tǒng)基本上是靠個人化的頭戴裝具模式來實現(xiàn)的。盡管頭戴裝具也具備了運動捕捉定位功能。但由于觀者會隨著內(nèi)容進行交互運動，所以聲音的傳輸則應(yīng)該采用無線技術(shù)以避免產(chǎn)生線纜纏繞捆綁觀者的危險。在此基礎(chǔ)之上，我們可以開發(fā)出虛擬聽音裝具的專利，開發(fā)出聽音衍生市場商業(yè)應(yīng)用版權(quán)的技術(shù)。

盡管耳廓效應(yīng)的存在導(dǎo)致耳罩式耳機比耳塞式耳機更具備聽音方面的優(yōu)勢，但是，耳機先天性的缺點在于還放低音的能力不如揚聲器。因此，在有條件的情況下應(yīng)該在耳機中設(shè)置還放低音補償?shù)膿P聲器。由此我們可以引申到對現(xiàn)有電影院的改造。為了適應(yīng)立體電影，絕大多數(shù)電影院都引入了立體放映系統(tǒng)和觀者用的專用眼鏡。所以，在虛擬現(xiàn)實作品的影院播放模式中也可以參考立體電影的分發(fā)專用眼鏡的制度。將影院改造為使用無線傳輸聲音信號，增加對觀者的運動捕捉定位設(shè)備。通過分發(fā)無線接收音頻的VR頭戴式裝具給觀者，同時打開影院的低音揚聲器，可以在虛擬現(xiàn)實發(fā)展的時代盤活當(dāng)下的立體影院資源。進一步開發(fā)通用硬件加入到MR混合現(xiàn)實及CR影像現(xiàn)實的內(nèi)容制作及播放環(huán)節(jié)中，進一步的改造現(xiàn)有的影院，才可以適合多種形態(tài)和制式的虛擬現(xiàn)實還放體系。

綜上所述，虛擬現(xiàn)實中音頻制作模式將出現(xiàn)新的技術(shù)發(fā)展，電影也將面臨類似前述音樂藝術(shù)表現(xiàn)形式概念發(fā)展變化的情形。如同音樂與戲劇本質(zhì)上是不同的藝術(shù)，但是可以發(fā)現(xiàn)存在二者形成交集的歌劇及音樂劇藝術(shù)形態(tài)，同樣虛擬現(xiàn)實本質(zhì)上與電影也是不一樣的，但是兩者在視聽制作技術(shù)上能夠形成大規(guī)模的交集。因此，新的機遇可以帶動虛擬現(xiàn)實與電影自表現(xiàn)內(nèi)容形式的差異開始進而逐漸形成各自新的制作技術(shù)體系。我們相信，聲音藝術(shù)理論與聲音制作教育也將隨著虛擬現(xiàn)實技術(shù)的發(fā)展而進入到了一個新的發(fā)展時代。

[1]中國藝術(shù)研究院音樂研究所.中國音樂詞典[M].北京：人民音樂出版社，1985：199.

[2][4]王沛綸.音樂詞典[M].北京：文藝書屋,1977：386,78.

[3]封杰.勾勒京劇形成之路 展現(xiàn)數(shù)位卓越功臣——簡評《同光十三絕合傳》[J].中國京劇，2014(10)：84-86.

[5]姚國強.電影電視聲音創(chuàng)作與錄音制作教程[M].北京：中國電影出版社，2011：3.

[6][12](日)日本映畫テレビ技術(shù)協(xié)會.映像製作のためのサウンド·レコーディング[M].日本：寫真工業(yè)出版社，2003：6,156.

[7]Helen May Fessenden.Fessenden:Builder of Tomorrows[M].US:Forgotten Books，2015：153-154.

[8]Engineering and Technology History Wiki.Milestones:First Wireless Radio Broadcast by Reginald A.Fessenden, 1906[M].2015.

[9]馬守清.現(xiàn)代影視技術(shù)辭典[M].北京：中國電影出版社，1998：11.

[10]許南明.電影藝術(shù)辭典[M].北京：中國電影出版社，1986：518.

[11]姚國強.影視錄音聲音創(chuàng)作與技術(shù)制作[M].北京：北京廣播學(xué)院出版社，2002：2.

[13]姚國強.環(huán)幕電影《龍城風(fēng)光》數(shù)字多聲道立體聲錄音新工藝影視技術(shù)[J].現(xiàn)代電影技術(shù)，1999(9)：24-32.

[14]歐躍發(fā).基于虛擬現(xiàn)實的移動學(xué)習(xí)模式探析[J].中國科教創(chuàng)新導(dǎo)刊，2010(22)：71.

[15]姚睿，姚國強.數(shù)字電影聲音——3D時代的全維度環(huán)繞立體聲（ADSS）的概念、創(chuàng)意與發(fā)展對策[J].北京電影學(xué)院學(xué)報，2011(5)：54-59.

[16]姚國強，王旭鋒.影視同期錄音的基本法則（上）——解析“同期錄音三原則”[J].現(xiàn)代電影技術(shù)，2016(1)：18-24.

[17]林臨.電視劇同期錄音淺談[J].現(xiàn)代電視技術(shù)，2007(2)：118-123.

姚國強，男，山東人，北京電影學(xué)院教授、博士生導(dǎo)師、國家一級錄音師；上海大學(xué)上海電影學(xué)院兼職博士生導(dǎo)師、兼職教授；中國高校影視學(xué)會副會長，中國電影家協(xié)會電影聲音藝術(shù)工作委員會會長、中國錄音師協(xié)會電影錄制制作專業(yè)委員會主任委員，主要從事影視聲音方向研究。

本文系北京電影學(xué)院“中國文藝評論基地”《中外電影理論評論研究》（項目編號：CLACA-2015-010）階段性研究成果。