□潘尚仕 上海工藝美術(shù)職業(yè)學(xué)院

關(guān)鍵字：音頻；虛擬現(xiàn)實(shí)；VR

近年來，虛擬現(xiàn)實(shí)技術(shù)快速發(fā)展，大量VR視頻、游戲以及交互應(yīng)用涌現(xiàn)在用戶面前。這些作品大多在視覺顯示效果上達(dá)到“三維場景再現(xiàn)、身臨其境”的感覺，給用戶帶來了強(qiáng)烈的沉浸感體驗(yàn)。雖然高清顯示技術(shù)、強(qiáng)大的顯卡運(yùn)算能力配合日趨成熟的視覺效果顯示為用戶帶來了真切的沉浸感體驗(yàn)，但是無論在全景聲音音頻錄制設(shè)備的研發(fā)上，還是在相應(yīng)技術(shù)和設(shè)計(jì)研究上，在虛擬現(xiàn)實(shí)作品中的音頻設(shè)計(jì)往往沒有得到相應(yīng)的重視。這大大影響了整個(gè)作品的逼真度和沉浸感?！靶菓?zhàn)之父”喬治·盧卡斯在2011年MPSE“金卷軸”頒獎(jiǎng)禮上曾說過：“電影的一半體驗(yàn)由音效組成?！币越?jīng)典恐怖片《閃靈》為例，如沒有電影中搭配的適時(shí)音效，那么這部電影中的恐怖和緊張氛圍就會(huì)大大減弱。相比于音頻設(shè)計(jì)，目前虛擬現(xiàn)實(shí)更注重沉浸式視覺內(nèi)容的設(shè)計(jì)和開發(fā)，但如果忽略了音頻在虛擬世界中的重要作用，用戶的臨場體驗(yàn)和交互體驗(yàn)將大打折扣，甚至?xí)杏X到突兀和不適感[1]。

一、虛擬現(xiàn)實(shí)中音頻的特征及應(yīng)用

研究和體驗(yàn)?zāi)切┰谝曈X內(nèi)容和音頻設(shè)計(jì)上均非常出色的虛擬現(xiàn)實(shí)作品后，筆者發(fā)現(xiàn)音頻不僅是視覺畫面的附屬品，除了配合場景和動(dòng)畫以外，更是建立和加強(qiáng)用戶互動(dòng)指引、傳達(dá)作品的深度和情感的重要元素。

（一）增強(qiáng)虛擬現(xiàn)實(shí)空間的真實(shí)感和沉浸感

多感知性是虛擬現(xiàn)實(shí)中非常重要的概念，它指除了人的視覺感知外，還包括聽覺、觸覺、嗅覺、味覺以及運(yùn)動(dòng)的感知等，是人類感知這個(gè)世界的全部形式。視覺是人類最重要的感知來源，也是最復(fù)雜的感知方式，外在世界75～80%的信息都是人類通過視覺感知的，其他的聽覺、嗅覺、觸覺等感知方式幫助人類獲取了外在世界20～25%的信息，從而使人類感知到真實(shí)豐富的外在世界。音效設(shè)計(jì)師兼聽力學(xué)醫(yī)生Laura Sinnott曾說，聽覺是人類在子宮中第一個(gè)產(chǎn)生的感官，它對(duì)于人類的存在起到根本作用。聽覺不僅僅是交流的媒介，也是人類情緒健康、認(rèn)知，甚至生存的關(guān)鍵。當(dāng)用戶置身于一個(gè)虛擬現(xiàn)實(shí)營造的3D空間中，就算閉上眼睛，也能通過環(huán)境聲音來大概判斷自己身處的環(huán)境。在虛擬現(xiàn)實(shí)營造的3D空間中，如何再現(xiàn)現(xiàn)實(shí)世界對(duì)用戶的多感知性是創(chuàng)造沉浸感、真實(shí)感的關(guān)鍵所在，在目前技術(shù)條件下，除了視覺內(nèi)容外，聽覺是最重要的可依賴因素。

環(huán)境聲音，即聲場是三維存在的，如在劇院聆聽一場古典交響音樂時(shí)，在不同的位置上的聽覺感受是不同的，因?yàn)橐魳窌?huì)中各種樂器演奏所發(fā)出來的聲音在空間介質(zhì)中的傳遞受到距離、角度以及墻壁的反射等因素影響，到達(dá)觀眾耳中時(shí)會(huì)產(chǎn)生微妙的差異感。傳統(tǒng)的5.1音箱，乃至7.1音箱，都是通過位置的擺放和響度的控制來模擬聲場空間，從而達(dá)到立體環(huán)境聲場的目的。虛擬現(xiàn)實(shí)中的音頻特點(diǎn)在于聲音可以做到即時(shí)渲染，在空間定位上也能做實(shí)時(shí)運(yùn)算，并把聲源置于正確的位置。當(dāng)然也能在傳播介質(zhì)的衰減、反射和折射做到實(shí)時(shí)運(yùn)算，這樣就與人耳能夠感知聲音強(qiáng)弱方向的特性相結(jié)合。人的耳朵之所以能夠判斷聲音的方向定位，是通過左右耳定位實(shí)現(xiàn)的，左右定位主要通過時(shí)間差定位和聲源的強(qiáng)弱差來實(shí)現(xiàn)的。時(shí)間差定位通過同一個(gè)聲音到達(dá)左右耳的先后順序來判斷聲音在身體的左邊還是右邊，而聲源的強(qiáng)弱差則通過左右邊的聲音大小來判斷聲源靠近身體的左側(cè)還是右側(cè)。

在虛擬現(xiàn)實(shí)的三維空間里，當(dāng)用戶在移動(dòng)位置或者轉(zhuǎn)動(dòng)頭部時(shí)，實(shí)際上相對(duì)于音源來說，用戶的頭部位置和雙耳的方向都發(fā)生了變化，在現(xiàn)實(shí)空間中的經(jīng)驗(yàn)和聲音理論告訴我們，聽到聲音的位置和強(qiáng)弱都應(yīng)產(chǎn)生對(duì)應(yīng)變化，但按照傳統(tǒng)固定音頻的設(shè)計(jì)方式就無法回應(yīng)用戶的變化，導(dǎo)致現(xiàn)實(shí)經(jīng)驗(yàn)與虛擬空間感受的不一致，使用戶產(chǎn)生割裂感，大大降低了沉浸感體驗(yàn)[2]。目前的VR設(shè)備可以通過激光定位、陀螺儀等感應(yīng)器進(jìn)行頭部追蹤，可以將這些頭部追蹤的數(shù)據(jù)應(yīng)用于VR音頻中，結(jié)合頭部追蹤數(shù)據(jù)和HRTF[]算法，就能實(shí)現(xiàn)音頻對(duì)頭部動(dòng)作的實(shí)時(shí)反饋。也就是說，當(dāng)用戶在轉(zhuǎn)頭或者移動(dòng)頭部時(shí)，聽到的音頻會(huì)根據(jù)用戶頭部的方位相對(duì)變化，做出符合現(xiàn)實(shí)的情況反饋，再結(jié)合虛擬現(xiàn)實(shí)視覺內(nèi)容就會(huì)大大增強(qiáng)用戶的沉浸感和真實(shí)感。目前很多高科技公司都在研發(fā)實(shí)時(shí)動(dòng)態(tài)聲音渲染技術(shù)，讓虛擬現(xiàn)實(shí)中的聲音與畫面更為同步，當(dāng)用戶不斷移動(dòng)時(shí)，能夠聽到回聲的變化，感受到空間感，除了能夠判斷聲音由該物體發(fā)出外，還能判斷出物體的方向、遠(yuǎn)近等更多信息。如圖1，是AMD公司研發(fā)TrueAudio Next的實(shí)時(shí)動(dòng)態(tài)聲音渲染技術(shù)的示意圖。

圖1 AMD公司TrueAudio Next實(shí)時(shí)動(dòng)態(tài)聲音渲染技術(shù)示意圖

（二）構(gòu)建獨(dú)特的交互性來指引用戶

虛擬現(xiàn)實(shí)中的音頻主要可以分為四種不同的元素：音效、音樂、環(huán)境聲音和對(duì)話。音效主要用于模擬現(xiàn)實(shí)物理世界的各種聲音效果，如金屬和金屬碰撞發(fā)出的清脆聲、風(fēng)吹過草地的沙沙聲等。音樂是藝術(shù)創(chuàng)作中烘托氛圍、傳遞創(chuàng)造者意圖的主要元素，環(huán)境聲是模擬現(xiàn)實(shí)環(huán)境中來自四面八方的聲音，幫助用戶對(duì)周遭環(huán)境產(chǎn)生直接、準(zhǔn)確的判斷。對(duì)話是講故事和傳遞語言信息的最主要手段。通常，虛擬現(xiàn)實(shí)中的音頻需要將這四種不同的音頻元素進(jìn)行混合使用，從而達(dá)到觸發(fā)用戶感官、指引用戶互動(dòng)探索的目的。

在虛擬現(xiàn)實(shí)中指引用戶進(jìn)行互動(dòng)體驗(yàn)的指引方式主要是通過圖形視覺元素，如用戶視線焦點(diǎn)所注視的圖形界面進(jìn)行閃爍或放大的動(dòng)效運(yùn)動(dòng)，指引用戶點(diǎn)擊該圖形元素。虛擬現(xiàn)實(shí)中的視聽體驗(yàn)是一種大量信息的選擇性攝入，用戶進(jìn)入虛擬現(xiàn)實(shí)的空間中可以自由選擇方向，這會(huì)讓創(chuàng)作者失去對(duì)用戶預(yù)設(shè)的控制能力，用戶可能只是看到一些無關(guān)緊要的畫面，而對(duì)創(chuàng)作和預(yù)設(shè)好的推動(dòng)劇情的線索一無所知。這時(shí)，音頻就會(huì)發(fā)揮無可替代的作用，音頻與視頻不同，不會(huì)被視角所限制，即使畫面一片漆黑，用戶也可以通過聽覺來感受所處的環(huán)境、音源所在的方向和位置。這樣創(chuàng)作者就可以通過聲音將用戶的視角引導(dǎo)到他們需要關(guān)注的畫面和視角中去，從而讓整個(gè)交互體驗(yàn)流程能夠順利進(jìn)行。聲音的方向特性可以產(chǎn)生空間暗示，這比生硬地插入視覺圖形暗示要自然很多，如在虛擬現(xiàn)實(shí)場景中，用戶的視角一直看著遠(yuǎn)處的天空（天空只是作為環(huán)境背景存在），該怎樣讓用戶的視角回到故事的主線（即用戶周遭的環(huán)境）中？如果用視覺動(dòng)效的方法，設(shè)計(jì)者可能會(huì)設(shè)計(jì)一個(gè)出現(xiàn)在天空中的箭頭，指向用戶視線該聚焦的方向，但無論是箭頭，還是小鳥等物品，都是與畫面無關(guān)的生硬的提示方法，顯得非常不自然。而采用音頻的方法則非常簡單自然，只需要判斷用戶的視角方位不在預(yù)設(shè)方向后，在特定位置上發(fā)出一個(gè)不同于環(huán)境聲音的聲音，從而吸引用戶將視角轉(zhuǎn)回到劇情角色所在的畫面中，從而確保整個(gè)虛擬體驗(yàn)順利進(jìn)行。

（三）傳達(dá)作品的可信度和情感

如電影或視頻游戲一樣，聲音在虛擬現(xiàn)實(shí)中的重要性往往容易被忽視，用戶通常不會(huì)意識(shí)到音頻的重要性，直到他們體驗(yàn)到具有優(yōu)秀音頻的內(nèi)容。視覺元素能夠講述故事情節(jié)，但聲音在虛擬現(xiàn)實(shí)中同樣重要，因?yàn)樗隙梭w驗(yàn)是否可信，并且會(huì)對(duì)用戶產(chǎn)生情感影響。在傳統(tǒng)的影視作品中，通過聲音效果和可聽到的環(huán)境因素，如風(fēng)和街道噪音，能夠增強(qiáng)敘事的可信度，通過不同關(guān)鍵點(diǎn)的音樂播放能產(chǎn)生情感的影響力。在虛擬現(xiàn)實(shí)世界中也是如此，只是在技術(shù)上比以往要求更高。

音頻為體驗(yàn)設(shè)定了情感基調(diào)。交互式音樂是影響玩家情緒狀態(tài)的最佳方法之一。通常的做法是創(chuàng)作者將音樂設(shè)計(jì)成不同的情感強(qiáng)度，然后按順序放置在場景中以供玩家觸發(fā)來傳達(dá)不同強(qiáng)度的情感，從而影響和感染用戶的情緒?！禩he Price of Freedom》是一款備受歡迎的免費(fèi)VR游戲，開發(fā)商Construct Studio的音頻總監(jiān)談到，如果沒有合適的音頻設(shè)計(jì)，敘事體驗(yàn)將失去其魅力，而世界也不會(huì)那么令人信服。該游戲在設(shè)計(jì)火災(zāi)場景中就設(shè)計(jì)了4種不同層次的情感強(qiáng)度的對(duì)應(yīng)音樂，希望讓玩家在體驗(yàn)過程中逐漸感受到從麻木到悲傷的情感，從而引起用戶的強(qiáng)烈情感共鳴。如圖2，是該游戲的截圖。

圖2 《The Price of Freedom》VR游戲截圖

二、虛擬現(xiàn)實(shí)中音頻設(shè)計(jì)的未來

虛擬現(xiàn)實(shí)，即通過VR頭顯和包裹式耳機(jī)阻斷人類對(duì)真實(shí)外界的感官，以虛擬內(nèi)容取而代之。在所有虛擬內(nèi)容設(shè)計(jì)中，音頻起到了重要作用，不恰當(dāng)?shù)囊纛l設(shè)計(jì)體驗(yàn)會(huì)破壞虛擬現(xiàn)實(shí)其他內(nèi)容帶給用戶的沉浸感，導(dǎo)致用戶從虛擬現(xiàn)實(shí)的世界中抽離出來[3]。而精妙編排過的音頻設(shè)計(jì)不僅會(huì)讓用戶加強(qiáng)這種沉浸感，而且能夠引導(dǎo)用戶的注意力，調(diào)動(dòng)用戶的情緒。試想，當(dāng)用戶置身于虛擬現(xiàn)實(shí)環(huán)境中，互動(dòng)操作周遭環(huán)境對(duì)象時(shí)，音頻能夠根據(jù)不同的材質(zhì)、運(yùn)動(dòng)規(guī)矩距離、碰撞的強(qiáng)弱程度，做實(shí)時(shí)運(yùn)算，并發(fā)出與現(xiàn)實(shí)物理世界經(jīng)驗(yàn)相同的聲音，這將是一個(gè)何其逼真的虛擬世界。如何實(shí)時(shí)計(jì)算復(fù)雜場景中的各種音頻的混合是虛擬現(xiàn)實(shí)未來音頻設(shè)計(jì)的最大挑戰(zhàn)。

結(jié) 語

沒有人知道虛擬現(xiàn)實(shí)技術(shù)將如何發(fā)展，它將采取何種方向或?qū)⑷〈壳暗拿襟w角色。目前在視頻游戲、教育、軍事、新聞和體育報(bào)道、敘事電影、音樂視頻等方面已經(jīng)開展了VR方面的開發(fā)和商業(yè)化運(yùn)作。隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，也對(duì)音頻的制作技術(shù)和設(shè)計(jì)提出了更高的挑戰(zhàn)和要求，刺激著新一輪創(chuàng)新研究。讓我們拭目以待音頻設(shè)計(jì)在未來的虛擬現(xiàn)實(shí)空間中的驚人表現(xiàn)。