文/歐陽(yáng)盛劼

虛擬現(xiàn)實(shí)（Virtual Reality，簡(jiǎn)稱VR）這一概念產(chǎn)生于人類對(duì)現(xiàn)實(shí)世界的探索與模擬，是人類一直尋求通過(guò)藝術(shù)或技術(shù)的方式再現(xiàn)現(xiàn)實(shí)的體現(xiàn)。它從一項(xiàng)主要用于軍事、航天等領(lǐng)域仿真演練的尖端科技逐漸普及為人類日常。如今，人們可通過(guò)使用VR頭戴設(shè)備或進(jìn)入VR體驗(yàn)區(qū)等來(lái)感受VR世界亦真亦幻的魅力，尤其是逼真的視聽(tīng)效果，讓體驗(yàn)者們仿佛置身幻境。

虛擬現(xiàn)實(shí)是以計(jì)算機(jī)技術(shù)為核心，結(jié)合相關(guān)科學(xué)技術(shù)，生成與一定范圍真實(shí)環(huán)境在視、聽(tīng)、 觸感等方面高度近似的數(shù)字化環(huán)境，用戶借助必要的裝備與數(shù)字化環(huán)境中的對(duì)象進(jìn)行交互作用、相互影響，可以產(chǎn)生親臨對(duì)應(yīng)真實(shí)環(huán)境的感受和體驗(yàn)，即在數(shù)字化環(huán)境中產(chǎn)生在真實(shí)環(huán)境的認(rèn)知。知覺(jué)研究著名學(xué)者吉布森（J·J·Gibson）認(rèn)為，我們周圍的環(huán)境為我們的生存提供了足夠的充分的信息，人體感官的構(gòu)成也使人具備獲取信息的能力?，F(xiàn)實(shí)世界中，環(huán)境信息直接刺激人的感知器官，在VR環(huán)境里，這些信息需通過(guò)技術(shù)手段被復(fù)制或模擬，借助傳輸設(shè)備作用到使用者的感知神經(jīng)。從本質(zhì)看，虛擬現(xiàn)實(shí)系統(tǒng)是包含各種認(rèn)知信息的綜合體，這些信息越逼真、越豐富，帶來(lái)的認(rèn)知感受越貼近現(xiàn)實(shí)。

人的感官主要有視、聽(tīng)、嗅、味、觸等，分別對(duì)應(yīng)獲取環(huán)境中的光線、聲音、味道、質(zhì)地等信息。獨(dú)立的感官系統(tǒng)或多感官協(xié)作還可產(chǎn)生空間感、方向感等。其中，視覺(jué)和聽(tīng)覺(jué)是人體獲取外界信息最重要的兩大渠道，人們通過(guò)看和聽(tīng)能基本完成對(duì)外界環(huán)境的認(rèn)知感受。因此，在VR環(huán)境構(gòu)建中，視聽(tīng)系統(tǒng)的仿真模擬是虛擬環(huán)境真實(shí)感的重要著力點(diǎn)，需充分參考人視聽(tīng)感官的生理機(jī)制和VR體驗(yàn)特征來(lái)設(shè)計(jì)實(shí)現(xiàn)。

1.虛擬現(xiàn)實(shí)中的視聽(tīng)體驗(yàn)特征

1993年，Heim 提出“VR是一種在效應(yīng)上而不是事實(shí)上真實(shí)的或?qū)嶓w”，同時(shí)刻畫了VR的7個(gè)特征：模擬性、交互作用、人工現(xiàn)實(shí)、沉浸性、遙在、全身沉浸和網(wǎng)絡(luò)通信。1994年，Burdea 等出版了《Virtual Reality Technology》一書，書中他們用3“I”——沉浸感（immersion）、交互性（interaction）、構(gòu)想性（imagination）概括了VR的基本特征，這也是VR視聽(tīng)系統(tǒng)的體驗(yàn)訴求。

其中，沉浸感與VR技術(shù)對(duì)現(xiàn)實(shí)世界的模擬程度成正比，仿真度越高，體驗(yàn)者的認(rèn)知活動(dòng)越不被干擾，沉浸感越強(qiáng)。如前文所述，視聽(tīng)是VR系統(tǒng)中最重要的部分之一，人可能接收到的所有真實(shí)視、聽(tīng)信息是實(shí)現(xiàn)VR沉浸感的重要參考。此外，沉浸感體現(xiàn)出使用者對(duì)VR環(huán)境是被包含、被融入的關(guān)系，從感知角度強(qiáng)調(diào)了VR環(huán)境應(yīng)是一個(gè)立體空間，因此，VR視聽(tīng)系統(tǒng)需滿足人對(duì)縱深、方位等空間信息的需求。

VR沉浸體驗(yàn)不僅來(lái)自于立體空間感，也來(lái)自使用者與環(huán)境間的互動(dòng)行為，VR的交互性特征可為用戶帶來(lái)行為系統(tǒng)的沉浸感。VR的交互性不僅指對(duì)體驗(yàn)者有意識(shí)的操作給予反饋，還應(yīng)在體驗(yàn)者發(fā)生無(wú)意識(shí)的行為時(shí)，及時(shí)模擬真實(shí)環(huán)境做出變化。如使用者轉(zhuǎn)動(dòng)頭部，設(shè)備中的畫面隨之轉(zhuǎn)動(dòng)，以模擬視野的調(diào)整。

構(gòu)想性是VR“源自現(xiàn)實(shí)又超越現(xiàn)實(shí)”的體現(xiàn)，強(qiáng)調(diào)了設(shè)計(jì)者在其中的主導(dǎo)地位。虛擬現(xiàn)實(shí)本質(zhì)上是人類尋求感官模擬和復(fù)制的一種途徑，在模擬過(guò)程中也存在對(duì)現(xiàn)實(shí)世界物理性的超越。從視聽(tīng)角度看，VR“允許我們以前所未有的豐富細(xì)節(jié)與深度，觀察和跟蹤真實(shí)世界”，并通過(guò)技術(shù)手段“安排”人們的視聽(tīng)活動(dòng)，這進(jìn)一步滿足了體驗(yàn)者的審美訴求并形成情感共鳴。

2.虛擬現(xiàn)實(shí)的視聽(tīng)體驗(yàn)設(shè)計(jì)

以VR的3“I”特征為指導(dǎo)，VR視聽(tīng)體驗(yàn)設(shè)計(jì)應(yīng)從人感知活動(dòng)的生理機(jī)制和體驗(yàn)訴求兩個(gè)角度出發(fā)。其中視覺(jué)部分主要有視覺(jué)逼真、空間視覺(jué)和位置/方向跟蹤三個(gè)方面，聽(tīng)覺(jué)部分主要為視景伴音、方位信息兩個(gè)方面。

2.1 視覺(jué)部分

VR對(duì)現(xiàn)實(shí)世界的模擬包括模擬目標(biāo)對(duì)象、對(duì)象間的關(guān)系和相互作用、與對(duì)象發(fā)展變化遵循的規(guī)律。VR視覺(jué)系統(tǒng)針對(duì)于人眼所見(jiàn)的畫面，可從這三個(gè)層面分為視覺(jué)逼真、空間視覺(jué)和位置、方向跟蹤。

視覺(jué)逼真指VR技術(shù)對(duì)現(xiàn)實(shí)視覺(jué)畫面的仿真。從視覺(jué)信息構(gòu)建方面，模擬對(duì)象的靜止、運(yùn)動(dòng)形態(tài)、環(huán)境景觀等構(gòu)成VR畫面主要內(nèi)容，要求數(shù)字建模合理、可辨。從視覺(jué)信息傳輸方面，頭顯設(shè)備的顯像能力也對(duì)視覺(jué)逼真感有影響，主要為技術(shù)因素。一是畫面視域。人的正常單色視域約為水平200度，垂直130度，其中，人眼主要對(duì)中心為20度的視域敏感。因此，設(shè)計(jì)VR視覺(jué)系統(tǒng)時(shí)應(yīng)確保中心20度的顯像水平，并盡可能開(kāi)拓周邊視域。二是幀頻和分辨率。VR視覺(jué)系統(tǒng)形成實(shí)時(shí)畫面是通過(guò)相互獨(dú)立的序列幀圖像，由大腦視覺(jué)殘留能力形成連續(xù)畫面，由VR顯示器傳達(dá)至人眼。受到攝像機(jī)和顯示器性能的限制，VR顯像存在細(xì)微的幀頻滯后與傳感顯示的延時(shí)，因此，過(guò)于復(fù)雜的顯像環(huán)節(jié)將帶來(lái)VR場(chǎng)景的失真。

空間視覺(jué)指人類通過(guò)視覺(jué)可在大腦形成空間深度感，以此判斷自己和關(guān)注物體間的空間距離?？臻g深度感主要由四種基本類型的深度線索而得。一是靜態(tài)深度線索，指通過(guò)靜態(tài)圖像就能獲得的深度線索，如物體的相互位置、物體清晰程度、物體的相對(duì)大小等；二是運(yùn)動(dòng)深度線索，指在動(dòng)態(tài)圖像中獲得的深度線索，如看到物體由小變大可感覺(jué)到物體的由遠(yuǎn)而近；三是生理深度線索，既通過(guò)大腦監(jiān)視眼球和眼周肌肉的調(diào)節(jié)程度產(chǎn)生深度感覺(jué)；四是雙目視差線索，指由于雙眼的水平瞳距，使景物中的任意點(diǎn)在兩眼中形成的圖像存在水平位置的差異從而形成雙目視差，進(jìn)而感知到目標(biāo)物體的遠(yuǎn)近深度。前兩者需在環(huán)境的三維坐標(biāo)中尋找參照，根據(jù)目標(biāo)對(duì)象與參照對(duì)象間的差異獲得線索。目標(biāo)與參照可是同環(huán)境下的不同對(duì)象，或?qū)ο笈c整體環(huán)境，也可是同一對(duì)象運(yùn)動(dòng)的不同狀態(tài)。后兩者主要利用人類視覺(jué)系統(tǒng)多種機(jī)制交叉協(xié)作，更多從體驗(yàn)者內(nèi)部產(chǎn)生效應(yīng)。

位置/方向跟蹤是VR對(duì)現(xiàn)實(shí)世界視覺(jué)規(guī)則的模仿，是VR顯像對(duì)體驗(yàn)者行為的動(dòng)態(tài)響應(yīng)，為體驗(yàn)者帶來(lái)行為系統(tǒng)的沉浸感。這主要體現(xiàn)在VR體驗(yàn)者轉(zhuǎn)動(dòng)頭、眼時(shí)，頭顯畫面根據(jù)轉(zhuǎn)動(dòng)角度及時(shí)做出調(diào)整，模擬真實(shí)環(huán)境中視角的變化。這不僅從視覺(jué)活動(dòng)上緊密關(guān)聯(lián)體驗(yàn)者與虛擬環(huán)境形成臨境感，從視覺(jué)信息角度，模擬視角變化時(shí)VR環(huán)境中事物透視關(guān)系的變化也將豐富體驗(yàn)者的視覺(jué)空間感。這一方面要求軟件技術(shù)對(duì)使用者眼球、頭部運(yùn)動(dòng)捕捉的精確及時(shí)，硬件設(shè)備不得對(duì)人眼、頭的運(yùn)動(dòng)產(chǎn)生阻礙；另一方面要求VR顯示系統(tǒng)具備一定運(yùn)算成像能力，減少模擬透視變化帶來(lái)的延時(shí)滯后。

綜上，可獲取以下幾點(diǎn)VR視覺(jué)體驗(yàn)設(shè)計(jì)思路指導(dǎo)：

對(duì)于模擬對(duì)象，數(shù)字建模應(yīng)做到物體靜態(tài)時(shí)外形特征清晰可辨，動(dòng)態(tài)時(shí)遵循合理的運(yùn)動(dòng)原理，同時(shí)充分考慮硬件設(shè)備的技術(shù)瓶頸，在有限的技術(shù)條件下充分利用成熟、穩(wěn)定的實(shí)現(xiàn)手段。人眼視域敏感區(qū)為視角中心20度左右，為減輕頭顯設(shè)備運(yùn)算負(fù)擔(dān)，可適當(dāng)簡(jiǎn)化、弱化邊緣區(qū)域的事物模擬。例如，在微鯨VR影視作品中常將有效信息集中顯示在一定范圍的虛擬舞臺(tái)上，四周加入三維光影效果延伸出畫面，從而控制VR視頻的技術(shù)難度，彌補(bǔ)顯示設(shè)備視域的不足。

對(duì)于對(duì)象與對(duì)象、對(duì)象與環(huán)境間的關(guān)系，空間視覺(jué)是使人眼獲得的二維圖像信息形成空間深度感的重要能力，當(dāng)體驗(yàn)設(shè)計(jì)對(duì)虛擬環(huán)境建設(shè)提出體現(xiàn)空間距離的需求，可通過(guò)著重乃至夸張表現(xiàn)環(huán)境中單個(gè)物體本身或多個(gè)物體之間的位置、大小、虛實(shí)、運(yùn)動(dòng)的變化。例如，2012年央視春晚中的《因?yàn)閻?ài)情》歌曲表演節(jié)目中加入的花瓣飄灑特效，就是通過(guò)夸張放大的花瓣運(yùn)動(dòng)與男女主角虛實(shí)變焦來(lái)營(yíng)造廣闊的舞臺(tái)空間。

對(duì)于對(duì)象與環(huán)境的變化規(guī)律，眼、頭運(yùn)動(dòng)的捕捉和VR系統(tǒng)的反饋及時(shí)是最重要的兩點(diǎn)，但除了對(duì)視線跟蹤技術(shù)的研發(fā)使用，也應(yīng)關(guān)注顯現(xiàn)設(shè)備是否舒適穩(wěn)固。目前VR頭戴設(shè)備主要分為自帶處理器的VR一體機(jī)、搭配智能手機(jī)使用的VR手機(jī)盒子與其簡(jiǎn)化版的紙盒。VR一體機(jī)大多笨重，長(zhǎng)期使用會(huì)造成眼部、頸部肌肉的疲勞，VR盒子雖輕便但存在手機(jī)位置固定不穩(wěn)等弊端。這些都影響了VR視覺(jué)系統(tǒng)對(duì)自然狀態(tài)下體驗(yàn)者眼、頭運(yùn)動(dòng)及其視覺(jué)反饋的模擬。

2.2 聽(tīng)覺(jué)部分

聽(tīng)覺(jué)是人類僅次于視覺(jué)的第二大感知來(lái)源，人類對(duì)客觀世界的感知信息有15%左右來(lái)自聽(tīng)覺(jué)。聽(tīng)覺(jué)信息的作用一方面為實(shí)時(shí)生成的視景伴音，產(chǎn)生視覺(jué)和聽(tīng)覺(jué)的疊加效應(yīng)，達(dá)到聲像融合；另一方面三維聲音信息可補(bǔ)充由于視野所限、視景未顯示到的信息，使人可監(jiān)控、識(shí)別來(lái)自任何方位的信息，不僅僅是視野內(nèi)的方位信息。

VR 系統(tǒng)中作為視景伴音的聲音信息直接產(chǎn)生于體驗(yàn)者的聽(tīng)覺(jué)感官，體驗(yàn)訴求主要有聲音仿真與聲音圖像間的同步兩方面。聲音仿真指計(jì)算機(jī)生成的聲音應(yīng)盡可能的逼近真實(shí)，模擬聲音在不同密度介質(zhì)中的音速變化、反射、折射，還有不同聲源同時(shí)發(fā)聲時(shí)，多種聲音的疊加與混合。聲畫同步的概念源自影視藝術(shù)，指聲音由畫面中人、物體或環(huán)境產(chǎn)生，與畫面協(xié)調(diào)一致。保持聲音與畫面的同步融合，可極大地增加視聽(tīng)系統(tǒng)的逼真度。

聲音信息向方位信息的轉(zhuǎn)化則主要由人的“單耳效應(yīng)”與“雙耳效應(yīng)”實(shí)現(xiàn)?！皢味?yīng)”即“耳廓效應(yīng)”，是指經(jīng)過(guò)人類不對(duì)稱的耳廓反射之后，到達(dá)耳膜的聲波頻譜特征與其聲源的方向有關(guān)。這也就是說(shuō)，人憑一只耳朵，就能初步辨出聲音的方向，從而對(duì)聲音進(jìn)行定位?！半p耳效應(yīng)”（Duplex Theory）是指雙耳位于頭的兩側(cè)，兩耳之間有一定的距離，那么聲源發(fā)出的聲音到達(dá)兩耳的路徑距離不一樣，聲音的延時(shí)和衰減就不同，聲音到達(dá)的時(shí)間和強(qiáng)度也就不同，從而產(chǎn)生聽(tīng)覺(jué)的空間感。對(duì)此，VR聽(tīng)覺(jué)系統(tǒng)在模擬聲音環(huán)境時(shí)，一可通過(guò)改變目標(biāo)聲源與環(huán)境聲傳入人耳的時(shí)間差來(lái)模擬虛擬環(huán)繞效果，二可配合眼、頭轉(zhuǎn)動(dòng)的方位角度調(diào)整左右耳接收聲音信號(hào)的時(shí)間、強(qiáng)弱，來(lái)模擬聲源至體驗(yàn)者頭部中心距離方向的變化。

因此，為達(dá)到VR聽(tīng)覺(jué)系統(tǒng)作為畫面伴音與突顯空間感的體驗(yàn)效果， 需從三個(gè)角度進(jìn)行聲音數(shù)據(jù)的儲(chǔ)備：模擬目標(biāo)對(duì)象的仿真音源；當(dāng)前虛擬場(chǎng)景下的環(huán)境音，包括多種聲音的疊加混響與不同傳播介質(zhì)中聲音傳播規(guī)律變化的體現(xiàn)；對(duì)體驗(yàn)者頭部運(yùn)動(dòng)的動(dòng)態(tài)響應(yīng)。前二者結(jié)合目前發(fā)展成熟穩(wěn)定的環(huán)繞聲技術(shù)可提高聽(tīng)覺(jué)的的真實(shí)感與臨場(chǎng)感，后者則再次強(qiáng)調(diào)了VR系統(tǒng)對(duì)體驗(yàn)者頭部活動(dòng)的跟蹤與反饋。

3.總結(jié)與展望

虛擬現(xiàn)實(shí)帶來(lái)的視聽(tīng)體驗(yàn)越過(guò)了傳統(tǒng)人機(jī)交互需借助的象征符號(hào)，直接介入人本能的感知活動(dòng)中，通過(guò)模擬真實(shí)環(huán)境對(duì)人體感官的刺激與互動(dòng)，構(gòu)建了一個(gè)源自現(xiàn)實(shí)又可人為干預(yù)的數(shù)字世界。VR視聽(tīng)通過(guò)對(duì)感知的模擬復(fù)制使體驗(yàn)者的身心沉浸于數(shù)字技術(shù)構(gòu)建的虛擬空間，這是人類使用媒介技術(shù)再現(xiàn)現(xiàn)實(shí)世界的嘗試，也是媒介形態(tài)沿著“虛擬化”脈絡(luò)發(fā)展的體現(xiàn)。隨著VR技術(shù)的發(fā)展，VR視聽(tīng)體驗(yàn)還將在仿真基礎(chǔ)上打破現(xiàn)實(shí)存在與主觀想象的界限，帶來(lái)超越現(xiàn)真實(shí)的審美體驗(yàn)，解放人類受限于現(xiàn)實(shí)條件的理解、情感、想象，甚至改變?nèi)藗儗?duì)自我、世界、時(shí)空的看法。

[1] 周逵.虛擬現(xiàn)實(shí)的媒介建構(gòu)：一種媒介技術(shù)史的視角[J].現(xiàn)代傳播（中國(guó)傳媒大學(xué)學(xué)報(bào)），2013，35（08）：29-33.

[2] 趙沁平. 虛擬現(xiàn)實(shí)綜述[J]. 中國(guó)科學(xué)（F輯：信息科學(xué)），2009，39（01）：2-46.

[3] 彭聃齡.知覺(jué)的現(xiàn)代理論[J].哲學(xué)動(dòng)態(tài)，1989（07）：26-29.

[4] David Gelernter， Mirror Worlds：or the Day Software Puts the Universe in a Shoebox…How It Will Happen and What It Will Mean， Oxford University Press， USA， 1993.

[5] 蔣慶全.頭盔顯示器視覺(jué)機(jī)理與視域設(shè)計(jì)[J].電視技術(shù)，2004（04）：81-84.

[6] 徐偉忠、劉輝、談?wù)?，三維立體顯示系統(tǒng)的開(kāi)發(fā)研究，中國(guó)圖像圖形學(xué)報(bào)，Vol.2，No.2，3，Mar.1997，PP.144-148.

[7] 羅福元，王行仁，彭曉源.聲音渲染技術(shù)及其在虛擬環(huán)境中的應(yīng)用[J].系統(tǒng)仿真學(xué)報(bào)，1999（05）：364-367.

[8] 劉光明，劉汐，竇維蓓.對(duì)虛擬環(huán)繞聲產(chǎn)生的研究與簡(jiǎn)單實(shí)現(xiàn)[J].電聲技術(shù)，2003（04）：43-47.

[9] Stevens SS，Newman EB. The localization of actual sources of sound. Am J Psychol，1936，48：297-306.

[10] 王生九. 虛擬聽(tīng)覺(jué)空間和虛擬環(huán)繞聲技術(shù)的研究及其DSP實(shí)現(xiàn)[D].東南大學(xué)，2006.