常州劉國鈞高等職業(yè)技術學校,江蘇 常州 213025
2014 年 3 月美國的臉書 (Facebook) 以 20 億美元的價格收購了創(chuàng)業(yè)公司 Oculus,Oculus 研發(fā)的 VR設備 Rift 歸 Facebook 所有。Facebook 的創(chuàng)始人和首席執(zhí)行官馬克 · 扎克伯格對 VR 技術特別青睞,在 2016年的世界移動通信 (MWC) 大會上,他表演了當今最成熟的 VR 產(chǎn)品——Oculus Rift,這是一次標志性的事件,它第一次將 VR 概念帶到了世界大眾面前。在 Facebook 的重視和帶動下,VR 在 2016 年火起來了,VR 行業(yè)似乎即將爆發(fā)。在各國媒體的一片期待和贊美聲中,世界的資本和初創(chuàng)者喊著口號一頭扎進VR 行業(yè)。種種數(shù)據(jù)和現(xiàn)實顯示,VR 市場非但沒有在 2017 年爆發(fā),反而遠遠沒有達到當初媒體上的各種期待。2016 年,VR 的市場總產(chǎn)值僅為區(qū)區(qū) 18億美元,總銷量只有 630 萬臺,包括 Oculus,HTC vive及 PSVR 都羞于披露自己的銷量。這清楚的告訴人們:2016 年 VR 聲勢雖然達到了高峰,它展示了 VR技術在當時最好的一面,但同時這一年似乎也是 VR業(yè)界的轉折點,很快就暴露出這項技術的不成熟之處,而這種不成熟的技術在遇到各種糟糕的產(chǎn)品設備設計和市場投機之時,出現(xiàn)了近乎災難性的后果?;钌亟o人們呈現(xiàn)出了一幅雷聲大雨點小的景象。
當然,VR 行業(yè)呈現(xiàn)出來的這種不景氣狀況是有多方面原因造成的,譬如:VR 應用范圍太窄,目前主要應用僅限于游戲和影音娛樂;VR 游戲內(nèi)容開發(fā)的瓶頸一直無法解決,導致 VR 游戲內(nèi)容匱乏,游戲時間短暫,更缺乏對用戶有吸引力的內(nèi)容;VR 商業(yè)模式?jīng)]有成型,性能最強的高檔 VR 產(chǎn)業(yè)價格高昂,還需要配置高性能 PC 使用,使很多玩家望而卻步,而低價 VR 產(chǎn)品畫質低劣,使 VR 產(chǎn)品“變味”,讓人們產(chǎn)生不屑與鄙夷的情緒,VR 游戲還容易延遲卡頓,使一般消費者難存長期“上癮之需”。以上種種原因都給 VR 行業(yè)帶來不利的影響。但是,若仔細考察就會發(fā)現(xiàn)真正造成 VR 產(chǎn)品不成功和無法普及的主要原因,還是 VR 產(chǎn)品在技術上的不成熟,歸結起來可以在以下幾個主要方面來尋找 VR 技術存在的問題,從而探索 VR 在技術上的發(fā)展路徑。
VR 中最重視的是人的感受,強調(diào)人的主導作用,因此,“交互性”和“沉浸性”這兩個特征是VR 技術與任何其他相關技術 (如三維動畫,仿真,科學可視化等) 最本質的區(qū)別[1]。也是支撐 VR 科技創(chuàng)新最大的兩大亮點。不過正是在這兩點技術上存在問題反映了 VR 科技創(chuàng)新的支撐不足:
目前,典型的最強悍的 VR 高級產(chǎn)品是 Oculus Rift[2],但其交互能力還是比較簡單的,僅能實現(xiàn)對三維立體環(huán)境的觀賞,在與虛擬環(huán)境、虛擬人物的交互式互動上,只具有簡單肢體動作的輸入能力,只能跟蹤頭部活動,不能跟蹤身體的其他部位。而人們希望完善的 VR 交互能力要具備三個方面的能力,一是靈活性的交互,不只是簡單的走、跑、跳、坐,而是人體的任何動作,這樣才可以保證身體的感官和視覺同步,才能保證產(chǎn)生任何意義上的“沉浸感”。二是整體性的交互,用戶作為一個活動的整體在虛擬世界中都要具有肢體的交互能力。三是便捷性交互,要讓用戶具有便捷地輸入文字信息的功能,畢竟在虛擬世界里,除了語言之外,文字表達也不可或缺,但當前VR 的大多外接設備都是手柄,要實現(xiàn)文字輸入幾乎不大可能。
仍以 Oculus Rift VR 產(chǎn)品為例[3],它不僅需要配置一個高級的 PC 機,而且各種裝備和線繩的連接嚴重阻礙用戶能輕松自由地與 VR 世界的交流,使用戶覺得沒有真正在自由移動地進入 VR 虛擬世界。人們希望,一個成熟的供游戲主機和其他 VR 應用中使用的 VR 設備要去掉纜線,應該利用無線通信技術,使VR 設備中的連接是“無線”的,當然無線 VR 設備也應該是消費者和開發(fā)者在經(jīng)濟上能夠負擔得起的。
目前來說,幾乎所有 VR 設備搭載的都是安卓或者視窗的操作系統(tǒng),而這些操作系統(tǒng)主要應用于手機、PC 和平板電腦等設備。它們并不是專為 VR 設備開發(fā)的,因此也就并不完全適用于 VR 設備,這就導致目前的 VR 設備都只能為用戶在虛擬世界中提供簡單的菜單選項,來指引用戶進入相關應用,使得其他服務在現(xiàn)有 VR 設備中和現(xiàn)有的操作系統(tǒng)中并不能獲得較好的支持,現(xiàn)在 VR 設備能力不好,這是一個重要因素。
要突破 VR 領域陷入的窘境,還有以下幾個亟待解決的難題。
人們在觀看周圍的環(huán)境時,由于兩只眼睛的位置不同,得到的圖像略有不同,這種視覺差異產(chǎn)生的圖像在腦子里融合起來,就形成了一個關于周圍環(huán)境的三維立體的整體景象,這個景象中既包含了平面的幾何位置和顏色信息,也包含了距離遠近的信息 (深度信息)。人眼在感知三維立體世界的深度信息時,有兩套系統(tǒng),一是兩眼的視差,二是眼睛焦距的遠近比較,即不同距離下人眼晶狀體的不一樣的變形程度。那么,要有好的 VR 三維立體體驗也就需要與人眼一樣通過兩套系統(tǒng)來感知三維虛擬世界的深度信息,如果兩套系統(tǒng)得出的結果不同,人便會產(chǎn)生眩暈感。目前的 VR 系統(tǒng)中,是采用單塊顯示器來產(chǎn)生圖像,為了得到深度信息,采取的辦法是讓用戶戴上一個特殊的眼鏡,戴上這個眼鏡后,一只眼睛只能看到奇數(shù)幀圖像,另一只眼睛卻只能看到偶數(shù)幀圖像,利用奇、偶幀之間不同圖像,也就是通過雙眼視差及畫面變形,使用戶產(chǎn)生較強的立體感和景深感。但是,這種 VR 產(chǎn)生的圖像,都是從同一屏幕上發(fā)出的,而人在觀看時眼睛晶狀體的變形程度是不會改變的,這不符合人眼觀看真實三維物體時通過改變眼睛晶狀體感知深度信息的習慣,這會導致人眼的焦距紊亂,較長時間觀看就會使眼睛感到吃力,產(chǎn)生眩暈感。所以,眩暈感從具有目前的 VR 設備后一直存在,也一直是VR 設備實現(xiàn)影音效果時客觀存在的難題[4]。
革命化的視覺體驗——“沉浸體驗”是被作為衡量VR設備好壞的一個非常重要的指標[5],然而在如今的技術條件下,沉浸體驗卻與衡量 VR 優(yōu)劣的另一項指標——畫面“真實感” (即清晰度) 發(fā)生了矛盾,兩者似乎互為“敵人”。
畫面的“真實感”與“清晰度”是密切相關的,想要畫面變得更加真實,就需要高清晰度來支持,然而,若清晰度提高了就能看清遠處景象,那么畫面就會離人眼更遠,從而降低沉浸體驗,即降低用戶真正身臨其境的沉浸式臨場感和存在感的體驗。反過來也是這樣,為了加強“沉浸體驗”,就希望離屏幕近些,此時的畫面清晰度卻下降了,畫面的“真實感”也減弱了。之所以會發(fā)生如此情形,主要是因為受屏幕分辨率的限制。我們可以作如下的理解,離屏幕越近,屏幕上的小顆粒感就越強,而這種顆粒感通過透鏡放大后會顯得更明顯,從而導致人眼獲得的畫面實境比較模糊,即畫面“真實感”下降了。
要解決“沉浸體驗”與“真實感”之間的矛盾,就必須提高屏幕的分辨率。分辨率提高了就會降低顆粒感,如果分辨率沒有達到一定程度,就很難解決這個難題。而要達到沉浸體驗與清晰度的均衡,起碼需要 4K 的分辨率。但是,目前各廠家提供的 VR 頭戴顯示器產(chǎn)品都難以達到 4K 分辨率。如今各廠家都在進行探索,如何在“沉浸體驗感”和“清晰度”之間找到更好的“平衡點”[6],以求得在相對較好的沉浸體驗感下不降低清晰度。當然,這也是 VR 硬件所面臨的一個較難的問題。
屏幕的刷新率就是屏幕的刷新速率,刷新頻率越低,圖像閃爍的抖動就會越厲害,眼睛疲勞得就越快,有時會引起眼睛酸痛、頭暈目眩等癥狀。顯示屏幕刷新率越高,畫面圖像穩(wěn)定性就越好,也越自然清晰,屏幕對眼睛的刺激越小,也更能保護眼睛。由于受到屏幕帶寬的限制,在一定屏幕硬件尺寸和一定軟件分辨率情況下,屏幕刷新率是受限的。在屏幕帶寬不變的情況下,分辨率越高,刷新率就越低,要想提高刷新率,一是采用大屏幕顯示器來提高帶寬,二是提高顯示器的高頻處理能力,大幅度提高成本。
對于電視來說,80 Hz 以上的屏幕刷新率就完全滿足人們穩(wěn)定清晰地觀看視頻節(jié)目的要求了。但是,120 Hz 的屏幕刷新率才是 VR 畫面接近于現(xiàn)實的最低要求。當然,PC 顯示器可以滿足這個 120 Hz 屏幕刷新率的要求,這也是高檔 VR 設備要求配置高級 PC機的重要原因,但是當前手機屏幕的刷新率基本上還停留在 60 Hz 的水平,所以對于以手機顯示屏為顯示設備的各種移動式和一體機的 VR 產(chǎn)品,因受屏幕刷新率的限制,往往會使其視覺體驗只停留在比“視頻”好一些的水平上,而且使用時間不長,就會使眼睛疲勞,人也會感到不適。要想提高屏幕刷新率,就要大力提升 VR 芯片的高頻處理能力、計算能力,還要減低對芯片功耗造成的壓力,這就會對 VR 設備的硬件和軟件提出更高的要求。
在 VR 前進的道路上除了以上問題外還存在一些其它幾個技術障礙,主要的技術障礙有如下兩個。
目前,VR 在硬件技術方面,除了線纜影響移動體驗,屏幕分辨率和刷新率還待提高外,一個很重要的方面是 VR 頭盔體積太大,十分笨重,看上去有點蠢。要向輕盈方向上努力。VR 眼鏡也不夠輕便,要讓用戶樂意使用,就要做到使 VR 眼鏡與一般人佩戴的眼鏡相似或相近。
如今,從 VR 內(nèi)容制作的過程來說,首先必須用特殊的拍攝設備才能獲得 360 度全景視頻內(nèi)容,要得到體驗效果良好的視頻內(nèi)容,必須購買好的拍攝設備,不但價格非常昂貴,而且操作拍攝設備時人數(shù)眾多,對使用設備的人的技術要求很高,制作一款美國最高級別 (3A 級別) 的游戲,需要千萬美元級別的資金投入和超過 100 人的制作團隊,這會使內(nèi)容提供商大幅度加大制作成本,嚴重影響產(chǎn)品市場化和商業(yè)大眾化。
VR 內(nèi)容制作成本太高,導致 VR 游戲和影視內(nèi)容匱乏,游戲類型小時長短,嚴重缺少有吸引力的對用戶有黏性的內(nèi)容。VR 內(nèi)容制作成本的居高不下,也會大大增高 VR 作為一般人員社交功能的門檻。而 VR 要真正在商業(yè)市場上獲得與智能手機那樣的成功,就必須在社會功能上要有重大突破。
技術創(chuàng)新、技術進步是 VR 產(chǎn)業(yè)發(fā)展的基本立足點,欣喜的是近來 VR 在技術上已經(jīng)或正在獲得一批令人興奮的技術成果。
突破 VR 技術窘境的一個重大難題是要解決 VR的眩暈感,近來這個技術難題倍受重視,可喜的是它已獲得較大程度的解決[6]。
VR 產(chǎn)生眩暈的一個重要因素是顯示屏的屏顯不夠,要不眩暈,VR 輸出的畫面必須要有足夠的刷新率 (120 Hz以上) 以及足夠高的分辨率 (4 k 以上) ,還要提高數(shù)據(jù)傳遞速度 (頭盔延遲要小于 20 ms)。一些 VR 商家已經(jīng)開始用 2 k 屏、4 k 屏,或者用雙屏以及 OLED 柔性屏,來全面提升屏顯、刷新率和延遲顯示。
Facebook 的 Oculus 想出了一個解決分辨率的較好辦法,就是所謂的注視點渲染技術,即著重渲染人眼聚焦的地方以及周圍的圖像,這部分采用全畫幅渲染,而其它部分就進行普通分辨率的渲染。這項技術的提出可在較大程度上解決 PC 和手機屏處理能力不足的窘境。當然,應用注視點渲染技術還需要眼球追蹤技術的支持,我國“七鑫易維”公司就是一家致力于眼球追蹤技術的公司。應用眼球追蹤技術后,VR設備就可以知道 VR 使用者注視點在哪里,并進行相對應的注視點渲染。注視點渲染技術很符合人眼在觀看東西時候的習慣,焦點清楚,背景虛化。估計注視點渲染技術 (包括眼球追蹤技術) 有可能到 2020 年會成為 VR 產(chǎn)品標配。
高通公司采取了三項技術措施來解決 VR 的眩暈問題。這三項技術措施中首先是控制時延,保證 20 ms 的畫面感時延,可以明顯減緩眩暈感。其次要提高 VR 芯片的處理能力,在高通驍龍 835 平臺的強處理能力下,VR 設備能夠取得主觀上更輕微的不舒適感。此外還要控制定位音效,使定位音效確保不眩暈的幀數(shù)。
人眼為什么在觀察周圍場景的時候有很強的三維立體真實感呢?這是因為人眼可以主動選擇對焦,當人眼觀看近景的時候,遠景是模糊的,反之亦然。而目前的 VR 顯示技術往往是投射全幅清晰的畫面給雙眼,這就不符合人眼觀看周圍景物的習慣,同時也會增加大腦的負擔。目前的 VR 虛擬顯示原理和 3D 顯示都是采用雙目視差的方式,即通過左眼和右眼構成一個 3D 景深效果,從而看到景深的概念和感覺。而事實上相對人眼來說畫面都是投射在固定的焦距上(顯示屏上),人眼的聚焦距離 (通過人眼的晶狀體調(diào)節(jié)屈光度,使眼球聚光的焦點準確地落在視網(wǎng)膜上) 落在屏幕的位置,而雙眼的匯聚距離 (雙眼匯聚焦點的距離) 不斷調(diào)整,這也不符合人眼觀看周圍真實景物的習慣,會導致人眼的焦距紊亂,長時間觀看會使 VR使用者感覺不太舒適,成像不夠逼真,也是導致人們頭暈目眩,眼睛脹痛不良感受的主要原因[7]。
光場掃描顯示技術是對于顯示的視野中的每一點生成一個與虛擬深度相對應的調(diào)節(jié)反應,真實再現(xiàn)景深維度的信息,可以做到觀看近景的時候遠景模糊,觀看遠景的時候近景模糊,這時聚焦距離與匯聚距離是匹配的[8]。
光場掃描顯示技術能夠真實地再現(xiàn)整個光場景物所有方向的光線信息,既包括 (x, y) 平面的幾何位置和顏色信息,還保留了最真實的深度光線信息 (例如不同的光強和顏色),通過模擬整個三維光場,讓人眼得到了真實的視覺感受,尤其是在景深這個維度。
光場掃描顯示的真實性,主要體現(xiàn)在兩個方面:一是使眼睛的聚焦距離與雙眼的匯聚距離一致,解決了 VR 暈動癥的問題;二是人眼可以主動聚焦,聚焦的球面清晰,該球面以外的距離模糊,符合人眼的觀看習慣,理論上與人眼觀看周圍真實物體沒有區(qū)別,似乎應該是 VR 顯示的理想的終級解決方案。
我國成都虛擬世界科技公司 (IDEALENS) 正在開發(fā)這種光場級技術[9],他們將把我國的 VR 帶入光場視網(wǎng)膜成像時代,該公司的做法是在新的光場級技術——光纖掃描中,將光纖掃描器件的體積縮小到比如立方毫米級光纖,把它平鋪在人的眼睛前面,通過一個特制的光學組件投入到眼睛當中,其功率非常小,通過這個過程,實現(xiàn)對于各種景深不同的二維疊加過程中重復模擬,實現(xiàn)三維成像效果,以此技術來替代目前的一些 VR 主流成像技術。它不僅可以解決 VR 眩暈問題,還可以把該技術與 OLED (有機發(fā)光二極管)顯示器相結合,把 VR 眼鏡的尺寸做得更小更輕。
VR、AR 等視頻領域的應用帶來了新的視頻體驗,這種 360 度全景視頻的應用也需要性能優(yōu)越的視頻壓縮技術的支持。新一代高頻視頻壓縮技術——HEVC (Hign Efficiency Video Coding) 能較好滿足用戶觀看 VR 視頻的需求,在相同失真性能下,HEVC 可提高壓縮效率 50% 左右,比原來視頻壓縮技術 H.264節(jié)約 70% 的碼率。意味著可節(jié)省網(wǎng)絡帶寬,享受更高質量視頻內(nèi)容。HEVC 能使 VR 畫面實際偏碼的畫幅變得更大,比如從 2 K 到 4 K,從 4 K 到 8 K 分辨率的變化,使 VR 畫面質量得到提高[10]。
目前,VR 沒有一套專用的操作系統(tǒng),導致 VR設備只能為用戶提供簡單的菜單選項。據(jù)悉,微軟公司推出的操作系統(tǒng) Windows 10 是專為 VR 和 AR 開發(fā)的,微軟憑借 Windows 10 推動 VR 和 AR 領域的技術進展,包括宏基、華碩、戴爾、惠普以及聯(lián)想在內(nèi)的企業(yè),都打算推出支持 Windows 10 的頭戴式 VR設備。
VR 獲得的技術成果所顯示出來的技術進步可以較大地改善 VR 質量,提升 VR 產(chǎn)品的形象,并帶動VR 產(chǎn)品價格逐步走低,使 VR 從試水性產(chǎn)品逐步向更廣闊的消費級產(chǎn)品演進,VR 產(chǎn)品的市場銷量將會逐步提高,VR 行業(yè)也會慢慢的從窘境中恢復過來,進入正常的發(fā)展路徑。
[1] 張文俊等. 數(shù)字媒體技術基礎[M]. 上海: 上海大學出版社, 2007.
[2] 孫永杰. 主觀與客觀:2016年VR為何雷聲大雨點小?[J]. 通信世界, 2017(1):8-8.
[3] 趙艷薇, 魏慧. 2017年ICT十大趨勢解讀[J]. 通信世界,2017(1): 19.
[4] 王新喜. VR越做越便宜被鄙視,到底需要反思什么?[J]. 通信世界, 2017(6): 55-56.
[5] 馬國強. 新通信時代視頻壓縮技術面臨哪些機遇與挑戰(zhàn)[J]. 通信世界, 2017(12): 48.
[6] 康嘉林. 做對這三件事, VR眩暈難題就解決了[J]. 通信產(chǎn)業(yè)報, 2017(8): 17.
[7] 侯云仙. 超線硬件, VR應用成投寬熱點[J]. 通信世界,2017(13): 9.
[8] 高超. VR為啥雷聲大雨點小?[J]. 通信產(chǎn)業(yè)報, 2017(20):23.
[9] 康嘉林. 打令手機: 一鍵拍出VR照[J]. 通信產(chǎn)業(yè)報,2017(32): 25.
[10] 陳聰林. VR進入光場視網(wǎng)膜成像時代[J]. 通信產(chǎn)業(yè)報,2017(33):22.