徐碩+孟坤+李淑琴+丁濛+鄔麗君

摘要： 關(guān)鍵詞： 中圖分類號(hào)： 文獻(xiàn)標(biāo)志碼： A文章編號(hào)： 2095-2163（2017）06-0028-04

Abstract： Virtual Reality and Augmented Reality， as a link between the digital world and the real scene， have become one of the core technologies of immersive digital applications， and immersive digital applications are bound to explode with the support of related devices. This paper introduces the existing application scenarios and equipment configuration， analyzes and summarizes the key technology， implementation mode and potential scientific problems of data acquisition， data transmission， real-time interaction and case reconstruction.

0引言

2016年，針對(duì)下一代智能計(jì)算平臺(tái)，國(guó)內(nèi)外興起一場(chǎng)史無(wú)前例的虛擬現(xiàn)實(shí)[1]（Virtual Reality，VR）“嘉年華”。追溯原因可知，其一，是二維到三維技術(shù)的轉(zhuǎn)變；其二，虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)（Argument Reality，AR）將成為智能手機(jī)之后下一代個(gè)人計(jì)算和信息通信平臺(tái)，甚至可以完全替代其他移動(dòng)設(shè)備。因此，本文系統(tǒng)地總結(jié)了VR/AR應(yīng)用場(chǎng)景和設(shè)備形態(tài)發(fā)展?fàn)顩r，并從數(shù)據(jù)采集、傳輸、交互與情形實(shí)時(shí)再現(xiàn)等方面對(duì)涉及的關(guān)鍵技術(shù)和實(shí)現(xiàn)方式進(jìn)行剖析。

1虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)

1.1虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)概念

虛擬現(xiàn)實(shí)是由計(jì)算機(jī)視覺、仿真技術(shù)、人機(jī)交互等多種信息技術(shù)演變發(fā)展而來(lái)的新型計(jì)算機(jī)技術(shù)。通過將視覺與現(xiàn)實(shí)世界隔離開，借助顯示設(shè)備，使人能夠穿越沉浸于一個(gè)完全的虛擬世界。所謂增強(qiáng)現(xiàn)實(shí)，是將虛擬信息疊加在以識(shí)別物為基準(zhǔn)的某個(gè)位置，并可實(shí)時(shí)交互虛擬信息，以此增強(qiáng)視覺效果。作為上述兩者的結(jié)合產(chǎn)物，混合現(xiàn)實(shí)（Mixed Reality，MR），是將現(xiàn)實(shí)與虛擬世界合并后形成數(shù)字與物理對(duì)象共存的、可交互的全新可視化環(huán)境。

1.2VR/AR的技術(shù)分類

目前，VR/AR技術(shù)主要分為桌面式、分布式、沉浸式和增強(qiáng)式四種，如表1所示。

1）輕量級(jí)VR。即依托移動(dòng)設(shè)備的頭戴式VR，無(wú)獨(dú)立的計(jì)算與存儲(chǔ)配件及顯示設(shè)備，沉浸效果較差，但成本較低，易攜帶。

2）基于PC的VR。是將PC作為計(jì)算和存儲(chǔ)設(shè)備進(jìn)行有線連接的頭戴式設(shè)備，結(jié)構(gòu)較復(fù)雜，但具備獨(dú)立的顯示屏，沉浸感較好。

3）獨(dú)立式VR。內(nèi)置CPU/GPU、顯示屏等部件，能夠獨(dú)立運(yùn)行。迄今尚未成熟，但有望成為未來(lái)的主流設(shè)備形態(tài)。

輸入設(shè)備目前主要包含：動(dòng)作捕捉器、位置跟蹤器、眼動(dòng)儀等。

2VR/AR的常見應(yīng)用

2.1游戲娛樂類

游戲是VR技術(shù)重要突破口，也是以最輕松的方式認(rèn)識(shí)和學(xué)習(xí)新事物的一種良好渠道。目前，以頭戴式設(shè)備（HMD）為主的沉浸式游戲模式已掀起了業(yè)界熱潮。已有不少公司發(fā)布了各類虛擬現(xiàn)實(shí)游戲及相關(guān)設(shè)備，從根本上改變了傳統(tǒng)的鍵鼠/手柄操作模式。其中，Oculus在FPS射擊游戲上的成果獲得較強(qiáng)吸引力，如圖1所示。

HMD這種即時(shí)跟蹤，能夠通過調(diào)整用戶游戲視角，完善游戲體驗(yàn)的模式，彌補(bǔ)3D游戲沉浸感的不足。雖然多數(shù)游戲依然處于探索階段，但隨著時(shí)間的推移，VR/AR游戲勢(shì)必受到為數(shù)眾多年輕人的推崇與追捧。

在影視娛樂方面，VR技術(shù)的應(yīng)用場(chǎng)景經(jīng)歷了本地視頻改造、VR動(dòng)畫展示、及借助360°全景攝像、雙目攝像等設(shè)備，通過拼接算法制作UGC影視等多個(gè)過程。在電影領(lǐng)域，更多地采用VR技術(shù)拍攝的影片進(jìn)入大眾視野。

2.2商業(yè)服務(wù)類

2.2.1數(shù)字科技館/博物館

在數(shù)字科技館/博物館方面，最初，從參與者通過鍵鼠操作瀏覽預(yù)制的虛擬場(chǎng)景和展物到利用3D眼鏡等穿戴式設(shè)備實(shí)現(xiàn)人機(jī)互動(dòng)，更好地體驗(yàn)“身臨其境”的感覺[2]。部分學(xué)者認(rèn)為，以3D VR為基礎(chǔ)，通過簡(jiǎn)單的展現(xiàn)和描述物品的模式不如傳統(tǒng)網(wǎng)站以敘事的方式更有利于對(duì)文化內(nèi)容的學(xué)習(xí)和理解。最終，通過建立云端3D 虛擬展覽館，借助虛擬人物和游戲的方式營(yíng)造文化遺產(chǎn)的學(xué)習(xí)環(huán)境的方式贏得了專家的肯定。在增強(qiáng)交互性的同時(shí)，也達(dá)到傳播知識(shí)的目的[3]。

目前，國(guó)內(nèi)外已建立了一系列大型虛擬博物館，如阿伽門農(nóng)博物館、大英博物館、奧運(yùn)博物館等。這些場(chǎng)館的出現(xiàn)成功解決了實(shí)體博物館時(shí)間、空間、交互的限制，有效縮短了展品的更新周期，是檢驗(yàn)新技術(shù)，促進(jìn)國(guó)際性交流、學(xué)術(shù)研究的重要科普方式。

2.2.2軍事模擬訓(xùn)練

VR技術(shù)是被NASA和相關(guān)軍事部門最早應(yīng)用于美軍軍事作戰(zhàn)領(lǐng)域的高端技術(shù)，其具體應(yīng)用主要體現(xiàn)在：基于VR和MR環(huán)境的單兵模擬訓(xùn)練[4]、多軍種聯(lián)合虛擬仿真演習(xí)（如圖2所示），即通過網(wǎng)絡(luò)采取虛擬實(shí)體與分布式虛擬戰(zhàn)場(chǎng)結(jié)合的無(wú)縫交互環(huán)境模擬訓(xùn)練[5]，并拓展了一系列新應(yīng)用，如：高新武器研發(fā)與設(shè)計(jì)、信息網(wǎng)絡(luò)虛擬戰(zhàn)等[6]。

未來(lái)VR 技術(shù)模擬訓(xùn)練則將向分布式模擬訓(xùn)練方式轉(zhuǎn)變；將游戲融入軍事訓(xùn)練；在虛擬現(xiàn)實(shí)中加入全息影像技術(shù)，以借助LVC[7]實(shí)現(xiàn)未來(lái)作戰(zhàn)系統(tǒng)。不難看出，現(xiàn)代軍事的發(fā)展將會(huì)更多地依托于高端技術(shù)，隨著VR等新型技術(shù)的連續(xù)涌現(xiàn)，將有利于削減軍事成本開支，降低實(shí)戰(zhàn)演練中的不必要傷亡，提高戰(zhàn)斗效率。endprint

2.2.3醫(yī)學(xué)仿真訓(xùn)練

VR技術(shù)在醫(yī)學(xué)方面的需求堪稱龐大，而且醫(yī)學(xué)診療中面臨的眾多疑難雜癥對(duì)VR技術(shù)的快速發(fā)展則提供了強(qiáng)勁動(dòng)力。目前，在人體結(jié)構(gòu)數(shù)字化、虛擬手術(shù)訓(xùn)練、輔助教學(xué)[8]、遠(yuǎn)程協(xié)作[9]、康復(fù)治療等方面，VR技術(shù)已得到成熟及深入的發(fā)展應(yīng)用。

其中，虛擬手術(shù)訓(xùn)練是VR在醫(yī)學(xué)領(lǐng)域的主流重要應(yīng)用。將VR與三維可視化系統(tǒng)結(jié)合，在交互式虛擬環(huán)境中表示各種器官、組織等信息，能夠?yàn)獒t(yī)學(xué)人員提供自主學(xué)習(xí)和評(píng)估的功能。同時(shí)，低成本的VR系統(tǒng)在為新手醫(yī)生錘煉和增強(qiáng)手術(shù)技巧方面已成為任何一家醫(yī)療機(jī)構(gòu)的不錯(cuò)選擇[10]。虛擬手術(shù)訓(xùn)練可以輔助醫(yī)生定制合理的手術(shù)方案，減少手術(shù)傷害，提高手術(shù)成功率。

2.3生活服務(wù)類

2.3.1旅游

隨著人們生活需求的不斷增高，旅游已經(jīng)成為生活中必不可少的組成部分。時(shí)下，VR技術(shù)在旅游中的應(yīng)用也逐漸呈現(xiàn)成熟發(fā)展態(tài)勢(shì)。

起初，虛擬旅游將VR結(jié)合地理信息系統(tǒng)、全景技術(shù)生成全景旅游景點(diǎn)模型，實(shí)現(xiàn)無(wú)交互的虛擬漫游[11]。隨著多媒體、3D建模技術(shù)的發(fā)展，基于Web 3D的虛擬旅游系統(tǒng)得以研發(fā)問世，借此用戶足不出戶即可對(duì)模擬構(gòu)建的3D歷史景觀或現(xiàn)存景觀做到選取任意路線，并以任意角度觀賞、瀏覽，同時(shí)還具有較強(qiáng)的交互性[12]。這些功能應(yīng)用均有效提升了用戶的臨場(chǎng)感，并降低了旅游成本，保障了安全。

2.3.2智能家居

智能家居作為智能空間的典型代表，已成為虛擬現(xiàn)實(shí)應(yīng)用的重點(diǎn)領(lǐng)域。目前主要以Web3D結(jié)合無(wú)線傳感器網(wǎng)絡(luò)，通過傳感器采集室內(nèi)物體的濕溫等數(shù)據(jù)，由可穿戴醫(yī)療傳感器采集用戶實(shí)時(shí)的體征信息構(gòu)建智能家居模型，以此實(shí)時(shí)獲取室內(nèi)的信息，進(jìn)而控制智能家居設(shè)備[13]。

3基于VR/AR的關(guān)鍵技術(shù)

3.1數(shù)據(jù)采集與優(yōu)化傳輸技術(shù)

數(shù)據(jù)獲取通常采用直接采樣技術(shù)的方式，這里僅限三維場(chǎng)景中事物。如針對(duì)光照、火焰、動(dòng)態(tài)地形等自然現(xiàn)象的數(shù)據(jù)獲取多采用如下3種方法 [14] ：

1）利用全向相機(jī)拍攝高動(dòng)態(tài)、多維度的圖像。

2）利用高速攝像機(jī)進(jìn)行實(shí)時(shí)跟蹤拍攝。

3）利用激光設(shè)備進(jìn)行時(shí)變數(shù)據(jù)的多維可控捕獲。

數(shù)據(jù)傳輸?shù)臋C(jī)制是網(wǎng)絡(luò)中的節(jié)點(diǎn)在消息等待發(fā)送時(shí)，首先計(jì)算出消息自身的傳輸概率，然后獲得通信范圍內(nèi)其他節(jié)點(diǎn)的消息轉(zhuǎn)發(fā)概率，隨后將消息轉(zhuǎn)發(fā)到所有轉(zhuǎn)發(fā)概率大于自身傳輸概率的節(jié)點(diǎn)。

為優(yōu)化數(shù)據(jù)傳輸技術(shù)，滿足低功耗、低延遲、高效率等特點(diǎn)，保證數(shù)據(jù)傳輸?shù)目煽啃?，文獻(xiàn)[15]提出基于容忍延遲的面向消息的覆蓋層體系結(jié)構(gòu)的不同轉(zhuǎn)發(fā)概率的動(dòng)態(tài)數(shù)據(jù)轉(zhuǎn)發(fā)策略，但這種數(shù)據(jù)傳輸機(jī)制存在明顯的高延遲和高中斷缺陷。

3.2交互與情形實(shí)時(shí)再現(xiàn)技術(shù)

3.2.1觸/力覺反饋技術(shù)

在VR應(yīng)用中，交互接觸方式可分為力覺反饋和觸覺反饋兩種，內(nèi)容闡釋如下[16]：

1）力覺反饋。是指借助操作控制桿的反作用力效果將虛擬物體的運(yùn)動(dòng)軌跡轉(zhuǎn)換成真實(shí)物體的機(jī)械運(yùn)動(dòng)，使用戶享受到真實(shí)的力覺感知體驗(yàn)。

2）觸覺反饋。是通過手戴3D數(shù)據(jù)手套獲取手掌和手指的形態(tài)、溫度等信息，來(lái)滿足用戶對(duì)虛擬物體的移動(dòng)、抓取、觸摸等操作。PlayStation VR是基于手套形態(tài)的交互設(shè)備，手套的每根手指都集成柔性壓力傳感器，通過傳感器收集的數(shù)據(jù)進(jìn)行手勢(shì)識(shí)別，并將其轉(zhuǎn)換為相應(yīng)指令決策控制輸入。

3.2.2跟蹤定位方式

跟蹤定位方式分為有源和無(wú)源兩類，對(duì)其可做解析分述如下：

1）有源跟蹤定位方法。是一種利用聲波、電磁波位置跟蹤器發(fā)射不同源，通過測(cè)量不同源的時(shí)間差、相位差、耦合度來(lái)推定被跟蹤對(duì)象的空間方位。上述跟蹤方式雖然在精度、成本上各具優(yōu)勢(shì)，但易受到周圍場(chǎng)景的干擾。另一種是光學(xué)位置跟蹤方式[17]，利用環(huán)境光或跟蹤器光源發(fā)出的光的投影確定被跟蹤對(duì)象的方位。

2）無(wú)源定位跟蹤。是利用加速器和陀螺構(gòu)成慣性傳感器，分別獲取轉(zhuǎn)動(dòng)角度與移動(dòng)位置的變化。通過高頻的刷新率來(lái)獲得實(shí)時(shí)定位。

3.2.3高效可靠的渲染技術(shù)

目前，多數(shù)VR渲染引擎均為明確直接地渲染兩遍。有學(xué)者采用降低API調(diào)用次數(shù)的優(yōu)化方法加快渲染速度，相比左、右眼整個(gè)場(chǎng)景先后渲染兩次，僅對(duì)每個(gè)物體提交兩次渲染，而且借助Instancing 技術(shù)，只提交一次數(shù)據(jù)，一個(gè)物體只渲染一次，能夠優(yōu)勢(shì)提升渲染效果[18-19]。

3.2.4逼真的顯示方式

當(dāng)前場(chǎng)景顯示設(shè)備以頭戴式顯示設(shè)備（HMD）為主，其中的非透視式HMD是目前消費(fèi)級(jí)VR產(chǎn)品的首選，通過對(duì)用戶的頭部和其它部位的動(dòng)作捕捉，將三維場(chǎng)景呈現(xiàn)在顯示器上，給予用戶一種沉浸感。而透視式HMD則是AR系統(tǒng)的選擇，其與VR設(shè)備的區(qū)別就在于，前端需要增加獲取真實(shí)環(huán)境的數(shù)據(jù)采集設(shè)備，將現(xiàn)實(shí)情境與生成的虛擬情境合成后才能提交呈現(xiàn)給用戶。

4結(jié)束語(yǔ)

過去幾年，VR/AR在理論研究、關(guān)鍵技術(shù)創(chuàng)新、應(yīng)用拓展等方面取得了突破性成果。未來(lái)，隨著VR/AR技術(shù)的不斷進(jìn)步，在電子商務(wù)、電視直播、社交等領(lǐng)域，有望突破時(shí)空約束，用戶可通過“化身”的表現(xiàn)來(lái)改善性格，甚至進(jìn)行“全球購(gòu)物”，給用戶帶來(lái)更充沛的臨場(chǎng)感。為實(shí)現(xiàn)上述目標(biāo)期許，在一些關(guān)鍵技術(shù)與理論支撐上，后續(xù)研究仍然面臨著巨大的挑戰(zhàn)。

參考文獻(xiàn)：

[1] 趙沁平. 虛擬現(xiàn)實(shí)綜述[J]. 中國(guó)科學(xué)（F輯：信息科學(xué)）， 2009，39 （1）：2-46.

[2] HAYASHI M， BACHELDER S， NAKAJIMA M，et al. A new virtual museum equipped with automatic video content generator[C]//International Conference onCyberworlds（CW）. Santander， Spain：IEEE，2014：377-383.endprint

[3] PETRIDIS P， DUNWELL I， LIAROKAPIS F， et al. The Herbert virtual museum[J]. Journal of Electrical and Computer Engineering，2013，2013：1-8.

[4] SADAGIC A. Next generation of physical training environments： Bringing in sensor systems and virtual reality technologies[M]// SCHMORROW D D， FIDOPIASTIS C M. Foundations of Augmented Cognition. AC 2013. Lecture Notes in Computer Science， Berlin/Heidelberg：Springer， 2013， 8027：717-726.

[5] AN Xing， LI Gang， XU Linwei，et al. A survey on application of virtual reality technology in U.S military simulation training [J]. Electronic Optics & Control， 2011， 18（10）：42-46.

[6] LELE A. Virtual reality and its military utility[J]. Journal of Ambient Intelligenceand Humanized Computing， 2013， 4（1）：17-26.

[7] NEWENDORP B J， NOON C， HOLUB J， et al. Configuring virtual reality displays in a mixedreality environment for LVC training[C]//ASME 2011 World Conference on Innovative Virtual Reality. Milan， Italy：AMSE， 2011：423-430.

[8] FALAH J， KHAN S， ALFALAH T， et al. Virtual reality medical training system for anatomy education[C]//Science and Information Conference（SAI）. London， UK：IEEE， 2014：752-758.

[9] MI Shaohua， HOU Zengguang， YANG Fan. An 3D interactive virtual reality software toolkit for minimally invasive vascular surgery[C]//IEEE International Conference on Mechatronics and Automation（ICMA）. Tianjin， China：IEEE， 2014：588-593.

[10]PARK C H， WILSON K L， HOWARD A M. Pilot study：Supplementing surgical training for medical students using a low-cost virtual reality simulator[C]// IEEE 27th International Symposium on Computerbased Medical Systems. Washington， DC， USA：IEEE， 2014：125-127.

[11]JIANG Wenyan， ZHU Xiaohu， CHEN Chen. Research progress of virtual tourism[J]. Science & Technology Review， 2007， 25（14）：53-57.

[12]TAN Yunlan， JIA Jinyuan， PENG Shuo，et al. Survey on some key technologies of virtual tourism system based on Web3D[J]. Journal of System Simulation， 2014， 26（7）：1541-1548.

[13]HU Wenshan， ZHOU Hong， LIN Chaoyang， et al. Design of Webbased smart home with 3D virtural reality interface[C]// 2012 UKACC International Conference on Control. Cardiff：IEEE， 2012：223-228.

[14]趙沁平. 自然現(xiàn)象的數(shù)據(jù)獲取與模擬[J]. 中國(guó)科學(xué)：信息科學(xué)， 2011， 41（4）：385-419.

[15]XU Fulong， LIU Ming， GONG Haigang， et al. Relative distanceaware data delivery scheme for delay tolerant mobile sensor networks[J]. Journal of Software， 2010， 21（3）：490-504.

[16]BARE B， MARTIN J， SELLS P， et al. Method and system for disambiguation of augmented reality tracking databases： US，027333[P]. 2014-09-25.

[17]BLASCOVICH J， BAILENSON J. 虛擬現(xiàn)實(shí)：從阿凡達(dá)到永生[M]. 辛江，譯. 北京：科學(xué)出版社，2015.

[18]KAPLANYAN A S， HILL S， PATNEY A， et al. Filtering distributions of normals for shading antialiasing[C]//Proceedings of High Performance Graphics. Switzerland ：Eurographics Association， 2016：151-162.

[19]DUPUY J， HEITZ E， IEHL J C， et al. Linear efficient antialiased displacement and reflectance mapping[J]. Acm Transactions on GraphicsProceedings of ACM Siggeraph Asia， 2013， 2013， 32（6）：1-11.endprint