□文│徐奇智 劉雪琛 周榮庭
增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality,簡(jiǎn)稱AR)是指借助計(jì)算機(jī)圖形技術(shù)、可視化技術(shù)等技術(shù)將虛擬信息疊加集成在真實(shí)世界,使得真實(shí)世界和虛擬信息同時(shí)存在,從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)的一種技術(shù)。[1]這種技術(shù)的目標(biāo)是在電子屏幕上(或目鏡上),把虛擬世界加入現(xiàn)實(shí)世界影像上并進(jìn)行互動(dòng)。其基礎(chǔ)技術(shù)包括跟蹤定位技術(shù)、用戶交互技術(shù)、虛擬融合技術(shù)和系統(tǒng)顯示技術(shù)。
一般認(rèn)為,波音公司的湯姆·考戴爾(Tom Caudell)在 1990年創(chuàng)造的“Augmented Reality”這個(gè)術(shù)語(yǔ)是首次提出增強(qiáng)現(xiàn)實(shí)的概念??即鳡枌⒅糜诿枋鲆环N在現(xiàn)實(shí)世界影像之上疊加計(jì)算機(jī)虛擬圖像的技術(shù)。[2]AR技術(shù)隨著移動(dòng)平臺(tái)的興起快速發(fā)展,逐漸應(yīng)用到眾多的數(shù)字內(nèi)容中,形成了增強(qiáng)現(xiàn)實(shí)出版物。趙丹在2016年認(rèn)為:“增強(qiáng)現(xiàn)實(shí)出版物 (Augmented Reality Publication, 簡(jiǎn)稱 ARP),是在傳統(tǒng)紙質(zhì)出版物的基礎(chǔ)上,利用增強(qiáng)現(xiàn)實(shí)技術(shù)中的三維注冊(cè)和攝像頭的圖像識(shí)別等技術(shù)識(shí)別標(biāo)識(shí)或圖形,在屏幕上顯示出虛擬的三維物體和場(chǎng)景,實(shí)現(xiàn)虛實(shí)結(jié)合、實(shí)時(shí)交互的立體出版物?!盵3]這一定義的缺陷在于把增強(qiáng)現(xiàn)實(shí)出版物限制為傳統(tǒng)印刷出版物的補(bǔ)充數(shù)字內(nèi)容,雖然目前國(guó)內(nèi)主要的AR出版機(jī)構(gòu)還是傳統(tǒng)的出版社,但游戲、廣告、電視、報(bào)紙、玩具、教育甚至新媒體等行業(yè)的企業(yè)也開(kāi)始越來(lái)越多地介入AR內(nèi)容出版中。
除了內(nèi)容創(chuàng)意,這些AR出版機(jī)構(gòu)面臨的最大挑戰(zhàn)還在于技術(shù)解決方案的選擇。大部分AR技術(shù)解決方案都掌握在信息技術(shù)供應(yīng)商手中,出版機(jī)構(gòu)只能將AR技術(shù)開(kāi)發(fā)外包給IT供應(yīng)商,限制了內(nèi)容創(chuàng)意的發(fā)揮。對(duì)于AR技術(shù)缺乏了解,已經(jīng)成為眾多出版社在出版AR內(nèi)容時(shí)的最大困擾,盡管很多出版機(jī)構(gòu)并未意識(shí)到這一點(diǎn)。
在國(guó)內(nèi)文獻(xiàn)檢索中,凡是涉及AR出版的論文,總體上對(duì)AR技術(shù)缺乏深入的了解,甚至給研究帶來(lái)了諸多的限制與約束。而在計(jì)算機(jī)科學(xué)領(lǐng)域,涉及AR技術(shù)的內(nèi)容,大多集中于3D技術(shù)、計(jì)算機(jī)視覺(jué)、識(shí)別與定位算法等底層領(lǐng)域,對(duì)AR出版者幫助甚少。在對(duì)一些技術(shù)社區(qū)的調(diào)查中,有一些AR技術(shù)社區(qū)總結(jié)了一些技術(shù)解決方案的優(yōu)劣或特點(diǎn),但是,我們未發(fā)現(xiàn)任何針對(duì)AR出版各環(huán)節(jié)提供的技術(shù)方案比較,也沒(méi)有如何根據(jù)出版物需求和內(nèi)容創(chuàng)意進(jìn)行AR技術(shù)解決方案選擇的指南。
本文嘗試從出版機(jī)構(gòu)的角度,根據(jù)其掌握的受眾、創(chuàng)意、內(nèi)容等信息,提供一份技術(shù)解決方案選擇的指南。
在選擇技術(shù)解決方案時(shí),需要綜合考慮各種因素,包括內(nèi)容形式、受眾、發(fā)行渠道、使用環(huán)境等維度,從而選擇最適合的技術(shù)解決方案。
AR圖書(shū)是目前最常見(jiàn)的AR出版物,而且一般提起AR出版物都是指以實(shí)體印刷品為載體的AR應(yīng)用。AR技術(shù)的作用主要是用作數(shù)字內(nèi)容和印刷品之間橋梁,方便用戶通過(guò)印刷品獲得數(shù)字內(nèi)容。但在實(shí)際應(yīng)用中,很多AR出版物雖然使用了AR技術(shù),其使用方法完全可以被成本更低的二維碼解決方案取代。
AR游戲是以《精靈寶可夢(mèng)GO》為代表的一種新的電子游戲形態(tài)。玩家可以在現(xiàn)實(shí)世界中與一些虛擬形象進(jìn)行互動(dòng),從而完成任務(wù)以獲得游戲體驗(yàn)。與傳統(tǒng)電子游戲的區(qū)別就在于,這類AR游戲要求玩家在現(xiàn)實(shí)世界的空間中完成游戲過(guò)程。
除了AR圖書(shū)與AR游戲,還有一些AR應(yīng)用是屬于工具類、資料類或教育類的應(yīng)用,比如AR翻譯、AR動(dòng)植物識(shí)別、AR導(dǎo)覽等。
目前AR出版物的主要受眾是少年兒童,但幼兒與中小學(xué)生的應(yīng)用還有一些區(qū)別。從操作能力來(lái)看,幼兒在把持移動(dòng)設(shè)備或穿戴設(shè)備的能力上不足,而一般中小學(xué)生可以較為熟練地使用各種設(shè)備。從內(nèi)容定位上,幼兒內(nèi)容強(qiáng)調(diào)寓教于樂(lè),娛樂(lè)性更強(qiáng);中小學(xué)生的應(yīng)用要么是單純的游戲,要么是單純的學(xué)習(xí),娛樂(lè)與學(xué)習(xí)的融合較少。
在文獻(xiàn)調(diào)查的過(guò)程中發(fā)現(xiàn),職業(yè)教育與專業(yè)培訓(xùn)領(lǐng)域是被忽視的領(lǐng)域。AR有很大一部分應(yīng)用領(lǐng)域是在具體技能培訓(xùn)中,比如修理汽車(chē)發(fā)動(dòng)機(jī)、維修機(jī)柜排線等。此外,也有一些特定領(lǐng)域的AR出版物是為普通大眾設(shè)計(jì)的,其中AR游戲是數(shù)量最多的,而AR廣告、展覽場(chǎng)館的AR展品等常有出彩的表現(xiàn),具有一定的吸睛效果。
傳統(tǒng)發(fā)行渠道即是指AR出版物中的印刷品通過(guò)傳統(tǒng)圖書(shū)發(fā)行渠道發(fā)行,而其配套的AR數(shù)字內(nèi)容通過(guò)圖書(shū)上提供的鏈接或二維碼進(jìn)行下載。目前也有部分產(chǎn)品先發(fā)行數(shù)字內(nèi)容再通過(guò)數(shù)字內(nèi)容發(fā)行平臺(tái)購(gòu)買(mǎi)配套圖書(shū),可以通過(guò)AR技術(shù)將圖書(shū)和數(shù)字內(nèi)容連接起來(lái)。
應(yīng)用發(fā)行渠道通常是指包括蘋(píng)果的應(yīng)用商城、安卓的各種應(yīng)用市場(chǎng)、STEAM(全球最大游戲發(fā)行平臺(tái),也是全球較大的綜合性數(shù)字發(fā)行平臺(tái))等發(fā)行渠道。
教育/B2B渠道指教育行業(yè)中AR出版物由機(jī)構(gòu)采購(gòu)后分發(fā)給用戶的模式,通常是AR出版機(jī)構(gòu)面對(duì)學(xué)校和各類校外培訓(xùn)機(jī)構(gòu)的商業(yè)模式。這是AR內(nèi)容進(jìn)入學(xué)校和各類展館的主要渠道。
嚴(yán)格地說(shuō),社交網(wǎng)絡(luò)并不是一個(gè)獨(dú)立的發(fā)行渠道,更多時(shí)候是作為發(fā)行渠道配套的宣傳推廣平臺(tái)使用。一般用戶通過(guò)社交網(wǎng)絡(luò)得到某個(gè)AR應(yīng)用的信息,還需要轉(zhuǎn)到傳統(tǒng)發(fā)行渠道購(gòu)買(mǎi)圖書(shū),或進(jìn)入對(duì)應(yīng)的應(yīng)用發(fā)行渠道下載AR內(nèi)容。但是,隨著各大社交網(wǎng)絡(luò)功能的逐漸強(qiáng)大,社交網(wǎng)絡(luò)開(kāi)放平臺(tái)能夠支持越來(lái)越多的應(yīng)用形態(tài),而且HTML5(超文本標(biāo)記語(yǔ)言的第五次重大修改)技術(shù)能夠支持更復(fù)雜的3D交互和硬件調(diào)用,有一些AR內(nèi)容已經(jīng)開(kāi)始試驗(yàn)性地在社交網(wǎng)絡(luò)上發(fā)行和直接使用,例如一些AR廣告應(yīng)用。
移動(dòng)環(huán)境是指在移動(dòng)設(shè)備上使用AR內(nèi)容的環(huán)境,也是目前AR內(nèi)容的主要環(huán)境。因?yàn)橐苿?dòng)設(shè)備集成有AR應(yīng)用必須的攝像頭,以及可以極大地?cái)U(kuò)展AR應(yīng)用形態(tài)的各種傳感器,所以目前的AR出版物主要都將移動(dòng)環(huán)境作為主要環(huán)境。在未來(lái)應(yīng)當(dāng)特別關(guān)注的是,除了智能手機(jī)和平板電腦,類似微軟的Hololens(微軟2015年發(fā)布的頭戴式顯示設(shè)備,支持融合現(xiàn)實(shí)技術(shù))、谷歌的Google Glass(谷歌2012年發(fā)布的“增強(qiáng)現(xiàn)實(shí)”眼鏡)的穿戴式設(shè)備將有可能成為移動(dòng)環(huán)境中使用的另一大類設(shè)備。
固定環(huán)境是AR應(yīng)用的另外一個(gè)場(chǎng)景,通常是指在某個(gè)固定場(chǎng)地中使用不可移動(dòng)的設(shè)備完成AR應(yīng)用,比較流行的有基于微軟Kinect的一些AR解決方案。另外配備有內(nèi)置或外接攝像頭的桌面電腦也可以當(dāng)作AR的使用環(huán)境。在展覽場(chǎng)館的AR應(yīng)用中,還可以看到一些比較大型的定制AR設(shè)備,主要由顯示設(shè)備、主機(jī)再加上視頻采集設(shè)備構(gòu)成。
AR出版物的技術(shù)解決方案無(wú)非是“云”與“端”兩個(gè)部分及兩者之間的通信方案構(gòu)成(參見(jiàn)圖1)?!霸啤敝饕侵冈诜?wù)器端為AR出版物提供支持的各種服務(wù),“端”是指用戶消費(fèi)AR內(nèi)容時(shí)所使用的硬件設(shè)備和軟件,而“云”與“端”之間的通信主要是指兩者之間完成APP(Application的縮寫(xiě),目前特指智能移動(dòng)設(shè)備上以桌面圖標(biāo)為入口的應(yīng)用軟件)下載、內(nèi)容下載以及其他數(shù)據(jù)傳輸所需的通信過(guò)程。
圖1 一般AR出版物技術(shù)解決方案組成結(jié)構(gòu)簡(jiǎn)圖
通常“云”要解決的問(wèn)題主要是APP下載、內(nèi)容下載和用戶管理的問(wèn)題,因此一般會(huì)在云提供管理信息系統(tǒng)(Management Information System, MIS系統(tǒng))和云存儲(chǔ)。這部分不存在太多難以選擇的解決方案,而且各種方案相對(duì)成熟。
但是在用戶訪談中發(fā)現(xiàn),絕大部分AR出版機(jī)構(gòu)在使用公有云服務(wù)還是自建私有云服務(wù)的選擇上還是存在誤區(qū)。出版機(jī)構(gòu)一般認(rèn)為,自建私有云服務(wù)安全性更高、更可控,并因此傾向于自建私有云而非選擇阿里云或騰訊云這樣的公有云服務(wù)。筆者團(tuán)隊(duì)對(duì)各種云服務(wù)解決方案進(jìn)行了比較(參見(jiàn)表1),在出版機(jī)構(gòu)可承受的成本范圍內(nèi),公有云服務(wù)從安全性、可靠性、訪問(wèn)速度、可擴(kuò)展性等方面全面優(yōu)于一般的私有云服務(wù)。此外,國(guó)內(nèi)的阿里云和騰訊云還為開(kāi)發(fā)者提供很多基礎(chǔ)云服務(wù)或接入第三方云服務(wù),如流媒體服務(wù)、文件存儲(chǔ)服務(wù)、數(shù)據(jù)采集服務(wù)等,極大地降低了開(kāi)發(fā)者的風(fēng)險(xiǎn)和成本。
在AR出版物的技術(shù)解決方案中,因?yàn)橛脩魩缀跬耆峭ㄟ^(guò)“端”來(lái)消費(fèi)AR內(nèi)容,因此“端”是最復(fù)雜的部分。通過(guò)圖1可以看出,“端”主要由硬件平臺(tái)、操作系統(tǒng)、AR SDK和AR應(yīng)用4個(gè)部分組成。
硬件平臺(tái)的解決方案分為移動(dòng)終端、桌面終端、游戲主機(jī)、穿戴式設(shè)備和其他定制終端等5個(gè)類別(參見(jiàn)表2)。移動(dòng)終端主要是指各類智能手機(jī)和平板電腦;桌面終端包括臺(tái)式計(jì)算機(jī)和筆記本電腦;游戲主機(jī)主要是PS4(索尼公司的游戲主機(jī) Play Station 4)、Xbox(微軟的游戲主機(jī))等主機(jī);目前支持AR應(yīng)用的穿戴式設(shè)備主要是微軟 Hololens、谷歌 Glass、索尼 SmartEyeGlass(索尼公司2014年發(fā)布的智能眼鏡原型)等;定制終端主要是在各展覽場(chǎng)館、商業(yè)中心用于展示的AR設(shè)備。
表1 公有云與私有云比較
表2 硬件平臺(tái)比較
操作系統(tǒng)主要分為桌面操作系統(tǒng)和移動(dòng)操作系統(tǒng)兩種。桌面操作系統(tǒng)中,Windows占據(jù)絕對(duì)多數(shù)用戶,Mac和各版本Linux也有一些用戶。移動(dòng)操作系統(tǒng)中iOS(蘋(píng)果公司的移動(dòng)終端操作系統(tǒng))和Android兩分天下,Windows Phone(微軟公司的移動(dòng)終端操作系統(tǒng))已逐漸消亡。游戲主機(jī)中的操作系統(tǒng)一般是游戲主機(jī)廠商深度定制的封閉操作系統(tǒng),比如PS4采用的是FreeBSD 9.0(一種類Unix操作系統(tǒng))的定制版,XBox One采用了Windows 8的精簡(jiǎn)版。穿戴式設(shè)備的體積較小,一般采用移動(dòng)操作系統(tǒng),而定制終端一般體積龐大,采用桌面操作系統(tǒng)的居多。
AR SDK是AR應(yīng)用的核心,AR的各項(xiàng)功能和特性都依賴于AR SDK的支撐。目前國(guó)內(nèi)大多數(shù)AR應(yīng)用都是采用國(guó)外的AR SDK,而國(guó)內(nèi)的AR SDK大部分都基于開(kāi)源SDK進(jìn)行改進(jìn)。通常出版機(jī)構(gòu)在選擇技術(shù)供應(yīng)商時(shí),所遇到的聲稱擁有自主知識(shí)產(chǎn)權(quán)AR引擎的供應(yīng)商,大多也還是在國(guó)外的AR SDK上加以定制和二次封裝,進(jìn)而提供一些快速編輯與發(fā)布的功能。
因?yàn)锳R SDK繁多,幾乎很少有研發(fā)機(jī)構(gòu)能夠接觸到所有主流SDK。因此在國(guó)外Social Compare的網(wǎng)站上,通過(guò)社交媒體集合眾多網(wǎng)友的經(jīng)驗(yàn),對(duì)目前市面能見(jiàn)到的主流SDK進(jìn)行了綜合的評(píng)估并制作了一張表格。該表格隨時(shí)根據(jù)各SDK的發(fā)布情況進(jìn)行更新,雖然依然比最新的信息略有滯后,但已經(jīng)是目前最新、最全面的AR SDK綜合比較了。現(xiàn)在將SDK技術(shù)特性的部分關(guān)鍵信息整理成表3。
表3 主流AR SDK比較
AR應(yīng)用一般是在SDK基礎(chǔ)上開(kāi)發(fā)的具有人機(jī)界面的應(yīng)用程序。目前主流AR應(yīng)用包括移動(dòng)APP、桌面軟件、Web應(yīng)用。如果按照功能類型劃分,AR應(yīng)用則可以劃分為專有應(yīng)用和通用應(yīng)用。專有應(yīng)用一般是針對(duì)本AR出版物發(fā)布的應(yīng)用,如科普繪本《消失的世界》使用的“消失的世界”APP、配套教育卡片使用的“AR口袋動(dòng)物園”APP。通用應(yīng)用則指那些可以發(fā)行、下載、使用多套AR內(nèi)容的平臺(tái),如中國(guó)科技大學(xué)新媒體研究院的“科學(xué)薈”APP。
在AR出版物應(yīng)用中,主要功能都依賴于客戶端,服務(wù)端僅為客戶端提供必要的下載和數(shù)據(jù)支持,一般包括應(yīng)用下載、內(nèi)容下載、用戶數(shù)據(jù)采集等部分。其中內(nèi)容下載部分的解決方案一般可分為:與應(yīng)用打包下載、使用前下載到本地、使用中實(shí)時(shí)下載。
杰西·加瑞特在2010年為網(wǎng)站設(shè)計(jì)提出了一個(gè)用戶體驗(yàn)要素五層次模型。[4]該模型根據(jù)設(shè)計(jì)目標(biāo)“基于任務(wù)”還是“基于信息”,將網(wǎng)站分為“軟件界面”與“超文本系統(tǒng)” 兩類,并按照“抽象-具體”程度和從概念到完成的順序,將整個(gè)網(wǎng)站的用戶體驗(yàn)設(shè)計(jì)過(guò)程進(jìn)行了層次劃分,分別提出不同類網(wǎng)站在各個(gè)環(huán)節(jié)應(yīng)當(dāng)進(jìn)行的工作。按照從概念到完成的順序,用戶體驗(yàn)要素共分為“戰(zhàn)略層”“范圍層”“結(jié)構(gòu)層”“框架層”和“表現(xiàn)層”。
如果將此模型應(yīng)用于AR出版物,在戰(zhàn)略層和范圍層中,AR出版機(jī)構(gòu)應(yīng)當(dāng)已經(jīng)確定了本文第一部分所述需求分析中的所有維度,即用戶體驗(yàn)要素中戰(zhàn)略層的產(chǎn)品目標(biāo)和用戶需求、范圍層中的功能規(guī)格。在結(jié)構(gòu)層中,應(yīng)當(dāng)完成技術(shù)解決方案的選擇工作。筆者為需求維度和技術(shù)解決方案之間建立了一種映射關(guān)系,并以此形成了4張表格,期望能夠成為AR出版機(jī)構(gòu)技術(shù)解決方案選擇的指南。
內(nèi)容形式維度對(duì)于技術(shù)解決方案的決策影響參見(jiàn)表4。其中,AR游戲的形式非常多樣,可以基于各種硬件平臺(tái)產(chǎn)生完全不同的體驗(yàn),大部分時(shí)候游戲創(chuàng)意都是基于硬件平臺(tái)產(chǎn)生的。
表4 內(nèi)容形式對(duì)AR技術(shù)解決方案的影響
受眾維度會(huì)從硬件形態(tài)上影響用戶體驗(yàn),因此硬件解決方案的選擇成為基礎(chǔ)(參見(jiàn)表5)。例如針對(duì)幼兒或兒童的應(yīng)用,硬件平臺(tái)首選移動(dòng)終端,因?yàn)橐苿?dòng)終端的普及率最高,方便內(nèi)容到達(dá)最終用戶。但是,僅僅是智能手機(jī)或平板電腦還不能完全滿足幼兒的使用特點(diǎn)。以針對(duì)幼兒的AR繪本為例,幼兒會(huì)在翻書(shū)和拿手機(jī)掃描兩個(gè)動(dòng)作中來(lái)回切換,從而導(dǎo)致注意力分散降低使用興趣。在焦點(diǎn)小組觀察中,大部分幼兒會(huì)在短時(shí)間內(nèi)要么專注于圖書(shū),要么專注于手機(jī),要么注意力轉(zhuǎn)移,很難做好兩者的結(jié)合使用。在這一點(diǎn)上比較成功的是OSMO套件(參見(jiàn)圖2)。這組套件通過(guò)一個(gè)支撐架將平板電腦支撐起來(lái),再用反射鏡將桌子表面的畫(huà)面反射到前置攝像頭中,完全讓幼兒擺脫用手操作平板電腦的負(fù)擔(dān),可以集中注意力在桌面的其他組件和平板電腦顯示器的畫(huà)面反饋中。而在職業(yè)教育和技能培訓(xùn)中,因?yàn)榭梢猿袚?dān)相對(duì)較大的成本,且對(duì)交互要求更高,因此定制設(shè)備和穿戴式設(shè)備成為首選,例如直升機(jī)駕駛培訓(xùn)、通訊線路檢修培訓(xùn)等。
表5 受眾類型對(duì)AR技術(shù)解決方案的影響
圖2 OSMO Genius Kit
發(fā)行渠道與內(nèi)容形式有強(qiáng)關(guān)聯(lián),因此選擇內(nèi)容形式后,發(fā)行渠道也已經(jīng)基本確定。如AR圖書(shū)會(huì)通過(guò)傳統(tǒng)發(fā)行渠道,AR游戲會(huì)通過(guò)應(yīng)用發(fā)行渠道,其他AR應(yīng)用可以通過(guò)應(yīng)用發(fā)行渠道、教育/B2B渠道和社交媒體。發(fā)行渠道對(duì)技術(shù)方案選擇的影響參見(jiàn)表6。
表6 發(fā)行渠道對(duì)技術(shù)解決方案的影響
使用環(huán)境對(duì)于技術(shù)方案選擇的影響很大,在移動(dòng)環(huán)境和固定環(huán)境下,幾乎所有的技術(shù)環(huán)節(jié)都會(huì)選擇完全不同的解決方案(參見(jiàn)表7)。
表7 使用環(huán)境對(duì)技術(shù)解決方案的影響
本文將需求從受眾、內(nèi)容形式、發(fā)行渠道、使用環(huán)境4個(gè)維度進(jìn)行解讀,把技術(shù)解決方案分為了6個(gè)部分并提供了可行的選擇項(xiàng),旨在提供一套指南,能夠根據(jù)需求解讀抽取技術(shù)選項(xiàng)并組合成為合適的技術(shù)解決方案。這份指南可能的缺陷在于很難跟上技術(shù)發(fā)展的腳步,也許在其面世之時(shí)便已經(jīng)存在過(guò)時(shí)之處。但其價(jià)值在于,我們將在未來(lái)形成一份相對(duì)易維護(hù)、易更新的電子指南放于互聯(lián)網(wǎng)上供所有AR出版機(jī)構(gòu)參考。