鄧 卓
(1.湖北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院, 湖北 武漢 430068;2.湖北工業(yè)職業(yè)技術(shù)學(xué)報(bào) 教務(wù)處,湖北 十堰 442000)
線下會(huì)議能使參會(huì)者面對(duì)面交流互動(dòng)、清晰地表達(dá)雙方觀點(diǎn),但可能會(huì)因?yàn)闀?huì)議場(chǎng)地受限、參會(huì)者交通不便、疫情封控等因素?zé)o法順利開(kāi)展[1]。隨著信息技術(shù)的發(fā)展,遠(yuǎn)程會(huì)議可以彌補(bǔ)線下會(huì)議的不足,傳統(tǒng)遠(yuǎn)程會(huì)議的形式有電話(huà)會(huì)議和網(wǎng)絡(luò)視頻會(huì)議,因其不受空間限制的優(yōu)點(diǎn)得到企事業(yè)單位的青睞。VR(Virtual Reality,虛擬現(xiàn)實(shí))技術(shù)是一項(xiàng)新興技術(shù),用戶(hù)可以通過(guò)簡(jiǎn)單的操作與計(jì)算機(jī)模擬出的環(huán)境進(jìn)行交互,是未來(lái)教育、醫(yī)療、文旅等多個(gè)領(lǐng)域的應(yīng)用趨勢(shì)[2],其沉浸式的體驗(yàn)環(huán)境和三維的空間模擬,以及對(duì)事物細(xì)節(jié)的體現(xiàn),在一些關(guān)鍵領(lǐng)域具有巨大的發(fā)展前景。不少學(xué)者將遠(yuǎn)程會(huì)議與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合提出了 VR 遠(yuǎn)程會(huì)議系統(tǒng),以此想改變參會(huì)者與二維屏幕間單調(diào)的交互狀態(tài),基于其理論,設(shè)計(jì)遠(yuǎn)程多人會(huì)議系統(tǒng)的架構(gòu)和功能,并利用現(xiàn)有VR硬件設(shè)備分析其可行性。
在疫情的影響下各行業(yè)對(duì)遠(yuǎn)程線上會(huì)議的需求日漸增大,傳統(tǒng)遠(yuǎn)程會(huì)議暴露出了無(wú)用戶(hù)交互、二維平面視角、固定視角、事物細(xì)節(jié)受限等問(wèn)題,而現(xiàn)有的基于主機(jī) VR 設(shè)備的 VR 遠(yuǎn)程會(huì)議系統(tǒng),又帶來(lái)了操作繁瑣、用戶(hù)活動(dòng)范圍受限等問(wèn)題。針對(duì)以上不足,結(jié)合現(xiàn)有的移動(dòng)VR硬件設(shè)備,有針對(duì)性地設(shè)計(jì)并開(kāi)發(fā)一套 VR 遠(yuǎn)程多人會(huì)議系統(tǒng),與傳統(tǒng)遠(yuǎn)程會(huì)議相比可以提高用戶(hù)的沉浸感,與基于主機(jī) VR 設(shè)備開(kāi)發(fā)的遠(yuǎn)程會(huì)議系統(tǒng)相比,可以脫離電腦主機(jī)和相關(guān)附屬設(shè)備獨(dú)立運(yùn)行,提高了用戶(hù)選擇參會(huì)地點(diǎn)的自由度。因此具有以下意義:
(1) 提供多樣化會(huì)議環(huán)境。通過(guò)三維建模搭建出多種虛擬會(huì)議場(chǎng)景,如報(bào)告廳、展廳和會(huì)議室等,同時(shí)可以根據(jù)用戶(hù)需求定制不同風(fēng)格的會(huì)議場(chǎng)景。
(2) 支持文件的預(yù)覽,包括三維模型文件的全方位展示。本系統(tǒng)支持圖片、視頻等多種格式文件的瀏覽,同時(shí)利用 VR 系統(tǒng)的優(yōu)勢(shì),可以進(jìn)行三維模型文件的全方位展示,使用戶(hù)對(duì)產(chǎn)品有更加直觀的認(rèn)識(shí)。
(3) 提高參會(huì)者的專(zhuān)注度。VR 設(shè)備的使用使參會(huì)者置身于虛擬會(huì)議場(chǎng)景,在參會(huì)過(guò)程中不受周?chē)h(huán)境的影響,有效提高用戶(hù)參會(huì)過(guò)程中的專(zhuān)注度。同時(shí)引入虛擬替身,有效增強(qiáng)參會(huì)者的互動(dòng)感,給用戶(hù)帶來(lái)真實(shí)的溝通體驗(yàn)。
(4) 提高用戶(hù)的自由度。VR 一體機(jī)設(shè)備的使用帶來(lái)了極大的移動(dòng)性和便攜性,不同于 VR 頭顯設(shè)備,參會(huì)者無(wú)需依賴(lài) PC 設(shè)備,擴(kuò)大了用戶(hù)的活動(dòng)范圍。
本系統(tǒng)相較于傳統(tǒng)遠(yuǎn)程會(huì)議提升參會(huì)者的沉浸感,改善人與機(jī)器間枯燥的交互狀態(tài),相較于主機(jī) VR 會(huì)議系統(tǒng)提升參會(huì)者的自由度,降低用戶(hù)的學(xué)習(xí)成本。同時(shí)研究提升 VR 系統(tǒng)真實(shí)感、降低設(shè)備渲染壓力對(duì)于其他虛擬現(xiàn)實(shí)系統(tǒng)也有一定的參考意義。
移動(dòng) VR 遠(yuǎn)程多人會(huì)議系統(tǒng)為三個(gè)層次,功能界面層、邏輯處理層、數(shù)據(jù)層。系統(tǒng)總體架構(gòu)如圖1所示。
圖1 系統(tǒng)架構(gòu)圖
該層是最接近用戶(hù)的一層,主要定義了人機(jī)交互行為,如會(huì)議場(chǎng)景選擇、會(huì)議房間創(chuàng)建等。功能界面層作為本系統(tǒng)功能的入口,需要設(shè)計(jì)合理的人機(jī)交互界面供用戶(hù)使用。
該層主要實(shí)現(xiàn)系統(tǒng)的實(shí)時(shí)渲染和業(yè)務(wù)邏輯處理,分為客戶(hù)端邏輯處理層和服務(wù)端邏輯處理層,鑒于本系統(tǒng)基于 C/S 模式,因此客戶(hù)端主要負(fù)責(zé)對(duì)服務(wù)端的響應(yīng)結(jié)果進(jìn)行表現(xiàn),對(duì)畫(huà)面進(jìn)行實(shí)時(shí)渲染;在服務(wù)端完成主要業(yè)務(wù)邏輯處理和數(shù)據(jù)計(jì)算,從而減輕移動(dòng) VR 設(shè)備的計(jì)算壓力,提升運(yùn)行效率。
該層進(jìn)行數(shù)據(jù)的持久化存儲(chǔ),分為數(shù)據(jù)庫(kù)服務(wù)器和資源文件服務(wù)器,其中數(shù)據(jù)庫(kù)服務(wù)器存放用戶(hù)賬號(hào)信息等數(shù)據(jù),資源文件服務(wù)器存放企業(yè)的相關(guān)資源文件。
移動(dòng) VR 遠(yuǎn)程會(huì)議系統(tǒng)劃分為 5 個(gè)功能模塊,每個(gè)功能模塊還包含若干子功能,如圖2所示。下文對(duì)各個(gè)功能模塊進(jìn)行詳述。
圖2 功能模塊圖
該模塊是系統(tǒng)的核心,負(fù)責(zé)消息的傳輸與分發(fā)。消息的傳輸是指客戶(hù)端將請(qǐng)求消息序列化后發(fā)送至服務(wù)端,消息的分發(fā)是指服務(wù)端將響應(yīng)消息分發(fā)至相應(yīng)客戶(hù)端,同時(shí)客戶(hù)端需將收到的響應(yīng)消息進(jìn)行反序列化,調(diào)用相應(yīng)功能模塊進(jìn)行處理。
該模塊包括注冊(cè)、登錄和人員管理三個(gè)功能。用戶(hù)身份分為參會(huì)者身份和管理員身份,登錄時(shí)系統(tǒng)會(huì)檢測(cè)賬號(hào)類(lèi)型,管理員身份的用戶(hù)具有開(kāi)啟會(huì)議、將參會(huì)者移出系統(tǒng)等權(quán)限,而參會(huì)者身份的用戶(hù)僅能管理自己的賬戶(hù)信息。
該模塊負(fù)責(zé)會(huì)議場(chǎng)景切換和用戶(hù)虛擬替身的漫游。在會(huì)議系統(tǒng)中搭建了滿(mǎn)足不同需求的多種虛擬場(chǎng)景,用戶(hù)可根據(jù)需要選擇不同的會(huì)議場(chǎng)景,同時(shí)用戶(hù)可以操作虛擬替身在會(huì)議場(chǎng)景中漫游。
該模塊負(fù)責(zé)文件的預(yù)覽和下載,支持三維模型文件的展覽。系統(tǒng)將文件劃分為四種類(lèi)型,分別為圖片、文檔、視頻和三維模型,用戶(hù)選擇某個(gè)文件類(lèi)型就會(huì)顯示該類(lèi)型下的所有文件。借助 VR 系統(tǒng)的優(yōu)勢(shì),實(shí)現(xiàn)對(duì)三維模型文件的互動(dòng)展示功能,用戶(hù)可通過(guò)手柄對(duì)三維模型進(jìn)行全方位的觀察。
該模塊實(shí)現(xiàn)主講人對(duì)參會(huì)者的管理和對(duì)會(huì)議屏幕的控制。具有主講人身份的用戶(hù)有權(quán)開(kāi)啟會(huì)議,其他用戶(hù)只需加入對(duì)應(yīng)會(huì)議房間即可參與會(huì)議。參會(huì)者可以開(kāi)啟麥克風(fēng)進(jìn)行語(yǔ)音討論,同時(shí)主講人可以使用會(huì)議屏幕進(jìn)行文件的演示,實(shí)現(xiàn)參會(huì)者對(duì)會(huì)議屏幕的協(xié)同瀏覽。
為保證移動(dòng) VR 遠(yuǎn)程會(huì)議系統(tǒng)的可靠性,需保存用戶(hù)以及企業(yè)的相關(guān)數(shù)據(jù)[3]。數(shù)據(jù)庫(kù)是遠(yuǎn)程會(huì)議系統(tǒng)的關(guān)鍵部分,對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理的設(shè)計(jì)可以加快查詢(xún)速度、提升服務(wù)器的處理效率,同時(shí)也有利于系統(tǒng)的維護(hù)和擴(kuò)展。本系統(tǒng)的數(shù)據(jù)庫(kù)實(shí)體主要包括用戶(hù)信息、虛擬替身信息、企業(yè)信息和場(chǎng)景信息,實(shí)體——聯(lián)系圖如圖3所示。
圖3 數(shù)據(jù)庫(kù) E-R 圖
用戶(hù)信息數(shù)據(jù)庫(kù)主要包含有已注冊(cè)用戶(hù)的用戶(hù)名、單向HASH加密算法之后的用戶(hù)密碼、賬號(hào)的基本狀態(tài)和權(quán)限等信息。同時(shí)為了滿(mǎn)足部分用戶(hù)的匿名參會(huì)需求,開(kāi)發(fā)了虛擬替身信息數(shù)據(jù)庫(kù),該信息庫(kù)在已有的明文用戶(hù)信息基礎(chǔ)上,通過(guò)一定范圍的信息遮蓋和替換,給用戶(hù)加上虛擬信息,以實(shí)現(xiàn)匿名化。
該信息庫(kù)主要用于儲(chǔ)存使用企業(yè)的各項(xiàng)信息,并與用戶(hù)信息相對(duì)應(yīng),用戶(hù)可自動(dòng)綁定至相關(guān)企業(yè),實(shí)時(shí)調(diào)用相關(guān)信息,而不用手動(dòng)填寫(xiě)。
包括場(chǎng)景的名稱(chēng)類(lèi)別等基本信息,并與企業(yè)信息綁定,在設(shè)定好的場(chǎng)景中二次使用時(shí),可以實(shí)現(xiàn)服務(wù)端的快速加載。
為實(shí)現(xiàn)高移動(dòng)性的 VR 遠(yuǎn)程會(huì)議系統(tǒng),選擇 Pico Neo2 作為硬件平臺(tái),與 VR 頭顯設(shè)備進(jìn)行對(duì)比,分析VR 一體機(jī)設(shè)備的優(yōu)缺點(diǎn),使后續(xù)的開(kāi)發(fā)工作更有針對(duì)性。主流的VR 設(shè)備有 HTC Vive、Oculus Rift 等,選擇較為典型的 HTC Vive 作為 VR 設(shè)備的代表,和 Pico Neo2 進(jìn)行對(duì)比。
HTC Vive 屬于VR 頭顯設(shè)備,除包含頭戴式顯示器、兩個(gè)手柄控制器、一對(duì)定位基站外,還包含數(shù)根連接線,使用時(shí)必須連接電腦主機(jī),整套設(shè)備如圖4所示。HTC Vive 借助電腦設(shè)備的顯卡完成圖像的渲染,計(jì)算性能取決于顯卡性能。其定位基站采用發(fā)送追蹤激光的方式確定頭戴設(shè)備和控制器的位置,激光發(fā)射器位于兩邊基站,精度較高。HTC Vive 的頭戴設(shè)備采用 OLED 屏幕,具有良好的顯示效果。
圖4 HTC Vive 設(shè)備圖
注:1.頭戴式VR顯示設(shè)備;2.立體音箱;3.分布式定位基站;4.手柄控制器;5.內(nèi)置電池;6.多點(diǎn)位攝像機(jī);7.電源及通訊線材
Pico Neo2 屬于VR 一體機(jī)設(shè)備,該設(shè)備僅包含頭戴顯示器、兩個(gè)手柄控制器,使用時(shí)無(wú)需連接外部設(shè)備。
Pico Neo2 的頭戴設(shè)備和手柄內(nèi)置電池,可以脫離數(shù)據(jù)線獨(dú)立使用。頭戴設(shè)備采用了高分辨率的 TFT-LCD 液晶屏,具有良好的顯示效果。手柄控制器采用了電磁方案,具有較好的穩(wěn)定性和追蹤性。Pico Neo2 內(nèi)置渲染芯片和空間定位芯片,無(wú)需額外地定位基站等設(shè)備,令使用者更加自由。
HTC Vive 的圖像渲染通過(guò)高性能的電腦顯卡完成,且通常搭配運(yùn)動(dòng)捕捉設(shè)備等外接設(shè)備使用,其性能和運(yùn)動(dòng)捕捉功能較強(qiáng),且無(wú)需與電腦主機(jī)和定位基站等其他設(shè)備連接,使用范圍不受線纜長(zhǎng)度的限制,具有極高的移動(dòng)性和便攜性。
此次研究結(jié)合現(xiàn)有的移動(dòng)VR硬件設(shè)備,設(shè)計(jì)了一整套遠(yuǎn)程多人會(huì)議系統(tǒng),通過(guò)功能界面設(shè)計(jì)、邏輯處理設(shè)計(jì)和數(shù)據(jù)庫(kù)設(shè)計(jì),解決了傳統(tǒng)線上會(huì)議系統(tǒng)和基于PC的VR會(huì)議系統(tǒng)的弊端,提升了用戶(hù)體驗(yàn)。
但由于 Pico Neo2 設(shè)備基于安卓平臺(tái),使用內(nèi)置的計(jì)算芯片渲染圖像,設(shè)備的計(jì)算性能較差,因此圖形渲染高度依賴(lài)與其相連的桌面終端設(shè)備,會(huì)造成同一套設(shè)備在不同終端上效果不同的差異。同時(shí)因其設(shè)計(jì)上的高便攜性,使得其電池容量較小,在脫離外接電源的情況下使用時(shí)間較短,且相關(guān)配件較少,硬件層面的可擴(kuò)展性較低。這也是以后可以繼續(xù)深入研究的方向之一。
湖北工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào)2022年1期