張巍瀚，吳亞東，張曉蓉，王賦攀

(1.西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 四川 綿陽 621000；2.四川輕化工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院， 四川 自貢 643000)

沉浸式虛擬現(xiàn)實(shí)(Virtual Reality，VR)技術(shù)，又稱靈境技術(shù)，是以沉浸性、交互性和構(gòu)想性為基本特征的計(jì)算機(jī)高級(jí)人機(jī)界面[1]。隨著HTC Vive和Oculus等的消費(fèi)級(jí)設(shè)備的普及，基于VR設(shè)備的沉浸式交互軟件開始開發(fā)。沉浸式環(huán)境下以使用者為中心設(shè)計(jì)的交互方式與以計(jì)算機(jī)為中心設(shè)計(jì)的交互方式不同，傳統(tǒng)通過鼠標(biāo)和鍵盤進(jìn)行交互不再適用于沉浸式環(huán)境。于是，以使用者為中心，通過人體自然信息進(jìn)行交互方式應(yīng)運(yùn)而生。其中，由于手勢(shì)交互具有穩(wěn)固、直觀和靈活的特點(diǎn)，與沉浸式環(huán)境具有良好的適配性。隨著Leap Motion等非接觸式手勢(shì)獲取[2]設(shè)備的興起，使得使用手勢(shì)在沉浸式環(huán)境下進(jìn)行交互成為近年來人機(jī)交互領(lǐng)域的研究熱點(diǎn)。然而在沉浸式環(huán)境下可使用的手勢(shì)種類繁多[3]，傳統(tǒng)的評(píng)估軟件的方法也難以評(píng)估沉浸式設(shè)備是否精確有效。這時(shí)通過建立新的評(píng)估模型，設(shè)計(jì)新的評(píng)估體系以保證能對(duì)VR沉浸式設(shè)備下軟件的交互性和精確性進(jìn)行評(píng)估顯得尤為必要。

在人機(jī)交互領(lǐng)域，評(píng)估的目的是為了在滿足設(shè)計(jì)者設(shè)計(jì)需求的同時(shí)為交互的有效性提供佐證。Sharp等[4]認(rèn)為，評(píng)估是交互設(shè)計(jì)過程中重要的組成部分，而評(píng)估模型的結(jié)構(gòu)直接影響到全局的評(píng)估是否有效。Louise等[5]在對(duì)人機(jī)交互領(lǐng)域的評(píng)估方法做調(diào)查時(shí)發(fā)現(xiàn)，現(xiàn)有評(píng)估方法已從原有以計(jì)算機(jī)為中心的原型評(píng)估方式，向以人為中心的定性方式做出轉(zhuǎn)變。綜合國內(nèi)外研究情況，本文共整合出主觀等級(jí)評(píng)定法、內(nèi)容評(píng)估、生理評(píng)估三大類評(píng)估方法。

主觀等級(jí)評(píng)定法是心理學(xué)常用的評(píng)估方法。主觀等級(jí)評(píng)定法一般通過制作并分析使用者問卷或者量表的回答來得出使用者的心理狀態(tài)，從而對(duì)系統(tǒng)進(jìn)行評(píng)估。Witmer[6]在測(cè)量評(píng)估虛擬環(huán)境的臨境感時(shí)，設(shè)計(jì)了包含控制、自然度、界面3個(gè)子卷的7點(diǎn)量調(diào)查量表。Vi等[7]在評(píng)估利用五感設(shè)計(jì)交互的博物館時(shí)，采用了李克特量表來記錄使用者的心理狀態(tài)。主觀等級(jí)評(píng)定法直接對(duì)受試者本身的心理狀態(tài)做出評(píng)估，能很好地了解受試者的主觀心理狀態(tài)，以滿足設(shè)計(jì)者的調(diào)查需求。但是直接進(jìn)行主觀等級(jí)評(píng)定法會(huì)使得被試者注意力偏向評(píng)價(jià)本身產(chǎn)生一定的情感偏差。

內(nèi)容評(píng)估法主要針對(duì)于沉浸式環(huán)境本身的一些特質(zhì)，通過分析軟件的指標(biāo)結(jié)合績效測(cè)量的方式，觀測(cè)受試者使用軟件的精準(zhǔn)度或時(shí)間，可以客觀地反應(yīng)對(duì)應(yīng)軟件的交互性。Nash等[8]研究表明，在沉浸式環(huán)境下交互情境的操作績效與VR環(huán)境的真實(shí)程度之間存在正相關(guān)關(guān)系。Witmer[6]在評(píng)估虛擬環(huán)境中的臨境感時(shí)也發(fā)現(xiàn)，任務(wù)完成情況和虛擬環(huán)境的構(gòu)建呈正比關(guān)系。內(nèi)容評(píng)估法圍繞設(shè)計(jì)軟件內(nèi)容進(jìn)行，評(píng)價(jià)的指標(biāo)一般具有量化性，在明確交互需求的情境下，能以較客觀的方式對(duì)軟件進(jìn)行評(píng)估。但由于面向軟件本身的特點(diǎn)，客觀評(píng)估法往往忽略了測(cè)試人員的主觀心理狀態(tài)。單一片面的客觀評(píng)估，也無法覆蓋整個(gè)交互過程。

生理評(píng)估法同樣面向于人體本身，但采取了更為客觀和可量化的人體生理指標(biāo)進(jìn)行評(píng)測(cè)。Michael等[9]的研究發(fā)現(xiàn)，虛擬環(huán)境和相對(duì)應(yīng)的真實(shí)環(huán)境越接近，受試者在兩種環(huán)境中的生理變化越相似。在有關(guān)交互的研究中，人體動(dòng)作的軌跡為方向上的預(yù)測(cè)提供了有力的支持和幫助，同樣地，人體動(dòng)作軌跡也為探究人體的狀態(tài)提供了指導(dǎo)[10]。由于生理的數(shù)值受外部干擾因素和人體個(gè)人因素影響較大，單純地利用生理評(píng)估法難以對(duì)沉浸式環(huán)境進(jìn)行準(zhǔn)確評(píng)估。

從現(xiàn)有技術(shù)上看，人機(jī)交互的評(píng)估發(fā)展仍需要多學(xué)科的理論支持。通過檢測(cè)人體自然行為判斷人體感知狀態(tài)的評(píng)估方式仍存在很多困難[11]，雖然現(xiàn)在已經(jīng)能通過傳感器獲取人體在交互過程中產(chǎn)生的一些交互信息和生理信號(hào)，但是這些信息或信號(hào)只是人的行為或狀態(tài)的大致測(cè)量，對(duì)人的自然行為或狀態(tài)的刻畫仍然不夠精確。雖然借助機(jī)器學(xué)習(xí)[12]、模式識(shí)別[13]等技術(shù)，計(jì)算機(jī)己能部分地、簡單地理解人類的意圖，但人體狀態(tài)轉(zhuǎn)換以及復(fù)雜動(dòng)作的意圖理解還具有很多不確定性問題。

基于以上研究，本文結(jié)合各類評(píng)估方式設(shè)計(jì)了用于沉浸式環(huán)境下基于手勢(shì)動(dòng)作軌跡的客觀評(píng)估模型——GT(Gesture & Task)評(píng)估模型。通過設(shè)計(jì)VR沉浸式環(huán)境下的交互任務(wù)，研究沉浸式環(huán)境下利用手勢(shì)進(jìn)行交互時(shí)受試者的交互狀態(tài)，獲取受試者客觀評(píng)估數(shù)據(jù)以完成評(píng)估。同時(shí)將評(píng)估模型數(shù)據(jù)與主觀數(shù)據(jù)做出對(duì)比驗(yàn)證，確保評(píng)估模型的有效性。最后，通過分析實(shí)驗(yàn)結(jié)果提出提供物理反饋和深度感知優(yōu)化兩種優(yōu)化方式，以輔助沉浸式環(huán)境下使用手勢(shì)的交互設(shè)計(jì)。

1 GT評(píng)估模型

GT評(píng)估模型是從分析沉浸式環(huán)境中手勢(shì)交互設(shè)計(jì)原型系統(tǒng)的交互過程出發(fā)，結(jié)合人機(jī)交互評(píng)估領(lǐng)域中的運(yùn)動(dòng)軌跡測(cè)量法與績效測(cè)量法兩種評(píng)估方法，收集手勢(shì)軌跡數(shù)據(jù)和交互任務(wù)完成情況數(shù)據(jù)兩部分?jǐn)?shù)據(jù)，評(píng)估沉浸式環(huán)境中手勢(shì)交互設(shè)計(jì)原型系統(tǒng)有效性和可用性的評(píng)估模型。

1.1 GT評(píng)估模型的建立準(zhǔn)則

根據(jù)Remy[14]提供的指導(dǎo)準(zhǔn)則，沉浸式環(huán)境中手勢(shì)交互設(shè)計(jì)系統(tǒng)評(píng)估模型的建立準(zhǔn)則由評(píng)估目標(biāo)、評(píng)估機(jī)制、評(píng)估指標(biāo)、評(píng)估方法、評(píng)估適用范圍5點(diǎn)構(gòu)成。

評(píng)估目標(biāo)：在60 Hz圖像刷新率的沉浸三維空間下，受試者以坐姿狀態(tài)使用手勢(shì)進(jìn)行交互的舒適性和精準(zhǔn)性。

評(píng)估機(jī)制：通過行為測(cè)量法中的姿態(tài)軌跡變化計(jì)算受試者的手勢(shì)動(dòng)作軌跡；績效測(cè)量法獲取任務(wù)完成情況與任務(wù)完成時(shí)間，綜合三者權(quán)重給出受試者完成任務(wù)的情況的量化數(shù)據(jù)，保證評(píng)估涵蓋整個(gè)交互過程。

評(píng)估指標(biāo)：客觀動(dòng)作指標(biāo)由通過Leap Motion記錄的手勢(shì)動(dòng)作軌跡所計(jì)算的軌跡穩(wěn)定程度，由沉浸式環(huán)境程序記錄的任務(wù)完成的精準(zhǔn)度和任務(wù)完成時(shí)間構(gòu)成。

評(píng)估方法：以任務(wù)驅(qū)動(dòng)為方式，通過讓受試者佩戴Oculus Rift使用手勢(shì)對(duì)三維空間方塊進(jìn)行抓取、移動(dòng)和旋轉(zhuǎn)3個(gè)動(dòng)作。利用Leap Motion和沉浸式環(huán)境記錄受試者使用手勢(shì)執(zhí)行操作任務(wù)，以獲取評(píng)估指標(biāo)。

評(píng)估適用范圍：受設(shè)備與環(huán)境限制，GT模型的評(píng)估適用于以坐姿為身體姿態(tài)、以手勢(shì)交互為交互方式的沉浸式程序。

沉浸式三維空間基于Unity 3D實(shí)現(xiàn)，使用Oculus Rift作為沉浸式頭戴顯示設(shè)備，Leap Motion作為交互傳感器設(shè)備和記錄姿態(tài)設(shè)備。通過將Leap Motion安置于頭盔前方，減少受試者的學(xué)習(xí)負(fù)擔(dān)，提升設(shè)備便捷性與自由度。沉浸式環(huán)境的圖像刷新頻率將穩(wěn)定在60 Hz左右。同時(shí)為了讓受試者擁有更好的沉浸感和質(zhì)感，沉浸式環(huán)境采用2K材質(zhì)進(jìn)行制作。

1.2 GT評(píng)估模型的評(píng)估流程

本文通過結(jié)合當(dāng)前人機(jī)交互領(lǐng)域評(píng)估方法中的績效測(cè)量法和運(yùn)動(dòng)軌跡測(cè)量法，建立以任務(wù)驅(qū)動(dòng)的方式收集客觀數(shù)據(jù)的GT評(píng)估模型，整體流程如圖1所示。

圖1 GT評(píng)估模型流程與驗(yàn)證流程

首先，利用Untiy 3D為編程工具，Oculus Rift作為沉浸式頭戴顯示設(shè)備，建立沉浸式環(huán)境，同時(shí)加入通過三維模型構(gòu)建的虛擬雙手，以虛擬化身[15]的方式控制交互體驗(yàn)。其次，利用沉浸式環(huán)境與Leap Motion記錄下交互任務(wù)時(shí)動(dòng)作軌跡穩(wěn)定程度、任務(wù)完成情況的客觀數(shù)據(jù)。計(jì)算得出各數(shù)據(jù)量化評(píng)估指標(biāo)。最后，整合動(dòng)作軌跡穩(wěn)定程度與任務(wù)完成情況的量化數(shù)據(jù)，形成GT評(píng)估模型的評(píng)估數(shù)據(jù)，并于量化的主觀心理數(shù)據(jù)進(jìn)行對(duì)比，驗(yàn)證評(píng)估數(shù)據(jù)的有效性，并通過評(píng)估模型設(shè)計(jì)隱式輔助，優(yōu)化沉浸式環(huán)境下的手勢(shì)交互。

1.3 GT評(píng)估模型的評(píng)估指標(biāo)

1.3.1 手勢(shì)軌跡數(shù)據(jù)

圖2 利用手部關(guān)節(jié)點(diǎn)數(shù)據(jù)繪制的交互軌跡

通過分析人體若干關(guān)節(jié)點(diǎn)的運(yùn)動(dòng)軌跡就能描述人的動(dòng)作行為，并且隨著關(guān)節(jié)點(diǎn)的增多能夠消除對(duì)動(dòng)作行為的模糊理解[16]。隨著人機(jī)交互的發(fā)展，人體動(dòng)作本身也發(fā)展成為交互方式，作為一種時(shí)變連續(xù)信號(hào)，人體動(dòng)作軌跡具有天然的時(shí)間性和空間性[16]。由于GT評(píng)估模型通過使用Leap Motion實(shí)時(shí)跟蹤手部運(yùn)動(dòng)軌跡。使用者對(duì)沉浸式環(huán)境下的物體進(jìn)行手勢(shì)操作時(shí)，依幀數(shù)記錄使用者掌心與五指的關(guān)節(jié)點(diǎn)數(shù)據(jù)，形成由手部動(dòng)作軌跡構(gòu)成的時(shí)態(tài)數(shù)據(jù)。

首先，利用Leap Motion采集單個(gè)任務(wù)每5幀的手部關(guān)節(jié)點(diǎn)數(shù)據(jù)。通過時(shí)序繪制，形成使用者在沉浸式空間下的交互軌跡，如圖2所示。

其次，計(jì)算時(shí)序軌跡中每兩個(gè)相鄰時(shí)序點(diǎn)之間形成的空間向量，并計(jì)算相鄰空間向量的夾角θi，計(jì)算的公式推導(dǎo)如下。

設(shè)空間中有n(n>2)個(gè)時(shí)序點(diǎn)，坐標(biāo)為(a1，b1，c1),(a2，b2，c2),…,(an，bn，cn)，則相鄰時(shí)序點(diǎn)所形成的第m(m=n-1且m>1)個(gè)空間向量Am為

Am={an-an-1，bn-bn-1，cn-cn-1}，

(1)

則相鄰空間向量所形成的第i(i=m-1=n-2且i>0)個(gè)夾角θi為

(2)

最后，計(jì)算單次交互形成的空間時(shí)序軌跡的平均夾角S，公式為

(3)

通過以上公式進(jìn)行計(jì)算得出手勢(shì)軌跡數(shù)據(jù)的穩(wěn)定程度，最終形成動(dòng)作軌跡穩(wěn)定評(píng)估指標(biāo)。

1.3.2 任務(wù)完成情況數(shù)據(jù)

GT評(píng)估模型的任務(wù)完成情況數(shù)據(jù)由任務(wù)完成精準(zhǔn)度與任務(wù)完成時(shí)間兩個(gè)指標(biāo)構(gòu)成。

(1)任務(wù)完成精準(zhǔn)度

由于沉浸式環(huán)境下使用手勢(shì)進(jìn)行交互時(shí)，受試者的手處于懸空狀態(tài)且并未與真實(shí)物體接觸，會(huì)導(dǎo)致手部生理性震顫的生理現(xiàn)象出現(xiàn)。Bilodeau等[17]在研究慣用手和非慣用手之間的手部震顫時(shí)發(fā)現(xiàn)，手指非彎曲狀態(tài)下的生理性震顫振幅達(dá)到0.5 mm。且由于交互的操作多需要手指彎曲且受試者在沉浸式環(huán)境下的心理感受不同，手部震顫的振幅將會(huì)在0.5～1.5 mm之間。鑒于以上原因，如果直接記錄任務(wù)完成數(shù)據(jù)，或以懸停滿一定時(shí)間的方式記錄完成數(shù)據(jù)，會(huì)使得任務(wù)完成精準(zhǔn)度出現(xiàn)一定程度的誤差。

GT評(píng)估模型的任務(wù)完成精準(zhǔn)度指標(biāo)通過一個(gè)隱式球形空間進(jìn)行記錄。通過計(jì)算交互方塊中心點(diǎn)與目標(biāo)方塊中心點(diǎn)的距離，構(gòu)建出半徑為2 mm的球形交互任務(wù)完成區(qū)域，該區(qū)域又以每0.4 mm半徑劃分5個(gè)任務(wù)子空間。使用者完成交互任務(wù)時(shí)，對(duì)相應(yīng)的區(qū)域進(jìn)行記數(shù)，當(dāng)滿足區(qū)域記數(shù)上限時(shí)，記錄為該區(qū)域任務(wù)完成精準(zhǔn)度。

(2)任務(wù)完成時(shí)間

任務(wù)完成時(shí)間是人機(jī)交互領(lǐng)域常用的評(píng)估方法。優(yōu)秀的交互設(shè)計(jì)會(huì)使受試者能迅速完成設(shè)定好的任務(wù)，因此任務(wù)完成時(shí)間是最為直觀且最易量化的交互評(píng)估指標(biāo)。然而從任務(wù)完成時(shí)間效率出發(fā)的評(píng)估極易忽略受試者的心里感受和生理狀態(tài)，且易受受試者對(duì)交互設(shè)計(jì)的學(xué)習(xí)時(shí)間影響。所以任務(wù)完成時(shí)間往往作為交互評(píng)估的輔助評(píng)估指標(biāo)。

GT評(píng)估模型的任務(wù)完成時(shí)間指標(biāo)由記錄受試者開始任務(wù)至達(dá)成任務(wù)目標(biāo)所花費(fèi)的時(shí)間構(gòu)成。

1.4 GT評(píng)估模型的評(píng)估權(quán)重計(jì)算

通過實(shí)驗(yàn)任務(wù)，共獲取了動(dòng)作軌跡的軌跡穩(wěn)定程度、任務(wù)完成精準(zhǔn)度、任務(wù)完成時(shí)間三部分?jǐn)?shù)據(jù)。但由于各項(xiàng)數(shù)據(jù)單位并不統(tǒng)一且各項(xiàng)數(shù)據(jù)所占權(quán)重?zé)o法確定，GT模型采用熵值法來歸一各項(xiàng)數(shù)據(jù)并確認(rèn)各項(xiàng)數(shù)據(jù)的權(quán)重。

首先對(duì)第n個(gè)評(píng)估數(shù)據(jù)的3個(gè)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理，Xij為第i個(gè)數(shù)據(jù)的第j個(gè)指標(biāo)的數(shù)值(i=1,2,…,n；j=1,2,3)。由于三部分?jǐn)?shù)據(jù)全為負(fù)向評(píng)估數(shù)據(jù)(即數(shù)據(jù)數(shù)值越低評(píng)估得分越高)，因此，進(jìn)行標(biāo)準(zhǔn)化時(shí)，對(duì)三部分?jǐn)?shù)據(jù)進(jìn)行正向化計(jì)算，計(jì)算方法如下：

(4)

則第j項(xiàng)指標(biāo)下第i個(gè)數(shù)值占指標(biāo)的比重Pij(i=1,2,…,n；j=1,2,3)為

(5)

其熵值ej為

(6)

最終獲取該指標(biāo)權(quán)值

(7)

通過以上對(duì)各項(xiàng)指標(biāo)的權(quán)值考量，整合分析，平均計(jì)算各項(xiàng)占比，最終得出三項(xiàng)數(shù)據(jù)各自在評(píng)估模型中所占的權(quán)重。并計(jì)算每次數(shù)據(jù)的綜合得分為

(8)

2 實(shí)驗(yàn)與分析

為驗(yàn)證評(píng)估模型的有效性，設(shè)計(jì)了沉浸式虛擬化學(xué)實(shí)驗(yàn)場景。虛擬化學(xué)實(shí)驗(yàn)場景由模仿學(xué)?；瘜W(xué)實(shí)驗(yàn)室場景設(shè)計(jì)而成，由實(shí)驗(yàn)臺(tái)構(gòu)成基礎(chǔ)場景，實(shí)驗(yàn)儀器作為任務(wù)的主要交互對(duì)象，可對(duì)試管等化學(xué)實(shí)驗(yàn)常用儀器設(shè)備進(jìn)行抓取、移動(dòng)和旋轉(zhuǎn)。

2.1 實(shí)驗(yàn)任務(wù)設(shè)計(jì)

為交互任務(wù)能有效反應(yīng)受試者在沉浸式環(huán)境下的交互狀態(tài)，沉浸式虛擬化學(xué)實(shí)驗(yàn)場景的交互任務(wù)與化學(xué)實(shí)驗(yàn)常用手勢(shì)相關(guān)。實(shí)驗(yàn)任務(wù)由化學(xué)實(shí)驗(yàn)常用試管操作出發(fā)，受試者對(duì)沉浸式環(huán)境下的試管3D模型完成抓取、移動(dòng)、旋轉(zhuǎn)3個(gè)任務(wù)操作。

2.1.1 任務(wù)一：抓取試管

抓取操作是利用手勢(shì)進(jìn)行交互的常用操作，抓取的主要目的是為了選中目標(biāo)，便于受試者對(duì)關(guān)注的目標(biāo)進(jìn)行更多操作。抓取試管任務(wù)的目標(biāo)主體由目標(biāo)試管和目標(biāo)試管架構(gòu)成。為保證受試者進(jìn)行抓取任務(wù)時(shí)能從同一自然起點(diǎn)開始，任務(wù)的起點(diǎn)設(shè)計(jì)為一個(gè)可以交互的點(diǎn)擊按鈕，放置于沉浸式場景中，保證人體能調(diào)整位置，自然地抓取到目標(biāo)試管進(jìn)行交互。任務(wù)計(jì)時(shí)從受試者選擇測(cè)試抓取任務(wù)點(diǎn)擊按鈕開始，抓取試管并成功將試管取離試管架結(jié)束。

2.1.2 任務(wù)二：移動(dòng)試管

移動(dòng)操作也是手勢(shì)交互的常用操作，主要用于改變目標(biāo)位置達(dá)成某一目標(biāo)。移動(dòng)試管任務(wù)基于抓取試管任務(wù)，計(jì)時(shí)由抓取任務(wù)試管取離試管架開始，移動(dòng)試管至目標(biāo)位置結(jié)束。任務(wù)目標(biāo)指引由一個(gè)與抓取試管形狀大小相同但無碰撞體積的高亮試管構(gòu)成，同時(shí)保證其位置在受試者可以自然移動(dòng)到的范圍內(nèi)，保證受試者能自然地完成目標(biāo)。

2.1.3 任務(wù)三：旋轉(zhuǎn)試管

旋轉(zhuǎn)操作與移動(dòng)操作相似，要用于改變目標(biāo)角度達(dá)成某一目標(biāo)。旋轉(zhuǎn)試管任務(wù)同樣基于抓取試管任務(wù)，計(jì)時(shí)由抓取任務(wù)試管取離試管架開始，旋轉(zhuǎn)試管至目標(biāo)角度結(jié)束。任務(wù)試管由一個(gè)前后貼圖不同的試管構(gòu)成，保證受試者能自然接受任務(wù)指引。

2.2 李克特量表設(shè)計(jì)

表1 李克特量表問題

由于GT評(píng)估模型的評(píng)估目標(biāo)核心為使用手勢(shì)進(jìn)行交互的舒適性和精準(zhǔn)性，為驗(yàn)證評(píng)估模型的有效性，本文針對(duì)相應(yīng)的沉浸式環(huán)境設(shè)計(jì)了驗(yàn)證評(píng)估模型的李克特量表(表1)。

量表由6個(gè)顯式或隱式問題隨機(jī)構(gòu)成。通過以上顯式和隱式的問題交叉收集，控制使用者因問題本身而產(chǎn)生的注意力分散問題。由于使用者脫離沉浸式環(huán)境產(chǎn)生回憶偏差，紙質(zhì)的調(diào)查表格無法準(zhǔn)確估計(jì)使用者使用手勢(shì)的情況。本文特地將李克特量表也放入設(shè)計(jì)好的沉浸式環(huán)境中，在執(zhí)行完每一次的任務(wù)之后自動(dòng)彈出李克特量表，使用者利用Leap Motion攜帶的Slider插件從評(píng)分1～7分中滑動(dòng)選擇評(píng)價(jià)交互情況。

2.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)一共招募了16名參與者(14名男性和2名女性)，參與者的年齡為19～24歲，慣用手均為右手，其中5名受試者有手勢(shì)交互的經(jīng)驗(yàn)，16人均無沉浸式環(huán)境下的交互經(jīng)驗(yàn)。本文的實(shí)驗(yàn)結(jié)果包括GT評(píng)估模型數(shù)值和主觀心理數(shù)值。

2.3.1 GT評(píng)估模型數(shù)值

GT評(píng)估模型得分由手勢(shì)軌跡數(shù)據(jù)、任務(wù)完成精準(zhǔn)度數(shù)據(jù)、任務(wù)完成時(shí)間數(shù)據(jù)、平均任務(wù)得分構(gòu)成，具體數(shù)值如圖3所示。

圖3 GT評(píng)估模型數(shù)值

根據(jù)GT評(píng)估模型實(shí)驗(yàn)結(jié)果，可以看到在移動(dòng)時(shí)手勢(shì)動(dòng)作軌跡相比抓取和旋轉(zhuǎn)的角度偏大，幀間角度平均達(dá)到5.2°；對(duì)于任務(wù)完成精準(zhǔn)度而言，旋轉(zhuǎn)的精準(zhǔn)度最高，平均精準(zhǔn)度誤差在0.2 mm以內(nèi)；對(duì)于任務(wù)完成時(shí)間而言，抓取任務(wù)的平均完成幀數(shù)為282幀，而移動(dòng)任務(wù)和旋轉(zhuǎn)任務(wù)的平均完成幀數(shù)為872幀和952幀。綜合上述3類權(quán)重，整合出的評(píng)分中，抓取任務(wù)評(píng)分為92分，移動(dòng)任務(wù)的評(píng)分為61分，旋轉(zhuǎn)任務(wù)的評(píng)分為83分。

2.3.2 GT評(píng)估模型與主觀心理數(shù)值對(duì)比

為驗(yàn)證GT評(píng)估模型能有效替代主觀心理評(píng)估的數(shù)值，本文隨機(jī)選擇10組任務(wù)(每組100個(gè)實(shí)驗(yàn)任務(wù)數(shù)據(jù))的平均GT評(píng)估模型數(shù)據(jù)與其平均主觀心理數(shù)據(jù)進(jìn)行歸一化對(duì)比，結(jié)果如圖4所示。

曲線①為10個(gè)數(shù)據(jù)組的李克特量平均得分進(jìn)行曲線擬合可視化之后的結(jié)果，曲線②為對(duì)應(yīng)數(shù)據(jù)組的GT評(píng)估模型平均得分進(jìn)行曲線擬合可視化之后的結(jié)果，通過分析實(shí)驗(yàn)結(jié)果可視化分析對(duì)比發(fā)現(xiàn)：除了第7組數(shù)據(jù)有異常以外，通過實(shí)驗(yàn)結(jié)果中GT評(píng)估模型的分?jǐn)?shù)與使用者的主觀評(píng)價(jià)所獲取的評(píng)分曲線基本一致。

2.4 實(shí)驗(yàn)數(shù)據(jù)的分析

2.4.1 整體數(shù)據(jù)分析

圖4 評(píng)估模型的值與主觀評(píng)估數(shù)值的對(duì)比

從實(shí)驗(yàn)結(jié)果來看，在有關(guān)沉浸式環(huán)境下使用手勢(shì)交互設(shè)計(jì)中，對(duì)于有明確目的的交互任務(wù)，交互物體的位置與大小、手勢(shì)的精確性與可控性需要有嚴(yán)格的要求。

對(duì)于抓取任務(wù)而言，對(duì)于無論是否有沉浸式環(huán)境下手勢(shì)交互經(jīng)驗(yàn)的受試者而言都是快速且準(zhǔn)確的，但受試者反饋所抓取物體的大小影響了其使用手勢(shì)的方式。過大的物體會(huì)導(dǎo)致使用者手指保持張開狀，過小的物體會(huì)導(dǎo)致使用者手部蜷縮，以致Leap Motion的追蹤失敗。

對(duì)于移動(dòng)任務(wù)而言，消耗的時(shí)間較長，且精準(zhǔn)度偏低。根據(jù)對(duì)受試者的調(diào)查發(fā)現(xiàn)，在進(jìn)行移動(dòng)任務(wù)時(shí)，受試者在沉浸式空間抓取了物體，但在現(xiàn)實(shí)中并沒有合適的觸覺反饋，使得受試者的手指用力并不自然，導(dǎo)致生理震顫的加劇。同時(shí)還發(fā)現(xiàn)，當(dāng)受試者抓取任務(wù)試管靠近目標(biāo)試管時(shí)，會(huì)自覺減速以方便與目標(biāo)試管校準(zhǔn)，但都會(huì)產(chǎn)生一定的偏差。

對(duì)于旋轉(zhuǎn)任務(wù)而言，進(jìn)行任務(wù)所消耗的時(shí)間同樣較長，但精準(zhǔn)度較高。通過同移動(dòng)任務(wù)做對(duì)比發(fā)現(xiàn)，旋轉(zhuǎn)時(shí)受試者通過自然地旋轉(zhuǎn)手腕就能精確地將試管旋轉(zhuǎn)至指定的目標(biāo)角度。

通過以上實(shí)驗(yàn)結(jié)果，得出結(jié)論，抓取任務(wù)具有良好的準(zhǔn)確性且消耗時(shí)間短，能很好地幫助使用者在沉浸式環(huán)境下選中物體。移動(dòng)任務(wù)則精準(zhǔn)度偏低，時(shí)間消耗較長，但由于其交互自然，可以幫助使用者在沉浸式環(huán)境下做簡單的交互操作。旋轉(zhuǎn)任務(wù)的時(shí)間消耗偏長，但具有良好的精準(zhǔn)度，可用于沉浸式環(huán)境下的精確交互操作。

2.4.2 特殊數(shù)據(jù)分析

由于在對(duì)比實(shí)驗(yàn)中出現(xiàn)了一組特殊的與主觀評(píng)價(jià)相反的實(shí)驗(yàn)結(jié)果數(shù)據(jù)，本文特意將第7組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了分析，如表2所示。

表2 第7組實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

在第7組實(shí)驗(yàn)任務(wù)中，旋轉(zhuǎn)任務(wù)占了整個(gè)任務(wù)的53%，且該組旋轉(zhuǎn)任務(wù)的主觀評(píng)估平均得分較整體旋轉(zhuǎn)任務(wù)的主觀評(píng)估平均得分差距較大。更進(jìn)一步的分析發(fā)現(xiàn)，53個(gè)旋轉(zhuǎn)任務(wù)中有37個(gè)數(shù)據(jù)是受試者在進(jìn)行前10次旋轉(zhuǎn)任務(wù)時(shí)收集的。詢問受試者發(fā)現(xiàn)，在執(zhí)行旋轉(zhuǎn)任務(wù)的初期，由于Leap Motion對(duì)于蜷縮狀態(tài)的手掌無法精確判定其關(guān)節(jié)點(diǎn)坐標(biāo)，在沉浸式環(huán)境下繪制的手掌虛擬化身與受試者真實(shí)的手掌產(chǎn)生了偏差，使得受試者在進(jìn)行旋轉(zhuǎn)任務(wù)時(shí)感到不適，從而造成主觀評(píng)估得分偏低。但由于偏差本身不大，經(jīng)過一定時(shí)間的習(xí)慣之后，受試者很快適應(yīng)了該類情況，主觀評(píng)估得分?jǐn)?shù)據(jù)呈現(xiàn)正常狀態(tài)。

2.5 虛擬現(xiàn)實(shí)環(huán)境下手勢(shì)交互的優(yōu)化方法

初步的實(shí)驗(yàn)數(shù)據(jù)分析清晰地指出，沉浸式環(huán)境中，即使受試者任務(wù)目標(biāo)明確，使用手勢(shì)交互仍會(huì)產(chǎn)生一定的偏差。偏差的產(chǎn)生原因是由缺乏物理約束、視覺障礙、沉浸式環(huán)境所產(chǎn)生的認(rèn)知偏差和手部的生理震顫等多種因素導(dǎo)致的。值得注意的是，實(shí)驗(yàn)的結(jié)果描述了沒有虛擬現(xiàn)實(shí)手勢(shì)交互經(jīng)驗(yàn)的使用者的交互狀態(tài)。通過實(shí)踐和經(jīng)驗(yàn)的總結(jié)，可以提高交互精準(zhǔn)度。

由此，在保證沉浸式環(huán)境下的臨近感與手勢(shì)交互自然性的前提下，本文提出兩種利用GT評(píng)估模型的數(shù)據(jù)分析來優(yōu)化虛擬現(xiàn)實(shí)環(huán)境下的手勢(shì)交互的方法，分別為提供物理反饋和深度感知優(yōu)化。

2.5.1 提供物理反饋

在實(shí)驗(yàn)過程中，受試者受虛擬物體大小的影響，有過數(shù)次出現(xiàn)因抓握過度導(dǎo)致手勢(shì)識(shí)別失敗的情況。根據(jù)受試者的反饋，由于虛擬物體并不能提供真實(shí)的物理反饋，使得受試者在交互時(shí)，只能通過手的虛擬化身來判別抓取狀態(tài)。由此提供可移動(dòng)的物理平臺(tái)，或提供輕微的震動(dòng)刺激輔助交互，可以提供更加自然的觸覺反饋，而不降低受試者在沉浸式環(huán)境下的臨近感。

2.5.2 深度感知優(yōu)化

除開物理因素外，沉浸式環(huán)境天然的三維環(huán)境也會(huì)導(dǎo)致受試者產(chǎn)生視覺障礙。通過實(shí)驗(yàn)觀察發(fā)現(xiàn)，受試者在使用手勢(shì)進(jìn)行3個(gè)交互動(dòng)作時(shí)的軌跡雖然平滑，但仍有明顯上下波動(dòng)，且都會(huì)在達(dá)成目標(biāo)時(shí)自覺減速方便與目標(biāo)矯正。但此類矯正都會(huì)使得實(shí)驗(yàn)?zāi)苡^測(cè)到的生理震顫加劇，導(dǎo)致交互精準(zhǔn)度降低。因此，提供一定的深度感知和方向引導(dǎo)能有效避免深度感知所帶來的問題。可以利用如3D網(wǎng)格、建立與目標(biāo)的輔助連線、高亮可交互物體、從近至遠(yuǎn)霧化等方式輔助交互。

3 結(jié)語

本文設(shè)計(jì)了一個(gè)評(píng)估在沉浸式環(huán)境下使用手勢(shì)進(jìn)行交互的GT評(píng)估模型。GT評(píng)估模型通過任務(wù)實(shí)驗(yàn)獲取了人體運(yùn)動(dòng)軌跡和實(shí)驗(yàn)任務(wù)完成情況兩種量化評(píng)估指標(biāo)，并結(jié)合熵值法綜合各項(xiàng)結(jié)論的權(quán)重，得出適用于沉浸式環(huán)境使用手勢(shì)進(jìn)行交互的評(píng)估參考。然后設(shè)計(jì)了沉浸式虛擬化學(xué)環(huán)境與交互任務(wù)，通過實(shí)驗(yàn)驗(yàn)證了GT評(píng)估模型的有效性。最后通過分析實(shí)驗(yàn)數(shù)據(jù)，提出了提供物理反饋和深度感知優(yōu)化兩種沉浸式環(huán)境下使用手勢(shì)進(jìn)行交互的優(yōu)化方法。

未來的研究有以下兩個(gè)方向：

(1)結(jié)合更多的非接觸式設(shè)備，使評(píng)估能更有效地涵蓋整個(gè)實(shí)驗(yàn)過程。受設(shè)備所限，本文僅收集了人體的手勢(shì)交互信息數(shù)據(jù)，而人體除了主要用于交互的手勢(shì)外，還有身體姿態(tài)、目光和心率變化等客觀生理數(shù)據(jù)，通過整合各類非接觸設(shè)備的信息接口，擴(kuò)大收集人體在交互中的各類指標(biāo)，可以更全面地保證評(píng)估的有效性。

(2)通過人工智能和機(jī)器學(xué)習(xí)，擴(kuò)大評(píng)估模型的有效范圍。目前本文所設(shè)計(jì)的GT評(píng)估模型，評(píng)估范圍僅限于沉浸式三維空間下，受試者以坐姿狀態(tài)使用手勢(shì)進(jìn)行交互的舒適性和精準(zhǔn)性。通過加入人工智能和機(jī)器學(xué)習(xí)的方法，可以將該評(píng)估范圍向非沉浸式、自由姿態(tài)和身體交互方向進(jìn)行擴(kuò)展。