李念龍,黃 進,田 豐,戴國忠,王宏安

1(人機交互北京市重點實驗室(中國科學(xué)院 軟件研究所),北京 100190)

2(中國科學(xué)院大學(xué) 計算機與控制學(xué)院,北京 100190)

1 概述

隨著交互式多媒體技術(shù)的發(fā)展,計算機呈現(xiàn)給用戶的信息變得越來越豐富,動態(tài)形式的交互任務(wù)也變得越來越普遍.比如,在航班管理系統(tǒng)中,用戶需要選擇飛行中的航班,查看有關(guān)該航班的詳細信息;在虛擬射擊游戲中,射擊識別系統(tǒng)作為核心部分對用戶體驗有著至關(guān)重要的影響[1].然而,相比于靜態(tài)形式的交互任務(wù),如Windows 操作系統(tǒng)中的菜單選擇,動態(tài)交互任務(wù)無疑會給用戶帶來更大的挑戰(zhàn).用戶需要不停地接受和處理動態(tài)任務(wù)信息,認知負荷隨之增加.此外,用戶在交互過程中還需要保持高度集中的注意力,控制肌肉運動與感知神經(jīng)的協(xié)調(diào)一致[2].這些因素給用戶與界面的交互行為引入了噪音干擾,使得用戶最終輸出的信息并不一定是實際所想.例如,當用戶點擊快速移動的目標時,經(jīng)常會點偏或點錯[3,4].但對計算機而言,用戶行為的內(nèi)部產(chǎn)生過程是一個黑盒,計算機只能觀測到用戶最終的輸入,并將此作為唯一的用戶意圖判斷依據(jù).從而導(dǎo)致用戶與動態(tài)任務(wù)的交互效率低下,常常需要花費更多的時間并且很容易產(chǎn)生疲勞.

可見,為了提高用戶與動態(tài)任務(wù)的交互效率,對用戶行為的內(nèi)部產(chǎn)生過程建模,進而實現(xiàn)用戶行為的意圖理解,對包含動態(tài)內(nèi)容的用戶界面有重要意義.運動目標獲取任務(wù)[5-7]是動態(tài)用戶界面中最為基礎(chǔ)和廣泛使用的交互任務(wù).研究者們已經(jīng)對用戶在這項交互任務(wù)中的感知過程、認知過程與運動表現(xiàn)進行了大量的研究.在用戶對運動物體的感知過程中,主要包括物體位置變化、物體的運動速度以及物體的運動方向[2].研究表明,這3種感知是相互獨立的[8-11].在Brouwer 等人的研究中還發(fā)現(xiàn),用戶在動態(tài)交互任務(wù)中使用的并不是感知速度,而是基于經(jīng)驗記憶的平均速度[8].盡管這些結(jié)論可以很好地解釋用戶在動態(tài)選擇任務(wù)中的一些表現(xiàn),但卻沒有形成一套完成的模型框架,并且也沒有應(yīng)用在計算機對用戶的意圖理解上.在對用戶的認知研究方面,ACT-R 模型描述了一個較為完善的用戶認知與外界環(huán)境的交互模型[12].用戶在認知過程中,除了整合外界的感知信息以外,還需要從目標意圖與記憶存儲中提取相關(guān)的內(nèi)容.此外,貝葉斯方法作為一種可計算的模型,被廣泛應(yīng)用在計算機對用戶的認知分析中.在K?rding 等人的研究中,通過貝葉斯方法推斷用戶真實的感知信息[13],使計算機能夠分析用戶的認知,但是他們并沒有對用戶意圖進行理解.在對用戶的運動研究方面,許多與空間約束任務(wù)相關(guān)的模型和優(yōu)化方法被提了出來,如隨機優(yōu)化子運動模型[14]和統(tǒng)計校準法[15]等.這些模型雖然能夠?qū)τ脩舻谋憩F(xiàn)建模,但卻面向靜態(tài)交互任務(wù),并且缺乏完整的用戶交互模型框架分析.

本文提出的ICOMDT(interaction computational model for dynamic task),是一個面向動態(tài)交互任務(wù)的定量化可計算的交互模型.該模型融合了已有研究的成果與思想,將用戶與計算機的交互過程進行分解并統(tǒng)一建模,它由用戶模型中的感知模型、認知模型、運動模型、目標意圖和記憶存儲模塊以及計算機模型中與之對應(yīng)的動態(tài)任務(wù)、認知解碼、交互設(shè)備、意圖理解和數(shù)據(jù)模型共10 個模塊組成.計算機能夠根據(jù)動態(tài)任務(wù)的先驗信息、用戶的輸入信息結(jié)合數(shù)據(jù)模型對用戶認知進行解碼,進而得到用戶的目標意圖.通過該模型可以輔助計算機更好地理解用戶意圖,提高用戶與動態(tài)任務(wù)的交互效率.

更具體地,我們將該模型在運動目標獲取任務(wù)中加以應(yīng)用,對用戶點擊運動目標的落點分布建立高斯分布數(shù)據(jù)模型,并使用貝葉斯方法推斷用戶的意圖目標.為了驗證模型的有效性,我們設(shè)計了與兩個運動目標選擇任務(wù)相關(guān)的實驗.實驗1 首先對用戶數(shù)據(jù)模型進行擬合,并用于預(yù)測用戶選擇的錯誤率.實驗2 根據(jù)動態(tài)交互計算模型實現(xiàn)了一種輔助運動目標選擇技術(shù),使用實驗1 中擬合的數(shù)據(jù)模型,能夠有效地縮短用戶的目標選擇時間,并提高目標選擇的準確率.

本文的貢獻主要有以下幾點.

(1)提出一個面向動態(tài)任務(wù)的交互計算模型——ICOMDT,用于解釋用戶與動態(tài)任務(wù)的交互行為并實現(xiàn)用戶意圖預(yù)測.

(2)將ICOMDT應(yīng)用于運動目標選擇任務(wù),提出一套可計算的模型方法,能夠根據(jù)任務(wù)參數(shù)預(yù)測用戶目標選擇的錯誤率.

(3)基于ICOMDT實現(xiàn)一種輔助運動目標選擇技術(shù),能夠有效地縮短運動目標的選擇時間并提高選擇的準確率.

2 相關(guān)研究

為了將用戶與計算機的交互過程進行分解并統(tǒng)一建模,我們在感知模型、認知模型以及運動模型3 個方面對已有工作進行了歸納,下面分別對這幾個方面展開闡述.

2.1 用戶感知研究

用戶對運動物體的感知主要包括物體位置變化、物體的運動速度以及物體的運動方向[8].雖然物體的運動速度與位置隨時間的變化有關(guān),但研究表明,用戶對物體運動速度的感知并不依賴于位置感知變化[9].在Brenner等人的研究中也將用戶對速度感知轉(zhuǎn)化為對時間的感知[11],并影響用戶選擇目標的時刻.具體來說,如果用戶預(yù)估速度偏小,會導(dǎo)致選取目標的時刻提早;而用戶預(yù)估速度偏大,則會導(dǎo)致目標的選取時刻滯后.運動方向的感知也被證實不受物體位置感知變化的影響[16,17].然而,對物體運動速度感知和運動方向感知之間的關(guān)系的研究卻存在一些爭議[18,19].僅就運動目標獲取任務(wù)而言,Brouwer 等人在2003 年通過實驗證實了用戶對物體速度和運動方向的感知是相互獨立的[8],這個結(jié)論為我們構(gòu)建ICOMDT提供了重要依據(jù).

在Brouwer 等人的實驗中,用戶被要求用一根有機玻璃棒在顯示屏上點選朝特定方向以恒定速度運動的目標.實驗通過控制目標是否在移動過程中消失以及背景的運動來探究運動方向感知對用戶選擇目標的影響.結(jié)果表明,無論目標是否在移動過程中消失,用戶選擇目標時的落點誤差距離無顯著性差異,但是背景運動卻會影響落點的誤差距離(背景運動影響了用戶對目標運動方向的感知).因此,用戶動態(tài)任務(wù)交互過程中用到的是實際感知到的運動方向而不是基于經(jīng)驗預(yù)期的方向;相反地,對運動速度用到的是基于經(jīng)驗預(yù)期的平均速度而不是感知到的速度,根據(jù)實驗結(jié)果發(fā)現(xiàn),用戶在選擇運動速度較慢的目標時距離偏移更大;在選擇速度較快的目標時距離偏移更小.因此,Brouwer 等人認為,用戶在動態(tài)交互任務(wù)中,對運動速度的感知和運動方向的感知是分離的.這表明,物體的運動(速度)不能在不同方向上分解.

綜上所述我們認為,在動態(tài)交互任務(wù)中,用戶對運動物體的位置變化感知、運動速度感知以及運動方向感知都是相互獨立的.盡管研究者們已經(jīng)嘗試通過實驗來分析用戶在一些簡單動態(tài)交互任務(wù)中的感知狀態(tài),但卻沒有提出一套完整的交互理論模型,并且也未能使計算機對用戶意圖進行理解.

2.2 用戶認知研究

近年來,研究者們對用戶認知科學(xué)的研究已經(jīng)不僅限于感知覺、言語過程、思維過程等傳統(tǒng)的認知機能,許多新型研究領(lǐng)域,如認知神經(jīng)計算、社會認知決策的出現(xiàn),讓很多不同行業(yè)的人都開始從事與認知研究相關(guān)的工作,許多模型方法也被研究者們提了出來.

2.2.1 認知模型

思維理性的自適應(yīng)控制(adaptive control of thought-rational,簡稱ACT-R)已經(jīng)發(fā)展成為由多個模塊組成的理論[12],常用來解釋人類與外界環(huán)境交互時的認知過程.該模型主要包含4 個模塊和1 個中央控制系統(tǒng),4 個模塊分別是:用來識別視野范圍內(nèi)的物體的視覺模塊(visual module)、控制手部運動的操作模塊(manual module)、從記憶內(nèi)存中檢索信息的聲明模塊(declarative module)以及追蹤當前目標和意圖的目標模塊(goal module).ACT-R 已被證實通過這4 個模塊與中央控制系統(tǒng)的交互過程及所需的時間損耗,能夠?qū)ξ谋据斎霑r間[20]、錯誤率[21]和視覺搜索策略[22]等用戶行為進行準確預(yù)測.雖然ACT-R 僅對用戶認知加工過程進行了解釋,無法輔助計算機對用戶行為進行意圖理解,本文創(chuàng)造性地將意圖理解過程看作是認知加工過程的近似逆過程,并將其用于ICOMDT意圖理解歸因體系的構(gòu)建當中.

2.2.2 認知推理

認知推理是人類結(jié)合感知刺激與記憶形成對外部環(huán)境認識的過程,雖然是否存在規(guī)范性描述人類認知推理過程的機制存在爭議,但簡單的統(tǒng)計推斷法卻已在這些方面得到多方證實[23,24].這種方法即貝葉斯法則,它在描述用戶將當前觀察到的信息和先驗記憶中的信息結(jié)合的行為中非常成功,為我們提供了一個操作性很強的理論框架,描述用戶對事件進行感知推理的過程[23].K?rding 等人指出,實際上環(huán)境中的對象具有很強的統(tǒng)計規(guī)律性,且人類大腦對這種規(guī)律有著很強的學(xué)習(xí)能力,使人腦在特定環(huán)境中對外界線索的感知能夠被概率統(tǒng)計模型所描述,他們用實驗證實了貝葉斯模型能夠很好地描述這種學(xué)習(xí)能力[13].Lu 等人也通過貝葉斯方法描述了在多通道信息融合的交互模型中,人們?nèi)绾胃鶕?jù)感知層傳來的信息進行決策[25].雖然他們只是針對感知任務(wù)進行用戶意圖理解,但卻為在動態(tài)交互任務(wù)中解碼用戶意圖,進而實現(xiàn)計算機意圖理解提供了重要依據(jù).

2.3 用戶運動研究

Fitts 定律作為著名的用戶表現(xiàn)模型,描述了空間約束運動任務(wù)中速度與準確性的關(guān)系,并能夠預(yù)測用戶的平均移動時間[26,27].確定性迭代修正模型進一步解釋了用戶從初始位置到目標區(qū)域的總體移動包括一系列離散的子運動[28,29].基于確定性迭代修正模型,Meyer 等人提出隨機優(yōu)化子運動模型[14],并對子運動分量落點分布的標準差進行了分析:對于主要子運動和次要子運動,用戶落點分布的標準差均與用戶移動的平均速度成正比,在移動距離固定的情況下與運動時間成反比.

Meyer 的研究雖然分析了用戶在空間約束任務(wù)中最終落點分布的影響因素,但卻只是針對用戶運動的影響進行了分析.2013 年,Bi 和Zhai 提出了一種通過建立統(tǒng)計校準模型解決用戶在觸摸屏上選擇靜態(tài)圖標精準度的方法[15].該模型認為用戶點擊目標的落點分布服從正態(tài)分布,均值為一個常數(shù),與設(shè)備本身的精準度有關(guān);方差除了受設(shè)備本身精準度的影響外,也與目標的大小有關(guān).盡管Bi和Zhai的研究是對用戶操作整體建模,最終的落點分布也僅與初始任務(wù)參數(shù)有關(guān),但在他們的研究中目標是靜止的,并且他們所建立的模型并沒有分析用戶的感知和認知過程.

研究者們還將最優(yōu)化模型應(yīng)用于解釋用戶與動態(tài)任務(wù)的交互運動.其中,主要包括開環(huán)(open-loop)和閉環(huán)(closed-loop)兩類模型.在開環(huán)控制模型中,最優(yōu)化的目標集中獲得最合理的肌肉活動[30,31]、關(guān)節(jié)力矩[32]或者上肢姿態(tài)[33,34],而忽略了在線的感知反饋,并且經(jīng)常把人類運動看作是一個預(yù)先確定的動態(tài)系統(tǒng).相比開環(huán)控制系統(tǒng),閉環(huán)系統(tǒng)采用了更加類似人類的處理模式,這種模式不再依賴于提前預(yù)知的期望軌跡(desired trajectory),而是能夠在不可預(yù)測的波動下反復(fù)再現(xiàn)[35].盡管閉環(huán)控制系統(tǒng)與人類運動的相似度更高,但在實際設(shè)計中很難直接使用這些模型,因為需要對參數(shù)進行高精度的計算優(yōu)化.

3 動態(tài)交互計算模型

為了將用戶與計算機的交互過程進行分解并統(tǒng)一建模,實現(xiàn)動態(tài)交互任務(wù)中用戶意圖的準確理解,我們提出ICOMDT,其體系結(jié)構(gòu)如圖1 所示.它與以往意圖理解模型的主要區(qū)別在于,以往方法中用戶與動態(tài)任務(wù)交互是以一種黑盒的方式進行,即計算機不知道用戶在接收信息后會如何操作,無法理解用戶的意圖.由于用戶自身復(fù)雜的生理結(jié)構(gòu),神經(jīng)沖動信號在傳遞至肌肉運動的過程中難免會伴隨有干擾噪音,導(dǎo)致最終的行為輸出與用戶意圖產(chǎn)生偏差.如果僅以用戶的輸出作為唯一依據(jù),計算機很容易做出一些錯誤的判斷,帶來不必要的交互耗時與不友好的交互方式.

在ICOMDT中,我們將交互過程劃分為用戶空間和計算空間兩個部分,在用戶空間中,主要參考了ACT-R 模型[12]對用戶認知這一黑盒過程進行了模塊劃分,并基于對用戶感知、認知和運動表現(xiàn)的已有研究,分析了用戶與動態(tài)任務(wù)的交互過程,在計算空間中,通過對認知空間進行近似的逆向建模,實現(xiàn)用戶在動態(tài)交互任務(wù)中的意圖理解,進而提高交互效率.下面我們首先對ICOMDT的體系結(jié)構(gòu)進行介紹,然后再給出一個應(yīng)用于運動目標獲取用戶表現(xiàn)建模的例子,以說明其工作過程.

3.1 ICOMDT體系結(jié)構(gòu)

(1)感知模型:用戶通過感覺器官接收計算機傳入的動態(tài)任務(wù)信息.主要為視覺信息感知,也可能包含聽覺信息或觸覺信息等多通道信息感知.

(2)認知模型:用戶在大腦皮層對感知到的信息進行加工整合處理,理解動態(tài)任務(wù)并做出相應(yīng)決斷,之后激活額葉中央前回運動區(qū)產(chǎn)生運動信號.

(3)運動模型:當運動信號下傳至脊髓,激活脊髓前角元運動細胞后,肌肉就開始運動,完成我們所期望的操作,這是用戶的信息輸出模塊.

(4)目標意圖與記憶存儲:根據(jù)ACT-R 模型[12],用戶在認知層面處理時,需要追蹤當前的目標意圖并從記憶存儲中提取有效的經(jīng)驗信息指導(dǎo)當前操作,這一過程即對應(yīng)于目標意圖與記憶存儲模塊.

(5)輸出設(shè)備:與用戶的運動模型相對應(yīng),是計算機的信息輸出模塊,可以包括視覺呈現(xiàn)、聽覺呈現(xiàn)、觸覺呈現(xiàn)等多種形式.

(6)認知解碼:計算機對用戶認知過程的解析,是用戶內(nèi)部處理過程的近似建模.

(7)輸入設(shè)備:與用戶感知模型相對應(yīng),是計算機的信息輸入模塊,可以包括手指、鼠標以及操縱桿等交互輸入設(shè)備.

(8)意圖理解與數(shù)據(jù)模型:兩個模塊相輔相成,它們都必須結(jié)合認知解碼模塊工作.當認知解碼模塊以用戶操作為輸入時,可利用意圖理解模塊反向推測出用戶意圖;當認知解碼模塊以交互任務(wù)參數(shù)為輸入、輸入設(shè)備傳入數(shù)據(jù)為標簽時,可實現(xiàn)模型訓(xùn)練,并將訓(xùn)練好的模型和參數(shù)在數(shù)據(jù)模型模塊進行存儲.

(9)認知交互任務(wù)與計算交互任務(wù):ICOMDT與具體交互任務(wù)進行適配的模塊,在用戶空間中,這個模塊以人類意識的形式存在,它意味著用戶大腦當前對特定任務(wù)的認識以及以往執(zhí)行任務(wù)留下的記憶,根據(jù)ACT-R模型[12],它為用戶的目標意圖、記憶存儲模塊提供識別任務(wù)目標并執(zhí)行相應(yīng)的操作的認知和記憶;在計算空間中,這個模塊以計算邏輯和參數(shù)的形式存在,它不僅規(guī)定了具體任務(wù)的交互界面和內(nèi)部邏輯,還為用戶數(shù)據(jù)模型的構(gòu)建和意圖理解提供規(guī)則和參數(shù)支撐.

在一次交互過程中,計算交互任務(wù)首先指導(dǎo)計算機將界面內(nèi)容呈現(xiàn)給用戶,用戶通過感知模型對任務(wù)內(nèi)容進行感知,之后在認知模型中對感知到的信息加工整合理解,用戶通過之前對該交互任務(wù)直接或間接的了解,已經(jīng)形成了經(jīng)驗和認識,并存放于認知交互任務(wù)模塊中,在這些經(jīng)驗和認識的作用下,目標意圖模塊明確任務(wù)中需要完成的目標,并在記憶存儲模塊結(jié)合經(jīng)驗知識對當前任務(wù)做出決策,最后將控制信號傳遞至運動模型,控制肌肉運動完成期望行為操作.

用戶行為通過輸入設(shè)備進入計算機,傳遞至認知解碼模塊,同時交互任務(wù)的相關(guān)信息作為計算機的先驗知識也通過數(shù)據(jù)模型傳入認知解碼模塊,計算機根據(jù)二者的信息并結(jié)合已經(jīng)建立的數(shù)據(jù)模型對用戶認知進行反向解碼,推斷用戶的目標意圖,通過意圖理解模塊反饋給交互任務(wù),最后交互任務(wù)將結(jié)果重新呈現(xiàn)給用戶,完成一次交互.

3.2 運動目標選擇任務(wù)

下面我們將ICOMDT應(yīng)用于運動目標獲取任務(wù)中,對其用戶表現(xiàn),或者更具體地說,對運動目標選擇的落點位置(endpoint)進行建模.我們將根據(jù)ICOMDT體系結(jié)構(gòu)對各個模塊的具體內(nèi)容分別加以介紹.

3.2.1 計算交互任務(wù)運動目標獲取任務(wù)的定義如下:電腦屏幕中有單個或多個運動的圓形目標,用戶需要盡可能快速并且準確地使用鼠標選中其中一個目標.

研究表明,在靜態(tài)交互任務(wù)中,用戶會最大限度地利用目標寬度來節(jié)省他們選擇目標的時間[36],我們相信,該發(fā)現(xiàn)在動態(tài)交互任務(wù)中也同樣存在.而在運動控制理論中,感知-運動控制系統(tǒng)存在時間延遲,這可能導(dǎo)致終點落后于目標[37],當目標移動速度更快時,這種趨勢變得更強.因此,我們把目標的運動速度(V)和大小或直徑(W)作為任務(wù)相關(guān)參數(shù),并且這兩個任務(wù)參數(shù)作為先驗信息是已知的.在這個案例中,我們采用圖形顯示器作為輸出設(shè)備,采用鼠標作為輸入設(shè)備,用戶的輸入行為就是按下鼠標按鈕時鼠標的位置.

3.2.2 認知解碼

根據(jù)動態(tài)交互計算模型,推斷用戶意圖的方法為用戶認知和運動行為的逆向推理,因此,在這一模塊中,我們首先需要將用戶的認知和運動處理過程進行有效的近似建模.從用戶的角度來看,用戶最初得到的刺激為任務(wù)呈現(xiàn),從上一節(jié)可知,在運動目標獲取任務(wù)中,最重要的信息即為運動目標的V與W,而用戶最終的輸出為選擇落點,因此,這個近似建模過程即找到任務(wù)參數(shù)V和W與選擇落點之間關(guān)系的過程.

考慮到人類本身復(fù)雜的生理結(jié)構(gòu),我們很難用計算機模擬出用戶的整個認知處理過程.此外,由于從用戶大腦發(fā)出指令到最終按下選擇按鈕幾乎是在很短時間內(nèi)完成的,我們可以認為用戶每一次操作都是開環(huán)控制,即從用戶感知到最終輸出之間不存在反饋回路.因此,為了簡化計算,我們利用數(shù)據(jù)驅(qū)動[38,39]的方法找到任務(wù)參數(shù)與落點之間的一個開環(huán)函數(shù),以此表示它們之間的關(guān)系.更近一步地,大量研究表明,用戶在靜止目標選擇任務(wù)中的落點分布服從正態(tài)分布[36,40,41],我們假設(shè)運動在運動目標選擇中的落點樣本總體X服從正態(tài)分布,那么任務(wù)參數(shù)與落點之間的關(guān)系則可以轉(zhuǎn)變?yōu)閂和W與正態(tài)分布均值和協(xié)方差之間的關(guān)系,如圖2 所示.

1)速度大小與運動方向分解

Brouwer 等人指出,目標速度大小與運動方向在被用戶感知時是相互獨立的[8],我們以目標中心為原點建立坐標系:定義x方向為目標運動方向,y方向為與目標運動方向垂直的方向,由此可得,x方向上的移動速度為V,y方向上的移動速度為0,兩個方向上的目標大小均為W.在此坐標系下,x方向的偏差體現(xiàn)了運動速度變化對用戶落點的影響,y方向的偏差體現(xiàn)了空間方向變化對用戶落點的影響,兩個方向上的影響相互獨立.因此有:

接下來,我們通過分析動態(tài)交互計算模型建立任務(wù)參數(shù)(V,W)與正態(tài)分布參數(shù)(μx,μy,σx,σy)之間的關(guān)系.

2)V對μx和σx的影響

用戶落點在x方向上的分布主要是由速度變化引起的.在Brenner 等人對移動目標捕獲問題的研究中[11],物體實際運動速度與用戶感知速度的差異會導(dǎo)致用戶最終選擇目標的位置提前或者滯后.

假設(shè)用戶預(yù)估速度為ve,那么目標最終在t時刻被預(yù)測選中的位置xe為

其中,delay表示視覺信息轉(zhuǎn)化為肌肉刺激的延遲時間,te是預(yù)估的選中目標的時刻.而實際選中目標的位置xa可以被寫作:

其中,ta是目標實際被選中的時刻,va也是目標的實際速度.為了準確選中目標,用戶預(yù)估的位置應(yīng)該與實際位置相同(i.e.xe(t)=xa(t),t=ta).所以,合并公式(3)和公式(4)后可得:

因此,如果用戶估計的速度偏小,會導(dǎo)致選取目標的時刻提早,落點位置提前;而如果用戶預(yù)估速度偏大,則會導(dǎo)致目標的選取時刻延遲,落點位置滯后.我們將V對μx產(chǎn)生的影響近似地用線性關(guān)系式表示:

根據(jù)隨機最優(yōu)化子運動模型[14],用戶的選擇速度會影響落點分布的標準差,對主要子運動有:

其中,V1是主要子運動的平均速度,D1和T1分別是主要子運動的平均距離和平均時間,K為常量系數(shù)(K>0).如果主要子運動錯過了目標區(qū)域,并且在與目標中心點Δ距離范圍內(nèi)結(jié)束(Δ≥W/2),根據(jù)模型將會有次要子運動在T2Δ的時間里移動Δ的距離,最終的落點分布的標準差為S2,即有

而運動目標的速度顯然會影響用戶的選擇速度,進而影響選擇落點的不確定程度,因此,我們近似地認為σx正比于V.

3)V對μy和σy的影響

用戶落點在y方向上的分布主要是由空間方向感知誤差引起的.用戶對運動方向感知不受感知速度的影響[8],因此,μy不受V的影響,即:

然而,用戶的選擇速度依然受到目標移動速度的影響[42,43],根據(jù)隨機最優(yōu)化子運動模型的公式(9),V仍會對σy產(chǎn)生影響.這也符合常理,目標移動速度越快,用戶就要越迅速地移動鼠標追逐選擇目標,盡管落點分布的均值趨于中心,但是不確定性卻會隨之增大.

4)W對μx和σx的影響

對于靜止目標選擇任務(wù),Bi 和Zhai 研究發(fā)現(xiàn),W會影響落點分布的標準差,但并不影響均值[41].

其中,σa為常數(shù),表示設(shè)備的絕對精度,常數(shù)c表示絕對偏移度,通常情況下設(shè)為0.但在運動目標選擇任務(wù)中,由于x方向上目標運動速度的干擾,用戶會盡可能地利用W,或者說目標本身對運動精度的容忍度[36],以抵消速度V帶來的影響.換句話說,一般情況下,目標的移動會造成用戶的點擊落點滯后,而用戶會盡可能地通過預(yù)判彌補滯后偏差,目標越大,這種彌補就會變得越明顯.因此,暫且先把絕對精度拋掉.同樣,我們將W對μx和σx的關(guān)系近似地看作正比關(guān)系:

5)W對μy和σy的影響

由于y方向沒有速度分量的存在,用戶不必要利用W以抵消速度V帶來的影響,所以,我們可以認為W對落點分布的影響與靜止目標選擇任務(wù)類似,根據(jù)公式(12),將μy設(shè)為0:

同時,由于目標為圓形,在y方向上目標大小仍為W,因此,W對σy的影響與x方向保持一致.

6)總落點分布函數(shù)

為了得到最終的正態(tài)分布函數(shù),需要將上述V和W對落點分布產(chǎn)生的影響進行疊加.我們將這種影響表示為與V和W有關(guān)的兩個正態(tài)分布和此外,再引入一個正態(tài)分布表示絕對精度[41],它們形成了總體分布的3 個子分布,利用正態(tài)分布相加仍是正態(tài)分布的規(guī)則,我們便可以通過加法運算得到最終的總體分布.

根據(jù)公式(6)、公式(9)～公式(11),V產(chǎn)生的子分布可以寫為

其中,bx,ex,ey均為常數(shù).

根據(jù)公式(14)～公式(17),W產(chǎn)生的子分布可以寫為

其中,cx,cw,x,fx,fy均為常數(shù).

絕對精度產(chǎn)生的正態(tài)分布均值和協(xié)方差均為常數(shù).

根據(jù)精度容忍度理論[36],當W越大時,V的作用越小,因此,假設(shè)Xv和Xw相互之間不獨立,且它們的協(xié)方差為

其中,gx,gy為常數(shù),V2/W2這一項體現(xiàn)了目標大小對目標速度的抑制作用.

最后,利用二維正態(tài)分布的線性組合仍是正態(tài)分布的性質(zhì),將上述3 個正態(tài)分布相加即可得到總體正態(tài)分布表達式:

3.2.3 數(shù)據(jù)模型

從前面的章節(jié)可知,數(shù)據(jù)模型模塊實際上是實現(xiàn)了認知解碼模型,即公式(23)的訓(xùn)練和存儲.其訓(xùn)練過程包括兩個步驟:(1)收集用戶在不同V和W下選擇目標的落點數(shù)據(jù);(2)利用認知解碼模型對收集到的數(shù)據(jù)進行擬合,完成模型參數(shù)的估計.我們將在后面的實驗章節(jié)中對這部分內(nèi)容進行詳細介紹.

3.2.4 意圖理解

在認知解碼過程中,我們選擇使用貝葉斯法則實現(xiàn)認知過程的逆向推理.假設(shè)有n個候選目標T={t1,t2,…,tn},若用戶點擊選擇的落點為s,那么目標t是用戶意圖目標的條件概率為P(t|s).要想找到這個意圖目標就等同于尋找目標t*使P(t|s)的概率最大,根據(jù)貝葉斯定理,可以得到:

其中,P(t)為先驗概率,假設(shè)每個目標初始情況下被選中的概率相同(即為1/n).P(s|t)為似然函數(shù),用以描述用戶在s點欲選擇t目標的概率.P(s)為正則化系數(shù),所有目標取值相同.因此,我們尋找t*使P(t|s)最大就等同于使P(s|t)最大,即:

注意到每個運動目標都有唯一的W和V,通過訓(xùn)練好的數(shù)據(jù)模型計算特定V和W目標的落點分布,就能夠根據(jù)當前落點s反推出其屬于該目標t的概率P(s|t),進而可以得到用戶的意圖目標t*.

4 實 驗

為了驗證動態(tài)交互計算模型框架的有效性,我們設(shè)計了兩個基于運動目標選擇任務(wù)的實驗.

4.1 實驗1:模型擬合與錯誤率預(yù)測

在本實驗中,我們通過收集用戶點擊落點數(shù)據(jù)來擬合數(shù)據(jù)模型參數(shù),并對任務(wù)中的點擊錯誤率進行預(yù)測.

4.1.1 參與者及實驗環(huán)境

我們招募了12 名人員參與實驗,男女各6 名,平均年齡25 歲.他們的慣用手均為右手,平時也都有使用計算機的習(xí)慣.

實驗在聯(lián)想P318 的電腦上進行,采用2.6GHz Intel Core i7 CPU 以及分辨率為1920×1080 的23 英吋(533.2×312mm)LED 顯示器,交互輸入設(shè)備為戴爾MS111 鼠標(1 000dpi).實驗界面程序使用C#代碼編寫.

4.1.2 實驗設(shè)計與過程

實驗采用組內(nèi)設(shè)計,包含4 種目標大小W(24、48、96、144 像素)×4 種目標運動速度V(96、192、288、384像素/秒)共16 種情況.每種情況下測試者需要完成10 次選擇操作,因此我們最終可以得到16×10×12 共1 920次點擊數(shù)據(jù).在實驗過程中允許測試者休息.

在每一次的操作中,測試者點擊屏幕中心的“開始”按鈕開始實驗.在等待很短的時間間隔后(大約700ms～2000ms),屏幕中會在隨機位置出現(xiàn)一個朝隨機方向運動的目標,測試者需要盡可能快并且準確地選中目標.每一次操作只允許點擊一次鼠標按鈕,無論有沒有選中目標,我們都會記錄點擊的落點位置并進入下一次操作.

4.1.3 模型擬合

在使用模型對用戶數(shù)據(jù)進行擬合的過程中,我們使用最小二乘回歸方法(least square regression)對正態(tài)分布的參數(shù)μx、σx和σy進行估計,將參數(shù)μy設(shè)為0,因為實驗數(shù)據(jù)顯示,落點均值在y方向上的偏差幾乎沒有,設(shè)為0 后它的平均絕對誤差(mean absolute error)為1.05 像素,表明它與真實數(shù)據(jù)非常接近.總體來說,我們的模型能夠很好地擬合用戶數(shù)據(jù),對應(yīng)的R2結(jié)果分別為0.961、0.938 和0.955.最終得到的數(shù)據(jù)模型參數(shù)系數(shù)見表1.

Table 1 Coefficient fitting results of normal distribution model表1 正態(tài)分布模型系數(shù)擬合結(jié)果

4.1.4 錯誤率預(yù)測

錯誤率是人機交互中最為重要的因素之一,已被廣泛地應(yīng)用于文本輸入和計算機游戲等各種交互場景當中[44,45].在運動目標選擇任務(wù)中,錯誤率被定義為錯誤點擊次數(shù)占總點擊次數(shù)的百分比,對于計算機原本的選擇技術(shù)而言,用戶點擊的落點在目標外即認為是一次錯誤的點擊.根據(jù)交互計算模型,只要給定動態(tài)任務(wù)參數(shù)W和V,就可以通過二維正態(tài)分布的累積分布函數(shù)(cumulative distribution function)計算落在目標區(qū)域外的概率,這一數(shù)值即為用戶在該任務(wù)下的錯誤率.

不同目標大小和目標速度下的實際錯誤率與預(yù)測錯誤率結(jié)果如圖3 所示,最小二乘回歸得到R2值為0.995,表明我們的預(yù)測模型能夠很好地預(yù)測任務(wù)錯誤率.

從圖3 可以看出,用戶的錯誤率隨著目標運動速度的增大而增加,隨著目標大小的增大而減小.這一結(jié)果也蘊含于數(shù)據(jù)模型中:x方向落點均值隨著V的增大而向目標移動的反方向偏移,導(dǎo)致錯誤率的增加,而隨著W的增大,這一效應(yīng)得到抑制,因此在W較大的情況下(W=144 和W=96),錯誤率隨速度增大而變大的斜率是較小的.x和y方向落點方差隨著V或W的增大而增大,導(dǎo)致整個落點分布更為分散,而最終的錯誤率隨著W的增大而降低,因為用戶多傾向于點擊目標的中心點,使得這種降低錯誤率的速度比W導(dǎo)致的落點分散趨勢更快,從而出現(xiàn)了圖3 所示的錯誤率變化曲線.

4.2 實驗2:輔助目標選擇技術(shù)

在本實驗中,我們實現(xiàn)了一種基于交互計算模型的輔助目標選擇技術(shù)ICOMPointer.使用實驗1 中擬合得到的數(shù)據(jù)模型,當一次選擇事件被觸發(fā)時,計算機根據(jù)意圖理解模塊推測出用戶的意圖目標并做出響應(yīng).為了避免用戶有意點擊空白區(qū)域時模型仍會返回目標,忽略了落在目標二維正態(tài)分布3Σ范圍之外的點擊.進一步地,我們通過一個真實的游戲任務(wù)對比分析了ICOMPointer 與基本選擇技術(shù)及兩種現(xiàn)有的運動目標選擇增強技術(shù)Bubble[46]、Comet[47]在表現(xiàn)上的差異.其中,Bubble 能夠根據(jù)周圍的目標位置動態(tài)改變光標選擇區(qū)域,Comet 則是根據(jù)目標的運動速度和寬度給目標添加尾部,從而擴大其可選區(qū)域.

4.2.1 參與者及實驗設(shè)備

我們共招募了16 名人員參與實驗,其中有6 名女性,并且有12 名人員參與了實驗1.他們的平均年齡為26歲.慣用手均為右手,且日常都有使用計算機的需要.實驗所用的設(shè)備與實驗1 相同,但是游戲程序基于Unity3D開發(fā).

4.2.2 實驗任務(wù)與設(shè)計

實驗的程序界面如圖4 所示,當用戶開始實驗后,屏幕上會在隨機的位置出現(xiàn)15 個小球,它們以相同的預(yù)設(shè)大小和速度朝隨機的方向運動,當碰到邊界后無能量損失地反彈.其中,紅色的球為目標球,用戶需要盡可能快速并準確地選中目標.與實驗1 不同,只有選中目標才有新的目標出現(xiàn).

實驗共有3 個獨立變量.

(1)選擇技術(shù):Basic(基本選擇技術(shù))、Bubble、Comet、ICOMPointer(動態(tài)交互計算模型選擇技術(shù)).

(2)目標大小(W):24 pixels、48 pixels、96 pixels、144 pixels.

(3)目標速度(V):96 pixels/sec、192 pixels/sec、288 pixels/sec、384 pixels/sec.

每位實驗者需要在每種條件下完成10 次操作,因此總次數(shù)為4×4×4×10×16=10240 次.在實驗進行前會先讓實驗者練習(xí),并且在實驗過程中也允許實驗者暫停休息.

我們記錄了所有W×V條件下的完成時間和錯誤率.完成時間是指從每一次操作開始到實驗者選中目標之間的時間.錯誤率則是用戶按下鼠標按鈕沒有選中目標的次數(shù)除以總點擊次數(shù).當用戶完成實驗后,需要填寫一份總分為7 分的李克特量表,根據(jù)實際體驗對每種選擇技術(shù)的喜好程度打分,并填寫主觀評價.

4.2.3 實驗結(jié)果

我們使用重復(fù)測量方差分析方法對實驗數(shù)據(jù)進行分析.結(jié)果表明,選擇技術(shù)對用戶的平均完成時間有顯著性影響(F3,45=30.688,p＜0.001).使用Bonferroni 校準成對比較不同選擇技術(shù)在平均完成時間上的表現(xiàn),結(jié)果表明,除了ICOMPointer 與Comet 無顯著性差異(p=1.0)外,其余技術(shù)對之間均存在顯著性差異(p＜0.05).在這4 種選擇技術(shù)中,ICOMPointer 的平均完成時間最短(1 099ms),其次是Comet(1 138ms)、Bubble(1 324ms)和Basic(2 657ms).圖5 所示為兩種選擇技術(shù)在不同目標大小與不同目標運動速度下的平均完成時間對比.

分析也表明,選擇技術(shù)對用戶的選擇錯誤率有顯著性影響(F3,45=75.306,p<0.001).使用Bonferroni 校準成對比較不同選擇技術(shù)在錯誤率上的表現(xiàn),結(jié)果表明,4 種技術(shù)對之間均存在顯著性差異(p<0.05).ICOMPointer 的錯誤率最低(14%),接著依次是Comet(20.9%)、Bubble(32.7%)以及Basic(54.7%).圖6 所示為兩種選擇技術(shù)在不同目標大小與不同目標運動速度下的錯誤率對比.

我們還分析了在每種選擇技術(shù)下目標大小(W)和目標運動速度(V)對完成時間和錯誤率的影響,p值結(jié)果見表2.可以看出,W和V對Basic、Bubble 以及Comet 技術(shù)的完成時間或錯誤率具有顯著性影響,而對ICOMPointer的完成時間和錯誤率均沒有顯著性影響.因此,我們的技術(shù)在面對不同大小和運動速度的目標時都能夠表現(xiàn)出很好的穩(wěn)定性.

Table 2 P value of the impact of W and V on four selection techniques表2 W 和V 對4 種選擇技術(shù)影響的p 值

測試者填寫的李克特量表結(jié)果表明,測試者對ICOMPointer 的喜好程度(M=5.82,SD=0.98)高于Comet(M=5.72,SD=1.34)、Bubble(M=5.36,SD=1.43)以及Basic(M=2.73,SD=1.55).在測試者的主觀評價中也提到:“使用ICOMPointer 技術(shù)選擇看起來與基本選擇技術(shù)很像,但是選擇目標更快.”[S1]“Bubble 雖然很快,但在目標較大或者非常密集時很難選中.”[S11]

4.2.4 討 論

從實驗結(jié)果可以看出,測試者使用ICOMPointer 能夠用更短的時間選中目標,并且錯誤率也更低.速度和大小的整體影響結(jié)果也符合我們的預(yù)期.目標越大,用戶的完成時間就越短,錯誤率也就越低.目標速度越大,用戶的完成時間就越長,錯誤率也越高.

我們還發(fā)現(xiàn),ICOMPointer 處于不同目標大小和運動速度時具有較強的魯棒性,能夠更好地適應(yīng)目標的變化.即使目標大小和速度發(fā)生變化,依然可以輔助用戶更快、更準地選中目標.在實際應(yīng)用中避免了任務(wù)差異對用戶選擇穩(wěn)定性的影響.而用戶的反饋結(jié)果也表明ICOMPointer 更受歡迎.

5 結(jié) 語

本文提出了一個面向動態(tài)交互任務(wù)的定量化可計算的交互模型ICOMDT,該模型能夠解釋用戶與動態(tài)任務(wù)的交互行為并實現(xiàn)用戶意圖預(yù)測.我們將該模型應(yīng)用在運動目標獲取任務(wù)中,提出一套可計算的模型方法,實驗結(jié)果表明該模型能夠很好地擬合用戶數(shù)據(jù).進一步地,我們將模型用于用戶點擊錯誤率預(yù)測和輔助運動目標選擇中,發(fā)現(xiàn)錯誤率的預(yù)測值與實際值非常接近,并且能夠有效地提高運動目標的選擇效率.

目前對用戶與動態(tài)交互任務(wù)的研究,大多停留在用戶行為表現(xiàn)層,沒有一套完整的、可計算的用戶行為內(nèi)部模型框架.ICOMDT模型的提出填補了這一空白,對計算機理解用戶意圖、提高用戶與動態(tài)任務(wù)的交互效率有著重要意義.基于ICOMDT模型,開發(fā)者在設(shè)計動態(tài)交互任務(wù)時,可以通過模擬用戶操作進行設(shè)計優(yōu)化,如在游戲設(shè)計中通過預(yù)測用戶的錯誤率調(diào)整任務(wù)參數(shù);而對于復(fù)雜的操作控制系統(tǒng),也可以通過用戶意圖理解提高交互效率,如在航班管理系統(tǒng)中使用輔助目標選擇技術(shù)幫助操作員更容易選中要查看的航班信息.

但在本文的研究中,仍存在一些不足.如沒有對用戶具體的感知過程、認知過程與運動過程建立模型;沒有考慮多通道信息輸入的動態(tài)交互任務(wù)對用戶交互過程產(chǎn)生的影響.在未來的研究工作中,我們希望進一步探索可計算的用戶感知、認知與運動模型,并能夠?qū)⑽覀兊腎COMDT模型框架應(yīng)用在具體的交互系統(tǒng)中.