黃 進(jìn)，張 浩，田 豐

面向動態(tài)交互場景的計算模型

黃 進(jìn)1,3，張 浩1,2，田 豐1,3

(1. 中國科學(xué)院軟件研究所人機交互北京重點實驗室，北京 100190；2. 中國科學(xué)院大學(xué)計算機科學(xué)與技術(shù)學(xué)院，北京 101408；3. 中國科學(xué)院大學(xué)人工智能學(xué)院，北京 101408)

隨著人機交互技術(shù)不斷發(fā)展，包含動態(tài)內(nèi)容的交互系統(tǒng)，如虛擬/增強/混合現(xiàn)實、視頻監(jiān)控系統(tǒng)等，逐漸占據(jù)主要地位。面向動態(tài)交互場景的計算模型受到了越來越多的關(guān)注，大量的計算模型被提出，加強了人們對動態(tài)用戶界面的認(rèn)識和理解。然而，現(xiàn)階段，面向動態(tài)交互場景的計算模型研究仍在問題復(fù)雜度、解釋性、交互底層機制描述上存在諸多問題，極大地限制了動態(tài)模型研究的發(fā)展和應(yīng)用。本文通過對面向動態(tài)交互場景的計算模型的研究現(xiàn)狀進(jìn)行分析，對當(dāng)前存在且急需解決的問題進(jìn)行了梳理，并給出了領(lǐng)域未來發(fā)展的看法，旨在拋磚引玉，為今后面向動態(tài)交互場景的計算模型研究提供參考。

人機交互；界面系統(tǒng)；動態(tài)場景；動態(tài)交互任務(wù)；計算模型

計算建模是一種利用計算機來模擬和研究復(fù)雜系統(tǒng)的方法。一個計算模型通常包含許多變量，這些變量是所研究系統(tǒng)的特征和屬性。一般來說，計算模型具有3方面的作用：首先，通過模型構(gòu)建、參數(shù)估計和實驗驗證解釋系統(tǒng)內(nèi)部的復(fù)雜結(jié)構(gòu)；其次，基于系統(tǒng)當(dāng)前的特征和屬性，對系統(tǒng)的輸出結(jié)果做出預(yù)測；最后，通過單獨或組合調(diào)整變量并觀察輸出結(jié)果來進(jìn)行系統(tǒng)模擬，對系統(tǒng)行為做出仿真。

人機交互經(jīng)過了多年發(fā)展，各方面技術(shù)已經(jīng)非常成熟，然而人們對用戶行為規(guī)律的研究卻相對滯后，一定程度上制約了交互系統(tǒng)的發(fā)展。因此，近些年來，越來越多的學(xué)者開始利用計算建模的方法來研究人機交互問題，旨在理解用戶行為，預(yù)測用戶表現(xiàn)，并對交互過程進(jìn)行仿真。2021年，國際計算機協(xié)會人機交互特別興趣小組ACM SIGCHI，在其最主要的學(xué)術(shù)會議CHI中設(shè)立了一個全新的計算交互分委會“Computational Interaction Subcommittee”，專注于利用計算方法研究人機交互技術(shù)和設(shè)計，顯示了人機交互學(xué)術(shù)界對于計算模型的重視程度。

隨著人機交互技術(shù)不斷發(fā)展，包含動態(tài)內(nèi)容的交互系統(tǒng)，例如虛擬/增強/混合現(xiàn)實(Virtual/Augmented/ Mixed Reality，VR/AR/MR)、動畫系統(tǒng)、視頻監(jiān)控系統(tǒng)、仿真系統(tǒng)、娛樂教育系統(tǒng)等，逐漸占據(jù)主要地位，面向動態(tài)交互場景的計算模型受到了越來越多的關(guān)注，學(xué)者們構(gòu)建了大量的計算模型，對動態(tài)交互場景中用戶的時間表現(xiàn)、精確度和行為進(jìn)行了建模，加強了對動態(tài)用戶界面的認(rèn)識和理解。然而，現(xiàn)階段面向動態(tài)交互場景的計算模型研究仍存在諸多問題和挑戰(zhàn)，其中包括復(fù)雜動態(tài)交互問題建模的困難，黑盒模型存在的問題，機制性建模的不足和模型應(yīng)用時存在的挑戰(zhàn)等，制約了動態(tài)模型研究的發(fā)展和應(yīng)用。本文通過對面向動態(tài)交互場景的計算模型研究現(xiàn)狀進(jìn)行分析，對當(dāng)前存在且亟需解決的問題進(jìn)行了梳理，并給出了該領(lǐng)域未來發(fā)展的看法，旨在拋磚引玉，為今后面向動態(tài)交互場景的計算模型研究提供參考。

1 研究現(xiàn)狀

1.1 靜態(tài)交互場景的計算模型

目標(biāo)選擇和軌跡任務(wù)被認(rèn)為是人機交互中最為基礎(chǔ)的交互任務(wù)，其計算模型主要包括時間模型和不確定性模型2類，前者預(yù)測完成觸控任務(wù)所需時間，而后者則可以用于計算成功率。對于時間模型，F(xiàn)itts’ Law[1]被證實是最具魯棒性和廣泛應(yīng)用的時間模型，完成了如圖1所示的1D目標(biāo)獲取，并對運動時間進(jìn)行了精準(zhǔn)的預(yù)測，揭示了完成任務(wù)時間與目標(biāo)大小和目標(biāo)距離的關(guān)聯(lián)[2]，即

其中，MT為完成該任務(wù)所需的平均運動時間；A為光標(biāo)起始點到目標(biāo)中心的距離；W為目標(biāo)的寬度；a和b為由指點設(shè)備、操作人員和環(huán)境因素決定的經(jīng)驗常數(shù)；對數(shù)項，被稱之為難度系數(shù)(index of difficulty，ID)。Fitts’ Law最開始建立在一個1D的靜態(tài)觸控任務(wù)中，后來又被擴展到了2D[3-4]、3D[5]以及動態(tài)任務(wù)[6]中。

為了預(yù)測軌跡任務(wù)的時間表現(xiàn)，ACCOT等[7]對Fitts’ Law進(jìn)行拓展，提出了Steering Law用于對軌跡任務(wù)的運動時間進(jìn)行預(yù)測，在如圖2所示的一個筆直的軌道中，任務(wù)時間與軌道長度和軌道寬度的比值呈線性關(guān)系，即

其中，為通道長度；為通道寬度；a和b是經(jīng)驗常數(shù)。

圖2 Steering Law中的筆直通道任務(wù)

利用微分的思想，Steering Law還可以進(jìn)一步拓展到任意光滑軌道中，從而能夠更好地應(yīng)對急轉(zhuǎn)彎[8]、邊界大小變化通道[9]、以及復(fù)雜管道[10]中。經(jīng)過推導(dǎo)，Steering Law可以拓展到任意有理通道上，在一般情況下，完成任務(wù)時間可以表示為無數(shù)多個微小的筆直通道的積分。然而，Steering Law的后續(xù)研究發(fā)現(xiàn)，其僅適用于光滑的軌道，而對嚴(yán)重扭曲或快速變化的軌道預(yù)測性能不足。因此，許多Steering Law的后續(xù)研究都將主要精力放在處理通道突然發(fā)生變化的情況。例如，文獻(xiàn)[8]對Steering Law在包含直轉(zhuǎn)角的軌跡任務(wù)的中的表現(xiàn)進(jìn)行了改進(jìn)，文獻(xiàn)[9]討論了通道大小發(fā)生突然變化時的時間預(yù)測模型。

對于不確定性模型，國內(nèi)外學(xué)者關(guān)注的焦點在于觸控目標(biāo)選擇時的落點分布情況，以及由此推算的目標(biāo)選擇成功率。研究者們首先提出了有效寬度和有效距離的概念，即目標(biāo)選擇落點分布中2倍標(biāo)準(zhǔn)差的范圍和均值，進(jìn)而對Fitts’ Law進(jìn)行修正[11]，提高了特殊情況下Fitts’ Law的預(yù)測準(zhǔn)確性[12]。WOBBROCK等[13]利用Fitts’ Law和有效寬度，對落點分布規(guī)律進(jìn)行分析，推導(dǎo)出了一個1D目標(biāo)獲取的成功率模型(圖3)，揭示了任務(wù)難度系數(shù)和目標(biāo)選擇成功率之間的關(guān)系，即

其中，erf(x)為高斯誤差函數(shù)；MTe為由有效距離和有效寬度計算出來的目標(biāo)獲取運動時間；a和b是經(jīng)驗常數(shù)項。

BI等[14-15]使用雙高斯分布假設(shè)對小型觸屏設(shè)備交互中的落點分布規(guī)律進(jìn)行建模，對小型觸控交互中運動時間做出更為精確的預(yù)測。該思想隨后在虛擬鍵盤和文本輸入上面得到了應(yīng)用，有效地改善了鍵盤和文本輸入的精確度[16-17]。

上述模型均為面向靜態(tài)交互場景的計算模型，而隨著人機交互技術(shù)不斷發(fā)展，動態(tài)交互任務(wù)，例如VR/AR/MR、動畫系統(tǒng)中的交互任務(wù)，逐漸占據(jù)主要地位，面向靜態(tài)交互場景的模型的限制越來越明顯，無法有效支撐含有動態(tài)內(nèi)容的人機交互界面設(shè)計與技術(shù)創(chuàng)新。因此，學(xué)者們開始著眼于構(gòu)建動態(tài)交互場景中的模型，其主要包括動態(tài)交互場景中的時間預(yù)測模型、錯誤率預(yù)測模型和用戶行為模型。

1.2 時間預(yù)測模型

與靜態(tài)場景一致，動態(tài)場景中最基礎(chǔ)的交互任務(wù)是移動目標(biāo)選擇任務(wù)。對于移動目標(biāo)選擇而言，JAGACINSKI的移動目標(biāo)選擇時間模型[6]是最著名的時間預(yù)測模型之一。該模型通過改進(jìn)的難度系數(shù)解釋目標(biāo)速度的影響，將Fitts’ Law擴展到運動目標(biāo)捕獲中，即

其中，和的含義與Fitts’ Law一致；為目標(biāo)移動速度；a，b和c為經(jīng)驗常數(shù)。

與Fitts’ Law中的ID相類似，修改后的難度指數(shù)反映了目標(biāo)寬度和速度相互作用與交互時間之間的關(guān)系。另一個廣為人知的移動目標(biāo)選擇時間估計方法來自文獻(xiàn)[18]，該方法通過應(yīng)用線性控制模型理論來推斷運動目標(biāo)捕獲的困難指數(shù)，利用穩(wěn)態(tài)位置誤差減小目標(biāo)有效寬度，模擬人體獲取運動目標(biāo)的響應(yīng)，最終估計完成交互所需時間。通過考慮目標(biāo)運動對人類時間準(zhǔn)確度的影響，文獻(xiàn)[19-20]發(fā)現(xiàn)目標(biāo)速度對不同參與者的目標(biāo)捕獲策略(如追蹤和命中)有不同的影響。并建議用不同的目標(biāo)速度函數(shù)來估計目標(biāo)捕獲時間，而不是用固定的函數(shù)來處理目標(biāo)速度的影響。HAJRI等[21]還通過應(yīng)用人類處理器模型[22]來描述運動目標(biāo)選擇，推導(dǎo)了一個2D移動目標(biāo)選擇的時間預(yù)測模型。該模型在結(jié)合2個2D靜態(tài)目標(biāo)選擇模型[23-24]的前提下，將橫向和縱向的目標(biāo)移動速度引入ID，實現(xiàn)了2D移動目標(biāo)選擇的時間預(yù)測。此外，CASALLAS[25]利用數(shù)據(jù)驅(qū)動的方式分析了多個任務(wù)因素與3D移動目標(biāo)選擇時間的相關(guān)關(guān)系，通過一個線性函數(shù)對主要的因素進(jìn)行加權(quán)，得到了一個預(yù)測3D移動目標(biāo)選擇時間的模型。

1.3 錯誤率預(yù)測模型

其中，和的含義與式(4)中的含義一致；a，b，c，d，e，f和g為經(jīng)驗常數(shù)。

在給定空間選擇落點分布的情況下，通過對目標(biāo)選擇區(qū)域內(nèi)概率分布函數(shù)的積分即可以得到錯誤率，如圖4所示。

圖4 基于落點分布計算選擇錯誤率[27]

與空間域中獲取目標(biāo)錯誤率類似的，對時間域中錯誤率的建模，可通過估計時間落點分布實現(xiàn)。文獻(xiàn)[28]通過假設(shè)用戶在目標(biāo)時間窗口內(nèi)有一個隱含的時間目標(biāo)點，推導(dǎo)出一個模型來預(yù)測時間指向任務(wù)中的錯誤率?；谠摲椒ǎ岢隽硕鄠€衍生模型來預(yù)測多線索移動目標(biāo)捕獲[32]，包括運動延遲的移動目標(biāo)捕獲[33]，2D移動目標(biāo)選擇[34]的錯誤率。

1.4 用戶行為模型

盡管上述模型已經(jīng)能夠成功地捕捉用戶交互過程中的某些瞬間特性(如完成時間或者整體錯誤率)，但是并不涉及用戶交互過程中的動力學(xué)或軌跡的變化[35]。因此，國內(nèi)外學(xué)者提出了一系列用戶行為模型，用來描述用戶交互行為的演變過程。用戶行為模型通?；谟^測到的用戶表現(xiàn)數(shù)據(jù)，構(gòu)建具有預(yù)測能力的過程模型。直線-曲線-拐角模型(curves，line-segments，and corners，CLC)[36]將用戶輸入的手勢分割成直線、曲線和拐角的組合。該模型對手勢中每個組成部分分別建模：直線由常量、線性或冪函數(shù)建模，曲線由曲率的冪律建模，拐角由基于角度的常數(shù)函數(shù)建模。該模型根據(jù)用戶預(yù)期繪制的形狀，嘗試將手勢演變過程進(jìn)行分割，以分段預(yù)測的形式估計了用戶完成手勢所需時間。這也是對于手勢輸入系統(tǒng)性建模與理解最早的工作之一。QUINN和ZHAI[37]通過對用戶使用手勢鍵盤輸入過程中產(chǎn)生的用戶軌跡進(jìn)行分析，發(fā)現(xiàn)手勢軌跡的形態(tài)和動態(tài)特性可以通過最小加加速度模型(minimum jerk model)進(jìn)行模擬。通過該模型模擬的軌跡在圖形形狀和動力學(xué)特征上都與原始軌跡高度匹配。同時基于最小加加速度模型建立了一個手勢生成模型，該模型可以對用戶任意手勢輸入任務(wù)所作動作產(chǎn)生的手勢軌跡進(jìn)行預(yù)測。

除了對用戶手勢進(jìn)行建模外，國內(nèi)外學(xué)者也對不同維度下用戶的基礎(chǔ)目標(biāo)選擇任務(wù)進(jìn)行了過程建模。OULASVIRTA等[38]使用神經(jīng)力學(xué)模型來模擬用戶按下按鈕的1D運動過程，模型框架如圖5所示。該模型可以模擬4種不同按鈕類型下用戶的力作用并預(yù)測完成按鈕任務(wù)所需的時間?？傮w上較好地模擬了用戶輸入過程的運動學(xué)、動力學(xué)和用戶性能表現(xiàn)。HUANG等[39]基于最優(yōu)反饋策略，構(gòu)建了一種2D目標(biāo)選擇的軌跡建模模型。該模型將目標(biāo)狀態(tài)作為反饋信息影響對象的運動過程，實現(xiàn)了對2D下靜態(tài)和動態(tài)目標(biāo)選擇任務(wù)的軌跡建模。BACHYNSKYI和MüLLER[40]針對3D空間下的用戶目標(biāo)選擇運動軌跡進(jìn)行研究，探討了三階滯后模型來模擬空中用戶運動軌跡的可能性。該模型能較好地模擬用戶交互過程中的軌跡、速度、加速度等動力學(xué)屬性。盡管在建模過程重剔除了部分對用戶軌跡結(jié)果影響較小的2個維度，將三維軌跡映射為一維運動，但這也是最早的對用戶3D空間下交互軌跡進(jìn)行建模的嘗試之一。

圖5 文獻(xiàn)[38]中給出的基于神經(jīng)力學(xué)的模型框架

2 問題與挑戰(zhàn)

2.1 復(fù)雜動態(tài)交互問題建模的困難

靜態(tài)交互任務(wù)是比較簡單的。以Fitts’ Law的1D選擇任務(wù)為例，其僅涉及目標(biāo)大小()和目標(biāo)距離()2個變量，而當(dāng)問題放到2D空間中則變得復(fù)雜得多，因為這樣需要考慮目標(biāo)的長和寬對用戶表現(xiàn)得影響，對于矩形目標(biāo)，同樣的距離(起始位置到目標(biāo)中心)的條件下目標(biāo)處于不同空間方位，實際用戶表現(xiàn)也會受到影響[4]。

而對于動態(tài)交互任務(wù)，問題的復(fù)雜性則進(jìn)一步增加。以2D移動目標(biāo)選擇為例，首先，動態(tài)交互場景中，目標(biāo)可能具有移動速度、形狀、朝向和初始位置，這些條件的改變均會導(dǎo)致用戶選擇策略和表現(xiàn)的巨大差異，因此必須考慮的因素顯著增加；其次，在動態(tài)交互場景中，目標(biāo)地移動速度、形狀、朝向均有可能隨時發(fā)生動態(tài)變化，這種變化同樣會顯著影響用戶表現(xiàn)；最后，上述各類因素及其隨著時間推移而發(fā)生的變化將產(chǎn)生無數(shù)種無法枚舉的情況，且無法利用傳統(tǒng)的心理學(xué)實驗方法將其一一進(jìn)行測試以尋找規(guī)律，這種方法在處理動態(tài)任務(wù)建模時可能束手無策。本文認(rèn)為，這些挑戰(zhàn)是導(dǎo)致現(xiàn)階段動態(tài)場景下的計算模型魯棒性差、精準(zhǔn)度低的主要原因。

因此，許多學(xué)者開始轉(zhuǎn)向數(shù)據(jù)驅(qū)動的方式，希望利用黑盒模型和機器學(xué)習(xí)手段實現(xiàn)動態(tài)交互場景下的用戶表現(xiàn)建模。然而，這種方式卻會帶來模型可解釋性差，無法對界面設(shè)計給出指導(dǎo)等問題。

2.2 黑盒模型存在的問題

隨著交互場景的復(fù)雜化，學(xué)者嘗試用深度學(xué)習(xí)或復(fù)雜的集成模型來解決用戶動態(tài)交互場景下的行為建模問題。這類黑盒模型通常具有很高的準(zhǔn)確性，然而，其同樣存在著以下幾個主要問題：

首先，黑盒模型的高準(zhǔn)確率依賴于大量的數(shù)據(jù)集合。學(xué)者通常需要依靠眾包等數(shù)據(jù)采集手段[41]，收集大量的用戶數(shù)據(jù)，以支撐黑盒模型的參數(shù)訓(xùn)練，大規(guī)模的數(shù)據(jù)采集也導(dǎo)致建模成本大大提高。其次，難以挖掘黑盒模型中每個特征與用戶行為機制的內(nèi)在聯(lián)系。黑盒模型的高準(zhǔn)確率與特征個數(shù)以及特征參數(shù)無法分開，但是通常來講，黑盒模型的工作原理往往難以解釋。由于黑盒模型缺少對數(shù)據(jù)表現(xiàn)背后的行為機制的推理，這也使得這類模型難以對交互設(shè)計給出指導(dǎo)意見。最后，黑盒模型難以泛化和遷移。一個有著高準(zhǔn)確率的黑盒模型往往針對特定的交互任務(wù)，即使在某個場景中能夠應(yīng)用，該模型也很難在別的交互場景下有著同樣高效的建模效率。

因此，能夠直接反映變量之間關(guān)系的白盒模型雖然預(yù)測能力通常有限，但是，由于這類簡單模型具有更好的可解釋性以及更容易理解的內(nèi)部工作原理，仍然是用戶表現(xiàn)建模的主流工具。

2.3 機制性建模的不足

機制性建模從用戶行為數(shù)據(jù)數(shù)呈現(xiàn)入手，采取回歸分析、控制理論等建模手段模擬用戶的運動機制。常見的機制性模型的目的是基于觀測到的用戶表現(xiàn)數(shù)據(jù)，構(gòu)建具有強大預(yù)測能力的計算工具，并不試圖模擬內(nèi)部的生物學(xué)原理運動特征。而在運動控制和神經(jīng)學(xué)科領(lǐng)域文獻(xiàn)中，人類手部、胳膊的運動建模仿真已經(jīng)得到了廣泛地研究，部分模型嘗試從肌肉關(guān)節(jié)作用[42-43]等更深層次的運動機制中理解和建模用戶的交互行為。雖然該領(lǐng)域與人機交互領(lǐng)域下的用戶行為有著較高的相似度，但是這種建模方法仍未廣泛地應(yīng)用于人機交互領(lǐng)域用戶行為建模的研究中。

此外，目前機制性建模仍停留在單純的感知-運動控制層次，仍未拓展到認(rèn)知層次。有大量的數(shù)據(jù)表明，人的小腦可以參與到高層次的人類認(rèn)知、運動控制功能中[44-46]。但是目前機制性模型僅僅可以對用戶的行為機制進(jìn)行解釋，仍未找到用戶行為與用戶認(rèn)知功能間的內(nèi)部聯(lián)系。

2.4 模型應(yīng)用時存在的困難

人機交互計算模型對于交互技術(shù)的發(fā)展和研究具有重要作用。好的計算模型能夠預(yù)測用戶的行為，提供技術(shù)創(chuàng)新支持，對用戶界面設(shè)計做出指導(dǎo)。近年來，人機交互學(xué)者們針對動態(tài)交互場景提出的計算模型越來越多，加強了對基礎(chǔ)交互現(xiàn)象的理解，然而人們卻很少看到這些模型在交互系統(tǒng)中的直接應(yīng)用，其主要原因有以下幾點：

首先，現(xiàn)存模型主要針對少數(shù)幾種任務(wù)如移動目標(biāo)選擇進(jìn)行建模，對實際交互場景中大量使用的一些任務(wù)，如手勢、身體姿態(tài)、眼動頭動、物體操縱、移動或?qū)Ш降染从谐墒斓哪Ｐ?，?dǎo)致在實際應(yīng)用場景中存在需求卻無模型可用的情況；其次，現(xiàn)存模型的泛化性較低，往往在實際交互條件，例如界面布局、設(shè)備尺寸和精度、用戶人群等發(fā)生改變后無法使用，必須要在特定場景下重新采集數(shù)據(jù)，對模型參數(shù)重新估計方可保證模型性能，而這種要求在實際工程應(yīng)用中往往是不現(xiàn)實的；最后，現(xiàn)存模型在構(gòu)建時往往不是以解決實際應(yīng)用中存在的問題出發(fā)的，用其解決實際問題時一般需要對該問題進(jìn)行小心翼翼地抽象化和形式化以適應(yīng)模型的使用條件，而一旦這種抽象和形式化操作不當(dāng)，有可能極大降低模型表現(xiàn)。這一點很大程度上降低了一般人機交互從業(yè)者們使用模型的意愿，甚至寧愿依靠自己的經(jīng)驗做出界面設(shè)計判斷而不愿相信模型預(yù)測結(jié)果。

本文認(rèn)為，人機交互計算模型未來是否能快速發(fā)展，關(guān)鍵在于其能否服務(wù)于實際，因此，解決以上3個問題是當(dāng)前從事人機交互建模工作的學(xué)者們需要優(yōu)先考慮的事。

3 總結(jié)與展望

隨著新型用戶界面中動態(tài)內(nèi)容的不斷增多，面向動態(tài)交互場景的計算模型逐漸受到重視，在延續(xù)靜態(tài)任務(wù)交互模型的基礎(chǔ)上，面向動態(tài)交互場景的計算模型對基礎(chǔ)交互任務(wù)中用戶的完成時間、錯誤率和行為做出了建模，一定程度上解釋了動態(tài)交互場景中的用戶行為，有助于改進(jìn)動態(tài)用戶界面的設(shè)計。

然而，面向動態(tài)交互場景的計算模型研究仍存在諸多問題和挑戰(zhàn)，其中包括復(fù)雜動態(tài)交互問題建模的困難，黑盒模型存在的問題，機制性建模的不足和模型應(yīng)用時存在的挑戰(zhàn)等，極大地限制了動態(tài)模型研究的發(fā)展和應(yīng)用。如何有效地解決這些問題可能是每一位計算模型領(lǐng)域的學(xué)者們必須深入思考的事。

在此，本文將拋磚引玉，給出動態(tài)交互場景中計算模型的3個發(fā)展方向和可能的途徑，供讀者參考。

(1) 模型可解釋性的提高鑒于動態(tài)交互場景的復(fù)雜性，黑盒模型是一種潛在的用戶建模有效手段。然而人機交互模型本質(zhì)上需要研究用戶行為背后的行為機制，并最終給出用戶界面設(shè)計的指導(dǎo)意見。在建模方法選擇時，要對黑盒模型的建模準(zhǔn)確性和可解釋性進(jìn)行權(quán)衡。要解決黑盒模型的可解釋性需要從2個方向入手：一是從黑盒模型本身角度出發(fā)，研究不同特征參數(shù)對模型建模的行為表現(xiàn)的影響，進(jìn)而分析黑盒模型是如何依賴于每個特征，這也是目前深度學(xué)習(xí)領(lǐng)域一個活躍的研究方向之一；二是可以從理解用戶意圖角度出發(fā)，在黑盒模型基礎(chǔ)上構(gòu)建可解釋性更強的代理模型，用于輔助理解指導(dǎo)人類運動的認(rèn)知過程，從而構(gòu)建更為完整的計算模型工具，最終能夠為設(shè)計者提供更為完整和有用的建模結(jié)果。

(2) 用戶行為底層機制的建模。要保證用戶行為模型在動態(tài)交互場景下的準(zhǔn)確度，需要進(jìn)一步分析用戶行為下更深層次的用戶表現(xiàn)，構(gòu)建更為底層的用戶行為機制模型。還需進(jìn)一步模擬人類的生物學(xué)原理運動特征，甚至構(gòu)建認(rèn)知層面的用戶行為模型。從用戶認(rèn)知層面出發(fā)，要求模型可以模擬用戶在動態(tài)交互場景下的認(rèn)知變化，以及不同環(huán)境下用戶的行為策略，從而在認(rèn)知層面指導(dǎo)用戶的關(guān)節(jié)、肌肉行為模型，并最終呈現(xiàn)在用戶的行為表現(xiàn)中。而這種基于更為底層機制的模型也會在一定程度上提升用戶行為模型的魯棒性，并且可能使得模型具有較強的泛化遷移能力。

(3) 模型在界面設(shè)計和交互技術(shù)中的應(yīng)用。正如上文所述，人機交互計算模型未來是否能快速發(fā)展，關(guān)鍵在于其能否服務(wù)于實際。面向動態(tài)交互場景的計算模型在實際交互系統(tǒng)中有著廣泛的應(yīng)用前景，在以下幾個方面將發(fā)揮重要作用：

首先，在動態(tài)用戶界面交互設(shè)計中，人機交互計算模型能夠?qū)Π瑒討B(tài)用戶界面中的用戶表現(xiàn)做出預(yù)測，進(jìn)而對界面的動態(tài)因素包括物體的動態(tài)、軌跡變化、動畫快慢等進(jìn)行優(yōu)化；其次，人機交互計算模型允許用戶界面通過理解人類行為，將這類模型融入交互系統(tǒng)的研發(fā)之中，能使計算系統(tǒng)更好地適應(yīng)用戶偏好，推測用戶意圖，從而提升交互效率和交互體驗；最后，人機交互計算模型能夠揭示人類行為規(guī)律，其靈活應(yīng)用能為用戶界面、交互技術(shù)、交互系統(tǒng)和設(shè)備的研發(fā)提供啟示和支持，加快新型交互系統(tǒng)的產(chǎn)生。

[1] FITTS P M. The information capacity of the human motor system in controlling the amplitude of movement[J] Journal of Experimental Psychology: General, 1954, 47(6): 381-391.

[2] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J] Human-Computer Interaction, 1992, 7(1): 91-139.

[3] MACKENZIE I S, BUXTON W. Extending Fitts’ law to two-dimensional tasks[C]//CHI’92: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1992: 219-226.

[4] ZHANG X Y, ZHA H B, FENG W X. Extending Fitts’ law to account for the effects of movement direction on 2d pointing[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2012: 3185-3194.

[5] MYRATA A, IWASE H. Extending Fitts’ law to a three-dimensional pointing task[J]. Human Movement Science, 2001, 20(6): 791-805.

[6] JAGACINSKI R J, REPPERGER D W, WARD S L, et al. A test of Fitts’ law with moving targets[J]. Human Factors, 1980, 22(2), 225-233.

[7] ACCOT J, ZHAI S M, BELIN A E. Beyond Fitts’ law: models for trajectory-based HCI tasks[C]//CHI’97: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1997: 295-302.

[8] PASTEL R. Measuring the difficulty of steering through corners[C]//CHI’06: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2006: 1087-1096.

[9] YAMANAKA S, STUERALINGER W, MIYASHITA H. Steering through sequential linear path segments[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 232-243.

[10] NANCEL M, LANK E. Modeling user performance on curved constrained paths[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 244-254.

[11] WELFORD A T. Fundamentals of skill[M] London: Methuen, 1968: 1-426.

[12] ZHAI S M, KONG J, REN X S. Speed–accuracy tradeoff in Fitts’ law tasks—on the equivalency of actual and nominal pointing precision[J]. International Journal of Human-Computer Studies, 2004, 61(6): 823-856.

[13] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[14] BI X J, ZHAI S. Bayesian touch: a statistical criterion of target selection with finger touch[C]//The 26th Annual ACM Symposium on User Interface Software and Technology. 2013: 51-60.

[15] BI X J, LI Y, ZHAI S M. FFitts law: modeling finger touch with fitts’ law[C]//CHI’13: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2013: 1363-1372.

[16] HENZE N, RUKZIO E, BOLL S. Observational and experimental investigation of typing behaviour using virtual keyboards for mobile devices[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press,2012: 2659-2668.

[17] WEIR D, POHL H, ROGERS S, et al. Uncertain text entry on mobile devices[C]//CHI’14: Proceedings of the AVM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 2307-2316.

[18] HOFFNMANN E R. Capture of moving targets: a modification of Fitts’ Law[J]. Ergonomics, 1991, 34(2): 211-220.

[19] TREASILIAN J R, LONERGAN A. Intercepting a moving target: effects of temporal precision constraints and movement amplitude[J]. Experimental Brain Research, 2002, 142(2): 193-207.

[20] TRESILIAN J R. Hitting a moving target: perception and action in the timing of rapid interceptions[J]. Perception & Psychophysics, 2005, 67(1): 129-149.

[21] HAJRI A, FELS S, MILLER G, et al. Moving target selection in 2D graphical user interfaces[C]//2011 IFIP Conference on Human-Computer Interaction. Heidelberg: Springer, 2011: 141-161.

[22] CARD S K, MORAN T P, NEWELL A. The keystroke-level model for user performance time with interactive systems[J]. Communications of the ACM, 1980, 23(7): 396-410.

[23] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J]. Human-Computer Interaction, 1992, 7(1): 91-139.

[24] GROSSMAN T, BALAKRISKNAN R. Pointing at trivariate targets in 3D environments[C]//CHI’04: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2004: 447-454.

[25] CASALLAS J S. Prediction of user action in moving-target selection tasks[D]. Ames: Iowa State University, 2015.

[26] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[27] HUANG J, TIAN F, FAN X M, et al. Understanding the uncertainty in 1D unidirectional moving target selection[C]//CHI’18: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[28] LEE B, OULASVIRTA A. Modelling error rates in temporal pointing[C]//CHI’16: Proceedings of the ACM CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2016: 1857-1868.

[29] ROLIN R A, FOOKEN J, SPERING M, et al. Perception of looming motion in virtual reality egocentric interception tasks[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 25(10): 3042-3048.

[30] HUANG J, TIAN F, LI N L, et al. Modeling the uncertainty in 2D moving target selection[C]//The 32nd Annual ACM Symposium on User Interface Software and Technology. New York: ACM Press, 2019: 1031-1043.

[31] HUANG J, TIAN F, FAN X M, et al. Modeling the endpoint uncertainty in crossing-based moving target selection[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 1-12.

[32] LEE B, KIM S, OILASVIRTA A, et al. Moving target selection: a cue integration model[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[33] LEE I, KIM S, LEE B. Geometrically compensating effect of end-to-end latency in moving-target selection games[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 560: 1-560: 12.

[34] PARK E, LEE B. An intermittent click planning model[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 9: 1-9: 13.

[35] VIVIANI P, FLASH T. Minimum-jerk, two-thirds power law, and isochrony: converging approaches to movement planning[J]. Journal of Experimental Psychology: Human Perception and Performance, 1995, 21(1): 32.

[36] CAO X, ZHAI S. Modeling human performance of pen stroke gestures[C]//2007 SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2007: 1495-1504.

[37] QUINN P, ZHAI S. Modeling gesture-typing movements[J]. Human–Computer Interaction, 2018, 33(3): 234-280.

[38] OULASVIRTA A, KIM S, LEE B. Neuromechanics of a button press[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 4099-4112.

[39] HUANG J, PENG X L, TIAN F, et al. Modeling a target-selection motion by leveraging an optimal feedback control mechanism[J]. Science China Information Sciences, 2018, 61(4): 044101:1-044101:3.

[40] BACHYNSKYI M, MüLLER J. Dynamics of aimed mid-air movements[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 67: 1-67: 12.

[41] SWEARNGIN A, LI Y. Modeling mobile interface tappability using crowdsourcing and deep learning[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 75: 1-75: 11.

[42] CAMPOS F M M O, CALADO J M F. Approaches to human arm movement control—a review[J]. Annual Reviews in Control, 2009, 33(1): 69-77.

[43] SHADMEHR R, WISE S P. The computational neurobiology of reaching and pointing: a foundation for motor learning[M]. Cambridge: MIT Press, 2005: 1-573.

[44] MIDDLETON F A, STRICK P L. The cerebellum: an overview[J]. Trends in Neurosciences, 1998, 21(9): 367-369.

[45] TAMADA T, MIYAUCHI S, IMAMIZU H, et al. Cerebrocerebellar functional connectivity revealed by the laterality index in tool-use learning[J]. Neuroreport, 1999, 10(2): 325-331.

[46] KAWATO M. Internal models for motor control and trajectory planning[J]. Current Opinion in Neurobiology, 1999, 9(6): 718-727.

Computational model for dynamical interaction scenarios

HUANG Jin1,3, ZHANG Hao1,2, TIAN Feng1,3

(1. Beijing Key Lab of Human-Computer Interaction, Institute of Software Chinese Academy of Sciences, Beijing 100190, China;2. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 101408, China;3. School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 101408, China)

With the development of human-computer interaction (HCI) technology, interactive systems including dynamic content, such as virtual/augmented/mixed reality, video surveillance system, etc., gradually becomes the mainstream. Computational models for dynamic interaction scenarios have attracted more and more attention. HCI researchers proposed numerous models that significantly improve our understanding of dynamical user interfaces. However, there are still many challenges in the research of computational model for dynamical interaction scenarios. The problems of complexity in dynamic interaction scenarios, lack of interpretability, weakness in descripting interaction mechanisms greatly limit the development and application of computational models for dynamical interaction scenarios. We review related work and recent advances in the computing model for dynamic interaction scenarios, summarize existing problems, and offer our predictions for the future development in this field. The purpose of this paper is to provide references for future research on computing models for dynamical interaction scenarios.

human computer interaction; interactive system; dynamic scenarios; dynamic interaction task; computational model

TP 391

10.11996/JG.j.2095-302X.2021030359

A

2095-302X(2021)03-0359-08

2021-04-21；

2021-05-19

21 April 2021；

19 May，2021

國家自然科學(xué)基金項目(61802379)；中國科學(xué)院前沿科學(xué)重點研究項目(QYZDY-SSW-JSC041)；中國科學(xué)院青年創(chuàng)新促進(jìn)會項目(2020113)

National Natural Science Foundation of China (61802379); Key Research Program of Frontier Sciences CAS (QYZDY-SSW-JSC041); Youth Innovation Promotion Association CAS (2020113)

黃 進(jìn)(1985-)，男，廣西玉林人，助理研究員，博士。主要研究方向為人機交互理論、模型和方法。E-mail：huangjin@iscas.ac.cn

HUANG Jin (1985-), male, assistant professor, Ph.D. His main research interests cover human-computer interaction theory, concepts and models. E-mail: huangjin@iscas.ac.cn

田 豐(1976-)，男，陜西延安人，研究員，博士。主要研究方向為人機交互、虛擬現(xiàn)實等。E-mail：tianfeng@iscas.ac.cn

TIAN Feng (1976-), male, professor, Ph.D. His main research interests cover human-computer interaction, virtual reality, etc. E-mail：tianfeng@iscas.ac.cn