摘 要 在使用虛擬現(xiàn)實技術進行心理學研究時, 建立一個高質量的虛擬實驗環(huán)境至關重要。然而, 對于部分缺乏計算機編程經(jīng)驗的心理學研究者來說, 這一任務常常充滿挑戰(zhàn)。為應對這一難題, 領域內的研究者開發(fā)了多種專門用于虛擬現(xiàn)實實驗的工具, 借助游戲引擎等技術, 大大降低了研究者對專業(yè)技術知識的依賴。這些工具各具特色, 一部分提供實驗框架, 幫助研究者從整體上更輕松地搭建實驗環(huán)境, 而另一部分則專注于解決特定的技術難題, 在特定環(huán)節(jié)或范式上為研究者提供必要的技術支持和開發(fā)范例。未來, 實驗工具還可能會采用“元框架”的理念, 為開發(fā)者提供更高效、靈活的開發(fā)模式。
關鍵詞 虛擬現(xiàn)實, 3D實驗刺激, 實驗開發(fā)工具, 元框架, 可重復性, 開放科學
分類號 B841
1 引言
在心理學的發(fā)展中, 研究工具的進步一直扮演著重要角色。虛擬現(xiàn)實技術(Virtual Reality, VR)在當今心理學的諸多領域都表現(xiàn)出了巨大的潛力(Berdejo-Espinola et al., 2024; Hakim & Hammad, 2022; Stangl et al., 2023; Zilcha-Mano & Krasovsky, 2024)。通過VR技術, 研究者可以創(chuàng)建高度仿真的虛擬環(huán)境, 從而在具有生態(tài)效度但又受控制的條件中探索人類的行為和認知機制, 進行心理治療或干預控制(Draschkow et al., 2022; Emmelkamp & Meyerbr?ker, 2021; Freeman et al., 2022; Geraets et al., 2021)。
虛擬現(xiàn)實研究的快速進步離不開近年來消費級虛擬現(xiàn)實設備技術的發(fā)展(Skibba, 2018)?,F(xiàn)今的消費級虛擬現(xiàn)實設備集成了圖形計算、呈現(xiàn)和空間定位等多種功能, 價格較低且易于使用, 成為實驗研究理想的工具。然而, 開展虛擬現(xiàn)實研究的技術要求卻依舊復雜(Draschkow et al., 2023)。心理學研究者在開發(fā)VR實驗時需要掌握3D渲染、圖形用戶界面(GUI)以及物理引擎等復雜的專業(yè)知識。同時, 為了確保實驗的可靠性和有效性, 研究者還需要具備足夠的編程技巧, 能夠正確運用C++、C#或JavaScript等語言構建所需的實驗內容。此外, 從零開始制作虛擬現(xiàn)實場景往往會耗費大量的時間和預算。因此, 開發(fā)簡化實驗流程的工具在虛擬現(xiàn)實研究中顯得尤為重要。首先, 它能夠推動虛擬現(xiàn)實技術在心理學領域的進步, 使研究者能夠專注于實驗設計, 避免在開發(fā)階段“重復造輪子”, 為虛擬現(xiàn)實與更多研究領域的結合提供可能。同時, 一些研究者指出, 當前心理學虛擬現(xiàn)實開發(fā)處于一種“無序狀態(tài)” (Vasser & Aru, 2020), 不同的開發(fā)方法之間存在較大的差異(Weisberg et al., 2022; Wiener et al., 2020)。開發(fā)這樣的工具也能增強心理學虛擬現(xiàn)實實驗開發(fā)流程的標準化, 從而提高了實驗的可重復性(胡傳鵬 等, 2016)。
心理學領域在基于平面視覺的非沉浸式實驗方面已經(jīng)建立了完善的工具體系, 如Psychophysics Toolbox、E-Prime和PsychoPy等工具為研究者提供了便利的操作界面和功能函數(shù)(Brainard, 1997; Peirce, 2007; van Steenbergen et al., 2019), 使他們能夠更輕松地進行實驗設計、刺激呈現(xiàn)和數(shù)據(jù)收集, 為心理學研究提供了重要支持。然而, 虛擬現(xiàn)實開發(fā)的復雜性使得研究者無法直接套用傳統(tǒng)軟件模式。近年來, 越來越多的研究開始探索適用于心理學的虛擬現(xiàn)實開發(fā)方法。這些研究針對虛擬環(huán)境開發(fā)中的各種問題提出了解決方案, 為相關領域的發(fā)展提供了支持, 目標是使研究者更有效地利用虛擬現(xiàn)實技術設計心理學的實驗。
本文首先系統(tǒng)性地回顧了自2016年以來公開發(fā)表的關于心理學虛擬現(xiàn)實實驗工具的論文, 分類介紹了這些工具的適用范圍和技術特點, 為相關研究者提供了參考。同時, 我們對這些研究的開發(fā)方法進行了全面的總結和梳理, 分析了工具體系所面臨的整體問題及未來的發(fā)展方向?;谛乱淮鷮嶒灩ぞ叩母咝枨?, 我們提出了一種“研究者?開發(fā)者?參與者”相互獨立的元框架開發(fā)模式, 為未來理想的虛擬現(xiàn)實實驗工具開發(fā)提供了新的視角。
2 面向通用實驗功能的開發(fā)方法
面向通用實驗功能的工具專注于在虛擬現(xiàn)實環(huán)境中生成心理學測試流程, 也被稱為實驗框架。其主要目標是提供類或函數(shù)作為起始模板, 以簡化研究設置流程, 并生成易于分析的數(shù)據(jù)。這些工具旨在協(xié)助研究者快速建立實驗環(huán)境, 減少重復性工作, 提高實驗的準確性。
2.1 基于游戲引擎方法的虛擬現(xiàn)實實驗框架
游戲引擎是一種用于創(chuàng)建包括電子游戲在內各種實時交互式數(shù)字內容的軟件工具(Nicoll & Keogh, 2019)。通過用戶友好的工作界面, 游戲引擎提供圖形渲染、物理模擬、碰撞檢測、音頻管理和動畫等功能, 從而簡化游戲開發(fā)過程。這使得開發(fā)者能夠專注于創(chuàng)造游戲內容, 而無需處理復雜的底層系統(tǒng)。在心理學研究領域, 使用游戲引擎是目前最流行的實驗構建方法。然而, 通用的游戲引擎并非專為實驗研究而開發(fā)。因此, 許多研究為了高效利用游戲引擎開發(fā)虛擬現(xiàn)實實驗, 選擇在免費游戲引擎(如Unity、Unreal 4、Godot等)中, 以模板或第三方插件的形式制作工具。根據(jù)我們的統(tǒng)計, 自2016年以來正式發(fā)表或公布的心理學虛擬現(xiàn)實實驗相關開發(fā)工具中, 有84.9%的工具采用了游戲引擎作為解決方案, 其中69.7%使用了Unity引擎, 15.2%使用Unreal 引擎。這些基于游戲引擎方法的實驗開發(fā)工具一般將底層渲染交給引擎處理, 自身負責在游戲引擎中生成心理學實驗流程并進行數(shù)據(jù)收集。
從工程開發(fā)的視角出發(fā), Grübel等人較早地提出了用于心理學實驗開發(fā)的EVE (Experiments in Virtual Environments)框架(Grübel et al., 2017)。這是一個Unity項目文件, 提供了一套基于C#語言的實驗功能方法函數(shù), 幫助研究者從設置、運行到評估三個方面開展實驗。在設置階段, 實驗者可以上傳和操作他們的虛擬環(huán)境, 加載基于XML格式的問卷, 并設置傳感器。在實驗運行階段, EVE用于啟動實驗和利用結構化查詢語言(MySQL)來讀取和寫入實驗數(shù)據(jù)。在評估階段, EVE能夠通過集成的R包執(zhí)行不同類型的分析和可視化。與此類似的還有W?lfel等人提出VRSTK (Virtual Reality Scientific Toolkit)框架, 該框架專注于如何從工程角度實現(xiàn)各種實驗數(shù)據(jù)的獲取與記錄(Wolfel et al., 2021)。在數(shù)據(jù)處理方面, 與EVE類似, VRSTK也提供了通過R包實現(xiàn)數(shù)據(jù)對接的方法。
為了使實驗流程設計更加模塊化, Brookes等人提出了以實驗階段(session)?區(qū)塊(block)?試次(trial)層次模式構建實驗的UXF (The Unity Experiment Framework)框架, 以Unity第三方插件的形式呈現(xiàn)(Brookes et al., 2020)。它提供實驗狀態(tài)監(jiān)控和數(shù)據(jù)收集功能, 支持數(shù)據(jù)以不同格式保存或導出, 并解決了遠程數(shù)據(jù)收集的問題。使用類似層次模式的工具還有USE (Unified Suite for Experiments), 一個在Unity中通過對接外部硬件實現(xiàn)精確時間控制和眼動數(shù)據(jù)分析的開發(fā)工具(Watson et al., 2019)。
Bebko提出了一種更加直觀的因素設計模式的實驗框架(Bebko & Troje, 2020)。bmlTUX (The BiomotionLab Toolkit for Unity Experiments)框架通過在圖形用戶界面添加不同類型的自變量和因變量, 能夠自動化處理實驗設計流程, 創(chuàng)建組合設計、平衡對照、隨機化、混合設計和組塊設計等實驗流程, 并在圖形用戶界面中可視化地展示實驗結構, 方便研究者調整和修改實驗設計。同樣使用因子設計的還有StudyFramework, 專為虛幻4引擎中進行實驗開發(fā)而設計的實驗框架(Ehret et al., 2024)。該框架提供了一套基于C++的心理學實驗功能方法函數(shù), 并且具備崩潰恢復功能, 使得實驗即使在意外中斷后也能夠從中斷點繼續(xù)進行。
除了整體實驗流程的工具外, 還有一些工具專注于解決特定的通用環(huán)節(jié)問題。例如, Toggle Toolkit是一個專注于虛擬交互過程分析與記錄的Unity的C#腳本合集(Ugwitz et al., 2021)。它允許用戶為目標虛擬現(xiàn)實對象添加“觸發(fā)器(trigger)”與“狀態(tài)切換(toggle)”功能。這里的觸發(fā)器是指為虛擬物體定義一組啟動事件(如與其他虛擬對象碰撞、按鍵操作、凝視等)。當觸發(fā)器被執(zhí)行時, 會激活與其關聯(lián)的切換功能, 從而改變鏈接對象的屬性或行為(例如打開或關閉)。Toolkit的結構允許通過掛載腳本的方式, 將觸發(fā)器和狀態(tài)切換功能添加到實驗環(huán)境中的任意虛擬對象上。在實驗過程中, 所有的互動行為都會被記錄, 并生成相應的數(shù)據(jù)。還有一些工具致力于解決其他常見問題。例如, 虛擬問卷工具在解決沉浸感中斷和主觀感受偏差問題方面發(fā)揮著重要作用。Feick提出的VRQuestionnaireToolkit是一個專門用于虛擬環(huán)境中填寫問卷的工具, 它允許參與者通過與用戶界面進行交互來填寫和記錄主觀信息, 而無需摘下頭盔產生中斷(Feick et al., 2020)。此外, 該工具還提供了多種問卷格式和預設問卷, 為研究者提供了更多的便利性。Bovo等人開發(fā)的MR- RIEW (MR-Remote Immersive Experiment Workflow)框架進一步拓展了虛擬問卷遠程施測與記錄的可能性(Bovo et al., 2022)。除了普通的虛擬問卷功能外, 這種基于遠程服務器的方法提供了更大的實驗靈活性和可操作性, 使研究者能夠更方便地進行遠程實驗和眾包(Crowdsourced) 實驗。
2.2 基于Python、R以及其他平臺的虛擬現(xiàn)實實驗開發(fā)方法
除了將底層虛擬環(huán)境渲染交給游戲引擎外, 仍有一些工作致力于使用心理學研究者更加熟悉的語言來實現(xiàn)虛擬環(huán)境渲染功能。Vizard軟件平臺是基于C/C++語言開發(fā)的, 利用OpenGL技術生成虛擬環(huán)境的渲染工具, 同時提供了Python編程接口。這樣的設計使得用戶可以使用Python編寫腳本來控制虛擬現(xiàn)實場景中的各種元素。為了解決Vizard平臺缺乏與心理學實驗開發(fā)相關功能的問題, Schuetz等人開發(fā)了名為Vexptoolbox的Python工具箱, 專門用于在Vizard平臺上進行心理學實驗(Schuetz et al., 2022)。Vexptoolbox提供了基礎功能, 包括隨機化、基于試次的實驗設計方法, 以及對行為、眼動和身體運動實驗數(shù)據(jù)的處理等功能。ExpyVR則提供了另一種實現(xiàn)Python虛擬環(huán)境渲染的方法, 它修改了開源軟件Psychopy的源代碼, 添加了基于OpenGL渲染的3D顯示流程。這個工具保留了Psychopy的原有特性, 使得設計和執(zhí)行虛擬現(xiàn)實實驗變得更加簡單。用戶可以通過類似Psychopy的圖形用戶界面輕松設計實驗時間線, 并將2D、3D顯示、音頻等模塊添加到實驗中。然而, 目前它僅支持簡單的渲染功能, 尚不完整。Vercelloni等人開發(fā)的R2VR是一個用于在R語言環(huán)境中執(zhí)行虛擬現(xiàn)實行為研究的包, 通過A-Frame和WebXR框架渲染場景, 并提供了與MySQL通信和收集實驗結果數(shù)據(jù)的功能(Vercelloni et al., 2021)。這種方法的優(yōu)勢在于研究人員可以直接通過R指令處理、可視化數(shù)據(jù)并進行統(tǒng)計分析。但目前R2VR也只能提供簡單的渲染功能, 尚未完全成熟。
還有一些研究者嘗試利用現(xiàn)有的成熟VR軟件進行實驗構建。例如, Liu和Chen選擇了《上古卷軸V:天際VR》(SkyrimVR)進行實驗, 開發(fā)了SkyBXF (SkyrimVR based Behavioral Experimental Framework)框架(Liu & Chen, 2022)。該框架利用這款游戲的高自由度和豐富資源的特點, 通過使用自定義游戲模組(MOD)進行修改, 從而實現(xiàn)實驗研究設計與數(shù)據(jù)收集。此外, Saffo等人(2020)探索了利用大規(guī)模多人在線VR社交平臺VRChat進行遠程在線實驗的方法, 并認為這是一種可行的實驗手段(Saffo et al., 2020)。
3 面向特定實驗目的開發(fā)方法
面向通用實驗功能的開發(fā)工具旨在為通用的實驗功能提供開發(fā)便利, 但通常不包含特定實驗刺激或試次的生成, 并需要用戶具有一定的開發(fā)經(jīng)驗和編程能力。相比之下, 以VREX為代表的面向特定實驗目的的開發(fā)方法, 只針對一類特定實驗范式和需求, 大多提供完整的“開箱即用”實驗工具, 并包含相關的實驗刺激。這類工具通常也依賴游戲引擎, 提供友好且直觀的界面和功能, 使研究者能夠快速創(chuàng)建和運行特定類型的實驗, 而無需過多關注底層技術細節(jié)。
3.1 虛擬環(huán)境中的知覺、注意與記憶研究工具
VREX (Virtual Reality Experiments)是一個專為虛擬現(xiàn)實室內環(huán)境下的注意力和記憶相關研究而設計的實驗工具(Vasser et al., 2017)。VREX旨在將與目標范式相關的所有工具和資源整合到一個獨立的、由Unity引擎導出的應用程序中, 使研究者能夠通過易學易用的菜單系統(tǒng)進行實驗設計, 而無需深入了解Unity引擎。VREX提供了兩種預設任務:變化盲視任務和虛假記憶任務, 并配備了一整套3D虛擬物體資源作為實驗刺激, 同時支持用戶導入自定義的3D模型。除了獨立應用版本之外, Vasser等人還提供了原始的Unity項目文件, 研究人員可以根據(jù)自己的需求和實驗設計對VREX進行定制和擴展。
Castet等人提出了一種使用Python進行視知覺虛擬現(xiàn)實實驗編程開發(fā)的方法。他們開發(fā)了名為PTVR的工具, 允許研究者通過簡潔的Python腳本創(chuàng)建基于Unity的視覺實驗, 無需掌握Unity的相關知識(Castet et al., 2024)。該工具提供了一些視覺實驗模板, 同時也提供了一些基礎實驗資源。
另一個例子是Landeck等人提出的Metachron, 它是一個允許在虛擬現(xiàn)實中對時間知覺相關事件進行系統(tǒng)性操控的實驗工具組, 基于Unreal 4引擎開發(fā)(Landeck et al., 2020)。Metachron提供了18種時間控制系統(tǒng), 可以修改時間相關的對象, 如鐘表、太陽運動、牛頓擺等, 從而產生時間流逝變化的錯覺。它還可以模擬社會環(huán)境中人群或觀眾的數(shù)量對時間流逝感知的影響。該工具提供了基于這些時間控制系統(tǒng)的實驗模板, 支持記錄眼動數(shù)據(jù)和問卷信息。Landeck等人認為, 這個工具不僅適用于一般的時間感知研究, 還可以用于探索抑郁癥、精神分裂癥和自閉癥等疾病導致的時間知覺紊亂。
此外, Delvigne等人開發(fā)了VERA (Virtual Environments Recording Attention), 這是一款專為研究兒童注意力缺陷多動障礙(ADHD)設計的Unity工具(Delvigne et al., 2020)。VERA與HTC-Vive Pro Eye和Tobii眼動跟蹤工具兼容, 提供了5種不同的VR測試環(huán)境(體育館、臥室、森林、生日聚會的客廳和游樂園)和三種預設任務(放松、選擇性注意力和持續(xù)注意力), 用于記錄參與者的注意力能力。
3.2 空間導航研究工具
空間導航是指確定并實現(xiàn)從一個地方到另一個地方的過程, 這一過程依賴于人類的空間感知、空間表征和空間記憶等能力(張鳳翔 等, 2023)。由于具備高生態(tài)效度、高可控性以及能夠實時響應參與者互動的特性, 基于游戲引擎的虛擬現(xiàn)實工具越來越多地用于分析人類解決空間導航問題的過程。在這一領域, 一些專為簡化虛擬環(huán)境導航研究而設計的實驗工具, 如Landmarks、OpenMaze、DeFINE、VNT和NavWell工具箱, 提供了便捷的研究途徑。Landmarks由一系列預制功能模塊組成, 允許用戶通過時間線模式自定義環(huán)境、刺激和任務參數(shù), 從而創(chuàng)建實驗(Starrett et al., 2021)。這些實驗任務包括空間導航、地圖學習、方向判斷和虛擬導航等。此外, Landmarks還支持腦電(EEG)設備, 并能將數(shù)據(jù)輸出為CSV文件。DeFINE (Delayed Feedback-based Immersive Navigation Environment)關注導航過程中的反饋問題, 嘗試模擬現(xiàn)實世界中導航時的反饋機制(Tiwari et al., 2021)。其特定任務要求參與者導航至指定目標位置, 并實時呈現(xiàn)任務評分作為反饋, 以促使參與者在導航過程中做出更快、更準確的路線調整。NavWell是為經(jīng)典虛擬水迷宮任務開發(fā)的工具, 配備友好的Web界面, 允許用戶編輯迷宮大小、線索類型等虛擬環(huán)境變量, 并設置實驗流程, 最終以插件形式在Unity引擎中運行實驗任務(Commins et al., 2020)。OpenMaze也是一種用于開發(fā)第一人稱導航任務的工具, 不依賴Unity圖形用戶界面進行開發(fā)引導(Alsbury-Nealy et al., 2021)。它允許研究者通過修改實驗配置文本文件來自定義任務和實驗參數(shù), 但不支持數(shù)據(jù)預處理或通過并行/串行端口發(fā)送或接收信號。與此類似的開發(fā)工具還有VNT (The Virtual Navigation Toolbox), 一款基于預制體與腳本進行開發(fā)處理的第一人稱空間導航工具(Müller et al., 2023)。除了實驗工具, 目前還有一些專門用于進行特定空間能力測試的獨立工具(Colombo & Grübel, 2023; Wiener et al., 2020)。
3.3 虛擬具身感研究工具
虛擬具身感是虛擬現(xiàn)實中的重要概念之一, 指個體在虛擬環(huán)境中對自己的虛擬化身產生擁有感、控制感以及自我位置感的體驗(Kilteni et al., 2012)。一些研究表明, 通過讓參與者的虛擬化身與其真實動作同步, 可以促進虛擬具身感的形成, 進而產生虛擬現(xiàn)實中的“身體擁有感錯覺” (Slater et al., 2008)。這種體驗可以在很大程度上影響參與者在虛擬環(huán)境中的行為和認知。當白人參與者化身為黑人虛擬人時, 可以減少其內隱種族偏見(Banakou et al., 2016)。類似地, 當參與者化身為兒童時, 他們傾向于高估物體的大?。˙anakou et al., 2013)。為了簡化虛擬具身感研究中的技術需求, Oliva等人開發(fā)了名為QuickVR的工具(Oliva et al., 2022)。它支持全身追蹤和動作同步, 也包括眼動追蹤和眨眼綁定, 同時提供實驗相關功能函數(shù), 可用于構建實驗、收集數(shù)據(jù)或實現(xiàn)其他實驗功能。能夠用來研究虛擬具身感的還有VALID (Virtual Avatar Library for Inclusion and Diversity)多樣性虛擬化身庫(Do et al., 2023), 它包含了經(jīng)過骨骼綁定的210個虛擬化身模型, 支持面部表情和身體運動, 并覆蓋了7個不同的人種以及各種性別。庫的構建過程包括對每個類別的相關圖片進行平均處理, 生成“平均臉”圖片, 并基于這些圖片進行初步建模。為確保模型在種族和性別上的有效性, 該庫經(jīng)過來自多個國家、多個種族參與者的評分驗證, 并進行了進一步篩選。此外, Pohl等人針對Oculus Quest手部追蹤系統(tǒng)開發(fā)了Hafnia Hands, 這個工具提供了多種手部替換材質, 包括6種人類膚色和3種非人類材質(Pohl & Mottelson, 2022)。相應的膚色可以增強參與者在實驗中對虛擬手的具身感, 而不匹配的材質則有助于理解虛擬具身感的形成機制。
3.4 虛擬環(huán)境中的決策研究工具
在研究人類在危險環(huán)境下的決策行為時, 將參與者置身于真實危險中可能引發(fā)倫理問題, 因此虛擬現(xiàn)實成為理想的研究方法。Brookes等人開發(fā)的VRthreat Toolkit為此類研究提供了支持(Brookes et al., 2023)。該工具包含一套虛擬自然環(huán)境和威脅模型, 如熊、毒蛇和鱷魚等, 用于研究人類的回避行為。此外, 工具還包括了威脅場景, 比如搖搖欲墜的吊橋和數(shù)字倒計時的炸藥, 以及相應的腳本系統(tǒng)。研究者可以通過UI界面組合這些組件, 形成一系列沉浸式的獨立情節(jié), 例如探討參與者在采摘虛擬野果時如何面對威脅并選擇逃跑時機。VRthreat Toolkit的基礎實驗功能依賴UXF來存儲參與者的行為、移動和眼動追蹤數(shù)據(jù)。
3.5 實驗反饋與復現(xiàn)工具
在虛擬現(xiàn)實設備的使用中, 研究者可能會面臨與參與者之間沉浸水平不對稱的問題。舉例來說, 當虛擬現(xiàn)實設備使用者與虛擬物體互動時, 身處現(xiàn)實世界的旁觀者可能無法理解這些互動的含義, 只會感覺到動作滑稽可笑, 因為他們無法看到虛擬物體。一些現(xiàn)有的實驗監(jiān)控工具可以用來解決這一問題并提高研究效率。例如, Cools等人提出了一種跨現(xiàn)實方法, 開發(fā)了名為CreST (Cross-Reality Study Tool)的反饋工具(Cools et al., 2023)。CreST基于AR技術, 為研究者提供了一個虛擬物體的增強現(xiàn)實視圖, 允許他們以AR方式監(jiān)控參與者的實驗狀態(tài)或與參與者進行交互。通過同步呈現(xiàn)的增強現(xiàn)實虛擬物體, 研究者可以更好地記錄參與者行為細節(jié), 并在后續(xù)訪談中詢問參與者特定行動背后的原因。另一種方法是由Rey等人提出的基于Web的實驗監(jiān)控和控制工具IXCI (The Immersive Experimenter Control Interface) (Rey et al., 2021)。IXCI簡化了虛擬現(xiàn)實實驗中實驗者與虛擬程序交互的問題, 實現(xiàn)了Unity內部的沉浸式環(huán)境和外部Web端的實時通信。通過Web端的實時可視化界面, 研究者可以跟蹤用戶在虛擬環(huán)境中的位置和凝視方向, 實時跟蹤任務進度、調整實驗參數(shù)、切換實驗階段, 使實驗更加靈活和可控。
復現(xiàn)工具如Vo和Cognitive3D為研究人員提供了一種有效的方式, 用來重新觀察和評估參與者在虛擬現(xiàn)實環(huán)境中的行為。這些工具能夠將參與者的行為記錄上傳至系統(tǒng), 并在Web端重建, 生成便于分析的行為軌跡和凝視熱圖(Howie & Gilardi, 2021)。
4 基于虛擬現(xiàn)實的生理信號記錄工具
生理信號數(shù)據(jù)記錄與虛擬現(xiàn)實設備的結合已在實驗研究中得到廣泛應用, 并在治療和干預領域顯示出重要的作用(相關綜述見Halbig & Latoschik, 2021)。與傳統(tǒng)屏幕相比, 使用VR頭戴顯示器進行事件相關電位(ERP)的研究顯示出更強的信號強度(Aksoy et al., 2021)。通常情況下, 腦電帽可以直接與VR頭戴設備結合使用(Hofmann et al., 2021), 但當EEG與VR結合時, 頭戴設備對EEG傳感器施加的物理壓力可能會導致頭部運動引入更多噪聲和信號失真(Tauscher et al., 2019)。一些研究表明, 通過適當?shù)募夹g手段, 如對VR頭盔的定制化改造和改進濾波分析算法, 可以有效減少運動偽跡(Butkeviciute et al., 2019; Li et al., 2023)。在硬件方面, 內置EEG信號收集裝置的虛擬現(xiàn)實頭盔正在不斷發(fā)展, 未來有望出現(xiàn)更加便捷穩(wěn)定的信號收集和記錄方法, 從而克服這些問題 (Bernal et al., 2022; Moinnereau et al., 2022; Stangl et al., 2023)。除了傳統(tǒng)方法, 近年來一種流行的方法是利用開源腦機接口軟件OpenVIBE在虛擬現(xiàn)實程序中記錄EEG信號。為了支持實驗需求, 一些工具已經(jīng)提供了Unity和OpenVIBE的集成, 例如BCIManager和LSL4Unity, 使得在Unity中控制EEG記錄過程成為可能(Skola & Liarokapis, 2021)。Jiménez等人最近還提出了一種整合UXF和OpenVIBE的工作流程, 為研究提供了更加便捷的解決方案(Jiménez- Ruescas et al., 2023)。除了EEG, 將VR與功能性近紅外光譜(fNIRS)結合也提供了一種靈活的腦成像方法(相關研究綜述見Peng et al., 2024)。與EEG相比, fNIRS對電干擾的敏感性較低, 這在涉及參與者運動的VR研究中具有優(yōu)勢, 但目前相關工具仍較為缺乏。在眼動記錄方面, 隨著內置眼動追蹤裝置的頭戴式顯示器逐漸普及, 虛擬現(xiàn)實環(huán)境中的眼動記錄方法也日趨成熟(相關綜述見Adhanom et al., 2023)。未來, 虛擬環(huán)境中的眼動記錄技術可能會逐步朝著多技術融合和應用的方向發(fā)展。例如, Nolte等人開發(fā)并驗證了一種結合EEG和虛擬現(xiàn)實眼動追蹤技術的算法(Nolte et al., 2024)。通過使用眼動數(shù)據(jù)標記注視點事件, 研究人員可以在時間維度上對齊不同的腦電反應, 從而更有效地處理和分析不同時刻的腦電活動。
此外, 便攜式記錄裝置的發(fā)展則也極大地促進了生理信號數(shù)據(jù)與虛擬現(xiàn)實設備結合的應用。Mu?oz等人較早地提出了結合移動設備和Unity引擎的工作流程(Quintero et al., 2019)。PhysioVR允許特定的生理傳感器記錄的心率、EEG以及來自無線臂帶的EMG信號通過藍牙協(xié)議連接到智能手機, 并使用用戶數(shù)據(jù)報協(xié)議(UDP)實現(xiàn)數(shù)據(jù)的流式傳輸。這樣一來, 第三方Unity引擎可以接收這些數(shù)據(jù), 實現(xiàn)生理信號程序與虛擬現(xiàn)實程序的雙向通信, 使研究者能夠實時控制外部事件并記錄數(shù)據(jù)。PARE-VR是另一款以簡化心理健康干預為目的的心率變異性(HRV)記錄與分析工具。它能夠實時檢測HRV指標, 識別正常呼吸和慢節(jié)奏呼吸之間的變化差異(Quintero et al., 2019)。PARE-VR同樣由智能手表上的應用程序、移動設備上的安卓應用程序以及用于開發(fā)VR環(huán)境的Unity插件三部分組成, 使得虛擬現(xiàn)實實驗程序能夠實時接收來自移動設備的HRV信號, 提供了更精準的數(shù)據(jù)支持。另外, Excite-O-Meter也是一個用于記錄HRV數(shù)據(jù)的Unity工具, 支持接收來自胸帶傳感器的HRV數(shù)據(jù), 并能將數(shù)據(jù)傳輸?shù)経nity內部的虛擬現(xiàn)實程序中進行記錄(Quintero et al., 2022)。雖然它不支持實時分析, 但提供了離線分析功能, 可以在Unity程序中對收集到的HRV數(shù)據(jù)進行可視化展示。
5 討論與展望
5.1 對當前工具箱的總結
本文綜述了用于心理學虛擬現(xiàn)實研究的最新實驗工具, 并總結了它們的適用范圍和技術特點。虛擬現(xiàn)實技術在心理學領域的應用不斷發(fā)展, 為具有不同背景和需求的研究者提供了豐富的選擇。研究者可以根據(jù)自身經(jīng)驗、研究需求和以往研究風格, 從這些工具箱(見表1)的比較中選擇最適合的開發(fā)工具。
針對開發(fā)平臺, 對于初次接觸虛擬現(xiàn)實研究的新研究者來說, 游戲引擎仍然是目前的最佳選擇。其中, Unity引擎是一個很好的起點, 因為它被廣泛使用, 且擁有豐富的實驗程序和開發(fā)工具參考資料, 有助于學習和開發(fā)。在實驗工具箱的選擇上, 對于初次接觸虛擬現(xiàn)實的研究者, 現(xiàn)階段推薦使用UXF工具。它提供了較為全面的功能, 包含最詳細的Wiki百科、文字和視頻教程, 包括從如何配置VR設備到如何進行遠程數(shù)據(jù)收集等, 有助于實現(xiàn)從零開始的完整虛擬實驗開發(fā)。研究者可以通過了解范例程序中UXF的運作方式, 進而學習如何編寫自己需要的代碼。相比之下, bmlTUX雖然簡潔輕量, 安裝方便, 但僅支持實驗設計階段的開發(fā), 后續(xù)實驗構建需要開發(fā)者學習一定的Unity和虛擬現(xiàn)實知識。如果追求更高的圖形渲染能力, Unreal引擎也是不錯的選擇, 其藍圖系統(tǒng)相對容易學習。偏好Unreal引擎的研究者可以嘗試選擇Study Framework Plugin創(chuàng)建研究, 但與bmlTUX一樣, 需要對虛擬現(xiàn)實實驗流程有一定了解。熟悉Python并希望能夠繼續(xù)使用該語言開發(fā)的入門研究者, 可以關注未來PTVR工具的發(fā)展。如果希望進一步深入使用Python開發(fā), 也可以考慮Vizard平臺及其配套的vexptoolbox。最后, 關于實驗刺激的獲取, 除了前述工具提供的開源刺激外, 研究者還可以免費或以合理價格購買到滿足大部分實驗需求的虛擬場景、物體或動捕文件。購買渠道包括3D素材模型分享平臺, 如sketchfab (https://sketchfab.com/)等, 相關軟件提供的商店渠道, 如Unity的AssetStore、Unreal的Unreal商城或Blender的Blender Market等。研究者可以將下載的刺激導入到游戲引擎, 或根據(jù)需求使用Blender、3ds Max等軟件進行進一步編輯。對于有特殊開發(fā)需求的研究者, 他們還可以考慮使用3D掃描儀生成模型或使用動捕裝置采集數(shù)據(jù), 然后將其導入到工具箱和游戲引擎中。
對于已經(jīng)擁有自己開發(fā)路徑的實驗室, 使用虛擬現(xiàn)實工具箱時需要考慮替換成本的問題。如果替換現(xiàn)有工程項目的成本較高, 那么學習工具箱的方法并更新原有工作路徑可能更為適合。舉例來說, 可以參考VERA或EVE Framework、VRSTK等工具作為范例項目, 學習它們在眼動、EEG等功能的處理方法。對于將HRV工作流程整合到Unity中, 可以考慮使用PARE-VR和Excite- O-Meter工具, 但要留意選擇與工具適配的測量儀器。但如果目標研究范式已有對應工具, 仍推薦使用特定工具或對其進行微調。對于具有開發(fā)經(jīng)驗且有特殊研究需求的實驗室, 還可以考慮在Python平臺上使用PsychXR工具, 或在Matlab/ Octave平臺上使用Psychtoolbox-3工具包中的PsychVRToolbox來實現(xiàn)虛擬現(xiàn)實硬件對接。
5.2 工具箱的未來發(fā)展
當然, 當前心理學虛擬現(xiàn)實工具箱還存在著一些問題, 例如, 缺乏統(tǒng)一的開發(fā)模式, 難以交叉使用等。為了避免繼續(xù)出現(xiàn)這些問題, 研究者們正在做出改進。最近有研究者指出, 當前實驗工具的發(fā)展問題源于其基本方法論。下一代虛擬現(xiàn)實實驗框架應當遵循“元框架” (Meta- Framework)和“實驗即代碼” (Experiment as code, ExaC)的開發(fā)模式(Aguilar et al., 2022; Grübel, 2023)?!霸蚣堋敝傅氖怯糜跇嫿ㄆ渌蚣艿目蚣?, 而“實驗即代碼”理念則強調將所有實驗操作和配置轉換為可執(zhí)行的代碼。提出者認為, 未來的新一代研究框架應將所有實驗范式代碼化為特定模板, 研究者可以直接選擇這些模板生成實驗, 從而減少與底層開發(fā)代碼的交互, 實現(xiàn)全過程自動化。這種方法不僅有助于虛擬現(xiàn)實程序的標準化, 還能顯著提高程序的可復現(xiàn)性。元框架思想的本質也是一種對于研究設計階段與程序開發(fā)階段的分離。元框架思想強調在研究和開發(fā)過程中, 將研究設計(包括理論框架、假設構建和實驗設計)與程序開發(fā)(包括具體實現(xiàn)、編碼和測試)區(qū)分開來。當前, 研究者在使用工具箱時往往既要扮演程序開發(fā)者, 又要扮演實驗設計者。這種角色分離有助于確保研究設計階段的獨立性和純粹性, 使其不受具體技術實現(xiàn)的限制或干擾。例如, 平面心理學軟件PsychoPy和PsyBuilder在設計階段的有效分離上提供了很好的示范(Lin et al., 2022; Peirce et al., 2019)。在元框架思想中, 研究設計通常是抽象的、高層次的, 而程序開發(fā)則是具體的、操作性的。通過將兩者分離, 可以在研究設計階段專注于問題的本質和理論構建, 而在程序開發(fā)階段則專注于如何將這些抽象的理論轉化為可操作的技術實現(xiàn)。通過分離研究設計與程序開發(fā), 研究者可以在設計階段保持靈活性, 探索不同的理論框架和方法, 而不必立即考慮其技術實現(xiàn)的可行性。在程序開發(fā)階段, 開發(fā)人員可以根據(jù)設計階段的需求, 選擇最合適的技術手段來實現(xiàn)這些設計, 并結合實驗即代碼思想, 實現(xiàn)自動化處理。
就目前而言, 我們認為可視化編程語言(Visual Programming Language, VPL)有望成為未來實現(xiàn)心理學元框架開發(fā)和實驗即代碼模式的強有力候選者。當前基于游戲引擎的VPL游戲開發(fā)系統(tǒng)可以通過可視化圖形調用游戲引擎內部的編程方法, 使游戲創(chuàng)意人員能夠直接參與開發(fā)過程, 而不需要掌握傳統(tǒng)的編程語言。這種方法的優(yōu)點是具有易用性, 但又保留了開發(fā)的靈活性, 高度模塊化的形式可以讓不同的功能模塊互不影響的完成工作, 能夠有效地設計事件邏輯、模型動畫和操作控制等方面內容, 顯著提升開發(fā)效率。在未來, 如果能夠從現(xiàn)有的多種VPL系統(tǒng)中汲取經(jīng)驗, 并開發(fā)出專門用于心理學研究的VPL系統(tǒng), 這有望為心理學虛擬現(xiàn)實研究工具的發(fā)展帶來幫助。
5.3 基于云端共享的元框架開發(fā)模式
通過結合云端服務的共享平臺, 元框架開發(fā)體系也展現(xiàn)了未來實驗工具的一種潛在共享開發(fā)模式?;谶@一視角, 本文提出了一種基于云端的“研究者?開發(fā)者?參與者”多層開發(fā)模式(如圖1所示), 并將以此模式為例, 深入探討這一元框架思想的潛在價值。該開發(fā)模式的第一層是研究邏輯層, 負責構建研究的元框架, 面向心理學研究者。這一層的職責是以最簡單的形式收集研究設計。研究者通過繪制“心理學研究藍圖”的形式來定義研究邏輯, 并將生成的結果以元數(shù)據(jù)格式進行存儲。隨后, 這些元數(shù)據(jù)和實驗材料將共同輸出到下一層進行自動化“施工”。來自實驗邏輯層的元數(shù)據(jù)和實驗刺激可以上傳到云端, 儲存的元數(shù)據(jù)可以作為預注冊材料, 增強實驗設計的透明度。相比于文字描述, 元數(shù)據(jù)能夠以更直觀和準確的形式展示實驗流程和技術細節(jié)。由于元數(shù)據(jù)體積小、結構統(tǒng)一, 比實驗程序更便于傳播, 相關領域的研究者可以下載這些元數(shù)據(jù)文件, 修改實驗設計后, 再次上傳到實驗邏輯層, 生成新的實驗設計, 從而推動相關領域研究的發(fā)展。第二層是專為開發(fā)經(jīng)驗豐富的心理學研究者或專業(yè)開發(fā)人員設計的研究部署層。為了能夠對接實驗邏輯層, 部署層具有高度模塊化的特點。各個相互獨立的功能模塊負責實現(xiàn)在元框架中被定義的實驗功能, 將實驗邏輯解析成具體工程流程。除預設功能外, 開發(fā)者還可以選擇共享并上傳自定義功能模塊, 以擴展并更新實驗部署層的工具庫與研究邏輯層所能獲得的功能列表。這樣可以幫助新研究者使用和引用這些經(jīng)驗豐富的開發(fā)者的自定義方法, 從而避免不必要的二次開發(fā)。通過利用游戲引擎云計算技術(例如Unity Cloud), 可以將研究程序在線部署并儲存在云端層。由于元數(shù)據(jù)可以在不同平臺上具有統(tǒng)一標準的解析, 從而實現(xiàn)在不同平臺上導出相同的實驗流程, 實現(xiàn)一次生成, 多次部署的目標。第三層是研究執(zhí)行層, 面向參與者。此層負責運行生成研究程序、收集數(shù)據(jù)并保存結果。根據(jù)不同實驗需求, 研究可在平面顯示器、虛擬現(xiàn)實設備或Web網(wǎng)頁端呈現(xiàn)給參與者。隨著VR設備的普及, 未來可能更多地使用遠程虛擬現(xiàn)實進行數(shù)據(jù)收集。這種方法結合了虛擬現(xiàn)實情景化和網(wǎng)絡大樣本的優(yōu)點, 擴大了研究的可觀察范圍和數(shù)據(jù)的豐富程度(Draschkow, 2022)。對于網(wǎng)絡實驗與眾包實驗, 研究者無需與參與者直接接觸。系統(tǒng)會自動對接測試平臺, 呈現(xiàn)并返回數(shù)據(jù), 支持原始數(shù)據(jù)的直接下載和分析后結果的展示。除了實驗數(shù)據(jù)外, 研究還將記錄被試的運動軌跡、操作流程和注視信息。基于WebGL等技術, 實驗流程可在Web瀏覽器中進行可視化重建, 支持數(shù)據(jù)的進一步分析。第四層是云端共享層, 面向的是所有人。云端負責聯(lián)系和統(tǒng)合前三層, 除了已經(jīng)提及的功能外, 我們還建議建立一個虛擬現(xiàn)實實驗刺激共享網(wǎng)站(Draschkow et al., 2023)。它應當包含基礎刺激庫, 貢獻者將進一步拓展這個庫。通過云端部署的實驗可以直接調用庫內資源, 這不僅節(jié)省了數(shù)據(jù)空間, 還有助于確保實驗刺激的標準統(tǒng)一, 從而提高研究的可重復性。
這種元框架共享平臺可以帶來諸多好處。首先, 研究者可以避免重復開發(fā), 從而節(jié)省時間和資源。其次, 新手研究者可以快速上手, 降低學習和開發(fā)成本。此外, 該平臺還可以推進實驗標準化, 提高實驗結果的可重復性和可信度。最后, 可以提供協(xié)作與交流的空間, 促進資源和知識的共享以及經(jīng)驗的傳遞, 推動跨學科合作。
然而, 我們也必須注意到, 目前要實現(xiàn)這種開發(fā)模式的轉變還面臨著許多技術挑戰(zhàn)和不確定性。例如, 開發(fā)和維護高質量的元框架模板需要大量資源和時間, 技術的發(fā)展和變化可能對元框架的長期有效性產生影響等。為了解決這些問題, 未來的研究工具可以通過版本迭代逐步完善功能, 形成標準化體系, 例如從單平臺開發(fā)工具到多平臺開發(fā)工具, 從獨立的虛擬現(xiàn)實實驗刺激共享網(wǎng)站到嵌入元框架系統(tǒng)的分享平臺。
同時, 人工智能技術的迅猛發(fā)展為簡化虛擬現(xiàn)實開發(fā)提供了豐富的可能性。例如, 基于自然語言的代碼生成器、自動生成程序化場景、3D模型和動畫等方法可以極大簡化自定義研究設計和刺激生成過程。未來的研究工具應當注重與人工智能技術的結合, 為虛擬現(xiàn)實領域帶來更多創(chuàng)新和便利。
參考文獻
胡傳鵬, 王非, 過繼成思, 宋夢迪, 隋潔, 彭凱平. (2016). 心理學研究中的可重復性問題: 從危機到契機. 心理科學進展, 24(9), 1504?1518.
張鳳翔, 陳美璇, 蒲藝, 孔祥禎. (2023). 空間導航能力個體差異的多層次形成機制. 心理科學進展, 31(9), 1642?1664.
Adhanom, I. B., MacNeilage, P., & Folmer, E. (2023). Eye tracking in virtual reality: A broad review of applications and challenges. Virtual Reality, 27(2), 1481?1505. https:// doi.org/10.1007/s10055-022-00738-z
Aguilar, L., Gath-Morad, M., Grübel, J., Ermatinger, J., Zhao, H., Wehrli, S., ... H?lscher, C. (2022). Experiments as code: A concept for reproducible, auditable, debuggable, reusable, & scalable experiments. ArXiv Preprint ArXiv: 2202.12050.
Aksoy, M., Ufodiama, C. E., Bateson, A. D., Martin, S., & Asghar, A. U. R. (2021). A comparative experimental study of visual brain event-related potentials to a working memory task: Virtual reality head-mounted display versus a desktop computer screen. Experimental Brain Research, 239(10), 3007?3022. https://doi.org/10.1007/s00221-021- 06158-w
Alsbury-Nealy, K., Wang, H., Howarth, C., Gordienko, A., Schlichting, M. L., & Duncan, K. D. (2021). OpenMaze: An open-source toolbox for creating virtual navigation experiments. Behavior Research Methods, 54(3), 1374? 1387. https://doi.org/10.3758/s13428-021-01664-9
Banakou, D., Groten, R., & Slater, M. (2013). Illusory ownership of a virtual child body causes overestimation of object sizes and implicit attitude changes. Proceedings of the National Academy of Sciences, 110(31), 12846?12851. https://doi.org/10.1073/pnas.1306779110
Banakou, D., Hanumanthu, P. D., & Slater, M. (2016). Virtual embodiment of white people in a black virtual body leads to a sustained reduction in their implicit racial bias. Frontiers in Human Neuroscience, 10, 601. https:// doi.org/10.3389/fnhum.2016.00601
Bebko, A. O., & Troje, N. F. (2020). bmlTUX: Design and control of experiments in virtual reality and beyond. I-Perception, 11(4), 204166952093840. https://doi.org/10. 1177/20416f6660d31b991e7eb582acce28ed775779f275c1fe271c14d1de3d32efeb470c869520938400
Berdejo-Espinola, V., Zahnow, R., O’Bryan, C. J., & Fuller, R. A. (2024). Virtual reality for nature experiences. Nature Human Behaviour, 8, 1005?1007. https://doi.org/10.1038/ s41562-024-01857-0
Bernal, G., Hidalgo, N., Russomanno, C., & Maes, P. (2022). Galea: A physiological sensing system for behavioral research in Virtual Environments. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Christchurch, New Zealand, 66?76. https://doi.org/10.1109/ VR51125.2022.00024
Bovo, R., Giunchi, D., Steed, A., & Heinis, T. (2022). MR-RIEW: An MR toolkit for designing remote immersive experiment workflows. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Christchurch, New Zealand, 766?767. https://doi. org/10.1109/VRW55335.2022.00234
Brainard, D. H. (1997). The psychophysics toolbox. Spatial Vision, 10(4), 433?436. https://doi.org/10.1163/156856897X00357
Brookes, J., Hall, S., Frühholz, S., & Bach, D. R. (2023). Immersive VR for investigating threat avoidance: The VRthreat toolkit for Unity. Behavior Research Methods, 56, 5040?5054. https://doi.org/10.3758/s13428-023-02241-y
Brookes, J., Warburton, M., Alghadier, M., Mon-Williams, M., & Mushtaq, F. (2020). Studying human behavior with virtual reality: The unity experiment framework. Behavior Research Methods, 52(2), 455?463. https://doi.org/10.3758/ s13428-019-01242-0
Butkeviciute, E., Bikulciene, L., Sidekerskiene, T., Blazauskas, T., Maskeliunas, R., Damasevicius, R., & Wei, W. (2019). Removal of movement artefact for mobile EEG analysis in sports exercises. IEEE Access, 7, 7206?7217. https://doi. org/10.1109/ACCESS.2018.2890335
Castet, E., Termoz-Masson, J., Vizcay, S., Delachambre, J., Myrodia, V., Aguilar, C., Matonti, F., & Kornprobst, P. (2024). PTVR ? A software in Python to make virtual reality experiments easier to build and more reproducible. Journal of Vision, 24(4), 19. https://doi.org/10.1167/jov. 24.4.19
Colombo, G., & Grübel, J. (2023). The spatial performance assessment for cognitive evaluation (SPACE): A novel game for the early detection of cognitive impairment. Extended Abstracts of the 2023 CHI Conference on Human Factorsu9F/J7Ra6ABe8kZvpXIbHA== in Computing Systems, Hamburg, Germany, 1?6. https://doi.org/10.1145/3544549.3583828
Commins, S., Duffin, J., Chaves, K., Leahy, D., Corcoran, K., Caffrey, M., ... Thornberry, C. (2020). NavWell: A simplified virtual-reality platform for spatial navigation and memory experiments. Behavior Research Methods, 52(3), 1189? 1207. https://doi.org/10.3758/s13428-019-01310-5
Cools, R., Zhang, X., & Simeone, A. L. (2023). CReST: Design and evaluation of the cross-reality study tool. Proceedings of the 22nd International Conference on Mobile and Ubiquitous Multimedia, Vienna, Austria, 409?419. https://doi.org/10.1145/3626705.3627803
Delvigne, V., Ris, L., Dutoit, T., Wannous, H., & Vandeborre, J. -P. (2020). VERA: Virtual environments recording attention. 2020 IEEE 8th International Conference on Serious Games and Applications for Health (SeGAH), Vancouver, Canada, 1?7. https://doi.org/10.1109/SeGAH49190.2020. 9201699
Do, T. D., Zelenty, S., Gonzalez-Franco, M., & McMahan, R. P. (2023). VALID: A perceptually validated virtual avatar library for inclusion and diversity. Frontiers in Virtual Reality, 4, 1248915. https://doi.org/10.3389/frvir.2023. 1248915
Draschkow, D. (2022). Remote virtual reality as a tool for increasing external validity. Nature Reviews Psychology, 1(8), 433?434. https://doi.org/10.1038/s44159-022-00082-8
Draschkow, D., Anderson, N. C., David, E., Gauge, N., Kingstone, A., Kumle, L., ... V?, M. L. -H. (2023). Using XR (Extended Reality) for behavioral, clinical, and learning sciences requires updates in infrastructure and funding. Policy Insights from the Behavioral and Brain Sciences, 10(2), 317?323. https://doi.org/10.1177/23727322231196305
Draschkow, D., Nobre, A. C., & van Ede, F. (2022). Multiple spatial frames for immersive working memory. Nature Human Behaviour, 6(4), 536?544. https://doi.org/10. 1038/s41562-021-01245-y
Ehret, J., B?nsch, A., Fels, J., Schlittmeier, S. J., & Kuhlen, T. W. (2024). StudyFramework: Comfortably setting up and conducting factorial-design studies using the unreal engine. 2024 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW): Workshop” Open Access Tools and Libraries for Virtual Reality, Orlando, FL, USA, 442?449. https://doi.org/10.1109/ VRW62533.2024.00087
Emmelkamp, P. M. G., & Meyerbr?ker, K. (2021). Virtual reality therapy in mental health. Annual Review of Clinical Psychology, 17(1), 495?519. https://doi.org/10.1146/annurev- clinpsy-081219-115923
Feick, M., Kleer, N., Tang, A., & Krüger, A. (2020). The virtual reality questionnaire toolkit. Adjunct Publication of the 33rd Annual ACM Symposium on User Interface Software and Technology, Virtual Event, USA, 68?69. https://doi.org/10.1145/3379350.3416188
Freeman, D., Lambe, S., Kabir, T., Petit, A., Rosebrock, L., Yu, L. -M., … West, J. (2022). Automated virtual reality therapy to treat agoraphobic avoidance and distress in patients with psychosis (gameChange): A multicentre, parallel-group, single-blind, randomised, controlled trial in England with mediation and moderation analyses. The Lancet Psychiatry, 9(5), 375?388. https://doi.org/10.1016/ S2215-0366(22)00060-8
Geraets, C. N. W., van der Stouwe, E. C. D., Pot-Kolder, R., & Veling, W. (2021). Advances in immersive virtual reality interventions for mental disorders: A new reality? Current Opinion in Psychology, 41, 40?45. https://doi.org/ 10.1016/j.copsyc.2021.02.004
Grübel, J. (2023). The design, experiment, analyse, and reproduce principle for experimentation in virtual reality. Frontiers in Virtual Reality, 4, 1069423. https://doi.org/10. 3389/frvir.2023.1069423
Grübel, J., Weibel, R., Jiang, M. H., H?lscher, C., Hackman, D. A., & Schinazi, V. R. (2017). EVE: A Framework for Experiments in Virtual Environments. In Barkowsky, T., Burte, H., H?lscher, C., Schultheis, H. (Eds.), Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics): Vol. 10523 LNAI (pp. 159?176). Springer Verlag. https://doi.org/10.1007/978-3-319-68189-4_10
Hakim, A., & Hammad, S. (2022). Use of virtual reality in psychology. In C. Biele, J. Kacprzyk, W. Kope?, J. W. Owsiński, A. Romanowski, & M. Sikorski (Eds.), Digital interaction and machine intelligence. MIDI 2021 (pp. 208?217, Vol. 440). Springer, Cham. https://doi.org/10. 1007/978-3-031-11432-8_21
Halbig, A., & Latoschik, M. E. (2021). A systematic review of physiological measurements, factors, methods, and applications in virtual reality. Frontiers in Virtual Reality, 2, 694567. https://doi.org/10.3389/frvir.2021.694567
Hofmann, S. M., Klotzsche, F., Mariola, A., Nikulin, V., Villringer, A., & Gaebler, M. (2021). Decoding subjective emotional arousal from EEG during an immersive virtual reality experience. ELife, 10, e64812. https://doi.org/10. 7554/eLife.64812
Howie, S., & Gilardi, M. (2021). Virtual Observations: A software tool for contextual observation and assessment of user’s actions in virtual reality. Virtual Reality, 25(2), 447?460. https://doi.org/10.1007/s10055-020-00463-5
Jiménez-Ruescas, J., Sánchez, R., Maya, Y., Fernández- Caballero, A., García, A. S., & González, P. (2023). A framework for managing the experimental evaluation of ambient assisted living systems. In J. Bravo & G. Urzáiz (Eds.), Proceedings of the 15th International Conference on Ubiquitous Computing & Ambient Intelligence (UCAmI 2023) (pp. 124?135, Vol. 835). Springer, Cham. https://doi. org/10.1007/978-3-031-48306-6_13
Kilteni, K., Groten, R., & Slater, M. (2012). The sense of embodiment in virtual reality. Presence: Teleoperators and Virtual Environments, 21(4), 373?387. https://doi.org/ 10.1162/PRES_a_00124
Landeck, M., Unruh, F., Lugrin, J. -L., & Latoschik, M. E. (2020). Metachron: A framework for time perception research in VR. 26th ACM Symposium on Virtual Reality Software and Technology, Virtual Event, Canada, 1?3. https://doi.org/10.1145/3385956.3422111
Li, H., Shin, H., Zhang, M., Yu, A., Huh, H., Kwon, G., ... Lu, N. (2023). Hair-compatible sponge electrodes integrated on VR headset for electroencephalography. Soft Science, 3(3), 21. https://doi.org/10.20517/ss.2023.11
Lin, Z., Yang, Z., Feng, C., & Zhang, Y. (2022). PsyBuilder: An open-source, cross-platform graphical experiment builder for psychtoolbox with built-In performance optimization. Advances in Methods and Practices in Psychological Science, 5(1), 251524592110705. https://doi. org/10.1177/25152459211070573
Liu, Z. -M., & Chen, Y. -H. (2022). A modularity design approach to behavioral research with immersive virtual reality: A SkyrimVR-based behavioral experimental framework. Behavior Research Methods, 55(7), 3805?3819. https://doi.org/10.3758/s13428-022-01990-6
Moinnereau, M. -A., de Oliveira, A. A., & Falk, T. H. (2022). Immersive media experience: A survey of existing methods and tools for human influential factors assessment. Quality and User Experience, 7(1), 5. https://doi.org/ 10.1007/s41233-022-00052-1
Müller, M. M., Scherer, J., Unterbrink, P., Bertrand, O. J. N., Egelhaaf, M., & Boeddeker, N. (2023). The virtual navigation toolbox: Providing tools for virtual navigation experiments. PLOS ONE, 18(11), e0293536. https://doi.org/ 10.1371/journal.pone.0293536
Nicoll, B., & Keogh, B. (2019). The Unity game engine and the circuits of cultural software (pp. 9?11). Springer.
Nolte, D., Vidal De Palol, M., Keshava, A., Madrid-Carvajal, J., Gert, A. L., von Butler, E. -M., K?mürlüo?lu, P., & K?nig, P. (2024). Combining EEG and eye-tracking in virtual reality: Obtaining fixation-onset event-related potentials and event-related spectral perturbations. Attention, Perception, & Psychophysics. Advance online publication. https://doi.org/10.3758/s13414-024-02917-3
Oliva, R., Beacco, A., Navarro, X., & Slater, M. (2022). QuickVR: A standard library for virtual embodiment in unity. Frontiers in Virtual Reality, 3, 937191. https://doi. org/10.3389/frvir.2022.937191
Peirce, J., Gray, J. R., Simpson, S., MacAskill, M., H?chenberger, R., Sogo, H., Kastman, E., & Lindel?v, J. K. (2019). PsychoPy2: Experiments in behavior made easy. Behavior Research Methods, 51(1), 195?203. https://doi. org/10.3758/s13428-018-01193-y
Peirce, J. W. (2007). PsychoPy—Psychophysics software in Python. Journal of Neuroscience Methods, 162(1?2), 8?13. https://doi.org/10.1016/j.jneumeth.2006.11.017
Peng, K., Moussavi, Z., Karunakaran, K. D., Borsook, D., Lesage, F., & Nguyen, D. K. (2024). iVR-fNIRS: Studying brain functions in a fully immersive virtual environment. Neurophotonics, 11(2). https://doi.org/10.1117/1.NPh.11. 2.020601
Pohl, H., & Mottelson, A. (2022). Hafnia Hands: A multi- skin hand texture resource for virtual reality research. Frontiers in Virtual Reality, 3, 719506. https://doi.org/ 10.3389/frvir.2022.719506
Quintero, L., Papapetrou, P., & Munoz, J. E. (2019). Open-Source physiological computing framework using heart rate variability in mobile virtual reality applications. 2019 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR), San Diego, CA, USA, 126?1267. https://doi.org/10.1109/AIVR46125.2019. 00027
Quintero, L., Papapetrou, P., Munoz, J. E., de Mooij, J., & Gaebler, M. (2022). Excite-O-Meter: An open-source Unity plugin to analyze heart activity and movement trajectories in custom VR environments. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Christchurch, New Zealand, 46?47. https://doi.org/10.1109/VRW55335.2022. 00017
Rey, A., Bellucci, A., Diaz, P., & Aedo, I. (2021). A tool for monitoring and controlling standalone immersive HCI experiments. Adjunct Proceedings of the 34th Annual ACM Symposium on User Interface Software and Technology, Virtual Event, USA, 20?22. https://doi.org/ 10.1145/3474349.3480217
Saffo, D., Yildirim, C., Di Bartolomeo, S., & Dunne, C. (2020). Crowdsourcing virtual reality experiments using VRChat. Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems, Honolulu, HI, USA, 1?8. https://doi.org/10.1145/3334480.3382829
Schuetz, I., Karimpur, H., & Fiehler, K. (2022). vexptoolbox: A software toolbox for human behavior studies using the Vizard virtual reality platform. Behavior Research Methods, 55(2), 570?582. https://doi.org/10.3758/s13428- 022-01831-6
Skibba, R. (2018). Virtual reality comes of age. Nature, 553(7689), 402?403. https://doi.org/10.1038/d41586-018- 00894-w
Skola, F., & Liarokapis, F. (2021). BCIManager: A library for development of brain-computer interfacing applications in Unity. 2021 IEEE Conference on Games (CoG), Copenhagen, Denmark, 1?4. https://doi.org/10.1109/CoG52621.2021. 9619123
Slater, M., Perez-Marcos, D., Ehrsson, H. H., & Sanchez-Vives, M. V. (2008). Towards a digital body: The virtual arm illusion. Frontiers in Human Neuroscience, 2, 6. https://doi.org/10.3389/neuro.09.006.2008
Stangl, M., Maoz, S. L., & Suthana, N. (2023). Mobile cognition: imaging the human brain in the ‘real world’. Nature Reviews Neuroscience, 24(6), 347?362. https://doi. org/10.1038/s41583-023-00692-y
Starrett, M. J., McAvan, A. S., Huffman, D. J., Stokes, J. D., Kyle, C. T., Smuda, D. N., ... Ekstrom, A. D. (2021). Landmarks: A solution for spatial navigation and memory experiments in virtual reality. Behavior Research Methods, 53(3), 1046?1059. https://doi.org/10.3758/s13428-020- 01481-6
Tauscher, J. -P., Schottky, F. W., Grogorick, S., Bittner, P. M., Mustafa, M., & Magnor, M. (2019). Immersive EEG: Evaluating electroencephalography in virtual reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Osaka, Japan, 1794?1800. https://doi.org/10.1109/ VR.2019.8797858
Tiwari, K., Kyrki, V., Cheung, A., & Yamamoto, N. (2021). DeFINE: Delayed feedback-based immersive navigation environment for studying goal-directed human navigation. Behavior Research Methods, 53(6), 2668?2688. https://doi. org/10.3758/s13428-021-01586-6
Ugwitz, P., ?a?inková, A., ?a?inka, ?., Stachoň, Z., & Ju?ík, V. (2021). Toggle toolkit: A tool for conducting experiments in Unity virtual environments. Behavior Research Methods, 53(4), 1581?1591. https://doi.org/10.3758/s13428-020-01510-4
van Steenbergen, H., Spapé, R., & Verdonschot, M. (2019). The E-Primer: An introduction to creating psychological experiments in E-Prime (pp. 1?304). Amsterdam University Press.
Vasser, M., & Aru, J. (2020). Guidelines for immersive virtual reality in psychological research. Current Opinion in Psychology, 36, 71?76. https://doi.org/10.1016/j.copsyc. 2020.04.010
Vasser, M., K?ngsepp, M., Magomedkerimov, M., Kilvits, K., Stafinjak, V., Kivisik, T., Vicente, R., & Aru, J. (2017). VREX: An open-source toolbox for creating 3D virtual reality experiments. BMC Psychology, 5(1), 4. https://doi. org/10.1186/s40359-017-0173-4
Vercelloni, J., Peppinck, J., Santos-Fernandez, E., McBain, M., Heron, G., Dodgen, T., Peterson, E. E., & Mengersen, K. (2021). Connecting virtual reality and ecology: A new tool to run seamless immersive experiments in R. PeerJ Computer Science, 7, e544. https://doi.org/10.7717/peerj- cs.544
Watson, M. R., Voloh, B., Thomas, C., Hasan, A., & Womelsdorf, T. (2019). USE: An integrative suite for temporally-precise psychophysical experiments in virtual environments for human, nonhuman, and artificially intelligent agents. Journal of Neuroscience Methods, 326, 108374. https://doi.org/10.1016/j.jneumeth.2019.108374
Weisberg, S. M., Schinazi, V. R., Ferrario, A., & Newcombe, N. S. (2022). Evaluating the effects of a programming error on a virtual environment measure of spatial navigation behavior. Journal of Experimental Psychology: Learning, Memory, and Cognition, 49(4), 575?589. https://doi.org/10.1037/xlm0001146
Wiener, J. M., Carroll, D., Moeller, S., Bibi, I., Ivanova, D., Allen, P., & Wolbers, T. (2020). A novel virtual-reality- based route-learning test suite: Assessing the effects of cognitive aging on navigation. Behavior Research Methods, 52(2), 630?640. https://doi.org/10.3758/s13428- 019-01264-8
Wolfel, M., Hepperle, D., Purps, C. F., Deuchler, J., & Hettmann, W. (2021). Entering a new dimension in virtual reality research: An overview of existing toolkits, their features and challenges. 2021 International Conference on Cyberworlds (CW), Caen, France, 180?187. https://doi. org/10.1109/CW52790.2021.00038
Zilcha-Mano, S., & Krasovsky, T. (2024). Using virtual reality to understand mechanisms of therapeutic change. Nature Reviews Psychology, 3, 295?296. https://doi.org/ 10.1038/s44159-024-00303-2
Toolkits for virtual reality research in psychology
HAN Ming1, KUAI Shu-Guang1,2
(1 Institute of Brain and Education Innovation, School of Psychology and Cognitive Science,
East China Normal University, Shanghai 200062, China)
(2 NYU-ECNU Institute of Brain and Cognitive Science, New York University Shanghai 200062, China)
Abstract: High-quality virtual experimental environments are essential for psychological research using virtual reality. However, for psychology researchers lacking computer expertise, creating these environments can be challenging. To address that, various tools have been developed to streamline virtual reality research, leveraging technologies like game engines to minimize the need for specialized knowledge. These tools offer a range of features: some provide comprehensive experimental frameworks, facilitating the creation of experimental environments, while others focus on resolving specific technical challenges, offering technical support and development paradigms tailored to researchers’ needs. Looking ahead, future advancements in experimental tools may adopt the concept of a “meta-framework”, aiming to provide developers with a more efficient and adaptable development approach.
Keywords: virtual reality, 3D stimuli, experimental development tools, meta-framework, reproducibility, open science