沈陽 紀海林 葉心怡 孟啟帆 駱巖林
[摘? ?要] 傳統(tǒng)物理實驗教學存在實驗器材受限、教學內容枯燥、學生參與度不足等困境?;谔摂M現(xiàn)實技術(以下簡稱VR)的沉浸式學習以學生為主體,提供沉浸式、交互性及可復用性的學習體驗,可以很好地突破當前傳統(tǒng)實驗教學的瓶頸。針對當前虛擬學習環(huán)境中較為普遍的臨場感缺乏和交互體驗受限等問題,研究重點關注沉浸式學習中人機交互技術應用和學習者的力/觸覺體驗對實驗學習效果的影響。將VR交互技術中的力反饋引入K12物理實驗教學場景設計中,通過準實驗評估力反饋在沉浸式學習中的應用效果。結果顯示,在VR沉浸式學習中,使用力反饋技術可以顯著提高學習者的真實感和交互效率,但對知識增益沒有產生顯著性影響。通過研究,為深入探索沉浸式學習中的人機交互設計、力反饋在科學教育等教學場景的應用及發(fā)展適宜性策略等提供借鑒。
[關鍵詞] 虛擬現(xiàn)實; 沉浸式學習; 人機交互; 力反饋技術; 物理實驗教學
[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A
[作者簡介] 沈陽(1985—),女,安徽宿州人。助理研究員,博士,主要從事虛擬現(xiàn)實教育應用、智慧學習環(huán)境設計與評測、教育心理與行為大數(shù)據(jù)等研究。E-mail:shenyang@bnu.edu.cn。
基金項目:全國教育科學規(guī)劃2022年度教育部重點課題“基于多模態(tài)數(shù)據(jù)的學習者沉浸體驗評估模型構建與實證研究”(課題編號:DCA220451)
一、研究背景
眾所周知,物理概念、原理和規(guī)律等知識具有抽象、過程復雜、內容深奧等特點,學生掌握起來比較困難。物理學中的概念或規(guī)律的發(fā)現(xiàn)、探究和確立大多依賴實驗[1]。物理實驗是物理學科的基礎,物理實驗教學對提升學生物理核心素養(yǎng)具有重要意義[2]。由于條件制約,一些實驗無法在課堂上進行,只能借助課本上的圖示和課堂講授,這可能導致學生認知迷航。在學校教室開展的實驗存在很多不容忽視的問題,如實驗器材設備短缺、實驗時間受限以及對實驗安全和費用的顧慮等,影響學生進行真實實驗的效果[3]。利用信息技術手段輔助實驗教學能夠更新實驗教學理念、改變實驗教學手段、優(yōu)化實驗教學方法、突破常規(guī)實驗儀器局限、提高實驗教學效率[4]。
隨著計算機模擬技術的不斷發(fā)展,新型學習和實驗方案已被開發(fā)。虛擬現(xiàn)實技術(Virtual Reality,VR)因其提供沉浸式體驗和交互式操作,被認為是教與學的重要技術之一[5]。近年來,VR技術在我國基礎教育領域中廣泛應用,對教學效果產生積極影響[6]。VR技術與物理實驗教學融合發(fā)展,在物理實驗教學中具有獨特優(yōu)勢[7]?;赩R技術的虛擬實驗室可提供沉浸交互的實驗教學,針對資源不足、危險性高或現(xiàn)實無法開展的實驗進行設計,實現(xiàn)以學生為主體的教學過程,從而改善學習體驗[8]。當前物理學習中,基于VR的學習環(huán)境大多只通過VR設備提供視覺和聽覺體驗,而對虛擬物體的力/觸覺感知關注較少。作為VR人機交互技術中的重要分支——力反饋技術,可以將虛擬物體的動態(tài)變化以力的形式傳遞給學生,從而產生觸碰真實物體的感受,增加互動性和沉浸感。目前,VR和力反饋技術的結合正在成為教育研究和實踐探索的重要領域,在遠程學習、互動教學和計算機模擬領域發(fā)揮著重要作用[9-10];適用于如醫(yī)學、物理學和生物學等教學中需要學生親身實踐以獲得經驗、構建知識和掌握技能的學科。支持力反饋的沉浸式虛擬現(xiàn)實在物理實驗和學習中具有巨大潛力。
二、研究現(xiàn)狀與相關基礎
(一)沉浸式VR與具身認知理論
VR技術對學習效果的影響已經被廣泛探討,但不同類型的VR在學習內容方面的影響機制還有待進一步研究[11]。通常,VR可以通過各種顯示設備,如臺式機、頭戴式顯示器或移動設備,以及匹配的交互設備,如鍵盤、手柄或觸控筆來訪問。沉浸程度根據(jù)采用設備的不同而不同。Mandal等人將VR分為三大類:非沉浸式桌面VR、半沉浸式VR和沉浸式VR,其中,沉浸式VR通過基于技術的多種感官刺激增強用戶的沉浸體驗[12]。
沉浸式VR應用在教育中有益于革新學習方式,構建多樣化的學習場景,為學生提供與虛擬對象多感官互動的機會,而在現(xiàn)實物理世界中很難接觸到這些對象[13-14]?;赩R技術搭建的虛擬實驗平臺,可以完成傳統(tǒng)教學實驗中難以完成的一些危險性實驗或成本較高的實驗,解決了實驗設備及儀器不足等問題[15]。傳統(tǒng)物理教學大多局限在一維的物理空間,而VR技術則可以拓展為物理實驗空間和虛擬空間相融合的二維空間,在此環(huán)境中,教師無須移動實驗設備且能夠靈活組織教學,從而提高教學效率[16]。技術和教學的結合促進沉浸式VR在K12科學教育中的應用[17]。學生可以通過在三維虛擬環(huán)境中與虛擬化身互動,進一步加深對知識概念的理解[18-19]。利用沉浸式VR開發(fā)的虛擬實驗室可以幫助學生進行物理、化學、地理和生物等方面的實驗,提高實踐能力[20-21]。
具身認知理論是心智、身體和環(huán)境的一體論,認為學習受到學生心智和身體與環(huán)境互動方式的影響[22],VR技術能夠推動這一有機體的融合發(fā)展[23]。具身認知理論應用于物理學習,多感官輸入(包括視覺、聽覺和力覺)的教育模擬交互可以作為K12學習者的認知基礎[24]。因此,在真實或虛擬的物理操作對象中添加模擬交互是提升學習者認知效果的一種方式。根據(jù)具身認知理論,支持力反饋的VR物理實驗教學環(huán)境使學生能夠通過交互設備控制虛擬物體的運動,并感受與物理環(huán)境相似的力反饋,從而獲得實踐經驗,加深對物理概念和規(guī)律的理解[25]。
(二)力反饋技術及其教育應用
力反饋技術是一種新型人機交互技術,允許用戶使用設備獲得類似于真實世界的力感。力反饋設備跟蹤用戶的運動、進行檢測碰撞、計算反饋力并對用戶施加力[26-27]。根據(jù)多媒體學習認知理論中的雙通道原則,圖像和聲音可以從多感官來交互刺激學習者的記憶,若對視覺通道和聽覺通道一次呈現(xiàn)太多的加工元素,將會超出學習者的認知負荷而阻礙學習[28]。研究表明,力/觸覺要素可以增強學生在虛擬環(huán)境中的存在感,也可以平衡視覺工作記憶的壓力[29-30]。相對于無力反饋的VR環(huán)境,力反饋的加入不僅能夠給予學習者實時的動態(tài)反饋,還能夠為學習者提供視、聽、觸覺一體化的信息體驗通道,為學習者創(chuàng)設生動且逼真的學習情境,有效促進技能習得和實踐能力[31];同時,力反饋可以幫助創(chuàng)造虛擬或想象的空間,刺激學習者對未發(fā)生的事物進行想象和思考,促進有意義學習的發(fā)生[32]。
力反饋技術已經被應用于部分虛擬學習環(huán)境中的物理實驗和教學,豐富和改善學生的體驗[24-25, 33-36]。實驗證明,三維VR物理實驗教學環(huán)境能夠給學生提供更優(yōu)質的學習過程體驗,調動學習主動性,提高學習興趣;同時,力反饋功能可以顯著改善學生在三維交互過程中的沉浸感,有助于提升學習專注度,進而加深對知識的理解[37]。已有研究探索了虛擬學習環(huán)境中關于力反饋對學生物理學習表現(xiàn)和態(tài)度的影響,Civelek等人對215名K12學生進行“太陽系中的重力”評估實驗,結果表明,與傳統(tǒng)課堂教學相比,使用力反饋對學生表現(xiàn)和學習質量有明顯的積極影響[33];Neri等人的研究表明,如果沒有適當?shù)脑O計,一些物理力學概念在觸覺場景中是不適用的[34];張文娟等人在一項心理運動能力測試中則發(fā)現(xiàn),受試者在有力反饋的沉浸式學習環(huán)境中效率偏低[38]。
綜上所述,VR物理實驗教學中力反饋是否能增強學生的虛擬存在感、提高學生的交互效率,并對他們的學習結果產生顯著的知識增益,尚無定論,仍需進一步探討。
三、基于K12物理實驗教學的VR場景
設計與開發(fā)
(一)K12物理實驗教學案例的選取
在K12物理教學中,“牛頓運動定律”與“滑動摩擦力”十分重要。由于力的抽象性,無論在傳統(tǒng)物理教學中,還是大多數(shù)VR學習環(huán)境中,學生都難以確切感知力的效果與規(guī)律。本研究將力反饋技術應用于沉浸式學習環(huán)境中,以“牛頓運動定律”和“動摩擦系數(shù)”作為典型教學案例,以期加強學生對物理知識的理解和運用。
牛頓運動定律案例中涉及的概念知識包括牛頓第二定律和牛頓第三定律。牛頓第二定律給出加速度和力之間的關系,即一定質量的物體的加速度與外力成比例。牛頓第三定律說明作用力和反作用力之間的關系,即它們大小相等、方向相反,作用在同一物體上。動摩擦系數(shù)案例中涉及的知識包括:斜面上物體同時受到重力、彈力和摩擦力的合力影響;彈力方向與物體的變形方向相反;滑動摩擦力方向與相對運動或趨勢的方向相反,其大小與動摩擦系數(shù)和正壓力成正比,其中,動摩擦系數(shù)只與接觸表面的材料和粗糙度有關。
(二)支持力反饋的VR虛擬實驗場景設計
本研究設計開發(fā)了一套支持力反饋的VR沉浸式物理學習系統(tǒng),具體設計思路見表1。
依據(jù)教學案例,設計開發(fā)牛頓運動定律和動摩擦系數(shù)兩個虛擬實驗場景。學生可通過Geomagic Touch設備的操縱桿感受三種力的存在,包括重力、彈力和摩擦力。
1. 牛頓運動定律虛擬實驗場景
首先,學習者通過操縱桿將紅色小球提起,順著軌道放入大炮內。其次,通過操縱桿拉動左下方綠色的彈簧拉力器,根據(jù)拉動力的大小,大炮會對小球施加對應大小的力,使其飛出炮口作拋物線運動;同時,大炮也會因受到反作用力后退,推動懸掛指針旋轉。大炮對小球施加力有多大,受到的反作用力就多大。小球受到力越大,則加速度越大,獲得初速度就越大,因此,飛出炮口速度和距離就越遠。借助力反饋,可以加深學習者對牛頓第二、第三定律的理解。
2. 動摩擦系數(shù)虛擬實驗場景
學習者通過操縱桿按壓斜面感受彈力和摩擦力的存在,同時,通過操縱桿移動長方體塊使其從斜面上滑下。三個斜面的大小、傾角相同,但滑動摩擦系數(shù)不同。學習者通過力反饋設備操縱桿移動長方體塊,并通過觀察其下滑的速度和距離來感受不同摩擦系數(shù)帶來的影響。
3. 力反饋設計
學習者通過移動小球、滑塊以及拉動彈簧拉桿等操作,真實模擬實際操作過程。系統(tǒng)使用力反饋設備Geomagic Touch,基于其提供的OpenHaptics工具包,通過操縱桿與學習者進行交互,將反饋力作用于學習者,使其產生感受力覺,并隨時改變操作策略。基于預先設定的重力和摩擦系數(shù),系統(tǒng)將實時計算的反饋力通過力反饋設備傳遞作用到學習者。
四、準實驗設計與實施
(一)問題提出與研究假設
假設1:VR物理實驗教學中合適的力反饋設計可以增強學生在虛擬環(huán)境中的存在感。
假設2:VR物理實驗教學中合適的力反饋設計可以提高學生的交互效率。
假設3:VR物理實驗教學中合適的力反饋設計能讓學習者產生顯著的知識增益。
(二)研究對象與實驗設備
招募38名大學本科生(24名女性和14名男性,平均年齡為19.9歲),并隨機分配到實驗(力覺)組和對照(無力覺)組,每組學生分別有19人。兩組都使用操縱桿交互,但實驗組與模型互動時啟用力反饋,而對照組則不會啟用力反饋。所有學生都自愿參加本研究,并且具備相似的教育背景。
實驗設備包括:電腦(CPU Intel CoreTM i7-10875H,16GB內存,NVIDIA GeForce RTXTM 2080顯卡和1TB SSD硬盤)、VR設備(HTC Vive)、力反饋設備(Geomagic Touch)。為了評估該系統(tǒng)的有效性,進行了基于用戶的評價實驗。
(三)實驗流程
首先,收集學生的人口統(tǒng)計學信息,以及先前使用VR設備和力反饋設備的經驗。隨后,進行相關物理概念知識的前測。在正式實驗之前,讓每個學生練習如何使用這些設備,并觀看介紹整個交互任務的演示視頻。實驗組和對照組與模型進行互動,完成同樣任務。共有兩個任務:(1)在牛頓運動定律案例中,首先,沿著軌道拾取小紅球并投入炮口;然后,拉動彈簧拉力器,使小球射出大炮。該過程是一次完整交互,要求每個學生成功完成兩次。(2)在動摩擦系數(shù)案例中,首先,要求用操縱桿觸摸三種不同材料的斜面,感受彈力和摩擦力(木頭>石英>玻璃);其次,控制滑塊從三個斜坡上滑下,感受不同動摩擦系數(shù)下的滑行速度差異。
以錄屏方式記錄參與者在交互任務期間與模型的交互行為,并分析其交互準確率及任務完成時間等任務績效。在完成正式實驗的學習任務之后,次日對學生進行知識后測,以避免即時記憶。所有調查問卷通過問卷星發(fā)放,學生通過掃描二維碼填寫調查問卷。交互數(shù)據(jù)在軟件幫助下收集。
(四)測量指標
為了評估力反饋學習效果的有效性,采用概念知識前后測以及存在感問卷進行評估。
1. 知識前后測
在中學物理教師的指導下,知識前測和后測問卷題項均選自真實和經典的初中物理試題,二者均包含5個涉及牛頓第三定律知識點的題項,2個涉及牛頓第二定律知識點的題項,3個涉及摩擦力知識點的題項。每個題項所考察的知識點與力反饋學習任務緊密相關,以衡量參與者的知識掌握情況。前測和后測問卷題項所考察的知識點完全相同,但其文字敘述方式不一致,后測題項還考慮到知識點的遷移,與現(xiàn)實生活中的現(xiàn)象聯(lián)系更加緊密,同時盡可能與前測題項的難度保持一致。
2. 存在感問卷
Witmer和Singer首次使用問卷確定虛擬環(huán)境中的存在感,將其描述為控制、感覺、分心和現(xiàn)實主義四個因素,其問卷被廣泛用于評估各類虛擬系統(tǒng)中的存在感,有效性得到多方驗證[39]。后來Hite等人改編Witmer和Singer的問卷,將其用于評估使用3D、觸覺交互的VR教學系統(tǒng)[40]。本研究采用Hite等的問卷,從原本包含62個6點Likert量表題項的問卷中,保留關于“力覺感知”相關題項,刪減其他題項后形成“存在感”問卷——包含33個6點李克特量表題項(1~6對應強烈不贊同到強烈贊同,部分題項進行反向設計),旨在記錄參與者對控制、感覺、分心和現(xiàn)實主義四個方面的感知,見表2,以評估實驗組和對照組在完成任務期間的存在感。
(五)數(shù)據(jù)分析
計算知識前后測得分和、調查問卷的平均分和標準差。為了比較力反饋對學生物理概念知識增益的有效性,進行配對t檢驗,以評估平均結果差異的統(tǒng)計意義。此外,進行Mann-Whitney's U檢驗(雙尾,α=0.05)以確定各組在存在感調查問卷和交互數(shù)據(jù)上的顯著性差異,并對問卷的每個子項進行可靠性驗證(Cronbach's alpha)。
共有38名學生完成實驗并填寫調查問卷表,使用SPSS 25對問卷調查數(shù)據(jù)進行分析。18名學生(47.4%)表示他們之前從未使用過VR設備,19名學生(50.0%)偶爾使用過VR設備,1名學生(2.6%)表示之前有豐富的VR使用經驗。同時,只有3名學生(7.9%)表示之前有一些使用力反饋設備的經驗,其余35名學生(92.1%)之前從未使用過力反饋設備。
對知識前后測得分進行配對t檢驗(見表3)。用后測的平均分減去前測的平均分作為兩組的知識增益。結果顯示,實驗組和對照組的知識增益分別為0.26和0.89。配對t檢驗表明,兩組學生的知識增益沒有統(tǒng)計學上的顯著差異。
用Mann-Whitney's U檢驗(雙尾,α=0.05)比較實驗組和對照組的存在感得分。為了確保數(shù)據(jù)的一致性,對8個條目進行反向評分。計算每組Cronbach's alpha以檢查其內部一致性。實驗組Cronbach's alpha在四個因素上分別為0.855、0.771、0.838和0.805,整體為0.918。對照組在四個因素上分別為0.832、0.901、0.879和0.777,整體為0.937。當值大于0.9時,其信度為優(yōu)秀。圖1顯示實驗組和對照組存在感四個因素的平均等級。結果表明,實驗組在每個因素上都得到更高的分數(shù)。
表4為實驗組和對照組存在感四個因素的得分差異。兩組之間的差異并不顯著。但“現(xiàn)實主義”因素的p值(p=0.020)表明,實驗組的“現(xiàn)實主義”因素得分明顯高于對照組。
表5為實驗組和對照組每個案例的交互時間和準確率。在兩個案例中,與對照組相比,實驗組的交互時間更短,準確率更高。交互時間越短,系統(tǒng)的可用性就越好,而準確率越高,系統(tǒng)就越有效。
表6為實驗組和對照組在交互時間和準確率方面的差異。實驗組和對照組在牛頓運動定律案例的交互時間和準確率上有顯著差異。然而,在動摩擦系數(shù)案例的交互時間和準確率方面,兩組之間沒有顯著差異。但兩組之間的總交互時間和準確率有顯著差異。
五、結果討論與啟示
本研究設計和開發(fā)了一個支持力反饋的VR物理實驗教學系統(tǒng),并探討了力反饋技術對學生學習效果、存在感和交互效率等的影響,為力反饋在VR教學中的應用提供了一定參考。研究結果表明,使用力反饋技術,學生的真實感和互動效率都得到了提高。
(一)結果討論
1. 力反饋技術應用在兩個案例中對“知識增益”并沒有產生顯著的積極作用
經訪談和分析得出可能的原因如下:一是疫情防控期間,由于很難在中學招募到被試,準實驗只能選取大學本科生作為被試。大部分學生對案例涉及的物理概念知識的先前掌握水平較高,這可能是影響學習效果的關鍵因素。所有學生在中學期間都曾學習過相關的物理基礎概念知識,雖然在實驗開始前存在不同程度的遺忘,但整體的先前知識水平仍然較高。二是系統(tǒng)存在抖動、操作范圍有限和硬件本身在操作過程中造成的定位器卡頓等問題,這可能會給學生帶來干擾。三是VR沉浸式學習系統(tǒng)本身的視覺沉浸感強,學生也可以通過觀察虛擬環(huán)境中發(fā)生的現(xiàn)象來獲得相關物理概念知識。
2. 動摩擦系數(shù)虛擬實驗中交互行為數(shù)據(jù)結果表明,交互時間和準確性在兩組之間沒有明顯差異
牛頓運動定律虛擬實驗中,在力反饋激活的情況下,學生完成任務的準確性明顯更高,可以表明系統(tǒng)的有效性。Sch?觟nborn等人的研究表明,激活力反饋后,最終模型之間的對接位置更加準確[29]。與沒有力反饋技術應用的虛擬環(huán)境相比,力覺模擬提供一個視覺之外的觸覺“空間”,它更多地被限制在模型的可達位置,從而節(jié)省控制模型移動的時間,減少錯誤移動的次數(shù)。但是動摩擦系數(shù)虛擬實驗中交互時間和準確性在兩組之間沒有明顯差異。Vélaz等人認為,力反饋組的學生實際完成任務的時間與視頻組的學生沒有明顯區(qū)別[41]。究其原因,在牛頓運動定律虛擬實驗中,力覺“空間”約束更加精確,而動摩擦系數(shù)虛擬實驗中則沒有提供太多的力覺“空間”約束。因此,在用力反饋技術設計學習任務時,應同時提供視覺以外的信息,輔助提升學習者的交互效率。
(二)對VR沉浸式學習研究與教學設計的啟示
1. 注重借助力反饋技術促進VR沉浸式學習體驗提升
根據(jù)存在感調查問卷結果,力反饋技術在增強現(xiàn)實主義感方面具有優(yōu)勢。由于使用相同的硬件界面進行交互,力反饋并不影響學生對虛擬環(huán)境的控制、感覺和分心三個因素上的感知。而現(xiàn)實主義因素指虛擬環(huán)境與真實世界的相似性和模擬的一致性[39]。力反饋模擬現(xiàn)實的物理場景,允許用戶使用觸覺設備獲得類似于真實世界的力覺感知,讓系統(tǒng)與真實世界更接近。研究表明,在虛擬環(huán)境中提供更好感官反饋會使學生對虛擬環(huán)境的感知更加真實[42]。實驗結果與Jones等人的研究結果一致,即力覺感知可提高學生對虛擬學習環(huán)境的真實感[43]。因此,對于目前一些沉浸體驗不佳的非觸覺虛擬現(xiàn)實教學系統(tǒng),可以適當考慮借助力反饋技術,及時、豐富的感官反饋將有利于提升學生的學習體驗。
2. 注重利用力反饋技術提高學習任務的合理性
Webb等人研究表明,關閉力反饋后,學生能夠通過視覺提示彌補力反饋的不足[44]。然而,Lontschar等人認為,簡單任務(如投擲重物)的力觸覺反饋給學生帶來更大壓力,需要合理設計任務和改進技術[45]。研究表明,互動不直觀可能會增加學生的認知負荷,降低其對任務的注意力,從而影響學習效果[45]。因此,在實際的物理實驗教學應用中,VR沉浸式學習系統(tǒng)的設計也同樣遵循“教無定法”的規(guī)律,應充分考量不同的學習受眾、學科背景下教學目標、受眾學情的差異化,從而在學習任務設計中更好地利用力反饋設備,兼顧學習者在學習效果、感知體驗、交互效率和認知負荷之間的平衡。
3. 注重提升VR沉浸式學習系統(tǒng)的智能性,提供學習腳手架
通過研究人員在實驗期間的觀察發(fā)現(xiàn),在沒有額外提示和強調的情況下,大多數(shù)學生只專注于完成交互任務而不是學習知識本身。系統(tǒng)帶來視覺和力覺上的刺激,讓學生的感官沉浸其中,如果缺少適切的“認知導航”協(xié)助充當學習腳手架的角色,學習者很容易忽略交互任務與概念知識之間的關系建構。系統(tǒng)可以通過增加一些提示線索和輔助手段來促進和強化知識建構,以更好地說明力和概念知識之間的關系[34]。同時應當注重提升VR沉浸式學習系統(tǒng)的智能性,例如:未來加入基于眼動數(shù)據(jù)的行為預測和知識地圖導航,可能對學習者的學習效果更有裨益。
六、結? ?語
本研究開發(fā)了支持力反饋的VR沉浸式學習系統(tǒng),通過準實驗探討力反饋技術在VR物理實驗教學中對學生的學習效果、存在感和交互效率的影響。準實驗結果表明,激活力反饋有助于增強學生在虛擬環(huán)境中的真實感,有助于學生定位可達的運動位置,從而更有效地完成移動模型的任務。但對大學生學習案例所涉及的物理知識增益沒有明顯的影響。通過數(shù)據(jù)分析與比對、訪談剖析等,探究了實驗假設中的關鍵因素和可能因素,并基于此進一步提出了對VR沉浸式學習研究與教學設計的幾點啟示。
未來,將持續(xù)在VR沉浸式學習與人機交互式學習方向開展實證研究,并在被試選擇及樣本量、學習時間、場景設計、技術精度等方面進一步優(yōu)化,同時,充分參照建構主義、具身認知、認知負荷和最近發(fā)展區(qū)等理論,設計個性化的學習任務集和合理的視聽覺線索提示、空間約束等輔助手段,幫助學生在高質量的沉浸式學習體驗中實現(xiàn)高效率協(xié)同知識建構。
[參考文獻]
[1] 羅秋芳. 高中物理實驗教學的思考與探索[J]. 物理教師,2015,36(8):32-35.
[2] 黃曉,項于晴,汪曉東. 聚焦新課標與新教材把握高中物理實驗教學方向[J]. 物理實驗,2023,43(3):50-56.
[3] YANG K Y, HEH J S. The impact of internet virtual physics laboratory instruction on the achievement in physics, science process skills and computer attitudes of 10th-grade students [J]. Journal of science education and technology, 2007, 16 (5):451-461.
[4] 李春密,俞曉明,鄭少山. 中學物理實驗教學研究[M]. 北京: 北京師范大學出版社,2018.
[5] 趙一鳴,郝建江,王海燕,等. 虛擬現(xiàn)實技術教育應用研究演進的可視化分析[J]. 電化教育研究,2016,37(12):26-33.
[6] 羅恒,馮秦娜,李格格,等. 虛擬現(xiàn)實技術應用于基礎教育的研究綜述(2000—2019年)[J]. 電化教育研究,2021,42(5):77-85.
[7] 孫春艷. 基于VR技術物理實驗教學策略分析[J]. 科技視界,2022(12):11-13.
[8] 沈陽,逯行,曾海軍. 虛擬現(xiàn)實:教育技術發(fā)展的新篇章——訪中國工程院院士趙沁平教授[J]. 電化教育研究,2020,41(1):5-9.
[9] THEMELIS C, SIME J A. From video-conferencing to holoportation and haptics: how emerging technologies can enhance presence in online education? [M]// YU S, ALLY M,? TSINAKOS A. Emerging technologies and pedagogies in the curriculum. Singapore: Springer, 2020:261-276.
[10] 韓奇.基于VR的初中物理虛擬實驗室設計[J].中國教育技術裝備,2020(9):29-31.
[11] PARONG J, MAYER R E. Learning science in immersive virtual reality[J]. Journal of educational psychology, 2018,110(6):785-797.
[12] MANDAL S. Brief introduction of virtual reality & its challenges[J]. International journal of scientific & engineering research, 2013, 4(4):304-309.
[13] FREINA L, OTT M. A literature review on immersive virtual reality in education: state of the art and perspectives[C]// The 11th International Scientifc Conference Elearning and Software for Education(eLSE). Bucharest, Romania:ADL Romania, 2015:133-141.
[14] 何聚厚,梁瑞娜,肖鑫,等. 基于沉浸式虛擬現(xiàn)實系統(tǒng)的學習評價指標體系設計[J]. 電化教育研究,2018,39(3):75-81.
[15] 鄭珂,李新暉. 基于VR的初中物理仿真實驗案例設計與研究[J]. 中國教育技術裝備,2020(15):111-114.
[16] 李偉,蔡燃,宋偉. 虛擬仿真實驗在中學物理教學的應用實例:以《歐姆定律》課程為例[J]. 中國教育信息化,2021(24):35-39.
[17] GEORGIOU Y, TSIVITANIDOU O, IOANNOU A. Learning experience design with immersive virtual reality in physics education[J]. Educational technology research and development, 2021, 69(6):3051-3080.
[18] 周世杰,吉家成,王華. 虛擬仿真實驗教學中心建設與實踐[J]. 計算機教育,2015(9):5-11.
[19] HEW K F, CHEUNG W S. Use of three-dimensional (3-D) immersive virtual worlds in K-12 and higher education settings: a review of the research[J]. British journal of educational technology, 2010, 41(1):33-55.
[20] SANFILIPPO F, BLAZAUSKAS T, SALVIETTI G, et al. A perspective review on integrating VR/AR with haptics into stem education for multi-sensory learning[J]. Robotics, 2022,11(2):41-61.
[21] 沈夏林,楊葉婷.空間圖式:沉浸式虛擬現(xiàn)實促進地理空間認知[J].電化教育研究,2020,41(5):96-103.
[22] WILSON M. Six views of embodied cognition[J]. Psychonomic bulletin & review, 2002,9(4):625-636.
[23] 阿巖松,高志軍. VR在初中物理實驗的設計與應用研究——以初中物理凹透鏡成像原理為例[J].信息技術與信息化,2018(8):126-129.
[24] HAN I, BLACK J B. Incorporating haptic feedback in simulation for learning physics[J]. Computers & education, 2011,57(4):2281-2290.
[25] MINAKER G, SCHNEIDER O, DAVIS R, et al. HandsOn: enabling embodied, creative STEM e-learning with programming-free force feedback[C]//Haptics: perception, devices, control, and applications. London, UK:Springer,2016:427-437.
[26] MASSIE T H, SALISBURY J K. The phantom haptic interface: a device for probing virtual objects[C]//Dynamic systems and control division. New York, USA:IEEE, 1994:295-300.
[27] 王黨校,焦健,張玉茹,等.計算機觸覺:虛擬現(xiàn)實環(huán)境的力觸覺建模和生成[J].計算機輔助設計與圖形學學報,2016,28(6):881-895.
[28] RUDOLPH M. Cognitive theory of multimedia learning[J]. Journal of online higher education, 2017,1(2):1-10.
[29] SCH?魻NBORN K J,BIVALL P,TIBELL L A E. Exploring relationships between students' interaction and learning with a haptic virtual biomolecular model[J]. Computers & education, 2011,57(3):2095-2105.
[30] HITE R L. Perceptions of virtual presence in 3-D, haptic-enabled, virtual reality science instruction[D]. North Carolina, USA:North Carolina State University, 2016.
[31] 沈陽,王兆雪,潘俊君,等. 虛擬現(xiàn)實學習環(huán)境下力反饋交互促進技能習得的實驗研究[J]. 電化教育研究,2021,42(9):76-83.
[32] 翟雪松,孫玉璉,沈陽,等. “虛擬現(xiàn)實+觸覺反饋”對學習效率的促進機制研究——基于2010—2021年的元分析[J]. 遠程教育雜志,2021,39(5):24-33.
[33] CIVELEK T, UCAR E, USTUNEL H, et al. Effects of a haptic augmented simulation on K-12 students' achievement and their attitudes towards physics[J]. Eurasia journal of mathematics, science and technology education, 2014,10(6):565-574.
[34] NERI L, NOGUEZ J, ROBLEDO-RELLA V, et al. Teaching classical mechanics concepts using visuo-haptic simulators[J]. Journal of educational technology & society, 2018,21(2):85-97.
[35] MAGANA A J, SERRANO M I, REBELLO N S. A sequenced multimodal learning approach to support students' development of conceptual learning[J]. Journal of computer assisted learning, 2019,35(4):516-528.
[36] YUKSEL T, WALSH Y, MAGANA A J, et al. Visuohaptic experiments: exploring the effects of visual and haptic feedback on students' learning of friction concepts[J]. Computer applications in engineering education, 2019,27(6):1376-1401.
[37] 鄭明鈺,李家和,張晗,等. 持力反饋的VR物理實驗教學環(huán)境的構建[J].圖學學報,2021,42(1):79-86.
[38] ZHANG W, MA W, BRANDAO M, et al. Biometric validation of a virtual reality-based psychomotor test for motor skill training[J]. Assistive technology, 2016,28(4):233-241.
[39] WITMER B G, SINGER M J. Measuring presence in virtual environments: a presence questionnaire[J]. Presence, 1998,7(3):225-240.
[40] HITE R L, JONES M G, CHILDERS G M, et al. Investigating potential relationships between adolescents' cognitive development and perceptions of presence in 3-D, haptic-enabled, virtual reality science instruction[J]. Journal of science education and technology, 2019,28(3):265-284.
[41] V?魪LAZ Y, ARCE J R, GUTI?魪RREZ T, et al. The influence of interaction technology on the learning of assembly tasks using virtual reality[J]. Journal of computing and information science in engineering, 2014,14(4):41007-41016.
[42] STEUER J. Defining virtual reality: dimensions determining telepresence[J]. Journal of communication, 1992,42(4):73-93.
[43] JONES M G, HITE R, CHILDERS G, et al. of presence in 3-D, haptic-enabled, virtual reality instruction[J]. International journal of education and information technologies,2016,10(1):73-81.
[44] WEBB M, TRACEY M, HARWIN W, et al. Haptic-enabled collaborative learning in virtual reality for schools[J]. Education and information technologies, 2022,27(1):937-960.
[45] LONTSCHAR S, DEEGAN D, HUMER I, et al. Analysis of haptic feedback and its influences in virtual reality learning environments[C]//2020 6th International Conference of the Immersive Learning Research Network (iLRN). California, USA: IEEE, 2020:171-177.
Research on Human-Computer Interaction Technology in
Virtual Reality Immersive Learning
—A Case of K12 Physics Experiment Teaching
SHEN Yang1,? JI Hailin2,? YE Xinyi2,? MENG Qifan2,? LUO Yanlin2
(1.Collaborative Innovation Center of Assessment for Basic Education Quality, Beijing Normal University, Beijing 100875; 2.School of Artificial Intelligence, Beijing Normal University, Beijing 100875)
[Abstract] Traditional physics experiment teaching suffers from dilemmas such as limited experimental equipment, boring teaching content and insufficient participation of students. Immersive learning based on virtual reality technology (hereinafter referred to as VR) takes students as the main body, provides immersive, interactive and reusable learning experience, and can well break through the bottleneck of the current traditional experiment teaching. Aiming at the common problems such as lack of presence and limited interactive experience in current virtual learning environments, this study focuses on the application of human-computer interaction technology in immersive learning and the impact of the learners' force/tactile experience on experimental learning results. The force feedback in VR interactive technology is introduced into the design of K12 physics experiment teaching scenarios, and the application effect of force feedback in immersive learning is evaluated through quasi-experiment. The results show that in VR immersive learning, the use of force feedback technology can significantly improve the learners' sense of reality and interaction efficiency, but has no significant effect on knowledge gain. Based on the discussion, this study provides references for in-depth exploration of human-computer interaction design in immersive learning, the application of force feedback in teaching scenarios such as science education, and the development of appropriate strategies.
[Keywords] Virtual Reality; Immersive Learning; Human-Computer Interaction; Force Feedback Technology; Physics Experiment Teaching