陸吉健 周美美 張 霞 何晚晴 張明敏

（1.杭州師范大學(xué) 經(jīng)亨頤教育學(xué)院，浙江杭州 311121；2.杭州師范大學(xué) 物理學(xué)院，浙江杭州 311121；3.浙江大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江杭州 310012）

一、問(wèn)題的提出

在新一代智能技術(shù)的影響與支持下，對(duì)當(dāng)下學(xué)習(xí)者學(xué)習(xí)過(guò)程的研究，已經(jīng)從原先的較為單一模態(tài)的觀察與因果分析，進(jìn)入到多感官交互數(shù)據(jù)的采集、清洗與分析階段，并借助于計(jì)算機(jī)視覺(jué)、傳感器、深度學(xué)習(xí)建模與學(xué)習(xí)分析等技術(shù)，能夠通過(guò)學(xué)習(xí)者的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)等感官系統(tǒng)與學(xué)習(xí)空間/環(huán)境的交互等多重?cái)?shù)據(jù)，從而建構(gòu)起對(duì)學(xué)習(xí)者信息的精準(zhǔn)、完整的理解[1]。

近年來(lái)，新技術(shù)的不斷革新與應(yīng)用，正帶來(lái)學(xué)習(xí)空間、學(xué)習(xí)場(chǎng)所的重構(gòu)與融合，其中以虛擬現(xiàn)實(shí)技術(shù)、仿真技術(shù)、傳感技術(shù)、3D打印技術(shù)等為代表。尤其是混合現(xiàn)實(shí)（Mixed Reality，MR）等技術(shù)在教學(xué)中的廣泛應(yīng)用，開(kāi)啟了課堂教學(xué)新一輪的交互式革命[2]。當(dāng)前，很多中小學(xué)也已經(jīng)結(jié)合智慧學(xué)習(xí)空間、智能學(xué)習(xí)平臺(tái)和智能課堂軟硬件等，開(kāi)展人機(jī)協(xié)同課堂教學(xué)的探索[3]。新技術(shù)、新場(chǎng)所、新體驗(yàn)，正共同構(gòu)建起一種全新的“多模態(tài)＋人機(jī)協(xié)同”教學(xué)方式。

根據(jù)現(xiàn)有文獻(xiàn)，目前中小學(xué)課堂中應(yīng)用虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）進(jìn)行學(xué)科教學(xué)的探索已經(jīng)很多，但基于 MR開(kāi)展實(shí)驗(yàn)教學(xué)，同時(shí)聚焦視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等多模態(tài)數(shù)據(jù)表征，從而建構(gòu)“多模態(tài)+人機(jī)協(xié)同”新教學(xué)方式的研究還比較稀缺。我們認(rèn)為，這種研究更加有利于借助多維數(shù)據(jù)，來(lái)精確感知學(xué)習(xí)過(guò)程，能更加深入地理解與分析學(xué)習(xí)者[4]，為學(xué)習(xí)發(fā)生機(jī)理的探索提供新的視角。與此同時(shí)，還有利于將學(xué)習(xí)者分析的重心由行為、互動(dòng)、結(jié)果等外部因素，逐漸趨向關(guān)注學(xué)習(xí)者大腦認(rèn)知、情感體驗(yàn)、創(chuàng)新性思維能力等內(nèi)部因素[5]。

那么，基于課堂MR實(shí)驗(yàn)的“多模態(tài)+人機(jī)協(xié)同”教學(xué)，具有怎樣的交互形式及其數(shù)據(jù)特征？對(duì)于一線教師來(lái)說(shuō)，該如何開(kāi)展和評(píng)價(jià)？“多模態(tài)+人機(jī)協(xié)同”教學(xué)的未來(lái)發(fā)展趨勢(shì)又將會(huì)是怎樣的？針對(duì)這些問(wèn)題，本研究基于課堂MR 準(zhǔn)實(shí)驗(yàn)，具體闡述并展示了面向MR實(shí)驗(yàn)的“多模態(tài)+人機(jī)協(xié)同”的內(nèi)涵與過(guò)程，并初步構(gòu)建“多模態(tài)+人機(jī)協(xié)同”的教學(xué)方式，以期為后續(xù)相關(guān)研究提供一些借鑒。

二、“多模態(tài)+人機(jī)協(xié)同”教學(xué)研究

（一）多模態(tài)教學(xué)研究

多模態(tài)教學(xué)是21世紀(jì)初提出的概念，它是20世紀(jì)80-90年代多媒體教學(xué)的一種迭代，是大數(shù)據(jù)+智能技術(shù)的產(chǎn)物。其強(qiáng)調(diào)智能技術(shù)融入教學(xué)過(guò)程中多模態(tài)信息的作用，即多模態(tài)能夠使感覺(jué)信息進(jìn)入到多樣的符號(hào)編碼中，并且提供了通過(guò)不同途徑理解信息的機(jī)會(huì)[6]。例如，視覺(jué)媒介和語(yǔ)言媒介不是簡(jiǎn)單代表相同事物的替代方式，而是共同作用于信息傳遞的過(guò)程中[7]。多模態(tài)不但以不同的方式傳遞信息，而且兼具這些不同呈現(xiàn)方式的交互性。在研究多模態(tài)教學(xué)之前，很多學(xué)者已經(jīng)對(duì)多媒體教學(xué)進(jìn)行了大量的研究，如，闞士剛利用多媒體教學(xué)把數(shù)形結(jié)合思想融入在初中數(shù)學(xué)教學(xué)中，并進(jìn)行了實(shí)驗(yàn)研究[8]；孟紅在小學(xué)數(shù)學(xué)課堂中為引入投影提供了新的方式[9]?？梢?jiàn)，為了豐富課堂教學(xué)內(nèi)容、提升課堂教學(xué)效率，教師運(yùn)用多媒體教學(xué)設(shè)備，將這些信息資源進(jìn)行整合和規(guī)劃，制作成詳細(xì)的教學(xué)材料、課件等，供學(xué)生查閱、學(xué)習(xí)，促進(jìn)了信息技術(shù)融入課堂后教學(xué)效率的提高，并促使教師教學(xué)水平的提升。

近年來(lái)，隨著人工智能（AI）+信息技術(shù)的不斷發(fā)展與大量應(yīng)用，多模態(tài)教學(xué)已廣泛應(yīng)用于各類學(xué)校教育當(dāng)中。所謂多模態(tài)教學(xué)，是指教師在課堂教學(xué)中運(yùn)用教材、數(shù)字化教學(xué)資源以及通過(guò)傳感、智能視頻、電腦顯示器等所呈現(xiàn)的視覺(jué)的、語(yǔ)言的和其它模態(tài)信息，來(lái)分析與幫助學(xué)生的發(fā)展，提高其信息獲取等素養(yǎng)[10]。模態(tài)本身是一種客觀存在的、可表征的符號(hào)系統(tǒng)，例如，人的聲音、表情、手勢(shì)等[11]，以及設(shè)備產(chǎn)生的聲音、影像等。克雷斯（G.Kress）等人將“多模態(tài)”定義為是“借助至少兩種以上符號(hào)模態(tài)的使用，以促進(jìn)人類感官與外界環(huán)境發(fā)生交互的符號(hào)系統(tǒng)產(chǎn)生[12]”。目前，多模態(tài)教學(xué)研究所涉及的多模態(tài)信息，主要來(lái)源于教師多模態(tài)教學(xué)信息、基于教學(xué)設(shè)備的多模態(tài)輔助教學(xué)信息以及教師和教學(xué)設(shè)備之間的多模態(tài)混合教學(xué)信息這三類。

在教師多模態(tài)教學(xué)信息方面，主要是指將教師的聲音、表情、手勢(shì)、肢體動(dòng)作等，均視為教師的教學(xué)行為話語(yǔ)。例如，Royce 研究了不同符號(hào)在多模態(tài)話語(yǔ)中的互補(bǔ)性，以及在第二語(yǔ)言課堂教學(xué)中多模態(tài)的協(xié)同性等[13]。張德祿則更進(jìn)一步對(duì)比了不同外語(yǔ)教學(xué)的案例，探討在實(shí)際教學(xué)過(guò)程中，不同模態(tài)之間的相互協(xié)同、共同實(shí)現(xiàn)教學(xué)目標(biāo)的過(guò)程[14]。在教學(xué)設(shè)備的多模態(tài)輔助教學(xué)信息方面，目前則還主要是智能機(jī)器人輔助教學(xué)，也就是機(jī)器人與人之間通過(guò)文字、語(yǔ)音、動(dòng)作等進(jìn)行的教學(xué)交互[15]。在教師和教學(xué)設(shè)備之間的多模態(tài)混合教學(xué)信息方面，朱維特（C.Jewitt）就觀察了教師使用交互白板時(shí)，對(duì)節(jié)奏、多模態(tài)和互動(dòng)性的資源分配，分析了互動(dòng)白板語(yǔ)言設(shè)計(jì)和教學(xué)原則，探討課堂教學(xué)中多模態(tài)讀寫教學(xué)方法和現(xiàn)代信息技術(shù)之間的關(guān)系[16]。

（二）人機(jī)協(xié)同教學(xué)研究

人機(jī)協(xié)同教學(xué)，是近年來(lái)隨著“AI+教育”發(fā)展所提出的新概念，也是“AI+教育”應(yīng)用的必然結(jié)果。通常表現(xiàn)為通過(guò)師生和智能設(shè)備的協(xié)同、交互等，來(lái)開(kāi)展各種教學(xué)活動(dòng)。人機(jī)協(xié)同教學(xué)，在廣義上指的是新型 “雙師課堂”的各要素在教與學(xué)的過(guò)程中，協(xié)調(diào)完成教學(xué)目標(biāo)，實(shí)現(xiàn)學(xué)習(xí)內(nèi)容、學(xué)習(xí)活動(dòng)、教學(xué)活動(dòng)與學(xué)習(xí)時(shí)空之間的互通與融合；在狹義上，則主要指教師與人工智能教育機(jī)器人在新型“雙師課堂”中的協(xié)作配合[17]。換言之，在人機(jī)協(xié)同教學(xué)中，“人”指教師、學(xué)生等多種類型的教育主體，“機(jī)”是指技術(shù)中的軟、硬件等相關(guān)設(shè)備。按照機(jī)器的軟硬件分類，其實(shí)還可以進(jìn)一步分類為軟件輔助下的人機(jī)協(xié)同教學(xué)、軟硬件混合輔助下的人機(jī)協(xié)同教學(xué)這兩類。后者的硬件部分，也會(huì)按照軟件來(lái)輔助開(kāi)展人機(jī)協(xié)同教學(xué)。

在軟件輔助下的人機(jī)協(xié)同教學(xué)方面，已有人機(jī)協(xié)同寫作教學(xué)和數(shù)學(xué)教學(xué)等研究，主要是師生和智能寫作評(píng)語(yǔ)平臺(tái)以及智能作業(yè)評(píng)閱平臺(tái)等的協(xié)同。在人機(jī)協(xié)同寫作教學(xué)方面，國(guó)外緣起于20世紀(jì) 60年代開(kāi)始的作文自動(dòng)化評(píng)閱研究[18]。近年來(lái)，黃濤等人進(jìn)一步將人機(jī)協(xié)同教學(xué)應(yīng)用于小學(xué)語(yǔ)文寫作當(dāng)中，通過(guò)人機(jī)合理分工，充分發(fā)揮智能機(jī)器便捷化采集與高性能計(jì)算優(yōu)勢(shì)，賦能學(xué)業(yè)數(shù)據(jù)智能診斷分析與推薦[19]。在人機(jī)協(xié)同數(shù)學(xué)教學(xué)方面，高瓊、陸吉健等建構(gòu)了包含教師智慧、機(jī)器智能、協(xié)同教學(xué)和學(xué)生智慧等要素的人機(jī)協(xié)同課堂教學(xué)模式，并結(jié)合智能作業(yè)評(píng)閱平臺(tái)和課堂師生情緒識(shí)別軟硬件等，開(kāi)展了初中數(shù)學(xué)教學(xué)的實(shí)踐探索[20]。在軟硬件混合輔助下的人機(jī)協(xié)同教學(xué)方面，人機(jī)協(xié)同教學(xué)的人工智能教育機(jī)器人，主要在精準(zhǔn)分析學(xué)生認(rèn)知和行為模式的基礎(chǔ)上，結(jié)合復(fù)雜情境與情緒識(shí)別，給學(xué)生提供個(gè)性化的指導(dǎo)，與教師協(xié)同完成課堂教學(xué)。比如，汪時(shí)沖等人研究了人工智能教育機(jī)器人支持下的“雙師課堂”模式，提出人工智能教育機(jī)器人作為課堂中的另一名“教師”，不僅需提供數(shù)據(jù)支持，還要承擔(dān)部分教學(xué)任務(wù)；而教師則著重開(kāi)展“育人”教學(xué)活動(dòng)，以培養(yǎng)和提升自己與學(xué)生“人機(jī)協(xié)同”的意識(shí)和能力[21]。

（三）“多模態(tài)+人機(jī)協(xié)同”教學(xué)研究

“多模態(tài)+人機(jī)協(xié)同”，意味著人和智能設(shè)備之間多模態(tài)信息的互動(dòng)與協(xié)同。而“多模態(tài)+人機(jī)協(xié)同”教學(xué)，它賦予了師生和智能設(shè)備在教學(xué)實(shí)踐中多模態(tài)信息的協(xié)同傳輸，從而提高教學(xué)的效率和效果。

一方面，我們從一般教學(xué)理論和實(shí)踐來(lái)審視，多模態(tài)教學(xué)領(lǐng)域中的教師和教學(xué)設(shè)備的多模態(tài)混合教學(xué)，以及軟硬件混合輔助下的人機(jī)協(xié)同教學(xué)，都已經(jīng)有研究涉及。比如，教師和教學(xué)設(shè)備的多模態(tài)混合教學(xué)，朱維特對(duì)教師使用交互白板的教學(xué)過(guò)程研究[22]，就是比較初級(jí)層面的“多模態(tài)+人機(jī)協(xié)同”教學(xué)。只是交互白板所呈現(xiàn)的人工智能技術(shù)還不夠成熟，互動(dòng)白板的功能也還不夠全面，因此，難以上升與提煉到“多模態(tài)+人機(jī)協(xié)同”教學(xué)概念的層面。隨著科學(xué)技術(shù)、人工智能在教育領(lǐng)域應(yīng)用研究的不斷發(fā)展，“多模態(tài)+人機(jī)協(xié)同”教學(xué)被賦予新的時(shí)代意蘊(yùn)和領(lǐng)域特征。當(dāng)下的“多模態(tài)+人機(jī)協(xié)同”教學(xué)，我們可以理解為是多模態(tài)教學(xué)和人機(jī)協(xié)同教學(xué)的交叉融合，它會(huì)隨著智能技術(shù)的發(fā)展而呈現(xiàn)越來(lái)越多的應(yīng)用場(chǎng)景。

另一方面，我們從人工智能和虛擬現(xiàn)實(shí)等技術(shù)所賦能的教育過(guò)程來(lái)審視。近年來(lái)，在“AI+教育”場(chǎng)域下，數(shù)智融合越來(lái)越成為實(shí)現(xiàn)精準(zhǔn)化教學(xué)、科學(xué)化評(píng)價(jià)教育的根本推動(dòng)力?；?AI、虛擬現(xiàn)實(shí)、傳感器、物聯(lián)網(wǎng)等技術(shù)，采集教學(xué)場(chǎng)所、學(xué)習(xí)空間中的學(xué)生學(xué)習(xí)數(shù)據(jù)等，越來(lái)越成為現(xiàn)實(shí)。所以，人機(jī)協(xié)同教學(xué)領(lǐng)域，也將逐漸趨向“多模態(tài)+人機(jī)協(xié)同”教學(xué)領(lǐng)域拓展。例如，在軟硬件混合輔助下的人機(jī)協(xié)同教學(xué)，汪時(shí)沖等人所研究的人工智能教育機(jī)器人支持下的“雙師課堂”構(gòu)建模式[23]，其實(shí)已是一種中級(jí)層次的“多模態(tài)+人機(jī)協(xié)同”教學(xué)。其所提出的人工智能教育機(jī)器人作為課堂中的另一名“教師”，承擔(dān)部分教學(xué)任務(wù)，就已經(jīng)包括了語(yǔ)音、圖像等多個(gè)模態(tài)的信息輸出；與此同時(shí)，該模式中也還有教師更加豐富的“育人”教學(xué)多模態(tài)信息輸出。因此可以說(shuō)，“多模態(tài)+人機(jī)協(xié)同”這種教學(xué)方式為教師和學(xué)生提供了新的選擇，從而在智能時(shí)代的場(chǎng)域中，有利于創(chuàng)客教育、虛擬現(xiàn)實(shí)教學(xué)以及雙師培訓(xùn)等方面的開(kāi)展與應(yīng)用。

三、MR 場(chǎng)域中的“多模態(tài)+人機(jī)協(xié)同”教學(xué)

所謂MR 場(chǎng)域，是隨著VR 和AR 技術(shù)不斷應(yīng)用于教學(xué)實(shí)踐后發(fā)展而來(lái)。即，MR 技術(shù)融入“多模態(tài)+人機(jī)協(xié)同”教學(xué)過(guò)程，它以心流+沉浸式教學(xué)、情境+具身認(rèn)知理論為基礎(chǔ)，以多模態(tài)信息的輸出和輸入、師生和MR 智能設(shè)備之間協(xié)同為特征的教學(xué)應(yīng)用環(huán)境，旨在提高教學(xué)效果，充分促進(jìn)學(xué)習(xí)者的發(fā)展。

（一）相關(guān)理論支撐

1.心流+沉浸式理論

心流理論是指人全身心投入某種活動(dòng)，并達(dá)到一種極致愉悅的心理狀態(tài)[24]。心流理論認(rèn)為，心流體驗(yàn)包括九個(gè)要素：清晰的目標(biāo)、及時(shí)的反饋、挑戰(zhàn)與技能的平衡、行為與意識(shí)的融合、意識(shí)中排除干擾、無(wú)懼失敗、自我意識(shí)的消失、忽略時(shí)間的流逝和專注于活動(dòng)本身價(jià)值[25]。即心流是個(gè)體在具體情境中挑戰(zhàn)與技能達(dá)到平衡時(shí)，所出現(xiàn)的最佳心理體驗(yàn)。由于情境是不斷發(fā)展變化的，即個(gè)體所從事活動(dòng)面臨的挑戰(zhàn)也會(huì)不斷變化，為了維持“心流狀態(tài)”，個(gè)體就必須不斷學(xué)習(xí)新的技能來(lái)應(yīng)對(duì)挑戰(zhàn)，這一過(guò)程會(huì)促進(jìn)個(gè)體的身心得到不斷的發(fā)展[26]。

沉浸式教學(xué)理論是指教育教學(xué)工作者在施教過(guò)程中，靈活地設(shè)計(jì)并運(yùn)用多種教學(xué)手段，激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣，使學(xué)習(xí)者進(jìn)入一種“沉浸體驗(yàn)”（也可以稱之為心流體驗(yàn)）的學(xué)習(xí)狀態(tài)，從而提高教與學(xué)的成效[27]。該理論在教育領(lǐng)域的具體應(yīng)用，起源于 20世紀(jì)60年代加拿大的多模態(tài)語(yǔ)言教學(xué)[28]。近年來(lái)，沉浸式教學(xué)理論隨著虛擬現(xiàn)實(shí)等技術(shù)的不斷發(fā)展與應(yīng)用，也逐步由一種單純的語(yǔ)言教學(xué)模式發(fā)展為具有更加廣泛適用性的教學(xué)模式。國(guó)內(nèi)有學(xué)者進(jìn)一步提出基于具身認(rèn)知的沉浸式教學(xué)[29]，即在智能技術(shù)支持下，以沉浸式理論為基礎(chǔ)，以具身認(rèn)知為驅(qū)動(dòng)，旨在提高學(xué)習(xí)質(zhì)量和教學(xué)效果，促進(jìn)學(xué)習(xí)者身心的整體發(fā)展。

2.情境+具身認(rèn)知理論

情境認(rèn)知理論的主張，與起源于 20世紀(jì) 60年代的“認(rèn)知革命”相比，反映了一種新的范式，被譽(yù)為“第二代認(rèn)知科學(xué)”[30]。情境認(rèn)知理論認(rèn)為，認(rèn)知過(guò)程是由情境建構(gòu)、指導(dǎo)和支持的，個(gè)體的心理通常在情境中進(jìn)行活動(dòng)[31]。情境可分為物質(zhì)或任務(wù)、環(huán)境或生態(tài)、社會(huì)或互動(dòng)等三個(gè)方面。與傳統(tǒng)的認(rèn)知觀點(diǎn)不同，情境認(rèn)知理論認(rèn)為，認(rèn)知是社會(huì)和寓身的（Embodied），認(rèn)知處于人類社會(huì)和由人構(gòu)建的情境之中，身體在認(rèn)知中具有現(xiàn)實(shí)的和理論的雙重意義；認(rèn)知也是具體和情境化的，物質(zhì)條件和環(huán)境對(duì)于認(rèn)知非常重要，人類的思維依賴于情境[32]。因此，借助MR場(chǎng)域來(lái)構(gòu)建不同情境，利用虛擬現(xiàn)實(shí)教育資源，可以讓學(xué)生身臨其境，通過(guò)感受不同情境下的學(xué)習(xí)內(nèi)容與探究氛圍，提升學(xué)生的感知與思維能力。

具身認(rèn)知認(rèn)為，身體既是認(rèn)知的途徑，又是認(rèn)知的來(lái)源，而且還參與認(rèn)知的互動(dòng)過(guò)程[33]。理化是以實(shí)驗(yàn)為基礎(chǔ)的科學(xué)，尤其是物理知識(shí)的學(xué)習(xí)，引導(dǎo)學(xué)生通過(guò)實(shí)驗(yàn)獲得感知體驗(yàn)、生成物理知識(shí)顯得尤為重要[34]。因此，借助 MR 場(chǎng)域來(lái)構(gòu)建深度交互的具身體驗(yàn)場(chǎng)景，精心設(shè)計(jì)教學(xué)過(guò)程與呈現(xiàn)多維空間資源，給予學(xué)生具身參與的機(jī)會(huì)，通過(guò)充分調(diào)用學(xué)生視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多通道，在真實(shí)的情境中獲得沉浸式的體驗(yàn)，可以大大提升多維度具身認(rèn)知的效果。

（二）MR 場(chǎng)域中“多模態(tài)+人機(jī)協(xié)同”教學(xué)的內(nèi)涵

正如前述，MR 場(chǎng)域中的“多模態(tài)+人機(jī)協(xié)同”教學(xué)，是在MR 虛實(shí)融合的環(huán)境下，為學(xué)習(xí)者提供人機(jī)交互、外部視頻追蹤等技術(shù)；同時(shí)，與現(xiàn)實(shí)環(huán)境、虛擬環(huán)境中的對(duì)象發(fā)生各種聯(lián)系，以形成視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多模態(tài)的交互反饋路徑。通過(guò)智能化的感知技術(shù)，動(dòng)態(tài)收集多模態(tài)交互數(shù)據(jù)并進(jìn)行數(shù)據(jù)融合與分析，形成過(guò)程性學(xué)習(xí)數(shù)據(jù)，以探究MR 環(huán)境中教學(xué)發(fā)生機(jī)理。其主要特點(diǎn)在于為學(xué)習(xí)者營(yíng)造了多維感知的教學(xué)空間，豐富其交互體驗(yàn)，加深對(duì)知識(shí)的理解。

因此，MR 場(chǎng)域中的“多模態(tài)+人機(jī)協(xié)同”教學(xué)，具有虛實(shí)融合、沉浸式、多通道等的特征。虛實(shí)融合特征指的是從現(xiàn)實(shí)環(huán)境和虛擬環(huán)境中感知學(xué)習(xí)對(duì)象，同時(shí)，現(xiàn)實(shí)對(duì)象可以“添加”到虛擬環(huán)境中；虛擬環(huán)境中的對(duì)象，亦可以借助可視化設(shè)備呈現(xiàn)在現(xiàn)實(shí)環(huán)境中。沉浸式主要指MR 場(chǎng)域中的“多模態(tài)+人機(jī)協(xié)同”教學(xué)的交互自然性，能夠通過(guò)智能技術(shù)設(shè)備實(shí)現(xiàn)不同場(chǎng)景間的深度交互，提升學(xué)習(xí)者的操作真實(shí)感、沉浸感。多通道特征主要指學(xué)習(xí)過(guò)程中同一知識(shí)點(diǎn)可以借助不同類型資源予以呈現(xiàn)，帶來(lái)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等全方位的感官體驗(yàn)，形成學(xué)習(xí)者對(duì)知識(shí)的深度理解。

（三）MR 場(chǎng)域中“多模態(tài)+人機(jī)協(xié)同”教學(xué)的交互特征

由上論述我們認(rèn)為，MR 場(chǎng)域中“多模態(tài)+人機(jī)協(xié)同”教學(xué)的交互特征，主要是虛實(shí)融合、多模態(tài)和人機(jī)協(xié)同這三方面。在虛實(shí)融合交互特征的MR 場(chǎng)域中，“多模態(tài)+人機(jī)協(xié)同”教學(xué)的交互增加了部分教學(xué)實(shí)體交互，從而也為多模態(tài)和人機(jī)協(xié)同提供了進(jìn)一步的驗(yàn)證基礎(chǔ)。同時(shí)，結(jié)合項(xiàng)目式教學(xué)、適應(yīng)性反饋等形式，還可以為同一空間內(nèi)的學(xué)習(xí)者提供不同類型的資源。比如，在同一物理空間中，學(xué)習(xí)者借助視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等同時(shí)接收虛擬和真實(shí)空間中的不同信息傳輸，從而滿足學(xué)生個(gè)性化學(xué)習(xí)的需求。

在多模態(tài)交互特征方面，旨在驅(qū)動(dòng)并實(shí)現(xiàn)“視—聽(tīng)—觸”多模態(tài)通道的融合，從而讓學(xué)習(xí)者有身臨其境的真實(shí)感受，獲得積極的心流體驗(yàn)。與此同時(shí)，MR場(chǎng)域中的多模態(tài)教學(xué)，其數(shù)據(jù)表征亦是多模態(tài)的，輸入時(shí)通過(guò)圖文、視頻、動(dòng)畫、語(yǔ)音等形式，支持學(xué)生多維信息的獲取以促進(jìn)知識(shí)內(nèi)化；輸出時(shí)也可以借助信息采集設(shè)備，收集文本、音頻、生理等不同表征的形式數(shù)據(jù)，通過(guò)多模態(tài)數(shù)據(jù)的融合與分析，以全面了解學(xué)習(xí)過(guò)程的動(dòng)態(tài)變化與特征。

在人機(jī)協(xié)同交互特征方面，則主要表現(xiàn)在多模態(tài)人機(jī)協(xié)同學(xué)習(xí)空間的交互多樣化，由師生和智能設(shè)備開(kāi)展所在學(xué)習(xí)空間范圍內(nèi)的協(xié)同互動(dòng)，并將多模態(tài)人機(jī)協(xié)同信息及時(shí)聯(lián)通到教師和智能設(shè)備，從而通過(guò)教師和智能設(shè)備來(lái)進(jìn)行多模態(tài)的人機(jī)協(xié)同數(shù)據(jù)表征。智能設(shè)備技術(shù)的介入，能夠?yàn)榻虒W(xué)過(guò)程的數(shù)據(jù)收集、整理分析提供支撐，助力教師實(shí)現(xiàn)實(shí)時(shí)反饋與交互。借助于多模態(tài)學(xué)習(xí)分析技術(shù)，目前的智能設(shè)備不但能夠收集和整理視頻、語(yǔ)音、文本等交互數(shù)據(jù)，還能收集和整理學(xué)習(xí)者行為、甚至生理和心理等層面的數(shù)據(jù)。

因此，本研究通過(guò)多模態(tài)人機(jī)協(xié)同空間交互、多模態(tài)人機(jī)協(xié)同信息感知、多模態(tài)人機(jī)協(xié)同數(shù)據(jù)表征、數(shù)據(jù)表征促進(jìn)交互優(yōu)化等四個(gè)階段，構(gòu)建了如圖1所示的MR 場(chǎng)域中“多模態(tài)+人機(jī)協(xié)同”教學(xué)交互方式及伴隨的數(shù)據(jù)特征。

四、MR 場(chǎng)域中的“多模態(tài)+人機(jī)協(xié)同”教學(xué)方式

（一）教學(xué)方式的建構(gòu)

MR 場(chǎng)域中的“多模態(tài)+人機(jī)協(xié)同”教學(xué)方式，主要基于心流+沉浸式教學(xué)和情境+具身認(rèn)知等理論，結(jié)合MR 場(chǎng)域中的多模態(tài)交互特征，它包含多模態(tài)情境導(dǎo)學(xué)、MR 多模態(tài)智能診學(xué)、MR 多模態(tài)人機(jī)助學(xué)和多模態(tài)精準(zhǔn)評(píng)學(xué)四個(gè)環(huán)節(jié)。在每個(gè)環(huán)節(jié)中，師生都以學(xué)習(xí)共同體的形式參與學(xué)習(xí)。而在具體實(shí)施過(guò)程中，則可根據(jù)教學(xué)的具體需求，自主靈活地整合各個(gè)環(huán)節(jié)，具體如圖2所示。

（二）教學(xué)過(guò)程及評(píng)價(jià)

1.多模態(tài)情境導(dǎo)學(xué)

多模態(tài)情境導(dǎo)學(xué)，表現(xiàn)在基于情境認(rèn)知理論，在開(kāi)始MR 教學(xué)之前，由教師根據(jù)教學(xué)目標(biāo)、教學(xué)重難點(diǎn)及學(xué)生學(xué)情等情況與信息，進(jìn)行面向MR 教學(xué)環(huán)境的多模態(tài)情境教學(xué)創(chuàng)意設(shè)計(jì)。該設(shè)計(jì)不僅需要最大程度地吸引學(xué)生的注意力，從而有效激發(fā)學(xué)生的學(xué)習(xí)興趣；而且還需注重培養(yǎng)學(xué)生的實(shí)際操作能力與思辨能力，并幫助學(xué)生在實(shí)驗(yàn)過(guò)程中完成學(xué)科知識(shí)的內(nèi)化以及實(shí)驗(yàn)操作的優(yōu)化[35]。因此，面向MR 教學(xué)環(huán)境的多模態(tài)情境教學(xué)的創(chuàng)意設(shè)計(jì)，需要教師有效利用MR 教學(xué)系統(tǒng)的顯示屏以及附屬的操作系統(tǒng)，熟練操控導(dǎo)入創(chuàng)意情境的視頻和語(yǔ)音等交互過(guò)程。

2.MR 多模態(tài)智能診學(xué)

MR 多模態(tài)智能診學(xué)，則是基于心流+沉浸式教學(xué)理論，在開(kāi)始教學(xué)前，由教師對(duì)所診斷任務(wù)進(jìn)行個(gè)性化的設(shè)計(jì)，再對(duì)學(xué)生的動(dòng)態(tài)學(xué)習(xí)情況進(jìn)行多模態(tài)的診斷分析，以便教學(xué)中為使用MR 學(xué)習(xí)、實(shí)現(xiàn)更加有效的心流和沉浸體驗(yàn)做好準(zhǔn)備。在多模態(tài)診斷方面，主要利用MR 系統(tǒng)的顯示屏，配合MR 套件的各個(gè)組成部分，來(lái)進(jìn)行諸如MR實(shí)驗(yàn)等操作前的學(xué)習(xí)診斷。診斷結(jié)果可分為兩部分：班級(jí)診斷共性結(jié)果以及學(xué)生及其小組的個(gè)性化結(jié)果。其班級(jí)診斷共性結(jié)果，則可以由MR 智能系統(tǒng)來(lái)完成；學(xué)生及其小組的個(gè)性化結(jié)果，則可以由教師結(jié)合具體情況來(lái)進(jìn)行個(gè)性化診斷。

3.MR 多模態(tài)人機(jī)助學(xué)

MR 多模態(tài)人機(jī)助學(xué)環(huán)節(jié)，則是基于具身認(rèn)知理論，由MR 智能后臺(tái)所儲(chǔ)備的大量、可供學(xué)生自主學(xué)習(xí)探索所用的資源庫(kù)，結(jié)合以往學(xué)習(xí)數(shù)據(jù)資料，為學(xué)生推薦匹配具身體驗(yàn)的學(xué)習(xí)資源，以充分調(diào)動(dòng)學(xué)生的主動(dòng)學(xué)習(xí)興趣。學(xué)生亦可以結(jié)合實(shí)際的學(xué)習(xí)情況，在學(xué)習(xí)過(guò)程中選擇不同層次的學(xué)習(xí)任務(wù)及提示性線索，以滿足個(gè)體的學(xué)習(xí)需求。教師則充分發(fā)揮引導(dǎo)與協(xié)助作用，在教學(xué)過(guò)程中結(jié)合MR 智能輸出設(shè)備，實(shí)時(shí)把握學(xué)生的學(xué)習(xí)進(jìn)程。對(duì)于學(xué)生學(xué)習(xí)中的難點(diǎn)及薄弱環(huán)節(jié)重點(diǎn)講解，幫助學(xué)生突破知識(shí)難、疑點(diǎn)的認(rèn)知瓶頸，獲得深層次認(rèn)知與理解。同時(shí)，教師協(xié)同智能化的后臺(tái)資源庫(kù)，篩選個(gè)性化的學(xué)習(xí)任務(wù)，不斷優(yōu)化學(xué)生的學(xué)習(xí)路徑，提升其學(xué)習(xí)效率。

進(jìn)一步地，教師還可以動(dòng)態(tài)發(fā)布學(xué)習(xí)任務(wù)或下達(dá)任務(wù)單，從而助力學(xué)生展開(kāi)研討，并在全班進(jìn)行成果展示，旨在發(fā)揮學(xué)習(xí)共同體的作用，在實(shí)現(xiàn)自主學(xué)習(xí)能力提升的基礎(chǔ)上，培養(yǎng)學(xué)習(xí)者團(tuán)隊(duì)的協(xié)作素養(yǎng)。學(xué)習(xí)共同體的培育需要充分發(fā)揮個(gè)體在團(tuán)隊(duì)中的效應(yīng)，以構(gòu)建起建設(shè)性的交互，推動(dòng)協(xié)同研學(xué)的廣度和深度。在傳統(tǒng)教學(xué)環(huán)境下，協(xié)同研學(xué)常常會(huì)形成優(yōu)生牽頭，組內(nèi)其他成員參與性不高的困境，導(dǎo)致最終成效不高。在MR“多模態(tài)+人機(jī)協(xié)同”的教學(xué)環(huán)境下，借助智能傳感設(shè)備等，教師可以實(shí)時(shí)動(dòng)態(tài)了解學(xué)生的參與程度及情緒表現(xiàn)，及時(shí)給予學(xué)習(xí)干預(yù)和提醒。同時(shí)，智能機(jī)器通過(guò)分析學(xué)生在診學(xué)階段的學(xué)情表現(xiàn)及研學(xué)過(guò)程中的任務(wù)完成情況，及時(shí)向教師推送優(yōu)化研學(xué)任務(wù)的建議，實(shí)現(xiàn)研學(xué)任務(wù)從“同一知識(shí)點(diǎn)多題型”向“同一知識(shí)點(diǎn)多層次題型”的方向演進(jìn)，以充分滿足不同學(xué)生的學(xué)習(xí)需求，提高其在研討過(guò)程中的參與性與專注力。在成果匯報(bào)階段，教師可以選擇具有典型代表的案例或成果依次進(jìn)行呈現(xiàn)，突破共性問(wèn)題，解決個(gè)體困難，展示優(yōu)秀學(xué)習(xí)作品。

4.多模態(tài)精準(zhǔn)評(píng)學(xué)

多模態(tài)精準(zhǔn)評(píng)學(xué)，則以多主體、多角度、過(guò)程性與結(jié)果性評(píng)價(jià)相結(jié)合為準(zhǔn)則。首先，評(píng)價(jià)主體不局限于教師，還囊括了學(xué)生主體、學(xué)習(xí)小組以及MR 智能平臺(tái)診斷等，學(xué)生不再是被單向評(píng)價(jià)的對(duì)象，其作為學(xué)習(xí)主體應(yīng)充分發(fā)揮其自我評(píng)價(jià)的功能。其次，評(píng)價(jià)維度的多元化，學(xué)生的發(fā)展具有整體性，評(píng)價(jià)的落腳點(diǎn)若只關(guān)注知識(shí)技能的掌握情況是不全面、不科學(xué)的，還應(yīng)包含學(xué)生的情感態(tài)度、合作交流意識(shí)、學(xué)習(xí)進(jìn)步情況等多角度的全局性評(píng)價(jià)，這就需要借助多模態(tài)的數(shù)據(jù)收集與表征等，以呈現(xiàn)并科學(xué)分析學(xué)生學(xué)習(xí)情況的內(nèi)在特質(zhì)。同時(shí)，學(xué)生的發(fā)展具有階段性，評(píng)價(jià)不能只是面向一個(gè)階段，多個(gè)階段數(shù)據(jù)的持續(xù)收集與分析，能夠完善關(guān)于學(xué)習(xí)過(guò)程的整體性評(píng)價(jià)，也能為之后的學(xué)習(xí)提供持續(xù)性的參考。最后，評(píng)價(jià)的核心是促進(jìn)學(xué)生學(xué)習(xí)的有效進(jìn)行，因此，評(píng)價(jià)結(jié)果的呈現(xiàn)應(yīng)更多關(guān)注學(xué)生的進(jìn)步，凸顯學(xué)生已經(jīng)掌握的知識(shí)、所具備的能力，分析其存在的不足、發(fā)展的潛力。因此，必須打破傳統(tǒng)的粗線條、終結(jié)式的等級(jí)式評(píng)價(jià)，以充分體現(xiàn)每一個(gè)學(xué)生學(xué)習(xí)的進(jìn)程和成長(zhǎng)路徑。

五、MR 場(chǎng)域中“多模態(tài)+人機(jī)協(xié)同”教學(xué)的應(yīng)用

為了驗(yàn)證“多模態(tài)+人機(jī)協(xié)同”教學(xué)方式的應(yīng)用價(jià)值，本研究依托MR實(shí)驗(yàn)套件與智能傳感設(shè)備，招募杭州一所高校內(nèi)的90 名大學(xué)師范生為參與者（48名女性和42 名男性），隨機(jī)分為三組（每組30 人），分別在傳統(tǒng)環(huán)境、VR 環(huán)境和MR 環(huán)境下完成保險(xiǎn)絲熔斷實(shí)驗(yàn)，并基于實(shí)驗(yàn)內(nèi)容完成一個(gè)介紹電阻引線測(cè)試應(yīng)用的教學(xué)設(shè)計(jì)。我們采集整個(gè)實(shí)驗(yàn)過(guò)程中參與者所產(chǎn)生的教學(xué)設(shè)計(jì)圖文、心理等方面數(shù)據(jù)，進(jìn)而全面分析在不同交互環(huán)境下學(xué)習(xí)者的學(xué)習(xí)狀態(tài)和結(jié)果。上述準(zhǔn)實(shí)驗(yàn)結(jié)果表明：MR 場(chǎng)域下學(xué)習(xí)者通過(guò)多模態(tài)感官通道獲得沉浸式的學(xué)習(xí)體驗(yàn)，盡管在心流數(shù)據(jù)上可能遜色于VR 環(huán)境（VR 環(huán)境的沉浸感更強(qiáng)）；但在教學(xué)設(shè)計(jì)的創(chuàng)造力表現(xiàn)方面則是最優(yōu)的，因?yàn)镸R 環(huán)境兼顧了心流+具身化實(shí)驗(yàn)操作。

（一）MR 場(chǎng)域中的多模態(tài)情境導(dǎo)學(xué)

多模態(tài)情境導(dǎo)學(xué)主要開(kāi)始于MR 教學(xué)之前，通過(guò)面向MR 教學(xué)環(huán)境的多模態(tài)情境教學(xué)創(chuàng)意設(shè)計(jì)，以最大程度地激發(fā)學(xué)生的學(xué)習(xí)興趣。例如，在保險(xiǎn)絲熔斷實(shí)驗(yàn)中，教師可以通過(guò)翻轉(zhuǎn)課堂或其他多種形式，學(xué)習(xí)保險(xiǎn)絲熔斷的實(shí)驗(yàn)原理，并基于對(duì)實(shí)驗(yàn)原理的認(rèn)知，設(shè)計(jì)實(shí)際應(yīng)用場(chǎng)景，在課堂中主要呈現(xiàn)學(xué)生的設(shè)計(jì)案例。

（二）MR 場(chǎng)域中的多模態(tài)智能診學(xué)

在MR 智能診學(xué)環(huán)節(jié)，主要是通過(guò)MR 智能系統(tǒng)診斷學(xué)生對(duì)于實(shí)驗(yàn)原理及實(shí)驗(yàn)操作的掌握情況。在傳統(tǒng)的實(shí)驗(yàn)環(huán)境下，由于保險(xiǎn)絲熔斷時(shí)電流大、溫度高，存在安全隱患且實(shí)驗(yàn)器材具有消耗性，因此無(wú)法完全放手讓學(xué)生進(jìn)行自主探索。應(yīng)用MR 技術(shù)可以有效克服上述不足，在保障安全有效的實(shí)驗(yàn)環(huán)境下，為參與者提供了虛實(shí)融合的交互情境，形成“視—聽(tīng)—觸”融合的多感官通道及其伴隨的數(shù)據(jù)收集和分析。學(xué)生可以基于自己對(duì)實(shí)驗(yàn)內(nèi)容的理解進(jìn)行自主探索，教師可以通過(guò)現(xiàn)場(chǎng)觀察和MR 智能系統(tǒng)的實(shí)驗(yàn)結(jié)果輸出，精準(zhǔn)判斷學(xué)情，定位學(xué)生學(xué)習(xí)的薄弱環(huán)節(jié)，從而有針對(duì)性地進(jìn)行指導(dǎo)。

MR 場(chǎng)域下實(shí)驗(yàn)所使用的設(shè)備，包括一個(gè)真實(shí)的滑動(dòng)變阻器和三個(gè)模擬真實(shí)儀器形狀的有形替代品（電源、電流表、保險(xiǎn)絲底座）。當(dāng)呈現(xiàn)MR 后，系統(tǒng)將通過(guò)多相機(jī)3D 配準(zhǔn)，將三個(gè)有形的替代品渲染成相應(yīng)的實(shí)驗(yàn)設(shè)備（電源、電流表、保險(xiǎn)絲底座）。可見(jiàn)，MR 環(huán)境下使用有形替代品既節(jié)省電子設(shè)備的成本，又能讓學(xué)習(xí)者在交互時(shí)也有類似的觸感，還能有效保障實(shí)驗(yàn)的安全性，圖3 為MR 環(huán)境的操作展示。

（三）MR 場(chǎng)域中的多模態(tài)人機(jī)助學(xué)

MR 多模態(tài)人機(jī)助學(xué)，主要通過(guò)收集學(xué)生在實(shí)驗(yàn)過(guò)程中的行為、生理等數(shù)據(jù)，將學(xué)生的學(xué)習(xí)體驗(yàn)和學(xué)習(xí)成就進(jìn)行可視化呈現(xiàn)，教師通過(guò)分析機(jī)器所輸出的可視化信息，隨時(shí)掌握學(xué)生的學(xué)習(xí)進(jìn)程情況，從而有針對(duì)性地進(jìn)行教學(xué)指導(dǎo)。MR 環(huán)境熔斷實(shí)驗(yàn)的主要流程有：實(shí)驗(yàn)先創(chuàng)建了真實(shí)的場(chǎng)景，通過(guò)有形設(shè)備實(shí)現(xiàn)實(shí)驗(yàn)真正的自由交互，學(xué)生可以在MR 環(huán)境中啟動(dòng)電源形成虛擬通路，通過(guò)移動(dòng)滑動(dòng)變阻器的真實(shí)滑塊動(dòng)態(tài)調(diào)節(jié)虛擬電路的電阻，借由MR 所呈現(xiàn)的，觀察到保險(xiǎn)絲熔斷的虛擬場(chǎng)景（如圖4）。通過(guò)MR 多模態(tài)人機(jī)助學(xué)，同時(shí)可為學(xué)生自主學(xué)習(xí)能力的習(xí)得與提升提供廣泛的資源。當(dāng)學(xué)生在實(shí)驗(yàn)過(guò)程中對(duì)所進(jìn)行實(shí)驗(yàn)操作存在困惑時(shí)，可以借助MR 智能系統(tǒng)的語(yǔ)音指導(dǎo)、視頻指導(dǎo)等資源，獲取精準(zhǔn)幫助，從而完整有序地體驗(yàn)實(shí)驗(yàn)全流程。

而且，教師還可以通過(guò)MR 智能系統(tǒng)所呈現(xiàn)的學(xué)生實(shí)驗(yàn)完成情況，進(jìn)行統(tǒng)籌安排，進(jìn)一步設(shè)計(jì)開(kāi)放性的研究任務(wù)，讓學(xué)生在MR實(shí)驗(yàn)操作的基礎(chǔ)上，開(kāi)展小組互動(dòng)研討與創(chuàng)客設(shè)計(jì)。如，通過(guò)對(duì)現(xiàn)實(shí)應(yīng)用場(chǎng)景的分析，再次設(shè)計(jì)保險(xiǎn)絲熔斷的應(yīng)用場(chǎng)景，并上臺(tái)對(duì)本組的設(shè)計(jì)進(jìn)行闡述。智能設(shè)備收集在小組互動(dòng)研討階段學(xué)生參與情況的數(shù)據(jù)，如，學(xué)生話語(yǔ)情況、表情數(shù)據(jù)等。教師可以通過(guò)MR 智能系統(tǒng)的數(shù)據(jù)，對(duì)于參與性不高的學(xué)生或小組進(jìn)行提醒。與此同時(shí)，研討后還可以設(shè)置開(kāi)放性問(wèn)題，引導(dǎo)學(xué)生應(yīng)用MR實(shí)驗(yàn)獲得的知識(shí)遷移到真實(shí)場(chǎng)景之中，圖5 是MR實(shí)驗(yàn)過(guò)程中，學(xué)生把相關(guān)知識(shí)遷移到降落傘熔斷開(kāi)傘和火箭熔斷熄火等場(chǎng)景的創(chuàng)客設(shè)計(jì)。

（四）MR 場(chǎng)域中的多模態(tài)精準(zhǔn)評(píng)學(xué)

MR 場(chǎng)域中的多模態(tài)精準(zhǔn)評(píng)學(xué)，主要是通過(guò)學(xué)生自主體驗(yàn)報(bào)告、MR 智能系統(tǒng)數(shù)據(jù)收集、教師課堂觀察等多方面，對(duì)于教學(xué)情況進(jìn)行綜合性診斷，從而形成過(guò)程性評(píng)價(jià)與結(jié)果性評(píng)價(jià)相融合的全方位精準(zhǔn)教學(xué)評(píng)價(jià)。從結(jié)果性評(píng)價(jià)層面而言，教師可以對(duì)學(xué)生課堂中存在的共性問(wèn)題及個(gè)別學(xué)生的具體問(wèn)題，設(shè)計(jì)多層次的練習(xí)以鞏固和加強(qiáng)對(duì)所學(xué)知識(shí)的理解。從過(guò)程性評(píng)價(jià)層次而言，教師可以通過(guò)結(jié)合智能診學(xué)、智能評(píng)學(xué)數(shù)據(jù)，對(duì)學(xué)生的學(xué)習(xí)提升情況有整體性把握，并對(duì)學(xué)生課堂參與情況、溝通協(xié)作能力等進(jìn)行科學(xué)判斷，從而提供更為精準(zhǔn)的個(gè)性化評(píng)價(jià)。

六、“多模態(tài)+人機(jī)協(xié)同”教學(xué)應(yīng)用展望與思考

在未來(lái)教育教學(xué)中，可通過(guò)引入AI 語(yǔ)音識(shí)別、計(jì)算機(jī)圖像視覺(jué)、全息技術(shù)、XR、數(shù)字孿生等新技術(shù)，以實(shí)現(xiàn)在教學(xué)環(huán)境內(nèi)的全域交互，進(jìn)而建構(gòu)起一個(gè)虛實(shí)融合且技術(shù)高度集成的智能化、可計(jì)算的學(xué)習(xí)空間，為學(xué)生提供多維度的學(xué)習(xí)服務(wù)與體驗(yàn)。并可將教學(xué)內(nèi)容全息化地展現(xiàn)在學(xué)生面前，允許學(xué)生與之進(jìn)行交互，開(kāi)展自主探究式學(xué)習(xí)，以培養(yǎng)學(xué)生的探索能力、問(wèn)題解決能力、分析思考能力等，還能提升學(xué)生的創(chuàng)新創(chuàng)造技能與數(shù)字技能[36]。

我們認(rèn)為，結(jié)合MR 技術(shù)及其當(dāng)前教學(xué)應(yīng)用實(shí)踐的發(fā)展，MR 場(chǎng)域中的“多模態(tài)+人機(jī)協(xié)同”教學(xué)，將來(lái)還可以進(jìn)一步拓展：依托多情境自由轉(zhuǎn)換，助力學(xué)習(xí)者創(chuàng)新能力的提升；融合“視—聽(tīng)—觸”多感官通道，提升交互過(guò)程的具身認(rèn)知；建立多模態(tài)數(shù)據(jù)采集、分析和反饋機(jī)制，推動(dòng)反思性觀察；融合多階段數(shù)據(jù)建模跟蹤，帶動(dòng)技能的拓展遷移。這四個(gè)方向存在一定依存關(guān)系：多情境切換和創(chuàng)新能力提升是現(xiàn)實(shí)世界的基礎(chǔ)和目標(biāo)指向，融合多感官通道和具身認(rèn)知是體驗(yàn)混合現(xiàn)實(shí)世界的途徑，多模態(tài)數(shù)據(jù)和反饋調(diào)節(jié)是對(duì)虛擬世界的映射，數(shù)據(jù)建模跟蹤和拓展遷移則又是對(duì)混合現(xiàn)實(shí)世界的進(jìn)一步豐富，如圖6所示。

（一）依托多情境自由轉(zhuǎn)換，助力學(xué)習(xí)者創(chuàng)新能力的提升

智能時(shí)代的發(fā)展正引領(lǐng)創(chuàng)新型人才培養(yǎng)模式的革新，教育的本質(zhì)正從關(guān)注知識(shí)的傳授轉(zhuǎn)向核心能力的培養(yǎng)，其中創(chuàng)新能力作為21世紀(jì)人才的關(guān)鍵特質(zhì)，廣受關(guān)注，世界各國(guó)亦將創(chuàng)新性人才的培養(yǎng)提升到國(guó)家戰(zhàn)略層面。一方面，在傳統(tǒng)教學(xué)方式中，教學(xué)環(huán)境相對(duì)固定、單一，學(xué)習(xí)者所需解決的問(wèn)題大多是基于學(xué)科的現(xiàn)實(shí)問(wèn)題，依賴于“刷題”戰(zhàn)術(shù)，追求熟悉題型以及題型之間的簡(jiǎn)單化關(guān)聯(lián)和模式化遷移。然而，創(chuàng)新能力的培養(yǎng)需要個(gè)體內(nèi)化所學(xué)的概念性知識(shí)，并有效運(yùn)用于具體問(wèn)題場(chǎng)景中，才能實(shí)現(xiàn)高效的遷移，即達(dá)成“情境化—去情境化—情境化”的良性循環(huán)過(guò)程[37]。MR 技術(shù)可以結(jié)合教學(xué)任務(wù)生成虛實(shí)融合、高仿真性的學(xué)習(xí)情境，助力學(xué)習(xí)者激發(fā)興趣、構(gòu)建知識(shí)體系[38]。另一方面，在概念理解與內(nèi)化的基礎(chǔ)上，知識(shí)的遷移、應(yīng)用是創(chuàng)新性思維培養(yǎng)的又一關(guān)鍵環(huán)節(jié)，未來(lái)學(xué)生所面對(duì)的生活、工作的世界將是復(fù)雜多樣、多維交互的，因此，需要積累解決真實(shí)問(wèn)題的學(xué)習(xí)經(jīng)驗(yàn)。MR技術(shù)突破了傳統(tǒng)教學(xué)環(huán)境的局限性，實(shí)現(xiàn)現(xiàn)實(shí)情境、虛擬情境的深度融合，通過(guò)多情境的自由轉(zhuǎn)化，為學(xué)生提供了大量解決真實(shí)問(wèn)題的體驗(yàn)場(chǎng)景，尤其在理工科類教學(xué)中，這種多情境融合性的呈現(xiàn)，彌合了現(xiàn)實(shí)情境與虛擬情境的割裂性，實(shí)現(xiàn)了多元學(xué)習(xí)空間的深度融合，為探究學(xué)習(xí)者行為、認(rèn)知、情感狀態(tài)的多維動(dòng)態(tài)變化，揭示深層次的學(xué)習(xí)發(fā)生機(jī)制[39]，促進(jìn)學(xué)習(xí)者創(chuàng)新性思維的培養(yǎng)，提供了重要條件。

（二）融合“視—聽(tīng)—觸”多感官通道，提升交互過(guò)程的具身認(rèn)知

具身認(rèn)知理論強(qiáng)調(diào)身心、主客、心物一體的一元論，基于具身認(rèn)知視角的教學(xué)應(yīng)是“身—心—物”的融合性互動(dòng)建構(gòu)[40]。教學(xué)中的各要素應(yīng)視為一個(gè)有機(jī)整體，通過(guò)各要素的不斷融合與動(dòng)態(tài)演化，以調(diào)動(dòng)學(xué)生具身于學(xué)習(xí)場(chǎng)景。MR 集成了視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多感官通道，多模態(tài)交互實(shí)現(xiàn)了各模態(tài)之間的互補(bǔ)，共同協(xié)作以表達(dá)情感、見(jiàn)解[41]。MR 將交互體驗(yàn)從一維拓展至多維度的融合，增強(qiáng)了學(xué)生的具身化體驗(yàn)，幫助學(xué)習(xí)者進(jìn)行更有效的知識(shí)構(gòu)建。從“盲人摸象”的典故，便可窺見(jiàn)單一維度的感官體驗(yàn)限制了個(gè)體對(duì)事物的深度了解，甚至極易產(chǎn)生認(rèn)知偏差，學(xué)習(xí)體驗(yàn)感存在殘缺。MR 應(yīng)用的關(guān)鍵在于打破時(shí)間、空間的局限，實(shí)現(xiàn)個(gè)體之間自由交互、場(chǎng)景移動(dòng)、自如操控。比如，借助手勢(shì)交互，實(shí)現(xiàn)空間的自主探索，提升了現(xiàn)實(shí)環(huán)境下的沉浸式體驗(yàn)；視覺(jué)交互、語(yǔ)音交互突破原有的單向傳遞的弊端，形成了信息交互的雙向通道，有利于促進(jìn)師生、生生、人機(jī)多重交互。因此，建議今后教學(xué)中學(xué)習(xí)任務(wù)的設(shè)計(jì)，應(yīng)滿足學(xué)習(xí)者“視—聽(tīng)—觸”等多方位感知的需求，進(jìn)行生成性教學(xué)，即讓學(xué)習(xí)者通過(guò)多感官交互，與周邊人、事、物建立起密切的聯(lián)系，不斷地進(jìn)行自主構(gòu)建與動(dòng)態(tài)生成，促進(jìn)知識(shí)體系的結(jié)構(gòu)化，推動(dòng)學(xué)習(xí)績(jī)效的提升。

（三）建立多模態(tài)數(shù)據(jù)采集、分析和反饋機(jī)制，推進(jìn)基于個(gè)性化的多模態(tài)學(xué)習(xí)分析

關(guān)注每一個(gè)學(xué)生的特點(diǎn)和差異，重視個(gè)別化指導(dǎo)已然成為國(guó)內(nèi)外普遍的共識(shí)。MR 虛擬實(shí)驗(yàn)突破了VR、AR 等虛擬實(shí)驗(yàn)的交互性較弱等問(wèn)題，能夠更好地實(shí)現(xiàn)多模態(tài)數(shù)據(jù)采集、分析和反饋。所以，需要進(jìn)一步簡(jiǎn)化MR 虛擬實(shí)驗(yàn)等多模態(tài)數(shù)據(jù)采集、分析和反饋調(diào)節(jié)機(jī)制，從而更好地采集和分析不同學(xué)生個(gè)體參與MR 虛擬實(shí)驗(yàn)等過(guò)程的行為交互、話語(yǔ)交互等數(shù)據(jù)，并給予針對(duì)性的學(xué)習(xí)反饋，從而推動(dòng)教學(xué)的智能化。與此同時(shí)，不僅要重視學(xué)生外在行為表現(xiàn)，更要重視其內(nèi)在行為邏輯。通過(guò)信息收集設(shè)備，采集學(xué)習(xí)者多模態(tài)數(shù)據(jù)信息，借助大數(shù)據(jù)分析技術(shù)擬合學(xué)習(xí)者的發(fā)生路徑，建立起動(dòng)態(tài)、有效的反饋機(jī)制。借助多模態(tài)數(shù)據(jù)之間的互補(bǔ)性，實(shí)現(xiàn)個(gè)體特征的精準(zhǔn)預(yù)測(cè)，并將反饋信息以可視化的方式傳輸給教師，實(shí)現(xiàn)“以學(xué)定教”。因此，應(yīng)增強(qiáng)多模態(tài)信息的多層次性分析，使對(duì)學(xué)習(xí)者的解讀走向全面化、縱深化[42]，以實(shí)現(xiàn)基于多模態(tài)數(shù)據(jù)反饋的個(gè)性化學(xué)習(xí)。