王一巖 王楊春曉 鄭永和

摘要：智能感知技術的發(fā)展為學習分析領域的變革提供了多元的數(shù)據(jù)支持，實現(xiàn)智能技術與教育研究的深度融合，推動多模態(tài)學習分析的研究進展。該文立足于人工智能時代“多模態(tài)”的價值內(nèi)涵，從多模態(tài)信息感知、多模態(tài)數(shù)據(jù)表征、多模態(tài)計算方法三個方面實現(xiàn)了“多模態(tài)”意蘊的多元分解。論述了多模態(tài)學習分析的歷史沿革和研究意義，從多源性、層次性、時序性、情境性四個層面分析了多模態(tài)學習分析的潛在特征。人工智能時代多模態(tài)學習分析研究的開展需要從面向智能精準測評的學習者建模、面向智慧學習空間的教育情境建模、面向教育生態(tài)治理的教育系統(tǒng)建模三個方面加以重視，實現(xiàn)多模態(tài)學習分析與真實教育場景的深度融合。未來多模態(tài)學習分析研究的開展需要從多學科融合的基礎理論體系建構、多模態(tài)數(shù)據(jù)集的創(chuàng)建共享、學生認知結構的量化表征、基于多模態(tài)學習分析的智能服務體系以及數(shù)據(jù)安全和倫理道德規(guī)范等方面加以重視。

關鍵詞：多模態(tài);多模態(tài)感知;多模態(tài)數(shù)據(jù);多模態(tài)機器學習;多模態(tài)學習分析

中圖分類號：G434

文獻標識碼：A

近年來，隨著眼動儀、腦電儀、功能磁共振等智能感知設備的發(fā)展，以及人工智能領域自然語言處理、計算機視覺、語音識別、生理信息識別等智能技術的成熟，為智能教育帶來了新的發(fā)展契機，有助于實現(xiàn)面向智慧學習空間的多模態(tài)數(shù)據(jù)采集，挖掘教育過程的潛在規(guī)律，為認知診斷、情感計算、交互分析、情境感知等研究的開展帶來多元化的數(shù)據(jù)支持，實現(xiàn)多模態(tài)數(shù)據(jù)驅動的教育現(xiàn)象的解釋和教育規(guī)律的發(fā)現(xiàn)，創(chuàng)設智能技術支持的智能教育服務模式，推動教育研究逐漸向數(shù)據(jù)化、科學化、精準化的方向發(fā)展。本文重點關注多模態(tài)的理論和方法與學習分析領域的深度融合機制，從“多模態(tài)”的價值內(nèi)涵出發(fā)論述多模態(tài)學習分析的價值意蘊、應用目標和研究要點，理清多模態(tài)學習分析對智能教育時代學習分析研究開展的多元化應用前景，以期為后續(xù)相關研究的開展提供借鑒意義。

一、多模態(tài)

（一）從“模態(tài)”到“多模態(tài)”

模態(tài)（Modality）是“物質媒體經(jīng)過社會長時間塑造而形成的意義潛勢，是用于表征和交流意義的社會文化資源”[1]。關于“模態(tài)”的代表性觀點主要有以查理斯為代表的符號系統(tǒng)說和以克瑞斯為代表的交互方式說[2]。前者建立在社會符號學的基礎上，認為“模態(tài)”是“可以被具體的感知過程解釋的社會符號系統(tǒng)”[3]，如：聲音、圖像、文字等;后者認為“模態(tài)”是“人類通過感覺器官建立的與外部環(huán)境之間的交互方式”，如視覺、聽覺、觸覺、嗅覺、味覺等。近年來，隨著人工智能領域前沿研究的快速發(fā)展，賦予其新的價值意蘊，相關學者從數(shù)據(jù)感知模式和數(shù)據(jù)表征方式的角度將“模態(tài)”定義為機器對外界信息的感知模式或信息通道[4]，主要包括三個方面：其一，數(shù)據(jù)表征模式。按照人工智能的細分研究領域進行劃分，將“多模態(tài)”定義為融合文本、語音、視頻、生理信息的數(shù)據(jù)表征模式;其二，數(shù)據(jù)采集機制。將“多模態(tài)”與多傳感器相關聯(lián)，將每種傳感設備采集到的數(shù)據(jù)視為一種“模態(tài)”，如：生理信息識別中基于眼動、腦電、紅外等智能傳感設備采集的生理信息數(shù)據(jù);其三，數(shù)據(jù)特征主體。體現(xiàn)為對特征主體局部信息的數(shù)據(jù)化表征，如計算機視覺領域對人的眼睛、嘴巴等表情特征的描述和對頭部姿態(tài)、骨架等肢體特征的描述均可視為一種“模態(tài)”。對智能教育領域“多模態(tài)”意義的詮釋要建立在對“模態(tài)”概念深入解析的基礎上，結合人工智能背景下數(shù)據(jù)感知融合與智能分析的發(fā)展現(xiàn)狀，對“多模態(tài)”的意義加以闡述，構建基于多模態(tài)數(shù)據(jù)感知與融合的智能教育應用機制，增強不同模態(tài)信息之間的互補性，構建多模態(tài)的符號表征體系，實現(xiàn)基于多模態(tài)數(shù)據(jù)融合的精準分析。

人是多模態(tài)學習的總和，通過視覺、聽覺、味覺、嗅覺等感官系統(tǒng)建立與復雜環(huán)境的交互機制，進而經(jīng)由大腦皮層完成對外界信息的完整意義建構。人工智能作為一門模擬人類智能對外部信息進行加工、處理和意義建構的技術科學，其基本業(yè)務邏輯與人類對外部信息的感知、獲取和處理過程較為相似，均包含外部世界的符號表征體系以及智能實體（人類智能和機器智能）對外部世界的信息感知通道和意義建構模式。因此將智能教育領域的多模態(tài)劃分為多模態(tài)的“符號表征體系”、多模態(tài)的“信息感知通道”和多模態(tài)的“意義建構模式”三個層面。多模態(tài)符號表征體系是對真實教學場景的多元分解，包含構成完整教學情境的“學習者一教師一教學內(nèi)容一教學媒體一教學活動一教學環(huán)境”等要素，從學習分析的角度可以進一步拆解為與學習者學習過程和認知發(fā)展相關的“行為一認知一情感一交互”等層面，進而構建面向真實教學場景的符號表征體系，包含“語音一表情一動作一文本一呼吸一心跳一體溫一眼動一腦電一皮膚電一激素水平”等方面;多模態(tài)信息感知通道是機器對外界環(huán)境的感知系統(tǒng)，旨在利用智能傳感設備實現(xiàn)對教學情境的多元感知，通過多通道信息的感知與融合生成面向智能分析的多模態(tài)數(shù)據(jù)，服務于智慧教學分析的實際需要;多模態(tài)的意義建構模式指利用人工神經(jīng)網(wǎng)絡模擬人類加工處理信息的計算過程，對相關信息進行有機整合，提取相關符號表征狀態(tài)潛藏的語義信息，根據(jù)先前研究經(jīng)驗和現(xiàn)有符號表征模式，生成與教學活動開展有關的信息、知識和智慧，從而完成對多模態(tài)信息的完整意義建構，指導相關教學研究工作的開展。

（二）“多模態(tài)”意蘊的多元分解

1.基于多媒體學習認知理論的多模態(tài)信息感知

多媒體學習認知理論的雙通道假設認為， “學習者的認知發(fā)展是大腦對言語信息和非言語信息雙重編碼的結果，借助言語系統(tǒng)和非言語系統(tǒng)的內(nèi)部連結形成對事物完整的意義建構”[5]。多媒體學習認知理論認為學習的發(fā)生是學習者利用視覺通道和聽覺通道對外界信息進行加工和處理的過程，將學習發(fā)生過程分解為“感知注意、信息組織和信息整合”三個階段，重視對語言表征信息和視覺表征信息的選擇性加工以及與先驗知識的主動整合[6]。圖文理解整合模型進一步強化了學習者知覺和認知層面之間的復雜作用關系[7]，強調知識建構的過程是通過不同通道對圖、文信息進行獲取和加工，基于言語信息和視覺信息的整合形成命題表征和心理模型，再由命題表征和心理模型的交互整合以完成知識信息的整體建構[8]。認知神經(jīng)科學領域的相關研究表明，學習者對于外部信息的感知是視覺、聽覺、觸覺等信息感知通道與大腦共同作用的結果，外部符號表征體系通過不同感知通道信息的相互補充在學習者大腦進行神經(jīng)成像，形成學習者對事物的完整感知。大量研究表明， “視一聽”融合的多模態(tài)信息加工機制對于人類感知和理解世界具有重要意義，基于多模態(tài)的信息整合，實現(xiàn)不同感知通道的內(nèi)部連結和信息互補，進而完成完整的意義建構?；诙嗝襟w學習認知理論的多模態(tài)信息感知對于多模態(tài)學習分析的開展具有良好的現(xiàn)實意義，有助于構建人類智能和機器智能之間的橋梁[9]，幫助機器更好地模擬人類對外界多模態(tài)信息的感知和加工模式，構建面向智慧學習空間的多模態(tài)符號表征體系，利用智能感知技術構建面向多模態(tài)特征的信息加工通道，進而挖掘多模態(tài)數(shù)據(jù)潛藏的語義信息，完成對數(shù)據(jù)潛在信息的完整意義建構。

2.基于人工智能技術的多模態(tài)數(shù)據(jù)表征

當前階段，人工智能領域的發(fā)展已經(jīng)由基于神經(jīng)網(wǎng)絡和遺傳算法的計算智能階段邁向以文本、語音和圖像等符號系統(tǒng)表征的語義信息的識別和加工為核心的感知智能階段[10]。以計算機視覺、語音識別、自然語言處理、生理信息識別、平臺數(shù)據(jù)采集技術為代表的人工智能前沿研究領域的發(fā)展為教育數(shù)據(jù)的智能感知提供了多元的技術支持?；谟嬎銠C視覺技術對智慧教育場景中學生的表情、動作等圖像信息進行智能化的采集，用以分析學生的課堂表現(xiàn)，對學生課堂學習過程中的專注度、情感狀態(tài)等信息進行智能識別;基于語音識別技術，對學生課堂發(fā)言中的話語信息進行采集，根據(jù)學習者的語音語調信息和話語信息，分析學習者的認知發(fā)展狀況和情感狀態(tài);基于自然語言處理技術，從語義層面分析對學習者所表述的信息進行深入的挖掘分析，提取其中潛在的觀點和情感信息，基于語義網(wǎng)絡和知識圖譜分析學習者的認知發(fā)展狀況;基于腦電感應、眼神追蹤等生理信息識別技術，對學習者的眼動、腦電、皮膚電、激素分泌等數(shù)據(jù)進行采集，為學習分析相關研究的開展提供多樣化的生理數(shù)據(jù)支持;基于平臺數(shù)據(jù)采集技術，對學習者在智慧教學平臺的學習過程進行精準監(jiān)測，形成面向學習者個體的在線學習流數(shù)據(jù)，根據(jù)學習者的檢索、瀏覽、觀看、測試數(shù)據(jù)分析學習者的學習偏好和知識掌握程度，為其提供智能化的認知診斷和學習資源推薦服務。通過對學生多源異構數(shù)據(jù)的采集分析，形成面向學習者的多模態(tài)數(shù)據(jù)集，利用智能化分析方法對學生深層次的認知和情感狀態(tài)進行精準測評，實現(xiàn)面向學習者的精準化學習分析。

3.基于機器學習技術的多模態(tài)計算方法

多模態(tài)數(shù)據(jù)為我們感知和理解世界提供了多元的信息支持，對于多模態(tài)數(shù)據(jù)的采集和處理也是數(shù)據(jù)科學家們研究的關鍵問題，衍生出了多模態(tài)機器學習[11]這一旨在利用機器學習技術處理和關聯(lián)多種模態(tài)信息的前沿研究領域。其中多模態(tài)融合是近年來多模態(tài)機器學習領域的一個重要研究方向，在多模態(tài)情緒感知[12]、多模態(tài)交互分析[13]等前沿研究領域具有廣泛應用，能夠為多模態(tài)學習分析研究的開展提供良好的技術解決方案。多模態(tài)融合旨在將從不同的單模數(shù)據(jù)中提取的信息集成到一個緊湊的多模態(tài)表示中，利用多模態(tài)數(shù)據(jù)的信息互補機制對復雜環(huán)境中的多元信息進行完整表征。根據(jù)其融合階段和融合機制的不同可以分為以下三種模式：數(shù)據(jù)級融合是將從文本、視頻、語音等多種模態(tài)信息中提取的特征組合起來成為單一的特征矩陣，然后輸入到機器學習的分類器中，在模型訓練過程中通過相同模態(tài)和不同模態(tài)之間的特征組合，以充分挖掘多模態(tài)數(shù)據(jù)的潛藏信息，缺點在于需要在模型訓練之前把不同模態(tài)的特征調整為同一格式，在此過程中容易造成數(shù)據(jù)的失真;特征級融合是指將不同模態(tài)的數(shù)據(jù)映射到高維空間，再從模型的中間層選取適當?shù)奈恢眠M行融合操作，主要包括基于簡單操作的方法、基于注意力的方法和基于張量融合的方法，由于其操作的靈活性，逐漸成為多模態(tài)融合領域研究的重要方向;決策級融合指對不同模態(tài)特征采用最適合的模型分別進行訓練，對所得到的結果進行加權處理以獲得最佳的決策支持[14]。

二、多模態(tài)學習分析

（一）多模態(tài)學習分析的發(fā)展沿革

關于多模態(tài)學習分析的研究由來已久，2012年相關學者提出將文本、視頻、音頻等多模態(tài)數(shù)據(jù)運用于多模態(tài)交互研究領域，為多模態(tài)學習交互領域相關研究的開展提供了新的研究方向，也奠定了多模態(tài)學習在交互分析領域的核心價值;2012年的多模態(tài)交互國際會議（ICMI）首次以工作坊的形式組織相關學者參與“多模態(tài)學習分析”的研討活動，確立了多模態(tài)學習分析的前沿地位[15]，指出該研究領域旨在將多模態(tài)分析技術與學習科學研究相結合，幫助研究者更好地理解學習的發(fā)生機制;2016年，學習分析與知識國際會議（LAK2016）設立面向多模態(tài)學習分析的數(shù)據(jù)挑戰(zhàn)工作坊，組織領域內(nèi)相關學者參與到多模態(tài)數(shù)據(jù)分析的實踐工作中，探究多模態(tài)數(shù)據(jù)支持的學習分析研究的發(fā)展方向[16];次年，LAK2017邀請相關學者做了關于多模態(tài)學習分析的主題報告，對基于多種傳感設備的多模態(tài)生物識別技術的進行了系統(tǒng)闡述，并對其在學習者外在行為表征和內(nèi)在生理信息的數(shù)據(jù)采集機制進行了詳細論述，提出利用線上、線下一體化的學習分析解決混合學習環(huán)境中的關鍵問題[17]; 2019年美國教育研究協(xié)會（AERA）年會提出利用文本、圖表、視音頻等多模態(tài)數(shù)據(jù)構建基于多模態(tài)敘事的研究范式，為教育研究尋求證據(jù)公平[18]。

（二）多模態(tài)學習分析的意義解讀

多模態(tài)學習分析的概念最早由Stefan Scherer等人在第十四屆多模態(tài)交互國際會議上提出[19]，認為多模態(tài)學習分析是多模態(tài)教學與學習、多模態(tài)數(shù)據(jù)、計算機支持的分析三個概念的復合體，旨在利用三個概念之間所形成的三角關系來描述或模擬復雜學習環(huán)境中的學生學習[20]。人工智能時代對于多模態(tài)學習分析研究范疇的界定，需要立足于多模態(tài)學習分析研究開展的實際需要，搭建學習分析理論和人工智能技術之間的橋梁，利用智能傳感設備和智能分析技術探究學習生態(tài)的全貌，深化學習分析的研究底蘊，促進學習分析研究朝著數(shù)據(jù)化、科學化、智能化的方向發(fā)展。

隨著人工智能領域的發(fā)展和技術模型的成熟，賦予了學習分析新的價值意蘊，使得相關研究的開展不再局限于傳統(tǒng)的學習平臺數(shù)據(jù)的采集分析層面，加強對不同教學場景的關注，實現(xiàn)多元學習空間的深度融合，探究學習者行為、認知、情感狀態(tài)的變化，揭示深層次的學習發(fā)生機制。在理論層面，借助多模態(tài)數(shù)據(jù)實現(xiàn)多學科、寬領域的建模分析，參照“腦科學、認知神經(jīng)科學、數(shù)據(jù)科學”等領域的研究成果，幫助機器更好地模擬人類的感知、計算和意義建構模式，探究學習者外在行為表征模式與內(nèi)在認知發(fā)展之間的潛在作用關系，推動學習分析領域基礎理論體系的變革;在技術層面，將自然語言處理、計算機視覺、語音識別、生理信息識別技術和平臺采集技術相結合，擴展學習分析的數(shù)據(jù)感知通道，實現(xiàn)基于文本、語音、視頻、生理信息、在線學習行為等數(shù)據(jù)的多元采集與融合，為多模態(tài)學習分析的開展提供了多元的數(shù)據(jù)支持，利用多模態(tài)機器學習技術實現(xiàn)對多模態(tài)數(shù)據(jù)的融合分析，借助多模態(tài)數(shù)據(jù)間的信息互補機制，拓寬學習分析的廣度和深度;在應用層面，多模態(tài)數(shù)據(jù)為學習分析研究的開展提供了廣泛的證據(jù)支持，實現(xiàn)多模態(tài)數(shù)據(jù)驅動的行為分析、認知診斷、情感計算、交互分析和情境感知，實現(xiàn)多模態(tài)數(shù)據(jù)賦能的學習現(xiàn)象的解釋和學習規(guī)律的發(fā)現(xiàn)。

（三）多模態(tài)學習分析的特征分解

1.多源性：教學信息的多源互補

教學信息的多源互補是多模態(tài)學習分析相關研究開展的前提，通過對多模態(tài)教學數(shù)據(jù)的采集分析，強化不同模態(tài)數(shù)據(jù)之間的信息互補機制，有效還原教學生態(tài)的全貌。多模態(tài)學習分析的多源互補體現(xiàn)在信息加工層面的多源互補和數(shù)據(jù)感知層面的多源互補兩個方面。前者表現(xiàn)為“視一聽”結合的雙通道編碼，能夠幫助學習者形成完整的意義建構，如：中國傳統(tǒng)文化中的“察言觀色”，表示通過觀察說話人的語調、表情能夠幫助傾聽者更好的理解言語信息表達的核心思想;后者體現(xiàn)在數(shù)據(jù)分析層面的視覺和聽覺信息互相補充，能夠對模型的訓練提供多元的數(shù)據(jù)支持，如：在多模態(tài)情緒識別任務中，基于語音和視頻的多模態(tài)數(shù)據(jù)能夠取得比單模態(tài)數(shù)據(jù)更高的精確度[21]。通過對多場景、多學科、多時序的教學信息進行智能化的采集分析，實現(xiàn)教學信息的多源互補，利用量化學習的思想對教學場景中的信息進行數(shù)據(jù)化表征，實現(xiàn)教學生態(tài)全貌的有機分解，為智能化學習分析研究的開展提供數(shù)據(jù)支持。

2.層次性：教學生態(tài)的層次分解

多模態(tài)學習分析的層次性體現(xiàn)在利用多模態(tài)數(shù)據(jù)對一定學習周期內(nèi)“教育主體、教育客體、教育情境、教育資源”進行精準監(jiān)測，對與教學過程和教學結果相關的潛在特征進行有機分解，理清其中的層次作用機理，構筑基于多模態(tài)學習分析的智慧教學過程層次分解機制。（1）教學情境的層次分解。利用多模態(tài)數(shù)據(jù)構建智慧教育視域下智慧學習空間物理環(huán)境、社會環(huán)境、心理環(huán)境的層次分析機制，對影響學習者的環(huán)境要素進行多元分析，為智慧學習環(huán)境的創(chuàng)建提供支持;（2）學習者模型的層次分解。通過對智慧學習環(huán)境下學習者的行為、生理、心理信息的監(jiān)測，探究學習者的外在表征和內(nèi)隱狀態(tài)之間的潛在作用關系，分析學習者的認知、情感、交互發(fā)展狀況，構建基于多層次數(shù)據(jù)表征的精準化學習者模型;（3）交互模式的層次分解。通過對多模態(tài)數(shù)據(jù)的精準分析，構建面向智慧學習空間中“人一機一物”的交互分解機制，挖掘深層次的教育發(fā)展規(guī)律，服務于智能化教學分析研究的開展;（4）教學過程的層次分解。構建面向智慧課堂“教師行為、學生行為、教學媒體、教學內(nèi)容、教學活動”的序列化分析模型，研究教學過程的各構成要素對教學過程和教學結果的影響機理。

3.情境性：教學情境的智能感知

教學情境的智能感知是學習分析領域需要解決的關鍵問題，也是多模態(tài)學習分析相關研究的重要組成部分。按照Korhonen等人的情境劃分方法，可以將情境分為用戶情境、任務情境、環(huán)境情境、社會情境、時空情境、設備情境、服務情境和網(wǎng)絡連接情境八種類型[22]。教育情境的復雜性為智能教育相關研究的開展帶來了極大挑戰(zhàn)，如何對教育情境進行精準建模，實現(xiàn)教育情境的可計算是未來一段時間內(nèi)智能教育領域相關研究人員需要解決的關鍵問題[23]。利用多模態(tài)學習分析的思想，借助可穿戴設備和智能感知技術實現(xiàn)對智慧學習空間中復雜教育情境的多元分解，實現(xiàn)對學習者行為、生理、心理等方面的全方位監(jiān)測，通過對特定情境下學習者相關表現(xiàn)的智能監(jiān)測和精準分析，構建面向智能化教學場景的感知計算模式，挖掘復雜教育情境下學習者的行為序列模式和交互發(fā)生機制，用以分析教學情境要素對學習者深層次知識建構和認知發(fā)展的潛在作用機理。

4.時序性：教學分析的時空融合

多模態(tài)學習分析的時序性是指在構建多模態(tài)學習分析機制的基礎上，重視與學生學習過程相關的周期性變化規(guī)律，構建面向時空融合的多元化教學分析模型。重視完整學習周期中學習者知識、能力、情感的發(fā)展變化情況，分析學習者認知和情感的遷移和變化規(guī)律，挖掘深層次的學習發(fā)生機制，實現(xiàn)基于時間序列的學習者建模分析;強化基于時間序列的教學場景數(shù)據(jù)的采集和分析，構建多模態(tài)、時序性的教學分析模型，挖掘教學內(nèi)容、教學過程、教學活動相關信息與學生學業(yè)發(fā)展之間的作用機理，實現(xiàn)面向學習全周期的縱向挖掘分析，構建智能化學習支持服務體系，助力于智能教學工作的開展。

三、多模態(tài)學習分析的應用場景

（一）面向智能精準測評的學習者建模

學習者模型的構建是學習分析領域的重要研究內(nèi)容，也是多模態(tài)學習分析需要解決的關鍵問題。利用多模態(tài)學習分析技術構建面向個體學習者的全空間、多場景、時序性的建模分析，對智慧學習空間中學習者的表情、動作、呼吸、心跳、語言、皮膚電等數(shù)據(jù)進行全方位的采集分析，借助多模態(tài)數(shù)據(jù)實現(xiàn)面向學習者“認知一行為一情感一交互”外在表征模式的可計算。結合教育學、心理學、腦科學、認知神經(jīng)科學的相關研究內(nèi)容對學習者內(nèi)部潛在特征進行系統(tǒng)解釋，探究學習者“認知發(fā)展狀況一行為表達模式一情感發(fā)生機制一學習交互模式”的協(xié)同進化機理，在更深層次上探究學習者的學習發(fā)生機制。

1.實現(xiàn)面向學習者的智能化認知診斷

認知診斷是通過對一定學習周期內(nèi)學習者的學業(yè)診斷數(shù)據(jù)進行持續(xù)性的采集分析，對學習者的認知發(fā)展狀況進行連續(xù)性的隱式建模，從而實現(xiàn)對個體認知結構、認知過程和信息加工模式的精準測評[24]。利用多模態(tài)學習分析技術實現(xiàn)對學習者多時空、多學科、多領域的全方位建模分析，構建面向學習者個體的學科知識圖譜和能力圖譜，實現(xiàn)對學習者認知發(fā)展狀況的全方位的精準測評，探究學習者學業(yè)發(fā)展的影響因素，為學習者制定智能化的學業(yè)提升服務。

2.實現(xiàn)面向學習者的智能化行為分析

學習行為是學習者在某種動機指引下為獲得某種特定學習結果而選擇各種各樣的手段去實現(xiàn)學習結果的活動的總和[25]。課堂教學環(huán)境下學習行為的發(fā)生是教師、教學活動、教學環(huán)境等情境要素和學習者認知、情感等潛在要素共同作用的結果，如何利用多模態(tài)數(shù)據(jù)實現(xiàn)學習行為的可計算，分析線上、線下、課內(nèi)、課外等多種學習情境中學習者的行為表征模式，挖掘相關要素對學習者行為表達模式的影響機理，是多模態(tài)學習分析需要解決的關鍵問題。需要實現(xiàn)基于多通道感知的學習行為建模與理解，對學習者的學習行為進行量化表征，研究學習者認識、情感要素對學習者外在行為表征的作用機理，挖掘深層次的學習行為發(fā)生機理。

3.實現(xiàn)面向學習者的智能化情緒感知

心理學的研究表明，個體情緒的發(fā)生機制和表達機制均具有一定的復雜性，強調外界刺激和內(nèi)部生理、心理和認知狀態(tài)對于個體情緒變化的共同作用。因此單一模態(tài)的情感數(shù)據(jù)難以對個體的情緒狀態(tài)進行準確表征，需要利用多種智能傳感設備實現(xiàn)對學習者語音、表情、文本、生理信息等多模態(tài)數(shù)據(jù)的精準化采集，對學習者的情感狀態(tài)進行精準測評，進而實現(xiàn)對學習者情緒外在表征模式和內(nèi)在發(fā)生機理的全方位建模分析，構建基于個體特征、外界刺激、內(nèi)部需要的多層次情感表達模型，對學習者的情感發(fā)生機制進行多學科、多層次、寬領域的深度詮釋。

4.實現(xiàn)面向學習者的智能化交互分析

重視對智慧教育環(huán)境下學習者交互模式的挖掘分析，通過對交互參與者的語音、表情、姿態(tài)、腦電等可表征的符號信息系統(tǒng)的監(jiān)測，判斷交互主體的心理狀態(tài)，分析學習發(fā)生過程中學習者與教師、教學資源、教學媒體、教學環(huán)境之間的交互機制，挖掘復合交互情境對學習者認知、行為、情感的影響機理[26]，有助于優(yōu)化教學資源和教學媒體的服務模式，為教師提供個性化的教學建議，促進教學績效的提升。

多模態(tài)學習分析旨在利用學習者的外在表征信息實現(xiàn)對學習者內(nèi)隱狀態(tài)的智能化測評，為學習者學習發(fā)生機制研究的開展提供多元化的數(shù)據(jù)支持。后續(xù)研究的開展需要關注智慧教育環(huán)境下“認知一行為一情感一交互”的協(xié)同進化機理，在實踐研究開展層面挖掘學習者認知、行為、情感、交互的關聯(lián)關系，挖掘學習者認知發(fā)展和情感變化對學習者行為表達的影響機制;在理論層面運用腦科學、認知科學、教育學、心理學等多學科的理論知識對學習者的學習發(fā)生機制進行精準解讀，推動學習科學領域相關研究的開展。

（二）面向智慧學習空間的教育情境建模

面向智慧課堂的智能化教學情境感知是多模態(tài)學習分析要解決的關鍵問題，如何利用多模態(tài)的思想實現(xiàn)對智慧教育情境的多元分解，模擬智慧課堂的演化模式，對于智慧課堂環(huán)境下學習現(xiàn)象的解釋和學習規(guī)律的發(fā)現(xiàn)具有重要意義。

1.實現(xiàn)教學場景構成要素的多元分解

構建面向不同教學構成要素的多模態(tài)數(shù)據(jù)集，通過對“教師一學生一媒體一資源一環(huán)境”的全方位、細粒度測評分析，實現(xiàn)課堂教學構成要素的有機分解，利用大數(shù)據(jù)的分析方法挖掘其中潛在的教育發(fā)展規(guī)律，實現(xiàn)細粒度的教學場景感知，幫助教師優(yōu)化教學設計模式，提升課堂教學的成效。

2.實現(xiàn)教育情境信息的多元感知與融合

利用智能感知技術實現(xiàn)對智慧學習空間中“用戶情境、時間情境、物理情境、社會情境、心理情境、活動情境”[27]的精準刻畫，綜合考量學生個體、教學媒體、教學活動、教學交互等要素構建的復合教育情境，分析相關構成要素對教師教學策略和學生學習成效的影響機理，實現(xiàn)面向教學全過程的全方位建模分析。

3.實現(xiàn)基于教育情境感知的智能教育服務

對特定教學情境下與學習相關的媒體、資源、環(huán)境、事件進行精準刻畫，分析相關構成要素對教師教學策略和學生學習成效的影響機理，實現(xiàn)面向教學全過程的全方位建模分析，綜合考量學生的認知發(fā)展狀況、情感發(fā)生機制、學習交互模式和教師的專業(yè)素養(yǎng)、教學方式以及選用的教學媒體和教學內(nèi)容對學習者學習成效的影響機理，進而優(yōu)化智能教育服務模式，創(chuàng)設智能技術驅動的智慧教育新樣態(tài)。

（三）面向教育生態(tài)治理的教育系統(tǒng)建模

從系統(tǒng)科學的觀點來看，大到區(qū)域教育生態(tài)系統(tǒng)，小到智慧課堂生態(tài)系統(tǒng)，均能夠被視作一個系統(tǒng)。如何從系統(tǒng)科學的角度探究各級各類教育系統(tǒng)的發(fā)展規(guī)律，實現(xiàn)智能化的教育生態(tài)治理，是智能教育領域急需解決的關鍵問題。多模態(tài)學習分析為此問題提出了新的解決方案，利用大數(shù)據(jù)的思想通過數(shù)據(jù)化、標簽化的方法對系統(tǒng)的構成要素、系統(tǒng)結構進行精準刻畫，進而模擬系統(tǒng)的運作模式和演化機理，在最大程度上還原系統(tǒng)的全貌，實現(xiàn)教育系統(tǒng)的精準測評。

1.智慧課堂生態(tài)系統(tǒng)建模

智慧課堂生態(tài)系統(tǒng)是智能技術與智慧教學深度融合的產(chǎn)物[28]。旨在以大數(shù)據(jù)和人工智能技術為依托，以培育面向未來社會發(fā)展的優(yōu)秀人才為導向，強調現(xiàn)代教育理念與新興智能技術的協(xié)同作用，研究智慧課堂的構成要素、系統(tǒng)結構和運行模式，探究智慧課堂內(nèi)部的數(shù)據(jù)流動機制、信息治理機制和生態(tài)反饋機制，強調智慧課堂環(huán)境下各構成要素的交互作用機制，創(chuàng)設智慧課堂教學文化新樣態(tài)，促進智慧課堂教學生態(tài)的系統(tǒng)變革。

多模態(tài)學習分析為智慧課堂生態(tài)系統(tǒng)的建構提供了多元的理論和技術支持。利用量化學習[29]的思想實現(xiàn)智慧課堂生態(tài)系統(tǒng)構成要素的多元分解，基于多模態(tài)數(shù)據(jù)的感知與融合，實現(xiàn)對智慧課堂生態(tài)系統(tǒng)構成要素的精準化建模分析;構建時空融合的多模態(tài)數(shù)據(jù)表征體系，模擬智慧課堂的數(shù)據(jù)流動機制，理清相關構成要素對學習生態(tài)變革的作用機理，實現(xiàn)多模態(tài)數(shù)據(jù)驅動的智慧課堂教學生態(tài)的精準治理;利用智能技術實現(xiàn)智能化的教育情境感知和交互作用模式，模擬智慧課堂的運行模式，理清智慧課堂生態(tài)系統(tǒng)中“人一機一物”的交互作用機制，為智慧課堂生態(tài)系統(tǒng)的建構提供理論支持。

2.區(qū)域教育生態(tài)系統(tǒng)建模

從生態(tài)學視角來看，教育活動的發(fā)生和學生個體的發(fā)展依托于區(qū)域、學校、家庭、社會為學生成長創(chuàng)設的各級各類教育環(huán)境，大到區(qū)域的社會經(jīng)濟文化發(fā)展狀況，小到班級的文化氛圍都會對學生的成長產(chǎn)生影響。智能教育時代區(qū)域教育生態(tài)系統(tǒng)的構建需要利用多模態(tài)學習分析的思想對區(qū)域教育發(fā)展過程中全時空、多領域的數(shù)據(jù)進行采集和融合，構建深度分析模型，評估區(qū)域教育發(fā)展過程中環(huán)境要素和人的要素之間的作用機理，利用教育生態(tài)學的方法揭示教育生態(tài)系統(tǒng)的發(fā)展規(guī)律和演變機理，構建面向區(qū)域教育生態(tài)系統(tǒng)的精準體系，保障教育生態(tài)系統(tǒng)的良性發(fā)展。

多模態(tài)學習分析為破解生態(tài)學視域下區(qū)域教育系統(tǒng)的發(fā)展規(guī)律和演化機理奠定了基礎，利用數(shù)據(jù)科學的思想在最大程度上還原區(qū)域教育生態(tài)系統(tǒng)全貌，運用生態(tài)學的理論和方法對區(qū)域教育發(fā)展過程中“教育系統(tǒng)與教育環(huán)境、教育投入與教育產(chǎn)出、教育主體和教育客體”的作用機理進行精準分析，推動數(shù)據(jù)驅動的區(qū)域教育生態(tài)變革。實現(xiàn)對區(qū)域人口、環(huán)境、資源、教育經(jīng)費投入、教師人才結構以及學生家庭社會經(jīng)濟文化狀況等方面的全方位建模分析，研究相關構成要素與區(qū)域教育產(chǎn)出之間的協(xié)同作用關系，探究復雜教育系統(tǒng)的演化機理，實現(xiàn)多模態(tài)數(shù)據(jù)驅動的區(qū)域教育生態(tài)治理，為智能化教育決策的制定提供支持。

四、多模態(tài)學習分析的發(fā)展進路

多模態(tài)學習分析旨在利用“多模態(tài)”的思想和方法對智能教育領域的關鍵問題進行深度詮釋，進而挖掘教育規(guī)律、優(yōu)化學習過程、創(chuàng)新智能服務，推動學習分析研究體系的系統(tǒng)變革，探究“多模態(tài)”驅動的智能教育研究新趨向。本文結合智能教育領域已有研究從多模態(tài)學習分析的基礎理論體系建構、多模態(tài)數(shù)據(jù)集的創(chuàng)建共享、學生認知結構的量化表征、基于多模態(tài)學習分析的智能服務體系以及數(shù)據(jù)安全和倫理道德規(guī)范等方面對多模態(tài)學習分析的研究進路加以論述，以期為后續(xù)相關研究的開展理清方向。

（一）多學科融合的多模態(tài)學習分析理論體系建構

多模態(tài)學習分析研究的開展旨在從系統(tǒng)科學的角度對學習者、學習情境、學習過程等要素進行有機分解，探究教育系統(tǒng)的發(fā)展規(guī)律和演化機理，利用數(shù)據(jù)科學的方法實現(xiàn)對教育現(xiàn)象的解釋和教育規(guī)律的發(fā)現(xiàn)。其研究內(nèi)容涉及教育學、心理學、數(shù)據(jù)科學、腦科學、認知神經(jīng)科學等多個領域。因此，需要從多模態(tài)學習分析研究的實際需要出發(fā)，構建多科學融合的智能教育理論體系，為后續(xù)研究的開展理清方向。其一，借助多媒體學習認知理論探究人類對外界信息的感知、注意和理解模式，構建人類智能和機器智能之間的橋梁，幫助機器更好地模擬人類對外界信息的感知和理解模式，運用多模態(tài)的數(shù)據(jù)采集和分析方法，實現(xiàn)面向教學主體和教學過程的全方位、多層次的建模分析，構建基于多模態(tài)數(shù)據(jù)的感知、加工、理解和應用模式。其二，借助量化學習理論從數(shù)據(jù)層面剖析學習發(fā)生的表征形態(tài)，運用數(shù)據(jù)科學的思想對學習過程進行全方位的建模分析，突出大數(shù)據(jù)“建模、分析、預測”的技術功用，構建面向智慧教育發(fā)展的數(shù)據(jù)化認知方式，為學習者提供個性化的學習支持服務，構建面向未來教育發(fā)展的精準教育服務模式。其三，借助經(jīng)典教育理論詮釋教育發(fā)展規(guī)律。教育是一個復雜系統(tǒng)，多模態(tài)學習分析研究的開展涉及學習者建模、教育情境建模、教育系統(tǒng)建模等多個層次，相關研究內(nèi)容涉及學習者行為、認知、情感、交互以及智慧課堂教學生態(tài)系統(tǒng)和區(qū)域教育生態(tài)系統(tǒng)發(fā)展規(guī)律的詮釋，需要立足于多模態(tài)學習分析研究的實際需要，運用多學科的研究思想對教育規(guī)律加以詮釋，構建多學科融合的理論體系，實現(xiàn)復雜教育系統(tǒng)中教育規(guī)律的發(fā)現(xiàn)和教育現(xiàn)象的解釋。

（二）面向真實教學場景的多模態(tài)數(shù)據(jù)采集與分析

從長遠來看，要推動多模態(tài)學習分析研究的開展并在領域內(nèi)形成規(guī)?；芯矿w系，需要立足于我國教育教學實踐研究開展的實際情況，參照國外先進教學經(jīng)驗，面向真實的教學場景，利用智能感知設備進行多模態(tài)數(shù)據(jù)采集，構建跨越時空的多模態(tài)數(shù)據(jù)融合機制，實現(xiàn)對真實教學場景中相關要素的精準刻畫。同時，加強多模態(tài)學習分析數(shù)據(jù)集的開放力度，鼓勵領域內(nèi)相關學者積極參與多模態(tài)學習分析的相關研究，形成規(guī)?；难芯矿w系，共同推動多模態(tài)學習分析研究的開展。

多模態(tài)數(shù)據(jù)的融合分析旨在對同一時空情境下學習者的語音、文本、視頻、眼動、腦電等數(shù)據(jù)進行精準化的采集和融合分析，是多模態(tài)機器學習領域研究的重點，也是破解多模態(tài)學習分析領域技術壁壘的關鍵。需要探究多模態(tài)數(shù)據(jù)的對齊和融合機制，借由多模態(tài)數(shù)據(jù)之間的信息互補，提升學習分析的準確度，充分借鑒人工智能領域成熟的技術模型，構建面向單一模態(tài)的數(shù)據(jù)感知通道，再借由多模態(tài)融合算法實現(xiàn)多模態(tài)信息的深度融合，進而提升多模態(tài)學習分析的準確度。

（三）基于多模態(tài)數(shù)據(jù)的學生認知結構量化表征

人工智能領域相關研究的最終目標是在最大程度上幫助機器模擬人的感覺、思維模式，借助算力的提升和算法的優(yōu)化實現(xiàn)智能感知與預測。智慧學習空間中關于人的行為、認知、情感、交互的量化表征是多模態(tài)學習分析相關研究開展的重點，如何在保證數(shù)據(jù)真實有效的前提下對學習者的行為模式、認知狀態(tài)、情感態(tài)度進行準確表征，挖掘學習者認知情感狀態(tài)的協(xié)同進化機理，對多模態(tài)學習分析研究的開展帶來了極大挑戰(zhàn)。需要在認知神經(jīng)科學和量化學習理論的指導下，實現(xiàn)面向真實教學場景的實踐探索，利用多模態(tài)學習分析技術對學習者和學習過程進行準確表征，挖掘其中潛藏的教育發(fā)展規(guī)律;結合教育學、心理學、腦科學、認知神經(jīng)科學的研究內(nèi)容，對智慧學習空間中的學習發(fā)生機制進行深層次的挖掘分析，構建面向智慧學習空間的符號表征體系和信息加工通道，利用智能分析技術模擬其中的意義建構模式，實現(xiàn)學生認知結構的量化表征。

（四）基于多模態(tài)學習分析的智能教育服務模式

多模態(tài)學習分析的研究愿景是通過多模態(tài)數(shù)據(jù)的采集、分析、應用、反饋，賦予傳統(tǒng)學習分析新的價值意蘊，拓展教育科學研究的廣度和深度，創(chuàng)設多模態(tài)學習分析支持下的智慧教育新樣態(tài)。智能技術的引入能夠為教學過程的改進和教學結果的優(yōu)化提供全方位支持，促進智能技術與真實教學場景的有機融合，構建基于智能化數(shù)據(jù)“采集、分析、應用、反饋”的數(shù)據(jù)閉環(huán)，強調智能技術支持下的人與機器的協(xié)同發(fā)展，強化“教學智慧、學習智慧、數(shù)據(jù)智慧”的深度融合，為教學決策的制定和學習計劃的生成提供支持，有助于創(chuàng)新教育科學研究范式、優(yōu)化智能教育服務模式，實現(xiàn)數(shù)據(jù)驅動的教育系統(tǒng)精準治理。（1）實現(xiàn)系統(tǒng)精準學習測評。借助智能診斷技術，對學生的“認知發(fā)展狀況一行為表達模式一情感發(fā)生機制一學習交互模式”等方面進行精準化的建模分析，為學習者提供個性化的資源推薦和學習路徑規(guī)劃服務;（2）推動智慧課堂精準教學。通過對教師教學行為、教學內(nèi)容、教學資源、教學媒體以及學生表現(xiàn)的全方位建模，分析課堂教學的構成要素對學生學習表現(xiàn)的影響機理，為教師提供智能化的教學設計策略，創(chuàng)設數(shù)據(jù)支持的智慧課堂教學模式[3];（3）創(chuàng)設課堂精準治理體系。實現(xiàn)面向教師、學生、教學環(huán)境、教學媒體、教學資源的時序性、細粒度建模分析，挖掘物理環(huán)境、社會環(huán)境、心理環(huán)境等要素對學習過程和學習結果的影響機理，分析教學成功的構成要素，形成數(shù)據(jù)啟發(fā)式的教學決策模式，優(yōu)化智慧課堂精準管理的體制與機制，實現(xiàn)面向智慧課堂的精準治理;（4）重構智能教育評價模式。教育改革發(fā)展新時期，完善教育評價體系，變革教育評價機制，是現(xiàn)代教育教學快速發(fā)展的現(xiàn)實需求，也是智能時代優(yōu)化教育供給模式、完善教育服務體系的重要依據(jù)。需要從宏觀層面構建智能時代教育評價的邏輯框架，實現(xiàn)面向“教師、學生、學校、區(qū)域”的全方位測評，實現(xiàn)數(shù)據(jù)驅動的精準化教育評價模式，推動評價方法的科學化;（5）變革教育科學研究范式。多模態(tài)數(shù)據(jù)的采集為教育研究的開展提供了多元的數(shù)據(jù)支持，對教育實證研究的開展帶來了新的發(fā)展契機，強化數(shù)據(jù)科學與教育研究的深度融合，實現(xiàn)數(shù)據(jù)驅動的“循證式”教育科學研究[31]，探究深層次的教育發(fā)展規(guī)律，為教育教學實踐活動的開展提供有益指導。

（五）面向多模態(tài)學習分析的數(shù)據(jù)安全和倫理道德規(guī)范

教育數(shù)據(jù)倫理是大數(shù)據(jù)時代教育領域關于道德重構的哲學研究[32]，關注大數(shù)據(jù)從業(yè)人員的道德信念和行為規(guī)范，通過制定相應的法律法規(guī)和行業(yè)規(guī)范，保障數(shù)據(jù)采集分析工作的開展能夠真正推動行業(yè)的良性發(fā)展。多模態(tài)學習分析研究開展需要在腦科學、認知科學、數(shù)據(jù)科學的指導下，借助多種智能傳感設備對學生進行多模態(tài)的數(shù)據(jù)采集，探究學習者的認知、行為、情感發(fā)展狀況，進而為教師、學生、管理者提供智能化的教育支持服務。所需數(shù)據(jù)的多樣性、時序性、層次性將在極大程度上揭示個體學習發(fā)生的內(nèi)在機理，對人工智能時代的數(shù)據(jù)安全和倫理道德問題帶來極大挑戰(zhàn)。如何保證學習數(shù)據(jù)不被不法分子獲取，保障學習者的隱私不被披露，需要在政策層面加強教育大數(shù)據(jù)的立法工作，制定行業(yè)發(fā)展的職業(yè)道德規(guī)范，構建面向實踐層面的數(shù)據(jù)脫敏機制，明確教育主體的數(shù)據(jù)權力，形成行業(yè)工作人員可以遵循的行為規(guī)范，使得數(shù)據(jù)安全問題不會阻礙人工智能時代教育科學研究的開展。

五、總結和展望

多模態(tài)學習分析對于學習分析研究的開展具有多元的價值意蘊，能夠在極大程度上推動認知診斷、情感計算、交互分析、場景感知、學習者建模等研究領域的發(fā)展，為智能教育領域研究的開展提供理論和技術支持，有助于在更深層次上探究人工智能時代的學習發(fā)生機制，促進智能教育領域研究體系的變革。在智能技術快速發(fā)展的時代背景下，強化認知神經(jīng)科學理論與智能感知技術的深度融合，推動多模態(tài)學習分析在教育研究實踐中的廣泛應用，促進其理論體系和技術模型的完善，將在極大程度上拓展學習分析的研究范疇，促進智慧教育生態(tài)的變革。后期將在現(xiàn)有研究的基礎上，強化對情感計算、情境感知、交互分析等具體應用領域的探索，挖掘多模態(tài)學習分析的深層次價值內(nèi)涵和技術服務模式，加深對多模態(tài)學習分析機制的理解，推動多模態(tài)學習分析領域的長足發(fā)展。

參考文獻：

[1] Kress G，Leeuwen T V V.Multimodal discourse：the modes and media ofcontemporary communication [M].London：Edward Amold，2001.

[2]王慧君，王海麗.多模態(tài)視域下翻轉課堂教學模式研究[J]電化教育研究，2015.36（12）：70-76.

[3] Kress （;.MultimodalitTA Social Semiotic Approach to ContemporaryCommunication [J].Joumal of Ptagmatics，2010，43（14）：3624-3626.

[4] Lahat D，Adali T.et aI.Multimodal data fusion：an overviewof methods，challenges，and prospects [J].Proceedings of theIEEE.2015，103 （9）：1449-1477.

[5] Clark J M，Paivio A.Dual Coding Theory and Education [J].EducationalPsychological and Review，1991.2（3）：149-210.

[6] Mayer R E.Applying the science of learning to medical education[J]. Medical Education，2010.44（6）：543-549.

[7] Schnotz W.Bannert M.Construction and interferenc.e inlearning from multiple representation [J].Learning andInstruction.2003.13（2）： 141-156.

[8]李松清，趙慶柏等.多媒體學習中圖文加工的認知神經(jīng)機制[J].心理科學進展，2015.23（ 8）：1361-1370.

[9]張琪，李福華等.多模態(tài)學習分析：走向計算教育時代的學習分析 學[J].中國電化教育，2020，（9）：7-14+39.

[10]肖睿，肖海明等.人工智能與教育變革：前景、困難和策略[J]中國電化教育，2020，（4）：75-86.

[11]BaltruS aitis T，Ahuja C，et al.Multimodal Machine Leaming：A Surveyand Taxonomy [J].IEEE Transactions on Pattern Analysis and MachineIntelligence，2018.41（2）t423-443.

[12] Soleymani M.Carcia D.et aI.A survey of multimodal sentimentanalysis[J].lmage and Vision Computing，2017，65：3-14.

[13]田陽，陳鵬等.面向混合學習的多模態(tài)交互分析機制及優(yōu)化策略[J].電化教育研究，2019，40（9）：67-74.

[14] Wollmer M，Weninger F，et aI.YouTube Movie Reviews：SentimentAnalysis in an Audio-Visual Context [J].IEEE IntelligentSystems.2013，28（3）：46-53.

[15]鐘薇，李若晨等.學習分析技術發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]中國遠程教育，2018，（11）：41-49.

[16]李香勇，左明章等.學習分析的研究現(xiàn)狀與未來展望-2016年學習分析和知識國際會議述評[J]開放教育研究，2017，23（1）：46-55.

[17]吳永和，李若晨等.學習分析研究的現(xiàn)狀與未來發(fā)展——2017年學習分析與知識國際會議評析[J]開放教育研究，2017，23（5）：42-56.

[18]吳忭，彭曉玲等.教育研究的去蕪存菁之路：從多模態(tài)敘事到證據(jù)公平——美國AERA 2019年會述評[J].遠程教育雜志，2019，37（4）：13-23.

[19] Scherer S，Worsley M，et al.lst international workshop onmultimodal learning analytics [A].Proceedings of the 14th ACMinternational conference on multimodal interaction [C].NewYork：ACM.2012：353-356.

[20] Worsley M.Abrahamson D.et aI.Multiruodal learning analytics [A].Proceedings of the 12th International Conference of the LearningSciences，ICLS[C].New York：ACM.2016.1346-1349.

[21] Hossain M S.Muhammad G.Emotion recognition using deep learningapproach from audio-visual emotional hig data [J].lnformationFusion.2019.49：69-78.

[22] Korhonen H.Arrasvuori J.et al.Analysing user experience of personalmobile products through contextual factors [A].Proceedings of the 9thInternational Conference on Mohile and Ubiquitous Multimedia [C].Limassol，Cyprus：ACM.2010.1一10.

[23]田陽，萬青青等.多空間融合視域下學習環(huán)境及學習情境探究[J].中國電化教育，2020.（3）：123-130.

[24]黃濤，王一巖等.智能教育場域中的學習者建模研究趨向[J]遠程教育雜志，2020.38（1）：50-60.

[25]李松林課堂教學行為分析引論叫教育理論與實踐，2005，25（4）：48-51.

[26] Andrade A.Understanding student learning trajectories usingmultimodal learning analytics within an emhodied-interaction learningenvironment [A].Proceedings of the Seventh International LearningAnalytics&Knowledge Conference [C].Vancouvera：ACM.201 7.70-79.

[27]黃志芳，趙呈領等.基于情境感知的適應性學習路徑推薦研究[J].電化教育研究，2015.36（5）：77-84.

[28]李逢慶，尹苗等智慧課堂生態(tài)系統(tǒng)的構[J].中國電化教育，2020.（6}58-64.

[29]劉三女牙，李卿等.量化學習：數(shù)字化學習發(fā)展前瞻[J].教育研究，2016， 37（7）：119-126.

[30]劉邦奇.智能技術支持的“因材施教”教學模式構建與應用——以智慧課堂為例[J]中國電化教育，20207（9）：30-39.

[31]管玨琪，孫一冰等.智慧教室環(huán)境下數(shù)據(jù)啟發(fā)的教學決策研究[J].中國電化教育，2019，（2）：22-28+42.

[32]劉三女牙，楊宗凱等.教育數(shù)據(jù)倫理：大數(shù)據(jù)時代教育的新挑戰(zhàn)[J].教育研究，2017，38（4）：15-20.

作者簡介：

王一巖：在讀博士，研究方向為智能教育、情感計算。

王楊春曉：在讀博士，研究方向為教育認知神經(jīng)科學、科學教育。

鄭永和：教授，博士生導師，研究方向為智能教育、科學教育、教育信息科學與技術、科技與教育政策。