尹睿 何淑茵

[摘 ? 要] 在“互聯(lián)網(wǎng)+教育”時代，混合學(xué)習(xí)是高等教育的主流教學(xué)形態(tài)，學(xué)習(xí)投入是衡量混合學(xué)習(xí)質(zhì)量的重要指標。循證教學(xué)評價關(guān)注全過程教學(xué)證據(jù)的多源采集，強調(diào)對教學(xué)過程及其成效做出多維評估與測量，為混合學(xué)習(xí)投入評價提供新思路。文章借鑒循證教學(xué)評價的思路，結(jié)合混合學(xué)習(xí)線上線下融合的特點，從“學(xué)習(xí)活動—學(xué)習(xí)投入—學(xué)習(xí)數(shù)據(jù)”的對應(yīng)關(guān)系，建立起混合學(xué)習(xí)投入評價的多源數(shù)據(jù)表征模型；從行為、認知、情感與社交四個層面確立了混合學(xué)習(xí)投入評價的多源數(shù)據(jù)融合方法；進而提出了基于多源數(shù)據(jù)的混合學(xué)習(xí)投入評價過程，包含數(shù)據(jù)采集、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、解釋與決策四個階段。通過實證研究發(fā)現(xiàn)，在混合學(xué)習(xí)課程中，來自在線教學(xué)平臺日志、課堂教學(xué)錄像、學(xué)習(xí)表現(xiàn)與成效等多源數(shù)據(jù)能較為準確測評學(xué)生混合學(xué)習(xí)投入類型與表現(xiàn)，并對混合學(xué)習(xí)投入狀態(tài)有著良好預(yù)測。

[關(guān)鍵詞] 循證教學(xué)評價； 混合學(xué)習(xí)投入； 多源數(shù)據(jù)

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 尹睿（1979—），女，廣東惠州人。副教授，博士，主要從事教學(xué)系統(tǒng)設(shè)計、課程與教學(xué)論、教師專業(yè)發(fā)展等研究。E-mail： littleyin79@163.com。

一、引 ? 言

“互聯(lián)網(wǎng)+教育”背景下，混合學(xué)習(xí)正在成為高校課程教學(xué)的“新常態(tài)”[1]?；旌蠈W(xué)習(xí)是通過有機統(tǒng)整在線學(xué)習(xí)和面授教學(xué)的優(yōu)勢，為學(xué)習(xí)者提供靈活的學(xué)習(xí)時間和空間，有效提高學(xué)習(xí)者學(xué)習(xí)效能的一種新的教學(xué)形態(tài)。加里森（Garrison，D.R.）等人指出，讓學(xué)習(xí)者有更多學(xué)習(xí)投入是混合學(xué)習(xí)的核心?；旌蠈W(xué)習(xí)在本質(zhì)上是以提高學(xué)習(xí)投入水平為重要目標的教學(xué)重構(gòu)過程[2]。然而，目前關(guān)于混合學(xué)習(xí)投入的研究多集中在面對面與在線教學(xué)環(huán)境下影響因素的探查，比如，技術(shù)支持[3]、教師教學(xué)行為[4]、學(xué)習(xí)者學(xué)習(xí)經(jīng)驗與自我效能感[5]等，有關(guān)混合學(xué)習(xí)投入評價研究相對甚少，且混合學(xué)習(xí)的跨時空特性及學(xué)習(xí)投入結(jié)構(gòu)的多維性，更是加大了這類研究的難度。

隨著信息科技的發(fā)展，教育數(shù)據(jù)的重要性逐步顯現(xiàn)?？鐣r空、跨模態(tài)數(shù)據(jù)為評價的全過程提供證據(jù)，其匯聚與融合實現(xiàn)了對投入的客觀理解與深刻洞察。這與循證教學(xué)評價（Evidence-based Evaluation）的思想一致。循證教學(xué)評價是循證教育的分支，它是以教學(xué)評價理論、數(shù)據(jù)科學(xué)技術(shù)、教學(xué)分析方法為基礎(chǔ)，以全教學(xué)數(shù)據(jù)鏈為抓手，對教學(xué)的整個過程及其成效進行多維評估與測量的一種方法[6]?；诖耍狙芯坎捎枚喾N方式和手段追蹤學(xué)習(xí)者的混合學(xué)習(xí)過程，采集和挖掘?qū)W習(xí)者在混合學(xué)習(xí)環(huán)境中多種來源的數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)化為評價學(xué)生混合學(xué)習(xí)投入水平的證據(jù)。那么，如何從多源異構(gòu)數(shù)據(jù)中評價混合學(xué)習(xí)投入，本研究嘗試對這一問題進行深入分析，以期為高?；旌辖虒W(xué)質(zhì)量評價提供實踐借鑒。

二、混合學(xué)習(xí)投入評價相關(guān)研究概述

（一）混合學(xué)習(xí)投入測量的研究

測量是指通過某種合適的工具或者儀器（Instrument）確定客體（Object）在某種屬性（Attribute）上的量（Magnitude）的過程[7]。學(xué)習(xí)投入的測量方式一般包括定量自我報告法（調(diào)查問卷或量表等）、定量觀察法（行為發(fā)生的頻率或頻率的分數(shù)）、定性方法（訪談、開放性問題、話語分析或觀察等）、其他（生理傳感器等）[8]。

由于學(xué)習(xí)投入是一個多結(jié)構(gòu)的概念，各投入維度的測量方式不盡相同。在行為投入上，研究者多采集在線學(xué)習(xí)平臺的日志記錄數(shù)據(jù)[9]、視頻監(jiān)控/拍攝學(xué)習(xí)過程數(shù)據(jù)[10]、自我報告數(shù)據(jù)等，用統(tǒng)計分析、內(nèi)容分析等方法，再輔以滯后序列分析、關(guān)聯(lián)規(guī)則、相關(guān)分析等數(shù)據(jù)挖掘方法得到行為投入值。在認知投入上，研究者通過內(nèi)容分析法對學(xué)習(xí)者的課程作業(yè)、討論文本等進行分析，判斷學(xué)習(xí)者的認知層次[11]。在情感投入上，研究者以自我報告的方法測量學(xué)習(xí)者對混合學(xué)習(xí)的態(tài)度、情感體驗以及團隊認同感。在社交投入上，研究者基本通過社會網(wǎng)絡(luò)分析法探究學(xué)生個體在群體中的位置和親密度[12]。

隨著人工智能技術(shù)、傳感技術(shù)與影像技術(shù)的發(fā)展，融合多源數(shù)據(jù)測評學(xué)習(xí)投入已成為發(fā)展趨勢。如，張琪等運用學(xué)習(xí)者瞬時行為數(shù)據(jù)、內(nèi)容交互數(shù)據(jù)、情境交互數(shù)據(jù)等表征學(xué)習(xí)投入[13]。當前，有研究揭示學(xué)習(xí)投入應(yīng)關(guān)注數(shù)據(jù)取樣的縱向密集性，強調(diào)數(shù)據(jù)應(yīng)通過經(jīng)驗取樣法密集縱向收集多個時間點的數(shù)據(jù)，以減少橫斷面（Cross-sectional）數(shù)據(jù)滯后效應(yīng)帶來結(jié)論偏差 [14]。如，吳軍其等基于學(xué)習(xí)過程的角度，運用視頻、音頻、日志、生理和自我報告等數(shù)據(jù)測量智慧課堂協(xié)作學(xué)習(xí)投入[15]。上述學(xué)者對學(xué)習(xí)投入的測量方式，為混合學(xué)習(xí)投入測量提供了思路。但是，運用多源數(shù)據(jù)融合對混合學(xué)習(xí)投入進行測量的案例和實踐研究較少。

（二）混合學(xué)習(xí)投入評價模型的研究

學(xué)習(xí)評價是依據(jù)明確的目標，按照一定標準采用科學(xué)方法，測量對象的功能、品質(zhì)和屬性，并對評價對象做出的價值性判斷。隨著多源數(shù)據(jù)的采集與綜合分析的作用凸顯，不少研究者聚焦數(shù)據(jù)角度提出學(xué)習(xí)評價的過程模型。例如，黃濤等人提出了“數(shù)據(jù)驅(qū)動的精準化學(xué)習(xí)評價”，包括多場景數(shù)據(jù)采集、多空間數(shù)據(jù)融合、精準分析模型構(gòu)建和分析結(jié)果可視化四個部分 [16]。毛剛等人提出融合教育大數(shù)據(jù)的教學(xué)評價框架，包括目標列表化、智能技術(shù)聯(lián)結(jié)學(xué)習(xí)進程、根據(jù)成功標準建立證據(jù)類型、確定獲取證據(jù)的方法、建立模型解釋證據(jù)、可視化反饋和行動七個環(huán)節(jié)[17]。張家華等人提出了多模態(tài)學(xué)習(xí)分析技術(shù)支持的學(xué)習(xí)評價流程，包括確立目標、獲取數(shù)據(jù)、建立模型、提供反饋四個動態(tài)循環(huán)的環(huán)節(jié)[18]。

然而，綜觀已有學(xué)習(xí)評價的研究，專門針對混合學(xué)習(xí)投入評價的研究相對較少。只有少數(shù)研究將學(xué)習(xí)投入納入混合學(xué)習(xí)學(xué)業(yè)評價模型中。如，王慧君等人將學(xué)習(xí)投入作為混合學(xué)習(xí)學(xué)業(yè)評價的證據(jù)之一，提出基于證據(jù)的高?；旌蠈W(xué)習(xí)課程學(xué)業(yè)評價模型，包括識別證據(jù)、創(chuàng)設(shè)證據(jù)、采集證據(jù)、鑒定證據(jù)、分析證據(jù)、解釋證據(jù)和使用證據(jù)七大步驟[19]。

三、混合學(xué)習(xí)投入評價的多源數(shù)據(jù)表征

混合學(xué)習(xí)是一個復(fù)雜的過程，學(xué)習(xí)者在線上線下融合的學(xué)習(xí)過程中的行為、認知、情感、社交等方面的表現(xiàn)會隨著學(xué)習(xí)情境不斷發(fā)生變化。因此，對線上線下融合的學(xué)習(xí)情境中的數(shù)據(jù)進行全樣本分析，有助于解釋學(xué)習(xí)者的學(xué)習(xí)投入狀態(tài)與特征。然而，線上線下數(shù)據(jù)并非簡單的疊加，需要基于教學(xué)活動序列特征進行關(guān)聯(lián)重組，形成具有教學(xué)意義的數(shù)據(jù)閉環(huán)?；诖?，本研究采用“學(xué)習(xí)活動—學(xué)習(xí)投入—學(xué)習(xí)數(shù)據(jù)”的三層結(jié)構(gòu)表征模型（如圖1所示），建立起多源數(shù)據(jù)與混合學(xué)習(xí)投入評價的關(guān)系映射，即不同類型的學(xué)習(xí)活動反映不同的混合學(xué)習(xí)投入，并由不同采集技術(shù)獲得的不同類型的數(shù)據(jù)加以表征。

（一）混合學(xué)習(xí)活動層

從歷時態(tài)角度看，混合學(xué)習(xí)活動大致可分為四種類型：自主學(xué)習(xí)型、自由交流型、小組協(xié)作型、自我反思型。自主學(xué)習(xí)型，即學(xué)習(xí)者圍繞學(xué)習(xí)目標與任務(wù)，借助在線課程平臺、網(wǎng)絡(luò)學(xué)習(xí)空間、認知工具等進行自主建構(gòu)的活動。自由交流型，即學(xué)習(xí)者與教師或其他學(xué)習(xí)者個體之間通過面對面或者利用討論區(qū)、QQ、騰訊會議、移動學(xué)習(xí)工具等進行個別化交互的活動。小組協(xié)作型，即學(xué)習(xí)者以小組形式圍繞問題、主題或項目進行協(xié)商論證、生成制品的活動。自我反思型，即學(xué)習(xí)者對自身的學(xué)習(xí)過程、方法、收獲與不足等做出檢視與調(diào)節(jié)。不同類型活動有著不同操作流程，見表1。

（二）混合學(xué)習(xí)投入層

弗雷德里克斯（Fredricks，J.A.）等人將學(xué)習(xí)投入分為三個既獨立又相互關(guān)聯(lián)的維度：行為投入（Behavioral Engagement）、認知投入（Cognitive Engagement）和情感投入（Emotional Engagement）[20] 。由于混合學(xué)習(xí)強調(diào)通過師生之間的社會性交互促進面授教學(xué)與在線學(xué)習(xí)的優(yōu)勢整合，重視學(xué)習(xí)者建立學(xué)習(xí)共同體來深度建構(gòu)知識，所以，師生之間、生生之間的線上與線下融合互動是混合學(xué)習(xí)的重要組成部分?？梢姡诵袨橥度?、認知投入與情感投入外，社交投入也是混合學(xué)習(xí)投入的關(guān)鍵維度。

行為投入是指學(xué)習(xí)者在學(xué)習(xí)活動中的主動參與或物理卷入，其水平主要表現(xiàn)為：（1）完成度，即學(xué)習(xí)者按時按質(zhì)完成課堂和在線學(xué)習(xí)任務(wù)的堅持程度與付出時間；（2）積極性，即學(xué)習(xí)者對課堂以及在線學(xué)習(xí)任務(wù)的響應(yīng)時間與努力程度。

認知投入指學(xué)習(xí)者在面授教學(xué)和在線學(xué)習(xí)環(huán)境中完成學(xué)習(xí)任務(wù)的智力努力程度。其投入水平主要表現(xiàn)為：（1）認知深度，即學(xué)習(xí)者對學(xué)習(xí)任務(wù)的加工處理程度。朱（Zhu，E.）依據(jù)布盧姆的認知目標分類，從認知過程由淺到深的角度，提出了認知投入分析七個層次，包括無效、回應(yīng)（Responding）、信息（Information）、解釋（Explanatory）、分析（Analytical）、綜合（Synthesizing）和評價（Evalulative）[21]。（2）認知廣度，即學(xué)習(xí)者在完成學(xué)習(xí)任務(wù)中采用學(xué)習(xí)策略將新知識與已掌握知識、線上知識與面授知識建立聯(lián)系的緊密程度。

情感投入關(guān)注學(xué)習(xí)者對自我學(xué)習(xí)效能感、對環(huán)境的歸屬感以及對學(xué)術(shù)活動的情感體驗[22]。其水平主要表現(xiàn)為：（1）自我效能感，即學(xué)習(xí)者對完成混合學(xué)習(xí)任務(wù)勝任力的自我判斷。（2）歸屬感，指學(xué)習(xí)者對自己在班級或者線上社群中的身份認同、人際情感依戀、主人翁意識等。（3）情緒狀態(tài)，是學(xué)習(xí)者對混合學(xué)習(xí)的情緒反應(yīng)，如熱情、愉悅、享受的積極情緒或者厭煩、焦慮、無聊的消極情緒。

社交投入是學(xué)習(xí)者為促進信息動態(tài)流動，有意識地與他人進行意義協(xié)商與協(xié)同創(chuàng)造所付出的努力。其水平主要表現(xiàn)為（1）交互深度，即學(xué)習(xí)者對他人提出問題、發(fā)表言論做出回應(yīng)的貢獻度。本研究借鑒古納沃德納（Gunawardena，C.N.）提出的社會交互分析五層次，分別為P1代表與他人分享、比較信息；P2代表發(fā)現(xiàn)與探索與他人觀點、概念或聲明等方面的不同；P3代表與他人進行意義協(xié)商，共同構(gòu)建知識；P4代表檢驗和修改他人提供的意見；P5代表一致性陳述/應(yīng)用新知識結(jié)構(gòu)的意義[23]。（2）交互廣度，即學(xué)習(xí)者主動與教師或者學(xué)習(xí)伙伴建立和維持聯(lián)系的程度，包括在課堂上與同伴進行面對面討論的次數(shù)、對教師提問的回答次數(shù)、在線上回復(fù)或點贊帖子的次數(shù)、主動向?qū)W習(xí)伙伴分享經(jīng)驗的次數(shù)等。

（三）混合學(xué)習(xí)數(shù)據(jù)層

循證教學(xué)評價注重對教學(xué)證據(jù)的多源采集，教學(xué)證據(jù)是對教與學(xué)過程和結(jié)果信息的集合。通過融合多個來源的證據(jù)，共同表征某一類學(xué)習(xí)指標，以客觀準確地評估學(xué)習(xí)者的學(xué)習(xí)狀態(tài)?；旌蠈W(xué)習(xí)的行為投入、認知投入、情感投入和社交投入可以通過教學(xué)平臺日志數(shù)據(jù)、課堂錄像數(shù)據(jù)、學(xué)生表現(xiàn)與成效數(shù)據(jù)等作為教學(xué)證據(jù)。利用教學(xué)平臺日志數(shù)據(jù)，可以記錄學(xué)習(xí)者在線學(xué)習(xí)活動印記。例如，學(xué)習(xí)時長、學(xué)習(xí)頻率、作業(yè)提交時間等可用于表征行為投入；過程作業(yè)、反思日志等可用于表征認知投入；發(fā)帖內(nèi)容、發(fā)帖次數(shù)等可用于表征社交投入。利用課堂錄像數(shù)據(jù)，可以捕捉學(xué)習(xí)者的課堂學(xué)習(xí)活動表現(xiàn)。例如，舉手次數(shù)可以表征行為投入；回答問題的言語內(nèi)容可以表征認知投入。利用學(xué)生表現(xiàn)與成效數(shù)據(jù)，可以提取學(xué)習(xí)者的學(xué)習(xí)狀態(tài)與結(jié)果。例如，情感自我報告可以表征情感投入。

四、混合學(xué)習(xí)投入評價的多源數(shù)據(jù)融合

循證教學(xué)評價強調(diào)利用多源數(shù)據(jù)互補、互證、互融的特點解釋教學(xué)全過程。由于學(xué)習(xí)投入結(jié)構(gòu)的多維性和混合學(xué)習(xí)活動組織的靈活性，不同活動中不同維度的量綱以及所占權(quán)重存在差異，需要首先通過標準化方法對量化后的數(shù)據(jù)進行處理，以消除量綱的影響，保證分析結(jié)果在數(shù)據(jù)比較上的一致性問題；然后借助客觀賦權(quán)法實現(xiàn)權(quán)重的自動賦值，以反映數(shù)據(jù)本身的特性，減少主觀因素的影響；最后通過線性加權(quán)法實現(xiàn)二級維度的融合。

（一）行為投入的數(shù)據(jù)融合

如前述，行為投入水平由完成度與積極性加以表示。完成度Fn可分解為“是否有學(xué)習(xí)行為f1n”和“學(xué)習(xí)行為的發(fā)生時長f2n”兩個指標。f1n可通過兩種方式確定：對于有明顯學(xué)習(xí)結(jié)果輸出的（如在平臺上回答問題）直接記為有效，輸出1；對于無明顯學(xué)習(xí)結(jié)果輸出的（如視頻觀看等），則通過行為完成時間tne與行為開始時間tns做差并與理論完成時間δn對比可得，即 ?。f2n表示為行為完成時間tne與行為開始時間tns的差。

積極性An可分解為“及時學(xué)習(xí)水平a1n”“主動提問次數(shù)a2n”“主動回答次數(shù)a3n”“拓展資源訪問次數(shù)a4n”和“測驗次數(shù)a5n”五個指標。其中，a1n可以通過學(xué)習(xí)者行為完成時間tne與任務(wù)發(fā)布時間tnp做差并設(shè)置閾值φ所得[24]，即φ。

（二）認知投入的數(shù)據(jù)融合

如前述，認知投入水平由認知深度與認識廣度加以表示。認知深度Dn由“認知深度層次d1n”指標表示，采用朱（Zhu，E.）提出的認知投入分析框架，將學(xué)習(xí)者發(fā)表的內(nèi)容按照語義單元切割后編碼為無效、回應(yīng)、信息、解釋、分析、綜合和評價，分別賦值0、1、2、3、4、5、6，取最大值作為d1n的值。認知廣度Rn由“領(lǐng)域關(guān)鍵詞數(shù)量r1n”指標表示，關(guān)鍵詞由學(xué)科專業(yè)名詞和主題相關(guān)術(shù)語共同確定。

（三）情感投入的數(shù)據(jù)融合

如前述，情感投入水平由自我效能感、歸屬感與情緒狀態(tài)加以表示。自我效能感En、歸屬感Cn通過自我報告的方式獲得，可由“自我效能感平均得分e1n”和“歸屬感平均得分c1n”指標表示。而情緒狀態(tài)Mn可由“情緒狀態(tài)平均得分m1n”和“積極與消極情緒次數(shù)m2n”兩個指標表示。m1n數(shù)據(jù)來源于自我報告，可以表示為積極情緒（記為+1）與消極情緒（記為-1）的加權(quán)值。m2n數(shù)據(jù)來源于傳感器或視頻攝錄，可以表示為出現(xiàn)的積極情緒（記為+1）次數(shù)與消極情緒（記為-1）次數(shù)總和。

（四）社交投入的數(shù)據(jù)融合

如前述，社交投入水平由交互深度與交互廣度加以表示。交互深度Qn由“交互內(nèi)容層次q1n”指標表示，采用古納沃德納（Gunawardena，C.N.）的社會交互分析五層次結(jié)構(gòu)，將具有交互性質(zhì)的帖子或發(fā)言轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，即按照知識建構(gòu)程度將內(nèi)容編碼為1、2、3、4、5，取最大值作為q1n的值。交互廣度Bn由“與人交互次數(shù)b1n”指標表示。

五、基于多源數(shù)據(jù)的混合學(xué)習(xí)投入評價流程

循證教學(xué)評價呈現(xiàn)出“數(shù)據(jù)驅(qū)動”的特點，形成數(shù)據(jù)采集、特征選擇、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合、態(tài)勢估計、反饋決策的評價流程。該流程以多源數(shù)據(jù)采集為出發(fā)點，通過數(shù)據(jù)充足、數(shù)據(jù)歸并、數(shù)據(jù)建模對教學(xué)評測的各項數(shù)據(jù)進行系統(tǒng)化分析，進而形成多維教學(xué)評測結(jié)果，為教師提供有效反饋與精準決策[6]?；诖?，本研究提出了基于多源數(shù)據(jù)的混合學(xué)習(xí)投入評價流程（如圖2所示）。

（一）數(shù)據(jù)采集階段

在數(shù)據(jù)采集階段，結(jié)合混合學(xué)習(xí)的線上線下融合特點，主要采集教學(xué)平臺日志、課堂教學(xué)錄像、學(xué)生表現(xiàn)與成效等數(shù)據(jù)。為了保證評價的全面性與精確性，需要采集全體數(shù)據(jù)，而不是抽樣數(shù)據(jù)。因此，教師在設(shè)計與組織混合學(xué)習(xí)活動時，應(yīng)建立起全流程采集數(shù)據(jù)的意識，在線上與線下學(xué)習(xí)活動中留存學(xué)習(xí)投入證據(jù)，使學(xué)習(xí)投入證據(jù)數(shù)字化，為后續(xù)學(xué)習(xí)投入的多維評價提供數(shù)據(jù)支撐。

（二）數(shù)據(jù)關(guān)聯(lián)階段

在數(shù)據(jù)關(guān)聯(lián)階段，首先，對存在噪聲的原始數(shù)據(jù)進行清洗，排除缺失值、異常值、重復(fù)數(shù)據(jù)等對評價的影響；其次，通過數(shù)據(jù)標注、統(tǒng)計處理和標準化等方式將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)、實現(xiàn)數(shù)據(jù)的初步聚合、解決量綱不一的問題；再次，將初步處理后的數(shù)據(jù)以學(xué)習(xí)活動組織時間段為單位進行對齊，使數(shù)據(jù)具備情境化、軌跡化與序列化；最后，按照混合學(xué)習(xí)行為投入、認知投入、情感投入與社交投入的特征實現(xiàn)數(shù)據(jù)與投入的多對一表征或一對多表征，形成混合學(xué)習(xí)投入證據(jù)集。

（三）數(shù)據(jù)融合階段

在數(shù)據(jù)融合階段，將多種線上數(shù)據(jù)與線下數(shù)據(jù)在空間、時間上的冗余與互補的信息聯(lián)合、相關(guān)和組合，以形成對混合學(xué)習(xí)投入一致性解釋與描述。通常而言，有數(shù)據(jù)層融合、特征層融合和決策層融合。數(shù)據(jù)層融合是針對某個混合學(xué)習(xí)活動的不同來源數(shù)據(jù)，采用基于自適應(yīng)加權(quán)、基于相關(guān)函數(shù)的方法等實現(xiàn)數(shù)據(jù)融合。特征層融合是聚焦混合學(xué)習(xí)活動序列中不同來源數(shù)據(jù)，對其特征進行提取并采用機器學(xué)習(xí)算法實現(xiàn)數(shù)據(jù)融合。決策層融合是從混合學(xué)習(xí)的全場域全流程角度對不同來源數(shù)據(jù)進行一系列處理（包括預(yù)處理、特征提取、識別或判決等）后，先形成多個數(shù)據(jù)模型，再對模型進行組合完成數(shù)據(jù)融合。

（四）解釋與決策階段

在解釋與決策階段，針對數(shù)據(jù)融合階段做出的數(shù)據(jù)關(guān)聯(lián)，給予客觀解釋與態(tài)勢預(yù)測，進而做出教學(xué)決策。在解釋數(shù)據(jù)前，需要對前期數(shù)據(jù)的采集、處理與分析過程進行審視和分析，避免因失誤對后續(xù)評價結(jié)果帶來偏差。審視時需要考慮：是否將現(xiàn)有的數(shù)據(jù)采集途徑很好地融合到學(xué)習(xí)活動中、采集數(shù)據(jù)時呈現(xiàn)的數(shù)據(jù)格式等是否存在問題、是否已經(jīng)利用了已有的全部數(shù)據(jù)、是否將證據(jù)集中的所有數(shù)據(jù)納入評價中。在教學(xué)決策前，需要分析數(shù)據(jù)結(jié)果的原因，以便準確提出促進學(xué)習(xí)投入水平的策略。

六、基于多源數(shù)據(jù)的混合學(xué)習(xí)投入評價實踐

本研究選取H大學(xué)的“技術(shù)促進學(xué)習(xí)的前沿創(chuàng)新”混合學(xué)習(xí)課程進行實踐，按照基于多源數(shù)據(jù)的混合學(xué)習(xí)投入評價流程，參照混合學(xué)習(xí)投入評價的多源數(shù)據(jù)表征進行數(shù)據(jù)采集、關(guān)聯(lián)、融合與決策。該課程的混合學(xué)習(xí)流程包括四個教學(xué)環(huán)節(jié)：提供支架、知識建構(gòu)；深度交互、強化理解；實踐體驗、知識應(yīng)用；評價反饋、總結(jié)提升。自主學(xué)習(xí)型、自由交流型、小組協(xié)作型、自我反思型等線上線下學(xué)習(xí)活動貫穿在四個教學(xué)環(huán)節(jié)中。

（一）數(shù)據(jù)采集

本研究利用中國大學(xué)SPOC平臺、慕課堂采集學(xué)生在教學(xué)平臺參與線上活動的日志數(shù)據(jù)；利用攝像機采集學(xué)生在課堂參與線下活動的錄像數(shù)據(jù)；利用騰訊文檔、接龍管家小程序、問卷星等方式采集學(xué)生的線上線下的學(xué)習(xí)表現(xiàn)與成效數(shù)據(jù)，包括情感投入調(diào)查問卷、設(shè)計作品、思維導(dǎo)圖等人工制品。其中，情感投入調(diào)查問卷主要參考李維的自我效能感量表[25]、張盈霄的歸屬感量表[26]和韓彥鳳的情緒狀態(tài)量表[27]?；顒优c數(shù)據(jù)對應(yīng)關(guān)系如圖3所示。

（二）數(shù)據(jù)關(guān)聯(lián)

首先，進行數(shù)據(jù)預(yù)處理。針對缺失值，一方面，對參與活動次數(shù)少于總活動次數(shù)40%的樣本進行處理，在分析數(shù)據(jù)時將其暫時剔除，最終剩余66個樣本。另一方面對樣本中仍存在的缺失值賦予0值或以序列均值插補的方式處理。針對異常值，即未參與到學(xué)習(xí)活動中但是卻填寫了情感投入調(diào)查問卷的樣本，以序列均值插補的方式處理。其次，進行數(shù)據(jù)轉(zhuǎn)換。針對非結(jié)構(gòu)化數(shù)據(jù)，在Nvivo中按照認知投入分析框架對文本數(shù)據(jù)進行編碼、用Python自然語言處理庫統(tǒng)計文本數(shù)據(jù)中的關(guān)鍵詞數(shù)量；將時間格式數(shù)據(jù)等不滿足分析要求的數(shù)據(jù)按照公式進行轉(zhuǎn)換；將所有數(shù)據(jù)轉(zhuǎn)化為無量綱的純數(shù)值。本研究以Min-Max標準化方法對數(shù)據(jù)進行處理，即X=，然后進行數(shù)據(jù)對齊與保存。數(shù)據(jù)對齊與特征關(guān)聯(lián)是保證數(shù)據(jù)價值挖掘的重要步驟。本研究按照“環(huán)節(jié)—活動—投入”的邏輯將數(shù)據(jù)進行對齊與保存（如圖4所示），形成混合學(xué)習(xí)投入證據(jù)集。

（三）數(shù)據(jù)融合

混合學(xué)習(xí)環(huán)境的靈活性特征使得不同情境下采集的數(shù)據(jù)類型及提取的特征存在較大差異，而這些特征所反映的投入概念與內(nèi)涵卻是不變的。因此，在進一步分析數(shù)據(jù)前，應(yīng)對證據(jù)集中的數(shù)據(jù)做特征融合，得到不同活動的不同維度的混合學(xué)習(xí)投入水平。首先，確定每個特征的權(quán)重系數(shù)。教育環(huán)境下的特征并非固定的，會跟隨情境變動。因此，采用客觀賦權(quán)法方式對其進行融合。其中，變異系數(shù)法是該類方法中能夠反映指標數(shù)據(jù)的變化信息的一種方法，表示為標準差和均值的商。指標權(quán)重系數(shù)表示為w=，其中σj為該指標的變異系數(shù)，變異系數(shù)越大指標權(quán)重越大，變異系數(shù)越小指標權(quán)重越小。然后采用線性加權(quán)法得到不同維度的投入值。其次，采用K-Means算法對樣本進行聚類分析，得到不同樣本的分類標簽。通過遍歷簇數(shù)并計算輪廓系數(shù)的值，確定樣本的最佳分類簇數(shù)k為3，此時的輪廓系數(shù)值為0.32。

（四）解釋與決策

1. 混合學(xué)習(xí)投入總體情況

通過對學(xué)生混合學(xué)習(xí)投入進行描述性統(tǒng)計分析發(fā)現(xiàn)（見表2），學(xué)生各投入維度的平均值按照從大到小排列為：行為投入>情感投入>認知投入＞社交投入，說明混合行為投入處于較高水平，混合認知投入和混合情感投入處于中等偏下水平，混合社交投入處于較低水平。其中，在行為投入上，完成度明顯高于積極性；在情感投入上，自我效能感高于歸屬感與情緒狀態(tài)；在認知投入上，認知深度略高于認知廣度；在社交投入上，交互深度與交互廣度十分接近。

2. 學(xué)生混合學(xué)習(xí)投入類型與表現(xiàn)

從聚類分析結(jié)果來看，參考施密特（Schmidt，J.A）等人對大學(xué)生學(xué)習(xí)投入類型的劃分[28]，根據(jù)圖5呈現(xiàn)的不同維度特征關(guān)系圖，參與本次混合學(xué)習(xí)課程的學(xué)習(xí)者大致可以分為三種類型：低投入型學(xué)習(xí)者、愉悅但中等投入型學(xué)習(xí)者和勉強但理性投入型學(xué)習(xí)者，這三類學(xué)習(xí)者分別占比為24%、32%和44%。低投入型學(xué)習(xí)者四個維度均處于較低水平，這類學(xué)生往往不夠重視課程，學(xué)習(xí)任務(wù)完成較為敷衍，甚至忘記完成學(xué)習(xí)任務(wù)，在教學(xué)時應(yīng)通過小組互助的方式調(diào)動其積極性；愉悅但中等投入型學(xué)習(xí)者的情感水平較高，其他維度投入處于中等水平，這類學(xué)生容易在情感投入的情況下，基于已有的知識經(jīng)驗付出較少努力來應(yīng)付課程，在教學(xué)時應(yīng)通過明確學(xué)習(xí)任務(wù)與其自身成就的相關(guān)性等方式，調(diào)動其對學(xué)習(xí)任務(wù)價值的認同感；勉強但理性投入型學(xué)習(xí)者的情感投入水平較低，但其他維度投入?yún)s處于較高水平，這類學(xué)生往往受到“績點”的外部動機驅(qū)使而不得不高質(zhì)量完成學(xué)習(xí)任務(wù)，在教學(xué)時應(yīng)考慮增加教學(xué)趣味性以改善教學(xué)氛圍。

為了進一步了解不同類型學(xué)習(xí)者看待問題時的認知深度是否存在差異，本研究采用認知網(wǎng)絡(luò)分析法進行探究。結(jié)果表明：（1）不同類型學(xué)習(xí)者認知網(wǎng)絡(luò)質(zhì)心處于Y軸左、中、右三個位置，有顯著差異性，說明三類學(xué)習(xí)者的認知深度差別較大；（2）從圖6的疊減圖可知，低投入型學(xué)習(xí)者相比愉悅但中等投入型學(xué)習(xí)者，回答問題時更容易采用簡單回應(yīng)或提供信息的方式，愉悅但中等投入型學(xué)習(xí)者相比勉強但理性投入型學(xué)習(xí)者同樣如此，而勉強但理性投入型學(xué)習(xí)者在回答問題時更傾向于采用綜合多角度觀點和批判性評價的方式。由此，在教學(xué)時可以考慮采用階梯式問題，再輔以進階式支架，幫助學(xué)生建立起線上線下知識聯(lián)結(jié)、已有知識與新知識聯(lián)結(jié)，引導(dǎo)學(xué)生對問題的思考逐步深入。

此外，本研究還利用社會網(wǎng)絡(luò)分析法探究了班級整體的社會網(wǎng)絡(luò)分布，以及不同類型學(xué)習(xí)者的社會關(guān)系情況。結(jié)果表明：（1）網(wǎng)絡(luò)密度為0.125，學(xué)生之間均有次數(shù)不等的交互，但交互緊密程度一般；（2）對子群及其內(nèi)部成員之間的關(guān)系特點進行分析，共得到27個小團體，團體成員3個以上僅占26%，說明學(xué)生間只有極小部分形成了牢固的共同體關(guān)系。究其原因，一方面是由于本研究實踐的課程是一門全校性公選課，學(xué)生均來自不同學(xué)院，其學(xué)習(xí)背景、經(jīng)歷以及熟悉程度等存在較大差異，從而導(dǎo)致相互之間合作粘性不夠；另一方面是因為學(xué)生對混合學(xué)習(xí)活動接觸不多，對合作互動的技能把握相對欠缺。（3）由圖7的可視化網(wǎng)絡(luò)圖可知，低投入型學(xué)習(xí)者主要分布在網(wǎng)絡(luò)外圍，幾乎不參與到互動中，而其余兩種類型學(xué)習(xí)者則主要分布在網(wǎng)絡(luò)核心區(qū)域，從連線深度可以看出這兩類學(xué)員間的交互頻次較多。

通過分析每個維度的投入水平與班級投入水平的差異，再聚焦到學(xué)習(xí)活動中查悉原因，并給出建設(shè)性指導(dǎo)建議，進而呈現(xiàn)學(xué)生混合學(xué)習(xí)投入報告。

3. 學(xué)生混合學(xué)習(xí)投入預(yù)測

本研究采用基于Bagging方法的隨機森林模型進行建模，將行為投入、認知投入、情感投入和社交投入作為隨機森林模型的輸入，聚類結(jié)果作為輸出，并將樣本數(shù)據(jù)分為訓(xùn)練集和測試集兩個部分。在模型訓(xùn)練階段，將訓(xùn)練集數(shù)據(jù)輸入到隨機森林模型中，以十折交叉驗證和網(wǎng)格搜索方法（Grid-search）確定模型參數(shù)n_estimate和max_feature的最優(yōu)值，結(jié)果分別為21和“sqrt”。在模型測試階段，將測試集數(shù)據(jù)輸入到訓(xùn)練好的模型中，得到模型的平均準確率接近95%。其中，模型各預(yù)測指標的重要性值分別為：行為投入0.328，認知投入0.266，情感投入0.265，社交投入0.141。這說明行為投入、認知投入和情感投入對學(xué)生混合學(xué)習(xí)投入的預(yù)測作用更顯著。但由于課程中交流互動類活動所占比例較低，使得社交投入數(shù)據(jù)量低于其他三種投入，在一定程度上影響其重要性值。

七、結(jié) ? 語

基于證據(jù)的循證教學(xué)評價，為解決混合學(xué)習(xí)投入評價提供新思路與新方法。本研究從“學(xué)習(xí)活動—學(xué)習(xí)投入—學(xué)習(xí)數(shù)據(jù)”三層結(jié)構(gòu)出發(fā)，構(gòu)建起混合學(xué)習(xí)投入評價的多源數(shù)據(jù)表征模型，基于連續(xù)性多源數(shù)據(jù)采集、關(guān)聯(lián)、融合、解釋與決策，對混合學(xué)習(xí)投入評價進行實踐探索，較好地反映學(xué)生在線上線下融合環(huán)境中開展混合學(xué)習(xí)的行為投入、認知投入、情感投入和社交投入狀態(tài)，并對學(xué)生混合學(xué)習(xí)投入類型做出判斷與預(yù)測，突破了傳統(tǒng)混合學(xué)習(xí)投入評價的“片段式”和“單一數(shù)據(jù)源”的局限，為教師有效設(shè)計、組織混合學(xué)習(xí)活動提供科學(xué)依據(jù)。隨著生物傳感技術(shù)、智能采集技術(shù)的發(fā)展，以及數(shù)據(jù)融合方法的涌現(xiàn)，為后續(xù)表征混合學(xué)習(xí)投入狀態(tài)的多模態(tài)數(shù)據(jù)采集與計算提供了強有力的技術(shù)支撐。由于混合學(xué)習(xí)具有很強靈活性，下一步研究將獲取模態(tài)更多樣、時序更豐富的代表性數(shù)據(jù)，在更大的樣本范圍內(nèi)開展實踐檢驗，以提升混合學(xué)習(xí)投入評價的多源數(shù)據(jù)表征模型的通用性，豐富多源數(shù)據(jù)與混合學(xué)習(xí)投入評價的映射關(guān)系，進而為全面、科學(xué)、準確地評價學(xué)生混合學(xué)習(xí)投入提供可行依據(jù)。

[參考文獻]

[1] 馮曉英，孫雨薇，曹潔婷.“互聯(lián)網(wǎng)+”時代的混合式學(xué)習(xí)：學(xué)習(xí)理論與教法學(xué)基礎(chǔ)[J].中國遠程教育，2019（2）：7-16，92.

[2] GARRISON D R， VAUGHAN N D. Blended learning in higher education：framework，principles，and guidelines[M]. San Francisco： Jossey-Bass，2007.

[3] G？譈N？譈？覶 S， KUZU A. Factors influencing student engagement and the role of technology in student engagement in higher education：campus-class-technology theory[J]. Turkish online journal of qualitative inquiry，2014（5）：86-113.

[4] 馬婧.混合教學(xué)環(huán)境下大學(xué)生學(xué)習(xí)投入影響機制研究[J].中國遠程教育，2020（2）：57-67.

[5] 馬婧，周倩.混合式環(huán)境下大學(xué)生學(xué)習(xí)性投入維度構(gòu)成及其實證研究[J].教育發(fā)展研究，2019（7）：54-65.

[6] 牟智佳，劉珊珊，陳明選. 循證教學(xué)評價：數(shù)智化時代下高校教師教學(xué)評價的新取向[J].中國電化教育，2021（9）：104-111.

[7] 楊向東.教育測量在教育評價中的角色[J].全球教育展望，2007（11）：15-25.

[8] HENRIE C R， HALVERSON L R， GRAHAM C R. Measuring student engagement in technology-mediated learning：a review[J]. Computers & education，2015，90（9）：36-53.

[9] POON L K M， KONG S C， YAU T S H. et al. Learning analytics for monitoring students participation online：visualizing navigational patterns on learning management system[C].proceedings of 10th International Conference on Blended Learning， Hong Kong， June27-29，2017 Springer Cham，2017.

[10] 鐘薇.混合學(xué)習(xí)環(huán)境下面向參與度的學(xué)習(xí)行為分析研究[D].上海：華東師范大學(xué)，2017.

[11] 周媛，韓彥鳳. 混合學(xué)習(xí)活動中學(xué)習(xí)者學(xué)習(xí)投入的研究[J].電化教育研究，2018（10）：99-105.

[12] LEE J， BONK C J. Social network analysis of peer relationships and online interactions in a blended class using blogs[J]. The internet and higher education，2016，28（1）：35-44.

[13] 張琪，王紅梅.學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J]. 電化教育研究，2019（11）：21-28.

[14] 馬志強，岳蕓竹.面向即時數(shù)據(jù)采集與分析的學(xué)習(xí)投入縱向研究——基于經(jīng)驗取樣法與交叉滯后分析的綜合應(yīng)用[J].電化教育研究，2020（4）：71-77.

[15] 吳軍其，吳飛燕，張萌萌，戴新菊，張影.多模態(tài)視域下智慧課堂協(xié)作學(xué)習(xí)投入度分析模型構(gòu)建及應(yīng)用[J].電化教育研究，2022（7）：73-80，88.

[16] 黃濤，趙媛，耿晶，等.數(shù)據(jù)驅(qū)動的精準化學(xué)習(xí)評價機制與方法[J].現(xiàn)代遠程教育研究，2021（1）：3-12.

[17] 毛剛，周躍良，何文濤.教育大數(shù)據(jù)背景下教學(xué)評價理論發(fā)展的路向[J].電化教育研究，2020（10）：22-28.

[18] 張家華，胡惠芝，黃昌勤.多模態(tài)學(xué)習(xí)分析技術(shù)支持的學(xué)習(xí)評價研究[J].現(xiàn)代教育技術(shù)，2022（9）：38-45.

[19] 王慧君，張念.基于“證據(jù)”的高?；旌蠈W(xué)習(xí)課程學(xué)業(yè)評價模型構(gòu)建[J].電化教育研究，2020（5）：89-95.

[20] FREDRICKS J， BLUMENFELD P， PARIS A. School engagement：potential of the concept， state of the evidence[J]. Review of educational research， 2004（1）： 59-109.

[21] ZHU E. Interaction and cognitive engagement： an analysis of four asynchronous online discussions[J]. Instructional science， 2006， 34（6）： 451-480.

[22] 李新，李艷燕，包昊罡，程露. 學(xué)習(xí)投入測評新發(fā)展：從單維分析到多模態(tài)融合[J].電化教育研究，2021（10）：100-107.

[23] GUNAWARDENA C N， LOWE C A， ANDERSON T. Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conference[J]. Journal of educational computing research，1997，17（4）：397-431.

[24] 張曉峰，李明喜，俞建慧，吳剛.面向?qū)W習(xí)云空間的認知投入量化研究[J].中國遠程教育，2020（5）：18-28.

[25] 李維，白穎穎.初二學(xué)生感知的教師支持如何影響學(xué)業(yè)成績？——基于學(xué)業(yè)自我效能感與學(xué)習(xí)投入的多重中介效應(yīng)分析[J].教育與經(jīng)濟，2018（6）：86-92.

[26] 張盈霄，孫旭寧，謝家樹，李紅育，鄒莎. 學(xué)校歸屬感量表的中文修訂[J].中國臨床心理學(xué)雜志，2021（12）：1188-1192.

[27] 韓彥鳳.混合式學(xué)習(xí)活動中學(xué)習(xí)投入的差異性研究[D].蘭州：西北師范大學(xué)，2018.

[28] SCHMIDT J A， ROSENBERG J M， BEVMER P N. A person-in-context approach to student engagement in science：examining learning activities and choice[J]. Journal of research in science teaching，2018，55（1）：19-43.

A Study on Evaluation of Blended Learning Engagement from the Perspective of Evidence-based Teaching Evaluation

YING Rui， ?HE Shuyin

（School of Information Technology in Education， South China Normal University，

Guangzhou Guangdong 510631）

[Abstract] In the era of "Internet + Education"， blended learning has become the primary teaching approach in higher education， with learning engagement emerging as a crucial metric for assessing the quality of blended learning. Evidence-based teaching evaluation emphasizes the collection of teaching evidence from multiple sources throughout the entire teaching process， and focuses on the multidimensional evaluation and measurement of the teaching process and its effectiveness， providing new ideas for the evaluation of blended learning engagement. This study proposes a multi-source data representation model based on the correspondence of "learning activity， learning engagement， and learning data"， combined with the characteristics of online and offline integration in blended learning. Furthermore， a multi-source data fusion method for evaluating blended learning engagement is established from behavioral， cognitive， affective and social levels. This study also proposes an evaluation process of blended learning engagement based on multi-source data， which includes data collection， data combination， data fusion， explanation and decision making. The empirical study finds that in the blended learning course， the multi-source data from online teaching platform logs， classroom videos， and learning performance and effectiveness can accurately measure the type and performance of students' blended learning engagement， and have good predictions on the blended learning engagement status.

[Keywords] Evidence-based Teaching Evaluation; Blended Learning Engagement; Multi-source Data