趙蔚 程諾 徐曉青 姜強
[摘 ? 要] 學(xué)習(xí)分析儀表盤作為可視化反饋工具越來越受重視,但它在促進自我調(diào)節(jié)學(xué)習(xí)的成效方面仍然存在爭議。研究采用元分析方法,對學(xué)習(xí)分析儀表盤促進自我調(diào)節(jié)學(xué)習(xí)進行系統(tǒng)文獻分析。納入的24項實驗分析表明:學(xué)習(xí)分析儀表盤對自我調(diào)節(jié)學(xué)習(xí)有正向促進作用,合并效應(yīng)值為0.415。研究進一步從實驗特征、表征形式和設(shè)計依據(jù)三個維度進行深入的調(diào)節(jié)變量分析,結(jié)果表明:實驗時長、環(huán)境和對象等實驗特征并不影響學(xué)習(xí)分析儀表盤對自我調(diào)節(jié)學(xué)習(xí)的促進效果,但學(xué)習(xí)分析儀表盤的內(nèi)容、形式、挖掘程度以及是否有理論基礎(chǔ)都會對促進效果產(chǎn)生影響?;诖耍芯繌慕逃虒W(xué)融合視角,建議學(xué)習(xí)分析儀表應(yīng)強化與教學(xué)理論的聯(lián)結(jié),形成平衡認知負荷,兼顧數(shù)據(jù)素養(yǎng)的設(shè)計原則,為提升自我調(diào)節(jié)學(xué)習(xí)提供有效支持。
[關(guān)鍵詞] 學(xué)習(xí)分析儀表盤; 自我調(diào)節(jié)學(xué)習(xí); 元分析; 數(shù)據(jù)素養(yǎng); 認知負荷
[中圖分類號] G434 ? ? ? ? ? ?[文獻標(biāo)志碼] A
[作者簡介] 趙蔚(1963—),女,吉林長春人。教授,博士,主要從事學(xué)習(xí)分析、自我調(diào)節(jié)學(xué)習(xí)研究。E-mail:zhaow577@nenu.edu.cn。
一、 引 ? 言
自我調(diào)節(jié)學(xué)習(xí)(Self-regulated Learning,SRL)是維持學(xué)習(xí)狀態(tài)、決定在線學(xué)習(xí)成功的關(guān)鍵要素[1]。如何提升自我調(diào)節(jié)學(xué)習(xí)能力已經(jīng)成為在線教育研究的核心關(guān)注點。學(xué)習(xí)分析儀表盤(Learning Analytics Dashboard,LAD)是優(yōu)化學(xué)習(xí)和體驗的干預(yù)工具。它通過提供學(xué)習(xí)狀態(tài)、指導(dǎo)反思等方式,幫助學(xué)習(xí)者監(jiān)控學(xué)習(xí)過程,從而改善自我調(diào)節(jié)學(xué)習(xí),最終提高學(xué)業(yè)成績。當(dāng)前學(xué)習(xí)分析儀表盤對自我調(diào)節(jié)學(xué)習(xí)影響的研究結(jié)論并不一致。部分研究肯定了學(xué)習(xí)分析儀表盤的作用:“有效”的學(xué)習(xí)分析儀表盤會影響學(xué)習(xí)者的自我調(diào)節(jié)行為,最終影響學(xué)習(xí)行為和結(jié)果[2-3]。部分研究指出:當(dāng)前幾乎沒有證據(jù)表明學(xué)習(xí)者利用學(xué)習(xí)分析發(fā)展自我調(diào)節(jié)學(xué)習(xí)[4],學(xué)習(xí)分析儀表盤不被建議支持元認知[5]。由此可見,LAD對于SRL的作用仍存在結(jié)論不統(tǒng)一問題。其次,SRL和學(xué)習(xí)分析之間的交叉點未被充分研究,LAD作為學(xué)習(xí)分析反饋工具,在高等教育應(yīng)用越來越廣泛,研究LAD在多大程度上支持自我調(diào)節(jié)學(xué)習(xí)依舊很有必要。
鑒于學(xué)習(xí)分析儀表盤在支持自我調(diào)節(jié)學(xué)習(xí)方面的廣泛認可,本研究通過綜述現(xiàn)有LAD的實證文章,利用元分析方法,從宏觀層面上解決研究結(jié)論及解釋存在爭議的問題,進一步驗證LAD是否促進SRL,探究LAD在多大程度上促進SRL,實施過程中,LAD的哪些關(guān)鍵要素會影響SRL效果,以期為學(xué)習(xí)分析儀表盤的研究、設(shè)計和實施更好地促進自我調(diào)節(jié)學(xué)習(xí)提供一定借鑒和參考。
二、研究設(shè)計
(一)研究方法與工具
研究采用元分析方法,對國內(nèi)外LAD對SRL影響的相關(guān)文獻進行統(tǒng)計分析,以探究LAD對SRL的促進效果。元分析過程包括文獻檢索與編碼、數(shù)據(jù)分析(異質(zhì)性檢驗、效應(yīng)值計算、發(fā)表偏倚檢驗等)和證據(jù)解釋。研究使用Comprehensive Meta Analysis Version 3.0(CMA-v3.0)作為分析工具。該軟件可以依據(jù)內(nèi)置的計算公式,對輸入的樣本量、均值、標(biāo)準(zhǔn)差進行計算,直接給出效應(yīng)量表格,是教育領(lǐng)域元分析使用頻率較高的軟件。
(二)文獻搜索與篩選
英文以“Learning Dashboard & Self-regulated”和“Learning Analytics Dashboard & Self-regulated”為主題,檢索了WOS、Science Direct、Google Scholar等數(shù)據(jù)庫的教育領(lǐng)域文獻,包括學(xué)習(xí)分析領(lǐng)域較為權(quán)威的LAK會議論文,檢索時間為2012年1月至2022年9月。中文以“儀表盤+自我調(diào)節(jié)”為主題,在CNKI進行檢索。為保證文獻的代表性和全面性,對已獲取文獻的參考文獻進行二次檢索,同時擴大數(shù)據(jù)庫到ACM和書籍進行文獻補充。
文獻篩選過程如圖1所示。首先,通過閱讀文獻標(biāo)題和摘要對檢索的1368篇文獻進行初篩。篩選過程中剔除僅在文中提到相關(guān)主題,但研究核心或重點不是LAD和SRL的文獻,同時剔除綜述類、概念類等非實證研究文獻和重復(fù)文獻,初篩得到有效文獻131篇。其次,全文閱讀階段,用于分析的文獻需報告均值、標(biāo)準(zhǔn)差和樣本量或效應(yīng)量。按照元分析數(shù)據(jù)要求剔除非實證、實驗數(shù)據(jù)不全、數(shù)據(jù)不符合標(biāo)準(zhǔn)的文獻,剩余有效文獻20篇[6-25]。20篇文獻中可納入元分析的實驗共24項。
(三)文獻編碼
研究旨在探索LAD對SRL的影響,同時研究可能會對該影響產(chǎn)生作用的調(diào)節(jié)變量。因此,自變量為LAD,因變量為SRL效果。參考相關(guān)研究[26]選取標(biāo)準(zhǔn),結(jié)合自身研究內(nèi)容,將調(diào)節(jié)變量歸納為三類,分別為研究特征、LAD表征形式和LAD設(shè)計依據(jù),見表1。
研究特征包括研究對象、干預(yù)時長和實驗環(huán)境。實驗涉及大學(xué)、小學(xué)兩個教育階段,考慮到MOOC課程特殊性,將研究對象劃分為大學(xué)、小學(xué)、MOOC。參考既往元分析文獻,將干預(yù)時長劃分為0~2月、2~4月、4個月及以上三個階段。實驗環(huán)境劃分為線上、線下和混合三類。
表征形式指LAD界面呈現(xiàn)方式,共四個調(diào)節(jié)變量:(1)LAD內(nèi)容劃分為行為信息、表現(xiàn)信息、交互信息三類。行為信息指學(xué)習(xí)者登錄平臺次數(shù)、時長和點擊數(shù)據(jù)等行為指標(biāo)。表現(xiàn)信息指學(xué)習(xí)者獲得的成績、測試得分等信息。交互信息指學(xué)習(xí)者與同伴互動的信息。同時包括多個信息編碼為混合信息。(2)LAD形式劃分為圖文、圖表。圖表指LAD以可視化圖表展示。同時由圖表和文字解釋編碼為圖文。若文獻未展示LAD,編碼為未說明。(3)根據(jù)LAD內(nèi)容分析程度將挖掘程度劃分為簡單分析、深入分析和假設(shè)信息。(4)根據(jù)LAD是否包含個人與集體的對比信息分成兩類。
設(shè)計依據(jù)方面包含干預(yù)目的和理論基礎(chǔ)兩個調(diào)節(jié)變量。LAD的干預(yù)目的分為階段、行為、元認知和動機四類。具體來說,支持計劃、監(jiān)控、反思等一個或多個過程劃分為“階段”,幫助學(xué)習(xí)者改變行為、制定計劃等劃分為“行為”,自我評估、反思和元認知劃分為元認知,情緒和動機劃分為動機。根據(jù)文獻中LAD是否有理論基礎(chǔ),編碼為兩類。
為保證元分析編碼的質(zhì)量與可靠性。研究由兩名成員共同完成編碼,先以兩篇文獻為例,對編碼框架進行協(xié)商討論,達成一致性后,獨立對剩余文獻進行編碼。編碼一致性采用Kappa系數(shù),計算得出一致性為0.82,說明編碼一致性較高,編碼具有可靠性。不一致編碼由兩名成員再次協(xié)商確定。
三、數(shù)據(jù)分析
(一)效應(yīng)值和異質(zhì)性檢驗
效應(yīng)值是衡量實驗效果大小的指標(biāo),常用的效應(yīng)值包括Cohen's d和Hedges' g。在本研究中,由于樣本較小,因此采用Hedges' g作為效應(yīng)值。參考Cohen提出的效應(yīng)值標(biāo)準(zhǔn),效應(yīng)值絕對值為0.2代表小效應(yīng),0.5為中等效應(yīng),0.8為大效應(yīng)。合并的效應(yīng)值取值越大,代表實驗效應(yīng)越好。
計算合并效應(yīng)值前需要進行異質(zhì)性檢驗,即判斷納入的研究是否存在異質(zhì)性。如果異質(zhì)性較大采用隨機效應(yīng)模型,異質(zhì)性較小采用固定效應(yīng)模型。采用的模型不同,得到的效應(yīng)值也不同,醫(yī)學(xué)通常建議采用隨機效應(yīng)模型。異質(zhì)性檢驗包括Q檢驗和I2兩種方法。本研究Q=117.78(p<0.05),說明樣本之間存在異質(zhì)性;I2=80.47,說明80.5%的變異是由效應(yīng)值的真實差異引起,19.5%的差異是由誤差導(dǎo)致。因此,采用隨機效應(yīng)模型來綜合考慮研究間和研究內(nèi)的變異。
(二)整體效應(yīng)檢驗結(jié)果
LAD對SRL的整體作用效果見表2,分析共包含24個樣本量,合并效應(yīng)值g=0.415,p<0.05。g值處于0.2到0.5之間,是中等的效應(yīng)量。無論固定效應(yīng)模型還是隨機效應(yīng)模型都表明LAD對SRL有顯著的促進作用,作用效果中等。接下來對可能引起研究結(jié)果存在差異的調(diào)節(jié)變量進行分析,確定最優(yōu)干預(yù)方式。
(三)調(diào)節(jié)效應(yīng)檢驗結(jié)果
1. 研究特征對SRL效果的調(diào)節(jié)作用分析
在進行調(diào)節(jié)變量分析時,只有亞組的樣本量大于3才具有分析價值。根據(jù)調(diào)節(jié)變量組間效應(yīng)量是否顯著,判斷該變量是否為造成元分析結(jié)果差異的因素。見表3,研究對象的組間效應(yīng)QB=0.360,p>0.05,說明研究對象并沒有發(fā)揮調(diào)節(jié)變量的作用,其中MOOC研究樣本量小于3,則MOOC的效應(yīng)值不具備參考價值。以此類推,研究特征維度沒有發(fā)現(xiàn)造成效應(yīng)值存在差異的因素,具體而言:
研究對象方面,大學(xué)階段實施LAD對SRL的促進效果達到顯著性(p<0.05),促進作用中等(g=0.402);MOOC和小學(xué)階段的研究對象,因為納入的實驗數(shù)量較少,未達到分析標(biāo)準(zhǔn)。由此可知,在大學(xué)及以上階段實施LAD對SRL具有促進作用,其余學(xué)段在本研究中未得到準(zhǔn)確結(jié)論。
干預(yù)時長方面,0~2月的實驗數(shù)量最多,效應(yīng)值g=0.514,為中等偏上影響水平且達到顯著性(p<0.05);2~4月的實驗數(shù)量次之,促進效果中等偏下(g=0.384,p<0.05)。由此說明,0~2月時長的研究效果要好于2~4月時長,實施較短時間的LAD對SRL促進作用較好。
實驗環(huán)境方面,線下環(huán)境LAD對SRL的作用效果中等偏上(g=0.575),但樣本量為4,剛超過分析標(biāo)準(zhǔn);線上環(huán)境的實驗數(shù)量最多,和混合環(huán)境效應(yīng)值相似,為中等偏下的影響水平(g=0.37)。初步得出實驗環(huán)境方面對SRL的促進作用無差異。
除了考慮上述三個研究特征,我們還嘗試對研究對象的國別進行分析以期為我國研究提出更多針對性意見。分析發(fā)現(xiàn),24項實驗中的研究對象分布在11個國家,其中美國有7項,荷蘭、土耳其、澳大利亞各有3項,剩余國家如韓國、意大利、芬蘭等研究數(shù)量小于3。總體而言,研究對象所處地域是影響元分析結(jié)果差異的原因(QB=33.916,p=0.000),說明不同國家實驗研究中LAD對SRL的作用不一。其中美國的實驗分析表明LAD對SRL有較小的促進作用,但未達到顯著水平(g=0.243,p=0.18)。
2. 表征方式對SRL效果的調(diào)節(jié)作用分析
由表4可知,表征方式維度中,LAD內(nèi)容、形式和挖掘程度是造成異質(zhì)性的原因,在促進SRL效果方面發(fā)揮了調(diào)節(jié)變量的作用。在設(shè)計LAD時,要重點關(guān)注這些調(diào)節(jié)變量的影響。具體分析如下:
就LAD的內(nèi)容而言(QB=18.402,p<0.05),效果最好的是行為信息(g=0.634),為中等偏上效應(yīng)量;表現(xiàn)信息具有較小促進作用(g=0.237);混合信息也有促進作用但結(jié)果不顯著(p>0.05)。因此,相對于表現(xiàn)信息,使用行為信息作為干預(yù)內(nèi)容效果更好。
LAD形式方面(QB=20.689,p<0.05),圖表形式LAD具有中等偏下的影響效果(g=0.363,p<0.05);圖文效果略小于圖表效果(g=0.347,p<0.05)。也就是說,LAD的形式無論是圖文還是圖表都會對SRL產(chǎn)生促進作用。
就挖掘程度而言(QB=8.752,p<0.05),簡單分析的數(shù)據(jù)具有中等偏上效果(g=0.574,p<0.05);深入分析的數(shù)據(jù)效應(yīng)值為0.324(p<0.05),為中等偏下的影響水平。挖掘程度是影響SRL效果的調(diào)節(jié)變量,其中,簡單分析的LAD作用效果更優(yōu)。
是否有對比信息不影響LAD對SRL的促進作用。沒有對比信息的LAD對SRL促進效果一般(g=0.476,p<0.05),有對比信息的LAD促進效果較?。╣=0.310,p<0.05)。
3. 設(shè)計依據(jù)對SRL效果的調(diào)節(jié)作用分析
設(shè)計依據(jù)中理論基礎(chǔ)是影響SRL效果的因素,干預(yù)目的未發(fā)現(xiàn)調(diào)節(jié)作用,見表5。
干預(yù)目的中,促進SRL“階段”的干預(yù)效果最好(g=0.578);其次為動機(g=0.256);行為的效果最小,且沒有達到顯著性(p>0.05)。
就理論基礎(chǔ)而言(QB=5.113,p<0.05),具有理論基礎(chǔ)的LAD對SRL促進效果較好(g=0.707);沒有理論基礎(chǔ)的LAD效應(yīng)值為g=0.298。相較而言,有理論基礎(chǔ)的LAD對SRL促進效果更大。
(四)發(fā)表偏倚檢驗
一般來說,統(tǒng)計顯著的結(jié)果更容易發(fā)表,這會造成文獻檢索時,某些文獻很難被覆蓋到,導(dǎo)致元分析效應(yīng)值與真實值有所差異,影響結(jié)果可靠性。發(fā)表偏倚檢驗是判斷效應(yīng)值可靠性的重要一步。發(fā)表偏倚檢驗通常采用漏斗圖、Egger檢驗以及失安全系數(shù)法來判斷。本研究納入分析的效應(yīng)量分布漏斗圖如圖2所示。圖中的數(shù)據(jù)點零散地分布在對稱軸中部兩側(cè),基本呈左右對稱,左側(cè)的效應(yīng)值略少于右側(cè)。采用Egger檢驗進一步驗證發(fā)表偏倚(B0=2.505,t=1.802,p1=0.042,p2=0.085),t值小于1.96,p2大于0.05,初步得出研究選取的文獻存在發(fā)表偏倚可能性較小。
圖2 ? 效應(yīng)值分布漏斗圖
采用失安全系數(shù)法進行敏感性驗證,即判斷因為發(fā)表偏倚造成元分析結(jié)果出現(xiàn)相反結(jié)論的可能性,該方法的標(biāo)準(zhǔn)是元分析數(shù)量的5倍加10。本研究的Classic失安全系數(shù)N=638(α=0.050,p<0.0001),遠大于樣本數(shù)量×5+10。綜合以上數(shù)據(jù)表明,元分析的結(jié)果比較穩(wěn)定,發(fā)表偏倚不明顯。
四、討 ? 論
研究對LAD促進SRL的作用進行元分析,結(jié)果表明,納入的24項實驗存在異質(zhì)性。故而對結(jié)論可能產(chǎn)生影響的LAD表征形式、設(shè)計依據(jù)等調(diào)節(jié)變量進行詳細討論。
(一)LAD對SRL具有正向的促進作用
研究旨在分析LAD促進SRL的作用大小。結(jié)果表明,學(xué)習(xí)分析儀表盤對SRL有正向促進作用,作用大小中等。一方面說明納入本研究的實驗進一步驗證LAD的促進作用,與經(jīng)驗證據(jù)相一致。該結(jié)論與現(xiàn)有LAD綜述文章結(jié)論相互認證:“學(xué)習(xí)分析”結(jié)合視覺儀表盤等技術(shù)可以支持諸如翻轉(zhuǎn)課堂的自我調(diào)節(jié)學(xué)習(xí)、個性化反饋等[27];使用學(xué)習(xí)分析來促進SRL是未來研究方向[28]。雖然LAD能促進SRL發(fā)展,但元分析效應(yīng)值為0.415,促進效果中等。我們還需要考慮可能對結(jié)果有影響的調(diào)節(jié)變量。
(二)研究特征不影響對SRL的促進效果
本文研究對象、干預(yù)時長和實現(xiàn)環(huán)境等歸入研究特征的調(diào)節(jié)變量并沒有造成明顯差異,即研究對象、干預(yù)時長、實驗環(huán)境不會影響LAD對SRL的促進作用。換句話說,LAD對SRL的促進作用具有穩(wěn)健性,不會因?qū)嶒瀸ο蟮膶W(xué)段、實驗時長和環(huán)境而變化。
研究對象雖然被劃分為大學(xué)、小學(xué)和MOOC,但實際上小學(xué)、MOOC的實驗數(shù)量較少,不足以構(gòu)成元分析調(diào)節(jié)變量分析的最少實驗組數(shù)。因此,只能得出在大學(xué)階段的研究對象中實施LAD對SRL有一定促進作用。考慮到兒童實驗的困難程度,大部分SRL的文獻都在高等教育中實驗,但事實上,SRL必須從小就開始培養(yǎng)。無論SRL被視為一套可明確傳授的技能還是源于經(jīng)驗的自我調(diào)整過程,教師都應(yīng)該為各個年齡段的學(xué)生提供信息,幫助他們成為獨立的學(xué)習(xí)者[29]。SRL作為終身學(xué)習(xí)的核心技能之一,增加其在國內(nèi)初等教育,乃至幼兒教育的實證數(shù)量,以補充國內(nèi)研究經(jīng)驗仍然很有必要。此外,在梳理文獻時發(fā)現(xiàn),國內(nèi)關(guān)于LAD促進SRL的實證文獻寥寥可數(shù),國外就LAD設(shè)計及應(yīng)用開展了諸多研究,美國的研究數(shù)量最多。雖然地域不同的LAD在促進SRL方面有差異,但總體都是正向促進作用。因此,在LAD設(shè)計、應(yīng)用和與智能平臺融合方面,都可借鑒國外研究成果。
在干預(yù)時長方面,實施0~2月的LAD對SRL促進作用最大。分析其原因,一方面,可能是高等教育以學(xué)期為周期進行授課,實驗時長多控制在一學(xué)期,所以4月及以上時長的研究數(shù)量較少,實驗結(jié)果仍有待驗證。另一方面,自我調(diào)節(jié)學(xué)習(xí)能力培養(yǎng)方法的研究中指出,漸隱式的腳手架可以幫助學(xué)習(xí)者自我調(diào)節(jié)學(xué)習(xí)[30]。即在課程之初提供腳手架,在學(xué)習(xí)者可以自我調(diào)節(jié)學(xué)習(xí)某些內(nèi)容時淡化支持。我們可以推測在0~2月的干預(yù)時間內(nèi),學(xué)習(xí)者慢慢適應(yīng)LAD,并且能自主調(diào)整行為或計劃向預(yù)期學(xué)習(xí)目標(biāo)進展,在2月及以上時間,LAD的促進作用減少。無獨有偶,教育機器人對學(xué)習(xí)成果影響的元分析結(jié)果指出,實驗周期超過半年的效果反而不如半年以內(nèi)的[31]。總體而言,研究時長并不是造成研究結(jié)論產(chǎn)生差異的原因,但在實施LAD時可以優(yōu)先考慮0~2月的研究時長。與此同時,開展長時間的干預(yù)研究,探索隨著時間推移LAD在促進SRL作用的變化規(guī)律仍有價值。
實驗環(huán)境方面,研究雖劃分三種學(xué)習(xí)環(huán)境,但LAD一般都需要相應(yīng)的網(wǎng)站或平臺去實施。嚴格來說,實驗都涉及線上部分,差別在于課程安排時長和關(guān)注程度不同。本研究并未明確得出何種授課環(huán)境最優(yōu)的結(jié)論,建議教師依據(jù)課程內(nèi)容和條件合理安排授課方式。
(三)LAD的表征方式影響對SRL的促進效果
LAD內(nèi)容是造成文獻效應(yīng)值差異的原因之一,其中行為信息效果優(yōu)于表現(xiàn)信息。學(xué)習(xí)管理系統(tǒng)中日志的點擊流數(shù)據(jù)可以通過編碼框架與行為相對應(yīng)[7],學(xué)習(xí)者能從行為信息中直觀得出需要增加或改進的行為。相對來說,表現(xiàn)信息傾向于總結(jié)性評價,更多作用在目標(biāo)和動機水平上,對學(xué)習(xí)者指導(dǎo)的直觀性較弱。雖然沒有發(fā)現(xiàn)混合信息在促進SRL的顯著作用,但我們有理由認為行為信息、表現(xiàn)信息通過合理的設(shè)計會有更好的促進效果。交互信息的LAD多應(yīng)用在協(xié)作學(xué)習(xí)中,通過展示小組成員之間交流合作的信息,減少協(xié)作學(xué)習(xí)中搭便車、投入不足等問題。LAD可以改善協(xié)作學(xué)習(xí)體驗,但在LAD中捕獲團隊的學(xué)習(xí)過程,及其與學(xué)習(xí)成果建立深入聯(lián)系方面還有很多工作要做[32]。協(xié)作學(xué)習(xí)儀表盤的設(shè)計也應(yīng)該結(jié)合認知理論和社會互動理論的分析要素,以促進自我調(diào)節(jié)學(xué)習(xí)和社會共享調(diào)節(jié)學(xué)習(xí)[33]。由此可見,交互信息的LAD在支持協(xié)作學(xué)習(xí)中仍面臨著挑戰(zhàn)和機遇。
LAD形式是影響SRL促進作用的因素之一,圖文和圖表兩種LAD形式作用大小相似,主要差異在于是否包含文字型信息。Cha等[34]在LAD可視化設(shè)計指南的研究中,第一輪專家訪談建議:簡單的信息架構(gòu)和設(shè)計可能要比過多的信息更加有效和直觀,因此,刪除了LAD原型中重復(fù)的特征和數(shù)據(jù)。經(jīng)過第二輪學(xué)習(xí)者訪談后,增加了部分說明性提示。也就是說,LAD的形式既要簡單、直觀,以降低過多信息帶來的認知負荷,同時需要描述性信息幫助學(xué)習(xí)者理解LAD的內(nèi)容。本研究的結(jié)果證實了LAD形式在干預(yù)中的重要性,但沒有顯著性的對比結(jié)論表明圖文和圖表形式何種最優(yōu)。正如麗姿等[35]在研究中討論的那樣,學(xué)習(xí)者使用LAD的方法高度個性化,我們應(yīng)該在數(shù)據(jù)呈現(xiàn)形式上給予學(xué)習(xí)者選擇機會,即允許學(xué)習(xí)者個性化自己的LAD。
挖掘程度在促進SRL的效果方面也發(fā)揮了調(diào)節(jié)作用,簡單分析的效果最好,深入挖掘的效果一般。對開發(fā)者來說,將有意義的數(shù)據(jù)合成為學(xué)習(xí)者可以直觀理解的內(nèi)容并不是一件簡單的事情;對學(xué)習(xí)者來說,學(xué)習(xí)者數(shù)據(jù)素養(yǎng)能否支持其理解數(shù)據(jù)背后的信息也是需要思考的問題[36]。有學(xué)者[37]指出,學(xué)習(xí)者很難解釋LAD上的數(shù)據(jù),他建議依據(jù)用戶的特定要求來確定LAD顯示信息的粒度級別。我們可以推測,相對于更易理解的簡單分析,深入挖掘的數(shù)據(jù)與學(xué)習(xí)者數(shù)據(jù)素養(yǎng)不匹配是造成其效果較小的原因。學(xué)習(xí)者能否在理解、評價LAD表征信息的基礎(chǔ)上進行監(jiān)控和反思,取決于數(shù)據(jù)素養(yǎng)和自我調(diào)節(jié)學(xué)習(xí)的共同效力。如何平衡LAD數(shù)據(jù)的分析維度進而與學(xué)習(xí)者數(shù)據(jù)素養(yǎng)相匹配是接下來要研究的問題。
研究沒有發(fā)現(xiàn)對比信息的調(diào)節(jié)作用。是否包含對比信息一直是飽受爭議的話題。因為對比信息會影響到學(xué)習(xí)者的情緒和動機,但影響的方向卻是不確定的,可能激發(fā)動機,增加學(xué)習(xí)投入,亦可能造成挫敗感[38]。包含個人信息的對比還涉及隱私問題。因此,多數(shù)研究選擇了中庸方式,即在LAD中添加可選擇按鈕,學(xué)習(xí)者可根據(jù)個人情況選擇是否查看集體對比信息。
(四)LAD的理論基礎(chǔ)影響對SRL的促進效果
LAD是否有理論基礎(chǔ)是造成研究效應(yīng)值異質(zhì)性的原因之一。結(jié)果表明,有理論基礎(chǔ)的LAD共7篇,對SRL促進作用中等偏上;沒有理論基礎(chǔ)的類別有17篇,作用效果較小。其中自我調(diào)節(jié)學(xué)習(xí)理論是指導(dǎo)LAD設(shè)計的常見理論。當(dāng)前LAD的設(shè)計大部分還是缺少理論基礎(chǔ)的,該結(jié)論與Matcha[5]總結(jié)出的缺少理論基礎(chǔ)的結(jié)論相同。有研究指出,除自我調(diào)節(jié)學(xué)習(xí)理論外,設(shè)計者還可以考慮如動機理論、目標(biāo)導(dǎo)向理論、自我決定理論等[39]去指導(dǎo)LAD的設(shè)計。
LAD干預(yù)目的包括階段、行為、元認知和動機,不同目的LAD對SRL促進作用沒有差異。其中,支持“階段”的LAD具有中等偏上的促進作用,提升“動機”的LAD作用效果一般,其余目的效果沒有達到顯著水平。Pintrich[40]提出的SRL模型分為要素和階段兩個維度,要素包括認知、動機、行為和背景,階段包括預(yù)見、監(jiān)測、控制和反思。徐曉青等[41]在研究學(xué)習(xí)分析對SRL的影響機理中,就每個階段中各個要素的變化都進行了分析。由此可見,對于SRL的研究可從要素和階段兩方面入手。但無論要素還是階段,都應(yīng)有相應(yīng)的理論和框架支撐。
五、啟 ? 示
本研究不僅驗證了LAD作為干預(yù)反饋工具在促進SRL的積極作用,也從研究對象、LAD設(shè)計依據(jù)等視角綜合探究LAD對SRL的影響。研究在對結(jié)果討論的基礎(chǔ)上得到如下建議和啟示:
(一)深化LAD與教育教學(xué)融合,以提升SRL能力
LAD對SRL的促進作用具有穩(wěn)定性,不因?qū)嶒灂r長、環(huán)境等因素的改變而變化。但目前多數(shù)結(jié)論是以小范圍的準(zhǔn)實驗課堂為實驗條件,缺少大規(guī)模真實環(huán)境中的實施效果。另外,LAD的實施對SRL具有促進作用,但與教育的融合仍處于初始階段。想要進一步發(fā)揮LAD在教育教學(xué),乃至在教育信息化的作用,仍有兩方面需要思考:其一是LAD本身設(shè)計與教學(xué)隱喻、數(shù)字徽章、游戲化理念等結(jié)合[42],如部分LAD使用花草的生長狀態(tài)表示當(dāng)前的學(xué)習(xí)進展[43];其二是LAD與教學(xué)過程的融合,工具之于課堂,不是雜亂無章的堆疊使用,更需要融合到教學(xué)的具體環(huán)節(jié)。已有可借鑒的文獻將LAD與翻轉(zhuǎn)課堂、PBL等教學(xué)模式相結(jié)合,綜合考慮教學(xué)流程、教學(xué)需求、LAD的作用和課程目的,將LAD真正嵌入課堂,融入課程,發(fā)揮其促進SRL的作用。
(二)形成平衡認知負荷、兼顧數(shù)據(jù)素養(yǎng)的LAD設(shè)計原則
LAD以數(shù)據(jù)可視化的方式幫助學(xué)習(xí)者快速定位和理解當(dāng)前狀態(tài)。在結(jié)果討論中,我們發(fā)現(xiàn)LAD的設(shè)計需要注意或遵循兩個原則。一是平衡認知負荷、調(diào)和極簡和極繁主義原則,具體來說就是去除LAD中重復(fù)、冗余的元素和內(nèi)容,增加引導(dǎo)性的線索和說明性信息。這里我們可以參考梅耶的多媒體學(xué)習(xí)理論,但需要注意的是,認知負荷并不是越低越好,適當(dāng)?shù)恼J知負荷更有助于學(xué)習(xí)者的加工和理解。二是LAD的設(shè)計應(yīng)滿足兼顧數(shù)據(jù)素養(yǎng)的原則。多數(shù)LAD在設(shè)計過程中都忽略了學(xué)習(xí)者本身的數(shù)據(jù)素養(yǎng),僅從需求的應(yīng)然與理論的必然出發(fā)。實際上,學(xué)習(xí)者共同參與設(shè)計LAD是匹配數(shù)據(jù)素養(yǎng)的有效方式。在此過程中,學(xué)習(xí)者不僅意識到如何評估學(xué)習(xí)狀況與目標(biāo)期望的達成度,同時增加了個人對數(shù)據(jù)的理解、反思和信任。
(三)強化LAD與理論的聯(lián)結(jié)
LAD需要在教育理論的支撐下,不斷改進、探索和創(chuàng)新。研究證實有理論基礎(chǔ)的LAD對SRL具有促進作用,但目前多數(shù)LAD研究沒有理論依據(jù),更多的是在以往研究基礎(chǔ)上,根據(jù)自身研究對LAD的內(nèi)容進行增補。應(yīng)該重視理論在LAD設(shè)計和實施中發(fā)揮的頂層設(shè)計作用,強化LAD和理論的聯(lián)結(jié)。正如Matcha[5]所建議的,LAD指標(biāo)選擇應(yīng)該在理論為導(dǎo)向的前提下,尋求用戶意見。理論為LAD指標(biāo)和SRL策略相對應(yīng)提供依據(jù),用戶意見滿足部分個性化需求。在LAD的實施過程中,經(jīng)典的SRL理論將自我調(diào)節(jié)過程分為了詳細的循環(huán)階段,LAD可以根據(jù)每個階段特點和目的提供相應(yīng)的反饋和支持,最終促進SRL提升。還需要注意的是,收集和呈現(xiàn)有關(guān)學(xué)習(xí)過程或者交互模式的LAD信息,不僅可以幫助學(xué)習(xí)者自我調(diào)節(jié)學(xué)習(xí),亦可以幫助研究者理解自我調(diào)節(jié)學(xué)習(xí)本身發(fā)展和內(nèi)部的變化機理,擴充SRL理論的應(yīng)用范圍。
六、結(jié) ? 語
研究采用元分析方法,對國內(nèi)外近十年有關(guān)LAD對SRL促進的實證研究進行客觀分析,驗證了LAD在促進和提升SRL的作用,探索了研究特征、表征方式、設(shè)計依據(jù)等在支持SRL方面的調(diào)節(jié)作用。結(jié)果表明,LAD表征形式和設(shè)計依據(jù)都會對SRL促進效果產(chǎn)生影響。為此研究提出了幾點建議和啟示:一是深化LAD與教育教學(xué)融合;二是形成平衡認知負荷,兼顧數(shù)據(jù)素養(yǎng)的設(shè)計原則;三是強化LAD與理論聯(lián)結(jié)。研究仍存在一定局限,受文獻數(shù)據(jù)來源和樣本量的限制,未從我國教育國情為SRL的培養(yǎng)提供本土化建議,同時,需要綜合更多國內(nèi)有關(guān)少兒SRL培養(yǎng)的研究,形成更為全面的結(jié)論。
[參考文獻]
[1] 蔡旻君,郭婉瑢,婁顏超.在線學(xué)習(xí)過程中如何實施有效的反饋——基于自我調(diào)節(jié)學(xué)習(xí)理論的在線反饋探討[J].電化教育研究,2020,41(10):82-88.
[2] PARK Y, JO I H. Factors that affect the success of learning analytics dashboards[J]. Educational technology research and development,2019,67(6):1547-1571.
[3] AGUILAR S J, KARABENICK S A, TEASLEY S D,et al. Associations between learning analytics dashboard exposure and motivation and self-regulated learning[J]. Computers & education,2021,162(3):104085.
[4] TSAI Y S, RATES D, MORENO-MARCOS P M, et al. Learning analytics in European higher education—trends and barriers[J]. Computers & education,2020,155(13):103933.
[5] MATCHA W,UZIR N A,GASEVIC D,et al. A systematic review of empirical studies on learning analytics dashboards:a self-regulated learning perspective[J]. IEEE transactions on learning technologies,2020,13(2):226-245.
[6] YOON M, HILL J, KIM D. Designing supports for promoting self-regulated learning in the flipped classroom[J]. Journal of computing in higher education,2021,33(2):398-418.
[7] MANGANELLO F, POZZI F, PASSARELLI M, et al. A dashboard to monitor self-regulated learning behaviours in online professional development[J]. International journal of distance education technologies,2021,19(1):18-34.
[8] AL-SHANFARI L, EPP C D, BABER C. Evaluating the effect of uncertainty visualisation in open learner models on students' metacognitive skills[C]// ANDRE E, BAKER R, HU X, et al. Artificial intelligence in education, AIED 2017,2017:15-27.
[9] MOLENAAR I, HORVERS A, DIJKSTRA R, et al. personalized visualizations to promote young learners' srl the learning path App[C]// LAK20: The Tenth International Conference on Learning Analytics & Knowledge.2020:330-339.
[10] HOWELL J A, ROBERTS L D, MANCINI V O. Learning analytics messages: impact of grade, sender, comparative information and message style on student affect and academic resilience[J]. Computers in human behavior,2018,89(12):8-15.
[11] CHEN C H, SU C Y. Using the BookRoll E-Book system to promote self-regulated learning, self-efficacy and academic achievement for university students[J]. Educational technology & society,2019,22(4):33-46.
[12] VALLE N, ANTONENKO P, VALLE D, et al. Predict or describe? How learning analytics dashboard design influences motivation and statistics anxiety in an online statistics course[J]. Educational technology research and development, 2021,69(3):1405-1431.
[13] KIM J, JO I H, PARK Y. Effects of learning analytics dashboard: analyzing the relations among dashboard utilization, satisfaction, and learning achievement[J]. Asia pacific education review, 2016,17(1):13-24.
[14] KARAOGLAN YILMAZ F G. The effect of learning analytics assisted recommendations and guidance feedback on students' metacognitive awareness and academic achievements[J]. Journal of computing in higher education,2022,34(2):396-415.
[15] HAN J, KIM K H, RHEE W, et al. Learning analytics dashboards for adaptive support in face-to-face collaborative argumentation[J]. Computers & education,2021,163(4):104041.
[16] VALLE N, ANTONENKO P, VALLE D, et al. The influence of task-value scaffolding in a predictive learning analytics dashboard on learners' statistics anxiety, motivation, and performance[J]. Computers & education,2021,173(14):104288.
[17] TABUENCA B, KALZ M, DRACHSLER H, et al. time will tell: the role of mobile learning analytics in self-regulated learning[J]. Computers & education,2015,89(10):53-74.
[18] DUAN X, WANG C, ROUAMBA G. Designing a learning analytics dashboard to provide students with actionable feedback and evaluating its impacts[C]// Proceedings of the 14th International Conference on Computer Supported Education. Online Streaming, Science and technology publications,2022:117-127.
[19] WAMBSGANSS T, SOELLNER M, KOEDINGER K R, et al. Adaptive empathy learning support in peer review scenarios[C]// CHI Conference on Human Factors in Computing Systems. New orleans LA USA:ACM,2022:1-17.
[20] JIVET I, WONG J, SCHEFFEL M, et al. Quantum of choice: how learners' feedback monitoring decisions, goals and self-regulated learning skills are related[C]// LAK21: 11th International Learning Analytics and Knowledge Conference. New York, NY, USA: Association for computing machinery,2021:416-427.
[21] 李綠山,趙蔚,劉鳳娟.基于學(xué)習(xí)分析的大學(xué)英語網(wǎng)絡(luò)學(xué)習(xí)可視化監(jiān)控和反饋研究[J].外語電化教學(xué),2022(2):23-31,115.
[22] ALEXIOU A, PARASKEVA F. Inspiring key competencies through the implementation of an ePortfolio for undergraduate students[J]. Procedia - social and behavioral sciences,2015,197(33):2435-2442.
[23] HAYNES C C. The role of self-regulated learning in the design, implementation, and evaluation of learning analytics dashboards[C]// Proceedings of the Seventh ACM Conference on Learning @ Scale. New York, NY, USA: Association for Computing Machinery, 2020:297-300.
[24] UYSAL M, HORZUM M B. Designing and developing a learning analytics dashboard to support self-regulated learning[M]// SAHIN M, IFENTHALER D. Visualizations and Dashboards for Learning Analytics. Cham:Springer international publishing,2021:477-496.
[25] AUVINEN T, HAKULINEN L, MALMI L. Increasing students' awareness of their behavior in online learning environments with visualizations and achievement badges[J]. IEEE transactions on learning technologies,2015,8(3):261-273.
[26] 曾昭炳,姚繼軍.尋找“最佳證據(jù)”:如何運用元分析進行文獻綜述——以STEM教育對學(xué)生成績的影響研究為例[J].華東師范大學(xué)學(xué)報(教育科學(xué)版),2020,38(6):70-85.
[27] CHEN X, ZOU D, XIE H. A decade of learning analytics: structural topic modeling based bibliometric analysis[J]. Education and information technologies,2022,27(8):10517–10561.
[28] ARAKA E, MAINA E, GITONGA R, et al. Research trends in measurement and intervention tools for self-regulated learning for e-learning environments—systematic review (2008-2018)[J]. Research and practice in technology enhanced learning,2020,15(1): 6.
[29] PARIS S, PARIS A. Classroom applications of research on self-regulated learning[J]. Educational psychologist - EDUC PSYCHOL, 2001,36(2):89-101.
[30] AZEVEDO R, HADWIN A F. Scaffolding self-regulated learning and metacognition - Implications for the design of computer-based scaffolds[J]. Instructional science, 2005, 33(5-6): 367-379.
[31] 單俊豪,宮玲玲,李玉,閆寒冰.教育機器人對學(xué)生學(xué)習(xí)成果的影響——基于49篇實驗或準(zhǔn)實驗研究論文的元分析[J].中國電化教育,2019(5):76-83.
[32] ZAMECNIK A, KOVANOVI?V, GROSSMANN G, et al. Team interactions with learning analytics dashboards[J]. Computers & education,2022,185(10):104514.
[33] LIU A L, NESBIT J C. Dashboards for computer-supported collaborative learning[M]// VIRVOU M, ALEPIS E, TSIHRINTZIS G A, et al. Machine learning paradigms: advances in learning analytics. Cham: Springer international publishing,2020:157-182.
[34] CHA H J, PARK TAEJUNG. Applying and evaluating visualization design guidelines for a MOOC dashboard to facilitate self-regulated learning based on learning analytics[J]. KSII transactions on internet and information systems,2019,13(6):2799-2823.
[35] 麗姿·貝內(nèi)特,肖俊洪.從學(xué)習(xí)的角度看學(xué)生對儀表盤數(shù)據(jù)的反應(yīng)[J].中國遠程教育,2019(1):67-78,93.
[36] JIVET I, SCHEFFEL M, SCHMITZ M, et al. From students with love: an empirical study on learner goals, self-regulated learning and sense-making of learning analytics in higher education[J]. The internet and higher education,2020,47(4):100758.
[37] SCHWENDIMANN B A, RODR?魱GUEZ-TRIANA M J, VOZNIUK A, et al. Perceiving learning at a glance: a systematic literature review of learning dashboard research[J]. IEEE transactions on learning technologies, 2017,10(1):30-41.
[38] SAFSOUF Y, MANSOURI K, POIRIER F. TABAT: design and experimentation of a learning analysis dashboard for teachers and learners[J]. Journal of information technology education-research,2021,20(1):331-350.
[39] VALLE N, ANTONENKO P, DAWSON K, et al. Staying on target: a systematic literature review on learner-facing learning analytics dashboards[J]. British journal of educational technology, 2021,52(4):1724-1748.
[40] PINTRICH P R. A conceptual framework for assessing motivation and self-regulated learning in college students[J]. Educational psychology review,2004,16(4):385-407.
[41] 徐曉青,趙蔚,劉紅霞,姜強.自我調(diào)節(jié)學(xué)習(xí)中學(xué)習(xí)分析的應(yīng)用框架和融合路徑研究[J].電化教育研究,2021,42(6):96-104.
[42] DE QUINCEY E, BRIGGS C, KYRIACOU T, et al. Student centred design of a learning analytics System[C]//Proceedings of the 9th International Conference on Learning Analytics & Knowledge. New York, NY, USA: Association for computing Machinery, 2019:353-362.
[43] 姜強,趙蔚,李勇帆,等.基于大數(shù)據(jù)的學(xué)習(xí)分析儀表盤研究[J].中國電化教育,2017(1):112-120.
Study on Impact of Learning Analytics Dashboard on Self-regulated Learning?
—A Meta-analysis Based on 24 Experimental and Quasi-experimental Studies
ZHAO Wei, ?CHENG Nuo, ?XU Xiaoqing, ?JIANG Qiang
(School of Information Science and Technology, Northeast Normal University, Changchun Jilin 130117)
[Abstract] Learning analytics dashboards are increasingly valued as visual feedback tools, but their effectiveness in facilitating self-regulated learning remains controversial. This study employs a meta-analytic approach to conduct a systematic literature analysis of learning analytics dashboards for promoting self-regulated learning. The analysis of 24 included experiments demonstrates that the learning analytics dashboard has a positive facilitative effect on self-regulated learning, with a combined effect value of 0.415. An in-depth moderating variable analysis is conducted in three dimensions: experimental characteristics, representational form, and design rationale. The results show that experimental characteristics such as length of experiment, environment, and subjects do not affect the facilitation effect of learning analytics dashboards on self-regulated learning. However, the content, format, degree of tapping, and the presence of theoretical bases of learning analytics dashboards all have an impact on the facilitation effect. Based on these findings, this study suggests that learning analytics dashboards should strengthen the linkage with pedagogical theories from the perspective of education and teaching integration, and form the design principles that balance cognitive load and take into account data literacy to provide effective support for enhancing self-regulated learning.
[Keywords] Learning Analytics Dashboard; Self-regulated Learning; Meta-analysis; Data Literacy; Cognitive Load