摘 要:主流學(xué)習(xí)分析側(cè)重于數(shù)據(jù)采集、分析挖掘、算法建模等工具理性研究,而關(guān)于如何使用學(xué)習(xí)分析的價值理性研究未受到足夠重視,教育數(shù)據(jù)要素的開發(fā)利用研究在工具理性與價值理性上發(fā)生取向失衡現(xiàn)象。為此,研究概念化了學(xué)習(xí)分析的價值理性目標(biāo)“可行動見解”,明確了其內(nèi)涵定義,重點構(gòu)建了可行動見解的概念結(jié)構(gòu),刻畫了可行動見解的敘述特征,提出了支持可行動見解生成的分析推理過程和設(shè)計策略。研究認為,可行動見解是終端用戶從學(xué)習(xí)分析中生成的可付諸行動的有意義知識或信息,包括事實性見解、解釋性見解、反思性見解與行動性見解四個層級化成分。為了實現(xiàn)可行動見解的有效生成,建議在設(shè)計學(xué)習(xí)分析系統(tǒng)時采取以用戶為中心的參與式設(shè)計方法、引入數(shù)據(jù)故事化設(shè)計理念、整合教育理論或?qū)W習(xí)構(gòu)念等策略。
關(guān)鍵詞:可行動見解;學(xué)習(xí)分析;數(shù)據(jù)要素;價值理性;數(shù)據(jù)故事化
作者簡介:汪維富,江西師范大學(xué)新聞與傳播學(xué)院講師(南昌 330022);毛美娟,江西外語外貿(mào)職業(yè)學(xué)院電子商務(wù)學(xué)院講師(南昌 330099)
基金項目:江西省社會科學(xué)基金2023年青年項目“數(shù)據(jù)要素賦能教育高質(zhì)量發(fā)展的價值轉(zhuǎn)化實踐策略研究”(項目編號:23JY12)
中圖分類號:G442 文獻標(biāo)識碼:A 文章編號:1009-458x(2024)10-0060-13
一、引言
學(xué)習(xí)分析日益成為數(shù)據(jù)要素賦能教育高質(zhì)量發(fā)展的重要方法與技術(shù)。然而,學(xué)習(xí)分析尚未給教育系統(tǒng)帶來實質(zhì)性的改進(Pelletier et al., 2022),其研究內(nèi)容聚焦數(shù)據(jù)建模、分析挖掘、機器學(xué)習(xí)等方面(胡航 等, 2021; 趙帥 等, 2022)。假設(shè)通過分析大數(shù)據(jù)就會直接改進實踐,這是天真的(Spillane, 2012)。例如,教師在應(yīng)用學(xué)生數(shù)據(jù)時經(jīng)常面臨數(shù)據(jù)解讀困難、缺乏建設(shè)性干預(yù)等問題(白雪梅 等, 2022)。數(shù)據(jù)具有原材料的性質(zhì),其本身并不能說明或解決學(xué)習(xí)問題,數(shù)據(jù)價值轉(zhuǎn)化需要用戶認知的深度參與,將分析轉(zhuǎn)化為具有本地化、情境性、有意義的見解。教育技術(shù)研究需要技術(shù)理性的再平衡,突出價值理性的主導(dǎo)地位,避免工具理性的過度張揚(李芒, 2008)。同樣,學(xué)習(xí)分析的研究焦點需要從數(shù)據(jù)采集、算法建模的工具理性轉(zhuǎn)向如何利用數(shù)據(jù)要素來影響教育實踐的價值理性(汪維富 & 毛美娟, 2021)。當(dāng)數(shù)據(jù)獲取不再掣肘時,數(shù)據(jù)價值成為教育數(shù)據(jù)應(yīng)用實踐的首要指向,當(dāng)下需要從數(shù)據(jù)處理轉(zhuǎn)向教育數(shù)據(jù)的人為解讀過程,加強數(shù)據(jù)認知規(guī)律的研究(林書兵 & 張學(xué)波, 2021)。類似地,坎波斯(Campos, F. C.)等認為急需一種用戶話語體系來考察學(xué)習(xí)分析的應(yīng)用過程(Campos et al., 2021)。然而,終端用戶如何應(yīng)用學(xué)習(xí)分析,怎樣開展數(shù)據(jù)價值轉(zhuǎn)化,仍是一個尚未被深入探索的重要議題(Wise et al., 2016)。
最近,學(xué)習(xí)分析研究共同體日益達成了共識,教育數(shù)據(jù)的實踐影響取決于能否為終端用戶提供高質(zhì)量的“可付諸行動的數(shù)據(jù)見解”,即可行動見解,英文為actionable insights,類似表述還有actionable knowledge、actionable feedback、actionable information、actionable data、actionable analytics、actionable recourse等(Clow, 2013; Colvin et al., 2016; Ga?evi et al., 2016; Liu et al., 2017; 祝智庭 等, 2017; Van Leeuwen, 2019; Hilliger et al., 2020; Iraj et al., 2021; Rasouli & Chieh, 2022)。在一個關(guān)于學(xué)習(xí)分析的早期定義中,就將“可行動信息”(actionable information)作為關(guān)鍵目標(biāo),即學(xué)習(xí)分析是應(yīng)用技術(shù)分析教育數(shù)據(jù),提供可行動信息以改善學(xué)習(xí)相關(guān)活動(Van Harmelen & Workman, 2012)。庫珀(Cooper, A.)甚至直接將學(xué)習(xí)分析視為可行動分析(actionable analytics)(Cooper, 2012)。然而,還沒有研究完整地探討過學(xué)習(xí)分析的“可行動見解”概念,多數(shù)研究默認讓終端用戶自行從特定化的數(shù)據(jù)分析情境中感知數(shù)據(jù)的意義,可行動見解的生成過程還是一個“黑箱”。因此,本研究將對“可行動見解”進行系統(tǒng)的概念化。
二、可行動見解的內(nèi)涵界定
學(xué)術(shù)產(chǎn)出是一個持續(xù)積累與創(chuàng)新的過程,本研究將先考察見解與可行動的定義,再界定學(xué)習(xí)分析中的可行動見解。
(一)見解與可行動
見解(insight)在劍橋詞典中被定義為“對復(fù)雜問題或情況的清晰、深刻、突然的理解”。直覺(intuition)是人們已經(jīng)習(xí)得或熟練的思考模式,而見解(insight)是新生成的關(guān)系模式,即“理解事物方式的意外轉(zhuǎn)變”。在信息可視化領(lǐng)域,見解有兩種理解向度:1)一個信息或知識單元,“數(shù)據(jù)探究時發(fā)現(xiàn)的一個信息單位”(Saraiya et al., 2005);2)一種心理狀態(tài),即一種頓悟性、自發(fā)性的心理體驗,從不知道如何解決問題過渡到明白怎樣解決問題(Mai et al., 2004)。因此,見解既是用戶對數(shù)據(jù)信息的分析推理過程,又是可以外顯衡量的信息或知識發(fā)現(xiàn)單元。
可行動(actionable)是指信息能否在未來的行動進程中被實踐者有效利用(商麗麗 等,2022)。蘇(Su, P.)等提出了可行動的規(guī)則,若人們可依據(jù)該規(guī)則采取使自身獲益的行動,那該規(guī)則就是可行動的(Su et al., 2012)?!翱尚袆印奔葟娬{(diào)了數(shù)據(jù)信息的實踐性效用標(biāo)準(zhǔn),又提出了支持用戶決策的信息設(shè)計要求。
(二)可行動見解的內(nèi)涵界定
學(xué)習(xí)分析的可行動見解是從教育數(shù)據(jù)分析中提取的、可支持用戶采取干預(yù)決策的有意義信息或知識發(fā)現(xiàn)。第一,可行動見解是特定的終端用戶深入推理數(shù)據(jù)分析結(jié)果而做出的理性判斷,他們具有特定的問題解決需求、專業(yè)領(lǐng)域知識或現(xiàn)場經(jīng)驗,而不是模糊、泛在的“用戶”。第二,可行動見解具有自發(fā)性與頓悟性特征,用戶需要關(guān)聯(lián)其他豐富情境信息,調(diào)動心理模型或原有圖式,進行認知加工。第三,可行動見解關(guān)注學(xué)習(xí)分析所帶來的行動決策潛力,而不僅僅是關(guān)系描述或表征。第四,可行動見解是為制定行動而建立改進流程或反饋循環(huán)的信息(J?rn? & Gynther, 2018),強調(diào)數(shù)據(jù)應(yīng)用的循環(huán)性特征,從學(xué)習(xí)分析中推斷的新假設(shè)仍需在新一輪教育實踐中得到驗證。第五,可行動見解旨在幫助用戶使用學(xué)習(xí)分析來解決特定問題,是個人化理論假設(shè)(personal theorizing)或情境化實踐知識,并非一般化的普遍知識。第六,可行動見解是一個信息發(fā)現(xiàn)的單元,可以用主觀語言、出聲思維或話語分析來描述與評估。綜上所述,可行動見解是終端用戶從學(xué)習(xí)分析中獲得的可付諸行動的有意義信息或知識發(fā)現(xiàn),是一個兼具知識性與實踐性的復(fù)合型概念,既要分析、理解數(shù)據(jù)分析中特定的關(guān)系模式,又要結(jié)合知識專長或教育情境來作出推斷、干預(yù)并持續(xù)驗證。
可行動見解與數(shù)據(jù)素養(yǎng)較為相關(guān),但在概念界定與應(yīng)用定位上有所不同。數(shù)據(jù)素養(yǎng)是指個體采集、處理、管理、應(yīng)用數(shù)據(jù)的意識與技能,屬于能力或素養(yǎng)范疇。可行動見解是特定用戶應(yīng)用數(shù)據(jù)解決問題過程中生成的有意義信息或知識發(fā)現(xiàn),屬于數(shù)據(jù)實踐主客體之間的交互結(jié)果。利用數(shù)據(jù)要素解決教育問題,一方面需要提升教育者、學(xué)習(xí)者、教育管理者的數(shù)據(jù)素養(yǎng),另一方面需要開發(fā)適合其消費數(shù)據(jù)的高質(zhì)量制品或服務(wù)(De Laet et al., 2020)。考察學(xué)習(xí)分析的可行動見解,可以揭示終端用戶與數(shù)據(jù)產(chǎn)品的交互機制,以更好地幫助研發(fā)者設(shè)計、開發(fā)與評價學(xué)習(xí)分析系統(tǒng)或數(shù)據(jù)應(yīng)用支架,而不僅僅是要求他們提升數(shù)據(jù)素養(yǎng)。
三、可行動見解的概念結(jié)構(gòu)
學(xué)習(xí)分析的目標(biāo)是為用戶提供可行動見解,使用戶做出具有證據(jù)依據(jù)、實際意義的決策。因此,與純粹的數(shù)據(jù)分析不同,學(xué)習(xí)分析的目的是雙重的,低層次目的是促進用戶理解數(shù)據(jù)分析本身,高層次目的是通過分析決策來發(fā)現(xiàn)并解決教育現(xiàn)實問題。可見,可行動見解是一個多成分、層次化的概念(Tan & Chan, 2015; Koh & Tan, 2017),但其生成過程在很大程度上仍被掩蓋,本研究將剖析可行動見解的概念結(jié)構(gòu)。
(一)可行動見解的相關(guān)研究基礎(chǔ)
為了刻畫可行動見解的概念結(jié)構(gòu),本研究借鑒數(shù)據(jù)轉(zhuǎn)化模型、意義建構(gòu)、學(xué)習(xí)分析應(yīng)用過程模型、數(shù)據(jù)可視化解讀與數(shù)據(jù)素養(yǎng)等相關(guān)成果。這些成果在一定程度上闡述了可行動見解的某些方面,但還缺乏針對教育情境的細致性闡述與有機整合。
1. DIKW數(shù)據(jù)轉(zhuǎn)化模型
“數(shù)據(jù)—信息—知識—智慧”(Data-Information-Knowledge-Wisdom, DIKW)模型是經(jīng)典的數(shù)據(jù)轉(zhuǎn)化理論(Ackoff, 1989)。其中,信息是被組織、篩選、分類或合成過的結(jié)構(gòu)化數(shù)據(jù);通過有意義地組織、關(guān)聯(lián)各種信息,可以獲得有價值的知識,知識反映了使用信息的特定立場、視角或意圖;而智慧是能有效整合并靈活應(yīng)用各類知識,更具完整性、穩(wěn)定性、前瞻性,主要體現(xiàn)在制定最佳行動方案上。由于這三個層次經(jīng)常交織在一起,有學(xué)者在知識與智慧之間加入“見解”層次(Kozlov, 2020)。見解是個人、暫時、零散的閃光點或頓悟知識,但還沒有與其他知識貫通成具有普適性、穩(wěn)定性的智慧。其中,見解與智慧的主要區(qū)別在于,前者是只適用于特定情境的本地化、臨時性知識,而后者是經(jīng)過實踐驗證的體系化知識。見解既是對特定知識的情境化理解,又是凝練行動智慧的重要橋梁。可見,見解在不同程度上代表了基于數(shù)據(jù)分析而產(chǎn)生的信息、知識與智慧。信息層側(cè)重于見解的事實性,知識層側(cè)重于見解的原理性或解釋性,而智慧層側(cè)重于見解的行動性。因此,可以從事實性、原理性、行動性等層面來考察可行動見解的概念結(jié)構(gòu)。
2. 數(shù)據(jù)的意義建構(gòu)過程
可行動見解在本質(zhì)上是用戶對數(shù)據(jù)信息的意義建構(gòu)。意義建構(gòu)(Sense-making)是人類信息加工的關(guān)鍵過程,將事物賦予意義的過程,以有意圖、持續(xù)性地回溯事物之間的聯(lián)系,使其得到合理化解釋,從而穩(wěn)定地預(yù)測其關(guān)系模式并高效地行動(Klein et al., 2006)。意義建構(gòu)主張對現(xiàn)實世界的主動建構(gòu),而不只是發(fā)現(xiàn)隱藏在數(shù)字、文本或事件中的已有事物(Brown et al., 2015)。皮羅爾斯(Pirolli, P.)與卡德(Card, S.)概述了數(shù)據(jù)信息的意義建構(gòu)過程,包括兩個認知任務(wù)循環(huán):自下而上的搜索循環(huán),以信息搜索與組織為中心,涉及檢索、閱讀、過濾、提取、系統(tǒng)化組織等過程;自上而下的意義建構(gòu)循環(huán),包括重新評估見解、尋找見解支持、考察見解證據(jù)、探索新關(guān)系、獲取更多數(shù)據(jù)等過程(Pirolli & Card, 2005)。同樣,托馬斯(Thomas, J.)等將意義建構(gòu)描述為一個“掃描—解釋—行動—績效”的序列化過程(Thomas et al., 1993)。可見,可行動見解不僅是對數(shù)據(jù)中關(guān)系模式的有意義發(fā)現(xiàn),而且需要經(jīng)過用戶的探索、驗證、提煉的持續(xù)構(gòu)建。
3. 學(xué)習(xí)分析應(yīng)用過程模型
從學(xué)習(xí)者角度,韋伯特(Verbert, K.)等提出了學(xué)習(xí)分析的應(yīng)用過程模型:1)意識,感知數(shù)據(jù)或可視化;2)反思,考察數(shù)據(jù)表現(xiàn)并提出相應(yīng)的問題;3)意義建構(gòu),根據(jù)經(jīng)驗或?qū)I(yè)知識,試圖回答問題并形成新意義(即新圖式或框架);4)影響,固化新意義并據(jù)此改變行為(Verbert et al., 2013)。類似地,懷斯(Wise, A. F.)等凝練了基于學(xué)習(xí)分析的自我調(diào)節(jié)過程,將應(yīng)用學(xué)習(xí)分析視為學(xué)習(xí)者反思性實踐循環(huán)的重要部分,包括接觸、目標(biāo)設(shè)定、行動、反思等過程(Wise et al., 2016)。
從教師角度,懷斯與榮格(Jung, Y.)考察了教師利用學(xué)習(xí)分析來啟發(fā)教學(xué)法的探究過程(Wise & Jung, 2019):1)提出問題,帶著特定的目標(biāo)或興趣感知數(shù)據(jù);2)解釋數(shù)據(jù),發(fā)現(xiàn)值得注意的關(guān)系模式,并利用參照標(biāo)準(zhǔn)、情境信息來研判、分析價值,對關(guān)系模式進行歸因分組;3)行動決策,針對特定的數(shù)據(jù)發(fā)現(xiàn)采取教學(xué)響應(yīng),如提供針對全班或個人的教學(xué)支架、修改課程教學(xué)設(shè)計等,或深度反思教學(xué);4)檢查影響,探究行動策略對教學(xué)改進的有效性。最近,李(Li, Q.)等發(fā)現(xiàn)專家教師在應(yīng)用學(xué)習(xí)分析時有三個關(guān)注點(Li et al., 2021):1)目標(biāo),教學(xué)目標(biāo)、有效學(xué)習(xí)或?qū)W習(xí)愿景的實現(xiàn)程度;2)問題,學(xué)習(xí)中存在問題的范圍、潛在原因和后果;3)行動,有根據(jù)地改進教學(xué)實踐或?qū)崟r干預(yù)。類似地,坎波斯等(Campose et al., 2021)將教師對學(xué)習(xí)分析的響應(yīng)行為分為情緒性、分析性和意圖性三類。這些實證研究極大地豐富了刻畫可行動見解的精確性、過程性特征。
4. 數(shù)據(jù)可視化素養(yǎng)
可視化是非數(shù)據(jù)專業(yè)用戶使用數(shù)據(jù)的關(guān)鍵機制,其相關(guān)研究發(fā)現(xiàn)對于剖析可行動見解的概念結(jié)構(gòu)具有很好的啟發(fā)作用。懷納(Wainer, H.)提出了圖表理解任務(wù)的三個層次(Wainer, 1992):1)字面任務(wù),讀取數(shù)據(jù)圖形中特定的數(shù)值或?qū)ο螅?)比較任務(wù),確定數(shù)據(jù)圖形的關(guān)系、趨勢、模式等;3)擴展任務(wù),構(gòu)建圖形之外的數(shù)據(jù)見解,如根據(jù)預(yù)測制定新意義或干預(yù)決策。這三個層次依次稱為讀取數(shù)據(jù)本身、讀取數(shù)據(jù)之間的關(guān)系和讀取數(shù)據(jù)之外的意義(Curcio, 1987)。類似地,克拉斯(Claes, S.)等定義了可視化見解的三個層次(Claes et al., 2015):1)事實性見解,感知數(shù)據(jù)事實及其關(guān)系模式;2)解釋性見解,對數(shù)據(jù)事實或關(guān)系模式進行情境化理解;3)反思性見解,結(jié)合外部信息、專業(yè)經(jīng)驗來合理化數(shù)據(jù)發(fā)現(xiàn)等。陳(Chen, Y.)等提出了可視化見解的層次模型(Chen et al., 2009):1)從數(shù)據(jù)可視化中提取的事實發(fā)現(xiàn);2)調(diào)用評估這些數(shù)據(jù)發(fā)現(xiàn)的心智模型,即激活與數(shù)據(jù)發(fā)現(xiàn)相關(guān)的個人經(jīng)驗知識;3)對這些數(shù)據(jù)發(fā)現(xiàn)的客觀和主觀評價,合理化數(shù)據(jù)發(fā)現(xiàn)并衡量其使用價值??ㄅ硖兀–arpenter, P. A.)與沙阿(Shah, P.)提出了圖形理解的認知模型(Carpenter & Shah, 1988):1)識別,感知并識別圖形中數(shù)據(jù)關(guān)系模式;2)解釋,從關(guān)系模式中進行檢索、構(gòu)造定性和定量意義;3)整合,將定性或定量意義與標(biāo)簽、圖例、標(biāo)題、文本等信息聯(lián)系起來推斷發(fā)現(xiàn)。這些研究為描繪可行動見解的概念結(jié)構(gòu)提供了豐富多樣的理解細節(jié)。
5. 數(shù)據(jù)素養(yǎng)的內(nèi)涵結(jié)構(gòu)
數(shù)據(jù)素養(yǎng)是有效地理解和使用數(shù)據(jù)并將其轉(zhuǎn)化為決策信息的能力,學(xué)習(xí)分析在功能上也是支持用戶對教育數(shù)據(jù)的處理與利用,考察數(shù)據(jù)素養(yǎng)對于刻畫可行動見解具有較好的參考價值。早在2011年,美國教育部針對大數(shù)據(jù)時代的教師提出了五大數(shù)據(jù)技能要求:1)數(shù)據(jù)定位,能找到相關(guān)數(shù)據(jù);2)數(shù)據(jù)理解,理解數(shù)據(jù)的重要性、多樣性表征形式;3)數(shù)據(jù)解釋,明白數(shù)據(jù)的潛在意義,能對其教育價值做出關(guān)聯(lián)性解讀;4)數(shù)據(jù)驅(qū)動的教學(xué)決策,對分析結(jié)果做出價值研判并制定相應(yīng)決策;5)提出新問題、新觀點的能力,對教學(xué)成效進行評價與驗證,不斷調(diào)整教學(xué)計劃(Barbara et al., 2011)。類似地,曼迪納奇(Mandinach, E. B.)與古默(Gummer, E. S.)概述了教師使用數(shù)據(jù)的過程(Mandinach & Gummer, 2016):1)確定問題,識別可通過數(shù)據(jù)分析解決的教學(xué)問題;2)使用數(shù)據(jù),識別可能的數(shù)據(jù)源,收集數(shù)據(jù),結(jié)合問題來分析數(shù)據(jù);3)將數(shù)據(jù)轉(zhuǎn)換為信息,使用多樣化方式組織數(shù)據(jù),結(jié)合教學(xué)法知識來解釋分析結(jié)果;4)將信息轉(zhuǎn)換為可付諸實踐的知識見解,以采取干預(yù)、調(diào)整教學(xué)或改進設(shè)計;5)評估有效性,采取干預(yù)行動之后,收集新數(shù)據(jù)來評估干預(yù)措施的有效性。
(二)刻畫可行動見解的概念結(jié)構(gòu)
DIKW數(shù)據(jù)轉(zhuǎn)化模型厘清了可行動見解的內(nèi)容邊際和結(jié)構(gòu)化特征,意義建構(gòu)明確了可行動見解的數(shù)據(jù)意義賦予的建構(gòu)性過程,學(xué)習(xí)分析應(yīng)用過程模型勾勒了可行動見解的關(guān)鍵結(jié)構(gòu),而數(shù)據(jù)可視化素養(yǎng)和數(shù)據(jù)素養(yǎng)為概述可行動見解提供了豐富的內(nèi)容給養(yǎng)。據(jù)此,本研究歸納了可行動見解的概念結(jié)構(gòu)(如表1所示)。從中可以看出,可行動見解是一個層次化的概念結(jié)構(gòu),包括“事實性見解—解釋性見解—反思性見解—行動性見解”四種關(guān)聯(lián)的見解。
1.事實性見解
事實性見解是用戶從數(shù)據(jù)分析或可視化中直接發(fā)現(xiàn)的觀測結(jié)果,如明顯的指標(biāo)變化、特定的關(guān)系模式等。為了獲得這類見解,用戶需要與學(xué)習(xí)分析過程、系統(tǒng)或工具進行持續(xù)的交互,感知到特定數(shù)據(jù)變量之間的關(guān)系,具體內(nèi)容有數(shù)值、趨勢、分布、相關(guān)、交集、預(yù)測、對比、向下鉆取、指標(biāo)合成或拆解、聚類、異常值、排序或復(fù)合見解等(Chen et al., 2009; 朝樂門 & 張晨, 2019)。事實性見解涉及客觀性、無需評判性的信息發(fā)現(xiàn),但僅憑事實性見解不太可能對現(xiàn)象理解、行動決策和問題解決產(chǎn)生直接影響。
2. 解釋性見解
解釋性見解是對學(xué)習(xí)分析的事實性見解進行情境化詮釋、意義賦予和回溯性解析,明確這些觀察發(fā)現(xiàn)對于當(dāng)前的教育情境或用戶對象意味著什么。學(xué)習(xí)分析在本質(zhì)上是對教育數(shù)據(jù)的去情境化抽象、處理與表征,而要準(zhǔn)確理解數(shù)據(jù)事實的實際含義,需要再次還原其情境細節(jié),重新賦予其教與學(xué)意義上的內(nèi)涵。用戶綜合教育情境、參照基準(zhǔn)、關(guān)聯(lián)數(shù)據(jù)、相關(guān)理論等軟性證據(jù)(soft evidence),對事實性見解的硬性證據(jù)(hard evidence)進行關(guān)聯(lián)思考、意義賦予、問題凝練、假設(shè)生成等,將數(shù)據(jù)價值轉(zhuǎn)化焦點從單純的“數(shù)據(jù)事實與圖表”轉(zhuǎn)向數(shù)據(jù)背后的“教育情境與學(xué)習(xí)問題”。
3. 反思性見解
反思性見解是用戶整合專業(yè)知識、心理圖式、教育情境或其他三角互證信息,對解釋性見解進行批判性、有效性的價值衡量,判斷其是否符合預(yù)期目標(biāo)或一般規(guī)律,研判造成這種結(jié)果的可能原因是什么,推斷這種狀態(tài)持續(xù)下去可能會引發(fā)怎樣的后果。其實,用戶經(jīng)常很難理解為什么會出現(xiàn)特定的學(xué)習(xí)行為模式或使用特定學(xué)習(xí)策略,如趙(Zhao, F.)等提出了一個基于結(jié)果確認的學(xué)習(xí)行為分析框架,以探索學(xué)習(xí)模式和策略選擇背后的深層原因和發(fā)生機理(Zhao et al., 2021)。對數(shù)據(jù)分析過程和結(jié)果重新賦予新的圖式化、關(guān)聯(lián)性意義,為制定行動策略做好深思熟慮的準(zhǔn)備。因此,反思性見解反映了數(shù)據(jù)發(fā)現(xiàn)與相關(guān)理論、預(yù)期目標(biāo)、學(xué)習(xí)意圖或具身經(jīng)驗的切合性,不再局限于數(shù)據(jù)分析過程或可視化系統(tǒng)中能夠提供的信息情境。
4. 行動性見解
行動性見解關(guān)注如何深思熟慮做出并實施證據(jù)導(dǎo)向的行動決策,在解釋與反思特定關(guān)系模式的基礎(chǔ)上,結(jié)合發(fā)展目標(biāo)與知識經(jīng)驗,針對性地提出可付諸實踐的干預(yù)策略。學(xué)習(xí)分析的關(guān)鍵目標(biāo)是務(wù)實性或?qū)嵺`性的,主要是為了做什么,而不僅僅是為了發(fā)現(xiàn)或解釋數(shù)據(jù)。首先,數(shù)據(jù)見解是否具有可行動性,涉及能否獲知數(shù)據(jù)中的特定關(guān)系模式(事實性見解),能否理解關(guān)系模式背后的教育情境及其意義(解釋性見解),能否合理化關(guān)系模式的原因及其后果(反思性見解)。其次,行動性見解的生成一般依賴于專業(yè)知識、具體經(jīng)驗或教育理論等方面的指導(dǎo)。如采用學(xué)習(xí)探究共同體理論指導(dǎo)在線課程干預(yù)措施的制定(Rienties et al., 2016)。最后,用戶實施特定的干預(yù)行動之后,需要開始新一輪的數(shù)據(jù)見解探索過程,以持續(xù)驗證干預(yù)行動的實際影響,即生成新的事實性見解或產(chǎn)生新的問題假設(shè)。
教師或?qū)W習(xí)者在使用教育數(shù)據(jù)和學(xué)習(xí)分析系統(tǒng)時并不一定都會生成所有層次的數(shù)據(jù)見解(特別是第四個層次的行動性見解),如使用數(shù)據(jù)大屏列出機構(gòu)運行的基本數(shù)據(jù)。一方面,可行動見解是一個從低可行動到高可行動的連續(xù)統(tǒng),但支持所有四層見解生成的學(xué)習(xí)分析設(shè)計對于教育數(shù)據(jù)價值轉(zhuǎn)化的影響是最深刻的。尤其是生成第四層見解,實施基于數(shù)據(jù)證據(jù)的干預(yù)行動,能夠完整地閉合學(xué)習(xí)分析的應(yīng)用回路。另一方面,四層見解的產(chǎn)生過程不一定是線性連續(xù)的,用戶既可以從行動性見解(如用戶根據(jù)自身經(jīng)驗獲得的干預(yù)決策猜想)到事實性見解(即找到支持其決策猜想的數(shù)據(jù)證據(jù)),又可以根據(jù)事實性見解來建立其對學(xué)習(xí)情境的初步理解,結(jié)合其他相關(guān)軟性證據(jù)來確定潛在問題,構(gòu)建問題情境,提出相關(guān)假設(shè),預(yù)測后果,以制定最優(yōu)的解決方案。
四、可行動見解的敘述特征
與信息可視化領(lǐng)域?qū)σ娊獾奶卣鹘缍ㄒ粯?,可行動見解也具有明顯的敘述特征,是一種需要通過語言符號、出聲思維或話語分析才可表征、可量化的數(shù)據(jù)見解。諾森(North, C.)闡述了數(shù)據(jù)見解的五個敘述特征(North, 2006):復(fù)雜、深刻、定性、意外、相關(guān)。類似地,洛(Law, P. M.)等認為數(shù)據(jù)見解具有可行動性、協(xié)同性、意外性、可驗證性、自發(fā)性、可信賴性和互聯(lián)性等特征(Law et al., 2020)。在學(xué)習(xí)分析領(lǐng)域,數(shù)據(jù)見解具有三個特征:1)實踐性,主要是為了做什么,而不僅是解釋或報告;2)依據(jù)性,任何行動都是經(jīng)過深思熟慮、有證據(jù)導(dǎo)向的;3)實證性,有相關(guān)基準(zhǔn)幫助用戶衡量數(shù)據(jù)發(fā)現(xiàn)的重要程度(Cooper, 2012)。綜上所述,本研究歸納了學(xué)習(xí)分析的可行動見解的八個敘述特征:情境性、深刻性、主觀性、意外性、自發(fā)性、整合性、特異性和證實性(如表2所示)。
語言即思維。敘述特征實際上代表了用戶應(yīng)用學(xué)習(xí)分析的思維推理過程。多數(shù)相關(guān)研究側(cè)重于從研究者、研發(fā)者或數(shù)據(jù)分析者角度來考察教育實踐,關(guān)注數(shù)據(jù)建模準(zhǔn)確率、精準(zhǔn)率、召回率、泛化程度等(Baker, 2019)。而可行動見解的敘述特征是面向?qū)W習(xí)者、教師、教育管理者等非數(shù)據(jù)專業(yè)用戶而構(gòu)建的,可以作為學(xué)習(xí)分析系統(tǒng)設(shè)計的內(nèi)核理論(kernel theory),指導(dǎo)教育數(shù)據(jù)要素的開發(fā)利用實踐。例如,“情境性”特征說明學(xué)習(xí)分析的數(shù)據(jù)結(jié)構(gòu)(或指標(biāo))要與具體的學(xué)習(xí)情境或任務(wù)緊密對齊,以確保數(shù)據(jù)的教育意義;“特異性”特征要求學(xué)習(xí)分析過程或結(jié)果有足夠細致的顆粒度和指向性,以聚焦可付諸行動的施策主體、對象、時間、強度等;而“證實性”特征表明需為數(shù)據(jù)分析提供特定的價值判斷基準(zhǔn)或可追溯的成功實例,幫助用戶確認需要實施干預(yù)的臨界值等。
表2 可行動見解的敘述特征
[特征 說明 情境性 見解是嵌入到教育情境之中的,涉及學(xué)習(xí)過程、學(xué)習(xí)設(shè)計、學(xué)習(xí)結(jié)果、學(xué)習(xí)資源、教學(xué)活動、時間管理、學(xué)習(xí)者特征等教育性意義,而非純粹的數(shù)據(jù)處理和分析 深刻性 見解是用戶結(jié)合機器算法、經(jīng)驗知識的推理結(jié)果,涉及多維時空、種類多樣的數(shù)據(jù),而不僅是單個抽象數(shù)值,具有一定的深度、廣度與高度 主觀性 見解往往是不確定的,可能有多樣化的理解向度、驗證路徑或解決方案 意外性 見解往往是不可預(yù)測的、偶然的,經(jīng)常會出現(xiàn)難以猜測、意想不到的關(guān)系模式 自發(fā)性 見解意味著“從不知道如何解決問題突然遷移到知道怎樣解決問題”,這依賴于人類特有的直覺、關(guān)聯(lián)思維、頓悟、經(jīng)驗與因果推理 整合性 見解生成時會調(diào)動用戶的期望、預(yù)感、知覺、假設(shè)、知識、經(jīng)驗或心理模型,參考外部信息、工具、理論、基準(zhǔn)、調(diào)查信息,主動開展統(tǒng)整性反思、驗證 特異性 見解具有足夠的特異性、具體性、指向性才具有實踐價值,從特定的用戶、時間、位置、對象、活動或關(guān)系角度來制定可施行的干預(yù)措施 證實性 可從定量上或定性上判斷數(shù)據(jù)發(fā)現(xiàn)的顯著性、可靠性、有效性、可追溯性,明白什么樣的預(yù)期范圍是達標(biāo)的或存在問題,特征值達到什么閾值或條件才值得關(guān)注 ]
五、支持可行動見解生成的分析推理過程
學(xué)習(xí)分析是一項社會性技術(shù),數(shù)據(jù)價值的轉(zhuǎn)化需要終端用戶的分析推理,積極調(diào)用心理圖式,以開展基于密集數(shù)據(jù)資源的復(fù)雜認知活動,而可行動見解正是這些認知活動的信息輸出。其中,分析推理是終端用戶應(yīng)用信息可視化的核心加工過程,理性地對數(shù)據(jù)信息的邏輯價值開展推斷和評價(Leighton, 2004)。同樣,為了支持可行動見解的生成,學(xué)習(xí)分析系統(tǒng)或工具需要有效地支持用戶的分析推理,以協(xié)同、補充、增強、引導(dǎo)終端用戶的信息加工過程。
然而,還沒有研究概述終端用戶使用學(xué)習(xí)分析的分析推理過程,借助數(shù)據(jù)工具實現(xiàn)人類推理的過程仍然是一個高度未開發(fā)的領(lǐng)域(Meyer, et al., 2010),更沒有顆粒細致的理論框架來解釋學(xué)習(xí)分析的意義建構(gòu)過程(Duval, 2011)。值得注意的是,塞迪格(Sedig, K.)和帕森斯(Parsons, P.)梳理了關(guān)于數(shù)據(jù)可視化支持用戶分析推理的思維框架,從專業(yè)可視化軟件中提煉了數(shù)十種認識行為(epistemic action),包括篩選、檢索、注釋、翻轉(zhuǎn)等(Sedig & Parsons, 2013)。不過,該框架針對的是數(shù)據(jù)專業(yè)人員的分析推理過程,并不是從教師、學(xué)習(xí)者等非數(shù)據(jù)專業(yè)用戶的視角出發(fā),但為其數(shù)據(jù)分析推理活動提供了重要的理論構(gòu)建指引。通過整合最新研究成果,本研究將構(gòu)建使用學(xué)習(xí)分析的分析推理過程,包括感知探索、意義建構(gòu)、整合推理和干預(yù)決策,以對應(yīng)可行動見解的四個層次結(jié)構(gòu)(如表3所示)。
(一)感知探索
在接觸到學(xué)習(xí)分析過程或系統(tǒng)之后,用戶帶著問題、好奇心或自由地探索與感知數(shù)據(jù),結(jié)合對關(guān)鍵教與學(xué)事件、現(xiàn)象的回憶,或憑借已有知識經(jīng)驗,逐漸形成探究焦點,構(gòu)建特定的數(shù)據(jù)發(fā)現(xiàn)或關(guān)系模式,識別新問題或出現(xiàn)認知沖突,可能會出現(xiàn)一定的情緒響應(yīng),或者繼續(xù)等待分析推理時機。該階段主要生成事實性見解,以“看見”數(shù)據(jù)中“發(fā)生了什么”(What)。
(二)意義建構(gòu)
用戶對特定的數(shù)據(jù)現(xiàn)象或關(guān)系模式進行情境化理解和本地化解釋,在數(shù)據(jù)信息與可理解的教育概念之間建立關(guān)聯(lián)和映射。例如,與預(yù)期目標(biāo)和數(shù)據(jù)基準(zhǔn)對比,將數(shù)據(jù)發(fā)現(xiàn)還原至關(guān)聯(lián)的學(xué)習(xí)情境,聯(lián)合多個數(shù)據(jù)對象、變量、特征、實例進行跨時空、立體化比較,判斷數(shù)據(jù)發(fā)現(xiàn)的價值性與可信度,提出教與學(xué)的相關(guān)假設(shè),賦予數(shù)據(jù)以教育教學(xué)意義并將其整合到其他先前存在的心理圖式當(dāng)中,其實質(zhì)是診斷和明確現(xiàn)狀問題與預(yù)期目標(biāo)之間的差距。該階段主要生成解釋性見解,以“洞見”這些數(shù)據(jù)發(fā)現(xiàn)“意味著什么”(So What)。
(三)整合推理
用戶結(jié)合專業(yè)知識、相關(guān)理論、輔助數(shù)據(jù)、外部工具等,調(diào)用數(shù)據(jù)以外的信息、理論、信念對數(shù)據(jù)發(fā)現(xiàn)或意義進行補充說明,對數(shù)據(jù)發(fā)現(xiàn)進行分析推理、價值確認、后果預(yù)測、恰當(dāng)歸因、論證假設(shè),或引發(fā)有待驗證的質(zhì)疑、困惑或假設(shè),激發(fā)對教育現(xiàn)象本身的預(yù)測性、假設(shè)性、移情性反省。整合推理實際上是對數(shù)據(jù)背后的教育現(xiàn)象進行合理化,該階段主要生成反思性見解,以“預(yù)見”數(shù)據(jù)背后教育現(xiàn)象的發(fā)生機制(Why)。
(四)干預(yù)決策
在對數(shù)據(jù)發(fā)現(xiàn)進行情境化的解釋與深思熟慮的反思之后,用戶根據(jù)相關(guān)教育理論、分析目標(biāo)、特定基準(zhǔn)、個人或團隊經(jīng)驗,對數(shù)據(jù)背后的教育問題做出針對性的行動響應(yīng),向利益相關(guān)者提供反饋,引發(fā)對教與學(xué)策略的深度思考,完善或改變已有心理圖式,也可能繼續(xù)觀察、有待補充更多數(shù)據(jù)或?qū)で蟾嗾f明信息。干預(yù)決策意味著根據(jù)相關(guān)理論或自身知識經(jīng)驗,或者參考機器學(xué)習(xí)模型生成的反事實解釋(Counterfactual explanation)(Rasouli & Chieh Yu, 2022),制定可實施的行動策略,以彌合問題現(xiàn)狀與預(yù)期目標(biāo)之間的鴻溝。該階段主要生成行動性見解,以“創(chuàng)見”解決教育相關(guān)問題的新措施(How)。同樣地,在實施新干預(yù)之后會引發(fā)下一輪感知探索,運用新的事實性見解來驗證上一輪干預(yù)的有效性,以支持可行動見解的迭代生成,從而形成教與學(xué)的新觀點或理論(Wong et al., 2019)。
六、支持可行動見解生成的學(xué)習(xí)
分析系統(tǒng)設(shè)計建議
學(xué)習(xí)分析系統(tǒng)或?qū)W習(xí)儀表盤為數(shù)據(jù)要素的價值轉(zhuǎn)化提供了規(guī)?;瘷C制,但師生在解釋學(xué)習(xí)分析并據(jù)此采取行動上還存在較大挑戰(zhàn)(Li et al., 2021;Susnjak et al., 2022)。盡管直觀地顯示數(shù)據(jù)可以一目了然,但是僅僅表征或報告數(shù)據(jù),對于用戶生成可行動見解是遠遠不夠的,學(xué)習(xí)分析制品還需要幫助用戶對數(shù)據(jù)背后的教育現(xiàn)象進行合理地解釋、反思與干預(yù)決策。數(shù)據(jù)用戶面臨的最大挑戰(zhàn)之一就是應(yīng)用分析結(jié)果來解決現(xiàn)實世界中的問題(You, 2010)。換句話說,單純的數(shù)據(jù)分析往往很難實現(xiàn)其更高層次的目的,即支持有效的干預(yù)決策。為了促進可行動見解的生成,建議在開發(fā)學(xué)習(xí)分析系統(tǒng)或?qū)W習(xí)儀表盤時采取一些對應(yīng)的設(shè)計策略。
(一)采用以終端用戶為中心的參與式設(shè)計策略,提高學(xué)習(xí)分析的相關(guān)性與可用性
可行動見解的生成包括感知探索、意義建構(gòu)、整合推理、干預(yù)決策等多個階段,設(shè)計良好的學(xué)習(xí)分析應(yīng)該支持用戶從事這些復(fù)雜認知的思維過程。以終端用戶為中心的參與式設(shè)計方法被認為是支持可行動見解生成的關(guān)鍵方法(Buckingham Shum et al., 2019)。分析與推理數(shù)據(jù)信息時可能存在“偏差發(fā)現(xiàn)”、質(zhì)疑等傾向,終端用戶也可能會得出與需求無關(guān)的“意外性”“自發(fā)性”“主觀性”見解,所以調(diào)查并滿足終端用戶的真實需求顯得至關(guān)重要。直接邀請終端用戶參與學(xué)習(xí)分析應(yīng)用的設(shè)計全程,充分考慮其需求、愿望、經(jīng)驗、應(yīng)用情境與限制,提升學(xué)習(xí)分析設(shè)計的相關(guān)性、可用性、可解釋性。如馬丁內(nèi)斯-馬爾多納多(Martinez-Maldonado, R.)在開發(fā)課堂協(xié)作學(xué)習(xí)儀表盤時,就充分調(diào)查與挖掘了教師關(guān)于如何使用協(xié)作學(xué)習(xí)分析的觀點、痛點及其支持需求(Martinez-Maldonado, 2019)。類似地,基施納(Kirschner, P. A.)提出以用戶為中心的CSCL可視化設(shè)計流程(Kirschner, 2002):1)在設(shè)計和開發(fā)工具之前,觀察學(xué)習(xí)者實際做了什么;2)確定可以做些什么來支持學(xué)習(xí)者;3)確定學(xué)習(xí)環(huán)境中的約束和行為習(xí)慣;4)確定學(xué)習(xí)者怎樣感知和體驗所提供的支持;5)確定學(xué)習(xí)者實際如何使用支持;6)利用習(xí)得的經(jīng)驗教訓(xùn),不斷修正設(shè)計。
(二)采用數(shù)據(jù)故事化設(shè)計理念,促進數(shù)據(jù)要素的深度意義建構(gòu)與價值轉(zhuǎn)化
數(shù)據(jù)故事化(Data Storytelling)主張結(jié)合敘事要素、模型與方法來幫助用戶洞察數(shù)據(jù)中的見解發(fā)現(xiàn),是數(shù)據(jù)價值轉(zhuǎn)化的深度設(shè)計邏輯(汪維富 等, 2023)。朝樂門與張晨(2019)認為,數(shù)據(jù)故事化能將“數(shù)據(jù)”還原或關(guān)聯(lián)至特定情境,并以敘述方式呈現(xiàn)過程,能有效地促進用戶從數(shù)據(jù)的表面感知轉(zhuǎn)向數(shù)據(jù)的深度認知,讓學(xué)習(xí)分析的設(shè)計傾向從探索性特征轉(zhuǎn)為解釋性特征,使終端用戶像數(shù)據(jù)科學(xué)家一樣從數(shù)據(jù)中洞察價值。根據(jù)可行動見解的概念結(jié)構(gòu),除了獲知事實性見解,還需要對這些數(shù)據(jù)發(fā)現(xiàn)進行解釋和反思,甚至執(zhí)行對應(yīng)的干預(yù),易于理解的敘事文本作為數(shù)據(jù)的情境再植方法與理解支架,能高效地引導(dǎo)用戶對教育數(shù)據(jù)進行意義建構(gòu)、整合推理與干預(yù)決策。如在儀表盤中增加關(guān)于復(fù)雜數(shù)據(jù)指標(biāo)的文本解釋,將相關(guān)情境要素信息植入可視化當(dāng)中,為預(yù)測模型探尋可行動的反事實解釋列表,為達到特定基準(zhǔn)的對象設(shè)定干預(yù)反饋規(guī)則等。
(三)融合教育理論或?qū)W習(xí)構(gòu)念,實現(xiàn)從低階數(shù)據(jù)向可行動見解的話語轉(zhuǎn)變
純粹地基于大量低階數(shù)據(jù)(如點擊流、眼睛注視、心電信號等)而創(chuàng)建的分析模型存在可理解性和可用性的困境,因為這些數(shù)據(jù)無法轉(zhuǎn)化為教師和學(xué)習(xí)者可以理解的概念形式。因此,學(xué)習(xí)分析研究者紛紛強調(diào)教育理論或?qū)W習(xí)構(gòu)念在發(fā)展可行動見解上的關(guān)鍵作用(Dawson et al., 2015)。教育理論能夠指導(dǎo)設(shè)計者如何從諸多數(shù)據(jù)變量中選擇和生成可靠的關(guān)鍵指標(biāo),實現(xiàn)從點擊流到有效學(xué)習(xí)構(gòu)念的轉(zhuǎn)換,賦予低階的初始數(shù)據(jù)以用戶可解釋、可操作的高階學(xué)習(xí)構(gòu)念,在解釋性見解、反思性見解、行動性見解層面實現(xiàn)數(shù)據(jù)點擊流到教育概念的關(guān)聯(lián)映射和話語轉(zhuǎn)換。如果沒有理論,缺乏將數(shù)據(jù)聯(lián)系起來的整體框架,學(xué)習(xí)分析可能只是雜亂無章的數(shù)據(jù)處理。事實上,若沒有教育概念,學(xué)習(xí)儀表盤只是簡易的數(shù)據(jù)描述呈現(xiàn),可能只停留在事實性見解層面,很難提供進一步的可行動見解。
七、總結(jié)與展望
數(shù)據(jù)發(fā)揮價值需要經(jīng)過一套完整的增值過程(郝祥軍 & 顧小清, 2023),不僅包括工具理性導(dǎo)向的數(shù)據(jù)統(tǒng)計與分析挖掘,而且涉及價值理性導(dǎo)向的用戶推理與實踐驗證。本研究從終端用戶的輸出角度,全面刻畫了可行動見解的概念框架,包括內(nèi)涵定義、概念結(jié)構(gòu)、敘述特征和分析推理過程,這些成果對于促進教育數(shù)據(jù)要素的開發(fā)利用和價值轉(zhuǎn)化具有一定的理論與實踐意義。一方面,面對學(xué)習(xí)分析研究充斥著數(shù)據(jù)處理和算法建模等工具理性目標(biāo),可行動見解為用戶使用學(xué)習(xí)分析提供了過程性的價值理性目標(biāo),較好地回應(yīng)了學(xué)習(xí)分析研究中工具理性與價值理性的失衡問題,構(gòu)建了學(xué)習(xí)分析研究的新話語體系。另一方面,教育數(shù)據(jù)要素只有經(jīng)過深度的開發(fā)加工,產(chǎn)出高品質(zhì)的教育數(shù)據(jù)服務(wù),才能激活與發(fā)揮其潛在價值(楊現(xiàn)民 等, 2022)。可行動見解的概念結(jié)構(gòu)、敘述特征與分析推理過程,能在細致顆粒度上直接指導(dǎo)教育數(shù)據(jù)產(chǎn)品的深度開發(fā)與可用性評價。
盡管本研究較系統(tǒng)地概述了學(xué)習(xí)分析的可行動見解,但在理論刻畫上均使用了基于文獻研究的歸納推理方法,沒有在現(xiàn)實情境中進行科學(xué)驗證,可能存在概述不全面、歸納不深入等缺陷,需要進一步在具體教育數(shù)據(jù)情境中開展實踐應(yīng)用,并持續(xù)提煉可行動見解的概念框架。
參考文獻
白雪梅,顧小清,尹歡歡,武美玖,& 胡碧皓. (2022). 數(shù)據(jù)驅(qū)動精準(zhǔn)教學(xué):實踐路徑、感知理解與現(xiàn)實困境. 電化教育研究(4),77-84.
朝樂門,& 張晨. (2019). 數(shù)據(jù)故事化:從數(shù)據(jù)感知到數(shù)據(jù)認知. 中國圖書館學(xué)報(5),61-78.
郝祥軍,& 顧小清. (2023). AI重塑知識觀:數(shù)據(jù)科學(xué)影響下的知識創(chuàng)造與教育發(fā)展. 中國遠程教育(5),13-23.
胡航,杜爽,梁佳柔,& 康忠琳. (2021). 學(xué)習(xí)績效預(yù)測模型構(gòu)建:源于學(xué)習(xí)行為大數(shù)據(jù)分析. 中國遠程教育(4),8-20,76.
李芒. (2008). 對教育技術(shù)“工具理性”的批判. 教育研究(5),56-61.
林書兵,& 張學(xué)波. (2021). 教育數(shù)據(jù)解讀的認知解密與技能解鎖. 開放教育研究(4),17-26.
商麗麗,唐華云,王延昭,& 左美云. (2022). 在線評論可行動信息識別研究. 數(shù)據(jù)分析與知識發(fā)現(xiàn)(12),1-12.
汪維富,& 毛美娟. (2021). 超越工具理性:促進學(xué)習(xí)分析研究成熟的發(fā)展進路. 現(xiàn)代教育技術(shù)(12),35-41.
汪維富,閆寒冰,& 毛美娟. (2023). 數(shù)據(jù)故事化:教育數(shù)據(jù)要素價值轉(zhuǎn)化的新視角. 電化教育研究(5),13-19,28.
楊現(xiàn)民,吳貴芬,& 李新. (2022). 教育數(shù)字化轉(zhuǎn)型中數(shù)據(jù)要素的價值發(fā)揮與管理. 現(xiàn)代教育技術(shù)(8),5-13.
趙帥,王煒,江毅,& 劉艷. (2022). 面向數(shù)智化決策的學(xué)習(xí)分析研究要旨與動向——基于2011—2021年LAK會議論文的質(zhì)性元分析. 中國遠程教育(10),10-20.
祝智庭,彭紅超,& 雷云鶴. (2017). 解讀教育數(shù)據(jù)智慧. 開放教育研究(5),21-29.
Ackoff, R. (1989). From data to wisdom. Journal of Applied Systems Analysis, 16, 3-9.
Alhadad, S. S. (2016). Attentional and cognitive processing of analytics visualizations: Can design features affect interpretations and decisions about learning and teaching? In Proceedings of the 33rd Annual Conference of the Australasian Society for Computers in Learning in Tertiary Education(pp. 20-32). ASCLTE.
Baker, R. S. (2019). Challenges for the future of educational data mining: The Baker learning analytics prizes. Journal of Educational Data Mining, 11(1), 1-17.
Barbara, M., Chen, E., DeBarger, A. H., & Padilla, C. (2011). Teachers’ ability to use data to inform instruction: Challenges and supports.
OPEPD.
Brown, A. D., Colville, I., & Pye, A. (2015). Making sense of sensemaking in organization studies. Organization Studies, 36(2), 265-277.
Buckingham Shum, S., Ferguson, R., & Martinez-Maldonado, R. (2019). Human-centred learning analytics. Journal of Learning Analytics, 6(2), 1-9.
Campos, F. C., Ahn, J., Digiacomo, D. K., Nguyen, H., & Hays, M. (2021). Making sense of sensemaking: Understanding how K-12 teachers and coaches react to visual analytics. Journal of Learning Analytics, 8(3), 1-21.
Carpenter, P. A., & Shah, P. (1998). A model of the perceptual and conceptual processes in graph comprehension. Journal of Experimental Psychology: Applied, 2(4), 75-100.
Chen, Y., Yang, J., & Ribarsky, W. (2009). Toward effective insight management in visual analytics systems. In Proceedings of the 2009 IEEE Pacific Visualization Symposium(pp. 49-56). IEEE.
Claes, S., Wouters, N., Slegers, K., & Moere, A. V. (2015). Controlling in-the-wild evaluation studies of public displays. In Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems(pp. 81-84). ACM.
Clow, D. (2013). An overview of learning analytics. Teaching in Higher Education, 18(6), 683-695.
Colvin, C., Rogers, T., Wade, A., Dawson, S., Gasevic, D., Buckingham Shum, S., Nelson, K., Alexander, S., Lockyer, L., Kennedy, G., Corrin, L., & Fisher , J. (2016). Student retention and learning analytics: A snapshot of Australian practices and a framework for advancement. AGOLT.
Conijn, R., Van Waes, L., & van Zaanen, M. (2020). Human-Centered design of a dashboard on students’ revisions during writing. In C. Alario-Hoyos, M. J. Rodríguez-Triana, M. Scheffel, I. Arnedillo-Sánchez, & S. M. Dennerlein (Eds.), Addressing global challenges and quality education(pp.30-44). Springer.
Cooper, A. (2012). What is analytics? Definition and essential characteristics.CETIS Analytics Series, 1(5), 1-10.
Curcio, F. R. (1987). Comprehension of mathematical relationships expressed in graphs. Journal for Research in Mathematics Education, 18(5), 382-393.
Dawson, S., Mirriahi, N., & Gasevic, D. (2015). Importance of theory in learning analytics in formal and workplace settings.Journal of Learning Analytics, 2(2), 1-4.
De Laet, T., Verbert, K., Millecamp, M., Broos, Tom., Chatti, M.A., & Muslim, A. (2020). XLA: Explainable learning analytics. In Adjunct proceedings of the 10th International Conference on Learning Analytics & Knowledge(pp. 477-479). ACM.
Duval, E. (2011). Attention please! Learning analytics for visualization and recommendation. In Proceedings of the 1st International Conference on Learning Analytics & Knowledge(pp. 9-17). ACM.
Ga?evi , D., Dawson, S., & Pardo, A. (2016). How do we start? State and directions of learning analytics adoption. International Council for Open and Distance Education.
Hilliger, I., Ortiz-Rojas, M., Pesántez-Cabrera, P., Scheihing, E., Tsai, Y. S., Mu?oz-Merino, P. J., Broos, T., Whitelock-Wainwright, A., & Pérez-Sanagustín, M. (2020). Identifying needs for learning analytics adoption in Latin American universities: A mixed-methods approach.The Internet and Higher Education, 45, 100726.
Iraj, H., Fudge, A., Khan, H. J., Faulkner, M., Pardo, A., & Kovanovíc, V. (2021). Narrowing the feedback gap: Examining student engagement with personalized and actionable feedback messages. Journal of Learning Analytics, 8(3), 1-16.
J?rn?, R. L., & Gynther, K. (2018). What constitutes an ‘a(chǎn)ctionable insight’ in learning analytics? Journal of Learning Analytics, 5(3), 198-221.
Kirschner, P. A. (2002). Can we support CSCL? Educational, social and technological affordances for learning(pp. 7-47).OUNL.
Klein, G., Moon, B., & Hoffman, R. R. (2006). Making sense of sensemaking 1: Alternative perspectives . IEEE Intelligent Systems, 21(4), 70-73.
Koh, E., & Tan, J. (2017). A taxonomy for teacher-actionable insights in learning analytics. In Proceedings of the 25th International Conference on Computers in Education(pp. 517-519). Asia-Pacific Society for Computers in Education.
Kozlov, V. (2020-8-25). What is data, information, knowledge, insight? http://victorkozlov.com/blog/data-information-knowledge-
insight/
Law, P. M., Endert, A., & Stasko, J. T. (2020). What are data insights to professional visualization users. In 2020 IEEE Visualization Conference(pp. 181-185). IEEE.
Leighton, J. P. (2004).The nature of reasoning. Cambridge University Press.
Li, Q., Jung, Y., & Wise, A. F. (2021). Beyond first encounters with analytics: Questions, techniques and challenges in instructors’ sensemaking. In Proceedings of the 11th International Conference on Learning Analytics & Knowledge(pp. 344-353).ACM.
Liu, D. Y. T., Bartimote-Aufflick, K., Pardo, A., & Bridgeman, A.J. (2017). Data-driven personalization of student learning support in higher education. In A. Pe?a-Ayala (Ed.), Learning analytics: Fundaments, applications, and trends(pp. 143-170). Springer.
Mai, X. Q., Luo, J., Wu, J. H., & Luo, Y. J. (2004). “Aha!” effects in a guessing riddle task: An event-related potential study. Human Brain Mapping, 22(4), 261-270.
Mandinach, E. B., & Gummer, E. S. (2016). Every teacher should succeed with data literacy. Phi Delta Kappan, 97(8), 43-46.
Martinez-Maldonado, R. (2019). A handheld classroom dashboard: Teachers’ perspectives on the use of real-time collaborative learning analytics.International Journal of Computer-Supported Collaborative Learning, 14, 383-411.
Meyer, J., Thomas, J., Diehl, S., Fisher, B., &; Keim, D. (2010). From visualization to visually enabled reasoning. In H. Hagen (Ed.), Scientific visualization: Advanced concepts(pp. 227-245).Schloss Dagstuhl-Leibniz-Zentrum fuer Informatik.
Molenaar, I., & Knoop-van Campen, C. A. N. (2019). How teachers make dashboard information actionable. IEEE Transactions on Learning Technologies, 13(3), 347-355.
North, C. (2006). Toward measuring visualization insight. IEEE Computer Graphics & Applications, 26(3), 6-9.
Pelletier, K., McCormack, M., Reeves, J., Robert, J., Arbino, N., Al-Freih, M., Dickson-Deane, C., Guevara, C., Koster, L., Sánchez-Mendiola, M., Bessette, L. S., & Stine, J. (2022). EDUCAUSE Horizon Report (Teaching and Learning Edition).EDUCAUSE.
Pirolli, P., & Card, S. (2005). The sensemaking process and leverage points for analyst technology as identified through cognitive task analysis.Proceedings of International Conference on Intelligence Analysis (5), 2-4.
Rasouli, P., & Chieh Yu, I. (2022). CARE: coherent actionable recourse based on sound counterfactual explanations. International Journal of Data Science and Analytics. http://doi.org/10.1007/s41060-022-00365-6.
Rienties, B., Boroowa, A., Cross, S., Kubiak, C., Mayles, K., & Murphy, S. (2016). Analytics4Action evaluation framework: A review of evidence-based learning analytics interventions at the Open University UK. Journal of Interactive Media in Education (1), 1-11.
Saraiya, P., North, C., & Duca. C. (2005). An insight-based methodology for evaluating bioinformatics visualizations. IEEE Transactions on Visualization and Computer Graphics, 11(4), 443-456.
Sedig, K., & Parsons, P. (2013). Interaction design for complex cognitive activities with visual representations: A pattern-based approach. AIS Transactions on Human-Computer Interaction, 5(2), 84-133.
Spillane, J. P. (2012). Data in practice: Conceptualizing the data-based decision-making phenomena. American Journal of Education, 118(2), 113-141.
Su, P., Mao, W., Zeng, D., & Zhao, H. (2012). Mining actionable behavioral rules. Decision Support Systems, 54(1), 142-152.
Susnjak, T., Ramaswami, G. S., & Mathrani, A. (2022). Learning analytics dashboard: A tool for providing actionable insights to learners. International Journal of Educational Technology in Higher Education, 19(12). https://doi.org/10.1186/s41239-021-00
313-7.
Tan, S. Y., & Chan, T. (2015). Defining and conceptualizing actionable insight: A conceptual framework for decision-centric analytics. In ACIS 2015 Proceedings(pp.1-11). AIS Electronic Library.
Thomas, J., Clark, S., & Gioia, D. (1993). Strategic sensemaking and organizational performance: Linkages among scanning, interpretation, and outcomes. Academy of Management Journal, 36(2), 239-70.
Van Harmelen, M., & Workman, D. (2012). Analytics for learning and teaching. CETIS Analytics Series, 1(3), 1-40.
Van Leeuwen, A. (2019). Teachers’ perceptions of the usability of learning analytics reports in a flipped university course: When and how does information become actionable knowledge? Educational Technology Research and Development, 67(5), 1043-1064.
Verbert, K., Duval, E., Klerkx, J., Govaerts, S., & Santos, J. L. (2013). Learning analytics dashboard applications. American Behavioral Scientist, 57, 1500-1509.
Wainer, H., (1992). Understanding graphs and tables. Educational Researcher, 21(1), 14-23.
Wise, A. F., & Jung, Y. (2019). Teaching with analytics: Towards a situated model of instructional decision-making. Journal of Learning Analytics, 6(2), 53-69.
Wise, A. F., Vytasek, J. M., Hausknecht, S. N., & Zhao, Y. (2016). Developing learning analytics design knowledge in the “Middle Space”: The student tuning model and align design framework for learning analytics use. Journal of Asynchronous Learning Networks, 20, 155-182.
Wong, J., Baars, M., de Koning, B. B., der Zee, T., Davis, D., Khalil, M., Houben, G-J., & Paas, F. (2019). Educational theories and learning analytics: From data to knowledge. In D. Ifenthaler, D. K. Mah, & J. K. Yau (Eds.), Utilizing learning analytics to support study success(pp. 3-25). Springer.
You, H. (2010). A knowledge management approach for real-time business intelligence. In 2nd International Workshop on Intelligent Systems and Applications(pp. 1-4). IEEE.
Zhao, F., Hwang, G. J., & Yin, C. (2021). A result confirmation-based learning behavior analysis framework for exploring the hidden reasons behind patterns and strategies. Educational Technology & Society, 24(1), 138-151.
Actionable Insights of Learning Analytics: Connotation
Understanding and Conceptual Structure
Wang Weifu and Mao Meijuan
Abstract: Mainstream learning analytics focuses on instrumental rationality, such as data collection, analysis and mining, and algorithmic modeling, while the value rationality research on how to use learning analytics has been overlooked. As a result, there is a significant imbalance between instrumental rationality and value rationality on the development and utilization of educational data elements. Therefore, this study conceptualizes the value rationality goal of learning analytics, which is referred to as “actionable insights”. Then, the connotation of actionable insights is clarified, the conceptual structure of actionable insights is constructed, the narrative features of actionable insights are characterized, and the analytical reasoning processes and design strategies that support the generation of actionable insights are proposed. The study argues that actionable insights represent meaningful knowledge or information that can be acted upon by end-users from learning analytics, including four hierarchical components: factual, interpretive, reflective and actionable insights. To effectively support the generation of actionable insights, it is recommended to adopt user-centered participatory design methods, incorporate the design concept of data storytelling, and integrate educational theories or learning constructs when designing and developing learning analytics systems.
Keywords: actionable insights; learning analytics; data element; value rationality; data storytelling
Authors: Wang Weifu, lecturer of the School of Journalism and Communication, Jiangxi Normal University (Nanchang 330022); Mao Meijuan, lecturer of the E-Commerce School, Jiangxi College of Foreign Studies (Nanchang 330099)
責(zé)任編輯 郝 丹 韓世梅