摘 要：“十四五”時(shí)期，關(guān)注學(xué)習(xí)過程，重視用戶體驗(yàn)，構(gòu)建與時(shí)代背景相適應(yīng)的在線開放課程質(zhì)量評價(jià)框架與指標(biāo)，已成為推動在線教育高質(zhì)量發(fā)展的重要命題。本研究從過程視角出發(fā)，以數(shù)據(jù)為導(dǎo)向，關(guān)注在線開放課程實(shí)際使用情況，首先構(gòu)建了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架，該框架包含學(xué)習(xí)過程數(shù)據(jù)采集、學(xué)習(xí)過程數(shù)據(jù)映射、學(xué)習(xí)過程數(shù)據(jù)分析與課程質(zhì)量等級評價(jià)四個(gè)流程，以及數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)映射、數(shù)據(jù)分析、結(jié)果輸出、質(zhì)量計(jì)算、優(yōu)化策略七個(gè)評價(jià)環(huán)節(jié)；其次設(shè)計(jì)了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)指標(biāo)體系；最后以“中小學(xué)教師數(shù)據(jù)素養(yǎng)”MOOC為例，基于第二期的學(xué)習(xí)過程數(shù)據(jù)開展了評價(jià)實(shí)踐，分析了課程存在的實(shí)際問題，并從課程內(nèi)容、學(xué)習(xí)過程、課程平臺環(huán)境、學(xué)習(xí)支持服務(wù)四個(gè)方面提出在線開放課程質(zhì)量的優(yōu)化策略。

關(guān)鍵詞：學(xué)習(xí)過程數(shù)據(jù)；在線開放課程；課程質(zhì)量評價(jià)；評價(jià)框架；評價(jià)指標(biāo)體系

一、問題提出

近年來，在線教育理論體系與實(shí)踐過程相互滲透、融合發(fā)展（陳曉慧， 2020），在線學(xué)習(xí)已成為全球主要學(xué)習(xí)形式之一，以慕課（Massive Open Online Courses， MOOC）為代表的在線開放課程成為學(xué)習(xí)者的主要學(xué)習(xí)資源。自2008年大規(guī)模開放在線課程首次被戴夫·科米爾（Cormier， D.）提及以來，我國建設(shè)與規(guī)劃在線開放課程已十余年，其中設(shè)計(jì)與開發(fā)高質(zhì)量在線開放課程一直是在線教育的重點(diǎn)工程。開展在線開放課程質(zhì)量評價(jià)是提升課程質(zhì)量的重要途徑。傳統(tǒng)的在線開放課程質(zhì)量評定主要聚焦于課程內(nèi)容本身，評價(jià)維度主要涉及師資隊(duì)伍、課程資源、教學(xué)內(nèi)容、學(xué)習(xí)系統(tǒng)、平臺保障等（王璐 等， 2017）。大數(shù)據(jù)時(shí)代，越來越多的研究者意識到學(xué)習(xí)者學(xué)習(xí)在線開放課程生成的海量學(xué)習(xí)過程數(shù)據(jù)價(jià)值巨大，這些數(shù)據(jù)被在線學(xué)習(xí)平臺記錄下來，體現(xiàn)了學(xué)習(xí)者學(xué)習(xí)課程的全過程，亟待深層分析與挖掘。

在“十四五”新發(fā)展階段，在線教育越來越關(guān)注在線開放課程用戶的體驗(yàn)與感受，基于學(xué)習(xí)體驗(yàn)評價(jià)與改進(jìn)在線開放課程成為推進(jìn)在線教育可持續(xù)發(fā)展的關(guān)鍵。過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)基于課程實(shí)際使用情況，關(guān)注學(xué)生“使用”與“消費(fèi)”課程的學(xué)習(xí)過程，提高課程用戶黏性，是推進(jìn)在線開放課程可持續(xù)發(fā)展的重點(diǎn)任務(wù)（王娟 & 劉偉， 2022），然而相關(guān)研究卻不多。鑒于此，本研究從過程視角出發(fā)，以數(shù)據(jù)為導(dǎo)向，關(guān)注學(xué)習(xí)體驗(yàn)，開展過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)研究，旨在厘清從哪些維度采集哪些學(xué)習(xí)過程數(shù)據(jù)才能保證在線開放課程質(zhì)量評價(jià)指標(biāo)體系的構(gòu)建。

二、相關(guān)研究

（一）在線學(xué)習(xí)過程數(shù)據(jù)分析研究

進(jìn)入21世紀(jì)，在線學(xué)習(xí)已成為必然趨勢，更加強(qiáng)調(diào)以學(xué)生為中心、自主構(gòu)建知識體系以及有意義的學(xué)習(xí)（葛曉春， 2001），并產(chǎn)生了海量學(xué)習(xí)過程數(shù)據(jù)。劉革平等（2005）構(gòu)建了遠(yuǎn)程學(xué)習(xí)過程評價(jià)系統(tǒng)，運(yùn)用數(shù)據(jù)挖掘技術(shù)分析電子學(xué)檔，以達(dá)到自動化評價(jià)學(xué)習(xí)過程數(shù)據(jù)的目的。隨著慕課的發(fā)展，在線開放課程數(shù)量與規(guī)模迅速擴(kuò)大，學(xué)習(xí)分析、數(shù)據(jù)采集與挖掘等技術(shù)不斷發(fā)展，學(xué)習(xí)過程數(shù)據(jù)分析逐漸成為研究熱點(diǎn)。張艷霞等（2015）提出用數(shù)據(jù)表征在線學(xué)習(xí)過程，通過收集、分析學(xué)生學(xué)習(xí)行為和學(xué)習(xí)環(huán)境數(shù)據(jù)以優(yōu)化學(xué)習(xí)過程。上超望等（2018）設(shè)計(jì)了包含學(xué)習(xí)過程性活動記錄、學(xué)習(xí)過程數(shù)據(jù)處理與存儲、學(xué)習(xí)過程數(shù)據(jù)融合、學(xué)習(xí)過程數(shù)據(jù)分析和在線學(xué)習(xí)過程性評價(jià)五個(gè)子系統(tǒng)的在線學(xué)習(xí)過程性評價(jià)模型。

分析學(xué)習(xí)過程數(shù)據(jù)最終目的是改進(jìn)教與學(xué)，提高教師教學(xué)效果與學(xué)生學(xué)習(xí)成績。文獻(xiàn)研究發(fā)現(xiàn)，近年來學(xué)習(xí)過程數(shù)據(jù)的研究主要聚焦于在線學(xué)習(xí)效果預(yù)測（Agudo-Peregrina et al.， 2014; 江波 等， 2018）、在線教學(xué)解釋與反思（魏順平 等， 2015; 何文濤 等， 2019）、在線學(xué)習(xí)投入分析（Dewan et al.， 2019; 馬志強(qiáng) & 岳蕓竹， 2020）、在線學(xué)習(xí)路徑規(guī)劃（崔萌 等， 2020），以及在線學(xué)習(xí)行為干預(yù)與預(yù)警（舒瑩 等， 2019; 楊豐玉 等， 2021）等方面。少數(shù)研究基于學(xué)習(xí)過程數(shù)據(jù)開展了素養(yǎng)測評與學(xué)習(xí)者綜合評價(jià)。如李美娟等（2022）認(rèn)為計(jì)算心理測量理論結(jié)合自上而下的理論指導(dǎo)和自下而上的數(shù)據(jù)驅(qū)動，以證據(jù)為中心設(shè)計(jì)測驗(yàn)，借助學(xué)生作答過程數(shù)據(jù)測評其合作問題解決能力；吳斕等（2022）開發(fā)了基于過程數(shù)據(jù)流的協(xié)作問題解決能力自動化評估系統(tǒng)，并驗(yàn)證了系統(tǒng)的有效性與可用性。張倍思等（2022）設(shè)計(jì)了多源過程性數(shù)據(jù)驅(qū)動的學(xué)習(xí)者綜合評價(jià)模型，為實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的學(xué)習(xí)過程評價(jià)提供了參考。

總的來看，學(xué)習(xí)過程數(shù)據(jù)的分析主要通過系統(tǒng)地采集學(xué)生學(xué)習(xí)行為數(shù)據(jù)，如課程評語、學(xué)習(xí)活動參與、交流互動、學(xué)習(xí)成績等一切與學(xué)習(xí)過程、學(xué)習(xí)態(tài)度、學(xué)習(xí)效果等密切相關(guān)的數(shù)據(jù)，以全方位地分析評價(jià)學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)、學(xué)習(xí)投入與行為特征。雖已有研究基于學(xué)習(xí)過程數(shù)據(jù)進(jìn)行了教學(xué)反思、學(xué)習(xí)評估、素養(yǎng)測評等，但鮮有學(xué)者從學(xué)習(xí)過程視角關(guān)注在線開放課程質(zhì)量評定與優(yōu)化問題。

（二）在線開放課程質(zhì)量評價(jià)研究

1999年，《面向21世紀(jì)教育振興行動計(jì)劃》出臺，開啟了我國在線課程建設(shè)之路?；厮菸覈?0多年在線課程理論與實(shí)踐研究，基于專家、學(xué)習(xí)者、平臺建設(shè)者、課程設(shè)計(jì)與開發(fā)者等視角，聚焦于質(zhì)量評價(jià)指標(biāo)、提升建議、評價(jià)方法等方面的質(zhì)量評價(jià)研究頗多。

質(zhì)量評價(jià)指標(biāo)是優(yōu)化在線開放課程、推進(jìn)在線開放課程可持續(xù)發(fā)展的研究重點(diǎn)。早在2002年就發(fā)布了CELTS-22，包含課程內(nèi)容、教學(xué)設(shè)計(jì)、界面設(shè)計(jì)和技術(shù)4個(gè)維度，課程說明、資源擴(kuò)展、學(xué)習(xí)目標(biāo)等32條具體評價(jià)指標(biāo)。2007年，國家精品課程建設(shè)項(xiàng)目啟動，從教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)條件、教學(xué)方法與手段、教學(xué)效果、特色政策支持等指標(biāo)對課程進(jìn)行評審。國內(nèi)外學(xué)者就在線開放課程質(zhì)量評定指標(biāo)也開展了系列研究。如Bigatel和Edel-Malizia（2018）將包含教學(xué)方法、教學(xué)、學(xué)習(xí)3個(gè)一級指標(biāo)，學(xué)習(xí)愿景、技術(shù)水平、教師角色、學(xué)生角色、學(xué)習(xí)環(huán)境等9個(gè)二級指標(biāo)的在線參與式學(xué)習(xí)指標(biāo)框架（IELO）作為評估課程的指南；楊曉宏等（2019）認(rèn)為課程資源質(zhì)量、課程實(shí)施效果和學(xué)習(xí)平臺保障是評估課程質(zhì)量的關(guān)鍵指標(biāo)。

在線開放課程質(zhì)量提升與保障研究有利于解決課程低完成率、高輟學(xué)率問題。如詹澤慧等（2009）從資源、過程和人員三個(gè)方面提出了網(wǎng)絡(luò)課程感知質(zhì)量提升策略；王璐等（2017）從保障學(xué)習(xí)支持服務(wù)、增加系統(tǒng)管理和維護(hù)人員、優(yōu)化平臺程序、提高教學(xué)視頻質(zhì)量、重視教師隊(duì)伍的綜合素質(zhì)、提高學(xué)習(xí)者對教學(xué)內(nèi)容有用性的感知、提供高質(zhì)量輔助性資料等方面提出了質(zhì)量保障策略；李運(yùn)福等（2022）關(guān)注價(jià)值主體需求，提出了增強(qiáng)課程移情性和響應(yīng)性設(shè)計(jì)、優(yōu)化學(xué)習(xí)支持服務(wù)模型、強(qiáng)化課程有形性設(shè)計(jì)等課程動態(tài)優(yōu)化方案。

常見的在線開放課程質(zhì)量評價(jià)方法主要有調(diào)查法與訪談法（楊曉宏 等， 2019）、文獻(xiàn)歸納法（李青 & 劉娜， 2015）、德爾菲法（董艷 等， 2003）、扎根理論（王璐 等， 2017）、內(nèi)容分析法（謝幼如 等， 2003）、專家咨詢法與層析分析法（童小素 & 賈小軍， 2017），不少學(xué)者采用多種方法評估在線開放課程質(zhì)量?？梢姡诰€開放課程質(zhì)量評定受到研究者廣泛關(guān)注。但已有在線開放課程質(zhì)量分析與評價(jià)研究對學(xué)習(xí)者真實(shí)使用課程的體驗(yàn)與感受關(guān)注較少，未將學(xué)習(xí)者的認(rèn)知發(fā)展、行為表現(xiàn)、情感態(tài)度三者同時(shí)納入在線開放課程質(zhì)量評價(jià)因素。

三、質(zhì)量評價(jià)框架構(gòu)建

（一）構(gòu)建思路

本研究主要參考了用戶體驗(yàn)與證據(jù)中心設(shè)計(jì)理論，運(yùn)用文獻(xiàn)調(diào)研法確定了在線開放課程質(zhì)量評價(jià)維度、學(xué)習(xí)過程數(shù)據(jù)運(yùn)行環(huán)節(jié)，設(shè)計(jì)了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架與指標(biāo)體系?；趯υ诰€學(xué)習(xí)過程性評價(jià)理論與實(shí)踐研究的分析（上超望 等， 2018），本研究構(gòu)建的框架包含了設(shè)計(jì)評價(jià)關(guān)鍵環(huán)節(jié)和確定質(zhì)量評價(jià)維度兩個(gè)重點(diǎn)。

1. 設(shè)計(jì)評價(jià)關(guān)鍵環(huán)節(jié)

在線開放課程質(zhì)量評價(jià)與反饋能夠在課程與學(xué)習(xí)者之間形成良性循環(huán)，以提升課程質(zhì)量，并促進(jìn)學(xué)習(xí)者未來更好地發(fā)展。結(jié)合在線學(xué)習(xí)過程數(shù)據(jù)分析相關(guān)研究，過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)關(guān)注學(xué)習(xí)體驗(yàn)，包含數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)映射、數(shù)據(jù)分析、結(jié)果輸出、質(zhì)量計(jì)算、優(yōu)化策略七個(gè)環(huán)節(jié)。在線開放課程質(zhì)量評價(jià)關(guān)鍵環(huán)節(jié)也可視為學(xué)習(xí)過程數(shù)據(jù)運(yùn)行環(huán)節(jié)，各環(huán)節(jié)密不可分、相輔相成，共同形成課程質(zhì)量評價(jià)閉環(huán)（如圖1所示）。

2. 確定質(zhì)量評價(jià)維度

在線學(xué)習(xí)投入度測評、有效學(xué)習(xí)評估以及學(xué)習(xí)過程性評價(jià)等指標(biāo)體系研究為本研究構(gòu)建過程數(shù)據(jù)驅(qū)動的課程質(zhì)量評價(jià)框架提供了參考。行為投入、認(rèn)知投入和情感投入是當(dāng)前獲得學(xué)術(shù)界普遍認(rèn)可的學(xué)習(xí)投入結(jié)構(gòu)。如弗雷德里克斯（Fredricks， J. A.）等（Fredricks et al.， 2004）以及傅鋼善和佟海靜（2016）借鑒布魯姆學(xué)習(xí)理論，認(rèn)為在線學(xué)習(xí)過程包括認(rèn)知參與、情感參與和行為參與；李爽等（2018）從認(rèn)知、行為和情感三個(gè)維度構(gòu)建遠(yuǎn)程學(xué)習(xí)投入測評量表，認(rèn)為認(rèn)知投入是影響學(xué)習(xí)最關(guān)鍵的因素，其次是行為投入與情感投入；王勇宏（2020）認(rèn)為在線學(xué)習(xí)行為投入可用平臺登錄次數(shù)、學(xué)習(xí)時(shí)長、資源訪問次數(shù)、作業(yè)完成次數(shù)與質(zhì)量、測試完成次數(shù)與質(zhì)量、交互次數(shù)與質(zhì)量等數(shù)據(jù)量化表征。

綜上，本研究認(rèn)為以數(shù)據(jù)為導(dǎo)向，關(guān)注在線開放課程的實(shí)際使用狀況，將認(rèn)知、行為、情感三個(gè)評價(jià)維度與可采集的單元測試得分、單元作業(yè)得分、期末考試得分、視頻學(xué)習(xí)人數(shù)、課程論壇參與度、作業(yè)完成質(zhì)量、課程評價(jià)情感極性等多模態(tài)在線學(xué)習(xí)過程數(shù)據(jù)進(jìn)行“一對一”或“一對多”映射，以此評價(jià)在線開放課程質(zhì)量，具有一定的可行性和前瞻性。

在確定評價(jià)維度和可獲取的過程數(shù)據(jù)后，初步擬定了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架與指標(biāo)體系。為保證評價(jià)指標(biāo)的科學(xué)性，本研究采用專家訪談法，通過電子郵件函詢和面對面訪談等形式對5位專家（包括4位高校教授和1位博士）就指標(biāo)的合理性與可操作性進(jìn)行了訪談，從訪談文本中提取了專家核心觀點(diǎn)，如“認(rèn)知、行為、情感三個(gè)維度能夠完整地用于評價(jià)在線開放課程質(zhì)量，但認(rèn)知是一種復(fù)雜的意識活動，在構(gòu)建指標(biāo)體系時(shí)，為與學(xué)習(xí)過程數(shù)據(jù)對應(yīng)，可考慮改為‘學(xué)業(yè)成就水平’”“建議將認(rèn)知、行為和情感具體化、詳細(xì)化，可將指標(biāo)體系改為‘學(xué)業(yè)成績、行為表現(xiàn)、情感態(tài)度’，以便與二級指標(biāo)和學(xué)習(xí)過程數(shù)據(jù)相關(guān)聯(lián)”。通過理解分析，本研究合理采納了相關(guān)觀點(diǎn)，最終將過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)的一級指標(biāo)確定為學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)和學(xué)習(xí)情感態(tài)度。

（二）評價(jià)框架

在吸納相關(guān)文獻(xiàn)調(diào)研內(nèi)容、借鑒用戶體驗(yàn)和證據(jù)中心設(shè)計(jì)理論主要觀點(diǎn)的基礎(chǔ)上，本研究采用封閉式循環(huán)的架構(gòu)組織過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架。該框架包含學(xué)習(xí)過程數(shù)據(jù)采集、學(xué)習(xí)過程數(shù)據(jù)映射、學(xué)習(xí)過程數(shù)據(jù)分析、在線開放課程質(zhì)量等級評價(jià)四個(gè)流程，以及數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)映射等七個(gè)在線開放課程質(zhì)量評價(jià)關(guān)鍵環(huán)節(jié)（如圖2所示）。四個(gè)流程相互貫通、缺一不可，構(gòu)成過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)的有機(jī)整體；七個(gè)過程數(shù)據(jù)運(yùn)行環(huán)節(jié)相互依存、環(huán)環(huán)相扣，系統(tǒng)展現(xiàn)了課程質(zhì)量評價(jià)的數(shù)據(jù)處理與分析過程。

1. 學(xué)習(xí)過程數(shù)據(jù)采集

多模態(tài)學(xué)習(xí)過程數(shù)據(jù)是基于循證理念評價(jià)在線開放課程質(zhì)量的基礎(chǔ)與核心。課程管理后臺完整記錄了學(xué)習(xí)者學(xué)習(xí)課程過程中產(chǎn)生的視頻瀏覽次數(shù)與時(shí)長、文檔閱讀次數(shù)與時(shí)長、發(fā)帖數(shù)與回復(fù)數(shù)、單元測試成績、單元作業(yè)成績、課程評語、期末考試得分等多維數(shù)據(jù)，這些數(shù)據(jù)是學(xué)習(xí)者“使用”與“體驗(yàn)”在線開放課程的“證據(jù)”。學(xué)習(xí)過程數(shù)據(jù)采集主要采用網(wǎng)絡(luò)爬蟲、日志分析等技術(shù)獲取在線開放課程管理平臺數(shù)據(jù)（邢蓓蓓 等，2016）。需要注意的是，運(yùn)用網(wǎng)絡(luò)爬蟲等自動化數(shù)據(jù)收集技術(shù)采集非結(jié)構(gòu)化數(shù)據(jù)，需要提前做好采集規(guī)劃，明確采集目的，制定好數(shù)據(jù)采集類型、采集粒度、采集量等計(jì)劃，采集過程中還需要注意數(shù)據(jù)隱私保護(hù)，不得惡意抓取侵害他人利益的數(shù)據(jù)，不得影響或妨礙網(wǎng)站正常運(yùn)行。

2. 學(xué)習(xí)過程數(shù)據(jù)映射

學(xué)習(xí)過程數(shù)據(jù)映射是指將所采集的數(shù)據(jù)與在線開放課程質(zhì)量評價(jià)維度關(guān)聯(lián)起來，形成相互對應(yīng)的關(guān)系。本研究中三個(gè)評價(jià)維度與過程數(shù)據(jù)存在“一對一”或者“一對多”的映射關(guān)系。如在認(rèn)知維度，主要通過單元測試成績、單元作業(yè)成績、期末考試成績等過程數(shù)據(jù)了解學(xué)習(xí)者的學(xué)業(yè)成就水平；在行為維度，主要通過視頻瀏覽次數(shù)、文檔閱讀次數(shù)、單元作業(yè)完成次數(shù)、課堂論壇發(fā)帖數(shù)量等過程數(shù)據(jù)了解學(xué)習(xí)者的學(xué)習(xí)行為表現(xiàn)；在情感維度，主要通過課程評語了解學(xué)習(xí)者的學(xué)習(xí)情感態(tài)度。

3. 學(xué)習(xí)過程數(shù)據(jù)分析

學(xué)習(xí)過程數(shù)據(jù)分析主要通過運(yùn)用Python、Excel等工具，采用內(nèi)容分析、描述性統(tǒng)計(jì)分析、文本情感分析等方法進(jìn)行定量與定性分析，并將分析結(jié)果輸出。對于評語等非結(jié)構(gòu)化數(shù)據(jù)，主要運(yùn)用Python、UCINET等軟件總結(jié)歸納評論熱點(diǎn)話題、計(jì)算評語情感值（周德青 等， 2021）；對于視頻、文檔以及討論區(qū)交流互動等結(jié)構(gòu)化數(shù)據(jù)，主要運(yùn)用Excel計(jì)算出視頻資源利用率、文檔資源利用率、隨堂討論資源利用率、測試參與度、作業(yè)參與度、隨堂討論參與度等。

4. 課程質(zhì)量等級評價(jià)

過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量等級評價(jià)是在學(xué)習(xí)過程數(shù)據(jù)分析結(jié)果的基礎(chǔ)上，設(shè)計(jì)了學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)以及學(xué)習(xí)情感態(tài)度各指標(biāo)的計(jì)算公式，計(jì)算出課程質(zhì)量的得分，并根據(jù)得分確定課程等級（優(yōu)秀、良好、合格、不合格）。在計(jì)算“學(xué)習(xí)情感態(tài)度”等非結(jié)構(gòu)數(shù)據(jù)時(shí)，需通過Python進(jìn)行自然語言處理分析，借助文本情感分析的函數(shù)、包與庫等，算出每句評語的情感值，再根據(jù)評語條數(shù)，算出課程評價(jià)的情感均值。

四、指標(biāo)體系與計(jì)算方法設(shè)計(jì)

在線開放課程質(zhì)量計(jì)算是在過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架基礎(chǔ)上，設(shè)計(jì)過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)指標(biāo)體系，并運(yùn)用層次分析法對指標(biāo)體系進(jìn)行賦權(quán)，再推理設(shè)計(jì)各級指標(biāo)的計(jì)算公式，最后結(jié)合過程數(shù)據(jù)計(jì)算課程質(zhì)量分值，判斷課程質(zhì)量等級。

（一）指標(biāo)體系初步設(shè)計(jì)

首先，通過梳理學(xué)習(xí)過程性評價(jià)、在線學(xué)習(xí)投入度測評、在線開放課程質(zhì)量等國內(nèi)外評價(jià)指標(biāo)體系后，初步設(shè)計(jì)了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)指標(biāo)體系（如表1所示）。學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)和學(xué)習(xí)情感態(tài)度三者構(gòu)成了既相對獨(dú)立又相互作用的課程質(zhì)量評價(jià)的有機(jī)整體，以期通過學(xué)習(xí)者學(xué)習(xí)課程的實(shí)際情況全面、系統(tǒng)地評判在線開放課程的質(zhì)量層次。本研究將學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)和學(xué)習(xí)情感態(tài)度三個(gè)一級指標(biāo)進(jìn)行細(xì)化，設(shè)計(jì)了課程學(xué)習(xí)效果（Course Learning Effect， LE）、資源利用情況（Resource Utilization， RU）、學(xué)習(xí)積極性（Learning Positivity， LP）、學(xué)習(xí)專注度（Learning Concentration， LC）和學(xué)習(xí)情感傾向（Emotional Orientation， EO）五個(gè)二級指標(biāo)，再結(jié)合中國大學(xué)慕課MOOC平臺的學(xué)習(xí)者學(xué)習(xí)過程數(shù)據(jù)，將二級指標(biāo)量化，形成三級指標(biāo)。

1. 學(xué)業(yè)成就水平

在線學(xué)習(xí)者體驗(yàn)、學(xué)習(xí)、理解、領(lǐng)悟、反思課程的動態(tài)過程將通過學(xué)生的學(xué)業(yè)成就水平高低呈現(xiàn)出來。在線學(xué)業(yè)成績受到學(xué)習(xí)者學(xué)習(xí)特征、個(gè)人學(xué)習(xí)情緒、網(wǎng)絡(luò)環(huán)境優(yōu)劣、平臺流暢度等影響，可運(yùn)用學(xué)習(xí)向量化方法實(shí)現(xiàn)在線學(xué)習(xí)過程數(shù)據(jù)融合與分類（郎波 & 樊一娜， 2019），并用作業(yè)成績、測試成績等過程數(shù)據(jù)表征課程學(xué)習(xí)效果，進(jìn)而反映學(xué)習(xí)者的學(xué)業(yè)成就水平。本研究認(rèn)為學(xué)業(yè)成就水平主要通過課程學(xué)習(xí)效果體現(xiàn)，其關(guān)聯(lián)量化指標(biāo)（過程數(shù)據(jù)）為單元測試得分、單元作業(yè)得分和期末考試得分。

2. 學(xué)習(xí)行為表現(xiàn)

在線開放課程中學(xué)習(xí)者的學(xué)習(xí)行為與活動構(gòu)成了學(xué)習(xí)者畫像，反映了學(xué)習(xí)者的在線學(xué)習(xí)軌跡。一門優(yōu)質(zhì)的在線開放課程會引起學(xué)習(xí)者興趣，調(diào)動學(xué)習(xí)者學(xué)習(xí)的積極性，其課程的視頻瀏覽量高、文檔閱讀量高、課程論壇參與者多，課程討論區(qū)的會話能形成多主題、多主體的豐富社會網(wǎng)絡(luò)關(guān)系圖。本研究認(rèn)為學(xué)習(xí)行為表現(xiàn)主要通過資源利用情況、學(xué)習(xí)積極性和學(xué)習(xí)專注度三者體現(xiàn)，其對應(yīng)的學(xué)習(xí)過程數(shù)據(jù)有視頻學(xué)習(xí)人數(shù)、文檔學(xué)習(xí)人數(shù)、論壇發(fā)帖數(shù)量、課程論壇參與度等。

3. 學(xué)習(xí)情感態(tài)度

在線開放課程中學(xué)習(xí)者的情感參與可視為學(xué)習(xí)者在參與教與學(xué)活動中所產(chǎn)生的態(tài)度、興趣與快樂（Patrick et al.， 1993）。課程學(xué)習(xí)過程中學(xué)習(xí)者的心理感受對其學(xué)習(xí)行為具有很大影響，學(xué)習(xí)者自身對課程的情緒將直接影響學(xué)習(xí)者學(xué)習(xí)課程的時(shí)長、討論交流的次數(shù)與質(zhì)量、作業(yè)與測試的完成度以及是否做筆記等，從而反映出學(xué)習(xí)者的學(xué)習(xí)積極性和專注度。積極向上的學(xué)習(xí)情感能為學(xué)習(xí)者在線學(xué)習(xí)提供滿足感、快樂感和自我成就感，而消極抑郁的學(xué)習(xí)情感將導(dǎo)致學(xué)習(xí)者產(chǎn)生懈怠、焦慮和困惑，學(xué)習(xí)效果也將大打折扣。本研究認(rèn)為學(xué)習(xí)情感態(tài)度主要通過學(xué)習(xí)情感傾向體現(xiàn)，其關(guān)聯(lián)量化指標(biāo)為課程評價(jià)情感極性。

（二）指標(biāo)體系權(quán)重的確定

本研究采用層次分析法，運(yùn)用Yaahp軟件計(jì)算各級指標(biāo)權(quán)重，對過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)的三個(gè)一級指標(biāo)、五個(gè)二級指標(biāo)以及各二級指標(biāo)的關(guān)聯(lián)量化指標(biāo)進(jìn)行權(quán)重賦值。

1. 主要流程

指標(biāo)體系權(quán)重的確定主要采用層析分析法，包含初擬評價(jià)指標(biāo)體系、選擇專家、設(shè)計(jì)函詢問卷、發(fā)放與回收專家咨詢問卷、分析問卷數(shù)據(jù)以及確定評價(jià)指標(biāo)權(quán)重六個(gè)步驟。

2. 專家選擇

本研究共邀請了13位在線開放課程質(zhì)量、教育大數(shù)據(jù)與學(xué)習(xí)分析等相關(guān)領(lǐng)域的研究專家（包括11位教授、1位副教授和1位博士后），這些專家對在線開放課程質(zhì)量評價(jià)均有較深刻的理解與研究經(jīng)驗(yàn)，既能保證過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)指標(biāo)理論研究的專業(yè)性，又能確保本研究實(shí)踐意義的科學(xué)性和合理性。并且，咨詢多位專家意見既能避免專家由于研究經(jīng)歷、研究重點(diǎn)、研究背景等不同造成的相互影響，又能搭建起專家之間匿名溝通的橋梁。

3. 問卷設(shè)計(jì)

根據(jù)在線開放課程的特點(diǎn)，結(jié)合具體研究內(nèi)容，本研究通過思考問卷編寫目的、內(nèi)容審核、專家意見咨詢、問卷填寫統(tǒng)計(jì)分析等流程，編寫了《過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)指標(biāo)權(quán)重設(shè)計(jì)專家咨詢問卷》。問卷包含兩個(gè)部分：第一部分是專家基本情況調(diào)查，主要考量專家對所咨詢內(nèi)容的研究深度與熟悉程度；第二部分包含指標(biāo)構(gòu)建說明與專家評審表。專家評審表給出了Saaty相對重要性等級表（1～9標(biāo)度），專家根據(jù)等級表對一二三級指標(biāo)進(jìn)行打分。其中，需要專家填寫的表共有6個(gè)：一級指標(biāo)重要程度對比矩陣、“學(xué)習(xí)行為表現(xiàn)”二級指標(biāo)重要程度對比矩陣、“課程學(xué)習(xí)效果”關(guān)聯(lián)量化指標(biāo)重要程度對比矩陣、“資源利用情況”關(guān)聯(lián)量化指標(biāo)重要程度對比矩陣、“學(xué)習(xí)積極性”關(guān)聯(lián)量化指標(biāo)重要程度對比矩陣，以及“學(xué)習(xí)專注度”關(guān)聯(lián)量化指標(biāo)重要程度對比矩陣。

4. 結(jié)果分析

本次調(diào)研進(jìn)行了一輪意見征詢，發(fā)出專家咨詢問卷13份，回收有效問卷13份，回收率達(dá)100%。問卷分析結(jié)果分為兩部分。一部分是專家基本情況。統(tǒng)計(jì)發(fā)現(xiàn)，5位專家對所咨詢內(nèi)容的領(lǐng)域非常熟悉，4位專家對研究內(nèi)容很熟悉，4位專家對所咨詢內(nèi)容的領(lǐng)域表示熟悉。可見，過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)指標(biāo)體系及本問卷的設(shè)計(jì)具有一定的專業(yè)性，問卷咨詢結(jié)果的可靠性和可信度較高。另一部分是專家對各級指標(biāo)權(quán)重打分的結(jié)果分析。在Yaahp軟件中算出學(xué)業(yè)成就水平的重要性均值為0.4472，學(xué)習(xí)行為表現(xiàn)的重要性均值為0.3646，學(xué)習(xí)情感態(tài)度的重要性均值為0.1881?？梢妼W(xué)業(yè)成就水平對評價(jià)在線開放課程質(zhì)量占有較大比重，學(xué)習(xí)行為表現(xiàn)的重要性也凸顯了出來。為確定各級指標(biāo)權(quán)重，結(jié)合相關(guān)文獻(xiàn)研究，進(jìn)一步開展專家咨詢，經(jīng)適當(dāng)調(diào)整，最終確定學(xué)業(yè)成就水平重要性均值為0.45、學(xué)習(xí)行為體現(xiàn)的重要性均值為0.35、學(xué)習(xí)情感態(tài)度的重要性均值為0.20，并依次確定了二、三級指標(biāo)的重要性均值。

（三）二級指標(biāo)計(jì)算公式

結(jié)合賦權(quán)后的在線開放課程質(zhì)量評價(jià)指標(biāo)結(jié)果，過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量QC={學(xué)業(yè)成就水平，學(xué)習(xí)行為表現(xiàn)，學(xué)習(xí)情感態(tài)度}={課程學(xué)習(xí)效果，資源利用情況，學(xué)習(xí)積極性，學(xué)習(xí)專注度，學(xué)習(xí)情感傾向}，即QC可用{LE，RU，LP，LC，EO}元組表示。

課程學(xué)習(xí)效果由學(xué)習(xí)人數(shù)n、單元測試總得分ut、單元作業(yè)總得分uw、期末考試總得分fe所決定，計(jì)算公式見（1）。式中為將課程滿分控制為1分，乘以0.01。資源利用情況與學(xué)習(xí)積極性計(jì)算公式與[LE]類似。

學(xué)習(xí)專注度與論壇發(fā)帖質(zhì)量FI、單元測試完成質(zhì)量TQ、單元作業(yè)完成質(zhì)量HQ有關(guān)，學(xué)習(xí)專注度LC的計(jì)算公式見（2）。

LC=0.03×FI+0.04×TQ+0.06×HQ （2）

學(xué)習(xí)情感傾向主要通過課程評價(jià)情感極性體現(xiàn)。本研究運(yùn)用Jupyter Notebook分析軟件，結(jié)合SnowNLP庫計(jì)算課程評語的情感分值，將情感極性分為消極、中性、積極三個(gè)等級，即EO={E1，E2，E3，E4，E5}，其中E1和E2表示消極情緒，E3表示中性情緒，E4和E5表示積極情緒，計(jì)算公式如（3）。

五、評價(jià)框架與指標(biāo)體系應(yīng)用

（一）評價(jià)對象

本研究選擇的評價(jià)對象為中國大學(xué)MOOC平臺上江蘇師范大學(xué)楊現(xiàn)民教授主持開設(shè)的“中小學(xué)教師數(shù)據(jù)素養(yǎng)”在線開放課程（簡稱“案例課程”）。案例課程以教師數(shù)據(jù)素養(yǎng)模型為依據(jù)（劉雅馨 等， 2018），設(shè)計(jì)了六個(gè)專題的課程內(nèi)容，經(jīng)SPOC試點(diǎn)后，于2019年9月在中國大學(xué)MOOC平臺正式面向全球?qū)W習(xí)者推出。本研究以案例課程第二期學(xué)習(xí)過程數(shù)據(jù)作為在線開放課程質(zhì)量的評價(jià)數(shù)據(jù)。案例課程第二期于2020年2月15日開課，2020年5月15日結(jié)課，選課總?cè)藬?shù)為13，380人，其中有10，012位學(xué)習(xí)者在中國大學(xué)MOOC平臺上生成了學(xué)習(xí)過程數(shù)據(jù)（測試、作業(yè)、考試、課程評語、課堂交流帖子等），將這10，012位學(xué)習(xí)者視為本期課程的有效學(xué)習(xí)者，并以有效學(xué)習(xí)者所產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)作為數(shù)據(jù)源。

（二）數(shù)據(jù)采集與預(yù)處理

學(xué)業(yè)成就水平方面主要采集了第二期10，012位學(xué)習(xí)者5次單元測試得分、5次單元作業(yè)得分以及期末考試得分。資源利用情況方面采集了53個(gè)視頻的瀏覽人數(shù)、29個(gè)文檔的閱讀人數(shù)、19個(gè)隨堂討論的發(fā)帖數(shù)量。學(xué)習(xí)積極性方面采集了5次測試的答題人數(shù)和5次作業(yè)的完成人數(shù)。學(xué)習(xí)專注度主要通過每位學(xué)習(xí)者的論壇成績、作業(yè)得分成績、測試得分成績來判斷。學(xué)習(xí)情感傾向主要通過爬取第二期課程評價(jià)文本，計(jì)算情感得分實(shí)現(xiàn)。

結(jié)構(gòu)化數(shù)據(jù)預(yù)處理主要包含3個(gè)步驟：1）確定數(shù)據(jù)采集無重復(fù)、無效數(shù)據(jù)；2）將測試、作業(yè)、期末考試、論壇等成績得分為“null值”的數(shù)據(jù)改為“0”；3）修改數(shù)據(jù)格式，采集的測試、作業(yè)、期末考試等數(shù)據(jù)都是“常規(guī)”或“文本”格式，無法運(yùn)算，需轉(zhuǎn)換為“數(shù)值”格式。在轉(zhuǎn)換格式時(shí)，由于采集到的數(shù)據(jù)格式不一、屬性不定，需要注意有效學(xué)習(xí)者的數(shù)據(jù)是否全部進(jìn)行了格式轉(zhuǎn)換。課程評語采集后可直接生成.xls或.csv文件，通過以下步驟清洗數(shù)據(jù)：1）篩選出課程第二期的評語；2）去除與評價(jià)課程無關(guān)、表述不清的內(nèi)容，如“123”“badhgjk”等；3）刪除無法反映實(shí)際語義信息的內(nèi)容，如“***”“%￥%……”等；4）清除復(fù)制或轉(zhuǎn)發(fā)的資料文本（周德青 等， 2021）。清洗數(shù)據(jù)后得到的表格可直接進(jìn)行情感值計(jì)算。

（三）數(shù)據(jù)分析與質(zhì)量計(jì)算

學(xué)業(yè)成就水平層面，有效學(xué)習(xí)者測試人均分?jǐn)?shù)為88.99（滿分100），作業(yè)人均分?jǐn)?shù)為73.17，期末考試人均得分為79.45，根據(jù)計(jì)算公式，課程學(xué)習(xí)效果LE=（0.1×88.99+0.1×73.17+0.25×79.45）×0.01，最終課程學(xué)習(xí)效果的得分為0.36。

對于其他指標(biāo)，以資源利用情況為例說明計(jì)算過程，平均每個(gè)視頻學(xué)習(xí)人數(shù)為8，598.21，平均每位學(xué)習(xí)者看了45.52個(gè)視頻，視頻資源利用率為85.88%。同樣得出文檔資源利用率為74.56%，隨堂討論資源利用率為69.63%，則RU=（0.04×85.88+0.02×74.56+0.04×69.63）×0.01，資源利用情況得分為0.08。另外計(jì)算可得，學(xué)習(xí)積極性得分為0.09，學(xué)習(xí)專注度得分為0.10，學(xué)習(xí)情感傾向得分為0.19。

綜上，結(jié)合學(xué)業(yè)成就水平、學(xué)習(xí)行為表現(xiàn)以及學(xué)習(xí)情感態(tài)度三個(gè)維度的分值，基于學(xué)習(xí)過程數(shù)據(jù)的在線開放課程質(zhì)量QC=0.36+0.08+0.09+0.10+0.19，計(jì)算得分為0.82，則案例課程第二期所處的質(zhì)量等級為“良好”。

（四）課程質(zhì)量優(yōu)化策略

本研究立足在線開放課程“使用”情況，基于在線學(xué)習(xí)者真實(shí)學(xué)習(xí)體驗(yàn)，應(yīng)用了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架與指標(biāo)體系，驗(yàn)證了評價(jià)框架與指標(biāo)體系的科學(xué)性與可操作性，并發(fā)現(xiàn)了課程運(yùn)行中存在的實(shí)際問題?；诖?，本研究參考在線開放課程質(zhì)量優(yōu)化相關(guān)研究，基于學(xué)習(xí)過程數(shù)據(jù)分析結(jié)果，從課程內(nèi)容、學(xué)習(xí)過程、課程平臺環(huán)境和學(xué)習(xí)支持服務(wù)四個(gè)方面提出在線開放課程質(zhì)量的優(yōu)化策略。

1. 課程內(nèi)容

課程內(nèi)容是評價(jià)課程質(zhì)量核心要素之一。分析發(fā)現(xiàn)：1）單元測試的平均分大于單元作業(yè)的平均分。這可能與單元測試難度較低、測試作答提醒服務(wù)較多、單元測試與課程內(nèi)容貼合度更高等原因相關(guān)。建議及時(shí)更新測試和作業(yè)內(nèi)容，并聯(lián)通兩者之間所考察的知識點(diǎn)，以鞏固和提高所學(xué)知識的。2）視頻2、3的學(xué)習(xí)人數(shù)最少。若該知識掌握人數(shù)較多，建議換成文檔的形式呈現(xiàn)，視頻作為比作業(yè)權(quán)重更好的課程資源，可選擇更重要的內(nèi)容加以放置。3）作業(yè)3、4完成率不高，且學(xué)生作業(yè)3、4的平均得分比1、2都低，建議更換或優(yōu)化作業(yè)3、4，設(shè)計(jì)更符合學(xué)生學(xué)情、調(diào)動學(xué)習(xí)積極性、促進(jìn)深度學(xué)習(xí)的作業(yè)。

2. 學(xué)習(xí)過程

維持學(xué)習(xí)過程中的學(xué)習(xí)積極性與專注度有利于提高課程完成率，降低輟學(xué)率。分析發(fā)現(xiàn)：1）通過分析視頻、文檔、隨堂討論參與人數(shù)隨課程運(yùn)營時(shí)間，整體均呈現(xiàn)緩慢下降趨勢，學(xué)習(xí)者可能產(chǎn)生了懈怠，建議在學(xué)習(xí)過程中融入一些“游戲化因素”，調(diào)動學(xué)生學(xué)習(xí)興趣，激發(fā)學(xué)生的興奮感與參與度（Mat & Zin， 2021）；2）隨堂討論參與度不高，但越來越多的專家開始關(guān)注學(xué)習(xí)交流與師生交互對在線開放課程質(zhì)量的影響，建議采用一定的手段提高討論交流的積極性，如每月評選出前10名踴躍發(fā)言者，給予表揚(yáng)和證書等。

3. 課程平臺環(huán)境

安全穩(wěn)定的課程平臺環(huán)境是提高學(xué)習(xí)參與度的基本條件。案例課程的開課日期正處于新冠疫情時(shí)期，這暴露出了課程平臺容載量有待擴(kuò)展、信息技術(shù)保障不足等問題。建議加強(qiáng)教育信息化頂層設(shè)計(jì)，優(yōu)化基礎(chǔ)硬件條件和網(wǎng)絡(luò)基礎(chǔ)設(shè)施。此外，分析發(fā)現(xiàn)，作業(yè)完成率不高，573位學(xué)習(xí)者作業(yè)提交次數(shù)為0，688位學(xué)習(xí)者分?jǐn)?shù)小于10，2534位學(xué)習(xí)者分?jǐn)?shù)低于60。這一現(xiàn)象可能與作業(yè)提交方式有關(guān)，中國大學(xué)MOOC平臺上只能通過電腦端提交作業(yè)，建議研發(fā)手機(jī)、平板等移動設(shè)備提交作業(yè)的功能，豐富Windows、iOS等操作系統(tǒng)外提交作業(yè)的方式。

4. 學(xué)習(xí)支持服務(wù)

學(xué)習(xí)支持服務(wù)是保障在線學(xué)習(xí)者有效學(xué)習(xí)和高效學(xué)習(xí)的重要方式。課程開展過程中，課程學(xué)習(xí)支持服務(wù)團(tuán)隊(duì)需要持續(xù)關(guān)注學(xué)習(xí)者求學(xué)意愿與動機(jī)，動態(tài)干預(yù)與預(yù)警，及時(shí)將“邊緣學(xué)習(xí)者”與“邊緣參與者”拉回。一方面，建議在課程評分標(biāo)準(zhǔn)中明確說明期末考試、測試、作業(yè)的重要程度，向?qū)W習(xí)者明示課程總得分的參考與依據(jù)；另一方面，建議及時(shí)關(guān)注學(xué)習(xí)者的學(xué)習(xí)情緒、活躍時(shí)間、熱點(diǎn)話題，以便及時(shí)消除學(xué)習(xí)者消極情緒，確保學(xué)習(xí)者高參與度與高專注度，并為學(xué)習(xí)者推送更符合學(xué)習(xí)需求和個(gè)人偏好的課程資源。

六、結(jié)語

大數(shù)據(jù)和人工智能等技術(shù)的蓬勃發(fā)展不斷革新在線課程質(zhì)量評價(jià)的理念、形態(tài)、方法、框架和指標(biāo)?！笆奈濉睍r(shí)期，高質(zhì)量在線開放課程是推進(jìn)教育均衡發(fā)展、實(shí)現(xiàn)教育公平的有力方式。關(guān)注用戶體驗(yàn)、基于證據(jù)開展課程質(zhì)量評價(jià)逐漸成為在線開放課程改革與高質(zhì)量建設(shè)的方向，受到政府、組織、學(xué)校等多方關(guān)注。針對如何運(yùn)用過程數(shù)據(jù)評價(jià)在線開放課程這一核心議題，本研究以“課程使用”和“數(shù)據(jù)驅(qū)動”為切入視角，構(gòu)建了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架，設(shè)計(jì)了過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)指標(biāo)體系與指標(biāo)計(jì)算公式，并以一門在線開放課程為對象進(jìn)行了質(zhì)量評價(jià)實(shí)踐，驗(yàn)證了評價(jià)框架、指標(biāo)體系與公式的可行性與可操作性。

本研究仍存在一些不足。一是由于時(shí)間有限，僅以一門教研類MOOC為例，開展了一輪評價(jià)實(shí)踐，評價(jià)對象可能具有一定的特殊性；二是在線開放課程可采集和可獲取的學(xué)習(xí)過程數(shù)據(jù)有限，指標(biāo)體系還需進(jìn)一步改進(jìn)和優(yōu)化。未來，本研究團(tuán)隊(duì)將選擇多門在線開放課程的學(xué)習(xí)過程數(shù)據(jù)對課程質(zhì)量進(jìn)行多輪評價(jià)實(shí)踐，增加更多有效評價(jià)在線開放課程質(zhì)量的學(xué)習(xí)過程數(shù)據(jù)類型，根據(jù)評價(jià)效果迭代優(yōu)化過程數(shù)據(jù)驅(qū)動的在線開放課程質(zhì)量評價(jià)框架與指標(biāo)體系，為數(shù)據(jù)驅(qū)動在線開放課程質(zhì)量評價(jià)提供參考與借鑒。

參考文獻(xiàn)

陳曉慧. （2020）. 建構(gòu)在線教育理論的時(shí)代呼喚. 中國電化教育 （8），22-26.

崔萌，穆肅，& 黃曉地. （2020）. 基于過程數(shù)據(jù)及分析的在線學(xué)習(xí)路徑研究：規(guī)律與規(guī)劃. 開放教育研究（3），58-70.

董艷，黃榮懷，李曉明，& 申瑞民. （2003）. 《網(wǎng)絡(luò)課程課件質(zhì)量認(rèn)證標(biāo)準(zhǔn)》的研制與修訂. 電化教育研究（6），65-70.

傅鋼善，& 佟海靜. （2016）. 網(wǎng)絡(luò)環(huán)境下有效學(xué)習(xí)評價(jià)指標(biāo)體系構(gòu)建研究. 電化教育研究（8），23-30.

葛曉春. （2001）. 網(wǎng)絡(luò)時(shí)代的遠(yuǎn)程學(xué)習(xí)模式. 電化教育研究（11），14-17.

何文濤，黃立新，& 王良輝. （2019）. 教學(xué)過程數(shù)據(jù)驅(qū)動下的教學(xué)解釋探究. 中國電化教育（7），38-45.

江波，高明，陳志翰，& 王小霞. （2018）. 基于行為序列的學(xué)習(xí)過程分析與學(xué)習(xí)效果預(yù)測. 現(xiàn)代遠(yuǎn)程教育研究（2），103-112.

郎波，& 樊一娜. （2019）. 利用學(xué)習(xí)向量化樣本分類的在線學(xué)習(xí)成績預(yù)測. 計(jì)算機(jī)系統(tǒng)應(yīng)用（3），215-222.

李美娟，劉紅云，& 張?jiān)伱? （2022）. 計(jì)算心理測量理論在核心素養(yǎng)測評中的應(yīng)用——以合作問題解決測評為例. 教育研究（3），127-137.

李青，& 劉娜. （2015）. MOOC質(zhì)量保證體系研究. 開放教育研究（5），66-73.

李爽，李榮芹，& 喻忱. （2018）. 基于LMS數(shù)據(jù)的遠(yuǎn)程學(xué)習(xí)者學(xué)習(xí)投入評測模型. 開放教育研究（1），91-102.

李運(yùn)福，周效章，& 楊曉宏. （2022）. 面向主體需求的在線開放課程優(yōu)化設(shè)計(jì). 現(xiàn)代教育技術(shù)（1），104-110.

劉革平，黃智興，& 邱玉輝. （2005）. 基于數(shù)據(jù)挖掘的遠(yuǎn)程學(xué)習(xí)過程評價(jià)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn). 電化教育研究（7），67-69.

劉雅馨，楊現(xiàn)民，李新，& 田雪松. （2018）. 大數(shù)據(jù)時(shí)代教師數(shù)據(jù)素養(yǎng)模型構(gòu)建. 電化教育研究（2），109-116.

馬志強(qiáng)，& 岳蕓竹. （2020）. 面向即時(shí)數(shù)據(jù)采集與分析的學(xué)習(xí)投入縱向研究——基于經(jīng)驗(yàn)取樣法與交叉滯后分析的綜合應(yīng)用. 電化教育研究（4），71-77.

上超望，韓夢，& 劉清堂. （2018）. 大數(shù)據(jù)背景下在線學(xué)習(xí)過程性評價(jià)系統(tǒng)設(shè)計(jì)研究. 中國電化教育（5），90-95.

舒瑩，姜強(qiáng)，& 趙蔚. （2019）. 在線學(xué)習(xí)危機(jī)精準(zhǔn)預(yù)警及干預(yù)：模型與實(shí)證研究. 中國遠(yuǎn)程教育（8），27-34，58.

童小素，& 賈小軍. （2017）. MOOC質(zhì)量評價(jià)體系的構(gòu)建探究. 中國遠(yuǎn)程教育（5），63-71，80.

王娟，& 劉偉. （2022）. 在線課程用戶粘性行為的影響因素研究. 中國遠(yuǎn)程教育（3），61-67，75.

王璐，趙呈領(lǐng)，& 萬力勇. （2017）. 基于扎根理論的在線開放課程質(zhì)量評價(jià)指標(biāo)體系構(gòu)建研究——以國家精品資源共享課為例. 中國遠(yuǎn)程教育（11），70-76.

王勇宏. （2020）. 大學(xué)生在線學(xué)習(xí)投入度測評指標(biāo)體系構(gòu)建與應(yīng)用研究. 西北師范大學(xué).

魏順平，韓艷輝，& 王麗娜. （2015）. 基于學(xué)習(xí)過程數(shù)據(jù)挖掘與分析的在線教學(xué)反思研究. 現(xiàn)代教育技術(shù)（6），89-95.

吳斕，余勝泉，駢揚(yáng)，&劉陽. （2022）. 面向?qū)W生過程表現(xiàn)的協(xié)作問題解決能力評估研究. 中國電化教育（7），87-96.

謝幼如，劉鐵英，高瑞利，& 尹睿. （2003）. 網(wǎng)絡(luò)課程的內(nèi)容分析與評價(jià)研究. 電化教育研究（11），45-49.

邢蓓蓓，楊現(xiàn)民，& 李勤生. （2016）. 教育大數(shù)據(jù)的來源與采集技術(shù). 現(xiàn)代教育技術(shù)（8），14-21.

楊豐玉，陳雨安，聶偉，& 鄭巍，樊鑫. （2021）. 基于過程數(shù)據(jù)的學(xué)習(xí)預(yù)警模型設(shè)計(jì)與功能實(shí)現(xiàn). 現(xiàn)代教育技術(shù)（7），97-104.

楊曉宏，周海軍，周效章，& 郝照. （2019）. 國內(nèi)在線課程質(zhì)量認(rèn)定研究述評. 電化教育研究（6），50-57.

詹澤慧，徐福蔭，& 梅虎. （2009）. 網(wǎng)絡(luò)課程質(zhì)量評價(jià)模型：感知維度的研究. 現(xiàn)代教育技術(shù)（3），86-90.

張倍思，陳燁，齊藝，& 董慶興. （2022）. 多源過程性數(shù)據(jù)驅(qū)動的學(xué)習(xí)者綜合評價(jià)模型研究. 情報(bào)科學(xué)（5），104-110.

張艷霞，孫洪濤，李爽，& 陳麗. （2015）. 數(shù)據(jù)表征學(xué)習(xí)過程及其應(yīng)用——學(xué)習(xí)分析數(shù)據(jù)集國際研究綜述. 中國電化教育（9），85-93.

周德青，楊現(xiàn)民，& 李新. （2021）. 在線開放課程的學(xué)習(xí)者評價(jià)數(shù)據(jù)分析框架研究——以“中小學(xué)教師數(shù)據(jù)素養(yǎng)”在線開放課程為例. 現(xiàn)代教育技術(shù)（8），92-101.

Agudo-Peregrina， á. F.， Iglesias-Pradas， S.， Conde-González， M. á.， & Hernández-García， á. （2014）. Can we predict success from log data in VLEs？ Classification of interactions for learning analytics and their relation with performance in VLE-supported F2F and online learning. Computers in Human Behavior， 31（2）， 542-550.

Bigatel， P. M.， & Edel-Malizia， S. （2018）. Using the “Indicators of Engaged Learning Online” framework to evaluate online course quality. Tech Trends Washington DC， 62（1）， 58-70.

Dewan， M.， Murshed， M.， & Lin， F. （2019）. Engagement detection in online learning： A review. Smart Learning Environments， 6（1）， 16-35.

Fredricks， J. A.， Blumenfeld， P. C.， & Paris， A. H. （2004）. School engagement： Potential of the concept， state of the evidence. Review of Educational Research， 74（1）， 59-109.

Mat， R. C.， & Zin， S. M. （2021）. Gamification approach to enhance students’ engagement in online distance learning （ODL） classes. International Journal of E-Learning and Higher Education， 6， 4-21.

Patrick， B. C.， Skinner， E. A.， & Connell， J. P. （1993）. What motivates children’s behavior and emotion？ Joint effects of perceived control and autonomy in the academic domain. Journal of Personality & Social Psychology， 65（4）， 781-91.

Design of Online Open Courses Quality Assessment Driven by Process Data

Abstract： During the 14th “Five-Year Plan” period， the construction of online open course quality assessment framework and indicators adapted to the background of the times have become important propositions to promote the high-quality development of online education. From the perspective of process， this study was data-oriented and paid attention to the actual use of courses. Firstly， a process data driven framework of online open course quality assessment was constructed. The framework included four processes： learning process data collection， learning process data mapping， learning process data analysis， and evaluation of course quality level， and included seven evaluation elements： data generation， data collection， data mapping， data analysis， result output， quality calculation， and optimization strategy. Then an online open course quality assessment index system was designed based on process data. Finally， taking the “Data Literacy of Primary and Secondary School Teachers” MOOC as an example， the assessment practice was carried out based on the learning process data of the second phase by analyzing the existing problems of the course and putting forward the quality optimization strategy of online open courses.

Keywords： learning process data; online open courses; course quality assessment; assessment framework; assessment index system