王俊杰 田刈璁

[摘 要] 隨著社會(huì)教育模式的多樣化、教育需求的個(gè)性化、教育質(zhì)量的高級(jí)化發(fā)展，在線開(kāi)放課程逐步成為教育領(lǐng)域內(nèi)的重要形式之一。該研究針對(duì)在線開(kāi)放課程開(kāi)展時(shí)間短、評(píng)價(jià)數(shù)據(jù)少、評(píng)價(jià)體系不完善的問(wèn)題，提出了基于動(dòng)態(tài)視角的在線教學(xué)效果評(píng)價(jià)指標(biāo)體系，并考慮新信息優(yōu)先原理，構(gòu)建了綜合動(dòng)態(tài)評(píng)價(jià)模型。進(jìn)而以一門(mén)國(guó)家級(jí)精品開(kāi)放課程為例，對(duì)其六個(gè)學(xué)期的開(kāi)課數(shù)據(jù)進(jìn)行動(dòng)態(tài)評(píng)價(jià)，提出提升課程質(zhì)量的對(duì)策建議。

[關(guān)鍵詞] 在線開(kāi)放課程;評(píng)價(jià)指標(biāo);動(dòng)態(tài)評(píng)價(jià);新信息優(yōu)先

[中圖分類(lèi)號(hào)] G642.0? ? [文獻(xiàn)標(biāo)識(shí)碼] A? ? [文章編號(hào)] 1674-9324（2021）01-0120-04? ?[收稿日期] 2020-12-02

一、引言

在“互聯(lián)網(wǎng)+教育”的背景下，慕課作為新型的混合在線教育模式應(yīng)運(yùn)而生。慕課以其大規(guī)模性、開(kāi)放性和師生互動(dòng)性等特征對(duì)我國(guó)高等教育的課程內(nèi)容、課程設(shè)計(jì)、教學(xué)模式等方面改革具有重要意義。姚凱、李思志等以“MOOC學(xué)院”社區(qū)論壇為數(shù)據(jù)源，建立了包括課程內(nèi)容、教學(xué)設(shè)計(jì)、界面設(shè)計(jì)、媒體技術(shù)、課程管理等的評(píng)價(jià)指標(biāo)體系[1]。趙馨蕊、周雨青等以大學(xué)物理課程為例，利用層次分析法建構(gòu)了大學(xué)物理MOOC教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系[2]。岳進(jìn)和郭輝改進(jìn)了AHP法，通過(guò)以區(qū)間標(biāo)度代替點(diǎn)值的方法，結(jié)合區(qū)間數(shù)理論與群決策方法構(gòu)建了基于區(qū)間層次分析法和專(zhuān)家群決策的MOOC適切性評(píng)價(jià)模型[3]。

本文以慕課在線開(kāi)放課程為研究對(duì)象，從課程建設(shè)、課程運(yùn)行和課程評(píng)估三個(gè)維度建立動(dòng)態(tài)性評(píng)價(jià)指標(biāo)體系，并建立了新信息優(yōu)先的動(dòng)態(tài)評(píng)價(jià)模型，對(duì)國(guó)家精品在線課程進(jìn)行課程質(zhì)量評(píng)價(jià)。

二、慕課在線開(kāi)放課程評(píng)價(jià)指標(biāo)體系構(gòu)建

（一）評(píng)價(jià)指標(biāo)的確定及其量化規(guī)則

反映在線開(kāi)放課程教學(xué)質(zhì)量的指標(biāo)系統(tǒng)由諸多不同的指標(biāo)構(gòu)成，指標(biāo)之間應(yīng)具有互補(bǔ)性、層次性、獨(dú)立性和結(jié)構(gòu)性等特征。在充分考慮指標(biāo)體系的科學(xué)性、系統(tǒng)性、動(dòng)態(tài)性、層次性、可比性、數(shù)據(jù)的可獲取性原則等基礎(chǔ)上，從“課程建設(shè)模塊”“課程運(yùn)行模塊”和“課程評(píng)價(jià)模塊”三個(gè)維度確定了慕課在線開(kāi)放課程（包含SPOC數(shù)據(jù)）的指標(biāo)體系，具體的指標(biāo)體系與量化規(guī)則如下所示：

本文構(gòu)建的“運(yùn)籌學(xué)”慕課在線開(kāi)放課程動(dòng)態(tài)評(píng)價(jià)指標(biāo)體系包含了課程建設(shè)模塊（A1）、課程運(yùn)行模塊（A2）和課程評(píng)價(jià)模塊（A3）。二級(jí)指標(biāo)包括基本信息建設(shè)（B1）、課程題庫(kù)建設(shè)（B2）、課程平臺(tái)建設(shè)（B3）、課程運(yùn)行質(zhì)量（B4）、課程教學(xué)質(zhì)量（B5）、平臺(tái)反饋數(shù)據(jù)（B6）、學(xué)生評(píng)價(jià)反饋（B7）和教務(wù)評(píng)價(jià)反饋（B8）八個(gè)模塊，共29個(gè)三級(jí)指標(biāo)。

在線開(kāi)放課程評(píng)價(jià)指標(biāo)體系中的29個(gè)三級(jí)指標(biāo)包含了定性指標(biāo)與定量指標(biāo)，以下對(duì)所有評(píng)價(jià)指標(biāo)的量化方法進(jìn)行規(guī)范化，所有指標(biāo)得分均統(tǒng)一定義在區(qū)間[0，10]之間，具體為：

B1基本信息建設(shè)：（1）課程等級(jí)：國(guó)家級(jí)精品課程10分;省級(jí)精品課程7分;校級(jí)精品課程4分;普通課程1分。（2）課程團(tuán)隊(duì)：團(tuán)隊(duì)成員構(gòu)成合理、分工明確得8～10分，次之得4～7分，成員構(gòu)成不合理、分工不明確得0～3分。（3）課程概要：課程信息非常完善且準(zhǔn)確得8～10分，次之得4～7分，信息不完善得0～3分。

B2課程題庫(kù)建設(shè)：（1）單元測(cè)驗(yàn)題庫(kù)：題庫(kù)難易程度合適、知識(shí)點(diǎn)覆蓋全面、題庫(kù)數(shù)量充足得8～10分，次之得4～7分，難易程度不均衡、知識(shí)點(diǎn)覆蓋不全、題庫(kù)數(shù)量較少得0～3分。若評(píng)估學(xué)期題庫(kù)進(jìn)行了更新，則該指標(biāo)評(píng)分加1分，否則不加分，總分不超過(guò)10分。（2）單元習(xí)題庫(kù)：具有單元習(xí)題庫(kù)的數(shù)量占總單元數(shù)的比重*10分。若評(píng)估學(xué)期的所有單元習(xí)題庫(kù)均進(jìn)行了更新，則該指標(biāo)評(píng)分加1分，否則不加分，總分不超過(guò)10分。（3）期末測(cè)試題庫(kù)：期末測(cè)試題庫(kù)評(píng)分與單元測(cè)試題庫(kù)相同，按照指標(biāo)要求分為8～10分、4～7分和0～3分三個(gè)等級(jí)。若評(píng)估學(xué)期期末測(cè)試題庫(kù)進(jìn)行了更新，則該指標(biāo)評(píng)分加1分，否則不加分，總分不超過(guò)10分。（4）案例庫(kù)：案例充分且具有代表性，得8～10分;缺失，得4～7分;案例庫(kù)較少，得0～3分。

B3課程平臺(tái)建設(shè)：（1）平臺(tái)信息完整度：網(wǎng)絡(luò)課程平臺(tái)內(nèi)信息完整、詳細(xì)且正確得8～10分;次之得4～7分;平臺(tái)信息不完整得0～3分。（2）內(nèi)容更新頻率：課程內(nèi)容更新的學(xué)期數(shù)/開(kāi)課的總學(xué)期數(shù)*10分。（3）資源更新覆蓋率：課程內(nèi)容更新內(nèi)容/課程資料總量*10分。（4）視頻資源質(zhì)量：視頻資源具有符合標(biāo)準(zhǔn)的清晰度、完整性和交互性得8～10分，次之得4～7分，視頻資源質(zhì)量較低得0～3分。

B4課程運(yùn)行質(zhì)量：（1）選課人數(shù)：評(píng)估學(xué)期選課人數(shù)/所有學(xué)期選擇人數(shù)最大值*10分;（2）學(xué)生參與討論數(shù)：評(píng)估學(xué)期學(xué)生在課程QQ群（SPOC課程）和網(wǎng)課平臺(tái)上發(fā)布和回復(fù)的討論帖總數(shù)/所有學(xué)期發(fā)布和回復(fù)的討論帖總數(shù)最大值*10分;（3）教師參與討論數(shù)：評(píng)估學(xué)期教師在課程QQ群（SPOC課程）和網(wǎng)課平臺(tái)上發(fā)布和回復(fù)的討論帖總數(shù)/所有學(xué)期發(fā)布和回復(fù)的討論帖總數(shù)最大值*10分。

B5課程教學(xué)質(zhì)量：（1）學(xué)習(xí)資源發(fā)布及時(shí)性：課程視頻、單元測(cè)試題、課程公告等資源信息和內(nèi)容全部按時(shí)發(fā)布并通知，得10分，每延遲發(fā)布一次減1分，最低為0分。（2）單元測(cè)驗(yàn)批改及時(shí)性：?jiǎn)卧獪y(cè)驗(yàn)在完成一周內(nèi)及時(shí)批改并反饋，得10分，每延遲反饋1天減1分，最低0分。（3）在線答疑頻率：每次課后都有在線答疑得10分，每少一次答疑減1分，最低0分。

B6平臺(tái)數(shù)據(jù)反饋：（1）完成課程人數(shù)：評(píng)估學(xué)期完成課程人數(shù)/評(píng)估學(xué)期選課人數(shù)*10分;（2）學(xué)習(xí)通過(guò)率：課程考核合格人數(shù)/完成課程人數(shù)*10分;（3）評(píng)價(jià)滿意度：開(kāi)課平臺(tái)中課程評(píng)價(jià)星級(jí)/最大星級(jí)*10分。

B7學(xué)生評(píng)價(jià)反饋：B7模塊下的4項(xiàng)指標(biāo)得分均通過(guò)對(duì)上課學(xué)生發(fā)放調(diào)查問(wèn)卷得到。得分以10分制設(shè)計(jì)，與B1至B6模塊的指標(biāo)得分統(tǒng)一。

B8教務(wù)評(píng)價(jià)反饋：B8模塊下的5項(xiàng)指標(biāo)得分均通過(guò)對(duì)課程同行專(zhuān)家發(fā)放調(diào)查問(wèn)卷得到。得分以10分制設(shè)計(jì)，與B1至B6模塊的指標(biāo)得分統(tǒng)一。

（二）評(píng)價(jià)指標(biāo)權(quán)重設(shè)計(jì)

慕課在線開(kāi)放課程動(dòng)態(tài)評(píng)價(jià)指標(biāo)體系共包含了三級(jí)指標(biāo)，通過(guò)專(zhuān)家咨詢(xún)，同一層級(jí)內(nèi)的指標(biāo)重要性均衡，因此采用各級(jí)指標(biāo)內(nèi)等權(quán)的標(biāo)準(zhǔn)確定權(quán)重。指標(biāo)權(quán)重的確定從一級(jí)指標(biāo)開(kāi)始，逐級(jí)計(jì)算，每一級(jí)指標(biāo)體系按照等權(quán)方式分配權(quán)重。

定義1 設(shè)ωA1、ωA2、ωA3分別代表一級(jí)指標(biāo)中的A1課程建設(shè)模塊、A2課程運(yùn)行模塊、A3課程評(píng)價(jià)模塊三個(gè)模塊的指標(biāo)權(quán)重，ωB1、ωB2、ωB3、ωB4、ωB5、ωB6、ωB7為二級(jí)指標(biāo)中7個(gè)模塊的指標(biāo)權(quán)重，ωBsq表示29個(gè)三級(jí)指標(biāo)的權(quán)重，其中s=1，2，3，4，5，6，7代表7個(gè)二級(jí)指標(biāo)，q的取值范圍依據(jù)每個(gè)二級(jí)指標(biāo)下的三級(jí)指標(biāo)個(gè)數(shù)變化。

四、N學(xué)校“運(yùn)籌學(xué)”課程的動(dòng)態(tài)評(píng)價(jià)

“運(yùn)籌學(xué)”作為重要專(zhuān)業(yè)基礎(chǔ)課，已在中國(guó)大學(xué)慕課上成功開(kāi)展五次，共有3910人選課，176所高校學(xué)生選擇學(xué)習(xí)，其中包括清華大學(xué)、南京大學(xué)等20余所“雙一流”建設(shè)高校。課程開(kāi)設(shè)效果顯著，影響力大，受到師生好評(píng)。因此，對(duì)該課程做出合理、科學(xué)的動(dòng)態(tài)評(píng)價(jià)機(jī)制，是保障其課程質(zhì)量的前提。

（一）評(píng)價(jià)數(shù)據(jù)

本文數(shù)據(jù)主要來(lái)自三個(gè)維度，B1至B6模塊的指標(biāo)數(shù)據(jù)來(lái)源于中國(guó)大學(xué)慕課平臺(tái)，N學(xué)校“運(yùn)籌學(xué)”已經(jīng)完成的6次課程統(tǒng)計(jì)數(shù)據(jù);B7模塊的指標(biāo)數(shù)據(jù)是通過(guò)對(duì)參與課程的社會(huì)學(xué)習(xí)者和在校學(xué)生進(jìn)行問(wèn)卷調(diào)查得到的數(shù)據(jù);B8模塊的指標(biāo)數(shù)據(jù)是通過(guò)N學(xué)校和其他高校的同行教師進(jìn)行問(wèn)卷調(diào)查得到的數(shù)據(jù)。依據(jù)上述評(píng)價(jià)指標(biāo)的量化規(guī)則，得到表1數(shù)據(jù)表。

（二）基于新信息優(yōu)先的課程動(dòng)態(tài)評(píng)價(jià)

根據(jù)表1，共有六個(gè)學(xué)期的評(píng)價(jià)數(shù)據(jù)，依據(jù)上述確定的指標(biāo)權(quán)重和公式（1）可以得到六個(gè)學(xué)期的各自評(píng)價(jià)數(shù)據(jù)，如表2所示。

該課程在慕課運(yùn)行六個(gè)學(xué)期以來(lái)，其課程質(zhì)量總體上呈現(xiàn)上升趨勢(shì)，從2017年第二學(xué)期第一次開(kāi)課的6.937分，逐步平穩(wěn)上升至2020年第一學(xué)期的7.876分，除了在2018年第二學(xué)期略有下降，其余學(xué)期的教學(xué)質(zhì)量均有提升。依據(jù)新信息優(yōu)先原理，該課程的總體評(píng)價(jià)得分為7.876分，仍有一定的提升空間。

綜合表1和表2的評(píng)價(jià)結(jié)果，該課程在整理運(yùn)行過(guò)程中仍存在以下幾點(diǎn)需要關(guān)注的問(wèn)題：

一是在課程建設(shè)模塊中，關(guān)于課程題庫(kù)建設(shè)部分，案例庫(kù)建設(shè)得分較低，案例庫(kù)的更新評(píng)率與覆蓋面，以及其難易適合程度有待提升。

二是在課程運(yùn)行模塊中，選課人數(shù)、討論帖數(shù)等方面，需進(jìn)一步推廣宣傳課程，應(yīng)安排足夠的教學(xué)團(tuán)隊(duì)成員負(fù)責(zé)與學(xué)生的互動(dòng)，保證教學(xué)質(zhì)量。

三是在課程評(píng)價(jià)模塊中，課程的選課人數(shù)較多，但是實(shí)際完成課程并檢驗(yàn)合格的學(xué)生比例較低。師生對(duì)討論區(qū)的反饋滿意度較低。

參考文獻(xiàn)

[1]姚凱，李思志，李艷紅，等.MOOC評(píng)價(jià)模型研究[J].復(fù)旦教育論壇，2017，15（03）：65-71.

[2]趙馨蕊，周雨青，瞿林云.大學(xué)物理MOOC教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系的建構(gòu)[J].東南大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2017，19（S2）：163-168.

[3]岳進(jìn)，郭輝.基于區(qū)間層次分析法和專(zhuān)家群決策的MOOC適切性評(píng)價(jià)[J].電化教育研究，2019，40（03）：54-58.