童小素　賈小軍

【摘要】

隨著信息技術(shù)的快速發(fā)展，MOOC已融入了新的網(wǎng)絡(luò)應(yīng)用元素，原有網(wǎng)絡(luò)課程評(píng)價(jià)的部分標(biāo)準(zhǔn)已顯得陳舊，無法充分反映大數(shù)據(jù)時(shí)代MOOC的特點(diǎn)。雖然同內(nèi)外已有不少學(xué)者從不同角度對(duì)此展開研究并提出了相應(yīng)的評(píng)價(jià)體系，但國內(nèi)目前還沒有形成比較權(quán)威且系統(tǒng)的MOOC質(zhì)量評(píng)價(jià)體系。在借鑒已有網(wǎng)絡(luò)課程和網(wǎng)絡(luò)資源評(píng)價(jià)規(guī)范的基礎(chǔ)上，采用文獻(xiàn)調(diào)研法和專家訪談法，并以我同教育部教育信息化標(biāo)準(zhǔn)委員會(huì)制定的《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22）》為藍(lán)本，探索性地建立了包含3個(gè)一級(jí)指標(biāo)（課程內(nèi)容、教學(xué)設(shè)計(jì)、學(xué)習(xí)支持）和26個(gè)二級(jí)指標(biāo)的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系，并利用層次分析法確立了指標(biāo)的權(quán)重。同時(shí)，在國內(nèi)三大MOOC平臺(tái)上各選取一門課程，利用評(píng)價(jià)體系進(jìn)行了評(píng)價(jià)實(shí)踐。實(shí)踐表明其具有較強(qiáng)的可操作性，可以有效評(píng)判MOOC建設(shè)的優(yōu)劣，在一定程度上豐富了MOOC質(zhì)量評(píng)價(jià)的理論體系，對(duì)MOOC的規(guī)范建設(shè)和可持續(xù)發(fā)展提供了有益的指導(dǎo)。

【關(guān)鍵詞】MOOC；質(zhì)量評(píng)價(jià)；評(píng)價(jià)體系；層次分析法

【中圖分類號(hào)】G40-058.1 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1009-458 x（2017）05-0063-09

近年來，大規(guī)模在線開放課程（MOOC）作為一種新興的教育模式受到廣泛的關(guān)注，國內(nèi)外掀起了一陣MOOC建設(shè)的浪潮。2012年被《紐約時(shí)報(bào)》稱為“MOOC年”，而2013年是MOOC本土化的元年。截至2015年，在歐洲包括英國、德國、西班牙等31個(gè)國家在內(nèi)的311所大學(xué)開設(shè)了MOOC（OpenEducation Europa，2015）；在中國，自2013年年初起，網(wǎng)易與高教社（中國大學(xué)MOOC）、清華大學(xué)（學(xué)堂在線）、北京大學(xué)（華文MOOC）和上海交通大學(xué)（好大學(xué)在線）等紛紛加入MOOC建設(shè)的行列。目前，MOOC學(xué)院收集了Coursera、edX、Udacity、中國大學(xué)MOOC、學(xué)堂在線等平臺(tái)共5，000多門中英文課程，中國大學(xué)MOOC和學(xué)堂在線平臺(tái)上各有上千門中文課程，涵蓋了各個(gè)學(xué)科。同時(shí)，隨著時(shí)間的推移課程數(shù)量還在不停增長，選課學(xué)習(xí)的人數(shù)也在不斷增長。然而，琳瑯滿目的MOOC，如何評(píng)估其好壞？如何使學(xué)習(xí)者輕松地獲取高質(zhì)量的資源？如何規(guī)范MOOC的建設(shè)？這些問題促使MOOC質(zhì)量的評(píng)價(jià)成為一項(xiàng)十分有實(shí)踐意義的研究。

一、研究現(xiàn)狀

在MOOC建設(shè)的浪潮中，高參與率與低結(jié)課率使得MOOC的教育質(zhì)量及評(píng)價(jià)問題受到了國內(nèi)外學(xué)者的關(guān)注，形成了一些從不同角度出發(fā)的評(píng)價(jià)體系，大致可以分為四類：MOOC平臺(tái)角度、MOOC傳播效果角度、MOOC實(shí)踐性的角度和將原有在線課程的評(píng)價(jià)規(guī)范遷移到MOOC領(lǐng)域的角度。

從MOOC平臺(tái)角度出發(fā)構(gòu)建的評(píng)價(jià)體系，比較典型的研究成果有：①韓錫斌等（2014）基于Edu-tools編制的網(wǎng)絡(luò)教學(xué)平臺(tái)評(píng)價(jià)標(biāo)準(zhǔn)，將MOOC平臺(tái)和國內(nèi)外典型網(wǎng)絡(luò)教學(xué)平臺(tái)進(jìn)行對(duì)比分析，對(duì)Edu-tools評(píng)價(jià)體系的系統(tǒng)技術(shù)特征進(jìn)行了補(bǔ)充調(diào)整和優(yōu)化。②劉和海等（2016）以Edutools評(píng)價(jià)體系為基礎(chǔ)，通過MOOC平臺(tái)與傳統(tǒng)網(wǎng)絡(luò)教學(xué)平臺(tái)的對(duì)比優(yōu)化評(píng)價(jià)指標(biāo)，依據(jù)優(yōu)化后的指標(biāo)體系，全面調(diào)研了我國學(xué)堂在線等六大MOOC平臺(tái)，并進(jìn)行了全面的對(duì)比分析，從宏觀、中觀、微觀三個(gè)層面提出了優(yōu)化策略。從MOOC傳播效果角度出發(fā)的評(píng)價(jià)體系，比較典型的研究成果有：①馬瑞等（2015）通過文獻(xiàn)和個(gè)案分析確立指標(biāo)模型，通過專家訪談構(gòu)建了4個(gè)一級(jí)維度（資源、課程團(tuán)隊(duì)、學(xué)習(xí)用戶、環(huán)境）、8個(gè)二級(jí)維度和32個(gè)指標(biāo)項(xiàng)的MOOC傳播效果評(píng)價(jià)指標(biāo)體系。②其他傳播學(xué)角度的MOOC研究，雖沒有形成完整的評(píng)價(jià)體系，但對(duì)MOOC傳播過程中的重要要素進(jìn)行了討論分析。李昕桐（2014）依據(jù)擔(dān)任北大MOOC“民俗學(xué)”助教的經(jīng)驗(yàn)，提出了助教這個(gè)“中間人”在MOOC傳播中的重要性；張辰（2013）分析了SNS社交網(wǎng)絡(luò)對(duì)MOOC傳播的影響；Kop等（2011）通過分析學(xué)習(xí)者和教學(xué)者之間的學(xué)情數(shù)據(jù)，指出雙方的聯(lián)系在MOOC傳播中起到重要的作用。從MOOC實(shí)踐性的角度構(gòu)建的評(píng)價(jià)體系，比較典型的研究成果有：①馮雪松等（2015）基于北京大學(xué)MOOC實(shí)踐，提出了一種面向課程改進(jìn)的MOOC評(píng)價(jià)體系，分為量化因素（課程內(nèi)容建設(shè)及課程實(shí)施）及定性描述（內(nèi)容的組織、內(nèi)容的呈現(xiàn)、講授方法及課程的執(zhí)行與推廣）兩大部分。②Margaryan等（2015）對(duì)76門已經(jīng)開放的MOOC采用Merrill的首要教學(xué)原理的指標(biāo)分析其教學(xué)質(zhì)量。從原有在線課程的評(píng)價(jià)規(guī)范遷移到MOOC領(lǐng)域的角度構(gòu)建的評(píng)價(jià)體系，比較典型的研究成果有：①李青等（2015）通過對(duì)國內(nèi)外八個(gè)權(quán)威在線課程評(píng)價(jià)指標(biāo)的分析，歸納出一般在線課程的質(zhì)量因子，并以美國《在線課程質(zhì)量量規(guī)》（Quality Matters Rubric）為藍(lán)本構(gòu)建MOOC質(zhì)量模型。②西班牙學(xué)者費(fèi)爾南德斯等人（Ferndndez，et al.，2015）對(duì)兩種在線學(xué)習(xí)質(zhì)量評(píng)價(jià)方法ADECUR和UNE 66181：2012進(jìn)行比較分析，建立了一套從四個(gè)維度（教學(xué)內(nèi)容、教學(xué)法、可訪問性、虛擬學(xué)習(xí)環(huán)境）評(píng)價(jià)MOOC質(zhì)量的評(píng)價(jià)體系。③德國亞深工業(yè)大學(xué)約瑟夫等（Yousef，et al，2014）對(duì)在線課程、遠(yuǎn)程教育等與MOOC相關(guān)文獻(xiàn)進(jìn)行分析后，構(gòu)建了一套MOOC設(shè)計(jì)質(zhì)量保障標(biāo)準(zhǔn)，包含教學(xué)和技術(shù)兩個(gè)維度75個(gè)評(píng)價(jià)指標(biāo)項(xiàng)。④羅斯維爾等（Rosewell，et al，2014）從機(jī)構(gòu)層面和課程層面兩個(gè)維度建立了適用于開放大學(xué)的MOOC質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，其核心內(nèi)容源于在線學(xué)習(xí)和開放教育的質(zhì)量評(píng)價(jià)基準(zhǔn)E-xcellence。從以上分析可以看出，國內(nèi)外已有不少學(xué)者對(duì)MOOC質(zhì)量的評(píng)價(jià)展開研究并提出了相應(yīng)的評(píng)價(jià)體系，但研究出發(fā)的角度和關(guān)注的重點(diǎn)不同，所形成的評(píng)價(jià)框架很不一致，目前國內(nèi)還沒有形成比較權(quán)威且系統(tǒng)的MOOC質(zhì)量評(píng)價(jià)體系。本文也是從將原有在線課程的評(píng)價(jià)規(guī)范遷移到MOOC領(lǐng)域的角度來構(gòu)建評(píng)價(jià)體系。在借鑒已有網(wǎng)絡(luò)課程和網(wǎng)絡(luò)資源評(píng)價(jià)規(guī)范的基礎(chǔ)上，采用文獻(xiàn)調(diào)研法和專家訪談法，并以我國教育部教育信息化標(biāo)準(zhǔn)委員會(huì)制定的《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22）》為藍(lán)本，結(jié)合大數(shù)據(jù)時(shí)代MOOC學(xué)習(xí)的特點(diǎn)，構(gòu)建一套面向MOOC質(zhì)量評(píng)價(jià)的指標(biāo)體系，以進(jìn)一步推動(dòng)優(yōu)質(zhì)MOOC的開發(fā)與運(yùn)營。

二、MOOC的特征

MOOC是通過開放教育資源與學(xué)習(xí)服務(wù)而形成的一種新型教育模式，允許全球有學(xué)習(xí)需求的人通過互聯(lián)網(wǎng)學(xué)習(xí)，通過網(wǎng)絡(luò)實(shí)施教學(xué)全過程（McAuley，et al，2010）。MOOC不僅是教育技術(shù)的革新，更是一種全新的學(xué)習(xí)方式與教育模式，具有以下四方面的特征：

（一）規(guī)模大

MOOC規(guī)模大的特征主要體現(xiàn)在海量參與、海量交互和海量學(xué)習(xí)數(shù)據(jù)三個(gè)方面（王永固，等，2014）。海量參與主要體現(xiàn)在參與的人數(shù)眾多，參與的學(xué)習(xí)者層次差異大，有高中生、大學(xué)生，也有職員等，學(xué)習(xí)目的也各不相同。為應(yīng)對(duì)海量學(xué)習(xí)者間的巨大差異性，建設(shè)MOOC必須提供詳細(xì)的課程說明與學(xué)習(xí)要求，列舉出課程學(xué)習(xí)過程中常見問題的解決辦法，使學(xué)習(xí)者能更好地參與其中；提供不同層次的學(xué)習(xí)補(bǔ)充材料和多種訪問路徑，以滿足不同認(rèn)知偏好和學(xué)識(shí)水平的學(xué)習(xí)者。海量交互是指海量學(xué)習(xí)者和學(xué)習(xí)內(nèi)容間的交互，還包括教師和學(xué)習(xí)者、學(xué)習(xí)者和學(xué)習(xí)者之間的交互。應(yīng)對(duì)海量交互，建設(shè)MOOC時(shí)需要提供豐富的交互工具，提供充分的交互機(jī)會(huì)，從而引發(fā)學(xué)習(xí)者對(duì)學(xué)習(xí)內(nèi)容的深入思考。海量參與和交互使得課程產(chǎn)生了海量的學(xué)習(xí)數(shù)據(jù)，這就要求MOOC平臺(tái)具有學(xué)習(xí)分析功能，去發(fā)現(xiàn)課程學(xué)習(xí)的特征和規(guī)律以及學(xué)習(xí)者潛在的問題，從而優(yōu)化學(xué)習(xí)者的學(xué)習(xí)。

（二）開放性

MOOC的開放性是指面向全球的學(xué)習(xí)者免費(fèi)開放，課程空間中的課程大綱、課程資料、視頻、測試題等無須付費(fèi)即可訪問，學(xué)習(xí)者能夠無障礙地訪問課程資源，自由獲取信息和知識(shí)。應(yīng)對(duì)開放性，MOOC開發(fā)時(shí)需要考慮各種媒體在各種設(shè)備上呈現(xiàn)的兼容性，考慮不同國籍學(xué)習(xí)者文化背景的差異性。

（三）MOOC學(xué)習(xí)的隨時(shí)隨地性

MOOC學(xué)習(xí)不受時(shí)間、空間等條件的限制，學(xué)習(xí)內(nèi)容、學(xué)習(xí)方法以及學(xué)習(xí)計(jì)劃等由學(xué)習(xí)者自主決定，多以移動(dòng)學(xué)習(xí)和碎片化學(xué)習(xí)為主。這一特點(diǎn)決定了MOOC開發(fā)必須考慮以小視頻（5～10分鐘）加小測驗(yàn)等形式組織課程內(nèi)容。

（四）MOOC學(xué)習(xí)的個(gè)性化

MOOC學(xué)習(xí)者學(xué)習(xí)的需求多種多樣，既有對(duì)學(xué)習(xí)活動(dòng)的個(gè)性化需求，也有對(duì)各種學(xué)習(xí)主題的需求，還有對(duì)媒體呈現(xiàn)形式的需求等。這一特點(diǎn)決定了MOOC開發(fā)時(shí)，需要基于教育大數(shù)據(jù)的學(xué)習(xí)分析技術(shù)的應(yīng)用，通過對(duì)學(xué)習(xí)者學(xué)習(xí)過程的追蹤記錄以及對(duì)數(shù)據(jù)記錄的分析，量化學(xué)習(xí)者的學(xué)習(xí)，從而定制出不同于他人的學(xué)習(xí)策略和學(xué)習(xí)方法，為學(xué)習(xí)者推送其感興趣的課程與內(nèi)容，促使學(xué)習(xí)更加有效。學(xué)習(xí)內(nèi)容應(yīng)可根據(jù)學(xué)習(xí)者各種個(gè)性化、動(dòng)態(tài)的學(xué)習(xí)需求進(jìn)行知識(shí)結(jié)構(gòu)的調(diào)整和內(nèi)容的完善，實(shí)現(xiàn)內(nèi)容的再生。

三、MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系的構(gòu)建

從本質(zhì)上說，MOOC仍是一種網(wǎng)絡(luò)課程，鑒于網(wǎng)絡(luò)課程質(zhì)量的相關(guān)研究已比較成熟，所以，現(xiàn)有的網(wǎng)絡(luò)課程和網(wǎng)絡(luò)資源的評(píng)價(jià)標(biāo)準(zhǔn)都可以作為MOOC評(píng)價(jià)的重要參考。本研究采用文獻(xiàn)調(diào)研法和專家訪談法構(gòu)建MOOC質(zhì)量的評(píng)價(jià)指標(biāo)。我國教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會(huì)（2012）起草的《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22）》，是國內(nèi)使用廣泛的E-learning內(nèi)容設(shè)計(jì)開發(fā)參考依據(jù)和網(wǎng)絡(luò)課程質(zhì)量模型。因此，本研究以此量規(guī)為藍(lán)本，結(jié)合MOOC的特征，對(duì)其加以適當(dāng)增刪和補(bǔ)充優(yōu)化來構(gòu)造MOOC質(zhì)量的評(píng)價(jià)體系。

（一）專家訪談方案設(shè)計(jì)

1.專家的選擇

專家的選擇是影響研究結(jié)果的關(guān)鍵因素之一。本研究主要根據(jù)專家的專業(yè)背景和當(dāng)下所從事的研究領(lǐng)域是否為MOOC來選取，選取了浙江大學(xué)、杭州師范大學(xué)、華東師范大學(xué)等學(xué)校的11名專家。其中，5名專家為教育技術(shù)領(lǐng)域從事數(shù)字化學(xué)習(xí)資源研究和網(wǎng)絡(luò)課程開發(fā)的教授，其余6名專家為本項(xiàng)目開發(fā)組的成員。這11名專家當(dāng)前的研究重心為MOOC，他們中有的人已經(jīng)在中國大學(xué)MOOC平臺(tái)、智慧樹等平臺(tái)開設(shè)了課程，有的人正在參與，對(duì)MOOC的建設(shè)有較為全面、系統(tǒng)且獨(dú)到的見解。

2.設(shè)計(jì)第一輪問卷調(diào)查表

問卷的第一部分首先對(duì)制定指標(biāo)體系的背景作簡要說明。第二部分是對(duì)MOOC質(zhì)量評(píng)價(jià)指標(biāo)咨詢表中各級(jí)維度、評(píng)價(jià)參照標(biāo)準(zhǔn)作詳細(xì)說明，給專家以明確的使用指導(dǎo)。專家可在表中自行添加、刪除或修改指標(biāo)，并對(duì)確立的指標(biāo)進(jìn)行相對(duì)重要性排名。

3.設(shè)計(jì)第二輪問卷調(diào)查表

收回第一輪咨詢表，進(jìn)行統(tǒng)計(jì)處理，并設(shè)計(jì)發(fā)放第二輪咨詢表。第二輪咨詢表主要涉及第一輪問卷中專家的修改意見匯總、每個(gè)指標(biāo)的重要性排名均值和標(biāo)準(zhǔn)偏差，咨詢專家是否同意修改和確立本次指標(biāo)的重要性排名。每一位專家參考第一輪的統(tǒng)計(jì)結(jié)果進(jìn)行第二次評(píng)估，如不能達(dá)成一致，需要進(jìn)行多次評(píng)估。咨詢幾輪后，專家意見逐漸趨于一致，經(jīng)過統(tǒng)計(jì)歸一處理，最終確定MOOC質(zhì)量的評(píng)價(jià)指標(biāo)及其重要性排名。

（二）評(píng)價(jià)指標(biāo)設(shè)計(jì)

CELTS-22評(píng)價(jià)規(guī)范從四個(gè)基本維度（“課程內(nèi)容”“教學(xué)設(shè)計(jì)”“界面設(shè)計(jì)”“技術(shù)”）來評(píng)價(jià)網(wǎng)絡(luò)課程的質(zhì)量，包括21條“必需”指標(biāo)和15條“建議”指標(biāo)。同時(shí)，筆者通過對(duì)在線課程、網(wǎng)絡(luò)課程、E-Learning課件、資源庫評(píng)價(jià)、移動(dòng)學(xué)習(xí)App等方面的學(xué)術(shù)文獻(xiàn)和一些國外機(jī)構(gòu)制定的《在線課程評(píng)價(jià)標(biāo)準(zhǔn)》[Ouafity On The Line（朱凌云，等，2002a）、E-Learning Certification Standards（朱凌云，等，2002b）、ASTD E-Learning課件認(rèn)證標(biāo)準(zhǔn)（ASTD，2002）、GEM網(wǎng)絡(luò)教學(xué)資源評(píng)價(jià)標(biāo)準(zhǔn)（段崇江，等，2002）、ADL網(wǎng)絡(luò)教學(xué)的設(shè)計(jì)與評(píng)價(jià)指南（ADL，2001）、OpenECBCheck Quality Criteria-2012（EFQUEL，2012）、Certification System of e-Learning Quality in Taiwan-2013（eLQCC，2013）]進(jìn)行詳細(xì)分析，發(fā)現(xiàn)在評(píng)價(jià)指標(biāo)體系中一般都有反映課程內(nèi)容的評(píng)價(jià)指標(biāo)；課程/教學(xué)設(shè)計(jì)指標(biāo)在評(píng)價(jià)指標(biāo)體系中出現(xiàn)的頻率最高；資源的可用易用性指標(biāo)以及在線支持與幫助指標(biāo)在評(píng)價(jià)指標(biāo)體系中出現(xiàn)的頻率也非常高。因此，筆者將MOOC質(zhì)量評(píng)價(jià)分為“課程內(nèi)容”、“教學(xué)設(shè)計(jì)”和“學(xué)習(xí)支持”三個(gè)維度。各維度下具體指標(biāo)的構(gòu)建，以CELTS-22評(píng)價(jià)指標(biāo)為基礎(chǔ)，充分結(jié)合MOOC的特征，并通過專家的訪談（由于文章篇幅限制，訪談方案如前所述，訪談過程略），得到如表1所示的指標(biāo)體系。

將CELTS-22網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范和表1對(duì)照來看，本文提出的MOOC質(zhì)量評(píng)價(jià)指標(biāo)與CELTS-22網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范之間的異同主要體現(xiàn)在以下幾個(gè)方面：

（1）在評(píng)價(jià)維度上，少了—個(gè)維度，將CELTS-22中的“界面設(shè)計(jì)”和“技術(shù)”統(tǒng)稱為“學(xué)習(xí)支持”。

（2）在“課程內(nèi)容”維度上，將指標(biāo)“內(nèi)容分塊”和“內(nèi)容編排”提煉成“結(jié)構(gòu)合理性”；刪除了“內(nèi)容鏈接”指標(biāo)；新增了指標(biāo)“資源粒度”（因MOOC學(xué)習(xí)的隨時(shí)隨地性）和“內(nèi)容的再生性”（因MOOC學(xué)習(xí)的個(gè)性化）；強(qiáng)化了課程說明（因MOOC的大規(guī)模和自主性）。

（3）在“教學(xué)設(shè)計(jì)”維度上，刪除了“學(xué)習(xí)目標(biāo)”和“目標(biāo)層次”指標(biāo)[因MOOC具備后現(xiàn)代課程的特征（王永固，等，2014），其學(xué)習(xí)目標(biāo)具有不確定性和自我生成性]；將“學(xué)習(xí)者控制”指標(biāo)移到“學(xué)習(xí)支持”維度下；刪除了“實(shí)例與演示”指標(biāo)；新增了“文化”指標(biāo)（因MOOC的開放性）；將“學(xué)習(xí)幫助”指標(biāo)改為“在線輔導(dǎo)”（強(qiáng)調(diào)MOOC學(xué)習(xí)的網(wǎng)絡(luò)性）；強(qiáng)化了“內(nèi)容的交互性”、“交流與協(xié)作”和“練習(xí)與反饋”指標(biāo)（因MOOC學(xué)習(xí)的自主性、開放性，學(xué)伴交互協(xié)作、相互測評(píng)的重要性）。

（4）在“學(xué)習(xí)支持”維度下，將CELTS-22中“界面設(shè)計(jì)”維度下的9個(gè)指標(biāo)提煉成3個(gè)指標(biāo)（“界面可視性”“導(dǎo)航”“語義聚合”）。其中，“語義聚合”強(qiáng)化了“內(nèi)容檢索”指標(biāo)（因MOOC視頻資源的小粒度性，增加了學(xué)習(xí)者檢索資源的次數(shù)，通過語義將資源內(nèi)聚，使小粒度的知識(shí)組成更加完整的知識(shí)單元，有助于學(xué)習(xí)者進(jìn)行全面的知識(shí)建構(gòu)）。CELTS-22中“技術(shù)”維度下的6個(gè)指標(biāo)提煉成一個(gè)指標(biāo)“兼容性”，“兼容性”指標(biāo)代表在不同平臺(tái)安裝、卸載以及可靠運(yùn)行等多個(gè)方面。同時(shí)，新增加了3個(gè)與當(dāng)前大數(shù)據(jù)時(shí)代數(shù)據(jù)分析相關(guān)的評(píng)價(jià)指標(biāo)，也是符合MOOC學(xué)習(xí)的大規(guī)模性和個(gè)性化特征的指標(biāo)（“記錄追蹤”“學(xué)習(xí)分析”“個(gè)性化推送”），對(duì)在線學(xué)習(xí)過程中發(fā)生的各種數(shù)據(jù)進(jìn)行分析，將分析結(jié)果反饋給教師可以幫助教師提高教學(xué)質(zhì)量、教學(xué)水平和職業(yè)技能，反饋給學(xué)生可以幫助學(xué)生更好地開展自適應(yīng)的學(xué)習(xí)，從而提高學(xué)習(xí)效果和提高課程通過率。為了提高M(jìn)OOC的結(jié)課率，新增了“證書/學(xué)分”指標(biāo)（因MOOC的開放性和大規(guī)模性）。

（三）指標(biāo)權(quán)重的計(jì)算

權(quán)重是指指標(biāo)體系中各指標(biāo)在完成、實(shí)現(xiàn)整體目標(biāo)中的貢獻(xiàn)程度。只有確定了各指標(biāo)的權(quán)重之后，才能合理地進(jìn)行分析和判定。確定權(quán)重的方法主要有專家意見平均法、秩和運(yùn)算法、層次分析法、特爾斐法等。由于MOOC評(píng)價(jià)指標(biāo)不是很直觀，不能用精確的數(shù)據(jù)來衡量，層次分析法是一種將定性方法和定量方法相結(jié)合的方法，為無法定量描述的復(fù)雜問題提供了解決方法，因此，MOOC評(píng)價(jià)指標(biāo)的權(quán)重采用層次分析法來確定。

Yaahp（Yet Another AHP）是一個(gè)層次分析法軟件，以層次分析法為依據(jù)，具有構(gòu)造層次模型、錄入判斷矩陣、計(jì)算權(quán)重和將計(jì)算結(jié)果導(dǎo)出等功能。利用Yaahp軟件計(jì)算MOOC評(píng)價(jià)指標(biāo)體系各指標(biāo)權(quán)重的過程如下：

1.建立層次結(jié)構(gòu)模型

在Yaahp軟件中繪制如圖1所示層次結(jié)構(gòu)模型。

2.構(gòu)造兩兩比較判斷矩陣

（1）一級(jí)指標(biāo)判斷矩陣的構(gòu)造

根據(jù)專家對(duì)一級(jí)指標(biāo)課程內(nèi)容U1、教學(xué)設(shè)計(jì)U2、學(xué)習(xí)支持U3相對(duì)重要性排名的最終統(tǒng)計(jì)結(jié)果U2>Ul>U3，在Yaahp軟件工作區(qū)里單擊“判斷矩陣”標(biāo)簽，判斷矩陣中輸入數(shù)據(jù)標(biāo)度，軟件自動(dòng)進(jìn)行一致性檢測，提示“一致（0.0000）”，當(dāng)一致性比例<0.10時(shí)，認(rèn)為判斷矩陣通過一致性檢驗(yàn)，如圖2所示。

（2）二級(jí)指標(biāo)判斷矩陣的構(gòu)造

1）課程內(nèi)容U1

根據(jù)專家對(duì)課程內(nèi)容U1維度下的二級(jí)指標(biāo)相對(duì)重要性排名的最終統(tǒng)計(jì)結(jié)果，將數(shù)據(jù)標(biāo)度輸入判斷矩陣中，數(shù)據(jù)標(biāo)度的值如表2所示。Yaahp軟件自動(dòng)進(jìn)行一致性檢測，提示“一致（0.0316）”，判斷矩陣有效，一致性檢測通過。

2）教學(xué)設(shè)計(jì)U2

根據(jù)專家對(duì)教學(xué)設(shè)計(jì)U2維度下的二級(jí)指標(biāo)相對(duì)重要性排名的最終統(tǒng)計(jì)結(jié)果，將數(shù)據(jù)標(biāo)度輸入判斷矩陣中，數(shù)據(jù)標(biāo)度的值如表3所示。Yaahp軟件自動(dòng)進(jìn)行一致性檢測，提示“一致（0.0222）”，判斷矩陣有效，一致性檢測通過。

3）學(xué)習(xí)支持U3

根據(jù)專家對(duì)學(xué)習(xí)支持U3維度下的二級(jí)指標(biāo)相對(duì)重要性排名的最終統(tǒng)計(jì)結(jié)果，將數(shù)據(jù)標(biāo)度輸入判斷矩陣中，數(shù)據(jù)標(biāo)度的值如表4所示。Yaahp軟件自動(dòng)進(jìn)行一致性檢測，提示“一致（0.0259）”，判斷矩陣有效，一致性檢測通過。

3.計(jì)算權(quán)重

判斷矩陣創(chuàng)建完成后，在Yaahp軟件工作區(qū)里單擊“計(jì)算結(jié)果”標(biāo)簽，得到所有指標(biāo)的權(quán)重，單擊“顯示詳細(xì)數(shù)據(jù)”按鈕可以看到各級(jí)指標(biāo)權(quán)重的明細(xì)。

圖3列出了一級(jí)指標(biāo)的權(quán)重計(jì)算結(jié)果，從中可以看出，三個(gè)一級(jí)指標(biāo)所占的權(quán)重分別是：課程內(nèi)容U1的權(quán)重為0.3333，教學(xué)設(shè)計(jì)U2的權(quán)重為0.4167，學(xué)習(xí)支持U3的權(quán)重為0 2500，教學(xué)設(shè)計(jì)U2所占的權(quán)重比例最高。由于篇幅關(guān)系，二級(jí)指標(biāo)權(quán)重計(jì)算在此省略。

4.MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系的確立

將Yaahp軟件分析的權(quán)重結(jié)果整理到原有的無權(quán)重的評(píng)價(jià)體系表中，并把較低層次的指標(biāo)權(quán)重乘以其上一級(jí)指標(biāo)的權(quán)重，就可得到其在整個(gè)指標(biāo)體系中的實(shí)際權(quán)重，通過處理得到的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系，如表5所示。

四、評(píng)價(jià)指標(biāo)體系的應(yīng)用

當(dāng)前，國內(nèi)比較受歡迎且用戶量較多的三大MOOC平臺(tái)是中國大學(xué)MOOC、學(xué)堂在線和好大學(xué)在線。因此，本研究從這三大MOOC平臺(tái)中各選一門課作為MOOC評(píng)價(jià)體系評(píng)價(jià)的對(duì)象，分別是學(xué)堂在線平臺(tái)上的清華大學(xué)鄧俊輝老師的“數(shù)據(jù)結(jié)構(gòu)”、好大學(xué)在線平臺(tái)上的上海交通大學(xué)李康化老師的“唐詩宋詞人文解讀”和中國大學(xué)MOOC平臺(tái)上臺(tái)灣新竹清華大學(xué)楊佳嫻老師的“細(xì)讀張愛玲”，這三門課程都是MOOC學(xué)院平臺(tái)上推薦的好課。筆者邀請(qǐng)課題組的六名成員從使用者的角度對(duì)其實(shí)施評(píng)價(jià)。評(píng)價(jià)實(shí)施后回收評(píng)價(jià)數(shù)據(jù)，并計(jì)算六位評(píng)價(jià)者在各指標(biāo)上的平均分，統(tǒng)計(jì)結(jié)果如表6所示。將每一個(gè)二級(jí)指標(biāo)的平均分乘以各自的權(quán)重，得到一級(jí)維度的得分，將一級(jí)維度的得分乘以各自的權(quán)重求得課程的總分，其結(jié)果如表7所示。

表6顯示了三門課程在每個(gè)二級(jí)指標(biāo)上所得的總分和平均分。這三門課程在資源粒度、資源擴(kuò)展、內(nèi)容再生性、媒體選用、動(dòng)機(jī)與興趣、練習(xí)與反饋、記錄追蹤、學(xué)習(xí)分析、個(gè)性化推送指標(biāo)上的平均分存在小于4的情況。其中，資源粒度指標(biāo)“細(xì)讀張愛玲”課程得分只有2.67，原因是其他兩門課程資源的播放時(shí)長一般在10分鐘以內(nèi)，而“細(xì)讀張愛玲”課程一般視頻時(shí)長都在20分鐘左右，資源粒度大，負(fù)荷高，不利于移動(dòng)學(xué)習(xí)、碎片式學(xué)習(xí)的開展。資源擴(kuò)展指標(biāo)“唐詩宋詞人文解讀”課程得分最低，只有1分，其次是“數(shù)據(jù)結(jié)構(gòu)”課程，得分為3.33，原因是“唐詩宋詞人文解讀”沒有提供與教材及課程內(nèi)容相關(guān)、有學(xué)習(xí)價(jià)值的外部資源或鏈接，“數(shù)據(jù)結(jié)構(gòu)”課程只提供了課程教材的信息以及課程講義的下載鏈接，而“細(xì)讀張愛玲”課程不僅給出了課程的教材信息，還給出了相關(guān)的參考文獻(xiàn)信息，實(shí)現(xiàn)了課程的拓展。內(nèi)容再生性指標(biāo)“數(shù)據(jù)結(jié)構(gòu)”和“細(xì)讀張愛玲”這兩門課程得分都只有1.83，原因是這兩門課程都沒有專門的版塊允許用戶提交資源申請(qǐng)、提交資源以及對(duì)資源進(jìn)行糾錯(cuò)。這個(gè)指標(biāo)“唐詩宋詞人文解讀”課程稍高些，其專門設(shè)有課程糾錯(cuò)區(qū)，在視頻播放區(qū)右上角設(shè)有提問與糾錯(cuò)，學(xué)習(xí)者如果發(fā)現(xiàn)內(nèi)容有誤或播放有問題都可以實(shí)時(shí)報(bào)錯(cuò)糾錯(cuò)。媒體選用指標(biāo)“細(xì)讀張愛玲”課程得分為2.5，原因是該課程通篇都是以教師講為主，偶爾輔以文本介紹，媒體形式單一。動(dòng)機(jī)和興趣指標(biāo)“細(xì)讀張愛玲”課程得分3.33，原因是“細(xì)讀張愛玲”課程沒有采取適當(dāng)?shù)拇胧┤ゾS持學(xué)習(xí)者學(xué)習(xí)課程的興趣，通篇只是介紹，其他兩門課程均采取了一些相應(yīng)的措施，比如，視頻中嵌入小測試、課堂晉級(jí)、提供筆記功能等。練習(xí)與反饋指標(biāo)“細(xì)讀張愛玲”課程得分最低，原因?yàn)槠渲惶峁┝酥饔^題，題型單一，評(píng)價(jià)采用互評(píng)和白評(píng)形式?！疤圃娝卧~人文解讀”課程提供了客觀題和主觀題兩種形式，客觀題系統(tǒng)自動(dòng)反饋，主觀題采用互評(píng)形式。“數(shù)據(jù)結(jié)構(gòu)”課程提供了客觀題和編程題，客觀題系統(tǒng)自動(dòng)評(píng)分，編程作業(yè)則在http：∥dsa.cs.tsinghua.edu cn/oj/上自動(dòng)評(píng)測，反饋非常及時(shí)。記錄追蹤、學(xué)習(xí)分析、個(gè)性化推送指標(biāo)三門課程得分均低于4分，這三個(gè)指標(biāo)之間為層遞的關(guān)系，只有記錄了更全面的學(xué)習(xí)信息（學(xué)習(xí)者生理信息、心理信息、學(xué)習(xí)行為信息等），才能進(jìn)行更加精確的學(xué)習(xí)分析，量化學(xué)習(xí)者的學(xué)習(xí)，進(jìn)而推送學(xué)習(xí)者感興趣的知識(shí)內(nèi)容，學(xué)習(xí)資源的表征方式采用學(xué)習(xí)者喜歡和習(xí)慣的方式，從而實(shí)現(xiàn)學(xué)習(xí)者個(gè)性化、智能、定制和高效的學(xué)習(xí)。目前，三門課程只是記錄了學(xué)習(xí)者的學(xué)習(xí)時(shí)長、測試成績、在線交互情況、筆記等數(shù)據(jù)，記錄不全面，沒有將學(xué)生的生理和心理數(shù)據(jù)（詳細(xì)的在線日志、學(xué)習(xí)表情、操作習(xí)慣等）記錄下來。學(xué)習(xí)分析也只是做了簡單的統(tǒng)計(jì)，其中“數(shù)據(jù)結(jié)構(gòu)”課程在課程進(jìn)度版塊統(tǒng)計(jì)了學(xué)習(xí)者的學(xué)習(xí)進(jìn)度和練習(xí)得分情況，“唐詩宋詞人文解讀”課程在統(tǒng)計(jì)版塊里顯示了學(xué)習(xí)者的每周學(xué)習(xí)時(shí)長、人均學(xué)習(xí)時(shí)長、練習(xí)得分和人均得分的對(duì)比圖，而“細(xì)讀張愛玲”課程則沒有專門的版塊統(tǒng)計(jì)分析學(xué)習(xí)者的學(xué)習(xí)情況。個(gè)性化推送指標(biāo)三門課程都只是通過課程注冊(cè)時(shí)的郵箱定期推送一些與課程相關(guān)的通知（新內(nèi)容上線通知、作業(yè)提交、考試、證書申請(qǐng)等），遠(yuǎn)達(dá)不到根據(jù)學(xué)生的喜好、學(xué)習(xí)分析情況自動(dòng)推送適合學(xué)習(xí)者的學(xué)習(xí)內(nèi)容的要求。除上述9個(gè)二級(jí)指標(biāo)外，其他各項(xiàng)評(píng)價(jià)指標(biāo)的平均分都超過了4.00，表明三門課程建設(shè)得比較規(guī)范，可用易用性較好。

表7給出了三門課程一級(jí)維度的得分與總分。可以發(fā)現(xiàn)，“數(shù)據(jù)結(jié)構(gòu)”和“唐詩宋詞人文解讀”總分較高，在85分以上，說明課程建設(shè)情況較好。三門課程在學(xué)習(xí)支持維度上得分均低于4分，說明在建設(shè)MOOC時(shí)要加強(qiáng)這方面的建設(shè)，尤其是在記錄追蹤、學(xué)習(xí)分析和個(gè)性化推送方面的學(xué)習(xí)支持，這也是大數(shù)據(jù)時(shí)代量化學(xué)習(xí)，實(shí)現(xiàn)個(gè)性化學(xué)習(xí)、自適應(yīng)學(xué)習(xí)的必要支持，也是當(dāng)前MOOC建設(shè)面臨的巨大挑戰(zhàn)?！凹?xì)讀張愛玲”課程除了學(xué)習(xí)支持維度得分低外，教學(xué)設(shè)計(jì)維度得分也低于4分，說明其在課程內(nèi)容呈現(xiàn)、學(xué)生學(xué)習(xí)興趣維持以及練習(xí)題提供的多層次性等方面要加強(qiáng)建設(shè)。

MOOC學(xué)院平臺(tái)上有一項(xiàng)學(xué)習(xí)者對(duì)課程評(píng)價(jià)的統(tǒng)計(jì)功能，從五個(gè)方面來評(píng)價(jià)課程的好壞（知識(shí)量、教師參與、趣味性、課程設(shè)計(jì)、難度）。網(wǎng)站上這三門課程學(xué)習(xí)者評(píng)價(jià)的統(tǒng)計(jì)結(jié)果（截至2016年11月）顯示“細(xì)讀張愛玲”總分為8.5分，“數(shù)據(jù)結(jié)構(gòu)”和“唐詩宋詞人文解讀”分別為9.0分和8.9分。其中，在“課程設(shè)計(jì)”單項(xiàng)上“細(xì)讀張愛玲”得分為8.4分，“數(shù)據(jù)結(jié)構(gòu)”和“唐詩宋詞人文解讀”分別為9_7分和9_2分。從這些數(shù)據(jù)可以看出MOOC學(xué)院平臺(tái)上的學(xué)習(xí)者評(píng)價(jià)統(tǒng)計(jì)結(jié)果與本研究中MOOC質(zhì)量評(píng)價(jià)指標(biāo)評(píng)價(jià)結(jié)果的一致性，可見MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系的可操作性和有效性。

五、結(jié)論

通過查閱和分析大量國內(nèi)外學(xué)術(shù)文獻(xiàn)和評(píng)價(jià)規(guī)范，并通過專家訪談，探索性地建立了包含3個(gè)一級(jí)指標(biāo)、26個(gè)二級(jí)指標(biāo)的MOOC質(zhì)量評(píng)價(jià)指標(biāo)體系，并利用層次分析法確定了各指標(biāo)的權(quán)重（見表5）。依據(jù)生成的評(píng)價(jià)指標(biāo)體系對(duì)國內(nèi)三大MOOC平臺(tái)上的三門課程進(jìn)行評(píng)價(jià)實(shí)踐，結(jié)果表明其具有較強(qiáng)的可操作性，可以有效評(píng)判MOOC建設(shè)的優(yōu)劣。評(píng)價(jià)指標(biāo)體系的評(píng)價(jià)實(shí)踐對(duì)于MOOC資源的建設(shè)與管理具有以下啟示：①資源建設(shè)要重視教學(xué)設(shè)計(jì)，尤其是資源的趣味性、交互性、教師的參與和反饋。②要加強(qiáng)學(xué)習(xí)支持方面的建設(shè)，尤其是記錄追蹤、學(xué)習(xí)分析和個(gè)性化推送等方面，真正實(shí)現(xiàn)以學(xué)習(xí)者為中心自定步調(diào)的個(gè)性化學(xué)習(xí)。

本研究的不足在于，評(píng)價(jià)指標(biāo)體系的有效性檢驗(yàn)只是運(yùn)用評(píng)價(jià)指標(biāo)體系對(duì)三門課程進(jìn)行評(píng)價(jià)實(shí)踐，用評(píng)價(jià)結(jié)果與MOOC學(xué)院平臺(tái)上學(xué)習(xí)者對(duì)三門課程評(píng)價(jià)的統(tǒng)計(jì)數(shù)據(jù)的一致性來體現(xiàn)，未能根據(jù)評(píng)價(jià)指標(biāo)體系編制評(píng)價(jià)量表對(duì)其信度和效度做進(jìn)一步檢驗(yàn)，評(píng)價(jià)體系還有待進(jìn)一步細(xì)化和完善。因此，在今后的研究中，我們將進(jìn)行較大規(guī)模的應(yīng)用研究，將評(píng)價(jià)指標(biāo)體系編制成李克特量表，運(yùn)用到各大MOOC平臺(tái)的課程中，檢驗(yàn)其信度和效度。同時(shí)，結(jié)合MOOC平臺(tái)上學(xué)習(xí)者的反饋和調(diào)查來進(jìn)一步完善評(píng)價(jià)指標(biāo)。