黃義兵+陳輝

摘 要：MOOCs以迅雷不及掩耳之勢在教育領(lǐng)域吸引人們注意力，正在被越來越多的學(xué)習(xí)者使用和接受，但如何評價其教學(xué)質(zhì)量成為教學(xué)研究者關(guān)注的焦點。以目的游離評價模式為指導(dǎo)，借助AHP模糊綜合評價法，從5個一級指標、19個二級指標對職業(yè)教育MOOCs教學(xué)質(zhì)量進行測量。從測量結(jié)果看，使用者對MOOCs教學(xué)模式并未表現(xiàn)出明顯的滿意或者反對，對課程建設(shè)和考核較為滿意，對平臺體驗認可度不高。

關(guān)鍵詞：MOOCs；AHP；教學(xué)質(zhì)量；評價

中圖分類號：G712 文獻標識碼：A 文章編號：1671-9255（2017）03-0062-04

一、問題提出

隨著“互聯(lián)網(wǎng)+”時代的到來，在線教育已成為教育發(fā)展的一種必然趨勢。作為新的教育形態(tài)，MOOCs 提供了開放、靈活的知識傳播和學(xué)習(xí)方式，對教育觀念、教育體制、教學(xué)模式和教育評價等方面產(chǎn)生了深刻的影響。2012年，美國部分大學(xué)先后推出 Coursera、Udacity 和edX三大MOOC平臺，2013年，中國先后推出慕課網(wǎng)、學(xué)堂在線、果殼網(wǎng)等 MOOC平臺，上線課程與注冊學(xué)生數(shù)迅速增長。以Coursera為例，截至2016年4月底，有100余所大學(xué)提供的1000多門課程，用戶數(shù)已超過1400 萬，中國用戶超過 100 萬。

教學(xué)質(zhì)量評價是高職教學(xué)過程中的重要環(huán)節(jié)，是實現(xiàn)高職人才培養(yǎng)目標的重要保證，在教學(xué)管理過程中具有重要的導(dǎo)向作用。以學(xué)生評教、專家評教以及同行評教為主的高職院校課堂教學(xué)質(zhì)量評價模式，在促使高職課堂教學(xué)逐步趨于制度化和規(guī)范化方面發(fā)揮了一定的作用，但也存在無法形成有機統(tǒng)一體、主觀性太強等弊端。[1]傳統(tǒng)教學(xué)質(zhì)量因其特殊性，具有較多的“貧信息”，當下MOOCs教學(xué)模式質(zhì)量評價又迫在眉睫。能否借助其他方法讓更多MOOCs教學(xué)質(zhì)量評價的“貧信息”顯性化呢？故研究MOOCs教學(xué)模式下的質(zhì)量評價問題具有重要的現(xiàn)實意義與理論價值。

二、MOOCs教學(xué)質(zhì)量評價理論依據(jù)

教學(xué)質(zhì)量評價的基本思想主要有診斷性評價、形成性評價、總結(jié)性評價、泰勒模式、CIPP模式與目的游離評價等六種[2]，但目的游離評價是當前教學(xué)質(zhì)量評價的主流。美國教育家斯克里文在研究教學(xué)評價過程中發(fā)現(xiàn)，很多事先確定的教育目標的評價范圍往往會受到限制，有時還產(chǎn)生許多非預(yù)期的效果，這對評價產(chǎn)生至關(guān)重要的影響。為了使評價更加合理、科學(xué)，評價實施者應(yīng)該把重點考慮的問題從“教育目標是什么”轉(zhuǎn)變?yōu)椤敖逃顒訉嶋H是什么”，即進行目標游離，跳出預(yù)設(shè)目標的局限。[3]

層次分析法（The analytic hierarchy process）簡稱AHP，在20世紀70年代中期由美國運籌學(xué)家T.L.Satty正式提出。它是一種定性和定量相結(jié)合的，系統(tǒng)化、層次化的分析方法，主要通過建立層次分析模型、計算組合權(quán)向量、進行模糊綜合評價等過程，實現(xiàn)對MOOCs教學(xué)質(zhì)量的合理評價。[4]

針對MOOCs教學(xué)模式的質(zhì)量進行評價尚未形成成熟的評價理論，本文結(jié)合斯克里文提出的目標游離評價模式，構(gòu)造層次分析模型探討教學(xué)質(zhì)量評價方式，給出了評價MOOCs教學(xué)質(zhì)量評價的新思路。

三、基于AHP法的MOOCs教學(xué)質(zhì)量

評價模型的構(gòu)建

（一）教學(xué)質(zhì)量評價指標的建立

構(gòu)建一個科學(xué)、有效的評價指標體系，需要經(jīng)

過指標初選、完善至最終使用等過程?？己酥笜梭w系的設(shè)計應(yīng)遵循目的性、科學(xué)性、可操作性、導(dǎo)向性的基本原則。本文結(jié)合職業(yè)教育特點，初步制定體現(xiàn)職業(yè)教育的MOOCs 課程教學(xué)效果評價指標：體系分為5個一級指標、19個二級指標，每級指標都運用Likert五級量表進行評分，即：非常滿意5分、滿意4分、無所謂3分、不滿意2分和非常不滿意1分。[5]依據(jù)目標游離評價模式，初步形成的教學(xué)質(zhì)量評價指標的思維導(dǎo)圖（如圖1所示）：

（二）教學(xué)質(zhì)量評價模型的構(gòu)建

本文基于AHP層次分析法構(gòu)建評價指標因素的權(quán)向量，通過模糊綜合評價的方式把定性評價轉(zhuǎn)化為定量評價，主要評價過程和評價模型如下。

1.評價指標表示

根據(jù)圖1，教學(xué)質(zhì)量評價指標機構(gòu)分為兩層，

第一層一級指標： ，

第二層二級指標：

， ；

，

， ；

，

，

合計共有二級指標數(shù)量

2. 評價等級

={非常滿意， 滿意，無所謂，不滿意，非常不滿意}，

3. 構(gòu)建模糊關(guān)系矩陣

模糊關(guān)系矩陣 給出了評價因素 到評價等級 的變換算子：

其中， 表示MOOCs教學(xué)質(zhì)量這一評價目標在評價因素論域 中的第 個指標處于評價等級 中

第 個評語的隸屬度，并且 ， 。

這樣， 將評價因素集合 這一論域上的模糊集合 經(jīng)過 變換為評價集合 上的模糊集合 ，即 。

4.評價指標權(quán)重

在進行模糊綜合評價時還需要對評價因素中的各指標確定權(quán)重，即權(quán)重分配模糊矢量

其中， 表示第 個評價指標的權(quán)重， ，

。

通常使用的確定權(quán)重的方法有專家評估加權(quán)平均法、Delphi專家調(diào)查法、頻率分布法和模糊關(guān)系方程法等。對于MOOCs的評價，前文已將其歸納總結(jié)為五個層次的19個指標，層次結(jié)構(gòu)明顯，這里我們使用層次分析法確定權(quán)重分配矢量。主要是采用專家評估建立判斷矩陣，計算各判斷矩陣的權(quán)重向量（單位特征向量）、最大特征值 ，并進行一致性檢驗。若檢驗通過，特征向量（歸一化后）即為權(quán)向量，并計算下層決定上層的權(quán)向量。

5. 合成評價結(jié)果

對于MOOCs教學(xué)質(zhì)量的評價，由于沒有主要因素的突出，在這里采用加權(quán)平均的方式得到評價endprint

向量 ，即

為普通的矩陣乘法。

四、評價過程

基于以上評價指標和評價模型，完成對目前MOOCs教學(xué)質(zhì)量的評價如下。

（一）模糊關(guān)系矩陣

選擇30名骨干教師和20名學(xué)生代表，根據(jù)二級評價因素指標對當前MOOCs教學(xué)質(zhì)量的評價，構(gòu)造模糊關(guān)系矩陣如下

（二）使用層次分析法確定評價指標權(quán)重第一層次的各個指標重要性判斷矩陣為：

依據(jù)調(diào)查數(shù)據(jù)構(gòu)建第二層各項指標的判斷矩陣，課程建設(shè)（P1）、平臺體驗（P2）、教學(xué)過程（P3）、課程考核（P4）和課程推廣（P5）的判斷矩陣分別為：

根據(jù)各判斷矩陣計算得到各層次指標的權(quán)重向量及一致性檢驗如表1所示，通過檢驗可見對各評價指標的重要性判斷相對統(tǒng)一，可靠性較高，判斷矩陣生成的權(quán)重有效（見表1）。

五、評價結(jié)論

從總體上看，當前對MOOCs教學(xué)關(guān)注度較高，但是評價呈現(xiàn)兩級分化態(tài)勢，持滿意及非常滿意態(tài)度者為47.35%，略大于持不滿意及非常不滿意態(tài)度者的43.28%，感到無所謂者僅為9.37%。從課程建設(shè)、平臺體驗、教學(xué)過程、課程考核和課程推廣情況來看，課程建設(shè)和課程考核獲得評價較高，滿意及非常滿意態(tài)度分別為52.21%和54.18%，但平臺體驗和教學(xué)過程獲得評價較低，不滿意及非常不滿意度達到33.13%和29.33%。在MOOCs建設(shè)過程中，應(yīng)注重網(wǎng)絡(luò)生態(tài)建設(shè)和用戶體驗的改進，同時加強教學(xué)過程管理，調(diào)動學(xué)生參與課程互動的積極性，引導(dǎo)學(xué)生養(yǎng)成合理有效的學(xué)習(xí)習(xí)慣。

本文采取AHP模糊綜合評價方法，基于在線教育網(wǎng)絡(luò)課程的評價要素，考慮系統(tǒng)平臺的影響，結(jié)合基于學(xué)習(xí)行為數(shù)據(jù)的學(xué)習(xí)分析技術(shù)，從教學(xué)中的課程建設(shè)、平臺體驗、教學(xué)過程、課程考核以及課程推廣等五個方面出發(fā)構(gòu)建了一個體現(xiàn)職業(yè)院校MOOC教學(xué)過程特征的質(zhì)量評價體系，采用了專家打分和層次分析法確定相關(guān)指標的影響權(quán)重，在很大程度上保證了測評結(jié)果的客觀和準確。

參考文獻：

[1]劉堯.國內(nèi)外教育質(zhì)量認知述評與研究啟示[J].青島科技大學(xué)學(xué)報，2016（2）：95-101.

[2]孟玉.基于診斷性評價的網(wǎng)絡(luò)補習(xí)課程教學(xué)模式設(shè)計[D].云南：云南大學(xué)，2016.

[3]劉堯.教育評價是教育質(zhì)量的守護神嗎？——一個古今教育評價重心變遷的解析視角[J].中國地質(zhì)大學(xué)學(xué)報，2016（6）：145-151.

[4]陳菲.層次分析法在高職課堂教學(xué)質(zhì)量評價體系中的應(yīng)用[J].南通航運職業(yè)技術(shù)學(xué)院學(xué)報， 2014（3）：78-82.

[5]馮雪松，于青青，李曉明.在實踐中探索 MOOC評價體系[J].中國大學(xué)教學(xué)，2015（10）：72-81+85.

（責(zé)任編輯 汪 偉）

Study of the Evaluation on MOOCs Teaching Quality in Higher Vocational Education based on AHP

HUANG Yi-bing，CHEN Hui

（Teaching Affairs Department， Anhui Business College， Anhui 241002， China）endprint