劉 偉 毛才盛 王山慧

（1. 浙江大學(xué)寧波理工學(xué)院， 浙江 寧波 315100； 2. 浙江大學(xué)寧波質(zhì)量發(fā)展研究院， 浙江 寧波 315100）

1 問(wèn)題的提出

開(kāi)展課程教學(xué)績(jī)效評(píng)價(jià)是保障和提升教學(xué)體系質(zhì)量的主要方式和重要抓手， 通過(guò)開(kāi)展教學(xué)績(jī)效評(píng)價(jià)，可以精準(zhǔn)識(shí)別課程教學(xué)的優(yōu)勢(shì)和短板、持續(xù)優(yōu)化課程教學(xué)的流程和方法、 充分挖掘?qū)W生學(xué)習(xí)的興趣點(diǎn)和關(guān)注點(diǎn)，進(jìn)而實(shí)現(xiàn)學(xué)生各層次、多類(lèi)型的智能和技能水平全面提升的根本目標(biāo)。 近年來(lái)，大規(guī)模網(wǎng)絡(luò)開(kāi)放課程（Massive Open Online Course，簡(jiǎn)稱(chēng)MOOC）依托其所具備的大規(guī)模、在線、開(kāi)放和共享等創(chuàng)新特色， 逐漸成為一種熱門(mén)的新型課程教學(xué)模式；MOOC注重個(gè)性化和情景化的自主學(xué)習(xí)，注重學(xué)生知識(shí)技能及態(tài)度情感的培養(yǎng)， 教學(xué)主要通過(guò)先導(dǎo)閱讀、微視頻、問(wèn)題討論和實(shí)時(shí)測(cè)試等多種形式呈現(xiàn)，提供個(gè)性化、共享式的教學(xué)服務(wù)。

目前MOOC 教學(xué)績(jī)效評(píng)價(jià)也存在著諸多問(wèn)題，如績(jī)效評(píng)價(jià)缺乏有效理論支撐、 評(píng)價(jià)標(biāo)準(zhǔn)不清晰、指標(biāo)偏重技術(shù)和定性、權(quán)重配置不合理等，這些都在一定程度上影響或阻礙了MOOC 的發(fā)展。多元智能理論認(rèn)為，智能是人在特定情景中解決問(wèn)題并有所創(chuàng)造的能力，每種類(lèi)型的智能都具有獨(dú)特的豐富內(nèi)涵、鮮明的理論特色及實(shí)用性，推動(dòng)了多元智能理論與教學(xué)應(yīng)用領(lǐng)域的全面融合，主要包括基于多元智能模型的教學(xué)理念、模式、手段、環(huán)境和內(nèi)容等的全方位創(chuàng)新并最終形成共生發(fā)展的生態(tài)系統(tǒng)。 本文基于多元智能理論內(nèi)涵和應(yīng)用特征進(jìn)行分析，運(yùn)用網(wǎng)絡(luò)分析法ANP 開(kāi)展MOOC 教學(xué)績(jī)效評(píng)價(jià)體系創(chuàng)新研究， 系統(tǒng)設(shè)計(jì)MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)體系，合理選擇指標(biāo)權(quán)重設(shè)置方法，科學(xué)構(gòu)建績(jī)效評(píng)價(jià)模型，進(jìn)一步推動(dòng)創(chuàng)新成果的實(shí)踐應(yīng)用。

2 研究基礎(chǔ)

2.1 多元智能理論與教學(xué)的應(yīng)用融合

傳統(tǒng)智力理論認(rèn)為語(yǔ)言能力和數(shù)理邏輯能力是智力的核心，多元智能理論則認(rèn)為智能是人在特定情景中解決問(wèn)題并有所創(chuàng)造的能力，每個(gè)人都擁有九種主要智能，分別為語(yǔ)言智能、邏輯數(shù)學(xué)智能、空間智能、肢體運(yùn)作智能、音樂(lè)智能、人際智能、內(nèi)省智能、自然探索智能和存在智能。 多元智能理論的內(nèi)涵和觀點(diǎn)立足于學(xué)生智能的多樣性和差異性特征， 以發(fā)掘和提升學(xué)生多元智能為根本目標(biāo)，為各種類(lèi)型的教學(xué)應(yīng)用實(shí)踐提供了理論支撐。

它有助于形成正確的評(píng)價(jià)觀。 基于多元智能理論的教學(xué)應(yīng)用實(shí)踐更加關(guān)注學(xué)生智力發(fā)展的廣泛性和多樣性， 并著力培養(yǎng)和發(fā)展學(xué)生各方面的能力，進(jìn)一步形成科學(xué)有效的智力評(píng)價(jià)觀點(diǎn)。 還有助于形成正確的教學(xué)觀。 因?yàn)樗鼒?jiān)持每個(gè)學(xué)生都不同程度地?fù)碛邢鄬?duì)獨(dú)立的智能，而每種智能都有其獨(dú)特的認(rèn)知發(fā)展過(guò)程，教學(xué)方法和手段應(yīng)該根據(jù)教學(xué)對(duì)象和教學(xué)內(nèi)容而靈活多樣。 也有助于形成正確的發(fā)展觀。 它認(rèn)為每個(gè)學(xué)生都有閃光點(diǎn)和可取之處，教師應(yīng)從多方面去了解學(xué)生的特長(zhǎng)，并相應(yīng)地采取有效方法，使其特長(zhǎng)得到充分的發(fā)揮和發(fā)展。

2.2 MOOC 評(píng)價(jià)體系存在的問(wèn)題分析

一是評(píng)價(jià)體系普遍缺乏理論支撐。 目前大部分的MOOC 教學(xué)績(jī)效評(píng)價(jià)體系構(gòu)建缺乏科學(xué)有效的理論支撐，評(píng)價(jià)目標(biāo)仍然停留在強(qiáng)化教師教學(xué)責(zé)任心、提升學(xué)生教學(xué)滿意度、改進(jìn)課程教學(xué)方法等宏觀層面，目標(biāo)分散且難以形成合力。

二是指標(biāo)及權(quán)重設(shè)計(jì)普遍缺乏合理性。 目前的指標(biāo)設(shè)計(jì)普遍存在內(nèi)容聚合度不夠、過(guò)程性和定性指標(biāo)偏多、定量指標(biāo)測(cè)度很難把握等問(wèn)題。 另外在權(quán)重設(shè)計(jì)上， 主要采用平均權(quán)重或比例權(quán)重方式，無(wú)法從根本上解決指標(biāo)指向重疊性問(wèn)題，造成評(píng)價(jià)結(jié)果不夠準(zhǔn)確。

三是評(píng)價(jià)應(yīng)用普遍缺乏導(dǎo)向性。 從評(píng)價(jià)機(jī)制來(lái)看，仍然存在規(guī)范性不夠、可操作性不強(qiáng)等問(wèn)題，評(píng)價(jià)數(shù)據(jù)采集隨意性較為明顯， 數(shù)據(jù)審核流程不嚴(yán)謹(jǐn)，導(dǎo)致評(píng)價(jià)結(jié)果的公信力較低，而在評(píng)價(jià)結(jié)果應(yīng)用上目前只注重激勵(lì)和懲戒，普遍缺乏導(dǎo)向性。

2.3 MOOC 評(píng)價(jià)的創(chuàng)新應(yīng)用成果

2.3.1 MOOC 教學(xué)評(píng)價(jià)的特征分析及指標(biāo)研究。 近年來(lái)，在MOOC 教學(xué)績(jī)效評(píng)價(jià)或質(zhì)量評(píng)價(jià)領(lǐng)域已經(jīng)產(chǎn)生了一系列研究成果。在MOOC 教學(xué)評(píng)價(jià)特征分析層面，葛巖等（2015）構(gòu)建了一個(gè)學(xué)習(xí)動(dòng)機(jī)保持質(zhì)量分析結(jié)構(gòu)模型，以EDX、學(xué)堂在線和中國(guó)大學(xué)MOOC 等三個(gè)“慕課”平臺(tái)的同名課程為比較研究對(duì)象， 開(kāi)展學(xué)習(xí)動(dòng)機(jī)保持質(zhì)量的綜合評(píng)價(jià)，并從知識(shí)體系、運(yùn)行環(huán)境、學(xué)習(xí)路徑與結(jié)業(yè)管理等方面提出培養(yǎng)和激發(fā)“慕課”學(xué)習(xí)動(dòng)機(jī)的方法和路徑[1]；曹陽(yáng)等（2017）在深入分析混合式教學(xué)模式實(shí)施效能基礎(chǔ)上，通過(guò)問(wèn)卷調(diào)查與案例分析，全面分析了混合式教學(xué)模式在MOOC 教學(xué)平臺(tái)中的實(shí)施效能，為MOOC 教學(xué)評(píng)價(jià)系統(tǒng)的設(shè)計(jì)構(gòu)建提供了新思路[2]；劉萍等（2018）結(jié)合深圳大學(xué)繼續(xù)教育學(xué)院建設(shè)MOOC 體系的實(shí)踐經(jīng)驗(yàn)，探索性構(gòu)建了針對(duì)成人學(xué)歷教育的MOOC 教學(xué)評(píng)價(jià)機(jī)制，并對(duì)機(jī)制的合理性和有效性提出了具有針對(duì)性的驗(yàn)證措施[3]。 在MOOC 教學(xué)評(píng)價(jià)指標(biāo)研究方面，邱均平等（2015）根據(jù)在線教育質(zhì)量評(píng)價(jià)的目標(biāo)方向，設(shè)計(jì)構(gòu)建了以教學(xué)隊(duì)伍、 教學(xué)內(nèi)容和教學(xué)資源為評(píng)價(jià)內(nèi)容指向的MOOC 教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系[4]；李五洲等（2016）從適切性分析視角入手， 探討了MOOC 教學(xué)在容量、交互以及評(píng)價(jià)等方面對(duì)學(xué)生的適切程度，并在此基礎(chǔ)上，引入模糊綜合評(píng)價(jià)方法設(shè)計(jì)MOOC 教學(xué)評(píng)價(jià)指標(biāo)[5]；童小素等（2017）則遵循《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22.1）》標(biāo)準(zhǔn)，全面結(jié)合MOOC 平臺(tái)的運(yùn)營(yíng)特征，通過(guò)對(duì)課程內(nèi)容、模式設(shè)計(jì)、支撐體系等平臺(tái)要素的分析和挖掘， 構(gòu)建包含26 個(gè)二級(jí)指標(biāo)的MOOC 教學(xué)評(píng)價(jià)指標(biāo)體系[6]；曾宇等（2018）將用戶體驗(yàn)因素納入MOOC 平臺(tái)運(yùn)營(yíng)績(jī)效評(píng)價(jià)標(biāo)準(zhǔn)，并通過(guò)用戶打分統(tǒng)計(jì)的方式確定指標(biāo)的權(quán)重[7]。

2.3.2 基于多元智能的MOOC 評(píng)價(jià)體系創(chuàng)新研究。在基于多元智能理論的MOOC 評(píng)價(jià)體系創(chuàng)新領(lǐng)域， 很多學(xué)者已經(jīng)展開(kāi)了探索性工作， 李加軍等（2016）以多元智能模型分析為基礎(chǔ)，以多元化、情境化、互動(dòng)化和多樣化為評(píng)價(jià)標(biāo)準(zhǔn)，引入課堂觀察、問(wèn)卷、訪談、作業(yè)分析以及成長(zhǎng)記錄等要素對(duì)MOOC評(píng)價(jià)方法進(jìn)行創(chuàng)新[8]。 隨著研究深入，目前一系列創(chuàng)新觀點(diǎn)和成果不斷涌現(xiàn)，毛娟翠（2019）以思想政治類(lèi)MOOC 課程為例，提出基于多元智能的評(píng)價(jià)設(shè)計(jì)應(yīng)該圍繞知識(shí)目標(biāo)、 能力目標(biāo)和價(jià)值觀目標(biāo)等三個(gè)維度，實(shí)現(xiàn)評(píng)價(jià)內(nèi)容的科學(xué)性和全面性[9]；王東（2019）則針對(duì)目前大學(xué)英語(yǔ)課程的發(fā)展現(xiàn)狀， 從多元智能理論分析角度， 提出將形成性評(píng)價(jià)和終結(jié)性評(píng)價(jià)兩種方法結(jié)合應(yīng)用的觀點(diǎn)，其中形成性評(píng)價(jià)主要關(guān)注學(xué)生的學(xué)習(xí)過(guò)程和學(xué)習(xí)效果，終結(jié)性評(píng)價(jià)主要對(duì)學(xué)生的語(yǔ)言技能和交際能力進(jìn)行測(cè)評(píng)[10]。

3 MOOC 教學(xué)績(jī)效評(píng)價(jià)邏輯架構(gòu)

3.1 評(píng)價(jià)系統(tǒng)的運(yùn)行機(jī)理

基于多元智能的MOOC 教學(xué)績(jī)效評(píng)價(jià)系統(tǒng)由推進(jìn)和反饋兩個(gè)環(huán)節(jié)組合形成一個(gè)閉環(huán)系統(tǒng)，如圖1 所示， 評(píng)價(jià)推進(jìn)路徑以MOOC 課程為起點(diǎn)，從MOOC 課程教學(xué)系統(tǒng)的組成要素構(gòu)成分析出發(fā)，挖掘其對(duì)教學(xué)績(jī)效產(chǎn)生影響或作用的因素， 結(jié)合MOOC 教學(xué)績(jī)效評(píng)價(jià)的基本要求和標(biāo)準(zhǔn)，以提升受眾的多元智能為評(píng)價(jià)的根本目標(biāo)，確定評(píng)價(jià)指標(biāo)體系設(shè)計(jì)的原則和邏輯架構(gòu)；而評(píng)價(jià)反饋路徑從課程受眾出發(fā)，基于對(duì)多元智能內(nèi)核、呈現(xiàn)、激發(fā)三個(gè)發(fā)展層次特征分析， 結(jié)合指標(biāo)設(shè)計(jì)的原則和邏輯，選擇、提煉和優(yōu)化評(píng)價(jià)指標(biāo)，以指標(biāo)的測(cè)算和數(shù)據(jù)統(tǒng)計(jì)為驅(qū)動(dòng)，推進(jìn)教學(xué)績(jī)效評(píng)價(jià)體系的運(yùn)行，最后對(duì)教學(xué)績(jī)效評(píng)價(jià)的過(guò)程和結(jié)果中產(chǎn)生的問(wèn)題進(jìn)行總結(jié)和反饋，根據(jù)反饋信息進(jìn)一步優(yōu)化MOOC 平臺(tái)的教學(xué)流程和教學(xué)方法。

圖1 基于多元智能的MOOC 教學(xué)績(jī)效評(píng)價(jià)運(yùn)行機(jī)理

3.2 評(píng)價(jià)指標(biāo)的設(shè)計(jì)準(zhǔn)則

MOOC 教學(xué)績(jī)效評(píng)價(jià)以推進(jìn)課程受眾多元智能提升為目標(biāo)，從智能的內(nèi)涵、呈現(xiàn)和激發(fā)三個(gè)層面界定和規(guī)范指標(biāo)選擇方向，并以內(nèi)容設(shè)計(jì)、交互方式、流程組織、平臺(tái)功能等作為設(shè)計(jì)準(zhǔn)則的邏輯構(gòu)成要素，如圖2 所示。

圖2 評(píng)價(jià)指標(biāo)設(shè)計(jì)準(zhǔn)則的邏輯構(gòu)成要素

3.2.1 技術(shù)屏蔽性。 指標(biāo)設(shè)計(jì)要盡量屏蔽MOOC 平臺(tái)技術(shù)水平的影響，指標(biāo)體系是基于某一特定網(wǎng)絡(luò)環(huán)境和運(yùn)營(yíng)能力的MOOC 平臺(tái)，對(duì)平臺(tái)上各種類(lèi)別的課程教學(xué)績(jī)效水平評(píng)價(jià)體系，基于不同平臺(tái)的課程樣本的整體均值的差異在本研究中不應(yīng)該影響對(duì)課程教學(xué)績(jī)效的評(píng)價(jià)，因此指標(biāo)的選擇和設(shè)計(jì)應(yīng)該具有技術(shù)屏蔽性，如“視頻流暢程度”、“課程搜索的反饋速度” 等指標(biāo)不適合被設(shè)計(jì)和選擇。 同時(shí)在平臺(tái)功能的評(píng)價(jià)上盡量選擇或設(shè)計(jì)能夠避免或淡化此類(lèi)由于平臺(tái)技術(shù)而導(dǎo)致差異的指標(biāo)，如“自動(dòng)評(píng)分功能”、“界面自動(dòng)操作功能”等，以使評(píng)價(jià)指標(biāo)體系具備推廣應(yīng)用的普適價(jià)值。

3.2.2 學(xué)科普適性。 指標(biāo)設(shè)計(jì)要準(zhǔn)確判斷各學(xué)科課程教學(xué)的共性和基礎(chǔ)規(guī)律，從中提煉出能普遍適用于各學(xué)科課程教學(xué)標(biāo)準(zhǔn)、效率分析和評(píng)價(jià)的定向因素，并在此基礎(chǔ)上，按照指標(biāo)設(shè)計(jì)規(guī)范將這些因素轉(zhuǎn)化為評(píng)價(jià)指標(biāo)。

3.2.3 評(píng)測(cè)適度性。 基于對(duì)MOOC 教學(xué)績(jī)效評(píng)價(jià)的內(nèi)在機(jī)理和運(yùn)營(yíng)特征的分析，教學(xué)績(jī)效評(píng)價(jià)指標(biāo)的選擇和設(shè)計(jì)方向側(cè)重于評(píng)測(cè)的適度性，因此適度性指標(biāo)應(yīng)該占主要位置，從而滿足教學(xué)績(jī)效推動(dòng)智能的均衡、和諧、適度發(fā)展的內(nèi)在根本要求。

3.3 評(píng)價(jià)方法的選擇

本文采用網(wǎng)絡(luò)層次分析法 （Analytic Network Process，簡(jiǎn)稱(chēng)ANP）來(lái)確定指標(biāo)權(quán)重，ANP 將系統(tǒng)內(nèi)各指標(biāo)元素的關(guān)系用類(lèi)似網(wǎng)絡(luò)結(jié)構(gòu)表示，網(wǎng)絡(luò)層中的元素可能相互影響、相互支配，能更準(zhǔn)確地描述出客觀事物之間的聯(lián)系，結(jié)合對(duì)MOOC 教學(xué)評(píng)價(jià)指標(biāo)的特征分析，引入ANP 方法可以有效解決指標(biāo)內(nèi)容重疊和交叉等問(wèn)題。

4 MOOC 教學(xué)績(jī)效評(píng)價(jià)模型構(gòu)建

4.1 指標(biāo)體系設(shè)計(jì)

根據(jù)MOOC 平臺(tái)的運(yùn)營(yíng)特征和教學(xué)績(jī)效評(píng)價(jià)指標(biāo)的設(shè)計(jì)準(zhǔn)則，同時(shí)兼顧評(píng)價(jià)的創(chuàng)新性和普適性，本文主要基于五種智能類(lèi)型指向設(shè)計(jì)評(píng)價(jià)指標(biāo)。

4.1.1 表達(dá)能力（Presentation Ability，簡(jiǎn)稱(chēng)PA），是指一個(gè)人把自己的思想、情感、想法和意圖等，用語(yǔ)言、文字、圖形、表情和動(dòng)作等清晰明確地表達(dá)出來(lái)的能力，是語(yǔ)言智能的核心體現(xiàn)。 表達(dá)能力主要采用觀點(diǎn)類(lèi)習(xí)題占比PA1 和響應(yīng)請(qǐng)求平均時(shí)長(zhǎng)PA2等2 個(gè)二級(jí)指標(biāo)進(jìn)行評(píng)價(jià)，初步判斷PA1 和PA2 之間不存在相互依賴和影響關(guān)系。

4.1.2 邏輯能力（Logical Ability，簡(jiǎn)稱(chēng)LA），是指采用科學(xué)的邏輯方法，準(zhǔn)確而有條理地表達(dá)自己思維過(guò)程的能力，是邏輯數(shù)學(xué)智能的核心體現(xiàn)。 邏輯能力主要采用作業(yè)提交及時(shí)率LA1、重點(diǎn)難點(diǎn)提煉能力LA2 和學(xué)習(xí)平均進(jìn)度LA3 等3 個(gè)二級(jí)指標(biāo)進(jìn)行評(píng)價(jià)，根據(jù)LA1、LA2、LA3 的指標(biāo)內(nèi)容定位，初步判斷LA1、LA2 和LA3 之間存在著相互依賴和影響關(guān)系。

4.1.3 關(guān)系能力（Relationship Ability，簡(jiǎn)稱(chēng)RA），是指具備善于與他人交往、處理各類(lèi)復(fù)雜的人際關(guān)系能力，是人際關(guān)系智能的核心體現(xiàn)。 關(guān)系能力主要采用需求響應(yīng)覆蓋率RA1 和論壇交互密度RA2等2 個(gè)二級(jí)指標(biāo)進(jìn)行評(píng)價(jià)， 根據(jù)RA1 和RA2 的指標(biāo)內(nèi)容定位，初步判斷兩者之間存在著較弱的相互依賴和影響關(guān)系。

4.1.4 內(nèi)省能力（Introspective Ability，簡(jiǎn)稱(chēng)IA），是指在對(duì)于自己主觀經(jīng)驗(yàn)及其變化的觀察， 對(duì)自己內(nèi)心經(jīng)驗(yàn)的活動(dòng)與反思等方面具備的能力， 是內(nèi)省智能的核心體現(xiàn)[11]。主要采用推薦擴(kuò)散度IA1 和主動(dòng)提問(wèn)頻次IA2 等2 個(gè)二級(jí)指標(biāo)進(jìn)行評(píng)價(jià)， 初步判斷IA1 和IA2 之間不存在相互依賴和影響關(guān)系。

4.1.5 探索能力（Explore Ability， 簡(jiǎn)稱(chēng)EA），是指對(duì)周?chē)氖挛锂a(chǎn)生好奇心， 并想要去探尋未知或者已知事物的能力， 是自然探索智能的核心體現(xiàn)[12]。探索能力主要采用資源瀏覽深度EA1、資源瀏覽廣度EA2、 學(xué)習(xí)持續(xù)度EA3 等3 個(gè)二級(jí)指標(biāo)進(jìn)行評(píng)價(jià)，根據(jù)EA1、EA2、EA3 的指標(biāo)內(nèi)容定位， 初步判斷EA1、EA2 和EA3 之間存在著相互依賴和影響關(guān)系。

基于以上設(shè)計(jì)思路和規(guī)范，本文構(gòu)建的MOOC教學(xué)績(jī)效評(píng)價(jià)指標(biāo)體系包括5 個(gè)一級(jí)指標(biāo)，12 個(gè)二級(jí)指標(biāo)，指標(biāo)的內(nèi)容定位及測(cè)評(píng)規(guī)則如表4.1 所示：

表1 MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)體系

4.2 評(píng)價(jià)模型構(gòu)建

4.2.1 指標(biāo)關(guān)聯(lián)關(guān)系分析。 依據(jù)指標(biāo)內(nèi)容定位，在對(duì)指標(biāo)之間的反饋和依賴關(guān)系進(jìn)行初步分析的基礎(chǔ)上， 設(shè)計(jì)評(píng)價(jià)指標(biāo)關(guān)聯(lián)關(guān)系調(diào)查問(wèn)卷，對(duì)MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)之間的相互影響關(guān)系進(jìn)行分析和確定。 本研究面向教師、學(xué)生和專(zhuān)家開(kāi)展問(wèn)卷調(diào)查，有效樣本數(shù)約200 個(gè)，調(diào)查表及調(diào)查結(jié)果如表2 所示。

表2 MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)關(guān)聯(lián)關(guān)系調(diào)查表

4.2.2 ANP 結(jié)構(gòu)關(guān)系確立。 MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)關(guān)聯(lián)關(guān)系調(diào)查表的匯總數(shù)據(jù)分析結(jié)果顯示：表達(dá)能力、邏輯能力、關(guān)系能力、內(nèi)省能力、探索能力指標(biāo)因素組之間均存在相互影響或依賴關(guān)系，而邏輯能力和探索能力指標(biāo)因素組內(nèi)部各因素之間也存在了相互反饋和依存關(guān)系； 根據(jù)調(diào)查結(jié)果，可確立MOOC 教學(xué)績(jī)效評(píng)價(jià)ANP 結(jié)構(gòu)關(guān)系， 如圖3所示。

圖3 MOOC 教學(xué)績(jī)效評(píng)價(jià)ANP 結(jié)構(gòu)關(guān)系圖

4.2.3 判斷矩陣分析

（1）一級(jí)指標(biāo)判斷矩陣構(gòu)建。 一級(jí)指標(biāo)判斷矩陣表示相對(duì)于MOOC 教學(xué)績(jī)效，五類(lèi)能力因素之間的相對(duì)重要性的比較，是進(jìn)行一級(jí)指標(biāo)優(yōu)勢(shì)度判斷的依據(jù)。基于MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)關(guān)聯(lián)關(guān)系調(diào)查表2 的結(jié)果，將作為影響因素的所有一級(jí)指標(biāo)對(duì)應(yīng)的二級(jí)指標(biāo)中標(biāo)有“√”的進(jìn)行計(jì)數(shù)，統(tǒng)計(jì)被影響因素中每個(gè)一級(jí)指標(biāo)被影響的總計(jì)數(shù)，得到一級(jí)指標(biāo)關(guān)聯(lián)程度表；然后根據(jù)一級(jí)指標(biāo)關(guān)聯(lián)程度表的計(jì)數(shù)結(jié)果，遵循相應(yīng)計(jì)數(shù)大于0 的建立判斷矩陣的標(biāo)準(zhǔn)，構(gòu)建一級(jí)指標(biāo)的判斷矩陣。

（2）二級(jí)指標(biāo)判斷矩陣構(gòu)建。 基于MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)關(guān)聯(lián)關(guān)系調(diào)查表2 的結(jié)果，將作為影響因素的所有二級(jí)指標(biāo)對(duì)應(yīng)的二級(jí)指標(biāo)中標(biāo)有“√”的進(jìn)行計(jì)數(shù)，統(tǒng)計(jì)被影響因素中每個(gè)二級(jí)指標(biāo)被影響的總計(jì)數(shù)，得到二級(jí)指標(biāo)關(guān)聯(lián)程度表；然后根據(jù)二級(jí)指標(biāo)關(guān)聯(lián)程度表中的計(jì)數(shù)結(jié)果，遵循相應(yīng)計(jì)數(shù)大于1 的建立判斷矩陣的標(biāo)準(zhǔn)，構(gòu)建二級(jí)指標(biāo)的判斷矩陣，以PA 為例，如表3 所示。

表3 二級(jí)指標(biāo)判斷矩陣（以PA 為例）

4.2.4 指標(biāo)權(quán)重確定

（1）一級(jí)指標(biāo)重要度調(diào)查。 根據(jù)一級(jí)指標(biāo)判斷矩陣， 設(shè)計(jì)用于獲取一級(jí)指標(biāo)重要度的專(zhuān)家調(diào)查表，本項(xiàng)目征集了約30 名專(zhuān)家開(kāi)展調(diào)查，最終的重要度判斷結(jié)果經(jīng)過(guò)加權(quán)平均后，將最終結(jié)果統(tǒng)一輸入SuperDecision 軟件中進(jìn)行權(quán)重測(cè)算。

（2）二級(jí)指標(biāo)重要度調(diào)查。 根據(jù)二級(jí)指標(biāo)判斷矩陣， 設(shè)計(jì)用于獲取二級(jí)指標(biāo)重要度的專(zhuān)家調(diào)查表， 然后通過(guò)約30 名專(zhuān)家對(duì)二級(jí)指標(biāo)重要度開(kāi)展調(diào)查，最終的二級(jí)指標(biāo)重要度判斷結(jié)果經(jīng)過(guò)加權(quán)平均后，將最終結(jié)果統(tǒng)一輸入SuperDecision 軟件中進(jìn)行權(quán)重測(cè)算。

（3）指標(biāo)權(quán)重測(cè)算。 在SuperDecision 軟件中構(gòu)建指標(biāo)關(guān)聯(lián)關(guān)系結(jié)構(gòu)圖，如圖4 所示。

在此基礎(chǔ)上，繼續(xù)計(jì)算未加權(quán)超級(jí)矩陣和加權(quán)超級(jí)矩陣并最終得到評(píng)價(jià)指標(biāo)的全局權(quán)重， 如圖5所示。

圖4 指標(biāo)關(guān)聯(lián)關(guān)系結(jié)構(gòu)圖

圖5 指標(biāo)的全局權(quán)重測(cè)算

5 結(jié)論

MOOC 教學(xué)績(jī)效評(píng)價(jià)指標(biāo)中大部分屬于適度性指標(biāo)，后期的研究和實(shí)踐應(yīng)進(jìn)一步創(chuàng)新適度性指標(biāo)的原始數(shù)據(jù)處理方法，確定適度性指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)，提升教學(xué)績(jī)效評(píng)價(jià)結(jié)果的準(zhǔn)確度和穩(wěn)定性。 而結(jié)合對(duì)慕課平臺(tái)（如寧波慕課平臺(tái)NBOOC）的實(shí)際運(yùn)營(yíng)狀況分析，采集慕課平臺(tái)實(shí)踐運(yùn)營(yíng)數(shù)據(jù)開(kāi)展教學(xué)績(jī)效評(píng)價(jià)的實(shí)證分析，根據(jù)評(píng)價(jià)結(jié)果進(jìn)一步修訂和優(yōu)化評(píng)價(jià)指標(biāo)及其權(quán)重分配方案。 另外，可以依托項(xiàng)目研究成果，形成評(píng)價(jià)邏輯框架、評(píng)價(jià)操作流程和調(diào)查問(wèn)卷標(biāo)準(zhǔn)范本，并進(jìn)一步完善教學(xué)績(jī)效評(píng)價(jià)工作機(jī)制，制定評(píng)價(jià)工作推動(dòng)計(jì)劃，加快研究成果的推廣和應(yīng)用。