唐曉君 ，路 瑩 ，劉 娜，王海文，龔文心

（大連工業(yè)大學 信息科學與工程學院 ，遼寧 大連116034）

引言

2001年4月麻省理工學院啟動 OCW（Open Course Ware，開放課程計劃）項目，網(wǎng)絡開放課程的序幕由此拉開。隨后，耶魯、哈佛、劍橋等世界名校陸續(xù)加入，網(wǎng)絡公開課開始席卷全球，高等教育發(fā)生了翻天覆地的變化。開放課程提供了潛在的更為廣泛的學習機會，讓更多的人有機會接受高等教育。[1]

2011年，我國開始啟動精品視頻公開課的建設。兩年來共有186門課程向社會免費開放，截至 2012年，“愛課程”網(wǎng)、中國網(wǎng)絡電視臺、網(wǎng)易3個網(wǎng)站“中國大學視頻公開課”首頁面訪問數(shù)量達到62億次，課程總訪問量3569.32萬次。[2]2013年6月26日，繼中國大學視頻公開課陸續(xù)上線之后，首批120門中國大學資源共享課正式通過“愛課程”網(wǎng)向社會大眾免費開放。視頻公開課與資源共享課共同構成了我國的精品開放課程。[3]

在線開放課程如一股狂潮席卷全球，但是耗費了大量人力、物力、財力而建起來的這些開放課程是否能保證質(zhì)量，能否達到預期的教育目的，發(fā)揮教育價值，這需要進行全面、綜合、客觀的評價。我國現(xiàn)有的精品開放課程質(zhì)量評價指標主要關注教師的教，較少關注學生的學。而目前絕大部分研究也集中在對“自上而下”的國家評審指標體系的探討，缺少從課程學習者角度的“自下而上”的評價機制。

本文主要探討一種基于課程學習者的 “自下而上”的精品開放課程評價指標體系的構建方法，該方法通過德爾菲（Delphi）方法選取評價指標，確定各指標權重。[4]同時，為實現(xiàn)“自下而上”的開放課程質(zhì)量評價，設計出能動態(tài)收集指標值的開放課程平臺，并按開放課程質(zhì)量評價指標體系實時計算出各課程的評價得分，為課程學習者選擇課程提供一個客觀的依據(jù)，也為精品開放課程考評體系的完善做出貢獻。[5]

一、研究設計

在線開放課程“自下而上”評價指標體系的構建基于德爾菲（Delphi）方法，德爾菲法由美國蘭德公司于20世紀50年代提出，德爾菲方法又稱為專家法，其特點在于集中專家的知識和經(jīng)驗，確定評價指標和各指標的權重，并在不斷的反饋和修改中得到比較滿意的結果。[6]德爾菲（Delphi）方法既可以用來識別出基于精品開放課程學習者的重要評價指標，同時也可以確定各指標在指標體系中所占的權重。采用該方法進行研究具有一定的優(yōu)勢，首先，多名精品開放課程學習者對評價指標及權重的集體意見比少數(shù)學習者的個人意見更客觀。其次，所選開放課程學習者來自不同地域和不同階層，意見相對獨立，且不受時間和地理位置限制。[7]

1.專家的選取

考慮到本評價指標體系具有基于學習者的“自下而上”特點，選取30位在線開放課程學習者作為專家，其中包括來自于不同高校的20名開放課程學習者，以及來自不同城市的各種教育背景的10名開放課程學習者。通過電話與郵件的方式與每一位專家聯(lián)系，明確本次研究的內(nèi)容與目的，征得專家本人同意，確保每位專家能自始至終參與本次研究。

2.識別在線開放課程質(zhì)量評價指標

以調(diào)查征詢的形式要求選定的專家給出精品開放課程的重要質(zhì)量評價指標，同時要為其提出的每一個指標給出一個簡短描述，論述其合理性。匯總整理專家意見，每完成一次提問和回答的過程稱為一輪。將上輪咨詢所得意見的一致程度和各位專家的不同觀點等信息，匿名反饋給每一位專家，再次征詢意見。如此反復，直到意見趨于一致，確定在線開放課程“自下而上”評價指標體系中的各項評價指標。[8]

3.識別在線開放課程質(zhì)量評價指標權重

對各項指標權重的測定是本研究的關鍵環(huán)節(jié)。權重是根據(jù)不同指標的地位和作用賦予的不同數(shù)值，它反映了各個指標之間客觀存在的不平衡性，揭示了與其相應的因素在指標體系上的價值差異。[9]德爾菲（Delphi）方法確定指標權重步驟如下：

（1）將待定權重的指標和有關資料以及統(tǒng)一的確定權重的規(guī)則發(fā)給選定的各位專家，請他們獨立給出各指標的權重值。

（2）回收結果并計算各指標權重的概率分布。

（3）根據(jù)概率分布計算各指標權重的期望值、方差和標準差。

（4）將計算的結果及補充資料返還給各位專家，要求所有專家在新的基礎上重新確定權重值。

（5）重復第（2）步和第（4）步，直至各指標權重值與其均值的偏差不超過預先給定的標準為止，也就是各專家的意見基本趨于一致，以此時各指標權數(shù)的均值作為該指標的權重。[10]

二、主要研究結果

1.在線開放課程質(zhì)量評價指標

首輪征詢，30位專家每人至少給出了9個認為從學習者角度對精品在線開放課程評價重要的指標，通過收集整理，合并同類項，將評價指標個數(shù)降到25個，形成新的征詢表格發(fā)給各位專家進入第二輪征詢。[11]專家意見在第二輪征詢中達到了高度一致，認為從學習者角度評價指標可以分為兩個方面，一方面是課程學習者的主觀評價，另一方面是在教與學過程中實時采集到的各種客觀信息。同時主觀評價又包括課程內(nèi)容、課程使用、學習支持、學習活動、教師表達五個二級指標?？陀^評價包括課程訪問量、課程登錄用戶數(shù)、課程留言和回復數(shù)、學習群組的會員數(shù)、課程點贊數(shù)五個二級指標，具體如表1所示。

表1 “自下而上”評價指標體系

表2 “課程使用”指標權重第一輪征詢結果

2.在線開放課程質(zhì)量評價指標權重

將表1中待定權重的指標和相關規(guī)則通過郵件形式發(fā)給30位專家，各專家獨立給出每個指標的權數(shù)值，（以主觀評價中的二級指標“課程使用”為例）如表2所示。[12]對30位專家填寫的各種權重的相應概率平均，得出權重的概率分布（以主觀評價中的二級指標“課程使用”為例），如表3所示。

表3 “課程使用”指標權重第一輪概率分布

根據(jù)表3，計算出“課程使用”指標權重的期望值，算式如下所示：

方差是描述變量偏離期望值大小的指標，根據(jù)表3和權重期望值計算出“課程使用”指標方差，如下所示：

方差的平方根稱為標準差，“課程使用”指標的標準差計算如下：

為了評價結果更準確，可將權重在0.303左右重新設置，發(fā)給專家進行第二輪征詢，如表4所示。[13]對30位專家第二輪填寫的各種權重的相應概率進行平均，得出權重的概率分布（以“課程使用”評價指標為例），如表5所示。

根據(jù)表5，計算出“課程使用”指標權重第二輪期望值，如下所示：

根據(jù)表5和權重期望值計算出主觀評價指標第二輪方差，如下所示：

第二輪“課程使用”指標權重標準差，用如下公式計算：

表4 “課程使用”指標權重第二輪征詢結果

表5 “課程使用”指標權重第二輪概率分布

同理可以計算出其它指標的權重，計算出各因素權重之后，要按如下進行歸一化處理。[14]

式中ai為歸一化后的權重期望值，n為評價指標個數(shù)（一級指標中n=2，二級指標中n=5）。歸一化后計算出各指標的權重，最后形成“自下而上”的精品開放課程質(zhì)量評價指標體系，如表6所示。[15]

表6 自下而上精品開放課程質(zhì)量評價指標系統(tǒng)

三、在線開放課程質(zhì)量評價平臺的實現(xiàn)

為實現(xiàn)開放課程質(zhì)量評價，需設計出能動態(tài)收集指標值的在線開放課程平臺，并按開放課程質(zhì)量評價指標體系實時計算出各課程的評價得分。[16]

課程平臺采用PHP+MySQL開發(fā)，功能如圖1所示。[17]

圖1 精品開放課程質(zhì)量評價平臺結構圖

四、結束語

評價指標體系研究應該成為在線開放課程所關注的重點，在教學理論及信息技術不斷更新的情況下，對在線開放課程評價指標體系的內(nèi)容也需要不斷優(yōu)化，使該評價體系更加科學、完善和適用。[18]

參考文獻：

[1]Huijser,Henk and Bedford,Tas and Bull,David.Open Course Ware,global access and the right to education:real access or marketing ploy?[J].International Review of Research in Open and Distance Learning,2008(1):1-13.

[2]教育部.教育信息化工作進展情況[EB/OL].http://www.moe.gov.cn/publicfiles/business/htmlfiles/moe/s7204/201302/148023.html.

[3]白盈盈,楊現(xiàn)民.精品開放課程高校教學應用模式設計[J].現(xiàn)代教育技術,2014(5):46-47.

[4]岳麗娜,聶懷勇.精品資源共享課交互環(huán)境評價指標體系設計研究[J].上海教育評估研究,2014(3):13-14.

[5]化莉,金春霞.基于層次分析法的高校精品課程教學網(wǎng)站評價研究[J].產(chǎn)業(yè)與科技論壇,2011(15):142-143.

[6]Dalkey,N.and Helmer,O.An experimental application of the Delphi method to the use of experts[J].Management Science,1963,9(3):458-67.

[7]Pierre Hadaya,Luc Cassivi and Chahinaze Chalabi.IT project management resources and capabilities:a Delphi study[J].International Journal of Managing Projects in Business,2012,5(2):216-229.

[8]邵立周,白春杰.系統(tǒng)綜合評價指標體系構建方法研究[J].海軍工程大學學報,2008(3):48-52.

[9]孫傳遠,孫少華.專家視野中的開放課程質(zhì)量評價指標體系——基于德爾菲法的調(diào)查分析[J].職教論壇,2014(9):40-45.

[10]Helen Sitlington,Alan Coetzer.Using the Delphi technique to support curriculum development[J].Education+Training,2015,57(3):306-321.

[11]Jennifer Banayan,Angela Blood,Yoon Soo Park.A modified Delphi method to create a scoring system for assessing team performance during maternal cardiopulmonary arrest[J].Hypertension in Pregnancy,2015(34):314-331.

[12]董艷,黃榮懷,李曉明,申瑞民.《網(wǎng)絡課程課件質(zhì)量認證標準》的研制與修訂[J].電化教育研究,2003(6):65-70.

[13]魏志慧,陳麗,希建華.網(wǎng)絡課程教學交互質(zhì)量評價指標體系的研究[J].開放教育研究,2004(6):34-39.

[14]戰(zhàn)銳,張學波.精品課程教學錄像質(zhì)量評價指標體系研究[J].現(xiàn)代教育技術,2010(6):35-39.

[15]劉呈軍,卓春英.精品資源共享課評價之初探——以人文數(shù)學課程為例[J].河南農(nóng)業(yè),2014(14):8-9.

[16]蔡敏.網(wǎng)絡教學的交互性及其評價指標研究[J].電化教育研究,2007(11):40-44.

[17]Okoli C,Pawlowski,S.D.The Delphi method as a research tool:an example,design considerations and applications[J].Information&Management,2004,42(1):15-29.

[18]楊九民,郭曉梅,嚴莉.MOOC對我國高校精品開放課程建設的啟示[J].電化教育研究,2013(12):44-49.