曾玲　盧洪俊　郭灼

摘要摘要：Moodle3.0平臺中Workshop模塊提供了完善的同伴互評功能，但作為開源項目，相應(yīng)的應(yīng)用文檔則不足。社群交流中發(fā)現(xiàn)，由于理解的偏差， Moodle使用群體中經(jīng)常出現(xiàn)兩類問題，其一是對某些功能不知其操作目的與結(jié)果是什么；其二是使用者按照自己所理解的操作方法去操作，但系統(tǒng)實際運行結(jié)果與所期望的結(jié)果不一致。通過實際教學(xué)應(yīng)用，不斷發(fā)現(xiàn)并解決上述問題，保證了同伴互評工作順利開展。

關(guān)鍵詞關(guān)鍵詞：Moodle；同伴互評；Workshop

DOIDOI：10.11907/rjdk.162840

中圖分類號：TP301

文獻(xiàn)標(biāo)識碼：A文章編號文章編號：16727800（2017）005019504

0引言

同伴互評作為一種在線學(xué)習(xí)環(huán)境下的評價形式，在促進(jìn)學(xué)生參與學(xué)習(xí)過程、深入理解學(xué)習(xí)結(jié)果等方面具有積極意義[1]。Moodle系統(tǒng)是一個廣泛使用的開源學(xué)習(xí)管理系統(tǒng)，同伴互評模塊需求很大。最初由新西蘭奧克蘭大學(xué)開發(fā)的版本由于應(yīng)用復(fù)雜及評級方式匱乏，成功應(yīng)用案例很少。Moodle為此專門成立項目組，項目負(fù)責(zé)人David Mudrak[2]有理論研究背景與ICT教學(xué)經(jīng)驗，是捷克Moodle門戶管理員，開發(fā)過若干Moodle模塊。新開發(fā)的同伴互評版本優(yōu)化了原版本中用戶界面以及流程方面的問題，保留評價計算模塊，但仍然存在最終分?jǐn)?shù)處理、顯示等問題。Moodle版本升級到Moodle3.0，其平臺中Workshop模塊提供了完善的同伴互評功能[3]，本文對Moodle3.0平臺中的Workshop應(yīng)用過程中容易出現(xiàn)的問題進(jìn)行探討，為后續(xù)應(yīng)用者提供參考。

1同伴互評模塊安裝與創(chuàng)建

1.1同伴互評模塊安裝

同伴互評模塊不是Moodle3.0標(biāo)準(zhǔn)安裝模塊，需要到Moodle官網(wǎng)自行下載Workshop相應(yīng)的插件plugin模塊，對所下載的文件進(jìn)行解壓，并置于正確的包目錄下，具體包括：

workshopeval_credit解壓后，放到目錄.moodlemodworkshopevalcredit中；

workshopallocation_live解壓后，放到目錄.moodlemodworkshopallocationlive中；

workshopeval_weightiest解壓后，放到目錄.moodlemodworkshopevalweightiest中。

其后，在“網(wǎng)站管理”進(jìn)行“通告”之后，執(zhí)行增加活動或資源時，便可看到“互動評價”活動。

安裝中容易出現(xiàn)的問題主要是所下載的壓縮文件解壓后沒有被放在正確的包目錄下，導(dǎo)致安裝時提示位置錯誤。

1.2新建互動評價

新建互動評價需要設(shè)置的項目有：互動評價描述、提供作業(yè)說明、修改評價表格、準(zhǔn)備作業(yè)范例。

評分策略分4種：累加分?jǐn)?shù)、評語、錯誤數(shù)和量規(guī)。后續(xù)評價表格根據(jù)評分策略設(shè)置不同而不同。

作業(yè)設(shè)置提供作業(yè)說明、作業(yè)附件最大個數(shù)、作業(yè)附件大小限制以及是否允許在截止日期后提交作業(yè)。

反饋包括總體反饋模式、總體反饋最大附件數(shù)、總體反饋附件大小上限以及總結(jié)。其中總體反饋模式確定總體反饋作為必選項還是可選項，總結(jié)則是活動結(jié)束時，關(guān)閉活動前所作的總結(jié)性文本輸入。

范例作業(yè)包括是否使用范例選項，如果啟用該選項，則用戶可以試著評價若干個作業(yè)范例，并將評價與參考評價進(jìn)行比較，該成績不計算在評價成績中，此時還需進(jìn)一步選擇范例評價模式，包括：①自愿決定是否評價范例作業(yè)；②必須在提交作業(yè)前完成對范例的評價；③在提交作業(yè)后范例生效，而且必須在評價學(xué)生作業(yè)前完成對范例的評價。

有效性包括是否使用提交與評價的開始時間與截止時間，是否在提交截止后進(jìn)入下一階段。若選擇且指定了提交的截止日期，則該互動評測在提交日期截止后會自動進(jìn)入到評測階段，同時需要將評價的分配方式設(shè)置為計劃分配方法。否則，進(jìn)入評測階段后，用戶無法進(jìn)行同伴評價。

通用模塊設(shè)置包括該互動評價是否可見、ID號、小組模式、大組，其中ID號可以在成績計算公式中唯一標(biāo)識一個活動。 如果這個活動與成績計算公式無關(guān)，那么它的ID號可以為空。ID號也可以在成績薄中設(shè)定，但只能在活動設(shè)置頁面里編輯。小組模式分為3種：無小組、分割小組、可視小組：①無小組：沒有小組，每個人都是大社區(qū)中的一員；②分割小組：每個組的成員都只能看到自己的組，不能看到其它的；③可視小組：每個組成員都在自己的組內(nèi)完成工作，但也可以看到其它小組情況。在課程層次定義的小組模式會缺省成為該課程內(nèi)所有活動的缺省模式。如果課程設(shè)定了強(qiáng)制小組模式，則每個活動的設(shè)定會被忽略。大組是課程中幾個小組的集合。如果選擇了一個大組，屬于同一個大組的不同小組學(xué)生可以一起工作。

成功創(chuàng)建互動評價后的結(jié)果如圖1所示，互動評價按時間段以此分為設(shè)置階段（教師）、提交作業(yè)階段（學(xué)生）、互評階段（師生可選擇是否參與）、成績核定階段（教師）、關(guān)閉階段（發(fā)布成績給學(xué)生）。

1.3互動評價創(chuàng)建問題

互動評價創(chuàng)建過程中，易出現(xiàn)的問題包括成績設(shè)置、評價設(shè)置與有效性設(shè)置3方面。

首先在成績設(shè)置時，評分策略中除評語策略外，其它3種策略均需要進(jìn)一步考慮具體評價內(nèi)容項、每個內(nèi)容項的分值及分值權(quán)重。其次，評價說明需要最后確定評分策略，將評價內(nèi)容項及分值、分值權(quán)重修改為與所設(shè)一致，否則容易導(dǎo)致學(xué)生評價混亂。此外，在評價設(shè)置時需要明確是否允許學(xué)生自評。最后設(shè)置評價有效性。設(shè)置提交開始時間、提交結(jié)束時間，以及提交結(jié)束后是否進(jìn)入下一個階段，以及評價開始時間和評價結(jié)束時間。提交開始時間之后，系統(tǒng)不會自動進(jìn)入提交階段；提交時間結(jié)束后，系統(tǒng)也不會自動進(jìn)入評價階段，需要手動設(shè)置才能從設(shè)置階段進(jìn)入提交階段或從提交階段進(jìn)入評價階段。

2設(shè)置與修改互動評價表格

評價的科學(xué)性與有效性的前提在于評價量規(guī)的合理設(shè)計[45]?；釉u價創(chuàng)建之后，需要進(jìn)一步設(shè)置評價表格，若選擇提供作業(yè)范例，還需要提交作業(yè)范例。互動評價表格設(shè)置根據(jù)創(chuàng)建階段“設(shè)置此互動評價”中選擇的“評分策略”不同而不同。每項都存在一些易錯點，下面分別予以說明。

2.1累加分?jǐn)?shù)的評價表格設(shè)置及易錯點

累加分?jǐn)?shù)缺省提供3個采分點，還可添加2個采分點，但系統(tǒng)在此有一個bug，在3個采分點未填寫之前，點擊“再增加2個空白采分點”，系統(tǒng)不會增加新的采分點，當(dāng)3個采分點填寫完畢，再新增2個空白采分點時，仍然不會顯示出新增的2個采分點，需要保存后，再進(jìn)入才能看到新增的2個采分點。若填滿當(dāng)前頁面已有的采分點，則按“保存并繼續(xù)編輯”，系統(tǒng)會自動增加2個采分點，新增的采分點若未填寫“描述”內(nèi)容，則在預(yù)覽時不會顯示該采分點。采分點可以增加到足夠多，實驗顯示大于55個。合理推測應(yīng)至少有127個采分點。

目前版本應(yīng)注意的問題是：采分點一旦增加就不能直接刪除。需要將采分點對應(yīng)的“描述”內(nèi)容清空保存后，該采分點才會被去掉；此外，系統(tǒng)通過新增1-2個采分點，在新打開的編輯窗口中始終會存在2個“描述”內(nèi)容為空的采分點供填寫。

每個采分點提供文本描述、最高分/等級類型選擇以及權(quán)重確定。其中“描述”項的清空能夠去掉該采分點；權(quán)重為該采分點在計算總分時的權(quán)值，可選范圍為0-16?！白罡叻?等級”包括3種可選類型：無、范圍、點；最高分?jǐn)?shù)/等級類型為“無”時，范圍與最高點均不可編輯。同伴互評時，無需亦無從評分，只需要給出文字描述評價。最高分?jǐn)?shù)/等級類型為“范圍”時有2個可選項：“Standard”、 “獨立型和情景型思維方式”，最高點不可編輯；選擇“Standard”型，則同伴互評時可選分?jǐn)?shù)范圍固定為0-10分。選擇“獨立型和情景型思維方式”型分?jǐn)?shù)有3個可選項：極端情況型、獨立與情景型兼?zhèn)?、極端獨立型，其中“極端情況型”改為“極端情景型”似更合適。這個版本中不能增加新的范圍評價方式。最高分?jǐn)?shù)/等級類型為“點”時，“范圍”不可編輯。最高點可以自由設(shè)置，在同伴互評時，可選分?jǐn)?shù)范圍為0到最高點的值。

采分點設(shè)置需要注意的問題是，最高分?jǐn)?shù)/等級類型為“點”時，每個點是獨立評分的，在總分中，每個采分點的 “點”值由權(quán)重與最高點共同決定。權(quán)重比例基于采分點而不是每個采分點內(nèi)部的“點”值。比如，設(shè)置作業(yè)總分為80，采分點1、2、3、4、5的最高點分別設(shè)為40、30、20、5、5，若5個采分點權(quán)重均為1，則采分點1-5中，每個點對應(yīng)的分?jǐn)?shù)值分別為：16/40，16/30，16/20，16/5，16/5，若同伴評價時采分點1-5的分?jǐn)?shù)分別為32、25、15、1、2，則按權(quán)重比例，系統(tǒng)計算出來的分?jǐn)?shù)為（32/40 +25/30 +15/20+1/5+2/5）×16 = 47.5，而不是設(shè)置時所期望的（32+25+15+1+2）×0.8=60。若希望系統(tǒng)計算出來的“點”值與所設(shè)置的點值相同，即每個采分點中“點”值等價，則每個采分點的權(quán)重要相應(yīng)修改。仍以上面5個采分點為例，采分點1-5對應(yīng)的權(quán)重應(yīng)分別設(shè)置為8、6、4、1、1，系統(tǒng)計算出來的分?jǐn)?shù)為 （8×32/40 +6×25/30 +4×15/20 +1×1/5 +1×2/5 ）×4= 60。若最高分?jǐn)?shù)/等級類型為“范圍”，且范圍選擇“Standard”時，則所有分?jǐn)?shù)范圍都在0-10之間。若直接通過權(quán)重調(diào)節(jié)每個采分點的最終分?jǐn)?shù)，則采分點的實際分?jǐn)?shù)對評價者變成不可見了。而用“點”加權(quán)重的方法，則可以使評價者的分?jǐn)?shù)就是最后的分?jǐn)?shù)。上述2種評分機(jī)制，分別適合不同的應(yīng)用場合。

2.2評價表格設(shè)置

評分策略選擇“評語”時，其評價表格與累加分?jǐn)?shù)表格相同，缺省采分點數(shù)量以及采分點增加的原則與累加分?jǐn)?shù)相同。但采分點設(shè)置時，只需進(jìn)行評價內(nèi)容的“描述”，無需設(shè)置范圍、權(quán)重。在同伴互評時，只需根據(jù)采分點描述，撰寫相關(guān)評語即可。

該項評分策略，通常用于同一項目小組內(nèi)部之間的互評，用于同伴互評前每部分的優(yōu)化。

因此，在設(shè)置互動評價的通用模塊時，小組模式設(shè)置為“分隔小組”類型，使得互評分配限制在小組內(nèi)部，互評作業(yè)分發(fā)給小組內(nèi)部成員。

2.3錯誤數(shù)評價表格設(shè)置

評分策略為“錯誤數(shù)”時，其評價表格的設(shè)置缺省包含3個斷言與1個成績映射表，其中，斷言類似上述的采分點，可以不斷增加。其增加與刪除策略與上述采分點亦相同。

每個斷言提供內(nèi)容“描述”、“錯誤”（缺省設(shè)置為“否”）、“正確”表述語言設(shè)置（缺省設(shè)置為“是“）；權(quán)重設(shè)置取值范圍同樣是0-16；成績映射表在未保存任何斷言時，最初只顯示錯誤數(shù)≤0，作業(yè)成績?yōu)?00%的一條映射，當(dāng)增加3條斷言后，成績映射表相應(yīng)增加錯誤數(shù)≤1、2、3的3條成績映射表，所映射的成績?nèi)笔?6%、33%和0%，用戶可以修改缺省值，該值可選項為0%～100%，共計101個數(shù)據(jù)項。同伴評價時，需要選擇一個“是”和“否”（“是”和“否”分別為設(shè)置階段所設(shè)置的“正確”與“錯誤”表述文字）radio按鈕，并可進(jìn)一步填寫文字評語。

斷言式評價通常對應(yīng)簡單的有或無的評閱作業(yè)。

錯誤數(shù)評價總分由錯誤數(shù)與權(quán)重共同確定，每個斷言描述需要評判一項內(nèi)容。評閱為“否”，則該項分?jǐn)?shù)為0，評閱為“是”，則該項分?jǐn)?shù)為其所設(shè)置的權(quán)重數(shù)。因此，最終的分?jǐn)?shù)可能取決于所有斷言項的權(quán)重數(shù)完全組合，可能只有幾個離散的數(shù)據(jù)點值。

2.4量規(guī)評價表格設(shè)置

評分策略為“量規(guī)”時，其評價表格的設(shè)置缺省包含3個量規(guī)標(biāo)準(zhǔn)與一個量規(guī)配置。其中，量規(guī)標(biāo)準(zhǔn)類似上述的采分點，可以不斷增加，增加與刪除策略與上述采分點亦相同。量規(guī)配置提供同伴互評時呈現(xiàn)兩種形式：“列表”或“網(wǎng)格”。

每個量規(guī)標(biāo)準(zhǔn)設(shè)置包含一個描述與4個“此等級的成績和定義”項，量規(guī)標(biāo)準(zhǔn)描述項用于描述擬評價的項目內(nèi)容，4個等級成績與定義則描述一個項目內(nèi)容的詳細(xì)評分標(biāo)準(zhǔn)。該項填寫完成保存后，系統(tǒng)會自動新增2個“此等級的成績和定義”，與累積評分的采分點一樣，系統(tǒng)始終會留有2個空白的“此等級的成績和定義”，其成績可設(shè)置為0-100之間的任一數(shù)值。

量規(guī)評價策略從本質(zhì)上看，是累計評分策略的細(xì)化版，累積評分策略給出評分范圍，由評閱者自行判斷分值，由評價者判斷作業(yè)與等級定義相符度，每個定義的分值則由評價表格設(shè)置時給出，因此，能夠進(jìn)一步降低評閱時的主觀性。

在同伴互評界面，用戶需要根據(jù)評價的描述與成績定義的描述，選擇判斷與所提交作業(yè)相符合的單選按鈕。

3提交作業(yè)與作業(yè)評價階段

盡管在設(shè)置階段的“有效性”里設(shè)置了作業(yè)提交開始日期，但系統(tǒng)并不會自動進(jìn)入“提交作業(yè)階段”，需教師或管理員點擊“切換階段”按鈕，才能將任務(wù)切換到學(xué)生提交作業(yè)階段。

在提交作業(yè)階段，教師/管理員可以點擊“提供評價標(biāo)準(zhǔn)說明”，進(jìn)入后，可以修改與保存評價標(biāo)準(zhǔn)說明，但相應(yīng)的評價表格修改仍需返回“設(shè)置階段”修改，因此，這個階段的“提供評價標(biāo)準(zhǔn)說明”最好設(shè)置為不可編輯。如確需編輯，要返回設(shè)置階段編輯評價標(biāo)準(zhǔn)說明與評價表格，否則便可能存在評價標(biāo)準(zhǔn)說明與同伴互評時看到的得分點或量規(guī)描述不一致問題。

設(shè)置預(yù)計劃分配有4種方式，分別為手動分配、live allocation、隨機(jī)分配、預(yù)計劃分配。其中，手動分配在提交作業(yè)階段結(jié)束后，可由教師/管理者為學(xué)生分配評價者，也可選擇被評價者給學(xué)生；live allocation，需要在設(shè)置階段設(shè)置允許“遲交作業(yè)”，該方式才能有效應(yīng)用，用于為遲交作業(yè)學(xué)生實時分配評價人；隨機(jī)分配指在作業(yè)提交后，可以通過選擇與設(shè)置“隨機(jī)分配”，立即進(jìn)行作業(yè)同伴評價的分配。若同伴評價分配出現(xiàn)錯誤，也可返回“提交作業(yè)”階段再次進(jìn)行“隨機(jī)分配”，從而糾正出現(xiàn)的問題；預(yù)計劃分配方式在提交階段結(jié)束后自動分配作業(yè)進(jìn)行評價。此階段的結(jié)束時間在互動評價設(shè)置的“提交截止日期”中定義。本質(zhì)上是使用此表單中預(yù)定義的參數(shù)來執(zhí)行隨機(jī)分配，這意味著預(yù)計劃分配工作像是教師親自執(zhí)行隨機(jī)分配。注意，如果在提交截止日期前手動轉(zhuǎn)換互動評價到評價階段，預(yù)計劃分配不會執(zhí)行，這種情況下就得再次分配作業(yè)。預(yù)計劃分配方式在和自動階段轉(zhuǎn)換功能一起使用時特別有用。

評價階段與“提交作業(yè)階段”類似，評價階段的啟動同樣需要教師/管理員手動點擊“切換階段”而使評價階段生效，系統(tǒng)無法根據(jù)時間設(shè)置進(jìn)行自動切換。這樣設(shè)計的好處是，教師/管理員在切換之前可以進(jìn)一步檢查所有設(shè)置以及學(xué)生提交情況、互動評價的自動分配情況，然后才切換到評價階段，避免可能存在的疏忽。評價階段主要給出時間信息，沒有需要設(shè)置的項目。

4成績核定

學(xué)生的成績最終由作業(yè)成績和評價成績兩部分構(gòu)成。其中，作業(yè)成績與評價成績占總成績的比例在 “成績設(shè)置”里設(shè)置，缺省為80和20。作業(yè)的最終成績由每個評價者給出的成績經(jīng)過權(quán)重的加權(quán)平均后得到，教師/管理員有權(quán)將自己或某些學(xué)生的成績給予較高的權(quán)重，從而使最終作業(yè)成績中權(quán)重較高的評分對總分影響較大。該系統(tǒng)缺乏對評價的一致性檢驗[6]，后續(xù)二次開發(fā)中可增加相應(yīng)模塊。

評價的最終成績根據(jù)成績核定方法和成績核定設(shè)置的不同而有所改變。成績核定方法有3種可選項，分別為“與最佳評價相比較”、“Participation credit”和“Comparison with the weightiest assessment”，不同的成績核定方法各自對應(yīng)若干成績核定設(shè)置。

“與最佳評價相比較”對應(yīng)的成績核定設(shè)置包括比較評價的寬松程度，評價越嚴(yán)格，與最佳評價的相近程度要求就越高。

使用“Participation credit”成績核定時，成績核定設(shè)置主要進(jìn)行評價模式選擇，All or nothing要求評價者全部進(jìn)行了評價才能得分，否則，有一個遺漏都將無法得分。Propotional則根據(jù)評價的百分?jǐn)?shù)量予以評分，而at leaset one則只要做了一個評價便可獲得滿分。

“Comparison with the weightiest assessment”則是與最高權(quán)重的評分項相比較，計算差異的容忍程度。但如何提高同伴互評的準(zhǔn)確度和信服度[7]需要在后續(xù)二次開發(fā)中考慮。

互動評價成績報告包括作業(yè)提交者姓名、作業(yè)及其最后提交時間信息，收到的所有分?jǐn)?shù)以及作業(yè)成績，給出每個分?jǐn)?shù)以及作業(yè)提交者的評價成績，圖2所示的作業(yè)提交者，由于未給出任何評價，因此評價成績?yōu)?分。

收到的分?jǐn)?shù)中，顯示評價者給出的作業(yè)成績、評價作業(yè)成績的權(quán)重，圖3中，評價者“曾玲”給出的作業(yè)分?jǐn)?shù)是56，“曾玲”得到的評價成績是20，“曾玲”給出的作業(yè)成績權(quán)重是16，作業(yè)提交者“陳建成”提交作業(yè)之后，未進(jìn)行作業(yè)自評及評價分配的作業(yè)，因此其收到的自評分?jǐn)?shù)為0，其評價成績?yōu)椤?”，其給出的成績均為“0”。在計算收到的分?jǐn)?shù)時，將排出未給出評價的成績，對其它收到的分?jǐn)?shù)進(jìn)行加權(quán)平均，即作業(yè)成績=（56*16+（64+41+9+56+53））/（16+5）=53； 評價成績?yōu)?。

學(xué)生只有切換到“關(guān)閉”階段之后才能看到自己的成績，并能看到所有需要評價的學(xué)生列表，點擊對應(yīng)的作業(yè)，可以看到自己給出的各項評價成績，如圖3所示。

5結(jié)語

在同伴互評模塊的使用過程中，需要清楚地知道采分點或量規(guī)設(shè)置目標(biāo)，以及評分預(yù)期。其后，對系統(tǒng)給出的結(jié)果進(jìn)行分析，發(fā)現(xiàn)可能存在的預(yù)期結(jié)果與實際不符的問題，然后進(jìn)一步通過數(shù)據(jù)分析發(fā)現(xiàn)問題，最終解決問題。本文對應(yīng)用過程中易出現(xiàn)的問題均給予了較詳細(xì)的說明，以期在后續(xù)使用中避免產(chǎn)生同樣的問題。

參考文獻(xiàn)參考文獻(xiàn)：

[1]許濤.慕課同伴互評模型設(shè)計研究[J].開放教育研究，2015，21（2）：8694.

[2]DAVID MUDRAK.Moodle Doc 3.0.[EB/OL].https：//docs.moodle.org/dev/User：David_Mudrak.

[3]DAVID_MUDRAK.Grade for assessmen.[EB/OL].https：//docs.moodle.org/dev/Workshop_2.0_specification#Grade_for_assessment.

[4]閆寒冰.信息化教學(xué)評價———量規(guī)實用工具[M].北京：教育科學(xué)出版社，2003.

[5]鐘志賢，曹東云.網(wǎng)絡(luò)協(xié)作學(xué)習(xí)評價量規(guī)的開發(fā)[J].中國電化教育，2004（12）：4952.

[6]邊琦，王俊萍.網(wǎng)絡(luò)課程中同伴互評等級的一致性檢驗[J].內(nèi)蒙古師范大學(xué)學(xué)報：自然科學(xué)漢文版，2016，45（5）：164168.

[7]孫力，鐘斯陶.MOOC 系統(tǒng)中同伴互評過程的優(yōu)化和應(yīng)用[J].現(xiàn)代遠(yuǎn)距離教育，2014（6）：38.

責(zé)任編輯（責(zé)任編輯：杜能鋼）