勝楚倩　劉明　劉革平

摘要：在線同伴互評(píng)作為協(xié)作學(xué)習(xí)的一種方式，注重對(duì)學(xué)習(xí)者學(xué)習(xí)過程的評(píng)價(jià)，有助于提高學(xué)習(xí)者的批判性思考能力，提升學(xué)習(xí)動(dòng)機(jī)，增強(qiáng)社會(huì)存在感，被認(rèn)為能有效應(yīng)對(duì)MOOC環(huán)境下大規(guī)模學(xué)習(xí)測(cè)評(píng)的需求。但在線同伴互評(píng)信效度不足、缺少反饋、交互行為弱的問題成為制約其深入發(fā)展的瓶頸。群體感知技術(shù)的發(fā)展為解決這一問題提供了新的技術(shù)手段和方法指導(dǎo)?；谌后w感知的在線同伴互評(píng)系統(tǒng)，旨在通過融合同伴評(píng)價(jià)反饋機(jī)制，提供可視化群體感知模型，構(gòu)建一種促進(jìn)學(xué)習(xí)者認(rèn)知發(fā)展的在線形成性同伴互評(píng)協(xié)作學(xué)習(xí)環(huán)境，使學(xué)習(xí)者更積極地參與同伴互評(píng)活動(dòng)，并在與同伴交流、評(píng)價(jià)、反饋中，共享資源，建構(gòu)知識(shí)。該系統(tǒng)突出了兩大優(yōu)勢(shì)，一是對(duì)用戶實(shí)現(xiàn)可視化反饋，二是采用獨(dú)具特色的過程性評(píng)價(jià)模式。該系統(tǒng)經(jīng)實(shí)驗(yàn)檢驗(yàn)表明：大部分學(xué)生認(rèn)為該系統(tǒng)可操作性較強(qiáng)，有助于提高感知能力，促進(jìn)協(xié)作學(xué)習(xí)中的交互行為;同時(shí)在同伴互評(píng)中，認(rèn)知維度的評(píng)語類型，尤其是直接修正類別的評(píng)語更有助于學(xué)習(xí)者對(duì)作業(yè)進(jìn)行修改。

關(guān)鍵詞：群體感知;同伴互評(píng);形成性評(píng)價(jià);協(xié)作學(xué)習(xí);系統(tǒng)設(shè)計(jì)

中圖分類號(hào)：G434 ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ?文章編號(hào)：1009-5195（2019）04-0104-09 ?doi10.3969/j.issn.1009-5195.2019.04.012

作為協(xié)作學(xué)習(xí)的一種方式，同伴互評(píng)注重對(duì)學(xué)習(xí)者學(xué)習(xí)過程的評(píng)價(jià)，有助于提高學(xué)習(xí)者的批判性思考能力（Topping，1998），提升學(xué)習(xí)動(dòng)機(jī)，增強(qiáng)社會(huì)存在感，但同時(shí)也普遍存在學(xué)生交互行為偏弱的問題，例如忽視對(duì)同伴反饋的評(píng)價(jià)，學(xué)習(xí)者參與評(píng)價(jià)的積極性不高等。近年來，群體感知技術(shù)在計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)（Computer Supported Collaborative Learning，CSCL）領(lǐng)域取得較快發(fā)展，成為降低協(xié)作成本、提高協(xié)作效率和減少協(xié)作沖突的有效手段之一，為促進(jìn)學(xué)習(xí)者之間的交互提供了新的方法。本研究在系統(tǒng)梳理有關(guān)群體感知實(shí)現(xiàn)技術(shù)和同伴互評(píng)相關(guān)理論與實(shí)踐的基礎(chǔ)上，聚焦基于群體感知的在線同伴互評(píng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)，并應(yīng)用實(shí)例初步探究了其對(duì)學(xué)習(xí)者協(xié)作學(xué)習(xí)的影響。

一、同伴互評(píng)和群體感知技術(shù)

1.同伴互評(píng)技術(shù)及其改進(jìn)

同伴互評(píng)又稱為“同伴反饋”。Topping（1998）將同伴互評(píng)定義為“個(gè)體對(duì)于水平相近的同伴的學(xué)習(xí)結(jié)果在完成數(shù)量、水平、價(jià)值以及質(zhì)量等方面的意見”。自上世紀(jì)六七十年代過程寫作法被引入寫作教學(xué)中以來，同伴互評(píng)就成為寫作教學(xué)的重要組成部分，國(guó)內(nèi)外學(xué)者對(duì)此進(jìn)行了深入且廣泛的探討。傳統(tǒng)的學(xué)習(xí)評(píng)價(jià)往往只關(guān)注學(xué)習(xí)結(jié)果而忽視了學(xué)習(xí)過程，而同伴互評(píng)則能關(guān)注到學(xué)生的學(xué)習(xí)過程。學(xué)生既是評(píng)價(jià)者，也是學(xué)習(xí)者。已有研究證實(shí)，同伴互評(píng)有助于提升學(xué)習(xí)者的專業(yè)知識(shí)與能力（Hovardas et al.，2014），增加師生及生生之間的交流與互動(dòng)（龍琴琴等，2017）。此外，同伴互評(píng)也是一種協(xié)作學(xué)習(xí)方式，對(duì)學(xué)生學(xué)習(xí)有著積極的影響（Strijbos et al.，2010）。早期的同伴互評(píng)大多為課堂內(nèi)的面對(duì)面互評(píng)模式。隨著Web2.0技術(shù)的快速發(fā)展和大規(guī)模開放在線課程（MOOC）的深入運(yùn)用，如何開展MOOC教學(xué)環(huán)境下的學(xué)習(xí)測(cè)評(píng)日益成為關(guān)注的問題之一。目前比較成熟的互評(píng)系統(tǒng)有Web-Spa、PRAZA、PASS、Moodle平臺(tái)等，但現(xiàn)有系統(tǒng)大多僅采用總結(jié)性評(píng)價(jià)模式，存在學(xué)習(xí)者交互行為偏弱等問題。

針對(duì)上述問題，本研究構(gòu)建了形成性同伴互評(píng)系統(tǒng)，重點(diǎn)關(guān)注學(xué)生的過程性評(píng)價(jià)。同時(shí)，借鑒Gielen等（2015a;2015b）對(duì)同伴互評(píng)中反饋機(jī)制的研究和馬志強(qiáng)等（2016）對(duì)反饋評(píng)語類型的研究，設(shè)計(jì)了評(píng)價(jià)反饋活動(dòng)，對(duì)同伴互評(píng)系統(tǒng)進(jìn)行優(yōu)化，以進(jìn)一步促進(jìn)學(xué)生在同伴互評(píng)中的交互。

2.群體感知技術(shù)及其擴(kuò)展

感知（Awareness）一詞最早出現(xiàn)在計(jì)算機(jī)支持的協(xié)同工作（Computer Supported Cooperative Work，CSCW）領(lǐng)域（Dourish et al.，1992）。感知又分為多種類型，如工作空間感知（B?dker et al.，2006）、社會(huì)感知（Mendoza-Chapa et al.， 2000）、知識(shí)感知（Buder et al.，2008）和群體感知（Gutwin et al.，1995），這些感知的形式和定義之間雖然存在差異，但都聚焦于學(xué)習(xí)者相互交流的信息上。此外，小組成員在分布式環(huán)境下進(jìn)行協(xié)作，還需要獲取彼此的相關(guān)信息，如所處的位置、正在從事的活動(dòng)、興趣點(diǎn)或自我認(rèn)知等，以便于相互理解。本文主要針對(duì)群體感知進(jìn)行研究，將其定義為“通過技術(shù)的支持為學(xué)習(xí)者提供關(guān)于同伴的行為、知識(shí)、社會(huì)性活動(dòng)方面的信息，引發(fā)學(xué)習(xí)者之間的相互感知，促進(jìn)學(xué)習(xí)者之間的交互，促進(jìn)有效協(xié)作學(xué)習(xí)的發(fā)生，最終提高計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)效果”（梁妙等，2012）。雖然近年來CSCL越來越受到人們的關(guān)注，但諸多研究表明，CSCL中的協(xié)作并不總是有效和高效的?？赡艿脑虬ㄐ〗M成員之間的沖突（Hobman et al.，2002）、搭便車行為和不平等參與（Fjermestad，2004）。諸多研究同時(shí)指出，導(dǎo)致協(xié)作無效或低效的原因是由于缺乏群體感知（Janssen et al.，2007a、2007b;Jermann et al.， 2008）。而學(xué)習(xí)環(huán)境中包含某種工具或機(jī)制，可以為學(xué)習(xí)者提供群體感知信息，以促進(jìn)CSCL活動(dòng)的協(xié)作和管理，這些工具被稱為群體感知工具（Van Bruggen et al.，2002;Kirschner et al.，2009）。而且也有研究者對(duì)如何使用群體感知工具來提高群體感知，以及群體感知工具是否影響協(xié)作學(xué)習(xí)和群體績(jī)效進(jìn)行了研究（Dourish et al.，1992）。目前國(guó)內(nèi)對(duì)CSCL環(huán)境中群體感知的研究尚處于萌芽階段，較為典型的是吳青和羅儒國(guó)（2013）對(duì)智能教學(xué)系統(tǒng)中的群體感知模型進(jìn)行了設(shè)計(jì)，而國(guó)外的研究則較為豐富，已經(jīng)設(shè)計(jì)開發(fā)了幾種典型的感知工具，如ShrEdit、Gaw、GroupKit、Radar & Reflector、PT等。

基于此，本研究將群體感知技術(shù)應(yīng)用于在線同伴互評(píng)，設(shè)計(jì)了基于群體感知的在線同伴互評(píng)系統(tǒng)，以期為學(xué)習(xí)者提供新穎的可視化群體感知圖，增強(qiáng)學(xué)習(xí)者在同伴互評(píng)中的感知能力，并促進(jìn)學(xué)習(xí)者協(xié)作學(xué)習(xí)交互。社會(huì)網(wǎng)絡(luò)圖是最常用的群體感知圖，能夠直觀地表現(xiàn)學(xué)習(xí)者之間的交互，本研究實(shí)驗(yàn)階段主要選擇社會(huì)網(wǎng)絡(luò)圖進(jìn)行呈現(xiàn)。

二、基于群體感知的在線同伴互評(píng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

1.系統(tǒng)總體設(shè)計(jì)

國(guó)內(nèi)外的在線同伴互評(píng)系統(tǒng)主要依托網(wǎng)絡(luò)在線教學(xué)平臺(tái)展開。然而，由于同伴互評(píng)環(huán)節(jié)設(shè)置過于簡(jiǎn)單，在互評(píng)過程中存在評(píng)閱者態(tài)度粗魯、評(píng)價(jià)效率低下等問題，并不能很好地達(dá)到“發(fā)揮大量學(xué)生參與者的潛力，實(shí)現(xiàn)互助學(xué)習(xí)”的目的。本系統(tǒng)設(shè)計(jì)旨在將在線同伴互評(píng)與可視化群體感知圖相結(jié)合，將用戶的評(píng)論和反饋數(shù)據(jù)在后臺(tái)進(jìn)行分析，在頁面上以各種可視化群體感知圖的形式進(jìn)行展示，從而提高學(xué)生的學(xué)習(xí)積極性?；谌后w感知的在線同伴互評(píng)系統(tǒng)模型圖如圖1所示。

該系統(tǒng)的主要功能是滿足學(xué)生以個(gè)人或小組形式進(jìn)行實(shí)時(shí)在線協(xié)同編輯、在線形成性同伴互評(píng)（包括評(píng)價(jià)反饋活動(dòng)），同時(shí)獲取學(xué)生端的所有學(xué)習(xí)過程操作數(shù)據(jù)，提供新穎的可視化群體感知圖。該系統(tǒng)包括完整的用戶管理、組管理、文章管理、反饋管理、圖管理以及成員管理等模塊。在線協(xié)同編輯主要支持用戶寫作權(quán)限認(rèn)證、無沖突寫作、版本記錄、不同作者顏色標(biāo)記、站內(nèi)聊天、屏幕共享、附件插入以及插件功能。在線形成性同伴互評(píng)支持組內(nèi)成員之間以及不同小組之間的互評(píng)。同時(shí)，系統(tǒng)可以根據(jù)小組成員的寫作行為、互評(píng)和評(píng)價(jià)反饋數(shù)據(jù)自動(dòng)進(jìn)行可視化分析和計(jì)算，并以各種群體感知圖的形式呈現(xiàn)給師生。教師端可選擇呈現(xiàn)的群體感知圖包括學(xué)生行為分析圖（班級(jí)和小組）、學(xué)生個(gè)人作業(yè)情況圖和班級(jí)評(píng)論反饋圖（見圖2）。學(xué)生端可選擇呈現(xiàn)的群體感知圖包括社會(huì)網(wǎng)絡(luò)圖（在線同伴互評(píng)小組/班級(jí)交互活動(dòng)）、雷達(dá)圖（小組/班級(jí)反饋質(zhì)量）、柱狀圖（作業(yè)版本數(shù)）、折線圖（學(xué)生專注度）以及餅圖（學(xué)生編輯字?jǐn)?shù)）（見圖3）。

Etherpad①是一個(gè)基于Web的開源實(shí)時(shí)協(xié)同文檔編輯器。本系統(tǒng)是基于Etherpad開發(fā)的在線形成性同伴互評(píng)系統(tǒng)，從功能上劃分為教師端和學(xué)生端，采用多服務(wù)器與B/S架構(gòu)。一臺(tái)服務(wù)器負(fù)責(zé)主程序應(yīng)用，包括用戶登錄和課程信息;另一臺(tái)服務(wù)器負(fù)責(zé)Etherpad服務(wù)，主要包括作業(yè)信息和作業(yè)版本修改信息。同時(shí)，本系統(tǒng)使用了兩個(gè)數(shù)據(jù)庫存儲(chǔ)信息：本地?cái)?shù)據(jù)庫為MySQL數(shù)據(jù)庫，用來存儲(chǔ)用戶信息、組信息、作業(yè)信息、活動(dòng)信息、評(píng)價(jià)信息，以及用戶的行為分析數(shù)據(jù)等;另一個(gè)是Etherpad自帶的數(shù)據(jù)庫，用來存儲(chǔ)文本版本號(hào)和編輯信息。系統(tǒng)運(yùn)行時(shí)本地?cái)?shù)據(jù)庫對(duì)Etherpad數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行備份。Etherpad服務(wù)器負(fù)責(zé)存儲(chǔ)作業(yè)信息、小組作業(yè)Pad信息、小組用戶信息、小組成員和Pad關(guān)聯(lián)信息、用戶行為信息，并提供API給主程序調(diào)用。

2.教師端系統(tǒng)功能

在教師端，教師可以從課程列表中選擇已被創(chuàng)建的課程，也可以創(chuàng)建新的課程。教師還可以在每門課程下面根據(jù)具體的教學(xué)目標(biāo)自主選擇所要?jiǎng)?chuàng)建的作業(yè)，并針對(duì)每次作業(yè)創(chuàng)建相應(yīng)的學(xué)習(xí)活動(dòng)，如編輯、互評(píng)、修改等，同時(shí)還可以根據(jù)教學(xué)設(shè)計(jì)在每個(gè)活動(dòng)下面為學(xué)生呈現(xiàn)不同的群體感知圖。經(jīng)過一段時(shí)間的在線形成性互評(píng)，教師可以查看學(xué)生的行為分析圖，包括登錄網(wǎng)頁的頻率和學(xué)生在每個(gè)上線時(shí)間點(diǎn)進(jìn)行的活動(dòng)，以及學(xué)生的作業(yè)完成情況和評(píng)論反饋圖。教師端系統(tǒng)能夠呈現(xiàn)所有成員的貢獻(xiàn)情況，教師活動(dòng)管理界面如圖4所示。

此外，教師既可以從評(píng)價(jià)反饋模板列表中選擇已被創(chuàng)建的模板，也可以創(chuàng)建新的模板，并隨時(shí)進(jìn)行查看與修改。模板包括反饋維度以及與每個(gè)維度相對(duì)應(yīng)的分?jǐn)?shù)。本研究創(chuàng)建的反饋模板維度有8類，分別是正面評(píng)論、負(fù)面評(píng)論、直接修正、個(gè)人觀點(diǎn)、指導(dǎo)建議、評(píng)估、反思與其他，分?jǐn)?shù)均為5分。反饋模板在學(xué)生進(jìn)行分?jǐn)?shù)反饋的頁面呈現(xiàn)。

3.學(xué)生端系統(tǒng)功能

在學(xué)生端，學(xué)生可以選擇對(duì)應(yīng)的課程與作業(yè)，進(jìn)入活動(dòng)列表，在線協(xié)同進(jìn)行作業(yè)討論與編輯。初稿完成后，學(xué)生可以進(jìn)行形成性同伴互評(píng)，針對(duì)作業(yè)中的一句話或一段話進(jìn)行評(píng)價(jià)。這里有兩種互評(píng)方式，一種是組內(nèi)互評(píng)，另一種是組間互評(píng)?；ピu(píng)完成后，學(xué)生可以進(jìn)行評(píng)價(jià)反饋活動(dòng)，包括文本反饋與分?jǐn)?shù)反饋。文本反饋是指被評(píng)價(jià)者根據(jù)同伴反饋內(nèi)容再次給出文字回復(fù)，分?jǐn)?shù)反饋是指被評(píng)價(jià)者根據(jù)同伴反饋內(nèi)容選擇對(duì)應(yīng)反饋維度并打分。學(xué)生形成性同伴互評(píng)界面如圖5所示。

學(xué)生在學(xué)生端可以選擇查看相應(yīng)的群體感知圖。教師在教師端每創(chuàng)建一個(gè)活動(dòng)時(shí)，都會(huì)設(shè)置對(duì)應(yīng)的群體感知圖類型。一旦學(xué)生在線進(jìn)行了某種操作，就會(huì)產(chǎn)生相應(yīng)的數(shù)據(jù)，后臺(tái)服務(wù)器接收到數(shù)據(jù)后，就會(huì)呈現(xiàn)出相應(yīng)的群體感知圖。本研究選取的群體感知圖是社會(huì)網(wǎng)絡(luò)圖，它呈現(xiàn)了班級(jí)與小組的交互行為，鼠標(biāo)可以隨意拖動(dòng)與放大圖像，一個(gè)圓圈代表一位同學(xué)，圓圈的不同顏色反映了這位同學(xué)參與交互行為的次數(shù)多少。以放大后的小組社會(huì)網(wǎng)絡(luò)圖為例，圖中的“C∶2 R∶1 G∶5”代表了“Add Comment 2 Reply 1 Grades 5”，即黨同學(xué)對(duì)張同學(xué)的作業(yè)評(píng)價(jià)了兩句話，回復(fù)了一句評(píng)論（文本反饋），打了5分（分?jǐn)?shù)反饋），如圖6所示。此外，在每個(gè)活動(dòng)頁面，都有時(shí)間軸按鈕，學(xué)生可以點(diǎn)擊查看自己從初稿到終稿的編輯時(shí)間內(nèi)所有的歷史文檔版本，也可以拖動(dòng)時(shí)間軸查看每個(gè)階段的具體修改情況。

三、基于群體感知的在線同伴互評(píng)系統(tǒng)應(yīng)用效果評(píng)價(jià)

1.實(shí)驗(yàn)設(shè)計(jì)

（1）實(shí)驗(yàn)?zāi)康呐c問題

本實(shí)驗(yàn)的主要目的是驗(yàn)證在線同伴互評(píng)系統(tǒng)的可行性，進(jìn)一步探究CSCL環(huán)境下群體感知工具對(duì)學(xué)生協(xié)作學(xué)習(xí)的影響。本實(shí)驗(yàn)具體探究如下四個(gè)問題：一是基于群體感知的在線同伴互評(píng)系統(tǒng)的可操作性（學(xué)生對(duì)其的接受度與滿意度）;二是群體感知圖應(yīng)用于系統(tǒng)是否增強(qiáng)了學(xué)生在同伴互評(píng)中的感知能力（行為與知識(shí)感知），以此衡量基于群體感知的在線同伴互評(píng)系統(tǒng)的實(shí)用價(jià)值;三是基于群體感知的在線同伴互評(píng)系統(tǒng)應(yīng)用于協(xié)作學(xué)習(xí)時(shí)對(duì)學(xué)生交互行為的影響;四是在形成性同伴互評(píng)中，不同類型的反饋評(píng)語數(shù)量與質(zhì)量在整體評(píng)語中的分布。前三個(gè)問題均通過問卷數(shù)據(jù)分析得出，第四個(gè)問題通過系統(tǒng)后臺(tái)收集的相關(guān)數(shù)據(jù)分析得出。

（2）實(shí)驗(yàn)對(duì)象

本實(shí)驗(yàn)的參與者是西南大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院軟件學(xué)院大二的學(xué)生，共計(jì)50人，其中男生20人，女生30人，他們?cè)?016-2017學(xué)年春季學(xué)期修讀了“人工智能與教育應(yīng)用”這門課程，進(jìn)行了為期5周的實(shí)驗(yàn)。經(jīng)過前期調(diào)查與培訓(xùn)，這50名學(xué)生在大一學(xué)年均已修過“計(jì)算機(jī)基礎(chǔ)”課程，具備計(jì)算機(jī)基礎(chǔ)知識(shí)與操作能力，具有較高的信息素養(yǎng)，能夠了解同伴互評(píng)系統(tǒng)的學(xué)習(xí)環(huán)境與基本操作，能熟練運(yùn)用并進(jìn)行在線學(xué)習(xí)與評(píng)價(jià)。另外，前期調(diào)查發(fā)現(xiàn)大部分學(xué)生以前并未有過同伴互評(píng)的經(jīng)歷。

（3）實(shí)驗(yàn)方法與工具

本實(shí)驗(yàn)采用問卷調(diào)查法和訪談法開展定量定性相結(jié)合的研究。問卷來源于Cadima等人（2010）關(guān)于社會(huì)群體感知對(duì)CSCL的影響研究，根據(jù)實(shí)際教學(xué)情況，從可操作性、感知能力與交互行為三個(gè)維度設(shè)計(jì)了學(xué)生對(duì)在線同伴互評(píng)系統(tǒng)的應(yīng)用效果評(píng)價(jià)問卷（見表1）。問卷中的每個(gè)題項(xiàng)都采用李克特自評(píng)式5點(diǎn)量表計(jì)分，分別為“非常不同意”“比較不同意”“一般”“比較同意”與“非常同意”，對(duì)應(yīng)得分依次為1～5分。

問卷在實(shí)驗(yàn)作業(yè)完成后依托問卷星平臺(tái)發(fā)布并回收，上線時(shí)間為2017年4月25日，2017年5月下旬截止。共收到50份問卷，其中有效問卷43份，有效率為86%。在SPSS 20.0中通過可靠性分析，得到各個(gè)變量的Crobachs Alpha系數(shù)如表2所示：

表2數(shù)據(jù)表明，除可操作性外，其余分量表的Crobachs Alpha系數(shù)均在0.8以上，總量表的Crobachs Alpha系數(shù)為0.829，表明該量表的信度通過一致性檢驗(yàn)。

2.實(shí)驗(yàn)過程

本實(shí)驗(yàn)要求學(xué)生首先學(xué)習(xí)授課教師指定的主題（即聚類分析、回歸預(yù)測(cè)和分類預(yù)測(cè)在教育領(lǐng)域的應(yīng)用，該主題是“人工智能與教育應(yīng)用”的課程模塊之一），然后在系統(tǒng)上在線完成一篇文獻(xiàn)綜述。文獻(xiàn)綜述包含引言、正文、結(jié)論與參考文獻(xiàn)4個(gè)主要部分。實(shí)驗(yàn)具體活動(dòng)如圖7所示，包括5項(xiàng)活動(dòng)，每項(xiàng)活動(dòng)持續(xù)時(shí)間為1周，共開展了兩輪同伴互評(píng)。

活動(dòng)1：編寫初稿。實(shí)驗(yàn)開始前，授課教師對(duì)學(xué)生進(jìn)行隨機(jī)分組，介紹互評(píng)流程、作業(yè)主題、作業(yè)評(píng)價(jià)標(biāo)準(zhǔn)以及反饋模板維度。實(shí)驗(yàn)要求教師提供相應(yīng)的案例促進(jìn)學(xué)生理解評(píng)價(jià)標(biāo)準(zhǔn)與如何開展同伴互評(píng)。實(shí)驗(yàn)開始后，學(xué)生使用基于群體感知的在線同伴互評(píng)系統(tǒng)完成文獻(xiàn)綜述初稿的編寫。

活動(dòng)2：第一次同伴互評(píng)。根據(jù)教師之前的隨機(jī)分組以及文獻(xiàn)綜述評(píng)價(jià)標(biāo)準(zhǔn)表，本組成員對(duì)其他組的作業(yè)進(jìn)行在線形成性互評(píng)，針對(duì)作業(yè)中的一句話或一段話，點(diǎn)擊“評(píng)價(jià)”按鈕，選中的評(píng)價(jià)部分以高亮顯示（見圖5），屏幕右側(cè)可呈現(xiàn)和寫入相應(yīng)的反饋評(píng)語。同時(shí)，學(xué)生可以通過查看該活動(dòng)下顯示的群體感知圖，獲取本組成員以及班級(jí)成員的交互行為信息，如圖6所示。

活動(dòng)3：第一次修改（查看同伴反饋、完成評(píng)價(jià)反饋活動(dòng)并修改作業(yè)）。系統(tǒng)將對(duì)應(yīng)的反饋向被評(píng)價(jià)者顯示，被評(píng)價(jià)者可以根據(jù)同伴反饋內(nèi)容再次給出文本反饋或分?jǐn)?shù)反饋（見圖5）。同時(shí)被評(píng)價(jià)者可參考同學(xué)們的評(píng)價(jià)建議，對(duì)作業(yè)進(jìn)行相應(yīng)地修改與完善。

活動(dòng)4和活動(dòng)5分別重復(fù)活動(dòng)2和活動(dòng)3的過程，最終在線完成文獻(xiàn)綜述的終稿。

實(shí)驗(yàn)作業(yè)完成后，發(fā)布問卷，并選取部分學(xué)生進(jìn)行個(gè)人訪談和焦點(diǎn)小組訪談，了解學(xué)生對(duì)在線同伴互評(píng)活動(dòng)的態(tài)度和改進(jìn)意見。

研究共進(jìn)行了兩輪同伴互評(píng)，通過系統(tǒng)后臺(tái)收集相關(guān)數(shù)據(jù)，共產(chǎn)生280條評(píng)語。為了確保每條評(píng)語分類與質(zhì)量的準(zhǔn)確性，實(shí)驗(yàn)過程中并沒有強(qiáng)制要求學(xué)生選擇評(píng)價(jià)反饋活動(dòng)。實(shí)驗(yàn)結(jié)束后由兩位研究者同時(shí)對(duì)反饋評(píng)語進(jìn)行統(tǒng)計(jì)分析，以每條反饋評(píng)語為分析單位，根據(jù)每條反饋評(píng)語的內(nèi)容對(duì)其進(jìn)行相應(yīng)類別劃分。統(tǒng)計(jì)結(jié)果顯示：兩位研究者對(duì)同一評(píng)語的分類比較接近，經(jīng)SPSS 20.0測(cè)算后得知其相關(guān)系數(shù)在0.80以上，從而保證了分類的可靠性。

反饋評(píng)語類別確定后，由兩位研究者根據(jù)每條評(píng)語對(duì)被評(píng)價(jià)者修改內(nèi)容是否有用給出可用性評(píng)分，評(píng)分涉及“完全不重要”“不重要”“一般”“重要”與“完全重要”5個(gè)等級(jí)，對(duì)應(yīng)賦分為1～5分。經(jīng)SPSS 20.0檢驗(yàn)后得知，兩位研究者對(duì)同一評(píng)語打分的相關(guān)系數(shù)在0.85以上，以此為依據(jù)來確定每一條反饋評(píng)語的質(zhì)量。每一類反饋評(píng)語的質(zhì)量取其對(duì)應(yīng)類別得分的平均數(shù)，其中無關(guān)評(píng)語均劃分為“其他”類別，給出的分?jǐn)?shù)均為1分。

3.實(shí)驗(yàn)結(jié)果

（1）學(xué)生評(píng)價(jià)結(jié)果與分析

學(xué)生對(duì)該系統(tǒng)應(yīng)用效果的評(píng)價(jià)如表3所示，總體的均值較高、標(biāo)準(zhǔn)差偏小，說明所有學(xué)生對(duì)該系統(tǒng)的接受度較高，并且意見比較統(tǒng)一。

“可操作性”維度考查基于群體感知的在線同伴互評(píng)系統(tǒng)的可操作性，即學(xué)生對(duì)該系統(tǒng)的接受度與滿意度情況，包括系統(tǒng)整體、同伴互評(píng)功能、群體感知工具以及群體感知工具顯示的信息等4個(gè)指標(biāo)。該維度的均值為3.78，標(biāo)準(zhǔn)差為0.38，表明大多數(shù)學(xué)生認(rèn)為該系統(tǒng)簡(jiǎn)單可行，容易使用。其指標(biāo)分析顯示：79.1%的學(xué)生認(rèn)為每周使用系統(tǒng)不會(huì)花費(fèi)過多的精力，86%的學(xué)生認(rèn)為使用系統(tǒng)進(jìn)行同伴互評(píng)不會(huì)花費(fèi)過多專業(yè)技能方面的精力，67.4%的學(xué)生認(rèn)為不會(huì)花費(fèi)過多專業(yè)技能方面的精力去理解群體感知可視化圖，65.1%的學(xué)生能夠完全理解群體感知可視化圖所顯示的全部信息。該維度的均值（Mean=3.78）低于其他維度，原因可能在于系統(tǒng)的瀏覽器兼容性較差，實(shí)驗(yàn)要求使用Chrome，但在操作過程中，個(gè)別學(xué)生使用了其他瀏覽器導(dǎo)致系統(tǒng)頁面無法呈現(xiàn)，因而可能會(huì)影響他們對(duì)系統(tǒng)可操作性的評(píng)價(jià)。

“感知能力”維度考查群體感知圖應(yīng)用于系統(tǒng)是否增強(qiáng)了學(xué)生在互評(píng)中的感知能力，包括4個(gè)指標(biāo)。其指標(biāo)分析顯示：93%的學(xué)生認(rèn)為使用該系統(tǒng)有利于自己反思在協(xié)作學(xué)習(xí)中的交互行為與團(tuán)隊(duì)中的角色扮演，95.3%的學(xué)生認(rèn)為群體感知可視化圖所顯示的信息與自己密切相關(guān)，93%的學(xué)生認(rèn)為群體感知可視化圖所顯示的信息既能增強(qiáng)自己對(duì)組內(nèi)成員之間交互行為的感知，也能增強(qiáng)自己對(duì)同伴互評(píng)中交互行為以及個(gè)人在團(tuán)隊(duì)中扮演角色的感知。

“交互行為”維度考查基于群體感知的在線同伴互評(píng)系統(tǒng)應(yīng)用于教學(xué)對(duì)學(xué)生交互行為的影響，包括3個(gè)指標(biāo)。其指標(biāo)分析顯示：90.7%的學(xué)生認(rèn)為此次在線作業(yè)的完成提高了自己在協(xié)作學(xué)習(xí)中的交互能力，93%的學(xué)生認(rèn)為使自己能夠更加主動(dòng)地去幫助別人，97.7%的學(xué)生認(rèn)為使自己能夠更加主動(dòng)地去尋求他人的幫助。

綜上，實(shí)驗(yàn)結(jié)果表明，基于群體感知的在線同伴互評(píng)系統(tǒng)應(yīng)用于教學(xué)活動(dòng)中是可行的，大部分學(xué)生對(duì)系統(tǒng)的認(rèn)可度較高，該系統(tǒng)有利于增強(qiáng)學(xué)生同伴互評(píng)的感知能力，促進(jìn)其在協(xié)作學(xué)習(xí)中的交互行為。

（2）反饋類別結(jié)果與分析

由表4可見，經(jīng)過兩輪同伴互評(píng)，共產(chǎn)生280條反饋評(píng)語。其中，情感維度反饋42條，占總數(shù)的15.00%;認(rèn)知維度反饋85條，占總數(shù)的30.36%;元認(rèn)知維度反饋數(shù)量最多，總計(jì)143條，占總數(shù)的51.07%;無關(guān)反饋10條，占總數(shù)的3.57%。在反饋數(shù)量上，元認(rèn)知維度>認(rèn)知維度>情感維度。該統(tǒng)計(jì)結(jié)果與馬志強(qiáng)等人（2016）的統(tǒng)計(jì)結(jié)果（即認(rèn)知維度>情感維度>元認(rèn)知維度）有差異，可能是由于本實(shí)驗(yàn)采用的基于群體感知的在線同伴互評(píng)系統(tǒng)允許過程性評(píng)價(jià)，因而導(dǎo)致反饋評(píng)語類別與總結(jié)性評(píng)價(jià)所產(chǎn)生的反饋類別不一致。

在本實(shí)驗(yàn)中，第一次同伴互評(píng)反饋數(shù)量為212條，遠(yuǎn)大于第二次同伴互評(píng)反饋數(shù)量的68條?？赡茉蚴且恢艿臅r(shí)間足以完成授課教師所布置的作業(yè)，學(xué)生通過第一次互評(píng)足以解決作業(yè)的大部分問題，再加上后續(xù)的評(píng)價(jià)反饋活動(dòng)，以及被評(píng)價(jià)者與評(píng)價(jià)者之間的文本反饋，導(dǎo)致學(xué)生第二次互評(píng)中收到的反饋很少，作業(yè)第二稿與最終稿之間也沒有顯著的差異。由此可知，實(shí)驗(yàn)所選取的作業(yè)任務(wù)類型與難易程度也可能影響到后續(xù)的同伴互評(píng)。

在反饋質(zhì)量上，除無關(guān)反饋外，其他反饋評(píng)語的質(zhì)量均介于2～4分。從各維度的反饋質(zhì)量均值來看，認(rèn)知維度（3.62）>元認(rèn)知維度（3.25）>情感維度（2.70）。從單個(gè)子類別的反饋質(zhì)量得分來看，直接修正類別的反饋質(zhì)量得分最高，達(dá)到4.00分，而負(fù)面評(píng)論類別的反饋質(zhì)量得分最低，為2.29分。這表明認(rèn)知維度的評(píng)語更有助于被評(píng)價(jià)者對(duì)作業(yè)進(jìn)行修改，對(duì)被評(píng)價(jià)者更有價(jià)值，可用性更高。其中直接修正類別的反饋?zhàn)钜子诒粚W(xué)習(xí)者采納，如“該句話不屬于回歸分析的定義，定義是用一種簡(jiǎn)潔明了的語言對(duì)事物的本質(zhì)特征做概括的說明方法，建議將這句話刪除。”該研究結(jié)果與馬志強(qiáng)等人（2016）的研究結(jié)果相似。他們的研究主要通過評(píng)語的采納程度來反映評(píng)語的質(zhì)量，結(jié)果同樣顯示出在認(rèn)知類評(píng)語中提出明確修改建議的子類別評(píng)語的重要性，即在認(rèn)知維度中，直接修正類別的反饋更有價(jià)值。

（3）學(xué)生訪談結(jié)果與分析

在為期5周的實(shí)驗(yàn)結(jié)束后，研究者向?qū)W生們發(fā)放了系統(tǒng)的應(yīng)用效果評(píng)價(jià)問卷，隨后進(jìn)行了訪談，收集了學(xué)生對(duì)在線同伴互評(píng)活動(dòng)的意見與建議，同時(shí)了解系統(tǒng)設(shè)計(jì)中存在的問題。

關(guān)于系統(tǒng)的設(shè)計(jì)。多數(shù)學(xué)生反映多人對(duì)同一內(nèi)容進(jìn)行評(píng)價(jià)，系統(tǒng)不能很好地展示，如當(dāng)多人選中文本的相同或臨近內(nèi)容時(shí)，對(duì)應(yīng)的多條評(píng)價(jià)會(huì)相互重疊呈現(xiàn)在頁面上，不利于瀏覽。正如有同學(xué)反饋的，“（系統(tǒng)）交互性較好，可以清楚地看見小組成員對(duì)自己作業(yè)的某一個(gè)位置給出詳細(xì)的建議。但同伴的評(píng)價(jià)往往會(huì)出現(xiàn)交疊的現(xiàn)象，導(dǎo)致有些評(píng)價(jià)看不到，可以考慮適當(dāng)擴(kuò)大排版范圍。”

關(guān)于在線互評(píng)的活動(dòng)流程。部分學(xué)生反映互評(píng)活動(dòng)流程過于繁瑣，增加了他們額外的工作量。如有學(xué)生指出，“（系統(tǒng)）能夠很好地反饋給同伴并讓他完善（自己的）文章，增強(qiáng)同學(xué)的修改動(dòng)力，但是過程太過繁瑣，形成性評(píng)價(jià)會(huì)耗費(fèi)大量額外的時(shí)間?！?/p>

關(guān)于互評(píng)過程的匿名性。部分學(xué)生希望采取匿名互評(píng)的方式。學(xué)生認(rèn)為互評(píng)過程是否匿名，會(huì)在很大程度上影響評(píng)價(jià)的質(zhì)量。如有學(xué)生指出，“我希望評(píng)價(jià)能夠匿名進(jìn)行，實(shí)名的形式我不好意思直接指出同學(xué)的錯(cuò)誤，要反復(fù)斟酌自己的表達(dá)方式，浪費(fèi)很多時(shí)間，降低了我評(píng)價(jià)的效率?！?/p>

四、研究總結(jié)

在線同伴互評(píng)被認(rèn)為能有效應(yīng)對(duì)MOOC環(huán)境下大規(guī)模學(xué)習(xí)測(cè)評(píng)的需求，但大多數(shù)現(xiàn)有在線同伴互評(píng)系統(tǒng)存在評(píng)價(jià)模式單一、學(xué)習(xí)者交互行為偏弱等問題。為此，本研究基于反饋模型和群體感知可視化軟件工具，構(gòu)建了可視化群體感知模型，設(shè)計(jì)開發(fā)了基于群體感知的在線同伴互評(píng)系統(tǒng)，對(duì)用戶實(shí)施可視化反饋，彌補(bǔ)了現(xiàn)階段在線同伴互評(píng)系統(tǒng)缺乏可視化反饋的缺陷。同時(shí)，本研究改進(jìn)了傳統(tǒng)在線互評(píng)系統(tǒng)的評(píng)價(jià)模式，采用獨(dú)具特色的過程性評(píng)價(jià)，彌補(bǔ)了傳統(tǒng)總結(jié)性評(píng)價(jià)的局限性，讓學(xué)習(xí)者可以逐字逐句地在過程中進(jìn)行評(píng)價(jià)和反饋，一定程度上提高了學(xué)習(xí)的趣味性和效率。實(shí)驗(yàn)結(jié)果表明：大部分學(xué)生認(rèn)為該系統(tǒng)可操作性強(qiáng)，有助于提高感知能力，能促進(jìn)協(xié)作學(xué)習(xí)中的交互行為。在同伴互評(píng)中，認(rèn)知維度的評(píng)語類型，尤其是直接修正類別的評(píng)語更有助于學(xué)習(xí)者對(duì)作業(yè)進(jìn)行修改?？傮w而言，本研究有助于消除同伴互評(píng)中信度與效度不足、缺少對(duì)評(píng)價(jià)的反饋、匿名互評(píng)、缺乏學(xué)習(xí)社區(qū)意識(shí)或歸屬感等問題，提高了在線互評(píng)的質(zhì)量與效率，為應(yīng)對(duì)大規(guī)模測(cè)評(píng)和反饋的需要，以及確保學(xué)習(xí)者深入的在線學(xué)習(xí)體驗(yàn)提供了路徑。實(shí)驗(yàn)中也發(fā)現(xiàn)該系統(tǒng)存在一些不足，如由于瀏覽器兼容性等原因，群體感知圖的顯示效果可能對(duì)實(shí)驗(yàn)結(jié)果造成一定影響，后續(xù)我們將對(duì)系統(tǒng)功能進(jìn)行相應(yīng)的補(bǔ)充與完善。

注釋：

① Etherpad可通過http：//etherpad.org/檢索查閱。

參考文獻(xiàn)：

[1]梁妙，鄭蘭琴（2012）. 支持協(xié)作學(xué)習(xí)的覺知工具： 研究現(xiàn)狀總結(jié)與思考[J]. 遠(yuǎn)程教育雜志， 30（4）： 30-39.

[2]龍琴琴，陳明選，馬志強(qiáng)（2017）. 理解視域下的網(wǎng)絡(luò)同伴互評(píng)學(xué)習(xí)活動(dòng)探究[J]. 現(xiàn)代教育技術(shù)，（5）： 67-73.

[3]馬志強(qiáng)，王靖，許曉群等（2016）. 網(wǎng)絡(luò)同伴互評(píng)中反饋評(píng)語的類型與效果分析[J]. 電化教育研究，（1）：66-71.

[4]吳青，羅儒國(guó)（2013）. 智能教學(xué)系統(tǒng)中支持協(xié)作學(xué)習(xí)的群體感知模型[J]. 現(xiàn)代遠(yuǎn)程教育研究，（4）：107-112.

[5]B?dker， S.， & Christiansen， E. （2006）. Computer Support for Social Awareness in Flexible Work[J]. Computer Supported Cooperative Work， 15（1）： 1-28.

[6]Buder， J.， & Bodemer， D. （2008）. Supporting Controversial CSCL Discussions with Augmented Group Awareness Tools[J]. International Journal of Computer-Supported Collaborative Learning， 3（2）： 123-139.

[7]Cadima， R.， Ferreira， C.， & Monguet， J. et al. （2010）. Promoting Social Network Awareness： A Social Network Monitoring System[J]. Computers & Education， 54（4）： 1233-1240.

[8]Dourish， P.， & Bellotti， V. （1992）. Awareness and Coordination in Shared Work Spaces[C]// Proceedings of the ACM Conference on Computer Supported Cooperative Work （CSCW92）. Toronto， Canada.

[9]Fjermestad， J. （2004）. An Analysis of Communication Mode in Group Support Systems Research[J]. Decision Support Systems， 37（2）： 239-263.

[10]Gielen， M.， & Wever， B. D. （2015a）. Scripting the Role of Assessor and Assessee in Peer Assessment in a Wiki Environment： Impact on Peer Feedback Quality and Product Improvement[J]. Computers & Education， 88（C）： 370-386.

[11]Gielen， M.， & Wever， B. D. （2015b）. Structuring the Peer Assessment Process： A Multilevel Approach for the Impact on Product Improvement and Peer Feedback Quality[J]. Journal of Computer Assisted Learning， 31（5）： 435-449.

[12]Gutwin， C.， Stark， G.， & Greenberg， S. （1995）. Support for Workspace Awareness in Educational Groupware[M]// Schnase， J. L.， & Cunnius， E. L. （Eds.）. The First International Conference on Computer Support for Collaborative Learning. Mahwah， NJ： Lawrence Erlbaum Associates Inc： 147-156.

[13]Hobman， E. V.， Bordia， P.， & Irmer， B. et al. （2002）. The Expression of Conflict in Computer-Mediated and Face-to-Face Groups[J]. Small Group Research， 33（4）： 439-465.

[14]Hovardas， T.， Tsivitanidou， O. E.， & Zacharia， Z. C. （2014）. Peer versus Expert Feedback： An Investigation of the Quality of Peer Feedback Among Secondary School Students[J]. Computers & Education， 71： 133-152.

[15]Janssen， J.， Erkens， G.， & Kanselaar， G. （2007a）. Visualization of Agreement and Discussion Processes During Computer-Supported Collaborative Learning[J]. Computers in Human Behavior， 23（3）： 1105-1125.

[16]Janssen， J.， Erkens， G.， & Kanselaar， G. et al. （2007b）. Visualization of Participation： Does It Contribute to Successful Computer-Supported Collaborative Learning？[J]. Computers & Education， 49（4）： 1037-1065.

[17]Jermann， P.， & Dillenbourg， P. （2008）. Group Mirrors to Support Interaction Regulation in Collaborative Problem Solving[J]. Computers & Education， 51（1）： 279-296.

[18]Kirschner， F.， Paas， F.， & Kirschner， P. A. （2009）. A Cognitive Load Approach to Collaborative Learning： United Brains from Complex Learning[J]. Educational Psychology Review， 21（1）： 31-42.

[19]Mendoza-Chapa， S.， Romero-Salcedo， M.， & Oktaba， H. （2000）. Group Awareness Support in Collaborative Writing Systems[C]// Proceedings of the 6th International Workshop on Groupware （CRIWG'00）.Madeira， Portugal.

[20]Strijbos， J. W.， & Sluijsmans， D. （2010）. Unravelling Peer Assessment： Methodological， Functional， and Conceptual Developments[J]. Learning & Instruction， 20（4）： 265-269.

[21]Topping， K. （1998）. Peer Assessment Between Students in Colleges and Universities[J]. Review of Educational Research， 68（3）： 249-276.

[22]Van Bruggen， J. M.， Kirschner， P. A.， & Jochems， W. （2002）. External Representation of Argumentation in CSCL and the Management of Cognitive Load[J]. Learning and Instruction， 12（1）： 121-138.