武荷嵐 丁瑞君

(同濟(jì)大學(xué)物理科學(xué)與工程學(xué)院，上海 200092)

1　同伴互評(píng)概念的提出

隨著國(guó)內(nèi)外教育的不斷發(fā)展，學(xué)習(xí)評(píng)價(jià)方式也越來(lái)越趨于多元化。尤其是在以協(xié)作學(xué)習(xí)為主的教學(xué)模式中，之前的由教師全權(quán)負(fù)責(zé)對(duì)學(xué)生進(jìn)行評(píng)價(jià)的方式便不能全面快速地反映學(xué)生在整個(gè)學(xué)習(xí)過(guò)程中的具體表現(xiàn)，由此，可引入同伴互評(píng)的評(píng)價(jià)方法。

同伴互評(píng)(peer assess ment)的概念，是由Topping(1998)提出，又叫同儕互評(píng)、同伴反饋等，是由學(xué)習(xí)者扮演評(píng)分者的角色，針對(duì)同伴作品給予評(píng)分與建議[1]。國(guó)內(nèi)外有不少研究者曾論述了同伴互評(píng)的優(yōu)點(diǎn)：(1)同伴互評(píng)可以鼓勵(lì)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)[2];(2)同伴互評(píng)可以提升學(xué)習(xí)者的思考能力[3];(3)同伴互評(píng)能促進(jìn)學(xué)習(xí)者的自我反思并提升其交流能力[4];(4)絕大多數(shù)學(xué)生喜歡獲得同伴反饋，認(rèn)為對(duì)自己是有幫助的[5];(5)學(xué)習(xí)者可以從同伴互評(píng)的結(jié)果中獲得很多靈感[6];(6)同伴互評(píng)可以提高學(xué)習(xí)者的學(xué)習(xí)成績(jī)、學(xué)習(xí)動(dòng)機(jī)及解決問(wèn)題能力[7]。

雖說(shuō)同伴互評(píng)有上述諸多優(yōu)勢(shì)，但是任何事物都是有兩面性的。同伴互評(píng)存在的問(wèn)題主要表現(xiàn)在以下幾個(gè)方面：(1)反饋的多變性;(2)缺少對(duì)同伴互評(píng)的反饋;(3)匿名同伴互評(píng)時(shí)，對(duì)反饋結(jié)果無(wú)法要求明確或澄清;(4)缺乏學(xué)習(xí)社區(qū)意識(shí)或歸屬感[8];(5)學(xué)生動(dòng)機(jī)的缺乏[9]。

為了解決同伴互評(píng)在實(shí)施過(guò)程中出現(xiàn)的一系列問(wèn)題，國(guó)內(nèi)外有不少研究者基于不同算法或角度設(shè)計(jì)了一系列同伴互評(píng)模型，以期能提升同伴互評(píng)的信度與效度。在國(guó)內(nèi)研究中，孫力等(2014)構(gòu)建了3種關(guān)聯(lián)復(fù)雜度不同的同伴互評(píng)過(guò)程模型。最終結(jié)果認(rèn)為評(píng)分者偏差對(duì)模型實(shí)際效果的提高非常有效，而評(píng)分者可靠度對(duì)模型的實(shí)際效果影響甚微[10]。許云紅(2014)等建立了基于推薦機(jī)制的同伴互評(píng)模型，以期為學(xué)生作業(yè)匹配較為合適的評(píng)閱人，從而達(dá)到優(yōu)化互評(píng)過(guò)程并提高學(xué)習(xí)者滿意度的目的[11]。許濤(2015)從教學(xué)法和教育技術(shù)應(yīng)用的角度提出了慕課學(xué)習(xí)環(huán)境下5種不同的同伴互評(píng)模型，并指出慕課環(huán)境下進(jìn)行同伴互評(píng)模型設(shè)計(jì)應(yīng)關(guān)注的設(shè)計(jì)原則、標(biāo)準(zhǔn)和未來(lái)研究方向[8]。何升等(2016)為了達(dá)到為作業(yè)推薦合適評(píng)閱人的目的，構(gòu)建了作業(yè)評(píng)閱人推薦模型。結(jié)果表明，算法在評(píng)閱人的工作量均衡和作業(yè)評(píng)閱人的準(zhǔn)確推薦等方面均取得較好的效果，優(yōu)化提高了同伴互評(píng)系統(tǒng)的準(zhǔn)確性和可靠性[12]。在國(guó)外研究中，Tenório等(2016)使用游戲元素提出游戲化的同伴互評(píng)模型，并將其運(yùn)用于教學(xué)實(shí)踐，結(jié)果證實(shí)學(xué)生給出的平均成績(jī)與專家給出的大致相同，且大大降低了完成評(píng)價(jià)所需的時(shí)間與成本。在此基礎(chǔ)之上，使用游戲化模型后，學(xué)生提交論文的數(shù)量及評(píng)價(jià)的質(zhì)量與數(shù)量皆得到了一定程度的提升[9]。除此之外，還有不少研究者提出了基于貝葉斯網(wǎng)絡(luò)的同伴互評(píng)優(yōu)化模型[13]。

曾有研究指出，歐洲學(xué)生比亞裔學(xué)生更容易接受同伴互評(píng)，他們?cè)诨ピu(píng)中表現(xiàn)得比亞裔學(xué)生更自信[14]。呂林海等(2015)認(rèn)為，因?yàn)榻逃问降牟煌?，中?guó)學(xué)生的批判性思維發(fā)展顯著地滯后于西方學(xué)生[15]。且同伴互評(píng)的概念起源于國(guó)外，在國(guó)內(nèi)相當(dāng)于是“舶來(lái)之品”，因?yàn)槭艿絺鹘y(tǒng)文化、價(jià)值觀及教學(xué)方式等因素的影響，在國(guó)內(nèi)的應(yīng)用效果亦有可能異于國(guó)外的應(yīng)用效果。基于這樣的猜想，本文收集了中美兩所高校中學(xué)習(xí)大學(xué)物理課程的班的同伴互評(píng)數(shù)據(jù)(為保證數(shù)據(jù)的可比性，二者分別使用的是同一同伴互評(píng)系統(tǒng)的中文版和英文版)，并對(duì)其進(jìn)行比較分析，以期能對(duì)兩國(guó)學(xué)生互評(píng)效果的異同點(diǎn)有一個(gè)清晰明確的認(rèn)識(shí)。最后，根據(jù)數(shù)據(jù)分析結(jié)果，對(duì)我國(guó)同伴互評(píng)系統(tǒng)的設(shè)計(jì)提供了一些參考建議。

2　研究過(guò)程

2.1　數(shù)據(jù)來(lái)源

本文用來(lái)研究的數(shù)據(jù)來(lái)自中美兩所高校中學(xué)生的一次同伴互評(píng)，為了體現(xiàn)對(duì)比的合理性，二者分別使用的是同一同伴互評(píng)系統(tǒng)的中文版和英文版，且皆是參與學(xué)習(xí)大學(xué)物理課程的學(xué)生。

2.2　數(shù)據(jù)收集

本文使用同伴互評(píng)系統(tǒng)中的評(píng)價(jià)主要分為兩部分，一是評(píng)價(jià)量表，二是相對(duì)貢獻(xiàn)。評(píng)價(jià)量表包含6個(gè)等級(jí)評(píng)價(jià)題和兩個(gè)開放題，具體評(píng)價(jià)內(nèi)容如表1所示。

表1　同伴互評(píng)評(píng)價(jià)量表

續(xù)表

相對(duì)貢獻(xiàn)主要是對(duì)各個(gè)小組成員在協(xié)作過(guò)程中的整體表現(xiàn)進(jìn)行評(píng)價(jià)，從-3至+3，共分為7個(gè)等級(jí)。各組員可對(duì)其他成員及自己的行為表現(xiàn)做出整體評(píng)價(jià)，且相對(duì)貢獻(xiàn)的得分會(huì)影響學(xué)生最終的互評(píng)得分。但需要說(shuō)明的是，每個(gè)成員的評(píng)分之和都必須為零，且需盡量保證不出現(xiàn)全為零的情況。即有人得高分的同時(shí)，就必須有人得低分，以此來(lái)減少一些“情感分”“面子分”的情況出現(xiàn)。

Schunn等(2006)曾指出，如果每份作業(yè)讓至少4人評(píng)價(jià)，同伴互評(píng)的成績(jī)與教師的評(píng)價(jià)則具有非常高的一致性，是可靠的[16]。劉玲(2014)也認(rèn)為，設(shè)定每個(gè)學(xué)生評(píng)4～5份作業(yè)比較合適[17]。所以本研究中將學(xué)生學(xué)習(xí)小組的人數(shù)定為4～5人，學(xué)生自愿組成學(xué)習(xí)小組，進(jìn)行討論或完成任務(wù)。一次學(xué)習(xí)活動(dòng)結(jié)束之后，各小組成員需要對(duì)組內(nèi)成員及自己進(jìn)行公平合理的評(píng)價(jià)。在具體的評(píng)價(jià)過(guò)程中，各成員需先根據(jù)評(píng)價(jià)量表對(duì)各個(gè)組員的具體表現(xiàn)進(jìn)行評(píng)價(jià)，只有完成這一步之后，才能對(duì)他人及自己的相對(duì)貢獻(xiàn)進(jìn)行打分。且對(duì)于同一組的成員來(lái)說(shuō)，只有所有人都完成評(píng)價(jià)且保證評(píng)價(jià)有效之后，各成員才能在系統(tǒng)中查看自己最終的評(píng)價(jià)報(bào)告。評(píng)價(jià)結(jié)束之后，研究人員通過(guò)同伴互評(píng)系統(tǒng)的后臺(tái)數(shù)據(jù)庫(kù)，對(duì)可用數(shù)據(jù)進(jìn)行提取。

3　數(shù)據(jù)分析

在收集的數(shù)據(jù)中，參與評(píng)價(jià)的中國(guó)學(xué)生為116人，分為25組，獲得的可用評(píng)價(jià)為548條，美國(guó)學(xué)生為87人，分為18組，獲得的可用評(píng)價(jià)為420條。數(shù)據(jù)的統(tǒng)計(jì)分析軟件為SPSS 12.0和Excel 2003。

3.1　評(píng)價(jià)量表中互評(píng)數(shù)據(jù)對(duì)比分析

首先，根據(jù)后臺(tái)數(shù)據(jù)庫(kù)所得數(shù)據(jù)，筆者對(duì)兩國(guó)學(xué)生各等級(jí)評(píng)價(jià)題得分的有效率進(jìn)行統(tǒng)計(jì)。有效性界定：若一條評(píng)價(jià)中所有等級(jí)評(píng)價(jià)題的得分皆相同，則視為無(wú)效。具體統(tǒng)計(jì)情況如圖1所示。

圖1　等級(jí)評(píng)價(jià)題得分有效率統(tǒng)計(jì)

由圖1可以看出，在等級(jí)評(píng)價(jià)題得分有效率的統(tǒng)計(jì)中，中國(guó)學(xué)生的有效得分只占所有評(píng)價(jià)的34.5%，而美國(guó)學(xué)生的有效得分則占86.4%。相比之下，中國(guó)學(xué)生評(píng)分的有效率還不到美國(guó)學(xué)生評(píng)分有效率的50%，可以說(shuō)是非常低的。究其原因，筆者認(rèn)為很有可能是因?yàn)閮蓢?guó)學(xué)生對(duì)待評(píng)價(jià)的態(tài)度不同，從而產(chǎn)生了不同的結(jié)果。

為進(jìn)一步了解兩國(guó)學(xué)生的評(píng)價(jià)態(tài)度，筆者對(duì)后面兩個(gè)開放題中的評(píng)價(jià)數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析。統(tǒng)計(jì)的數(shù)據(jù)主要包括3個(gè)層級(jí)，即有內(nèi)容的評(píng)價(jià)、有效的評(píng)價(jià)及有針對(duì)性的評(píng)價(jià)。有內(nèi)容的評(píng)價(jià)是最低要求，即評(píng)價(jià)內(nèi)容不為空;有效的評(píng)價(jià)則有進(jìn)一步的要求，即學(xué)生的評(píng)價(jià)內(nèi)容是與小組協(xié)作有關(guān)，且能表達(dá)明確的觀點(diǎn)，而不是其他無(wú)關(guān)內(nèi)容;有針對(duì)性的評(píng)價(jià)則是能夠達(dá)到互評(píng)要求的評(píng)價(jià)，即在保證該評(píng)價(jià)有效的基礎(chǔ)上，有針對(duì)性的評(píng)價(jià)各個(gè)小組成員，而不是對(duì)整體小組成員做出統(tǒng)一的評(píng)價(jià)?；谶@樣的界定，筆者分別對(duì)開放題1和開放題2的評(píng)價(jià)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，具體結(jié)果如圖2、圖3所示。

圖2　開放題1(表現(xiàn)好的地方)

圖3　開放題2(需改進(jìn)的地方)

由圖2和圖3可以看出，不管是開放題1(表現(xiàn)好的地方)還是開放題2(需改進(jìn)的地方)中的評(píng)價(jià)，3個(gè)層級(jí)的評(píng)價(jià)所占總評(píng)價(jià)的比例皆是美國(guó)學(xué)生高于中國(guó)學(xué)生。在開放題1的評(píng)價(jià)中，兩國(guó)學(xué)生有內(nèi)容或有效評(píng)價(jià)的占比之差都在20%以上，且有針對(duì)性評(píng)價(jià)的占比之差超過(guò)了45%，即中國(guó)學(xué)生有針對(duì)性評(píng)價(jià)的占比只比美國(guó)學(xué)生有針對(duì)性評(píng)價(jià)占比的一半多一點(diǎn)。在開放題2的統(tǒng)計(jì)數(shù)據(jù)中，除中國(guó)學(xué)生有效評(píng)價(jià)的占比降低15%左右之外，其他情況與開放題1中的相差不大。

且在上面兩圖中可以發(fā)現(xiàn)，美國(guó)學(xué)生的評(píng)價(jià)中，3個(gè)層級(jí)評(píng)價(jià)的占比相差并不是很大，基本在2%以內(nèi)，且都在94%以上，即總體占比較高。反觀中國(guó)學(xué)生的評(píng)價(jià)，則差距較大，有內(nèi)容評(píng)價(jià)的占比與有針對(duì)性評(píng)價(jià)的占比之差皆高于20%，且總體占比皆在80%以下，有針對(duì)性評(píng)價(jià)的占比只有50%左右。

由此可見，不管是等級(jí)評(píng)價(jià)題，還是開放題，中國(guó)學(xué)生的評(píng)價(jià)質(zhì)量皆是低于美國(guó)學(xué)生的評(píng)價(jià)質(zhì)量。究其原因，一方面可能是因?yàn)閮蓢?guó)傳統(tǒng)文化及教學(xué)方式等因素的不同，中國(guó)學(xué)生暫時(shí)還沒(méi)有完全適應(yīng)這樣的評(píng)價(jià)方式;另一方面，也有可能是因?yàn)閮蓢?guó)學(xué)生對(duì)同伴評(píng)價(jià)所持的態(tài)度有所不同，即中國(guó)學(xué)生需轉(zhuǎn)變現(xiàn)有的評(píng)價(jià)態(tài)度。

3.2　相對(duì)貢獻(xiàn)互評(píng)數(shù)據(jù)對(duì)比分析

為使學(xué)生的最終得分(與相對(duì)貢獻(xiàn)得分有關(guān))有所差異，本研究中所使用的同伴互評(píng)系統(tǒng)中，將同小組內(nèi)相對(duì)貢獻(xiàn)的得分之和設(shè)置為零，即零分為所有成員得分的平均分。且為保證評(píng)價(jià)的公平合理性，原則上不能使各成員的得分都為零，即相對(duì)貢獻(xiàn)得分全為零或得分之和不為零的評(píng)價(jià)視為無(wú)效，鑒于此，筆者首先對(duì)評(píng)價(jià)數(shù)據(jù)中相對(duì)貢獻(xiàn)的有效率進(jìn)行統(tǒng)計(jì)，具體情況如圖4所示：

圖4　相對(duì)貢獻(xiàn)有效率統(tǒng)計(jì)

由圖4可以看出，就相對(duì)貢獻(xiàn)的有效率來(lái)說(shuō)，中國(guó)學(xué)生有效評(píng)價(jià)的占比要高于美國(guó)學(xué)生，二者之差為8%左右。由此可見，在評(píng)價(jià)分?jǐn)?shù)影響最終得分的情況下，中國(guó)學(xué)生的評(píng)價(jià)態(tài)度相對(duì)較好。

因?yàn)槎叩挠行式栽?0%以上，因此可進(jìn)行進(jìn)一步的對(duì)比分析。首先，筆者對(duì)兩國(guó)學(xué)生相對(duì)貢獻(xiàn)各分?jǐn)?shù)段的得分情況進(jìn)行統(tǒng)計(jì)，具體情況如圖5所示。

由圖5可以看出，在相對(duì)貢獻(xiàn)得分之和有明確限制的情況下，無(wú)論是中國(guó)學(xué)生還是美國(guó)學(xué)生，互評(píng)時(shí)都更傾向于給出接近平均分0的得分。但有所不同的是，美國(guó)學(xué)生的得分中，得分為平均分0的人數(shù)占比較多，緊接著則是得分為1的人數(shù)較多，而得分為3的人數(shù)則為零;而中國(guó)學(xué)生的得分中，則是得分為-1分的人數(shù)占比較多，接下來(lái)人數(shù)較多的得分為0分和1分，亦有個(gè)別人得分為3分。若按得分人數(shù)最多的一項(xiàng)進(jìn)行比較，則美國(guó)學(xué)生的為0分，中國(guó)學(xué)生的為-1分，除這兩項(xiàng)之外，其他各項(xiàng)的得分比例相差不是很大。

接著，筆者又對(duì)相對(duì)貢獻(xiàn)的自評(píng)得分進(jìn)行了統(tǒng)計(jì)與分析，具體情況如圖6所示。

由圖6可以看出，在自評(píng)得分中，兩國(guó)學(xué)生仍是傾向于給出接近于平均分的分?jǐn)?shù)，且都是0分和1分的占比較多，但可以明確的是，0分以上的占比明顯多于0分以下的占比。進(jìn)一步比較可發(fā)現(xiàn)，美國(guó)學(xué)生的自評(píng)得分中，仍然是得分為0的人數(shù)占比最多，而中國(guó)學(xué)生的則是得分為1分的占比最多，稍微多于得分為0的人數(shù)，且有接近于20%的人給自己的分?jǐn)?shù)是2分或3分，相較而言，美國(guó)學(xué)生自評(píng)時(shí)的高得分則較少。

為了進(jìn)一步了解兩國(guó)學(xué)生的自他評(píng)得分情況，筆者分別統(tǒng)計(jì)了兩國(guó)學(xué)生自他評(píng)中各分?jǐn)?shù)的得分率，具體情況如圖7、圖8所示。

由圖7和圖8可以看出，在兩國(guó)學(xué)生的自評(píng)與他評(píng)得分中，除美國(guó)學(xué)生得分為2分的是他評(píng)占比多于自評(píng)外，皆是得分為0分及以上的，自評(píng)占比多于他評(píng)占比，而0分以下的，則都是他評(píng)占比較多。由此可發(fā)現(xiàn)，不論是美國(guó)學(xué)生還是中國(guó)學(xué)生，在參與互評(píng)時(shí)，皆傾向于給出較高的自評(píng)分?jǐn)?shù)。羅恒等(2017)也指出，學(xué)生傾向給自己的作業(yè)更高分?jǐn)?shù)[18]。即學(xué)生很容易高估自己對(duì)小組的相對(duì)貢獻(xiàn)，故很難對(duì)自己的作業(yè)或表現(xiàn)給出一個(gè)相對(duì)公正合理的評(píng)價(jià)。

圖5　相對(duì)貢獻(xiàn)整體得分情況對(duì)比

圖6　相對(duì)貢獻(xiàn)自評(píng)得分情況對(duì)比

圖7　美國(guó)學(xué)生相對(duì)貢獻(xiàn)自他評(píng)得分情況對(duì)比

圖8　中國(guó)學(xué)生相對(duì)貢獻(xiàn)自他評(píng)得分情況對(duì)比

最后，為了進(jìn)一步明確兩國(guó)學(xué)生自他評(píng)得分之間的差異，筆者在SPSS中對(duì)兩國(guó)學(xué)生的自他評(píng)分?jǐn)?shù)進(jìn)行了配對(duì)樣本T檢驗(yàn)，具體分析結(jié)果如表2所示。

表2　自他評(píng)分?jǐn)?shù)配對(duì)樣本t檢驗(yàn)結(jié)果

由表2可以看出，兩組數(shù)據(jù)的分析結(jié)果皆是sig＜0.05，即可再次證明，兩國(guó)學(xué)生的自他評(píng)分?jǐn)?shù)之間皆是存在顯著性差異的。

4　研究結(jié)論及建議

從理論上來(lái)說(shuō)，同伴互評(píng)有較多優(yōu)勢(shì)，但是在實(shí)施的過(guò)程中，總會(huì)因?yàn)楦鞣N人為因素的影響，使其優(yōu)勢(shì)無(wú)法得到很好的體現(xiàn)。總體來(lái)說(shuō)，本文在一定程度上明確分析了同一同伴互評(píng)系統(tǒng)在中美兩國(guó)學(xué)生中應(yīng)用的異同點(diǎn)，具體表現(xiàn)在以下幾個(gè)方面：首先，在得分沒(méi)有明確限制且不影響最終成績(jī)的情況下，中國(guó)學(xué)生評(píng)價(jià)的有效性相對(duì)較低，即評(píng)價(jià)量表的作用沒(méi)有得到很好的體現(xiàn);其次，在明確告知相對(duì)貢獻(xiàn)影響最終成績(jī)的情況下，中國(guó)學(xué)生評(píng)價(jià)的有效性要高于美國(guó)學(xué)生;最后，在相對(duì)貢獻(xiàn)得分的統(tǒng)計(jì)中，不論是中國(guó)學(xué)生還是美國(guó)學(xué)生，皆是自評(píng)得分要明顯高于他評(píng)得分，從這一點(diǎn)來(lái)說(shuō)，兩國(guó)學(xué)生的表現(xiàn)是較為相似的。

鑒于此，筆者認(rèn)為在設(shè)計(jì)適用于我國(guó)學(xué)生的同伴互評(píng)系統(tǒng)時(shí)，應(yīng)注意以下幾個(gè)方面：首先，評(píng)價(jià)量表中的得分應(yīng)該納入到最終成績(jī)的計(jì)算體系中，可在一定程度上提升評(píng)價(jià)的有效性;其次，若有設(shè)置開放題，可將其設(shè)置為必填，以此來(lái)提升定性評(píng)價(jià)的完成率;再次，可適當(dāng)考慮對(duì)評(píng)價(jià)的評(píng)價(jià)，因?yàn)樵谖覈?guó)學(xué)生的評(píng)價(jià)中，即使是有內(nèi)容的評(píng)價(jià)，其有效性和針對(duì)性仍需進(jìn)一步提高，所以有必要對(duì)其進(jìn)行合理的反饋;最后，可設(shè)計(jì)一定的算法，來(lái)降低自評(píng)成績(jī)過(guò)高所帶來(lái)的影響，即自評(píng)過(guò)高時(shí)，可以在系統(tǒng)中設(shè)置減分這樣的懲戒措施，自評(píng)與他評(píng)吻合時(shí)，設(shè)置加分獎(jiǎng)勵(lì)措施，以此來(lái)提升學(xué)生自評(píng)與同伴互評(píng)的一致性。