杜盟 楊濤 辛濤

（北京師范大學(xué)，北京 100875）

在教育和工作中，協(xié)作問(wèn)題解決（collaborative problem solving）是一項(xiàng)十分重要的能力。在未來(lái)的職業(yè)生涯中，學(xué)生需要較強(qiáng)的團(tuán)隊(duì)協(xié)作能力，以解決工作中的難題[1]。不僅如此，協(xié)作問(wèn)題解決技能對(duì)于個(gè)人的活動(dòng)也至關(guān)重要。為此，2015年的國(guó)際學(xué)生評(píng)估項(xiàng)目（Program for International Student Assessment，PISA）進(jìn)行了協(xié)作問(wèn)題解決能力測(cè)試。協(xié)作問(wèn)題解決是交互的，在測(cè)試中既要考慮到學(xué)生如何理解問(wèn)題，又要兼顧學(xué)生與他人的互動(dòng)過(guò)程。協(xié)作問(wèn)題解決概念的核心是在團(tuán)隊(duì)中能夠熟練處理不同環(huán)境的新問(wèn)題，傳統(tǒng)的紙筆測(cè)驗(yàn)無(wú)法進(jìn)行此類過(guò)程性的評(píng)價(jià)。PISA2015基于計(jì)算機(jī)開(kāi)展協(xié)作問(wèn)題解決能力測(cè)試，是一項(xiàng)創(chuàng)新之舉。

1 PISA2015協(xié)作問(wèn)題解決能力測(cè)試框架

在PISA2012個(gè)人問(wèn)題解決的框架中，問(wèn)題背景（problem context）、問(wèn)題狀況的本質(zhì)（nature of problem situation）、問(wèn)題解決過(guò)程（problem solving process）是3個(gè)重要的概念[2]。PISA2015協(xié)作問(wèn)題解決能力測(cè)試沿用了PISA2012個(gè)人問(wèn)題解決中的問(wèn)題解決過(guò)程，即探索與理解、表征與制定、計(jì)劃與執(zhí)行以及監(jiān)控與反思[1]。此外，PISA2015協(xié)作問(wèn)題解決能力測(cè)試還涵蓋了協(xié)作能力的考查，并參照相關(guān)研究成果，提煉出協(xié)作問(wèn)題解決能力的3個(gè)核心特征，即建立并達(dá)成共識(shí)、采取合適的行動(dòng)解決問(wèn)題以及建立和維持團(tuán)隊(duì)組織形式[1]。在協(xié)作問(wèn)題解決中，考生必須同時(shí)展現(xiàn)個(gè)人問(wèn)題解決過(guò)程與協(xié)作問(wèn)題解決能力。4個(gè)問(wèn)題解決的過(guò)程與3種核心的協(xié)作問(wèn)題解決能力交織形成了12種類型的技能矩陣。在協(xié)作問(wèn)題解決能力測(cè)試中，每道題目都會(huì)考查一個(gè)或者多個(gè)技能，通過(guò)安排多種任務(wù)最后完成上述12種能力的測(cè)評(píng)。

2 PISA2015協(xié)作問(wèn)題解決能力測(cè)試的工具分析

2.1 PISA2015協(xié)作問(wèn)題解決能力測(cè)試的結(jié)構(gòu)

PISA2015共開(kāi)發(fā)了3套測(cè)試考生協(xié)作問(wèn)題解決能力的測(cè)驗(yàn)，每個(gè)測(cè)驗(yàn)都由一些單元（unit）組成，每個(gè)單元的設(shè)計(jì)均為考生與計(jì)算機(jī)“代理人”互動(dòng)的場(chǎng)景。這些單元的題目通常需要在固定的時(shí)間（5～20 min）內(nèi)作答完畢，每個(gè)單元可以由多個(gè)部分（part）組成，每個(gè)部分包括10～30道題目。有些題目要求考生通過(guò)點(diǎn)擊某個(gè)選項(xiàng)實(shí)現(xiàn)與“代理人”的對(duì)話，另一些題目則要求考生點(diǎn)擊某個(gè)區(qū)域并根據(jù)與“代理人”合作收集的信息提供問(wèn)題的解決方案。

2.2 PISA2015協(xié)作問(wèn)題解決能力測(cè)試的“代理人”設(shè)計(jì)

在PISA2015協(xié)作問(wèn)題解決能力測(cè)試中，計(jì)算機(jī)“代理人”扮演了很重要的角色。這里，“代理人”指的是人類或計(jì)算機(jī)模擬的參與者。這2種情況的“代理人”都能夠生成目標(biāo)，執(zhí)行操作，傳達(dá)消息，對(duì)來(lái)自其他參與者的消息作出反應(yīng)，還能感知、適應(yīng)不斷變化的環(huán)境[3]。選擇計(jì)算機(jī)“代理人”與考生進(jìn)行互動(dòng)的原因是，計(jì)算機(jī)“代理人”更能被精確地控制，并改變其狀態(tài)與特征，從而保證測(cè)試的可操作性，在有效的時(shí)間內(nèi)考查考生協(xié)作問(wèn)題解決能力的各個(gè)方面。每個(gè)單元都會(huì)有一個(gè)或更多的“代理人”與考生合作，考生或“代理人”在每個(gè)問(wèn)題階段下的交流與操作都會(huì)被預(yù)先確定，從而確保能夠客觀評(píng)價(jià)考生所有的作答反應(yīng)。不同考生的反應(yīng)可能會(huì)導(dǎo)致“代理人”選擇不同的談話路徑或不同的操作，例如，“代理人”可以根據(jù)考生的選擇增加或減少任務(wù)，或者根據(jù)考生的請(qǐng)求額外提供一些信息。

為在不同的環(huán)境中考查考生的協(xié)作問(wèn)題解決能力，考生需與不同的“代理人”合作，從而覆蓋協(xié)作問(wèn)題解決能力中的各項(xiàng)技能。例如，一道題目要求考生監(jiān)督其他“代理人”的工作，當(dāng)“代理人”偏離任務(wù)時(shí)，考生應(yīng)提醒他根據(jù)任務(wù)要求進(jìn)行討論，并提供一些反饋信息使其明確討論的重點(diǎn)。這道題目測(cè)量考生協(xié)作問(wèn)題解決中監(jiān)控、提供反饋以及適應(yīng)團(tuán)隊(duì)組織和角色的技能。有的任務(wù)還涉及高協(xié)作性“代理人”（支持、贊揚(yáng)其他團(tuán)隊(duì)成員）或低協(xié)作性“代理人”（打斷、否定其他團(tuán)隊(duì)成員）與考生產(chǎn)生意見(jiàn)不一致的情境，如2個(gè)“代理人”都達(dá)成了一致的想法，但是這個(gè)想法違背了任務(wù)要求，此時(shí)考生需要提醒團(tuán)隊(duì)成員按照既定的標(biāo)準(zhǔn)完成任務(wù)。這道題目考查考生協(xié)作問(wèn)題解決中監(jiān)控和完善共同理解的技能[4]。

2.3 PISA2015協(xié)作問(wèn)題解決能力測(cè)試的題目設(shè)計(jì)

PISA2015協(xié)作問(wèn)題解決能力測(cè)試中有一個(gè)標(biāo)題為The Visit的單元[4]，包括3部分44道題目，考生平均完成的時(shí)間為17分鐘。該單元的任務(wù)情境是一群國(guó)際學(xué)生來(lái)參觀學(xué)校，考生必須與3名代理隊(duì)員合作，計(jì)劃參觀的景點(diǎn)，為參觀者分配導(dǎo)游，解決突發(fā)事件。相關(guān)題目會(huì)顯示在計(jì)算機(jī)界面上，界面的左側(cè)是聊天區(qū)域，下方呈現(xiàn)了一組聊天選項(xiàng)，考生需要選擇最合適的語(yǔ)句與“代理人”進(jìn)行對(duì)話。隨后，選擇的選項(xiàng)會(huì)呈現(xiàn)在上方的聊天記錄中，“代理人”會(huì)根據(jù)考生的選項(xiàng)主動(dòng)作出回應(yīng)，學(xué)生也可以滾動(dòng)瀏覽歷史記錄以獲取需要的信息。因?yàn)榭忌诿康李}目上的選擇不盡相同，所以一個(gè)單元最終會(huì)有多條的路徑結(jié)果。為了防止任何不正確或欠佳的選擇影響學(xué)生在任務(wù)中的進(jìn)展，每個(gè)單元都設(shè)計(jì)了救援代理以更改團(tuán)隊(duì)的行動(dòng)進(jìn)程，確保測(cè)評(píng)能繼續(xù)進(jìn)行[5]。界面的右邊是任務(wù)區(qū)域，在該區(qū)域?qū)W生可以查看“代理人”的筆記，關(guān)注任務(wù)的進(jìn)度，為完成任務(wù)進(jìn)行各項(xiàng)操作。

PISA2015協(xié)作問(wèn)題解決能力的題目設(shè)計(jì)具有以下特點(diǎn)：1）互動(dòng)性?？忌ㄟ^(guò)與“代理人”溝通交流，可以實(shí)現(xiàn)信息的共享與交換。在交換信息的過(guò)程中，考生更易發(fā)現(xiàn)自己的問(wèn)題，從而有效地解決問(wèn)題。2）多樣性。題目不僅包含了多種任務(wù)類型，如拼圖（jigsaw）、建立共識(shí)（consensus-building）與協(xié)商（negotiation），而且問(wèn)題的解決方案也不止一種，在達(dá)成最終的解決方案前考生可以作出不同的決定。3）真實(shí)性。所有的任務(wù)均為真實(shí)的生活場(chǎng)景，如帶領(lǐng)外國(guó)同學(xué)參觀景點(diǎn)，回答某個(gè)國(guó)家的地理、人口與經(jīng)濟(jì)學(xué)的相關(guān)問(wèn)題等，使得測(cè)評(píng)可以更加接近學(xué)生的真實(shí)技能。4）動(dòng)態(tài)性。學(xué)生和小組成員不是在一開(kāi)始就接收到所有的問(wèn)題解決信息，而是隨著場(chǎng)景與問(wèn)題的展開(kāi)陸續(xù)地收到重要信息，不同的狀態(tài)對(duì)應(yīng)的題目難度也不盡相同。這種設(shè)計(jì)更能反映出不同水平考生的協(xié)作問(wèn)題解決能力。

3 基于計(jì)算機(jī)的協(xié)作問(wèn)題解決能力測(cè)試的特點(diǎn)

3.1 公平性

協(xié)作問(wèn)題解決的本質(zhì)是團(tuán)隊(duì)成員間的相互依賴，成功解決問(wèn)題很大程度上依賴于每一個(gè)團(tuán)隊(duì)成員的合作努力。在測(cè)試環(huán)境中，考生如果被分到一個(gè)有問(wèn)題的小組，那么這個(gè)小組就會(huì)對(duì)這位考生的成績(jī)有十分消極的影響。有研究表明，小組的構(gòu)成對(duì)于考生的成績(jī)有很大的影響，特別是性別的平衡、能力、個(gè)性與地位特點(diǎn)[6-8]。為確保測(cè)驗(yàn)的公平性，需要將每一位考生匹配到具有相同數(shù)量的成員組，且這些成員的能力是在相同的范圍內(nèi)。PISA測(cè)試作為國(guó)際大規(guī)模測(cè)試，很難隨機(jī)匹配到具有上述要求的真實(shí)考生。因此，用計(jì)算機(jī)“代理人”作為測(cè)評(píng)協(xié)作問(wèn)題解決能力的方法可以確保整個(gè)團(tuán)隊(duì)成員的能力都在一定范圍內(nèi)，在實(shí)現(xiàn)了測(cè)驗(yàn)公平性的同時(shí)，也確保了測(cè)驗(yàn)的高度標(biāo)準(zhǔn)化。

3.2 全面性

基于計(jì)算機(jī)的協(xié)作問(wèn)題解決能力測(cè)試可以確?？忌投喾N類型的小組進(jìn)行工作，從而可以測(cè)評(píng)出學(xué)生更多的能力。傳統(tǒng)的人與人合作的表現(xiàn)性評(píng)價(jià)形式導(dǎo)致考生面對(duì)的小組成員是固定且有限的，只能在一個(gè)情境中考查學(xué)生的協(xié)作問(wèn)題解決能力；而基于計(jì)算機(jī)測(cè)試的這種形式會(huì)生成不同類型（如高協(xié)作型和低協(xié)作型）的計(jì)算機(jī)“代理人”，他們可以在不同情境與不同任務(wù)類型中與考生進(jìn)行團(tuán)隊(duì)合作。在執(zhí)行任務(wù)時(shí)，計(jì)算機(jī)系統(tǒng)還會(huì)給考生設(shè)定不同的任務(wù)角色，如某個(gè)任務(wù)可能要求考生扮演監(jiān)督“代理人”的角色，其他的任務(wù)可能是學(xué)生和“代理人”產(chǎn)生分歧的同伴角色，相比于傳統(tǒng)的人人互動(dòng)，計(jì)算機(jī)測(cè)試可以更全面考查學(xué)生的協(xié)作問(wèn)題解決能力。

3.3 高效性

當(dāng)考生與其他真實(shí)的學(xué)生相互合作時(shí)，通常會(huì)需要相當(dāng)長(zhǎng)的時(shí)間來(lái)介紹活動(dòng)的要求，討論合作任務(wù)的性質(zhì)并分配任務(wù)角色。同時(shí)，小組成員間還可能需要花費(fèi)大量的時(shí)間來(lái)追求一個(gè)徒勞的問(wèn)題解決路徑。在基于計(jì)算機(jī)測(cè)評(píng)的過(guò)程中，“挽救代理人”會(huì)通過(guò)有策略性的對(duì)話管理，快速融入到合作情境中來(lái)實(shí)現(xiàn)合作互動(dòng)的嚴(yán)格控制，從而能夠在測(cè)試時(shí)間有限的情況下獲得大量的有效評(píng)估事件。例如，當(dāng)小組把太多的時(shí)間花費(fèi)在一個(gè)無(wú)意義的解決路徑上時(shí)，“挽救代理人”會(huì)重新調(diào)整小組行動(dòng)方案的方向，確保測(cè)試未偏離最初的測(cè)試目的，以高效準(zhǔn)確地測(cè)試學(xué)生的協(xié)作問(wèn)題解決能力。

4 啟示

PISA2015年對(duì)于學(xué)生的協(xié)作問(wèn)題解決能力的測(cè)評(píng)完全脫離了傳統(tǒng)的紙筆測(cè)驗(yàn)，且全部題目均以基于計(jì)算機(jī)化的形式呈現(xiàn)。反觀目前我國(guó)的大規(guī)模教育質(zhì)量測(cè)評(píng)形式，主要還是集中在紙筆測(cè)驗(yàn)，未來(lái)可以考慮根據(jù)不同的測(cè)驗(yàn)?zāi)繕?biāo)開(kāi)展不同形式的測(cè)驗(yàn)，以更加全面地測(cè)評(píng)出學(xué)生的表現(xiàn)，進(jìn)而準(zhǔn)確地評(píng)估學(xué)生在某一方面的真實(shí)能力。

PISA2015協(xié)作問(wèn)題解決能力測(cè)試在題目的設(shè)計(jì)上采用短語(yǔ)對(duì)話的方式來(lái)進(jìn)行考生和計(jì)算機(jī)代理之間的交流（預(yù)設(shè)的固定單詞和短語(yǔ)在每個(gè)情境下以菜單的形式顯示，考生通過(guò)選擇這些單詞和短語(yǔ)來(lái)構(gòu)建對(duì)話）。這種設(shè)計(jì)可以避免考生把大量的時(shí)間花費(fèi)在無(wú)意義的對(duì)話上，且設(shè)置的對(duì)話均與某種協(xié)作問(wèn)題解決的能力相關(guān)，使得測(cè)驗(yàn)可以高效地進(jìn)行。而且，固定的短語(yǔ)選項(xiàng)保證了評(píng)分的客觀性，明確的材料與簡(jiǎn)短的任務(wù)描述均可減少考生對(duì)于閱讀熟練程度的依賴性，保證了測(cè)驗(yàn)的公平。我國(guó)在進(jìn)行大規(guī)模的能力測(cè)驗(yàn)時(shí)也可以借鑒這種題目的呈現(xiàn)方式，從而保證測(cè)驗(yàn)的效率、客觀性與公平性。

此外，我國(guó)在進(jìn)行大規(guī)模監(jiān)測(cè)時(shí)需加強(qiáng)測(cè)量理論與信息技術(shù)的融合，加入人工智能等高新科技來(lái)實(shí)現(xiàn)監(jiān)測(cè)技術(shù)的變革與創(chuàng)新，使我國(guó)的教育質(zhì)量評(píng)估在學(xué)生眼中不再是枯燥的考試，而是讓他們樂(lè)在其中并不斷獲得知識(shí)的游戲，進(jìn)而提高學(xué)生的投入度與參與度，真實(shí)有效地達(dá)到測(cè)試目的。