王玉 首新 林長春

摘要： 與一般的創(chuàng)造性思維測(cè)評(píng)量表相比，PISA2021創(chuàng)造性思維有其獨(dú)特的評(píng)分方式。該評(píng)分方式具有標(biāo)準(zhǔn)的評(píng)分規(guī)定體系，從“產(chǎn)生多樣性想法”“產(chǎn)生創(chuàng)造性想法”“評(píng)價(jià)和改進(jìn)想法”三個(gè)維度進(jìn)行評(píng)分，涉及“文字表達(dá)”“視覺表達(dá)”“科學(xué)問題解決”“社會(huì)問題解決”等四個(gè)領(lǐng)域的任務(wù)分配，具有評(píng)分規(guī)定標(biāo)準(zhǔn)化、重視評(píng)分者信度、開放性任務(wù)和靈活的評(píng)分方式等特點(diǎn)。PISA2021創(chuàng)造性思維評(píng)分邏輯對(duì)于我國義務(wù)教育科學(xué)教育質(zhì)量監(jiān)測(cè)如何融入創(chuàng)造性思維具有啟發(fā)意義。

關(guān)鍵詞： 創(chuàng)造性思維; PISA2021; 評(píng)分方式; 評(píng)分邏輯

文章編號(hào)： 10056629（2020）12007207

中圖分類號(hào)： G6338

文獻(xiàn)標(biāo)識(shí)碼： B

1引言

PISA是由經(jīng)濟(jì)合作與發(fā)展組織（OECD）開發(fā)的三年一次的國際學(xué)生評(píng)估項(xiàng)目，包含閱讀、數(shù)學(xué)和科學(xué)三大核心測(cè)試領(lǐng)域。該項(xiàng)目于2000年第一次實(shí)施，測(cè)試對(duì)象為15周歲的青少年，其目的是衡量學(xué)生在閱讀、數(shù)學(xué)和科學(xué)素養(yǎng)、調(diào)節(jié)學(xué)習(xí)的能力、對(duì)不同科目的興趣、自我效能、自我概念、自尊以及社會(huì)經(jīng)濟(jì)背景等領(lǐng)域的成績[1]。同時(shí)，PISA也會(huì)對(duì)家長、教師和學(xué)校領(lǐng)導(dǎo)進(jìn)行相關(guān)的問卷調(diào)查，以確保從多個(gè)方面多個(gè)層次來分析其影響因素。PISA一直著重于學(xué)生對(duì)所學(xué)知識(shí)的運(yùn)用和各方面素養(yǎng)的發(fā)展，而不是簡單地復(fù)制課堂所學(xué)知識(shí)。在原有的基礎(chǔ)上，PISA陸續(xù)加入了問題解決能力測(cè)評(píng)（2003）、數(shù)字化測(cè)評(píng)（2009）、財(cái)經(jīng)素養(yǎng)測(cè)評(píng)（2012）、合作問題測(cè)評(píng)（2015）、全球勝任力測(cè)評(píng)（2018），在全世界引起了廣泛關(guān)注和強(qiáng)烈反響，并在即將到來的PISA2021中增加了創(chuàng)造性思維測(cè)評(píng)。國際上對(duì)PISA數(shù)據(jù)的信息價(jià)值達(dá)成了普遍共識(shí)，經(jīng)合組織通過PISA已影響到國家一級(jí)的教育決策[2]。

創(chuàng)造性思維是建立在想象力、遺傳與天賦、智商、思維聯(lián)結(jié)的基礎(chǔ)上，進(jìn)而發(fā)展為強(qiáng)調(diào)獨(dú)創(chuàng)性、發(fā)散性和適切性的一種原生性思維[3]。20世紀(jì)中期，吉爾福特發(fā)表了關(guān)于“創(chuàng)造力”的報(bào)告，創(chuàng)造性思維作為創(chuàng)造力的主要因素被大量研究和探討。2010年經(jīng)合組織在頒布的《OECD創(chuàng)新戰(zhàn)略： 從明日起搶占先機(jī)》中，也強(qiáng)調(diào)了創(chuàng)造性思維的重要性。創(chuàng)新的核心是創(chuàng)造性人才，而創(chuàng)造性人才的核心是人的創(chuàng)造性思維[4]。創(chuàng)造性思維可以促進(jìn)個(gè)人能力，如元認(rèn)知能力、問題解決能力、人際關(guān)系能力等，也能在科學(xué)、技術(shù)、哲學(xué)、藝術(shù)等多個(gè)領(lǐng)域中產(chǎn)生推動(dòng)社會(huì)發(fā)展的創(chuàng)新想法和見解。創(chuàng)造性思維是一種具體的能力，是人們均可擁有的，這一點(diǎn)為創(chuàng)造性思維的測(cè)評(píng)奠定了基礎(chǔ)。

PISA2021關(guān)注創(chuàng)造性思維測(cè)評(píng)，這將為大規(guī)模的創(chuàng)造性思維理論與實(shí)踐研究提供范例。本文在介紹PISA2021創(chuàng)造性思維測(cè)評(píng)框架的基礎(chǔ)上，著重介紹其評(píng)分方式，進(jìn)一步分析其評(píng)分邏輯，為我國義務(wù)教育階段科學(xué)教育質(zhì)量監(jiān)測(cè)提供參考。

2PISA2021創(chuàng)造性思維測(cè)評(píng)框架

OECD教育研究與創(chuàng)新中心（Centre for Educational Research and Innovation， CERI）發(fā)布的《PISA2021創(chuàng)造性思維框架草案（第三版）》中對(duì)創(chuàng)造性思維定義為“能夠有效地參與創(chuàng)意的產(chǎn)生、評(píng)估和改進(jìn)，能夠生成新穎的方案，并能夠促進(jìn)知識(shí)進(jìn)步和想象力表達(dá)的一種能力”[5]。這個(gè)定義強(qiáng)調(diào)了所有學(xué)生都需要有效地參與產(chǎn)生想法的實(shí)踐，重視想法的相關(guān)性和新穎性，并且能夠通過反復(fù)思考得到有效且滿意的結(jié)果。傳統(tǒng)的二分法將創(chuàng)造力的研究分為日常創(chuàng)造性（LittleC）和創(chuàng)造性成就（BigC）。LittleC幾乎人人都具有，包含的是普通人平常生活的各個(gè)方面，如人們把易拉罐做成洗澡的噴頭就屬于這種創(chuàng)造力;BigC只有偉人才具備，一般解決特別難的問題，或者創(chuàng)造出天才的作品，如愛因斯坦提出相對(duì)論、達(dá)·芬奇的藝術(shù)創(chuàng)作等都能體現(xiàn)出該創(chuàng)造力[6]。文獻(xiàn)一致認(rèn)為，LittleC創(chuàng)造力可以通過實(shí)踐來發(fā)展，通過教育來磨煉。因此，PISA2021創(chuàng)造性思維測(cè)試將側(cè)重于與LittleC創(chuàng)造力相關(guān)的任務(wù)，盡可能地降低先天才能對(duì)其表現(xiàn)的影響，更加重視個(gè)人參與創(chuàng)造性思維的可塑性。

PISA2021創(chuàng)造性思維測(cè)評(píng)框架包含“課堂上創(chuàng)造性思維的影響因素和表現(xiàn)形式關(guān)系模型”以及“創(chuàng)造性思維測(cè)試的能力模型”這兩大模型?！罢n堂上創(chuàng)造性思維的影響因素和表現(xiàn)形式關(guān)系模型”建立在2017年經(jīng)合組織提出的創(chuàng)造性思維五維模型的基礎(chǔ)上，由個(gè)人因素、社會(huì)因素、成就與進(jìn)展這3個(gè)方面所組成[7]?！吧鐣?huì)因素”會(huì)對(duì)另外兩個(gè)方面產(chǎn)生影響，而“個(gè)人因素”同“成就與進(jìn)展”兩者之間會(huì)相互影響。其中，個(gè)人因素包含6個(gè)要素： 認(rèn)知技能、領(lǐng)域準(zhǔn)備、開放性、協(xié)作、目標(biāo)導(dǎo)向和自我信念、任務(wù)動(dòng)機(jī);社會(huì)因素包含3個(gè)要素： 文化規(guī)范和期望、教育方法、學(xué)校和課堂氣氛;表現(xiàn)形式（成就與進(jìn)展）包含3個(gè)方面： 創(chuàng)造性表達(dá)、知識(shí)創(chuàng)造、創(chuàng)造性地解決問題。“創(chuàng)造性思維測(cè)試的能力模型”涉及四領(lǐng)域三維度：“四領(lǐng)域”包括文字表達(dá)、視覺表達(dá)、科學(xué)問題解決和社會(huì)問題解決;“三維度”分別是： 產(chǎn)生多樣性想法、產(chǎn)生創(chuàng)造性想法、評(píng)價(jià)和改進(jìn)想法。PISA2021創(chuàng)造性思維測(cè)評(píng)框架具有較強(qiáng)的可實(shí)施性和指向性，為測(cè)評(píng)高階思維能力提供了新的模式。

3PISA2021創(chuàng)造性思維測(cè)評(píng)評(píng)分方式

3.1評(píng)分規(guī)定體系

PISA2021創(chuàng)造性思維測(cè)評(píng)基于測(cè)評(píng)指標(biāo)和任務(wù)，構(gòu)建了具備可實(shí)施性的評(píng)分規(guī)定體系。該體系圍繞“四領(lǐng)域三維度”進(jìn)行任務(wù)分配，并以三維度作為評(píng)分切入點(diǎn)。在三維度中，第一個(gè)維度是“產(chǎn)生多樣性想法”，側(cè)重于學(xué)生跨領(lǐng)域靈活思考的能力，注重所產(chǎn)生想法的多樣性和靈活性;第二個(gè)維度是“產(chǎn)生創(chuàng)造性想法”，該維度的評(píng)估建立在同一測(cè)試中其他學(xué)生的反應(yīng)基礎(chǔ)上，更側(cè)重于學(xué)生尋找合適且原創(chuàng)方法的能力;第三個(gè)維度是“評(píng)價(jià)和改進(jìn)想法”，側(cè)重于學(xué)生對(duì)想法進(jìn)行評(píng)估和改進(jìn)的能力，達(dá)到對(duì)想法中的缺陷進(jìn)行改進(jìn)的目的。PISA2021根據(jù)三個(gè)維度之間不同的考查要求，制定了不同的評(píng)分方式，具有較強(qiáng)的實(shí)際操作性。例如“產(chǎn)生創(chuàng)造性想法”這一維度主要考查學(xué)生的回答是否“原創(chuàng)”，要求評(píng)分者對(duì)其進(jìn)行判斷和評(píng)分，在這一過程中編碼指南也為其提供了足夠多的示例，而不是單一的標(biāo)準(zhǔn)答案，這使得評(píng)分過程更加靈活。同時(shí)，該評(píng)分體系能很好地指導(dǎo)評(píng)分者依據(jù)編碼指南對(duì)學(xué)生的回答進(jìn)行判斷，重視評(píng)分者之間的信度來確保評(píng)分的合理性。

3.2任務(wù)分配

PISA測(cè)評(píng)的一個(gè)重要目的是在國家間進(jìn)行標(biāo)準(zhǔn)化的比較，但人與人對(duì)話互動(dòng)中的不確定性以及多國語言的自然語言處理，給測(cè)試的標(biāo)準(zhǔn)化結(jié)果帶來很大挑戰(zhàn)[8]?；谄淇尚行缘目紤]，PISA2021創(chuàng)造性思維測(cè)評(píng)將基于計(jì)算機(jī)交互模式，測(cè)試時(shí)常為1個(gè)小時(shí)，題型分為選擇題、建構(gòu)題和交互式仿真任務(wù)。PISA2021創(chuàng)造性思維測(cè)評(píng)圍繞“四領(lǐng)域三維度”來進(jìn)行任務(wù)分配，四領(lǐng)域所包含的任務(wù)均屬于“LittleC”范疇。其中“文字表達(dá)”“視覺表達(dá)”這兩個(gè)領(lǐng)域側(cè)重于“創(chuàng)造性的表達(dá)”，強(qiáng)調(diào)創(chuàng)造性思維參與個(gè)人內(nèi)心世界與他人進(jìn)行交流的過程。而“科學(xué)問題解決”和“社會(huì)問題解決”這兩個(gè)領(lǐng)域則側(cè)重于知識(shí)創(chuàng)造與創(chuàng)造性問題解決。為了維持領(lǐng)域之間的平衡，雖然每個(gè)領(lǐng)域內(nèi)包含多重任務(wù)，但四個(gè)領(lǐng)域所分配的任務(wù)比例均為25%，而三個(gè)維度之間任務(wù)的分配有些許差異，其中“產(chǎn)生多樣性想法”測(cè)試占比40%，剩下的兩個(gè)維度則均占比30%（見圖1）。

3.3評(píng)分方式

本次創(chuàng)造性思維測(cè)評(píng)由于其自身的獨(dú)特性，尤其是開放式任務(wù)，必須使用適合所有參與國文化、語言以及人工評(píng)分的方法，使得測(cè)評(píng)評(píng)分存在很大的挑戰(zhàn)。PISA2021創(chuàng)造性思維測(cè)評(píng)構(gòu)建的題型與能力模型的四領(lǐng)域相對(duì)應(yīng)，但不是每個(gè)領(lǐng)域都完全包含3種題型，并

且在題型的分布上也有一定差異，不過相同的題型都遵循相同的格式和編碼過程。回答的確切形式（如標(biāo)題、解決方案、設(shè)計(jì)）因領(lǐng)域和任務(wù)而有差異，導(dǎo)致學(xué)生的回答在形式上也有所不同，評(píng)估回答的多樣性和創(chuàng)造性的具體標(biāo)準(zhǔn)也將不同（見圖2）。

在“產(chǎn)生多樣性想法”這一維度，學(xué)生的回答不能是單一的，通常需要兩個(gè)或三個(gè)回答。這些項(xiàng)目的編碼過程有兩個(gè)步驟： 一是確定學(xué)生的回答是否“適當(dāng)”。對(duì)于特定的任務(wù)，“適當(dāng)”可以理解為與特定任務(wù)內(nèi)容相關(guān)。這意味著需要排除“不適當(dāng)”的回答： 刪除沒有意義的文本條目（例如隨機(jī)打字）、不尊重任務(wù)形式的文本條目（例如要求設(shè)計(jì)一個(gè)標(biāo)題，學(xué)生卻給出的是故事創(chuàng)意）、與任務(wù)完全無關(guān)的條目（如任務(wù)要求學(xué)生提出節(jié)約用水的創(chuàng)新建議，卻輸入“多吃櫻桃派”等毫無關(guān)聯(lián)的內(nèi)容）;二是確定回答之間是否“足夠不同”。編碼指南為四領(lǐng)域的任務(wù)提供了可以被判斷為不同答案的樣例，并且提供了界定兩個(gè)回答是否足夠不同的客觀標(biāo)準(zhǔn)： （1）在“文字表達(dá)”領(lǐng)域中要求學(xué)生設(shè)計(jì)不同標(biāo)題，可以用是否使用同義詞來進(jìn)行判斷，若兩個(gè)標(biāo)題僅僅是進(jìn)行了同義詞的替換，則不符合要求;（2）在“視覺表達(dá)”領(lǐng)域中要求學(xué)生創(chuàng)建節(jié)日標(biāo)志，判斷標(biāo)準(zhǔn)是兩個(gè)節(jié)日標(biāo)志是否使用不同的形狀組合起來以生成不同的圖像;（3）對(duì)于“社會(huì)和科學(xué)問題解決”這兩個(gè)領(lǐng)域的任務(wù)，編碼指南中將會(huì)列出預(yù)先定義的“不同類別”的回答，來幫助評(píng)分人員進(jìn)行判斷： 如在要求學(xué)生提出節(jié)約用水方法的任務(wù)中，“短時(shí)間淋浴”和“對(duì)生活用水進(jìn)行二次利用”則屬于不同類別。

在“產(chǎn)生創(chuàng)造性想法”這一維度，通常只要求學(xué)生提供一個(gè)回答。根據(jù)具體的領(lǐng)域和任務(wù)，這些回答在形式上有所不同，可能是一個(gè)短篇故事的想法，一個(gè)社會(huì)問題或一個(gè)科學(xué)研究問題的解決方案。這個(gè)項(xiàng)目的編碼過程有三個(gè)步驟，第一個(gè)步驟同“產(chǎn)生多樣性想法”這一維度相同，均是確定學(xué)生的回答是否“適當(dāng)”。之后的環(huán)節(jié)要求編碼器必須確定回答是否為“原創(chuàng)”，確定“原創(chuàng)”有兩個(gè)步驟： （1）確定主題是否原創(chuàng)。編碼指南中包含了每項(xiàng)任務(wù)最常規(guī)的主題列表，如果一個(gè)適當(dāng)?shù)幕卮鸩环狭谐龅某Ｒ?guī)主題之一，則被編碼為原創(chuàng)的;（2）判斷方法是否原創(chuàng)。編碼指南為每個(gè)任務(wù)提供了原創(chuàng)方法的例子，如果回答包含在編碼指南最常規(guī)的方法列表中，但是它包含原創(chuàng)方法，則在編碼過程的下一步中它仍然可以被認(rèn)為是“原創(chuàng)”的。原創(chuàng)方法可以是通過一些創(chuàng)新方式增強(qiáng)問題解決方案的可實(shí)施性，或者在設(shè)計(jì)中使用普通圖像但以新的方式呈現(xiàn)等。在確定一個(gè)回答是否為“原創(chuàng)”時(shí)，建立雙重標(biāo)準(zhǔn)也是為了確保同時(shí)考慮到創(chuàng)意概念（主題）和創(chuàng)意實(shí)現(xiàn)（方法）的原創(chuàng)性。編碼指南提供的常規(guī)主題列表和原始方法示例都來源于實(shí)證研究中對(duì)學(xué)生真實(shí)回答的分析，這些列表將在進(jìn)行現(xiàn)場(chǎng)試驗(yàn)后進(jìn)一步更新，以確保能夠反映不同參與國或地區(qū)學(xué)生的常規(guī)回答。雖然這種給原創(chuàng)性打分的方法可能無法讓最有創(chuàng)造性的回答脫穎而出，但它有一個(gè)明顯的優(yōu)勢(shì)，就是不會(huì)受到偏愛中間點(diǎn)或極端點(diǎn)的評(píng)分方式的影響。

同樣地，在“評(píng)估與改進(jìn)想法”這一維度，通常也只要求學(xué)生提供一個(gè)回答。任務(wù)通常要求學(xué)生以一種新穎的方式改變一個(gè)給定的想法。任務(wù)的形式也可能有所不同： 一個(gè)創(chuàng)意的故事結(jié)尾，一個(gè)改進(jìn)的設(shè)計(jì)，一個(gè)讓社交活動(dòng)更有趣的創(chuàng)意，或者讓技術(shù)發(fā)明更有用或更具創(chuàng)新性的方法。首先是確定學(xué)生的回答是否“適當(dāng)”，這里的“適當(dāng)”不僅僅要求與任務(wù)形式是相關(guān)的，還得是一種改進(jìn)。編碼指南針對(duì)任務(wù)的具體情境，提供了不同類型的改進(jìn)回答作為解釋和示例，之后編碼器將會(huì)根據(jù)編碼指南確定回答是否為“原創(chuàng)的改進(jìn)”。如果改進(jìn)的回答與列出的常規(guī)改進(jìn)不一致，那么它將被判斷為是原創(chuàng)的;如果改進(jìn)的類型是常規(guī)的，但是實(shí)施的方法或?qū)?chuàng)意的描述包含原創(chuàng)元素，那么評(píng)分者仍可以將回答編碼為原創(chuàng)。

然后評(píng)分員根據(jù)每個(gè)維度的評(píng)分標(biāo)準(zhǔn)對(duì)學(xué)生的回答進(jìn)行判斷，并給予分?jǐn)?shù)。任務(wù)屬于“產(chǎn)生多樣性想法”這一維度，若學(xué)生所有回答均“適當(dāng)”且“足夠不同”，則為滿分;若只有兩個(gè)或三個(gè)答案是合適的，且只有兩個(gè)“足夠不同”，則部分給分;其他情況，則為零分。另外兩個(gè)維度的任務(wù)評(píng)分類似，若回答既“適當(dāng)”又符合“原創(chuàng)”，則為滿分;若僅僅只是符合“適當(dāng)”這一個(gè)條件，則部分給分;其余情況，則為零分。

4案例分析

PISA2021提供了測(cè)試樣題，四個(gè)領(lǐng)域分別設(shè)置不同類型、不同主題的認(rèn)知測(cè)試單元，每個(gè)單元的樣題基本涉及三個(gè)維度的考查。

“文字表達(dá)”領(lǐng)域示例單元的主題是“根據(jù)圖片創(chuàng)造故事”，這個(gè)單元不需要高水平的先驗(yàn)知識(shí)，但是學(xué)生的表達(dá)能力會(huì)影響學(xué)習(xí)成績。三個(gè)任務(wù)分別是： 要求學(xué)生根據(jù)圖片創(chuàng)造出2個(gè)不同的故事、要求學(xué)生根據(jù)6張圖片寫一個(gè)創(chuàng)造性的故事、要求學(xué)生根據(jù)朋友寫的故事對(duì)其進(jìn)行創(chuàng)意續(xù)寫，這三個(gè)任務(wù)與三個(gè)維度一一對(duì)應(yīng)。

“社會(huì)問題解決”領(lǐng)域的示例單元主題為“節(jié)約用水的社會(huì)問題”，其任務(wù)包括： 描述3種不同的節(jié)約用水途徑、想出1個(gè)創(chuàng)造性的方法向潛在用戶宣傳該應(yīng)用程序、對(duì)應(yīng)用程序想出1個(gè)改進(jìn)方法，這三個(gè)任務(wù)與三個(gè)維度一一對(duì)應(yīng)。

“科學(xué)問題解決”領(lǐng)域的主題為“對(duì)標(biāo)準(zhǔn)自行車進(jìn)行改造”，本單元避免了形成封閉式問題的單一解決方案，需要學(xué)生進(jìn)行開放式回答，找到有創(chuàng)意的解決方案。首先要求學(xué)生想出3種標(biāo)準(zhǔn)自行車改進(jìn)方案;其次要求學(xué)生對(duì)自行車防盜裝置進(jìn)行改進(jìn);最后要求學(xué)生想出一個(gè)重新使用自行車踏板的新穎方案，這三個(gè)任務(wù)同樣與三個(gè)維度一一對(duì)應(yīng)。

“視覺表達(dá)”領(lǐng)域示例單元的主題為“利用虛擬畫圖工具設(shè)計(jì)美食節(jié)標(biāo)志”，前兩個(gè)任務(wù)要求學(xué)生分別設(shè)計(jì)2個(gè)不同的節(jié)日標(biāo)志，屬于“產(chǎn)生多樣性想法”維度。最后一個(gè)任務(wù)要求學(xué)生根據(jù)美食節(jié)主題改進(jìn)之前設(shè)計(jì)的標(biāo)志，屬于“評(píng)估與改進(jìn)想法”維度。

以“社會(huì)問題解決”領(lǐng)域樣題為例，圖3展示了“社會(huì)問題解決”領(lǐng)域中的一個(gè)示例單元（節(jié)約用水）。

在這個(gè)例子中，學(xué)生通過三項(xiàng)任務(wù)來解決節(jié)約用水的社會(huì)問題。節(jié)約用水以及減少對(duì)水資源的浪費(fèi)是全世界許多學(xué)生都熟悉的話題，也是學(xué)校經(jīng)常提到的話題，學(xué)生對(duì)其具有一定的先驗(yàn)知識(shí)。雖然對(duì)問題的先驗(yàn)知識(shí)可能會(huì)影響學(xué)生在本單元生成多樣化和創(chuàng)造性解決方案的能力，但先驗(yàn)知識(shí)和創(chuàng)造性思維能力之間的關(guān)系并不明顯。先驗(yàn)知識(shí)可能會(huì)促進(jìn)反應(yīng)的生成，但反過來也可能會(huì)降低反應(yīng)的獨(dú)創(chuàng)性。具體評(píng)分方式分析如下（見圖4）。

第一個(gè)任務(wù)要求學(xué)生想出三種節(jié)約用水的不同方法，屬于“產(chǎn)生多樣性想法”這一維度。按照這一維度的評(píng)分方式，第一步是判斷學(xué)生的回答是否“適當(dāng)”，如果這個(gè)方法是實(shí)際可行且能達(dá)到節(jié)約用水的目的，那么可以判斷為是“適當(dāng)”的。值得強(qiáng)調(diào)的是一個(gè)解決方案只要在某種程度上能夠達(dá)到節(jié)省家庭用水的目的，不管是不是最佳方案都可以被認(rèn)為是“適當(dāng)”的;第二步是判斷回答是否“足夠不同”，想要體現(xiàn)想法的“不同”，答題者必須在所提出的方案中使用不同的方法、工具或執(zhí)行者。同一類別的響應(yīng)視為“相同”，編碼指南將包含一份盡可能詳細(xì)的常規(guī)解決方案分類表作為判斷依據(jù)。

第二個(gè)任務(wù)涉及三個(gè)維度中的“產(chǎn)生創(chuàng)造性想法”，在該任務(wù)中提到了用來獎(jiǎng)勵(lì)用戶節(jié)約用水行為的智能手機(jī)應(yīng)用程序，要求學(xué)生提出一種創(chuàng)造性的方法向潛在用戶宣傳該應(yīng)用程序。按照“產(chǎn)生創(chuàng)造性想法”這一維度的評(píng)分方式，首先判斷回答是否“適當(dāng)”，這項(xiàng)任務(wù)中的“適當(dāng)”想法類似于廣告策略，其目的是可以為應(yīng)用程序做推廣，若回答能達(dá)到這一目的，則可編碼為“適當(dāng)”;接著是確定是否“原創(chuàng)”，評(píng)分者將參考特定任務(wù)的編碼指南，以確定學(xué)生的回答在主題或方法上是否是常規(guī)的，若屬于常規(guī)主題或常規(guī)方法，則不符合要求。這個(gè)任務(wù)的常規(guī)主題例子可以是： （1）張貼海報(bào)或廣告牌來宣傳這個(gè)應(yīng)用程序;（2）播放一個(gè)電視廣告，展示干旱的負(fù)面影響及其應(yīng)用。如果學(xué)生的反應(yīng)可以歸類到這些常規(guī)的主題中，但采用了非常規(guī)的方法，它仍然可以被認(rèn)為是原創(chuàng)的，編碼指南中提供了非常規(guī)方法的示例。

第三個(gè)任務(wù)是要求學(xué)生對(duì)應(yīng)用程序提出一個(gè)原創(chuàng)的改進(jìn)建議，以解決用戶保留率低的問題，這一任務(wù)涉及“評(píng)估和改進(jìn)想法”這一維度。第一步仍然是判斷回答是否是“適當(dāng)”的，該項(xiàng)目的“適當(dāng)”想法需要達(dá)到能夠通過提供額外激勵(lì)來改進(jìn)應(yīng)用程序，讓人們長期使用此應(yīng)用軟件的目的;第二步則是判斷是否為“原創(chuàng)的改進(jìn)”，依據(jù)所提建議在主題或方法上的改進(jìn)是否是非常規(guī)進(jìn)行確定，若主題和方法都是常規(guī)的，則不符合要求，若屬于主題常規(guī)，但方法原創(chuàng)，仍可以被認(rèn)作是“原創(chuàng)的改進(jìn)”。在每一個(gè)任務(wù)中，如果回答既適當(dāng)又新穎，則為滿分;回答僅僅符合適當(dāng)，則部分給分;其他情況則為零分。5PISA2021創(chuàng)造性思維評(píng)分方式特點(diǎn)

5.1評(píng)分規(guī)定標(biāo)準(zhǔn)化

PISA2021根據(jù)創(chuàng)造性思維的表征特點(diǎn)，提出影響因素和表現(xiàn)形式關(guān)系模型以及能力模型，給出四領(lǐng)域能力測(cè)試的可行方法，基于測(cè)試重點(diǎn)和目標(biāo)給出評(píng)價(jià)標(biāo)準(zhǔn)，共同構(gòu)成操作性強(qiáng)的評(píng)價(jià)指標(biāo)體系[10]。從三個(gè)維度切入，根據(jù)不同的領(lǐng)域和單元給出具體的評(píng)分方式（見圖2），并利用計(jì)算機(jī)交互式測(cè)驗(yàn)來遞送測(cè)試系統(tǒng)，捕捉行為數(shù)據(jù)，搜集響應(yīng)數(shù)據(jù)信息，進(jìn)行編碼從而評(píng)分。這種方式保證了技術(shù)應(yīng)用的可行性，為收集個(gè)體的反應(yīng)、分析個(gè)體的表現(xiàn)提供了更便利的途徑[11]。該評(píng)價(jià)指標(biāo)體系實(shí)施性強(qiáng)，對(duì)評(píng)分者進(jìn)行適當(dāng)?shù)呐嘤?xùn)，即可進(jìn)行編碼響應(yīng)評(píng)分操作，極大地提升了大型測(cè)評(píng)的有效性。

5.2重視評(píng)分者信度

PISA2021創(chuàng)造性思維測(cè)評(píng)主要是開放式任務(wù)，就其本質(zhì)而言會(huì)對(duì)評(píng)分的信度產(chǎn)生風(fēng)險(xiǎn)。好的評(píng)分信度和可比性是PISA測(cè)評(píng)的一個(gè)主要目標(biāo)，驗(yàn)證編碼方法是否切實(shí)可行非常重要，這就需要在投入大規(guī)模測(cè)評(píng)之前經(jīng)過多個(gè)驗(yàn)證步驟和多次經(jīng)驗(yàn)檢查，來降低這一風(fēng)險(xiǎn)。評(píng)分方式是否可行顯然取決于所產(chǎn)生的編碼標(biāo)準(zhǔn)的質(zhì)量，特別是要有嚴(yán)格的驗(yàn)證過程，以確保評(píng)分過程中不會(huì)出現(xiàn)文化偏見。鑒于這一點(diǎn)，PISA將要求參與國或地區(qū)的評(píng)分者就編碼指南和標(biāo)準(zhǔn)中的內(nèi)容以及語言提供反饋，并要求所有參與現(xiàn)場(chǎng)試驗(yàn)的評(píng)分者，而不僅僅是說英語的評(píng)分者，對(duì)大量翻譯后的回答進(jìn)行評(píng)分。這將揭示各國或地區(qū)在評(píng)分的寬松度方面是否存在系統(tǒng)性差異，并評(píng)估這些差異對(duì)最終得分的影響。

為了確定評(píng)分的準(zhǔn)確性，PISA根據(jù)已有的實(shí)踐經(jīng)驗(yàn)，在現(xiàn)場(chǎng)試驗(yàn)和主調(diào)查期間，通過讓多名評(píng)分者對(duì)每個(gè)人工編碼的項(xiàng)目隨機(jī)選擇100個(gè)答案進(jìn)行編碼，來測(cè)量“評(píng)分者間的信度”，以檢查編碼的一致性。這項(xiàng)研究還將跨國進(jìn)行，以檢查各國或地區(qū)的系統(tǒng)評(píng)分偏差。“跨國評(píng)分者間的信度”是PISA2021創(chuàng)造性思維測(cè)評(píng)的一個(gè)重要設(shè)計(jì)標(biāo)準(zhǔn)，通過要求不同國家或地區(qū)的評(píng)分者對(duì)一組任務(wù)的10個(gè)回答（來自于在不同參與國或地區(qū)中真實(shí)的學(xué)生的項(xiàng)目回答）進(jìn)行編碼，來評(píng)估“跨國或地區(qū)評(píng)分者間的信度”。編碼的可靠性不僅需要通過對(duì)一部分響應(yīng)進(jìn)行多重編碼，還要通過仔細(xì)監(jiān)控編碼結(jié)果來建立。在形成評(píng)分標(biāo)準(zhǔn)之前，PISA2021創(chuàng)造性思維測(cè)評(píng)項(xiàng)目組將組織多場(chǎng)現(xiàn)場(chǎng)測(cè)評(píng)，對(duì)評(píng)分者之間的可靠性進(jìn)行驗(yàn)證，以進(jìn)一步確保評(píng)分的合理性。