徐瑾?jiǎng)?申 昕

一、 引言： OECD開(kāi)展GTI項(xiàng)目課件評(píng)價(jià)的緣起

打開(kāi)課堂教學(xué)的“黑箱”不僅是促進(jìn)教師個(gè)體專(zhuān)業(yè)反思和學(xué)習(xí)的有效方式，還有助于教育政策制定者發(fā)現(xiàn)如何將教育改革轉(zhuǎn)化為有效的教學(xué)實(shí)踐。一直以來(lái)，各國(guó)教育研究者致力于嘗試和探索各種方法，以揭開(kāi)課堂教學(xué)的“黑箱”。問(wèn)卷調(diào)查是被廣泛采用的方法之一，具有調(diào)查規(guī)模大、范圍廣且成本低的明顯優(yōu)勢(shì)。但其也存在一些突出問(wèn)題，如作答具有一定的主觀性，調(diào)研者與被調(diào)研者對(duì)同一概念較易產(chǎn)生理解偏差，被調(diào)研者的回答是迎合社會(huì)期望的可能性等。[1]更重要的是，問(wèn)卷調(diào)查在記錄和捕捉師生互動(dòng)等構(gòu)成“教學(xué)”復(fù)雜性的關(guān)鍵“要素”方面有效性不足。[2]案例研究法(case study)通過(guò)對(duì)教學(xué)進(jìn)行直接而密集的觀察，結(jié)合對(duì)教師、學(xué)生等多主體開(kāi)展的訪談，試圖克服問(wèn)卷調(diào)查法的上述局限性，但其自身的不足在于人力和時(shí)間上的消耗過(guò)大，雖在部分課堂的深度研究上占有優(yōu)勢(shì)，卻較難擴(kuò)大研究規(guī)模，從而使得這類(lèi)研究的相關(guān)發(fā)現(xiàn)尚不足以支撐系統(tǒng)層面教育政策的改進(jìn)。

經(jīng)合組織(Organization of Economic Co-operation and Development，簡(jiǎn)稱(chēng)OECD)也一直在探索打開(kāi)教學(xué)黑箱，發(fā)現(xiàn)“有效教學(xué)”(effective teaching)的路徑。實(shí)際上，OECD開(kāi)展“全球教學(xué)洞察”(Global Teaching Insights,簡(jiǎn)稱(chēng)GTI)項(xiàng)目的直接動(dòng)因源于學(xué)界和教育實(shí)踐者對(duì)教師教學(xué)國(guó)際調(diào)查項(xiàng)目(Teaching and Learning International Survey，簡(jiǎn)稱(chēng)TALIS)的質(zhì)疑和批評(píng)，即單憑TALIS無(wú)法測(cè)量教學(xué)的有效性。OECD教育與技能司在實(shí)踐中意識(shí)到了單一測(cè)評(píng)工具的局限性，因此提出了基于課堂的視頻研究的設(shè)想，通過(guò)收集教師及學(xué)生的自陳式數(shù)據(jù)(問(wèn)卷)、師生行為數(shù)據(jù)(視頻)、教學(xué)設(shè)計(jì)的文本數(shù)據(jù)(課件)以及學(xué)習(xí)結(jié)果數(shù)據(jù)(測(cè)試成績(jī))等多種來(lái)源的數(shù)據(jù)，記錄“有效教學(xué)”產(chǎn)生的過(guò)程。

隨著數(shù)字技術(shù)運(yùn)用的普及，在教育領(lǐng)域開(kāi)展大規(guī)模視頻研究(video-based study)為實(shí)現(xiàn)兼顧課堂教學(xué)的復(fù)雜性及其研究發(fā)現(xiàn)的推廣性的目標(biāo)提供了可能性。視頻研究采用多源取證的方式對(duì)課堂教學(xué)進(jìn)行多維度、全景式的探究。證據(jù)(evidence)的來(lái)源不僅限于教師所教課程的課堂視頻錄像，還包括了解學(xué)生和教師對(duì)所教課堂、學(xué)科教學(xué)及學(xué)習(xí)感受的問(wèn)卷，教師自述的教學(xué)日志(teacher log)及用于教學(xué)的課件(artifact)?？v觀國(guó)際性的課堂教學(xué)視頻研究項(xiàng)目，大量的研究發(fā)現(xiàn)是基于問(wèn)卷和視頻分析而得出的結(jié)果(如TIMSS 1995、TIMSS 1999、MET等)，而以用于課堂教學(xué)的課件為視角，洞察和反映課堂教學(xué)質(zhì)量的研究數(shù)量較少。在跨國(guó)性的視頻研究中，學(xué)習(xí)者視角研究項(xiàng)目(Learners Perspective Study，簡(jiǎn)稱(chēng)LPS)和OECD開(kāi)展的GTI項(xiàng)目不僅采集了師生問(wèn)卷、課堂視頻錄像，同時(shí)還采集了教師在視頻教學(xué)中使用到的課件。[3]然而，參加LPS項(xiàng)目的14個(gè)國(guó)家及地區(qū)未能在統(tǒng)一的評(píng)價(jià)框架、指標(biāo)和量規(guī)下對(duì)所收集的課件進(jìn)行評(píng)分，使得相應(yīng)的分析結(jié)果較難進(jìn)行跨國(guó)比較。2016年，OECD正式啟動(dòng)和開(kāi)展了GTI項(xiàng)目，該項(xiàng)目有中國(guó)上海、日本、英國(guó)英格蘭和德國(guó)等8個(gè)國(guó)家及地區(qū)參加，是國(guó)際上第一個(gè)對(duì)所收集到的教學(xué)課件進(jìn)行單獨(dú)編碼和評(píng)分的跨文化課堂視頻研究，為打開(kāi)課堂教學(xué)的“黑箱”提供了一種新的視野和研究路徑。[4]

二、 GTI項(xiàng)目課件評(píng)價(jià)的指標(biāo)及方法

GTI項(xiàng)目中所采集的課件是指教師在錄像課所教班級(jí)課堂教學(xué)中使用過(guò)的所有相關(guān)輔助性教學(xué)資源，包括教案、教科書(shū)、作業(yè)(包括課內(nèi)作業(yè)單和課后作業(yè))、形成性評(píng)價(jià)工具(例如隨堂測(cè)驗(yàn))以及課上公開(kāi)展示的可視化工具(例如學(xué)習(xí)軟件和教師使用的PPT)等。從課件來(lái)源的構(gòu)成來(lái)看，通過(guò)分析課件，能夠全面洞察教師在課前的預(yù)期課程(intended curricula)、課上的實(shí)施課程(enacted curricula)及課后的評(píng)價(jià)課程(assessed curricula)整個(gè)過(guò)程中為學(xué)生所提供的學(xué)習(xí)機(jī)會(huì)的質(zhì)量，補(bǔ)充問(wèn)卷和視頻錄像難以捕捉和反映的信息，例如書(shū)面練習(xí)和作業(yè)等。為了確保課件評(píng)分結(jié)果在不同教育體系之間的可比性，GTI項(xiàng)目在采集視頻、問(wèn)卷和課件等原始數(shù)據(jù)之前，會(huì)組織各參與國(guó)及地區(qū)的數(shù)學(xué)專(zhuān)家、教育研究人員和政策制定者開(kāi)發(fā)出共同認(rèn)可的、統(tǒng)一的課件評(píng)分指標(biāo)和編碼工具。

(一) GTI項(xiàng)目課件評(píng)價(jià)的指標(biāo)體系

課件主要反映的是教師提供給學(xué)生的學(xué)習(xí)機(jī)會(huì)的質(zhì)量，而質(zhì)量體現(xiàn)在學(xué)生與學(xué)科內(nèi)容之間互動(dòng)的水平。盡管GTI項(xiàng)目對(duì)課件進(jìn)行單獨(dú)的評(píng)分和結(jié)果分析，但其評(píng)價(jià)維度在設(shè)計(jì)上仍然與視頻保持一致。簡(jiǎn)言之，對(duì)課件和視頻的評(píng)價(jià)均在GTI項(xiàng)目對(duì)“教學(xué)質(zhì)量”的概念定義和評(píng)價(jià)框架下進(jìn)行。GTI項(xiàng)目在對(duì)課堂教學(xué)進(jìn)行評(píng)價(jià)時(shí)，把“教學(xué)”解構(gòu)為課堂管理、社會(huì)情感支持、課堂話(huà)語(yǔ)、學(xué)科內(nèi)容質(zhì)量、認(rèn)知參與和評(píng)價(jià)與反饋等6個(gè)維度。[5]課件可反映課堂話(huà)語(yǔ)、學(xué)科內(nèi)容質(zhì)量、認(rèn)知參與和基于學(xué)生理解的評(píng)價(jià)與反饋(以下簡(jiǎn)稱(chēng)“評(píng)價(jià)與反饋”)等4個(gè)評(píng)價(jià)維度上的表現(xiàn)，但其反映的信息具有局限性，并不能完全反映教學(xué)在上述6個(gè)評(píng)價(jià)維度上的表現(xiàn)，例如無(wú)法捕捉師生互動(dòng)中表現(xiàn)出來(lái)的社會(huì)情感能力。為此，GTI項(xiàng)目聚焦課件能夠反映的4個(gè)維度，設(shè)計(jì)了11項(xiàng)課件評(píng)價(jià)指標(biāo)，以綜合描述教師在教案、課堂練習(xí)、作業(yè)布置、隨堂測(cè)驗(yàn)及講解演示(PPT)等書(shū)面形式的輔助性資料中關(guān)注學(xué)生數(shù)學(xué)思維、基礎(chǔ)技能以及現(xiàn)實(shí)應(yīng)用的能力(見(jiàn)表1)。

表1 GTI項(xiàng)目課件評(píng)價(jià)的指標(biāo)體系

在“課堂話(huà)語(yǔ)”維度上，通過(guò)“做出解釋”這一課件評(píng)價(jià)指標(biāo)，反映了教師在教案、課堂練習(xí)、講解演示(PPT)、作業(yè)布置及隨堂測(cè)驗(yàn)等書(shū)面形式的輔助性資料中，要求學(xué)生通過(guò)自己的理解描述、說(shuō)明、比較、論證數(shù)學(xué)概念、程序和方法的程度。該指標(biāo)反映了教師對(duì)學(xué)生數(shù)學(xué)思維深度和思維表達(dá)的重視水平。

“學(xué)科內(nèi)容質(zhì)量”維度包括“明確的學(xué)習(xí)目標(biāo)”“滿(mǎn)足學(xué)生多樣化的需求”“數(shù)學(xué)表征間的聯(lián)系”“明確的模式和概括”“與現(xiàn)實(shí)世界的聯(lián)系”和“材料的準(zhǔn)確性”等6個(gè)課件評(píng)價(jià)指標(biāo)，關(guān)注教師在教案、課堂練習(xí)、作業(yè)布置、隨堂測(cè)驗(yàn)及講解演示(PPT)等書(shū)面形式的輔助性資料中為學(xué)生提供的進(jìn)行數(shù)學(xué)聯(lián)系、推理及應(yīng)用的學(xué)習(xí)機(jī)會(huì)，以及教師教學(xué)清晰度和教學(xué)設(shè)計(jì)個(gè)性化的情況。

“認(rèn)知參與”維度包括“運(yùn)用和比較多種數(shù)學(xué)方法”“訓(xùn)練技能的機(jī)會(huì)”以及“運(yùn)用技術(shù)促進(jìn)學(xué)生理解”等3個(gè)課件評(píng)價(jià)指標(biāo)，反映了教師在教案、課堂練習(xí)、作業(yè)布置、隨堂測(cè)驗(yàn)及講解演示(PPT)等書(shū)面形式的輔助性資料中重視學(xué)生數(shù)學(xué)思維的靈活性、開(kāi)放性，重視學(xué)生基礎(chǔ)性技能的掌握以及信息與通信技術(shù)(Information and Communication Technology，簡(jiǎn)稱(chēng)ICT)深度融入教學(xué)的程度。

在“評(píng)價(jià)與反饋”維度上，“鼓勵(lì)學(xué)生自我評(píng)估”這一課件評(píng)價(jià)指標(biāo)反映了教師在教案、課堂練習(xí)、講解演示(PPT)、作業(yè)布置及隨堂測(cè)驗(yàn)等書(shū)面形式的輔助性資料中要求學(xué)生對(duì)當(dāng)前學(xué)習(xí)情況進(jìn)行反思，并報(bào)告自我自信程度，包括內(nèi)容的理解、技能的掌握等。該指標(biāo)體現(xiàn)了教師對(duì)學(xué)生元認(rèn)知能力的重視水平。

(二) GTI項(xiàng)目課件評(píng)價(jià)的方法

1. 評(píng)分流程的設(shè)計(jì)

GTI項(xiàng)目要求每個(gè)參與國(guó)家及地區(qū)隨機(jī)選取85名初中數(shù)學(xué)教師，每名教師需圍繞“一元二次方程”單元教學(xué)主題，在同一個(gè)班級(jí)拍攝2節(jié)課。每名教師不僅需要提交第1節(jié)和第2節(jié)課上使用到的課件，還需要提交攝錄課后1節(jié)課上使用到的課件。因此，每1名教師應(yīng)提交4節(jié)“一元二次方程”課上使用的4套課件，其中2套為在攝錄課中教師教學(xué)所用課件，教師應(yīng)根據(jù)教學(xué)實(shí)際發(fā)生的情況提交課件。可見(jiàn)，每節(jié)課的課件構(gòu)成(教案、作業(yè)單、可視化材料、隨堂測(cè)驗(yàn)等)可能會(huì)有所不同。從GTI項(xiàng)目收集到的教師課件的數(shù)量來(lái)看，平均每名教師提交課件數(shù)量最多的前三個(gè)國(guó)家及地區(qū)分別是中國(guó)上海(15.5件)、德國(guó)(13.8件)和墨西哥(12.03件)，最少的后三個(gè)國(guó)家及地區(qū)分別是智利(5.63件)、哥倫比亞(7.83件)和日本(8.03件)?？紤]到評(píng)分的工作量，GTI項(xiàng)目并未采集課件中教師給予學(xué)生的反饋(例如作業(yè)上的批注和評(píng)語(yǔ))以及學(xué)生的作答。這也體現(xiàn)了GTI項(xiàng)目的課件分析主要聚焦在教師所設(shè)計(jì)的學(xué)習(xí)機(jī)會(huì)以及所預(yù)期、計(jì)劃的學(xué)生與學(xué)科內(nèi)容之間的互動(dòng)上。[6]

GTI項(xiàng)目組根據(jù)11項(xiàng)課件評(píng)價(jià)指標(biāo)，以每套課件為單位進(jìn)行評(píng)分。每套課件均由隨機(jī)分配的2名具有資質(zhì)的評(píng)分人員進(jìn)行評(píng)分。每套課件在11個(gè)評(píng)價(jià)指標(biāo)上的得分取2名評(píng)分人員評(píng)分結(jié)果的均值。每名教師在11個(gè)課件評(píng)價(jià)指標(biāo)上的得分取4套課件評(píng)分結(jié)果的均值(如表2所示)。

表2 GTI項(xiàng)目課件評(píng)價(jià)指標(biāo)評(píng)分結(jié)果的產(chǎn)生過(guò)程示例

2. 評(píng)分量規(guī)的設(shè)計(jì)

除“材料的準(zhǔn)確性”，其他10個(gè)課件評(píng)價(jià)指標(biāo)的量規(guī)均為1—3分： “1”代表低水平，“2”代表中等水平，“3”代表高水平。其中，“2”和“3”之間的差異主要體現(xiàn)在學(xué)生的主體性和認(rèn)知參與深度這兩個(gè)方面?！爸黧w性”(agency)指的是學(xué)生在進(jìn)行數(shù)學(xué)思維過(guò)程中的主動(dòng)性和自主性。以“數(shù)學(xué)表征間的聯(lián)系”這一課件評(píng)價(jià)指標(biāo)為例，如果課件反映的是教師把圖形和方程進(jìn)行了聯(lián)系或者教科書(shū)中已展示了兩者的聯(lián)系，而非教師讓學(xué)生對(duì)兩者進(jìn)行聯(lián)系，那么該指標(biāo)的得分為2，不能達(dá)到3分?！罢J(rèn)知參與”指的是在認(rèn)知技能的要求上，課件中教師提供的學(xué)習(xí)機(jī)會(huì)是否達(dá)到高階水平。以“運(yùn)用技術(shù)促進(jìn)學(xué)生理解”這一課件評(píng)價(jià)指標(biāo)為例，如果教師僅是把信息技術(shù)作為一種輔助教學(xué)的手段(PPT展示教學(xué)內(nèi)容、播放視頻等)，而不是利用技術(shù)讓學(xué)生去探索數(shù)學(xué)關(guān)系(函數(shù)與圖像)，增進(jìn)他們對(duì)“函數(shù)”這一概念的理解，那么該指標(biāo)的得分為2，不能達(dá)到3分。需要特別說(shuō)明的是，“材料的準(zhǔn)確性”指標(biāo)的量規(guī)為1—2，其中1表示“課件中所呈現(xiàn)的數(shù)學(xué)內(nèi)容有重大錯(cuò)誤”(例如定義錯(cuò)誤、條件缺失等)，而“2”表示“課件中所呈現(xiàn)的數(shù)學(xué)內(nèi)容是準(zhǔn)確的”。

3. 評(píng)分結(jié)果的可靠性檢驗(yàn)

通過(guò)統(tǒng)計(jì)評(píng)分人員評(píng)分結(jié)果的一致性來(lái)體現(xiàn)可靠性。GTI項(xiàng)目課件評(píng)價(jià)通過(guò)“完全一致”(Exact Agreement)比例和“評(píng)分組內(nèi)相關(guān)系數(shù)”(Intraclass Correlation Coefficient，簡(jiǎn)稱(chēng)ICC)這兩個(gè)指標(biāo)來(lái)綜合反映評(píng)分人員判斷的一致性(如表3所示)。ICC指數(shù)的范圍在0—1，均值越高則說(shuō)明評(píng)分人員對(duì)同一套課件的判斷一致性越高。

表3 GTI項(xiàng)目課件評(píng)分結(jié)果一致性檢驗(yàn)

三、 GTI項(xiàng)目課件分析視域下教學(xué)質(zhì)量水平的比較

根據(jù)課件分析對(duì)教學(xué)質(zhì)量做出可信度高的判斷正在成為輔助或替代通過(guò)直接的課堂觀察或基于錄像課的視頻分析對(duì)教師進(jìn)行評(píng)價(jià)的方式之一。[7]OECD開(kāi)展的GTI項(xiàng)目展現(xiàn)了上述前景，旨在通過(guò)對(duì)課件的評(píng)價(jià)在系統(tǒng)層面回答課件所反映的課堂教學(xué)質(zhì)量的平均水平如何。

參加GTI項(xiàng)目的8個(gè)國(guó)家及地區(qū)在地域和文化上具有一定代表性，包括來(lái)自東亞的日本和中國(guó)上海，歐洲的英國(guó)英格蘭、德國(guó)和西班牙馬德里以及拉丁美洲的墨西哥、哥倫比亞和智利。因此，這8個(gè)國(guó)家及地區(qū)在11項(xiàng)課件評(píng)價(jià)指標(biāo)上的表現(xiàn)能夠在課件這一獨(dú)特的視角下反映目前全球教學(xué)質(zhì)量發(fā)展的特點(diǎn)。需要說(shuō)明的是，由于8個(gè)國(guó)家及地區(qū)在“材料的準(zhǔn)確性”該項(xiàng)指標(biāo)上的評(píng)分結(jié)果無(wú)區(qū)分度，幾乎都賦值為“2”。因此，GTI項(xiàng)目組并未把該指標(biāo)納入到國(guó)際比較和分析中。納入分析的10項(xiàng)課件評(píng)價(jià)指標(biāo)的得分范圍在1—3分，其中“1—1.5分”表示各項(xiàng)指標(biāo)所描述的學(xué)習(xí)機(jī)會(huì)“幾乎或沒(méi)有”出現(xiàn)；設(shè)定“1.5—2.5分”或“2.5—3分”表示各項(xiàng)指標(biāo)所描述的學(xué)習(xí)機(jī)會(huì)出現(xiàn)了，但學(xué)習(xí)機(jī)會(huì)的質(zhì)量(學(xué)生主體性和認(rèn)知參與的水平)處于中度或高度水平。根據(jù)上述標(biāo)準(zhǔn)設(shè)定，結(jié)合八個(gè)國(guó)家及地區(qū)在10項(xiàng)課件評(píng)價(jià)指標(biāo)的得分情況(如表4所示)可以發(fā)現(xiàn)和歸納出共同存在的優(yōu)勢(shì)及挑戰(zhàn)。

表4 GTI項(xiàng)目8個(gè)國(guó)家及地區(qū)在課件評(píng)分指標(biāo)上的表現(xiàn)(均值)

(一) 展示學(xué)習(xí)目標(biāo)的機(jī)會(huì)充足

“明確的學(xué)習(xí)目標(biāo)”這一課件評(píng)價(jià)指標(biāo)主要反映的是教師在教案及課上演示的材料(PPT或板書(shū))中展示的學(xué)習(xí)目標(biāo)的清晰程度。評(píng)分結(jié)果顯示，8個(gè)國(guó)家及地區(qū)該項(xiàng)指標(biāo)的均值都在1.5分以上。除哥倫比亞(14.5%)、西班牙馬德里(18.8%)外，在大部分國(guó)家及地區(qū)，僅5%的教師該項(xiàng)指標(biāo)的評(píng)分結(jié)果在1—1.5分。這表明大部分參加GTI項(xiàng)目的數(shù)學(xué)教師都能以書(shū)面形式向?qū)W生明確表達(dá)學(xué)習(xí)目標(biāo)。然而，各國(guó)及地區(qū)間教師在該項(xiàng)課件指標(biāo)上的差異體現(xiàn)在“1.5—2.5分”和“2.5—3分”之間教師的比例上。該差異在課件上體現(xiàn)為教師對(duì)學(xué)習(xí)目標(biāo)表達(dá)的具體化程度。在細(xì)節(jié)性強(qiáng)的學(xué)習(xí)目標(biāo)中，教師會(huì)對(duì)學(xué)生的應(yīng)知應(yīng)會(huì)作出明確說(shuō)明。從整體看，除中國(guó)上海外(94.1%)，參加GTI項(xiàng)目的各國(guó)及地區(qū)的大部分教師在課件中所展示的學(xué)習(xí)目標(biāo)的細(xì)節(jié)性程度都未達(dá)到高度水平(2.5—3分)。

(二) 訓(xùn)練技能的機(jī)會(huì)充足

“訓(xùn)練技能的機(jī)會(huì)”這一課件評(píng)價(jià)指標(biāo)反映的是在課堂練習(xí)及課后作業(yè)中教師要求學(xué)生對(duì)某項(xiàng)技能反復(fù)練習(xí)以達(dá)到熟練水平的機(jī)會(huì)。該項(xiàng)指標(biāo)的均值在2.5—3分說(shuō)明技能訓(xùn)練機(jī)會(huì)頻繁，具體體現(xiàn)在課件中教師針對(duì)同一項(xiàng)技能或程序的訓(xùn)練設(shè)計(jì)了約有5道及以上的練習(xí)題。從整體看，該項(xiàng)課件評(píng)價(jià)指標(biāo)在8個(gè)國(guó)家及地區(qū)的均值都在2.0分以上。這說(shuō)明在所有參加GTI項(xiàng)目的國(guó)家及地區(qū)，教師提供給學(xué)生進(jìn)行重復(fù)技能或程序訓(xùn)練的機(jī)會(huì)強(qiáng)度至少平均處于中度水平。其中，98.8%的中國(guó)上海教師和94.1%的英國(guó)教師該項(xiàng)指標(biāo)的均值在2.5—3分，機(jī)會(huì)強(qiáng)度處于高度水平。

(三) 滿(mǎn)足學(xué)生多樣化的需求和技術(shù)深度融入教學(xué)的機(jī)會(huì)不足

21世紀(jì)課堂的典型特征之一是技術(shù)在教學(xué)中的深度融合?！吧疃热诤稀钡哪康氖琴x能教師，通過(guò)數(shù)字技術(shù)手段實(shí)現(xiàn)規(guī)?；逃膫€(gè)性化培養(yǎng)，滿(mǎn)足學(xué)生個(gè)別化學(xué)習(xí)需求。然而，GTI項(xiàng)目的課件評(píng)分結(jié)果發(fā)現(xiàn)： 第一，各國(guó)及地區(qū)普遍存在教師信息技術(shù)運(yùn)用深度不夠。在8個(gè)國(guó)家及地區(qū)中，90%及以上的教師“運(yùn)用技術(shù)促進(jìn)學(xué)生理解”的均值僅在1—1.5分，德國(guó)除外(68.0%)。這表明大部分教師在數(shù)學(xué)課堂上只是出于展示、分享和交流的目的運(yùn)用信息技術(shù)，例如PPT、實(shí)物投影儀等，很少利用技術(shù)促進(jìn)學(xué)生計(jì)算、畫(huà)圖、自我評(píng)估(軟件的運(yùn)用)及對(duì)抽象數(shù)學(xué)概念的理解。第二，根據(jù)學(xué)生能力水平提供個(gè)別化支持的意識(shí)不足。在參加GTI項(xiàng)目的國(guó)家及地區(qū)中，80%及以上的教師在“滿(mǎn)足學(xué)生多樣化的需求”這一課件評(píng)價(jià)指標(biāo)的得分僅在1—1.5分，英國(guó)英格蘭(50.6%)和西班牙馬德里(64.9%)除外。這表明大部分教師在教案、作業(yè)和學(xué)習(xí)任務(wù)設(shè)計(jì)中未能根據(jù)不同學(xué)生能力水平提供分層分類(lèi)的學(xué)習(xí)機(jī)會(huì)。

(四) 培養(yǎng)學(xué)生元認(rèn)知技能的機(jī)會(huì)不足

在GTI項(xiàng)目中，通過(guò)所收集的課件發(fā)現(xiàn)，教師提供給學(xué)生動(dòng)用“元認(rèn)知技能”的機(jī)會(huì)指教師在較大程度上要求學(xué)生以書(shū)面形式對(duì)自己的學(xué)習(xí)進(jìn)程做出具體判斷，而不是對(duì)本節(jié)課的內(nèi)容進(jìn)行總結(jié)或與其他同學(xué)的想法進(jìn)行比較。從“鼓勵(lì)學(xué)生自我評(píng)估”這一課件評(píng)價(jià)指標(biāo)來(lái)看，除日本(71.9%)和中國(guó)上海(61.2%)外，其余6個(gè)國(guó)家及地區(qū)90%以上的教師都未能要求學(xué)生以書(shū)面形式對(duì)自己的學(xué)習(xí)進(jìn)行反思或評(píng)價(jià)，該項(xiàng)指標(biāo)評(píng)價(jià)得分僅在1—1.5分。值得的注意的是，36.5%的中國(guó)上海教師會(huì)以書(shū)面形式要求學(xué)生對(duì)所學(xué)內(nèi)容進(jìn)行籠統(tǒng)的評(píng)價(jià)，例如“你在多大程度上有自信和把握理解了‘一元二次方程’這個(gè)概念？”

四、 GTI項(xiàng)目課件分析視域下教學(xué)質(zhì)量差異的分析

(一) 甄別影響課件質(zhì)量的教師因素： 概化理論(G-Theory)的運(yùn)用

課件評(píng)分結(jié)果反映的是課件的質(zhì)量，而課件的質(zhì)量則體現(xiàn)了教學(xué)質(zhì)量，尤其集中反映了以學(xué)習(xí)內(nèi)容為載體的學(xué)習(xí)機(jī)會(huì)的質(zhì)量。顯然，教師個(gè)體及其授課內(nèi)容、評(píng)分人員的評(píng)價(jià)及評(píng)分人員與不同教師的交叉影響(例如評(píng)分人員可能會(huì)對(duì)一些教師給出較高的評(píng)分)會(huì)直接影響課件質(zhì)量。換言之，考慮到測(cè)量誤差(例如評(píng)分人員對(duì)評(píng)分標(biāo)準(zhǔn)理解的偏差等)，課件評(píng)分只能部分反映教師個(gè)體間存在的真正有意義的差異。而如果要發(fā)現(xiàn)這些“有意義的”差異，即由教師差異而導(dǎo)致的課件質(zhì)量的差異，則有必要甄別出各種導(dǎo)致評(píng)分結(jié)果差異的來(lái)源(例如源于測(cè)量工具的誤差、源于工具使用者的誤差等)及其在總差異中的占比。為此，GTI項(xiàng)目采用“概化理論”(Generalizability Theory，簡(jiǎn)稱(chēng)G-Theory)的方法對(duì)課件評(píng)分結(jié)果進(jìn)行差異來(lái)源的解構(gòu)分析。概化理論運(yùn)用方差分析技術(shù)，將測(cè)量結(jié)果的總變異分解成測(cè)量目標(biāo)(即測(cè)量所要描述的特征)的變異和測(cè)量側(cè)面(即影響和制約測(cè)量目標(biāo)的各種因素和條件，包括測(cè)量工具、測(cè)量環(huán)境、測(cè)量時(shí)間等)的變異。一般而言，當(dāng)測(cè)量目標(biāo)引起的變異所占比重較大時(shí)，表明測(cè)量具有較高水平的信度(reliability)。該方法已被廣泛應(yīng)用于教師行為測(cè)量的可信度檢驗(yàn)中。[8]與經(jīng)典測(cè)量理論(Classic Test Theory)相比，概化理論的特色在于對(duì)構(gòu)成差異的來(lái)源進(jìn)行細(xì)分化的估計(jì)。

鑒于GTI項(xiàng)目中的課件評(píng)價(jià)，每名教師提交了4節(jié)課上使用到的4套課件，每套課件均由隨機(jī)選取的2名具有資質(zhì)的評(píng)分人員進(jìn)行編碼。因此，課件評(píng)分結(jié)果上的差異可以細(xì)分為5個(gè)構(gòu)成的部分： (1)教師間的差異；(2)教師所教課程內(nèi)容的差異(課件評(píng)分結(jié)果可能會(huì)因教師在不同節(jié)課上教授內(nèi)容的不同而出現(xiàn)的差異)；(3)評(píng)分人員間的差異(例如一些評(píng)分人員總是更為嚴(yán)格)；(4)評(píng)分人員和不同課之間交叉影響的差異(同一名評(píng)分人員評(píng)同一名教師所教不同節(jié)課的差異；(5)殘余的差異(模型尚未能解釋到的差異)。本研究利用線性混合隨機(jī)效應(yīng)模型，根據(jù)每個(gè)參加國(guó)家及地區(qū)在10項(xiàng)課件指標(biāo)上的得分分別估算出上述5種差異來(lái)源的對(duì)應(yīng)占比。其數(shù)學(xué)模型如下：

注：c代教師,r代表評(píng)分人員,l：c代表教師所教課的內(nèi)容,rxl：c代表評(píng)分人員與不同課的交叉影響,nR代表每套課件評(píng)分人員的數(shù)量,nL代表每名教師提交的課件數(shù)量。

(二) 教師所教課的內(nèi)容是影響課件評(píng)分差異的主要因素

基于線性混合隨機(jī)效應(yīng)模型對(duì)各國(guó)及地區(qū)教師各項(xiàng)課件指標(biāo)得分的方差分析結(jié)果顯示，在五種差異來(lái)源中，教師所教課的內(nèi)容在大部分課件評(píng)價(jià)指標(biāo)得分的總差異中占比最高，即可視其為差異的首要因素。[9]從8個(gè)國(guó)家及地區(qū)GTI項(xiàng)目的11項(xiàng)課件指標(biāo)評(píng)分結(jié)果的總體情況看，約38%的評(píng)分結(jié)果差異來(lái)源自教師所教課的內(nèi)容不同。該項(xiàng)差異來(lái)源占比最高的課件評(píng)價(jià)指標(biāo)是“與現(xiàn)實(shí)世界的聯(lián)系”，比例達(dá)67%。這表明在GTI項(xiàng)目中教師以書(shū)面形式為學(xué)生提供與現(xiàn)實(shí)世界聯(lián)系的學(xué)習(xí)機(jī)會(huì)在其所上的4節(jié)課上的分布不均衡。在有些課上的機(jī)會(huì)很多，但在一些課上則較少甚至沒(méi)有機(jī)會(huì)。而導(dǎo)致機(jī)會(huì)不均衡的主要原因在于課的內(nèi)容發(fā)生了變化。相對(duì)而言，評(píng)分人員和教師間的差異在構(gòu)成整個(gè)評(píng)分結(jié)果差異的來(lái)源中占比較小。這表明，平均而言，在GTI項(xiàng)目的11項(xiàng)課件評(píng)價(jià)指標(biāo)上，不同的評(píng)分人員及不同的教師在課件得分上的一致性相對(duì)較高。

一般而言，應(yīng)關(guān)注差異來(lái)源的分析結(jié)果中教師得分變化及差異較大的評(píng)價(jià)指標(biāo)。在GTI項(xiàng)目的11項(xiàng)課件評(píng)價(jià)指標(biāo)中，“與現(xiàn)實(shí)世界的聯(lián)系”(8個(gè)國(guó)家及地區(qū)該項(xiàng)指標(biāo)均值的標(biāo)準(zhǔn)差為0.52)和“數(shù)學(xué)表征間的聯(lián)系”(8個(gè)國(guó)家及地區(qū)該項(xiàng)指標(biāo)均值的標(biāo)準(zhǔn)差為0.50)這兩項(xiàng)課件評(píng)價(jià)指標(biāo)得分的差異較大。如圖1所示，根據(jù)差異構(gòu)成的分析發(fā)現(xiàn)，教師所教課的內(nèi)容是影響“與現(xiàn)實(shí)世界的聯(lián)系”指標(biāo)評(píng)分結(jié)果的主要因素。但更有意義的發(fā)現(xiàn)是，除日本和西班牙馬德里外，其他國(guó)家及地區(qū)的教師差異達(dá)到了10%以上，尤其中國(guó)上海(22%)、哥倫比亞(21%)和智利(28%)達(dá)到了20%以上。這表明，在這些國(guó)家對(duì)教師進(jìn)行干預(yù)或?qū)⒂行嵘龑W(xué)生通過(guò)課件獲得更多與現(xiàn)實(shí)世界聯(lián)系的機(jī)會(huì)。

圖1 課件評(píng)分結(jié)果的差異來(lái)源-“與現(xiàn)實(shí)世界的聯(lián)系”

如圖2所示，“教師所教的課”仍然是“數(shù)學(xué)表征間的聯(lián)系”這一指標(biāo)評(píng)分差異的主要來(lái)源。但與“與現(xiàn)實(shí)世界的聯(lián)系”這一指標(biāo)比較后發(fā)現(xiàn)，該指標(biāo)評(píng)分結(jié)果中未被解釋的差異(殘余的差異)比例較高。這提示教育研究人員需要進(jìn)一步改進(jìn)課件評(píng)價(jià)工具，以發(fā)現(xiàn)其他影響教師行為的因素。

圖2 課件評(píng)分結(jié)果的差異來(lái)源-“數(shù)學(xué)表征間的聯(lián)系”

但從影響上述兩項(xiàng)課件評(píng)價(jià)指標(biāo)評(píng)分結(jié)果的差異構(gòu)成看，評(píng)分人員及評(píng)分人員與教師的交叉影響對(duì)評(píng)分結(jié)果的差異性影響較小。這也在一定程度上反映了GTI項(xiàng)目課件評(píng)價(jià)工具得到了嚴(yán)格、統(tǒng)一的操作和運(yùn)用。

五、 啟示及建議

在GTI項(xiàng)目中，課件評(píng)價(jià)獨(dú)立于視頻分析單獨(dú)開(kāi)展，并在GTI項(xiàng)目課堂教學(xué)評(píng)價(jià)的統(tǒng)一框架下，洞察了教師以書(shū)面形式向?qū)W生提供的學(xué)習(xí)機(jī)會(huì)的質(zhì)量。此種分析方法和研究路徑在國(guó)際視頻研究發(fā)展歷程中具有里程碑意義。意義不僅限于在系統(tǒng)層面對(duì)各國(guó)及地區(qū)促進(jìn)課堂變革提供了新思路，更有價(jià)值的是為提升課堂教學(xué)評(píng)價(jià)的科學(xué)性、規(guī)范性和有效性提供了方法和技術(shù)上的借鑒。

(一) 利用教育智能化發(fā)展使課件評(píng)價(jià)成為一種常態(tài)化的教學(xué)評(píng)價(jià)方式，可作為對(duì)課堂觀察或視頻分析的有力補(bǔ)充

課件評(píng)價(jià)是否或在多大程度上能替代問(wèn)卷調(diào)查、課堂觀察或基于錄像課的視頻分析的問(wèn)題，一直受到國(guó)內(nèi)外學(xué)者的持續(xù)關(guān)注和探討。已有研究表明，整體而言，基于課件對(duì)教學(xué)質(zhì)量進(jìn)行評(píng)價(jià)所得出的結(jié)果與通過(guò)課堂觀察所得出的評(píng)價(jià)結(jié)果，兩者的相關(guān)性并不高，但未出現(xiàn)負(fù)相關(guān)，尤其在諸如教學(xué)內(nèi)容質(zhì)量、評(píng)價(jià)及反饋等評(píng)價(jià)維度上兩者間的相關(guān)度較強(qiáng)。[10][11][12]但仍然要認(rèn)識(shí)到，基于所收集的課件是無(wú)法對(duì)“師生互動(dòng)”(課堂話(huà)語(yǔ))的質(zhì)量進(jìn)行細(xì)致分析和評(píng)價(jià)的。研究證實(shí)，以視頻和課件分析相結(jié)合的方式對(duì)教學(xué)質(zhì)量進(jìn)行測(cè)評(píng)所得出的結(jié)果比單一通過(guò)視頻或課件分析而得出的結(jié)果更具可信度，且相關(guān)性也更強(qiáng)。[13]相對(duì)于視頻錄像的采集和切片式的分析，課件評(píng)價(jià)的優(yōu)勢(shì)在于成本低，但需要教師對(duì)課件資料進(jìn)行保存、存檔、掃描和有序排放，可能會(huì)產(chǎn)生額外工作負(fù)擔(dān)。但在技術(shù)賦能教師的時(shí)代背景下，教育全面的數(shù)字化轉(zhuǎn)型為課件的大規(guī)模采集和評(píng)價(jià)智能化提供了可操作性。

(二) 借鑒GTI項(xiàng)目課件評(píng)價(jià)質(zhì)量保障的方法與技術(shù)，提升視頻研究的科學(xué)性和規(guī)范性

GTI項(xiàng)目對(duì)課件評(píng)價(jià)質(zhì)量保障貫穿于整個(gè)評(píng)價(jià)工作的始末： 評(píng)分前的評(píng)分人員資格認(rèn)證、評(píng)分過(guò)程中的質(zhì)量監(jiān)測(cè)以及評(píng)分后基于結(jié)果的信度檢驗(yàn)。第一步，在評(píng)分之前需組織評(píng)分候選人對(duì)評(píng)分標(biāo)準(zhǔn)、編碼工具進(jìn)行集中培訓(xùn)，并以考核的方式進(jìn)行資格確認(rèn)。這有利于確保評(píng)分人員對(duì)課件評(píng)價(jià)工具有一致性的認(rèn)知和理解，從而最大程度地減低主觀認(rèn)識(shí)或偏見(jiàn)的可能性。第二步，在評(píng)分過(guò)程中引入“校準(zhǔn)”(calibration)環(huán)節(jié)，把具有“標(biāo)準(zhǔn)分”的課件周期性混入到待評(píng)的課件中，以檢查評(píng)分人員的判斷。第三步，對(duì)課件評(píng)分結(jié)果進(jìn)行信度檢驗(yàn)。GTI項(xiàng)目課件評(píng)價(jià)對(duì)11項(xiàng)課件評(píng)價(jià)的結(jié)果進(jìn)行了相關(guān)分析和信度檢驗(yàn)。11個(gè)評(píng)價(jià)維度的相關(guān)系數(shù)范圍在接近于0至0.65之間。這表明各評(píng)價(jià)指標(biāo)的關(guān)聯(lián)度處于弱到中度水平，整體上看，能為洞察教學(xué)質(zhì)量提供各類(lèi)獨(dú)特且有差別化的信息。此外，GTI項(xiàng)目還統(tǒng)計(jì)了參加國(guó)家及地區(qū)在課件評(píng)分結(jié)果上的信度，范圍在0.11—0.61。上述GTI項(xiàng)目課件評(píng)價(jià)質(zhì)量保障的流程及方法也適用于視頻研究中對(duì)問(wèn)卷調(diào)查和視頻分析結(jié)果的信效度檢驗(yàn)。此外，概化理論用于對(duì)評(píng)分結(jié)果差異來(lái)源的分析有助于發(fā)現(xiàn)因評(píng)分質(zhì)量導(dǎo)致的結(jié)果差異，例如評(píng)分人員對(duì)評(píng)分標(biāo)準(zhǔn)及編碼理解一致性較差。若該部分差異在評(píng)分結(jié)果總差異中的占比越大，則表示評(píng)分結(jié)果并不能充分反映教學(xué)質(zhì)量的差異是因教師而產(chǎn)生的，因而也無(wú)法根據(jù)評(píng)分結(jié)果提出有效的教學(xué)改進(jìn)策略。

(三) 基于GTI項(xiàng)目課件評(píng)價(jià)結(jié)果開(kāi)展國(guó)別及地區(qū)的個(gè)案研究，根據(jù)評(píng)價(jià)指標(biāo)有針對(duì)性地甄選和匯集“高質(zhì)量”課件范例

對(duì)參加國(guó)家及地區(qū)在GTI項(xiàng)目中11項(xiàng)課件評(píng)分結(jié)果的均值的離散程度進(jìn)行比較后發(fā)現(xiàn)，盡管在諸多指標(biāo)上各國(guó)及地區(qū)的均值水平相近，但國(guó)家及地區(qū)內(nèi)部的教師間差異更大。以“訓(xùn)練技能的機(jī)會(huì)”這一課件評(píng)價(jià)指標(biāo)為例，8個(gè)國(guó)家及地區(qū)的得分均值水平都較高，處于2—2.5分的范圍。但從各國(guó)及地區(qū)內(nèi)教師在該指標(biāo)得分上的分布看，德國(guó)、日本、墨西哥、智利仍然有部分教師沒(méi)有通過(guò)課件以書(shū)面形式要求學(xué)生對(duì)特定的技能或程序進(jìn)行反復(fù)訓(xùn)練。再看目前課程改革所重視的信息技術(shù)融入教學(xué)的設(shè)計(jì)，中國(guó)上海教師在該項(xiàng)課件評(píng)價(jià)指標(biāo)上的表現(xiàn)相對(duì)偏弱，均值為1.02，標(biāo)準(zhǔn)差僅為0.14。盡管GTI項(xiàng)目所研究的8個(gè)國(guó)家及地區(qū)該項(xiàng)課件評(píng)分指標(biāo)上的得分均偏低，但標(biāo)準(zhǔn)差最小的是中國(guó)上海。這表明上海教師在同行間很難相互學(xué)習(xí)到如何積極地把運(yùn)用信息技術(shù)的機(jī)會(huì)設(shè)計(jì)到課堂教學(xué)中。但GTI項(xiàng)目作為一項(xiàng)國(guó)際性的課件研究項(xiàng)目不僅展示了教師教學(xué)設(shè)計(jì)的多樣性，還為相互學(xué)習(xí)提供了更多的可能性。在GTI項(xiàng)目課件數(shù)據(jù)庫(kù)中能找到在所有課件評(píng)價(jià)指標(biāo)(除“材料的準(zhǔn)確性”外)中覆蓋“低—中—高”(1—3)水平的課件樣例，為國(guó)家及地區(qū)間的分享、交流與學(xué)習(xí)提供了豐富的案例來(lái)源。

(四) 彌補(bǔ)GTI項(xiàng)目課件評(píng)價(jià)在設(shè)計(jì)上的局限性，進(jìn)一步探索和提升本土化課件評(píng)價(jià)的研究水平

課件評(píng)價(jià)是GTI項(xiàng)目的組成部分，但評(píng)分人員并未使用同一套編碼工具對(duì)課件和視頻進(jìn)行評(píng)分。盡管11項(xiàng)課件評(píng)價(jià)指標(biāo)與通過(guò)視頻對(duì)課進(jìn)行評(píng)價(jià)的部分指標(biāo)完全一致，但所評(píng)價(jià)的教師行為表現(xiàn)和量規(guī)卻并不相同。一方面，這樣的設(shè)計(jì)限制了對(duì)課件評(píng)價(jià)結(jié)果與課堂觀察(如視頻分析)評(píng)價(jià)結(jié)果之間進(jìn)行一致性的檢驗(yàn)，以回答課件評(píng)價(jià)對(duì)于課堂觀察或視頻分析是否具有增值效應(yīng)。換言之，課件評(píng)價(jià)在多大程度上可以替代課堂觀察或基于錄像課的視頻分析，或者有更優(yōu)化的組合，GTI項(xiàng)目課件評(píng)價(jià)無(wú)法做出回答。另一方面，這樣的設(shè)計(jì)也無(wú)法基于特定的教學(xué)評(píng)價(jià)指標(biāo)(如“與現(xiàn)實(shí)世界的聯(lián)系”)，對(duì)教師在課堂上實(shí)際的教學(xué)行為(視頻數(shù)據(jù))與教師在課件中設(shè)計(jì)的學(xué)習(xí)機(jī)會(huì)(課件數(shù)據(jù))之間的相關(guān)性進(jìn)行檢驗(yàn)。而發(fā)現(xiàn)、衡量出設(shè)計(jì)中的課程與實(shí)施中的課程之間的鴻溝不僅有助于提升教學(xué)評(píng)價(jià)的效率，還能夠更富有建設(shè)性地幫助我們找到干預(yù)教學(xué)改進(jìn)的路徑。這方面的研究以往都以國(guó)外研究居多，且大多是以學(xué)?；騻€(gè)別國(guó)家及地區(qū)為單位的本地化研究。GTI項(xiàng)目課件評(píng)價(jià)在跨國(guó)及跨地區(qū)研究上做了有益的探索，但由于其設(shè)計(jì)本身的局限性，還無(wú)法從系統(tǒng)層面(國(guó)家及地區(qū))對(duì)前述問(wèn)題做出回應(yīng)。近年來(lái)，在教育領(lǐng)域，視頻研究已對(duì)我國(guó)課堂研究產(chǎn)生了重大的影響。[14]因而，在推進(jìn)本土化視頻研究中，我們有條件彌補(bǔ)GTI項(xiàng)目課件評(píng)價(jià)設(shè)計(jì)的局限性，為豐富課件評(píng)價(jià)的方法和理論提供地方性知識(shí)。