陳振國 劉金華
(大連教育學(xué)院教師教育辦公室 遼寧大連 116021)
教育部在《關(guān)于深化中小學(xué)教師培訓(xùn)模式改革全面提升培訓(xùn)質(zhì)量的指導(dǎo)意見》中明確將提升教師培訓(xùn)質(zhì)量置于重要的地位。2018年,教育部等五部門印發(fā)《教師教育振興行動(dòng)計(jì)劃(2018—2022年)》,明確提出“加強(qiáng)教師培訓(xùn)需求診斷,優(yōu)化培訓(xùn)內(nèi)容”“建立教師培養(yǎng)培訓(xùn)質(zhì)量監(jiān)測(cè)機(jī)制”“建立健全教師培訓(xùn)質(zhì)量評(píng)估制度”。[1]在教師培訓(xùn)“提質(zhì)增效”背景下,加強(qiáng)教師培訓(xùn)質(zhì)量評(píng)估管理,為教師學(xué)習(xí)提供高質(zhì)量服務(wù),是教師培訓(xùn)專業(yè)化的內(nèi)在追求,也是教師培訓(xùn)機(jī)構(gòu)專業(yè)化的題中應(yīng)有之義。
教師培訓(xùn)工作研究者與實(shí)踐者需經(jīng)常問自己兩個(gè)問題:培訓(xùn)有效嗎?如何證明一個(gè)培訓(xùn)項(xiàng)目或一場(chǎng)培訓(xùn)活動(dòng)的價(jià)值?現(xiàn)實(shí)中,他們尚不能很好地回答這兩個(gè)問題,以至“評(píng)估”一事成為制約教師培訓(xùn)質(zhì)量提升的“短板”。
教師培訓(xùn)機(jī)構(gòu)通常會(huì)選擇在培訓(xùn)結(jié)束時(shí)進(jìn)行評(píng)估,以驗(yàn)證培訓(xùn)是否達(dá)到了預(yù)期效果,卻未將培訓(xùn)前的診斷性評(píng)估和培訓(xùn)后的追蹤性評(píng)估納入評(píng)價(jià)范疇;培訓(xùn)過程中,因回避了教師成長檔案袋的建設(shè),致使學(xué)員反思性評(píng)價(jià)缺失[2],對(duì)學(xué)員的增值性評(píng)價(jià)也因缺少了前測(cè)和過程性測(cè)評(píng)結(jié)果而無法開展。有效的評(píng)估應(yīng)基于清晰的過程及結(jié)果證據(jù),才能為糾偏和優(yōu)化提供強(qiáng)有力依據(jù),這必然依賴貫通培訓(xùn)全過程的一體化評(píng)估設(shè)計(jì)。僅在培訓(xùn)結(jié)束時(shí)開展實(shí)時(shí)評(píng)價(jià),并不足以支撐教師培訓(xùn)項(xiàng)目在未來的行動(dòng)改進(jìn)。[3]
有些培訓(xùn)機(jī)構(gòu)將評(píng)估節(jié)點(diǎn)設(shè)置在培訓(xùn)課程之內(nèi)或結(jié)束之時(shí),單純檢測(cè)參訓(xùn)教師的反應(yīng),忽略了其對(duì)教育知識(shí)、教學(xué)技能的習(xí)得,沒有深入到培訓(xùn)后其教學(xué)行為與態(tài)度的改變、能力的提高、教學(xué)績效的改善等層次,也沒有將對(duì)教師學(xué)習(xí)應(yīng)用與轉(zhuǎn)化的支持納入評(píng)估范圍。正如朱旭東教授所言,項(xiàng)目后評(píng)價(jià)是關(guān)注教師培訓(xùn)項(xiàng)目結(jié)束后,評(píng)價(jià)學(xué)員能否將培訓(xùn)所得帶回學(xué)校和課堂,并最終影響學(xué)校、課堂和學(xué)生的表現(xiàn)……是反映培訓(xùn)項(xiàng)目效果的最終指標(biāo),然而也是當(dāng)前教師培訓(xùn)效果評(píng)價(jià)中最為薄弱甚至是缺少的一環(huán)。[4]這讓評(píng)估脫離了應(yīng)用環(huán)境,使得教師培訓(xùn)效果評(píng)估流于淺表。
有的教師培訓(xùn)機(jī)構(gòu)僅僅以調(diào)研的形式開展評(píng)估,例如,在培訓(xùn)結(jié)束時(shí),通過問卷、訪談等形式詢問學(xué)員的學(xué)習(xí)情況,了解學(xué)員對(duì)培訓(xùn)項(xiàng)目的主觀感受與滿意程度。柯氏四級(jí)評(píng)估模型包括“反應(yīng)”“學(xué)習(xí)”“行為”“結(jié)果”四個(gè)由簡(jiǎn)單到復(fù)雜、由淺表到深入的評(píng)估層次。不過,受訓(xùn)者對(duì)培訓(xùn)項(xiàng)目的良好“反應(yīng)”并不代表其從培訓(xùn)中真正“學(xué)習(xí)”到了東西,從培訓(xùn)中真正“學(xué)習(xí)”到的東西并不意味著能轉(zhuǎn)化成實(shí)際的工作“行為”。[5]滿意度、參與度等都是現(xiàn)實(shí)中相對(duì)容易衡量的指標(biāo),但又是最基礎(chǔ)、最低層次的衡量指標(biāo)。
很多教師培訓(xùn)效果評(píng)估注重鑒定性功能,對(duì)教師培訓(xùn)項(xiàng)目以鑒定與排序?yàn)橹?,以此來判斷培?xùn)項(xiàng)目或者培訓(xùn)機(jī)構(gòu)的優(yōu)劣,呈現(xiàn)出“管理主義”傾向。[6]從具體實(shí)踐來看,這種類型的評(píng)估注重反應(yīng)與學(xué)習(xí)層面的評(píng)估,注重結(jié)果導(dǎo)向性,依據(jù)簡(jiǎn)單的問卷或者評(píng)價(jià)工具,對(duì)教師的培訓(xùn)效果進(jìn)行判斷,忽視了教師的經(jīng)驗(yàn)背景,也很少對(duì)教師培訓(xùn)前后的變化程度進(jìn)行評(píng)判。此種做法忽視了參訓(xùn)對(duì)象的差異,忽略了教師培訓(xùn)評(píng)估的診斷性、發(fā)展性功能,對(duì)優(yōu)化項(xiàng)目相關(guān)利益方的進(jìn)一步?jīng)Q策與行動(dòng)沒有太大價(jià)值。
筆者結(jié)合我國現(xiàn)行中小學(xué)教師培訓(xùn)評(píng)估實(shí)踐中存在的問題,從教師培訓(xùn)特質(zhì)分析出發(fā),在借鑒國外經(jīng)典評(píng)估模型基礎(chǔ)上,初步探究有效改進(jìn)教師培訓(xùn)效果評(píng)估的模型與框架,且提出基于行為改進(jìn)的“四層次五步驟”(簡(jiǎn)稱“4L5S”,L、S分別是Link與Step的縮寫)教師培訓(xùn)效果評(píng)估層級(jí)模型(見圖1)。
圖1 基于行為改進(jìn)的“4L5S”教師培訓(xùn)效果評(píng)估層級(jí)模型
1.基于教師培訓(xùn)特質(zhì)分析
教師培訓(xùn)是推動(dòng)教師專業(yè)發(fā)展的重要途徑與手段。教師專業(yè)發(fā)展具有“持續(xù)性”,這體現(xiàn)為教師個(gè)體主體性和能動(dòng)性在這個(gè)過程中越來越重要,包括個(gè)人反思所帶來的認(rèn)知、情感、知識(shí)和能力等方面的變化,使教師能夠更好地在實(shí)踐中改善教學(xué)過程。古巴(Egon G.Guba)與林肯(Yvonna S.Lincoln)指出,評(píng)估的目的不僅在于獲取結(jié)果,更在于推廣和使用結(jié)果。培訓(xùn)效果評(píng)估不僅是短期教師培訓(xùn)結(jié)果的反饋,比如專業(yè)知識(shí)與技能的增長,更是長期工作績效表現(xiàn)和教育教學(xué)技能的提升狀況的反饋??傊?,為了突出“持續(xù)性”,需要強(qiáng)調(diào)教師培訓(xùn)效果評(píng)估,綜合考量教師參與培訓(xùn)后的多維度發(fā)展?fàn)顩r。[7]
2.基于經(jīng)典層級(jí)評(píng)估模型
目前,經(jīng)典培訓(xùn)評(píng)估模型主要有柯克帕特里克(Donald L.Kirkpatrick)的柯氏四級(jí)評(píng)估模型、古斯基(Thomas R.Guskey)的五層次評(píng)估模型、巴布(Sara Bubb)和厄雷(Peter Earley)的評(píng)估模型等,其中柯氏四級(jí)評(píng)估模型的影響力比較大,被廣泛應(yīng)用于實(shí)踐領(lǐng)域。古斯基模型在柯氏四級(jí)評(píng)估模型的基礎(chǔ)上增加了組織的支持和變革評(píng)估,強(qiáng)調(diào)外在的組織環(huán)境支持,注重推動(dòng)學(xué)校發(fā)展的因素和活動(dòng)對(duì)組織的影響。巴布和厄雷模型增加了組織的支持評(píng)估維度,強(qiáng)調(diào)學(xué)校的幫助與阻礙作用。[8]
除了主張測(cè)量教師對(duì)培訓(xùn)的參與度和滿意度外,“4L5S”模型還創(chuàng)新性地關(guān)注到參訓(xùn)教師的經(jīng)驗(yàn)背景與影響參訓(xùn)教師學(xué)習(xí)遷移的諸多因素,并堅(jiān)定地將之納入評(píng)估中。
1.遵循“項(xiàng)目邏輯”,解決評(píng)估流程不全問題
項(xiàng)目邏輯往往會(huì)顯示項(xiàng)目內(nèi)容的時(shí)序性,具體可細(xì)分為培訓(xùn)前、培訓(xùn)中、培訓(xùn)后三個(gè)區(qū)間?!?L5S”評(píng)估模型建構(gòu),一是著眼于結(jié)果,對(duì)其培訓(xùn)結(jié)果或已達(dá)到的水平,即教師行為改進(jìn)情況作出判斷;二是著眼于過程,對(duì)獲得結(jié)果的途徑,即教師取得現(xiàn)有水平的前后行為變化過程作出判斷;三是著眼于未來,對(duì)教師經(jīng)培訓(xùn)獲得的知識(shí)、技能、態(tài)度、價(jià)值觀等在職場(chǎng)中的轉(zhuǎn)化與應(yīng)用情況作出判斷。
2.關(guān)注“行為改進(jìn)”,解決評(píng)估證據(jù)不足問題
培訓(xùn)在本質(zhì)上是一種學(xué)習(xí)。依據(jù)加涅等人的觀點(diǎn),學(xué)習(xí)意味著我們所知道的、我們所能做的以及我們行為方式的改變。[9]所謂“行為改進(jìn)”,特指通過各類學(xué)習(xí)發(fā)展項(xiàng)目,使教師在教育教學(xué)行為方面發(fā)生的積極變化。[10]教師培訓(xùn)效果評(píng)估要將教師訓(xùn)前的行為表現(xiàn)與教師訓(xùn)后的行為表現(xiàn)進(jìn)行對(duì)比。由此,“4L5S”評(píng)估模型有意回答兩個(gè)問題:一是項(xiàng)目啟動(dòng)前教師的行為現(xiàn)狀如何?二是項(xiàng)目結(jié)束后教師會(huì)出現(xiàn)哪些與項(xiàng)目相關(guān)的行為?二者均應(yīng)是準(zhǔn)確的、清晰的、可測(cè)量的。
3.確定“關(guān)鍵指標(biāo)”,解決評(píng)估內(nèi)容不清問題
鑒于教師培訓(xùn)活動(dòng)的復(fù)雜性,有大量的評(píng)估指標(biāo)可供選擇,但考慮到成本、時(shí)間、指標(biāo)的易理解性,評(píng)估指標(biāo)不宜追求“多而全”,須圍繞評(píng)估重點(diǎn)將指標(biāo)縮減至可測(cè)的幾個(gè)關(guān)鍵指標(biāo)。在明確行為改進(jìn)與績效改善的聯(lián)系后,“4L5S”評(píng)估模型將教師行為改變和與之相關(guān)的課程、環(huán)境等因素作為關(guān)鍵評(píng)估指標(biāo),其他指標(biāo)和要素的確定也緊緊圍繞其與教師行為改進(jìn)之間的相關(guān)性。
4.追求“持續(xù)改進(jìn)”,解決評(píng)估結(jié)果乏力問題
理想的評(píng)估應(yīng)展示培訓(xùn)全過程中的關(guān)鍵數(shù)據(jù)和成果信息,通過將評(píng)估報(bào)告告知參訓(xùn)教師、相關(guān)學(xué)校與培訓(xùn)機(jī)構(gòu),以充分發(fā)揮評(píng)估的激勵(lì)功能。“4L5S”評(píng)估模型追求將評(píng)估結(jié)果用于喚醒教師參與培訓(xùn)項(xiàng)目的內(nèi)部與外部動(dòng)機(jī),激發(fā)教師學(xué)習(xí)和行為改進(jìn)的動(dòng)機(jī)和信心;引導(dǎo)學(xué)校管理者為教師在培訓(xùn)后的學(xué)習(xí)轉(zhuǎn)化與示范引領(lǐng)提供充分的績效支持;幫助培訓(xùn)機(jī)構(gòu)在整體上回顧、反思培訓(xùn)項(xiàng)目的設(shè)計(jì)與實(shí)施,發(fā)現(xiàn)持續(xù)改進(jìn)的機(jī)會(huì)。
開展培訓(xùn)評(píng)估的前提是明確評(píng)估標(biāo)準(zhǔn)。在訓(xùn)前開展經(jīng)驗(yàn)層評(píng)估,既可為培訓(xùn)項(xiàng)目設(shè)計(jì)提供重要依據(jù),又可為評(píng)估標(biāo)準(zhǔn)制定提供重要信息。
1.評(píng)估內(nèi)容與關(guān)鍵指標(biāo)
經(jīng)驗(yàn)層評(píng)估是對(duì)參訓(xùn)教師的知識(shí)、技能、態(tài)度、行為等情況進(jìn)行“摸底性”評(píng)估,以充分掌握參訓(xùn)教師的學(xué)習(xí)背景。這一層次評(píng)估的關(guān)鍵指標(biāo)有以下三個(gè)。一是認(rèn)知現(xiàn)狀,即參訓(xùn)教師在訓(xùn)前對(duì)培訓(xùn)主題所涉事實(shí)、概念、原理、理論等的認(rèn)知現(xiàn)狀。例如,“線上線下融合式單元教學(xué)設(shè)計(jì)”培訓(xùn)主題下,可在訓(xùn)前評(píng)估參訓(xùn)教師對(duì)“混合式學(xué)習(xí)”“翻轉(zhuǎn)課堂”“單元教學(xué)”等重要事實(shí)與概念的認(rèn)知情況。二是能力現(xiàn)狀,即參訓(xùn)教師在訓(xùn)前對(duì)培訓(xùn)主題所涉策略方法、重要技能、關(guān)鍵能力等方面的掌握程度。例如,“線上線下融合式單元教學(xué)設(shè)計(jì)”培訓(xùn)主題下,可在訓(xùn)前重點(diǎn)評(píng)估參訓(xùn)教師在多媒體運(yùn)用、線下教學(xué)設(shè)計(jì)與實(shí)施、線上教學(xué)設(shè)計(jì)與實(shí)施等方面的能力現(xiàn)狀。三是行為現(xiàn)狀,即參訓(xùn)教師在訓(xùn)前對(duì)培訓(xùn)主題所涉關(guān)鍵議題方面的行為表現(xiàn)。例如,“線上線下融合式單元教學(xué)設(shè)計(jì)”培訓(xùn)主題下,可在訓(xùn)前評(píng)估教師在日常教育教學(xué)中運(yùn)用線上線下融合式教學(xué)的場(chǎng)景、頻次與質(zhì)量。
2.數(shù)據(jù)來源與評(píng)估方法
經(jīng)驗(yàn)層評(píng)估的數(shù)據(jù)來源多種多樣,例如參訓(xùn)教師、學(xué)校管理者、參訓(xùn)教師同伴、學(xué)生?,F(xiàn)實(shí)中,為了操作的便利,可以參訓(xùn)教師和學(xué)校管理者為主,以參訓(xùn)教師同伴和學(xué)生為輔。評(píng)估者需依據(jù)不同的數(shù)據(jù)種類,采用適切的評(píng)估方法與工具。一般而言,經(jīng)驗(yàn)層評(píng)估常用的評(píng)估方法主要有以下三種。一是前測(cè)問卷法。評(píng)估者可依據(jù)培訓(xùn)主題,精心設(shè)計(jì)結(jié)構(gòu)化或半結(jié)構(gòu)化的前測(cè)問卷,重點(diǎn)收集教師訓(xùn)前認(rèn)知方面的數(shù)據(jù)信息。二是訓(xùn)前訪談法。在培訓(xùn)開始前,評(píng)估者對(duì)參訓(xùn)教師、學(xué)校管理者、參訓(xùn)教師同伴、學(xué)生等培訓(xùn)相關(guān)人員進(jìn)行訪談,重點(diǎn)收集教師訓(xùn)前能力方面的數(shù)據(jù)信息。三是觀察分析法。在培訓(xùn)開始前,評(píng)估者通過觀察、記錄、分析參訓(xùn)教師的教學(xué)現(xiàn)場(chǎng)、教育教學(xué)錄像、教育教學(xué)作品等,重點(diǎn)收集教師訓(xùn)前行為方面的數(shù)據(jù)信息。
表1 基于行為改進(jìn)的“4L5S”教師培訓(xùn)效果評(píng)估框架
參訓(xùn)者對(duì)培訓(xùn)產(chǎn)生積極的情感體驗(yàn),對(duì)培訓(xùn)內(nèi)容的“內(nèi)化”與“轉(zhuǎn)化”十分重要。培訓(xùn)方對(duì)參訓(xùn)者情感體驗(yàn)的掌握與了解,可為培訓(xùn)的及時(shí)調(diào)整與優(yōu)化提供重要參考。
1.評(píng)估內(nèi)容與關(guān)鍵指標(biāo)
體驗(yàn)層評(píng)估主要是指培訓(xùn)結(jié)束時(shí),征詢學(xué)員的主觀看法,重點(diǎn)包括對(duì)培訓(xùn)要素(目標(biāo)、課程、師資、服務(wù)等)、參與程度、收獲大小的反應(yīng)與感受。這一層次評(píng)估的關(guān)鍵指標(biāo)有以下三個(gè)。一是工作相關(guān)度,它是指在參訓(xùn)教師眼中,培訓(xùn)目標(biāo)、培訓(xùn)內(nèi)容與教師崗位要求、個(gè)體需求之間的關(guān)聯(lián)程度。二是學(xué)習(xí)參與度,它是指在參訓(xùn)教師眼中,培訓(xùn)過程是否創(chuàng)造了足夠多、足夠有吸引力、足夠有效的互動(dòng)與對(duì)話機(jī)會(huì)。三是培訓(xùn)滿意度,它是指在參訓(xùn)教師眼中,培訓(xùn)在課程設(shè)置、課程實(shí)施、授課專家、培訓(xùn)服務(wù)等方面是否提供了積極的情緒體驗(yàn)。
2.數(shù)據(jù)來源與評(píng)估方法
體驗(yàn)層評(píng)估的數(shù)據(jù)來源主要是參訓(xùn)教師。體驗(yàn)層評(píng)估常用的評(píng)估方法與工具主要有以下兩種。一是反應(yīng)量表法。可運(yùn)用紙質(zhì)或網(wǎng)絡(luò)形式的里克特式五分制量表,以了解參訓(xùn)教師對(duì)培訓(xùn)各要素的反應(yīng)與感受。體驗(yàn)層評(píng)估往往面向全員,量表可在培訓(xùn)或課程結(jié)束時(shí)即時(shí)發(fā)放,即時(shí)回收。為引導(dǎo)參訓(xùn)教師更加嚴(yán)肅地看待自己的學(xué)習(xí)經(jīng)歷,要盡可能地將問題轉(zhuǎn)化為以參訓(xùn)者為中心的問題,以引領(lǐng)教師在培訓(xùn)中盡可能主動(dòng)地發(fā)現(xiàn)課程的價(jià)值。二是抽樣訪談法。通過提前設(shè)計(jì)結(jié)構(gòu)化或半結(jié)構(gòu)化的訪談提綱,以個(gè)別面談或集體訪談形式,針對(duì)關(guān)鍵評(píng)估指標(biāo),收集參訓(xùn)者對(duì)相關(guān)培訓(xùn)要素的看法與意見??紤]到現(xiàn)實(shí)情況,可以抽取一定比例的參訓(xùn)教師代表進(jìn)行訪談。
學(xué)習(xí)層評(píng)估意義重大,可以了解教師是否學(xué)到了新的東西,同時(shí)對(duì)培訓(xùn)設(shè)定的目標(biāo)進(jìn)行核對(duì),以確保參訓(xùn)教師在學(xué)習(xí)層取得成就,是訓(xùn)后行為改進(jìn)的前提。
1.評(píng)估內(nèi)容與關(guān)鍵指標(biāo)
學(xué)習(xí)層評(píng)估是指在培訓(xùn)結(jié)束后,通過對(duì)教師對(duì)訓(xùn)前和訓(xùn)后知識(shí)、技能、態(tài)度的比較,測(cè)量參訓(xùn)教師對(duì)培訓(xùn)課程所涉原理、事實(shí)、技能的掌握程度以及在工作中應(yīng)用所學(xué)知識(shí)的信心與承諾。這一層次評(píng)估的關(guān)鍵指標(biāo)有以下三個(gè):一是知識(shí)習(xí)得。它是指參訓(xùn)教師對(duì)培訓(xùn)課程所涉事實(shí)、概念、理論、觀念等的認(rèn)知和理解程度。二是技能掌握。它是指參訓(xùn)教師對(duì)培訓(xùn)課程所涉主要方法策略、操作技能等的掌握情況。三是態(tài)度轉(zhuǎn)變。它是指參訓(xùn)教師在工作中運(yùn)用新知識(shí)、新技能的“信心”與“承諾”。其中,“信心”是指參訓(xùn)教師相信自己能將所學(xué)知識(shí)、技能應(yīng)用到工作中;“承諾”是指參訓(xùn)教師愿意將所學(xué)知識(shí)、技能應(yīng)用到工作中。
2.數(shù)據(jù)來源與評(píng)估方法
學(xué)習(xí)層評(píng)估的數(shù)據(jù)來源主要是參訓(xùn)教師與培訓(xùn)專家。學(xué)習(xí)層評(píng)估常用的評(píng)估方法與工具主要有以下四種。一是測(cè)驗(yàn)法,通過傳統(tǒng)紙筆或在線測(cè)試對(duì)參訓(xùn)教師的知識(shí)掌握情況進(jìn)行評(píng)估,一般在培訓(xùn)結(jié)束后進(jìn)行。測(cè)驗(yàn)法可獲取量化數(shù)據(jù),故效度較高。不過,測(cè)驗(yàn)法對(duì)命題要求很高,需覆蓋培訓(xùn)核心知識(shí)點(diǎn)與技能點(diǎn),評(píng)估者可與培訓(xùn)專家共同完成。二是作品分析法,采集參訓(xùn)教師訓(xùn)前、訓(xùn)后與培訓(xùn)主題相關(guān)的教育教學(xué)“作品”,并對(duì)其進(jìn)行對(duì)比分析研究,以了解參訓(xùn)教師知識(shí)、技能、態(tài)度方面的所得。三是訪談法,由培訓(xùn)專家或團(tuán)隊(duì)在培訓(xùn)過程中,通過具有代表性的問題訪談或提問,來了解參訓(xùn)教師對(duì)培訓(xùn)內(nèi)容的掌握情況?,F(xiàn)實(shí)中,訪談可采用“行動(dòng)計(jì)劃表”這種書面形式,除了可了解培訓(xùn)所學(xué)外,還能在學(xué)習(xí)與下一步的行為轉(zhuǎn)化之間建立聯(lián)系。四是模擬法,通常以現(xiàn)場(chǎng)操作或模擬為主,由參訓(xùn)教師操作、模擬,由培訓(xùn)專家指導(dǎo)打分?,F(xiàn)場(chǎng)評(píng)估結(jié)束后,可輔以追蹤觀察。
行為改進(jìn)是衡量教師培訓(xùn)效果最為重要、最為關(guān)鍵的內(nèi)容。只有參訓(xùn)教師真正地將所學(xué)知識(shí)運(yùn)用到實(shí)際工作中,才預(yù)示著教育教學(xué)績效的改善。
1.評(píng)估內(nèi)容與關(guān)鍵指標(biāo)
行為評(píng)估是在培訓(xùn)結(jié)束一段時(shí)間,一般為3—6個(gè)月后,對(duì)參訓(xùn)教師的工作行為和職場(chǎng)表現(xiàn)方面發(fā)生的變化進(jìn)行評(píng)估。這一層級(jí)的評(píng)估重點(diǎn)是確定參訓(xùn)教師在多大程度上應(yīng)用了培訓(xùn)所學(xué)知識(shí),或在多大程度上發(fā)生了行為改進(jìn)。這一層次評(píng)估的關(guān)鍵指標(biāo)有三個(gè)。一是應(yīng)用機(jī)會(huì),即對(duì)參訓(xùn)教師將培訓(xùn)所學(xué)知識(shí)與實(shí)際工作相結(jié)合的行動(dòng)進(jìn)行評(píng)估,評(píng)估預(yù)期行為出現(xiàn)的場(chǎng)景、頻次與質(zhì)量,即衡量參訓(xùn)教師運(yùn)用培訓(xùn)課程內(nèi)容和方法工具解決工作中的疑慮和困難的有效程度。二是轉(zhuǎn)化支持,即考慮到影響參訓(xùn)教師學(xué)習(xí)轉(zhuǎn)化的兩大核心變量:一是來自培訓(xùn)方的專業(yè)指導(dǎo),二是來自學(xué)校管理層的管理支持。在訓(xùn)后,重點(diǎn)就這兩方面評(píng)估參訓(xùn)教師的績效支持系統(tǒng)。三是行為激勵(lì),即將參訓(xùn)教師的行為改進(jìn)與績效掛鉤,這類評(píng)估常見于與轉(zhuǎn)崗、晉級(jí)、評(píng)職等相關(guān)的考核。在教師培訓(xùn)效果評(píng)估中,可圍繞行為改進(jìn),采用類似的獎(jiǎng)懲措施。
2.數(shù)據(jù)來源與評(píng)估方法
行為層評(píng)估的數(shù)據(jù)來源是多方面的,比如參訓(xùn)教師、學(xué)校管理者、參訓(xùn)教師同伴、培訓(xùn)專家、學(xué)生等。行為層評(píng)估常用的評(píng)估方法與工具主要有以下三種。一是行為觀察法,即跟蹤觀察法。項(xiàng)目組在訓(xùn)后親自到工作現(xiàn)場(chǎng)或采用觀看錄像,借助“關(guān)鍵事件記錄表”,觀察并記錄參訓(xùn)教師在教育教學(xué)實(shí)踐中的行為表現(xiàn),并與教師以往經(jīng)驗(yàn)進(jìn)行比較分析。二是行為報(bào)告法。現(xiàn)實(shí)中,行為報(bào)告法又包括多種形式,其中常見的有工作日志、關(guān)鍵事件、成功故事。其操作重點(diǎn)是邀請(qǐng)參訓(xùn)教師參照行動(dòng)計(jì)劃,結(jié)合培訓(xùn)內(nèi)容,梳理行為改進(jìn)的承諾事項(xiàng)、具體措施、資源支持、完成情況等。三是360度訪談法。通過開展面向參訓(xùn)教師、參訓(xùn)教師同伴、學(xué)校管理者、學(xué)生的訪談,來收集有關(guān)行為改進(jìn)的資料,借助“職場(chǎng)追蹤訪談表”,重點(diǎn)衡量訓(xùn)后行為表現(xiàn)及其發(fā)生前后的情境與條件。
1.Step 1:界定關(guān)鍵行為
確定評(píng)估什么是培訓(xùn)效果評(píng)估過程中最重要的決策。考慮到成本、時(shí)間、指標(biāo)的易理解性,可以將培訓(xùn)評(píng)估指標(biāo)縮減至可量化的幾個(gè)關(guān)鍵行為指標(biāo)。例如,在面向名優(yōu)教師微課開發(fā)能力培訓(xùn)的評(píng)估中,將關(guān)鍵行為界定如下:(1)參訓(xùn)教師能在培訓(xùn)期間修改1門自己開發(fā)或?qū)嵤┻^的微課;(2)參訓(xùn)教師能在培訓(xùn)之后開發(fā)1門屬于自己的微課;(3)參訓(xùn)教師能在培訓(xùn)之后應(yīng)用1門自己開發(fā)或?qū)嵤┻^的微課。
2.Step 2:形成評(píng)估證據(jù)
科學(xué)的評(píng)估一定是基于適切、充分“證據(jù)”的評(píng)估。在該步驟中,評(píng)估者需要完成三件事:一是確定比較標(biāo)準(zhǔn),充分利用經(jīng)驗(yàn)層評(píng)估所提供的原始數(shù)據(jù);二是開展數(shù)據(jù)采集,評(píng)估者依據(jù)評(píng)估內(nèi)容、數(shù)據(jù)類型與數(shù)據(jù)來源,選擇相應(yīng)的采集時(shí)間、采集方式與采集工具;三是開展數(shù)據(jù)分析,運(yùn)用適宜的數(shù)據(jù)編碼、匯總與統(tǒng)計(jì)方法,對(duì)評(píng)估數(shù)據(jù)進(jìn)行綜合評(píng)析。
3.Step 3:撰寫評(píng)估報(bào)告
在對(duì)培訓(xùn)相關(guān)數(shù)據(jù)和信息進(jìn)行整理、分析后,評(píng)估者結(jié)合培訓(xùn)項(xiàng)目背景與目標(biāo)等,撰寫正式的培訓(xùn)效果評(píng)估報(bào)告。評(píng)估報(bào)告的核心內(nèi)容包括評(píng)估工作概述、四層級(jí)分析結(jié)果、評(píng)估結(jié)論建議等。
4.Step 4:反饋評(píng)估結(jié)果
一旦評(píng)估有了結(jié)果,評(píng)估者就有義務(wù)將結(jié)果匯報(bào)給培訓(xùn)管理者和培訓(xùn)關(guān)鍵利益相關(guān)方(參訓(xùn)教師、學(xué)校管理者、教育行政部門等)。培訓(xùn)關(guān)鍵利益相關(guān)方可依據(jù)評(píng)估結(jié)果,回顧培訓(xùn)問題與成果,并制定具體的行動(dòng)方案,來推動(dòng)培訓(xùn)持續(xù)優(yōu)化與改進(jìn)。
5.Step 5:推動(dòng)持續(xù)改進(jìn)
實(shí)踐中,可從以下幾方面入手,制訂持續(xù)改善行動(dòng)計(jì)劃。一是尋求問題根源。例如,如果參訓(xùn)教師認(rèn)為培訓(xùn)所學(xué)知識(shí)的實(shí)用價(jià)值不高,那么問題的本質(zhì)到底是什么?是培訓(xùn)內(nèi)容的問題,還是培訓(xùn)對(duì)象本身并非合適的人選,或是培訓(xùn)時(shí)機(jī)選擇不當(dāng)?二是采取漸進(jìn)行動(dòng)?,F(xiàn)實(shí)中,很難對(duì)培訓(xùn)進(jìn)行一次性“徹底改造”,可選擇從相對(duì)簡(jiǎn)單或用時(shí)較少的問題開始。三是開展團(tuán)隊(duì)復(fù)盤。例如,在每日培訓(xùn)結(jié)束后,組織項(xiàng)目團(tuán)隊(duì)成員就培訓(xùn)流程要素進(jìn)行反思研討,梳理問題,及時(shí)調(diào)整,幫助項(xiàng)目團(tuán)隊(duì)從培訓(xùn)日常管理中抽身而出,以留出反思的時(shí)間與空間。
教師培訓(xùn)效果評(píng)估是一項(xiàng)復(fù)雜的系統(tǒng)工程。筆者基于評(píng)估模型的構(gòu)建作如下討論,既是經(jīng)驗(yàn)總結(jié),亦是反思展望。
1.基于教師培訓(xùn)的特殊性,開發(fā)簡(jiǎn)潔、高效的評(píng)估體系
好的培訓(xùn)評(píng)估一定是適切的?;谛袨楦倪M(jìn)的“4L5S”教師培訓(xùn)效果評(píng)估在借鑒學(xué)習(xí)發(fā)展領(lǐng)域中經(jīng)典層級(jí)評(píng)估模型基礎(chǔ)上,充分考慮教師培訓(xùn)工作的特殊性,系統(tǒng)建立了培訓(xùn)評(píng)估標(biāo)準(zhǔn)設(shè)計(jì)、培訓(xùn)效果信息收集、培訓(xùn)效果跟蹤與監(jiān)控、培訓(xùn)效果評(píng)估方法選擇、培訓(xùn)效果評(píng)估報(bào)告撰寫等事項(xiàng)的工作標(biāo)準(zhǔn),為教師培訓(xùn)效果評(píng)估提供了一份相對(duì)簡(jiǎn)潔、高效、實(shí)用的操作樣本。
2.基于教師培訓(xùn)的薄弱點(diǎn),挖掘關(guān)鍵、可測(cè)的評(píng)估要素
現(xiàn)實(shí)中,培訓(xùn)團(tuán)隊(duì)遇到最大的挑戰(zhàn)是從學(xué)習(xí)到行為的遷移?;谛袨楦倪M(jìn)的“4L5S”教師培訓(xùn)效果評(píng)估直面問題,致力于讓學(xué)習(xí)與應(yīng)用之間的轉(zhuǎn)化距離最短、轉(zhuǎn)化障礙最小。從前端經(jīng)驗(yàn)分析、價(jià)值證據(jù)鏈建立、項(xiàng)目設(shè)計(jì)到項(xiàng)目落地,將評(píng)估嵌入培訓(xùn)全流程,讓評(píng)估成為一種思維方式和下意識(shí)行為。
3.基于教師培訓(xùn)的規(guī)范化,開發(fā)科學(xué)、可用的評(píng)估工具
評(píng)估必須是與培訓(xùn)預(yù)期結(jié)果相關(guān)的、可靠的、令人信服的,而這都建立在數(shù)據(jù)信息準(zhǔn)確、客觀與多元基礎(chǔ)上?;谛袨楦倪M(jìn)的“4L5S”教師培訓(xùn)效果評(píng)估提供了培訓(xùn)效果評(píng)估的多種方法,明確了培訓(xùn)效果評(píng)估的實(shí)施步驟,開發(fā)了系列評(píng)估表單與工具,體現(xiàn)了培訓(xùn)評(píng)估的規(guī)范性。
一是績效目標(biāo)問題?!?L5S”評(píng)估模型強(qiáng)調(diào)“績效導(dǎo)向”,因教育效用具有間接性與滯后性等特點(diǎn),故很難確定一個(gè)培訓(xùn)項(xiàng)目所應(yīng)達(dá)成的績效目標(biāo);另外,影響績效目標(biāo)實(shí)現(xiàn)的變量較為復(fù)雜,培訓(xùn)項(xiàng)目對(duì)業(yè)務(wù)目標(biāo)的貢獻(xiàn)度還需要更多實(shí)證數(shù)據(jù)的支持。[11]
二是適用范圍問題。盡管研究者試圖盡可能在指標(biāo)設(shè)置時(shí)充分反映教師培訓(xùn)特點(diǎn),但因需測(cè)量訓(xùn)前、訓(xùn)后學(xué)習(xí)者的行為表現(xiàn),它更適用于實(shí)踐型、技能型教師培訓(xùn)項(xiàng)目。它們往往周期較短,強(qiáng)調(diào)對(duì)培訓(xùn)內(nèi)容的即學(xué)即用。
三是評(píng)估操作問題。評(píng)估指標(biāo)體系的構(gòu)建是教師培訓(xùn)效果評(píng)估的基礎(chǔ),但如何科學(xué)實(shí)施評(píng)估更富有挑戰(zhàn)。[12]雖然研究者提供了若干不同層次評(píng)估的資料收集方法和途徑,但實(shí)踐工作受到諸多客觀條件的限制,必須綜合考慮可以利用的評(píng)估資源,以及評(píng)估方法和工具的可操作性,而這無疑是十分復(fù)雜的。