嚴(yán)文蕃 韓玉梅

(1.美國(guó)馬薩諸塞大學(xué)波士頓分校，美國(guó) 波士頓 02125-3393;2.教育部人文社科重點(diǎn)研究基地西南大學(xué)西南民族教育與心理研究中心，重慶 400715)

2020年是我國(guó)全面建成小康社會(huì)、全面打贏脫貧攻堅(jiān)戰(zhàn)和“十三五”規(guī)劃的收官之年，也是《國(guó)家教育事業(yè)發(fā)展“十三五”規(guī)劃》《國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要(2010—2020年)》等重大教育戰(zhàn)略規(guī)劃的收官之年。全國(guó)社會(huì)經(jīng)濟(jì)與國(guó)民教育等事業(yè)發(fā)展處在全面而深刻的戰(zhàn)略轉(zhuǎn)型時(shí)期。系列重大政策的成效如何？在多大程度上實(shí)現(xiàn)了政策目標(biāo)？新時(shí)代背景下如何順利銜接“十四五”時(shí)期的教育戰(zhàn)略規(guī)劃和改革？當(dāng)前形勢(shì)下，對(duì)系列重大政策效果進(jìn)行全盤(pán)、系統(tǒng)、動(dòng)態(tài)的考核驗(yàn)收和終結(jié)性評(píng)估是科學(xué)制定戰(zhàn)略轉(zhuǎn)型決策、進(jìn)一步促進(jìn)教育事業(yè)發(fā)展的現(xiàn)實(shí)著力點(diǎn)，也是國(guó)家推動(dòng)教育治理體系現(xiàn)代化、促進(jìn)教育治理能力提升的必然要求和重要抓手。基于此，受《蘇州大學(xué)學(xué)報(bào)(教育科學(xué)版)》委托，韓玉梅老師(以下簡(jiǎn)稱(chēng)“韓”)以“教育政策評(píng)估研究的國(guó)際前沿進(jìn)展及方法借鑒”為主題對(duì)嚴(yán)文蕃教授(以下簡(jiǎn)稱(chēng)“嚴(yán)”)做了專(zhuān)訪(fǎng)。

一、教育政策評(píng)估的概念體系和邏輯體系

韓：政策評(píng)估作為政策分析框架的重要組成部分，一直以來(lái)都是國(guó)內(nèi)外學(xué)者普遍關(guān)注的熱點(diǎn)議題。2019年，黨的十九屆四中全會(huì)提出以“國(guó)家治理體系現(xiàn)代化”為核心戰(zhàn)略，2020年，多項(xiàng)國(guó)家戰(zhàn)略和教育戰(zhàn)略面臨收官、轉(zhuǎn)型，在這樣的形勢(shì)下重新審視教育政策評(píng)估的基本理論和現(xiàn)實(shí)功用有著重要意義。您自20世紀(jì)90年代起便開(kāi)始從事教育政策和戰(zhàn)略改革的國(guó)際比較研究以及中美兩國(guó)相關(guān)決策咨詢(xún)工作，可否請(qǐng)您結(jié)合自身研究經(jīng)驗(yàn)和咨詢(xún)實(shí)踐經(jīng)驗(yàn)，為我們談一談國(guó)際視野下的教育政策評(píng)估概念體系？

嚴(yán)：對(duì)教育政策評(píng)估的探討要放在整個(gè)政策科學(xué)的宏觀視域下來(lái)談。19世紀(jì)40年代，美國(guó)的政治學(xué)家哈羅德·D.拉斯韋爾(Harold D.Lasswell)最早提出政策科學(xué)的概念，主張政策科學(xué)是以特定政策規(guī)劃和可供選擇的政策方案為核心，運(yùn)用新的方法論對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行分析的學(xué)術(shù)研究領(lǐng)域。經(jīng)過(guò)近70年，政策科學(xué)已經(jīng)發(fā)展成為一門(mén)較為成熟的學(xué)科，廣泛應(yīng)用于各個(gè)領(lǐng)域。政策評(píng)估研究隸屬于政策科學(xué)。要理解政策評(píng)估，就要清楚政策、政策效能、政策影響、政策評(píng)估等相關(guān)概念之間的邏輯關(guān)系。

政策是政府部門(mén)基于公共利益制定的用于調(diào)節(jié)社會(huì)關(guān)系、經(jīng)濟(jì)關(guān)系、人與自然關(guān)系等，用于指導(dǎo)公共部門(mén)行為的準(zhǔn)則，包括政策目標(biāo)、路徑、規(guī)劃、規(guī)制、利益機(jī)制等構(gòu)成要件。政策目標(biāo)指向政策的制定目的和預(yù)期效果，回答為什么要制定特定政策和政策行為的航向問(wèn)題。政策路徑指向政策目標(biāo)的實(shí)現(xiàn)方式和策略，回答采取什么方式、怎么樣才能達(dá)到政策目標(biāo)的問(wèn)題。政策規(guī)劃和規(guī)制則指向政策執(zhí)行和實(shí)施的具體行動(dòng)計(jì)劃、約束條件和保障機(jī)制等。政策不是一個(gè)靜態(tài)概念，而是一個(gè)包含多個(gè)環(huán)節(jié)的動(dòng)態(tài)過(guò)程，包括政策問(wèn)題識(shí)別、政策分析、政策制定、政策啟動(dòng)、政策實(shí)施、政策評(píng)估。政策評(píng)估是政策過(guò)程的組成部分，貫穿于整個(gè)政策過(guò)程中，可以涵蓋政策內(nèi)容評(píng)估(policy content evaluation)、政策執(zhí)行評(píng)估(policy implementation evaluation)、政策效果評(píng)估(policy effectiveness evaluation)和政策影響評(píng)估(policy impact evaluation，policy influence evaluation)等。在這個(gè)過(guò)程中，不能忽略的一個(gè)核心就是政策利益相關(guān)者，包括政策制定者、合作者、實(shí)施者、政策對(duì)象以及廣大公眾。在整個(gè)政策過(guò)程中要注重識(shí)別關(guān)鍵利害相關(guān)者，研判他們的特征和訴求，制定有效的溝通和聯(lián)合機(jī)制來(lái)傳達(dá)相關(guān)政策資訊和指令，并持續(xù)向他們征詢(xún)需求信息和反饋意見(jiàn)。開(kāi)展政策評(píng)估必須搞清楚特定評(píng)估的目的和預(yù)期功能是什么，評(píng)估結(jié)果的使用者是誰(shuí)。

具體來(lái)看，政策評(píng)估是評(píng)估主體依據(jù)特定的評(píng)估原則、評(píng)估標(biāo)準(zhǔn)和評(píng)估工具來(lái)研判特定政策內(nèi)容、實(shí)施效果及其影響的活動(dòng)過(guò)程，其目的是理解政策的績(jī)效、價(jià)值和功能。政策內(nèi)容評(píng)估側(cè)重評(píng)判政策文本內(nèi)容是否清晰闡明了政策目標(biāo)，以及政策執(zhí)行和預(yù)期目標(biāo)背后的邏輯關(guān)系和路徑合理性，這種評(píng)估有助于對(duì)政策決策的背景、內(nèi)容和實(shí)施舉措形成更深的理解。政策執(zhí)行評(píng)估主要研判政策實(shí)施過(guò)程是否始終朝向政策目標(biāo)，診斷政策執(zhí)行偏誤，這種評(píng)估有助于及時(shí)發(fā)現(xiàn)政策實(shí)施過(guò)程中的障礙與問(wèn)題、理解政策效果的形成根源。政策效果評(píng)估側(cè)重依照政策目標(biāo)研判政策實(shí)施后實(shí)現(xiàn)目標(biāo)的程度和績(jī)效，政策影響評(píng)估則較為廣泛地包含對(duì)政策產(chǎn)生的預(yù)期目標(biāo)之內(nèi)和預(yù)期之外產(chǎn)生的短期、中期和長(zhǎng)期影響評(píng)估。政策效果評(píng)估和政策影響評(píng)估有諸多交叉重疊，比較容易混淆。從時(shí)間維度來(lái)看，政策內(nèi)容評(píng)估往往發(fā)生在政策實(shí)施之前，也可以視為事前評(píng)估；政策執(zhí)行評(píng)估往往發(fā)生在政策實(shí)施進(jìn)程中，可視為事中評(píng)估或階段性評(píng)估、形成性評(píng)估；而政策效果評(píng)估和政策影響評(píng)估則往往發(fā)生在政策實(shí)施一定階段或?qū)嵤┲?，因此可能是長(zhǎng)期政策的事中評(píng)估，也可能是事后評(píng)估、終結(jié)性評(píng)估。你在問(wèn)題中提到當(dāng)前各大教育戰(zhàn)略即將收官，這種形勢(shì)下非常適宜著手開(kāi)展事后評(píng)估、終結(jié)性評(píng)估，重點(diǎn)開(kāi)展政策效果評(píng)估和影響評(píng)估。在不同時(shí)間階段或不同情境下，政策評(píng)估的需求、目的、預(yù)期功能、評(píng)估結(jié)果的使用對(duì)象、主體和客體不同，決定了不同類(lèi)別政策評(píng)估的價(jià)值取向、標(biāo)準(zhǔn)、方法技術(shù)都有所不同。但不論哪一種政策評(píng)估，一定要注重關(guān)鍵利害相關(guān)者的訴求和反饋。

政策評(píng)估的意義毋庸置疑，政府部門(mén)投入了大量經(jīng)費(fèi)開(kāi)展特定政策。在政策實(shí)施后，首先，必須通過(guò)實(shí)踐來(lái)檢驗(yàn)這個(gè)政策是不是科學(xué)合理的；其次，需要衡量政策是不是奏效的，是否達(dá)到目標(biāo)、實(shí)現(xiàn)程度如何、多大程度上改進(jìn)了實(shí)踐或解決了問(wèn)題；再次，必須判斷所實(shí)現(xiàn)的效果和投入的經(jīng)費(fèi)相比是否值得，也就是投入—產(chǎn)出效益如何。政策評(píng)估可以滿(mǎn)足政府的這些需求，可以為科學(xué)制定后續(xù)政策、有效配置資源、合理劃撥經(jīng)費(fèi)等提供關(guān)鍵依據(jù)。通常人們認(rèn)為，政策研究的旨?xì)w就是要生成和提供應(yīng)用型的知識(shí)、證據(jù)和啟示，來(lái)服務(wù)于政策的科學(xué)制定，而政策制定則旨?xì)w于推動(dòng)改革和改進(jìn)實(shí)踐。從政策研究到政策制定再到實(shí)踐的轉(zhuǎn)換過(guò)程像是一個(gè)黑箱，而政策評(píng)估就像能打開(kāi)這個(gè)黑箱的一把鑰匙。教育政策評(píng)估是政策評(píng)估在教育領(lǐng)域的具體體現(xiàn)。由于教育自身是一個(gè)非常錯(cuò)綜復(fù)雜的系統(tǒng)，且與經(jīng)濟(jì)、社會(huì)、政治、文化等領(lǐng)域緊密聯(lián)系，因此教育政策評(píng)估更是一個(gè)復(fù)雜的系統(tǒng)工程。

韓：嚴(yán)教授，簡(jiǎn)而言之，教育政策評(píng)估就是評(píng)估主體圍繞特定教育問(wèn)題，依據(jù)特定評(píng)估機(jī)制和程序，對(duì)特定教育政策的內(nèi)容、執(zhí)行及其效果影響進(jìn)行研判的活動(dòng)，它貫穿于教育政策全過(guò)程，與各級(jí)教育行政部門(mén)、各級(jí)各類(lèi)學(xué)校管理者和師生家長(zhǎng)等教育利益相關(guān)者的訴求緊密相關(guān)，對(duì)嗎？那么，在中美教育體制差異下，教育政策評(píng)估主體、評(píng)估機(jī)制、評(píng)估程序和規(guī)范等是否也有較大的差別？

嚴(yán)：在不同政治體制下，政策效果評(píng)估的本質(zhì)是一致的，都是評(píng)估主體依據(jù)特定標(biāo)準(zhǔn)和程序，采用科學(xué)技術(shù)和方法，對(duì)政策舉措滿(mǎn)足預(yù)期目標(biāo)的程度和效果進(jìn)行事實(shí)判斷和價(jià)值判斷的過(guò)程。不同體制下，評(píng)估主體、評(píng)估標(biāo)準(zhǔn)、評(píng)估程序、方法范式、價(jià)值判斷的取向等會(huì)有所差異。中國(guó)教育體制下，中共中央國(guó)務(wù)院領(lǐng)導(dǎo)和管理教育工作，縣級(jí)以上地方各級(jí)人民政府依法管理本行政區(qū)域內(nèi)的教育事業(yè)，在政策實(shí)施中負(fù)有主體責(zé)任。在教育評(píng)估方面實(shí)行教育督導(dǎo)評(píng)估制度，各級(jí)教育行政部門(mén)或經(jīng)認(rèn)可的社會(huì)組織，依法依規(guī)對(duì)學(xué)校及其他教育機(jī)構(gòu)進(jìn)行考核和評(píng)定；教育政策評(píng)估往往具有自上而下的行政主導(dǎo)特征，和政府職能部門(mén)的工作績(jī)效密切掛鉤。引入社會(huì)組織參與的第三方評(píng)估是近年來(lái)中國(guó)教育政策評(píng)估發(fā)展的重要趨勢(shì)，“新型教育智庫(kù)建設(shè)”被提到了國(guó)家戰(zhàn)略高度，為傳統(tǒng)的內(nèi)部行政性評(píng)價(jià)提供了重要的外部制衡，反映出中國(guó)教育政策評(píng)估研究發(fā)展的巨大潛力和利好形勢(shì)。但第三方評(píng)估機(jī)制還不夠健全，有待進(jìn)一步發(fā)展完善。

在美國(guó)，聯(lián)邦政府并不具有對(duì)教育的直接管轄權(quán)，州政府對(duì)教育事業(yè)負(fù)有主體責(zé)任，州政府的教育責(zé)權(quán)來(lái)自州憲法，州教育委員會(huì)是州教育決策機(jī)關(guān)，和聯(lián)邦教育部沒(méi)有直接的隸屬關(guān)系。聯(lián)邦教育部往往通過(guò)項(xiàng)目化管理的形式激勵(lì)和鉗制州政府教育事業(yè)發(fā)展。早在20世紀(jì)60年代以來(lái)，美國(guó)推行了“項(xiàng)目計(jì)劃預(yù)算”(Planning-Programming-Budgeting System,PPBS)的改革，實(shí)質(zhì)上是政府投入專(zhuān)項(xiàng)項(xiàng)目經(jīng)費(fèi)對(duì)教育等公共事業(yè)進(jìn)行預(yù)算管控，申請(qǐng)經(jīng)費(fèi)的州政府最終以項(xiàng)目評(píng)估報(bào)告作為預(yù)算經(jīng)費(fèi)使用效益的證據(jù)。項(xiàng)目評(píng)估，尤其是基于投入—產(chǎn)出的評(píng)估方法滿(mǎn)足了政府公共管理的現(xiàn)實(shí)需求，發(fā)揮了重要的功能，普遍被西方國(guó)家接受和效仿。雖然PPBS機(jī)制歷經(jīng)變革，但項(xiàng)目化管理的傳統(tǒng)在公共政策評(píng)估領(lǐng)域沿襲下來(lái)。因此，在美國(guó)政策分析話(huà)語(yǔ)體系中，常常會(huì)看到項(xiàng)目(program,initiative)、干預(yù)(intervention)這類(lèi)詞語(yǔ)，項(xiàng)目評(píng)估(program evaluation)的很多理論和方法與政策評(píng)估的理論方法具有很大的融通性。受體制的影響，在美國(guó)較少有自上而下的全國(guó)性的標(biāo)準(zhǔn)化的政策評(píng)估，而更多是自下而上的內(nèi)部評(píng)估和大量權(quán)威組織機(jī)構(gòu)開(kāi)展的項(xiàng)目化外部評(píng)估。國(guó)家教育協(xié)會(huì)(National Education Association,NEA)、美國(guó)研究中心(American Institute for Research)、教育研究協(xié)會(huì)(American Educational Research Association,AERA)等一批教育領(lǐng)域權(quán)威組織機(jī)構(gòu)和大量教育智庫(kù)機(jī)構(gòu)[如蘭德公司(Rand Corporation)等]會(huì)開(kāi)展政策效果測(cè)評(píng)、政策影響研究、干預(yù)追蹤研究、關(guān)鍵因素對(duì)政策效果的影響機(jī)制研究等。教育政策效果評(píng)估的終端往往指向教育質(zhì)量的提升，而結(jié)果取向的教育質(zhì)量觀常以學(xué)生學(xué)業(yè)成就作為可測(cè)量的因變量，因此，在美國(guó)乃至全球范圍開(kāi)展的學(xué)生學(xué)業(yè)成就測(cè)評(píng)如NAPE、PISA、TIMMS等教育評(píng)估監(jiān)測(cè)體系為政策效果評(píng)估的結(jié)果變量持續(xù)提供著證據(jù)，積累著龐大的開(kāi)放性數(shù)據(jù)。總之，不同教育體制下的教育政策評(píng)估各有特色和優(yōu)勢(shì)。不論在什么樣的體制下，更為關(guān)鍵的是，教育政策評(píng)估受到不同哲學(xué)框架或者說(shuō)范式的指導(dǎo)，有不同的利益驅(qū)動(dòng)，評(píng)估結(jié)果的受眾主體不同，采用的評(píng)估方法也就會(huì)不同，各個(gè)不同的要素間要進(jìn)行模式匹配，匹配度越高，那么政策評(píng)估越能實(shí)現(xiàn)它預(yù)期的目標(biāo)和效能。

韓：也就是說(shuō)，受體制、范式、價(jià)值取向、受眾等因素的影響，教育政策評(píng)估方法多樣化，當(dāng)政策評(píng)估指向的問(wèn)題、所處的情境、價(jià)值立場(chǎng)、哲學(xué)理念、評(píng)估結(jié)果的受眾和采用的評(píng)估方法實(shí)現(xiàn)最優(yōu)匹配時(shí)，才能實(shí)現(xiàn)評(píng)估效能的最大化，對(duì)嗎？您在前面提及，政策的目的是改進(jìn)，政策評(píng)估的終端指向是政策的優(yōu)化和實(shí)踐的改進(jìn)，政策評(píng)估像鑰匙一樣可以打開(kāi)政策研究到政策制定再到實(shí)踐之間的通道。您是否可以更加詳細(xì)地解釋政策評(píng)估在政策研究、政策制定、實(shí)踐改進(jìn)的邏輯線(xiàn)路中發(fā)揮作用的機(jī)理？

嚴(yán)：這個(gè)問(wèn)題涉及一個(gè)關(guān)鍵點(diǎn)，也就是“證據(jù)”。我們常說(shuō)“基于證據(jù)的科學(xué)研究”，那么什么是科學(xué)的證據(jù)？證據(jù)在政策效果評(píng)估中扮演著什么樣的角色？簡(jiǎn)而言之，證據(jù)是在調(diào)查評(píng)估過(guò)程中采集的能夠反映政策效果的數(shù)據(jù)、文本、信息等經(jīng)分析研判后得出的事實(shí)性論據(jù)。證據(jù)是實(shí)證主義取向研究賴(lài)以生存的事實(shí)標(biāo)準(zhǔn)，是進(jìn)行事實(shí)判斷和價(jià)值判斷的主體依據(jù)?？梢哉f(shuō)，證據(jù)也是將政策研究、政策制定、政策評(píng)估及實(shí)踐串聯(lián)起來(lái)的邏輯紅線(xiàn)。[1]

政策的目的是改進(jìn)實(shí)踐、解決實(shí)踐問(wèn)題。評(píng)估的目的在于科學(xué)把握政策實(shí)施的進(jìn)度、成效和問(wèn)題，沒(méi)有評(píng)估，就無(wú)法知曉所采取的政策行動(dòng)和付出的投入與努力是否、在多大程度上產(chǎn)生了改進(jìn)實(shí)踐的效能，也不可能精準(zhǔn)地診斷政策執(zhí)行問(wèn)題，了解從哪些方面著手去優(yōu)化政策、改進(jìn)實(shí)踐。如何通過(guò)評(píng)估來(lái)研判政策效能呢？關(guān)鍵在于評(píng)估過(guò)程中在政策實(shí)施的實(shí)踐一線(xiàn)采集到那些確鑿的、客觀的、有說(shuō)服力的證據(jù)。換言之，從評(píng)估到實(shí)踐改進(jìn)的這個(gè)過(guò)程中，評(píng)估工作的中介機(jī)制即在實(shí)踐中采集證據(jù)。評(píng)估從一定意義上是為了獲取證據(jù)，政策的優(yōu)化和實(shí)踐的改進(jìn)則是依賴(lài)評(píng)估中獲得的那些證據(jù)來(lái)推進(jìn)的；因此，評(píng)估質(zhì)量和證據(jù)質(zhì)量從很大程度上影響著政策的效能和實(shí)踐改進(jìn)的程度。

不過(guò)，政策評(píng)估發(fā)現(xiàn)的實(shí)證性證據(jù)和分析結(jié)論能否切實(shí)影響決策科學(xué)化、切實(shí)改進(jìn)實(shí)踐，這一直以來(lái)都是學(xué)者們爭(zhēng)論的焦點(diǎn)。有學(xué)者甚至說(shuō)，尋找證據(jù)本身就是一個(gè)陷阱，因?yàn)檎吆蛯?shí)踐之間、自然和社會(huì)之間、基礎(chǔ)研究和應(yīng)用研究之間、研究者和政策制定者及實(shí)踐者之間的鴻溝是無(wú)法逾越的，因此幾乎不可能有絕對(duì)科學(xué)的證據(jù)來(lái)實(shí)現(xiàn)絕對(duì)有效的改進(jìn)效果。但這種立場(chǎng)太過(guò)悲觀和極端。實(shí)際上，當(dāng)評(píng)估能夠切實(shí)反映政策實(shí)施一線(xiàn)層面的情境復(fù)雜性和條件變化時(shí)，這種評(píng)估中收集的證據(jù)就有可能會(huì)架起政策研究、政策制定與實(shí)踐一線(xiàn)之間的橋梁。在這里，對(duì)情境復(fù)雜性的關(guān)注和證據(jù)本身的質(zhì)量就是至關(guān)重要的條件。如果說(shuō)高質(zhì)量的證據(jù)是事實(shí)判斷的依據(jù)，那么對(duì)情境復(fù)雜性的研判就是價(jià)值判斷的依據(jù)。前面我們說(shuō)到，政策評(píng)估要注重利益相關(guān)者的聲音，實(shí)際上，從不同相關(guān)者的多元立場(chǎng)，尤其弱勢(shì)群體的立場(chǎng)采集信息和證據(jù)，往往會(huì)非常有助于評(píng)估主體更好地理解情境的復(fù)雜性，提升證據(jù)質(zhì)量，讓價(jià)值判斷更加站得住腳。

教育政策研究、制定和實(shí)踐領(lǐng)域的鴻溝可能更大，因?yàn)榻逃且匀说陌l(fā)展為中心的事業(yè)，教育政策關(guān)涉太多利益相關(guān)者的差異化立場(chǎng)、教育要素之間的作用機(jī)制紛繁復(fù)雜、教育變量之間的因果關(guān)系難以截然劃清。教育具有很高的“復(fù)雜性”特征，而復(fù)雜程度越高，關(guān)涉的影響因素越多，政策干預(yù)獲取實(shí)效的難度就越大，各地取得成效的一致性程度也會(huì)越低，對(duì)政策效果評(píng)估的要求也越高，研制高質(zhì)量的政策評(píng)估工具、獲取高質(zhì)量的科學(xué)證據(jù)、有效推動(dòng)教育實(shí)踐的改進(jìn)也就難上加難。不過(guò)有越來(lái)越多的新興學(xué)科致力于突破桎梏，從事這種由理論到實(shí)踐的跨越性研究，比如轉(zhuǎn)化型研究、行動(dòng)研究、改進(jìn)科學(xué)等。行動(dòng)研究我們并不陌生了，轉(zhuǎn)化型研究和改進(jìn)科學(xué)(Improvement Science)都是源于醫(yī)學(xué)領(lǐng)域，其中改進(jìn)科學(xué)目前已經(jīng)被越來(lái)越多的學(xué)者引入教育領(lǐng)域。

改進(jìn)科學(xué)是一個(gè)新興的、基于實(shí)踐的研究領(lǐng)域，主要目標(biāo)是通過(guò)一套扎實(shí)可靠的理論原則和科學(xué)有效的方法技術(shù)，使基于科學(xué)研究的理論知識(shí)和實(shí)證證據(jù)轉(zhuǎn)化為解決實(shí)際問(wèn)題的有效策略，用以實(shí)現(xiàn)組織質(zhì)量的持續(xù)提升、政策的持續(xù)優(yōu)化和實(shí)踐的持續(xù)改進(jìn)。[2]改進(jìn)科學(xué)聚焦“改進(jìn)”“變革”，圍繞希望得到什么改進(jìn)(改進(jìn)目標(biāo))、如何知道一個(gè)變革能否引起改進(jìn)(創(chuàng)建測(cè)評(píng)改進(jìn)的標(biāo)準(zhǔn))、哪些變革可以引起改進(jìn)(設(shè)計(jì)變革)等基本問(wèn)題展開(kāi)，繼而進(jìn)入“計(jì)劃變革—實(shí)施變革—測(cè)評(píng)變革—檢驗(yàn)變革有沒(méi)有引發(fā)實(shí)踐的改進(jìn)—推廣變革”的循環(huán)迭代中。在這個(gè)框架中，測(cè)評(píng)是改進(jìn)科學(xué)的核心環(huán)節(jié)，它一方面通過(guò)特定測(cè)量方法收集變革的數(shù)據(jù)和信息，另一方面持續(xù)測(cè)度改進(jìn)的實(shí)現(xiàn)效果。從執(zhí)行過(guò)程層面的證據(jù)收集到效果層面的證據(jù)收集，從基于研究的證據(jù)收集到基于實(shí)踐的證據(jù)收集，評(píng)估為將證據(jù)一步步轉(zhuǎn)化為實(shí)踐改進(jìn)提供了可行路徑；同樣地，改進(jìn)科學(xué)也為評(píng)估機(jī)制的功能發(fā)揮提供了更清晰的框架，在評(píng)估與實(shí)踐改進(jìn)之間建立了更加清晰的邏輯連接。

沒(méi)有任何一項(xiàng)政策或干預(yù)項(xiàng)目會(huì)絕對(duì)成功或絕對(duì)失敗。擺正評(píng)估的目的，不是為了證明，不是為了簡(jiǎn)單獲取證據(jù)，而是為了探索證據(jù)到底能不能奏效、什么在奏效、如何奏效。政策制定者、研究者、實(shí)踐者之間的差異性場(chǎng)域和話(huà)語(yǔ)體系確實(shí)為政策評(píng)估的執(zhí)行造成了一定障礙，對(duì)評(píng)估的應(yīng)用價(jià)值發(fā)起了質(zhì)疑，但是這也反過(guò)來(lái)印證了破解三者之間隔閡的緊迫性，以及三者之間相互尊重與協(xié)同合作的重要意義。

二、教育政策評(píng)估的理論基礎(chǔ)和分析框架

韓：您的論述讓我們非常清楚地厘清了教育政策評(píng)估的基本概念體系和邏輯體系。那么，有哪些主流的教育政策評(píng)估理論來(lái)指導(dǎo)我們開(kāi)展教育政策評(píng)估，以便我們實(shí)現(xiàn)更有效的評(píng)估模式匹配，獲得更高質(zhì)量的證據(jù)，做出更合理的研判，實(shí)現(xiàn)更高的評(píng)估效能呢？

嚴(yán)：教育政策評(píng)估是評(píng)估的具體分支，遵循評(píng)估理論的發(fā)展演變。總體而言，在美國(guó)，評(píng)估理論大體經(jīng)歷了四代發(fā)展歷程，第一代是1910年至第二次世界大戰(zhàn)前，以Taylor為代表的目標(biāo)和效率導(dǎo)向的實(shí)驗(yàn)室評(píng)估；第二代是“二戰(zhàn)”后至1963年間，走向現(xiàn)實(shí)生活場(chǎng)域、重視參與人態(tài)度與感受、以參與觀察和深度訪(fǎng)談為主要方法的田野實(shí)驗(yàn)評(píng)估；第三代是1963年至1974年間，以破解社會(huì)不平等問(wèn)題為導(dǎo)向，以實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)為主要方法的實(shí)證主義社會(huì)實(shí)驗(yàn)評(píng)估；第四代是1974年以來(lái)，以E.G.Guba和Y.S.Lincoln為代表提出的價(jià)值多元的、以政策受益主體關(guān)切和感受為中心的、建構(gòu)主義的回應(yīng)性評(píng)估。受第三代實(shí)證主義的社會(huì)實(shí)驗(yàn)評(píng)估理論影響，美國(guó)自20世紀(jì)60年代起越來(lái)越多的機(jī)構(gòu)和學(xué)者采用隨機(jī)試驗(yàn)、準(zhǔn)實(shí)驗(yàn)研究法等開(kāi)展大規(guī)模的長(zhǎng)期追蹤的政策評(píng)估研究，基于大規(guī)模數(shù)據(jù)來(lái)量化分析微觀變量對(duì)政策干預(yù)效果的影響，得出的結(jié)論為政府問(wèn)責(zé)和政策改進(jìn)提供科學(xué)依據(jù)。比如學(xué)前教育階段的“開(kāi)端計(jì)劃”(Head Start)、“早期干預(yù)”(Early Intervention)等，義務(wù)教育階段的“一個(gè)都不能少”(No One Left Behind)、“力爭(zhēng)上游(Race to the Top)”等聯(lián)邦政府發(fā)起的教育政策干預(yù)項(xiàng)目，都可以找到大量的基于大規(guī)模量化數(shù)據(jù)分析的政策評(píng)估研究文獻(xiàn)。再比如，蘭德公司2019年開(kāi)展了對(duì)華樂(lè)斯基金會(huì)(Wallace Foundation)自2011年在六個(gè)學(xué)區(qū)發(fā)起的一項(xiàng)校長(zhǎng)培訓(xùn)實(shí)驗(yàn)(Principal Pipeline Initiative)項(xiàng)目的評(píng)估研究，基于一套長(zhǎng)期的校長(zhǎng)追蹤數(shù)據(jù)庫(kù)采集的大規(guī)模數(shù)據(jù)分析得出證據(jù)，發(fā)現(xiàn)該項(xiàng)目是一項(xiàng)可行的、成本合理的、有效的政策項(xiàng)目。[3]這樣的研究文獻(xiàn)和評(píng)估報(bào)告可以找到很多很多，可以為我們開(kāi)展教育政策評(píng)估研究提供重要的參照和借鑒。當(dāng)前，正如質(zhì)化研究和量化研究的范式之爭(zhēng)，主體價(jià)值為中心的第四代評(píng)估與實(shí)證主義導(dǎo)向的第三代評(píng)估處在對(duì)峙共存的張力中，國(guó)際研究者們?cè)诓粩嗵綄r(jià)值中立的混合型的彌合范式，以求更加全面綜合地評(píng)估政策成效。

韓：政策評(píng)估有重要的現(xiàn)實(shí)意義，因此評(píng)估本身的質(zhì)量和效用是至關(guān)重要的根本問(wèn)題。如您所提到的，教育政策評(píng)估是一項(xiàng)系統(tǒng)工程，涉及的要素錯(cuò)綜復(fù)雜，關(guān)涉的利益主體多元，評(píng)估中很難面面俱到。那么，在開(kāi)展量化的或質(zhì)性的評(píng)估研究時(shí)，我們?nèi)绾胃行У卣业角腥朦c(diǎn)和抓手？如何更準(zhǔn)確地瞄準(zhǔn)政策評(píng)估的關(guān)鍵變量呢？您長(zhǎng)期以來(lái)從事基于大型數(shù)據(jù)分析的教育改革和政策成效評(píng)估研究，您認(rèn)為應(yīng)主要從哪些方面來(lái)架構(gòu)教育政策評(píng)估的分析框架，來(lái)確保評(píng)估的科學(xué)性和全面性？

嚴(yán)：我們前面說(shuō)到了，教育政策評(píng)估的方法選擇受到多種因素的影響，而一旦依據(jù)評(píng)估目的、受眾主體等確定了教育政策評(píng)估的方法后，便可以更好地指導(dǎo)我們進(jìn)一步將評(píng)估的對(duì)象進(jìn)行操作化界定，繼而選取核心變量作為抓手去開(kāi)展評(píng)估研究，這要針對(duì)具體政策具體分析。不過(guò)也有一些通用的分析要素供大家參考。政策效果與目標(biāo)的一致性、經(jīng)濟(jì)性、效率性、有效性、平等性、可持續(xù)性等是比較常見(jiàn)的分析要素。其中政策效果與目標(biāo)的一致性檢驗(yàn)是最為直接和經(jīng)典的，有學(xué)者把它稱(chēng)為政策目標(biāo)獲取模型，主要是以政策目標(biāo)為評(píng)判依據(jù)，將政策文本中具體的舉措項(xiàng)目進(jìn)行指標(biāo)維度劃分、轉(zhuǎn)換成可測(cè)的觀測(cè)點(diǎn)，繼而采集數(shù)據(jù)，判斷政策實(shí)施后的結(jié)果達(dá)到預(yù)期發(fā)展目標(biāo)的程度。經(jīng)濟(jì)性和效率性主要體現(xiàn)為投入—產(chǎn)出效益分析，旨在將政策投入的經(jīng)費(fèi)和資源與產(chǎn)出的量化或質(zhì)性效果進(jìn)行對(duì)比分析，評(píng)估政策投入產(chǎn)生的數(shù)量化指標(biāo)達(dá)成度和經(jīng)濟(jì)性效益水平。有效性著重評(píng)判政策在多大程度上實(shí)現(xiàn)了預(yù)期效果，在開(kāi)展效能評(píng)估時(shí)，應(yīng)跳出教育學(xué)科的單一視野，不僅評(píng)估政策對(duì)教育事業(yè)發(fā)展的效能，也要評(píng)估教育對(duì)社會(huì)經(jīng)濟(jì)發(fā)展的貢獻(xiàn)度和影響力。平等性著重考量政策的社會(huì)正義目標(biāo)實(shí)現(xiàn)度，從多元利益相關(guān)主體的立場(chǎng)，尤其弱勢(shì)群體的立場(chǎng)，通過(guò)采集其對(duì)政策效果的主觀態(tài)度和感受，評(píng)判政策結(jié)果對(duì)其利益訴求的實(shí)現(xiàn)程度，從而對(duì)公共服務(wù)均等、機(jī)會(huì)均等、資源配置均等程度等進(jìn)行研判?？沙掷m(xù)性維度主要考察政策干預(yù)效果的延續(xù)性和持續(xù)潛能，適宜應(yīng)用于對(duì)長(zhǎng)期實(shí)施的政策效果與影響進(jìn)行評(píng)估。

三、教育政策評(píng)估研究的范式與方法

韓：科學(xué)的教育政策評(píng)估分析必須依賴(lài)科學(xué)的范式作指導(dǎo)，必須遵循專(zhuān)業(yè)化的步驟和有效方法。當(dāng)前國(guó)際上從事教育政策評(píng)估研究的主流范式有哪些？這些范式理念下的教育政策評(píng)估會(huì)有怎樣的差異性特征？

嚴(yán)：西方社會(huì)科學(xué)研究歷史中曠日持久的量化研究和質(zhì)性研究之爭(zhēng)影響深遠(yuǎn)。政策評(píng)估的范式同樣受到影響。西方政策評(píng)估研究的范式演變也經(jīng)歷了實(shí)證主義到詮釋主義，再到批判主義取向的歷程。實(shí)證主義主張基于經(jīng)驗(yàn)的認(rèn)知獲取路徑，傾向于通過(guò)觀察、實(shí)驗(yàn)等方法采集經(jīng)驗(yàn)性數(shù)據(jù)和材料，基于提出假設(shè)—量化分析—驗(yàn)證假設(shè)的演繹性邏輯來(lái)發(fā)現(xiàn)可復(fù)制的普遍性規(guī)律，強(qiáng)調(diào)價(jià)值中立，反對(duì)人的主觀意識(shí)和價(jià)值判斷對(duì)結(jié)論的影響。實(shí)證主義取向的政策評(píng)估與分析從一定程度上比較符合政策評(píng)估最初所賦予的價(jià)值中立的技術(shù)理性功能屬性和基于證據(jù)進(jìn)行科學(xué)驗(yàn)證的訴求，因此被視為科學(xué)的評(píng)判依據(jù)服務(wù)于決策科學(xué)化和實(shí)踐改進(jìn)與經(jīng)驗(yàn)推廣。如我們前面所說(shuō)的，客觀的實(shí)驗(yàn)性證據(jù)、事實(shí)性證據(jù)、經(jīng)驗(yàn)性證據(jù)的獲取是實(shí)證主義取向的政策評(píng)估的核心要素，因此在西方常常聽(tīng)到“基于證據(jù)的科學(xué)研究”這個(gè)表述，這是許多西方國(guó)家采用的比較具有主導(dǎo)地位的政策評(píng)估范式。實(shí)證主義取向的政策干預(yù)評(píng)估研究一方面用以科學(xué)精準(zhǔn)的定量測(cè)度政策效率、效能和影響，另一方面重在驗(yàn)證政策干預(yù)中特定變量對(duì)政策效果變量的因果關(guān)系和作用機(jī)理。

不過(guò)伴隨著定量和定性之爭(zhēng)，20世紀(jì)70年代以來(lái)，政策評(píng)估領(lǐng)域也同樣經(jīng)歷著激烈的范式取向爭(zhēng)鳴，焦點(diǎn)在于實(shí)證主義作為政策評(píng)估的價(jià)值導(dǎo)向和主流范式方法是否合適。一些學(xué)者認(rèn)為實(shí)證主義范式的政策評(píng)估過(guò)于倚重可測(cè)的表面的效率效益等數(shù)據(jù)化成效，簡(jiǎn)化了不具有可測(cè)性的政策效能，忽略了政策實(shí)施過(guò)程中和政策環(huán)境中復(fù)雜的利益相關(guān)者主體的主觀能動(dòng)性和利益機(jī)制，忽略了過(guò)程和環(huán)境的復(fù)雜性和不確定性，對(duì)政策干預(yù)條件之外的不可控的變量難以把握，所得出的評(píng)估結(jié)論片面取決于所搜集的量化證據(jù)，囿于干預(yù)假設(shè)的條件和框架，有偏倚事實(shí)真相的風(fēng)險(xiǎn)。世界各國(guó)的教育體制、教育事業(yè)發(fā)展水平、經(jīng)濟(jì)社會(huì)和文化背景有諸多差異，難以制定出放之四海而皆準(zhǔn)的定量標(biāo)準(zhǔn)和刻度，并在不同形勢(shì)和現(xiàn)實(shí)情境下采集數(shù)據(jù)得出普適性的、可推廣的結(jié)論。實(shí)證主義取向的政策評(píng)估有其局限性，因此在采用這一范式開(kāi)展政策評(píng)估時(shí)必須嚴(yán)謹(jǐn)報(bào)告研究假設(shè)的條件和適用范圍。

與之相對(duì)的，解釋主義則強(qiáng)調(diào)人的主體意識(shí)、價(jià)值觀、信念、人際互動(dòng)等在真相認(rèn)知過(guò)程中所發(fā)揮的作用，認(rèn)為現(xiàn)實(shí)是相對(duì)的、高度依賴(lài)情境的，是由人的主觀意志建構(gòu)和詮釋出來(lái)的，與建構(gòu)主義、現(xiàn)象學(xué)、符號(hào)互動(dòng)論等的立場(chǎng)具有一致性。因此他們不追求普適化的規(guī)律，而更傾向于采用文本分析、個(gè)案分析、深描等方法，縱深挖掘現(xiàn)象或符號(hào)背后隱藏的意義。政策制定和實(shí)施具有多重主體、多個(gè)層級(jí)、多樣形式、多重目標(biāo)、多樣環(huán)境的特征，因此政策評(píng)估必須充分考慮制定政策的多元主體、政策面向的多元受益方、政策包含的多樣化工具、執(zhí)行政策的各層級(jí)地區(qū)不同環(huán)境和經(jīng)濟(jì)社會(huì)文化條件，以及影響政策效果形成的復(fù)雜多樣的因素。評(píng)估政策很難采用統(tǒng)一的整齊劃一的適用于全國(guó)各地的刻度，得出一刀切的價(jià)值判斷和事實(shí)判斷，需要允許地區(qū)依據(jù)自身實(shí)際調(diào)整目標(biāo)和舉措，允許合理范圍內(nèi)實(shí)施進(jìn)度的差異性和目標(biāo)實(shí)現(xiàn)效能的差異性。解釋主義取向的政策評(píng)估研究充分尊重政策動(dòng)態(tài)過(guò)程中的復(fù)雜性和情境性，反對(duì)量化的技術(shù)標(biāo)準(zhǔn)，更多使用文本分析、互動(dòng)交流等，重視利害相關(guān)主體，尤其是弱勢(shì)群體對(duì)政策的主觀認(rèn)識(shí)、態(tài)度和感受，來(lái)協(xié)商和建構(gòu)政策效果的價(jià)值判斷。但以上特征使得解釋主義取向的政策評(píng)估在很大程度上依賴(lài)具體情境下所收集的多元利益相關(guān)者的主觀經(jīng)驗(yàn)材料、評(píng)估主體和客體之間的互動(dòng)交流，以及評(píng)估主體、研究者的主體經(jīng)驗(yàn)和主觀建構(gòu)，而這也正是實(shí)證主義者抨擊解釋主義客觀性和科學(xué)性的要害所在。

當(dāng)前，處在實(shí)證主義和解釋主義中間立場(chǎng)的批判現(xiàn)實(shí)主義被越來(lái)越多學(xué)者采納。批判現(xiàn)實(shí)主義融合了批判自然主義和先驗(yàn)實(shí)在論，處在自然學(xué)科和社會(huì)學(xué)科的中間界面，更加辯證地探尋世界的真相。批判現(xiàn)實(shí)主義既關(guān)注現(xiàn)象的可觀測(cè)的外部特征，也重視深層因果關(guān)系的剖析，既著重收集客體的感知性經(jīng)驗(yàn)材料，也注重主客體之間的互動(dòng)交流，在宏觀掌握可測(cè)證據(jù)的基礎(chǔ)上，闡釋個(gè)體經(jīng)驗(yàn)之下的深層因果機(jī)制和要件架構(gòu)。批判現(xiàn)實(shí)主義取向的政策評(píng)估綜合了前兩種范式的優(yōu)勢(shì)，可以更加多元、立體、系統(tǒng)地理解錯(cuò)綜復(fù)雜的教育政策系統(tǒng)中層層嵌入的元素，可以更加靈活地應(yīng)對(duì)不同地域?qū)蛹?jí)、不同情境下的差異性問(wèn)題和現(xiàn)象，可以更深度地挖掘本土特征和差異化價(jià)值體系。我們常說(shuō)，教育政策評(píng)估是個(gè)系統(tǒng)工程，涉及政治、經(jīng)濟(jì)、文化環(huán)境和教育理念等宏觀系統(tǒng)要素，關(guān)涉教育系統(tǒng)架構(gòu)、教育治理體系、教育信息管理體系等中觀要素，關(guān)涉政府、學(xué)校、社區(qū)、家庭、個(gè)體之間的關(guān)系要素，還關(guān)涉學(xué)習(xí)環(huán)境、教學(xué)實(shí)踐等微觀要素，以及學(xué)生個(gè)體的個(gè)性、生理、智力、學(xué)習(xí)機(jī)能等要素。面對(duì)這項(xiàng)龐雜的系統(tǒng)工程，很難說(shuō)有一項(xiàng)萬(wàn)能的評(píng)估框架和工具能實(shí)現(xiàn)對(duì)所有層級(jí)要素的評(píng)估。但批判現(xiàn)實(shí)主義給了我們一個(gè)方向和啟示，可以更好地引導(dǎo)我們走向事實(shí)判斷和價(jià)值判斷的融合。[3]

韓：可以看出，教育政策評(píng)估范式的發(fā)展歷程也經(jīng)由了量化主導(dǎo)、質(zhì)性對(duì)抗、協(xié)商融合的轉(zhuǎn)變，評(píng)估主體和政策受眾主體的聲音與感受越來(lái)越受到重視，政策效能的價(jià)值判斷越來(lái)越走向多元，各種范式兼容并蓄，各有優(yōu)劣。這與整個(gè)社會(huì)科學(xué)研究的范式演進(jìn)路徑是一致的。那么，在多元范式指導(dǎo)下，在教育政策評(píng)估的操作執(zhí)行層面，目前國(guó)際上主流的評(píng)估方法有哪些？

嚴(yán)：前面講到的政策評(píng)估范式不分伯仲，沒(méi)有一項(xiàng)完美無(wú)瑕，采用什么范式來(lái)指導(dǎo)操作層面的教育政策評(píng)估完全取決于具體的政策評(píng)估需求和目的。因此，教育政策評(píng)估的具體方法也沒(méi)有主流與非主流之分，沒(méi)有優(yōu)劣之分，適宜的就是最好的。采用不同范式指導(dǎo)下的方法，政策評(píng)估的設(shè)計(jì)、工具編制、取樣、數(shù)據(jù)采集與分析及結(jié)果呈現(xiàn)方式都會(huì)有所不同。因此，判斷一個(gè)方法適宜與否，就需要在政策評(píng)估設(shè)計(jì)和操作之前，首先想清楚為什么要開(kāi)展政策評(píng)估、評(píng)估要達(dá)到什么目的、解決什么問(wèn)題、需要采集什么數(shù)據(jù)、測(cè)評(píng)結(jié)果如何解釋和應(yīng)用、測(cè)評(píng)結(jié)果的受眾是誰(shuí)、結(jié)果用來(lái)做什么。前面我們提到了研究問(wèn)題、哲學(xué)范式、受眾等要素要與方法進(jìn)行模式匹配，其實(shí)選擇什么樣的適宜的評(píng)估方法就是在進(jìn)行模式匹配工作，能夠與各項(xiàng)要素匹配的就是適合的方法。不論是一次性測(cè)評(píng)還是長(zhǎng)期追蹤性評(píng)估，抑或是反復(fù)進(jìn)行的調(diào)查評(píng)估，測(cè)評(píng)所得到的就是影響評(píng)判結(jié)論的全部依據(jù)，因此必須縝密地選擇匹配的方法，嚴(yán)謹(jǐn)?shù)卦O(shè)計(jì)每一個(gè)評(píng)估環(huán)節(jié)和要件。

政策制定者為了宏觀把握政策投入—產(chǎn)出效益，往往更傾向于基于實(shí)驗(yàn)法等傳統(tǒng)的實(shí)證主義取向方法和大規(guī)模硬數(shù)據(jù)分析得出的“科學(xué)證據(jù)”，以便用來(lái)佐證其決策的科學(xué)性或政策績(jī)效。社會(huì)科學(xué)研究最核心的問(wèn)題是對(duì)因果關(guān)系的分析，而實(shí)證主義取向的隨機(jī)干預(yù)實(shí)驗(yàn)研究方法被認(rèn)為是客觀性最高的、科學(xué)等級(jí)最高的分析因果關(guān)系的社會(huì)科學(xué)研究方法，因此被稱(chēng)為黃金準(zhǔn)則(golden standards)。隨機(jī)干預(yù)實(shí)驗(yàn)研究為了發(fā)現(xiàn)變量之間的因果關(guān)系而操縱某個(gè)或某些變量、控制另外部分變量數(shù)值恒定，具有自然科學(xué)中常用的實(shí)驗(yàn)室實(shí)驗(yàn)特征。在教育學(xué)領(lǐng)域，一些學(xué)者開(kāi)展隨機(jī)干預(yù)實(shí)驗(yàn)法來(lái)對(duì)特定變量(如營(yíng)養(yǎng)等)與學(xué)生學(xué)業(yè)成就的因果關(guān)系進(jìn)行研究，但實(shí)際上，教育系統(tǒng)中情境復(fù)雜多變，充滿(mǎn)不確定性，存在無(wú)窮盡的錯(cuò)綜復(fù)雜的難以控制的變量，且教育是以人為中心的事業(yè)，干預(yù)實(shí)驗(yàn)可能涉及不可逆的倫理道德問(wèn)題，因此這種方法執(zhí)行起來(lái)非常困難。在教育政策評(píng)估領(lǐng)域更為常用的、更具有可行性的是準(zhǔn)實(shí)驗(yàn)法。相對(duì)于隨機(jī)干預(yù)實(shí)驗(yàn)，準(zhǔn)實(shí)驗(yàn)研究更加強(qiáng)調(diào)利用自然情境而不是人工控制的情境，利用現(xiàn)成數(shù)據(jù)的靈活處理和匹配，來(lái)對(duì)變量進(jìn)行一定的操控，靈活控制實(shí)驗(yàn)對(duì)象。雖然相對(duì)隨機(jī)試驗(yàn)，準(zhǔn)實(shí)驗(yàn)研究形成的因果結(jié)論效度降低，但其對(duì)變量控制所要求的條件更加靈活，更加符合無(wú)法控制所有可能影響實(shí)驗(yàn)結(jié)果的無(wú)關(guān)變量的現(xiàn)實(shí)情境，具有更廣泛的應(yīng)用性。前面我們列舉的蘭德公司2019年開(kāi)展的校長(zhǎng)培訓(xùn)政策干預(yù)效果評(píng)估研究中采用的便是準(zhǔn)實(shí)驗(yàn)法，采用州政府/學(xué)區(qū)/學(xué)校層面的面上統(tǒng)計(jì)數(shù)據(jù)、校長(zhǎng)領(lǐng)導(dǎo)力追蹤數(shù)據(jù)庫(kù)、校長(zhǎng)培訓(xùn)調(diào)查數(shù)據(jù)等多類(lèi)已有數(shù)據(jù)，依據(jù)不同的研究問(wèn)題對(duì)變量和數(shù)據(jù)進(jìn)行配對(duì)處理，建立數(shù)統(tǒng)模型，測(cè)算政策干預(yù)效果。[4]但這種方法對(duì)研究者的高階統(tǒng)計(jì)分析技能要求非常高，且前提是可以獲取大量多元化的、全面的、長(zhǎng)期追蹤的大規(guī)模數(shù)據(jù)。2019年三位諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者因“為減輕全球貧困所采取的實(shí)驗(yàn)性方法”而獲此殊榮，他們將實(shí)驗(yàn)法應(yīng)用于減貧政策的關(guān)鍵影響因素評(píng)估和因果關(guān)系推斷，極大地影響了實(shí)驗(yàn)法在社會(huì)學(xué)科、政策干預(yù)評(píng)估領(lǐng)域的應(yīng)用與發(fā)展。相信在這樣的影響和帶動(dòng)下，實(shí)驗(yàn)法將為教育政策評(píng)估研究與實(shí)踐帶來(lái)新的契機(jī)，引領(lǐng)新的突破。

對(duì)于政策的廣大受眾群體，尤其是弱勢(shì)群體而言，全國(guó)大規(guī)模數(shù)據(jù)得出的數(shù)字性結(jié)論未必是他們需要或能夠理解的，他們更關(guān)心的是他們的聲音和利益訴求有沒(méi)有受到關(guān)注，有沒(méi)有被聽(tīng)到。這種情況下，上述的量化研究方法就不能滿(mǎn)足或者適宜于這樣的研究需求，而一些行動(dòng)研究、參與式觀察、案例研究等闡釋主義和批判現(xiàn)實(shí)主義取向的質(zhì)性方法更能達(dá)到目的。案例研究作為社會(huì)科學(xué)研究的重要形式，于19世紀(jì)70年代在法學(xué)領(lǐng)域誕生。20世紀(jì)末，案例研究的具體程序、方案、活動(dòng)、場(chǎng)所等作為評(píng)價(jià)研究的一部分，成為公共政策、經(jīng)濟(jì)學(xué)、公共管理和教育學(xué)領(lǐng)域的常用研究方法。案例研究是探索難于從所處情境中分離出來(lái)的現(xiàn)象時(shí)采用的一種研究方法，它遵循一套預(yù)先設(shè)定的程序和步驟，在不脫離現(xiàn)實(shí)生活環(huán)境的情況下研究當(dāng)前正在進(jìn)行或已經(jīng)完成的現(xiàn)象，且待研究現(xiàn)象與其所處環(huán)境背景之間的界限并不十分明顯，比較適宜應(yīng)用于錯(cuò)綜復(fù)雜的教育政策評(píng)估與分析中。案例研究的主要功能在于基于個(gè)案或多案例獲得的經(jīng)驗(yàn)生成概念/理論，加深對(duì)政策實(shí)施效果的理解，探索/描述/解釋政策實(shí)施過(guò)程中各種因素之間假定存在的聯(lián)系，解釋某一政策方案的實(shí)施過(guò)程與方案實(shí)施效果之間的聯(lián)系和作用機(jī)制?；旌戏椒ㄑ芯颗c案例研究不同程度、不同形式的結(jié)合可以有助于處理比案例研究更廣泛、更復(fù)雜的研究問(wèn)題，因此有越來(lái)越多的政策研究者采用混合案例評(píng)估與分析模型。在第四代評(píng)估理論的價(jià)值取向下，教育政策效果評(píng)估方法更加追求多元化，尤其注重具體的復(fù)雜的情境下關(guān)照多元利益相關(guān)主體對(duì)政策的態(tài)度和感受，深度挖掘量化證據(jù)背后的價(jià)值依據(jù)。案例研究法可以很好地彌補(bǔ)實(shí)驗(yàn)法等實(shí)證主義取向的政策評(píng)估方法的種種弊端。

不論采用哪種方法，評(píng)估工具的信效度是確保數(shù)據(jù)質(zhì)量的根本要求，評(píng)估過(guò)程中涉及的敏感問(wèn)題如數(shù)據(jù)的歸屬、保密性、合法使用、目標(biāo)一致性等都嵌入在政治協(xié)商中，并影響著政策效能產(chǎn)出的結(jié)果和評(píng)估結(jié)論。政府的數(shù)據(jù)系統(tǒng)是監(jiān)控追蹤政策條件和進(jìn)度以及生成改進(jìn)效能的重要機(jī)制和平臺(tái)，因此建立數(shù)據(jù)庫(kù)至關(guān)重要。然而，一旦評(píng)估的目的是高利害的、關(guān)涉政府職能部門(mén)績(jī)效問(wèn)責(zé)的，評(píng)估工具和評(píng)估結(jié)果往往有可能會(huì)被濫用或誤讀，尤其在大規(guī)模評(píng)估的情形下，采集的數(shù)據(jù)如果存在質(zhì)量問(wèn)題，必然會(huì)具有誤導(dǎo)性甚至危害性。評(píng)估是政策制定者和實(shí)踐者之間的調(diào)節(jié)中介，必然會(huì)影響到使用這些評(píng)估數(shù)據(jù)的人，包括決策者和實(shí)踐者。因此，以什么目的和如何使用評(píng)估數(shù)據(jù)與結(jié)論是非常重要的影響政策制定者和實(shí)踐者之間互動(dòng)張力的關(guān)鍵問(wèn)題。

四、教育政策評(píng)估研究的科學(xué)化路徑

韓：近年來(lái)，我國(guó)越來(lái)越重視教育決策科學(xué)化，大力提升教育治理能力現(xiàn)代化，注重發(fā)揮專(zhuān)業(yè)智庫(kù)機(jī)構(gòu)在科學(xué)制定、實(shí)施和評(píng)估政策過(guò)程中的角色，因此許多高校也在大力推動(dòng)應(yīng)用型、咨政類(lèi)成果的產(chǎn)出，加強(qiáng)各類(lèi)服務(wù)決策的新型教育智庫(kù)建設(shè)，重視教育政策研究相關(guān)學(xué)科領(lǐng)域的發(fā)展和人才培養(yǎng)工作。您自1991年開(kāi)始在美國(guó)高校擔(dān)任博士生導(dǎo)師，一直從事教育政策、教育評(píng)估、研究方法等課程教學(xué)和人才培養(yǎng)工作，也曾作為美國(guó)教育研究會(huì)國(guó)家數(shù)據(jù)庫(kù)研究小組的主席、美國(guó)國(guó)家數(shù)據(jù)統(tǒng)計(jì)中心培訓(xùn)專(zhuān)家，為全美多領(lǐng)域教師和博士生提供基于高級(jí)統(tǒng)計(jì)技術(shù)和大型數(shù)據(jù)分析的教育政策評(píng)估技術(shù)培訓(xùn)。請(qǐng)您基于自身經(jīng)驗(yàn)，為我國(guó)教育政策研究領(lǐng)域的研究生培養(yǎng)和相關(guān)學(xué)科建設(shè)提供一些寶貴建議。

嚴(yán)：中國(guó)大力推動(dòng)教育治理能力現(xiàn)代化的戰(zhàn)略為教育政策評(píng)估的發(fā)展帶來(lái)了非常友好的契機(jī)和外在驅(qū)動(dòng)力，同時(shí)也對(duì)教育政策領(lǐng)域?qū)W科建設(shè)和人才培養(yǎng)提出了更高的更緊迫的要求。結(jié)合自身教學(xué)經(jīng)驗(yàn)和科研經(jīng)驗(yàn)，我認(rèn)為需要注意以下四個(gè)方面的問(wèn)題。

一是拓寬跨學(xué)科研究視野。政策科學(xué)其實(shí)是跨學(xué)科屬性非常強(qiáng)的一個(gè)學(xué)科，因此從事教育政策研究的學(xué)生和學(xué)者們要注重不斷拓寬研究視野，在高度持續(xù)關(guān)注國(guó)家教育政策導(dǎo)向的同時(shí)，廣泛積累教育學(xué)和政策科學(xué)及以外的包括政治、經(jīng)濟(jì)、社會(huì)學(xué)等多學(xué)科學(xué)識(shí)素養(yǎng)，培養(yǎng)跨學(xué)科研究的意識(shí)和利用跨學(xué)科研究范式方法分析評(píng)估教育政策的能力。我本人在本科階段學(xué)的是化學(xué)，博士學(xué)的心理學(xué)，工作后一直在從事教育政策研究。我深刻感受到跨學(xué)科帶給我的好處。

二是注重團(tuán)隊(duì)合作。政策評(píng)估研究是一個(gè)系統(tǒng)性很強(qiáng)、復(fù)雜程度很高的領(lǐng)域，加之跨學(xué)科屬性特征，因此團(tuán)隊(duì)合作非常重要。教育政策研究學(xué)科建設(shè)關(guān)鍵在于組建一支由不同學(xué)科背景、不同研究專(zhuān)長(zhǎng)、擅長(zhǎng)不同分析策略和技巧，甚至跨部門(mén)的成員構(gòu)成的教育政策分析專(zhuān)業(yè)化、復(fù)合型人才團(tuán)隊(duì)。團(tuán)隊(duì)成員之間的相輔相成、協(xié)商合作將有助于打破單一學(xué)科或單一立場(chǎng)帶來(lái)的認(rèn)知局限，有助于政策評(píng)估項(xiàng)目的全面、立體推進(jìn)，有助于更高效地生成建基于綜合視角、綜合方法、綜合數(shù)據(jù)類(lèi)型的評(píng)估結(jié)論。

三是嚴(yán)格量化和質(zhì)性研究方法訓(xùn)練。盡管政策評(píng)估的范式取向越來(lái)越多元化，但不可否認(rèn)它具有較強(qiáng)的技術(shù)理性特征，因此從事教育政策評(píng)估研究，必須夯實(shí)評(píng)估技術(shù)與方法，嚴(yán)格遵守評(píng)估規(guī)范。國(guó)內(nèi)外教育政策評(píng)估領(lǐng)域研究生的量化研究水平都相對(duì)比較薄弱，因此致力于從事教育政策研究的研究生或青年學(xué)者要大力加強(qiáng)對(duì)實(shí)證取向政策評(píng)估范式和方法的學(xué)習(xí)與訓(xùn)練，尤其注重長(zhǎng)期追蹤性評(píng)估研究的系統(tǒng)訓(xùn)練，突破研究者自身硬件帶來(lái)的局限。同時(shí)，也要重視解釋主義取向的和批判現(xiàn)實(shí)主義取向的政策評(píng)估范式與方法學(xué)習(xí)，對(duì)實(shí)踐問(wèn)題和弱勢(shì)群體有深切關(guān)注，以更加多元的方法素養(yǎng)拓寬政策評(píng)估路徑的可能選項(xiàng)，以更具融合性與創(chuàng)新性的視野推動(dòng)教育政策評(píng)估范式與方法的本土化建構(gòu)，以更加開(kāi)放多元的話(huà)語(yǔ)來(lái)講述中國(guó)故事，向世界傳播中國(guó)政策經(jīng)驗(yàn)。

四是著力建設(shè)長(zhǎng)期追蹤數(shù)據(jù)庫(kù)，加強(qiáng)大數(shù)據(jù)應(yīng)用。教育政策是一個(gè)系統(tǒng)過(guò)程，政策效果具有長(zhǎng)期性和滯后性特征，最好通過(guò)長(zhǎng)期追蹤數(shù)據(jù)來(lái)檢驗(yàn)教育政策效果。評(píng)估質(zhì)量的關(guān)鍵取決于數(shù)據(jù)質(zhì)量，長(zhǎng)期的、大規(guī)模的、高質(zhì)量的數(shù)據(jù)相較一次性的、截面的數(shù)據(jù)更能夠有質(zhì)量地評(píng)估政策效果和影響，給深層次挖掘影響政策效果形成的成因與機(jī)制帶來(lái)便利和可能性。因此，在教育政策學(xué)的學(xué)科建設(shè)中，要注重在政策制定之初便將政策評(píng)估框架納入頂層設(shè)計(jì)中，將評(píng)估時(shí)間前置，持續(xù)地在政策實(shí)施前、實(shí)施進(jìn)程中、實(shí)施后開(kāi)展長(zhǎng)期的、追蹤性研究與評(píng)估，建設(shè)可共享的開(kāi)放性的政策專(zhuān)項(xiàng)追蹤數(shù)據(jù)庫(kù)。這將避免基于單次任務(wù)導(dǎo)向的、靜態(tài)的短期調(diào)查評(píng)估得出誤導(dǎo)性的評(píng)判結(jié)論，在時(shí)空層面延展更加縱深的維度，采集更加長(zhǎng)期的、動(dòng)態(tài)的、多元的、深層次的證據(jù)來(lái)形成評(píng)估結(jié)論，提升政策研判的豐富性、有效性和科學(xué)性。此外，人工智能時(shí)代發(fā)展迅速，關(guān)于學(xué)生學(xué)習(xí)模式等教育大數(shù)據(jù)的挖掘與應(yīng)用具備了更加成熟的條件和便利性，為教育政策評(píng)估研究帶來(lái)了技術(shù)性變革的契機(jī)。但與此同時(shí)，只用大數(shù)據(jù)衡量教育效果，則罔顧了教育的復(fù)雜性和周期性，且給學(xué)生信息隱私帶來(lái)一定的威脅。因此，從事教育政策研究的青年學(xué)者應(yīng)敏感地緊跟時(shí)代變革，加強(qiáng)大數(shù)據(jù)分析與挖掘技能培養(yǎng)，并在采集和處理大數(shù)據(jù)過(guò)程中注意教育情境的復(fù)雜性，注重學(xué)生等政策受眾群體的隱私保護(hù)，在科技進(jìn)步和隱私保護(hù)之間建立平衡。[5]