隨著評價理念的轉(zhuǎn)變，教育部辦公廳相繼頒布了《關(guān)于建立職業(yè)院校教學(xué)工作診斷與改進(jìn)制度的通知》（以下簡稱“診改通知”）[1]《關(guān)于全面推進(jìn)職業(yè)院校教學(xué)工作診斷與改進(jìn)制度建設(shè)的通知》等文件[2]，將“診斷”作為職業(yè)院校教學(xué)質(zhì)量提升的重要抓手，這是職業(yè)教育評價方式方法的重大變革。按照《現(xiàn)代漢語詞典》的解釋“評估（評價）”就是“評議估計”，而“診斷”的原始意義還是估計和判斷，只不過針對特定對象采用了特定的方法和多元的診斷主體。研究發(fā)現(xiàn)，如果我們把一些文件中的“診斷”二字替換成“評估或評價”，會發(fā)現(xiàn)并沒有意義上的實質(zhì)性變化。這說明，從“評估”到“診改”并非僅僅是字面之差，而是涉及更深層次的方法層面的問題，即哪些采用原來的評價方式解決不了的問題，可以通過新的評價（診斷）方式來解決，從而實現(xiàn)更有效的“改進(jìn)”？解決好“評價（診斷）工具與方法”這個問題，是搞好教學(xué)工作診斷與改進(jìn)的關(guān)鍵?；凇霸\改”理念，本研究開發(fā)了“授權(quán)評價”作為職業(yè)院校教學(xué)診斷的試驗工具，并對其實施效果進(jìn)行了檢驗。

一、授權(quán)評價及其理論基礎(chǔ)

（一）授權(quán)評價

“授權(quán)評價”是國內(nèi)學(xué)者對Empowerment Evaluation（EE）的普遍譯法，該詞最早由美國評價協(xié)會前任主席、斯坦福大學(xué)評價專家費特曼（D.M.Fetterman）教授在美國評價協(xié)會的年會上正式提出，其基本含義是通過綜合運用質(zhì)性和量化研究方法，提供工具給利益相關(guān)者進(jìn)行自我決策，用來指導(dǎo)實施計劃及開展自我評價，并將其內(nèi)化為他們項目計劃與管理的一部分，以利于項目成功[3]。如此，授權(quán)評價意味著組織將內(nèi)部的一定職責(zé)和權(quán)限授權(quán)給員工，使他們參與工作進(jìn)展與決策，并有權(quán)利決定自己的工作。值得說明的是，“授權(quán)”不僅僅局限于“授予權(quán)力（grant authority）”的簡單理解，而是更加希望參與者或利益相關(guān)者能夠通過被授予話語權(quán)和決策權(quán)，參與診斷工作進(jìn)展與決策，并在這個過程中不斷進(jìn)行自身評價能力建設(shè)。

“診斷”源于醫(yī)學(xué)界術(shù)語，本義是通過特定的診斷工具檢查病人的病癥，并有針對性地開據(jù)處方。作為一種分析和解決問題的方法，“診斷”概念已逐步向其他領(lǐng)域遷移，并成為新型的引領(lǐng)組織建構(gòu)反思意識、發(fā)現(xiàn)問題、提高效能、促進(jìn)自主發(fā)展的教育技術(shù)[4]。本文將“授權(quán)評價”作為職業(yè)教育系統(tǒng)化的內(nèi)部質(zhì)量診斷工具，指通過創(chuàng)設(shè)民主、透明的環(huán)境，以職業(yè)院校自我檢查為出發(fā)點，由項目的利益相關(guān)者共同（“會診”）對學(xué)校某一項目實施過程中出現(xiàn)的問題（“病情”）進(jìn)行多維度分析，對存在問題進(jìn)行確認(rèn)和總結(jié)（確診“病因”），提出解決策略（開出“處方”），從而保證教育教學(xué)質(zhì)量的持續(xù)提升 （“健康”）。具體實施方式為：在評價會議主持人①的引導(dǎo)下，參與者展開交流與討論，共同確定評價指標(biāo)體系，在此基礎(chǔ)上通過個人賦值、解釋分?jǐn)?shù)、協(xié)商討論等方式對職業(yè)教育的現(xiàn)象和問題進(jìn)行解釋，旨在共同識別項目運行狀況、盡早發(fā)現(xiàn)問題并能夠及時調(diào)整和改進(jìn)。

（二）理論基礎(chǔ)

美國著名的評價專家古貝和林肯提出的“第四代評估”對職業(yè)院校的“自我診斷與改進(jìn)”工作的開展具有重要意義。第四代評估強調(diào)協(xié)商建構(gòu)、全面參與、多元價值，關(guān)注不同利益相關(guān)者的不同主張、焦慮和爭議[5]，該理論提示我們，在社會和教育多元發(fā)展的背景下，應(yīng)充分尊重和發(fā)揮多元主體和利益相關(guān)者的作用，避免傳統(tǒng)的管理主義傾向和“科學(xué)式”調(diào)查。在這一理念下，評價者的工作就是“診斷”和“開處方”，其任務(wù)是通過協(xié)商建構(gòu)、深度訪談等具體方法，與被評價者一起探究原因、謀劃對策。這就意味著管理部門的放權(quán)和授權(quán)，同時要求職業(yè)院校通過多種途徑加強自我評價能力建設(shè)?！暗谒拇辈⒎莾H僅基于歷史脈絡(luò)的概念確立，更是對傳統(tǒng)評價范式（筆者將第四代以前的評價范式稱為“傳統(tǒng)評價范式”②）的改變[6]。按照“第四代評估”理論，目前我國職業(yè)教育評價基本停留在傳統(tǒng)評價范式階段，它與職業(yè)院校和學(xué)習(xí)者多元化發(fā)展需求之間必然會產(chǎn)生矛盾。究其原因：當(dāng)前線性的科學(xué)調(diào)查評價模式，無法滿足現(xiàn)代社會的多樣化價值的需求。職業(yè)院校教學(xué)診改強調(diào)的“需求導(dǎo)向、自我保證，多元診斷、重在改進(jìn)”，體現(xiàn)的正是第四代評估理念。

二、診斷效果的檢驗

對教學(xué)質(zhì)量診斷效果進(jìn)行檢驗，是基于先前對各試點院校進(jìn)行的授權(quán)評價活動的再評價，也稱“元評價”。元評價所關(guān)注的是特定評價表現(xiàn)的評價[7]，本文目的在于對基于授權(quán)評價開展的教學(xué)診斷活動做出判斷，即關(guān)注授權(quán)評價活動各個環(huán)節(jié)的效果，用于檢查并改善授權(quán)評價方案設(shè)計、評價操作、評價方法使用、評價報告撰寫、評價結(jié)果運用等各個環(huán)節(jié)，以持續(xù)改進(jìn)診斷效果和教育教學(xué)質(zhì)量。

（一）抽樣

為盡量保證樣本的代表性，研究分別選取北京、重慶和新疆、廣州、河北五個地區(qū)的樣本院校進(jìn)行試驗。研究對象的選擇，主要兼顧了以下幾個維度，一是按照城市區(qū)域、整體發(fā)展水平和文化差異選擇地區(qū)，二是按照宏觀、中觀、微觀三個層面選擇診斷內(nèi)容，三是學(xué)校層次涵蓋中職、高職和研究生院（職業(yè)教育研究人員角度）。

基于目的導(dǎo)向（purpose-oriented）和信息導(dǎo)向（information-oriented），研究采取非概率性抽樣方法（non-probability sampling），即根據(jù)研究目的，尋找具有某種特征的小樣本群體進(jìn)行研究[8]。由于參與者的參與程度與個人滿足感緊密關(guān)聯(lián)，隨著參與者規(guī)模的擴大，受益遞減原開始顯現(xiàn)，即成員之間互動的概率會相應(yīng)減少[9]，因此，本研究要求每場授權(quán)評價會規(guī)?？刂圃?-15人。各地區(qū)學(xué)校層次、專業(yè)、參與者樣本分布如表1所示。

（二）檢驗方法和評價等級

本研究采用問卷和訪談的調(diào)查方式。問卷設(shè)計了評價目標(biāo)適切性、評價方案的可行性、評價過程的合理性、評價結(jié)果的有效性四個一級指標(biāo)，每個一級指標(biāo)所包含的二級指標(biāo)和三級指標(biāo)個數(shù)不同，三個維度共同組成了評價指標(biāo)編制框架。采用五等級量表的方式，從5到1表示認(rèn)同的程度，數(shù)值越大認(rèn)同度越高。問卷數(shù)據(jù)為有序變量，題目均值大小代表參評人員對該項指標(biāo)的認(rèn)同度高低。評價由各學(xué)校負(fù)責(zé)人統(tǒng)一組織，要求各參與者根據(jù)授權(quán)評價的實際情況填寫問卷，完成后由負(fù)責(zé)人收回，發(fā)給研究者進(jìn)行統(tǒng)計。問卷信度采用經(jīng)典測驗理論中的信度分析方法，檢驗問卷內(nèi)部各項目之間的一致性程度。本研究采用SPSS統(tǒng)計軟件包進(jìn)行數(shù)據(jù)分析，信度系數(shù)為0.794，表明該問卷可以使用。

根據(jù)研究需要，選擇每個被評專業(yè)的代表性人員進(jìn)行訪談，并分析原因。受研究成本和時間所限，問卷采用電子填寫和反饋方式，訪談采用面對面、網(wǎng)絡(luò)和電話訪談方式進(jìn)行。

（三）評分說明及計算方法

1.效標(biāo)設(shè)定。效標(biāo)是衡量評價有效性的外在標(biāo)準(zhǔn)。根據(jù)常用的10分值計分方式，設(shè)計了不同分?jǐn)?shù)段的五級量表評定法，即對三級指標(biāo)進(jìn)行五等級評價?！癮”表示達(dá)成度非常高，分值為“9-10分”；“b”表示達(dá)成度較高，分值為“7-8 分”；“c”表示達(dá)成度一般，分值為“6分”；“d”表示達(dá)成度較低，分值為“4-5 分”；“e”表示達(dá)成度很低，分值為“0-3分”。

2.計算方法。為統(tǒng)計一級指標(biāo)的達(dá)成度，研究引入百分位數(shù)的概念③，即按照百分位數(shù)進(jìn)行等級劃分，其劃分點為93%、68%、50%、25%。再將四個一級指標(biāo)的原始分轉(zhuǎn)化為標(biāo)準(zhǔn)分，進(jìn)而求平均數(shù)，即為最終標(biāo)準(zhǔn)分，將標(biāo)準(zhǔn)分對照百分位數(shù)即可知達(dá)成度等級。

由于每項一級指標(biāo)所包含的二級指標(biāo)和三級指標(biāo)數(shù)量各不相同，需要將一級指標(biāo)的達(dá)成度轉(zhuǎn)化為標(biāo)準(zhǔn)分。計算方法為：對三級指標(biāo)的等級進(jìn)行量化賦值，評定為“a”計 4 分；“b”計 3 分；“c”計 2 分；“d”計 1 分；“e”計 0 分。

表1 診斷試驗樣本概況

三、結(jié)果分析

（一）授權(quán)評價方案一級指標(biāo)達(dá)成結(jié)果

對不同試點授權(quán)評價的一級指標(biāo)進(jìn)行分析比較，統(tǒng)計結(jié)果如圖1所示。

圖1 授權(quán)評價方案一級指標(biāo)統(tǒng)計結(jié)果

從圖1可見，一級指標(biāo)“評價方案的可行性”標(biāo)準(zhǔn)分最高，“評價目標(biāo)適切性”與“評價過程合理性”得分幾乎沒有差異，“評價結(jié)果的有效性”標(biāo)準(zhǔn)分最低，有效性涉及評價結(jié)果的有效利用問題，即是否將診斷結(jié)果及時、有效地用于質(zhì)量改進(jìn)工作。這一項分值較低，分析可能的原因是，授權(quán)評價結(jié)果的運用需要學(xué)校層面做出整體變革，而整體變革需要結(jié)構(gòu)、資源重組來支持，在我國現(xiàn)有體制下，來自職業(yè)院校個體和組織的雙重壓力可能會為診斷結(jié)果的運用帶來一定的困難，主要影響因素包括：

第一，個體層面因素。人們由于傳統(tǒng)的思想和行為反應(yīng)可能會對診斷結(jié)果產(chǎn)生抵制，主要表現(xiàn)在：首先，慣習(xí)因素。通常院校教師及相關(guān)人員依賴于習(xí)慣或程序化的行為，在面臨學(xué)校組織變革時，需要所有教職員工解放現(xiàn)有的行為方式和原有心智模式，創(chuàng)造一種新的思維和行為模式適應(yīng)環(huán)境改變，而他們的慣常反應(yīng)（通常是消極思想和行為）通常會成為一種阻力來源。其次，經(jīng)濟因素。“診斷”工作結(jié)束后，質(zhì)量“改進(jìn)”環(huán)節(jié)需要相關(guān)教職員工付出較多甚至額外的時間和精力，而當(dāng)工作量和激勵措施掛鉤時，那么工作任務(wù)或工作流程的變革可能會引發(fā)經(jīng)濟方面的擔(dān)憂，從而影響教工工作積極性。

第二，組織層面因素。教學(xué)診斷結(jié)果的運用需要院校從多部門、多方面進(jìn)行支持，如資源、人員、財物等，來自院校組織方面的阻力主要有：首先，結(jié)構(gòu)惰性。學(xué)校擁有穩(wěn)定性的內(nèi)在機制，如工作規(guī)程和規(guī)章制度等，當(dāng)質(zhì)量改進(jìn)工作需要某一方面的工作狀態(tài)發(fā)生改變時，這種結(jié)構(gòu)惰性就會充當(dāng)反作用力。其次，群體惰性。當(dāng)某一個體或某些個體想改變自身行為和工作方式時，如果認(rèn)為其他成員沒有盡到應(yīng)有的職責(zé)，就可能會降低自己的努力程度。第三，有限的變革通常會被更大的系統(tǒng)抵消。如根據(jù)診斷結(jié)果，需要對于某門課程（或課程群）進(jìn)行改革，雖然課程屬于微觀層面的工作范疇，但若開展實質(zhì)性改革通常在單一的系、部難以完成，需要學(xué)校層面給予政策、人員、經(jīng)費及管理等方面支持。而學(xué)校大系統(tǒng)的規(guī)制無形中很容易抵消子系統(tǒng)（如部門、系所等）的有限變革。第四，對專業(yè)知識的威脅。若診斷結(jié)果沒有得到所有人的認(rèn)可，特別是院校內(nèi)部具有權(quán)威知識人士的認(rèn)可，則很可能會為后續(xù)“改進(jìn)”工作帶來很大困難。

第三，其他因素。其他影響診斷結(jié)果有效性（即“改進(jìn)”）的因素包括：首先，參與者學(xué)習(xí)力不足。學(xué)習(xí)力是個人或組織的反思力、接納力、探究力和生成力。從某種程度上講，教學(xué)診斷與改進(jìn)的過程就是參與者之間相互并持續(xù)學(xué)習(xí)的過程。據(jù)筆者訪談可知，診斷活動的參與者通常認(rèn)為評價會（診斷活動）結(jié)束后，即完成了工作任務(wù)，而對后續(xù)的質(zhì)量改進(jìn)工作沒有參與動力和學(xué)習(xí)動力，這與參與者個體的學(xué)習(xí)愿望有關(guān)，也與缺少激勵機制有關(guān)。其次，群體決策的弊端。授權(quán)評價是典型的群體決策模式，群體決策為診斷過程提供了多樣性信息，但缺點是責(zé)任分散且不明確，由于對診斷結(jié)果的利用無法歸因到某個具體成員身上，導(dǎo)致對結(jié)果的應(yīng)用效果不佳，從而削弱了總體效果。

（二）授權(quán)評價的總體效果

對不同地區(qū)和職業(yè)院校授權(quán)評價的總標(biāo)準(zhǔn)分的統(tǒng)計結(jié)果，如圖2所示。

圖2 各試點授權(quán)評價的總體效果

按照Stuffiebeam的元評價檢核表的統(tǒng)計方法計算，河北、廣州、北京地區(qū)三個試點的授權(quán)評價效果差異不大（見圖 2），總標(biāo)準(zhǔn)分分別為 77，75，74，符合“68（68%）-92分”范圍，達(dá)成度較高?？傮w而言，除新疆授權(quán)評價4達(dá)成效果一般以外，其他學(xué)校授權(quán)評價效果達(dá)成度均較高。

分析授權(quán)評價總體效果可知，同一地區(qū)的不同學(xué)校之間開展授權(quán)評價試驗，效果呈現(xiàn)明顯差異，如重慶地區(qū)試驗1效果明顯優(yōu)于重慶試驗2，新疆試驗3效果明顯優(yōu)于新疆試驗4。從前文研究結(jié)論可知，由于授權(quán)評價會時間僅為4個小時（前者為8個小時），以及新疆授權(quán)評價4中的參與者之間的語言障礙問題④，都成為影響授權(quán)評價效果的重要因素。

從各試點授權(quán)評價的總體效果可知，同一地區(qū)的不同學(xué)校開展授權(quán)評價試驗，出現(xiàn)了不同的效果；不同學(xué)校層次之間開展的授權(quán)評價試驗，未見明顯差異；不同專業(yè)之間開展的授權(quán)評價，沒有發(fā)現(xiàn)共性特征和規(guī)律可循?；诖耍芯空J(rèn)為基于職業(yè)院校內(nèi)部質(zhì)量診斷的授權(quán)評價試驗，其效果與被評院校所在地區(qū)、所評專業(yè)、院校類型與層次等關(guān)系不大，而與管理者的意識與行為、參與人員比例、參與者資質(zhì)及個性特征、參與程度、會前準(zhǔn)備程度、評價時間、語言、主持人能力、組織結(jié)構(gòu)、決策機制、院校文化等方面因素關(guān)聯(lián)度很高。任何一個因素的不同，都會使教學(xué)診斷活動出現(xiàn)不同的效果。

通過對授權(quán)評價試驗效果的調(diào)查結(jié)果可知，不同院校之間的診斷效果不同，即使在同一地區(qū)也是如此。從具體分項指標(biāo)看，八個授權(quán)評價試驗的分項指標(biāo)中，對“授權(quán)評價方案的可行性”普遍賦值較高，說明參與者非常認(rèn)可授權(quán)評價的理念及操作規(guī)程。指標(biāo)“評價結(jié)果的有效性”賦值最低，說明雖然診斷結(jié)果或結(jié)論得到了一致認(rèn)同，但其診斷結(jié)果并未注入決策機制，即在“改進(jìn)”階段遇到困難。究其原因可知，一方面由于我國現(xiàn)階段民主參與管理的意愿較低，民主的文化氛圍及科學(xué)、透明的表達(dá)機制的缺失成為診改實踐的阻滯因素；另一方面，作為一項自我診斷性很強的評估工作，需要在學(xué)校內(nèi)部實現(xiàn)自下而上的組織變革，需要建立內(nèi)部多元參與的管理機制和程序化決策制度，以期為診斷結(jié)果能夠反饋到工作改進(jìn)過程提供保障條件。

四、結(jié)論

目前，類似授權(quán)評價的診斷工具還有ERC（E-valuation of Regional Cooperation）法診斷校企合作狀況，指標(biāo)控制法（Quid）和學(xué)習(xí)任務(wù)診斷法（SEVALAG）等。這些起源于西方的診斷工具均采用質(zhì)性與定量方法相結(jié)合的方式，具有強調(diào)評價主體的多元化和參與性、評價指標(biāo)的發(fā)展性、生成性和關(guān)聯(lián)性、評價結(jié)果的可視化和多維度解釋，以及診改結(jié)果追溯等特點，盡管這些工具與我國強調(diào)服從和權(quán)威的傳統(tǒng)文化有一定沖突，但其理念已經(jīng)成為質(zhì)量保障領(lǐng)域的共識。授權(quán)評價的結(jié)果不只是一個具體結(jié)論，而是針對評價對象各指標(biāo)的深入描述和分析，帶有大量圖形和表格解釋。閱讀者在此基礎(chǔ)上不但可以從多方面了解不同院校人才培養(yǎng)質(zhì)量，而且可以分析課程設(shè)置和實施過程以及校企合作狀況，從而為教育管理和教學(xué)改革提供依據(jù)。

綜上所述，要想在職業(yè)院校教學(xué)診斷與改進(jìn)工作機制建設(shè)方面取得突破性進(jìn)展，需要完成四個關(guān)鍵性任務(wù)：一、承認(rèn)和接受現(xiàn)代社會多元價值需求對傳統(tǒng)評價范式提出的挑戰(zhàn)；二、學(xué)習(xí)和了解基于“第四代評估”的基本理念和原則；三、引進(jìn)第四代評估范式的診斷方法和技術(shù)，并開展相關(guān)典型試驗；四、打破制度性障礙，建立常態(tài)化的內(nèi)部“改進(jìn)”機制和激勵制度，以推動診改工作順利進(jìn)行。這幾項任務(wù)的理論性和技術(shù)性要求很高，給職業(yè)教育研究和實踐提出了巨大的挑戰(zhàn)。

注釋：

①授權(quán)評價的主持人是指引導(dǎo)參與者討論、協(xié)商，保證評價會順利進(jìn)行的人員。主持人需要具備專業(yè)的評價理論知識以及基本的主持功底。本研究中的主持人為研究者本人以及所在研究團隊人員。

②美國著名的評價專家古貝和林肯將評價歷史劃分為四個階段：第一階段是測量階段（20世紀(jì)初—20世紀(jì)30年代）；第二階段是描述時代（20世紀(jì)30年代-50年代）；第三階段是“判斷時代”（20世紀(jì)50年代-80年代）；第四階段是“建構(gòu)時代”。前三個階段的評價筆者將其稱為“傳統(tǒng)評價”。

③通過百分位數(shù)劃分等級的依據(jù)是參考Stuffiebeam，D.L.在1999年編制的元評價檢核表（Program Evaluations Meta Evaluation Cheeklist）中的統(tǒng)計方法，50%是中間值，68%是正態(tài)分布中正負(fù)l個標(biāo)準(zhǔn)差之間的范圍，可以用于表示與中間值存在一定程度的顯著差異，即達(dá)成度較高。93%（68%+25%）用于表示與中間值存在非常顯著的差異，即達(dá)成度非常高；25%（50%-25%）表示達(dá)成度非常低。

④在新疆試驗4中，有2/3的維族教師參與者，有1/3的漢族教師參與者，診斷過程中兩種語言的交叉運用一方面影響了評價會進(jìn)程，也從一定程度上影響了診斷效果。