◆“干部教育培訓(xùn)項目評估方法及指標問題研究”課題組

中共中央印發(fā)的《干部教育培訓(xùn)工作條例》指出，“干部教育培訓(xùn)是建設(shè)高素質(zhì)干部隊伍的先導(dǎo)性、基礎(chǔ)性、戰(zhàn)略性工程”。干部教育培訓(xùn)評估是調(diào)動干部學(xué)習(xí)、教師教學(xué)和培訓(xùn)機構(gòu)辦學(xué)的重要手段，對保障培訓(xùn)質(zhì)量、提升培訓(xùn)效率具有重要意義。隨著項目管理和質(zhì)量管理理念的引進，干部教育培訓(xùn)項目評估的內(nèi)涵越來越明確，評估工作在干部教育培訓(xùn)管理中的定位進一步提升，其作用和意義不斷彰顯。為此，國家稅務(wù)總局專門成立課題組，就干部教育培訓(xùn)項目評估方法及指標問題進行了一系列探索和研究，以期大力提升培訓(xùn)質(zhì)效，將干部教育培訓(xùn)工作落到實處。

一、當(dāng)前干部教育培訓(xùn)項目評估存在的主要問題及原因

根據(jù)國內(nèi)外公務(wù)員培訓(xùn)和企業(yè)組織各類人員培訓(xùn)情況，可以發(fā)現(xiàn)目前我國干部教育培訓(xùn)項目評估中存在的主要問題和成因如下：

（一）評估理念尚未完全樹立，缺乏主動作為

一是在培訓(xùn)實施過程中，教育培訓(xùn)工作者對教育培訓(xùn)管理的規(guī)律缺少認識，甚至不了解還有評估環(huán)節(jié)；二是對評估的意義作用沒有深刻領(lǐng)會，未能自覺主動使用評估手段促進培訓(xùn)管理；三是對評估的實施被動完成，甚至有應(yīng)付心態(tài)。

（二）評估人員專業(yè)性不夠強，缺乏有力的隊伍支撐

作為項目委托方的代表,教育培訓(xùn)管理部門由于人員偏少、時間較緊、精力有限、專業(yè)能力不夠強等諸多原因，難以對所有培訓(xùn)項目進行評估。即使評估了，其評估工作的整體專業(yè)化水平還不高，難以全面反映培訓(xùn)項目管理中存在的問題。

（三）評估內(nèi)容落實不到位，缺乏有效的督促檢查

符合我國國情、具有中國特色的干部教育培訓(xùn)評估理論和模型尚未定型，導(dǎo)致在實際操作中，尚未真正落實《干部教育培訓(xùn)工作條例》要求，存在“三重三輕”現(xiàn)象：一是重視訓(xùn)后總體反應(yīng)評估，輕視學(xué)員返回工作崗位后知識轉(zhuǎn)化評估；二是重視對培訓(xùn)知識掌握程度的訓(xùn)末評估，輕視訓(xùn)前的需求分析、方案籌劃評估和訓(xùn)中的計劃實施評估；三是重視對教育培訓(xùn)機構(gòu)辦學(xué)質(zhì)量的訓(xùn)末評估，輕視訓(xùn)后行為變化及其提升工作績效的訓(xùn)后評估，致使項目評估內(nèi)容不全面，不能完整反映培訓(xùn)效果。

（四）評估手段單調(diào)，未廣泛運用科學(xué)有效的現(xiàn)代化手段

項目評估數(shù)據(jù)采集的手段比較傳統(tǒng)，處理數(shù)據(jù)的信息化程度也不高，基本沒有建立相應(yīng)數(shù)據(jù)庫，對評估數(shù)據(jù)價值的挖掘利用層次較低，不能滿足長期全面分析監(jiān)控的需要，導(dǎo)致項目評估的綜合評判功能弱化。

（五）評估指標與項目要素匹配不夠，指標權(quán)重設(shè)計不科學(xué)

目前，項目評估指標體系包括分項測評和總體測評兩部分，分項測評一般由培訓(xùn)方案、培訓(xùn)教學(xué)、培訓(xùn)管理、培訓(xùn)保障和培訓(xùn)效果等指標組成。測評等級按學(xué)員滿意度分為“很好、好、一般、差”十分制等級效度。這類指標體系存在的突出問題主要有：一是指標體系不健全。現(xiàn)行評估指標主要衡量學(xué)員對培訓(xùn)項目的反應(yīng)，而對參訓(xùn)人員行為層和結(jié)果層面涉及很少。二是評估標準不明確。每個指標僅作原則性描述，并無明確的評判標準，學(xué)員難以全面理解把握，使得評估得分“趨高、趨同”現(xiàn)象十分突出。三是指標權(quán)重不盡合理。需求分析、項目策劃、教學(xué)效果、學(xué)員考核等指標的評價權(quán)重劃分欠科學(xué)，對學(xué)用轉(zhuǎn)化和工作績效提高方面也未能給予足夠重視。日常管理和后勤保障即使不可或缺，也應(yīng)成為項目評估的主要要素，但其重要程度顯然不能與方案設(shè)計和培訓(xùn)教學(xué)等方面等量齊觀。

（六）評估制度不健全，結(jié)果運用不到位，缺乏有效的激勵和約束

項目評估結(jié)果的好壞對干部發(fā)展沒有影響，導(dǎo)致干部參與評估的積極性不高。因缺少有效的監(jiān)督制約措施，教育培訓(xùn)機構(gòu)沒有能夠在后續(xù)培訓(xùn)中及時改進和解決評估中發(fā)現(xiàn)的問題。

二、稅務(wù)部門干部教育培訓(xùn)項目評估的主要做法及成效

近年來，稅務(wù)部門認真貫徹習(xí)近平總書記關(guān)于加強干部教育培訓(xùn)系列講話精神和《干部教育培訓(xùn)工作條例》等規(guī)定，根據(jù)中央深化改革轉(zhuǎn)變職能和推行績效管理狠抓工作落實的部署，持續(xù)實施“人才強稅”戰(zhàn)略，加強培訓(xùn)管理，深入開展培訓(xùn)項目評估，不斷提升教育培訓(xùn)質(zhì)量和效益，為推進稅收中心工作和稅收治理現(xiàn)代化提供強有力的智力支持。

（一）準確定位，鎖定項目評估關(guān)鍵點

當(dāng)前影響培訓(xùn)項目評估功能發(fā)揮的關(guān)鍵問題是缺乏科學(xué)系統(tǒng)的評估方法和指標體系，對培訓(xùn)項目評估缺乏硬性約束，造成培訓(xùn)項目評估缺少有力抓手，評估工作難以深入。因此，稅務(wù)部門根據(jù)培訓(xùn)管理實踐采取一系列方法措施。

一是制定培訓(xùn)項目管理規(guī)范，為培訓(xùn)管理提供依據(jù)。為服務(wù)和管理80萬稅務(wù)干部，國家稅務(wù)總局一直積極開展培訓(xùn)戰(zhàn)略研究和培訓(xùn)管理實踐，加強頂層設(shè)計。依據(jù)中共中央《干部教育培訓(xùn)工作條例》和中華人民共和國國家標準《質(zhì)量管理——培訓(xùn)指南》（GB/T19025-2001 idt ISO 10015:1999），2003年制定印發(fā)了《全國稅務(wù)系統(tǒng)公務(wù)員培訓(xùn)工作指導(dǎo)規(guī)范》，成為我國首個行業(yè)內(nèi)干部教育培訓(xùn)規(guī)范，為培訓(xùn)項目策劃、設(shè)計、開發(fā)、實施和評估提供了指引，成為培訓(xùn)項目評估的基本依據(jù)。

二是持續(xù)完善培訓(xùn)項目評估的制度機制，為培訓(xùn)項目評估提供保障。國家稅務(wù)總局在教育培訓(xùn)規(guī)劃等文件中對培訓(xùn)項目評估進行部署、明確要求的同時，在2006年印發(fā)《國家稅務(wù)總局培訓(xùn)班質(zhì)量評估暫行辦法》，作為對國家稅務(wù)總局舉辦培訓(xùn)班次開展質(zhì)量評估的依據(jù)和指南，在2011年將該暫行辦法修訂為《稅務(wù)系統(tǒng)培訓(xùn)班質(zhì)量評估辦法》，用以指導(dǎo)全系統(tǒng)各級機關(guān)對組織舉辦的各類培訓(xùn)班進行項目評估。2014年初印發(fā)了《培訓(xùn)班質(zhì)量評估操作指南》，作為《稅務(wù)系統(tǒng)培訓(xùn)班質(zhì)量評估辦法》的補充，指導(dǎo)稅務(wù)系統(tǒng)開展評估工作，初步構(gòu)建了較為全面系統(tǒng)的評估指標體系，增強了評估的可操作性、規(guī)范性和評估結(jié)果的客觀公正性。

三是集成聚合培訓(xùn)項目評估管理組織力量，為項目評估奠定基礎(chǔ)。2014年，國家稅務(wù)總局整合教育中心內(nèi)設(shè)機構(gòu)職能，把分散在不同部門的項目評估職能歸并到考試評估處，實現(xiàn)培訓(xùn)組織實施與檢查評估的相對分離。由考試評估處專門負責(zé)項目評估的頂層設(shè)計、制度完善、操作規(guī)范和推行實施等工作，提升了評估工作的專業(yè)化水平。

（二）系統(tǒng)思考，找準項目評估著力點

認識決定行動，態(tài)度決定結(jié)果。稅務(wù)部門找準了培訓(xùn)項目評估的關(guān)鍵問題，設(shè)立研究課題，積極投入研究，力求為深化培訓(xùn)項目評估做好頂層設(shè)計。教育培訓(xùn)管理部門經(jīng)過深入調(diào)查研究，依據(jù)干部教育培訓(xùn)項目管理要求、評估理論研究成果和實際工作情況，制定了科學(xué)嚴謹、規(guī)范適用、可測可操的指標體系和操作規(guī)范。2016年根據(jù)中共中央《干部教育培訓(xùn)工作條例》和國家稅務(wù)總局有關(guān)進一步加強培訓(xùn)管理的要求，修改印發(fā)了《稅務(wù)系統(tǒng)培訓(xùn)項目質(zhì)量評估辦法》（以下簡稱《評估辦法》）和《稅務(wù)系統(tǒng)培訓(xùn)項目質(zhì)量評估操作指南》（以下簡稱《操作指南》），從而全面建立了科學(xué)完善的培訓(xùn)項目評估方法機制和指標體系。對培訓(xùn)項目評估的目的、內(nèi)容與指標、方法與程序、反饋與應(yīng)用、管理與紀律作出了說明，主要特點是：

一是評估內(nèi)容指標設(shè)置邏輯合理、簡潔明了。將項目評估內(nèi)容按培訓(xùn)設(shè)計、培訓(xùn)實施、培訓(xùn)管理、培訓(xùn)效果四個方面分成若干二級指標。將“培訓(xùn)設(shè)計”分解為需求分析、目標定位、方案策劃；將“項目實施”分解為師資配備、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)資料；將“培訓(xùn)管理”分解為教學(xué)管理、學(xué)員管理、保障管理；將“培訓(xùn)效果”分解為目標實現(xiàn)度、能力提升度、總體滿意度。對各項基本指標的質(zhì)量等級及其系數(shù)進行了明確。評估指標的等級分為優(yōu)、良、中、差，與之對應(yīng)的權(quán)重分別為 1、0.8、0.6、0.4。

二是評估方法流程規(guī)范、簡便易行。規(guī)定了評估程序為查看資料、組織學(xué)員填寫《稅務(wù)系統(tǒng)培訓(xùn)項目質(zhì)量評估測評問卷》、分別召開學(xué)員和教育培訓(xùn)機構(gòu)人員座談會、填寫《學(xué)員測評問卷匯總及評估分值表》、編報評估報告、歸檔評估資料等。

三是科學(xué)界定了各項評估指標的權(quán)重及總評得分計算方法。學(xué)員測評問卷測評等級為優(yōu)、良、中、差，《操作指南》評分等級為A、B、C、D，系數(shù)均分別為1.0、0.8、0.6、0.4。學(xué)員測評問卷一級測評指標培訓(xùn)設(shè)計、項目實施、培訓(xùn)管理、培訓(xùn)效果的權(quán)重，分別為24、25、26、25。各二級測評指標的權(quán)重，需求分析、目標定位、方案策劃分別為5、5、14；師資配備、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)資料分別為4、6、7、8；教學(xué)管理、學(xué)員管理、保障管理分別為12、10、4；目標實現(xiàn)度、能力提升度、總體滿意度分別為12、8、5。同時統(tǒng)一確定了學(xué)員評估數(shù)據(jù)與教育培訓(xùn)管理部門派出人員評估數(shù)據(jù)的匯總處理方法和評估報告內(nèi)容。

（三）務(wù)求實效，抓牢項目評估支撐點

評估目的在于培訓(xùn)目標的實現(xiàn)和培訓(xùn)方法的改進，稅務(wù)教育培訓(xùn)項目評估工作始終立足于實用和實效。一是狠抓制度落實。每年由教育培訓(xùn)管理部門派人對主辦的培訓(xùn)項目確定一定比例進行重點評估，其他項目委托教育培訓(xùn)機構(gòu)組織評估并報送結(jié)果，相關(guān)數(shù)據(jù)錄入稅務(wù)干部教育培訓(xùn)管理信息系統(tǒng)，作為撥付培訓(xùn)項目經(jīng)費的基本條件之一。二是上下聯(lián)動合理調(diào)配力量。國家稅務(wù)總局通過采取抽調(diào)人員組成評估小組方式，對主辦的培訓(xùn)項目進行評估。三是貫徹落實開展評估操作培訓(xùn)，培養(yǎng)專業(yè)化的培訓(xùn)項目評估人才。

（四）持續(xù)創(chuàng)新，打造項目評估新亮點

通過持之以恒的理論研究和實踐探索，稅務(wù)部門形成了有自身特色的培訓(xùn)項目評估辦法和指標體系，提高了培訓(xùn)項目評估效果，發(fā)揮了對培訓(xùn)的督促改進、激勵引導(dǎo)作用，增強了稅務(wù)培訓(xùn)的針對性和實效性。

一是指標系統(tǒng)化。依據(jù)《干部教育培訓(xùn)工作條例》、黨風(fēng)廉政建設(shè)要求和稅務(wù)總局干部教育培訓(xùn)的有關(guān)規(guī)定，以及培訓(xùn)項目運行的基本模式和教育培訓(xùn)的原理，針對原來評估中存在的籠統(tǒng)粗放和側(cè)重定性等問題，設(shè)計了更具全面性、科學(xué)性、可操作性、獨立性、穩(wěn)定性、動態(tài)性的指標體系。

二是操作規(guī)范化。對評估操作流程做出了具體規(guī)定。明確評估信息的收集渠道、方法與工具，以及匯總、分析評估信息定量和邏輯分析方法，確保收集的信息具有系統(tǒng)性、集中性、可用性。

三是方式多元化。評估的主體是教育培訓(xùn)管理部門。一般情況下，由教育培訓(xùn)管理部門對培訓(xùn)項目策劃與實施情況及效果進行評估，教育培訓(xùn)機構(gòu)對教師教學(xué)質(zhì)量進行評估。教育培訓(xùn)管理部門未派出人員評估的，委托教育培訓(xùn)機構(gòu)或第三方進行評估。但教育培訓(xùn)管理部門可不定期抽查培訓(xùn)項目，使其在人力有限的情況下，提高項目評估的實施效果。

四是結(jié)果數(shù)量化。評估采用定性和定量相結(jié)合的辦法，培訓(xùn)項目評估得分實行百分制。

五是成效持續(xù)化。經(jīng)過多年實踐，稅務(wù)部門各級教育培訓(xùn)管理部門達成了對深化評估推動改革提升質(zhì)量的共識，深化了對項目評估指標設(shè)計依據(jù)、原理的理解，熟悉了項目評估的工作程序與操作要領(lǐng)，積累了項目評估的經(jīng)驗。

三、深化干部教育培訓(xùn)項目評估的總體要求及措施

依據(jù)《干部教育培訓(xùn)工作條例》等規(guī)定，綜合各地區(qū)各部門的實踐探索和相關(guān)研究成果，課題組認為深化項目評估應(yīng)堅持以下總體要求：以十九大精神和習(xí)近平新時代中國特色社會主義思想以及項目評估原則為指導(dǎo)，以提高培訓(xùn)質(zhì)效為目標，遵照《干部教育培訓(xùn)工作條例》等規(guī)定，完善項目評估的制度、機制和指標體系，綜合運用多種方式規(guī)范實施項目評估，強化項目評估的結(jié)果運用，為教育培訓(xùn)管理部門、教育培訓(xùn)機構(gòu)、學(xué)員選派單位及其他參與方全面落實項目評估要求提供基本指引。其基本措施主要包括以下方面：

（一）堅持評估原則，加強項目評估科學(xué)性

堅持科學(xué)規(guī)范、全面系統(tǒng)、問題導(dǎo)向、簡便易行等原則，做到凡訓(xùn)必評，綜合運用直接評估與委托評估、重點評估與簡易評估、綜合評估與單項評估等方式，對所有培訓(xùn)項目開展有針對性的評估。

重點評估針對重點培訓(xùn)項目，應(yīng)由教育培訓(xùn)管理部門派出人員（含委托第三方）依據(jù)指標體系及操作標準明細逐項做出質(zhì)量等級判定與組織學(xué)員填寫評估量表相結(jié)合方式進行，各按一定比例計算總評得分。簡易評估針對非重點項目，應(yīng)由教育培訓(xùn)管理部門委托教育培訓(xùn)機構(gòu)采取組織學(xué)員填寫評估量表、召開學(xué)員座談會聽取意見建議方式進行，依據(jù)評估情況確定計算總評得分。

定量與定性相結(jié)合確定結(jié)論，一是加權(quán)計算出各項指標的評估得分，再加總形成總評得分，二是對各指標及總評量化得分做出與評估標準差距情況（存在問題）的分析。

（二）健全指標體系，提高項目評估精準性

指標體系的基本要素應(yīng)包括指標、權(quán)重、評估等級及其體系量表。指標以《干部教育培訓(xùn)工作條例》明確的評估內(nèi)容進行設(shè)定并依次分解細化，培訓(xùn)設(shè)計、培訓(xùn)實施、培訓(xùn)管理、培訓(xùn)效果為一級指標，在此基礎(chǔ)上分別設(shè)二級指標：“培訓(xùn)設(shè)計”為需求分析、目標定位、方案策劃，“培訓(xùn)實施”為師資配備、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)資料，“培訓(xùn)管理”為教學(xué)管理、學(xué)員管理、保障管理，“培訓(xùn)效果”為目標實現(xiàn)度、能力提升度、總體滿意度。特殊情況下，可增設(shè)其他指標，以全面反映部門行業(yè)特點。各指標要具有邏輯性，相互關(guān)聯(lián)，簡便易行，使項目評估完整、客觀、準確地反映培訓(xùn)實施效果。

權(quán)重要根據(jù)各指標的重要程度及重點引導(dǎo)方向確定，采用百分數(shù)或其他整數(shù)形態(tài)。各指標的評估等級可設(shè)定為優(yōu)（A）、良（B）、中（C）、差（D），并確定對應(yīng)等級的系數(shù)分別為1.0、0.8、0.6、0.4。

指標體系量表分為學(xué)員測評量表和專家評估量表兩種，在基本要素一致基礎(chǔ)上分別編制。其中專家評估量表，應(yīng)將基本指標分解成可以評估的具體指標，增加“評估標準”要素和具體指標的等級判定指南，形成具體、系列化的操作工具。

（三）多種方式并舉，增強項目評估針對性

項目評估在時間上有訓(xùn)前評估、訓(xùn)中評估、訓(xùn)末評估和訓(xùn)后評估之分，在具體操作上有教育培訓(xùn)管理部門直接組織評估，委托教育培訓(xùn)機構(gòu)（或第三方）評估之分。要充分發(fā)揮不同評估形式的特點和作用，增強項目評估的針對性和有效性。目前，培訓(xùn)項目實施方式以集中培訓(xùn)為主，同時網(wǎng)絡(luò)培訓(xùn)日益廣泛。因此，應(yīng)強化集中培訓(xùn)項目的過程評估，同時鼓勵開展訓(xùn)后評估，積極探索網(wǎng)絡(luò)培訓(xùn)項目評估。有選擇地對持續(xù)時間較長的重點、典型項目，酌情增加訓(xùn)中評估。

（四）完善實施機制，提升項目評估有效性

為保證項目評估信息的順利、有效收集與量化處理，需要建立健全有效的實施機制。

一是明確教育培訓(xùn)管理部門、教育培訓(xùn)機構(gòu)、參訓(xùn)學(xué)員及其選派單位等評估參與方的評估責(zé)任和問責(zé)措施，保證相關(guān)各方積極支持配合項目評估。同時鼓勵教育培訓(xùn)管理部門按項目評估管理與項目評估工作分離的方式組織實施項目評估。

二是明確項目評估信息收集、處理的程序與方法。逐項列出各項指標評估信息的收集渠道、方法、工具與程序，同時明確匯總、整理、分析評估信息的定量和邏輯分析方法。要注意進行價值分析判斷，通過定量與定性相結(jié)合的方式做出項目評估結(jié)論。

三是依據(jù)指標的重要、復(fù)雜程度，開發(fā)特定評估信息的收集、匯總、量化處理的軟件工具。為保證信息收集、處理的精度和效率，要強化信息化支撐，擴大評估大數(shù)據(jù)的應(yīng)用，在干部教育培訓(xùn)管理信息系統(tǒng)中嵌入培訓(xùn)評估信息化模塊，其中的學(xué)員測評問卷可用APP形式組織學(xué)員填寫。

（五）注重結(jié)果運用，強化項目評估的導(dǎo)向性

一是建立項目評估結(jié)果及時反饋運用機制。在結(jié)束時，教育培訓(xùn)管理部門將項目評估結(jié)論及發(fā)現(xiàn)的問題反饋有關(guān)單位。教育培訓(xùn)機構(gòu)、學(xué)員選派單位等應(yīng)根據(jù)評估報告及領(lǐng)導(dǎo)閱批意見，分析、研究問題，及時改進并報告。

二是建立激勵約束機制。落實《干部教育培訓(xùn)工作條例》有關(guān)規(guī)定，切實將項目評估結(jié)果作為評價教育培訓(xùn)機構(gòu)辦學(xué)質(zhì)量的重要標準，作為確定教育培訓(xùn)機構(gòu)承擔(dān)培訓(xùn)任務(wù)的重要依據(jù)；切實將干部接受教育培訓(xùn)情況作為干部考核的內(nèi)容和任職、晉升的重要依據(jù)。

四、結(jié)語

雖然稅務(wù)部門在干部教育培訓(xùn)項目評估的研究中取得了一定成效，但綜合各地區(qū)各部門的實踐探索和相關(guān)研究成果，課題組認為深化項目評估還有相當(dāng)長的道路要走，今后應(yīng)以提高培訓(xùn)質(zhì)效為目標，遵照《干部教育培訓(xùn)工作條例》等規(guī)定，進一步完善項目評估的制度、機制和指標體系，綜合運用多種方式規(guī)范實施項目評估，強化項目評估的結(jié)果運用，為教育培訓(xùn)管理部門、教育培訓(xùn)機構(gòu)、學(xué)員選派單位及其他參與方全面落實項目評估要求提供基本指引，助力教育培訓(xùn)質(zhì)量提升。

[1]邱慧嫻.干部教育培訓(xùn)評估系統(tǒng)研究[D].上海：華東師范大學(xué)出版社,2015.

[2]劉彥琴,楊枝華,張一爾.干部教育培訓(xùn)項目評估的研究和思考[J].繼續(xù)教育,2016,(1).