王向東 黃 亮
近年來,我國大力發(fā)展職業(yè)教育,國家和?。ㄊ校┘壵纪度刖揞~資金并設立相關重點建設項目以促進職業(yè)教育高質量發(fā)展。為精準評估職業(yè)教育重點建設項目建設績效,國家和省(市)主管部門分別在項目建設中期和結束時會對項目建設績效進行評價。評價對傳播建設經(jīng)驗、總結建設成效起到了很好的作用,但傳統(tǒng)項目績效評價多采取專家實地結果評價的單一形式,在實踐過程中,傳統(tǒng)和單一的專家結果評價方式難以完全發(fā)揮項目績效評估的診斷、改進、提升功能。如何改進傳統(tǒng)的項目績效評價方式?新的績效評價形式有哪些特點和優(yōu)勢?實施新的評價方式需重點解決哪些問題?這些是本文重點探討的內容。
績效是一個經(jīng)濟學概念,是指企業(yè)在一段時間內投入與符合企業(yè)目標和滿足社會需求產(chǎn)出之比。為更有效地使用公共財政資源,實現(xiàn)“花費更少、做得更好”的目的,我國近年來學習發(fā)達國家經(jīng)驗,開始重視對公共財政支持的職業(yè)教育建設項目實施績效評價,注重考察項目建設的效益、影響、效果等,強調政府公共績效和結果問責[1]。職業(yè)教育項目建設績效評價主要是指職業(yè)教育項目建設管理部門對項目建設投入的成效及合規(guī)性進行客觀公正的測量、分析和評判。在中等職業(yè)教育國家改革發(fā)展示范校項目建設、職業(yè)教育“雙高”項目建設、職業(yè)教育骨干專業(yè)及重點學校建設的項目績效評價中多采取專家結果評價的單一評估形式。隨著數(shù)字化時代的到來,“周期性、終結性、靜態(tài)性、專家判斷”為主的評估范式在理念、時效和精準度等方面,已不能“滿足時代發(fā)展的需求”[2],主要體現(xiàn)在以下四個方面。
職業(yè)教育項目建設績效評估涉及的內容非常龐雜,涵蓋項目建設“輸入資源—建設過程—成果產(chǎn)出”的全過程,具體內容更是包括經(jīng)費投入、經(jīng)費使用、辦學規(guī)范、治理架構、專業(yè)建設、教師隊伍、教學資源、實習實訓、產(chǎn)教融合、學生服務和德育、代表成果等龐雜的內容,特別是這些龐雜的內容又因職業(yè)教育的“跨界性”和專業(yè)多樣性而愈顯復雜多樣。專家實地評估時限一般不會超過15個工作日,在較短的時間內,實地評估專家需要聽取學校匯報、查看學校辦學條件、查閱海量的“橫斷面”建設材料、填寫評估表格和撰寫評估反饋材料,并結合學校實際情況提出建議,實在是心有余力而時間不夠。所以,傳統(tǒng)的專家實地結果評價方式,一方面,由于時間過于緊張,專家難以掌握足夠、全面的信息;另一方面,學校提供的材料也難以還原整個項目建設過程的原貌。
從當前的實際情況看,職業(yè)教育重點項目建設的時間跨度多則三五年,少則一二年,但教育行政部門不可能有專門的行政人員對項目建設的全過程進行監(jiān)管,即使第三方評價機構也只會有個別人員兼帶從事項目的管理工作,但因其負責的相關項目過多,實際上也不可能有足夠的時間和有效的手段針對數(shù)量眾多的建設項目進行有效的過程監(jiān)管,所以,項目建設過程存在疏于管理的情況。
由于對建設過程疏于管理的原因,很多職教項目建設存在方向偏離、過程不規(guī)范、進度延緩、資金不到位等問題而不能及時發(fā)現(xiàn)和糾正,一直到項目終結性評估驗收時才能被發(fā)現(xiàn),但這個時候“生米已做成熟飯”,有些工作往往不了了之,導致項目建設達不到預期成效。
傳統(tǒng)結果評價往往以項目建設結束時的“橫斷面”數(shù)據(jù)材料為主,這種缺少建設過程的縱向追蹤設計會導致項目建設的績效評估只注重橫向對比,輕視縱向增值評價,重結果狀況,輕原因分析,對建設項目的診斷和改進的作用難以充分彰顯。再者,評估專家因在評估過程中沒辦法還原建設過程且缺少建設的過程性數(shù)據(jù)材料,這既會妨礙他們獲得充分的評價依據(jù),也會導致他們提出的意見和建議缺少堅實的事實根據(jù)。
職業(yè)教育事業(yè)的改革與發(fā)展離不開有效教育評價體系的支撐,合理有效的項目績效評價方式有利于保障項目建設的順利實施與客觀公正評價的實現(xiàn)。隨著公眾對評估結果反饋的實時訴求,以及信息技術的極大發(fā)展,監(jiān)測和評估相結合逐漸成為教育評估不斷調整和發(fā)展的目標[3]?!皩崟r監(jiān)測+結果評價”的項目建設績效評價方式,是指政府委托第三方評價機構,利用現(xiàn)代信息技術手段對項目建設全過程進行日常監(jiān)測和及時反饋,并與在項目建設中期或結束時聘請專家實施結果評估相結合的評估方式。實時監(jiān)測主要針對建設過程中的監(jiān)控,結果評估注重于建設結果評價,有效的項目建設績效追蹤與保障需要實時監(jiān)測和結果評估兩種手段相互配合和補充使用。
“實時監(jiān)測”是指在項目實施過程中,利用現(xiàn)代信息技術對項目的建設任務、建設過程、建設進度、建設成果和影響等進行持續(xù)化、日?;?、多維化、規(guī)范化的數(shù)據(jù)采集,加工后將數(shù)據(jù)指標化、標準化、價值化,并能即時呈現(xiàn)項目建設狀態(tài)。“實時監(jiān)測”可以實現(xiàn)即時追蹤或檢視項目建設方案執(zhí)行的過程與相關產(chǎn)出,確保建設項目依照先前建設方案所設定的計劃目標與期望效益持續(xù)進行下去[4],并對項目建設是否在按照任務書既定內容執(zhí)行、時間和進度是否符合既定要求作出監(jiān)測、預警和整改。各利益相關者通過監(jiān)測結果可即時掌握項目建設的目標達成及建設任務完成情況,有助于明晰項目建設實施過程中出現(xiàn)的問題及其原因,有助于及時反饋和調整項目建設的任務,從而確保項目建設順利地實施,并為后續(xù)項目建設的實施提出相應改進對策。
“結果評價”主要是組織和聘請相關評估專家,利用統(tǒng)一制定的評估標準,借助專家的經(jīng)驗和智慧對項目建設成效進行主觀綜合判斷,它有利于從整體上檢驗項目建設成果和建設質量,防止只見樹木不見森林,在定性方面對評估對象作出綜合、客觀的評價?!皩崟r監(jiān)測”不是代替評估專家在評估過程中的主導地位,它只是利用自動分析技術和數(shù)字化信息技術使專家從查閱繁雜的評估材料等機械化的工作中解放出來,有利于評估專家在結果評估中更充分發(fā)揮在評估理念、知識經(jīng)驗等方面的智慧與作用??傊谩皩崟r監(jiān)測”結果輔助評估專家實施“結果評價”既可以充分發(fā)揮評估專家的理性、知識、經(jīng)驗來保證績效評估工作的專業(yè)性,又可減少專家在評估過程中的道德風險和主觀隨意性。
“實時監(jiān)測+結果評價”的評價方式有效避免了以數(shù)據(jù)為主的定量分析與以專家經(jīng)驗判斷為主的定性判斷中各自的不足[5],兼顧信息技術手段的便利和專家豐富的經(jīng)驗,把專家評價和數(shù)據(jù)評估進行優(yōu)勢互補、有機結合,促進評估活動更加科學、合理、客觀、公正[6],實現(xiàn)了從周期性評估向常態(tài)化監(jiān)測,從終結性結論到多元主體根據(jù)需求自我進行價值判斷的替代性變革[7],它與傳統(tǒng)績效評價方式在評價主體、評價目的、評價手段、評價內容、評價應用等方面的具體差別見表1。
表1 傳統(tǒng)績效評價方式與“實時監(jiān)測+結果評價”績效評價方式的區(qū)別
實時監(jiān)測堅持以客觀監(jiān)測數(shù)據(jù)為依據(jù),強調評估數(shù)據(jù)的客觀性、真實性、常態(tài)性、直觀性。首先,實時監(jiān)測系統(tǒng)可以連續(xù)并定期采集和主動搜集項目建設的所有信息,利用大數(shù)據(jù)技術匯聚、分析和公開后的數(shù)據(jù)信息可達到對項目建設的全過程進行監(jiān)測、督促和反饋的功效??梢园鸦诠潭颖竞妥C據(jù)的傳統(tǒng)績效評價方式升級為全過程、全環(huán)節(jié)、源數(shù)據(jù)的績效評價方式,獲得更真實、詳細、全面的評價信息,有效增強評價結果的客觀性。其次,基于大數(shù)據(jù)技術、人工智能技術的客觀數(shù)據(jù)證據(jù)會盡可能降低專家個人情感的影響,減少專家“人情評估”和“感情照顧”的風險,增強了評價的科學性、客觀性和精準性。
全國教育大會提出“深化教育領域‘放管服’改革、大幅減少各類檢查、評估、評價的總體要求”,實時監(jiān)測可以有效減輕被評估學校收集、整理、重復提交評估材料的壓力,減輕了學校的工作負擔。實時監(jiān)測系統(tǒng)打破了評估過程的“黑箱化”操作,可以讓利益相關者清楚地看到在績效評估中收集了哪些數(shù)據(jù)、如何分類整理數(shù)據(jù)、怎樣分析解讀數(shù)據(jù)、如何得出評價結論,提升了評價的透明度和公信力,保障了利益相關者對教育評估過程的知情權和監(jiān)督權??傊?,隨著公眾對績效評估結果反饋的實時訴求,這種高效能、低成本的實時監(jiān)測技術最大限度地滿足了人們日益提高的對績效評價工作透明度和關注度的需求。
實時監(jiān)測系統(tǒng)按照不同的時限要求,根據(jù)公布的項目建設質量評價標準設置不同的項目建設完成進度和質量檔次要求,利用大數(shù)據(jù)采集與處理、分析與挖掘、直觀呈現(xiàn)等手段,對項目建設進度、項目建設任務完成率、項目建設質量得分、項目建設資金使用數(shù)量和進度等設置“預警紅線”。當某一建設項目的監(jiān)測指標達不到最基本的“預警紅線”時,或者監(jiān)測數(shù)據(jù)排名靠后,實時監(jiān)測系統(tǒng)就會自動預警,提醒項目建設和管理單位及時發(fā)現(xiàn)問題并查找原因,并立即采取針對性措施加以改進,杜絕項目建設不達標或完不成的問題,消除項目建設的各種潛在風險。
項目建設實時監(jiān)測系統(tǒng)借助大數(shù)據(jù)的手段對項目建設監(jiān)測指標進行技術分析和加工,并建立不同地域、不同類型建設單位項目建設觀測指標的常模數(shù)據(jù),使雜亂無章的數(shù)據(jù)轉化為管理者所需要的數(shù)字化指標[8],并以直觀的形式加以呈現(xiàn)。直觀呈現(xiàn)的數(shù)據(jù)信息既可充分迎合利益相關者隨時了解各項目建設動態(tài)情況的需要,也可清楚揭示項目建設存在的問題。項目建設單位和管理單位可以隨時提取和對比所有建設項目的過程數(shù)據(jù)和匯總建設成果,準確估算過程數(shù)據(jù)與建設成果匯總數(shù)據(jù)所反映出來的問題,并通過比照國家相關要求及動態(tài)縱橫對比同類地區(qū)項目建設的情況,找到本地區(qū)項目建設單位的薄弱點,并基于存在的問題采取針對性改進措施。
評估最重要的目的不是為了證明(Prove),而是為了改進(Improve)[9]。管理部門和評估專家可利用監(jiān)測評估系統(tǒng)提供監(jiān)測數(shù)據(jù)和結論進行精準評價和指導,幫助項目建設單位提高建設質量,并通過數(shù)據(jù)預警對改進工作的進展進行追蹤問責,切實保障項目建設質量達標并不斷提升[10]。如國家和省級項目建設主管部門也可以通過數(shù)據(jù)模型分析并比較各項目建設單位的建設質量差距,進而采取整改、復查、約談、問責等一系列針對性措施。當?shù)亟逃姓块T或評價指導部門也可以通過監(jiān)測平臺隨時查詢并分析各項目建設單位相關建設指標進度和質量所處的相對位置與水平,通過在全國和省域內的精準定位,做出針對性的幫扶改進工作。
“實時監(jiān)測+結果評價”的績效評價方式綜合利用現(xiàn)代信息技術的優(yōu)勢和傳統(tǒng)專家評價方式的長處,在項目績效評價的實踐中具有較好的使用效果,但要真正運用好還需注意幾個關鍵點。
建立成熟的項目績效評估制度和標準,實現(xiàn)項目監(jiān)測評估工作常態(tài)化需要注意以下幾個方面:
第一,依據(jù)項目投入必進行績效評估的原則,政府管理部門要建立引入社會第三方專業(yè)評價機構監(jiān)督和推進項目建設實施過程,檢驗建設成果,對項目建設的“輸入—過程—產(chǎn)出”全過程實施系統(tǒng)監(jiān)測。政府要通過第三方績效評價制度推進政府職能的轉變,重塑政府、項目學校、社會在項目建設質量保障中的角色,逐步建立起決策、執(zhí)行、監(jiān)督既相對分開又相互制約的現(xiàn)代教育治理體系[11]。
第二,評價機構要針對建設項目特點制定項目建設績效評價指標體系和成效標準體系。項目建設單位擁有明確的指標體系和標準體系才能在項目建設實施中實現(xiàn)心中有底、手中有尺、眼中有標、胸中有計、腳下有路。因此,第三方評價機構要積極引入、建立、完善職業(yè)教育資格框架標準和辦學質量標準等“度量衡”,以便于項目建設單位確定建設目標和對建設績效進行比較、評價。
第三,評價機構需充分利用監(jiān)測評估系統(tǒng)對項目建設的投入、項目建設的合規(guī)性、項目建設的成果進行制度化和常態(tài)化收集數(shù)據(jù)、密切跟蹤、準確描述、自動分析、即時反饋,進而依據(jù)項目建設目標和要求對項目建設工作進行評價、預警和調控,從而實現(xiàn)項目監(jiān)測評估工作的日常化、常態(tài)化。
開發(fā)和建設職教項目建設動態(tài)監(jiān)測信息平臺,充分運用信息化手段的優(yōu)勢輔助教育評估需要做好以下四個方面的工作。
第一,建立項目動態(tài)監(jiān)測信息采集平臺。沒有教育評估的信息化就沒有現(xiàn)代化的教育評估體系。隨著“數(shù)字化”時代的到來,要充分利用云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、人工智能等新一代信息技術手段與方法,快速、系統(tǒng)、自動、全面地收集、處理、分析、直觀呈現(xiàn)項目建設的所有信息和數(shù)據(jù)。一方面,基于網(wǎng)絡系統(tǒng)的充分互聯(lián),利用網(wǎng)絡搜索或數(shù)據(jù)挖掘軟件對項目建設的成果信息進行采集;另一方面,讓相關政府部門、項目承擔單位、學校教師、學生及家長、用人單位以及市場等其他利益相關者積極運用監(jiān)測評估端口提供項目建設的原始數(shù)據(jù)。在填報過程中,要加強對項目建設單位的培訓,做好對數(shù)據(jù)內涵的解讀,著力消除填報盲區(qū)和模糊地帶;要盡可能做到學校一次填報、多種使用,提高數(shù)據(jù)使用效率、減少重復性的數(shù)據(jù)上報,切實減輕學校填報負擔。
第二,實現(xiàn)相關數(shù)據(jù)庫的互通。要以項目申報單位申報時的狀態(tài)數(shù)據(jù)庫為基礎,逐步打通與其他相關部門數(shù)據(jù)庫資源的聯(lián)系,形成職業(yè)教育績效評估的“大數(shù)據(jù)”,實現(xiàn)縱向、橫向的數(shù)據(jù)都可以在數(shù)據(jù)庫中獲得并能相互印證。如要將有關體現(xiàn)教育背景狀況及教育的投入產(chǎn)出效益的教育事業(yè)發(fā)展年鑒數(shù)據(jù)、教育投入數(shù)據(jù)、學生獲獎及學業(yè)成績數(shù)據(jù)納入建設績效監(jiān)測大數(shù)據(jù)平臺,并通過對數(shù)據(jù)平臺的框架結構整體化設計實現(xiàn)不同年份相關數(shù)據(jù)互通,使不同年度的指標內容和數(shù)據(jù)類型保持穩(wěn)定,以便對各項目建設的發(fā)展趨勢進行追蹤分析[12]。
第三,引進、開發(fā)大數(shù)據(jù)智能監(jiān)測分析系統(tǒng),準確、自動地分析和呈現(xiàn)數(shù)據(jù)信息。靠人工手段難以及時完成對多類型的龐雜數(shù)據(jù)的分析任務,需要引進、開發(fā)智能監(jiān)測分析系統(tǒng)對采集到和從別的數(shù)據(jù)庫調取到的教育大數(shù)據(jù)進行海量集成、智能計量、直觀分析、多維核對、目標跟蹤、關聯(lián)挖掘、可視化呈現(xiàn)等,挖掘數(shù)據(jù)背后的事實和根據(jù),以此推動績效評價的網(wǎng)絡化與智能化。
第四,實施數(shù)據(jù)資源的開放共享和分級使用。依托“互聯(lián)網(wǎng)+”的泛在網(wǎng)絡、大數(shù)據(jù)技術和云計算技術,實時監(jiān)測平臺通過“用戶端口—數(shù)據(jù)分析—評估報告”的技術手段[13],高效、形象呈現(xiàn)基于大數(shù)據(jù)的伴隨式評價結果,并通過智能化、精確化的技術即時反饋給公眾,便于各利益相關者獲得不同層面的數(shù)據(jù)分析報告,既方便評估機構和被評單位直觀了解建設相關指標在同類單位中的相對排序,明確優(yōu)勢和不足,為后續(xù)改進工作、制定教育決策提供依據(jù),又能吸引公眾參與項目績效信息分享,為問責制度的建設奠定公眾基礎。
“實時監(jiān)測”屬于新的評估輔助手段,大部分評估專家并不具備運用信息技術和教育測量與評價的專業(yè)知識去解讀數(shù)據(jù)化的實時監(jiān)測結果并從海量數(shù)據(jù)中精準發(fā)現(xiàn)建設項目中存在的不足及提出恰當?shù)母倪M措施的能力。因此,對專家培訓要特別關注評估專家準確了解“實時監(jiān)測”數(shù)據(jù)的內涵和作用,提醒評估專家在結果評估中充分運用“實時監(jiān)測”的客觀數(shù)據(jù),增強評估專家“用數(shù)據(jù)說話”的評估技能,幫助評估專家讀懂“實時監(jiān)測”數(shù)據(jù)結果并從中找出項目建設中存在的各種問題,并結合專家自身的工作經(jīng)驗進行原因分析,以此推動項目建設工作不斷提升。
第一,提高準確和完整地解讀“實時監(jiān)測”結果的水平。要實現(xiàn)對監(jiān)測結果全面和客觀的解讀,不能只關注項目建設的表面成效而忽略學校的長遠發(fā)展,只關注建設項目的橫向排序而忽視建設項目自身的增值評價。
第二,提高找準項目建設不力責任者的能力。監(jiān)測結果反映出的問題往往是混沌模糊的,但評估專家提出的整改意見需要精準定位,要明確整改的責任者。如建設經(jīng)費和資源不足的原因是當?shù)卣U喜涣?,需知會政府統(tǒng)籌協(xié)調;建設思路不清是項目建設單位管理水平不高的原因,需學校管理者借助專家資源理清思路。
第三,提高項目建設不力的原因分析水平。監(jiān)測結果呈現(xiàn)出來的問題可能只是淺表化和形式上的,不找出它背后的本質原因難以從根本上扭轉項目建設的不利局面,可通過專家集中討論方式使專家集體的質性分析和量化的評估監(jiān)測數(shù)據(jù)相互印證而找準原因。
第四,提高直觀呈現(xiàn)評估結論的水平。專家要學會利用智能化的數(shù)據(jù)分析系統(tǒng),用簡單、直白、易懂的形式表達評價結論,實現(xiàn)評估結論表述和反饋的簡單化、直觀化、親民化,杜絕用晦澀難懂的語言和數(shù)據(jù)公式表述和反饋評估結果。
教育治理應該構建“政府、市場和社會”共治的治理格局,強調政府主體之外的行業(yè)、企業(yè)、社會中介組織以及個人等多元化社會主體參與[14],拓寬利益相關者參與的途徑,增強評估過程的體驗性和開放性,落實教育治理現(xiàn)代化的理念。
首先,實時監(jiān)測平臺要為社會公眾、教師、學生、家長等利益相關者在項目建設績效評估活動中便捷、快速、充分參與教育評估工作提供方便,要專門建設為項目建設單位的教職工、學生及其家長、社會其他利益相關者提供各類信息查詢的途徑,并及時公布項目建設進度與評價結果。
其次,在績效評價指標體系中要增加教師、學生等利益相關者的滿意度調查,并利用信息技術等便利的調查手段吸引他們參加調查活動,降低大眾參與監(jiān)督成本,為他們參與教育評估活動創(chuàng)造途徑。
最后,要建立評估信息主動公開制度。評估制度、評估標準、運轉規(guī)則、進展情況、評估團隊自身構成、評估結果等信息需通過相關APP或機構官網(wǎng)等多種渠道主動、及時公開,提高評估工作的透明度,減少因信息不對稱而形成的操作空間,避免評估失范行為的發(fā)生,為評估結果的真實可信性奠定基礎。
績效評價結果的應用面和是否有利益相關性決定著績效評估作用的大小,績效評價所具有的激勵、診斷、改進和服務作用的發(fā)揮需要提高績效評價結果使用的范圍和利益相關性。
首先,項目建設單位不但要充分利用“實時監(jiān)測+結果評價”的評估意見對績效評估所呈現(xiàn)的問題進行深度分析,積極改善內部質量保證機制,并有針對性地調整與改進項目建設工作,還要將項目績效評價結果與學校內部教育資源分配建立聯(lián)系,在學校內部建立教育資源的競爭機制,根據(jù)項目績效評價結果實現(xiàn)辦學資源的動態(tài)調整與合理分配,以此提高教育資源使用效益,增強學校的辦學活力。
其次,政府可利用項目建設評價結果實施宏觀管理。一方面,政府可根據(jù)績效評估結果判斷項目建設的實際效果,并調整相關政策和制度;另一方面,政府還可將項目績效評估結果與其它獎勵性財政撥款掛鉤,形成教育市場的競爭機制,進而激勵學校提升項目建設水平和質量。如在新一輪“雙高?!薄爱a(chǎn)教融合”項目評定時對前一輪獲得項目建設績效優(yōu)異評價的建設單位給予一定的加分,當然,也要防止項目績效評估結果與財政撥款之間建立過于直接的聯(lián)動關系,而只能是一個參考性因素,否則會導致被評院校在績效評估中出現(xiàn)弄虛作假的行為。
最后,對于其他利益相關者而言,可以利用評價機構經(jīng)官網(wǎng)、各類媒體等多樣化渠道主動向社會公開的評估結果為自己的選擇服務。如為行業(yè)企業(yè)選擇合作辦學院校或進行人才招聘提供信息參考、為學生家長選擇理想的學習院校提供信息參考、為投資者對擬合作院?;驅I(yè)的教育發(fā)展狀況進行綜合考察,為其是否選擇投資以及選擇何種投資方式等提供有效的信息參考[15]。