劉嫻
發(fā)展援助項目評估有助于總結(jié)經(jīng)驗、發(fā)現(xiàn)問題、為新項目立項提供有益借鑒,是增強(qiáng)對外援助綜合效益的重要工具。建立健全系統(tǒng)的指標(biāo)體系是開展評估活動的必要前提,能夠指導(dǎo)評估人員科學(xué)、有效地收集信息,為實現(xiàn)評估管理標(biāo)準(zhǔn)化、規(guī)范化夯實基礎(chǔ),為強(qiáng)化政策統(tǒng)籌提供抓手。國際社會重視援助項目評估,在實踐中形成了較為完整和成熟的評估指標(biāo)體系。本文擬分析總結(jié)國際上發(fā)展援助評估指標(biāo)體系的制定標(biāo)準(zhǔn)和內(nèi)在邏輯,為探索建設(shè)具有中國特色的援助項目評估指標(biāo)體系提供參考。
我國對外援助評估指標(biāo)體系建設(shè)情況及面臨的新形勢
我國對外援助評估工作從2007年開始。最早的評估以項目評估為主,并逐步開展專題評估和綜合評估。2015年,我國出臺《對外援助項目評估管理規(guī)定》(商援發(fā)〔2015〕487號),對評估指標(biāo)等進(jìn)行了規(guī)范。評估內(nèi)容和指標(biāo)包括立項適當(dāng)性、組織實施合規(guī)性、援助效果和效率、綜合影響力實現(xiàn)和可持續(xù)性發(fā)展5個方面,并結(jié)合成套、物資、技術(shù)援助等不同援助類型制定了指導(dǎo)性評估指標(biāo)。
2021年1月,國務(wù)院新聞辦公室發(fā)布的《新時代的中國國際發(fā)展合作》白皮書指出:“要建立系統(tǒng)完善、公正獨立的項目評估機(jī)制,制定科學(xué)規(guī)范、完整有效的評估標(biāo)準(zhǔn),開展綜合評估和專項評估,加強(qiáng)評估結(jié)果應(yīng)用。”從國內(nèi)看,隨著我國政府和公眾對公共資源使用績效的關(guān)注不斷增強(qiáng),建立系統(tǒng)完善、公正獨立的評估體系是提高援外資金效益、加強(qiáng)問責(zé)必不可少的一環(huán)。從國際看,在國際社會努力推動實現(xiàn)聯(lián)合國2030年可持續(xù)發(fā)展目標(biāo)(Sustainable Development Goals,SDGs)的全球背景下,科學(xué)合理的評估體系能夠更好地衡量、展現(xiàn)我國對外援助對國際發(fā)展合作事業(yè)所做的貢獻(xiàn),回應(yīng)國際社會對我國的期待,彰顯我國更加公開透明的負(fù)責(zé)任大國形象。因此,研究建立一套適應(yīng)新形勢的評估指標(biāo)體系,對于進(jìn)一步增強(qiáng)援助評估工作的科學(xué)性和有效性具有現(xiàn)實意義。
國際對外援助項目評估指標(biāo)體系建設(shè)經(jīng)驗
經(jīng)濟(jì)合作與發(fā)展組織發(fā)展援助委員會(Organisation for Economic Cooperation and Development—Development Assistance Committee,OECD DAC)作為國際重要的援助國或地區(qū)指導(dǎo)平臺,其制定的評估標(biāo)準(zhǔn)具有重要指導(dǎo)意義。世界銀行集團(tuán)作為多邊金融機(jī)構(gòu),其獨立評估局每年評估數(shù)量為多邊發(fā)展銀行中最多的,形成了系統(tǒng)的評估架構(gòu)。世界糧食計劃署(World Food Programme,WFP)作為聯(lián)合國機(jī)構(gòu),其評估標(biāo)準(zhǔn)遵循聯(lián)合國標(biāo)準(zhǔn)。日本是年評估數(shù)量最大的發(fā)展援助委員會國家之一,且其援助體制和項目類型與我國相似。上述機(jī)構(gòu)的評估經(jīng)驗都具有一定的參考和借鑒意義。
評估內(nèi)容:基于經(jīng)合組織評估標(biāo)準(zhǔn)
1991年,OECD DAC首次提出援助評估的5項標(biāo)準(zhǔn),成為指導(dǎo)國際發(fā)展政策和項目評估的重要參考:一是相關(guān)性(Relevance),指項目是否符合受援方的優(yōu)先領(lǐng)域和政策,與受援方及其受益群體的需求是否相關(guān);二是有效性(Effectiveness),將結(jié)果與預(yù)定目標(biāo)進(jìn)行對比,評估項目預(yù)期目標(biāo)是否達(dá)到;三是效率(Efficiency),將使用資源與結(jié)果進(jìn)行對比,評估項目是否以性價比最高的方式實施;四是影響(Impact),包括積極和消極、預(yù)料之中和預(yù)料之外的影響;五是可持續(xù)性(Sustainability),評估項目結(jié)束后產(chǎn)生的影響是否能夠持續(xù)。
2019年11月,OECD DAC重新完善了援助評估標(biāo)準(zhǔn),在原有5項標(biāo)準(zhǔn)的基礎(chǔ)上新增一項“一致性”(Coherence)標(biāo)準(zhǔn),用于評估援助活動與援助方國內(nèi)其他活動和國際上其他援助方活動的兼容互補(bǔ)性。這實質(zhì)上反映了在全球援助資金渠道多元化的形勢下,OECD DAC更加重視援助方國內(nèi)和國際的協(xié)調(diào)統(tǒng)籌,特別是在應(yīng)對危機(jī)和人道主義援助、氣候變化等全球性議題方面,可避免援助資源重復(fù)和沖突。
以上6項標(biāo)準(zhǔn)適用于常規(guī)的非緊急人道主義援助項目。國際上對于緊急人道主義援助項目的評估標(biāo)準(zhǔn)略有不同,它并不評估可持續(xù)性,而主要評估“獲得人道主義援助的覆蓋范圍”,考察大部分面臨生命威脅的人口是否獲得了幫助。此外,還關(guān)注短期緊急性質(zhì)的援助能否與當(dāng)?shù)亻L期發(fā)展相關(guān)聯(lián),并與安全、貿(mào)易和軍事等方面政策的協(xié)調(diào)。
在OECD DAC評估標(biāo)準(zhǔn)的基礎(chǔ)上,聯(lián)合國系統(tǒng)的評估標(biāo)準(zhǔn)還加入了物有所值和客戶滿意度。2005年4月,聯(lián)合國評估小組出臺了聯(lián)合國評估標(biāo)準(zhǔn),推進(jìn)整個系統(tǒng)的評估協(xié)作??傮w而言,OECD DAC和聯(lián)合國標(biāo)準(zhǔn)都要求與受援方背景相符;與其他援助活動保持一致;以有效的方式實現(xiàn)援助目標(biāo);產(chǎn)生持久的積極影響。聯(lián)合國系統(tǒng)作為多邊機(jī)構(gòu),更重視成本收益比,即使用較少的經(jīng)費且有效的方式實施項目,獲得受援方的滿意。
評估標(biāo)準(zhǔn)的使用應(yīng)取決于評估類型和目的,即在開展單個項目、領(lǐng)域、國別合作戰(zhàn)略等不同維度的評估時,可能側(cè)重不同的標(biāo)準(zhǔn)。在領(lǐng)域評估時,需要關(guān)注援助活動是否符合援助方國內(nèi)相關(guān)行業(yè)規(guī)劃,并衡量援助對受援國該領(lǐng)域的促進(jìn)作用。在評估國別/地區(qū)合作戰(zhàn)略時,要注重合作戰(zhàn)略本身的質(zhì)量,如是否包括當(dāng)?shù)仃P(guān)注的熱點議題、是否涵蓋當(dāng)?shù)夭煌黧w;還要重視單個項目和整體戰(zhàn)略之間的關(guān)聯(lián),保障單個項目有效服務(wù)于更高層次的戰(zhàn)略。此外,值得注意的是,隨著性別平等、生態(tài)環(huán)保、減貧等跨領(lǐng)域主題在發(fā)展援助政策中越來越主流化,即使對特定領(lǐng)域的評估,也要注重評估這些國際發(fā)展熱點議題的實現(xiàn)程度。
指標(biāo)設(shè)置邏輯:以目標(biāo)為導(dǎo)向
如果說評估標(biāo)準(zhǔn)為評估活動框定了范圍、指出了方向,那么評估指標(biāo)則是指導(dǎo)評估機(jī)構(gòu)開展評估的具體工具。在設(shè)置具體指標(biāo)時,國際上主要采用“結(jié)果鏈”(Result Chain)的方法,其演變形式也包括變革理論(Theory of Change)、邏輯框架(Logic Framework)等,其原理是通過“投入—產(chǎn)出—效果—最終目標(biāo)”這樣的線形結(jié)果鏈條來推導(dǎo)項目和效果之間的關(guān)聯(lián),形成相應(yīng)的效果指標(biāo)和產(chǎn)出指標(biāo),如圖1所示。其中,投入是指為項目實施而投入的資金、人力和活動;產(chǎn)出是指因項目實施而直接產(chǎn)生的結(jié)果或服務(wù);效果是指實施項目而帶來的中期或長期、積極或消極、直接或間接、有意或無意的影響。
“結(jié)果鏈”的核心是目標(biāo)。也就是說,在項目伊始就應(yīng)該明確目標(biāo),基于項目目標(biāo)才能倒推出援助所需的投入和產(chǎn)出。以世界銀行的指標(biāo)體系為例,如某受援方提出援助需求,想要解決“因水供應(yīng)短缺導(dǎo)致衛(wèi)生問題,影響了農(nóng)村人口健康”的問題,那么項目的預(yù)期目標(biāo)是要“減少與水短缺相關(guān)的疾病”。為達(dá)到這一目標(biāo),應(yīng)考慮提高水和衛(wèi)生資源的獲得性,那么就要增加水供應(yīng)系統(tǒng)和衛(wèi)生設(shè)施的覆蓋用戶,相應(yīng)的產(chǎn)出就應(yīng)設(shè)計為“修復(fù)或擴(kuò)建輸水系統(tǒng)、新建衛(wèi)生設(shè)施”。為達(dá)到這一產(chǎn)出,投入自然就是修擴(kuò)建輸水系統(tǒng)、新建衛(wèi)生設(shè)施。除了新增基礎(chǔ)設(shè)施外,也可以通過喚醒民眾的清潔衛(wèi)生意識這種軟援助來達(dá)到這一目的。因此,另一種投入也可設(shè)計為“發(fā)起清潔衛(wèi)生運動”,如圖2所示。
簡而言之,如果將這些指標(biāo)體系看作一個樹狀圖,那么各領(lǐng)域戰(zhàn)略目標(biāo)就是樹根、項目為樹枝,本固枝榮,項目效果才能枝繁葉茂。評估指標(biāo)體系的建設(shè)只需將戰(zhàn)略目標(biāo)具體化和行為化,指導(dǎo)評估工作追本溯源,衡量援助預(yù)期目標(biāo)是否得以實現(xiàn)。如果脫離立項目標(biāo)來設(shè)計評估指標(biāo)體系,那將變成無本之木,缺乏評價準(zhǔn)繩。
具體指標(biāo)設(shè)定:強(qiáng)調(diào)全面性和可及性
在長期援助評估實踐中,國際上不少發(fā)展機(jī)構(gòu)形成了自己的一套評估指標(biāo)。如WFP評估指標(biāo)在每 4年更新的《結(jié)果框架》中確定。瑞士發(fā)展合作署于2016年推出“參考指標(biāo)”(Aggregated Reference Indicators,ARIs),2019年又推出“分領(lǐng)域參考指標(biāo)”(Thematic Reference Indicators,TRIs),作為結(jié)果導(dǎo)向管理體系的一部分,要求每個項目結(jié)果框架至少使用50%的參考指標(biāo)。
總體來看,上述國家和組織的評估指標(biāo)具有以下幾個特點。
一是全面性和動態(tài)更新。評估指標(biāo)整體架構(gòu)條塊分明,由面到點,一般涉及不同援助領(lǐng)域和類型。
二是定性和定量相結(jié)合。在具體指標(biāo)設(shè)置上,注重量化考核,定量評估項目的影響,特別是產(chǎn)出指標(biāo),基本均為定量指標(biāo)。效果指標(biāo)方面,既有項目“提高用戶覆蓋數(shù)量、縮短路途時間、降低死亡率”等定量指標(biāo),也有“受益群體滿意度、條件改善程度”等定性指標(biāo)。
三是從實際出發(fā)考慮數(shù)據(jù)獲取的難易程度。日本的指標(biāo)分為基礎(chǔ)指標(biāo)和補(bǔ)充指標(biāo)兩種。其中,基礎(chǔ)指標(biāo)是通用的,適用于大部分項目,數(shù)據(jù)搜集具有較大可及性;補(bǔ)充指標(biāo)是如數(shù)據(jù)搜集有困難,則可以不選取該指標(biāo)。
四是部分國家和組織開始將評估指標(biāo)與聯(lián)合國17個SDGs相關(guān)聯(lián)。其中,WFP的模式是“自上而下”關(guān)聯(lián),即其戰(zhàn)略目標(biāo)就是SDGs,包括“消除饑餓,實現(xiàn)糧食安全,改善營養(yǎng)狀況和促進(jìn)可持續(xù)農(nóng)業(yè)”(SDG2),基于此設(shè)計開展各類援助活動,并產(chǎn)生評估指標(biāo)。
構(gòu)建我國對外援助項目評估指標(biāo)體系的路徑
隨著我國援助項目監(jiān)督評估工作的深入推進(jìn),我國可借鑒國際經(jīng)驗,探索建立系統(tǒng)科學(xué)的評估指標(biāo)體系,提升評估科學(xué)性和規(guī)范化水平,全面、客觀地展現(xiàn)對外援助項目的效用及影響,并加強(qiáng)對立項決策的指導(dǎo)意義。
橫縱結(jié)合,搭建系統(tǒng)和全面的指標(biāo)體系
從橫向看,考慮到各類型援助項目的管理鏈條是類似的,或可參考OECD DAC評估標(biāo)準(zhǔn)構(gòu)建通用型指標(biāo)體系,用于評估立項、實施、綜合效益、后續(xù)使用的項目管理全過程,可分為4個評估指標(biāo):一是目標(biāo)評估指標(biāo),評估項目立項目標(biāo)的合理性,是否與受援國的實際需求相匹配;二是過程評估指標(biāo),從可行性研究、立項到實施管理,覆蓋援助項目全生命周期,評估過程的合規(guī)性;三是效果評估指標(biāo),評估項目產(chǎn)生的政治、經(jīng)濟(jì)、社會等綜合效益,特別是反映性別平等、社會融合、應(yīng)對氣候變化等國際發(fā)展事業(yè)的貢獻(xiàn);四是可持續(xù)評估指標(biāo),評估項目后續(xù)運營、使用情況和可持續(xù)影響。
從縱向看,考慮到不同項目有不同的產(chǎn)出、效果和特點,可根據(jù)援助領(lǐng)域、方式、渠道等維度設(shè)置專用指標(biāo)工具包,覆蓋如教育、醫(yī)療衛(wèi)生、文體、公共管理、交通、能源、通信、農(nóng)業(yè)、環(huán)境保護(hù)、人道主義等援助領(lǐng)域,優(yōu)惠貸款、現(xiàn)匯、人力資源開發(fā)合作等援助方式,以及通過國際組織實施等不同援助渠道。
目的導(dǎo)向,形成立項目標(biāo)和評估指標(biāo)相互促進(jìn)的閉環(huán)管理
具體指標(biāo)的設(shè)計應(yīng)以項目目標(biāo)為出發(fā)點和導(dǎo)向標(biāo),綱舉方能目張。具體而言,以結(jié)果為導(dǎo)向的評估指標(biāo)應(yīng)基于以下3個政策導(dǎo)向設(shè)置:一是應(yīng)契合受援方發(fā)展規(guī)劃,匹配受援方民眾實際需求,突出以人為本、改善民生的援助理念;二是應(yīng)展現(xiàn)我國對外援助配合服務(wù)外交大局和推動共建“一帶一路”的積極貢獻(xiàn);三是應(yīng)與聯(lián)合國2030年可持續(xù)發(fā)展目標(biāo)保持一致,探討建立項目目標(biāo)與聯(lián)合國2030年可持續(xù)發(fā)展目標(biāo)之間的關(guān)聯(lián)路徑,體現(xiàn)我國作為負(fù)責(zé)任大國的使命和擔(dān)當(dāng)。
更重要的是,要完善以結(jié)果為導(dǎo)向的援助立項決策機(jī)制,引導(dǎo)整個對外援助項目在項目設(shè)計、可行性研究、立項時就開始關(guān)注目標(biāo)設(shè)置,使立項目標(biāo)和意圖始終貫穿在項目整個實施過程中,指導(dǎo)相關(guān)單位及時跟蹤項目目標(biāo)實現(xiàn)情況,帶動形成立項目標(biāo)和評估指標(biāo)相互促進(jìn)的閉環(huán)管理。
實事求是,考慮指標(biāo)體系的使用便利性
構(gòu)建指標(biāo)體系時,要充分考慮對工作的實際指導(dǎo)意義:一是指標(biāo)設(shè)置要有一定的可獲得性和時效性,數(shù)據(jù)較易搜集和獲得,最好在項目伊始就明確數(shù)據(jù)報送負(fù)責(zé)主體,如果設(shè)計的指標(biāo)無法搜集到具體數(shù)據(jù),那這個指標(biāo)就失去了意義;二是將定性指標(biāo)和定量指標(biāo)相結(jié)合,能夠科學(xué)、客觀地反映項目產(chǎn)出,全面反映項目效果,便于比對目標(biāo)實現(xiàn)程度,對同類型項目進(jìn)行橫向比較,并對各項目進(jìn)行效果的集成匯總。
在構(gòu)建和使用指標(biāo)體系的過程中要注意兩點:一是突出重點,指標(biāo)起到參考作用,并不是都必須使用,在評估實施過程中,評估機(jī)構(gòu)可根據(jù)評估目的、項目和所在地區(qū)的不同特點,有選擇性地選取指標(biāo),或在指標(biāo)基礎(chǔ)上進(jìn)行增減,體現(xiàn)評估項目差異化的特性;二是由于我國援助項目種類繁多,指標(biāo)體系很難覆蓋所有領(lǐng)域,應(yīng)建立指標(biāo)動態(tài)調(diào)整更新機(jī)制,根據(jù)援助方式和評估發(fā)展不斷更新內(nèi)容、擴(kuò)大范圍,為后續(xù)同類項目的評估提供參考。P