浙江省重大科技專項績效評價體系實證研究

浙江省科技開發(fā)中心 周亦亮

本文以省重大科技專項的績效評價工作為實例，研究了科技項目績效評價的基本框架體系，探討了如何科學構(gòu)建評價指標體系、合理確定評價指標權(quán)重和標準化處理指標標準值等問題，提出了相應的方法。

績效評價；“3E”原則；評價框架體系

政府公共支出績效評價作為改善政府行政管理、強化政府問責機制、優(yōu)化公共資源配置、提高資源使用效益的重要工具，越來越受到政府的重視，隨著政府對科技投入的不斷增加，審計部門、財政部門以及社會公眾對科技支出的績效也日趨關(guān)注，績效評價已作為科技管理的重要手段予以推動。浙江省重大科技專項是我省科技投入的重要載體，其投入與績效情況如何？在創(chuàng)新環(huán)境營造方面采取了哪些有效措施？有何不足？圍繞這些問題，浙江省科技開發(fā)中心受省科技廳委托，承擔了對2010年安排的省重大科技專項的績效評價工作。

以此次績效評價為例，對科技項目績效評價體系進行了實證研究，以形成科技項目績效評價的基本框架體系?？冃гu價的一般程序包括制定大綱、設(shè)立指標、確定標準、無量綱化、建立模型、收集數(shù)據(jù)、綜合評價幾步。本文圍繞框架體系的建設(shè)，重點研究如何從選擇、設(shè)計指標到建立評價模型。

一、指標體系的科學構(gòu)建

績效評價指標體系的設(shè)計與選擇主要遵循目標導向和“3E”原則，即注重經(jīng)濟性（Economy）、效率性（Efficiency）和有效性（Effectiveness）三者的有機結(jié)合。省重大科技專項涵蓋了工業(yè)、農(nóng)業(yè)、社發(fā)多個領(lǐng)域十幾個專項，且每個專項由若干個科技項目構(gòu)成，情況較為復雜，我們按照公共支出績效評價框架指標，根據(jù)省重大科技專項的這一具體特點進行了細化設(shè)計。在設(shè)計上主要體現(xiàn)三點思路:一是強調(diào)“質(zhì)”也兼顧“量”，把重要成果提取出來作為評價的主要標準，同時也兼顧成果的數(shù)量，以在不同專項項目之間形成可對比性；二是既看重產(chǎn)出績效、也看重過程管理情況，把過程指標與結(jié)果指標相結(jié)合進行評價，對實施中項目也形成評價；三是多方式評價，以同行專家評價為主要方法，結(jié)合座談利益相關(guān)方、實地勘察部分項目等輔助方法，達到多角度、更全面的評價效果。

二、指標權(quán)重的合理確定

績效評價指標體系界定了用以反映科技項目績效的各個側(cè)面，但不是簡單地把各個指標數(shù)據(jù)相加就能說明項目績效的整體情況，各個指標對于實現(xiàn)項目目標的重要性是不同的，需要運用專家調(diào)查法（Delphi法）、層次分析法（AHP法）等方法確定各指標的權(quán)重。我們采用專家調(diào)查法來確定，這是一種集中專家的經(jīng)驗與意見進行分析、權(quán)衡并賦權(quán)的方法，其實施步驟為：

1.選定專家，給出賦權(quán)要求；

2.由各位專家對各項指標進行打分，即給指標賦權(quán)；

3.匿名記錄、匯總各專家的賦權(quán)結(jié)果，并將結(jié)果反饋給各位專家；

4.專家參考反饋意見修改其初次賦權(quán)結(jié)果；

5.重復“反饋”與“修改”，直到達到符合要求的精度；

6.以各位專家最終賦權(quán)值的平均數(shù)作為權(quán)重組合的結(jié)果。

其中精度要求指事先確定的允許各位專家賦權(quán)結(jié)果的相對偏差，用以檢驗專家意見的集中程度。“相對偏差”的計算公式為：

i=1,2…；k=1,2,…K

式中，K為專家人數(shù)，mik為第k位

各位專家通過對自己的偏差比較來修正賦權(quán)傾向。

三、指標標準值的確定和標準化處理

指標標準值是評價指標的參照標準，要結(jié)合重大科技專項的實施方案、項目實際情況、評價經(jīng)驗、國內(nèi)外同類項目的先進水平等情況，科學合理地研究確定各評價指標標準值，其中最重要的是要反映專項計劃目標和項目實際情況。

確定了指標標準值后，還需要對指標數(shù)據(jù)進行標準化處理。處理方法有直線型、折線型和曲線型3種類型，其中最常見的是直線型，即假定兩者之間呈線性關(guān)系，指標實際值的變化引起指標評價值一個相應比例的變化。處理具體方法主要有比重法、ZScore法、極值法等，如比重法計算公式為：

式中，ci為被評價對象的實際指標數(shù)據(jù)值，c0為評價指標的標準值，Pi為被評價方案的指標得分值。各種指標標準化方法各有特點和適用性，須根據(jù)評價指標的性質(zhì)和特點分別采用相對較合理的方法。

四、結(jié)語及建議

構(gòu)建專項的綜合評價數(shù)學模型，在專項模型中將即反映全體項目的整體科研產(chǎn)出績效，也同時反映優(yōu)秀、良好、合格、不合格各等次項目的不同情況和所占比例。

通過建立重大科技專項績效評價模型的實證研究，期望建立以目標和“3E”為導向的科技項目績效評價指標體系設(shè)計模式，探索適合科技項目特點的績效評價一般程序，提高科技項目績效評價方法的標準化和科學性，對科技項目實效進行評價，以提升績效為目標，得出更客觀的評價結(jié)果服務于管理體制的完善和科技資源的配置。

(本欄目編輯周學東)