程中倩，吳水榮，梁 巍

（1.中國林業(yè)科學(xué)研究院林業(yè)科技信息研究所；2.中國林業(yè)科學(xué)研究院科技管理處，北京 100091）

國家重點研發(fā)計劃于2015 年開始實施，是由973 計劃、863 計劃、國家科技支撐計劃、國際科技合作與交流專項、產(chǎn)業(yè)技術(shù)研究與開發(fā)基金和自然資源部、生態(tài)環(huán)境部、衛(wèi)計委等13 個管理部門的公益性行業(yè)科研專項，6 個國家公共研發(fā)計劃中子計劃整合而成［1-2］。重點研發(fā)計劃的顯著特點是戰(zhàn)略性、導(dǎo)向性和方向性強，其研究內(nèi)容設(shè)置高度反應(yīng)了國家意志和發(fā)展需求［1］。

通過近4 年試運行，國家重點研發(fā)計劃建立了咨詢評議、決策監(jiān)督和管理監(jiān)督三方分管機制［1］，2017 年科技部制定了項目立項、實施、驗收與成果管理辦法、監(jiān)督與評估工作規(guī)定、財務(wù)工作規(guī)范等系列制度［3］，初步形成了專項組織管理體系及制度體系。但當(dāng)前尚未形成完善的國家重點研發(fā)專項績效管理與評價模型和指標(biāo)體系，無法統(tǒng)一指導(dǎo)績效評價制度、監(jiān)測項目效益，也無法對項目進行初期評價和階段性考核。此外，現(xiàn)有的績效評價體系大多采用投入導(dǎo)向的績效評價模式，重點關(guān)注項目的投入以及實施過程，經(jīng)費使用欠靈活性。若采用結(jié)果導(dǎo)向的績效評價模式，將注重審核項目完成程度及質(zhì)量，激勵科研人員的創(chuàng)新潛力，科學(xué)高效地管理科研經(jīng)費，促進“產(chǎn)出大于投入”［2］。林業(yè)在推動國民經(jīng)濟的建設(shè)、促進人民生活水平的提升、加強生態(tài)環(huán)境的改善中，有重要的地位和功能［4］。對于林業(yè)領(lǐng)域科研項目，由于項目周期長，成果見效慢，效益涵蓋生態(tài)、經(jīng)濟和社會等多方面，其績效評價系統(tǒng)應(yīng)有別于其他領(lǐng)域。因此，有必要探索林業(yè)領(lǐng)域績效評價體系，逐漸完善重點研發(fā)專項的組織和資金管理，有利于激勵科研工作者更好地投入到林業(yè)產(chǎn)業(yè)發(fā)展，推進生態(tài)文明建設(shè)與保護。

本文將層次分析法（Analytic Hierarchy Process，AHP） 和模糊綜合評價（Fuzzy Comprehensive Evaluation）相結(jié)合，建立林業(yè)領(lǐng)域國家重點研發(fā)專項績效評價指標(biāo)層次結(jié)構(gòu)模型，運用指標(biāo)成對進行比較的方法來構(gòu)建比較判斷矩陣，將求解與最大特征根相應(yīng)的特征向量的分量作為相應(yīng)權(quán)重系數(shù)的方法計算指標(biāo)權(quán)重，進行一致性檢驗，根據(jù)最低層次各指標(biāo)權(quán)重和指標(biāo)值對考評對象作出綜合評估［3］，形成評價指標(biāo)體系。在以上分析基礎(chǔ)上，運用主成分分析法（Principal Component Analysis，PCA）降維，提取關(guān)鍵的評價因子，制定合理的林業(yè)領(lǐng)域國家重點研發(fā)專項績效評價方案。

1 林業(yè)領(lǐng)域國家重點研發(fā)計劃立項情況分析

自國家重點研發(fā)計劃啟動以來，2016—2018 年，國家重點研發(fā)計劃項目中涉及林業(yè)領(lǐng)域的方向主要有：“林業(yè)資源培育及高效利用技術(shù)創(chuàng)新”“典型脆弱生態(tài)修復(fù)與保護研究”“全球變化及應(yīng)對”“水資源高效開發(fā)利用”“生物安全關(guān)鍵技術(shù)研發(fā)”“國家質(zhì)量基礎(chǔ)的共性技術(shù)研究與應(yīng)用”。如表1 所示，2016年，林業(yè)領(lǐng)域共立項51個，總經(jīng)費近13.08億元；2017 年林業(yè)領(lǐng)域共立項46 個，總經(jīng)費近9.57 億元；2018 年林業(yè)領(lǐng)域共立項11 個，總經(jīng)費近1.99 億元。從項目實施周期來看，“林業(yè)資源培育及高效利用技術(shù)創(chuàng)新”和“全球變化及應(yīng)對”實施周期最長，平均為5 年；隨后為“典型脆弱生態(tài)修復(fù)與保護研究”［5-9］。牽頭單位以科研院所為主，其次為大專院校，企業(yè)占比很小，2017 年和2018 年，林業(yè)領(lǐng)域重點研發(fā)專項無企業(yè)立項［5-9］（圖1）。

表1 2016-2018 年林業(yè)領(lǐng)域國家重點研發(fā)計劃分布

圖1 2016—2018 年項目牽頭承擔(dān)單位類型分布情況

2 績效評價的模型及指標(biāo)體系

2.1 績效評價指標(biāo)的確定及層次結(jié)構(gòu)劃分

由于林業(yè)項目研究周期長、項目綜合性高，涉及生態(tài)、經(jīng)濟和社會等多方面因素影響，所確定的指標(biāo)既要全面滿足全面評價項目的各項任務(wù)目標(biāo)要求，又要簡潔、合理、易于評測［4］。因此，根據(jù)系統(tǒng)性、科學(xué)性、客觀性、時效性、預(yù)測性、重點性和定量與定性指標(biāo)相結(jié)合原則［10-11］，建立了林業(yè)領(lǐng)域重點研發(fā)專項績效評價指標(biāo)體系。將項目投入與管理、創(chuàng)新活動、技術(shù)評價和項目效益，5 個指標(biāo)定為績效評價體系的一級指標(biāo)即準(zhǔn)則層。在參考其他農(nóng)林業(yè)項目績效評價體系，咨詢林業(yè)相關(guān)領(lǐng)域?qū)＜遥Y(jié)合林業(yè)公益性行業(yè)科研項目特點，確定了19個二級指標(biāo)和61 個三級指標(biāo)，即子準(zhǔn)則層1 和子準(zhǔn)則層2，具體內(nèi)容見表2。

表2 林業(yè)領(lǐng)域重點研發(fā)專項績效評價各指標(biāo)權(quán)重及分級評分標(biāo)準(zhǔn)

表2 （續(xù)）

表2 （續(xù)）

2.2 構(gòu)建兩兩比較判斷矩陣

在評價指標(biāo)體系中，每項指標(biāo)的重要性不同，計算某一指標(biāo)的綜合值前，要確定每個指標(biāo)的權(quán)重。權(quán)重越高，則該指標(biāo)越重要。確定了績效評價體系的一、二和三級指標(biāo)后，邀請中國林業(yè)科學(xué)研究院相關(guān)專家24 名，通過調(diào)查問卷的方式，運用層次分析法，建立判斷矩陣，確定各層級每個指標(biāo)的權(quán)重［11］。

關(guān)于判斷矩陣中元素的標(biāo)度，層次分析法引用了實驗心理學(xué)家 Miller［12］的工作成果，即人類比較判斷事物個數(shù)的心理極限是 7±2 個，因此，在層次分析法中采用了實驗心理學(xué)中的 9 級 Bipolar 標(biāo)度，以自然數(shù) 1 到 9 的（子）因素相對重要性進行標(biāo)度［3,12］（表3）。

表3 標(biāo)度值的含義

2.3 計算單一準(zhǔn)則下元素的相對權(quán)重

表1 所示，科研績效評價共有5 個一級指標(biāo)，19 個二級指標(biāo)，61 個三級指標(biāo)。通過參與問卷調(diào)查的專家對指標(biāo)打分處理后，建立各層次的正互反矩陣，既具有如下形式：

且{aij}={1,2±1,3±1,…,9±1} (i,j=1,2,3,…,n)。

計算判斷矩陣每一行的乘積Mi：

計算Mi的幾何平均值：

ωi即為該指標(biāo)的權(quán)重。計算判斷矩陣的最大特征值λmax：

根據(jù)許樹柏［12］得出的1-15 階重復(fù)計算1 000次的平均隨機一致性指標(biāo)如下（表4）。

表4 平均隨機一致性指標(biāo)RI

計算一致性比率CR：

當(dāng)CR＜0.10時，可以認為判斷矩陣具有一致性，不必調(diào)整。否則需要重新調(diào)整矩陣。

2.4 確定國家財政專項資金科研項目績效評價各指標(biāo)權(quán)重

運用Matlab 軟件，按子準(zhǔn)則層2、子準(zhǔn)則層1和準(zhǔn)則層的順序，分別計算各層次的計算最大特征值、權(quán)重、對應(yīng)特征值向量，進行一致性檢驗通過后，將各層次權(quán)重結(jié)果匯總至表1。

3 評價等級標(biāo)準(zhǔn)

在以上權(quán)重計算基礎(chǔ)上，對子準(zhǔn)則層2 各指標(biāo)制定打分標(biāo)準(zhǔn)（見表1），分為五級：第I 級為20 分，第II 級為40 分，第III 級為60 分，第IV 級為80 分，第V 級為100 分。首先，根據(jù)各項目實際情況，對子準(zhǔn)則層2 的各項指標(biāo)進行評分，乘以對應(yīng)權(quán)重，計算出實際分值。然后，將子準(zhǔn)則層1 的各項指標(biāo)對應(yīng)分值相加并乘以子準(zhǔn)則層1 的權(quán)重，得到子準(zhǔn)則層1 的分值。同樣，將準(zhǔn)則層內(nèi)個子準(zhǔn)則層1 的各項指標(biāo)對應(yīng)分值相加并乘以準(zhǔn)則層的權(quán)重，得到準(zhǔn)則層的分值。最后，各準(zhǔn)則層的分值相加，得到目標(biāo)層分值，即為國家財政專項資金科研項目最終得分。

4 關(guān)鍵指標(biāo)

由于子準(zhǔn)則層2 共計61 個指標(biāo)，為了提高評價效率，根據(jù)專家打分結(jié)果，采用主成分分析，為評價體系降維后，重新組合形成6 個新的綜合評價指標(biāo)（表5）。主成分1 與D11 對生態(tài)多樣性保護的促進作用、D12 對碳匯造林事業(yè)發(fā)展的促進作用、D13 對其他生態(tài)服務(wù)的促進作用等27 個子準(zhǔn)則層2的指標(biāo)有關(guān)，涵蓋生態(tài)效益、經(jīng)濟效益、社會效益以及可持續(xù)影響方面，可命名為項目效益因子。C31制定標(biāo)準(zhǔn)、指南、行業(yè)規(guī)范、規(guī)程、模型等數(shù)量及級別和C32 引用頻次或使用情況在主成分2 上有較高正載荷，因此該主成分可定義為行業(yè)標(biāo)準(zhǔn)化因子。主成分3 與C12 論文引用頻次、C22 著作引用頻次、C52 示范基地樣地驗收通過率以及D32 宣傳報道數(shù)量密切相關(guān)，可命名為應(yīng)用成果因子。主成分4 與C21 著作級別和數(shù)量、C41 軟件著作權(quán)、專利等數(shù)量、C51 標(biāo)準(zhǔn)、指南、行業(yè)規(guī)范、規(guī)程、模型等數(shù)量及級和C72 成果轉(zhuǎn)讓密切相關(guān)，可命名為學(xué)術(shù)成果因子。A41 各主要任務(wù)預(yù)算控制的情況在主成分5 上有較大負載荷，可命名為成本控制因子。B21 學(xué)術(shù)會議和B22來訪人員在主成分6上有較大負載荷，定義為交流活動因子。因此，國家財政專項資金科研項目績效評價與項目效益、行業(yè)標(biāo)準(zhǔn)化、應(yīng)用成果、學(xué)術(shù)成果、預(yù)算控制和交流活動這六大類指標(biāo)密切相關(guān)。根據(jù)這六大類建立新的評價體系見表6。

表5 （續(xù)）

表6 降維后的國家重點研發(fā)專項項目績效評價體系

5 總結(jié)

國家重點研發(fā)計劃的評估管理辦法出臺相關(guān)規(guī)定，但具體的評估內(nèi)容有待細節(jié)化、制度化［13］。建立科學(xué)合理的績效評估體系，可保障項目順利實施，按計劃高質(zhì)高產(chǎn)完成，資金做到合理分配［14］?，F(xiàn)階段，我國重點研發(fā)專項更重視“社會發(fā)展”和“高新技術(shù)”領(lǐng)域［15］。林業(yè)領(lǐng)域無論是立項數(shù)量還是經(jīng)費總額，都遠不及上述兩個領(lǐng)域，是一個支持較為薄弱的領(lǐng)域。在資助優(yōu)勢學(xué)科的同時，更應(yīng)該覆蓋特色學(xué)科，針對林業(yè)發(fā)展特點，與相關(guān)地區(qū)及單位共同投入資金，設(shè)立國家重點研發(fā)計劃聯(lián)合任務(wù)，促進林業(yè)等小眾領(lǐng)域的發(fā)展［16］。

由于現(xiàn)階段尚未有國家重點研發(fā)專項項目結(jié)題，因此，本研究的評價體系未有合適數(shù)據(jù)支撐評價效果。建議構(gòu)建評估體系時，率先開展試點評測，完善評價體系［13］。本研究拋磚引玉，可為建立完整的國家重點研發(fā)計劃的評估提供參考，避免同質(zhì)化評估。