趙紅麗
【摘要】? 近年來,國家對科研項(xiàng)目的投入日益增加,但我國的科研項(xiàng)目績效評價(jià)尚處于起步階段,績效評價(jià)體系還不完善,存在很多問題。文章對國內(nèi)基礎(chǔ)研究項(xiàng)目績效評價(jià)現(xiàn)狀進(jìn)行了分析,提出了建立基于大數(shù)據(jù)背景的基礎(chǔ)研究項(xiàng)目績效評價(jià)體系,并從基礎(chǔ)研究績效評價(jià)的數(shù)據(jù)庫平臺(tái)構(gòu)建、績效評價(jià)原則、績效評價(jià)流程和績效評價(jià)指標(biāo)的設(shè)定等方面進(jìn)行了詳細(xì)闡述,以期為主管部門對基礎(chǔ)研究項(xiàng)目進(jìn)行績效評價(jià)提供參考。
【關(guān)鍵詞】? ?大數(shù)據(jù);基礎(chǔ)研究;績效評價(jià)
【中圖分類號】? F234? 【文獻(xiàn)標(biāo)識(shí)碼】? A? 【文章編號】? 1002-5812(2019)24-0033-03
一、引言
科研項(xiàng)目績效管理可以提高財(cái)政科研項(xiàng)目資金的有效配置。近年來,隨著國家對科研項(xiàng)目投入的不斷增加,科研項(xiàng)目績效管理也日益受到重視?!秶抑虚L期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要(2006—2020年)指出,要建立財(cái)政科研項(xiàng)目的績效評價(jià)體系,健全相應(yīng)的評估和監(jiān)督管理機(jī)制??萍疾坑?012年制訂的《關(guān)于加快科技改變發(fā)展 增強(qiáng)自主創(chuàng)新能力 充分發(fā)揮科技支撐引領(lǐng)作用的意見》要求,要重視績效管理,加強(qiáng)監(jiān)督評估和資金使用監(jiān)管。財(cái)政部于2011年出臺(tái)了《財(cái)政支出績效評價(jià)管理暫行辦法》,對財(cái)政項(xiàng)目的績效評價(jià)發(fā)布了指導(dǎo)性意見。
科研項(xiàng)目績效評價(jià)研究近年來也成為專家學(xué)者研究的熱點(diǎn)問題,科研項(xiàng)目績效評價(jià)對象可以按項(xiàng)目負(fù)責(zé)人、項(xiàng)目承擔(dān)單位、項(xiàng)目研究方向、項(xiàng)目經(jīng)費(fèi)來源等來劃分,評價(jià)辦法也因被評價(jià)對象不同而不同??蒲许?xiàng)目按研究方向可分為基礎(chǔ)研究項(xiàng)目和應(yīng)用研究項(xiàng)目,目前國內(nèi)對于應(yīng)用項(xiàng)目績效評價(jià)的研究較多,基礎(chǔ)研究項(xiàng)目方面涉及較少,本文以基礎(chǔ)研究項(xiàng)目為評價(jià)對象進(jìn)行績效評價(jià)研究。
二、基礎(chǔ)研究項(xiàng)目績效評價(jià)現(xiàn)狀
(一)評價(jià)主體不獨(dú)立
目前科研項(xiàng)目績效評價(jià)模式一般有三種:一是由承擔(dān)單位按照上級主管部門設(shè)定的指標(biāo)模板進(jìn)行自評價(jià);二是由上級主管部門采用會(huì)議或現(xiàn)場檢查方式組織評價(jià);三是由主管部門針對承擔(dān)單位的自評價(jià)進(jìn)行復(fù)核并抽查。目前很少由外部中介機(jī)構(gòu)參與項(xiàng)目的績效評價(jià)。上述績效評價(jià)方式使得項(xiàng)目績效評價(jià)流于形式,只是滿足于填表交差,會(huì)議或現(xiàn)場檢查也只是走過場,而評價(jià)主體的不獨(dú)立使評價(jià)結(jié)果缺乏公正性,項(xiàng)目績效評價(jià)應(yīng)走向社會(huì)化。
(二)評價(jià)指標(biāo)不科學(xué)
科研項(xiàng)目績效評價(jià)指標(biāo)一般由社會(huì)效益、經(jīng)濟(jì)效益、顧客滿意度組成,同時(shí)包括資金落實(shí)及執(zhí)行情況。這些評價(jià)指標(biāo)在對應(yīng)用研究項(xiàng)目進(jìn)行績效評價(jià)時(shí)應(yīng)用廣泛,符合應(yīng)用研究的特點(diǎn),能滿足應(yīng)用研究項(xiàng)目的績效評價(jià),國內(nèi)對于科研項(xiàng)目績效評價(jià)進(jìn)行的實(shí)證研究也多數(shù)是針對應(yīng)用研究。與應(yīng)用研究項(xiàng)目不同,基礎(chǔ)研究項(xiàng)目從立項(xiàng)到項(xiàng)目結(jié)題,短的1—2年,長的3—5年,基礎(chǔ)研究項(xiàng)目的成果和效益是一個(gè)長期積累的過程,有時(shí)候需要十幾二十幾年的深入研究,短期內(nèi)很難評估。所以對于基礎(chǔ)研究項(xiàng)目,目前這些通用的評價(jià)指標(biāo)并不科學(xué),不符合基礎(chǔ)研究的特性。
(三)評價(jià)標(biāo)準(zhǔn)不統(tǒng)一
由于各方面原因,不同主管部門部署的項(xiàng)目設(shè)定的績效評價(jià)指標(biāo)有不同的評價(jià)標(biāo)準(zhǔn)。比如基礎(chǔ)研究項(xiàng)目結(jié)題時(shí),其中有一個(gè)績效評價(jià)指標(biāo)是發(fā)表SCI論文數(shù),因不同研究學(xué)科或領(lǐng)域發(fā)表論文的難易程度不一,所以很難用發(fā)表的論文數(shù)或作者排名順序來準(zhǔn)確評價(jià)。同時(shí),該論文是只能作為一個(gè)項(xiàng)目的成果,還是可以作為幾個(gè)科研項(xiàng)目的成果,不同主管部門的評價(jià)標(biāo)準(zhǔn)并沒有統(tǒng)一,而且同一個(gè)主管部門安排的項(xiàng)目評價(jià)標(biāo)準(zhǔn)也不明確。這些標(biāo)準(zhǔn)由于制定得過于隨意,往往不符合基礎(chǔ)研究實(shí)際狀況,以至于評價(jià)結(jié)果不科學(xué)。
(四)評價(jià)基礎(chǔ)數(shù)據(jù)不共享
目前各部委或業(yè)務(wù)主管部門都開始推進(jìn)科研項(xiàng)目的績效評價(jià),對各自部署安排的科研項(xiàng)目類型、科研項(xiàng)目負(fù)責(zé)人、團(tuán)隊(duì)、成果、論文等內(nèi)容都建立了自己的基礎(chǔ)數(shù)據(jù)庫,但是這些基礎(chǔ)數(shù)據(jù)在不同部委或主管部門之間沒有實(shí)現(xiàn)數(shù)據(jù)共享。這種情況會(huì)造成對研究所或科研團(tuán)隊(duì)基礎(chǔ)數(shù)據(jù)的重復(fù)采集,加大基層工作量,也不符合國家對科研項(xiàng)目“放管服”政策的精神,各自獨(dú)立的、封閉的、分散的基礎(chǔ)數(shù)據(jù)更不利于對科研項(xiàng)目的整體績效評價(jià)。
三、基于大數(shù)據(jù)背景的基礎(chǔ)研究項(xiàng)目績效評價(jià)體系
隨著互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)等信息技術(shù)的高速發(fā)展,現(xiàn)代社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代,數(shù)據(jù)的快速增長也給我們帶來了機(jī)會(huì)和挑戰(zhàn)。我們要學(xué)會(huì)從海量的大數(shù)據(jù)中利用一定的分析方法,挖掘出我們需要的信息,建立基于大數(shù)據(jù)背景的基礎(chǔ)研究項(xiàng)目績效評價(jià)體系。
(一)基于大數(shù)據(jù)背景的基礎(chǔ)研究項(xiàng)目績效評價(jià)原則
基礎(chǔ)研究項(xiàng)目績效評價(jià)原則包括以下幾個(gè)方面:(1)真實(shí)性與可靠性原則。指所有提供的基礎(chǔ)數(shù)據(jù)來源可靠、信息真實(shí)。(2)公平和公正原則。指評價(jià)標(biāo)準(zhǔn)統(tǒng)一,評價(jià)結(jié)果公平公正。(3)科學(xué)合理性與全面性原則。指績效評價(jià)指標(biāo)設(shè)計(jì)科學(xué),評價(jià)體系合理規(guī)范,評價(jià)過程切實(shí)可行;績效評價(jià)指標(biāo)數(shù)據(jù)全面、完整。(4)現(xiàn)實(shí)性與前瞻性結(jié)合原則。指既要參考基礎(chǔ)研究項(xiàng)目的現(xiàn)實(shí)意義,又要考慮基礎(chǔ)項(xiàng)目研究的前瞻性。(5)定量分析與定性分析相結(jié)合原則。設(shè)計(jì)的績效評價(jià)指標(biāo)如果有數(shù)量,要進(jìn)行定量分析,不能用數(shù)量計(jì)量的,要進(jìn)行定性分析,定量分析和定性分析相結(jié)合。(6)激勵(lì)性與導(dǎo)向性原則。指績效評價(jià)指標(biāo)應(yīng)體現(xiàn)激勵(lì)與導(dǎo)向的原則,評價(jià)指標(biāo)的設(shè)定要滿足導(dǎo)向性目標(biāo),績效評價(jià)要以績效目標(biāo)為風(fēng)向標(biāo),通過評價(jià)結(jié)果的反饋,激發(fā)科研團(tuán)隊(duì)的創(chuàng)新積極性,促進(jìn)科研創(chuàng)新能力的提升。
(二)基于大數(shù)據(jù)背景的基礎(chǔ)研究項(xiàng)目績效評價(jià)流程
如圖1所示,基于大數(shù)據(jù)背景的項(xiàng)目績效評價(jià)應(yīng)貫穿于整個(gè)項(xiàng)目的全過程,做到事前、事中、事后的全過程控制。(1)項(xiàng)目立項(xiàng)申報(bào)時(shí),主管部門應(yīng)在申報(bào)書上明確設(shè)定績效目標(biāo)的指標(biāo),項(xiàng)目申請單位應(yīng)按設(shè)定的指標(biāo)填寫,項(xiàng)目立項(xiàng)評審時(shí)應(yīng)對績效目標(biāo)的可行性、合理性、必要性等進(jìn)行評審。(2)項(xiàng)目執(zhí)行過程中分年度或中期進(jìn)行績效目標(biāo)監(jiān)控,周期長的項(xiàng)目可以分年度進(jìn)行監(jiān)控,績效目標(biāo)監(jiān)控有利于及時(shí)發(fā)現(xiàn)項(xiàng)目執(zhí)行中出現(xiàn)的問題,及時(shí)督促整改,對于無法整改或完成的項(xiàng)目可以及時(shí)進(jìn)行調(diào)整,避免資源浪費(fèi)。(3)項(xiàng)目結(jié)束時(shí)要組織績效評價(jià),對照立項(xiàng)時(shí)設(shè)定的績效目標(biāo),逐項(xiàng)比較分析差異,并找出原因,以利于項(xiàng)目主管部門提高認(rèn)識(shí)、項(xiàng)目承擔(dān)單位的研究人員進(jìn)一步明確未來研究的方向。(4)項(xiàng)目主管部門應(yīng)組織對預(yù)期有后續(xù)影響的基礎(chǔ)研究項(xiàng)目進(jìn)行后續(xù)追蹤評價(jià),可以設(shè)定項(xiàng)目結(jié)束后3年、5年或10年的長期跟蹤,對于后期評價(jià)好、社會(huì)影響大的項(xiàng)目團(tuán)隊(duì)、項(xiàng)目負(fù)責(zé)人或項(xiàng)目承擔(dān)單位在今后項(xiàng)目申請時(shí)給予優(yōu)先考慮。
(三)基于大數(shù)據(jù)背景的基礎(chǔ)研究績效評價(jià)指標(biāo)體系
與應(yīng)用類項(xiàng)目不同,基礎(chǔ)研究項(xiàng)目關(guān)注的是原始性創(chuàng)新和科研人員的創(chuàng)新潛力?;A(chǔ)研究是科研人員長期潛心鉆研的高級思維活動(dòng),科研人員經(jīng)過長期的理論或?qū)嶒?yàn)研究,有所發(fā)現(xiàn)或有所創(chuàng)新,基礎(chǔ)研究的直接學(xué)術(shù)產(chǎn)出形式主要是科學(xué)論文。在基礎(chǔ)研究績效評價(jià)中學(xué)術(shù)論文應(yīng)該是主要的產(chǎn)出指標(biāo),尤其要注重學(xué)術(shù)成果的原創(chuàng)性和國際領(lǐng)先性,同時(shí)基礎(chǔ)研究應(yīng)該與國際同行交流學(xué)習(xí),獲得國際同行的認(rèn)可,所以基礎(chǔ)研究成果績效的評價(jià)應(yīng)具有國際可比性。
1.建立基于大數(shù)據(jù)背景的基礎(chǔ)研究績效評價(jià)數(shù)據(jù)庫平臺(tái)(見圖2)。基于大數(shù)據(jù)背景的基礎(chǔ)研究績效評價(jià)數(shù)據(jù)庫平臺(tái)是一個(gè)綜合的、動(dòng)態(tài)的、實(shí)時(shí)的、全球的數(shù)據(jù)庫平臺(tái)。具體包括:(1)建立大數(shù)據(jù)背景的主管部門和項(xiàng)目專家結(jié)合的項(xiàng)目庫。各主管部門把所有立項(xiàng)的項(xiàng)目在此平臺(tái)進(jìn)行公布,所有項(xiàng)目可以按主管部門分類檢索,也可以按項(xiàng)目所屬研究范疇進(jìn)行分類,還可以按項(xiàng)目負(fù)責(zé)人或團(tuán)組成員進(jìn)行查詢檢索。項(xiàng)目庫中應(yīng)同時(shí)包含已完成項(xiàng)目的情況和目前在研項(xiàng)目的執(zhí)行情況,項(xiàng)目完成和執(zhí)行情況包含項(xiàng)目資金使用等財(cái)務(wù)信息。(2)建立可以查詢?nèi)蛘撐牡慕y(tǒng)一的數(shù)據(jù)庫??梢园凑照撐淖髡?、論文標(biāo)題、論文主題、研究內(nèi)容、發(fā)表時(shí)間等類別進(jìn)行分類檢索。(3)建立培養(yǎng)人才庫。包含團(tuán)隊(duì)人員數(shù)量和質(zhì)量狀況、培養(yǎng)研究生人員數(shù)量和質(zhì)量狀況,可以按照項(xiàng)目負(fù)責(zé)人進(jìn)行檢索,并對團(tuán)隊(duì)人員狀況和研究生人員狀況進(jìn)行跟蹤檢索,甚至能追蹤檢索到團(tuán)隊(duì)人員和研究人員現(xiàn)狀,包括職業(yè)、研究成果等。(4)建立同行評議的專家?guī)?。?yīng)建立全球范圍的專家?guī)?,可以按不同國別分類管理,也可以按照不同學(xué)科領(lǐng)域、不同研究方向進(jìn)行分類管理。
2.基于大數(shù)據(jù)背景的基礎(chǔ)研究項(xiàng)目績效評價(jià)指標(biāo)(見下頁表1)。根據(jù)基礎(chǔ)研究的特點(diǎn),基礎(chǔ)研究項(xiàng)目績效評價(jià)一級指標(biāo)可以分為產(chǎn)出指標(biāo)、效益指標(biāo)、財(cái)務(wù)指標(biāo)三個(gè)指標(biāo)。(1)產(chǎn)出指標(biāo)的二級指標(biāo)可以分為發(fā)表論文情況和培養(yǎng)人才情況。發(fā)表論文情況可以從論文發(fā)表的刊物級別、論文數(shù)量、作者排序、論文引用等四個(gè)方面進(jìn)行定量評價(jià);培養(yǎng)人才情況可以從培養(yǎng)團(tuán)隊(duì)人數(shù)和研究生人數(shù)、質(zhì)量分別進(jìn)行定量和定性評價(jià)。論文和人才產(chǎn)出指標(biāo)數(shù)可以檢索上述建立的基礎(chǔ)研究績效評價(jià)數(shù)據(jù)庫平臺(tái)中論文庫和人才庫來獲得。(2)效益指標(biāo)的二級指標(biāo)可以分為項(xiàng)目原創(chuàng)性、創(chuàng)新性、可持續(xù)影響三個(gè)方面進(jìn)行定性評價(jià)。效益指標(biāo)可以利用上述基礎(chǔ)研究績效評價(jià)數(shù)據(jù)庫平臺(tái)中的專家?guī)靵硗瓿伞#?)財(cái)務(wù)指標(biāo)可以從資金到位、資金執(zhí)行、資金使用三個(gè)方面分別進(jìn)行定量和定性評價(jià)。每個(gè)項(xiàng)目的財(cái)務(wù)指標(biāo)數(shù)可以通過檢索上述基礎(chǔ)研究績效評價(jià)數(shù)據(jù)庫平臺(tái)中的項(xiàng)目庫來獲得。
3.績效評價(jià)指標(biāo)評價(jià)方法。國內(nèi)外有關(guān)績效評價(jià)指標(biāo)的評價(jià)方法很多,主觀方法有層次分析法、功效系數(shù)法、綜合指數(shù)法等;客觀方法有因子分析法、聚類分析法等。借鑒國內(nèi)外先進(jìn)的研究方法和我國應(yīng)用成功的案例,設(shè)計(jì)績效評價(jià)模型程序如圖3所示。
(1)功效系數(shù)法。定量指標(biāo)可以采用功效系數(shù)法確定其標(biāo)準(zhǔn)值。對每一項(xiàng)指標(biāo)確定一個(gè)滿意值和不允許值,以滿意值為上限,以不允許值為下限。計(jì)算各指標(biāo)實(shí)現(xiàn)滿意值的程度,并以此確定各指標(biāo)的分?jǐn)?shù),再經(jīng)過加權(quán)平均進(jìn)行綜合,從而評價(jià)研究對象的綜合狀況。功效系數(shù)法的計(jì)分公式為:
指標(biāo)得分=基礎(chǔ)分+[(實(shí)際值-本檔標(biāo)準(zhǔn)值)×(上檔基礎(chǔ)分-本檔基礎(chǔ)分)]/(上檔標(biāo)準(zhǔn)值-本檔標(biāo)準(zhǔn)值)
功效系數(shù)=[(指標(biāo)實(shí)際值-本檔標(biāo)準(zhǔn)值)×I]/(上檔標(biāo)準(zhǔn)值-本檔標(biāo)準(zhǔn)值)+(100-I)
定性指標(biāo)可以通過德爾菲法進(jìn)行打分,如表2所示。
如果是多位專家打分,采用加權(quán)平均法,加總每位專家打分,除以專家總?cè)藬?shù),得到單項(xiàng)指標(biāo)的最終分?jǐn)?shù),其計(jì)算公式為:
單項(xiàng)指標(biāo)得分=∑每位專家打分/參加打分專家總?cè)藬?shù)
(2)綜合評價(jià)。評價(jià)指標(biāo)的權(quán)重設(shè)置可以通過德爾菲法和層次分析法結(jié)合來進(jìn)行打分,在指標(biāo)體系確定的情況下,權(quán)重的變化直接影響到評價(jià)結(jié)果的正確性。為表示各指標(biāo)重要程度不同,要將所有指標(biāo)再進(jìn)行權(quán)重賦值處理,權(quán)數(shù)越大表示該指標(biāo)的影響力或作用越大,反之則越小。綜合評價(jià)計(jì)算公式為:
其中:公式中Pj、Pij表示各層次相應(yīng)的指標(biāo)權(quán)重分值;Aij為各層次的指標(biāo),S為綜合指標(biāo)得分。
四、結(jié)論和期望
本文針對基礎(chǔ)研究項(xiàng)目的特點(diǎn),提出了要建立基于大數(shù)據(jù)背景的績效評價(jià)數(shù)據(jù)庫平臺(tái),同時(shí),對基礎(chǔ)研究項(xiàng)目績效評價(jià)指標(biāo)進(jìn)行了科學(xué)設(shè)計(jì)。目前我國科研項(xiàng)目績效評價(jià)信息庫的建設(shè)幾乎是空白,只有一些各主管部門自己建立的不全面的項(xiàng)目庫,對基礎(chǔ)研究項(xiàng)目的績效評價(jià)目前也在起步和摸索階段,因此最為迫切的是利用互聯(lián)網(wǎng)、云計(jì)算、信息化技術(shù)建立績效評價(jià)信息數(shù)據(jù)庫平臺(tái)。只有建立在科學(xué)合理的評價(jià)指標(biāo)、全面統(tǒng)一的評價(jià)標(biāo)準(zhǔn)之上的績效評價(jià)才是客觀公正的,其績效評價(jià)結(jié)果的反饋才能起到真正導(dǎo)向和激勵(lì)作用,從而使評價(jià)工作更趨公正與合理,才能真正促進(jìn)我國基礎(chǔ)研究的發(fā)展。今后人們對基礎(chǔ)研究及其績效評價(jià)的理解與認(rèn)識(shí)也將隨著實(shí)踐的不斷深入而逐漸加深。
【主要參考文獻(xiàn)】
[1] 文新三.財(cái)政專項(xiàng)資金績效評價(jià)研究[M].北京:經(jīng)濟(jì)科學(xué)出版社,2014.
[2] 田時(shí)中,田淑英,錢海燕.財(cái)政科技支出項(xiàng)目績效評價(jià)指標(biāo)體系及方法[J].科研管理,2015,(1).
[3] 劉華海.科研項(xiàng)目績效評價(jià)模型和指標(biāo)體系的構(gòu)建[J].科研管理,2016,(4).
[4] 李保嬋.財(cái)政資金績效評估中的效果性評估研究[J].商業(yè)會(huì)計(jì),2012,(6).