国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

英國科研質(zhì)量評估體系及其對中國科技評價的借鑒*

2021-04-18 05:58:43王鑫哲王應寬肖振紅
中國農(nóng)機化學報 2021年1期
關鍵詞:評估體系評價

王鑫哲,王應寬,肖振紅

(1. 哈爾濱工程大學經(jīng)濟管理學院,哈爾濱市,150001; 2. 農(nóng)業(yè)農(nóng)村部規(guī)劃設計研究院,北京市,100125; 3. 中國農(nóng)業(yè)工程學會,北京市,100125)

0 引言

2018年7月,中共中央辦公廳、國務院辦公廳印發(fā)《關于深化項目評審、人才評價、機構評估改革的意見》(以下簡稱《意見》)[1],要求各地區(qū)各部門結合實際認真貫徹落實。《意見》提出:要深入推進“三評”改革,進一步優(yōu)化科研項目評審管理機制、改進科技人才評價方式、完善科研機構評估制度、加強監(jiān)督評估和科研誠信體系建設?!兑庖姟分赋觯喝瞬旁u價指標要突出品德、能力、業(yè)績導向,克服唯論文、唯職稱、唯學歷、唯獎項的“四唯”傾向。要求推行代表作評價制度,注重標志性成果的質(zhì)量、貢獻與影響?!兑庖姟芬螅诳萍荚u價中應把學科領域活躍度和影響力、在重要學術組織或期刊任職、所研發(fā)成果的原創(chuàng)性、科研成果轉(zhuǎn)化的效益、科技服務的滿意度等作為重要評價指標[1-2]。為更好地推進中國科技評價制度改革,有必要學習借鑒國際上在科研評價方面的方法成果。研究借鑒國外科學合理的科研評價體系,為我國正在推進的“三評價”改革提供參考依據(jù),對推動中國的科技創(chuàng)新、提升科研質(zhì)量和國際影響力等具有重要的理論意義和應用價值。

中國科研評價長期以來存在不少的弊病,如重數(shù)量輕質(zhì)量,評價指標單一,評價簡單化,人情因素影響大,主觀性強,注重個人業(yè)績等。如何全面深化科技體制改革,特別是做好科研的評價和評估,以及科研經(jīng)費分配和監(jiān)管方面的工作,迫在眉睫。因此,如何借鑒國際經(jīng)驗,通過深化科研評估改革來加強科技創(chuàng)新,提升科研的質(zhì)量、影響和國際競爭力,成為當前科研領域的重要問題[3-5]。經(jīng)過多次調(diào)整、改進與優(yōu)化后的英國科研卓越框架(Research Excellence Framework,REF)已經(jīng)投入應用,已經(jīng)并正在對英國高等院校的科研事業(yè)產(chǎn)生重大影響。但由于科研評估是一項涉及面很廣的較為復雜體系,是一項系統(tǒng)工程。并且,REF在目前以及將來的實際評估實踐中還可能會出現(xiàn)一些問題或不足,因此,我們在學習借鑒英國科研評估改革經(jīng)驗的時候,需要根據(jù)實際情況去粗取精,去偽存真,洋為中用,批判性的借鑒其科學合理的內(nèi)容,來探索推動我國高校與科研機構科研評估工作的完善和發(fā)展,以此完善我國高??蒲性u價與管理,激勵科技創(chuàng)新,增強科研質(zhì)量、實力與競爭力,以及提升將科研成果轉(zhuǎn)化為現(xiàn)實生產(chǎn)力的能力,進而促進我國科技、經(jīng)濟與社會又好又快的發(fā)展[3-7]。

由于英國在科技評價領域的探索和領先,給世界各國提供了參考,對其他國家的科技評價指標體系建立影響巨大,可借鑒性多。因此,本研究選取科研評估考核(RAE評估)、科研卓越評估框架(REF評估)以及REF評估對RAE評估的繼承與發(fā)展作為研究對象,重點研究英國高??蒲性u估的新進展,即REF科研卓越評估框架的指標體系與評估實施情況[3]。以往研究較多的仍是聚焦2008年之前(包括2008年)實行的RAE評估(科研評估檢查),而對REF系統(tǒng)深入的研究較少,特別是對REF評估和RAE評估的比較研究較少,以及結合中國當前科技評價實際提出針對性的政策建議的報道也不多。本文通過對英國高校科研評估REF評估的特點、具體實施和對英國高等教育產(chǎn)生的影響,期望為我國當前項目評審、人才評價和機構評估,以及科研項目經(jīng)費的分配等提供參考借鑒。

1 英國科研質(zhì)量評估體系的演變

國外在學術評價方面起步較早,成果豐富,相繼提出了很多評價指標,建立了很多評價模型。目前常用的評價方法,包括同行評審法,文獻計量法,科學計量學方法,經(jīng)濟分析法,引用法,效益分析法,案例分析法等,均出自國外科學家[8-10]。在此不去梳理這些評價方法的淵源,重點綜述近幾年國外在科技評價方面的新進展。近幾十年,世界各國都非常重視科技發(fā)展,也都探索出了很多有關科技評價的方法。而大多數(shù)的評價方法均是基于科技文獻信息計量學的,相關的方法主要有[8, 11-12]:(1)科研成果計量;(2)科研發(fā)現(xiàn)計量;(3)信息計量學;(4)網(wǎng)絡計量學;(5)科學計量學2.0;(6)單篇論文計量評價;(7)替代計量學:其興起是單篇論文計量評價、科研成果計量、科研發(fā)現(xiàn)計量、科學計量學2.0等眾多研究的綜合,與科學交流的網(wǎng)絡化密切相關;(8)期刊影響因子法;(9)總被引頻次法;(10)H指數(shù)法(ET指數(shù)法);(11)綜合評價法;(12)其他評價法。

以上方法各有優(yōu)缺點,在實際的科研評價與考核中均有不同程度的采納。但本文要研究的是目前在國際上頗具影響力和廣為采納的評價方法——英國科研評估考核(Research Assessment Exercise,簡稱RAE)與科研卓越評估框架(Research Excellence Framework,簡稱REF)。

第二次世界大戰(zhàn)之后,英國政府充分認識到科學技術的重要性,開始改革英國高等教育。英國政府加強了對高等教育的管理,加強大學與工商業(yè)界的合作,以更好地適應社會需求。英國政府一直都很重視對高校的科研撥款,使得英國高校的科研水平一直處于世界前列,極大地促進了英國科技、經(jīng)濟和社會的發(fā)展。英國經(jīng)濟的快速發(fā)展和科技的進步,引起對高??蒲械膹V泛關注,特別關注高??蒲谐晒a(chǎn)出的數(shù)量和質(zhì)量,同時也在探索如何更好地評判高校產(chǎn)出的科研成果。高等院校、政府機構與市場主體三者的利益博弈及三者之間相互影響的新型關系,促使政府機構改變了對高??蒲性u估的撥款方式,逐步建立和完善了英國高??蒲性u估制度體系。為了提高政府科研撥款的透明度和科研資金的使用效率,英國高校科研評估體系應運而生[3, 7, 13]。英國高??蒲性u估工作在2008年之前統(tǒng)稱為科研評估考核[10, 14]。自2008年開始實施之后的十多年來取得了顯著成效,客觀上有力地推動了英國高??蒲兴降奶岣?,高校之間的學術競爭加劇,但也暴露了評價方法存在的一些問題,例如評估機構臃腫、評估成本過高等。英國政府不斷地改進科研評估模式,并決定自2014年之后采用一套成本較低、程序精簡、高效易行的基于量化指標的評估框架——科研卓越框架REF來取代RAE[15-16]。專家大都認為,啟用改進后的科研卓越框架法是英國政府對高等教育宏觀調(diào)控的重要舉措,也體現(xiàn)了英國科研評估的革新思想。REF現(xiàn)已成為評價英國高校科研質(zhì)量及高校獲取科研經(jīng)費的主要方法,同時也是英國高校獲取科研經(jīng)費的重要參考指標[3-6, 17]。

1.1 英國高校科研評估考核(RAE)

為了保證高??蒲谢顒雍统晒|(zhì)量以及科研經(jīng)費的有效使用,英國1986年開始面向大學實施科研評估考核制度,在這個制度下,英國高等教育撥款委員會對英國高校科研活動的質(zhì)量進行綜合評估和評價,每3~5年評估一次,評估的結果直接決定高??蒲锌冃Э己撕驼畬Ω咝?蒲谢顒拥膿芸顢?shù)額[18-19]。這個制度是由英格蘭高等教育撥款委員會(Higher Education Funding Council for England, HEFCE)、蘇格蘭撥款委員會 (Scottish Funding Council, SFC)、威爾士高等教育撥款委員會 (Higher Ed (Higher Education Funding Council for Wales,HEFCW)和北愛爾蘭學習就業(yè)部 (Department of Employment and Learning,Northern Ireland,DEL)聯(lián)合組織實施的[20]。

每個學科領域提交給RAE的材料由其所在領域的專家同行評審小組給出等級,等級排名用于為每個高等教育機構從其國家撥款委員會收到的質(zhì)量加權研究經(jīng)費(QR)的分配提供信息。2008年RAE評估采用4分法評價研究質(zhì)量,主要從研究產(chǎn)出(主要是期刊論文和會議論文)、科研環(huán)境與聲望指數(shù)三個方面進行評價。研究質(zhì)量分為五個等級,分別為:世界領先(4);國際優(yōu)秀(3);國際認可(2);國內(nèi)認可(1);低于國內(nèi)認可的質(zhì)量水平則不予評級或不合格[3, 7, 10]。

評估分別于1986年、1989年、1992年、1996年、2001年、2008年進行并公布結果。評估結果如下(共分5個等級):低于國內(nèi)認可的質(zhì)量(等級1)、將近一半科研成果達到國內(nèi)認可的質(zhì)量(等級2)、超過一半或者三分之二的成果達到國內(nèi)認可的質(zhì)量甚至可能達到國際水平(等級3)、全部成果達到國內(nèi)認可的質(zhì)量而且有一些達到國際水平(等級4)、一半或一半以上成果達到國際水平且其余內(nèi)容達到國內(nèi)認可的水平(等級5),即級別越高說明科研活動的質(zhì)量越高,相應獲得的科研經(jīng)費額度也就越高[7,10]。

RAE制度的評估注重科研成果(主要是在學術期刊發(fā)表的論文和會議成果)的質(zhì)量、科研環(huán)境和認可度(或聲譽)[10, 21]。每個領域的專家評審小組在一個通用指南的指導下制定出確切的評審規(guī)則。

RAE制度也存在一些問題,例如該制度明顯忽視了許多兼職研究者的出版成果,這些兼職研究者基于固定期限合同而工作的;根據(jù)RAE 2008指南,大多數(shù)研究助理“沒有資格被列為研究活躍型人員”[10];專家小組是否具備評估研究成果質(zhì)量的必要專業(yè)知識是值得懷疑的,因為專家們在其專業(yè)領域之外表現(xiàn)得不那么好[10]等。

鑒于之前RAE評估體系受到的批評以及就業(yè)法的發(fā)展,2008年RAE更多地考慮到兼職人員或那些剛剛獲得足夠資歷的人員參與這項評估[18, 22]。

1.2 英國科研卓越框架法(REF)

RAE評估體系對推動英國高校科研水平起到了重要的作用,但是其存在的一些問題推動英國政府對科研評估體系先后進行了六次改革,2009年建立了“科研卓越框架”,一個評估英國高等教育機構研究質(zhì)量的新系統(tǒng)[15, 23]。REF由位于HEFCE的REF團隊代表四個英國高等教育資助機構管理,并由REF指導小組監(jiān)督,該小組由四個資助機構的代表組成[24-25]。2014年REF的實施標志著REF體系正式取代了RAE體系。

2014年REF評價2008—2013年期間執(zhí)行的科研項目成果,主要目的是評估各機構提交材料的研究質(zhì)量,并為各機構提交的每份材料產(chǎn)生評估結果[15]:(1)四個高等教育資助機構將利用評估結果,為其資助的機構選擇性地分配研究經(jīng)費提供信息,從2015—2016年生效。(2)該評估為公共研究投資提供了問責制,并提供了這項投資所產(chǎn)生益處的證據(jù)。(3)評估結果提供基準信息并建立聲譽標準,供高等教育部門和公共信息使用。

REF評價體系主要特點包括以下方面[15, 26-30]:(1)1個前提:成果數(shù)據(jù)充足。專家同行評審必須在這個前提下進行。(2)2類評價方法:定性評價和定量評價相結合[29]。(3)3個原則:原創(chuàng)性、重要性和精確性。(4)3個質(zhì)量評價指標:科研產(chǎn)出、科研影響和科研環(huán)境,三者的權重分別為65%、20%和15%??蒲挟a(chǎn)出按照創(chuàng)新性、重要性和精確性評價(4星級和不合格不予評級);科研影響,按照提交案例分析報告的普遍性和重要性進行評分(顯著影響、非??捎^的影響、相當大的影響、認可但適度的影響,對于影響小與沒有重要性和普遍性的研究不予評級或不合格)??蒲协h(huán)境,主要評價科研機構的生命力和可持續(xù)性(能提供有利于產(chǎn)出“世界領先”研究成果的環(huán)境、能提供有利于產(chǎn)出國際優(yōu)秀科研成果的環(huán)境、有利于產(chǎn)出國際認可科研成果的環(huán)境、有利于產(chǎn)出國內(nèi)認可科研成果的環(huán)境、不能提供產(chǎn)出國內(nèi)認可質(zhì)量科研成果環(huán)境的機構則不予評級或不合格)。(5)5級評價層次:從1級到5級的層次分別為不合格不予評價、國內(nèi)認可、國際認可、科研水平國際優(yōu)秀、世界領先。

根據(jù)上述原則、指標和權重,加權計算總分,再提交專家委員會進行同行評審,根據(jù)結果對申請科研經(jīng)費的機構和個人進行排序。這種評價方法把定性與定量評價有機結合起來,兼顧主客觀因素,結果相對科學合理,值得學習借鑒。

英國現(xiàn)行高校科研評估體系具有凸顯高??蒲凶吭叫院蜕鐣绊懥Α⒐膭顖F隊合作研究、強化評估結果可信度和注重成果質(zhì)量評價等特點[20, 31-32]。

REF延續(xù)了RAE的可取之處,但是在形式上更簡化、效率更高[3, 7, 10, 15, 29]。

1) REF是基于指標的系統(tǒng)評估。RAE的三項基本指標分別是:科研成果、科研環(huán)境、科研聲譽。REF2014科研評估將基本指標調(diào)整為“科研成果、科研影響、科研環(huán)境”,更強調(diào)科研的影響力。

2) 精簡評估單元。REF2014基于學科設置評估單元與專家小組,將RAE2008中67個次評估小組(sub-panel)和評估單元(Units of Assessment)整合為36個次評估小組及評估單元。將原來的15個主評估小組(main panel)調(diào)整為A、B、C、D四個主評估小組。主評估小組指導次評估小組開展工作。評估小組的專家經(jīng)過嚴格的程序公開評選確定,具有控制、管理、評估高質(zhì)量研究方面的經(jīng)驗,能夠從個人、公共部門和第三部門進行研究影響力方面的評估。評估單元的精簡降低了科研的評估成本,簡化了科研評估的行政管理手續(xù)。

3) 評估方式的調(diào)整。REF評估采用同行專家評估為主、定量評估為輔的評估方式,比RAE更強調(diào)科研卓越性與創(chuàng)新性的評估標準。

4) 簡化參評人員類型。RAE2008將參評人員分為A、B、C、D四類,四類參評人員全部可以向科研評估機構提交相關材料,但一些參評人員是否真正進行了科研活動受到了質(zhì)疑,因而科研質(zhì)量的評價也受到了質(zhì)疑。REF2014將RAE中的四類參評人員簡化為兩類:一類是相關機構的專職人員,他們與所在機構簽署了正式聘用合同并在該機構擁有人事檔案;一類是相關機構的兼職人員,他們被受評機構聘用從事研究活動,但是他們的人事資料不在受評機構[4, 15]。

1.3 英國科研影響評分系統(tǒng)(RAISS)

英國的蘭德/關節(jié)炎研究運動科研影響評分系統(tǒng)(RAND/ARC Impact Scoring System,RAISS)是世界上首個嘗試基于指標評價的方法,采用問卷形式,由研究者回答150個潛在的研究影響。該方法屬于行業(yè)科研評價系統(tǒng),用于關節(jié)炎研究基金項目的評審[17]。RAISS是基于誠信的自評價系統(tǒng),在科研項目績效評價中被廣泛采用,由非盈利的研究機構蘭德歐洲公司(RAND Europe)和英國的一個醫(yī)學研究慈善機構——關節(jié)炎運動組織(Arthritis Research Campaign,ARC)于2006年開始開發(fā),于2008年使用以取代ARC的基金項目結題報告系統(tǒng)(ARC’s end-of-grant reporting system)。該方法特別強調(diào)更廣泛的影響,如提高研究能力、政策和衛(wèi)生干預的效果[33]。

1.3.1 RAISS的背景

RAISS產(chǎn)生的背景有以下幾個方面[17, 34]。

1) ARC的基金項目結題報告系統(tǒng)需要收集大量信息,而且信息收集是以一種相對非結構化的方式進行,因此很難進行分析。ARC決定采用新的評價體系,新系統(tǒng)不比結題報告系統(tǒng)繁瑣且易于分析信息,只收集可分析的信息,并盡量減少收集和分析這些數(shù)據(jù)的負擔。

2) ARC希望建立一種適用于所有領域的科研評估方法。ARC的研究雖然僅限于醫(yī)學領域,但ARC的研究范圍非常廣泛,包括基礎實驗室研究、臨床研究、由物理治療師等相關健康專業(yè)人員進行的研究等。

3) ARC希望改進基金項目報告的結果和隨時跟蹤研究影響。

4) ARC希望新的系統(tǒng)可提供一個概況,有助于投資組合戰(zhàn)略和影響未來資助決策,并形成更詳細評價的基礎。

1.3.2 建立RAISS考慮的因素

過去很多科研評估工作強調(diào)了進行研究評估時和在新的研究中考慮采用最佳方法時必須強調(diào)一系列問題[35],但是,研究人員、醫(yī)生和患者對不同分支的研究價值和影響有其自己的看法和判斷。這就需要建立一個有彈性的評價系統(tǒng),綜合考慮一些重要因素,以便獲得可聚合的響應,為資助者提供信息反饋??蒲性u價需要考慮的因素[35]如下。

1)盡可能地減小科研人員的負擔??蒲性u價系統(tǒng)對于科研人員來說應該簡單便捷,避免使科研人員需要收集一些無法分析或者沒有特定需要的信息。

2) 時效性??蒲性u估是一個很復雜的事情,有的科研項目的影響是在科研工作完成之后很長時間才發(fā)生的,這就需要評價體系能夠長時間的追蹤科研項目以對科研影響形成完整地評估。如果評估時間太短,許多影響還沒有顯現(xiàn);如果評估時間太長,對研究項目影響的準確性難以把握。ARC建立的新評估系統(tǒng)將評估時間確定為已完成的項目最終審核日期前的2~6年。

3) 準確性和完整性。所有的評價系統(tǒng)不可能做到完全準確和完整,科研評價系統(tǒng)允許存在略微的不準確或者疏漏。整個評價系統(tǒng)依賴于研究人員的知識、準確完整的回憶、誠實以及研究人員與評估系統(tǒng)設計者對問卷問題理解的一致性。

4) 量化因素。每項科研工作的每項成果或者不同形式的成果都有一系列的影響,將這些影響完全量化將是極具挑戰(zhàn)性的。例如,一種新的治療方法,將對改善健康和生活質(zhì)量產(chǎn)生影響,但也可能產(chǎn)生經(jīng)濟影響如一些失業(yè)人員重返工作崗位,也可能產(chǎn)生不太明顯的影響如改善親戚和護理者的生活質(zhì)量以及增加家屬和朋友的幸福感。因此,RAISS開發(fā)了不同層次的影響。

5) 成果歸因。由于科學的漸進性和科研存在時間跨度,所以一項特定的科研成果是否歸功于某項特定的項目資助是科研評估中面臨的一項挑戰(zhàn)。有兩個方法來考慮這個問題(二者不是相互排斥的):一項研究與一個特定影響之間的聯(lián)系強度;影響研究人員進行的一系列研究的相關程度。為了簡單起見,RAISS略去了一些細節(jié)(一種精細的屬性方法),使用了一個閾值貢獻水平——要求研究人員只指出科研成果的影響“實質(zhì)上”歸因于哪項資助。

根據(jù)上述因素,ARC設計、開發(fā)和測試了一些科研評價工具:首先調(diào)查是否已經(jīng)有合適的工具可用,然后開發(fā)出一些潛在的工具,并在進一步開發(fā)性能最佳的工具之前與研究人員一起測試它們。2007年,一個全面的電子試點項目完成了最初的試點工作,該項目涵蓋了兩年的項目資助。最終,2008年實施了RAISS[35]。

1.3.3 RAISS的內(nèi)容

RAISS的問卷內(nèi)容有兩部分導言,明確地說明了該系統(tǒng)的目的并提供使用指南,研究人員不必回答每個問題,他們按照指引回答問題,完成問卷大約需要1 h而且可以分階段完成,提交問卷之前可以檢查所填問卷。RAISS問卷內(nèi)容包括:研究類型和研究途徑、與研究相關的其他步驟、未來的研究、研究成果的傳播、健康政策、培訓、健康干預/產(chǎn)品以及對成果的評價。

1.3.4 RAISS的實施

最初的RAISS是紙質(zhì)版的,但是只有很少量的問卷發(fā)放出去,后來都發(fā)展為電子版的。RAISS的實施取決于找到一種既能讓ARC和RAND滿意又能盡可能滿足以下要求的媒介[35]:(1)數(shù)據(jù)預加載。為了幫助研究人員回憶他們項目資助的具體方面,問卷調(diào)查必須針對ARC項目組中的每一筆資助進行個性化設置。(2)回答問卷次數(shù)的控制。個人項目主持人應只對問卷做出一次回答。需要一個跟蹤系統(tǒng)來監(jiān)控誰在完成問卷。(3)低負擔。問卷必須盡量減少對項目主持人的時間和成本等方面的負擔,不適用的問題就跳過。(4)便于互動。對于需要插入圖片和視頻的問題,要設置便捷的插入鏈接。(5)易于提取數(shù)據(jù)。問卷數(shù)據(jù)的提取應該快捷簡單,應該做到數(shù)據(jù)一經(jīng)收集就能夠開始分析。

ARC于2008年實施RAISS,取代此前的基金項目結題報告。由于其具有便捷、低負擔、靈活、準確、完整等優(yōu)勢,英國醫(yī)學研究理事會MRC,美國衛(wèi)生研究院NIH先后采用了此方法,加拿大骨骼健康與關節(jié)炎研究所等其他機構也希望嘗試。然而,由于該評價體系專門為生物醫(yī)學研究領域開發(fā),其他領域機構采用還需要作相應的調(diào)整以適應學科特點。

2 REF和RAISS的啟示與借鑒及科研評估的發(fā)展趨勢

2.1 對中國科研評估啟示

從英國的RAE體系到REF體系以及從ARC的基金結題報告到RAISS的建立、實施、反饋和改革,在確定評估價值理念、建立評估指標、實施評估過程、對評估體系的評價以及評估體系改革方面,都有可供中國科研評估借鑒的方面。

1) 正確的價值理念有助于科研活動質(zhì)量的提高。RAE體系和REF體系都堅持公正評估、按照學科體系組織評估專家和評估指標、強調(diào)科研的質(zhì)量和影響力以及高校之間學科之間協(xié)同創(chuàng)新的理念[36]?;谛袠I(yè)特點,RAISS注重行業(yè)科研項目影響的真實性、廣泛性和持續(xù)性。

這些理念納入科研評估中有利于推動我國科研院所科研從量的擴大轉(zhuǎn)向質(zhì)的提高,增強我國科研的國際競爭力以及科研成果的轉(zhuǎn)化力。

2) 合理的評估指標體系能夠促進科研人員注重科研質(zhì)量。評估內(nèi)容盡量覆蓋相關的知識鏈[37],REF對科研活動評估的3個基本原則——原創(chuàng)性、重要性和精確性能夠促進科研成果的創(chuàng)新性、科研的影響力和嚴謹性,要求科研人員不僅只是要完成科研活動,而且要力求科研成果的質(zhì)量和影響[38]。

REF和RAISS評估體系中的指標體現(xiàn)了定量評價和定性評價的結合,這是對科研中無法定量衡量的成果和貢獻給予肯定,能夠有效地推動科研人員的積極性和創(chuàng)造性。

不同指標賦予的權重不同,科研產(chǎn)出是科研活動的直接成果,因此REF體系賦予科研產(chǎn)出的權重較多一些,占65%;成果影響是衡量成果有用性的重要指標,權重占20%;科研環(huán)境能夠衡量成果和科研機構的生命力和可持續(xù)性,但不是科研活動直接的和顯性的成果,權重最小,占15%[15]。這樣的權重配置科學合理而且有利于科研的可持續(xù)發(fā)展,為中國科研評估指標體系的建立提供參考借鑒,為中國科技創(chuàng)新和可持續(xù)發(fā)展提供良好的軟環(huán)境。

RAISS評估內(nèi)容比較廣泛,充分考慮了行業(yè)特點以及行業(yè)影響,因而評估體系所涉及的要素比較全面。這對很多類似行業(yè)科研的評估指標體系的設置有借鑒作用。

3) 對評估過程和評估體系等做出客觀公正的評價、充分考慮了對科研人員的負擔等優(yōu)勢有利于對評估體系進行正確的改革[39]。REA體系在實施的過程中逐漸顯現(xiàn)出的一些問題和弊端被充分的考慮,最終建立了REF體系取代REA體系,克服了REA體系的缺點。

借鑒英國REF和RAISS發(fā)展過程中的經(jīng)驗,對中國評價科技成果方面的建議主要有以下6方面[3, 15, 40]:(1)明確科學的學術評價功能定位和原則。(2)建立中國的評價指標體系和優(yōu)化評價模型。(3)優(yōu)化評價程序和方法,建立良好評估操作規(guī)范(Good Assessment Practice)。(4)建立中國學術評價科技期刊庫和獎勵目錄。(5)改進學術評價量化方法和改善同行評審質(zhì)量。(6)推動完善網(wǎng)絡評價模式,以節(jié)省科研人員和評估機構的時間成本和資金成本。

2.2 對農(nóng)業(yè)科研機構科研評估啟示

當前,全國大部分農(nóng)業(yè)科研機構采用的是以科研業(yè)績和科研工作量為核心的科技評價體系。評價指標主要包括獲獎情況、項目數(shù)量、經(jīng)費體量、專利授權及申報數(shù)量和論文發(fā)表數(shù)量等。評價主體為各級行政管理部門,考核的具體工作一般由科研單位的科研管理部門、人事管理部門負責。主要評價方法有定量評價和定性評價。在定量評價中,科研機構按照對評價指標的重視程度量化規(guī)定研究成果的權重分值;在定性評價中,科研機構多采用同行專家評議法。但當前的農(nóng)業(yè)科研機構科技評價體系中還存在一些問題,評價主體不夠規(guī)范;評價體系標準單一;評價體系重結果、輕過程,重數(shù)量、輕質(zhì)量;農(nóng)業(yè)科技成果轉(zhuǎn)化率低;考核周期短;科研立項評審程序不夠科學等問題[41]。

英國高校科研評估體系的經(jīng)驗和創(chuàng)新措施及其對中國農(nóng)業(yè)科研機構科技評價的啟示主要包括:(1)官方的中介評估機構作為評估主體,非官方的中介評估機構的參與,能最大程度確保評估活動、經(jīng)費撥款等環(huán)節(jié)的公正、公平和透明;(2)建立基于學科單元的學科特色評估體系。針對項目類型、學科特點的不同,制定不同的評價指標與方案。由于農(nóng)業(yè)涉及領域很廣,所以在自然科學和社會科學項目,基礎研究、基礎應用研究和應用研究項目等都需要區(qū)別對待;(3)堅持以成果質(zhì)量為導向的評估準則。不單純的看待論文數(shù)量,而要提升發(fā)表論文的質(zhì)量與價值性。把社會效益、經(jīng)濟效益列為農(nóng)業(yè)科研重要的評價指標,并重視對社會經(jīng)濟效益的后期評價,引導農(nóng)業(yè)科研與產(chǎn)業(yè)發(fā)展相結合。確立正確的價值導向,營造良好的學術氛圍,鼓勵科研人員投身具有較高社會、經(jīng)濟效益的科學研究,使科技創(chuàng)新能夠有效促進農(nóng)業(yè)發(fā)展,促進農(nóng)民增收;(4)確定合適的評價周期?,F(xiàn)有的農(nóng)業(yè)研究可能短期內(nèi)并不能立馬收效。所以適當?shù)膶δ承┛茖W研究,基礎研究項目進行跟蹤管理或者延長評價周期很有必要。(5)遵循跨學科合作與協(xié)同創(chuàng)新的研究導向。對于跨學科的項目立項與專家評估等需再合理優(yōu)化,互相融合,確保公正合理。

2.3 科研評估發(fā)展趨勢

基于同行評審、科學計量學與網(wǎng)絡計量學的“單篇論文的創(chuàng)新價值評價”是一種可行的方法。總體來看,定性與定量評價相結合的大趨勢:對于顯性的可計量成果采用定量分析,對于隱性的、不可計量的成果做出定性分析,定性分析可以根據(jù)程度排列秩序或者等級轉(zhuǎn)化為可比較指數(shù),然后再做出更科學合理的評價。在評價指標、評估專家的選擇、評價方法、評價模型等方面將會變得更科學、合理、精簡以及透明。

隨著人工智能、大數(shù)據(jù)和云計算等技術的發(fā)展和應用,引入人工智能、大數(shù)據(jù)和云計算技術進行科技評價,則將會大大提高科技成果評價的科學性、權威性、公正性。因此,構建基于大數(shù)據(jù)定性與定量結合多維度多元化學術評價體系是未來科技成果評價的發(fā)展趨勢。

3 結論

1) 對英國科研質(zhì)量評估體系的發(fā)展過程進行了梳理,著重介紹了英國高??蒲性u估考核(RAE)與英國科研卓越框架法(REF)的具體評估內(nèi)容,標準與不同等。RAE的三項基本指標分別是“科研成果、科研環(huán)境、科研聲譽”。REF2014科研評估將基本指標調(diào)整為“科研成果、科研影響、科研環(huán)境”,更強調(diào)科研的影響力。繼而對英國科研影響評分系統(tǒng)的產(chǎn)生背景,內(nèi)容與具體實施進行了梳理,由于該方法便捷,低負擔及便于提取數(shù)據(jù)進行分析,具有很好的借鑒意義。

2) 通過對英國科研評估體系的研究,得到了對中國科技評價的啟示:明確科學的學術評價功能定位和原則;建立中國的評價指標體系和優(yōu)化評價模型;優(yōu)化評價程序和方法,建立良好評估操作規(guī)范;建立中國學術評價科技期刊庫和獎勵目錄;改進學術評價量化方法和改善同行評審質(zhì)量;推動完善網(wǎng)絡評價模式,以節(jié)省科研人員和評估機構的時間成本和資金成本。進而具體指出對對農(nóng)業(yè)科研機構科研評估啟示:官方的中介評估機構作為評估主體,非官方的中介評估機構的參與;建立基于學科單元的學科特色評估體系;堅持以成果質(zhì)量為導向的評估準則;確定合適的評價周期;遵循跨學科合作與協(xié)同創(chuàng)新的研究導向。

3) 本文提出了未來科技評價的發(fā)展趨勢?!皢纹撐牡膭?chuàng)新價值評價”是一種可行的方法;構建基于大數(shù)據(jù)定性與定量結合多維度多元化學術評價體系是未來科技成果評價的發(fā)展趨勢。

猜你喜歡
評估體系評價
SBR改性瀝青的穩(wěn)定性評價
石油瀝青(2021年4期)2021-10-14 08:50:44
構建體系,舉一反三
評估依據(jù)
基于Moodle的學習評價
“曲線運動”知識體系和方法指導
立法后評估:且行且盡善
浙江人大(2014年5期)2014-03-20 16:20:25
最終評估
世界科學(2013年11期)2013-03-11 18:09:46
保加利亞轉(zhuǎn)軌20年評價
多維度巧設聽課評價表 促進聽評課的務實有效
體育師友(2012年4期)2012-03-20 15:30:10
EMA完成對尼美舒利的評估
莱阳市| 成武县| 开封市| 大埔县| 淮南市| 奉化市| 历史| 五大连池市| 永昌县| 仙游县| 广元市| 三都| 鄢陵县| 长葛市| 乐陵市| 松潘县| 洛扎县| 通渭县| 巩留县| 台中县| 石嘴山市| 铁力市| 乌拉特前旗| 离岛区| 永顺县| 武邑县| 宁明县| 东乌珠穆沁旗| 平邑县| 山丹县| 弋阳县| 翁源县| 和林格尔县| 财经| 新和县| 方山县| 永善县| 若羌县| 自贡市| 喀什市| 马山县|