陳 琨，李曉軒，楊國梁

(1. 中國科學(xué)院科技政策與管理科學(xué)研究所，北京 100190;2. 中國科學(xué)院大學(xué)，北京 100049)

近年來，對于歐洲而言，國家科研評價(jià)制度正處于劇烈變革之中:意大利剛完成 VQR(Valutazione della Qualità della Ricerca)制度的首次評價(jià)工作，英國取代RAE (Research Assessment Exercise)的REF (Research Excellence Framework)制度正準(zhǔn)備實(shí)施，法國撤銷AERES (Agence d'évaluation de la recherche et de l'enseignement supérieur)成立了新的科研評價(jià)負(fù)責(zé)機(jī)構(gòu)HCERES(Haut Conseil de l'Evaluation de la Recherche et de le l'Enseignement Supérieur)，德國科學(xué)委員會(huì)科研評價(jià)體系正由原來四個(gè)學(xué)科的試點(diǎn)向多個(gè)學(xué)科擴(kuò)張。這些變化旨在回應(yīng)公眾對大學(xué)與科研機(jī)構(gòu)越來越強(qiáng)的關(guān)注，不僅為減少知識(shí)生產(chǎn)者與消費(fèi)者之間的信息不對稱，促進(jìn)更好的研究質(zhì)量，同時(shí)也是展示科研為經(jīng)濟(jì)社會(huì)做出的貢獻(xiàn)［1］。

然而科研評價(jià)制度的常態(tài)化以及注重科研對經(jīng)濟(jì)貢獻(xiàn)的展示帶來了普遍的難題:一方面?zhèn)鹘y(tǒng)同行評議方法耗資耗時(shí)，不適應(yīng)全國性科研評價(jià)制度越來越要求在較短周期內(nèi)對大量成果展開評估［1］;另一方面如何設(shè)計(jì)新的指標(biāo)回應(yīng)公眾對大學(xué)與科研機(jī)構(gòu)“第三使命”的關(guān)注，展示大學(xué)與科研機(jī)構(gòu)在經(jīng)濟(jì)發(fā)展、社會(huì)福利上的貢獻(xiàn)。

針對上述問題，各國紛紛推出新的方法，對本國科研評價(jià)制度進(jìn)行改革。由于問題較為相似，在變革中出現(xiàn)了一些共同趨勢，如許多國家不約而同地選擇了同行評議與文獻(xiàn)計(jì)量相結(jié)合作為評價(jià)方法;然而也出現(xiàn)了一些爭議情況，如評價(jià)結(jié)果是否應(yīng)該與撥款掛鉤，大學(xué)如何平衡教育、研究以及為社會(huì)服務(wù)的使命等。鑒于英、法、德三國科研評價(jià)制度仍處于改革或?qū)嵤┲?，本文以意大?013 年完成的VQR 評價(jià)為例，結(jié)合其他國家情況，探討國家科研評價(jià)制度的未來發(fā)展趨勢及變革中的爭議。

1 意大利VQR 科研評價(jià)制度

VQR 的前身為三年研究評估VTR (Valutazione triennale della ricerca)，2003 年，意大利大學(xué)與研究部成立了下屬評價(jià)機(jī)構(gòu)，對公共大學(xué)與科研機(jī)構(gòu)2001—2003 年的科研成果展開評估。VTR 完成于2005年，主要基于同行評議方法，評估對象數(shù)量較少，是一項(xiàng)實(shí)驗(yàn)性質(zhì)的評估工作，因此其評價(jià)結(jié)果使用頻率并不高，僅能決定較少的撥款:2006—2012 七年平均不到大學(xué)與科研機(jī)構(gòu)固定經(jīng)費(fèi)的2%［2］。

為應(yīng)對形勢變化，規(guī)范科研評價(jià)，2011 年，意大利專門成立了國家大學(xué)及科研機(jī)構(gòu)評估署ANVUR (Agenzia nazionale di valutazione del sistema universitario e della ricerca)，該機(jī)構(gòu)從評估標(biāo)準(zhǔn)與方法的選擇到報(bào)告的起草與發(fā)布都完全自主，不受意大利相關(guān)政府部門的操控［3］。同年底，ANVUR 建立了新的科研評價(jià)制度VQR，開始對大學(xué)與科研機(jī)構(gòu)開展新一輪的評估。

1.1 評價(jià)對象、原則與基本流程

VQR 評價(jià)時(shí)間段為2004—2010 年的產(chǎn)出，對象包括:①公立大學(xué);②能授予學(xué)位的私立大學(xué);③大學(xué)與研究部下屬的科研機(jī)構(gòu);④申請參與評估并愿意為此付費(fèi)的其他研究機(jī)構(gòu)。此外，考慮到院系是大學(xué)的職能組織模式，評價(jià)還以大學(xué)各院系或研究機(jī)構(gòu)的類似部門開展，但是并不組織個(gè)人層面的評價(jià)。

VQR 原則上要求每一科研人員都提交成果，對于大學(xué)科研人員，提交數(shù)為3 項(xiàng)，如果在2006年后入職，提交數(shù)可相應(yīng)降低;而對于研究機(jī)構(gòu)科研人員，則要求上報(bào)6 項(xiàng)成果，同樣可隨入職年限遞減?？商峤坏难芯砍晒?①期刊論文;②專著及其中章節(jié)、帶ISBN 號(hào)的會(huì)議論文;③譯作與科學(xué)評論;④專利;⑤其他以出版物的方式提交的產(chǎn)出:包括作品、圖紙與設(shè)計(jì);演出;展覽與博覽會(huì)及其項(xiàng)目;數(shù)據(jù)庫與軟件。

VQR 評價(jià)的開展基于以下原則:①相關(guān)性:對該領(lǐng)域知識(shí)進(jìn)步或科學(xué)增值有益，為社會(huì)福利帶來一致、有效、迅速、長久的影響;②原創(chuàng)性/創(chuàng)新性:對該領(lǐng)域的知識(shí)進(jìn)步做出貢獻(xiàn)或有新的發(fā)現(xiàn);③國際化和/或國際地位:定位于國際形勢，從重要性、競爭力、輿論影響、學(xué)界贊譽(yù)方面予以評價(jià)，同時(shí)考察與他國研究人員或研究團(tuán)體的合作情況;④與專利相關(guān):評價(jià)技術(shù)轉(zhuǎn)移與發(fā)展工作，即便是潛在的經(jīng)濟(jì)社會(huì)影響。

VQR 流程以如下步驟進(jìn)行。準(zhǔn)備階段:ANVUR 組建各領(lǐng)域?qū)＜以u估小組(GEV)，使其按指引公布該領(lǐng)域評估標(biāo)準(zhǔn)，并與參評機(jī)構(gòu)(STRUCTURE)確認(rèn)參評分支部門、人員情況。評估階段:GEV 對提交成果展開評估，出臺(tái)分領(lǐng)域報(bào)告。同時(shí)參評機(jī)構(gòu)準(zhǔn)備自評報(bào)告。ANVUR 匯總各領(lǐng)域評估結(jié)果，編制總報(bào)告。同時(shí)通過文獻(xiàn)計(jì)量方法，出臺(tái)意大利科研系統(tǒng)在國際上的定位報(bào)告，相關(guān)流程見圖1。

1.2 評價(jià)領(lǐng)域與專家構(gòu)成

根據(jù)意大利全國大學(xué)理事會(huì)的定義，分為14個(gè)學(xué)科領(lǐng)域，GEV 也依此設(shè)立(見表1)。ANVUR直接任命各GEV 組長，并根據(jù)專業(yè)知識(shí)水平以及是否具有評估經(jīng)驗(yàn)來選擇專家，其中也包括一部分國外專家。如果某一領(lǐng)域?qū)W科之間具有較大差異，或需要評估的數(shù)量較多，則可在同一GEV 之下設(shè)分支專家小組。例如，領(lǐng)域14 分為兩組，一組負(fù)責(zé)政治學(xué)、哲學(xué)與歷史，另一組負(fù)責(zé)其他社會(huì)科學(xué)。此外，評審還包括數(shù)千名外部專家，當(dāng)GEV 專家認(rèn)為成果應(yīng)使用同行評議進(jìn)行評估時(shí)，便交由外部匿名專家評審。

圖1 VQR 評價(jià)流程圖

表1 14 個(gè)學(xué)科領(lǐng)域及對應(yīng)專家人數(shù)

1.3 評估方法

VQR 評價(jià)具體由各GEV 來開展，對每一STRUCTURE 及其部門在14 個(gè)領(lǐng)域中排序。具體評估方法，GEV 可在下述方法中任選一種或兩種:

(1)文獻(xiàn)計(jì)量:由GEV 專家直接基于ANVUR 挑選的數(shù)據(jù)庫，根據(jù)被引用數(shù)與期刊影響因子確定文章等級;具體步驟為:①確定文章所屬學(xué)科領(lǐng)域，通過Web of Science 或Scopus 數(shù)據(jù)庫中相應(yīng)學(xué)科類別歸類;如果論文從屬多個(gè)學(xué)科，根據(jù)提交領(lǐng)域確定或由GEV 專家挑選合適領(lǐng)域，文章也可能發(fā)送至多個(gè)領(lǐng)域進(jìn)行評審;②分別計(jì)算被引用數(shù)與期刊影響因子累計(jì)概率分布，分別取排名前20%、20% ～40%、40% ～50%、后50%分成A、B、C、D 四個(gè)等級;③根據(jù)兩項(xiàng)分布及其等級繪制4 ×4 文章等級判斷矩陣，以領(lǐng)域3 化學(xué)為例，一篇2006 被引用數(shù)與期刊影響因子等級分別為B 與A 的論文，需使用圖2 左邊矩陣進(jìn)行判斷，第二行第一列即為其文章等級“B”;若該論文發(fā)表于2009 年，則需使用圖2 右邊矩陣判斷，文章等級為“B”。不同領(lǐng)域之間除矩陣對角線文章等級相同外，其余視各自領(lǐng)域情況而定， “IR”表示文章將采取同行評議判斷等級。

圖2 文章等級判斷矩陣(領(lǐng)域3:化學(xué))

(2)同行評議:交由外部獨(dú)立專家評審，通常每一成果須由兩位專家評審，如果專家評審結(jié)論不一致，則交由第三位專家或由GEV 專家進(jìn)行裁定。專家的選擇遵循嚴(yán)格的利益沖突原則，即不能評審?fù)淮髮W(xué)科研人員或自身參與創(chuàng)作的成果。

研究成果的等級與VTR 同樣分為4 個(gè)級別，考慮到VTR 中出現(xiàn)的問題，本次評估還對不符合標(biāo)準(zhǔn)的研究成果以及虛假行為給予罰分 (見表2)。

表2 VQR 科研評價(jià)等級標(biāo)準(zhǔn)

1.4 對研究及第三使命的指標(biāo)設(shè)計(jì)

VQR 對研究的評價(jià)不僅主要考慮研究成果的質(zhì)量，同時(shí)還涉及對研究經(jīng)費(fèi)的爭取情況，與外界的溝通交流情況，研究人員的培養(yǎng)情況，自身對研究的投入情況以及是否相對上次評估有所進(jìn)步，相關(guān)指標(biāo)與權(quán)重見表3;VQR 不僅評價(jià)對研究進(jìn)行評價(jià)，而且還評估機(jī)構(gòu)對社會(huì)的影響，這方面的指標(biāo)并不局限于專利、衍生企業(yè)等傳統(tǒng)技術(shù)轉(zhuǎn)移方面的指標(biāo)，考慮到人文與社會(huì)科學(xué)的特點(diǎn)，增加了考古遺跡、博物館等評判標(biāo)準(zhǔn)，同時(shí)通過設(shè)置“其他活動(dòng)”這一開放性的指標(biāo)保證了評價(jià)的靈活性。第三使命的指標(biāo)與權(quán)重見表4。

表3 與研究相關(guān)指標(biāo)

表4 “第三使命”相關(guān)指標(biāo)

續(xù)表4

2 VQR 對VTR 的變革

為適應(yīng)新的形勢變化，VQR 相對VTR 在許多方面進(jìn)行了大幅度的變革，主要表現(xiàn)在以下三個(gè)方面。

2.1 評價(jià)對象的改變

在國家科研評價(jià)制度的實(shí)踐中，考慮到操作性問題，幾乎所有的制度都放棄了對全部科研成果進(jìn)行評價(jià)，而是選擇對機(jī)構(gòu)最好成果或其子集展開評估。然而此處同樣存在選擇:機(jī)構(gòu)最好的成果還是每一研究人員最好的成果。前者主要為以往科研評價(jià)制度如VTR、RAE 所采取，VTR 甚至并不規(guī)定各學(xué)科領(lǐng)域所提交的成果比例，僅要求機(jī)構(gòu)提交一定數(shù)量的質(zhì)量最好的成果即可。這種方式的優(yōu)點(diǎn)在于能夠集中精力關(guān)注機(jī)構(gòu)的亮點(diǎn)，并控制所評估成果的數(shù)量。然而在運(yùn)行中出現(xiàn)了一些問題:由于規(guī)模較大機(jī)構(gòu)同樣有較高產(chǎn)出的高質(zhì)量研究成果，可以靈活選擇評議成果，無疑容易在評價(jià)中獲得更好的結(jié)果;此外，也在科研人員中產(chǎn)生了普遍的焦慮［5］，一旦被排除在提交評價(jià)成果的隊(duì)伍之外，就必須承擔(dān)起更多的教學(xué)與管理任務(wù)［6］，不利于研究隊(duì)伍整體水平的提升以及青年科研人員的成長。

為呼應(yīng)公眾對研究質(zhì)量越來越關(guān)注的要求，全面反映機(jī)構(gòu)研究質(zhì)量，VQR 從機(jī)構(gòu)、院系部門等方面比較研究質(zhì)量，要求每一研究人員都必須提交其研究成果。但ANVUR 也強(qiáng)調(diào)評價(jià)并非基于個(gè)人層面展開，研究成果將集合到各機(jī)構(gòu)、院系部門進(jìn)行評價(jià)。此外，英國即將實(shí)施的REF 科研評價(jià)制度同樣對評價(jià)對象進(jìn)行了變革，要求全體科研人員都需上交一定數(shù)量的研究成果;而澳大利亞的科研評價(jià)更是從一開始，就采取了這一做法［7］。然而評價(jià)對象的變革也帶來了需要評價(jià)成果數(shù)量的大幅度上升，從VTR 的17329 項(xiàng)上升到VQR 的近200000 份。

2.2 評價(jià)方法的變革

傳統(tǒng)上國家科研評價(jià)制度大多以同行評議為主，VTR 參考ERA 完全采取了同行評議作為評價(jià)方法，盡管Chubin 和Hackett 曾指出［8］:同行評議不僅是科學(xué)功能的一個(gè)常規(guī)組成部分，而且是科學(xué)建制的基本原則。但是這一原則越來越受到挑戰(zhàn):由于時(shí)間以及預(yù)算的限制使得評議僅能關(guān)注機(jī)構(gòu)少部分科研成果［9］，不適應(yīng)全國性科研評價(jià)制度越來越要求在較短周期內(nèi)對大量成果展開評估的要求，特別是VQR 評議成果數(shù)上升了10 倍以上;無論是評議人的偏見，還是評議中的利益沖突與“馬太效應(yīng)”，帶來了同行評議是否公正的討論［10］。

為此，VQR 采取結(jié)合同行評議與文獻(xiàn)計(jì)量的復(fù)合方法，由GEV 酌情選擇，但仍然規(guī)定同行評議數(shù)應(yīng)占50%以上。從結(jié)果來看，自然科學(xué)更多地采取的是文獻(xiàn)計(jì)量方法，而人文社科則更多的是同行評議方法。而從其他國家來看，無論是英國取代REA 的REF 還是澳大利亞取代RQF (Research Quality Framework)的ERA (Excellence in Research for Australia)，同樣采取了同行評議和文獻(xiàn)計(jì)量相結(jié)合的評價(jià)方法。

2.3 評價(jià)指標(biāo)的變化

評級指標(biāo)的主要變化在于引入對大學(xué)與科研機(jī)構(gòu)“第三使命”的評價(jià)，自《拜杜法案》實(shí)施后美國大學(xué)在技術(shù)轉(zhuǎn)移上的成功使世界各國認(rèn)識(shí)到大學(xué)與科研機(jī)構(gòu)在知識(shí)經(jīng)濟(jì)時(shí)代的作用，因而越來越要求其展示為經(jīng)濟(jì)社會(huì)所做貢獻(xiàn)。VQR 為適應(yīng)這種需求單獨(dú)對“第三使命”設(shè)置了一組指標(biāo)，不僅包括評價(jià)技術(shù)轉(zhuǎn)移的專利、衍生企業(yè)、孵化器等指標(biāo)，也考慮到人文學(xué)科的特點(diǎn)，設(shè)置了考古遺跡、博物館等指標(biāo)，也允許機(jī)構(gòu)提交其他與知識(shí)、技術(shù)轉(zhuǎn)移相關(guān)的活動(dòng)進(jìn)行評價(jià)。

由于VQR 對“第三使命”指標(biāo)的單獨(dú)設(shè)置，盡管VQR 要求在評價(jià)研究成果時(shí)考慮經(jīng)濟(jì)社會(huì)影響，但在這方面并沒有設(shè)置詳細(xì)指標(biāo)，而是單獨(dú)列舉傳統(tǒng)上評價(jià)知識(shí)、技術(shù)轉(zhuǎn)移相關(guān)指標(biāo)，這種做法與澳大利亞ERA 較為類似，與英國REF 有顯著不同，后者對研究成果的評價(jià)制定了一整套的操作方案:包括個(gè)案研究與完整影響模板、資格準(zhǔn)則、評價(jià)標(biāo)準(zhǔn)與等級定義，但對影響的評價(jià)僅適用于高質(zhì)量研究中［11］。

3 變革中的爭議

國家科研評價(jià)制度在根據(jù)形勢進(jìn)行改變，但不同國家對評價(jià)結(jié)果的應(yīng)用存在分歧，而新的評價(jià)方法、指標(biāo)體系的應(yīng)用也產(chǎn)生了廣泛的討論和爭議。

3.1 評價(jià)結(jié)果與經(jīng)費(fèi)撥款

許多國家將國家科研評價(jià)制度擴(kuò)大化、常態(tài)化的一項(xiàng)重要原因是希望以研究表現(xiàn)來決定對機(jī)構(gòu)的撥款金額，增強(qiáng)對大學(xué)與研究機(jī)構(gòu)的管理。VQR 的評價(jià)目的在于加強(qiáng)研究表現(xiàn)與獲得資助之間的聯(lián)系，有望提高評價(jià)結(jié)果決定撥款金額的比重。采取類似做法的還有英國RAE、REF，澳大利亞ERA 等科研評價(jià)制度［7］。

然而德國科學(xué)委員會(huì)的科研評價(jià)體系對此有不同選擇，其評價(jià)結(jié)果與資助無關(guān)，僅供大學(xué)與科研機(jī)構(gòu)在戰(zhàn)略決策時(shí)參考。該委員會(huì)研究部主管瑞納·蘭格認(rèn)為:“某些時(shí)候，績效突出部門很有可能已經(jīng)處在邊際報(bào)酬的最優(yōu)水平上，將資金投入到績效稍弱的部門或許會(huì)有更大的收益?！保?2］

3.2 同行評議還是文獻(xiàn)計(jì)量

文獻(xiàn)計(jì)量對同行評議這一科學(xué)建制基本原則的挑戰(zhàn)引發(fā)了較大的爭議，2012 年底，意大利國內(nèi)對文獻(xiàn)計(jì)量方法提出了質(zhì)疑，認(rèn)為其對于出版物和引文索引數(shù)據(jù)的評價(jià)標(biāo)準(zhǔn)過于粗糙和形式化。迫于壓力，意大利教育、大學(xué)和科研部部長弗朗西斯科·普羅夫莫表示，在未來的科研評價(jià)工作中，文獻(xiàn)計(jì)量數(shù)據(jù)將不再作為評價(jià)的必須指標(biāo)［12］。

而從一些研究對同行評議與文獻(xiàn)計(jì)量的實(shí)證來看，也存在矛盾。Bertocchi 等［13］對VQR 經(jīng)濟(jì)學(xué)、商業(yè)與統(tǒng)計(jì)學(xué)領(lǐng)域抽樣比較發(fā)現(xiàn)同行評議與文獻(xiàn)計(jì)量評價(jià)結(jié)果相似;Franceschet 等［14］同樣認(rèn)為文獻(xiàn)計(jì)量的使用對意大利科研評價(jià)有益;但Abramo 等［15］將VQR 的文獻(xiàn)計(jì)量方法運(yùn)用至VTR評價(jià)中，卻發(fā)現(xiàn)與同行評議結(jié)果有較大不同。從對其他國家的研究來看，大多認(rèn)為同行評議與文獻(xiàn)計(jì)量有正向關(guān)系，例如，Oppenheim 等［16-18］的一系列研究發(fā)現(xiàn)被引數(shù)等文獻(xiàn)計(jì)量指標(biāo)與RAE 排序顯著相關(guān);Van Raan［19］對147 個(gè)荷蘭大學(xué)化學(xué)研究團(tuán)隊(duì)、Aksnes 等［20］對挪威大學(xué)的研究、Rinia等［21］對荷蘭凝聚態(tài)物理評價(jià)的研究均表明文獻(xiàn)計(jì)量指標(biāo)與同行評議有一定相關(guān)。說明文獻(xiàn)計(jì)量在一定程度上可以支持、替代同行評議，但具體的方法選擇、開展形式上需要嚴(yán)密論證。

3.3 大學(xué)使命的平衡

國家科研評價(jià)的常態(tài)化以及與撥款的掛鉤，使得大學(xué)的精力集中于研究之上，教育實(shí)際上陷入邊緣境地，在VTR、RAE 的實(shí)踐中，教育的任務(wù)實(shí)際上更多的屬于在科研上并不成功的人員［6］，而在VQR、REF 要求每一科研人員都必須上交研究成果后，意味著即便主要從事教育任務(wù)人員也必須將大量時(shí)間投入科研之中;特別是在第三使命也納入評價(jià)指標(biāo)之后，科研人員也被鼓勵(lì)開展知識(shí)、技術(shù)轉(zhuǎn)移，科研人員投入教育的時(shí)間將被進(jìn)一步壓縮，可能引發(fā)教育質(zhì)量下滑的惡果。因此，大學(xué)能否在適應(yīng)新的評價(jià)體系的同時(shí)，保證教育質(zhì)量的穩(wěn)定，存在一定疑問。

4 結(jié)語

意大利科研評價(jià)制度經(jīng)歷了對象、方法與指標(biāo)三方面的深刻變化，而這些應(yīng)對手段也為許多國家所采用:在評價(jià)對象上趨向于擴(kuò)大評議范圍與成果數(shù)量，在評價(jià)方法上選擇同行評議與文獻(xiàn)計(jì)量相結(jié)合的方法，在評價(jià)指標(biāo)上要求大學(xué)與科研機(jī)構(gòu)展示對經(jīng)濟(jì)社會(huì)的影響。但是，并非所有國家都對評價(jià)結(jié)果有一致的應(yīng)用取向，英國、意大利等國將評價(jià)結(jié)果與撥款相掛鉤，而德國則主要作為決策時(shí)的參考;同樣，盡管文獻(xiàn)計(jì)量方法在科研評價(jià)中的應(yīng)用已不可阻擋，但它對同行評議的挑戰(zhàn)也引發(fā)了較大的爭議，但目前大部分實(shí)證文獻(xiàn)結(jié)論表明，二者存在相關(guān)關(guān)系，前者對后者可以起到部分替代作用;此外，研究對象的擴(kuò)大、指標(biāo)體系的變化則可能將進(jìn)一步擠壓科研人員從事教育的時(shí)間，大學(xué)如何平衡教育、科研與技術(shù)轉(zhuǎn)移三者之間的關(guān)系，將受到嚴(yán)重挑戰(zhàn)。

［1］Abramo G，D'Angelo CA. Evaluating Research:from Informed Peer Review to Bibliometrics［J］.Scientometrics，2011，87(3):499 -514.

［2］Rebora G，Turri M. The UK and Italian Research Assessment Exercises Face to Face［J］. Research Policy，2013，42(9):1657 -1666.

［3］教育部高等教育評估中心. 評估中心代表團(tuán)訪問歐洲三國質(zhì)量保障機(jī)構(gòu)［EB/OL］. http://www. pgzx. edu. cn/modules/jiaoliuyuhezuo_d. jsp?id=10525.

［4］ANVUR. Bando DI partecipazione［EB/OL］.［2011 -11 -7］. http://www. anvur. org/attachments/article/122/bando _vqr_def_07_11. pdf.

［5］Martin BR，Whitley R. The UK Research Assessment Exercise:a Case of Regulatory Capture?In:Reconfiguring Knowledge Production:Changing Authority Relationships in the Sciences and Their Consequences for Intellectual Innovation.［M］.Oxford:Oxford University Press;2010.

［6］Henkel M. The Modernisation of Research Evaluation:the Case of the UK［J］.High Educ，1999，38(1):105 -122.

［7］Hicks D. Evolving Regimes of Multi-university Research Evaluation［J］.High Educ，2009，57(4):393 -404.

［8］Chubin DE，Hackett EJ. Peerless Science:Peer Review and U. S. Science Policy［M］.Albany:SUNY Press，1990.

［9］Abramo G，D'Angelo C，Di Costa F. National Research Assessment Exercises:a Comparison of Peer Review and Bibliometrics Rankings［J］.Scientometrics，2011，89(3):929 -941.

［10］龔旭. 同行評議公正性的影響因素分析［J］.科學(xué)學(xué)研究，2004，22(6):613 -618.

［11］劉莉. 英國大學(xué)科研評價(jià)改革:從RAE 到REF［J］.科學(xué)學(xué)與科學(xué)技術(shù)管理，2014，35(2):39 -45.

［12］張哲. 評價(jià)體系應(yīng)切實(shí)反映學(xué)術(shù)機(jī)構(gòu)優(yōu)劣——訪德國科學(xué)委員會(huì)研究部主管瑞納·蘭格［EB/OL］. http://www. csstoday. net/Item/50535. aspx.

［13］Bertocchi G，Jappelli T，Peracchi F. Bibliometric Evaluation vs. Informed Peer Review:Evidence from Italy［R］.Napoli:University of Naples，2013.

［14］Franceschet M，Costantini A. The First Italian Research Assessment Exercise:a Bibliometric Perspective［J］. J Informetr，2011，5(2):275 -291.

［15］Abramo G，D'Angelo CA，Di Costa F. National Research Assessment Exercises:a Comparison of Peer Review and Bibliometrics Rankings［J］.Scientometrics，2011，89(3):929 -941.

［16］Norris M，Oppenheim C. Citation Counts and the Research Assessment Exercise V-Archaeology and the 2001 RAE［J］. J Doc，2003，59(6):709 -730.

［17］Oppenheim C. The Correlation Between Citation Counts and the 1992 Research Assessment Exercise Ratings for British Research in Genetics，Anatomy and Archaeology［J］.J Doc，1997，53(5):477 -487.

［18］Oppenheim C，Summers MAC. Citation Counts and the Research Assessment Exercise，Part VI:Unit of Assessment 67(music)［J］.Inf Res，2008，13(2):342 -342.

［19］Van Raan AFJ. Comparison of the Hirsch-index with Standard Bibliometric Indicators and with Peer Judgment for 147 Chemistry Research Groups［J］.Scientometrics，2006，67(3):491 -502.

［20］Aksnes DW，Taxt RE. Peer Reviews and Bibliometric Indicators:a Comparative Study at a Norwegian University［J］.Res Evaluat，2004，13(1):33 -41.

［21］Rinia EJ，van Leeuwen TN，van Vuren HG，van Raan AFJ. Comparative Analysis of a Set of Bibliometric Indicators and Central Peer Review Criteria-Evaluation of Condensed Matter Physics in the Netherlands［J］.Research Policy，1998，27(1):95 -107.