謝冉 肖建

摘 要：英國科研卓越框架中科研影響力指標的引入表明了政府強化高校與社會聯系，凸顯科研促進經濟繁榮、民族富強和知識轉化的決心?？蒲杏绊懥υu估強調以評估引導高校關注科研的社會收益。在具體的標準制定和評估過程中，注重多元利益相關者共識的達成，重視以研究完善后續(xù)評估活動。我國學科評估應借鑒英國科研卓越框架中科研影響力評估的經驗，以學科社會服務指標取代主觀性較強的學科聲譽指標，在具體的執(zhí)行過程中，應強調過程的規(guī)范和公開，引導多元利益相關者的充分參與，弱化評估的評審效應，強化評估的學習效應。

關鍵詞：科研影響力；評估；英國；科研卓越框架

作為歐洲率先實施高等教育評估的國家，英國科研評估制度有著悠久的歷史。2012年，英國高等教育基金委員會在反思科研水平評估（RAE）框架的基礎上，結合國家社會發(fā)展的需要，以科研卓越框架（REF）對英國高校學科進行了新一輪的評估，并于2014年底公布了評估結果。與之前實施6輪的科研水平評估相比，科研卓越框架最大的不同在于以科研影響力評估代替了聲譽評估。作為首次大范圍對科研影響力進行評估的嘗試，該指標的引入表明了英國政府強化高等教育機構與社會間的聯系，凸顯科研促進經濟繁榮、民族富強和知識轉化的決心。在英國科研影響力評估的帶動作用下，美國、瑞典等國家均計劃將科研影響力作為隨后科研評估的重要組成部分。2016年我國啟動的第四輪學科評估，同樣將“社會服務與學科聲譽”列為四個一級指標之一，強調對學科的社會服務功能、做出的貢獻以及社會影響進行評估。但相對于英國科研卓越框架中的科研影響力評估，我國學科社會服務評估顯然不夠系統和明確。因此，對英國科研影響力指標引入的背景、評估方式及經驗進行詳細的分析和研究，以期對我國后續(xù)學科社會服務評估的推行有所啟示。

一、科研影響力評估引入英國科研卓越框架的歷程

20世紀80年代以來，隨著高等教育大眾化階段的到來及新公共管理主義在英國社會地位的凸顯，英國開始引入科研水平框架對高校學科研究質量進行評估。作為英國高等教育研究基金會分配研究經費的重要依據，科研水平評估重在提高科研資助的效率，滿足社會問責的需求。截止2008年，英國科研水平評估共進行了6輪。經過20多年的發(fā)展，在承認并充分認識學科評估價值的同時，英國社會各界也對科研水平評估存在的問題進行了廣泛的批評。這些批評大致可歸為兩類：一類批評者認為，作為明顯偏向于老大學的游戲，科研水平評估并不公平，凸顯的馬太效應使得好的大學更好，差的大學更差，造成了大學身份的固化；由于評估指標聚焦在科研成果上，對科研的過分強調，造成了研究和教學、研究人員和教學人員之間的沖突；評估強化了政府對高校的管理和控制，損害了高校的學術自由。因此，應廢除學科評估，重建英國高校的學術自由和自治傳統。與此同時，在承認社會問責的必然性的基礎上，另一類批評者認為，作為直接影響政府撥款，間接充當信息媒介的科研水平評估有其存在的價值。在社會發(fā)展的潮流中，學科評估不應不切實際的后退，而應進行局部的改良，使其更符合社會的需要。從社會發(fā)展和知識模式轉型的角度看，科研水平評估最大的弊端在于過于聚焦研究成果，沒有強化研究成果與社會之間的聯系，沒有發(fā)揮引導科研服務社會的職能。因此，應引入科研影響力指標，引導高校重視科研服務社會、服務國家發(fā)展戰(zhàn)略的功能。

實際上，早在1993年的白皮書《實現我們的潛能中》，英國科技政策部已明確高?？蒲斜仨毦哂猩鐣绊懥ΑＴ?996年度的科研水平評估中，高等教育研究基金會要求院校提交的材料需覆蓋院校的戰(zhàn)略及對國家發(fā)展的貢獻，科研資金的分配要考慮研究的社會影響效果，但在實際評估過程中，該建議并沒有得到重視和落實。在這種情況下，英國高等教育基金會利用一切途徑組織工作坊，撰寫研究報告，提高社會各界對科研影響力的重要性的認識。2006年，總理顧問團與科學技術基金會明確高?？蒲斜仨氃谖磥淼慕洕蜕鐣邪缪荻鄻拥慕巧Ｍ觐C布的科學與創(chuàng)新提升框架（the Update on the Science and Innovation Investment Framework）批評科研水平評估沒有鼓勵基于用戶需要的卓越研究。財政部在當年的預算中指出，為了最大化研究的社會影響，新的科研評估系統將優(yōu)先偏向資助基于用戶的研究?？傊诓杉{建設性批評意見的基礎上，通過各個層面的鋪墊和宣傳，2006年，英國高等教育基金委員會開始對科研水平評估框架進行修改，并在2012年推出科研卓越框架。與科研水平評估框架相比，科研卓越框架縮減了評估單位，更新了評估指標，轉換了評估方式。[1]其中最為重要變革是，以占比20%的科研影響力取代學科聲譽第一次進入英國科研評估框架中。[2]

二、英國科研卓越框架中科研影響力評估標準與方式

將科研影響力作為重要指標的科研卓越框架，積極地回應了社會和政府對科研成果社會價值的期待，表明英國政府對科研應承擔的社會公益和服務職能的強調。科研影響力評估所期望實現的價值是多方面的：對于高校來說，幫助其管理研究，理解研究產生影響的方式和方法，推進研究對地方、國家和國際的影響；對于社會來說，滿足資金的問責需求；對于政府來說，發(fā)揮其在資金分配上的引導作用。為了使上述目標得以實現，英國科研卓越框架明確了科研影響力的評估框架，對評估院校需要提交的材料進行了詳細的說明，明確了科研影響力評估的等級及標準，同時對評估人員的組成和評估程序均進行了公開明確的規(guī)定。

（一）科研影響力評估材料及標準

為了凸顯研究服務社會的價值，英國高等教育基金會最初將影響的比重定為25%，考慮到首次實施及后續(xù)發(fā)展的需要，最終將比重確定為20%，明確研究發(fā)揮影響的時間為2008年1月1日到2013年7月31日。[3]在評估材料的遞交上，科研卓越框架將定量評估與定性評估相結合，要求高校提供描述性的科研影響案例（case study） 和影響模板（impact template）。遞交的影響案例的數量以每10位研究人員1份為標準。案例以限制的字數要求院校清楚描述研究產生的影響，內容包括：研究的質量及證明材料；研究產生影響的方式；科研成果影響力的性質和程度；能夠證實科研影響力的材料。案例展示的影響可以在發(fā)展或成熟的任何階段，只要學術之外的改變和收益已經發(fā)生。對于科研影響的界定，科研卓越框架采取寬泛的視角，包括科研成果對于社會、經濟和文化在個人、組織和社團、地區(qū)、國家和國際層面的所有收益。具體來講，這種收益可以表現為對產品、生產過程、某一行為和政策的影響，也可以表現為對資源的利用或對某一專業(yè)發(fā)展的影響等。[4]在評估活動中，所有層面和種類的影響具有同等重要的價值。需要注意的是，高校遞交的案例必須證明研究已經產生了明顯的社會影響。那些針對研究的未來潛能或科研成果的影響沒有證據支撐的，將不能作為案例予以遞交。為了兼顧不同學科研究成果轉化時間的差異，評估委員會明確指出基礎研究的時間節(jié)點可以在15年內，即研究最初發(fā)表的時間可以為1993年，產生影響的時間為2008年到2013年之間。相對于影響案例的詳細描述，影響模板主要描述高校如何從戰(zhàn)略、戰(zhàn)術和方法上支持和保證科研成果轉化為社會影響力。

對于院校提交的影響案例和模板，評估人員將從寬度和深度兩個方面進行評估。寬度代表影響發(fā)生的范圍，深度代表科研成果引起社會變化的程度。當然，評估標準中關于深度和寬度的界定同樣是寬泛的，詳細而具體的界定由各分委員會根據學科特點進行說明。總的來說，關于科研影響力的評估結果將被歸屬于4星、3星、2星、1星及無星級等5個等級。具體等級及標準如表2所示：

（二）科研影響力評估人員的選擇與組成

為了凸顯科研影響力評估的真實性和科學性，確保研究成果使用者明確研究的目的和意圖，英國科研卓越框架強調在所有的評估單位中，學科專家、研究成果的使用者及私人、公共和第三機構的成員將完全介入評估標準的制定和具體的評估活動中。在2014年的科研卓越評估中，高校遞交的材料由1052位專家進行了評估，其中77%是學術研究人員，23%是研究成果的使用者。這些來自各個領域的學科評估人員分屬于36個分委員會，在4個主委員會的監(jiān)管下運作。如圖1。

主委員會包括4位來自高等教育基金委員會的主席，23位具有豐富研究經驗的相關學科的國際專家及17位研究成果的使用者。主委員會的主要職責在于監(jiān)管整個評估過程，確保評估標準和評估程序的一致及反映國際標準，確保研究成果具有真實的社會效益。具體任務為：制定文件，確定各分委員會的工作標準和方法，確保文件、評估標準和方法的制定過程與相關利益者尤其是高校進行了充分的咨詢與交流；在評估過程中與分委員會一起確保評估標準運用的一致；基于分委員會的建議，簽署評估的最終結果，形成各學科研究狀況及影響力的最終報告；分委員會在主委員會制定的標準的指導下，結合學科特點，對標準進行針對化和具體化，對高校遞交的材料進行評估，并在此基礎上，撰寫初步的評估報告，遞交主委員會進行審查與簽署。在具體的評估過程中，主委員會主席和人員將參加分委員會的相關會議，以多種形式保持二者之間及時和充分的交流與溝通，分委員會中的專業(yè)評估人員對評估提出專業(yè)性的建議。[5]此外，科研卓越評估團隊還邀請利益相關者以觀察者的身份參與主委員會和分委員會的會議，為評估提供非正式的建議。所有的評估人員均在高校和其他機構推薦的基礎上公開選拔，由高等教育基金會予以任命。

（三）科研影響力評估程序

根據高校提供的研究影響案例和影響模板，分委員會在與主委員會及時充分溝通的基礎上進行評估。為了保證不同學科之間評估標準的相對一致，保障評估結果的相對公正和公平，科研卓越框架中的科研影響力評估從明確評估委員會成員到最后評估結果的確定與公布，大致經過如下圖2程序[6]：

作為評估的首要環(huán)節(jié)，校準是對科研影響力概念和標準的分享與理解過程，重在使所有成員形成基本的共識性認識，保證不同委員會間評估結果的相對一致。在評估環(huán)節(jié)，每一份案例影響和模板均由36個分委員會中的2到4名評估人員單獨評估。當然，每份材料經由的評估人員數量因分委員會不同而不同，但總的來說，73%的影響案例和模板由3位評估人員單獨評估。在這三位評估人員中，至少有一位評估人員為研究成果的使用者。這些評估人員針對材料給出評估等級后即進入復審環(huán)節(jié)。若在此環(huán)節(jié)，其他評估人員對初步確定的科研影響力等級沒有異議，則進入下一環(huán)節(jié)；若評估人員對影響案例和模板的評估等級存在爭議，分委員會將請求主委員會予以審計。主委員會將組織人員與分委員會一起根據評估標準對材料進行再審核，對評估等級進行再認定。從2014年科研卓越框架中科研影響力評估的整體情況看，74%的院校至少有5%的科研影響力評估經歷了審核環(huán)節(jié)。最后，分評估委員會將科研影響力得分與其他兩項評估得分匯總在一起，給出學科總體的質量概述和星級認定，并將結果上報主評估委員會進行最后的調整和復議，最終由主委員會確認并公布評估結果。在具體的評估過程中，為了保證標準的相對一致和公平，作為主委員會成員的行業(yè)、企業(yè)專家和國際專家，在各個分評估委員會之間游走，為評估活動提供指導和幫助。

三、英國科研卓越框架中科研影響力評估的主要經驗

在2014年科研卓越評估中，154所英國高校遞交了1911份資料，包括191150份研究成果、6975份影響案例與1911份影響模板。從總的評定結果看，世界一流學科占比為30%，46%為國際卓越，20%為國際認可，3%為國家認可。具體在科研影響力這一指標上，四星學科占比44%、3星學科占比39.9%、2星學科的占比13%、1星學科占比2.4%，另0.7%學科不屬于任何星級。作為首次大范圍對科研的社會影響力進行評估的嘗試，英國科研卓越框架中的科研影響力評估有效地引導了學術研究者關注科研的社會影響價值，改變了高校、評估機構的觀念，使得科研評估從僅重視研究成果數量和學科質量的階段進入到對研究的社會價值予以充分關注的階段。上述效果的發(fā)揮與以下經驗有著密不可分的聯系。

（一）以評估引導科研服務社會職能

由于歷史的原因，英國高校對國家財政依賴較強，與社會聯系不緊密。高等院校自治的傳統又使得政府不能對大學有任何的行政命令，如何調動高校的主動性，強化高等教育與社會的聯系，就成為科研卓越框架設立的重要目標。?？抡J為，在寬泛的意義上，管理不是逼迫被管理者按照管理者的意圖做事，而是通過恰當的程序使得被管理者主動的自我調整和自我管理，從而最終實現管理者的意圖。科研卓越框架中科研影響力評估指標的引入，正是體現了以評估代替政策制定的引導傾向。英國科研卓越框架在36個學科下對英國高校的學科研究質量進行評估，高等教育基金會基于評估結果分配研究資助。具體來講，2014年的科研卓越評估結果將決定著英國高校從每年16億英鎊科研資助中獲得的份額，直至下一輪評估結果公布。其中作為權重五分之一的科研影響力指標，決定著大約3億英鎊的資助額度。[7]除此之外，無論是研究委員會的項目資助，還是社會資助，都與科研評估的成績直接掛鉤。在高校經費嚴重不足的今天，如此大額的資金分配使得評估具有重要的引導價值和導向作用?？傊?，作為直接影響政府撥款，間接地充當信息媒介的科研影響力評估，通過硬性的評估指標引導高校關注政策的意圖，通過經費資助的杠桿促進了高等院校廣泛意義上的質量監(jiān)控，使得高校在從事學術活動的同時關注科研的實際價值，為國家的創(chuàng)新戰(zhàn)略服務。當然，科研卓越評估中的科研影響力評估強調研究要滿足成果使用者的需要，而不僅僅由政府制定的政策所驅動。

（二）以廣泛討論引導利益相關者共識的達成

作為體現政策意圖的科研影響力評估，其價值的真正實現還需要利益相關者的充分理解、接受和參與。英國高等教育研究基金會從準備引入科研影響評估起，便組織多元利益相關者參與討論。在評估標準的制定、評估進行與結果公布環(huán)節(jié)，均設計出能夠容納多元社會主體共同參與的制度框架，在明確界定權責邊界的基礎上，依制度行使各自的參與權和決策權。在科研影響力框架制定后，首先在29個高校的5個評估單元下進行試點，試點結果委托第三方機構發(fā)布研究報告，引導各界人員對試點情況進行討論，對后續(xù)的改善提供建議?？蒲凶吭皆u估中科研影響力評估的所有文件均在網絡上公布，無論是評估人員的組建，院校遞交的材料，還是評估等級的最終確定，均采用公開透明的方式，引導社會各界參與評估的所有環(huán)節(jié)。 在評估過程中，學術人員和研究成果的使用者具有同等的地位，重視平等、溝通、協商和合作?！皼]有哪一個機構，擁有知識和資源兩個方面的充足能力來獨自解決一切問題?！盵8]科研卓越框架中的科研影響力評估通過調動利益相關者參與討論，不僅增強了咨詢建議的政治基礎和公眾接受度，同時還能完善咨詢建議的內容。當然，調動多元利益相關者充分參與的目的不是為了提供快捷的答案，而是為了促進公共討論，培育有能力有意識參與社會問題的公民。總之，英國科研卓越框架中科研影響力評估的整個制度設計和實施過程，均強調參與主體之間的理解和尊重，通過基于契約的合作，形成了公共事務的良好治理狀態(tài)，照顧了利益相關者效用的最大化，以共識的達成促進政策目標的真正實現。

（三）以研究完善后續(xù)影響力評估

公共政策研究認為，不能將政策評估的定義局限在政策對目標的實現方面。相反，應該關注的是公共政策的所有后果，或者說“政策的影響”，對政策的影響進行評估更能推進政策的完善。[9]為了充分掌握科研影響力評估的影響，并在此基礎上予以完善，評估結果公示后，英國高等教育基金委員會委托第三方機構對科研評估的過程與結果進行研究，以研究發(fā)現推動后續(xù)的完善。[10]眾多的機構和研究者也立足不同的角度，利用公開的數據對科研影響力評估進行再研究。這些研究不僅關注學術標準，而且關注政治和社會爭論等問題。研究顯示，科研影響力評估使得大學、研究機構和基金會以一種合作的方式提升研究的社會效果，促進了利益相關者之間的交流和合作；促進了政府、商業(yè)和公眾服務機構對科學研究的使命和目標的共識的達成。[11]從短期看，科研影響力評估加強了高校和研究成果的使用者之間的聯系；從長期看，評估重塑了學科研究的文化。此外，2015年，英國高等教育基金會授權第三方機構對在2014年科研卓越評估中成績突出的高校進行分析，結果向社會公布，從而為其他高校提供戰(zhàn)略上而不是戰(zhàn)術上的指導。當然，研究同樣指出，科研影響力評估增加了高校在時間、管理和財務上的負擔。一些高校甚至雇傭專業(yè)人員撰寫影響案例，這種做法不僅違背了評估的初衷，而且缺少學術語言的案例撰寫，反而降低了高校在科研影響力這一指標上的得分。[12]針對上述問題，研究提出了后續(xù)需要完善的問題，如如何對間接的長期的科研進行公正的描述和評估，如何使得評估的程序與方法之間更加協調等。

四、英國科研卓越框架中科研影響力評估對我國的啟示

作為首次將影響力引入大規(guī)?？蒲性u估的英國科研卓越框架，代表著從官僚——專業(yè)到管理——消費的評估文化的轉變，這種評估文化強調研究質量的表現性展示。雖然自英國高等教育基金會明確科研影響力指標引入科研卓越框架后，社會各界從損害學術自由，對人文社會學科不公平，將壓制和限制學術發(fā)現的進程，縮減對創(chuàng)新的、非預期的研究資助等角度對其進行了批評。[13]但不可否認的是，隨著知識生產模式的轉型及科學研究與國家戰(zhàn)略的緊密相連，作為既注重學術價值又強調社會價值的科研影響力評估，代表著科研評價發(fā)展的趨勢。2016年，我國進行的第四輪學科評估也將學科聲譽與社會服務貢獻并列，基于高校遞交的典型案例對學科的社會服務進行評估。但相比之下，我國第四輪學科評估并沒有對社會服務這一指標進行詳細的闡述與規(guī)定。因此，作為相對成熟的英國科研卓越評估中的科研影響力評估，對我國后續(xù)學科評估中這一指標的完善具有重要的啟示意義。

（一）以社會影響力評估取代學科聲譽評估

Georghiou and Roessner指出，所有的評估活動都是鑲嵌在特定環(huán)境和狀況中的社會運動，適應并滿足著社會發(fā)展的需求。[14]隨著知識經濟和科技創(chuàng)新戰(zhàn)略的提出，科究成果的轉化力逐漸成為社會關注的焦點。在這種情況下，英國科研評估逐漸從20世紀七八年代的聚焦問責轉向了鼓勵并重視科研對社會和經濟的沖擊和影響作用。[15]如果強調效率和問責的科研水平評估代表著新自由主義理念層面的引導，那么科研卓越評估就代表著新自由主義在技術層面的轉變。全球化時代我國的學科評估，同樣應適應時代、社會發(fā)展的需要，引入并強化影響力評估。尤其是對于科研轉化意識、能力和現狀都比較弱的我國，更應該通過學科評估指標引導高校學科建設關注社會的需要。因此，建議在后續(xù)的學科評估中，以社會影響力指標取代學科聲譽這一主觀指標，并賦予其較大的權重。這種改變，即保持了原有評估體系的價值判斷，又能避免學科聲譽評估過于主觀和容易引起“馬太效應”的弊端，激發(fā)高校培育研究的社會轉化意識和能力。

（二）重視學科社會影響力評估的規(guī)范化和公開化

與傳統的科研結果評估相比，科研影響力評估具有如下不同：

針對科研影響力評估的上述特點，英國科研卓越評估中的科研影響力評估過程完全透明，評估結果公開出版，接受公開的討論。作為非官方的機構，英國高等教育基金委員會在推行科研影響力評估的過程中，無論是評估標準和比重的確立、方法和指標確定、評估人員的組建還是評估結果的發(fā)布等均經信息公開制度、聽證制度，提高了決策的民主性和科學性，引導社會各界參與評估過程。對于所有文件、報告及評估材料，均公布的在網站上，供利益相關者下載和使用。這種規(guī)范和公開，一方面增加了評估的科學性和公正性；另一方面，也實現了引導公眾關注科研的社會價值的目標。實際上，任何新的政策的引入，由于人類認識的不充分性和因果假設的有效性，首次計劃往往需要詳細的論證和研究。因此，我國學科評估社會影響力指標的引入，應避免政府頒布即實施的強制模式，增加指標引入的探索性和研究性。具體來說，在規(guī)范性方面，應延長指標引入的過程，給與更多時間調動利益相關者的充分參與，在討論中提升指標的科學性。在公開性方面，應把學科評估標準、方法形成的過程、評估人員的組建情況、院校遞交的評估材料等均公布在網站上。尤其應及早公布評估指標的權重，從而充分發(fā)揮評估引導學科建設的功能。

（三）以治理引導學科社會影響力評估

作為清楚的政治信號的科研影響力評估，代表著英國政府和高校之間關系經歷了從50年代60年代的自由放任，70年代和80年代的干預問責，轉向為賦予高校更多自治自律與自我調節(jié)的現階段。羅德·羅茨指出，治理，就是網絡化的公共行為，一種非預先設定的和常歷常新的合作，與過去的行政登記和因循守舊的程序有很大的不同。[16]由于科研影響力評估標準的模糊，因此應通過治理的方式推行，評估應強調主體的多元，方向的多維與底部的自治。具體來講，我國的學科社會影響力評估應明確大學與政府、市場、社會之間的相對邊界。在評估主體上，應從以內部評估為主的同行評議和總結性評估，發(fā)展為強調多元利益相關者平等參與的前瞻性評估。在方向的多維上，應以傳統評估強調科研結果的學術維度，發(fā)展為寬泛的、重視社會收益的多元維度。在底部的自治上，重在引導高校在復雜的知識生產游戲中成為積極的伙伴，通過自上而下的指標引導與自下而上的參與互動，培養(yǎng)高校主動衡量、控制研究質量，提升自律自治的能力。

（四）重視社會影響力評估的學習效應

托馬斯·戴伊認為，評估的價值不僅體現在衡量目標的實現程度上，還應關注是否促進了目標群體的相互學習，是否推進了未來活動的完善。英國科研卓越評估中的科研影響力評估非常重視評估學習效應的發(fā)揮，無論是引導多元利益相關者參與評估的整個進程，還是相關評估文件和材料的網絡公開，根本的目的就在于促進相關者之間的相互理解與相互學習，提升其自主自治的能力，促進未來評估實踐的進一步完善。我國學科社會影響力評估應從僅僅強調對高校學科進行總結性鑒定的“評審”模型轉為充分發(fā)揮其學習效應的“輔導”模型。在評估標準和方法的確定中，通過合作性的研究和探討加強高校和社會利益團體之間的聯系，熟悉對方的文化，轉變各自的視域。在評估的過程中，注重對高校提供必要的指導和幫助，幫助高校更好的理解社會影響力的涵義和價值，并在此基礎上撰寫研究計劃、收集影響案例，提升對科研的管理能力。評估結束后，重視對評估結果的再研究和再分析，在明確評估優(yōu)勢與劣勢基礎上，推進后續(xù)評估的完善。[17]總之，重視學習效應的社會影響力評估應通過深度有意義的對話和辯論推動利益相關者之間的相互學習。當然，對話與辯論的目的不在于快速確定唯一的答案，因為，任何新的標準都會在理性的辯論中被更新的標準所打破，而這種打破和更新的標準的出現，正是評估理應發(fā)揮的效應。

參考文獻：

[1]常文磊.英國科學評估制度與大學學科發(fā)展[M].北京：教育科學出版社，2014：82.

[2]Simon Smitha，Vicky Warda，Allan Houseb.‘Impactin the Proposals for the UKs Research Excellence Framework：Shifting the Boundaries of Academic Autonomy[J].Research Policy，2011，40（10）：1369-1379.

[3]Decisions on Assessing Research Impact[EB/OL].[2017-09-01].http：//www.ref.ac.uk/pubs/2011-01/.

[4]Hanan Khazragui1，John Hudson.Measuring the Benefits of University Research：Impact and the REF in the UK[J].Research Evaluation，2015，（24） 24：51-62

[5]Units of Assessment and Recruitment of Expert Panels[EB/OL].[2017-09-01].http：//www.ref.ac.uk/pubs/2010-01/.

[6][7]Catriona Manville，Susan Guthrie，Marie-Louise Henham，Bryn Garrod，Sonia Sousa，Anne Kirtley，Sophie Castle-Clarke and Tom Ling.Assessing impact submissions for REF 2014：An Evaluation[EB/OL].[2015-10-20].http：//www.rand.org/pubs/research_reports/RR1032.html.

[8]俞可平.治理與善治[M].北京：社會科學文獻出版社，2000：41.

[9][美]戴伊.理解公共政策[M].孫彩紅，譯.北京：北京大學出版社，2008：332.

[10]Impart and the Research Excellence Framework[EB/OL].[2012-10-25].http：//www.rand.org/pubs/corporate_pubs/CP661.html.

[11]Richard Watermeyer .Impact in the REF：Issues and Obstacles[J].Studies in Higher Education，2016，41（2）：199-214.

[12]Tony Murphya and Daniel Sageb.Perceptions of the UKs Research Excellence Framework 2014：A Media Analysis[J].Journal of Higher Education Policy and Management，2014，36（6）：603-615.

[13]Mark Olssen .Neoliberal Competition in Higher Education Today：Research，Accountability and Impact[M].British Journal of Sociology of Education，2016，37（1）：129-148.

[14]Sonja Marjanovic，Stephen Hanney，Steven Wooding .A Historical Reflection on Research Evaluation Studies，Their Recurrent Themes and Challenges[EB/OL].[2009-04-13].http：//www.rand.org/pubs/technical_reports/TR789.html.

[15]REF 2014.Research Excellence Framework Impact Pilot Exercise Findings of the Expert Panels[EB/OL].[2010-11-20].http：//www.res.org.uk/SpringboardWebApp/userfiles/res/file/CHUDE%20Minutes/Consultation%20&%20Survey/re01_10_REF_Findings_Nov_2010.pdf.

[16][法]讓·皮埃爾·戈丹.何謂治理[M].鐘震宇，譯.北京：社會科學文獻出版社，2010：26.

[17]Teresa Penfield1，Matthew J.Baker1，Rosa Scoble and Michael C.Wykes1，Assessment，Evaluations，and Definitions of Research Impact：A Review[J].Research Evaluation ，2014（23）：21-32 .

（責任編輯 賴佳）