陳潔修，馬春梅，朱軍文（上海交通大學高等教育研究院，上海200240）

澳大利亞卓越研究評價的宗旨、方法與運行機制

陳潔修，馬春梅，朱軍文
（上海交通大學高等教育研究院，上海200240）

摘要：通過對澳大利亞卓越研究評價2010年、2012年評價實踐和2015年實施方案的分析，發(fā)現(xiàn)卓越研究評價在既定宗旨的規(guī)制下，已形成較為穩(wěn)定的評價方法和運行機制，其中包括以學科及相應參評基準為依據(jù)劃分評價單元、定量與定性相結合的評價指標及指標選取原則、依據(jù)學科類型特點采用同行評議與引文分析相結合的評價方法、與國際接軌的評價結果等級標準、半官方背景的第三方評價組織機構、詳細的參評資料收集與提交規(guī)定、開放多元的評價專家遴選方式與規(guī)范透明的同行評議流程等。澳大利亞卓越研究評價對我國當前深化高校科技評價改革具有多方面的參考價值。

關鍵詞：澳大利亞；科研評價；卓越研究；運行機制

澳大利亞卓越研究（Excellence in Research for Australia，ERA）是全方位確認和提升澳大利亞高?？蒲谢顒淤|量的評價項目。該項目于2009年試運行，2010年全面實施，是澳大利亞政府首次在全國范圍內(nèi)對高?？蒲泻蛯W科水平的盤點。2012年開展了第二次全面評估，下一輪評估即將于2015年啟動［1］。經(jīng)過兩輪的實踐，澳大利亞卓越研究評價在既定宗旨的規(guī)制下，已形成較為穩(wěn)定的評價方法和運行機制。

一、卓越研究評價的宏觀背景與宗旨

（一）卓越研究評價的宏觀背景

卓越研究評價體系的建立，與公共財政對高等教育經(jīng)費投入的不斷增長密不可分。上世紀中葉，澳大利亞開始加大對高等教育的投入，并通過科研優(yōu)先發(fā)展計劃和競爭性撥款項目等，引導高等教育體系和科技活動的發(fā)展方向［2］。1960年澳大利亞公共財政對高等教育的投入是3.04億澳元［3］，2013年增加到了285億澳元［4］，政府資助占大學辦學經(jīng)費收入的比例曾一度達到90%以上［5］。如何公平、合理、有效地分配不斷增加的公共資源投入，成為各方關注的焦點。一方面，政府有義務向納稅人提供公共資源的流向及其對高等教育產(chǎn)生的實際影響等信息［2］；另一方面，政府撥款既要保證基礎研究的卓越發(fā)展，又要及時把握學科動向，資助新興學科的成長，還要促進學科間、機構間以及國際間的交流與合作。沒有一個完善的評價體系，無法在高等教育機構之間做到公平、合理并形成公信力［6］。全國統(tǒng)一的卓越研究評價在一定程度上解決了高校以及相關科研機構公共財政經(jīng)費分配、使用與績效評價問題。

高等教育質量保障與提升創(chuàng)新質量的長期探索為實施卓越研究評價提供了堅實基礎。從上世紀70年代末期開始，澳大利亞開始有組織地推動高校開展內(nèi)部評價，加強課程和教學質量。到80年代中期，政府開始設置專門的評價與監(jiān)管項目，協(xié)助高校完善自我評價，逐步引入基于評價的公共經(jīng)費撥款機制。將內(nèi)部評價結果與部分經(jīng)費分配掛鉤是高校由自主評價向外部主導的全國統(tǒng)一評價過渡的重要階段。90年代末期，隨著對創(chuàng)新質量的重視，獨立的外部統(tǒng)一評價機制逐漸形成。2000年，澳大利亞大學質量署（Australian University Quality Agency）建立，作為獨立的運行主體，負責對高等教育和科研機構進行監(jiān)督，并頒布了行動法案以明確對學科進行周期性獨立評價的必要性。這為實施卓越研究奠定了堅實的基礎。澳大利亞卓越研究評價發(fā)展的標志性歷程如表1所示。

（二）卓越研究評價的宗旨

卓越研究評價的宗旨是：在澳大利亞教育機構范圍內(nèi)的科研活動中，鑒定出卓越的研究領域（包括探索和應用研究領域）或科研機構，并通過相關科研基金的支持，推動前沿領域的卓越化和國際化發(fā)展［1］。在此宗旨下，卓越研究的主要目標包括：建立完善的學術評價框架；提供分學科的科研力量國家盤點；在全學科范圍內(nèi)鑒定卓越研究；鑒定新興的研究領域和未來發(fā)展的前沿；為澳大利亞學術研究提供國內(nèi)和國際層面上的比較［7］。評價結果以分機構和分學科兩種方式展開，以評級的形式展現(xiàn)澳大利亞學術機構的科研能力，也為高等教育機構的未來發(fā)展提供建議［8］。2011-2013年，澳大利亞政府與科研機構展開了一系列任務導向的合作關系，卓越研究所開展的科研表現(xiàn)

表1　澳大利亞卓越研究評價發(fā)展的標志性歷程

資料來源：（1）KIM J. Higher Education Funding Policy ［EB/OL］.［2003-06-02］. http：//www.aph.gov.au/About_Parliament/ Parliamentary_Departments/Parliamentary_Library/Publications_ Archive/archive/hefunding.

（2）BREEN J. Higher Education in Australia［EB/OL］. ［2002-12］. http：//www.csse.monash.edu.au/～jwb/aused/aused.html.

（3）SHAH M， NAIR S， WILSON M. Quality Assurance in Australian Higher Education： Historical and Future Development ［J］. Asia Pacific Education Review， 2011， 12（3）： 475-483.

（4）BRADLEY D， NOONAN P， NUGENT H， et al. Review of Australian Higher Education： Final Report［R］. Canberra： DEEWR，2008.評價活動是其中的重要組成部分。卓越研究的評價結果主要被應用于以下三個方面：進一步指導政府與科研機構合作關系；發(fā)放卓越研究可持續(xù)發(fā)展基金（Sustainable Research Excellence in Universities）；為高等教育質量和標準署（Tertiary Education Quality and Standards Agency）的高等教育研究與培訓考核提供最低標準［9］。

二、卓越研究評價的方法與指標體系

（一）以學科及相應參評基準為依據(jù)劃分評價單元

卓越研究以學科為基本單元對高校進行評價。學科分類采用澳大利亞和新西蘭標準化分類（Australian and New Zealand Standard Research Classification）。該分類根據(jù)學科范圍大小將學科標記為四位代碼和兩位代碼。機構以四位代碼或兩位代碼的標準化學科分類收集整理參評數(shù)據(jù)，提交評價委員會，參加相應學科評價與跨校比較。對交叉學科和綜合學科的評價則通過學科分解的方式進行，一項研究成果如果同時被歸類到了其他學科，檔案中應有所標注。評價委員會有權查看每一個評價單元的“學科檔案”［8］。

卓越研究對高校的參評學科有一個明確基準，該基準根據(jù)學科不同略有差異，達到參評基準的學科才能納入評價。對于使用引文分析法進行評價的學科，在六年有效期內(nèi)，該學科在指定期刊上發(fā)表的論文數(shù)不得低于50篇；使用同行評議法進行評價的學科對成果數(shù)量的要求基本相同。但在計算參評標準具體得分時，研究專著在同行評議中以5∶1的比例計入學術成果。

（二）定量與定性相結合的評價指標與指標選取原則

科學、合理的指標體系對于實現(xiàn)評價的預定目標起著關鍵性的作用［10］。2008年，澳大利亞研究理事會召集成立了一個由科研計量和統(tǒng)計專家組成的指標發(fā)展小組（Indicator Development Group），經(jīng)過多次討論后發(fā)布了一份評價指標咨詢文件，就評價指標設置原則和指標選擇廣泛征求各界建議，最終形成了卓越研究的評價指標體系［8］。卓越研究評價指標的選取原則如表2所示。

表2　澳大利亞卓越研究評價指標原則

根據(jù)上述原則，經(jīng)過兩輪的正式評價，相關評價指標已經(jīng)基本穩(wěn)定，主要包括六個方面［11］。

一是成果數(shù)量和活躍度。此項指標包括科研成果的數(shù)量和全職科研人員基本信息。它并不與科研質量直接相關，但可以為評價委員會提供該學科的背景信息。

二是出版物檔案。出版物形式主要有四種：學術專著、著作章節(jié)、期刊論文以及會議論文。出版物檔案可以幫助評價委員會對于評價單元內(nèi)出版物的深度和廣度作出鑒定。此項指標不適用于上述四種出版物形式之外的非傳統(tǒng)型研究成果評價。

三是引文分析指標。只有發(fā)表在斯高帕斯數(shù)據(jù)庫（Scopus）收錄期刊上的研究成果方可進行引文分析。引文分析指標包括：1）基于世界百分數(shù)闕值（World CentileThreshold）和高于澳大利亞科研機構平均水平的論文傳播量；2）在相關引文影響級別上的論文傳播量；3）以澳大利亞科研機構和世界基準為參考所計算出的相關引文影響（Relative Citation Impact）。這三個指標互為補充，在評價科研成果時需同時使用。

四是同行評議報告。以同行評議方法為主的學科，評議專家并不對研究成果進行打分或評級，而是以報告的形式向評價委員會提供專業(yè)意見。

五是研究收入。研究收入包括四類：1）來自澳大利亞競爭性基金；2）來自其他公共團體的科研收入；3）來自工業(yè)應用和其他科研收入；4）來自合作科研中心收入。

六是成果應用。成果應用包括知識產(chǎn)權和科研產(chǎn)業(yè)化收入兩部分。

此外，參評學科還需要向評價委員會提交一份說明函件，向評價委員會說明該學科科研活動所處的環(huán)境，引導評價委員會更多地關注評價單元的自身特點。

（三）依據(jù)學科類型特點采用同行評議與引文分析相結合的評價方法

同行評議和文獻計量學的引文分析方法是卓越研究評價使用最多的兩種方法。依據(jù)學科的類型和特點，這兩種方法的使用各有側重。在自然科學領域中，經(jīng)常使用引文分析作為評價方法。這種判定方法的優(yōu)點在于，它可以用更少的精力得出與同行評議相似的評價結果。在人文社科領域中，由于科研成果種類多樣，涵蓋書籍、報告和一些非傳統(tǒng)的產(chǎn)出形式，單純地使用引文分析法會使科研質量的評價有失水準［12］。因此，同行評議是更加常用的評價方法。

澳大利亞研究理事會在回顧2012年卓越研究評價實踐中所有的引文分析數(shù)據(jù)之后認為：總體上看，在學科評價中引文分析比同行評議更適合被用來作為評判科研質量的指標。但當可被索引的期刊文獻低于科研成果的50%的時候，通過同行評議的方法所得出的評價結果更加可靠［8］。

（四）與國際接軌的評價結果等級標準

卓越研究采用五分制的等級尺度，如表3所示。該等級尺度以世界水平為基準進行了劃分。最高等級為5級，表示學術表現(xiàn)遠超世界水平；最低等級為1級，表示學術表現(xiàn)遠低于世界水平［8］。

表3　澳大利亞卓越研究評價結果等級劃分及描述

三、卓越研究評價的運行機制

（一）半官方背景的第三方評價組織機構

卓越研究評價隸屬于澳大利亞研究理事會。澳大利亞研究理事會成立于1988年，與學校理事會、高等教育理事會、就業(yè)與技能培訓理事會等共同組成了全國就業(yè)、教育和培訓局，自成立伊始便承擔著為政府和高校提供政策建議的功能［13］。2001年，澳大利亞研究理事會正式成為一個獨立機構，全面負責對研究經(jīng)費申請者的評估過程。但分管教育的部長仍掌握著指派該機構首席執(zhí)行官和委員會工作人員的權力，并對機構的工作計劃和內(nèi)容擁有審核權［14］。

（二）詳細規(guī)范的參評資料收集與提交規(guī)定

卓越研究對于不同類型研究成果的時效進行了明確的規(guī)定。學術論文成果一般以近6年發(fā)表的成果為對象，科研收入、成果應用等則以近3年為標準。這提高了在不同高校間進行橫向比較的準確性。2012年澳大利亞卓越研究評價認可的期刊列表中共有22414種學術期刊，在此范圍內(nèi)的學術成果均能作為參評數(shù)據(jù)提交給評價委員會［15］。廣泛的期刊來源最大限度地降低了期刊等級對論文質量評定的影響，以便參評機構將最有代表性的成果提交給評價委員會。

（三）開放多元的評價專家遴選方式與規(guī)范透明的評議流程

同行評議的效果在很大程度上取決于參與評價的專家。評議專家太少或者專家來源渠道狹窄，可能會影響評價結果的信度和效度［16］。因此，卓越研究評價按照學科群設立了八個評價委員會，分別負責相應的評價工作。委員會成員由國際知名學者組成，專家的學科背景需與評價單元的四位代碼學科相匹配。開放多元的專家遴選方式，降低了利益相關者對評價過程和結果的潛在影響。

表4　2012年澳大利亞卓越研究主要評議階段與過程

表4列出了評議的幾個階段和相應的評價工作。參與評議的學科，需提交該學科30%的科研成果作為參評數(shù)據(jù)。這些成果通過網(wǎng)絡在線系統(tǒng)分配給評議專家。若評議專家與所分配成果存在利益沖突或敏感性問題，需自行上報評價委員會，以便撤回或者重新分配［8］。為了保證不同評議專家之間的標準統(tǒng)一，評議專家需要閱讀同一評價單元內(nèi)的全部參評數(shù)據(jù)。同行評議專家需針對每一個評價學科出具一份評價報告。報告中包含對科研成果質量的文字性描述，以及對其所用方法和科研貢獻的評定，但不需要對該成果進行任何形式的等級劃分或排名。在收到評價報告后，評價委員會將把報告中提出的意見作為基礎，經(jīng)過一系列調(diào)整后，同其他定量評價指標一起納入評價委員會的最終評價。

四、啟示與借鑒

（一）瞄準國際水準，實現(xiàn)科研卓越

質量是科學研究的本質規(guī)定性。澳大利亞卓越研究評價既是回應公共研發(fā)經(jīng)費分配與使用的公平、公正及提升績效的需要，也是對知識經(jīng)濟時代該國高等教育質量（包括創(chuàng)新質量）的促進與保障。卓越研究的宗旨就是對澳大利亞的學術研究活動進行國際層面的比較，并瞄準國際水準推進該國的研究水平與學科前沿方向。為了實現(xiàn)這一目標，卓越研究評價委員會成員由獲得國際認可的著名學者組成，同行評議專家則面向全世界公開招募、擇優(yōu)選拔。在參評機構及學科的評級標準上，以世界水平為基準，直觀地展現(xiàn)了不同機構及學科與世界水平的差距。該評價項目為提升澳大利亞科技領域的國際競爭力提供了新動力。

（二）評價內(nèi)容綜合化，評價方法針對性強

卓越研究評價雖然以標準化的學科為評價單元，但是其評價內(nèi)容卻從單一維度朝著多重維度的方向發(fā)展。從評價指標及其選取原則可知，卓越研究評價除對科研論文產(chǎn)出進行評價外，對科研投入和科研過程也日益重視?？蒲谐晒膽煤陀绊懥υ诳蒲性u價中的地位也有所上升。從評價方法看，針對學科特點和差異，引文分析的定量方法和同行評價方法沒有偏廢。在運用引文分析方法中，強調(diào)文獻數(shù)量必須達到基本要求，并且科研成果須已被大型數(shù)據(jù)庫收錄，以保證被引數(shù)據(jù)的意義。針對與引文分析方法難以很好匹配的人文學科和交叉學科的評價，則更多依賴同行評價，力求將同行評議與引文分析有效結合，并且借助相關說明函件來提高評價結果的效度。

（三）開放、公開、公平的機制確保評價的公信度

開放多元的專家遴選機制、評價指標制定過程中的公眾參與以及透明的評價流程等，貫穿于評價活動的全過程。為了保證研究評價委員會的評價過程能夠得到有效的監(jiān)督，從2012年開始，研究理事會設立專門的審查委員會，旨在對研究評價委員會成員們的科研背景進行調(diào)查，并對其科研成果進行分析，以確保委員會成員與被評價對象之間沒有利益關系［8］。嚴格公開的評價指標篩選、來源廣泛且規(guī)模龐大的國際同行評審專家?guī)旖ㄔO、評價專家學科背景與被評學科的匹配、“單盲評審”以及評審專家利益回避原則等保障了卓越研究評價的公信力。

（四）評價結果與資源配置掛鉤

在卓越研究評價最終報告發(fā)布之后，澳大利亞研究理事會參照評價結果將科研基金優(yōu)先發(fā)放給表現(xiàn)突出、具有發(fā)展?jié)摿Φ膶W科與機構。根據(jù)2012年卓越研究評價結果，澳大利亞研究理事會公布了6800萬澳元的科研經(jīng)費分配情況。此外，隸屬于理事會的國家科研優(yōu)先發(fā)展計劃和國家競爭性撥款項目也將根據(jù)評價結果來分配近8億澳元的競爭性經(jīng)費［9］。卓越研究的評價結果與資源配置掛鉤，一方面增強了評價自身的權威性和導向性；另一方面，全國性的科研評價項目也使得科研經(jīng)費的分配過程較為公正、透明。

（五）對交叉學科領域的評價亟待調(diào)整

卓越研究評價的材料提交和結果呈現(xiàn)階段均采用分學科和分機構的劃分方式，此舉很好地解決了澳大利亞以往評價標準全國不統(tǒng)一、學科間不具可比性的問題。然而，澳大利亞高級學會（Australian Council of the Learned Academies）在2012年的一份報告中指出，澳大利亞卓越評價不能很好地“評估與呈現(xiàn)交叉學科領域研究狀況”［17］。原因主要有兩方面：一是在材料提交過程中，交叉學科領域的研究會被拆分成不同的部分，這對于評價結果有很大的影響；二是交叉學科的研究往往不能在某一特定領域的高水平期刊上發(fā)表文章，因而在影響因子的橫向對比中不占優(yōu)勢。交叉學科領域是未來科研發(fā)展和應用創(chuàng)新的重點，為了實現(xiàn)“鑒定與推動卓越研究和前沿領域發(fā)展”的目標，卓越研究對其評價方式亟待調(diào)整。

參考文獻

［1］Australian Research Council. Excellence in Research for Australia ［EB/OL］. ［2014-07-03］. http：//www.arc.gov.au/era/default.htm.

［2］CHAPMAN B， RYAN C. Higher Education Financing and Student Access： A Review of the Literature［EB/OL］. ［2014-07-03］. http：//www. doc88.com/p-941563226542.html.

［3］Australian Bureau of Statistics.Australian Schools：Participation and Funding 1901 to 2000［EB/OL］.［2007-10-03］.http：//www.abs.gov. au/Ausstats/abs@.nsf/0/A75909A2108CECAACA2569DE002539FB？Open.

［4］The World Bank. Australia GDP ［EB/OL］.［2014-10-23］.http：//data.worldbank.org.cn/country/australia.

［5］KIM J. Higher Education Funding Policy［EB/OL］.［2003-06-02］. http：//www.aph.gov.au/About_Parliament/Parliamentary_Departments/ Parliamentary_Library/Publications_Archive/archive/hefunding.

［6］王成云， 閻紅梅. 澳大利亞高等教育改革的態(tài)勢分析［J］. 高教探索， 2006（3）： 20.

［7］Australian Research Council. Annual Report 2010［R］. Canberra：Australian Government， 2010.

［8］Australian Research Council. ERA 2012 Evaluation Handbook［R］. Canberra： Australian Government， 2012.

［9］Australian Research Council. Excellence in Research for Australia 2012 National Report［R］. Canberra： Australian Government， 2012. ［10］丁敬達， 邱均平. 科研評價指標體系優(yōu)化方法研究——以中國高?？萍紕?chuàng)新競爭力評價為例［J］.科研管理， 2010（4）：111-118.

［11］Australian Research Council. ERA Indicator Principles［R］. Canberra： Australian Government， 2012.

［12］BUTLER L. Using a Balanced Approach to Bibliometrics：Quantitative Performance Measures in the Australian Research Quality Framework［J］. Ethics in Science and Environmental politics， 2008， 8（1）： 83-92.

［13］Department of Education， Science and Training. Employment，Education and Training Act 1988［EB/OL］. ［1988-06-24］. http：//www.comlaw.gov.au/Details/C2004A03673.

［14］Office of Parliamentary Counsel. Australian Research Council Act 2001［R］. Canberra： Parliamentary Counsel， 2001.

［15］Australian Research Council. ERA 2012 Peer Review Handbook ［R］. Canberra： Australian Government， 2012.

［16］ALLEN L， JONES C， DOLBY K， et al. Looking for Landmarks：the Role of Expert Review and Bibliometric Analysis in Evaluating Scientific Publication Outputs［J］. PLoS ONE， 2009， 4（6）： e5910. ［17］BAMMER G. Strengthening Interdisciplinary Research： What It Is， What It Does， How It Does and How It Is Supported［M］.

Melbourne：Australian Council of Learned Academies， 2012.

收稿日期：2014-10-31

基金項目：教育部科學技術研究（戰(zhàn)略研究類）項目“高?？萍挤诸愒u價的國際比較與借鑒”（113002C）。

作者簡介：陳潔修，女，1990年生，山東濟南人，上海交通大學高等教育研究院碩士研究生；馬春梅，女，1984年生，重慶人，上海交通大學高等教育研究院研究助理；朱軍文，男，1973年生，安徽巢湖人，博士生導師，上海交通大學高等教育研究院副研究員，主要研究領域為高校創(chuàng)新政策與評價、高校人才政策與評價、科教體制轉型與效率。

The Purpose，Methods and Operational Mechanism of Excellence in Research for Australia

CHEN Jie-xiu，MA Chun-mei，ZHU Jun-wen （Graduate School of Education，Shanghai Jiao Tong University，Shanghai 200240，China）

Abstract:Through an analysis of the evaluation practice in 2010 and 2012，and the implementation plan of 2015，the study discovers that Excellence in Research for Australia has formed a stable operational mechanism，including the division of evaluation units based on subjects and relevant standards，the combination of qualitative and quantitative evaluation indicators and selection principle，the evaluation method combining peer review and citation analysis based on disciplinary characteristics，the international grade on evaluation outcomes，the semiofficial third-party organizational structure，specific regulations on materials'collection and submission，open and diversified expert selection method，and standardized and transparent peer review process.Excellence in Research for Australia has positive reference value for China's reform of university research evaluation.

Key words:Australia；Research Evaluation；ERA；Operational Mechanism