張雅男　理　娜

(1.天津社會(huì)科學(xué)院圖書(shū)館　天津　300191；2.天津工業(yè)大學(xué)圖書(shū)館　天津　300071)

?

國(guó)內(nèi)外學(xué)術(shù)評(píng)價(jià)方法比較研究

張雅男1理娜2

(1.天津社會(huì)科學(xué)院圖書(shū)館天津300191；2.天津工業(yè)大學(xué)圖書(shū)館天津300071)

摘要：學(xué)術(shù)評(píng)價(jià)是規(guī)范學(xué)術(shù)行為的重要手段，包含定量和定性兩種評(píng)價(jià)方式。國(guó)內(nèi)外經(jīng)過(guò)多年的發(fā)展形成了各自的學(xué)術(shù)評(píng)價(jià)特點(diǎn)。文章分別從論文質(zhì)量的表征方式、量化指標(biāo)的理論基礎(chǔ)、對(duì)客體差異性的考慮三個(gè)量化評(píng)價(jià)角度，及同行評(píng)議的目的、組織形式、專家遴選等質(zhì)性方面就我國(guó)與主要發(fā)達(dá)國(guó)家的學(xué)術(shù)評(píng)價(jià)方法進(jìn)行了對(duì)比分析，為我國(guó)學(xué)術(shù)評(píng)價(jià)工作的開(kāi)展提供了一些建議。

關(guān)鍵詞：學(xué)術(shù)評(píng)價(jià)；定量評(píng)價(jià)；同行評(píng)議

學(xué)術(shù)評(píng)價(jià)是規(guī)范學(xué)術(shù)行為、維護(hù)學(xué)術(shù)秩序、保障學(xué)術(shù)質(zhì)量的重要手段，包括定量評(píng)價(jià)和定性評(píng)價(jià)兩個(gè)層面。經(jīng)過(guò)多年的發(fā)展，國(guó)內(nèi)外不同國(guó)家在學(xué)術(shù)評(píng)價(jià)方面都形成了符合各國(guó)實(shí)情的發(fā)展特點(diǎn)。將我國(guó)與其他發(fā)達(dá)國(guó)家的學(xué)術(shù)評(píng)價(jià)方法進(jìn)行對(duì)比，有利于為我國(guó)學(xué)術(shù)評(píng)價(jià)工作的開(kāi)展提供借鑒和啟示。

1國(guó)內(nèi)外主要國(guó)家學(xué)術(shù)評(píng)價(jià)的特點(diǎn)

1.1國(guó)外主要國(guó)家學(xué)術(shù)評(píng)價(jià)的特點(diǎn)

筆者分別以“academic evaluation”、“academic appraisal”、“academic performance”、“peer review”為主題詞，對(duì)ERIC、EBSCO、Emerald數(shù)據(jù)庫(kù)進(jìn)行文獻(xiàn)檢索，分析檢索結(jié)果，歸納總結(jié)出主要發(fā)達(dá)國(guó)家在學(xué)術(shù)評(píng)價(jià)上的各自特點(diǎn)。

受基礎(chǔ)科學(xué)規(guī)模小、本國(guó)專家評(píng)議力量有限等因素的影響，在學(xué)術(shù)評(píng)價(jià)方面，荷蘭成為歐洲最早最全面使用量化評(píng)價(jià)的國(guó)家之一，量化評(píng)價(jià)是其主要的評(píng)價(jià)方法，近年來(lái)提出的“皇冠指數(shù)(Crown Indicator)”[1]是對(duì)國(guó)際量化評(píng)價(jià)指標(biāo)體系的一大補(bǔ)充。英、法、美三國(guó)對(duì)量化方法的使用較為謹(jǐn)慎，多采用同行評(píng)議或?qū)W術(shù)共同體評(píng)議的方式進(jìn)行學(xué)術(shù)評(píng)價(jià)，特別是美國(guó)，由于其具有較好的大學(xué)學(xué)術(shù)自由和學(xué)術(shù)權(quán)利，自主性強(qiáng)，同行評(píng)議成為學(xué)術(shù)評(píng)價(jià)的主流，出現(xiàn)了較多關(guān)于同行評(píng)議發(fā)展歷史、基本原理、構(gòu)成、規(guī)范及優(yōu)缺點(diǎn)等問(wèn)題的分析討論。澳大利亞主要實(shí)行文獻(xiàn)計(jì)量指標(biāo)(Bibliometric indicators)和非文獻(xiàn)計(jì)量指標(biāo)(Non-bibliometric indicators)[2]相結(jié)合的方法，并會(huì)根據(jù)不同科研性質(zhì)、不同研究領(lǐng)域制定科學(xué)合理的科研規(guī)范和評(píng)價(jià)指標(biāo)體系，如專門(mén)制定了適用于創(chuàng)造性藝術(shù)學(xué)科的非文獻(xiàn)計(jì)量指標(biāo)：舞蹈家、演員、音樂(lè)家、劇作家在公開(kāi)場(chǎng)合的表演，建筑師和設(shè)計(jì)師的建筑或創(chuàng)造等[3]。

1.2國(guó)內(nèi)學(xué)術(shù)評(píng)價(jià)的特點(diǎn)

筆者以“學(xué)術(shù)評(píng)價(jià)”、“科研評(píng)價(jià)”為主題詞，對(duì)CNKI中國(guó)期刊全文數(shù)據(jù)庫(kù)進(jìn)行檢索，分析檢索結(jié)果，發(fā)現(xiàn)我國(guó)學(xué)術(shù)評(píng)價(jià)表現(xiàn)出理論研究較多、實(shí)踐運(yùn)用單一的特點(diǎn)。一方面，國(guó)內(nèi)學(xué)者圍繞學(xué)術(shù)評(píng)價(jià)制度的歷史沿革、現(xiàn)行制度的利弊分析、現(xiàn)有量化評(píng)價(jià)指標(biāo)(論文數(shù)量、期刊影響因子、論文被引情況等)的探討和修正及如何從原則、規(guī)范上加強(qiáng)學(xué)術(shù)評(píng)價(jià)體系建設(shè)等方面展開(kāi)了豐富的理論探討；另一方面，在實(shí)際運(yùn)用中，國(guó)內(nèi)學(xué)術(shù)評(píng)價(jià)主要以量化評(píng)價(jià)為主，但我國(guó)量化評(píng)價(jià)方法與荷蘭等量化評(píng)價(jià)發(fā)達(dá)國(guó)家相比又表現(xiàn)出以數(shù)量為主的特點(diǎn)，雖也力求質(zhì)量的評(píng)價(jià)，但在實(shí)踐中卻因存在著量化指標(biāo)不完善或設(shè)計(jì)不合理等問(wèn)題而較難實(shí)現(xiàn)。此外，對(duì)同行評(píng)議及人文社科、藝術(shù)科學(xué)領(lǐng)域的學(xué)術(shù)評(píng)價(jià)研究也較少。

2國(guó)內(nèi)外學(xué)術(shù)評(píng)價(jià)方法比較

2.1量化評(píng)價(jià)方法

量化評(píng)價(jià)是學(xué)術(shù)評(píng)價(jià)的主要方法之一。我國(guó)量化評(píng)價(jià)和國(guó)外相比起步較晚，在評(píng)價(jià)指標(biāo)和體系上存在著不足。下面將從論文質(zhì)量表征方式、量化指標(biāo)基礎(chǔ)理論、評(píng)價(jià)指標(biāo)差異性三方面對(duì)國(guó)內(nèi)外量化評(píng)價(jià)方法進(jìn)行對(duì)比分析。

2.1.1論文質(zhì)量的表征方式

我國(guó)學(xué)術(shù)評(píng)價(jià)中常用的量化指標(biāo)主要有學(xué)術(shù)成果數(shù)量、成果發(fā)表的刊物或出版社級(jí)別、成果所獲獎(jiǎng)項(xiàng)等。由于文章數(shù)量多并不等于科研水平高，某一期刊的水平高，并不等于該刊所有文章質(zhì)量都好，以上評(píng)價(jià)指標(biāo)在實(shí)際操作中缺乏對(duì)論文質(zhì)量的控制。國(guó)外量化指標(biāo)和評(píng)價(jià)方法則更多地關(guān)注論文質(zhì)量，他們提出通過(guò)引用理論分析證明，以引用次數(shù)作為參數(shù)的指標(biāo)可以很好地表征受評(píng)人員論文對(duì)學(xué)科以及學(xué)術(shù)產(chǎn)生的影響。因此，國(guó)外發(fā)達(dá)國(guó)家主要通過(guò)論文篇均引用次數(shù)(剔除自引次數(shù))、h指數(shù)、皇冠指數(shù)等指標(biāo)對(duì)科研成果進(jìn)行質(zhì)量評(píng)估。

2.1.2量化指標(biāo)的理論基礎(chǔ)

國(guó)內(nèi)科研成果評(píng)價(jià)多采用歸納法，即從已有的研究中抽取一些被認(rèn)為對(duì)科研結(jié)果有影響的指標(biāo)，把它們羅列在一起，而研究者卻很少會(huì)對(duì)指標(biāo)選擇的多少、指標(biāo)間的相對(duì)重要性做詳細(xì)地研究，評(píng)價(jià)最終也往往以合成個(gè)人分?jǐn)?shù)為目的。量化指標(biāo)體系缺乏堅(jiān)實(shí)的理論依據(jù)。相比而言，發(fā)達(dá)國(guó)家采用的指標(biāo)體系大都有其理論根源和詳細(xì)的推導(dǎo)過(guò)程。如，有國(guó)外研究者在指出了目前學(xué)科分類不足后，提出了根據(jù)論文關(guān)鍵詞、參考文獻(xiàn)等的相似性進(jìn)行子學(xué)科聚類的分析方法，通過(guò)此方法，可以精確地識(shí)別與受評(píng)學(xué)術(shù)人員最接近的同行和同類論文。這也是基于學(xué)科歸一化的量化評(píng)價(jià)方法的理論支撐。

2.1.3評(píng)價(jià)指標(biāo)對(duì)差異性的考慮及指標(biāo)的完備性

我國(guó)的學(xué)術(shù)評(píng)價(jià)指標(biāo)在應(yīng)用時(shí)對(duì)學(xué)科、期刊、文章類型等的差異性考慮較少。例如，國(guó)內(nèi)高校在對(duì)來(lái)自不同院系教師進(jìn)行職稱評(píng)定、年度評(píng)獎(jiǎng)時(shí)，往往采用直接比較SCI影響因子大小的方法來(lái)判定論文質(zhì)量的高低，還有一些雖對(duì)SCI進(jìn)行了分區(qū)，但分區(qū)尚不夠全面細(xì)致。這樣就出現(xiàn)了基于有差異性的評(píng)價(jià)客體的評(píng)價(jià)標(biāo)準(zhǔn)，其公允性值得懷疑，因?yàn)閷?duì)于物理、化學(xué)等基礎(chǔ)理論學(xué)科而言，其期刊的平均影響因子往往高于工程類學(xué)科。另一方面，國(guó)內(nèi)高校實(shí)際應(yīng)用的量化指標(biāo)存在過(guò)于簡(jiǎn)單化的情況，僅僅對(duì)比SCI、EI論文數(shù)的現(xiàn)象普遍存在。

在國(guó)外，一些發(fā)達(dá)國(guó)家多采用歸一化指標(biāo)從理論上消除文章類型、學(xué)科、期刊等因素的影響，使得來(lái)自各個(gè)領(lǐng)域的學(xué)術(shù)人員在同一指標(biāo)體系下的公平、公正的比較成為可能。而在指標(biāo)完備性方面，這些國(guó)家在實(shí)際的評(píng)價(jià)過(guò)程中，通常會(huì)綜合運(yùn)用期刊歸一化指標(biāo)、h指數(shù)、文獻(xiàn)聚類分析法、用于識(shí)別引用分布的箱線圖(Box plots)和洛倫茲曲線(Lorenz curve)[4]等量化指標(biāo)，從而更為科學(xué)全面地進(jìn)行評(píng)價(jià)。

2.2同行評(píng)議評(píng)價(jià)方法

同行評(píng)議是自近代科學(xué)誕生以來(lái)一直沿用的學(xué)術(shù)評(píng)價(jià)方法，至今已有百年歷史。學(xué)術(shù)大國(guó)多以同行評(píng)議作為學(xué)術(shù)界認(rèn)同的主要評(píng)價(jià)方式。

2.2.1同行評(píng)議的目的

我國(guó)大學(xué)和學(xué)術(shù)機(jī)構(gòu)的同行評(píng)議更多地應(yīng)用于職稱評(píng)比、職位晉升、績(jī)效工資評(píng)定等目的，具有較強(qiáng)的功利性。國(guó)外大學(xué)的年度同行評(píng)議則多獨(dú)立于晉升、職稱或薪水評(píng)定之外，功利性較弱。其同行評(píng)議的目的主要包括識(shí)別出學(xué)術(shù)人員面臨的困難和需求、促進(jìn)學(xué)術(shù)人員個(gè)人的職業(yè)發(fā)展、聽(tīng)取學(xué)術(shù)人員對(duì)機(jī)構(gòu)的建設(shè)性意見(jiàn)、平衡學(xué)術(shù)人員的個(gè)人目標(biāo)和部門(mén)乃至整個(gè)機(jī)構(gòu)的整體目標(biāo)。通過(guò)周期性開(kāi)展的同行評(píng)議過(guò)程來(lái)實(shí)現(xiàn)個(gè)人、部門(mén)、機(jī)構(gòu)的多方受益。

2.2.2同行評(píng)議的組織形式

國(guó)內(nèi)的同行評(píng)議或個(gè)人學(xué)術(shù)績(jī)效審核，存在“個(gè)人寫(xiě)報(bào)告，專家抽空審”的現(xiàn)象，時(shí)效性和交流性不強(qiáng)，即使有受評(píng)個(gè)人答辯的形式，專家的評(píng)審意見(jiàn)往往是保密和匿名的，受評(píng)個(gè)人可能無(wú)法了解或全部了解專家對(duì)自己的評(píng)審意見(jiàn)和結(jié)論。國(guó)外機(jī)構(gòu)的同行評(píng)議大都以考評(píng)面談的方式出現(xiàn)，受評(píng)人和評(píng)審人約定時(shí)間，雙方分別從個(gè)人、部門(mén)或機(jī)構(gòu)的視角準(zhǔn)備素材。面談時(shí)雙方針對(duì)已有的學(xué)術(shù)績(jī)效、存在的問(wèn)題和需求、未來(lái)的規(guī)劃、部門(mén)或機(jī)構(gòu)的整體目標(biāo)等展開(kāi)深入地討論，更注重雙方的溝通和探討，且最后雙方要共同就最終的評(píng)議結(jié)論和總結(jié)做簽字確認(rèn)。這種評(píng)議形式一定程度上有助于規(guī)避評(píng)議結(jié)論的主觀性和片面性。

2.2.3評(píng)審專家的遴選

評(píng)審專家對(duì)同行評(píng)議有很大的影響，評(píng)審專家的遴選是同行評(píng)議活動(dòng)的重要環(huán)節(jié)。目前我國(guó)同行評(píng)議中存在著非同行評(píng)審專家比例過(guò)大、“外行指導(dǎo)內(nèi)行”、評(píng)議活動(dòng)受行政管理主導(dǎo)嚴(yán)重等現(xiàn)象，在實(shí)踐中對(duì)評(píng)價(jià)的質(zhì)量和效果產(chǎn)生負(fù)面的影響。

國(guó)外則有著嚴(yán)格的評(píng)審專家遴選體系。以英國(guó)為例，英國(guó)高?；饡?huì)項(xiàng)目同行評(píng)議中，評(píng)估小組主席由先前參與高校學(xué)術(shù)評(píng)估的專家提名，由高等教育撥款委員會(huì)(RAE)任命，然后由評(píng)估小組主席從專業(yè)社團(tuán)提名的候選人中，根據(jù)專業(yè)經(jīng)驗(yàn)、聲望和代表性等標(biāo)準(zhǔn)挑選評(píng)審小組成員, 得到高等教育基金會(huì)許可后，最終確定評(píng)估小組成員名單。評(píng)估小組成員的組成還會(huì)考慮性別及地區(qū)比例，通常會(huì)有20%左右的女性[5]。此外，劍橋大學(xué)和昆士蘭大學(xué)學(xué)術(shù)員工年度考評(píng)的評(píng)審專家除部門(mén)負(fù)責(zé)人外，還包括在本專業(yè)具有較高威望的高級(jí)成員。

值得注意的是，雖然國(guó)內(nèi)外高校同行評(píng)議中都從政策上允許受評(píng)個(gè)人指定回避名單或者對(duì)專家構(gòu)成提出異議，但國(guó)內(nèi)由于評(píng)審專家構(gòu)成中具有行政職務(wù)的領(lǐng)導(dǎo)或?qū)＜艺急戎剌^大，受評(píng)人處于相對(duì)弱勢(shì)地位，回避制度往往無(wú)法真正實(shí)施。

2.2.4同行評(píng)議的反饋機(jī)制

國(guó)內(nèi)同行評(píng)議一般和職稱評(píng)定、薪水漲幅等相關(guān)，評(píng)議結(jié)果更多地體現(xiàn)在對(duì)受評(píng)個(gè)人職稱、職位、薪水等的影響上，而對(duì)于識(shí)別個(gè)人需求、促進(jìn)個(gè)人進(jìn)步和發(fā)展、實(shí)現(xiàn)個(gè)人與部門(mén)及機(jī)構(gòu)整體目標(biāo)的匹配等方面則沒(méi)有起到應(yīng)有的功效。國(guó)外同行評(píng)議制度則比較注重“學(xué)術(shù)人員——機(jī)構(gòu)”的雙贏。學(xué)術(shù)人員識(shí)別出個(gè)人的不足和需求，機(jī)構(gòu)總結(jié)員工的建設(shè)性意見(jiàn)并對(duì)員工開(kāi)展針對(duì)性的培訓(xùn)，使得雙方的整體目標(biāo)得到較好地匹配。以劍橋大學(xué)和昆士蘭大學(xué)為例，劍橋大學(xué)的評(píng)價(jià)機(jī)制名為SRD(staff review & development，員工評(píng)議和發(fā)展機(jī)制)[6]，其評(píng)議面談結(jié)束后，部門(mén)和學(xué)校對(duì)評(píng)議結(jié)果的匯總、總結(jié)是整個(gè)評(píng)議過(guò)程的重要環(huán)節(jié)，匯總學(xué)術(shù)員工的需求并組織合理的培訓(xùn)是評(píng)議反饋的重要內(nèi)容。昆士蘭大學(xué)的評(píng)議結(jié)束后會(huì)根據(jù)評(píng)議結(jié)論和員工需求，建議學(xué)術(shù)員工參與相應(yīng)的SSP項(xiàng)目(special studies program，員工專項(xiàng)學(xué)習(xí)計(jì)劃)，從而實(shí)現(xiàn)對(duì)員工個(gè)人發(fā)展和大學(xué)整體學(xué)術(shù)水平的共同促進(jìn)[7]。

3對(duì)我國(guó)學(xué)術(shù)評(píng)價(jià)工作的啟示

通過(guò)對(duì)國(guó)內(nèi)外學(xué)術(shù)評(píng)價(jià)方法進(jìn)行對(duì)比分析，筆者認(rèn)為國(guó)內(nèi)學(xué)術(shù)評(píng)價(jià)工作應(yīng)從以下幾方面進(jìn)行改進(jìn)。

3.1加強(qiáng)學(xué)術(shù)評(píng)價(jià)量化指標(biāo)體系建設(shè)

量化指標(biāo)直接關(guān)系到定量學(xué)術(shù)評(píng)價(jià)的科學(xué)性和客觀性，指標(biāo)體系的建立要充分考慮學(xué)科差異性、學(xué)術(shù)成果類型、期刊等間接評(píng)價(jià)媒介的質(zhì)量不均衡性；要綜合運(yùn)用多種指標(biāo)和方法，全面考察受評(píng)個(gè)人或科研小組學(xué)術(shù)績(jī)效的各個(gè)方面，給出客觀全面的結(jié)論。

3.2建立專門(mén)的專家委員會(huì)，評(píng)審專家國(guó)際化

為了保證評(píng)議人的學(xué)術(shù)水準(zhǔn)和提高評(píng)議的透明度，必須建立專門(mén)的專家委員會(huì)，先期向各學(xué)術(shù)機(jī)構(gòu)和科研人員公開(kāi)，主管部門(mén)還要向這些學(xué)術(shù)機(jī)構(gòu)和學(xué)術(shù)人員提供哪些人參與了評(píng)議工作及每個(gè)人評(píng)議次數(shù)等信息。同時(shí)，在專家委員會(huì)的專家遴選上要擴(kuò)大范圍，借鑒國(guó)外高校中國(guó)際評(píng)審的經(jīng)驗(yàn)，積極引進(jìn)國(guó)外、校外專家，擴(kuò)大同行評(píng)議的知識(shí)視野，與國(guó)際學(xué)術(shù)界接軌。

3.3建立網(wǎng)上互動(dòng)評(píng)價(jià)機(jī)制

利用網(wǎng)絡(luò)和信息技術(shù)，積極開(kāi)展學(xué)術(shù)評(píng)價(jià)社會(huì)化，構(gòu)建網(wǎng)上互動(dòng)評(píng)價(jià)機(jī)制。參加評(píng)價(jià)的學(xué)術(shù)成果要在網(wǎng)上公示，支持更多的學(xué)術(shù)或非學(xué)術(shù)人員從不同的角度予以評(píng)論。只要言之有理，有價(jià)值的批評(píng)意見(jiàn)皆應(yīng)作為該成果評(píng)價(jià)的一部分附錄其后，從而實(shí)現(xiàn)全國(guó)甚至國(guó)外學(xué)者的參與，使學(xué)術(shù)評(píng)價(jià)社會(huì)化，增加評(píng)價(jià)的客觀性。

3.4完善評(píng)價(jià)結(jié)果的監(jiān)督反饋機(jī)制

在量化評(píng)價(jià)和同行評(píng)議相結(jié)合的前提下，為使評(píng)價(jià)工作順利開(kāi)展，同時(shí)營(yíng)造公平自由的學(xué)術(shù)環(huán)境，必須建立一套與之相適應(yīng)的監(jiān)督反饋機(jī)制。應(yīng)當(dāng)建立評(píng)價(jià)考核結(jié)果的公示制度，增加評(píng)價(jià)結(jié)果的透明度，重視評(píng)價(jià)結(jié)果的反饋，將反饋納入到學(xué)者下一輪的評(píng)價(jià)中。如此就形成了一個(gè)有形與無(wú)形相結(jié)合的較完整的監(jiān)督組織機(jī)構(gòu)，使專家委員會(huì)真正成為最高的監(jiān)督和處理學(xué)術(shù)爭(zhēng)議的組織，充分發(fā)揮學(xué)術(shù)人員互相監(jiān)督的作用，促進(jìn)公平、公正的科研環(huán)境的形成。

參考文獻(xiàn)

[1]Moed, H.F.. CWTS crown indicator measures citation impact of a research group’s publication oeuvre[J]. Journal of Informetrics, 2010,4(3):436-438.

[2]顧麗娜,陸根書(shū).澳大利亞科研評(píng)價(jià)體系介紹[J].理工高教研究,2006,25(1):49-51.

[3]The Australian national university, research evaluation and policy project[EB/OL].(2005-01-30)[2015-09-10].http://repp.anu.edu.au.

[4]Lutz Bornmann1, Rudiger Mutz1, Christoph Neuhaus1, Hans-Dieter Daniel1. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results [J]. Ethics in Science and Environmental Politics, 2008,(8):93-102.

[5]陸根書(shū),楊兆芳.英國(guó)高校科研評(píng)估的特點(diǎn)及啟示[J].大學(xué):研究與評(píng)價(jià),2008,(1):75-82.

[6]Staff Review and Development(Appraisal)[EB/OL].(2010-12-10)[2015-09-10].http://www.admin.cam.ac.uk/offices/hr/policy/appraisal/.

[7]Career progress and appraisal for academic staff[EB/OL].(2010-12-10)[2015-09-10].http://www.uq.edu.au/current-staff/index.html? Page =10606&pid=8388.

(收稿日期：2015-10-06責(zé)任編輯：劉麗斌)

中圖分類號(hào)：G644.4

文獻(xiàn)標(biāo)識(shí)碼：A