趙 磊 邵偉文

(1. 河北建筑工程學(xué)院圖書館 張家口 075024; 2. 中國科學(xué)院文獻(xiàn)情報(bào)中心 北京 100190)

·管理論壇·

基于SCI的科研成果綜合評價模型的構(gòu)建

趙 磊1邵偉文2

(1. 河北建筑工程學(xué)院圖書館 張家口 075024; 2. 中國科學(xué)院文獻(xiàn)情報(bào)中心 北京 100190)

構(gòu)建了科研成果多指標(biāo)綜合評價模型，介紹了評價模型的建模過程，以SCI數(shù)據(jù)庫收錄的某科研單位科研成果為數(shù)據(jù)來源，選取七個單項(xiàng)指標(biāo)，運(yùn)用評價模型得出科研人員科研成果的綜合評價結(jié)果。

科研評價 評價模型 科研管理

1 引言

科研成果評價是一個極其復(fù)雜和重要的問題，評價標(biāo)準(zhǔn)和評價方法直接關(guān)系到評價結(jié)果的科學(xué)性、合理性，也關(guān)系到能否客觀公正地反映科技工作者的勞動價值[1]。目前，國內(nèi)運(yùn)用較多的科研績效評價工具是《科學(xué)引文索引》(簡稱SCI)數(shù)據(jù)庫。但是，在使用SCI進(jìn)行科研成果評價的過程中也存在一些問題。譬如當(dāng)前的科研成果評價存在過分強(qiáng)調(diào)量化的傾向，過分強(qiáng)調(diào)論文的數(shù)量，忽視或不夠重視科研成果的質(zhì)量和實(shí)際效益等[2-4]。筆者認(rèn)為，科研成果評價是一個復(fù)雜的過程，應(yīng)該建立健全評價機(jī)制和評價程序，在利用SCI進(jìn)行科研評價時不應(yīng)該只使用單個指標(biāo)，而是要把SCI的多種評價指標(biāo)結(jié)合起來對科研成果進(jìn)行綜合性的、定量化的評價。鑒于此，我們構(gòu)建了基于SCI的多指標(biāo)綜合評價模型，旨在科學(xué)合理地利用SCI這一分析工具，為科研成果評價提供參考。

2 多指標(biāo)綜合評價模型的構(gòu)建

2.1 指標(biāo)選取

為了避免單一指標(biāo)評價的片面性，本文選取論文數(shù)、論文總被引用次數(shù)、論文篇均被引用次數(shù)、論文年均被引用次數(shù)、h指數(shù)、單篇最高被引用次數(shù)和單篇年均被引用次數(shù)7個指標(biāo)作為評價模型的指標(biāo)來源。各指標(biāo)的含義如下：

論文數(shù)是指個人在一定時間內(nèi)發(fā)表的論文總數(shù)。論文數(shù)是對科研生產(chǎn)力的直接反映，但是論文總數(shù)無法測度論文的重要性和影響力。

論文總被引用次數(shù)是指已發(fā)表論文在發(fā)表后的一段時間內(nèi)被引用的次數(shù)之和。它直接反映了論文產(chǎn)生的影響力，能夠在很大程度上測度研究成果對科學(xué)發(fā)展所做的貢獻(xiàn)，但是不適于測度論文引證數(shù)分布極不均衡的情形。如果只有少數(shù)論文被大量引用，而其他多數(shù)論文的引證數(shù)卻很低，那么采用總引證數(shù)的評價結(jié)果就會被夸大。

論文篇均被引用次數(shù)是指總引證數(shù)除以總論文數(shù)的結(jié)果。這個指標(biāo)對發(fā)表論文少但每篇論文引證數(shù)較高的人比較有利，而可能不太利于論文多產(chǎn)者。

論文年均被引用次數(shù)用來表征論文作者的成果持續(xù)影響程度。

h指數(shù)把論文引證數(shù)作為衡量研究工作的內(nèi)在指標(biāo)，論文數(shù)量作為參考指標(biāo)，h指數(shù)本身是在這兩種指標(biāo)之間取一個平衡，從而綜合考察論文的數(shù)量和影響力[5]。

單篇最高被引用次數(shù)和單篇年均被引用次數(shù)兩個指標(biāo)的作用在于突出單篇論文的重要性。因?yàn)橛械淖髡唠m然發(fā)表論文數(shù)量極少但是論文質(zhì)量非常高，影響力非常大。這兩個指標(biāo)可以突出核心論文的重要性。

2.2 評價模型關(guān)鍵步驟解析

本文提出的多指標(biāo)綜合評價模型的構(gòu)建分為單指標(biāo)平滑處理、計(jì)算單項(xiàng)指標(biāo)得分、計(jì)算多指標(biāo)綜合得分三個部分。其中，單項(xiàng)指標(biāo)數(shù)據(jù)序列對平均值和最大值的確定、單項(xiàng)指標(biāo)權(quán)重的設(shè)定都由專家根據(jù)經(jīng)驗(yàn)而定。因此，本文所利用的多指標(biāo)評價方法是定性與定量評價的結(jié)合、主觀評價與客觀評價的統(tǒng)一，既融入了專家經(jīng)驗(yàn)，又通過客觀的指標(biāo)選取與分值計(jì)算得出相對定量化的評價結(jié)果。需要注意的是，各個單項(xiàng)指標(biāo)的選擇不是固定的，本文選取了論文數(shù)、論文總被引用次數(shù)、h指數(shù)等七項(xiàng)指標(biāo)，具體操作中可以根據(jù)需要適當(dāng)增減評價指標(biāo)。模型構(gòu)建流程圖如圖1所示。

圖1 多指標(biāo)綜合評價模型構(gòu)建流程圖

2.2.1 單指標(biāo)平滑處理 將科研人員論文總數(shù)作為科研成果評價指標(biāo)之一，數(shù)據(jù)序列A表示某科研單位所有科研人員在某一段時間內(nèi)發(fā)表的論文數(shù)量，A=(a1，a2，……，an)。對數(shù)據(jù)系列A進(jìn)行排序是很簡單的，但是僅憑發(fā)表論文數(shù)量的多少，只能直接反映該科研人員的科研生產(chǎn)力，而無法測度論文的重要性和影響力。比如，某科研人員發(fā)表了10篇論文，他可能比發(fā)表5篇論文的科研人員的科研水平高一些，但如果據(jù)此認(rèn)為他們之間有兩倍的差距，可能會導(dǎo)致不合理的評價。為了使數(shù)據(jù)不至于有太劇烈的變動，減少指標(biāo)賦予權(quán)值時偶然因素的干擾，首先將數(shù)據(jù)做對數(shù)平滑化處理。即對數(shù)據(jù)序列A取自然對數(shù)：

logA=(loga1，loga2，……，logan)

2.2.2 單指標(biāo)分值確定

第一步，對平滑處理后的數(shù)據(jù)序列取平均值，即：ElogA=(loga1+loga2+……+logan)/n；

第二步，對平滑處理后的數(shù)據(jù)序列取最大值，即：maxlogA；

第三步，對獲得平均值的對象賦予一個合適的分值S0，對獲得最大值的對象賦予分值S。比如若采用百分制，可以取S0=80，S=100(S0和S的取值根據(jù)專家經(jīng)驗(yàn)設(shè)定)，其他對象得分根據(jù)距離平均值遠(yuǎn)近的比例計(jì)算，即采用以下公式計(jì)算分值：

Sk=S0+(S-S0)*(logak-ElogA)/(maxlogA-ElogA)

(1)

由此，可以得到某科研單位所有科研人員在論文總數(shù)這一指標(biāo)的得分情況。同理，也可以對其他指標(biāo)采用相同的方法得出具體分值，最后對所有指標(biāo)進(jìn)行平均或者加權(quán)平均計(jì)算總評分。

2.2.3 計(jì)算綜合評分 對每一項(xiàng)指標(biāo)進(jìn)行定量分析并給出合適的單項(xiàng)分值后，然后根據(jù)專家經(jīng)驗(yàn)設(shè)定各單項(xiàng)指標(biāo)的權(quán)重，最后進(jìn)行總的加權(quán)平均獲得綜合評分。

3 實(shí)證分析

3.1 數(shù)據(jù)來源

以筆者對口服務(wù)的某科研單位為例，從SCI數(shù)據(jù)庫中檢索出該機(jī)構(gòu)所有論文，然后對每位在崗科研人員的論文情況提取論文總數(shù)、論文總被引用次數(shù)、論文篇均被引用次數(shù)、論文年均被引用次數(shù)、單篇論文最高被引用次數(shù)、單篇論文年均被引用次數(shù)等數(shù)據(jù)(原始數(shù)據(jù)見表1)。需要注意的是，考慮到不同學(xué)科的差異性，本模型只適合對特定的學(xué)科科研人員的科研成果做綜合評價。

表1 原始數(shù)據(jù)(采集日期：2011年5月24日)

如2.2所述，首先對每項(xiàng)指標(biāo)進(jìn)行定量分析并給出合適的單項(xiàng)分值，然后進(jìn)行總的加權(quán)平均獲得總評分，最后進(jìn)行比較分析。在本研究中，各指標(biāo)的權(quán)重根據(jù)專家經(jīng)驗(yàn)分別設(shè)為15%、10%、15%、20%、20%、10%、10%。綜合評分計(jì)算如下：

綜合評分=論文數(shù)×15%+總被引×10%+篇均被引×15%+年均被引×20%+h指數(shù)×20%+單篇最高被引×10%+單篇年均被引×10%

3.2 數(shù)據(jù)處理與結(jié)果分析

筆者采用多指標(biāo)綜合評價模型，將上述數(shù)據(jù)代入模型公式(1)進(jìn)行計(jì)算，為了防止有些科研人員某些指標(biāo)為0而導(dǎo)致無法進(jìn)行取對數(shù)運(yùn)算，對原始數(shù)據(jù)做了技術(shù)處理，即將原有數(shù)據(jù)指標(biāo)統(tǒng)一加上1。這也可以看成該指標(biāo)有潛在增加1的可能性，比如論文數(shù)，可以默認(rèn)將正在撰寫的論文算成1篇，以方便取對數(shù)值，從而得出各單項(xiàng)指標(biāo)的得分。然后，為各指標(biāo)賦予權(quán)重，計(jì)算總評分。各指標(biāo)具體得分情況見表2，各項(xiàng)指標(biāo)排名前20名的名單見表3。

表2 各指標(biāo)得分情況及綜合評分

表3 各項(xiàng)指標(biāo)前20名的作者

從表3可以看出，各項(xiàng)指標(biāo)比較靠前的一般排名比較靠前，如果只有個別指標(biāo)靠前的話，排名一般會比較靠后。根據(jù)此表，可以分析每個科研人員各項(xiàng)指標(biāo)在全體科研人員中間的相對位置，也有助于科研人員個人調(diào)整自己的研究目標(biāo)，比如論文較多的科研人員可以考慮多做難度和影響較大的工作，論文被引用頻次較多的科研人員可以多考慮挑戰(zhàn)性比較大的問題。

另外，我們?nèi)】傇u分名次前20名的科研人員，對其他指標(biāo)重新排序(h指數(shù)除外，并列排名較多，意義不大)，確定其在此20人中的相對排名，得到如下雷達(dá)圖(如圖2所示)。該雷達(dá)圖的每一根射線代表一位科研人員，射線上的點(diǎn)代表該科研人員各指標(biāo)取得的名次，點(diǎn)越靠近中心，表明該科研人員的名次越靠前。

從圖2中可以看出，各項(xiàng)指標(biāo)都靠近中心位置的科研人員，總名次也靠近中心位置，這些科研人員往往是團(tuán)隊(duì)的核心人員。然而大部分科研人員各個指標(biāo)的排名分布并不均勻，有靠近中心位置的指標(biāo)，也有偏離中心位置的指標(biāo)，從圖中可以清晰地看出各科研人員不同指標(biāo)的排名情況，進(jìn)而可以分析得出導(dǎo)致綜合排名先后的原因。同時，該模型的作用之一是有利于發(fā)現(xiàn)有潛力的科研人員。如圖，總評分排名靠后，而論文數(shù)量不多，論文被引用情況良好的人員通常是從業(yè)時間不長的有潛力的科研人員。反之，有的科研人員綜合評分較靠前，但仔細(xì)分析可能會發(fā)現(xiàn)其主要是在發(fā)表論文數(shù)量方面取勝。根據(jù)此模型和排名圖，可以發(fā)現(xiàn)有潛力的科研人員、多產(chǎn)科研人員、科研成果影響較大的科研人員等，這對于科研管理部門進(jìn)行項(xiàng)目管理、成果評價、挖掘潛在人才等具有較好的參考作用。

圖2 科研成果各指標(biāo)排名圖

4 結(jié)語

本文提出了多指標(biāo)綜合評價模型，據(jù)此對科研成果的各項(xiàng)指標(biāo)進(jìn)行排序，同時根據(jù)總評分得出了總體排名情況，評價結(jié)果具有一定的可取性，能夠在一定程度上反映各科研人員科研工作的實(shí)際效果和科研貢獻(xiàn)，具有較強(qiáng)的客觀性。本模型的數(shù)據(jù)來源主要來自SCI數(shù)據(jù)庫，我們也可以統(tǒng)計(jì)科研人員所有發(fā)表的論文數(shù)據(jù)，還可以增加統(tǒng)計(jì)科研人員主持或者參與的科研項(xiàng)目、主持或者參與的各種國際國內(nèi)學(xué)術(shù)會議等數(shù)據(jù)進(jìn)行分析和建模。該模型中總評分的權(quán)重是根據(jù)筆者經(jīng)驗(yàn)設(shè)定的，還有待進(jìn)一步研究，比如可以對科研人員進(jìn)行調(diào)查或由專家確定各指標(biāo)的權(quán)重，也可以考慮將兩者結(jié)合起來確定各指標(biāo)的權(quán)重，從而保證評價結(jié)果的公正性和客觀性。此外，模型考慮的仍然是簡單的科研成果的數(shù)量關(guān)系，對科研成果的質(zhì)量判斷不足，所以還可以考慮引入科研成果同行專家評價、評論等指標(biāo)，提高評價結(jié)果的科學(xué)性。

[1] 劉作義,陳曉田. 科學(xué)研究評價的性質(zhì)、作用、方法及程序[J]. 科研管理,2002,23(2):35.

[2] 初景利,張冬榮. 第二代學(xué)科館員與學(xué)科化服務(wù)[J]. 圖書情報(bào)工作,2008,52(6):6-10,68.

[3] 張喜愛.正確發(fā)揮SCI評價作用 促進(jìn)我國高?？蒲兴絒J].科研管理研究,2006(8):188-190.

[4] 王 卉. 科研評價：扔掉SCI?[J]. 評價與管理,2007,5(2):77-79.

[5] 劉輝鋒. h指數(shù)與科研評價的新視野[J]. 中國科技論壇,2008(5):24-28.

ConstructionofSCI-basedScientificResearchComprehensiveEvaluationModel

Zhao Lei1, Shao Weiwen2

1. Library of Hebei Institute of Architecture Civil Engineering, Zhangjiakou 075024, China; 2. Library of Chinese Academy of Sciences, Beijing 100190, China

A multi-indicator comprehensive evaluation model for scientific research is proposed. This paper detailedly introduces the process of establishing the evaluation model. It selects the SCI database as the data source, which embodies the research papers from a certain academic institute. By selecting seven indicators and applying the evaluation model, the final comprehensive evaluation results of these scientific researches are obtained.

scientific research evaluation; evaluation indicator; evaluation method

G311

趙 磊，男，1984年生，助理館員，發(fā)表論文2篇；邵偉文，男，1970年生，館員，發(fā)表論文5篇。