劉雪立,盛麗娜,董建軍,方紅玲,付中靜,王 燕,周志新

(新鄉(xiāng)醫(yī)學(xué)院期刊社/河南省科技期刊研究中心，河南 新鄉(xiāng) 453003)

跨學(xué)科學(xué)術(shù)評價指標(biāo)PR8和FNII的構(gòu)建及實證研究
——以河南省高校哲學(xué)社會科學(xué)評價為例

劉雪立,盛麗娜,董建軍,方紅玲,付中靜,王 燕,周志新

(新鄉(xiāng)醫(yī)學(xué)院期刊社/河南省科技期刊研究中心，河南 新鄉(xiāng) 453003)

對學(xué)者及機(jī)構(gòu)科學(xué)研究水平的跨學(xué)科評價，國內(nèi)外至今仍未有建立令人信服的指標(biāo)體系。以學(xué)術(shù)論文被引頻次在學(xué)科內(nèi)的百分位數(shù)排序為基礎(chǔ)，建立了論文被引頻次的百分位數(shù)位置指標(biāo)PR8值；以被引量和下載量為基礎(chǔ)，建立了學(xué)科標(biāo)準(zhǔn)化影響力指標(biāo)(Field Normalization Impact Indicator，F(xiàn)NII)，用以實現(xiàn)學(xué)者和機(jī)構(gòu)的跨學(xué)科評價。以河南省高校哲學(xué)社會科學(xué)為例，分別使用PR8值和FNII對河南省高校哲學(xué)社會科學(xué)研究績效進(jìn)行評價，并篩選出河南省哲學(xué)社會科學(xué)50強學(xué)者。采用PR8值和FNII對高校不同學(xué)科研究績效進(jìn)行評價，并篩選出各學(xué)科20強學(xué)者(本文僅給出管理學(xué)學(xué)科的評價結(jié)果)。

百分位數(shù)指標(biāo)；學(xué)科標(biāo)準(zhǔn)化影響力指標(biāo)；跨學(xué)科評價；學(xué)者評價；大學(xué)評價

《中華人民共和國高等教育法》規(guī)定，本科及其以上高等教育在中國社會職能分工中的責(zé)任和義務(wù)是：培養(yǎng)高級專門人才和開展科學(xué)研究工作。據(jù)此，自2000年始《中國大學(xué)評價》課題組對中國大學(xué)評價設(shè)了人才培養(yǎng)、科學(xué)研究兩項一級指標(biāo)[1]。其中，對各高?？茖W(xué)研究水平評價的具體方法受到諸多質(zhì)疑。大多數(shù)學(xué)者認(rèn)識到對論文數(shù)量和論文被引頻次簡單相加不可取，針對不同高校不同學(xué)科研究績效評價的問題至今仍沒有令人信服的辦法。目前研究比較成熟的是同一學(xué)科內(nèi)的研究績效評價，如美國湯森路透的基本科學(xué)指標(biāo)(Essential Science Indicators，ESI)數(shù)據(jù)庫，把科學(xué)研究分為22個學(xué)科進(jìn)行研究績效評價，以某機(jī)構(gòu)某學(xué)科論文被引頻次全球排名前1%作為學(xué)科入選ESI的條件[2]。InCite數(shù)據(jù)庫中提供了更多學(xué)科分類體系，如WoS 的250多個學(xué)科、ESI 中22個學(xué)科、OECD 中48個學(xué)科、澳大利亞ERA(Excellence in Research for Australia)和英國RAE(Research Assessment Exercise)、中國國務(wù)院學(xué)位委員會和教育部2011 年制定的《學(xué)位授予和人才培養(yǎng)學(xué)科目錄》中的12個學(xué)科門類，77 個一級學(xué)科[3-4]，目的都是基于不同學(xué)科的差異把科研績效評價局限在某一學(xué)科內(nèi)。目前關(guān)于跨學(xué)科研究績效評價的焦點和熱點集中在對學(xué)科標(biāo)準(zhǔn)化方法的探索上[5-7]，2015年版《期刊引證報告》(Journal Citation Reports，JCR)新增加的兩個指標(biāo)之一：影響因子百分位(Journal Impact Factor Percentile，JIFP)[8]，也是為了實現(xiàn)SCI來源期刊的跨學(xué)科評價。本研究從文獻(xiàn)計量學(xué)角度，針對不同學(xué)科間論文量和被引頻次的差異，設(shè)置了PR8(8個百分位數(shù)區(qū)段排序)和學(xué)科標(biāo)準(zhǔn)化影響力指標(biāo)(Field Normalization Impact Indicator，F(xiàn)NII)兩個評價指標(biāo)，目的是對不同學(xué)科的學(xué)者和不同屬性的大學(xué)或研究機(jī)構(gòu)科學(xué)研究能力進(jìn)行評價，并以河南省高校哲學(xué)社會科學(xué)研究為例，詳細(xì)介紹大學(xué)、學(xué)科和學(xué)者研究績效評價方法。

1 指標(biāo)設(shè)計

1.1 PR8的設(shè)置

PR8屬于百分位數(shù)位置指標(biāo)，是基于論文被引頻次降序排列所處的百分位數(shù)位置賦值的。2012年，LEYDESDORFF[9]在PR100的基礎(chǔ)上，建立了一個百分位數(shù)等級分?jǐn)?shù)指標(biāo)，稱為綜合影響力指標(biāo)(Integrated Impact Indicators，I3)，期待能夠替代影響因子進(jìn)行期刊評價。但他的研究沒有對位置指標(biāo)和影響因子的期刊評價效果進(jìn)行比較，實際上，他定義綜合影響力指標(biāo)主要想實現(xiàn)學(xué)術(shù)期刊的跨學(xué)科評價[10]。2011年，BORNMANN和MUTZ[11]把百分位數(shù)排序位置(Percentage Rank Position，PRP)指標(biāo)細(xì)分為6個等級，稱作PR6。美國國家自然科學(xué)基金會將這6個等級分別賦予不同的權(quán)重(分別賦予6分、5分、4分、3分、2分和1分)[12]，用以評價不同學(xué)科領(lǐng)域論文的重要性和影響力。2014年，VINKLER[13]對PRP進(jìn)行了一系列詳細(xì)的計算，說明PRP指標(biāo)在不同學(xué)科領(lǐng)域期刊和論文評價中的作用。最新研究認(rèn)為，使用百分位數(shù)來標(biāo)準(zhǔn)化被引頻次可以比算術(shù)平均數(shù)更好地用于對不同學(xué)科領(lǐng)域論文學(xué)術(shù)影響力的比較[14]。本研究即根據(jù)PR6的設(shè)置方法做一改進(jìn)，即將某學(xué)科論文被引頻次降序排列，對被引頻次最高的前0.01%(Top0.01%)篇論文賦予8分，對被引頻次最高的前大于0.01%～0.1%(Top0.1%)篇論文賦予7分，對被引頻次較高的前大于0.1%～1%(Top1%)篇論文賦予6分，對被引頻次較高的前大于1%～5%(Top5%)篇論文賦予5分，對被引頻次較高的前大于5%～10%(Top10%)篇論文賦予4分，對被引頻次較高的前大于10%～25%(Top25%)篇論文賦予3分，對被引頻次較高的前大于25%～50%(Top50%)篇論文賦予2分，對被引頻次較低的后50%篇論文賦予1分。計算時，相同被引頻次的論文如果被賦予了不同的分值，那么這些相同被引頻次論文的PR8值均取所賦予分值的均值，數(shù)值計算時均遵照四舍五入的方法。這樣各高校發(fā)表的所有論文，均在各自學(xué)科內(nèi)有一個自己的PR8分值。將不同高校發(fā)表所有論文的PR8分值之和相比，即可看出不同高校間科學(xué)生產(chǎn)率的差異；同理，將不同高校相同學(xué)科論文的PR8總分值作對比，即可看出不同高校某學(xué)科研究績效水平；將不同學(xué)者間論文的PR8總分值作對比，即可得出不同學(xué)者科學(xué)研究能力的差異。

1.2 FNII的設(shè)置

被引量和下載量是反映學(xué)術(shù)論文影響力的兩個基礎(chǔ)指標(biāo)。有研究顯示[15]，論文被引量和下載量并不完全一致。另外，由于不同學(xué)科規(guī)模及學(xué)科性質(zhì)差異很大，導(dǎo)致不同學(xué)科論文被引量和下載量也存在較大差異，因此，直接比較不同學(xué)科論文的被引量和下載量是極不科學(xué)的。本研究即按照學(xué)科不同對論文進(jìn)行分類，然后對每篇論文的被引量和下載量做標(biāo)準(zhǔn)化處理。具體方法為：按學(xué)科將每篇論文的被引量由高到低排序，將學(xué)科被引量最高者賦值為1，第i篇論文賦值(Ci)，Ci被定義為：

同樣方法對論文下載量做標(biāo)準(zhǔn)化處理，第i篇論文下載量分值記為Di，則：

根據(jù)實際評價時的重要程度，設(shè)計論文被引量和下載量的權(quán)重比為8:2，那么第i篇論文的FNII的計算公式即為：

FNIIi=Ci×0.8+Di×0.2

按上述方法計算出所有論文的FNII，將不同高校發(fā)表所有論文的FNII分值之和相比，即可看出不同高校間科學(xué)研究的能力差異；同理，將不同高校相同學(xué)科論文的FNII總分值作對比，即可看出不同高校各學(xué)科科學(xué)研究水平的差異；將不同學(xué)者間論文的FNII總分值作對比，即可得出不同學(xué)者科學(xué)研究能力的差異。

2 實證研究

本研究以河南高校哲學(xué)社會科學(xué)為例，以CSSCI論文為基礎(chǔ)，以CSSCI對論文的學(xué)科分類為依據(jù)，使用CNKI數(shù)據(jù)庫的被引量和下載量，對河南高校的哲學(xué)社會科學(xué)研究水平進(jìn)行評價。本研究選取的論文發(fā)表時間窗口為2005—2014年，時間跨度為10年；所有資料檢索日期為2015年6月至8月，數(shù)據(jù)核對日期為2015年10月。

2.1 研究對象

在中華人民共和國教育部發(fā)展規(guī)劃司網(wǎng)站(http://www.moe.gov.cn/)下載全國普通高等學(xué)校名單，選擇河南省公辦本科高校為研究對象。

2.2 方法

(1)數(shù)據(jù)資料的獲取。進(jìn)入中文社會科學(xué)引文索引數(shù)據(jù)庫(http://cssci.nju.edu.cn)，選擇“高級檢索”中的“來源文獻(xiàn)檢索”，“作者機(jī)構(gòu)”內(nèi)勾選“第一機(jī)構(gòu)”，并逐一輸入河南各高校名稱，發(fā)文年代選擇2005—2014年，即得10年各高校發(fā)表的CSSCI論文，將結(jié)果下載后，保留“來源篇名”“來源作者”“第一機(jī)構(gòu)”“學(xué)科分類”等內(nèi)容，整理至Excel內(nèi)為Excel 1。本研究以CSSCI數(shù)據(jù)庫中的學(xué)科分類為依據(jù)。

(2)被引量和下載量的獲取。進(jìn)入中國知網(wǎng)(www.cnki.net)，點擊“期刊”內(nèi)的“高級檢索”，在“單位”欄內(nèi)輸入各高校名稱，“來源類別”內(nèi)選擇“CSSCI”，年代選擇為2005—2014年，將得到的檢索結(jié)果(包括“篇名”“作者”“刊名”“年/期”“被引”“下載”)復(fù)制至Excel內(nèi)為Excel 2，即得到各大高校10年發(fā)表的各篇CSSCI論文的被引量和下載量。

(3)數(shù)據(jù)整合與分析。整合Excel 1和Excel 2，保留檢索各篇論文的篇名、第一作者、刊名、發(fā)表年代、學(xué)科分類、第一機(jī)構(gòu)、被引量、下載量等，并做分類處理。

3 實證研究結(jié)果

3.1 一般結(jié)果

本研究共納入河南省34所公辦本科高校，2005—2014年共發(fā)表CSSCI論文17543篇，截止至檢索日期共被引用115101次，篇均被引6.6次；總下載量為5801872次，篇均下載量為330.8次。34所高校的17543篇論文來自6281位學(xué)者，涉及26個論文學(xué)科，包括法學(xué)，管理學(xué)，環(huán)境科學(xué)，教育學(xué)，經(jīng)濟(jì)學(xué)，軍事學(xué)，考古學(xué)，歷史學(xué)，馬克思主義，民族學(xué)，人文、經(jīng)濟(jì)地理，社會科學(xué)總論，社會學(xué)，體育學(xué)，統(tǒng)計學(xué)，圖書館、情報與文獻(xiàn)學(xué)，外國文學(xué)，文化學(xué)，心理學(xué)，新聞學(xué)與傳播學(xué)，藝術(shù)學(xué)，語言學(xué)，哲學(xué)，政治學(xué)，中國文學(xué)，宗教學(xué)。

3.2 河南省34所高校社會科學(xué)研究績效

河南省34所高校社會科學(xué)研究論文產(chǎn)出量及學(xué)術(shù)影響力比較見表1。由表1可以看出，河南省34所高校社會科學(xué)研究績效差異明顯，河南大學(xué)、鄭州大學(xué)和河南師范大學(xué)為河南省社會科學(xué)研究論文的主要產(chǎn)出機(jī)構(gòu)，3所大學(xué)10年發(fā)表CSSCI論文數(shù)占河南省所有高校發(fā)展論文總數(shù)的53.90%(9455/17543)，被引量占59.02%(67929/115101)，說明3所高校無論是論文數(shù)量還是質(zhì)量都遙遙領(lǐng)先于省內(nèi)其他高校，社會科學(xué)研究實力雄厚；3所高校的層次也很明顯，河南大學(xué)為領(lǐng)頭羊。3所高校之后呈現(xiàn)“斷崖式”下降，處于第4名的鄭州航空工業(yè)管理學(xué)院論文量10年僅660篇。10年發(fā)表論文數(shù)500～1000篇者共6所高校，分別為鄭州航空工業(yè)管理學(xué)院、河南財經(jīng)政法大學(xué)、信陽師范學(xué)院、洛陽師范學(xué)院、南陽師范學(xué)院和河南理工大學(xué)；10年發(fā)表論文數(shù)不足100篇者9所高校，分別為平頂山學(xué)院、河南工程學(xué)院、河南城建學(xué)院、安陽工學(xué)院、華北水利水電大學(xué)、河南中醫(yī)學(xué)院、河南牧業(yè)經(jīng)濟(jì)學(xué)院、河南警察學(xué)院、信陽農(nóng)林學(xué)院。這可能與不同高校專業(yè)設(shè)置差異密切相關(guān)。

由表1也可以看出，使用PR8和FNII分別對機(jī)構(gòu)排序的結(jié)果一致性較好，使用SPSS 20.0統(tǒng)計學(xué)軟件的Spearman等級秩相關(guān)分析后發(fā)現(xiàn)，二者相關(guān)系數(shù)為0.989(P=0.000)。

表1 河南省高校哲學(xué)社會科學(xué)研究論文產(chǎn)出量及學(xué)術(shù)影響力比較

3.3 河南省34所高校哲學(xué)社會科學(xué)研究學(xué)者評價

34所高校的17543篇論文來自6281位學(xué)者，對6281位學(xué)者按PR8分值排序和FNII排序的五十強分別見表2和表3。由表2和表3可知，共有28位學(xué)者均在五十強內(nèi)，其中來自河南大學(xué)者11位，來自鄭州大學(xué)者8位，來自河南師范大學(xué)者4位，來自鄭州航空工業(yè)管理學(xué)院者2位，來自新鄉(xiāng)醫(yī)學(xué)院(劉雪立)、洛陽理工學(xué)院(沈光亮)、信陽師范學(xué)院(張新光)各1位。本結(jié)果表明了河南大學(xué)和鄭州大學(xué)在河南省哲學(xué)社會科學(xué)人才儲備方面的優(yōu)勢地位。另外，諸如新鄉(xiāng)醫(yī)學(xué)院、洛陽理工學(xué)院等高校，雖然整體哲學(xué)社會科學(xué)院研究實力不強，但不乏其內(nèi)有部分學(xué)者在其學(xué)科領(lǐng)域內(nèi)有較大影響力。28位學(xué)者共涉及18個學(xué)科(同一作者可涉及多個學(xué)科)，其中涉及最多的學(xué)科為歷史學(xué)和圖書館、情報與文獻(xiàn)學(xué)(各有7位學(xué)者)，其次為6位學(xué)者涉及的經(jīng)濟(jì)學(xué)和各有4位學(xué)者涉及的法學(xué)、政治學(xué)?？梢姡幽鲜?yōu)秀學(xué)者所在的研究領(lǐng)域相對集中。

需要指出的是，本研究選取的研究時間是2005—2014年，時間跨度較大，在這個時期內(nèi)調(diào)入河南的和從河南調(diào)離的，以及在外省攻讀研究生分配到河南高校工作的，可能數(shù)據(jù)不全，導(dǎo)致部分學(xué)者的貢獻(xiàn)值可能被低估。另外，由于本研究僅計算了第一作者，作為通訊作者的碩士生導(dǎo)師或博士生導(dǎo)師的實際貢獻(xiàn)會被低估。

表2 河南省高校哲學(xué)社會科學(xué)PR8分值排序的50強學(xué)者

表3 河南省高校哲學(xué)社會科學(xué)按FNII分值排序的50強學(xué)者

3.4 分學(xué)科評價

使用PR8和FNII還可以進(jìn)一步對不同學(xué)科領(lǐng)域的學(xué)者和高校影響力進(jìn)行比較,現(xiàn)以管理學(xué)為例進(jìn)行分析。

河南省34所高校管理學(xué)領(lǐng)域論文產(chǎn)出量及學(xué)術(shù)影響力見表4，以PR8和FNII分別排序的20強學(xué)者見表5和表6。

表4 河南省高校管理學(xué)領(lǐng)域論文產(chǎn)出量及學(xué)術(shù)影響力比較

注：信陽農(nóng)林學(xué)院統(tǒng)計期內(nèi)未有管理學(xué)CSSCI論文產(chǎn)出。

表5 河南省高校管理學(xué)領(lǐng)域PR8分值排序20強學(xué)者

表6 河南省高校管理學(xué)領(lǐng)域FNII分值排序20強學(xué)者

續(xù)表6

3.5 各學(xué)科的強勢高校

使用PR8或FNII還可以實現(xiàn)對不同學(xué)科領(lǐng)域各高校的評價，以了解不同學(xué)科各高校的研究績效?，F(xiàn)以PR8為例對不同學(xué)科領(lǐng)域各高校影響力進(jìn)行排序，得出河南省哲學(xué)社會科學(xué)各學(xué)科領(lǐng)域五強高校(見表7)。由表7可知，在26個學(xué)科中，河南大學(xué)有18個學(xué)科排名第1，鄭州大學(xué)有6個，河南科技大學(xué)(軍事學(xué))和鄭州航空工業(yè)管理學(xué)院(統(tǒng)計學(xué))各1個。在26個學(xué)科中，河南大學(xué)和鄭州大學(xué)均有25個學(xué)科躋身前5位。這些資料再次印證，河南省哲學(xué)社會科學(xué)領(lǐng)域由河南大學(xué)和鄭州大學(xué)一統(tǒng)天下，另一方面也說明，河南省社會科學(xué)研究資源過度集中于河南大學(xué)和鄭州大學(xué)。

表7 26個學(xué)科領(lǐng)域河南省五強高校

4 討論

4.1 關(guān)于指標(biāo)的設(shè)計依據(jù)

中國管理科學(xué)研究院以武書連為組長的《中國大學(xué)評價》課題組，自1997年開始在核心期刊按年度發(fā)表《中國大學(xué)評價》并向社會公布大學(xué)排行榜以來，其評價指標(biāo)一直在改進(jìn)，但其中有關(guān)科學(xué)研究的評分方式受到諸多質(zhì)疑。《中國大學(xué)評價》提出的科學(xué)研究中有關(guān)論文的引用分僅是數(shù)據(jù)的簡單相加，沒有考慮學(xué)科間的引用差異問題。泰晤士高等教育增刊與湯森路透數(shù)據(jù)庫聯(lián)合推出的《2011 Times Higher Education World University Rankings》中，在利用“論文及論文被引”反映科學(xué)研究質(zhì)量時，將論文、論文被引按照學(xué)科進(jìn)行歸一化處理，以反映不同學(xué)科領(lǐng)域之間論文及引用量的變化，避免“傳統(tǒng)上在某一學(xué)科領(lǐng)域從事高水平科研活動擁有高論文量及高被引論文的大學(xué)獲得不公平的優(yōu)勢”[16]。為了進(jìn)一步提高國內(nèi)大學(xué)排行榜的科學(xué)性和公信力，建議進(jìn)行“分類型、分層次、分學(xué)科的大學(xué)評價”以及“倡導(dǎo)評價指標(biāo)體系和原始數(shù)據(jù)更多公開。包括：評價指標(biāo)公開，評價指標(biāo)的含義確定，采集數(shù)據(jù)的渠道明確，數(shù)據(jù)計算方法明確，原始數(shù)據(jù)盡可能多地公開，上述相關(guān)信息很容易在其網(wǎng)站上查到等[17]。”本文從文獻(xiàn)計量學(xué)角度正視不同學(xué)科間規(guī)模及引文習(xí)慣的差異，設(shè)計了兩個跨學(xué)科評價指標(biāo)——PR8和FNII。

4.2 FNII的優(yōu)勢和局限性

被引量是評價論文學(xué)術(shù)影響力的重要指標(biāo)，但不同學(xué)科規(guī)模、活躍度、引用習(xí)慣等存在較大差異，因此不同學(xué)科之間論文被引量差異明顯，故單純以絕對量來衡量不同學(xué)科間論文學(xué)術(shù)影響力極不科學(xué)。本研究選擇了“相對學(xué)科最高值”的方式，即將論文被引量與學(xué)科最高論文被引量的比值作為標(biāo)準(zhǔn)化后的論文的被引指標(biāo)。該值應(yīng)該是≤1的數(shù)值，其值越大，說明論文被引頻次距離學(xué)科最高論文被引頻次的距離越近，論文在學(xué)科內(nèi)的影響力也就越大；當(dāng)其值為1時，說明該篇論文的被引頻次即為該學(xué)科被引頻次的最高值，也即是說，該論文在其學(xué)科內(nèi)影響力最大。

除被引量外，下載量也是衡量論文影響力大小的常用指標(biāo)。一般論文在數(shù)據(jù)庫內(nèi)即可免費查看其摘要，讀者通過閱讀摘要后，認(rèn)為論文有價值時才會下載全文。論文下載量一般是在論文刊發(fā)后2年即達(dá)到高峰[18]。因此，論文下載量比被引量能更及時地反映論文被關(guān)注的程度。自2008年始的中文核心期刊評選指標(biāo)內(nèi)，也增加了下載量這一指標(biāo)[19]。但是，下載量和被引量一樣，在學(xué)科間都不具有可比性，因此，本文也計算了論文下載量的相對學(xué)科最高值。與被引量一樣，該值也是≤1的數(shù)值，其值越大，說明論文的下載量距離學(xué)科最高論文下載量的距離越近，論文在學(xué)科內(nèi)的影響力也就越大。

FNII的構(gòu)成中，被引量和下載量的權(quán)重設(shè)計為8:2，這也是我們總結(jié)長期在文獻(xiàn)計量學(xué)方面的研究后得出的結(jié)果。下載量雖然時效性較強，但有些下載可能只是占有性下載，下載者并沒有直接利用[20]，而被引量則說明論文確實被讀者利用，并產(chǎn)生了實際影響力。另外，中文核心期刊評價體系中被引量和下載量的權(quán)重分配也是我們參考的一個方面。

FNII既對論文被引量和下載量進(jìn)行了學(xué)科領(lǐng)域的標(biāo)準(zhǔn)化，又考慮到了反映論文被使用情況的被引量和論文受關(guān)注度的下載量，因此能夠較為客觀地評價不同學(xué)科間論文的學(xué)術(shù)影響力。FNII用于學(xué)科評價時，將各自學(xué)科內(nèi)發(fā)表論文的FNII值相加，F(xiàn)NII值大的學(xué)科其科研水平就強。相反，F(xiàn)NII值小的學(xué)科其科研水平相對較弱；將FNII用于高校評價時，將某高校發(fā)表所有論文的FNII值相加，F(xiàn)NII值大的高校其科研水平就強。相反，F(xiàn)NII值小的高校其科研水平相對較弱；同樣方法適用于不同學(xué)科學(xué)者的評價。

任何一種指標(biāo)都不是完美的，F(xiàn)NII也有其自身的不足，例如：如果某一學(xué)科內(nèi)某篇論文的被引量或下載量異乎尋常地高，會造成其他論文的實際影響力被低估；不同學(xué)科論文被引量或下載量離散度差異較大時，也會影響學(xué)科間論文實際影響力的比較。另外，由于種種原因沒有產(chǎn)生被引或下載的論文，其計算FNII時該項為0，那么該文的實際價值就被忽略，故在學(xué)者或機(jī)構(gòu)評價時其實際影響力可能被低估。還需要指出的是，F(xiàn)NII計算時同時需要被引量和下載量的數(shù)據(jù)，這要求數(shù)據(jù)庫功能較為強大。目前國內(nèi)僅有CNIK提供了每篇論文的下載量，這在部分程度上限制了FNII的應(yīng)用范圍。

4.3 PR8的優(yōu)勢和局限性

將同一學(xué)科內(nèi)的所有論文按被引頻次降序排列，根據(jù)論文被引頻次的百分位數(shù)位置賦值，得到的PR8一定程度上彌補了FNII的不足。該指標(biāo)屬于位置指標(biāo)，不受學(xué)科離散度的影響，更符合統(tǒng)計學(xué)原理。另外，在PR8賦值時，對于被引頻次是0的論文也給予1分的分值，賦值的原因為：①被引頻次是0未必就代表其學(xué)術(shù)水平差，也可能是由于論文偏向?qū)嵱眯?，雖然被很多學(xué)者認(rèn)可并應(yīng)用于實踐，但學(xué)術(shù)論文寫作時可能不會被引用；②有些論文有“沉睡期”，可能其先進(jìn)性并未被現(xiàn)在的讀者所認(rèn)可，若干年后才會迎來被引的爆發(fā)期，這種現(xiàn)象被Van Raan命名為“科學(xué)中的睡美人”[21]；③CSSCI選刊嚴(yán)格，而能入選CSSCI期刊都有嚴(yán)謹(jǐn)?shù)膶徃逯贫龋髡叩恼撐目梢员籆SSCI期刊錄用，其本身就說明論文達(dá)到了某一學(xué)術(shù)水平，故這部分論文在研究績效評價中不應(yīng)該被忽視。

將不同學(xué)科內(nèi)論文的PR8值相加，即可進(jìn)行學(xué)科間學(xué)術(shù)影響力的比較；將不同高校發(fā)表論文的PR8值相加，即可進(jìn)行高校學(xué)術(shù)影響力的比較；同樣方法適用于不同學(xué)科學(xué)者研究績效評價。

當(dāng)然，PR8指標(biāo)也有其局限性。由于其按照論文被引量的百分位數(shù)位置賦值，百分位數(shù)等級的設(shè)置會對論文PR8指標(biāo)產(chǎn)生一定影響。另外，同一百分位數(shù)區(qū)間內(nèi)(如90%～75%)論文的被引頻次可能存在較大差異，但賦值相同，因此該指標(biāo)不十分精細(xì)，個別高被引論文可能會被低估，同樣，個別低被引的論文也可能會被高估。

通過以上分析，認(rèn)為在大學(xué)和學(xué)者評價中，F(xiàn)NII和PR8評價結(jié)果高度相關(guān)但又不完全吻合，發(fā)文量少而被引量和下載量高者，其FNII表現(xiàn)突出；發(fā)文量大而被引量和下載量偏低，其PR8優(yōu)勢明顯。因此，聯(lián)合應(yīng)用FNII和PR8進(jìn)行大學(xué)、學(xué)科和學(xué)者研究績效評價是科學(xué)可行的。

[1]武書連,呂嘉,郭石林.2010中國大學(xué)評價[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2010(4):5-13.

[2]劉雪立，周晶，蓋雙雙.C9 高校學(xué)科建設(shè)的績效評價與預(yù)測——基于ESI 和InCites 數(shù)據(jù)庫[J].中國科技論壇，2016(5)：130-135.

[3]劉雪立，張詩樂，蓋雙雙.基于論文產(chǎn)出的科研績效評價——ESI 和InCites 應(yīng)用研究綜述[J].現(xiàn)代情報，2016,36(3)：172-177.

[4]張靈閣，韓明杰，趙勇，等.英澳新三國高等學(xué)?？蒲性u價體系的比較及啟示[J].中國科技論壇，2017(1)：179-185.

[5]VINKLER P.Comparative rank assessment of journal articles[J].Journal of informetrics,2013,7(3)：712-717.

[6]陳仕吉，史麗文，李冬梅，等.論文被引頻次標(biāo)準(zhǔn)化述評[J].現(xiàn)代圖書情報技術(shù)，2012(4)：54-60.

[7]張學(xué)梅，李華.跨學(xué)科領(lǐng)域期刊評價指標(biāo)PRP指數(shù)及其改進(jìn)研究[J].情報理論與實踐，2016,39(2)：50-53.

[8]俞立平．影響因子百分位指標(biāo)的特點研究[J]．圖書情報工作，2016,60(10)：103-107.

[9]LEYDESDORFF L.Alternatives to the journal impact factor:I3 and the top-10%(or top-25%)of the most-highly cited papers[J].Scientometrics,2012,92(2):355-365.

[10]LEYDESDORFF L,BORNMANN L.Integrated impact indicatorscompared with impact factors：an alternative research design with policy implications[J].J Am Soc Inf Sci Technol,2011，62(11):2133-2146.

[11]BORNMANN L，MUTZ R.Further steps towards an ideal method of measuring citation performance：the avoidance of citation averages in field-normalization[J].J Informtr，2011，5(1):228-230.

[12]National Science Board.Science and engineering indicators:2010[EB/OL].[2012-06-01].http://www.nsf.gov/statistics/seind10/pdf/seind10.pdf.

[13]VINKLER P.The use of thepercentage rank position index tor comparative evaluation of journals[J].J Intormetr,2014，8(2):340-348．

[14]劉雪立,周晶,蓋雙雙,盛麗娜,付中靜,董建軍,方紅玲.基于被引頻次分布特征的影響因子缺陷矯正——位置指標(biāo)應(yīng)用于期刊評價的實證研究[J].圖書情報工作,2016,60(9):1-8.

[15]LIU X L，F(xiàn)ANG H L，WANG M Y.Correlation between download and citation and download-citation deviation phenomenon for some papers in Chinese medical journals[J].Serials review,2011,37(3)：157-161．

[16]Change for the better the 2011-12 rankings even more accurate and comprehensive[EB/OL].http://www.timeshighereducation.co.uk/world-university-rankings/2011—2012/analysis-rankings-methodology.html.

[17]湯建民.大學(xué)排行榜的改進(jìn)之策[J].高教發(fā)展與評估,2016,32(4):1-5.

[18]方紅玲.我國科技期刊論文被引量和下載量峰值年代——多學(xué)科比較研究[J].中國科技期刊研究,2011,22(5)708-710.

[19]劉雪立.中文核心期刊評價指標(biāo)體系:演進(jìn)·問題·建議[J].編輯學(xué)報,2014(01):92-95.

[20]劉雪立，方紅玲，苗媛，等.五種綜合性眼科學(xué)期刊論文下載量與被引量的關(guān)系及部分論文的量引背離現(xiàn)象[J].中國科技期刊研究,2010,21(5)629-632.

[21]VAN RAAN J.Sleeping beauties in science[J].Scientometrics,2004,59(3):467-472.

TheBuildingandEmpiricalResearchonPR8andFNII： ——AnExampleofPhilosophyandSocialScienceofHenanProvinceinChina

Liu Xueli，Sheng Lina，Dong Jianjun，F(xiàn)ang Hongling，F(xiàn)u Zhongjing，Wang Yan，Zhou Zhixin

(Periodicals Publishing House of Xinxiang Medical University，Xinxiang 453003，China)

There has not yet established a convincing indicator system at home and abroad for interdisciplinary evaluation of scholarly and institutional scientific research.Based on the percentile ranking of citations of academic papers in the discipline，the PR8 indicator was established.Based on the citations and downloads of the papers，the field normalization impact indicator(FNII)was established，aiming to achieve interdisciplinary evaluation of scholars and institutions.Taking the philosophy and social science of Henan province as an example，we used the PR8 and FNII to appraise the performance of philosophy and social science research of Henan universities respectively，and screen out the top 50 scholars of philosophy and social sciences in Henan province.The PR8 and FNII were used to evaluate the performance of different disciplines，and the top 20 scholars were selected(Only the evaluation results of management discipline are given in this paper).

Percentile indicator；Field normalization impact indicator；Interdisciplinary evaluation；Scholar evaluation；University evaluation

國家社會科學(xué)基金項目“影響因子缺陷的多維度矯正與學(xué)術(shù)期刊跨學(xué)科評價研究”(15BTQ061)，河南省高等學(xué)校哲學(xué)社會科學(xué)基礎(chǔ)研究重大項目“河南省高校哲學(xué)社會科學(xué)研究績效評價和發(fā)展對策”(2015-JCZD-013)。

2017-02-16

劉雪立(1965-)，男，河南許昌人，教授/編審，碩士生導(dǎo)師，新鄉(xiāng)醫(yī)學(xué)院期刊社社長，河南省科技期刊研究中心主任；研究方向：科學(xué)計量學(xué)與科學(xué)評價，文獻(xiàn)計量學(xué)與期刊評價。

G301

A

(責(zé)任編輯 沈蓉)