魏志剛, 鄭近德

(安徽工業(yè)大學(xué) 機(jī)械工程學(xué)院，安徽 馬鞍山 243032)

一、 引言

科研是國(guó)家實(shí)力的重要支撐，對(duì)于國(guó)家強(qiáng)大和國(guó)民經(jīng)濟(jì)的發(fā)展具有重要作用，科技強(qiáng)國(guó)、科學(xué)技術(shù)就是生產(chǎn)力已經(jīng)成為共識(shí)。高校作為一支重要的科研力量，對(duì)于科技的發(fā)展具有非常重要的影響?？茖W(xué)地衡量高校師生科研活動(dòng)的水平，對(duì)于促進(jìn)科研發(fā)展的重要性是顯而易見的?？蒲锌己藢?shí)際上是一個(gè)非常復(fù)雜的問(wèn)題，從以前的專家評(píng)價(jià)為主到現(xiàn)在流行的SCI論文數(shù)量和影響因子指標(biāo)以及同行評(píng)議，科研考核的指標(biāo)已經(jīng)經(jīng)過(guò)幾次大的改革。其中SCI論文數(shù)量和影響因子作為一個(gè)客觀性的定量指標(biāo)，操作起來(lái)比較容易，很長(zhǎng)時(shí)間內(nèi)在國(guó)內(nèi)被作為學(xué)術(shù)水平評(píng)價(jià)的主要或者唯一指標(biāo)廣泛應(yīng)用，但其弊端和局限性也非常明顯。學(xué)術(shù)評(píng)價(jià)體系是一項(xiàng)復(fù)雜的系統(tǒng)工程，每種具體的評(píng)價(jià)方法都有其優(yōu)勢(shì)和弊端，沒(méi)有任何一種單一的方法可以對(duì)學(xué)術(shù)貢獻(xiàn)作出客觀的、全面的評(píng)估。不合理地使用甚至唯一地依賴SCI論文影響因子會(huì)嚴(yán)重阻礙本國(guó)科技期刊的發(fā)展，不僅可能導(dǎo)致巨額的版面費(fèi)用和文獻(xiàn)查閱費(fèi)用外流，還可能會(huì)損傷科研生態(tài)，導(dǎo)致科研跟風(fēng)，原創(chuàng)性差等問(wèn)題。

教育部、科技部于2020年2月聯(lián)合印發(fā)的 《關(guān)于規(guī)范高等學(xué)校 SCI 論文相關(guān)指標(biāo)使用 樹立正確評(píng)價(jià)導(dǎo)向的若干意見》, 科技部印發(fā)的《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》的通知對(duì)于SCI論文指標(biāo)的使用提出了明確的指導(dǎo)性意見。2021年4月，中共中央、國(guó)務(wù)院又印發(fā)了《深化新時(shí)代教育評(píng)價(jià)改革總體方案》，對(duì)高校評(píng)價(jià)、教師評(píng)價(jià)和科研評(píng)價(jià)中唯論文的問(wèn)題提出了具體的指導(dǎo)意見和改進(jìn)方案。全社會(huì)對(duì)SCI論文指標(biāo)的缺陷形成共識(shí)并努力尋找更好的方法，本文從科研工作者的角度進(jìn)一步對(duì)其局限性進(jìn)行探討，并對(duì)改進(jìn)方向進(jìn)行了分析。

二、論文引用次數(shù)和期刊影響因子的不客觀性

1975年美國(guó)科學(xué)信息研究所(ISI)依托“科學(xué)引文索引”數(shù)據(jù)，發(fā)布上一年度世界范圍的“期刊引證報(bào)告”, 影響因子開始成為體現(xiàn)期刊登載文獻(xiàn)的平均學(xué)術(shù)質(zhì)量和影響力的量化指標(biāo)。從實(shí)際情況來(lái)看，科技期刊的質(zhì)量確實(shí)和影響因子有關(guān)系，但絕對(duì)不是一種確定性的關(guān)系。以力學(xué)刊物為例，公認(rèn)的固體力學(xué)權(quán)威刊物

Journal

of

the

Mechanics

and

Physics

的2020年影響因子為5.0，高于大多數(shù)力學(xué)刊物，與其在該領(lǐng)域的水平基本相符。但是影響因子卻不是評(píng)判一個(gè)刊物質(zhì)量的唯一依據(jù)，如另一個(gè)固體力學(xué)著名刊物

International

Journal

of

Plasticity

影響因子為6.5，明顯地高于前者，而后者只是固體力學(xué)中的一個(gè)小領(lǐng)域，其影響因子超過(guò)固體力學(xué)這個(gè)大領(lǐng)域的最好刊物顯然是不合理的，這從一個(gè)方面說(shuō)明影響因子并不客觀。這種刊物質(zhì)量高低和影響因子大小的不統(tǒng)一并不是個(gè)別現(xiàn)象，如另一固體力學(xué)著名刊物

International

Journal

of

Solids

and

Structures

同樣是固體力學(xué)權(quán)威級(jí)別的刊物，其影響因子只有3.2，也遠(yuǎn)比不上固體力學(xué)分支的塑性力學(xué)刊物

International

Journal

of

Plasticity

，甚至前者被劃到了中科院三區(qū)一般刊物，而后者是一區(qū)top刊物，如果僅從分區(qū)和影響因子來(lái)看，評(píng)價(jià)這兩個(gè)雜志的質(zhì)量會(huì)得到令大多數(shù)同行反對(duì)的結(jié)論。實(shí)際上

International

Journal

of

Solids

and

Structures

和

Inter

national

Journal

of

Plasticity

都是力學(xué)領(lǐng)域公認(rèn)的最好的雜志，即使有差別，也是相同檔次內(nèi)的小差別。更令人驚訝的力學(xué)的另一大領(lǐng)域流體力學(xué)，前幾年影響因子過(guò)3的刊物基本上沒(méi)有，基本上劃到二區(qū)以下的水平。如果按影響因子來(lái)看，在力學(xué)這個(gè)大領(lǐng)域內(nèi)，塑性力學(xué)這一個(gè)小分支的研究質(zhì)量遠(yuǎn)高于其它力學(xué)領(lǐng)域，顯然這是很不合理的。如果仔細(xì)分析一下，按影響因子劃分的很多學(xué)科的一區(qū)top刊物特別是與微納和分子生物學(xué)等相關(guān)領(lǐng)域的刊物，只是該學(xué)科的熱門領(lǐng)域刊物，未必就是本學(xué)科總體上質(zhì)量最高的刊物。再如機(jī)械領(lǐng)域影響因子非常高的刊物

Mechanical

System

&

Signal

Processing

是一個(gè)關(guān)注信號(hào)處理、機(jī)械振動(dòng)等有限領(lǐng)域的刊物，2020年影響因子高達(dá)6.5，被劃分到中科院工程類一區(qū)，而其它的機(jī)械領(lǐng)域的綜合性刊物如

IEEE

-

ASME

Transactions

on

Mechatronics

，

International

Journal

of

Mechanical

Science

等影響因子反而較低，只能被劃到二區(qū)或者以下。很多SCI刊物的刊發(fā)內(nèi)容被限定在了一個(gè)較小的領(lǐng)域內(nèi)，如對(duì)于內(nèi)容完全不交叉的兩種刊物，以影響因子評(píng)價(jià)質(zhì)量沒(méi)有意義，只是說(shuō)明哪個(gè)領(lǐng)域更熱門。以此來(lái)劃分學(xué)科頂級(jí)刊物，其實(shí)是引導(dǎo)科研工作者追逐熱點(diǎn)領(lǐng)域。另外從不同的學(xué)科來(lái)看，納米、醫(yī)學(xué)、生物、化學(xué)、材料這些學(xué)科刊物的影響因子遠(yuǎn)高于其它學(xué)科刊物影響因子，如果這些刊物與其它學(xué)科擦點(diǎn)邊，便被劃到了其它學(xué)科的頂級(jí)刊物之中。材料科學(xué)作為中國(guó)一個(gè)相對(duì)落后的學(xué)科，相關(guān)期刊的影響因子遠(yuǎn)大于像機(jī)械這類學(xué)科。然而每一個(gè)有工程經(jīng)驗(yàn)的科研人員都知道，中國(guó)的機(jī)械行業(yè)科技水平在世界層次上來(lái)看要遠(yuǎn)高于材料學(xué)科，但機(jī)械學(xué)科期刊的影響因子卻遠(yuǎn)低于材料學(xué)科期刊影響因子。因此從實(shí)際情況看，片面地使用SCI影響因子，實(shí)際上在引導(dǎo)科研工作者干錯(cuò)誤的事：重理論、輕應(yīng)用；追熱點(diǎn)，少沉淀。其后果是造了相當(dāng)大一堆無(wú)用的論文，有些論文的結(jié)果和結(jié)論合理性持續(xù)的時(shí)間不到幾個(gè)月甚至幾天，很快就被作者自己推翻或者別人推翻，這種論文其實(shí)是毫無(wú)意義的灌水，但很大程度上把某些刊物的影響因子給灌起來(lái)了。這種情況直接的后果是造成科研人員急功近利，盲目追熱點(diǎn)，缺乏創(chuàng)新，甚至被國(guó)外操縱了科研的方向和人才選拔。

三、原因分析

從影響因子的提出、廣泛應(yīng)用到現(xiàn)在問(wèn)題頻現(xiàn)，既因?yàn)檫@個(gè)指標(biāo)參數(shù)本身具有一定的局限性，也有其它的原因。在影響因子提出之前，科研工作者很少有人關(guān)注影響因子，引用次數(shù)多少?zèng)]有被作為論文質(zhì)量的考察點(diǎn)，大多數(shù)論文引用可能是正常、合理的引用。到這一指標(biāo)被廣泛應(yīng)用，越來(lái)越廣泛甚至成為考核科研工作者業(yè)績(jī)的唯一標(biāo)準(zhǔn)的時(shí)候，這一指標(biāo)的合理性越來(lái)越被限制和顛覆。更多的期刊和作者在自覺(jué)或者不自覺(jué)地?fù)p害這一指標(biāo)的客觀性，論文中加入了過(guò)多的無(wú)效引用、虛引用，甚至人情引用。以一般的非綜述SCI論文為例，通常作者在引言中會(huì)引用很多的參考文獻(xiàn)，多數(shù)刊物也對(duì)引用文獻(xiàn)的數(shù)量做了一定的要求。但基本上是這樣的引用：某某文獻(xiàn)研究了什么，得出了什么結(jié)果或者結(jié)論。通常作者在這一部分會(huì)對(duì)引文的結(jié)果和結(jié)論不做任何評(píng)價(jià)，甚至作者可能沒(méi)有認(rèn)真讀過(guò)甚至沒(méi)看過(guò)正文就引用，如一句簡(jiǎn)單的話上面標(biāo)注了好幾個(gè)參考文獻(xiàn)的情況。顯然這種引用沒(méi)任何實(shí)質(zhì)性的意義，論文被引用只是說(shuō)明作者看到了這篇論文，因?yàn)槟撤N原因引用了這篇論文。在引言中，這種引用基本上占到所有引用的90%以上，而其中最后一般有幾篇引用文獻(xiàn)被作為靶子來(lái)引用的，作者認(rèn)為該文獻(xiàn)的研究存在不足，需要進(jìn)行改進(jìn)。這幾篇研究的引用是有意義的，作者一般認(rèn)真看過(guò)這幾篇文章，但是作為一種非正面的引用，論文的質(zhì)量與被引用關(guān)系確實(shí)很難說(shuō)有多大。值得注意的是，大多科研工作者都喜歡引用本領(lǐng)域權(quán)威刊物或者本人認(rèn)為比較好的刊物的論文，即使作者沒(méi)有認(rèn)真讀過(guò)這些論文甚至論文與研究?jī)?nèi)容相關(guān)性很小。因此這類刊物的影響因子高是一個(gè)天然的優(yōu)勢(shì)，但不一定意味著引用次數(shù)和論文質(zhì)量有直接關(guān)系，只是在一定程度上反映了作者對(duì)引用論文的認(rèn)可程度。

真正對(duì)作者研究重要，作者認(rèn)真讀過(guò)，并且沿用或者借鑒論文方法或者結(jié)論的引用大都出現(xiàn)在正文中，這些被引論文通常在論文中多次出現(xiàn)，或者是正引用，或者是反引用。作者認(rèn)真讀過(guò)，也直接或間接地對(duì)論文的結(jié)果或方法進(jìn)行了評(píng)價(jià)，這種引用次數(shù)與被引用論文的質(zhì)量是直接相關(guān)的，雖然引用得多未必就是作者對(duì)被引論文肯定的程度高?，F(xiàn)在的SCI論文引用次數(shù)不區(qū)分各種不同類型的引用，將其看作同樣重要，這是造成這一指標(biāo)客觀性降低的一個(gè)主要問(wèn)題。引用次數(shù)本身還有這樣一個(gè)局限性：在同一導(dǎo)師或者同一課題組中的作者，可能會(huì)大量相互引用，該課題組越活躍、發(fā)文越多，會(huì)導(dǎo)致更多的引用次數(shù)，使得本課題組成員論文的引用次數(shù)迅速增加。如果課題組一個(gè)成員發(fā)文很多，可能會(huì)在其發(fā)表的論文大量引用其他成員的論文，使得同組其他研究人員發(fā)表的論文引用次數(shù)大量增加。另一方面，如果某領(lǐng)域的刊物短期內(nèi)大量增加每篇論文的參考文獻(xiàn)數(shù)量，也會(huì)導(dǎo)致該領(lǐng)域刊物的影響因子迅速增加。如果統(tǒng)計(jì)近年來(lái)刊物的影響因子，會(huì)發(fā)現(xiàn)大多數(shù)刊物的影響都在快速增長(zhǎng)，刊物中每篇論文的平均參考文獻(xiàn)數(shù)量增加是其中原因之一。顯然這種因素導(dǎo)致的影響因子增長(zhǎng)與期刊的論文質(zhì)量無(wú)直接關(guān)系。有些高產(chǎn)作者可能一個(gè)月或者更少的時(shí)間就能發(fā)一篇論文，如果按正常的工科SCI期刊參考文獻(xiàn)的數(shù)量30篇左右，可以看出一個(gè)驚人的結(jié)果，即使不計(jì)研究和寫作時(shí)間，該作者也要在這一個(gè)月內(nèi)讀完這30多篇文獻(xiàn)，這對(duì)大多數(shù)科研人員都是非常困難的任務(wù)。能夠?qū)崿F(xiàn)的一個(gè)原因在于作者在這一個(gè)月內(nèi)可能根本沒(méi)讀這么多文章，很多文章在以前讀過(guò)或者在以前文章中引用過(guò)，在最近的文章中這些引用又被復(fù)制過(guò)來(lái)。這種引用其實(shí)是重復(fù)引用，雖然在不同的文章中出現(xiàn)，但是引用的內(nèi)容和背景都是相同的，不能體現(xiàn)被引論文的質(zhì)量，卻增加了被引的次數(shù)。

因此，如果要反映論文引用次數(shù)和論文質(zhì)量的真正關(guān)系，首先需要正確統(tǒng)計(jì)論文的引用次數(shù)：只統(tǒng)計(jì)論文正面、有效引用的次數(shù)，排除重復(fù)引用，減小對(duì)同組人員引用的權(quán)重?？梢灾唤y(tǒng)計(jì)正文中的引用次數(shù)，當(dāng)然這一方法的效果可能很快被期刊和作者的有針對(duì)性抵消掉。當(dāng)前引用次數(shù)的不合理還可以在引用作者人群中反映出來(lái)。隨機(jī)抽樣3篇國(guó)內(nèi)作者高影響因子論文，第一篇論文在SCI檢索數(shù)據(jù)庫(kù)被引用80多次，發(fā)表當(dāng)年引用次數(shù)就很多，但分析引用該論文的作者的地域分布發(fā)現(xiàn)，該80多次引用中只有6次是被國(guó)外同行引用，其它都是國(guó)內(nèi)同行引用；另一篇論文總被引用接近70次，被國(guó)外同行引用8次。最后一篇國(guó)內(nèi)學(xué)者論文總被引用次數(shù)為140次，但國(guó)外引用也只有12次。上述論文總體被引用次數(shù)都很高，但是被國(guó)外同行引用次數(shù)不多。SCI論文的讀者對(duì)象面向全世界，為什么引用次數(shù)大都是國(guó)內(nèi)的，作為更大一個(gè)群體的國(guó)外研究者卻很少引用呢？不排除某些領(lǐng)域是國(guó)內(nèi)比國(guó)外更熱，這種國(guó)內(nèi)熱領(lǐng)域的論文是否比其它領(lǐng)域的論文更有價(jià)值還是這種現(xiàn)象背后有其它原因，都非常值得深思。從側(cè)面看出，很多情況下影響因子和引用次數(shù)與論文質(zhì)量缺乏直接關(guān)聯(lián)。

如果拋開論文的被引用次數(shù)和期刊的影響因子，一個(gè)領(lǐng)域內(nèi)的科研工作者基本上對(duì)本領(lǐng)域的刊物的質(zhì)量有大致上統(tǒng)一的認(rèn)識(shí)，特別是本領(lǐng)域高質(zhì)量刊物。中文期刊在評(píng)審過(guò)程中的人情及單位的影響力對(duì)論文的錄用或者拒稿有很大的影響。但是國(guó)外SCI刊物的評(píng)審也并非想象中那樣的公平合理，同樣也存在很大的弊端。國(guó)外SCI刊物評(píng)審中沒(méi)有評(píng)審費(fèi)，評(píng)審人是義務(wù)評(píng)審，一些著名或者權(quán)威的學(xué)者可能不愿過(guò)多地評(píng)審論文，這種既沒(méi)有激勵(lì)也沒(méi)有約束的機(jī)制為評(píng)審人不專業(yè)和不認(rèn)真埋下了伏筆。在較早以前，可能很多的評(píng)審人具有嚴(yán)謹(jǐn)和認(rèn)真的作風(fēng)，能夠認(rèn)真負(fù)責(zé)地評(píng)審大多數(shù)文章。但隨著國(guó)內(nèi)發(fā)表的SCI論文的增多，越來(lái)越多的國(guó)內(nèi)科研工作者進(jìn)入了SCI刊物評(píng)審的隊(duì)伍。很難想象，一些貌似權(quán)威的刊物的審稿人是國(guó)內(nèi)某名不見經(jīng)傳的科研人員甚至在讀的博士或碩士，論文評(píng)審的質(zhì)量已經(jīng)大打折扣，中文期刊評(píng)審的局限性被帶入到國(guó)外刊物的評(píng)審中，而且義務(wù)評(píng)審更容易導(dǎo)致評(píng)審人水平的良莠不齊和論文評(píng)審的隨意性。

隨著論文發(fā)表數(shù)量的逐年遞增，專業(yè)分工越來(lái)越細(xì)，找到合適的同行評(píng)審專家也越來(lái)越困難，同行評(píng)審存在專家不匹配、評(píng)價(jià)不客觀等問(wèn)題，這嚴(yán)重影響了論文的評(píng)審質(zhì)量?？梢哉f(shuō)，有相當(dāng)多評(píng)審人是評(píng)審論文相關(guān)領(lǐng)域的大同行，并不熟悉評(píng)審的論文小領(lǐng)域的相關(guān)理論和知識(shí)，評(píng)審如果僅憑經(jīng)驗(yàn)或者常識(shí)，難以給出高質(zhì)量的評(píng)審結(jié)果。同時(shí)，由于論文的結(jié)論或者過(guò)程一般很難復(fù)制或重復(fù)，給少數(shù)作者留下了以次充好、以偏概全的機(jī)會(huì)，評(píng)審人的不專業(yè)導(dǎo)致對(duì)排除這種問(wèn)題基本上無(wú)能為力，全靠作者自我約束，但利益驅(qū)動(dòng)下各種問(wèn)題也頻頻出現(xiàn)。因此建立高質(zhì)量的評(píng)審專家隊(duì)伍是非常重要的，適當(dāng)收取評(píng)審費(fèi)或者增加專家審稿的收益，同時(shí)加強(qiáng)對(duì)評(píng)審質(zhì)量的監(jiān)控也是保證審稿質(zhì)量的一個(gè)有意義的措施。國(guó)外的主流刊物都不收取評(píng)審費(fèi)，國(guó)內(nèi)期刊也正在取消評(píng)審費(fèi)，有限的評(píng)審費(fèi)可能對(duì)評(píng)審專家的評(píng)審并沒(méi)有太多的影響，但是，無(wú)責(zé)任無(wú)激勵(lì)的評(píng)審?fù)鶗?huì)導(dǎo)致低質(zhì)量的評(píng)審結(jié)果。

SCI論文引用次數(shù)被廣泛應(yīng)用的原因除了該指標(biāo)的客觀易用，還有一個(gè)更深的原因：科研評(píng)價(jià)的困難性?？蒲性u(píng)價(jià)需要有高水平的合格的小同行專家，又需要花費(fèi)大量的精力，因此很多單位其實(shí)或者無(wú)能力或者無(wú)精力去做這件事，而寧可采用引用次數(shù)這種并不合理的指標(biāo)。科研質(zhì)量考察中如果采用論文評(píng)審中的函件提問(wèn)和答復(fù)的形式，會(huì)比專家單向評(píng)審更具合理性。專家通過(guò)提問(wèn)可以更全面地了解論文的具體內(nèi)容和細(xì)節(jié)，有時(shí)間對(duì)論文的問(wèn)題進(jìn)行思考，也可以通過(guò)這種雙向交流去除評(píng)審中的誤解，加深對(duì)論文內(nèi)容和方法的理解。雖然這比單向評(píng)審的周期和費(fèi)用要大一些，但實(shí)際帶來(lái)的收益會(huì)更大：發(fā)現(xiàn)有價(jià)值的研究和摒棄無(wú)意義的工作對(duì)于國(guó)家、社會(huì)以及期刊的意義都是不可估量的。高校和相關(guān)科研機(jī)構(gòu)在該方面做更多的投入和研究是非常值得和必要的。

四、改進(jìn)方法和展望

SCI論文中的正面有效引用和被引文獻(xiàn)質(zhì)量有更好的相關(guān)性和參考價(jià)值，當(dāng)然也不是絕對(duì)的。被很多人認(rèn)可的理論不一定是真理，被很多人引用的論文不一定是好論文。論文作者實(shí)際上更偏愛簡(jiǎn)單易懂的論文；對(duì)于復(fù)雜和原創(chuàng)的論文，由于其理解和應(yīng)用比較復(fù)雜，可能引用的人較少，直到論文的理論和認(rèn)識(shí)被解釋為淺顯易用的知識(shí)并逐漸被理解，才會(huì)被更廣泛地引用。另一方面，限制作者灌水和濫發(fā)文章，對(duì)于保證引用次數(shù)指標(biāo)的有效性也很重要，也有利于降低獲取有用知識(shí)的難度。現(xiàn)在檢索到一篇合適的、有價(jià)值的論文難度比以前大大增加了，幾個(gè)關(guān)鍵詞搜下去，數(shù)以千百計(jì)的論文會(huì)被搜出來(lái)，真正有價(jià)值的論文可能就是幾篇，但太多的砂子會(huì)把真金給埋住。代表作制度對(duì)于排除這種低水平的文章有一定的作用，但是同行評(píng)議必須是真正的、負(fù)責(zé)任、無(wú)利益關(guān)系的同行評(píng)議才有價(jià)值。對(duì)評(píng)議專家按照更細(xì)的方向劃分領(lǐng)域，建立評(píng)審專家?guī)焓潜匾?。建議取消大類分區(qū)這種做法，按照小類領(lǐng)域進(jìn)行排名具有更好的參考價(jià)值。論文評(píng)審不能單向評(píng)審，將專家評(píng)審和作者答復(fù)相結(jié)合，有助于消除評(píng)議中的偏見和誤解，發(fā)現(xiàn)真正的問(wèn)題。科研管理部門應(yīng)該做這種評(píng)議和申辯的組織者和主持人。