柴會明
(天津音樂學院圖書館,天津 300171)
自20世紀90年代SCI被引入我國以來[1],基于計量學的科研評價方式在我國得到廣泛運用并推動我國本土科研評價工具的開發(fā)。隨著量化評價影響的不斷增加,其自身存在的局限性逐漸顯現(xiàn),突出表現(xiàn)為科研評價對于論文的過渡依賴以及由此造成的“唯論文”傾向。隨著我國科研評價體制改革不斷深化,科研管理部門開始對科研評價“唯論文”現(xiàn)象進行反思和糾正,以求構建更為完善的科研評價制度。2020年2月,國家教育部、科技部聯(lián)合發(fā)布《關于深化項目評審、人才評價、機構評估改革的意見》[2],要求我國科研評價要擺脫對SCI、核心期刊、論文引用以及影響因子等量化評價工具的過渡依賴,尋求更為有效的評價機制。在此背景下,我國圖情學領域學者對當前科研評價中的突出問題進行系統(tǒng)反思,代表性論述包括柯平對去SCI化與我國社科評價體系建設關系的辯證分析[3]以及《情報資料工作》科研評價專題研究中楊思洛[4]、俞立平[5]、劉筱敏[6]、劉益東[7]、蘇新寧[8]等學者對我國科研評價制度構建的探討,研究者在對學術評價中“唯論文”現(xiàn)象進行反思的同時,從學術期刊的本質、SCI使用的規(guī)范化、代表作評價制度的落實以及同行評議弊端的克服等角度對科研評價基本問題進行了分析??蒲性u價研究是圖情學科重要研究領域,本文聚焦科研評價這一基本問題,以圖情學科專業(yè)期刊論文為分析樣本,對20世紀90年代以來我國圖情學科科研評價研究進行系統(tǒng)梳理,以求為本學科該領域研究的未來發(fā)展提供借鑒。
為保證我國圖情學科科研評價研究文獻獲取的全面性和代表性,本研究以“中國知網”“萬方數據庫”“維普數據庫”為數據來源,以圖情學科CSSCI來源期刊(含擴展版)與北大核心期刊目錄來源期刊為數據收集對象,采用關鍵詞=(科研+學術+研究+學科+人才+科技成果)*(評價+影響力)的檢索策略,檢索時間截止2020年4月3日,最終檢索到相關文獻448篇。本文重點對文獻年度變化和關鍵詞詞頻進行計量分析。
文獻年代分布旨在幫助了解國內圖情學科科研評價研究的發(fā)展脈絡與走勢。本文對所獲文獻的年代分布情況進行了統(tǒng)計分析,如圖1所示:
圖1 科研評價研究論文年代分布
我國圖情學領域科研評價研究自20世紀90年代起步,1993年余峰[1]對SCI的介紹具有早期代表性,此后,科研評價逐漸發(fā)展成為我國圖情學科重要研究領域,相關研究文獻數量快速上升。統(tǒng)計顯示,文獻數量的變化大體以2007年和2015年為重要節(jié)點,2007年之前,年發(fā)文數基本維持在個位數,2007年到2015年之間,論文數量已經維持兩位數,并在2013年達到該階段的峰值39篇,2015年以后,論文數量又開始上升,年度平均發(fā)文數36篇以上,2018年達到50篇為該階段峰值。分析表明,發(fā)文數量主要影響因素包括科研評價工具、教育與科研管理政策以及基礎理論的發(fā)展,如1997-2007年CSSCI的研制與應用使我國科研評價有了新的本土工具,韓新民與蘇新寧較早利用CSSCI對我國高等院校人文社科研究情況進行了分析[9];2005年h指數的提出和2010年替代計量學(Altmetrics)的出現(xiàn)都推動國內相關研究熱點的出現(xiàn);2015年“雙一流”政策出臺后高校圖書館學科評價服務受到關注。當前我國科研評價政策導向的變化,對國內圖書領域科研評價研究的影響已經顯現(xiàn)。
關鍵詞體現(xiàn)文獻主旨,關鍵詞統(tǒng)計主要是從主題的角度對該領域研究熱點進行掃描。本文所獲取的448篇文獻中共出現(xiàn)889個有效關鍵詞。經過統(tǒng)計分析,本文將詞頻大于4的關鍵詞確定為高頻關鍵詞并進行整理,如表1所示。
表1 詞頻大于3的關鍵詞分布
統(tǒng)計顯示,國內圖情領域科研評價研究集中以下方面:(1)基礎理論方面。計量學是主要理論基礎,通過對文獻特定統(tǒng)計指標的計量和分析是圖情學科科研評價研究的主要方式。(2)評價客體方面。圖情領域科研評價研究面向廣泛的目標主體,包括論文、期刊、個人、機構以及學科等,同時對網絡開放資源以及在線科研的評價已經成為新的研究方向。(3)評價方式方面。圖情學科科研評價具有鮮明的實證特征,借助特定的數據庫工具和指標體系進行量化分析,相關評價主要從“數量”和“質量”兩維度展開,涵蓋對學術影響力和社會影響力的評價。(4)評價主體方面。圖情學科及圖情機構既是評價科研也是科研評價服務主體,其科研評價實踐為不同層次的科研評審和決策提供重要支持。
綜合分析,本文將當前我國圖情學科科研評價研究集中在科研評價基礎理論研究、科研評價指標體系研究以及科研評價實踐研究三方面進行主題分析。
科研評價起源可以追溯至17世紀60年代英國無形學院內部發(fā)起的同行評議(Peer review),20世紀50年代以后,隨著文獻計量學的出現(xiàn),基于引文分析的定量評價開始在科研評價中廣泛應用。文獻統(tǒng)計顯示,當前國內圖情領域科研評價基礎理論研究主要集中在以同行評議研究和定量評價研究兩方面。
3.1.1 同行評議研究
同行評議指按照一定標準選擇評議專家,在遵循特定評議準則的基礎上對科研活動及成果的質量和影響力進行評價,被認為是最具有代表性的定性評價方法,國內研究主要集中在通過定量方法的引入來彌補同行評議客觀性的不足,研究主題涉及專家遴選、評審意見規(guī)范以及評價效果分析等方面。①評審專家遴選。評審專家的選擇是同行評議的核心環(huán)節(jié),研究者希望通過定量手段的引入增加專家遴選的客觀性,如李江等[10]以專長吻合度、學術影響力和社會關聯(lián)值為核心變量構建專家推薦模型,并以精準醫(yī)療領域專家?guī)斓臉嫿炞C了模型的有效性;劉丹等[11]提出將主題地圖技術應用于同行評議專家?guī)鞓嫿?,通過揭示專家關聯(lián)優(yōu)化專家選擇與回避制度以提高專家遴選的科學性等。②評審意見規(guī)范。為提高評議過程中專家意見的客觀公正性,研究者引入引文分析等計量學方法對專家意見進行規(guī)范化處理,沈利華等[12]提出將引文分析法與同行評議相結合的“客觀同行評議”方法并以中國科技大學潘建偉教授課題組的研究成果為例對該方法的可行性和效果進行了驗證。③同行評議效果分析。研究者對同行評議與文獻計量在科研評價中的作用進行了對比分析,萬昊等[13]采用非實證的研究方法,對120多篇應用同行評議與計量評價兩種方法對研發(fā)績效測度進行實證研究的文獻進行元分析,證明了通過數據分析加深同行評議過程中加深對相關問題認識上的價值。
3.1.2 定量評價研究
定量評價強調數學和統(tǒng)計學方法在科研評價中的應用,相關研究主要集中在定量評價的內涵、指標體系以及功能實現(xiàn)三方面:①定量評價的內涵。技術手段的發(fā)展使定量評價的內涵不斷發(fā)生變化,研究者對其在深度和范圍上的變化進行了揭示,如文庭孝等[14]將文獻計量學基本特征總結為對科學研究活動中的數量特征和規(guī)律進行數學和統(tǒng)計學分析;趙丹群[15]揭示了網絡環(huán)境下定量評價理念開始向深度質量化和語義化轉變的特點;邱均平等[16]認為當前替代計量學(Altmetrics)關注在線新型計量指標的建立和應用,旨在建立在線新型科學交流體系和面向學術成果的全面影響力評價指標體系,體現(xiàn)出在線科研不斷發(fā)展背景下定量評價理念的拓展。②指標體系的建立。指標體系是定量評價理論方法的延續(xù)和實現(xiàn),研究者對相關指標的基礎含義進行了闡述,如李燕萍[17]對面向論文評價的h指數概念的介紹;周美華[18]對面向期刊評價的影響因子的介紹;以及面向作者學術影響力指標體系的構建[19]和面向在線科研的Altmetrics指標的概念解釋[20]等。③功能實現(xiàn)。研究者基于定量評價與定性評價對比的視角對定量評價的功能進行了解讀,如楊瑞仙等[21]認為,定量評價可以彌補同行評議機制缺陷,但其自身也存在參照源補充分和隨意性等問題,因此結合同行評議與計量評價構建綜合性評價系統(tǒng)有利于提高科研評價的科學性;何文靜等[22]認為大數據技術提升了計量學在學科發(fā)展脈絡服務中的效率,并對計量學應用于學科評價的方法、工具、對象選擇以及結果評價產生影響。
綜合分析,當前國內圖情領域科研評價理論研究主要集中在計量學及基于該理論的評價方法的拓展與應用,對同行評議等定性評價方式的關注也主要基于定量分析對其修正作用的視角;相關研究體現(xiàn)出對定性評價重要性的認知,但對定性評價理論基礎和運行機制系統(tǒng)性分析較少;對結合定量評價與定性評價的綜合性評價體系的構建有所關注,但相關理論探討并不充分。
科研評價指標體系的構建是國內圖情領域科研評價研究的重要組成部分,相關研究集中在傳統(tǒng)評價指標體系研究、面向網絡環(huán)境的評價指標體系研究和基于替代計量的評價指標體系研究三個主要方面。
3.2.1 傳統(tǒng)評價指標體系研究
傳統(tǒng)評價指標體系是計量學理論應用于科研評價實踐的重要體現(xiàn),并為新的評價指標的出現(xiàn)奠定了基礎,相關研究主要包括影響因子、h指數以及各類改進指標三方面:①影響因子及相關指標。影響因子(Impact Factor,IF)指通過對某一期刊的文章在特定年份或時期被引用的頻率來實現(xiàn)對論文和期刊學術水平及影響力的測度,相關研究集中在對影響因子在科研評價中的效用、局限性及修正等問題的討論,如周美華[18]認為影響因子在對論文或期刊評價上存在誤差,并從放寬引文年限、加乘權重以及引文科學統(tǒng)計3方面提出修正策略;盛麗娜等[23]對SSCI不同學科影響因子相關自被引率進行了實證分析,認為學術期刊自引影響影響因子的客觀性。文獻顯示,研究者對于影響因子在學術評價上的質疑集中體現(xiàn)在使用平均值來評價學術影響力的做法。在當前科研評價活動中,研究者已經較少將影響因子作為單獨評價依據,而采用涵蓋影響因子在內的綜合指標評價方式以提高科研評價的科學性和有效性[24]。②h指數及相關指標。h指將科研成果數量因素(論文數)和質量因素(被引頻次)相結合以使相關評價更為客觀,對h指數研究同樣集中在其有效性、局限性和修正等方面。如王新等[25]以人文社會科學領域研究機構為研究對象,對h-index在人文社會科學領域的適用性進行的實證性研究;吳景芝[26]以《中國科學引文數據庫》植物病理學論文為樣本,利用h指數對中國病理專業(yè)科研機構進行評價。研究者同時對h指數的局限性的分析主要集中在學科間比較分析能力不足、受合作研究和自引的影響、忽視高被引論文的貢獻以及缺乏對時間因素的計量等方面,為此,研究者基于不同視角提出修正指數,包括增加時間變量的Ht指數[27]以及增加修正變量V的hi指數[28]等。③改進指標。除影響因子與h指數以外,研究者還對其他評價指標進行了研究,這些指標通常遵循計量學的基本理論,在計量對象選擇和評價關注點上與影響因子和h指數有所區(qū)分,如趙蓉英等[29]對更能體現(xiàn)評價區(qū)分度和靈活度的p指數的應用、張學梅[30]對基于“成功論文”概念的NSP的分析以及王彩虹等[31]對百分位數指標的使用等。
3.2.2 面向網絡環(huán)境的評價指標體系研究
信息技術的發(fā)展以及復雜網絡等新興理論的興起使研究者開始注重從知識關聯(lián)網絡的視角對傳統(tǒng)評價指標體系進行修正并提出新的評價指標,相關研究包括以下方面:①基于知識交流的評價指標。復雜網絡等理論推動了面向知識交流和科學研究社區(qū)的評價指標的出現(xiàn),如瞿輝等[32]提出基于知識關聯(lián)網絡的作者學術影響力評價方法;周春雷等[33]認為學術關系網絡中的社會資本能夠影響相關機構學科發(fā)展?jié)摿?,提出測度科研機構學術網絡社會資本豐富程度的SCAN指數。此外,研究者還基于網絡結構視角提出新的科研評價指標,如宋歌[34]基于結構洞理論和媒介角色分析,對約束系數和媒介角色系數兩類創(chuàng)新潛力測度指標進行了研究;蘇云梅等[35]對學術跡(Academic Track)指標的應用等。②基于網絡鏈接的評價指標。研究者將引文分析法與網絡鏈接技術相結合,提出新的科研評價指標,如馬鳳[36]提出基于PageRank算法的期刊影響力權值指標,用于考察某種期刊的綜合影響力;李仲謀[37]針對PageRank算法不能同時解決懸點存在與引文網絡必須為強聯(lián)通的問題,提出基于“Scholar Node”的ScholarRank算法,以實現(xiàn)對被引用次數不多的高質量論文的挖掘。此外,用于揭示文獻鏈形成過程中居于重要銜接位置文獻的MPA算法也被研究者所關注[38]。
3.2.3 基于替代計量學的評價指標體系研究
2010年替代計量學(Altmetrics)的出現(xiàn)被認為是計量學發(fā)展的新階段,當前研究重點集中在Altmetrics指標的特點、構成以及應用三方面:①Altmetrics指標的特點。研究者對Altmetrics指標的本質特征以及與引文指標之間的關系進行了分析,如王鵬飛等[39]將Altmetrics指標視為社交媒體的集成指標,旨在展現(xiàn)公眾對科學的興趣、理解以及科學研究對社會公眾的影響力;邱均平等[16]認為廣義替代計量指標針對在線新型科學交流體系和面向學術成果全面影響力的評價,而在將基礎數據限定在學術數據源的狹義替代計量指標主要反映學術影響力,體現(xiàn)出傳統(tǒng)引文指標在在線科研評價上的拓展。②Altmetrics指標的構成。研究者基于評價對象對評價指標的構成進行了討論,如李明等[40]從閱前查詢、閱讀意向、閱讀使用、評價反饋四個層次構建了基于Altmetrics的學術圖書評價指標框架;崔宇紅[41]通過對Altmetrics數據源的歸納將Altmetrics指標集中在學術產品的閱讀、討論、保存、推薦和引用等維度;王睿等[42]將Altmetrics分數描述為對來源于社交網絡、文獻管理系統(tǒng)、主流媒體以及多媒體信息源底層數據的聚合度量。③Altmetrics指標的應用。研究者對Altmetrics指標應用過程中的相關問題進行了探討,主要涉及Altmetrics指標與其他評價指標的關聯(lián)以及Altmetrics指標的有效性及修正,如楊柳等[43]以Plum Analytics為數據源,對Altmetrics指標與傳統(tǒng)科研機構影響力評價指標以及Altmetrics指標內部之間的相關性進行了分析,驗證了多元化的Altmetrics指標在機構影響力評價上的有效性;劉麗敏等[44]通過文獻調研與薈萃分析驗證了Altmetrics與傳統(tǒng)文獻計量指標之間的正相關性;郝若揚[45]的研究則驗證了Altmetrics分數在揭示學術論文社會影響力和學術影響力上的有效性。
綜合分析,國內圖情學科研究在計量學理論基礎上,將復雜網絡以及現(xiàn)代信息技術等理論和技術工具融入到科研評價指標體系構建,從而推動科研評價指標體系在覆蓋范圍和評價精確度上不斷深化。同時需要注意的是,國內學者對科研評價指標的討論主要以國外相關概念或指標為基礎,在理論基礎和方法論工具上體現(xiàn)出對國外研究成果的依賴性,在具有創(chuàng)新性的本土化指標體系研究方面存在不足。
研究者基于一定理論基礎和評價工具的對不同科研實體學術價值及影響力進行了度量和比較,相關研究集中在論文評價、期刊評價、個人評價、機構評價、學科評價五個主要方面:
3.3.1 論文評價研究
論文評價可以分為不同來源的論文評價以及不同視角的論文評價:①不同來源論文的評價。當前論文評價研究除傳統(tǒng)期刊論文之外,還是涉及報紙論文和網絡論文,如彭秋茹等[46]融合引文計量指標和Altmetrics指標,對《光明日報》理論版論文進行評價;沈小玲等[47]基于Lasso方法對以超鏈接(hyperlinks)和超文本(hypertext)方式存在的網絡科技論文的學術影響力評價。②基于不同視角的論文評價。研究者基于不同視角對論文學術影響力和社會影響力進行了揭示,如何春建[48]基于引文分析法,通過對施引文獻數量與質量相結合的TVF指標的應用,對單篇論文學術影響力進行評價;梁國強等[49]通過高質量論文使用次數和被引次數相關性的分析,將論文的使用數據引入論文評價指標體系以提高新發(fā)表論文學術評價的科學性;以及邱均平等[50]以Altmetrics TOP100論文相關指標數據及對應的Web of Science論文被引頻次為數據源,對高社會影響力論文的特征進行了揭示等。
3.3.2 期刊評價研究
期刊評價研究集中在對基于個體特征的期刊評價、基于學科特征的期刊評價和基于開放程度的期刊評價等方面:①基于個體特征的期刊評價。對單個期刊的學術影響力進行分析是國內期刊評價實踐研究的重要方面,如陳巍等[51]通過社會引文索引(CSSCI)數據庫對《情報科學》質量及學術影響力的分析以及劉立強等[52]基于CNKI引文數據庫對《中國圖書館學報》載文的統(tǒng)計分析。②基于學科的期刊評價。研究者基于學科特征對于同學科學術期刊進行綜合評價分析,如羅國鋒[53]以中國引文數據庫為數據來源對國內19種圖書情報學核心期刊學術影響力的綜合評價以及高英蓮等[54]通過被引數量、被引質量和被引離散度結合的析GS指數的應用對林業(yè)類學術期刊影響力評價的研究等。③基于開放程度的期刊評價。隨著開放獲取資源在當代科研過程中貢獻度的增加,國內學者將開放獲取期刊納入研究范圍,如趙鐵漢等[55]以ISI索引數據庫為數據源,選取9個反映開放獲取期刊學術影響力的指標對臨床醫(yī)學開放獲取期刊學術影響力進行了評價分析;趙蓉英等[56]以取“PLoS One”期刊為例,通過利用ALMs平臺獲取的Altmetrics數據構建綜合評價模型,對中國大陸OA期刊論文與相關國家/地區(qū)的情況進行了比較分析。
(1)5塊18V、38W太陽能電池板安裝在時風電動汽車上串聯(lián)使用,在晴朗天氣每天能為電動車提供0.9kW·h的電能。晴好天氣,太陽能電池組每天能為電動汽車增加16km續(xù)航能力,從節(jié)能環(huán)保的角度值得提倡。
3.3.3 個人評價研究
個人評價研究主要包括以下方面:①學術影響力評價。該方面研究是指對個人科研活動及成果在學術層面的價值和影響力進行的評價活動,如張芳等[57]通過建立多層級分類評價指標和賦值標準,對2008-2017年間國內圖情學領域學者論文學術影響力進行了評價分析;王曉慧等[58]以CNKI期刊庫為數據來源對國內競爭情報研究領域學者的學術影響力進行了評價分析。②社會影響力評價。隨著互聯(lián)網帶來的個體研究影響力的擴大,學者的社會影響力評價開始受到更多關注,如趙蓉英等[59]基于Web of Science數據庫,對中國學者在社會科學領域的國際學術論文社會影響力進行了分析;王妍[60]對學者影響力進行學術影響力與社會影響力二維劃分并提出將社會影響力因素納入傳統(tǒng)評價體系的二維測度方法。③基于特定視角的評價。相關研究還包括與具體目的相結合的對學者某項特征的評價,如高揚等[61]基于為人才引進和產業(yè)布局視角,從個人學術能力、團隊協(xié)作能力和科研領導力視角對特定專業(yè)領域杰出人才的評價;朱惠等[62]基于了解國內圖書情報學博導和招生機構在學科內的影響力的視角對我國圖情學領域博士生導師的H指數分析;田二琴等[63]對國內外高校圖書館館員學術影響力的對比分析以及趙麗梅等[64]利用Q2 SRC-指數對基于情境的科學家科研生產力的評價等。
3.3.4 機構評價研究
機構科研評價相關研究主要包括高校科研評價、研究型圖書館科研評價以及其他機構的科研評價:①高校科研評價。高??蒲性u價研究主要從高??蒲挟a出與影響力等方面展開,如李燕萍[65]基于h指數及其衍生指數對我國985高校學術影響力進行評價分析;賀維平等[66]依據SCI論文對國內外知名研究型大學的比較。②研究型圖書館科研評價。國內圖情學科研究利用各種評價工具對國內研究型圖書館的科研產出與影響力進行了評價研究,涉及高校圖書館和公共圖書館,如崔宇紅[67]從學術成果產出數量和學術影響力兩個維度,對我國30所“985工程”大學圖書館整體學術能力進行了綜合評價和排名以及劉穎[68]利用h指數及類h指數,結合中國引文數據庫和Web of Science對我國省級公共圖書館的學術影響力進行的評價。③其他機構科研評價。國內圖情學科科研評價研究還涉及其他機構科研產出與影響力的評價分析,如李潔等[69]對2016年全球知名智庫影響力指標數據集的設計與應用以及蘇成等[70]基于文獻計量學指標對《全國總書目》2009年光盤中包括的550家出版社學術影響力的評價等。
3.3.5 學科評價研究
學科評價研究的關注點主要集中在評價工具、評價案例以及影響學科影響力的相關因素分析等方面:①學科評價工具。該方面研究主要涉及相關指標的選擇和評價模型的構建,如王雯霞等[71]通過主成分分析方法,對Web of Science核心合集中的引文指標數據以及Altmetrics計量指標數據進行篩選構建出適用于不同學科的論文綜合影響力指標模型;董琳等[72]對CWTS、ESI、REPP等學科評價指標的介紹等。②面向特定學科的科研評價。研究者利用各種評價工具,對特定學科在科研現(xiàn)狀及發(fā)展方面的某項特征進行揭示,如趙元斌等[73]采用定標比超方法,基于ESI和SCIE數據庫對河南省3所高校優(yōu)勢學科和潛力學科發(fā)展趨勢進行了實證分析;王雪[74]以WoS作為模擬ESI統(tǒng)計的數據源,通過時間節(jié)點錯位比較和被引轉換比值的方式對南京工業(yè)大學和北京化工大學潛力學科進行了實證研究以及陳仕吉等[75]以Web of Science和ESI數據庫為基礎,通過的MNCS指標計算方法對中國農業(yè)大學的國家重點學科學術影響力進行了評價。此外,隨著跨學科研究的不斷發(fā)展,跨學科科研評價問題日益受到關注,相關研究包括李江[76]以圖書情報領域為例,采用“專門度”和“布里淵指標”兩個指標對學者發(fā)文的跨學科性與引用的跨學科性進行測度;王璐等[77]采用交叉指數算法和TOP-K學科組合算法,以國家和高校兩類學術實體論文產出為切入點,從學科交叉規(guī)模和學科交叉難度兩方面對學科交叉情況進行了度量。③影響學科影響力的相關因素。研究者基于推動學科發(fā)展的目的對影響學科科研影響力的相關因素進行了分析,如邱均平等[78]以計算機科學為例,通過對Web of Science 中收錄的文獻數據的分析,對國際合作在提高科研影響力的作用進行了分析;邢飛等[79]以智能制造項目為例,通過案例分析法(Case Study)對有效知識整合在推動跨學科團隊合作取得成功方面高作用的證實,并從個人情感需求、人際關系需要、知識整合環(huán)境、整合方式、知識的離散性和差異性6方面構建了跨學科團隊知識整合影響因素模型。
綜合分析,當前國內圖情學科科研評價研究既包括對直接體現(xiàn)科研水平與影響力的論文、期刊的評價,又包括基于論文的個人、機構和學科的評價。從范圍上講,研究基本涵蓋科研活動主要要素;從程度上講,在大數據技術以及替代計量學等理論新興理論的推動下,科研評價活動對相關評價客體在科研價值和影響力的揭示層次上更加立體和深入,對于科研管理和科研決策更有參考價值。同時應該注意的是,當前國內研究對國外評價工具和數據源的依賴程度較高,建立本土基礎數據和開發(fā)新的評價工具的任務仍然比較突出。
通過對國內圖情領域科研評價研究文獻的計量分析和主題分析,本研究認為當前我國該領域研究主要呈現(xiàn)以下特點:
(1)基礎理論方面,計量學理論是我國圖情學科科研評價研究的主要基礎理論,基于計量學的定量科研評價在范圍和深度上不斷深化,一方面替代計量的出現(xiàn)實現(xiàn)了在線科研評價的可行性,同時學術影響力和社會影響力評價的結合使科研評價更加全面。同時需要注意的是,研究者對定性科研評價研究關注較少,已有的相關探討也較多關注如何實現(xiàn)定量方法對定性評價的補充和修正,對定性評價基礎理論的探討仍顯薄弱,對于兩種評價方式整合利用的機理和路徑揭示不足。此外,當前研究主要面向自然科學類學術研究領域,在分級分類科研評價理論構建方面有待加強,對人文社會科學領域科研活動的評價仍是短板。
(2)評價手段和評價方式方面,基礎理論的發(fā)展豐富了評價工具的選擇,集中體現(xiàn)在對引文分析等傳統(tǒng)評價方式的修正和完善以及新的評價方法和工具的開發(fā)。當前,研究者對期刊、論文作為評價工具的認識更加趨于理性,開始對“以引文評刊”和“以刊評文”的錯誤導向進行反思[8],但相關補充評價手段和工具的開發(fā)仍顯不足。此外,當前國內研究主要采用國外較為成熟或流行的評價工具,這一方面體現(xiàn)出國內外科研評價研究的互動和借鑒,同時也體現(xiàn)出我國本土科研評價工具研究的薄弱。
(3)科研評價支持方面,互聯(lián)網、數據庫、數據挖據、可視化分析以及人工智能等技術手段的發(fā)展以及相關數據庫建設的不斷完善為當前研究提供的重要支持,有利推動了面向各種科研實體評價活動的開展,研究者利用基礎數據和分析工具實現(xiàn)對某項科研活動特征的個性化分析,科研數據建設與管理已經成為科研評價活動的重要基礎條件。文獻顯示,CSSCI、CNKI等國內數據庫工具為我國圖情領域科研評價提供了重要支持,但涉及國際影響力的評價則體現(xiàn)出對SCI等國外數據資源的依賴,因此,加強科研評價支持研究,包括基礎數據建設以及政策干預機制應該成為今后我國科研評價研究的重要方向。
(4)科研評價應用方面,國內圖情學科科研評價是我國科研評價的重要組成部分,相關研究實踐的開展為相關機構在人才引進、學科評估以及科研投入等方面發(fā)揮重要的決策支持作用,特別是我國“雙一流”戰(zhàn)略實施過程中,圖情機構開展了多樣化的科研評價服務,如對科研人才的評定[80]、科技競爭力評估[81]、優(yōu)勢學科識別與培養(yǎng)[82]以及ESI學科排名分析[83]等,相關科研評價活動的開展已經成為各級教育機構相關決策的重要參考。
科研評價是提高科研效率和保證科研資源有效分配的重要條件,建立體現(xiàn)新時代我國高等教育發(fā)展和科技強國戰(zhàn)略的科研評價體制成為必然要求。通過對當前研究的梳理,本文認為今后我國圖情領域科研評價研究應該注重以下方面:
(1)加強基礎理論研究,夯實研究基礎。
我國圖情學領域需要進一步加強科研評價基礎理論研究并著重從以下方面著力:一是加強以同行評議為代表的定性評價研究,改變過于側重計量分析的科研評價基礎理論框架,從而為科研評價方法創(chuàng)新創(chuàng)造條件。二是重新明確科研評價對于科研活動的導向作用,樹立以促進創(chuàng)新為核心的科研評價價值基礎,并以此為基礎開展方法、機制研究。三是加強對分級分類科研評價機制建立的探索,基于學科差異性尋求建立更加系統(tǒng)的科研評價體系。
(2)加強科研評價方法創(chuàng)新,提高科研評價的系統(tǒng)性和精準度。
《關于深化項目評審、人才評價、機構評估改革的意見》確立的分類評價的基本原則,建立分類評價指標體系和評價程序規(guī)范已經成為當前我國科研評價制度改革的重要任務,為此,今后我國圖情領域科研評價研究需要加強方法創(chuàng)新,建立更為系統(tǒng)和具有針對性的評價方法體系:一是要注重評價方法與學科特點的結合,提高科研評價的契合度,以更好發(fā)揮科研評價的導向作用。二是要加強各項評價指標的對比分析和綜合運用,提高科研評價的全面性和客觀性。三是通過利用現(xiàn)代信息技術加強基于內容分析的評價指標研究,彌補引文分析等傳統(tǒng)計量學在對科研成果揭示深度和全面性上的不足。四是建立更加具有開放性的科研評價方法體系,如通過Altmetric指標對科研論文社會影響力的揭示以及“互聯(lián)網+代表作”等落實代表作評價制度的探索等[7]。五是要規(guī)范SCI等評價工具的使用,在發(fā)揮SCI論文導向作用的同時,通過與其他評價方法的綜合運用,避免過于強調SCI論文的評價作用而造成的“唯論文”傾向。
(3)加強科研數據建設與管理,為科研評價的開展提供基礎支持。
當前,科研數據對科研活動的影響日益加劇,一方面體現(xiàn)在為科研活動提供基礎支持,同時也體現(xiàn)在為科研評價提供基本依據,因此,科研評價研究應該注重基礎科研數據的建設與管理??蒲袛祿ㄔO與管理對于我國圖情領域科研評價活動的影響主要體現(xiàn)在三方面:一是基于計量學的定量評價的實施需要更為準確和全面的基礎數據,從而為各項指標和模型的應用提供基礎支持。二是基于內容分析、智能化分析以及可視化處理等新的方法和技術的運用需要海量數據做支持,科研評價方法的創(chuàng)新對數據支持提出更高要求,加強基礎數據建設有利于改變目前依靠學術文獻題錄信息的單一評價模式,提高對于科研活動的規(guī)律性認識從而更好發(fā)揮科研評價的導向作用。三是本土化基礎數據建設對于我國科技發(fā)展和科技安全具有重要的現(xiàn)實意義。因此,科研數據建設與管理應該成為我國科研評價研究的重要方向。
(4)加強圖情機構科研評價服務研究,擴大科研評價服務的范圍和效果。
科研評價是圖情機構學科服務的重要內容,加強科研評價服務研究是國內圖情領域重要研究方向,相關研究可以從兩個主要方面拓展:一是擴大科研評價服務覆蓋范圍,依據分級分類原則尋求對更多科研實體和學科領域進行評價,從而為相關決策提供支持,如加強對人文社會和藝術學科的科研評價研究。二是提高科研評價服務的精準度,拓寬評價方法和渠道,針對不同的評價目標采用更加具有針對性的評價方式,提高評價服務的科學性和適用性。