趙飛　艾春艷　游越　劉素清

摘要：從科研評估現(xiàn)有的問題與困難出發(fā)，探討如何基于文獻計量建立更為科學合理的高?？蒲性u估體系，并以北京大學圖書館2011年進行的北京大學科研競爭力評估為實例，進行相應的改進嘗試并討論進一步完善的可能性。

關(guān)鍵詞：學科評估 科研評估 文獻計量

1 引言

學科建設是高等院校提高教學質(zhì)量和科研水平的重要基礎，如何更為合理地完善自身的學科體系、加強重點學科的優(yōu)勢將成為各高校增強科研競爭力及國際影響力的關(guān)鍵之一。而學科發(fā)展策略的制定首先需要對自身的學科發(fā)展情況進行客觀準確的評估和分析，因此，國內(nèi)高校也越來越重視各種類型的學科評估，以便準確把握自身的學科發(fā)展態(tài)勢。通過系統(tǒng)、科學的客觀評估，可以更為準確地了解本學科的優(yōu)勢和劣勢所在，并為制定學科將來的發(fā)展策略、重點研究方向、資源分配方案等提供重要依據(jù)，從而對高校的學科發(fā)展戰(zhàn)略起到指導意義。

學科評估中較為重要的一個部分就是科研評估，即對本學科的科研競爭力和影響力進行客觀評估。而基于文獻計量的科研評估是目前較被認可的方法之一，具有客觀、量化、易于比較等特點，并能夠?qū)蒲挟a(chǎn)出能力等重要指標有著較為直觀的評價。本文將以國內(nèi)外權(quán)威數(shù)據(jù)庫中的客觀數(shù)據(jù)為基礎，從文獻計量學的角度出發(fā)建立高?？蒲性u估體系和方案。

2 科研評估中的問題與困難

雖然無論從國家層面還是各高校自身都在逐步加強和改進科研評估工作，但是由于科研成果的多樣性、復雜性以及科研成果提交的不規(guī)范，目前科研評估仍然存在著一些問題和困難需要解決：

2.1 評估周期的確定

由于各學科科研過程和成果發(fā)表的習慣各不相同，利用文獻計量方法對其進行評估時，評估周期的選擇就成為十分重要的問題。如果評估周期過短，則對于科研周期和成果有效期較長的學科（如人文學科）來說，就無法準確評估其學科內(nèi)科研成果的學術(shù)價值和影響力，同時也會導致科研過程中的急功近利現(xiàn)象；如果考核周期過長，則又會降低評估的時效性，無法及時發(fā)現(xiàn)學科發(fā)展中的問題并予以糾正或是發(fā)現(xiàn)優(yōu)勢予以推進；而如果針對不同學科類別設定不同的評估周期，其學科間的可比性又無法保證。因此，綜合考慮各學科特點，恰當?shù)剡x擇較為合理和統(tǒng)一的評估周期是完成科研評估的重要任務之一。

2.2 評估數(shù)據(jù)的來源選擇

在以往進行科研評估時，除院系提交的成果數(shù)據(jù)外，通常會選擇統(tǒng)一的數(shù)據(jù)來源對全學科進行分析，例如WOS、ESI數(shù)據(jù)等。然而，對于不同學科而言，其科研成果的發(fā)表形式以及學科內(nèi)刊物整體被數(shù)據(jù)庫收錄的情況并不相同，因而這種綜合的數(shù)據(jù)來源雖然可以保證各學科間的公平對比，但對于一些英文發(fā)文量小或是相應期刊被綜合型參考數(shù)據(jù)庫收錄量小的學科，則存在著數(shù)據(jù)量小、區(qū)分度低等問題。所以對于這些學科還應增加更符合其特點的數(shù)據(jù)來源，從而既保證各學科間的統(tǒng)一評估標準，也可以在本學科內(nèi)進行更準確的縱向和橫向?qū)Ρ仍u估。

2.3 交叉學科的評估

隨著各學科的逐步發(fā)展，學科間的相互交融現(xiàn)象不僅越發(fā)頻繁，同時也變得越發(fā)重要，因為學科交融通常意味著新的科研增長點的誕生。而現(xiàn)有的評估指標體系中，對于學科間的交融和交叉學科發(fā)展的重視程度還遠遠不夠。如何更為有效地對學科間交融情況、對學校交叉學科發(fā)展態(tài)勢進行分析，將成為推進科研評價進一步完善所要解決的重要問題之一。

2.4 定量與定性的結(jié)合

客觀而全面地評價高等學校的科研實力，是一個需要嚴肅對待的科學問題。通過數(shù)據(jù)庫數(shù)據(jù)和文獻計量方法可以在一定程度上保證評估的客觀性，但在數(shù)據(jù)來源的完備性和數(shù)據(jù)統(tǒng)計結(jié)果的解讀方面還有著一定的不足?？茖W、合理的科研評估離不開客觀的定量分析與各學科領域?qū)＜业亩ㄐ苑治鲋g的有效結(jié)合，需要多方面的共同配合才可能完成。

2.5 評估結(jié)果的實際作用

基于數(shù)據(jù)的文獻計量分析是對過往事實的總結(jié)和評價，然而這只是進行科研評估的目的之一，更重要的是如何通過對數(shù)據(jù)的統(tǒng)計和分析，為今后學科的發(fā)展和布局提供有效的信息。然而很多學校雖然都在不斷進行科研評估，但是每次評估工作僅限于總結(jié)為止。如何將科研評估與科研管理關(guān)聯(lián)起來，使報告中發(fā)現(xiàn)的問題和分析出的建議真正得到重視，切實對學校統(tǒng)籌學科結(jié)構(gòu)、優(yōu)化學科布局起到參考作用，也是目前科研評估面臨的困難之一。

3 科研評估方案設計思路

3.1 數(shù)據(jù)來源的選擇

對于如何實現(xiàn)基于文獻計量的高校院系層面科研評估，一般來說有兩種思路：

1）以高校院系提交的科研成果列表為來源數(shù)據(jù)

即通過院系提交的科研成果數(shù)據(jù)為基礎，對其科研產(chǎn)出情況進行統(tǒng)計分析。其優(yōu)勢在于可以涵蓋各類型的科研成果，且出現(xiàn)明顯錯誤的幾率較小。其缺點在于：

·由于各院系提交情況相對復雜，無法保證整體數(shù)據(jù)的完整性；

·因原始數(shù)據(jù)均由個人提交，因此數(shù)據(jù)格式和重要字段的完整性無法保證；

·由于提交有一定的時間跨度，成果數(shù)據(jù)的時間范圍無法準確界定。

2）選擇具有一定評判性的權(quán)威數(shù)據(jù)庫抓取原始數(shù)據(jù)

通過制定檢索式，在較為權(quán)威的大型數(shù)據(jù)庫中檢索和抓取出學校整體數(shù)據(jù)，并在此基礎上進行統(tǒng)計分析。其優(yōu)勢在于數(shù)據(jù)信息較為完整、數(shù)據(jù)時間范圍較易掌控、數(shù)據(jù)具有更好的橫向可比性等。而其缺點在于：

·科研成果形式受到限定（如只包含期刊論文、會議論文等）；

·較易出現(xiàn)漏檢、錯誤記錄等情況；

·數(shù)據(jù)需要進行院系歸并，其工作量較大。

因而，選擇數(shù)據(jù)來源時可以兩種方法相結(jié)合，以其中一種方式為主，并用另一種方式加以完善和補充。同時，考慮到學科的差異，尤其是人文社科方面的論文發(fā)表習慣，建議對于人文社科方面增加中文數(shù)據(jù)庫的數(shù)據(jù)作為補充。

3.2 評估體系的構(gòu)建endprint

首先，基于科研評估的主要目標之一是客觀評價學校內(nèi)各學科的科研情況和發(fā)展態(tài)勢，應對各學科構(gòu)建一個較為統(tǒng)一的評價體系，這樣才能保證評估在各學科間具有一定的橫向可比性。其次，評估應包含學校整體、學科（或院系）、人員等多種層次，以便能夠了解學校從宏觀到微觀的科研發(fā)展態(tài)勢。其三，除學校內(nèi)的評估比較外，還應收集國內(nèi)外知名高校的相應數(shù)據(jù)并進行比較，以更為準確地了解自身的優(yōu)勢與劣勢。其四，對于人文社科方面的學科，應增加專門的評估數(shù)據(jù)和評價指標，以適應其科研產(chǎn)出特點。最后，還應加強對交叉學科和學科交融情況方面的重視，制定專門的指標來對學校在此方面的科研發(fā)展態(tài)勢進行評估。

3.3 評估流程的制定

科研評估涉及大量的數(shù)據(jù)收集與統(tǒng)一分析工作，如果沒有一個清晰明確的工作流程與分工審核機制，將很難保證數(shù)據(jù)的準確性和統(tǒng)計工作的順利進行。因此，應從數(shù)據(jù)來源選取、數(shù)據(jù)導出格式規(guī)范、數(shù)據(jù)匯總整理、數(shù)據(jù)清理、數(shù)據(jù)聚類統(tǒng)計、統(tǒng)計結(jié)果分析等科研評估的各個階段出發(fā)，根據(jù)實際情況制定相應的流程機制。

4 評估方案的實施與結(jié)果分析

北京大學圖書館2011年受學?？蒲泄芾聿块T委托，基于文獻計量方法進行了北京大學科研競爭力評估。本次評估從實際需要出發(fā)，針對學校亟待解決的學科規(guī)劃布局問題，較為系統(tǒng)地對北京大學10余年來（2000-2011年）的整體及各學科科研實力進行了分析。

1）數(shù)據(jù)來源的選擇

由于此次評估的年限范圍較廣，所以選擇以權(quán)威數(shù)據(jù)庫中檢索導出的數(shù)據(jù)為主要數(shù)據(jù)來源，包括WOS數(shù)據(jù)庫里的SCI、SSCI、A&HCI數(shù)據(jù)庫、ESI數(shù)據(jù)庫、JCR期刊引證報告、Nature、Science的部分數(shù)據(jù)。同時，對于人文社科方面的學科，還以中國社會科學引文數(shù)據(jù)庫（CSSCI），中國期刊網(wǎng)（CNKl）中的數(shù)據(jù)作為補充。

2）數(shù)據(jù)的收集與清理工作

經(jīng)過多次試檢和調(diào)整，此次評估共從WOS數(shù)據(jù)庫中檢索到2.5萬余篇北京大學從2000年到2011年的論文、從CSSCI中檢索到1.9萬余篇、從CNKI中檢索到2.3萬余篇、從ESI中提取近300篇文章。隨后，根據(jù)記錄中的作者地址字段，對數(shù)據(jù)進行了進一步的識別和清理工作，剔除非北京大學的文獻記錄。同時，也檢索收集了國內(nèi)外知名高校的相關(guān)數(shù)據(jù)以作評估比較之用。

3）評估內(nèi)容與體系

本次評估兼顧了學校、學科（院系）、人員三個層面的分析，既涉及宏觀層面的北京大學逐年科研產(chǎn)出與影響力趨勢分析以及與國內(nèi)外知名高校的對比分析，也包含了各個學科的科研發(fā)展態(tài)勢和影響力情況，同時也從微觀層面對具體人員的科研實力進行了評估。此外，還著重對人文社科領域的學科進行了針對性的評估，考慮其論文發(fā)表特點，綜合了中外文數(shù)據(jù)庫中的數(shù)據(jù)進行分析。而對于科研合作情況的分析，也是本次評估的重要組成部分，其中不僅涉及北京大學的國際間科研合作情況，也通過院系間合作情況的統(tǒng)計，分析了學科間交融的情況。

最終的評估體系構(gòu)建如下表1。

4）評估結(jié)果分析

此次評估通過對數(shù)據(jù)的統(tǒng)計分析，客觀評價了北京大學近十年的整體科研產(chǎn)出情況及發(fā)展趨勢，并通過橫向?qū)Ρ?，給出了北京大學科研實力在國內(nèi)外所處的位置及與國際知名高校間的差距所在。此外，通過學科、院系和人員層面的統(tǒng)計，識別出學校的優(yōu)勢學科和表現(xiàn)突出的院系及科研人員，并對交叉學科院系的科研發(fā)展情況進行了重點評估，為學校進一步制定學科發(fā)展策略提供參考。同時，評估也分析了北京大學的國際科研合作變化趨勢與重點合作國家、各院系間的合作情況以及合作較為緊密的院系群體，從另一側(cè)面反映出學校的學科交融情況。

5 總結(jié)與思考

通過此次北京大學科研競爭力評估的嘗試，北京大學圖書館針對當時科研評估中存在的問題和實際需求進行了一定的改進和探索，為學校的科研管理部門制定學科發(fā)展規(guī)劃和布局提供了急需的客觀數(shù)據(jù)參考。不過，對人文社科學科和交叉學科的評估還只是初步的嘗試，有待進一步總結(jié)和改進。此外，評估也總結(jié)出不少需要思考和完善的地方：

1）署名地址規(guī)范的重要性

權(quán)威的數(shù)據(jù)庫是獲取原始數(shù)據(jù)重要的來源之一。在實際的數(shù)據(jù)獲取過程中，我們常通過作者地址字段對論文進行識別，而在數(shù)據(jù)庫的數(shù)據(jù)中存在著相當數(shù)量的作者地址字段不規(guī)范問題，如機構(gòu)名拼寫錯誤、機構(gòu)英文名未使用通用翻譯、郵編錯誤、濫用簡寫、過于簡略缺少必要信息等。這些問題有些是由于作者自身不夠謹慎，有些是因為學校和院系沒有統(tǒng)一明確的署名格式，還有些是綜合的因素造成的（如國家重點實驗室的署名問題）。因此，建議學校和院系都應規(guī)范自身的署名地址規(guī)則，并加強對機構(gòu)內(nèi)人員的相關(guān)培訓。

2）數(shù)據(jù)的局限性

評估所用數(shù)據(jù)大部分均為學術(shù)論文方面的信息，包括期刊論文、會議論文等，對于其他科研成果形式，如專著、專利、調(diào)研報告等則基本沒有涉及。然而對于部分學科領域，這些形式的科研成果同樣具有重要的意義，如專著、學位論文對于人文社科的評估來說就較為重要。因此，如果想要更為全面地評估相應學科的科研產(chǎn)出和影響力，則應在評估中與科研管理部門的統(tǒng)計數(shù)據(jù)相結(jié)合，補充其他形式科研成果的信息。

3）國內(nèi)外的學科間映射

無論是學科還是院系，國內(nèi)外高校在其定義和結(jié)構(gòu)建設上都有些許的差別，目前的學科對應關(guān)系還處于比較粗糙的階段。如何能夠在國內(nèi)外學科間建立更為精準的映射，將成為加強科研評估的準確性和說服力、增強校際間橫向可比性的重要因素之一。

4）深入內(nèi)容層面的評估與分析

現(xiàn)有評估方法對于科研態(tài)勢的揭示主要還是基于文獻數(shù)量的統(tǒng)計層面，而未能深入到對文獻內(nèi)容的統(tǒng)計與分析。前者對于科研管理者而言固然非常重要，因為高校的科研管理者可以通過文獻數(shù)量上的變化趨勢和對比分析，從宏觀層面了解各學科科研發(fā)展的大致情況，從而有助于下一步學科布局與規(guī)劃的制定；然而對于教師和科研人員而言，他們更希望得到的則是基于文獻內(nèi)容的統(tǒng)計分析（比如關(guān)鍵詞統(tǒng)計等），以從大量內(nèi)容文本的信息統(tǒng)計中探尋出學科的某些發(fā)展規(guī)律和內(nèi)在聯(lián)系，從而為其科研工作提供參考和思路。

因此，目前基于文獻計量的高?？蒲性u估還存在諸多需要完善和改進的地方，只有通過不斷地嘗試，總結(jié)經(jīng)驗和問題，思考完善方案，科研評估才會越來越貼近學?？蒲泄芾碚吆涂蒲腥藛T的需求，其準確性、客觀性、全面性、認可程度等才會進一步提高，最終使科研評估成為科研管理者和科研人員不可或缺的參考信息，為高校的學科發(fā)展起到重要作用。endprint