劉曉晨
(中國科學技術信息研究所,北京 100038)
“核心競爭力”是相對業(yè)界公認較早、用來刻畫科研人員能力與水平的概念,這一概念自1990年正式提出[1]以來,最先應用在企業(yè)發(fā)展方面,后來逐漸推廣到科研領域。根據(jù)王海濤等[2]、張守華等[3]的研究,科研人員所具備的能力包括學術創(chuàng)新能力、觀察實踐能力和管理協(xié)作能力等方面,其中對所從事科研活動起到支撐作用、保障其在研究領域領先地位的能力,方可稱為核心競爭力??v觀世界科技發(fā)展史,各領域的頂尖科學家(如愛因斯坦、馮·諾依曼、錢學森等),無疑都具有很強的核心競爭力。
各個國家的國情與科技發(fā)展狀況決定了其本身的科研人員評價機制。由于美國科研管理總體秉承學術自由的原則,美國科研人員評價制度并不統(tǒng)一,但是具體到每一個科研機構內(nèi)部,仍然存在嚴格、規(guī)范的科研人員評價體系[4]。這些評價體系雖然因單位而異,但是總體來看仍存在較多的共同點。一是重視科技人才的實際工作產(chǎn)出和能力,這些產(chǎn)出和能力大多通過學術論文、著作、主持或參與的科研項目等指標來體現(xiàn)。這些指標也常與工作績效、待遇等掛鉤,這種方式對科技人才發(fā)揮工作價值具有激勵作用。二是對于科研人員、科技人才,更加注重其所在領域的專業(yè)性,在評價時多會偏向?qū)嵺`類、應用類的評價方向。三是對于相對重要事項的評價工作多采取同行評價機制,如終身教授的評價工作[4]。
在德國科研人員評價體系中,大學占主導地位,具有很高的自主權,評價工作主要由一些權威學術機構負責,政府不加以干預。德國科研人員評價體系有以下特點[5]:一是不同的科研定位有不同的評價指標,再結合相應的評價方法,評價各類人員;二是整個評價體系有專業(yè)的管理部門使用計算機系統(tǒng)完成,各類指標、數(shù)據(jù)庫和科研項目與具體科研工作結合,使得整個體系更加規(guī)范化、專業(yè)化、制度化、可視化;三是注重發(fā)揮同行專家評價作用,每個科研人員的評價都由對應科研方向最接近的科學研究人員組成評審團隊來完成。
所以,我國科研人員評價要充分考慮我國實際情況,借鑒其他國家經(jīng)驗和做法,探索出適用的科研人員評價機制,建立并不斷完善科研人員核心競爭力評價模型。本文基于科技人才的視角,從多維度構建科研人員核心競爭力評價模型,對關鍵評價指標實施量化處理,探究如何科學合理地評價科研人員核心競爭力。
對科研人員核心競爭力進行評價,是一項系統(tǒng)性工作,需要考慮政策指導、實施路徑、數(shù)據(jù)基礎和科學評價等多方面因素;同時,科研人員核心競爭力評價也是一項復雜性工作,需要考慮適應范圍、時域發(fā)展、異常處理等多種實踐應用問題。此外,構建核心競爭力評價模型需考慮具體實施的可行性與復雜性,支持科研機構的普適應用,實行便捷高效的信息化支撐。
科研人員核心競爭力評價模型需要能夠全面、客觀地刻畫科研人員的核心競爭力,包括科研現(xiàn)狀、科研潛力,以及該科研人員對科技項目、經(jīng)濟建設與社會發(fā)展的貢獻。在反映科研人員開展科研工作綜合能力的同時,應力爭反映科研人員之間對比情況,給予科研人員一定的正向反饋、差距提示,如幫助科研人員了解同行動態(tài)、調(diào)整研究方向等。評價結果可以為科技項目提供輔助信息,使科技項目的管理更加系統(tǒng)化、科學化、規(guī)范化[6]。對于各級科技項目管理工作,可輔助實施項目管理,如動態(tài)調(diào)整科研人員組成結構,以期得到更好的科研結果。評價模型不僅需要能給出一個綜合性的評價結果,在特定需求時,也應該可選擇評價的維度與指標構成,支持圍繞業(yè)務目標的動態(tài)調(diào)整,即評價體系具有較好的可復用性。同時,在細粒度上,評價模型涵蓋的指標應該覆蓋科研人員能力刻畫的多方面。可用來評價科研人員核心競爭力的指標有很多,如論文、專利、項目合作、項目評審、學術書籍、團隊實力、社會評價、基本信息、工作單位、頭銜等。其中,論文、專利、項目合作、學術書籍體現(xiàn)科研人員的科研實力,社會評價、頭銜、信用分等體現(xiàn)科研人員的社會影響力。這些內(nèi)容可以進一步形成細化指標,例如依據(jù)學術分類、現(xiàn)實中的評價邏輯分成多級指標,形成維度-指標體系。
核心競爭力評價指標設計將直接影響評價效果。在業(yè)務實現(xiàn)上,具體目標是將科研人員的核心競爭力這一復雜的概念進行量化。為了確保評價科學有效,評價模型應該遵循以下構建原則。
(1)全面性與獨立性原則。為有效刻畫科研人員的核心競爭力與發(fā)展趨勢,防止思維受限與體系失誤,在評價體系設計中應堅持全面性原則。因此,在核心競爭力評價體系初步篩選指標中,必須多角度、系統(tǒng)地設計評價維度與指標[7]。為減少指標計算的關聯(lián)性,避免信息重疊或指標因果關系對評價結果的影響,如學歷和受教育年限存在關聯(lián)效應,在評價體系設計中應考慮獨立性原則。例如,應用二次篩選方法,在第一次全面性篩選的基礎上,第二次篩選更加注重指標之間的獨立性,促進評價結果不會出現(xiàn)偏差。同時,評價體系的復雜度也會隨著指標獨立性的提高而降低。
(2)科學性與系統(tǒng)性原則。能夠描述科研人員行為和能力的指標眾多,評價體系中維度、維度中具體指標的選擇應堅持科學性原則,避免單純追求大而全的指標體系,需重點關注對科研人員核心競爭力影響最大、表現(xiàn)力最強的指標[8]。為適應多種評價場景、不同細分粒度的評估需求,評價指標體系的構建還需要遵循系統(tǒng)化原則,不能是簡單羅列各項指標,需根據(jù)評價的具體邏輯將其劃分為層次清晰的不同維度,維度間形成規(guī)范化的區(qū)分邊界。這樣,從指標到維度構成完整的系統(tǒng),在不同層面系統(tǒng)地刻畫科研人員核心競爭力。
(3)可操作性與可比性原則。為了在科研活動管理和科研人員激勵中發(fā)揮作用,評價指標體系的構建需要重點考慮可操作性原則,也就是說評價指標需要確保能直接獲得[9],空泛、脫離實際、缺乏數(shù)據(jù)支撐的評價指標體系無法應用。甄別、區(qū)分、發(fā)現(xiàn)和提示是評價指標體系的典型應用,評價指標體系還需遵循可比性原則,每個指標的計算方法應該是一致的、可重復的,支持指標間的橫向比較。一方面,可以實現(xiàn)在不同科研人員間進行比較;另一方面,針對具體科研人員,可以分析不同時期的狀態(tài)來了解動態(tài)趨勢。運用比較方法的研究,還可以揭示支配科研人員核心競爭力發(fā)展的影響因素和實踐規(guī)律。
根據(jù)上述構建原則和功能規(guī)劃,本文設計的科研人員核心競爭力評價模型主要涉及4個維度,分別是科研人員科研項目參與情況、學術成果、學術影響力和學術道德,各個維度又包含若干指標,將這些指標綜合起來,支撐量化計算的科研人員核心競爭力,如圖1所示??蒲许椖?、學術成果、學術影響力是科研人員核心競爭力的同向增長指標,即可以用加和等方法進行總體性計算。學術道德是核心競爭力的評判性指標,可以通過影響因子等方法進行應用。
圖1 評價模型中的各種因素和指標示意圖
對于打分評價類指標,在評價體系中通常先給出一個基礎評分標準作為參考,如表1、表2等,可在后續(xù)的實施中加入動態(tài)調(diào)整過程,但動態(tài)調(diào)整應以數(shù)值微調(diào)為主,不應改變該指標得分的整體分布邏輯。
科研人員參與各種科技項目情況是評價其核心競爭力的關鍵因素之一,在本文中,筆者從參與項目的數(shù)量、等級、扮演角色3個方面來衡量科研人員在科研項目方面的競爭力,同時也需要考慮一些特殊情況對科研項目維度的有關影響。
2.1.1 一般情況模型
具體來說,對于科研人員參與的每個項目,將其項目等級得分乘以扮演角色得分,作為該項目的得分,然后對所有項目得分求和,即可得到科研人員在參與科技項目方面的量化分數(shù)。項目等級和扮演角色的評分標準如表1所示。
表1 項目等級和扮演角色的評分標準
根據(jù)表1可計算出每個科研項目的等級得分level和扮演角色得分role,相乘得到每個科研項目的得分,然后,將科研人員的所有項目劃分到各個研究領域中,計算每個領域的總分,如式(1)所示。
其中,field_i表示第i個領域的總分,levelij和roleij分別表示第i個領域的第j個項目的等級得分和角色得分,n表示該領域的項目數(shù)量。
最后,選擇其中分數(shù)最高的一項領域得分作為科研人員在科研項目方面的整體得分s_program,如式(2)所示。
2.1.2 特殊因素考慮
具體實踐操作中,除了實現(xiàn)上述模型外,還需考慮很多邊界因素和特殊情況。如為了避免出現(xiàn)多個類別較低的項目累加得分過高的情況,可規(guī)定每個類別最多只有2個項目參與計算,即式(1)中n≤2。
學術成果種類很多,較為公認、權威的成果是論文、專利,是各類科研競爭力評價中選擇最集中的指標,在學術領域具有良好的實踐范式。
2.2.1 論文
論文作為科研人員最具代表性的學術成果,是評價科研人員競爭力的重要參考依據(jù)。目前,文獻計量學大多采用論文數(shù)量、總被引次數(shù)、篇被引次數(shù)、h指數(shù)[10]等指標來衡量科研人員的論文產(chǎn)出水平[11],其中,一名科研人員的h指數(shù)指的是其發(fā)表的論文中有h篇每篇至少被引用h次,它綜合考慮了論文的數(shù)量和質(zhì)量兩個方面。本文即采用上述4種指標進行分析計算,具體的計算方法為分數(shù)計數(shù)法[12],如表2所示。
表2 各論文指標的計算方法
計算出以上4種指標后,即可將其綜合起來評價科研人員在論文產(chǎn)出方面的競爭力s_paper,如式(3)所示。
其中,α、β、γ、δ之和為1,分別代表上述4種指標的權重,具體取值可由專家確定。
2.2.2 專利
專利相對于其他文獻形式,更具有新穎、實用的特征。根據(jù)實證統(tǒng)計分析,專利文獻包含世界科技技術信息的90%~95%[13-14]。因此,專利也是衡量科研人員學術成果的重要指標之一,在本文構建的科研人員競爭力評價模型中,將已授權的發(fā)明專利納入考察范圍。
科研人員在專利產(chǎn)出方面的得分s_patent的計算方法如式(4)所示。
即統(tǒng)計某個科研人員已獲授權發(fā)明專利的數(shù)量,每有一項加1分。
2.2.3 學術成果綜合評價
為消除不同維度間得分數(shù)據(jù)整體分布差異造成的評價偏差,本文對論文和專項相關的計算數(shù)據(jù)進行歸一化處理。計算出科研人員在論文和專利兩個方面的得分后,首先根據(jù)式(5)和式(6)對其歸一化操作,得到|s_paper|和|s_patent|。
然后對歸一化的分數(shù)進行加權求和操作,即可得出科研人員在學術成果方面的整體得分s_academic,如式(7)所示。
其中,α+β=1。具體取值可由專家確定。
學術影響力指的是科研人員通過個人及團隊的科研活動對社會、經(jīng)濟、民生、服務等方面作出貢獻的能力,科研人員的學術影響力越大,其參與國家科技計劃所能產(chǎn)生的效益往往越大。在本文中,通過科研人員的職稱頭銜、獲獎情況和任職情況3個指標來衡量其學術影響力。除此之外,在應用實踐的不同場景下,還可以加入領域性指標來反應學術影響力。
2.3.1 職稱頭銜
目前,我國科技界存在各式各樣的學術頭銜,雖然其含金量參差不齊,但總體而言仍具有較高的權威性,能夠在一定程度上反映科研人員的學術影響力。本文對科研人員職稱頭銜s_title的計分方式如表3所示。
表3 科研人員職稱頭銜計分方式
考慮到部分科研人員同時具有多個層次頭銜的情況,因此,在計算時,每個科研人員只取層次最高的一個頭銜參與計算。
2.3.2 獲獎情況
科研人員的獲獎情況也是衡量其學術影響力的重要指標,本文采用表4的方式對各類獎項進行評分,累加得到科研人員的獲獎分數(shù)s_prize。
表4 科研人員獲獎情況計分方式
為了避免多個低級別獎項累加得分過高的情況,我們規(guī)定每個級別最多只有2個獎項參與計算。
2.3.3 任職情況
科研人員在各類學術組織的任職情況也反映出其學術影響力大小。目前國內(nèi)外存在數(shù)以千計的學術組織,暫時無法一次性劃分各組織的水平層次,因此本文采用同行評審法來衡量科研人員的任職得分,具體做法是每位科研人員提供不超過2個學術組織任職崗位,由同行專家為每個崗位以10分制進行打分,然后求和作為其任職得分s_occupation,如式(8)所示。
其中,occupationi代表某一崗位的得分,如某期刊編委、某學會高級會員、某理事會會長等。
2.3.4 學術影響力綜合評價
在計算出科研人員在職稱頭銜、獲獎情況和任職情況3個方面的得分后,首先根據(jù)前述的歸一化方法對其歸一化操作,得到|s_title|、|s_prize|、|s_occupation|。然后對歸一化后的分數(shù)進行加權求和操作,即得出科研人員在學術影響力方面的整體得分s_influence,如式(9)所示。
其中,α+β+γ=1。具體取值可由專家確定。
學術道德指的是科研人員應遵守的學術誠信和學術規(guī)范。為了全面評價科研人員的核心競爭力,本文也將學術道德單獨作為一個指標,為每位科研人員設置了學術信用分s_credit。信用分以100分為基準,實行扣分制度,每次出現(xiàn)違反學術道德的行為都會視其情節(jié)嚴重減去若干分,直至為0為止。
學術道德相關記錄數(shù)據(jù),可以是教育部等權威學術管理部門披露的信息,也可以從信用中國等網(wǎng)站查詢社會信息,還可以收集、整理由各科研機構、各類學術內(nèi)容發(fā)布機構的相關信息。具體操作上,建議以科研人員所在科研機構的權威認定和提供為基礎。
分別計算出科研人員在科研項目方面得分s_program、學術成果方面得分s_academic、學術影響力方面得分s_influence和在學術道德方面得分s_credit后,可通過加權求和等方式計算得出科研人員的核心競爭力最終得分s,如式(10)所示。
其中,α+β+γ=1。具體取值可由專家確定。
在模型的應用中,需要做好數(shù)據(jù)前期準備,并在系統(tǒng)實現(xiàn)過程中考慮信息輸入、參數(shù)調(diào)整、結果表示等具體工作環(huán)節(jié),針對不同工作場景靈活運用上述核心競爭力評價模型。
科研項目數(shù)據(jù)是計算核心競爭力評價模型第一個維度的基礎數(shù)據(jù),包含計算項目等級需要的項目類型、項目來源等信息,也包括計算扮演角色時需要的項目參與人員姓名、人員單位、從事工作內(nèi)容、項目參與角色等,還需要區(qū)分項目所屬領域的相關信息。
論文專利數(shù)據(jù)是計算學術成果的基礎數(shù)據(jù),包括標題、作者姓名、作者單位、作者排序、通信作者(論文)、被引次數(shù)(論文)、出版時間等。
科研人員(專家)數(shù)據(jù)主要用于計算學術影響力,包括榮譽頭銜、職稱、獲獎名稱、獲獎級別、學術組織、任職崗位等。
學術道德數(shù)據(jù)是記錄科研人員、科研單位學術不端、失信行為的數(shù)據(jù)集合,通常包括人員姓名(單位名稱)、失信原因、失信時間、處罰周期等。
本文提出的模型需要在使用中不斷對數(shù)據(jù)進行實證分析,在指標設置、權重數(shù)值等方面進行動態(tài)調(diào)整,從而提高科研人員核心競爭力評價結果的準確度。具體實踐中,可以對每次輸出結果的整體排名、分維度排名進行評價,如正確與否、差距大小等進行反饋,將這些定性的評價轉(zhuǎn)換成評分標準(如表1、表2)的調(diào)整參數(shù),再次輸入到系統(tǒng)中,形成一次反饋。調(diào)整中需確定每次調(diào)整的最大值(顆粒度),保證每次調(diào)整方向正確,同時實現(xiàn)整體算法的收斂性。動態(tài)調(diào)整過程如圖2示意。
圖2 動態(tài)調(diào)整過程示意圖
依據(jù)上述模型和實現(xiàn)方法,筆者收集整理了某科研機構部分科研人員的有關科研數(shù)據(jù),選取單一科研領域的科技人員進行系統(tǒng)模型驗證。在選擇科研人員過程中兼顧年齡分布等情況。首先將相關數(shù)據(jù)及初始化參數(shù)輸入系統(tǒng),進行評價指標測算;然后將測算結果輸出,由該機構權威業(yè)務人員進行核對,根據(jù)主觀評價意見修訂參數(shù)。經(jīng)兩輪反饋后,系統(tǒng)輸出穩(wěn)定,無須進一步調(diào)整。同樣,將確定的參數(shù)和算法用于同機構另一科研領域的人員核心競爭力計算,業(yè)務人員核對結果與指標計算的評價結果基本一致。同時,本文通過圖3的形式進行評價有關的支撐數(shù)據(jù)展示。
圖3 評價有關的支撐數(shù)據(jù)展示圖
上述實驗過程,一方面,證明整體模型運行有效;另一方面,說明模型和實驗方法可用于相近領域的同類評價過程。下一步,可以用多種反饋-修正方法代替現(xiàn)有的反饋模型,如貪心算法、模擬退火算法等優(yōu)化或人工智能方法,考慮評價的時域應用特性、部分指標對核心競爭力的時間衰減效應等,進一步實現(xiàn)動態(tài)反饋、領域差別、問題分治與精細評價。
本文構建的科研人員核心競爭力評價模型,綜合考慮了科研項目參與情況、學術成果、學術影響力和學術道德多個維度,從多個指標出發(fā)來評價科研人員。在評分機制上使用了歸一化,得到直接、可比性強的量化評價結果,同時也在一定程度上抑制了論文數(shù)量、專利數(shù)量在評分結果上的影響力。評價模型具有一定的全面性、客觀性、科學性與可操作性。綜合運用評價模型,可促進科研人員客觀了解自身、同領域科研工作現(xiàn)狀,間接促進科研項目實施管理、研究領域良性發(fā)展。