,,,,
科研評(píng)估是科技管理的重要手段之一,近年來受到學(xué)術(shù)界和政府科技管理部門以及科研機(jī)構(gòu)的廣泛關(guān)注。但如何評(píng)價(jià)科研機(jī)構(gòu)的科研能力,進(jìn)而為科研優(yōu)化布局、科研計(jì)劃制定和科研項(xiàng)目選擇等決策提供重要依據(jù),仍然是長期困擾科技主管部門的一道難題。系統(tǒng)梳理國內(nèi)外醫(yī)學(xué)科研機(jī)構(gòu)能力評(píng)估研究的歷史與現(xiàn)狀,對(duì)我國醫(yī)學(xué)科研機(jī)構(gòu)能力評(píng)估乃至醫(yī)學(xué)科研事業(yè)的發(fā)展具有重要的啟示和借鑒意義。
科研評(píng)估是評(píng)估機(jī)構(gòu)不斷發(fā)展和評(píng)估制度不斷完善的過程。19世紀(jì)的法國就已經(jīng)有了評(píng)估雛形,20世紀(jì)20年代的美國也有過評(píng)估嘗試,不過真正有規(guī)模的評(píng)估始于20世紀(jì)60年代的美國,在其帶動(dòng)下,許多發(fā)達(dá)國家興起了評(píng)估的熱潮[1]。
美國是對(duì)科研單位和大學(xué)開展科研能力評(píng)估較早的國家,它利用民間團(tuán)體進(jìn)行評(píng)估,主要方法包括以下6種。一是通過著作、專利及其被引情況評(píng)估,通常認(rèn)為被引頻次越高,價(jià)值越大;二是通過經(jīng)濟(jì)回報(bào)率評(píng)估,這種方法為衡量研究成果的價(jià)值提供了標(biāo)準(zhǔn),但存在很多難題;三是專家評(píng)議,專家評(píng)議主觀性較強(qiáng),通??刹捎眠m當(dāng)?shù)姆绞睫D(zhuǎn)化為量化標(biāo)準(zhǔn)進(jìn)行評(píng)估;四是案例分析,了解制度、組織和技術(shù)因素對(duì)研究過程的作用,確定研究過程的重要成果;五是追溯性分析,一般由專家組或研究組進(jìn)行;六是基準(zhǔn)確定,由特定領(lǐng)域和相關(guān)領(lǐng)域的國際和國內(nèi)學(xué)術(shù)和行業(yè)專家組根據(jù)可獲得的定量和定性數(shù)據(jù)進(jìn)行。
前兩者屬于定量方法,專家評(píng)議和案例分析屬于定性方法,后兩者屬于半定量方法。近年來,評(píng)估活動(dòng)以同行評(píng)議為主,然后是非定量的案例研究,純定量方法使用較少。對(duì)基礎(chǔ)性研究的評(píng)估通常進(jìn)行同行評(píng)議,對(duì)一些大規(guī)模、有多種評(píng)估對(duì)象和目標(biāo)的評(píng)估方案則需要綜合運(yùn)用多種評(píng)估工具和手段。
德國建立了比較完整的科學(xué)評(píng)估組織體系,包括聯(lián)邦層面的科學(xué)顧問委員會(huì)、科研教育資助機(jī)構(gòu)和大學(xué)與研究機(jī)構(gòu)等。評(píng)估委員會(huì)一般根據(jù)科研機(jī)構(gòu)研究工作的內(nèi)容和性質(zhì),從以下5個(gè)方面評(píng)估其科研能力和水平。
一是對(duì)科研活動(dòng)計(jì)劃的定性評(píng)估。評(píng)估內(nèi)容包括該機(jī)構(gòu)科研計(jì)劃的相關(guān)性及其重點(diǎn)是否明確、科研工作是否具有創(chuàng)新能力、科研計(jì)劃中遠(yuǎn)期規(guī)劃是否符合研究機(jī)構(gòu)發(fā)展方向、與國內(nèi)外同行科研能力比較是否有差距等。
二是對(duì)發(fā)表的論文與著作、組織會(huì)議、專利等科研產(chǎn)出進(jìn)行量化評(píng)估。對(duì)從事不同學(xué)科的科研機(jī)構(gòu),評(píng)估側(cè)重點(diǎn)不同。如對(duì)從事自然科學(xué)和醫(yī)學(xué)研究的科研機(jī)構(gòu),著重評(píng)估其在學(xué)術(shù)雜志上發(fā)表的論文數(shù)量;對(duì)從事工程科學(xué)研究的科研機(jī)構(gòu),除評(píng)估其專業(yè)論文的數(shù)量外,還注重其申報(bào)專利的數(shù)量和工業(yè)產(chǎn)出的具體例子。
三是對(duì)科研活動(dòng)的質(zhì)量進(jìn)行定性評(píng)估。評(píng)估內(nèi)容包括該機(jī)構(gòu)是否經(jīng)常性地進(jìn)行自查和外查、是否存在走過場(chǎng)現(xiàn)象、管理和監(jiān)督機(jī)制是否完善、科研人員的素質(zhì)和培養(yǎng)情況如何、科研人員在科研機(jī)構(gòu)中的流動(dòng)程度。此外,科研人員應(yīng)邀到重要的國際學(xué)術(shù)會(huì)議上作學(xué)術(shù)報(bào)告以及舉辦重要的國內(nèi)和國際學(xué)術(shù)會(huì)議也是重要的評(píng)估內(nèi)容。
四是對(duì)科技合作活動(dòng)進(jìn)行評(píng)估。評(píng)估內(nèi)容包括該機(jī)構(gòu)與國內(nèi)外高校或科研機(jī)構(gòu)的合作情況、科研人員參與高校的教學(xué)和企業(yè)合作的程度、該機(jī)構(gòu)派往或?yàn)槠渌咝:蛦挝贿x派或受聘的教授或領(lǐng)導(dǎo)的情況、科研人員在國外科研機(jī)構(gòu)學(xué)術(shù)逗留情況、科研人員在重要學(xué)術(shù)團(tuán)體或國際組織任職狀況等。
五是對(duì)科研成果應(yīng)用進(jìn)行評(píng)估,主要是針對(duì)基礎(chǔ)研究或應(yīng)用基礎(chǔ)研究機(jī)構(gòu)。評(píng)估內(nèi)容包括科研成果和技術(shù)轉(zhuǎn)讓的能力、申請(qǐng)知識(shí)產(chǎn)權(quán)保護(hù)和專利的狀況、創(chuàng)建獨(dú)立的創(chuàng)新企業(yè)、通過委托研究或合同研究項(xiàng)目所獲取的科研經(jīng)費(fèi)比例、“獨(dú)立門戶”創(chuàng)業(yè)人員的狀況。
英國沒有國家科學(xué)院,大學(xué)是主要科研機(jī)構(gòu)。1986-2001年英格蘭高等教育撥款委員會(huì)、蘇格蘭高等教育撥款委員會(huì)、威爾士高等教育撥款委員會(huì)和北愛爾蘭教育部聯(lián)合組織,對(duì)高等學(xué)校進(jìn)行了5次科研評(píng)估。
在評(píng)估中,劃分出學(xué)科領(lǐng)域,對(duì)某一學(xué)科的評(píng)估方式完全由該學(xué)科評(píng)估專家組確定,建立明確的指標(biāo)體系和定量計(jì)算公式,也可能制定原則性的評(píng)估標(biāo)準(zhǔn),具體得分則由評(píng)估組專家審查,集體討論決定。具體指標(biāo)包括研究人員的詳細(xì)情況、本學(xué)科研究成果狀況(藝術(shù)與人文學(xué)科6年間有代表性的研究成果;其他學(xué)科4年間有代表性的研究成果(一般必須不少于4項(xiàng)))、參與科研活動(dòng)的研究生人數(shù)和授予學(xué)位人數(shù)、享受科研獎(jiǎng)學(xué)金的人數(shù)、得到的政府研究資助額度和合同研究收入情況。
日本20世紀(jì)90年代成立了針對(duì)醫(yī)院科研能力的第三方評(píng)估機(jī)構(gòu)。日本醫(yī)療機(jī)構(gòu)評(píng)估工作旨在從學(xué)術(shù)的、中立的立場(chǎng)對(duì)醫(yī)療機(jī)構(gòu)的科研能力進(jìn)行多方面、具體、定量的評(píng)估,并根據(jù)評(píng)價(jià)結(jié)果,接受相應(yīng)機(jī)構(gòu)的咨詢,給予指導(dǎo)。評(píng)估指標(biāo)包括研究機(jī)構(gòu)歷年的研究經(jīng)費(fèi)、研究機(jī)構(gòu)研究經(jīng)費(fèi)的分項(xiàng)支出、研究機(jī)構(gòu)不同類別的經(jīng)費(fèi)、研究機(jī)構(gòu)歷年的研究人數(shù)、研究機(jī)構(gòu)各類專業(yè)研究人員數(shù)。
1981年,程少民等[6]提出了應(yīng)加強(qiáng)研究所的科技統(tǒng)計(jì)工作,主要內(nèi)容包括承擔(dān)科研課題情況、科研計(jì)劃執(zhí)行情況、科研成果情況、人員情況、科技人員培訓(xùn)情況、經(jīng)費(fèi)統(tǒng)計(jì)、科研物資統(tǒng)計(jì)、學(xué)術(shù)活動(dòng)與國內(nèi)外學(xué)術(shù)交流情況、圖書情報(bào)及刊物出版情況、所屬工廠情況和基本建設(shè)情況,并設(shè)計(jì)了詳細(xì)的統(tǒng)計(jì)表。這可以看作是我國科研機(jī)構(gòu)評(píng)估的雛形,為科研機(jī)構(gòu)的評(píng)估實(shí)踐邁出了開創(chuàng)性的一步。
1983年,徐榮成[7]首次探討了科學(xué)研究機(jī)構(gòu)績效的綜合評(píng)價(jià)理論和方法,提出對(duì)科研單位的管理,特別是應(yīng)用研究與發(fā)展研究機(jī)構(gòu)的管理,首先應(yīng)對(duì)其科研活動(dòng)的成績與效率有一個(gè)定量的評(píng)價(jià)方法,才能通過縱橫的比較,促進(jìn)科研機(jī)構(gòu)加強(qiáng)計(jì)劃、提高效率、推動(dòng)科技事業(yè)的發(fā)展。
1986年,陳文榮等[8]提出了“用定性與定量相結(jié)合,以定量為主”的方法對(duì)研究所地進(jìn)行考核評(píng)價(jià),并采用以貢獻(xiàn)為主、有內(nèi)在聯(lián)系的多因素綜合評(píng)價(jià)指標(biāo)體系與權(quán)重分配相結(jié)合的計(jì)算方法。該評(píng)價(jià)體系包括課題、成果、效益及效率、人才4個(gè)一級(jí)指標(biāo),16個(gè)二級(jí)指標(biāo)(表1),并對(duì)沈陽、大連、鞍山三地18個(gè)不同規(guī)模和不同類型的研究所1983-1984年科研活動(dòng)的績效進(jìn)行了模擬評(píng)估,將具體指標(biāo)值轉(zhuǎn)化為當(dāng)量數(shù),從而在原則上滿足了可比性的要求,達(dá)到了當(dāng)時(shí)較高的水平。
表1 1986年研究所科研活動(dòng)績效評(píng)估二級(jí)指標(biāo)體系
1986年,中國協(xié)和醫(yī)科大學(xué)[9]結(jié)合醫(yī)藥衛(wèi)生科學(xué)的特點(diǎn),提出了醫(yī)藥衛(wèi)生科學(xué)研究所的評(píng)價(jià)指標(biāo)體系,包括科研能力、科研成果、人才、科研管理水平4個(gè)一級(jí)指標(biāo)和21個(gè)二級(jí)指標(biāo)(表2)。
1991年,中華醫(yī)學(xué)會(huì)[10]在全國范圍內(nèi)進(jìn)行了較大規(guī)模的評(píng)估研究,采用投入——活動(dòng)——產(chǎn)出評(píng)估模型,建立了三級(jí)指標(biāo)體系,共72項(xiàng)操作指標(biāo),對(duì)全國505個(gè)省級(jí)以上醫(yī)學(xué)科研機(jī)構(gòu)進(jìn)行了科研能力綜合評(píng)估,明確了開展醫(yī)學(xué)科研機(jī)構(gòu)能力評(píng)估的基本思路和方法,是機(jī)構(gòu)評(píng)估理論在醫(yī)學(xué)領(lǐng)域的一次成功實(shí)踐。此后,有關(guān)醫(yī)學(xué)機(jī)構(gòu)科研能力評(píng)估的論著不斷出現(xiàn),逐步形成了一定體系。
1998年,中國醫(yī)科大學(xué)[11]運(yùn)用上述評(píng)估模型和指標(biāo)體系,從72項(xiàng)指標(biāo)中篩選出30項(xiàng)指標(biāo),對(duì)146個(gè)全國直屬(包括中國醫(yī)學(xué)科學(xué)院和中國預(yù)防醫(yī)學(xué)科學(xué)院)以及省直屬獨(dú)立性醫(yī)學(xué)科研機(jī)構(gòu)的科研能力進(jìn)行了綜合評(píng)估(表3)。該簡化指標(biāo)體系能較全面地反映原指標(biāo)體系的信息,便于質(zhì)量控制、追蹤觀察,其自身回代符合率達(dá)100%。
表2 醫(yī)藥衛(wèi)生科學(xué)研究所能力評(píng)估二級(jí)指標(biāo)體系
表3 全國獨(dú)立性醫(yī)學(xué)科研機(jī)構(gòu)科研能力評(píng)估二級(jí)指標(biāo)體系
2000年,濟(jì)南軍區(qū)軍事醫(yī)學(xué)研究所[12]通過對(duì)山東省全部(40個(gè))獨(dú)立醫(yī)學(xué)科研機(jī)構(gòu)1991-1998年度的科技活動(dòng)進(jìn)行問卷調(diào)查,評(píng)估科研機(jī)構(gòu)的科技實(shí)力。運(yùn)用投入——活動(dòng)——產(chǎn)出評(píng)估模型,建立了三級(jí)指標(biāo)體系(表4)。
表4 山東省獨(dú)立性醫(yī)學(xué)科研機(jī)構(gòu)科研能力評(píng)估二級(jí)指標(biāo)體系
2000年,蘭州醫(yī)學(xué)高等專科學(xué)校[13]進(jìn)行軍隊(duì)衛(wèi)生機(jī)構(gòu)科研實(shí)力評(píng)估,構(gòu)建了軍隊(duì)衛(wèi)生機(jī)構(gòu)科研實(shí)力評(píng)估三級(jí)指標(biāo)體系。
該指標(biāo)體系將衛(wèi)生機(jī)構(gòu)科研實(shí)力劃分為科研管理、科研成果、科技人才、科研環(huán)境4個(gè)方面,構(gòu)建了22項(xiàng)二級(jí)指標(biāo)和88項(xiàng)三級(jí)指標(biāo)(表5)。
表5 軍隊(duì)衛(wèi)生機(jī)構(gòu)科研實(shí)力評(píng)估指標(biāo)體系(三級(jí)指標(biāo)略)
注:括號(hào)內(nèi)的數(shù)字為三級(jí)指標(biāo)項(xiàng)數(shù)
2006年,上海交通大學(xué)附屬第六人民醫(yī)院[14]運(yùn)用投入——產(chǎn)出模型,建立了二級(jí)指標(biāo)體系(表6),評(píng)估本院2個(gè)研究所和14個(gè)研究室的工作績效。
表6 綜合性醫(yī)院研究機(jī)構(gòu)工作績效評(píng)估二級(jí)指標(biāo)體系
2013年,廣東省醫(yī)學(xué)學(xué)術(shù)交流中心[15]構(gòu)建了醫(yī)療衛(wèi)生行業(yè)(包括醫(yī)院、衛(wèi)生防疫機(jī)構(gòu)、藥企、科研機(jī)構(gòu)等)科技創(chuàng)新能力評(píng)價(jià)指標(biāo)體系,包括6個(gè)一級(jí)指標(biāo),22個(gè)二級(jí)指標(biāo)和41個(gè)三級(jí)指標(biāo)及相應(yīng)的權(quán)重系數(shù)(表7)。
表7 醫(yī)療衛(wèi)生行業(yè)科技創(chuàng)新評(píng)價(jià)指標(biāo)體系(三級(jí)指標(biāo)略)
注:括號(hào)內(nèi)的數(shù)字為三級(jí)指標(biāo)項(xiàng)數(shù)
2014年,四川省醫(yī)學(xué)情報(bào)研究所[16]構(gòu)建了四川省醫(yī)院科技能力評(píng)價(jià)指標(biāo)體系(表8),并對(duì)54家醫(yī)院進(jìn)行了實(shí)證研究。
表8 四川省醫(yī)院科技能力評(píng)價(jià)指標(biāo)體系(三級(jí)指標(biāo)略)
注:括號(hào)內(nèi)的數(shù)字為三級(jí)指標(biāo)項(xiàng)數(shù)
國外科研機(jī)構(gòu)能力評(píng)估起步早,評(píng)估方法多樣,秉承定性與定量評(píng)估相結(jié)合的理念,定性評(píng)估以同行評(píng)議為主,重視同行專家的意見,更強(qiáng)調(diào)以認(rèn)可標(biāo)準(zhǔn)為基本尺度。他們認(rèn)為科研機(jī)構(gòu)的經(jīng)費(fèi)獲得能力很大程度上代表了該機(jī)構(gòu)的科研能力,采用20-30個(gè)指標(biāo)進(jìn)行評(píng)估會(huì)使全部或大部分信息得不到良好反饋[8]。因此,通常選取6-8個(gè)指標(biāo),以經(jīng)費(fèi)獲取、人力狀況和科研成果為核心指標(biāo)。
我國科研機(jī)構(gòu)能力評(píng)估起步晚、發(fā)展快,在借鑒國外評(píng)估經(jīng)驗(yàn)做法的基礎(chǔ)上,形成了定性與定量相結(jié)合、以定量為主的評(píng)估理念,在系統(tǒng)論的指導(dǎo)下把科研機(jī)構(gòu)視為一個(gè)黑箱,然后從系統(tǒng)的輸入與輸出來評(píng)估其功能和效率。創(chuàng)立了經(jīng)典的投入——活動(dòng)——產(chǎn)出評(píng)估模型,構(gòu)建了三級(jí)有內(nèi)在聯(lián)系的多因素綜合評(píng)估指標(biāo)體系,采用了指標(biāo)體系與權(quán)重分配相結(jié)合的計(jì)算方法。指標(biāo)選擇系統(tǒng)全面,除考慮經(jīng)費(fèi)、人才和成果外,還考慮科研條件、基礎(chǔ)設(shè)施等,通常數(shù)量較多,少則20-30個(gè),多則80-90個(gè)。
近些年,我國醫(yī)學(xué)科研機(jī)構(gòu)的能力評(píng)估在科研機(jī)構(gòu)能力評(píng)估的實(shí)踐基礎(chǔ)上,更多地考慮到醫(yī)學(xué)機(jī)構(gòu)種類的復(fù)雜性和學(xué)科的多樣性,越來越多地側(cè)重于科技創(chuàng)新能力的評(píng)價(jià),形成了獨(dú)具醫(yī)學(xué)機(jī)構(gòu)特色的評(píng)估方法和理念。
在指標(biāo)體系構(gòu)建上,通常以投入——活動(dòng)——產(chǎn)出評(píng)估模型為核心建立三級(jí)指標(biāo)體系,并綜合運(yùn)用層次分析法(AHP)、熵權(quán)法等定量方法設(shè)置權(quán)重,同時(shí)針對(duì)醫(yī)學(xué)機(jī)構(gòu)的特點(diǎn)進(jìn)行分級(jí)分類評(píng)估,使之更具科學(xué)性和可比性。
在指標(biāo)設(shè)置上,科研產(chǎn)出相關(guān)的論文和專著情況涉及指標(biāo)多且權(quán)重系數(shù)相對(duì)較高。
楊春華等[17]對(duì)生物醫(yī)學(xué)著作學(xué)術(shù)影響力進(jìn)行了實(shí)證研究,肯定了學(xué)術(shù)專著的社會(huì)效益和學(xué)術(shù)價(jià)值;楊兆弘[18]探討了學(xué)術(shù)論文與科研評(píng)價(jià)的關(guān)系,提出了應(yīng)打破單純追求論文數(shù)量的學(xué)術(shù)評(píng)價(jià)機(jī)制。2013年底,PubMed/MEDLINE推出一個(gè)類似論壇的新功能PubMed Commons,實(shí)名會(huì)員可對(duì)PubMed收錄的出版物進(jìn)行開放評(píng)論,打破了以往同行評(píng)議的局限,達(dá)到了學(xué)術(shù)共同體共同對(duì)學(xué)術(shù)論文進(jìn)行評(píng)價(jià)的效果,引發(fā)了同行評(píng)議的革命[19]。
評(píng)估醫(yī)學(xué)科研機(jī)構(gòu)在量上的差異,首先要考慮它們質(zhì)的一致性,因此指標(biāo)選擇必須反映評(píng)估對(duì)象的共同屬性;其次要考慮差異性,指標(biāo)選擇又必須體現(xiàn)評(píng)估對(duì)象的個(gè)性特征。從各機(jī)構(gòu)本身的性質(zhì)和任務(wù)看,不僅有以從事基礎(chǔ)研究為主的專職機(jī)構(gòu),還有兼職機(jī)構(gòu),如醫(yī)學(xué)教學(xué)機(jī)構(gòu)、臨床機(jī)構(gòu)、疾病預(yù)防控制機(jī)構(gòu)等;從所涉學(xué)科看,更是從基礎(chǔ)醫(yī)學(xué)到臨床醫(yī)學(xué)再到預(yù)防醫(yī)學(xué)、康復(fù)醫(yī)學(xué),包羅萬象、千差萬別。不過差別是永遠(yuǎn)存在的,評(píng)估必須以承認(rèn)差別為前提,而且評(píng)估的目的就是要評(píng)出差別,對(duì)差別進(jìn)行分析,區(qū)別對(duì)待,分類指導(dǎo),有的放矢才能百發(fā)百中。