熊佩萱 茹 寧
隨著時(shí)代特征的演變,知識(shí)生產(chǎn)模式也在不斷變化,經(jīng)歷了從模式Ⅰ到模式Ⅱ再到模式Ⅲ的逐步轉(zhuǎn)型,知識(shí)生產(chǎn)的主體、情境、方式、結(jié)果等都朝著多元化方向發(fā)展。與此同時(shí),世界各國(guó)紛紛做出回應(yīng),開(kāi)始扭轉(zhuǎn)科研評(píng)估價(jià)值導(dǎo)向,從單純關(guān)注科研成果的學(xué)術(shù)影響轉(zhuǎn)向重視其社會(huì)影響,并在科研評(píng)估制度中引入“社會(huì)影響”評(píng)價(jià)維度。本文以知識(shí)生產(chǎn)模式變革為視角,剖析其對(duì)科研社會(huì)影響評(píng)價(jià)發(fā)展邏輯與存在樣式的深刻影響,把握知識(shí)生產(chǎn)模式變革各階段中社會(huì)影響評(píng)價(jià)實(shí)踐的亮點(diǎn)與創(chuàng)新點(diǎn),并以此為基礎(chǔ)對(duì)照和反思我國(guó)科研評(píng)估制度中的不足,這對(duì)于我國(guó)高校探索科研評(píng)價(jià)制度的改革與創(chuàng)新、拓寬“雙一流”建設(shè)的視野與思路等具有重要的意義和價(jià)值。
柏林大學(xué)誕生之前,知識(shí)生產(chǎn)掌握在學(xué)者個(gè)人手中,完全取決于學(xué)者的興趣愛(ài)好,自由且散漫。19世紀(jì)初柏林大學(xué)的誕生徹底改變了這種小作坊式的知識(shí)生產(chǎn)模式,演繹了知識(shí)生產(chǎn)模式的第一次重大變革。在以理性主義為核心的洪堡理念的引領(lǐng)下,柏林大學(xué)建立了“以科學(xué)而達(dá)致修養(yǎng)”的純粹科學(xué)研究理念,知識(shí)生產(chǎn)進(jìn)入了“組織制度化”的軌道,強(qiáng)調(diào)在單一學(xué)科范圍內(nèi),遵循嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)傳統(tǒng)和科學(xué)規(guī)則進(jìn)行學(xué)術(shù)研究,并在研究過(guò)程中明確區(qū)分基礎(chǔ)研究與應(yīng)用研究,有意識(shí)地中斷科學(xué)與社會(huì)間的聯(lián)系。[1]邁克爾·吉本斯(Michael Gibbons)等人將這種在認(rèn)知語(yǔ)境中進(jìn)行的、以純粹知識(shí)為追求目標(biāo)、以學(xué)科建制為組織依托、以學(xué)術(shù)規(guī)則為行為標(biāo)準(zhǔn)的知識(shí)生產(chǎn)模式總結(jié)為模式Ⅰ。
在模式Ⅰ主導(dǎo)下,職業(yè)科學(xué)家群體及專(zhuān)業(yè)學(xué)會(huì)開(kāi)始形成,專(zhuān)業(yè)性學(xué)術(shù)期刊紛紛涌現(xiàn),學(xué)術(shù)論文成為主要的研究成果形式?;诳茖W(xué)研究的公共屬性,通過(guò)公開(kāi)發(fā)表來(lái)獲得同行認(rèn)可成為了學(xué)者們履行角色、彰顯成果貢獻(xiàn)進(jìn)而獲得個(gè)人榮譽(yù)的基本訴求。[2]但是,學(xué)科的思維邏輯和方法體系紛繁復(fù)雜,外行很難理解高深學(xué)問(wèn)的精髓。約翰·S.布魯貝克(John.S.Brubacher)曾指出:“只有從事相同領(lǐng)域高深研究的學(xué)術(shù)同行才能深刻理解高深學(xué)問(wèn)?!盵3]這賦予同行專(zhuān)家作為評(píng)價(jià)主體對(duì)高深研究進(jìn)行質(zhì)量控制的合理性,這是一種來(lái)自學(xué)術(shù)同行基于嚴(yán)謹(jǐn)性和原創(chuàng)性的審視與鑒別。以學(xué)術(shù)價(jià)值為導(dǎo)向,主要評(píng)估科學(xué)知識(shí)本身,包括學(xué)術(shù)質(zhì)量和學(xué)術(shù)影響,重點(diǎn)考察其原創(chuàng)性與卓越性,這一點(diǎn)與模式Ⅰ中科學(xué)研究單純追求知識(shí)增長(zhǎng)的價(jià)值目標(biāo)是完全契合的。
邁克爾·吉本斯等人認(rèn)為,隨著高等教育的大眾化以及學(xué)科組織的分化,大學(xué)成為一個(gè)龐大的資源依賴(lài)型組織,為了自身的生存與發(fā)展,大學(xué)的知識(shí)生產(chǎn)不再局限于純粹地科學(xué)探索,而是以國(guó)家和市場(chǎng)需求為導(dǎo)向進(jìn)行科學(xué)研究,于是產(chǎn)生了一種新型的、以問(wèn)題為導(dǎo)向的知識(shí)生產(chǎn)模式Ⅱ。[4]它具有以下顯著特征:第一,應(yīng)用情境,科學(xué)研究主要致力于解決具體的應(yīng)用問(wèn)題。第二,跨學(xué)科性,解決應(yīng)用過(guò)程中的實(shí)際問(wèn)題通常需要超越單一學(xué)科的限制,跨學(xué)科研究是問(wèn)題解決的主要方式。第三,異質(zhì)性,知識(shí)生產(chǎn)開(kāi)始突破原有的空間邊界,可以同時(shí)在大學(xué)之外的科研機(jī)構(gòu)、研究中心、實(shí)驗(yàn)室等進(jìn)行。第四,社會(huì)問(wèn)責(zé)與反思,由于知識(shí)生產(chǎn)的結(jié)果關(guān)聯(lián)到不同的利益主體,基于應(yīng)用情境的科學(xué)研究與知識(shí)生產(chǎn),被期待能在經(jīng)濟(jì)、政策、環(huán)境、醫(yī)療等社會(huì)重大問(wèn)題上承擔(dān)責(zé)任。由此可見(jiàn),在模式Ⅱ下,知識(shí)生產(chǎn)的應(yīng)用性與跨學(xué)科性、知識(shí)生產(chǎn)主體的多元性致使科研評(píng)價(jià)標(biāo)準(zhǔn)由模式Ⅰ中聚焦研究成果的學(xué)術(shù)價(jià)值逐漸轉(zhuǎn)向關(guān)注其社會(huì)價(jià)值,注重研究成果對(duì)經(jīng)濟(jì)、政治、環(huán)境等方面產(chǎn)生的社會(huì)影響。
在此背景下,包括英國(guó)、美國(guó)、澳大利亞、荷蘭等在內(nèi)的科研投入與產(chǎn)出大國(guó)都在積極探索社會(huì)影響評(píng)價(jià)的有效方式與途徑。在模式Ⅱ時(shí)代,依據(jù)對(duì)社會(huì)影響內(nèi)涵的不同界定主要有兩種評(píng)價(jià)思路。一種是從結(jié)果的角度將科學(xué)研究的社會(huì)影響看作是社會(huì)效益,主張從研究成果對(duì)政治、經(jīng)濟(jì)、醫(yī)療、環(huán)境等不同維度產(chǎn)生的影響入手,分別構(gòu)建影響評(píng)價(jià)指標(biāo),進(jìn)行綜合評(píng)價(jià)。其中,最著名的是英國(guó)“科研卓越框架”(REF),它屬于國(guó)家層面上的影響評(píng)估實(shí)踐。另一種是將社會(huì)影響看作是知識(shí)轉(zhuǎn)移的過(guò)程,主張從社會(huì)影響產(chǎn)生的條件、要素、過(guò)程入手,通過(guò)追蹤不同邏輯階段不同影響力的類(lèi)型與載體進(jìn)行總體評(píng)價(jià)。其中,最具代表性的是回報(bào)框架(payback framework),它屬于研究項(xiàng)目層面上的摸索與嘗試。
隨著知識(shí)經(jīng)濟(jì)向縱深化發(fā)展,以智能創(chuàng)造為基礎(chǔ)的創(chuàng)新驅(qū)動(dòng)發(fā)展時(shí)代的到來(lái),創(chuàng)新成為了知識(shí)經(jīng)濟(jì)發(fā)展的核心動(dòng)力。基于對(duì)知識(shí)創(chuàng)新體系的深刻認(rèn)識(shí),艾利亞斯·G.卡拉雅尼斯(Elias G.Carayannis)和戴維·F.J.坎貝爾(David F.J.Campbell)教授共同提出知識(shí)生產(chǎn)模式Ⅲ的理論構(gòu)想。模式Ⅲ是一種以創(chuàng)新網(wǎng)絡(luò)、知識(shí)集群、分形研究、創(chuàng)新生態(tài)系統(tǒng)為核心組織模式,“四重螺旋”為適應(yīng)性情境,強(qiáng)調(diào)多形態(tài)、多層次、多主體、多節(jié)點(diǎn)、多邊互動(dòng)的知識(shí)創(chuàng)新系統(tǒng)。[5]模式Ⅲ一方面致力于在創(chuàng)新環(huán)境中形成具有不同形態(tài)但能相互補(bǔ)充與促進(jìn)的知識(shí)生產(chǎn)系統(tǒng)群,非均質(zhì)性知識(shí)在創(chuàng)新網(wǎng)絡(luò)的傳播與擴(kuò)散下達(dá)到跨區(qū)域、跨國(guó)界的共存共演;另一方面,積極推動(dòng)“大學(xué)——產(chǎn)業(yè)——政府——公民社會(huì)”四螺旋中利益相關(guān)者群體的互促互補(bǔ),充分發(fā)揮公民社會(huì)的問(wèn)責(zé),實(shí)現(xiàn)知識(shí)的質(zhì)量控制要求。[6]簡(jiǎn)單來(lái)講,模式Ⅲ的知識(shí)生產(chǎn)由大學(xué)、產(chǎn)業(yè)、政府、公民社會(huì)多主體協(xié)同進(jìn)行,即“四重螺旋”,其中第四螺旋指基于媒介和文化導(dǎo)向的“公民社會(huì)”。在高度發(fā)達(dá)的自媒體時(shí)代,社會(huì)公眾在線(xiàn)科學(xué)交流的參與度和活躍度逐漸提高,社會(huì)公眾既是知識(shí)生產(chǎn)的主體,也是知識(shí)產(chǎn)品的使用者和知識(shí)創(chuàng)新的促生者。在知識(shí)生產(chǎn)中,研究成果通過(guò)社交媒體宣傳影響到社會(huì)公眾的價(jià)值觀,而公眾又依靠?jī)r(jià)值觀的改變,促成社會(huì)創(chuàng)新文化氛圍的形成。由此可見(jiàn),當(dāng)科學(xué)研究將社會(huì)公眾的實(shí)際需求融入到知識(shí)生產(chǎn)的過(guò)程中,并借助社交網(wǎng)媒的東風(fēng)將研究成果在社會(huì)公眾中廣泛傳播,這也就意味著科學(xué)知識(shí)不僅會(huì)改善經(jīng)濟(jì)發(fā)展、政策環(huán)境、資源分配等,還能幫助公眾消除錯(cuò)誤認(rèn)知,提升科學(xué)素養(yǎng)和生活質(zhì)量,為社會(huì)公眾的生產(chǎn)生活帶來(lái)積極影響和改變。因此,對(duì)研究成果進(jìn)行社會(huì)影響評(píng)價(jià)不僅要考慮經(jīng)濟(jì)、政治、環(huán)境等方面的影響,還必須重視對(duì)社會(huì)公眾的思想觀念、行為方式等產(chǎn)生的積極作用。
知識(shí)生產(chǎn)由模式Ⅱ向模式Ⅲ轉(zhuǎn)變引起的科研社會(huì)影響評(píng)價(jià)標(biāo)準(zhǔn)的變化,也在一定程度上催生了使用替代計(jì)量學(xué)(Altmetrics)監(jiān)測(cè)和衡量社會(huì)影響的趨勢(shì)。替代計(jì)量學(xué)起源于社交網(wǎng)媒和開(kāi)放科學(xué)的大背景,它為科研社會(huì)影響評(píng)價(jià)提供了新的視角,即通過(guò)捕捉研究成果與社會(huì)公眾在互聯(lián)網(wǎng)空間上的交流互動(dòng)行為,使用來(lái)自社交媒體平臺(tái)和其他網(wǎng)絡(luò)來(lái)源的數(shù)據(jù),對(duì)科研成果對(duì)社會(huì)公眾產(chǎn)生的影響進(jìn)行基于網(wǎng)絡(luò)的評(píng)價(jià)。
在知識(shí)生產(chǎn)模式轉(zhuǎn)型的背景下,對(duì)科研成果進(jìn)行社會(huì)影響評(píng)價(jià)已是大勢(shì)所趨。為了理解和把握知識(shí)生產(chǎn)模式變革各階段中科研社會(huì)影響評(píng)價(jià)實(shí)踐的亮點(diǎn)與創(chuàng)新點(diǎn),以下選擇科研卓越框架、回報(bào)框架、替代計(jì)量學(xué)三個(gè)典型案例進(jìn)行系統(tǒng)考察。
英國(guó)在2014年開(kāi)展的首輪科研卓越評(píng)審中,開(kāi)創(chuàng)性地將“社會(huì)影響”設(shè)為一個(gè)獨(dú)立的評(píng)估維度,并將其定義為:“研究成果在學(xué)術(shù)界以外對(duì)社會(huì)經(jīng)濟(jì)、公共政策、文化、環(huán)境、醫(yī)療的影響、改變或益處。”[7]以此方式對(duì)知識(shí)生產(chǎn)模式變革做出回應(yīng),引發(fā)了世界各國(guó)的高度關(guān)注。REF2014結(jié)束后,REF團(tuán)隊(duì)根據(jù)蘭德歐洲公司對(duì)社會(huì)影響評(píng)估展開(kāi)的多維度元評(píng)估,對(duì)2021年開(kāi)展的最新一輪評(píng)估的細(xì)則進(jìn)行修改與完善,進(jìn)一步強(qiáng)化知識(shí)生產(chǎn)的跨學(xué)科特性、擴(kuò)大社會(huì)影響評(píng)估涵蓋的范圍,以期更好地契合知識(shí)生產(chǎn)模式轉(zhuǎn)型的方向。社會(huì)影響指標(biāo)的權(quán)重由20%提升至25%,再次表明英國(guó)政府對(duì)研究成果社會(huì)貢獻(xiàn)的期待與重視。
REF2021共分4個(gè)學(xué)科群,涵蓋34個(gè)學(xué)科大類(lèi)。為了促進(jìn)跨學(xué)科研究與發(fā)展,REF2021對(duì)4個(gè)學(xué)科群下設(shè)的評(píng)估單元進(jìn)行了合并與拆分。如,REF2021 B組數(shù)理工程類(lèi)中的“工程學(xué)”由REF2014 的“航空、機(jī)械、化工和制造工程”“土木建設(shè)工程”“電氣與電子工程學(xué)院、冶金與材料”“一般工程類(lèi)”4個(gè)評(píng)估單元合并而來(lái)。[8]每個(gè)評(píng)估單元都配有一個(gè)子評(píng)估專(zhuān)家組,共34個(gè),在4個(gè)主評(píng)估專(zhuān)家組的監(jiān)管下運(yùn)作。REF2021通過(guò)公開(kāi)提名程序聘請(qǐng)?jiān)u估專(zhuān)家,評(píng)估專(zhuān)家組均由一位專(zhuān)家領(lǐng)銜、多位科研人員及來(lái)自私營(yíng)、公共或第三部門(mén)的終端用戶(hù)代表組成。[9]為保障科研影響評(píng)估過(guò)程客觀公平,REF2021在專(zhuān)家組成員提名過(guò)程的所有階段引入多項(xiàng)措施,如建立跨學(xué)科研究咨詢(xún)小組、分階段委任專(zhuān)家成員,以此提高評(píng)估成員的多樣性與代表性。
在評(píng)估材料的提交上,REF團(tuán)隊(duì)設(shè)計(jì)了“影響案例+環(huán)境模板”兩類(lèi)材料,評(píng)估專(zhuān)家組從影響輻射范圍和重要性?xún)蓚€(gè)標(biāo)準(zhǔn)進(jìn)行整體評(píng)估,前者關(guān)注影響發(fā)生的范圍,后者關(guān)注影響的強(qiáng)度或程度。提交的影響案例數(shù)量由提交中的A類(lèi)全職工作人員(FTE)的數(shù)量確定。案例以通用模板形式要求參評(píng)院校通過(guò)結(jié)構(gòu)化敘事方式描述評(píng)估期間(2013年8月1日至2020年12月31日)研究成果已產(chǎn)生的明顯的社會(huì)影響。案例通用模板的整體框架為“A+B+附加部分”。A部分提供案例研究的背景信息,包括學(xué)校名稱(chēng)、評(píng)估單元、案例研究標(biāo)題、進(jìn)行基礎(chǔ)研究的時(shí)間、研究人員詳情等。B部分為核心部分,由影響概要、基礎(chǔ)研究、研究的佐證文獻(xiàn)、影響的詳細(xì)情況、影響的證據(jù)來(lái)源5個(gè)部分組成,提供研究導(dǎo)致、支撐或促進(jìn)影響的過(guò)程與方法,影響的性質(zhì)和程度,受益人的詳細(xì)情況,可證實(shí)案例影響的校外來(lái)源等信息。[10]附加部分以單獨(dú)的網(wǎng)頁(yè)形式提供資助項(xiàng)目名稱(chēng)、資助基金號(hào)、資助金額等,用于評(píng)估后核對(duì)與審查。在環(huán)境模板方面,按照規(guī)定模板闡述參評(píng)單元促使研究成果產(chǎn)生社會(huì)影響的方式、途徑和戰(zhàn)略,以輔助對(duì)影響力案例的評(píng)估。由于受新型冠狀病毒肺炎的影響,還需在院校層面的環(huán)境聲明中提交一份附件,描述因疫情影響機(jī)構(gòu)研究和環(huán)境變化及具體應(yīng)對(duì)措施。[11]
REF2021將科研活動(dòng)可能產(chǎn)生的影響共分為了9個(gè)影響領(lǐng)域,即對(duì)人類(lèi)健康和福祉以及動(dòng)物福利的影響;對(duì)創(chuàng)造力、文化和社會(huì)的影響;對(duì)社會(huì)福利的影響;對(duì)商業(yè)和經(jīng)濟(jì)的影響;對(duì)公共政策、法律和服務(wù)的影響;對(duì)生產(chǎn)的影響;對(duì)從業(yè)人員改善服務(wù)、提升工作表現(xiàn)或道德操守的影響;對(duì)環(huán)境的影響;對(duì)理解、學(xué)習(xí)和參與的影響。[12]針對(duì)每個(gè)影響領(lǐng)域,以舉例的方式提供了可用于參評(píng)單元參考的基于證據(jù)的評(píng)估指標(biāo)。與REF2014不同的是,為了更全面地評(píng)估社會(huì)影響,推動(dòng)社會(huì)影響的持續(xù)輻射,REF2021將科研成果對(duì)學(xué)生發(fā)展、大學(xué)教學(xué)活動(dòng)及學(xué)科建設(shè)產(chǎn)生的影響納入評(píng)估范圍。此外,REF2021規(guī)定,在上輪評(píng)估中提交的影響案例,如果同樣符合本次評(píng)估要求,可通過(guò)使用標(biāo)識(shí)符的方式再次提交。
20世紀(jì)90年代中期,英國(guó)布魯內(nèi)爾大學(xué)以馬丁·巴克斯頓(Martin Buxton)和斯蒂芬·漢尼(Stephen Hanney)教授為主的衛(wèi)生經(jīng)濟(jì)學(xué)研究組開(kāi)發(fā)了由邏輯模型和收益類(lèi)型兩個(gè)元素組成的回報(bào)框架,其目的是:評(píng)價(jià)醫(yī)療服務(wù)研究的影響或回報(bào);完善開(kāi)展和管理研究的方式;確定未來(lái)研發(fā)投資的優(yōu)先順序。[13]隨后,該框架在英國(guó)、澳大利亞、加拿大等國(guó)家開(kāi)展的生物醫(yī)學(xué)類(lèi)科研項(xiàng)目的影響評(píng)估實(shí)踐中得到廣泛應(yīng)用,成為國(guó)際上最主流的科研社會(huì)影響評(píng)價(jià)框架之一。該框架及其改進(jìn)形式也逐漸從最初應(yīng)用于生物醫(yī)學(xué)領(lǐng)域擴(kuò)展到多個(gè)領(lǐng)域,這對(duì)于評(píng)價(jià)各類(lèi)科研項(xiàng)目的社會(huì)影響起到了重要的推動(dòng)作用。
2003年,英國(guó)關(guān)節(jié)炎研究運(yùn)動(dòng)組織(Arthritis Research Campaign,ARC)采用回報(bào)框架對(duì)生物醫(yī)學(xué)類(lèi)科研項(xiàng)目進(jìn)行社會(huì)影響評(píng)價(jià)。為了使回報(bào)框架更適用于ARC資助的研究項(xiàng)目,ARC發(fā)展委員會(huì)依據(jù)對(duì)ARC及其利益相關(guān)者的訪(fǎng)談結(jié)果調(diào)整和修改了回報(bào)框架。改進(jìn)后的回報(bào)框架仍包含兩個(gè)元素:一個(gè)是勾勒從科學(xué)研究到產(chǎn)生影響完整過(guò)程的邏輯模型;另一個(gè)是將研究成果的影響進(jìn)行分類(lèi)的收益類(lèi)別。如下圖所示,邏輯模型展示了研究成果從研究主體流向社會(huì)的全過(guò)程,它通過(guò)七個(gè)階段(研究主題識(shí)別、科研活動(dòng)投入、科研活動(dòng)過(guò)程、科研活動(dòng)初級(jí)產(chǎn)出、科研活動(dòng)二次產(chǎn)出、被實(shí)踐者和公眾采納、最終的影響)和與政治、學(xué)術(shù)、產(chǎn)業(yè)環(huán)境相互作用的兩個(gè)滲透界面(研究項(xiàng)目的形成與遴選、研究成果的傳播)將研究活動(dòng)的結(jié)果端與起始端聯(lián)系起來(lái),有助于了解不同階段間的因果關(guān)系,將各個(gè)階段的關(guān)鍵要素轉(zhuǎn)變?yōu)橛绊懺u(píng)估的具體內(nèi)容。下表將ARC研究項(xiàng)目的影響劃分為知識(shí)生產(chǎn)、研究目標(biāo)和能力建設(shè)、政策支撐和產(chǎn)品開(kāi)發(fā)、健康收益、更廣泛的經(jīng)濟(jì)效益五大類(lèi)別,依據(jù)對(duì)研究項(xiàng)目投入產(chǎn)出全過(guò)程的調(diào)查結(jié)果,對(duì)研究產(chǎn)生的影響按五個(gè)收益類(lèi)別逐一展開(kāi)評(píng)價(jià)。由此可以看出,回報(bào)框架對(duì)影響的評(píng)價(jià)直接追溯到了階段0(研究主題識(shí)別),其評(píng)價(jià)內(nèi)容突破了對(duì)“影響”的狹義理解,掙脫了“影響”等于“結(jié)果”的窠臼。
多維收益類(lèi)別表[15]
ARC發(fā)展委員會(huì)基于資助類(lèi)型、研究領(lǐng)域以及研究者影響力這三個(gè)維度,從ARC資助的556個(gè)研究項(xiàng)目中篩選出了16個(gè)項(xiàng)目作為評(píng)價(jià)案例。[16]通過(guò)項(xiàng)目文件資料審查、半結(jié)構(gòu)化訪(fǎng)談以及文獻(xiàn)計(jì)量分析這三種相互依賴(lài)的方法,基于回報(bào)框架中的五大類(lèi)別影響指標(biāo),收集與這16個(gè)研究項(xiàng)目有關(guān)的數(shù)據(jù)。項(xiàng)目文件資料包括:項(xiàng)目申請(qǐng)書(shū)、進(jìn)展報(bào)告、結(jié)題報(bào)告、資助評(píng)審報(bào)告、研究資助的核心出版物及后續(xù)出版物等。半結(jié)構(gòu)化訪(fǎng)談以回報(bào)框架的邏輯模型為依據(jù),通過(guò)對(duì)主要研究人員、學(xué)術(shù)同行、項(xiàng)目合作者、用戶(hù)等利益相關(guān)者的訪(fǎng)談,探討研究的起源、初級(jí)產(chǎn)出及研究結(jié)果轉(zhuǎn)化為政策、產(chǎn)品等的任何形式。[17]文獻(xiàn)計(jì)量分析主要從論文發(fā)表和知識(shí)擴(kuò)散兩個(gè)層面收集數(shù)據(jù),其中論文發(fā)表的統(tǒng)計(jì)數(shù)據(jù)包括:論文的發(fā)表數(shù)量、論文類(lèi)型(ARC研究資助的論文分布情況、在關(guān)節(jié)炎領(lǐng)域外的論文占比)、論文合作情況(論文的作者和地址的平均數(shù)量、非英國(guó)學(xué)者的論文占全部論文的比例)、論文資助情況(論文平均資助機(jī)構(gòu)數(shù)、ARC資助論文占所有論文的比例);知識(shí)擴(kuò)散的統(tǒng)計(jì)數(shù)據(jù)包括:論文影響力(論文年均被引次數(shù))、知識(shí)擴(kuò)散(來(lái)自美國(guó)學(xué)者的論文引用比例、關(guān)節(jié)炎研究領(lǐng)域之外的引文占所有引文的比例)、知識(shí)轉(zhuǎn)化(引用ARC研究資助論文的研究水平情況)。[18]
評(píng)估團(tuán)隊(duì)由9位專(zhuān)家組成,專(zhuān)家組成員依據(jù)上述統(tǒng)計(jì)數(shù)據(jù)逐個(gè)對(duì)16個(gè)案例項(xiàng)目展開(kāi)審查和分析。在第一階段中,評(píng)估專(zhuān)家獨(dú)立撰寫(xiě)并提交以回報(bào)框架為結(jié)構(gòu)的觀察報(bào)告,著重闡述他們對(duì)研究過(guò)程與進(jìn)展、研究項(xiàng)目管理、項(xiàng)目產(chǎn)生的影響等方面的看法,然后將各專(zhuān)家報(bào)告中呈現(xiàn)出的問(wèn)題分為若干主題展開(kāi)討論。第二階段是評(píng)分階段,由9名評(píng)估專(zhuān)家根據(jù)提前準(zhǔn)備的ARC收益類(lèi)別匯總表對(duì)16個(gè)案例研究的影響進(jìn)行評(píng)分。評(píng)分標(biāo)準(zhǔn)為1-9分,整個(gè)評(píng)分過(guò)程共經(jīng)歷兩輪,分布統(tǒng)計(jì)第一輪的評(píng)分后將結(jié)果反饋給各專(zhuān)家,經(jīng)討論后進(jìn)行第二輪打分,最終的評(píng)分結(jié)果為第二輪評(píng)分的中位數(shù)。
此次評(píng)估結(jié)果從兩個(gè)方面展示:一是以雷達(dá)圖的形式展示ARC資助項(xiàng)目每個(gè)收益類(lèi)別的評(píng)分分?jǐn)?shù)和影響水平;二是基于邏輯模型總結(jié)關(guān)節(jié)炎研究產(chǎn)生影響的不同途徑。以此為依據(jù),為今后ARC優(yōu)化項(xiàng)目管理、促進(jìn)研究項(xiàng)目產(chǎn)生積極影響提供政策建議。
賈森·普里姆(Jason Priem)等人首次提出替代計(jì)量學(xué)這一術(shù)語(yǔ),并將其定義為“用于分析和全面衡量學(xué)術(shù),基于社交網(wǎng)絡(luò)的新指標(biāo)創(chuàng)建和研究”[19]。如今科學(xué)交流網(wǎng)絡(luò)化趨勢(shì)的加強(qiáng),替代計(jì)量學(xué)已經(jīng)發(fā)展成為一種區(qū)別于傳統(tǒng)計(jì)量方式的新興領(lǐng)域,開(kāi)始通過(guò)集成網(wǎng)絡(luò)數(shù)據(jù)測(cè)量研究成果的多元價(jià)值和多維度影響。與傳統(tǒng)的文獻(xiàn)計(jì)量指標(biāo)相比,替代計(jì)量學(xué)具有評(píng)價(jià)對(duì)象的多樣性、公眾參與的廣泛性、數(shù)據(jù)的開(kāi)放性、指標(biāo)的全面性等特征為科研社會(huì)影響評(píng)價(jià)帶來(lái)新的視角,即通過(guò)網(wǎng)絡(luò)平臺(tái),尤其是社交網(wǎng)絡(luò)平臺(tái),捕捉研究成果與社會(huì)公眾的在線(xiàn)互動(dòng)行為,對(duì)研究成果對(duì)社會(huì)公眾產(chǎn)生的影響進(jìn)行基于網(wǎng)絡(luò)的評(píng)價(jià)。
目前歐美相繼建立了多種替代計(jì)量工具,其中最常用的主要有4種:Altmetric.com、PLOS ALM、Plum Analytics、Impactstory。這些計(jì)量工具匯集了不同社交媒體和網(wǎng)絡(luò)平臺(tái)上研究成果與社會(huì)公眾互動(dòng)的數(shù)據(jù),每一種計(jì)量工具都有各自的方法衡量在線(xiàn)活動(dòng)和互動(dòng)行為。Altmetric.com和PLOS ALM通常被用來(lái)測(cè)量社交網(wǎng)絡(luò)對(duì)論文的關(guān)注度,屬于論文層面的評(píng)價(jià)。ImpactStory和Plum Analytics屬于產(chǎn)品層面評(píng)價(jià),評(píng)價(jià)對(duì)象更豐富多樣,從學(xué)術(shù)論文到軟件、博客再到網(wǎng)頁(yè)、圖片、代碼、數(shù)據(jù)集等都囊括在內(nèi),其中Plum Analytics將追蹤范圍擴(kuò)大至任何可在線(xiàn)獲得的研究成果,評(píng)價(jià)的研究成果類(lèi)型多達(dá)67種。[20]
替代計(jì)量工具覆蓋的數(shù)據(jù)源越多,就越能準(zhǔn)確客觀地進(jìn)行評(píng)價(jià)。以Altmetric.com為例,其收集的在線(xiàn)影響力數(shù)據(jù)來(lái)自微博、博客、文獻(xiàn)參考管理器、數(shù)據(jù)集存儲(chǔ)庫(kù)、政策文件、新聞媒體等。其他替代計(jì)量工具,如PLOS ALM、Plum Analytics等都有各自的數(shù)據(jù)源。概括起來(lái),計(jì)量工具使用的數(shù)據(jù)源可以分為文獻(xiàn)管理器(如Mendeley、CiteULike)、社交媒體平臺(tái)(如YouTube、Facebook)、學(xué)術(shù)服務(wù)平臺(tái)(如Wikipedia、Reddit)、其他來(lái)源(如Policy documents、news articles)4類(lèi)。[21]
替代計(jì)量指標(biāo)是一個(gè)復(fù)雜的指標(biāo)集合,不同的計(jì)量工具通過(guò)構(gòu)建關(guān)聯(lián)性高且獨(dú)立性強(qiáng)的計(jì)量指標(biāo)對(duì)數(shù)據(jù)源上的信息資源進(jìn)行篩選,以科學(xué)、準(zhǔn)確地反映科研成果的在線(xiàn)關(guān)注度,全面描述研究成果如何影響社會(huì)公眾的對(duì)話(huà)、思想和行為。以Plum Analytics為例,該計(jì)量工具將指標(biāo)分為5個(gè)類(lèi)別:使用、捕獲、提及、社交媒體和引用。使用類(lèi)別指標(biāo)表示使用研究成果的方式,如全文瀏覽、下載、點(diǎn)擊、播放等;捕獲類(lèi)別指標(biāo)是未來(lái)引文的早期指標(biāo),包括書(shū)簽、關(guān)注者、訂閱者等;提及類(lèi)別指標(biāo)可以表明公眾與研究成果的互動(dòng)情況,包括博客提及、新聞提及、參考、討論等;社交媒體類(lèi)別指標(biāo)可以衡量研究成果的熱度和推廣程度,具體指標(biāo)包括點(diǎn)贊、分享、推薦、評(píng)級(jí)等;引用類(lèi)別指標(biāo)既包括傳統(tǒng)的引文索引(如Scopus),又包括可以表明社會(huì)影響的引文(如專(zhuān)利引用、臨床引用、政策引用)。[22]
在評(píng)價(jià)策略方面,Altmetric.com使用研究成果的唯一標(biāo)識(shí)符跟蹤在線(xiàn)活動(dòng)及其在線(xiàn)影響力,通過(guò)整合不同關(guān)注度來(lái)源上(如社交媒體、文獻(xiàn)管理器、學(xué)術(shù)服務(wù)平臺(tái))的轉(zhuǎn)發(fā)、保存、評(píng)論等操作,對(duì)不同來(lái)源的數(shù)據(jù)賦予不同的權(quán)重,采用一定的算法和公式,最后換算成一個(gè)綜合得分,即Altmetric關(guān)注度分?jǐn)?shù)(Altmetric Attention Score)。PLOS ALM、ImpactStory 和 Plum Analystics并非通過(guò)加權(quán)將不同數(shù)據(jù)源集合在一起,而是采用分類(lèi)策略,將評(píng)估指標(biāo)劃分成不同維度分別進(jìn)行測(cè)量。這4種替代計(jì)量工具的評(píng)價(jià)結(jié)果均通過(guò)結(jié)果標(biāo)志圖和可視化圖呈現(xiàn)。
基于上述來(lái)自實(shí)踐的考察可以發(fā)現(xiàn),有的是在科研評(píng)估的制度框架中加入社會(huì)影響評(píng)價(jià)指標(biāo),有的則是專(zhuān)門(mén)針對(duì)科研社會(huì)影響的評(píng)價(jià),它們采用不同的模式和方法開(kāi)展影響評(píng)估工作,希望通過(guò)社會(huì)影響評(píng)價(jià)引導(dǎo)高校和科研機(jī)構(gòu)更好地理解和思考科研活動(dòng)對(duì)社會(huì)發(fā)展的貢獻(xiàn)與價(jià)值。
目前,我國(guó)科研評(píng)估框架中并未設(shè)置社會(huì)影響的評(píng)價(jià)維度,盡管從教育部的第四輪學(xué)科評(píng)估方案開(kāi)始關(guān)注并重視研究成果的社會(huì)貢獻(xiàn),并增設(shè)了社會(huì)服務(wù)評(píng)價(jià)指標(biāo),但學(xué)科評(píng)價(jià)并不等同于科研評(píng)價(jià),學(xué)科的內(nèi)涵要遠(yuǎn)遠(yuǎn)大于科研。從全國(guó)第四、五輪學(xué)科評(píng)估可以看出,學(xué)科評(píng)估的一級(jí)指標(biāo)由人才培養(yǎng)質(zhì)量、師資隊(duì)伍與資源、科學(xué)研究水平、社會(huì)服務(wù)與學(xué)科聲譽(yù)共同構(gòu)成,科研評(píng)價(jià)是學(xué)科評(píng)價(jià)的重要組成部分,學(xué)科的社會(huì)影響不僅包括科研的社會(huì)影響,還包括人才培養(yǎng)、師資隊(duì)伍的社會(huì)影響。因此,我國(guó)學(xué)科評(píng)估中的社會(huì)服務(wù)評(píng)價(jià)指標(biāo)并不是針對(duì)科學(xué)研究的社會(huì)影響評(píng)價(jià)。此外,從概念內(nèi)涵上看,社會(huì)服務(wù)指標(biāo)與社會(huì)影響指標(biāo)存在一定的差異。社會(huì)服務(wù)的概念最早源于19世紀(jì),此后被認(rèn)為是高校五大基本職能之一,是繼人才培養(yǎng)與科學(xué)研究后的一項(xiàng)獨(dú)立的新職能。在第四輪學(xué)科評(píng)估中,“弘揚(yáng)優(yōu)秀文化、舉辦學(xué)術(shù)會(huì)議、推進(jìn)科學(xué)普及、發(fā)揮智庫(kù)作用”等出現(xiàn)在社會(huì)服務(wù)貢獻(xiàn)文本內(nèi)容上的關(guān)鍵詞,將社會(huì)服務(wù)更多地指向以知識(shí)或活動(dòng)為基礎(chǔ)直接為社會(huì)提供各種服務(wù)的活動(dòng),是高校對(duì)社會(huì)單向度的智力輸出。而社會(huì)影響是近年來(lái)在知識(shí)生產(chǎn)模式變革下提出來(lái)的,不同文獻(xiàn)對(duì)其有著不同稱(chēng)謂,如“社會(huì)相關(guān)性”“公共價(jià)值”“富有成效的互動(dòng)”“投資回報(bào)”,它們都強(qiáng)調(diào)科學(xué)研究與外部社會(huì)的有效互動(dòng),通過(guò)高校、政府、產(chǎn)業(yè)、公民社會(huì)等多元主體的參與及對(duì)科學(xué)的協(xié)同治理,應(yīng)對(duì)越來(lái)越復(fù)雜的社會(huì)公共問(wèn)題。顯然,傳統(tǒng)的社會(huì)服務(wù)指標(biāo)已經(jīng)無(wú)法涵蓋高校與更廣泛的外部社會(huì)間動(dòng)態(tài)交融的關(guān)系,更無(wú)法回應(yīng)高校治理能力現(xiàn)代化的要求。[23]
當(dāng)前,在大力實(shí)施國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展的戰(zhàn)略背景下,我們應(yīng)引入科研社會(huì)影響評(píng)價(jià)維度,建立切實(shí)可行的科研社會(huì)影響評(píng)價(jià)機(jī)制,強(qiáng)化研究的外部社會(huì)責(zé)任,進(jìn)一步提升高校服務(wù)經(jīng)濟(jì)社會(huì)發(fā)展的能力。同時(shí),在“雙一流”建設(shè)進(jìn)程中,對(duì)科學(xué)研究產(chǎn)生的社會(huì)影響進(jìn)行評(píng)價(jià)也能為破解我國(guó)科研評(píng)價(jià)機(jī)制中的“五唯”問(wèn)題提供鏡鑒。
替代計(jì)量學(xué)的出現(xiàn),使我們對(duì)研究成果的傳統(tǒng)學(xué)術(shù)理解發(fā)生了變化。在替代計(jì)量學(xué)看來(lái),研究成果不僅包括論文,還包括發(fā)布在博客、在線(xiàn)數(shù)據(jù)倉(cāng)儲(chǔ)或視頻網(wǎng)站上的演示文稿、數(shù)據(jù)集、科學(xué)軟件、學(xué)術(shù)海報(bào)、代碼、視頻等,這些都應(yīng)被納入科研評(píng)價(jià)體系中。在英國(guó)REF2021影響評(píng)價(jià)中,學(xué)術(shù)論文是科研成果的主要產(chǎn)出形式,占參評(píng)成果的82%,但除論文,還包括展覽、表演、產(chǎn)品設(shè)計(jì)、網(wǎng)頁(yè)等形式多種多樣的研究成果。[24]這不僅反映了當(dāng)前科學(xué)研究的發(fā)展趨勢(shì),還反映了知識(shí)形態(tài)、知識(shí)生產(chǎn)模式的深刻轉(zhuǎn)型。
近年來(lái),吉林大學(xué)、浙江大學(xué)等國(guó)內(nèi)少數(shù)高校出臺(tái)了新規(guī),將優(yōu)秀原創(chuàng)文章、動(dòng)漫、影音等具有廣泛網(wǎng)絡(luò)傳播的作品納入學(xué)校學(xué)術(shù)評(píng)價(jià)體系中,在學(xué)界內(nèi)外引起了廣泛關(guān)注。我們應(yīng)當(dāng)認(rèn)識(shí)到這種做法的重要性及其積極意義:以非傳統(tǒng)形式的科研成果為契機(jī)和抓手,鼓勵(lì)和引導(dǎo)真實(shí)多樣的社會(huì)影響發(fā)生,同時(shí)能潛移默化地使研究者重視科研工作帶來(lái)的社會(huì)價(jià)值,從而推動(dòng)其社會(huì)責(zé)任意識(shí)的提高。在我國(guó)未來(lái)的評(píng)估實(shí)踐中,特別是在引入科研社會(huì)影響評(píng)價(jià)維度的過(guò)程中,必須要順應(yīng)知識(shí)轉(zhuǎn)型和社會(huì)服務(wù)方向,樹(shù)立“科研產(chǎn)品”思維。凡是對(duì)社會(huì)有益,滿(mǎn)足社會(huì)需求的信息、創(chuàng)意、政策、方案等,都可稱(chēng)為研究產(chǎn)品,都應(yīng)作為研究成果得到認(rèn)可。[25]重點(diǎn)是要將影響政府政策(如政策建議、咨詢(xún)報(bào)告、調(diào)研報(bào)告、會(huì)議演示文稿等)、服務(wù)企業(yè)和市場(chǎng)(如技術(shù)解決方案、專(zhuān)利、版權(quán)、實(shí)驗(yàn)數(shù)據(jù)、分析報(bào)告等)、引導(dǎo)社會(huì)公眾思想觀念(如學(xué)術(shù)演講、在線(xiàn)課程、博客、視頻、公眾號(hào)等)等方面的工作予以科研成果的認(rèn)可,重視評(píng)價(jià)它們產(chǎn)生的更廣泛的社會(huì)影響??梢灶A(yù)見(jiàn),在當(dāng)前日益強(qiáng)調(diào)科學(xué)研究的社會(huì)影響以及大力推進(jìn)“雙一流”建設(shè)的背景下,“科研產(chǎn)品”必將在評(píng)價(jià)體系中占有重要的一席之地。
科研卓越框架、回報(bào)框架、替代計(jì)量學(xué)對(duì)科研社會(huì)影響的評(píng)價(jià)方法、標(biāo)準(zhǔn)及其帶來(lái)的效應(yīng)各不相同,呈現(xiàn)出多樣的評(píng)價(jià)模式與特色,為我們優(yōu)化影響評(píng)價(jià)方案,充分發(fā)揮社會(huì)影響評(píng)價(jià)應(yīng)有功效,提供了可資借鑒的創(chuàng)新經(jīng)驗(yàn)。
在評(píng)價(jià)方法上,由于社會(huì)影響具有的抽象性、模糊性和動(dòng)態(tài)性等特征,英國(guó)的科研卓越框架要求參評(píng)院校將社會(huì)影響以案例敘述的形式具體化,并提供影響的證據(jù)來(lái)源,以此作為評(píng)價(jià)依據(jù)。案例評(píng)價(jià)方法的天然優(yōu)勢(shì)在于可以用文字形式系統(tǒng)描述不同情境下的影響力故事,真實(shí)反饋科學(xué)研究的社會(huì)價(jià)值。我國(guó)的第四、五輪學(xué)科評(píng)估中,采用了案例評(píng)價(jià)方法將社會(huì)服務(wù)與貢獻(xiàn)顯性化,但并未給出具體的案例模板,也未曾明確指出案例敘述的邏輯要求,因此各參評(píng)院校提交的敘事案例在格式和內(nèi)容上參差不齊,不利于評(píng)審專(zhuān)家對(duì)研究成果的社會(huì)貢獻(xiàn)進(jìn)行有效評(píng)價(jià)。為了保證案例評(píng)價(jià)方法能全面、有效地評(píng)估研究的社會(huì)影響,可以借鑒ARC項(xiàng)目中回報(bào)框架提出的勾勒從研究到產(chǎn)生影響完整過(guò)程的邏輯模型,將社會(huì)影響具體化為研究成果在知識(shí)轉(zhuǎn)移各階段中的社會(huì)貢獻(xiàn),以此優(yōu)化案例評(píng)價(jià)方法。參評(píng)院校在撰寫(xiě)社會(huì)影響案例時(shí),可將邏輯模型的七個(gè)階段作為模板,厘清科研工作涉及到知識(shí)轉(zhuǎn)移的哪些階段,描述在特定階段研究工作如何對(duì)外部社會(huì)產(chǎn)生影響及影響輻射范圍和最終效果,從而形成完整性、標(biāo)準(zhǔn)化的評(píng)價(jià)案例。這樣一來(lái),一方面,可為案例撰寫(xiě)提供參考,為評(píng)審專(zhuān)家提供了指引;另一方面,可激勵(lì)高校以社會(huì)價(jià)值和實(shí)際貢獻(xiàn)為導(dǎo)向,加快促進(jìn)“雙一流”建設(shè)與發(fā)展。此外,社會(huì)影響的類(lèi)型多種多樣,不同類(lèi)型的社會(huì)影響應(yīng)采用適切的評(píng)價(jià)方法。如,對(duì)于分析思想、文化這些不太容易量化的隱性影響,可以借助替代計(jì)量學(xué)追蹤媒體網(wǎng)絡(luò)平臺(tái)上的數(shù)據(jù),進(jìn)行基于網(wǎng)絡(luò)的評(píng)價(jià)。該方法利用替代計(jì)量工具,收集社交網(wǎng)絡(luò)、文獻(xiàn)管理器和學(xué)術(shù)服務(wù)平臺(tái)中關(guān)于某一研究成果的瀏覽量、下載量、被引數(shù)、討論數(shù)等相關(guān)信息,通過(guò)統(tǒng)計(jì)計(jì)算和聚類(lèi)分析這些數(shù)據(jù),對(duì)研究成果的社會(huì)影響進(jìn)行評(píng)價(jià)。[26]關(guān)鍵是要依據(jù)應(yīng)用情境從眾多數(shù)據(jù)源中篩選出能反映社會(huì)影響的指標(biāo),挖掘這些數(shù)據(jù)指標(biāo)背后的信息和含義,如同樣是博客提及,比起單純的提及數(shù)據(jù),分析研究成果被哪些政策或權(quán)威人士提及、如何提及、提及的相關(guān)內(nèi)容,更能收集和提取到關(guān)于社會(huì)影響的重要信息。
在社會(huì)影響評(píng)價(jià)的主體上,英國(guó)科研卓越框架中的評(píng)價(jià)主體來(lái)自社會(huì)各界。而在我國(guó)第五輪學(xué)科評(píng)估中,社會(huì)服務(wù)貢獻(xiàn)案例是由同行專(zhuān)家進(jìn)行的評(píng)價(jià)。然而,不可忽視的是,知識(shí)生產(chǎn)模式的轉(zhuǎn)型使科研成果形態(tài)多種多樣,不同的科研產(chǎn)品需要有不同的評(píng)價(jià)標(biāo)準(zhǔn),也要由不同的利益相關(guān)者進(jìn)行評(píng)價(jià)。另外,作為解決社會(huì)問(wèn)題和應(yīng)對(duì)突發(fā)公共事件有力“公器”的交叉學(xué)科研究,其研究成果的跨學(xué)科性給同行評(píng)議帶來(lái)嚴(yán)峻的挑戰(zhàn)。因此,為了準(zhǔn)確有效地評(píng)價(jià)研究成果的社會(huì)影響,可以回報(bào)框架為依據(jù),在社會(huì)影響產(chǎn)生與傳播的各階段,加入涉及到的相關(guān)學(xué)科或領(lǐng)域的同行專(zhuān)家和終端用戶(hù)等不同主體進(jìn)行評(píng)價(jià)。這種分階段、有針對(duì)性地選擇同行專(zhuān)家和其他利益相關(guān)者作為評(píng)價(jià)主體,能彌補(bǔ)單一評(píng)價(jià)主體的不足,同時(shí)有利于交叉學(xué)科研究成果的社會(huì)影響評(píng)價(jià)。