郭瑞 楊天通
摘要:[目的/意義]基于第四代評(píng)估理論,從多元評(píng)價(jià)主體參與視角,探索高校智庫評(píng)價(jià)指標(biāo)體系的建設(shè),為高校智庫評(píng)價(jià)提供理論工具及新視角。[方法/過程]本文采用實(shí)證研究和理論研究相結(jié)合的范式,對(duì)高校智庫研究人員、智庫評(píng)價(jià)人員、科研評(píng)價(jià)人員(第三方評(píng)價(jià)機(jī)構(gòu))、政府人員、媒體人員、社會(huì)公眾等進(jìn)行問卷調(diào)查,構(gòu)建高校智庫評(píng)價(jià)指標(biāo)體系?;厥沼行柧?27份,通過因子分析對(duì)其進(jìn)行優(yōu)化及賦權(quán),形成高校智庫“智庫投入及平臺(tái)建設(shè)因子” “智庫政府和社會(huì)影響力因子” “智庫對(duì)外合作交流因子” “智庫學(xué)術(shù)生產(chǎn)力因子”4個(gè)公因子的指標(biāo)體系。[結(jié)果/結(jié)論]本文提出以下建議對(duì)高校智庫評(píng)價(jià)進(jìn)行引導(dǎo):轉(zhuǎn)變?cè)u(píng)估理念,完善評(píng)估機(jī)制;強(qiáng)調(diào)利益相關(guān)者的共同參與,尊重評(píng)估兼容性和結(jié)果導(dǎo)向;重視高校智庫評(píng)價(jià)市場(chǎng)受眾互動(dòng)與合作等。
關(guān)鍵詞:高校智庫? ?評(píng)價(jià)指標(biāo)體系? ?實(shí)證研究? ?第四代評(píng)估理論
分類號(hào):G350
1? 引言
20世紀(jì)80年代,第四代評(píng)估理論在對(duì)前幾代評(píng)估理論管理主義傾向、忽略價(jià)值多元性修正的基礎(chǔ)上,應(yīng)運(yùn)而生。以“回應(yīng)-協(xié)商-共識(shí)”為主線的評(píng)估方法,帶來了評(píng)估觀念的變革。該理論的核心內(nèi)容主要有兩點(diǎn)。一是利益相關(guān)者是風(fēng)險(xiǎn)群體。主張識(shí)別利益相關(guān)者的焦慮和爭(zhēng)議作為評(píng)估焦點(diǎn),形成比較開放的局面,避免評(píng)估陷在較小的范圍內(nèi)。二是理論依賴于響應(yīng)式聚焦、建構(gòu)主義方法論兩個(gè)因素[1]。響應(yīng)式聚焦關(guān)注利益相關(guān)者的主張、焦慮和爭(zhēng)議,并倡導(dǎo)評(píng)估者和利益相關(guān)者的互動(dòng)模式,關(guān)注協(xié)商程序,要求在評(píng)估過程中參與者具有平等地位。建構(gòu)主義方法論,是指在建構(gòu)主義范式本體論和認(rèn)識(shí)論的假設(shè)基礎(chǔ)上實(shí)施整個(gè)研究程序。這里的“建構(gòu)”可以理解為主張或者理念。第四代評(píng)估理論倡導(dǎo)通過不斷的協(xié)商談判,在尊重各種價(jià)值觀的基礎(chǔ)上,盡可能地達(dá)成共識(shí)。
第四代評(píng)估理論以利益相關(guān)者主張、焦慮和爭(zhēng)議,作為組織評(píng)估焦點(diǎn)決定所用信息的一種評(píng)估形式,將評(píng)估上升到一個(gè)以談判協(xié)調(diào)為核心的新高度[2],為多元評(píng)價(jià)主體參與評(píng)估并通過協(xié)商達(dá)成共識(shí)提供了渠道及方法[3],兼顧多元價(jià)值的同時(shí),也確保了其在評(píng)估中的支持與責(zé)任[4]。利益相關(guān)者的理念及深入溝通達(dá)成新的建構(gòu),能夠有效地解決教育評(píng)估中存在的問題[5]。第四代評(píng)估理論對(duì)解決當(dāng)前高校智庫評(píng)價(jià)面臨的各方評(píng)價(jià)主體自成一體以及缺乏協(xié)同合作、評(píng)價(jià)結(jié)果共識(shí)度低等困境提供參考。因此,第四代評(píng)估理論建構(gòu)主義及響應(yīng)式聚焦方法論,為探索提升高校智庫評(píng)價(jià)及指標(biāo)構(gòu)建,提供協(xié)同模式和溝通渠道。
2? 第四代評(píng)估理論視角下高校智庫評(píng)價(jià)指標(biāo)體系構(gòu)建及闡述
第四代評(píng)估理論主張多元評(píng)價(jià)主體的共同建構(gòu),來達(dá)成共識(shí)、展開合作。所謂共同建構(gòu)就是關(guān)注、尊重,并回應(yīng)評(píng)價(jià)中利益相關(guān)者的價(jià)值取向、焦點(diǎn)和利益訴求,并通過對(duì)話和協(xié)商,逐步達(dá)成共識(shí)的過程[6]。具體來講,指標(biāo)體系的構(gòu)建中應(yīng)盡可能地尊重各評(píng)價(jià)主體的價(jià)值取向。然而,指標(biāo)體系構(gòu)建不可能十全十美,總會(huì)有利益相關(guān)者其他的焦慮和建議出現(xiàn),需要進(jìn)行不斷的完善與修正。不可能將所有評(píng)價(jià)指標(biāo)“一網(wǎng)打盡”,智庫評(píng)價(jià)排名也永遠(yuǎn)無法令人滿意[7]。針對(duì)如何解決指標(biāo)難以窮盡但又必須相對(duì)完善的悖論,德國學(xué)者帕瑞克·克勒納[8]提出,可以將智庫的“特色行為”和現(xiàn)有的“評(píng)價(jià)報(bào)告”作為評(píng)價(jià)指標(biāo)體系設(shè)置的參考。高校智庫有戰(zhàn)略研究、政策建言、人才培養(yǎng)、輿論引導(dǎo)、公共外交等功能,這也為指標(biāo)體系的設(shè)置提供了重要的參考方向。
因此,本文依據(jù)第四代評(píng)估理論,在遵循評(píng)價(jià)主、客體價(jià)值取向以及客觀評(píng)價(jià)導(dǎo)向的情況下,梳理和借鑒國內(nèi)外智庫評(píng)價(jià)報(bào)告、指標(biāo)成果,結(jié)合我國高校智庫戰(zhàn)略研究、政策建言、人才培養(yǎng)、輿論引導(dǎo)、公共外交的功能及特征,從高校智庫學(xué)術(shù)影響力、社會(huì)影響力、政府影響力、智庫對(duì)外合作交流、智庫組織情況5個(gè)維度設(shè)置高校智庫評(píng)價(jià)指標(biāo),并通過問卷調(diào)查,對(duì)指標(biāo)體系進(jìn)行篩選和優(yōu)化。
2.1? 學(xué)術(shù)影響力維度的測(cè)量
高校智庫擅長學(xué)術(shù)性研究,學(xué)術(shù)影響力是衡量高校智庫生產(chǎn)力的重要指標(biāo)[9],國內(nèi)一些研究機(jī)構(gòu)將“學(xué)術(shù)影響力”作為智庫評(píng)價(jià)的維度之一。例如,上海社會(huì)科學(xué)院、中國社會(huì)科學(xué)院,從期刊發(fā)文量及級(jí)別、轉(zhuǎn)載情況、專著、研究報(bào)告的數(shù)量、會(huì)議情況來測(cè)度。也有研究機(jī)構(gòu)將“內(nèi)刊”“外刊”數(shù)量及級(jí)別,作為評(píng)價(jià)高校智庫研究活動(dòng)的“活躍度”[10]和成果流通情況。肖福軍[11]、赫巡[12]、王藝璇[13]等將“學(xué)術(shù)影響力”作為高校智庫評(píng)價(jià)的一級(jí)指標(biāo)。因此,對(duì)高校智庫學(xué)術(shù)能力的評(píng)價(jià)成為眾多研究者的共識(shí)。本文設(shè)置了學(xué)術(shù)影響力一級(jí)指標(biāo),來評(píng)價(jià)高校智庫的知識(shí)生產(chǎn)能力。其中,論文數(shù)量及級(jí)別、著作數(shù)量和級(jí)別、立項(xiàng)項(xiàng)目以及資政研究報(bào)告等,作為考查學(xué)術(shù)能力的重要標(biāo)準(zhǔn)(見表1)。
2.2? 社會(huì)影響力維度的測(cè)量
社會(huì)影響力是衡量高校智庫產(chǎn)出與政府、社會(huì)需求是否契合的重要指標(biāo),社會(huì)影響力的實(shí)現(xiàn)不僅體現(xiàn)成果應(yīng)用對(duì)增進(jìn)經(jīng)濟(jì)、文化、社會(huì)領(lǐng)域的效益程度,同樣是高校智庫實(shí)現(xiàn)自我發(fā)展的體現(xiàn)。提升高校智庫的社會(huì)影響力,必須加強(qiáng)高校智庫同政府、媒體、公眾、利益相關(guān)方的互動(dòng)和聯(lián)系。許多研究學(xué)者,直接將社會(huì)影響力作為評(píng)價(jià)高校智庫的一級(jí)指標(biāo),如肖福軍[11]、李蒙[14]等、王藝璇[13]等。
《2016年中國智庫大數(shù)據(jù)報(bào)告》對(duì)社會(huì)影響力的測(cè)量通過微信公眾號(hào)、微信專家影響力、微信引用指數(shù)等來衡量智庫的媒體影響力[15]。賓西法尼亞大學(xué)對(duì)社會(huì)影響力的評(píng)價(jià)指標(biāo)包括政府影響力(建議被采納)、網(wǎng)絡(luò)影響力以及成果產(chǎn)出情況等[16]?!吨袊菐靾?bào)告——影響力排名與政策建設(shè)(2015)》[10]將“媒體影響”和“社會(huì)關(guān)注”作為社會(huì)影響力的重要衡量標(biāo)準(zhǔn)?!禖TTI來源智庫MRPA測(cè)評(píng)報(bào)告》[17]從智庫成果角度,以單篇內(nèi)參、被批示內(nèi)參、研究報(bào)告、被重要報(bào)刊報(bào)道(如《人民日?qǐng)?bào)》《光明日?qǐng)?bào)》等評(píng)價(jià)或轉(zhuǎn)載)以及會(huì)議活動(dòng)和培訓(xùn)等來衡量高校智庫輿論影響力。同時(shí),《中國智庫網(wǎng)絡(luò)影響力評(píng)價(jià)報(bào)告(2016)》[18]指出,智庫網(wǎng)絡(luò)影響力在“互聯(lián)網(wǎng)+”時(shí)代,已成為衡量智庫綜合影響力的重要指標(biāo)之一。王靜[19]認(rèn)為,高校智庫“媒體公關(guān)”與“公眾交往”是社會(huì)影響力的重要參量。李潔等[20]通過對(duì)2016年169家全球知名智庫影響力指標(biāo)分析,提出通過知名報(bào)刊的曝光度、網(wǎng)站收索、網(wǎng)絡(luò)影響因子、粉絲數(shù)等來衡量智庫知名度。本文的訪談中涉及的部分媒體人,對(duì)高校智庫“輿論影響力”和“輿論影響的手段”都很重視,但是,高校智庫社會(huì)影響不止于輿論影響,還和高校智人才培養(yǎng)、成果實(shí)踐導(dǎo)向等功能有關(guān)。因此,本文從合作交流、媒體宣傳、成果采用、人才培養(yǎng)等4個(gè)方面來衡量[21]高校智庫社會(huì)影響力,通過評(píng)估智庫網(wǎng)絡(luò)瀏覽、智庫產(chǎn)品在社會(huì)上的發(fā)布及采納、智庫產(chǎn)品被媒體轉(zhuǎn)載及報(bào)道、相關(guān)專家評(píng)論引用、智庫成員參與媒體訪談情況等衡量高校智庫輿論引導(dǎo)情況,通過評(píng)估向企事業(yè)單位輸送人才數(shù)量及智庫產(chǎn)品應(yīng)用實(shí)踐的轉(zhuǎn)化比率衡量高校智庫人才培養(yǎng)及成果采用情況(見表2)。
2.3? 政府影響力維度的測(cè)量
為政府出謀劃策,為國家政策科學(xué)化提供智力支持,是我國高校智庫成立的初衷。智庫通過提出原創(chuàng)思想、政策建議影響公共政策為終極旨意[23]。決策影響力是智庫的立身之本,也是智庫的核心功能。智庫對(duì)媒體、政府、公眾等相關(guān)問題解決的吸引程度,通過咨詢或其他途徑參與政策的程度、建言被采納情況等是評(píng)價(jià)智庫影響力的重要標(biāo)準(zhǔn)[24]。在我國,智庫研究成果報(bào)送黨政領(lǐng)導(dǎo)案頭并得到批示,是智庫政府影響力實(shí)現(xiàn)的最直接方式。經(jīng)過文獻(xiàn)梳理,《中國智庫報(bào)告——影響力排名與政策建議(2015)》[10]中,評(píng)價(jià)指標(biāo)對(duì)政府影響力的評(píng)價(jià)采用“咨詢以及領(lǐng)導(dǎo)批示”作為二級(jí)指標(biāo),三級(jí)指標(biāo)是對(duì)二級(jí)指標(biāo)級(jí)別的分類,如國家級(jí)、省級(jí)等。《全球智庫評(píng)價(jià)報(bào)告(2016)》通過“吸引、管理、影響”3個(gè)維度對(duì)智庫進(jìn)行評(píng)價(jià),對(duì)政府的影響力聚焦咨詢報(bào)告、咨詢內(nèi)刊、政策批示、政府項(xiàng)目、成果轉(zhuǎn)化的政策應(yīng)用以及相關(guān)人員到政府機(jī)構(gòu)任職或培訓(xùn)等指標(biāo)[25]。此外,通過訪談,許多被調(diào)查者認(rèn)為,高校智庫產(chǎn)品通過內(nèi)部簡(jiǎn)報(bào)而獲得政府關(guān)注以及相關(guān)人員參與政府部門活動(dòng)如咨詢會(huì)、座談會(huì)等,能從側(cè)面體現(xiàn)出高校智庫在資政建言中的實(shí)力、積極性和活躍度,是高校智庫政府影響力的途徑之一。因此,高校智庫內(nèi)部刊物流通及級(jí)別、報(bào)告及政策產(chǎn)品受領(lǐng)導(dǎo)批示次數(shù)及級(jí)別、參與政府部門座談及參與起草政策文件、向政府輸入人才數(shù)量、員工在政府部門掛職比例等成為本指標(biāo)體系測(cè)量政府影響力的重要方面(見表3)。
2.4? 智庫對(duì)外合作交流維度的測(cè)量
智庫對(duì)外合作交流情況,能夠評(píng)估高校智庫及其人員活躍程度。作為知識(shí)型生產(chǎn)組織,高校智庫有知識(shí)的共享和交流功能。承辦學(xué)術(shù)會(huì)議的次數(shù)和級(jí)別以及相關(guān)人員參會(huì)情況,是高校智庫傳播思想產(chǎn)品及與外界進(jìn)行溝通交流的重要途徑。可通過對(duì)此指標(biāo)的考查,衡量高校智庫在智庫市場(chǎng)的活躍程度。
除此,我國高校智庫雖然各有優(yōu)勢(shì),但是綜合研究能力不強(qiáng),一些綜合性的研究項(xiàng)目往往需要與其他機(jī)構(gòu)合作,學(xué)科協(xié)同、人員協(xié)力,才能產(chǎn)出更好的研究成果。這些指標(biāo)能夠考查高校智庫與其他智庫、組織或者機(jī)構(gòu)的協(xié)作關(guān)系。例如,通過對(duì)我國著名高校智庫復(fù)旦發(fā)展研究院的調(diào)查發(fā)現(xiàn),復(fù)旦發(fā)展研究院與其他智庫組織或機(jī)構(gòu)的協(xié)作平臺(tái)通過學(xué)科協(xié)同、項(xiàng)目協(xié)同、人員協(xié)力等方式,為高校智庫人員流動(dòng)和知識(shí)的傳播提供廣闊的途徑,上海論壇就是復(fù)旦發(fā)展研究院搭建的“學(xué)界、政界、商界”三方交流的互動(dòng)平臺(tái)。又如,復(fù)旦大學(xué)和加州大學(xué)共建的當(dāng)代中國研究中心,是智庫間協(xié)作平臺(tái),又是學(xué)科協(xié)同平臺(tái)。因此,本文從高校智庫承辦學(xué)術(shù)交流及人員參與情況,以及高校智庫與其他智庫及組織機(jī)構(gòu)協(xié)作平臺(tái)情況、學(xué)科協(xié)同情況、項(xiàng)目協(xié)作情況、人員協(xié)力情況等,對(duì)高校智庫對(duì)外合作交流進(jìn)行評(píng)估(見表4)。
2.5? 智庫組織情況維度的測(cè)量
《關(guān)于加強(qiáng)中國特色新型智庫建設(shè)的意見》指出了中國特色新型智庫建設(shè)在機(jī)構(gòu)性質(zhì)、組織規(guī)章、研究成果、人才隊(duì)伍、資金來源、學(xué)術(shù)交流、專業(yè)數(shù)據(jù)庫、國際交流等方面[29]的要求,為實(shí)體智庫建設(shè)和評(píng)價(jià)提供參考維度。智庫組織情況是智庫進(jìn)行知識(shí)生產(chǎn)的基礎(chǔ)和載體,涵蓋智庫的平臺(tái)建設(shè)和組織管理兩大方面。智庫的平臺(tái)建設(shè)包括人、財(cái)、物以及技術(shù)建設(shè),這是智庫存在的物質(zhì)條件。組織管理包括智庫的運(yùn)營管理和組織保障,通過評(píng)估高校智庫運(yùn)營團(tuán)隊(duì)、運(yùn)營方式、評(píng)估方式、激勵(lì)政策等來考查高校智庫組織管理效率。完善的組織和管理,是高校智庫從研究型機(jī)構(gòu)向?qū)I(yè)智庫型機(jī)構(gòu)轉(zhuǎn)型的基礎(chǔ)。2017年,梅新林團(tuán)隊(duì)[30]構(gòu)建的大學(xué)智庫評(píng)價(jià)指標(biāo)體系“三維模型”對(duì)平臺(tái)建設(shè)非常重視,其中契合度維度重點(diǎn)從組織機(jī)構(gòu)、研究團(tuán)隊(duì)、資金來源角度來考核大學(xué)智庫的平臺(tái)及管理。上海社會(huì)科學(xué)院[10]通過“智庫成長與影響”,包括智庫建設(shè)的人、財(cái)、物及技術(shù),來考察智庫的平臺(tái)建設(shè)。由此可知,充足的資金和多元經(jīng)費(fèi)來源渠道是各類智庫立足的根本。團(tuán)隊(duì)建設(shè)為高校智庫研究提供智力支持;智庫技術(shù)支持平臺(tái)為高校智庫信息采集、共享及數(shù)據(jù)庫建設(shè)提供技術(shù)支撐。因此,本指標(biāo)體系設(shè)置智庫組織情況一級(jí)指標(biāo)考查高校智庫建設(shè)人、財(cái)、物以及技術(shù)等物質(zhì)載體和人力保障(見表5)。
由表5可知,高校智庫評(píng)價(jià)指標(biāo)體系的設(shè)置,實(shí)質(zhì)上是對(duì)高校智庫生產(chǎn)過程中各種資源(平臺(tái)資源、技術(shù)手段、各種生產(chǎn)關(guān)系)和績(jī)效(影響力)的評(píng)估,既要關(guān)注評(píng)價(jià)參與主客體的價(jià)值訴求,又要遵循智庫評(píng)價(jià)發(fā)展規(guī)律,從而形成相對(duì)完善的評(píng)價(jià)指標(biāo)體系。
3? 指標(biāo)檢驗(yàn)、修正及賦權(quán)
3.1? 研究設(shè)計(jì)
本文調(diào)查對(duì)象涵蓋智庫及高校智庫研究人員、智庫評(píng)價(jià)人員、科研評(píng)價(jià)人員(第三方評(píng)價(jià)機(jī)構(gòu))、政府工作人員、媒體工作人員、社會(huì)公眾等[32]。調(diào)查地點(diǎn)按方便、熟悉及具有一定代表性等原則選取,例如,武漢大學(xué)世界一流智庫評(píng)價(jià)研究中心、上海高校智庫研究和管理中心、2018年高校新型智庫建設(shè)與創(chuàng)新學(xué)術(shù)研討會(huì)、地方新型智庫建設(shè)與績(jī)效評(píng)價(jià)學(xué)術(shù)研討會(huì)(2019)等。抽樣方法采用概率抽樣中的隨機(jī)抽樣,根據(jù)研究目的,遵循抽樣原則,考慮人、財(cái)、物力等因素的限制,并以非概率抽樣中的判斷抽樣為輔助[33],使得調(diào)查結(jié)果更接近研究預(yù)期。
對(duì)于問卷調(diào)查樣本數(shù)量,一般問卷調(diào)查中,正式樣本應(yīng)在350人以上,如果總體樣本較少,那么樣本量應(yīng)占總體樣本的20%以上。對(duì)于有限總體,當(dāng)抽樣總體相當(dāng)大、無限大的時(shí)候,樣本大小的公式如下[34]:
其中,n=樣本數(shù);P=0.5;a=0.05;k=1.96。
范柏乃和藍(lán)志勇[35]根據(jù)研究經(jīng)驗(yàn),同樣認(rèn)為樣本數(shù)量并不是隨總體數(shù)量的增加而同步增加的。例如,研究總體數(shù)量與樣本數(shù)量的關(guān)系(見表6),假設(shè)從事智庫評(píng)價(jià)研究為有限總體,384份問卷就能滿足調(diào)查研究的需要。本文回收有效問卷427份,能夠滿足調(diào)查研究需要。
3.2? 數(shù)據(jù)采集與分析
3.2.1? 問卷指標(biāo)設(shè)計(jì)原則? ? 問卷指標(biāo)選取主要遵循以下原則。第一,尊重利益相關(guān)者的價(jià)值取向。通過以往文獻(xiàn)、記錄或其他方式,了解利益相關(guān)者的焦慮、主張,任何的主張和爭(zhēng)議都可以適當(dāng)引入。第二,指標(biāo)體系的可操作、可行性。由于評(píng)價(jià)過程的復(fù)雜性,有些指標(biāo)難以獲得或者不易測(cè)量,因此,指標(biāo)體系要有一定的可操作性和可實(shí)施性,以方便數(shù)據(jù)的收集和整理。第三,指標(biāo)體系與時(shí)俱進(jìn)、不斷完善。第四,指標(biāo)體系的系統(tǒng)性與簡(jiǎn)明性。系統(tǒng)性,是指高校智庫評(píng)價(jià)指標(biāo)體系的構(gòu)建,要結(jié)合高校智庫評(píng)價(jià)研究現(xiàn)狀、高校智庫功能、理論工具等,盡可能全面和系統(tǒng),體現(xiàn)高校智庫功能及運(yùn)行中的規(guī)律和特征。簡(jiǎn)明性,是指在滿足評(píng)價(jià)目的及要求基礎(chǔ)上,指標(biāo)盡可能簡(jiǎn)明、易操作。
3.2.2? 問卷的描述性統(tǒng)計(jì)? ? 問卷發(fā)放590份,回收438份,有效問卷427份,有效問卷率達(dá)72.3%。其中,智庫及高校智庫研究人員、智庫評(píng)價(jià)人員、科研評(píng)價(jià)人員(第三方評(píng)價(jià)機(jī)構(gòu))、政府工作人員、媒體工作人員、社會(huì)公眾等占總調(diào)查對(duì)象的百分比和頻數(shù)分別如下:18.7%、102;26.1%、142;3.1%、17;19.7%、81;25%、136;7.4%、40。其中,被調(diào)查男性,占比61.4%,有效問卷261份;被調(diào)查女性,占比38.6%,有效問卷165。樣本年齡分布如下:20~30歲,占比為41.9%,頻數(shù)為130;41~50歲,占比為20.6%,頻數(shù)為88;50歲以上,占比為7%,頻數(shù)為30。在樣本文化程度方面,98.6%的被調(diào)查者學(xué)歷在本科以上。在樣本中,智庫及其評(píng)價(jià)研究專家47人,占樣本總量的11%;副研究員63人,占樣本總量的14.8%;政府機(jī)構(gòu)工作人員副處及以上49人,占樣本總量的11.5%;其他人員268人,占樣本總量的62.7%。
反映公因子2的指標(biāo)在“智庫政府及社會(huì)影響力因子”中的載荷分別為0.719、0.562、0.744、0.675、0.630、0.806、0.792、0.629、0.587、0.690。進(jìn)行歸一化處理,得出公因子2的指標(biāo)權(quán)重集以及在總體指標(biāo)體系中的權(quán)重(見表14)。
反映公因子3的指標(biāo)在“智庫對(duì)外合作交流因子”中的載荷分別為0.577、0.501、0.641、0.849、0.815、0.850,則公因子3的指標(biāo)權(quán)重集以及在總體指標(biāo)體系中的權(quán)重集見表15。
反映公因子4的指標(biāo)在“智庫學(xué)術(shù)生產(chǎn)力因子”中的載荷分別為0.689、0.816、0.718、0.568,則公因子4的指標(biāo)權(quán)重集及在總體指標(biāo)體系中的權(quán)重集見表16。
由于評(píng)價(jià)指標(biāo)具有動(dòng)態(tài)性和復(fù)雜性,不排除其他未能預(yù)料的影響高校智庫評(píng)價(jià)的因素。這時(shí)應(yīng)設(shè)置特殊因子預(yù)測(cè)智庫產(chǎn)品未來的效應(yīng)和價(jià)值。因此,高校智庫評(píng)價(jià)應(yīng)避免簡(jiǎn)單化、公式化,要依據(jù)高校智庫的功能、特征、發(fā)展規(guī)律,適時(shí)完善和調(diào)整評(píng)價(jià)指標(biāo)體系。
4? 第四代評(píng)估理論視角下高校智庫評(píng)價(jià)的側(cè)重與措施
4.1? 轉(zhuǎn)變?cè)u(píng)估理念,完善評(píng)估機(jī)制
第四代評(píng)估理論秉持價(jià)值多元的理念,強(qiáng)調(diào)評(píng)估過程中的“價(jià)值協(xié)調(diào)”策略,為各方評(píng)估者參與到評(píng)估活動(dòng)中提供依據(jù)。具體到高校智庫評(píng)價(jià)中,應(yīng)處理好評(píng)價(jià)主客體、利益相關(guān)方等的關(guān)系,改變以往單一評(píng)價(jià)主體進(jìn)行的評(píng)估,“杜絕評(píng)估過程中管理主義傾向,強(qiáng)調(diào)評(píng)價(jià)中‘對(duì)話‘協(xié)商,完善多方利益主體參與協(xié)商的制度和機(jī)制,準(zhǔn)許其他相關(guān)主體按比例參與評(píng)估程序[42]”。應(yīng)不斷縮小在評(píng)估指標(biāo)體系、評(píng)估方案、評(píng)估程序、評(píng)估工具、評(píng)估結(jié)果等方面的分歧,促進(jìn)評(píng)價(jià)上的共識(shí)[43]。
實(shí)踐“第四代評(píng)估”理論應(yīng)強(qiáng)調(diào)評(píng)價(jià)客體自評(píng)文化的構(gòu)建,完善高校智庫自我評(píng)價(jià),形成高校智庫自我驅(qū)動(dòng)和主動(dòng)參與的評(píng)估文化,積極接受外部評(píng)價(jià)結(jié)果而采取提升行動(dòng),實(shí)現(xiàn)“以評(píng)促建”的目的。第四代評(píng)估理論在評(píng)估方法應(yīng)用上,矯正過度重視調(diào)查的科學(xué)范式而忽視定性研究,為高校智庫評(píng)價(jià)中評(píng)價(jià)方式的完善提供借鑒。除此之外,第四代評(píng)估理論認(rèn)為,評(píng)估類似于民主政治,是一個(gè)有賴于公開的、有知情權(quán)的自我利益實(shí)施的過程,這為高校智庫評(píng)價(jià)過程中制度、程序等工具理性的完善提供了依據(jù)。
4.2? 強(qiáng)調(diào)利益相關(guān)者的共同參與,尊重評(píng)估兼容性和結(jié)果導(dǎo)向
按利益相關(guān)者視角,智庫產(chǎn)品使用者是高校智庫評(píng)價(jià)第一方主體,主要有政府部門、企業(yè)事業(yè)單位、媒體、社會(huì)公眾等。高校智庫主管部門及第三方評(píng)價(jià)機(jī)構(gòu)、高校智庫等是第二方評(píng)價(jià)主體。各方評(píng)價(jià)主體從自身角度出發(fā),評(píng)價(jià)傾向不同,評(píng)價(jià)結(jié)果也不同。第四代評(píng)估理論將評(píng)估看作是社會(huì)政治過程,具有持續(xù)性、回歸性和多樣性,其中響應(yīng)式聚焦和建構(gòu)主義方法論為評(píng)估各方參與和評(píng)價(jià)結(jié)果的兼容提供了方法。第四代評(píng)估理論強(qiáng)調(diào)不存在完美的建構(gòu),指出通過文件、記錄、觀察、專業(yè)文獻(xiàn)、其他利益相關(guān)者來測(cè)試和擴(kuò)大利益相關(guān)者的共同建構(gòu)。對(duì)高校智庫的評(píng)價(jià),首先要收集各個(gè)利益相關(guān)者價(jià)值建構(gòu),通過定量或定性方式盡可能地達(dá)成價(jià)值建構(gòu)的共識(shí)。評(píng)估永遠(yuǎn)不會(huì)停下來,只會(huì)暫時(shí)停止,總有無法解決的主張、焦慮和爭(zhēng)議。因此,對(duì)高校智庫的評(píng)價(jià)應(yīng)通過對(duì)評(píng)價(jià)結(jié)果的分析,不斷收集評(píng)價(jià)主客體及其利益相關(guān)方的主張、訴求,完善高校智庫評(píng)價(jià)指標(biāo)及其評(píng)價(jià)體系,形成多元評(píng)價(jià)主體參與“評(píng)估-評(píng)估結(jié)果-質(zhì)量提升-新的評(píng)估”的良性循環(huán)路徑,有效發(fā)揮評(píng)估功能,持續(xù)提升高校智庫的成果質(zhì)量。
4.3? 重視高校智庫評(píng)價(jià)市場(chǎng)受眾的互動(dòng)與合作
第四代評(píng)估理論倡導(dǎo)參與者的協(xié)商互動(dòng),各方參與才能使利益得到制衡、資源分配更加公平。首先,在智庫評(píng)價(jià)過程中,評(píng)價(jià)主體通過對(duì)評(píng)價(jià)客體的考察、交流,能設(shè)置更合理的評(píng)價(jià)指標(biāo)體系。其次,評(píng)價(jià)客體通過與評(píng)價(jià)主體的交流反映自身的訴求,以期使評(píng)價(jià)標(biāo)準(zhǔn)更客觀,評(píng)價(jià)結(jié)果更公正。最后,利益相關(guān)方通過與評(píng)價(jià)主客體的交流和互動(dòng),將自身的價(jià)值取向融入評(píng)價(jià)指標(biāo)中,盡可能地使各方利益達(dá)到均衡。因此,通過指標(biāo)設(shè)置來衡量高校智庫同政府、媒體、公眾、利益相關(guān)方等的互動(dòng),而評(píng)價(jià)指標(biāo)又反向促進(jìn)被評(píng)估高校增強(qiáng)與評(píng)價(jià)主客體及利益相關(guān)方的互動(dòng)和聯(lián)系。
對(duì)于被評(píng)價(jià)客體而言,各自為戰(zhàn)、缺乏互動(dòng)是制約我國高校智庫整體水平不高的困境之一。智庫類型不同,具有的優(yōu)勢(shì)也各不相同。政府智庫相比其他智庫掌握的信息更全面,更能提出有針對(duì)性和實(shí)踐性的政策和建言;社會(huì)智庫是連接公眾和政府的橋梁,其成果更“接地氣”;而高校智庫則擅長基礎(chǔ)研究和學(xué)術(shù)研究,研究成果更具有前瞻性。此外,高校智庫依托的學(xué)科資源不同,交流合作能夠優(yōu)勢(shì)互補(bǔ)、各展所長,因此,需要加強(qiáng)對(duì)高校智庫與其他智庫合作與聯(lián)系的評(píng)價(jià)。
5? 結(jié)語
第四代評(píng)估理論的優(yōu)勢(shì)在于利益相關(guān)者充分參與和多元價(jià)值的協(xié)商,但是這也是第四代評(píng)估理論在實(shí)際應(yīng)用中的困境所在。例如,多數(shù)利益相關(guān)群體參與到評(píng)價(jià)中來的可操作性有待商榷。針對(duì)高校智庫的評(píng)價(jià)同樣存在這樣的困境,如何把握多元評(píng)價(jià)主體參與程度、方式,如何在理論指導(dǎo)下增強(qiáng)其可操作性、克服其缺陷,是未來研究的重點(diǎn)。因此,第四代評(píng)估理論在研究中的應(yīng)用,也應(yīng)根據(jù)研究對(duì)象、研究條件與時(shí)俱進(jìn),盡可能地創(chuàng)新合作方式,讓利益相關(guān)者參與到評(píng)價(jià)中。
參考文獻(xiàn):
[1] 埃貢·G·古貝, 伊馮娜·S·林肯. 第四代評(píng)估[M]. 秦霖, 蔣燕玲, 譯. 北京: 中國人民大學(xué)出版社, 2008: 254.
[2] 張玉磊, 朱德米. 重大決策社會(huì)穩(wěn)定風(fēng)險(xiǎn)評(píng)估中的利益相關(guān)者參與: 行動(dòng)邏輯與模式構(gòu)建[J]. 上海行政學(xué)院學(xué)報(bào), 2018, 19(5): 70-81.
[3] HEAP J L. Constructionism in the rhetoric and practice of fourth generation evaluation[J]. Evaluation and Program Planning, 1995, 18(1): 51-61.
[4] HUEBNER A J, BETTS S C. Examining fourth generation evaluation: Application to positive youth development[J]. Evaluation the International Journal of Theory Research & Practice, 1999(5): 340-358.
[5] 馮暉. 第四代教育評(píng)估理論及其應(yīng)用效應(yīng): 以上海高校高峰高原學(xué)科建設(shè)方案論證工作為例[J]. 上海教育評(píng)估研究, 2014, 4(5): 29-34.
[6] 熊楊敬. 教育評(píng)價(jià)多元主體的共同建構(gòu): 基于對(duì)話哲學(xué)的視域[J]. 教育研究與實(shí)驗(yàn), 2018(5): 74-78.
[7] 朱旭峰. 智庫評(píng)價(jià)排名體系: 在爭(zhēng)議中發(fā)展完善[N]. 光明日?qǐng)?bào), 2016-02-03(16).
[8] 安德魯·里奇. 智庫、公共政策和專家治策的政治學(xué)[M]. 潘羽輝, 譯. 上海: 上海社會(huì)科學(xué)出版社, 2011: 222.
[9] 張日新, 楊松青, 李韻婷. 高校智庫異質(zhì)性和影響力評(píng)價(jià)研究: 基于58家高校人文社科智庫數(shù)據(jù)的檢驗(yàn)[J]. 情報(bào)雜志, 2018, 37(3): 200-207.
[10] 上海社會(huì)科學(xué)院智庫研究中心. 中國智庫報(bào)告影響力評(píng)價(jià)與政策建議(2013—2017)[M].上海: 上海社會(huì)科學(xué)院出版社, 2018: 31-188.
[11] 肖福軍. 高校智庫影響力評(píng)價(jià)指標(biāo)體系構(gòu)建[D]. 北京:首都經(jīng)貿(mào)大學(xué), 2018:32.
[12] 赫巡. 高校智庫知識(shí)管理能力評(píng)價(jià)研究[D]. 哈爾濱: 黑龍江大學(xué), 2018:29.
[13] 王藝璇. 我國高校智庫影響力評(píng)價(jià)指標(biāo)體系構(gòu)建[D]. 哈爾濱: 黑龍江大學(xué), 2018: 24.
[14] 李蒙, 余宏亮, 李永周, 等. 高校智庫人才影響力評(píng)價(jià)體系建設(shè)與啟示: 基于湖北57所高校研究基地智庫人才的調(diào)查[J]. 中國科技論壇, 2018(9): 134-140.
[15] 欒瑞英, 初景利. 4種智庫影響力評(píng)價(jià)指標(biāo)體系評(píng)介與比較[J]. 圖書情報(bào)工作, 2017, 61(22): 27-35.
[16] 張樹良, 張志強(qiáng). 國際智庫評(píng)價(jià)體系發(fā)展現(xiàn)狀及趨勢(shì)分析[J]. 情報(bào)學(xué)報(bào), 2017, 36(6): 628-636.
[17] 南京大學(xué)中國智庫研究與評(píng)價(jià)中心, 光明日?qǐng)?bào)智庫研究與發(fā)布中心聯(lián)合課題組.CTTI來源智庫MRPA測(cè)評(píng)指標(biāo)體系介紹(2015—2016)[N]. 光明日?qǐng)?bào), 2016-12-21(16).
[18] 光明網(wǎng).中國智庫網(wǎng)絡(luò)影響力評(píng)價(jià)報(bào)告發(fā)布暨研討會(huì)[EB/OL]. [2021-06-13]. https://topics.gmw.cn/2016-07/14/content_20967671.htm.
[19] 王靜. 高校智庫建設(shè)對(duì)學(xué)術(shù)評(píng)價(jià)體系改革的影響[J]. 北京教育(高教), 2015(10): 72-74.
[20] 李潔, 黃晨, 余敏杰, 等. 2016年全球知名智庫影響力指標(biāo)數(shù)據(jù)集[J]. 圖書館雜志, 2018, 37(9): 101-105.
[21] 張象林. 地方高校與政府共建新型智庫的邏輯、屬性及評(píng)價(jià)體系研究[J]. 當(dāng)代教育科學(xué), 2016(9): 9-12.
[22] 徐紅, 劉在洲, 陳承. 高校科研質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)研究[J]. 高校教育管理, 2016, 10(5): 57-62.
[23] 傅廣宛. 政府決策咨詢機(jī)構(gòu)的“中國特色”內(nèi)涵研究: 以中西方比較為研究視角[J]. 中國行政管理, 2010(12): 57-60.
[24] 沈開舉, 余艷敏. 美國智庫發(fā)展現(xiàn)狀與評(píng)價(jià)[J]. 人民論壇, 2014(5): 228-231.
[25] 吳田. 國內(nèi)社會(huì)智庫發(fā)展綜合評(píng)價(jià)研究: 基于AMI指標(biāo)體系[J]. 中國社會(huì)科學(xué)評(píng)價(jià), 2018 (2): 73-85, 127.
[26] 李凌. 中國智庫影響力的實(shí)證研究與政策建議[J]. 社會(huì)科學(xué), 2014(4): 4-21.
[27] 權(quán)衡. 科學(xué)評(píng)價(jià)中國特色新型智庫[N]. 學(xué)習(xí)時(shí)報(bào), 2015-08-17(5).
[28] 呂夢(mèng)荻, 查建國. 提升中國特色新型智庫影響力[N]. 中國社會(huì)科學(xué)報(bào), 2016-11-14(1).
[29] 新華社. 中共中央辦公廳 國務(wù)院辦公廳印發(fā)《關(guān)于加強(qiáng)中國特色新型智庫建設(shè)的意見》[EB/OL]. (2015-01-20)[2021-09-10]. http://www.gov.cn/xinwen/2015-01/20/content_2807126.htm.
[30]梅新林, 鮑健強(qiáng). 中國大學(xué)智庫發(fā)展報(bào)告(2017)[M]. 北京: 中國社會(huì)科學(xué)出版社, 2017: 168.
[31] 曹明, 劉蘭蘭. 社科型智庫信息化建設(shè)評(píng)價(jià)指標(biāo)體系研究[J]. 中州大學(xué)學(xué)報(bào), 2014, 31(5): 85-90.
[32] 郭瑞. 高校智庫評(píng)價(jià)機(jī)制研究[J]. 高校教育管理, 2017, 11(4): 97-104, 112.
[33] 仇立平. 社會(huì)研究方法[M]. 重慶: 重慶大學(xué)出版社, 2008: 142.
[34] 王璐, 王沁. SPSS統(tǒng)計(jì)分析基礎(chǔ)、應(yīng)用與實(shí)戰(zhàn)精粹[M]. 北京: 化學(xué)工業(yè)出版社, 2012: 177.
[35] 范柏乃, 藍(lán)志勇. 公共管理研究與定量分析方法[M]. 北京: 科學(xué)出版社, 2008: 39.
[36] 陳鵬. 企業(yè)對(duì)公共部門信息的采納效率研究[D]. 武漢: 武漢大學(xué), 2015.
[37] 郭志剛. 社會(huì)統(tǒng)計(jì)分析方法: SPSS軟件應(yīng)用(第二版)[M]. 北京: 中國人民大學(xué)出版社, 2015: 91-93.
[38] 杜強(qiáng), 賈麗艷. SPSS統(tǒng)計(jì)分析從入門到精通[M]. 北京: 人民郵電出版社, 2009: 545.
[39] 王凱, 馬慶國. 基于因子分析定權(quán)法的中國制造業(yè)技術(shù)創(chuàng)新能力研究[J]. 中國地質(zhì)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版), 2007(2): 90-95.
[40] 李立東, 寇長林, 郭戰(zhàn)玲, 等. 地下水硝酸鹽脆弱性評(píng)價(jià)指標(biāo)權(quán)重確定方法的比較研究[J]. 河南農(nóng)業(yè)科學(xué), 2013, 42(7): 46-51.
[41] 郭瑞. 高校智庫評(píng)價(jià)指標(biāo)體系的實(shí)證研究: 基于知識(shí)管理理論視角[J]. 情報(bào)雜志, 2017, 36(9): 112-118.
[42] 文雯, 李雪, 王晶. 第四代評(píng)估理論視角下的研究生項(xiàng)目評(píng)估[J]. 高等工程教育研究, 2015(3): 108-113.
[43] 劉青. “第四代評(píng)估”從理論到實(shí)踐的路徑選擇: 中小學(xué)校教育評(píng)估模式重構(gòu)[J]. 教育測(cè)量與評(píng)價(jià)(理論版), 2015(10): 14-17.
作者貢獻(xiàn)說明:
郭? 瑞:整篇論文的策劃及撰寫;
楊天通:數(shù)據(jù)整理。