王 新，王海蕓，陶曉麗

北京決策咨詢中心，北京 100089

科普圖書類項目評價指標(biāo)體系及應(yīng)用研究

王 新，王海蕓，陶曉麗

北京決策咨詢中心，北京 100089

本文立足于科普圖書類項目實(shí)施情況評估工作，提出科普圖書類項目評價指標(biāo)的構(gòu)建原則、方法，評價標(biāo)準(zhǔn)設(shè)定的原則與方法，以及評價指標(biāo)設(shè)置的權(quán)重問題等。通過對北京地區(qū)某社會征集科普圖書類資助項目的實(shí)施情況進(jìn)行總結(jié)性評估研究，發(fā)現(xiàn)科普圖書類資助項目實(shí)施情況整體較好，但也存在部分資助項目實(shí)施較差現(xiàn)象，特別是資助方向上存在重引進(jìn)翻譯、重市場等情況，針對這些評估結(jié)果和發(fā)現(xiàn)，就如何進(jìn)一步提升科普圖書類資助項目的實(shí)施效果提出對策建議。

科普圖書；項目評價；指標(biāo)體系

對科普工作進(jìn)行公正客觀的評價是科普工作的重要環(huán)節(jié)，是增強(qiáng)科普工作效果的重要方法，是進(jìn)一步開展科普工作的重要依據(jù)。科普項目監(jiān)測與評估具有重要的評價功能、激勵功能、導(dǎo)向作用和指導(dǎo)作用[1]，通過評估總結(jié)，不僅可以讓組織者、實(shí)施者能夠客觀的看到存在的不足和問題，引導(dǎo)并指導(dǎo)他們在將來組織開展科普實(shí)踐活動中改進(jìn)工作，提高科普活動項目的組織效率和科普效果，同時也是科學(xué)評價財政支出績效，提高財政資金使用效益的有效途徑[2]。

目前，我國多個省市開展了科普圖書社會征集類專項資助工作，但由于缺乏一套較好的評價指標(biāo)體系，組織者、實(shí)施者以及社會公眾對于科普圖書社會征集專項的具體實(shí)施情況并不清楚。本文立足于科普圖書類項目實(shí)施情況評估工作，建立一套針對科普圖書類項目的評價指標(biāo)體系，通過對北京地區(qū)某社會征集科普圖書類資助項目實(shí)施情況進(jìn)行評估研究，提出科普圖書類資助項目存在的問題和對策建議，為進(jìn)一步提升社會征集科普資助專項的科普效果提供參考借鑒。

1 科普圖書類項目評價指標(biāo)構(gòu)建的原則和方法

科學(xué)設(shè)計科普項目評估的指標(biāo)體系是科普活動評估工作極為關(guān)鍵的一環(huán)，也是一項科學(xué)性極強(qiáng)的研究性工作?？破請D書類項目作為科普活動項目的一種，評估指標(biāo)的選擇同樣需要遵循可測性、完備性、可行性和導(dǎo)向性等一些基本原則和標(biāo)準(zhǔn)[3]。但是，由于科普實(shí)踐活動項目的功效具有發(fā)散性，評估角度的多樣性，科普目標(biāo)人群不固定，以及受益對象獲益來源的多方位等因素[4]，指標(biāo)選取還要采取定量分析與定性分析相結(jié)合的原則，定性分析中尤其重視專家的作用，需要多方面的專家進(jìn)行合作評估才能使結(jié)果更趨合理。

具體方法是先通過文獻(xiàn)檢索，收集相關(guān)數(shù)據(jù)，并根據(jù)數(shù)據(jù)可獲得的情況和獲得數(shù)據(jù)以后的指標(biāo)相關(guān)性分析，刪除那些數(shù)據(jù)不易獲得和存在強(qiáng)相關(guān)的指標(biāo)，設(shè)立初步的評估指標(biāo)體系。然后，通過專家座談、研討、函詢、實(shí)地調(diào)查等方式修改、優(yōu)化和調(diào)整一些具體的指標(biāo)，最終確定選用哪些評估指標(biāo)。

2 科普圖書類項目評價指標(biāo)的具體分類

依據(jù)上述指標(biāo)體系設(shè)立的原則和方法，以及科普圖書社會征集類項目的現(xiàn)狀和特點(diǎn)，同時參考了已有的相關(guān)研究文獻(xiàn)，我們設(shè)計出了“科普圖書類項目評價指標(biāo)體系”（見表1）。本指標(biāo)體系一共包含一級指標(biāo)4個，分別按照項目基礎(chǔ)、項目管理、項目產(chǎn)出、項目績效四個方面進(jìn)行設(shè)計。

一是項目基礎(chǔ)指標(biāo)。項目基礎(chǔ)指標(biāo)反映的是項目承擔(dān)人員和承擔(dān)單位保障項目研究順利開展的基礎(chǔ)條件。二級指標(biāo)重點(diǎn)針對項目承擔(dān)人員和承擔(dān)單位進(jìn)行考察，主要包括承擔(dān)人員、承擔(dān)單位是否具有一定的科普創(chuàng)作或編譯的能力和經(jīng)驗，以及單位提供相關(guān)配套資金的能力。

二是項目管理指標(biāo)。項目管理指標(biāo)反映的是項目開展的必要性和開展過程中管理的有效性[5]。二級指標(biāo)主要針對項目組織研究過程中管理是否規(guī)范、目標(biāo)完成程度是否符合預(yù)期進(jìn)行考察。具體內(nèi)容包括項目是否按照計劃實(shí)施，無變更備案申請；管理過程科學(xué)規(guī)范，經(jīng)費(fèi)使用無問題；按時進(jìn)行中期評估和結(jié)題驗收；項目完成進(jìn)度和質(zhì)量達(dá)到預(yù)期考核要求。

三是項目產(chǎn)出指標(biāo)。項目產(chǎn)出指標(biāo)反映的是項目本身開展研究的直接價值體現(xiàn)，由于此類項目產(chǎn)出形式是科普圖書，鑒于本次評估側(cè)重效果評估，項目產(chǎn)出的指標(biāo)以產(chǎn)出質(zhì)量為主要評價內(nèi)容。借鑒科技部“2014年全國優(yōu)秀科普作品”推選標(biāo)準(zhǔn)，二級指標(biāo)主要按照科普作品的科學(xué)性、創(chuàng)新性、可讀性三個方面進(jìn)行考察，具體內(nèi)容包括作品具備普及科學(xué)技術(shù)知識、倡導(dǎo)科學(xué)方法、傳播科學(xué)思想、弘揚(yáng)科學(xué)精神的內(nèi)涵[6]；作品的圖文內(nèi)容有一定的突破和創(chuàng)新，作品的觀點(diǎn)或者傳達(dá)科學(xué)內(nèi)容的方式有一定的創(chuàng)新；作品形式活潑、內(nèi)容豐富，為公眾喜聞樂見，作品內(nèi)容對生產(chǎn)和生活具有一定的實(shí)用性；兼顧不同讀者群，具有廣泛的代表性，科普作品比較暢銷，再版數(shù)量及銷售量較高。

表1 科普圖書類項目評價指標(biāo)體系

表2 科普圖書類項目實(shí)施情況評估測評表

四是項目效益指標(biāo)。項目效益指標(biāo)反映的是項目開展的實(shí)踐活動及成果產(chǎn)生的經(jīng)濟(jì)、社會影響。二級指標(biāo)重點(diǎn)考察經(jīng)濟(jì)效益、社會效益和示范作用，具體內(nèi)容包括提高了承擔(dān)單位（特別是企業(yè)）的知名度，形成了科普品牌；帶動了社會資本投入，產(chǎn)生了一定的經(jīng)濟(jì)盈利；吸引更多人參與科普，培養(yǎng)了一定數(shù)量的人才；作品填補(bǔ)了科普研究領(lǐng)域空白或推動科普理論發(fā)展；對其他科普圖書類項目具有示范作用；項目獲得了較高的社會滿意度。

3 評價指標(biāo)權(quán)重的設(shè)置

權(quán)重是衡量指標(biāo)重要性程度的主要標(biāo)志，權(quán)重系數(shù)甚至?xí)苯佑绊懢C合評價的結(jié)果。合理設(shè)置指標(biāo)權(quán)重，綜合評價結(jié)果會更加科學(xué)[7]。本次評估指標(biāo)的權(quán)重按照德爾菲法（專家意見法）進(jìn)行設(shè)置，根據(jù)指標(biāo)對評價結(jié)果的影響程度以及科普圖書資助專項的功能定位，由相關(guān)研究領(lǐng)域?qū)＜腋鶕?jù)自身研究經(jīng)驗給予每個指標(biāo)進(jìn)行賦值權(quán)重。為了盡量減少專家偏好帶來的主觀性誤差，采用算數(shù)平均法將所有專家意見進(jìn)行算數(shù)平均，得出指標(biāo)的最終的權(quán)重系數(shù)。

由于本次科普圖書類項目評估屬于事后總結(jié)性評價[8]，評估內(nèi)容將側(cè)重科普效果評估。綜合專家意見，經(jīng)過討論將一級指標(biāo)項目產(chǎn)出和項目效益的權(quán)重給予較高賦值，各自占40%，而項目基礎(chǔ)和項目管理各占10%。一級指標(biāo)確定后，二級指標(biāo)也按專家意見逐個進(jìn)行賦值。權(quán)重具體設(shè)置情況詳見表2。

4 科普圖書類項目評價指標(biāo)的應(yīng)用

利用上述評價指標(biāo)和測評方法，針對北京地區(qū)某社會征集科普圖書類項目進(jìn)行測評應(yīng)用。經(jīng)本文作者初步整理和篩選，共有23個項目可以進(jìn)行有效測評。參與評估的23個項目的承擔(dān)單位大多來自企業(yè)，平均資助額度14.2萬元，詳見表3。

表3 北京地區(qū)某社會征集科普圖書類項目基本信息統(tǒng)計表

評估過程中，首先由本文作者將所有項目預(yù)評估之后，分類別、分等級交由專家團(tuán)隊對科普項目進(jìn)行集中比較和評價，按照評估指標(biāo)設(shè)置的分值進(jìn)行打分，再根據(jù)權(quán)重進(jìn)行綜合相加，得出每個項目的最終分值。

績效評估結(jié)果實(shí)施百分制和四級分類標(biāo)準(zhǔn)，滿分100分，通過專家打分法，在A、B、C、D四等級判定。其中分?jǐn)?shù)在90-100分之間，則該項目評估結(jié)果為優(yōu)秀；若分?jǐn)?shù)在75-89分之間，則為良好；若分?jǐn)?shù)在60-74分，則為一般；若分?jǐn)?shù)在59分以下，則該項目被認(rèn)定為較差。

根據(jù)專家的打分，評估結(jié)果與發(fā)現(xiàn)如下：

1）項目實(shí)施情況整體較好，但也存在部分項目不合格現(xiàn)象。社會征集科普圖書類項目實(shí)施情況整體較好，項目績效評估結(jié)果為良好及以上的占比83%，其中優(yōu)秀率占61%。但仍然存在部分項目實(shí)施情況較差的現(xiàn)象，項目績效評估結(jié)果不達(dá)標(biāo)的占比達(dá)13%（見表4）。

表4 評估結(jié)果按不同等級統(tǒng)計

2）翻譯引進(jìn)國外科普作品的項目普遍較優(yōu)。翻譯引進(jìn)國外的項目為7個，評估結(jié)果全部為A；國內(nèi)創(chuàng)作的項目數(shù)為16個，評估結(jié)果為A的僅占44%，國內(nèi)創(chuàng)作的科普作品質(zhì)量有待進(jìn)一步提升（見表5）

3）承擔(dān)單位多為出版?zhèn)髅綑C(jī)構(gòu)。從項目承擔(dān)單位來看，被評的23個項目中，承擔(dān)單位來自出版?zhèn)髅降挠?6個，占比達(dá)70%。而相關(guān)領(lǐng)域內(nèi)的專業(yè)院所或者科研機(jī)構(gòu)較少（見表6）。

表6 項目承擔(dān)單位評估結(jié)果對比

4）圖書受眾群體較為寬泛。圖書受眾群體年齡段較為寬泛，包括中老年、青少年和幼兒三大群體，其中青少年群體較多，占了74%，嬰幼兒受眾群體占比22%（見表7）。

表7 圖書受眾群體評估結(jié)果對比

5 科普圖書類項目評估建議

針對評估發(fā)現(xiàn)的主要問題，就如何更好開展科普圖書社會征集類項目的實(shí)施，提高科普專項資助效果，提出如下建議。

1）建立專家審查委員會，嚴(yán)格把控項目出版關(guān)口。

表5 翻譯引進(jìn)與國內(nèi)創(chuàng)作評估結(jié)果對比

目前，出版行業(yè)市場化、企業(yè)化帶來的低標(biāo)準(zhǔn)，讓行業(yè)規(guī)定的執(zhí)行力度也越來越小。建議科普征集專項主管部門建立專家審查委員會，嚴(yán)格把控項目驗收關(guān)口，加大社會征集科普圖書項目出版審查力度。對項目成果的內(nèi)容和形式進(jìn)行全面審查，杜絕劣質(zhì)科普圖書流向市場，誤導(dǎo)讀者。

2）重點(diǎn)向具有科普創(chuàng)作潛力的單位或人員傾斜。從項目承擔(dān)單位來看，出版?zhèn)髅綑C(jī)構(gòu)占了較大比例，科普基地和專業(yè)機(jī)構(gòu)占比較少。建議在資助方向上，應(yīng)向具有科普創(chuàng)作發(fā)展?jié)摿Φ膶I(yè)機(jī)構(gòu)或?qū)I(yè)科普人士傾斜。加大吸引力度，撬動一批專業(yè)研究機(jī)構(gòu)開展科普創(chuàng)作，扶植一批具有科普原創(chuàng)能力的專業(yè)人才。

3）適當(dāng)降低引進(jìn)翻譯作品的資助數(shù)量。適當(dāng)減少對翻譯引進(jìn)作品類項目的資助數(shù)量，針對不同類別的國外科普作品進(jìn)行區(qū)別資助。對于市場效果本身就好的翻譯引進(jìn)類科普作品的項目不建議支持；而對于難度較大，確實(shí)具有一定科普價值的作品可予以立項。

4）重點(diǎn)關(guān)注市場前景不好、專業(yè)實(shí)用的科普作品。對于一些市場前景不好、專業(yè)實(shí)用的科普作品，建議給予重點(diǎn)關(guān)注和支持。而對于主要面向幼兒群體、內(nèi)容簡單、科普價值較低的繪本類圖書項目，應(yīng)適當(dāng)降低資助比例。

總之，社會征集類科普圖書項目應(yīng)明確自身功能定位，運(yùn)用社會征集的牽動能力，聚集多方力量，發(fā)掘出一批具有科普創(chuàng)作潛力而又亟需經(jīng)費(fèi)資助的科普人才和優(yōu)秀作品，充分發(fā)揮“雪中送炭”而非“錦上添花”的資助作用。

[1]任福君，翟杰全.科技傳播與普及概論[M].北京：中國科學(xué)技術(shù)出版社，2012：299-300.

[2]陳學(xué)安.建立我國財政支出績效評價體系研究[J].財政研究，2004（8）：18-20.

[3]中國科普研究所.科普效果評估理論和方法[M].社會科學(xué)文獻(xiàn)出版社，2003: 65-68.

[4]鄭念，張平淡.科普項目的管理與評估[M].北京：科學(xué)普及出版社，2008:180-181.

[5]余學(xué)慧.科普項目支出績效評價體系研究[J].科技通報，2012（5）：212-213.

[6]科技部.2014年全國優(yōu)秀科普作品公示通知[EB/OL]. [2014-11-13]. http://www.most.gov.cn/tztg/201411/ t20141113_116579.htm。

[7]周文泳，鐘燦濤，尤建新.科學(xué)研究質(zhì)量改進(jìn)理論與方法[M].化學(xué)工業(yè)出版社，2012：81-82.

[8]張義芳.科普評估理論初探與案例指南[M].科學(xué)技術(shù)文獻(xiàn)出版社，2004：40-48.

G315

A

1674-6708（2015）142-0096-03

王新，碩士，助理研究員，工作單位：北京決策咨詢中心，研究方向：科技政策與評估、中國現(xiàn)代科學(xué)史

王海蕓，博士，副研究員，工作單位：北京決策咨詢中心，研究方向：創(chuàng)新政策、技術(shù)創(chuàng)新

陶曉麗，碩士，助理研究員，工作單位：北京決策咨詢中心，研究方向：區(qū)域發(fā)展與區(qū)域規(guī)劃