胡宜昌，鄒立堯，王亞光

(中國(guó)氣象局氣象干部培訓(xùn)學(xué)院 北京 100081)

0 引 言

建立科學(xué)、合理的科技成果評(píng)估機(jī)制，有利于促進(jìn)科技創(chuàng)新。科技成果評(píng)估活動(dòng)與成果應(yīng)用密不可分，一方面，科技成果在被推廣應(yīng)用之前，評(píng)估結(jié)論能在促進(jìn)成果的推廣應(yīng)用方面為管理部門提供參考；另一方面，科技成果推廣應(yīng)用一段時(shí)期之后，再次評(píng)估成果的應(yīng)用價(jià)值既可以校驗(yàn)之前的評(píng)估結(jié)論，促進(jìn)評(píng)估工作的改進(jìn)，又可以為成果進(jìn)一步的推廣應(yīng)用提供指導(dǎo)。所以，完整的科技成果評(píng)估活動(dòng)通常是“評(píng)估—實(shí)踐—評(píng)估—實(shí)踐……”的循環(huán)反復(fù)、相互促進(jìn)的過程。當(dāng)然，各階段評(píng)估的側(cè)重點(diǎn)不同，實(shí)踐之前側(cè)重于成果應(yīng)用價(jià)值的評(píng)估，實(shí)踐之后側(cè)重于應(yīng)用效果的評(píng)估，且為成果再次用于實(shí)踐提供更為客觀、科學(xué)的價(jià)值判斷。

目前，各行業(yè)開展科技成果評(píng)估工作時(shí)，普遍缺乏成熟的跟蹤評(píng)估機(jī)制，對(duì)成果價(jià)值的評(píng)估大多止步于應(yīng)用前的驗(yàn)收鑒定，對(duì)成果實(shí)際應(yīng)用過程中所表現(xiàn)出的真實(shí)效用缺乏充分的了解，難以發(fā)現(xiàn)成果推廣應(yīng)用過程中存在的問題，自然也不利于評(píng)估管理工作的進(jìn)一步完善。對(duì)于一些短期內(nèi)難以得到行業(yè)普遍認(rèn)可的研究成果，尤其應(yīng)當(dāng)建立合適的后效評(píng)估機(jī)制，在成果應(yīng)用過程中逐步加深對(duì)其價(jià)值的認(rèn)識(shí)，為具有較好推廣應(yīng)用價(jià)值的成果創(chuàng)造足夠長(zhǎng)的孕育時(shí)間。

氣象科技成果根據(jù)其屬性特征可分為三大類，即科學(xué)認(rèn)識(shí)類、業(yè)務(wù)工具類和管理咨詢類，其中業(yè)務(wù)工具類成果又可以根據(jù)其功能和表現(xiàn)形式分為技術(shù)方法、儀器裝備和業(yè)務(wù)系統(tǒng)。科學(xué)認(rèn)識(shí)類成果以認(rèn)識(shí)自然現(xiàn)象，揭示客觀規(guī)律為主，多涉及基礎(chǔ)理論方面的新進(jìn)展、新發(fā)現(xiàn)，其科學(xué)價(jià)值往往需要經(jīng)過學(xué)術(shù)界的廣泛評(píng)議才能被認(rèn)可，應(yīng)用價(jià)值難以在短期內(nèi)得到充分體現(xiàn)，短期內(nèi)的跟蹤評(píng)估不足以涵蓋其真實(shí)效用；管理咨詢類成果以政策規(guī)劃、咨詢(評(píng)估)報(bào)告、調(diào)研報(bào)告等為主，其應(yīng)用價(jià)值的發(fā)揮易受政策、環(huán)境等諸多因素的影響，成果的真實(shí)效用難以獨(dú)立衡量；業(yè)務(wù)工具類成果的開發(fā)及應(yīng)用具有較強(qiáng)的目的性，往往直接針對(duì)業(yè)務(wù)工作中亟需解決的關(guān)鍵問題，成果的應(yīng)用價(jià)值也表現(xiàn)出較強(qiáng)的時(shí)效性，所以開展檢驗(yàn)其效用的跟蹤評(píng)估既必要又可行。

本文從跟蹤評(píng)估的角度，針對(duì)氣象技術(shù)方法類成果，對(duì)其在一段時(shí)期業(yè)務(wù)實(shí)際應(yīng)用過程中所表現(xiàn)出的效用進(jìn)行綜合評(píng)估。研究將從概念定義出發(fā)，通過對(duì)技術(shù)方法類成果的特征分析，設(shè)計(jì)對(duì)應(yīng)的后效評(píng)估指標(biāo)體系，提出具體的操作方法，為進(jìn)一步完善氣象科技評(píng)估管理工作提供參考。

1 后效評(píng)估的定義

1.1 內(nèi)涵分析

后評(píng)估、事后評(píng)估等概念在論文、著作中時(shí)常出現(xiàn)，而且?guī)缀醵际轻槍?duì)項(xiàng)目的評(píng)估。李軍等[1]指出，后評(píng)估是項(xiàng)目完成后的一段時(shí)間內(nèi)，由獨(dú)立的專業(yè)化咨詢服務(wù)機(jī)構(gòu)或與項(xiàng)目執(zhí)行部門相對(duì)獨(dú)立的專門評(píng)估機(jī)構(gòu)，按照有關(guān)規(guī)定和規(guī)范化要求，依據(jù)項(xiàng)目的實(shí)際數(shù)據(jù)和必要的預(yù)測(cè)數(shù)據(jù)，對(duì)項(xiàng)目的目的、執(zhí)行過程、效益、作用和影響等進(jìn)行系統(tǒng)、客觀的再評(píng)估。丁士海等[2]指出，后評(píng)估是項(xiàng)目經(jīng)過論證、立項(xiàng)、實(shí)施、驗(yàn)收后，對(duì)已完成項(xiàng)目的目的、執(zhí)行過程、效益、作用和影響所進(jìn)行的系統(tǒng)的、客觀的綜合分析和研究總結(jié)的一種方法。

部分行業(yè)已經(jīng)認(rèn)識(shí)到后效評(píng)估的重要性，“后效評(píng)估”一詞偶爾也出現(xiàn)在有關(guān)的研究工作中，例如，土地整理后效評(píng)估、[3]流域水資源配置后效評(píng)估、[4,5]醫(yī)藥安全后效評(píng)估、[6]信息化產(chǎn)業(yè)經(jīng)濟(jì)效益的后效評(píng)估。[7]然而，還沒有文獻(xiàn)資料對(duì)后效評(píng)估的概念給出明確定義。從不同文獻(xiàn)資料中關(guān)于后效評(píng)估部分的內(nèi)容描述來看，一般認(rèn)為，后效評(píng)估是指政策執(zhí)行、產(chǎn)品應(yīng)用等經(jīng)歷一段時(shí)間后，利用相應(yīng)的評(píng)估方法對(duì)其實(shí)際效果進(jìn)行客觀評(píng)價(jià)。

2000年 12月，國(guó)家科技部印發(fā)《科技評(píng)估管理暫行辦法》，[8]其中對(duì)科技活動(dòng)的“后效評(píng)估”含義有所提及?！掇k法》中指出，科技評(píng)估按科技活動(dòng)的管理過程，一般可分為事先評(píng)估、事中評(píng)估、事后評(píng)估和跟蹤評(píng)估等4類。其中，事后評(píng)估是指在科技活動(dòng)完成后對(duì)科技活動(dòng)的目標(biāo)實(shí)現(xiàn)情況以及科技活動(dòng)的水平、效果和影響所進(jìn)行的評(píng)估；跟蹤評(píng)估是指在科技活動(dòng)完成一段時(shí)間后的后效評(píng)估，重點(diǎn)評(píng)估科技活動(dòng)的整體效果，以及政策執(zhí)行、目標(biāo)制定、計(jì)劃管理等綜合影響和經(jīng)驗(yàn)，從而為后期的科技活動(dòng)決策提供參考。

根據(jù)以上關(guān)于后效評(píng)估的內(nèi)容介紹，后效評(píng)估的含義主要包括 3個(gè)方面，即評(píng)估對(duì)象需開發(fā)完成并經(jīng)過一段時(shí)間的實(shí)際應(yīng)用；評(píng)估內(nèi)容包括評(píng)估對(duì)象的實(shí)際應(yīng)用效果及產(chǎn)生的影響；需要對(duì)評(píng)估對(duì)象的應(yīng)用前景做進(jìn)一步預(yù)測(cè)。研究通常關(guān)注科技活動(dòng)整體的后效評(píng)估，對(duì)于科技活動(dòng)產(chǎn)出的科技成果而言，其在實(shí)際應(yīng)用過程中是否實(shí)現(xiàn)了預(yù)期的功能與效益，其可持續(xù)應(yīng)用程度如何，這些應(yīng)該是科技成果后效評(píng)估更為關(guān)注的問題。

1.2 后效評(píng)估與認(rèn)定的關(guān)系

后效評(píng)估是科技成果評(píng)估體系的重要組成部分。與成果認(rèn)定相比，由于有實(shí)際應(yīng)用后的數(shù)據(jù)結(jié)果做支撐，后效評(píng)估更利于評(píng)價(jià)科技成果的合理性和有效性，有助于成果的改進(jìn)及進(jìn)一步推廣應(yīng)用。

為促進(jìn)科技成果的推廣應(yīng)用，成果評(píng)估至少應(yīng)包含兩部分內(nèi)容，即推廣之前的成果認(rèn)定和推廣應(yīng)用一段時(shí)期后的后效評(píng)估。成果認(rèn)定主要關(guān)注成果自身的功能是否符合相關(guān)要求，其目的是為加強(qiáng)成果推廣應(yīng)用提供參考；而后效評(píng)估更多的是關(guān)注成果在實(shí)際應(yīng)用過程中功能的實(shí)現(xiàn)程度和效益的發(fā)揮情況，其目的是發(fā)現(xiàn)成果在實(shí)際應(yīng)用中存在的問題，包括成果自身的功能問題和外部環(huán)境問題，為成果改進(jìn)或外部環(huán)境改善提供參考，促進(jìn)成果的進(jìn)一步推廣應(yīng)用。

本文所研究的后效評(píng)估獨(dú)立于科研項(xiàng)目，是指技術(shù)方法類成果經(jīng)過一段時(shí)期(通常為 2～3年)的業(yè)務(wù)應(yīng)用之后，從其實(shí)際的功能表現(xiàn)、效益發(fā)揮、業(yè)務(wù)影響等方面進(jìn)行評(píng)估，通過理論數(shù)據(jù)和實(shí)際數(shù)據(jù)的對(duì)比分析，更加系統(tǒng)、客觀地判斷成果的推廣應(yīng)用價(jià)值，為成果在業(yè)務(wù)應(yīng)用中的可持續(xù)性提供綜合評(píng)價(jià)。

2 后效評(píng)估指標(biāo)的設(shè)計(jì)

2.1 指標(biāo)體系

氣象技術(shù)方法類成果主要是指在實(shí)現(xiàn)氣象業(yè)務(wù)活動(dòng)目標(biāo)的過程中，基于科學(xué)認(rèn)識(shí)，構(gòu)造與實(shí)施具體操作過程中的步驟、程序、技巧的總稱，其所涵蓋的范圍包括預(yù)報(bào)預(yù)測(cè)、綜合觀測(cè)、監(jiān)測(cè)預(yù)警、風(fēng)險(xiǎn)評(píng)估、影響評(píng)價(jià)等。追求效用是技術(shù)方法類成果的基本屬性，結(jié)合氣象業(yè)務(wù)追求“準(zhǔn)確、及時(shí)”的特點(diǎn)，通過調(diào)研分析，本文提出了氣象技術(shù)方法類成果的后效評(píng)估指標(biāo)體系(見表1)。

表1 氣象技術(shù)方法類成果后效評(píng)估指標(biāo)體系Tab.1 The index system for post-application effect evaluation on meteorological technology and methods

2.2 評(píng)分規(guī)則與標(biāo)準(zhǔn)

設(shè)計(jì)評(píng)分規(guī)則和標(biāo)準(zhǔn)是后效評(píng)估的關(guān)鍵環(huán)節(jié)之一。本文研究分析了表 1中后效評(píng)估指標(biāo)的評(píng)價(jià)點(diǎn)，設(shè)計(jì)了相應(yīng)的量化規(guī)則與標(biāo)準(zhǔn)(見表2)。

表2 氣象技術(shù)方法類成果后效評(píng)估指標(biāo)的量化規(guī)則與標(biāo)準(zhǔn)Tab.2 Rules and standards of post-application effect evaluation index quantification for meteorological technology and methods

如表 2所示，根據(jù)指標(biāo)的不同行為表現(xiàn)，結(jié)合成果的典型特征，評(píng)分規(guī)則與標(biāo)準(zhǔn)設(shè)定了不同指標(biāo)的評(píng)價(jià)等級(jí)。后效評(píng)估指標(biāo)的綜合得分為：

綜合得分的最高分值為100分，即：

在進(jìn)行具體的評(píng)分操作時(shí)，首先參考評(píng)價(jià)點(diǎn)確定各二級(jí)指標(biāo)所處的評(píng)價(jià)等級(jí)，然后結(jié)合相應(yīng)的二級(jí)指標(biāo)的分值權(quán)重確定該二級(jí)指標(biāo)的得分，最后所有指標(biāo)的得分累計(jì)求和得出綜合評(píng)分。

3 后效評(píng)估方法

3.1 指標(biāo)權(quán)重分析

表 2中各評(píng)估指標(biāo)分值的確定是評(píng)估結(jié)論最終能否量化的關(guān)鍵。各一級(jí)指標(biāo)和二級(jí)指標(biāo)都對(duì)應(yīng)著一個(gè)最高分值，同級(jí)指標(biāo)的最高分值之和為 100分。表 2中各指標(biāo)之間最高分值的比較可視為權(quán)重分配的問題，通過權(quán)重計(jì)算確定分值。

確定指標(biāo)權(quán)重的方法較多，常用的分析計(jì)算方法有專家評(píng)定法、層次分析法、秩和運(yùn)算法。通過對(duì)專家咨詢意見進(jìn)行整理分析，計(jì)算各指標(biāo)的權(quán)重，一級(jí)指標(biāo)權(quán)重為 Wi(i＝1，2，3)，二級(jí)指標(biāo)權(quán)重為 Wij(i，j＝1，2，3)。各一級(jí)指標(biāo)的最高分值為 Xi＝100×Wi，二級(jí)指標(biāo)的最高分值為 Δxij＝100×Wi×Wij。

3.2 綜合評(píng)分

后效評(píng)估可以采用檢測(cè)、會(huì)議、函審等方式進(jìn)行，也可以根據(jù)申報(bào)材料直接操作，不過這些都以成果后效評(píng)估指標(biāo)體系、評(píng)分規(guī)則與標(biāo)準(zhǔn)為基礎(chǔ)。先由專家根據(jù)后效評(píng)估規(guī)則與標(biāo)準(zhǔn)，對(duì)各指標(biāo)評(píng)價(jià)打分；然后根據(jù)所有專家對(duì)各指標(biāo)的評(píng)分，計(jì)算各指標(biāo)的平均分值；最后依據(jù)指標(biāo)評(píng)分分值及其對(duì)應(yīng)的權(quán)重，計(jì)算后效評(píng)估成果的綜合評(píng)分。

4 結(jié) 論

本文從科技成果后效評(píng)估的概念、意義出發(fā)，開展了有關(guān)氣象科技成果后效評(píng)估指標(biāo)體系的研究。針對(duì)氣象科技業(yè)務(wù)工具類成果中的技術(shù)方法類成果，建立了相應(yīng)的后效評(píng)估指標(biāo)體系，對(duì)各指標(biāo)的定義和評(píng)價(jià)點(diǎn)做出了解釋說明。設(shè)計(jì)了后效評(píng)估指標(biāo)的評(píng)分規(guī)則與標(biāo)準(zhǔn)，并提出了后效評(píng)估的具體操作方法，為氣象科技成果的評(píng)估管理工作提供了參考。

值得注意的是，后效評(píng)估具有一定的導(dǎo)向性作用，如果使用不當(dāng)，將會(huì)影響成果的改進(jìn)和進(jìn)一步推廣應(yīng)用。本文所建立的后效評(píng)估指標(biāo)體系還需要在實(shí)踐工作中不斷完善，以期更合理有效地發(fā)揮后效評(píng)估的作用?！?/p>

［1］李軍，張勐，劉林海，等.充分發(fā)揮后評(píng)估在科技計(jì)劃項(xiàng)目管理中的作用[J].科技信息，2004(7)：48-49.

［2］丁士海，韓之俊，陳湘來.科技基礎(chǔ)研究計(jì)劃項(xiàng)目后評(píng)估管理模式研究[J].科技管理研究，2009(6)：113-115.

［3］楊悉廉，齊小燕.基于成功度模糊綜合評(píng)價(jià)的土地整理后效評(píng)價(jià)研究——以壽縣安豐塘鎮(zhèn)土地整理項(xiàng)目為例[J].現(xiàn)代農(nóng)業(yè)科技，2009(22)：265-272.

［4］王浩，王建華，秦大庸.流域水資源合理配置的研究進(jìn)展與發(fā)展方向[J].水科學(xué)進(jìn)展，2004，15(1)：123-128.

［5］劉高峰.流域水資源配置后效評(píng)價(jià)研究[J].東北水利水電，2006(10)：1-6.

［6］董碧蓉.循證醫(yī)學(xué)與臨床實(shí)踐[J].井岡山大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，31(1)：129-133.

［7］張鵬.各地掀起“云產(chǎn)業(yè)大戶”爭(zhēng)奪戰(zhàn)實(shí)際經(jīng)濟(jì)價(jià)值有待后效評(píng)估[J].通信世界，2011(27)：36.

［8］國(guó)家科技部.科技評(píng)估管理暫行辦法[Z].2000.