汪志波，鄭新章,邱紀青，于川芳，鄭路，洪群業(yè)

1 中國煙草科技信息中心,河南 鄭州 450001;2 中國煙草總公司鄭州煙草研究院,河南 鄭州 450001

經(jīng)濟與管理

煙草行業(yè)科技重大專項項目績效跟蹤評價指標體系研究

汪志波1，鄭新章1,邱紀青1，于川芳2，鄭路1，洪群業(yè)1

1 中國煙草科技信息中心,河南 鄭州 450001;2 中國煙草總公司鄭州煙草研究院,河南 鄭州 450001

煙草行業(yè)科技重大專項是實現(xiàn)行業(yè)科技創(chuàng)新戰(zhàn)略的重要抓手。以重大專項所設立的科技項目為評價對象,從科技項目事后評價的視角入手,結(jié)合績效跟蹤評價的目的,構(gòu)建了基于“目標—效果—影響”導向的科技項目績效表達邏輯模型,提出以“立項決策”、“研發(fā)產(chǎn)出與水平”、“目標實現(xiàn)效果”和“項目影響”為績效跟蹤評價的主要內(nèi)容,建立評價指標框架。從基礎研究、應用研究、技術開發(fā)三大類項目出發(fā),分別設計了績效跟蹤評價指標體系,并提出了開展績效評價的有關對策建議,以期為行業(yè)重大專項項目績效跟蹤評價和科技成果評價提供啟發(fā)和借鑒。

科技重大專項項目；煙草；績效跟蹤評價；指標體系

煙草科技重大專項作為行業(yè)科技計劃體系的構(gòu)成部分,是實現(xiàn)行業(yè)科技發(fā)展戰(zhàn)略目標的重要載體。各專項從2008年開始陸續(xù)啟動,到現(xiàn)在大部分專項的實施已陸續(xù)接近尾聲。傳統(tǒng)的驗收評價,很難全面、客觀地反映科技項目實施帶來的實際成效。因此,在專項項目結(jié)題、應用后一段時間,對項目進行績效跟蹤評價是題中應有之義。同時,通過對績效跟蹤評價結(jié)果的分析、總結(jié),有利于進一步促進重大專項成果在行業(yè)內(nèi)的推廣、擴散。

1 文獻綜述和研究視角

1.1 文獻綜述

美國公共部門開展績效評價的過程中,經(jīng)濟性（economy）、效率性（efficiency）和效果性（e ff ectiveness）即3Es模型,逐漸成為公共部門績效評估的基本框架[1]。國內(nèi)有部分學者將“3E”原則應用到科技項目的績效評價中：如劉瀛弢[2]將績效內(nèi)涵界定為效率、經(jīng)濟、效益性的統(tǒng)稱,并從科技項目“投入經(jīng)濟性”、“過程效率性”、“結(jié)果效果性”3個方面評價建立過程和結(jié)果績效指標體系；劉井建[3]提出了效率和效力相結(jié)合的R&D項目績效評價范式；謝福泉[4]按照投入——產(chǎn)出的邏輯關系,以科技投入、科技直接產(chǎn)出、經(jīng)濟效益、社會效益為重點來建立指標體系。也有機構(gòu)按目標設定、投入、實施、產(chǎn)出、效益等科技項目過程階段順序,將各階段對應的產(chǎn)出成果作為評價內(nèi)容,構(gòu)建了科技項目“過程管理、輸出、成果、影響”的績效評價模型[5]。孫毅[6]基于地方科技管理的戰(zhàn)略目標,構(gòu)建了評價指標甄選模型,并從管理、技術、投入、效益4個層面建立了地方科技計劃項目績效評價指標體系。劉瀛弢[7]結(jié)合公益性農(nóng)業(yè)科研項目績效考評的特點,從業(yè)務、財務和管理3個方面來構(gòu)建指標體系。張小菁[8]認為影響科技計劃項目績效的因素主要是項目自身內(nèi)部因素和項目外部的管理因素,將評價內(nèi)容分為效益評價和管理評價,效益評價定位為項目實施效能的考核,管理評價定位為項目的組織實施、預算支出管理的考核,并分別建立了效益指標和管理指標。

1.2 研究視角——事后評價

現(xiàn)有關于績效評價研究的文獻,主要從項目管理、投入、效益以及過程效率性、經(jīng)濟性和效益、結(jié)果有效性等方面來研究,這為我們提供了很好的借鑒。但從跟蹤評價的目的和要求來說,這也存在一定的問題：首先,項目合同中關于研究目標是否實現(xiàn)、經(jīng)費使用是否規(guī)范、研究內(nèi)容是否完成、實施進度是否合理等項目考核指標和過程效率的評價在項目的關鍵節(jié)點驗收結(jié)題時已完成。其次,科技項目實施完成后一段時間,沒有實現(xiàn)項目立項目的,沒有產(chǎn)生預期的效益和效果,即使科技項目實施過程中產(chǎn)生很高的內(nèi)部過程績效,也很難說項目是成功的。因此,在績效跟蹤評價中僅關注項目研發(fā)過程的績效、效率是不盡合理的,而是應該將評價的重點放在產(chǎn)生的結(jié)果上,即這些項目產(chǎn)生的效益和應用效果如何,項目的最終目標是否達到。

事后評價是科技項目完成、推廣應用一段時間后的后效評價。由于科技項目效用具有滯后性,項目的作用需要在一段時間后才能體現(xiàn)出來。因此,煙草科技重大專項項目的績效跟蹤評價從事后評價的角度入手,以跟蹤評價時點科技項目產(chǎn)生的結(jié)果性狀態(tài)為評價內(nèi)容,更有利于分析項目的實際效果和成效。

2 煙草科技重大專項項目跟蹤評價的績效表達與評價內(nèi)容

2.1 煙草科技重大專項的特點

煙草行業(yè)科技重大專項具有特定方向和明確目標,以解決行業(yè)發(fā)展中遇到的全局性、關鍵性、前瞻性的共性和基礎重大技術問題。其具有如下3個主要特點。

（1）戰(zhàn)略性強。重大專項基于占領煙草科技前沿、滿足重大需求、取得對行業(yè)發(fā)展有關鍵支撐作用的關鍵技術的戰(zhàn)略意圖,體現(xiàn)了行業(yè)意志。同時,在頂層設計上突出專項內(nèi)部各項目或課題之間的銜接與協(xié)同,以實現(xiàn)技術突破,引領和支撐行業(yè)未來發(fā)展。

（2）系統(tǒng)性強。按照各重大專項實施方案,對重大專項攻關任務、目標進行系統(tǒng)分解,形成若干個課題或項目,并進行分年度項目計劃下達和實施。專項的課題或項目布局具有系統(tǒng)性,有利于促進整體性、體系性的技術集群產(chǎn)生。

（3）溢出效應強。重大科技專項實施產(chǎn)生的共性技術和基礎性技術,在行業(yè)內(nèi)部的適用性和開放性強,具有準公共物品的性質(zhì)。形成的新技術在行業(yè)內(nèi)應用、擴散,可以產(chǎn)生較強的溢出效應,因此正外部性明顯[9]。

2.2 基于跟蹤評價的科技項目績效表達邏輯模型

科學合理的績效表達方式對準確度量科技項目績效大小具有重要作用,邏輯模型（Logic Model）是系統(tǒng)分析科技項目的績效形成機理、展示項目績效表達的內(nèi)在聯(lián)系和邏輯關系的思維框架。根據(jù)跟蹤績效評價目的,建立了基于“目標—結(jié)果—效果”導向的績效表達邏輯模型,如圖1所示。

圖1 基于目標——效果——影響的績效表達邏輯模型Fig.1 Performance expression logic model based on project objective, effect and impact

具體地講,通過科技項目利益相關者一系列投入、研發(fā)和管理活動,項目按合同和實施計劃要求完成,對取得的研發(fā)成果進行凝練、總結(jié)后推廣應用,最終實現(xiàn)項目預期目標。基于“目標—效果—影響”導向的跟蹤績效評價,關注科技與經(jīng)濟結(jié)合、產(chǎn)生的效益、效果和影響等方面,分析其直接目標和宏觀目標的實現(xiàn)程度,即既從微觀層面關注科技項目的直接作用、產(chǎn)生的實際效果、取得經(jīng)濟社會生態(tài)效益,又跳出項目看項目產(chǎn)生的實施對行業(yè)中長期科技戰(zhàn)略目標、技術體系建設、能力建設等中宏觀層面產(chǎn)生的影響和作用。

3 煙草科技重大專項項目績效跟蹤評價指標的確定

3.1 煙草科技重大專項項目績效跟蹤評價指標體系設計原則

在設計煙草科技重大專項項目績效跟蹤評價指標時,應遵循4個原則。一是科學性原則：指標應符合煙草科技重大專項的特點,既要能夠?qū)崿F(xiàn)項目績效跟蹤評價的目的,又要符合績效的內(nèi)涵和外延,而不是脫離評價目的羅列一些與績效跟蹤評價無關的指標。二是系統(tǒng)性原則：指標體系應具有較強的邏輯性,各指標之間既相互關聯(lián)、相互補充,又有明顯的界線。三是層次性原則：指標體系在表征項目績效時,應體現(xiàn)重大專項項目研發(fā)產(chǎn)出、效果、影響等不同層次的評價內(nèi)容要素。四是簡潔性原則：盡可能使用代表性強的指標反映項目的實際價值和作用,避免指標過繁、過多。

3.2 評價指標框架建立過程

根據(jù)煙草行業(yè)科技重大專項特點和行業(yè)實際,結(jié)合指標體系設置的原則,采用文獻調(diào)研和德爾菲法,確定了評價指標框架體系,具體方法及過程如下：（1）指標發(fā)現(xiàn)。分析整理科技項目績效評價的相關文獻、使用頭腦風暴法,盡可能羅列科技項目績效的所有指標,確保收集的指標覆蓋績效評價的各個方面。（2）理論分析。基于目標—效果—影響的績效表達邏輯模型,明確績效跟蹤評價的目的和內(nèi)涵,分析整合上一過程中發(fā)現(xiàn)的指標,形成初步的績效評價指標要素。（3）專家訪談法。對5位從事科技管理、項目管理、科技評價以及研究開發(fā)人員進行專題咨詢調(diào)研,結(jié)合專家的意見和建議,提出從立項決策、研發(fā)產(chǎn)出與水平、目標實現(xiàn)效果、項目影響4個維度來建立績效跟蹤評價指標框架,如表1所示。

表1 煙草科技重大專項項目績效跟蹤評價指標框架Tab.1 Index framework for tobacco major S&T project performance tracking evaluation

4 各類煙草科技重大專項項目績效跟蹤評價指標體系

4.1 各類煙草科技重大專項項目的指標體系設計

煙草科技重大專項項目主要可以分為應用基礎研究、應用研究、技術開發(fā)三大類：（1）基礎研究是指在闡明有關煙草的成分形成機理、特征、規(guī)律及其內(nèi)在聯(lián)系上進行新知識、新理論、新原理的研究,以及應用研究前的理論研究和技術基礎研究,基礎研究產(chǎn)生的成果不會直接應用,但可以為應用研究和技術開發(fā)提供理論、方法指導。（2）應用研究項目主要針對行業(yè)共性技術或應用性基礎技術的研發(fā),應用研究具有明確的應用目的和應用價值。（3）技術開發(fā)指應用煙草基礎研究、應用研究中產(chǎn)生的理論、原理、方法知識來解決、工藝、設備、材料等具體技術問題,技術開發(fā)項目具有特定的應用目的。

不同類型的科技項目,研發(fā)的規(guī)律和特點不同,其績效評價重點也有所不同：如基礎研究項目注重知識、規(guī)律等的發(fā)現(xiàn)、對應用研究和技術開發(fā)的指導作用；應用研究項目注重標準、規(guī)范制定,關鍵技術知識產(chǎn)權獲取,成果的應用；技術開發(fā)項目注重取得核心技術知識產(chǎn)權、應用效果、產(chǎn)生的效益。依據(jù)績效跟蹤評價指標框架和各類項目特點,建立了基礎研究、應用研究、技術開發(fā)3類項目的績效跟蹤評價指標體系。如表2-表4所示,分別以各類項目績效跟蹤評價作為總體目標層（O）,基礎研究項目由4個準則層（S）因素、13個指標層（A）指標組成；應用研究項目由4個準則層（S）因素、14個指標層（A）指標組成；技術開發(fā)項目由4個準則層（S）因素、13個指標層（A）指標組成。

續(xù)表2

表3 應用研究項目績效跟蹤評價指標體系及建議權重Tab.3 Index system of tobacco application research project and suggested index weight

表4 技術開發(fā)項目績效跟蹤評價指標體系及建議權重Tab.4 Index system for tobacco technical development project and suggested index weight

4.2 指標權重的確定

組織5位專家采用層次分析法對建立的指標權重進行測算。按指標體系的層次結(jié)構(gòu)從準則層指標開始,比較指標相對于同一級其他指標的重要程度,構(gòu)造同一級指標之間的兩兩比較矩陣,從而將判斷矩陣賦值量化。采用和根法計算各指標的權重,形成每個判斷矩陣各自相對的權重。根據(jù)5位專家的判斷矩陣數(shù)據(jù),計算每位專家的指標權重值,對5位專家給出的權重值進行算術平均,得到最終的評價指標權重值,見表2-表4。

5 開展科技重大專項項目績效跟蹤評價的對策建議

建議由國家局有關部門人員組成行業(yè)科技重大專項項目績效跟蹤評價領導小組,作為行業(yè)開展該項目工作的政策和機構(gòu)保障,領導小組主要負責評價計劃的下達,政策制定、組織管理等。為使行業(yè)重大專項項目績效跟蹤評價工作得以順利開展,按確定評價主體、制定評價方案、評價準備、實施評價、撰寫評價報告的評價流程,提出了評價實施的具體對策建議,如圖2所示。

圖2 績效跟蹤評價流程及對策建議Fig. 2 Project performance tracking evaluation process and countermeasures

6 結(jié)語

本文對煙草科技重大專項項目進行分類,設計了各類項目的績效跟蹤評價指標體系,這為煙草行業(yè)科技重大專項項目績效跟蹤評價提供了參考借鑒。但重大專項項目眾多,可能存在有項目難以準確界定為哪一類、或者項目的研究內(nèi)容介于多種類別之間的情況。此外,由于不同項目之間績效差異很大,建立的指標體系只是針對一般項目而言,為使指標體系更有針對性、適用性和科學性,在實施項目績效跟蹤評價時,可根據(jù)各項目的具體特點,對設計的指標體系進行適當增減,或在指標權重上酌情考慮,以使績效評價結(jié)果更加客觀、公正、合理。

[1] 丁正紅, 蘇永青. 項目績效評價構(gòu)建及改善研究[J]. 財經(jīng)問題研究,2011,(4):85-90.Ding Zhenghong, Su Yongqing. Construction of projects performance evaluation and the improvement study[J].Research on Financial and Economic Issue,2011(4): 85-90.(in Chinese)

[2] 劉瀛弢. 公益性行業(yè)科研項目績效考評研究[J]. 中國軟科學,2010(6):106-114.Liu Yingtao.Study on performance measure of research projects in non-profit sectors[J]. China Soft Science,2010(6):106-114. (in Chinese)

[3] 劉井建, 劉冬. R&D 項目績效評價的新范式與提升機制研究[J]. 經(jīng)濟研究導刊,2012,(25):204-205.Liu Jingjian,Liu Dong. New paradigm about R&D projects performance assessment and study on the improvement mechanism[J]. Economic Research Guide,2012(25):204-205. (in Chinese)

[4] 謝福泉. 基于項目的科技活動財政投入績效評估體系構(gòu)建[J]. 華東經(jīng)濟管理,2008,22(11):151-155.Xie Fuquan.Performance evaluation indexes systems of S＆T expenditure input from the state finance based on projects[J]. East China Economic Management,2008,22(11):151-155. (in Chinese)

[5] 課題組. 關鍵科技攻關項目績效評估研究——以上海為例[J]. 決策科學,2009(4):70-79.Topic-based scientific research group. Study on key technology tackling projects performance appraisal: take shanghai for example[J]. Decision Science,2009(4):70-79.(in Chinese)

[6] 孫毅, 徐土松, 徐長明, 等. 地方科技計劃項目跟蹤監(jiān)測及績效評價方法研究[J]. 科技進步與對策,2010,27(4):111-115.Sun Yi,Xu Tusong,Xu Changming.Study on the tracking and monitoring of local science & technology projects and the performance evaluation method [J]. Science &Technology Progress and Policy,2010,27(4):111-115. (in Chinese)

[7] 劉瀛弢, 毛世平. 公益性農(nóng)業(yè)行業(yè)科研項目績效及管理的考評體系研究[J]. 農(nóng)業(yè)技術經(jīng)濟, 2010(12):100-110.Liu Yingtao,Mao Shiping.Appraisal system of performance and management of scientific research projects in nonprofit agricultural industry[J]. Journal of Agrotechnical Economics,2010(12):100-110. (in Chinese)

[8] 張小菁. 地方科技計劃項目績效評價研究[J]. 科技管理研究,2010,(21):201-204.Zhang Xiaojing.Performance evaluation of local science and technology research projects[J]. Science and Technology Management Research, 2010(21):201-204. (in Chinese)

[9] 姜念云. 關于政府科技計劃的外部性[J]. 中國科技論壇,2005(1):37-39.Jiang Nianyun. The externality study on the government's science and technology program[J]. Forum on Science and Technology in China, 2005(1):37-39. (in Chinese)

Study on index system of performance tracking evaluation for key science and technology projects in tobacco industry

WANG Zhibo1, ZHENG Xinzhang1, QIU Jiqing1，YU Chuanfang2, ZHENG Lu1，HONG Qunye1
1 China Tobacco Science and Technology Information Center, Zhengzhou 450001, China;2 Zhengzhou Tobacco Research Institute, China National Tobacco Corporation, Zhengzhou 450001, China

A performance expression logic model based on “project objective, e ff ect and impact” was set up to evaluate key science and technology projects. The tracking evaluation index system consisted of four aspects, namely decision-making for project start-up, R＆D output, objective realization and project impact. This paper designed such system for basic research, application and technical development respectively, and proposed relative suggestion and measures for performance tracking evaluation of key research projects in tobacco industry.

major S&T project; tobacco; performance tracking evaluation; index system

汪志波,鄭新章,邱紀青,等. 煙草行業(yè)科技重大專項項目績效跟蹤評價指標體系研究[J]. 中國煙草學報,2016,22（2）

中國煙草總公司2012年度科技面上項目“煙草科技項目后評價體系深化研究與應用”（No.602011CZ0600）

汪志波（1978—）,碩士,工程師,主要從事技術創(chuàng)新管理與科技評估、評價的研究工作,Tel：0371-67672779,Email:wzb0622@sohu.com

鄭新章（1962—）,研究員,主要從事科技情報、科技評估評價的研究和管理工作,Email:zxz@tobaccoinfo.com.cn

2015-03-10

: WANG Zhibo, ZHENG Xinzhang, QIU Jiqing, et al. Study on index system of performance tracking evaluation for key science and technology projects in tobacco industry [J]. Acta Tabacaria Sinica, 2016,22(2)