李苗，苗紅萍，蘇武崢，戴俊生，趙春，戴健

(1.新疆農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟與科技信息研究所，烏魯木齊 830091　2.北京銳宇博圖科技有限公司，北京　1000003. 新疆農(nóng)業(yè)科學(xué)院，烏魯木齊　830091)

?

農(nóng)業(yè)科技創(chuàng)新評價模型的構(gòu)建與應(yīng)用研究

李苗1，苗紅萍1，蘇武崢1，戴俊生1，趙春2，戴健3

(1.新疆農(nóng)業(yè)科學(xué)院農(nóng)業(yè)經(jīng)濟與科技信息研究所，烏魯木齊 8300912.北京銳宇博圖科技有限公司，北京1000003. 新疆農(nóng)業(yè)科學(xué)院，烏魯木齊830091)

摘要：【目的】研究不同類型評價主體的統(tǒng)一考核，提出一套評價方法和數(shù)據(jù)庫管理系統(tǒng)，實現(xiàn)評價流程、評價指標(biāo)和數(shù)據(jù)的網(wǎng)絡(luò)化管理，并應(yīng)用于公益性農(nóng)業(yè)科研院所?！痉椒ā棵鞔_評價主體職能定位的基礎(chǔ)上，應(yīng)用動態(tài)聚類分析方法，對評價單元進行分類；應(yīng)用遞階層次結(jié)構(gòu)理論和方法構(gòu)建評價指標(biāo)體系；應(yīng)用AHP分析法對層次結(jié)構(gòu)要素進行分析，確定各級指標(biāo)權(quán)重；應(yīng)用模糊綜合評判法對指標(biāo)進行綜合測算；采用數(shù)據(jù)庫技術(shù)，構(gòu)建評價管理網(wǎng)絡(luò)系統(tǒng)。從創(chuàng)新能力、服務(wù)轉(zhuǎn)化能力、科研條件與平臺、人才團隊、管理能力和發(fā)展速度六方面，對主體的科技創(chuàng)新能力進行綜合評價；從科研服務(wù)水平、科技創(chuàng)新水平、成果轉(zhuǎn)化水平、人才團隊、支撐條件水平和發(fā)展速度六方面，對試驗推廣主體的綜合能力進行評價；從崗位履職、公共履職、綜合履職和發(fā)展速度四方面，對管理主體的管理能力進行評價?！窘Y(jié)果】構(gòu)建了三級多層結(jié)構(gòu)的評價指標(biāo)體系和數(shù)據(jù)庫管理系統(tǒng)，實現(xiàn)了創(chuàng)新主體及其試驗推廣機構(gòu)和管理機關(guān)的百分制統(tǒng)一評價。通過實際應(yīng)用，完成了34個機構(gòu)的量化綜合評價，明確了各評價單位在各領(lǐng)域的量化水平和綜合實力，為評優(yōu)和制定發(fā)展對策提供了科學(xué)依據(jù)?！窘Y(jié)論】為不同類型評價單元的無目標(biāo)約束的統(tǒng)一評價，提供了一套成功的評價方法和管理系統(tǒng)。系統(tǒng)的功能拓展性、操作性和應(yīng)用性強，實際評價結(jié)果合理，具有推廣價值。

關(guān)鍵詞：農(nóng)業(yè)科技創(chuàng)新；績效評價；指標(biāo)體系；數(shù)據(jù)庫

0引 言

【研究意義】隨著我國科技創(chuàng)新引領(lǐng)社會經(jīng)濟發(fā)展的不斷深化，如何評價不同類型科技創(chuàng)新主體的創(chuàng)新績效和管理水平，已成為科研創(chuàng)新工作中亟待解決的重大管理問題。開發(fā)一套科學(xué)、公正、實用的績效考核系統(tǒng)，搭建起信息化、數(shù)據(jù)化的管理平臺，有助于農(nóng)業(yè)科研創(chuàng)新主體的功能定位、問題的導(dǎo)向性挖掘和發(fā)展決策?！厩叭搜芯窟M展】國內(nèi)關(guān)于農(nóng)業(yè)科技創(chuàng)新績效評價的研究大多集中在科研和行政管理兩方面，對于農(nóng)業(yè)科技創(chuàng)新主體及其試驗推廣機構(gòu)和管理機關(guān)的多類型綜合評價的研究很少，將數(shù)據(jù)庫技術(shù)應(yīng)用到新疆農(nóng)業(yè)科技創(chuàng)新評價，建立網(wǎng)絡(luò)化管理系統(tǒng)的研究未見報道?！颈狙芯壳腥朦c】研究針對不同類型的農(nóng)業(yè)科技創(chuàng)新主體，在確定職責(zé)定位的基礎(chǔ)上，圍繞科技創(chuàng)新、技術(shù)推廣、平臺建設(shè)、人才團隊建設(shè)和管理水平等方面，選取具有針對性和代表性的指標(biāo)，搭建信息化、數(shù)據(jù)化的評價管理平臺，實現(xiàn)合理評價和科學(xué)決策?！緮M解決的關(guān)鍵問題】研究不同類型農(nóng)業(yè)科技創(chuàng)新主體統(tǒng)一評價；建立定性指標(biāo)的量化評價指標(biāo)體系。

1材料與方法

1.1材 料

1.1.1數(shù)據(jù)采集

研究以新疆農(nóng)科院為例，針對科技創(chuàng)新主體即各類研究所和試驗推廣主體即各類試驗場站、管理主體即各機關(guān)處室，分別設(shè)計了117項、77項和151項評價指標(biāo)，由各評價主體統(tǒng)計和歸類各項指標(biāo)的實際數(shù)據(jù)，通過評價管理系統(tǒng)的網(wǎng)絡(luò)傳輸通道，將數(shù)據(jù)填報到評價管理系統(tǒng)。定性指標(biāo)采用會議形勢，用無記名投票的方式確定，并統(tǒng)計錄入，系統(tǒng)自動轉(zhuǎn)化為定量指標(biāo)。共獲得各類評價指標(biāo)數(shù)據(jù)3 933個。

1.1.2數(shù)據(jù)審核

建立數(shù)據(jù)審核機制。組織管理部門成立審核小組，對上報數(shù)據(jù)進行逐項審核，并實行誠信監(jiān)督機制，對數(shù)據(jù)的真實性問題實行懲罰機制。

1.2方 法

采用動態(tài)聚類分析的方法[1]，根據(jù)新疆農(nóng)科院研究所、試驗場站和機關(guān)處室職能定位的不同，對研究所、場站和機關(guān)處室進行分類評價；

采用遞階層次結(jié)構(gòu)理論模型構(gòu)建評價指標(biāo)[2]，在已經(jīng)建立的層次結(jié)構(gòu)模型及評價指標(biāo)體系基礎(chǔ)上應(yīng)用AHP分析法對層次結(jié)構(gòu)要素進行分析，得出各級指標(biāo)的權(quán)重。

采用模糊綜合評判模型對指標(biāo)體系進行測算[3]。主體評價的最終得分由基本得分和附加分構(gòu)成，具體測算方法如下：

1.2.1基本得分計算

1.2.1.1單項指標(biāo)的測算Y

根據(jù)評價指標(biāo)的不同屬性和評價主體的指標(biāo)設(shè)置，研究的指標(biāo)均為遞增滿意函數(shù)。構(gòu)建模糊綜合評判模型，則各指標(biāo)隸屬度Y的函數(shù)形式：

p1p2

式中X表示評級指標(biāo)的實際值，P1為下界值，P2為上界值。研究設(shè)置P1=0，P2為標(biāo)準(zhǔn)值。將各單位上報各指標(biāo)三年數(shù)據(jù)的平均值上浮50%作為標(biāo)準(zhǔn)值。

1.2.1.2基本綜合得分F(t)

Yijklh表示指標(biāo)(E)的得分，分別用Ai、Bij、Cijk、Dijkl和Eijklh表示各級指標(biāo)的權(quán)重，則評價主體的綜合測度模型為：

式中A、B、C、D、E分別為不同層次評價指標(biāo)的權(quán)重；t表示時期，i表示子目標(biāo)層的各項指標(biāo)，j表示i指標(biāo)所屬的各項指標(biāo)，k表示j指標(biāo)所屬的各項指標(biāo)，l表示k指標(biāo)所屬的各項指標(biāo)，h表示l指標(biāo)所屬的各項指標(biāo)。m、n、r、p表示各級指標(biāo)的數(shù)量。

1.2.2附加分計算Z(t)

式中，V表示主持完成的成果獲得獎勵的數(shù)量；W表示參加完成的成果獲得獎勵的數(shù)量；a表示主持成果獲得的不同獎勵分值；b表示參加成果獲得的不同獎勵分值；t表示不同的時期；u表示主持獲獎的級別；s表示參加獲獎的級別；o、p表示獲得獎勵的級別數(shù)量。

1.2.3最終得分計算

將考核最終得分定義為G(t)，

G(t) =F(t)+Z(t).

其中G(t) ≤130，Z(t) ≤30，F(xiàn)(t)、Z(t)均為無量綱值。

2結(jié)果與分析

2.1新疆農(nóng)科院績效評價指標(biāo)體系

新疆農(nóng)科院按照職能分工的不同，針對院屬16個研究所、9個試驗場站和9個機關(guān)處室三個考核對象，分別設(shè)置了三套考核評價指標(biāo)，根據(jù)其不同特點，設(shè)定不同的指標(biāo)結(jié)構(gòu)、指標(biāo)層和考核指標(biāo)。

新疆農(nóng)科院績效考核體系整體框架。圖1

圖1　新疆農(nóng)業(yè)科學(xué)院績效考核體系

評價指標(biāo)體系的測度為基礎(chǔ)分，總分值100分。附加分總分值30分。通過數(shù)據(jù)庫管理系統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)收集、匯總、歸類、測算，得出各個評價主體的各評價內(nèi)容的分值。

2.2 計算結(jié)果

根據(jù)評價主體的分類，測算結(jié)果分為研究所、院機關(guān)和試驗場站三個評價單元，具體評價結(jié)果如下：

2.2.1研究所

16個研究所共計獲得數(shù)據(jù)1 872個，各研究所的測算結(jié)果整體反映出：(1)各研究所的服務(wù)轉(zhuǎn)化能力普遍強于科技創(chuàng)新能力，16個研究所中服務(wù)轉(zhuǎn)化能力強于創(chuàng)新能力的有12個研究所，其中樣本2、9、12、14的服務(wù)轉(zhuǎn)化能力的得分分別是33.76分、17.26分、31.32分、24.26分高于創(chuàng)新能力15.29分、12.57分、23分、17.23分，超過了10分以上；樣本7、13、15、16的服務(wù)轉(zhuǎn)化能力得分分別是7.37分、22.17分、9.01分、8.45分低于創(chuàng)新能力1.54分、1.37分、5.46分7.28分；組織管理能力強于科研條件與平臺建設(shè)，16個研究所中有15個研究所的組織管理能力強于科研條件與平臺建設(shè)，兩者分?jǐn)?shù)差距最小的為樣本1，相差0.04分，差距最大的為樣本13，相差16.97分。僅有樣本2的組織管理能力分?jǐn)?shù)低于科研條件與平臺建設(shè)，相差0.69分；人才團隊建設(shè)相對滯后，人才團隊指標(biāo)的得分普遍低于其余六個一級指標(biāo)的得分，最高分?jǐn)?shù)為樣本1，為9.26分，最低分?jǐn)?shù)為樣本5，僅為1.18分。(2)各評價樣本間總分值的差異性明顯。最高分?jǐn)?shù)為樣本1，得分102.82分，最低分?jǐn)?shù)為樣本13，得分45.41分，兩者相差2.26倍。其余14項的評價樣本之間分?jǐn)?shù)差距也較大。(3)各評價主體的成果獲獎水平(附加分)的差異性顯著。最高分為樣本1，得分18.8分，其中樣本4、5、7、12、13評價主體的成果獲獎水平得分為0分，相差18.8分。表1

表中的發(fā)展速度反映各評價單元年度發(fā)展的變化情況，研究為第一次測算，則各評價單元均為10分。

2.2.2試驗場站

9個場站共計獲得數(shù)據(jù)693個，各場站的測算結(jié)果整體反映出：(1)各評價樣本間的總分值的差異性不明顯。除了樣本1得分較高外，得分為79.9分，其余8個場站的得分差距不明顯，最高得分樣本3，為64.74分，最低得分樣本6，為44.23分，相差20分。(2)科技服務(wù)水平與成果轉(zhuǎn)化水平相當(dāng)，9個場站中有4個場站相差僅在1分左右，只有樣本9的分?jǐn)?shù)相差在30分，這是由于樣本9的職能定位偏重科研服務(wù)所致；服務(wù)支撐條件差距也不大，最高得分為樣本8，13.24分，最低得分為樣本2，10.34分，相差2.9分；由于場站的職能定位的關(guān)系，各評價主體的科技創(chuàng)新水平的得分都不高，最高為樣本1，得分9.2分，最低為樣本4，得分1.82分；人才團隊建設(shè)滯后明顯，最高分為樣本5，僅為5.08分。(3)各評價主體的成果獲獎水平的差異性顯著。最高分為樣本1，得分7.2分，其中樣本4、5、6、9評價主體的成果獲獎水平得分為0分，相差7.2分，樣本3、7、8評價主體的成果獲獎水平得分也僅為1分，相差6.2分。表2

表1　2014年度研究所得分(分)

表2　 2014年場站得分(分)

2.2.3機關(guān)處室

9個機關(guān)處室共計獲得數(shù)據(jù)230個，各處室的測算結(jié)果整體反映出：(1)各評價樣本間總分值的差異性不明顯。其中，最高得分為樣本1，87.67分，最低得分為樣本9，81.02分，相差6.65分。(2)定量評價分值的差異性明顯。由于各處室的職能定位不同，故定量指標(biāo)的評定標(biāo)準(zhǔn)不一，總分也不統(tǒng)一，但在定量指標(biāo)與定性指標(biāo)兩者之間做了統(tǒng)一，故定量指標(biāo)分?jǐn)?shù)相差較大。表3

表3　2014年機關(guān)處室得分

3討 論

研究構(gòu)建的指標(biāo)體系和數(shù)據(jù)庫管理系統(tǒng)，在實際應(yīng)用中表現(xiàn)出操作的方便性和評價的科學(xué)性。解決了不同規(guī)模、不同職責(zé)和不同任務(wù)評價單元之間的比較和評價；解決了研究所、場站和機關(guān)處室難以量化指標(biāo)的量化處理和評價。特別是研究方法針對無目標(biāo)約束的百分制評價的突破，可以實現(xiàn)不同類型評價主體的統(tǒng)一考核比較。數(shù)據(jù)庫管理系統(tǒng)減少了量化評價的工作量。應(yīng)用結(jié)果符合實際。研究所評價中爭取課題數(shù)量、發(fā)表論文數(shù)量、獲得成果和專利數(shù)量、出版專著的數(shù)量對于總體評價分值的影響明顯且敏感性強。機關(guān)處室評價中服務(wù)能力和應(yīng)急能力對于總體評價分值的影響明顯且敏感性強。試驗場站評價中成果轉(zhuǎn)化、推廣應(yīng)用和示范展示等指標(biāo)對于總體評價分值的影響明顯且敏感性強。另外，通過評價指標(biāo)的導(dǎo)向性設(shè)置和賦予一定的重要性，可以引導(dǎo)科技創(chuàng)新的發(fā)展方向。通過評價指標(biāo)和重要性權(quán)值的調(diào)整，系統(tǒng)可以推廣應(yīng)用于各類農(nóng)業(yè)科技創(chuàng)新主體的績效評價。加大對技術(shù)推廣和成果轉(zhuǎn)化指標(biāo)的調(diào)整和權(quán)重賦值，可應(yīng)用于非公益性農(nóng)業(yè)科技創(chuàng)新機構(gòu)的績效評價。對于農(nóng)業(yè)科技型企業(yè)同樣可以通過調(diào)整指標(biāo)和權(quán)重賦值進行科技創(chuàng)新能力的綜合評價。

4結(jié) 論

4.1研究對公益性研究機構(gòu)進行科技創(chuàng)新能力評價，能夠解決不同類型和不同職責(zé)機構(gòu)之間的公平性評價問題。具有可用性和可靠性。

4.2從不同層次分析評價機構(gòu)在科技創(chuàng)新的不同方面的差異性，找到各評價主體之間的差距所在，有利于發(fā)展決策和制定針對性的發(fā)展計劃。

4.3研究提出的一整套評價指標(biāo)體系適用于其它公益性的農(nóng)業(yè)類科研院所，具有一定的推廣和應(yīng)用價值。對于非公益性的科研院所和科技企業(yè)，也可以在評價系統(tǒng)的基礎(chǔ)上，增加產(chǎn)業(yè)收益等相關(guān)指標(biāo)或調(diào)整評價指標(biāo)的權(quán)重得以應(yīng)用。

4.4構(gòu)建的績效評價數(shù)據(jù)庫管理系統(tǒng)，可以實現(xiàn)績效評價工作流程管理、評價指標(biāo)管理和上報數(shù)據(jù)管理的網(wǎng)絡(luò)化，實現(xiàn)績效評審、計算評分、數(shù)據(jù)統(tǒng)計和結(jié)果發(fā)布等全程自動化，并具有系統(tǒng)拓展功能，有利于系統(tǒng)的推廣應(yīng)用。

參考文獻(References)

[1] [1] 魏邦龍.應(yīng)用層次分析法(AHP)確定農(nóng)業(yè)科研項目評估指標(biāo)的權(quán)重[J]. 甘肅科學(xué)學(xué)報,1997,9(3):4-8.

WEI Bang-long.(1997). Determination of weight indexes in evaluating scientific research projects of agriculture by using analytic hierarchy process [J].JournalofGansuSciences, 9(3):4-8. (in Chinese)

[2] 張愛寧.地方科研院所創(chuàng)新發(fā)展績效評價方法研究-甘肅省屬科研院所為例[J]. 科研管理,2013,(34)：43-51.

ZHANG Ai-ning. (2013). An evaluation study on innovation and development performance of local scientific research institutions - An example of Gansu Provincial Scientific Research Institute [J].ScienceResearchManagement, (34):43-51.(in Chinese)

[3] 張鳳.國家科研機構(gòu)創(chuàng)新績效的評價模型[J]. 科研管理,2007,28(2):35-42.

ZHANG Feng.(2007). An evaluation model of innovative efficiency on national research institutes [J].ScienceResearchManagement, 28(2):35-42.(in Chinese).

[4] 申紅芳. 農(nóng)業(yè)科研機構(gòu)科技產(chǎn)出績效評價及其影響因素分析[J]. 科研管理,2010,31(6):126-150.

SHENH Hong-fang.(2010). Study on the relationship between corporate governance and earnings management [J].ScienceResearchManagement, 31(6):126-150.(in Chinese).

[5] 張偉倩,繆園. 組合評價模型在我國國立科研機構(gòu)績效評價中的應(yīng)用[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理,2008,29(4),36-40.

ZHANG Wei-qian，MU Yuan.(2008). The Application of Combined Evaluation Model on the Performance Evaluation of China's National Research Institutes [J].ScienceofScienceandManagementofS.&T., 29(4):36-40. (in Chinese)

[6] 李強. 公益類科研機構(gòu)績效評價測度體系研究[J]. 科技政策與管理,2005,26(11):18-21.

LI Qiang.(2005).Study of Metric System of Public Scientific Research Institutes' Performance Evaluation [J].ScienceofScienceandManagementofS.&T., 26(11):18-21. (in Chinese)

[7] 楊淇倉,李鍵.基于模糊綜合評價法的貴州省科研機構(gòu)創(chuàng)新績效評價指標(biāo)體系[J].科技情報開發(fā)與經(jīng)濟,2011,(13):129-133.

YANG Qi-cang, LI Jian.(2011). The Innovation Performance Evaluation Index System for Scientific Research Institutions in Guizhou Province Based on the Fuzzy Comprehensive Evaluation Method [J].Sci-TechInformationDevelopment&Economy, (13):129-133. (in Chinese)

[8] 趙紅專,翟立新.公共科研機構(gòu)績效評價的指標(biāo)與方法[J].科學(xué)學(xué)研究,2006,24(1):85-90.

ZHANG Hong-zhuan, ZHAI Li-xin.(2006).Indicators and a Method for the Perform Ance Evaluation of Public Scientific Research Institutes[J].StudiesinScienceofScience, 24 (1):85-90. (in Chinese)

[9] 陳燕羽,馬子龍.非營利性科研機構(gòu)績效考評體系探討[J].農(nóng)業(yè)科技管理,2014,33(2):90-93.

CHENG Yan-yu，MA Zi-long.(2014). Studies on Performance Evaluation System for Non-Profit Scientific Research Institutions [J].ManagementofAgriculturalScienceandTechnology, 33(2):90-93. (in Chinese)

[10] 王景,陳標(biāo)金.農(nóng)業(yè)科技投入不足的制度根源[J].科技管理研究,2015,(5):12-17.

WANG Jing, CHAN Biao-jin. (2015). Institutional Causes of the Low Investment in Agricultural Science and Technology [J].ScienceandTechnologyManagementResearch, (5):12-17. (in Chinese)

Fund project:Supported by the Basic Science and Technology Research Support Funds of Non-profit Research Institutions of Xinjiang Uygur Autonomous Region "Performance Evaluation System Research of Xinjiang Academy of Agricultural Sciences "(KY2013055)

doi:10.6048/j.issn.1001-4330.2016.06.025

收稿日期(Received)：2016-01-29

基金項目:自治區(qū)級公益性科研院所基本科研業(yè)務(wù)費專項“新疆農(nóng)科院績效考核體系建設(shè)研究”(KY2013064)

作者簡介:李苗(1984-)，女，新疆烏魯木齊人，助理研究員，碩士，研究方向為農(nóng)業(yè)信息分析，(E-mail)miao1125miao@126.com 通訊作者(Cotresponding author):戴健(1962-)，男，新疆烏魯木齊人，研究員，研究方向為農(nóng)業(yè)技術(shù)經(jīng)濟，(E-mail)daij@xaas.ac.cn

中圖分類號：S-9

文獻標(biāo)識碼：A

文章編號：1001-4330(2016)06-1159-07

Construction and Application of Agricultural Technology Innovation Assessment Model

LI Miao1, MIAO Hong-ping1, SU Wu-zheng1, DAi Jun-sheng1, ZHAO Chun2, DAI Jian3

(1.InstituteofAgriculturalEconomicsandScientificTechnicalInformation,XinjiangAcademyofAgriculturalScience,Urumqi830091,China;2.BeijingReebotooTechnologyCo.,Ltd,Beijing100000,China;3.XinjiangAcademyofAgriculturalSciences,Urumqi830091,China)

Abstract：【Objective】 To get out of the difficulty in quantitative assessment without goal constraints in the performance assessment of agricultural technology innovation and coordinate the examination of different types of assessment subjects and achieve networked management of assessment processes, indexes and data, a series of assessment approaches and a database management system were proposed and applied to agricultural scientific and research institutes for public welfare.【Method】Dynamic clustering analysis was applied to classify assessed units on the basis of defined role of assessment subjects; Hierarchical structure theory and approaches were applied to build an assessment index system; structural elements were analyzed using AHP analysis to determine index weighting at each level; fuzzy comprehensive evaluation method was applied to comprehensively test and compute indexes; and database technologies were applied to build an assessment management network system. Technological innovation subjects were given quantitative assessment, service transformation capacity, technological conditions and platforms, talent team, management capability and development speed. Administrative authorities were given quantitative assessment, public performance, comprehensive performance and development speed.【Result】The assessment index system and database management system of three-level multi-layer structure were built up. The coordinated hundred-mark assessment was given to innovation subjects and their test and promotion agencies and administrative authorities. After the application in Xinjiang Academy of Agricultural Sciences, the quantitative assessment in 33 institutions was accomplished and the assessment level and comprehensive capability of the assessment performers in each field was clearly determined, thus providing a scientific basis for excellence selection and development strategy making.【Conclusion】A series of proven assessment approaches and a management system have been provided for the coordinated assessment without goal constraints for different types of subjects. The system has powerful function extendibility, operability and applicability and its assessment results are reasonable, which is worthy of being popularized.

Key words:agricultural technology innovation；performance assessment；index system；network management