許唐云， 瞿海妮， 趙三珊， 徐 愷

(1.國(guó)網(wǎng)上海市電力公司電力科學(xué)研究院，上海 200437;2.上海南華蘭陵電氣有限公司，上海 201111)

科技項(xiàng)目后評(píng)估主要是對(duì)已完成的科技項(xiàng)目成果進(jìn)行綜合的全面評(píng)估，對(duì)于科技成果的推廣利用、深化研究具有非常重要的作用.針對(duì)科技項(xiàng)目的評(píng)估方法，國(guó)內(nèi)外的科研人員、項(xiàng)目管理人員等進(jìn)行了大量的研究工作，在科技項(xiàng)目評(píng)估指標(biāo)體系設(shè)計(jì)，參數(shù)量化方法，權(quán)重設(shè)置，指標(biāo)融合計(jì)算等方面取得了一系列的研究成果.根據(jù)歐盟在1996年提出的“績(jī)效管理2000”[1]科技項(xiàng)目評(píng)估框架，實(shí)現(xiàn)了科技活動(dòng)全方位考核、評(píng)價(jià)的目標(biāo).日本也在2000年提出了《國(guó)家研發(fā)考評(píng)實(shí)施方針》[2]，對(duì)科技項(xiàng)目成果的評(píng)估方法、流程、要求等進(jìn)行了規(guī)定.在中國(guó)，科技部等單位也提出了一系列的規(guī)范和要求，對(duì)科技項(xiàng)目和科技成果的評(píng)價(jià)做了較為全面的規(guī)定.

科技項(xiàng)目和科技成果評(píng)估所采用的方法包括定性分析，定量分析，定性與定量結(jié)合三種主要策略.典型的科技成果定性分析法包括同行評(píng)議法、德?tīng)柗品ǖ萚3].以運(yùn)籌學(xué)為基礎(chǔ)的數(shù)據(jù)包絡(luò)分析法(DEA法)理論完整并在實(shí)際評(píng)價(jià)過(guò)程中具有較強(qiáng)的適應(yīng)性.把德?tīng)柗品ê蛯哟畏治龇ㄏ嘟Y(jié)合，也在項(xiàng)目評(píng)估中得到廣泛應(yīng)用，該方法首先邀請(qǐng)專(zhuān)家進(jìn)行打分，然后用層次分析結(jié)構(gòu)法計(jì)算權(quán)重，通過(guò)目標(biāo)規(guī)劃的方法完成綜合評(píng)價(jià)[4].也有國(guó)內(nèi)學(xué)者提出把層次分析法、德?tīng)柗品ê湍：u(píng)價(jià)方法集成應(yīng)用，以實(shí)現(xiàn)科技成果評(píng)估[5].通過(guò)優(yōu)化的模糊綜合評(píng)價(jià)方法在工業(yè)產(chǎn)品質(zhì)量評(píng)價(jià)中效果較好[6]．國(guó)內(nèi)還有學(xué)者提出了把人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到科技項(xiàng)目評(píng)估過(guò)程中，模擬專(zhuān)家實(shí)現(xiàn)科技項(xiàng)目進(jìn)行評(píng)價(jià)，雖然降低了評(píng)價(jià)的主觀性，但是可信度低，需要繼續(xù)深入改進(jìn)[7].

電力行業(yè)在科研投入持續(xù)、快速增長(zhǎng)，開(kāi)展了大量的研究開(kāi)發(fā)工作，取得了形式多樣、內(nèi)容豐富的科研成果.由于電力行業(yè)的科技活動(dòng)具有自身的一些特色，對(duì)電力科技項(xiàng)目的評(píng)估在遵循科技項(xiàng)目評(píng)估方法、策略和模型的一般原則基礎(chǔ)上，應(yīng)當(dāng)考慮電力科技項(xiàng)目和科技活動(dòng)的特點(diǎn)，有必要針對(duì)電力的科技項(xiàng)目成果進(jìn)行分析和設(shè)計(jì).本文主要討論針對(duì)電力科技成果的評(píng)價(jià)問(wèn)題，即后評(píng)估問(wèn)題，對(duì)立項(xiàng)評(píng)估、過(guò)程評(píng)估等也具有一定的參考作用.

1 評(píng)估指標(biāo)體系的設(shè)計(jì)

1.1 電力科技活動(dòng)類(lèi)型分析

電力行業(yè)屬于工業(yè)技術(shù)類(lèi)行業(yè)中的一種，主要從事業(yè)電力相關(guān)產(chǎn)品和技術(shù)研究與開(kāi)發(fā)，也包括電力系統(tǒng)運(yùn)行、維護(hù)和管理決策類(lèi)的一些項(xiàng)目.基本上不從事基礎(chǔ)理論類(lèi)的研究工作，研發(fā)目標(biāo)多以產(chǎn)品、實(shí)用技術(shù)、標(biāo)準(zhǔn)和規(guī)范為主.對(duì)電力行業(yè)科研活動(dòng)項(xiàng)目的分類(lèi)方式可以有多種.例如以從事的專(zhuān)業(yè)可以分發(fā)電、輸電、配電、運(yùn)行、維護(hù)、檢修、設(shè)備等；按照電壓等級(jí)分為高壓、低壓，中壓；按照設(shè)備和技術(shù)的類(lèi)別可分為一次設(shè)備、二次設(shè)備、自動(dòng)化和調(diào)度管理等.通過(guò)對(duì)國(guó)內(nèi)多家大型電力企業(yè)近年來(lái)科研項(xiàng)目和科研管理經(jīng)驗(yàn)的總結(jié)和分析，按照上述指標(biāo)對(duì)項(xiàng)目分類(lèi)對(duì)開(kāi)展評(píng)估操作不利.總結(jié)多家電力行業(yè)企業(yè)的成功經(jīng)驗(yàn)，對(duì)電力類(lèi)科研項(xiàng)目按照科研項(xiàng)目成果的表現(xiàn)形式分類(lèi)對(duì)于后評(píng)估工作的開(kāi)展是有利的.

按照電力科研項(xiàng)目成果的表現(xiàn)形式，一般科研將科研活動(dòng)分為3種形式，即應(yīng)用基礎(chǔ)類(lèi)項(xiàng)目、應(yīng)用技術(shù)類(lèi)項(xiàng)目和軟科學(xué)類(lèi)研究項(xiàng)目.

應(yīng)用基礎(chǔ)類(lèi)研究項(xiàng)目主要從事檢修、維護(hù)、加工、制造、調(diào)試、測(cè)試過(guò)程中的基礎(chǔ)性原理或工藝性技術(shù)的研究、開(kāi)發(fā)和設(shè)計(jì).項(xiàng)目成果以工藝技術(shù)方案、調(diào)試維護(hù)和作業(yè)規(guī)程等作為主要形式，一般不具有物理裝置或產(chǎn)品等實(shí)物類(lèi)別的技術(shù)成果.某些科研項(xiàng)目可以形成軟件系統(tǒng)或虛擬的數(shù)字模型.

應(yīng)用技術(shù)類(lèi)研究活動(dòng)主要從事新的機(jī)械、電子或自動(dòng)化裝置、工藝裝備的研究開(kāi)發(fā)，研究的主要成果一般通過(guò)樣機(jī)和小批量產(chǎn)品形式體現(xiàn)，一般會(huì)參與試驗(yàn)、試點(diǎn)應(yīng)用.

軟科學(xué)類(lèi)科研活動(dòng)主要和科技管理、企業(yè)運(yùn)行管理有關(guān)系，可以形成各種規(guī)范性的技術(shù)文件、技術(shù)標(biāo)準(zhǔn)、技術(shù)報(bào)告，可以對(duì)企業(yè)的運(yùn)行、檢修和維護(hù)作業(yè)、管理過(guò)程提供規(guī)范性指導(dǎo)或輔助支撐作用.此外群眾創(chuàng)新，QC活動(dòng)等以人才培養(yǎng)為主要目標(biāo)的項(xiàng)目也可被認(rèn)為是軟科學(xué)研究活動(dòng)中的一種.

1.2 評(píng)估指標(biāo)體系的建立

所有的科技活動(dòng)都是為公司整體的發(fā)展戰(zhàn)略服務(wù)的，但是不同的科技項(xiàng)目對(duì)發(fā)展戰(zhàn)略的服務(wù)和支撐作用是不同的，有的項(xiàng)目?jī)A向于解決基礎(chǔ)的理論和工藝問(wèn)題，有的則主要解決新產(chǎn)品、新裝置的開(kāi)發(fā)和測(cè)試問(wèn)題，軟課題類(lèi)研究項(xiàng)目主要解決管理、決策類(lèi)問(wèn)題.由于服務(wù)目標(biāo)不同，所以評(píng)價(jià)的方法也有差別，應(yīng)當(dāng)根據(jù)科技活動(dòng)性質(zhì)設(shè)計(jì)成果評(píng)價(jià)指標(biāo)體系.

應(yīng)用基礎(chǔ)類(lèi)項(xiàng)目主要解決公司發(fā)展過(guò)程中必須解決的關(guān)鍵工藝、原理等方面的技術(shù)問(wèn)題，研究成果主要以知識(shí)產(chǎn)權(quán)成果、科技論文、核心專(zhuān)有技術(shù)等為主要表現(xiàn)方式，所以主要注重科技成果的先進(jìn)性、科學(xué)性和創(chuàng)新性.應(yīng)用技術(shù)類(lèi)科技項(xiàng)目主要解決新產(chǎn)品、新裝置、新系統(tǒng)的開(kāi)發(fā)問(wèn)題，成果評(píng)價(jià)應(yīng)注重成果的可靠性、技術(shù)成熟度及推廣應(yīng)用的前景和價(jià)值.軟課題成果主要體現(xiàn)在對(duì)管理和決策的支持作用.在深入調(diào)研基礎(chǔ)上，針對(duì)3種不同類(lèi)型的科研活動(dòng)，設(shè)置的評(píng)價(jià)指標(biāo)體系分別如圖1～圖3所示.

應(yīng)用基礎(chǔ)類(lèi)項(xiàng)目綜合評(píng)價(jià)指標(biāo)分為技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險(xiǎn)指標(biāo)、項(xiàng)目成果指標(biāo)4種.在技術(shù)水平指標(biāo)下設(shè)置細(xì)分指標(biāo)科學(xué)性、先進(jìn)性和創(chuàng)造性3項(xiàng)；在效益指標(biāo)下設(shè)置推動(dòng)作用、人才培養(yǎng)2個(gè)細(xì)分指標(biāo)；在風(fēng)險(xiǎn)指標(biāo)下設(shè)置技術(shù)風(fēng)險(xiǎn)指標(biāo)，在項(xiàng)目成果指標(biāo)下設(shè)置獲獎(jiǎng)榮譽(yù)、發(fā)表論文、申請(qǐng)專(zhuān)利3個(gè)細(xì)分指標(biāo).

應(yīng)用技術(shù)類(lèi)項(xiàng)目綜合評(píng)價(jià)指標(biāo)分為技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險(xiǎn)指標(biāo)、量化成果指標(biāo)、推廣條件指標(biāo)5種.在技術(shù)水平指標(biāo)下設(shè)置細(xì)分指標(biāo)技術(shù)先進(jìn)性和技術(shù)可替代性2項(xiàng)；在效益指標(biāo)下設(shè)置市場(chǎng)需求、經(jīng)濟(jì)效益、社會(huì)效益3個(gè)細(xì)分指標(biāo)；在風(fēng)險(xiǎn)指標(biāo)下設(shè)置政策風(fēng)險(xiǎn)、技術(shù)風(fēng)險(xiǎn)、經(jīng)濟(jì)風(fēng)險(xiǎn)3個(gè)細(xì)分的技術(shù)指標(biāo)；在項(xiàng)目成果指標(biāo)下設(shè)置獲獎(jiǎng)榮譽(yù)、發(fā)表論文、申請(qǐng)專(zhuān)利3個(gè)細(xì)分指標(biāo)；在推廣條件指標(biāo)下設(shè)置資金條件、設(shè)備條件、人力條件、成果轉(zhuǎn)化適應(yīng)性因素4個(gè)二級(jí)評(píng)價(jià)指標(biāo).

軟科學(xué)研究類(lèi)項(xiàng)目綜合評(píng)價(jià)指標(biāo)分為技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險(xiǎn)指標(biāo)、項(xiàng)目成果指標(biāo)4種.在技術(shù)水平指標(biāo)下設(shè)置細(xì)分指標(biāo)科學(xué)性和創(chuàng)造性2項(xiàng)；在效益指標(biāo)下設(shè)置推動(dòng)作用、優(yōu)化作用2個(gè)細(xì)分指標(biāo)；在風(fēng)險(xiǎn)指標(biāo)下設(shè)置技術(shù)風(fēng)險(xiǎn)1個(gè)細(xì)分的技術(shù)指標(biāo);在項(xiàng)目成果指標(biāo)下設(shè)置獲獎(jiǎng)榮譽(yù)、發(fā)表論文、申請(qǐng)專(zhuān)利3個(gè)細(xì)分指標(biāo).

2 基于AHP的權(quán)重配置方法

科技項(xiàng)目評(píng)價(jià)指標(biāo)權(quán)重的科學(xué)確定對(duì)于科技項(xiàng)目評(píng)估非常重要.基于非直觀經(jīng)驗(yàn)的權(quán)重配置方法包括把復(fù)雜總目標(biāo)分解成多個(gè)子目標(biāo)，然后考察各個(gè)子目標(biāo)對(duì)上級(jí)目標(biāo)的貢獻(xiàn)并形成遞階層次結(jié)構(gòu).該方法以子目標(biāo)相對(duì)重要性為基礎(chǔ)，間接地結(jié)合了領(lǐng)域?qū)＜业慕?jīng)驗(yàn)，遵循分解-判斷-綜合的處理過(guò)程，在實(shí)際評(píng)估過(guò)程中應(yīng)用廣泛.

以應(yīng)用基礎(chǔ)類(lèi)評(píng)價(jià)指標(biāo)體系的一級(jí)指標(biāo)參數(shù)的權(quán)重分配為例，通過(guò)AHP方法配置權(quán)重的方法如下.

首先，根據(jù)專(zhuān)家的經(jīng)驗(yàn)設(shè)置4個(gè)一級(jí)指標(biāo)(技術(shù)水平指標(biāo)、效益指標(biāo)、風(fēng)險(xiǎn)指標(biāo)、項(xiàng)目成果指標(biāo))的兩兩判斷矩陣W.

然后檢驗(yàn)一致性，計(jì)算一致性參數(shù)：

式中，RI為平均一致性指標(biāo)，根據(jù)判斷矩陣階數(shù)從標(biāo)準(zhǔn)表中查得(表1).

表1 RI值

當(dāng)一致性參數(shù)小于設(shè)置值時(shí)表明專(zhuān)家經(jīng)驗(yàn)設(shè)置的相對(duì)權(quán)重具有較好的一致性.根據(jù)指標(biāo)間相對(duì)權(quán)重可以確定各指標(biāo)的權(quán)重向量：

γ=[0.61 0.20 0.05 0.12].

當(dāng)不能通過(guò)一致性檢驗(yàn)時(shí)應(yīng)調(diào)整兩兩判斷矩陣.在多級(jí)指標(biāo)體系中，可根據(jù)上述方法逐級(jí)計(jì)算出各個(gè)指標(biāo)的權(quán)重.

3 數(shù)據(jù)融合處理

3.1 權(quán)重調(diào)節(jié)和特異評(píng)價(jià)處理

為了實(shí)現(xiàn)多個(gè)專(zhuān)家不同評(píng)估意見(jiàn)的處理，本文提出了如下的數(shù)據(jù)融合策略：

在樣本量較小(如評(píng)估專(zhuān)家的數(shù)量小于3)時(shí)，采用加權(quán)平均的單一指標(biāo)的融合策略.設(shè)對(duì)于某個(gè)指標(biāo)有n個(gè)專(zhuān)家進(jìn)行評(píng)價(jià)，每個(gè)專(zhuān)家的評(píng)價(jià)結(jié)果為sk，(k=1,…,n)，每個(gè)專(zhuān)家的評(píng)分為wk,則綜合后的評(píng)估結(jié)果s可表示為：

在樣本量較大時(shí)，可以采用特異性去除后的加權(quán)平均單一指標(biāo)的融合策略.特異性去除主要考慮到某些專(zhuān)家由于個(gè)體差異或差錯(cuò)導(dǎo)致出現(xiàn)了較為顯著的錯(cuò)誤結(jié)論，如果將其結(jié)果納入最終評(píng)價(jià)體系會(huì)對(duì)結(jié)果產(chǎn)生較為顯著的影響.特異性去除策略主要采用方差判斷策略.仍然假設(shè)對(duì)于某個(gè)指標(biāo)有n個(gè)專(zhuān)家進(jìn)行評(píng)價(jià)，每個(gè)專(zhuān)家的評(píng)價(jià)結(jié)果為sk，(k=1,…,n)，每個(gè)專(zhuān)家的總評(píng)分分別為wk.則評(píng)價(jià)結(jié)果的均值可表示為：

評(píng)價(jià)結(jié)果的平均方差值可表示為：

我們可以認(rèn)為，所有方差大于平均方差兩倍以上的評(píng)估結(jié)論都是存疑的，可以被去除.即所有滿(mǎn)足下式的評(píng)估結(jié)論都不被納入最終的評(píng)價(jià)計(jì)算過(guò)程中：

σk=(sk-E)2/n>2σ.

設(shè)去除特異性評(píng)價(jià)結(jié)論后的樣本數(shù)量為n′,則單指標(biāo)的評(píng)估結(jié)果s可表示為：

3.2 多級(jí)指標(biāo)融合及快速算法

在確定單一指標(biāo)的評(píng)估值基礎(chǔ)上，結(jié)合遞階層次結(jié)構(gòu)方法確定的各級(jí)指標(biāo)權(quán)重采用自底向上的算法可以確定綜合評(píng)價(jià)指標(biāo)的最終計(jì)算結(jié)果.設(shè)某類(lèi)項(xiàng)目的綜合評(píng)價(jià)指標(biāo)體系中有m個(gè)一級(jí)評(píng)價(jià)指標(biāo)，每個(gè)一級(jí)評(píng)價(jià)指標(biāo)分別有nk個(gè)二級(jí)評(píng)價(jià)指標(biāo)(k=1,…,m).所有一級(jí)評(píng)價(jià)指標(biāo)對(duì)綜合評(píng)價(jià)指標(biāo)的權(quán)重分別為wk.對(duì)于第k個(gè)一級(jí)評(píng)價(jià)指標(biāo)，其所有的二級(jí)評(píng)價(jià)指標(biāo)權(quán)重分別為wkj,其中(j=1,…,nk).則最終確定的綜合評(píng)價(jià)指標(biāo)可用下式計(jì)算：

式中，skj表示第k個(gè)一級(jí)指標(biāo)下的第j個(gè)二級(jí)指標(biāo)的單一指標(biāo)評(píng)估值.

按照上述公式計(jì)算多指標(biāo)綜合數(shù)值時(shí)間需要非常多的求和及求乘積的計(jì)算，計(jì)算過(guò)程略顯復(fù)雜.在實(shí)際的評(píng)估過(guò)程中，可以直接求出綜合評(píng)價(jià)指標(biāo)與二級(jí)指標(biāo)參數(shù)之間的比例關(guān)系，然后假定多指標(biāo)綜合評(píng)價(jià)結(jié)果按百分制計(jì)算，則可以計(jì)算出每個(gè)二級(jí)指標(biāo)的一級(jí)權(quán)重參數(shù)，然后將融合后的單一指標(biāo)評(píng)估值求和就可以了(單一指標(biāo)評(píng)估值可以在評(píng)價(jià)時(shí)取0至二級(jí)指標(biāo)一級(jí)權(quán)重之間的任意值)，即通過(guò)簡(jiǎn)單的求和就可以獲得多指標(biāo)綜合評(píng)價(jià)值.

以多指標(biāo)綜合評(píng)價(jià)結(jié)果最大值100為基礎(chǔ)，計(jì)算二級(jí)指標(biāo)的一級(jí)權(quán)重的計(jì)算公式為：

wkj=100×wk×skj

式中：wkj表示第k個(gè)一級(jí)指標(biāo)下的第j個(gè)二級(jí)指標(biāo)的一級(jí)權(quán)重(百分比).

4 總結(jié)

根據(jù)本文所提出的評(píng)價(jià)體系和數(shù)據(jù)處理策略，研制了適用于國(guó)家電網(wǎng)及下屬各級(jí)公司、電力系統(tǒng)一般工業(yè)企業(yè)的科技項(xiàng)目成果評(píng)價(jià)系統(tǒng).在本文確立的指標(biāo)體系基礎(chǔ)上，明確定義了全部一級(jí)、二級(jí)指標(biāo)的含義、適用范圍和專(zhuān)家評(píng)價(jià)準(zhǔn)則.

在某大型電力行業(yè)企業(yè)，通過(guò)對(duì)自2008年以來(lái)約100個(gè)項(xiàng)目的后評(píng)估結(jié)果進(jìn)行分析，根據(jù)本文提出的評(píng)估方案開(kāi)展評(píng)估，過(guò)程非常簡(jiǎn)潔、易操作、重復(fù)性好，具有良好的推廣應(yīng)用價(jià)值.