徐春榮

(北京航空航天大學(xué) 經(jīng)濟(jì)管理學(xué)院，北京100191)

任文婧

(北京航空航天大學(xué) 中法工程師學(xué)院，北京100191)

周 泓

(北京航空航天大學(xué) 經(jīng)濟(jì)管理學(xué)院，北京100191)

航空發(fā)動(dòng)機(jī)是關(guān)系國家安全和國民經(jīng)濟(jì)發(fā)展的戰(zhàn)略性產(chǎn)業(yè)，而航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目旨在發(fā)展和改善航空發(fā)動(dòng)機(jī)研制生產(chǎn)的保障，近年來國家在這一方面的投入力度越來越大.為了強(qiáng)化投資效益，確保有效提高我國航空發(fā)動(dòng)機(jī)研發(fā)能力，在建設(shè)項(xiàng)目竣工驗(yàn)收后全面系統(tǒng)地進(jìn)行后評價(jià)對于總結(jié)項(xiàng)目成果和積累經(jīng)驗(yàn)教訓(xùn)具有十分重要的意義.在我國，項(xiàng)目評價(jià)工作處于探索階段，評價(jià)經(jīng)驗(yàn)不足，針對航空發(fā)動(dòng)機(jī)相關(guān)項(xiàng)目的后評價(jià)主要集中在技術(shù)方面，且多以專家集體討論的方式為主，后評價(jià)體系并不完善.而參照航空武器裝備項(xiàng)目評價(jià)，國內(nèi)外的研究大多集中在項(xiàng)目預(yù)研階段，其中又以風(fēng)險(xiǎn)評估居多，其次是技術(shù)評估和效能評估.在近年的相關(guān)研究中，侯金曄等人提出了航空武器裝備項(xiàng)目過程評估指標(biāo)體系構(gòu)建方法[1]，殷旭東等人提出了武器裝備動(dòng)員能力評價(jià)的指標(biāo)體系構(gòu)建方法[2]，但針對航空發(fā)動(dòng)機(jī)產(chǎn)業(yè)的項(xiàng)目后評價(jià)研究仍幾乎空白.

為了對航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目進(jìn)行更科學(xué)合理的后評價(jià)，本文通過兩階段過程來建立一套適用于航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)的指標(biāo)體系.即，首先通過借鑒一般項(xiàng)目后評價(jià)指標(biāo)體系結(jié)構(gòu)，并通過專家訪談?wù){(diào)查，建立一個(gè)初步的后評價(jià)指標(biāo)體系;在此基礎(chǔ)上，以指標(biāo)精煉性、數(shù)據(jù)可獲得性和實(shí)踐可行性為原則，對初選指標(biāo)進(jìn)行優(yōu)選.優(yōu)選過程中，采用群組決策最大特征根法(GEM，Group Eigenvalue Method)對第一階段結(jié)果進(jìn)行初步篩選，然后進(jìn)行評價(jià)指標(biāo)的相關(guān)性分析篩選和鑒別能力篩選，最后得到優(yōu)選的指標(biāo)體系.

1 后評價(jià)指標(biāo)體系初選

根據(jù)航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目具體特征[3]，以項(xiàng)目后評價(jià)指標(biāo)體系設(shè)計(jì)理論[4－5]和一般原則[6]為指導(dǎo)，并結(jié)合專家訪談，初步提出一套針對性的評價(jià)指標(biāo)體系.如表1所示.

表1 航空發(fā)動(dòng)機(jī)研發(fā)建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系(初選)Table 1 Post-evaluation index system for aero-engine R＆D capacity building projects(primary)

2 后評價(jià)指標(biāo)體系優(yōu)選

由于后評價(jià)指標(biāo)體系的初選更注重全面性、系統(tǒng)整體性、以及專家經(jīng)驗(yàn)，并沒有充分考慮各指標(biāo)的重要性差異、鑒別能力以及指標(biāo)之間的關(guān)聯(lián)性，因此需要進(jìn)一步優(yōu)化.優(yōu)化內(nèi)容主要檢測具體指標(biāo)的可行性、可靠性、科學(xué)性、關(guān)聯(lián)性、協(xié)調(diào)性、冗余度等方面.目前常用的優(yōu)選方法有因子分析法[7]、聚類分析，以及以德爾菲法為代表的專家調(diào)查法等.根據(jù)對項(xiàng)目特點(diǎn)和初選指標(biāo)體系的具體分析，本文采用基于李克特量表的專家調(diào)查法獲取評分?jǐn)?shù)據(jù)，并結(jié)合GEM和多種統(tǒng)計(jì)學(xué)方法來優(yōu)化指標(biāo)體系.

2.1 問卷調(diào)查統(tǒng)計(jì)

本文采用調(diào)查問卷的形式對航空發(fā)動(dòng)機(jī)研制、生產(chǎn)和項(xiàng)目管理領(lǐng)域的相關(guān)專家進(jìn)行調(diào)查，給表1中的34個(gè)指標(biāo)打分.為更好地體現(xiàn)各指標(biāo)要素的重要性，設(shè)計(jì)了5級順序的李克特量表，1=很不重要，2=不重要，3=一般重要，4=重要，5=非常重要.此外，為保證調(diào)查結(jié)果的質(zhì)量和權(quán)威性，問卷設(shè)計(jì)時(shí)考慮了專家知識水平，即同時(shí)調(diào)查專家職稱、職位、學(xué)歷以及工作年限等，盡量保證專家知識水平具有一定的權(quán)威性，且各專家水平接近，否則就要考慮賦以專家權(quán)重.本次問卷調(diào)查共收回37份有效答卷.限于篇幅，部分統(tǒng)計(jì)結(jié)果如表2所示.

表2 專家調(diào)查問卷統(tǒng)計(jì)結(jié)果Table 2 Statistical results of the expert survey

2.2 基于群組決策最大特征根法的指標(biāo)初篩

群組決策最大特征根法(GEM)是在層次分析法(AHP)的基礎(chǔ)上演變而來的[8].該方法克服了AHP算法判斷矩陣出現(xiàn)不一致的問題，GEM方法中，各受訪專家只需要按傳統(tǒng)方式對指標(biāo)打分，就能夠得出群體對于目標(biāo)的最優(yōu)排序結(jié)果，即可用來篩選初選得出的各指標(biāo)的重要性，去除重要性微小的指標(biāo)，以達(dá)到指標(biāo)精簡的目的.

2.2.1 GEM 計(jì)算的一般步驟

1)由m個(gè)專家直接對n個(gè)被評單位進(jìn)行打分，得到評分矩陣

其中，xij(i=1，2，…，m;j=1，2，…，n)為第 i個(gè)專家Si對應(yīng)第j個(gè)被評目標(biāo)Pj的評分值.

2)計(jì)算矩陣F=XTX，求取F的最大特征根及其對應(yīng)的特征向量.

3)若計(jì)算出的最大特征根為單根，則該特征根所對應(yīng)的特征向量，即為要求的評價(jià)指標(biāo)的權(quán)向量;若得出的最大特征根為重根，應(yīng)同時(shí)解出其特征向量空間，此時(shí)認(rèn)為該特征向量空間所對應(yīng)的評價(jià)對象具有同等的重要性，即排名并列.而對于其他評價(jià)對象，需要根據(jù)與第二最大特征根所對應(yīng)的特征向量來排名(或在原評分矩陣中，剔除并列排名的評價(jià)對象的相應(yīng)分值，重建一個(gè)新的評分矩陣，然后用同樣的方法再進(jìn)行評判)[9].

2.2.2 指標(biāo)體系的GEM計(jì)算步驟

在本研究中，共有34個(gè)被評價(jià)指標(biāo)，37位專家的有效評分，所以構(gòu)建的評分矩陣是37×34維矩陣.以下應(yīng)用Matlab求解.

1)計(jì)算矩陣的最大特征值.得到矩陣的最大特征值是單根，為λ=18851.9803.對應(yīng)的特征向量為

2)對所得特征向量進(jìn)行歸一化.得

經(jīng)研究分析，歸一化處理后的因素重要性平均值為0.02941，上下波動(dòng)40%左右.再仔細(xì)分析各指標(biāo)意義，最終取平均值的85%，即0.025為臨界值，去掉重要性在0.025以下的6個(gè)指標(biāo)，即剔除項(xiàng)目管理工具使用效率(C53)，社會經(jīng)濟(jì)推動(dòng)效果(C72)，研發(fā)技術(shù)人員職稱及學(xué)歷水平(C62)，產(chǎn)業(yè)貢獻(xiàn)度(C74)，管理和文化創(chuàng)新性(C64)，以及技術(shù)成果影響性(C35).余下28個(gè)指標(biāo).

2.3 基于Pearson算法的指標(biāo)相關(guān)性分析篩選

評價(jià)指標(biāo)體系在經(jīng)過群組決策特征根法(GEM)的初篩之后，保留的指標(biāo)之間往往仍具有一定程度的關(guān)聯(lián)性.然而根據(jù)指標(biāo)的差異性原則要求，指標(biāo)之間的相關(guān)性不能過大，否則會導(dǎo)致重復(fù)使用評價(jià)對象信息的現(xiàn)象，從而違背了評價(jià)指標(biāo)的合理性和科學(xué)性.

2.3.1 相關(guān)性分析的計(jì)算步驟

本文采用一種研究指標(biāo)關(guān)聯(lián)程度時(shí)常用統(tǒng)計(jì)學(xué)方法，即相關(guān)性分析.基本步驟如下[10]:

1)指標(biāo)數(shù)據(jù)的無量綱化處理.

由于各個(gè)評價(jià)指標(biāo)的評價(jià)方面不同，其量綱也往往不同，不利于進(jìn)行分析，所以必須先進(jìn)行無量綱化處理.記yi和s分別為評價(jià)指標(biāo)數(shù)據(jù)及其標(biāo)準(zhǔn)差，則無量綱化公式為

2)求取各指標(biāo)之間相關(guān)系數(shù):

3)設(shè)定臨界值M.

在計(jì)算評價(jià)指標(biāo)相關(guān)系數(shù)之前應(yīng)先設(shè)定一個(gè)絕對值大于0小于1的臨界值.如果T＜M，兩個(gè)指標(biāo)相關(guān)性較小，予以保留;如果T＞M，則兩個(gè)指標(biāo)相關(guān)性較大，應(yīng)刪除其中一個(gè)與其他指標(biāo)相關(guān)性比較大的指標(biāo)，或者分析合并.

2.3.2 指標(biāo)體系的相關(guān)性分析篩選

表3 指標(biāo)體系的相關(guān)性系數(shù)Table 3 Correlation coefficients of the index system

可見，該航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系在經(jīng)群組決策最大特征根方法篩選之后，大部分指標(biāo)之間的相關(guān)性小于所設(shè)臨界值，即指標(biāo)間相關(guān)度不大，而立項(xiàng)決策程序規(guī)范性(C11)和立項(xiàng)審批程序規(guī)范性(C12)、預(yù)算調(diào)整頻率(C42)和費(fèi)用偏差百分比(C43)、以及項(xiàng)目管理體系的合理性(C52)和項(xiàng)目管理規(guī)劃能力(C54)這3對指標(biāo)的相關(guān)度超過了預(yù)先設(shè)定的臨界值，屬于強(qiáng)烈關(guān)聯(lián)指標(biāo)，需要進(jìn)一步篩選.

對比發(fā)現(xiàn)，C11和C12，C42和C43各自與其他指標(biāo)的關(guān)聯(lián)度相差不多，再通過分析各指標(biāo)的具體意義、項(xiàng)目評價(jià)要求以及專家的反饋意見，決定將C11和C12整合為新的指標(biāo)C11“立項(xiàng)決策和審批程序的規(guī)范性”.同樣C42和C43整合為新C42“經(jīng)費(fèi)調(diào)整頻率及偏差百分比”.至于C52和C54這對指標(biāo)，C52與其他指標(biāo)的關(guān)聯(lián)度明顯強(qiáng)烈于C54，因此決定剔除C52，只保留C54.

經(jīng)過整理后，新的指標(biāo)體系有25個(gè)有效指標(biāo)，再以同樣的步驟進(jìn)行相關(guān)性分析，即用SPSS再次執(zhí)行Pearson運(yùn)算，本次得到的相關(guān)系數(shù)全部小于臨界值0.78，說明篩選后的指標(biāo)體系中，各指標(biāo)之間的關(guān)聯(lián)性不高，基本符合要求.

2.4 評價(jià)指標(biāo)鑒別能力篩選

評價(jià)指標(biāo)鑒別能力是指標(biāo)識別被評價(jià)對象特征差異性的能力.在對評價(jià)指標(biāo)相關(guān)性篩選時(shí)，除了遵循相關(guān)性分析的原則外，通常還要檢驗(yàn)指標(biāo)的鑒別能力，保留鑒別能力強(qiáng)的指標(biāo)，以提高評價(jià)結(jié)果的差異性.

2.4.1 基于變差系數(shù)的指標(biāo)鑒別能力篩選方法

在實(shí)際應(yīng)用中，變差系數(shù)常被用來識別指標(biāo)的鑒別能力.計(jì)算公式為，其中，為各指標(biāo)的平均值;為各指標(biāo)的標(biāo)準(zhǔn)差.

如果某個(gè)指標(biāo)的分?jǐn)?shù)一直較低或者一直較高，則說明該指標(biāo)的鑒別能力偏弱，反之，則說明指標(biāo)具有較強(qiáng)的鑒別能力.

2.4.2 指標(biāo)體系鑒別能力篩選

本文的指標(biāo)篩選是專家打分得到的，所以變差系數(shù)較小就存在2種情況:①眾多專家對某一項(xiàng)指標(biāo)都打分比較高;②眾多專家對某一項(xiàng)指標(biāo)都打分比較低.因?yàn)橐呀?jīng)使用群組決策特征根法將打分比較低的指標(biāo)篩選掉，所以變差系數(shù)較小的指標(biāo)反而是應(yīng)該選擇的.那些變差系數(shù)較大的指標(biāo)因?yàn)閷＜乙庖姴唤y(tǒng)一性太強(qiáng)，故可以刪除[11].

后評價(jià)指標(biāo)體系的鑒別能力分析仍采用SPSS軟件來計(jì)算，結(jié)果如表4所示.

表4 指標(biāo)體系的鑒別能力分析Table 4 Resolution capability analysis of the index system

根據(jù)計(jì)算結(jié)果，25個(gè)指標(biāo)中，變差系數(shù)最大的是C83的0.276 064，可見，篩選后的航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系中不存在鑒別能力過低的指標(biāo)，整體指標(biāo)鑒別能力表現(xiàn)良好.

3 評價(jià)指標(biāo)體系的確立

在已明確航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)工作的構(gòu)成要素的基礎(chǔ)上，通過建立航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)初選指標(biāo)體系，運(yùn)用群組決策最大特征根法來篩選初選指標(biāo)，同時(shí)通過評價(jià)指標(biāo)相關(guān)性分析和指標(biāo)鑒別能力分析，并綜合考慮數(shù)據(jù)的可獲取性，最終確立了一套航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系，如表5所示.

優(yōu)選后的航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系保持了8個(gè)一級指標(biāo)，余有25個(gè)二級指標(biāo)，其中項(xiàng)目執(zhí)行程度以及項(xiàng)目可持續(xù)性指標(biāo)全部保留，而綜合管理類指標(biāo)變動(dòng)較大.結(jié)合項(xiàng)目實(shí)際情況、研發(fā)能力建設(shè)項(xiàng)目的重點(diǎn)目標(biāo)以及航空發(fā)動(dòng)機(jī)產(chǎn)業(yè)中管理科學(xué)的應(yīng)用情況，優(yōu)選后的后評價(jià)指標(biāo)體系結(jié)果基本科學(xué)、合理，適用于航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目的特點(diǎn)，并在項(xiàng)目后評價(jià)中得到了應(yīng)用.

表5 航空發(fā)動(dòng)機(jī)研發(fā)建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系(優(yōu)選)Table 5 Post-evaluation index system for aero-engine R＆D capacity building projects(optimized)

4 結(jié)束語

本文通過專家問卷調(diào)查法，針對航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系的優(yōu)化問題獲取了37份有效問卷，并通過群組決策最大特征根法將后評價(jià)指標(biāo)體系的篩選剔除7項(xiàng)二級指標(biāo)，整合4項(xiàng)指標(biāo)為2項(xiàng)，從而使原先34個(gè)指標(biāo)精簡為25個(gè)，在保證了指標(biāo)體系的全面性和系統(tǒng)性的基礎(chǔ)上，又檢驗(yàn)了指標(biāo)的獨(dú)立性、可測性和可比性，最終得到了科學(xué)合理的航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)指標(biāo)體系.優(yōu)化后的指標(biāo)體系具有較好的實(shí)際應(yīng)用價(jià)值，對于構(gòu)建航空發(fā)動(dòng)機(jī)研發(fā)能力建設(shè)項(xiàng)目后評價(jià)模型具有重要意義.

References)

[1]侯金曄，白思俊，郭云濤.航空武器裝備項(xiàng)目過程評估指標(biāo)體系的構(gòu)建[J].航空制造技術(shù)，2008(1):90－91

Hou Jinye，Bai Sijun，Guo Yuntao.Constitution of process evaluation index system for aerial weapon equipment project[J].Aeronautical Manufacturing Technology，2008(1):90 － 91(in Chinese)

[2]殷旭東，汪恩華.武器裝備動(dòng)員能力評價(jià)的指標(biāo)體系構(gòu)建[J].統(tǒng)計(jì)與決策，2008(1):43 －44

Yin Xudong，Wang Enhua.Construction of index system for evaluation of weapon equipment mobilization ability[J].Statistics and Decision，2008(1):43 －44(in Chinese)

[3]張欽，周德群.國防科技工業(yè)創(chuàng)新型企業(yè)評價(jià)研究[M].北京:科學(xué)出版社，2011

Zhang Qin，Zhou Dequn.Study on evaluation of innovative enterprises in the national defense industry[M].Beijing:Science Press，2011(in Chinese)

[4]蘇為華.多指標(biāo)綜合評價(jià)理論與方法問題研究[D].廈門:廈門大學(xué)，2000

Su Weihua.Research on theory and method of multi index comprehensive evaluation[D].Xiamen:Xiamen University，2000(in Chinese)

[5]Geisler E.The metrics of science and technology[M].New York:Greenwood Press，2000

[6]鮑玉昆，張金隆，孫福全，等.基于SMART準(zhǔn)則的科技項(xiàng)目評標(biāo)指標(biāo)體系結(jié)構(gòu)模型設(shè)計(jì)[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2003(2):46－48

Bao Yukun，Zhang Jinlong，Sun Fuquan，et al.Design on smartbased s＆t evaluation indicators system with three-layer classified structure[J].Science of Science and Management of S ＆ T，2003(2):46－48(in Chinese)

[7]侯金曄.航空武器裝備項(xiàng)目過程評估研究[D].西安:西北工業(yè)大學(xué)，2007:27－28

Hou Jinye.Research on process evaluation for aerial weapon equipment project[D].Xi’an:Northwestern Polytechinical University，2007:27 －28(in Chinese)

[8]邱苑華.群組決策特征根法[J].應(yīng)用數(shù)學(xué)和力學(xué)，1997(11):1027－1028

Qiu Wanhua.An enginvalue method on group decision[J].Applied Mathematics and Mechanics，1997(11):1027 － 1028(in Chinese)

[9]吳堅(jiān)，梁昌勇，李績才.群決策中專家決策意見的可靠性研究[J].合肥工業(yè)大學(xué)學(xué)報(bào):自然科學(xué)版，2009，32(3):366 －367

Wu Jian，Liang Changyong，Li Jicai.Study on the reliability of group agreement under group decision making[J].Journal of Hefei University of Technology:Natural Science，2009，32(3):366－367(in Chinese)

[10]吳雷.裝備制造業(yè)企業(yè)持續(xù)創(chuàng)新能力評價(jià):以黑龍江省為例[M].北京:經(jīng)濟(jì)科學(xué)出版社，2011:83－85

Wu Lei.Evaluation of innovation capability for equipment manufacturing enterprises:taking heilongjiang province as an example[M].Beijing:Economic Science Press，2011:83 － 85(in Chinese)

[11]姜喜龍.國防工業(yè)企業(yè)自主創(chuàng)新能力體系構(gòu)建與對策研究[D].哈爾濱:哈爾濱工程大學(xué)，2007:65－66

Jiang Xilong.Research on the construction of the defense industry enterprise s independent innovation ability system and corresponding countermeasures[D].Harbin:Harbin Engineering U-niversity，2007:65 －66(in Chinese)