盧冰 屈芳

摘 要：本文針對教學(xué)研究項目的特點(diǎn)，進(jìn)行了國內(nèi)外項目評估方法的現(xiàn)狀分析，比較分析了國內(nèi)外進(jìn)行科技評估以來的主要的經(jīng)典評估方法及其優(yōu)缺點(diǎn)，為今后的教學(xué)研究項目評估工作中選擇適用的評估方法提供參考。

關(guān)鍵詞：教學(xué)研究項目；評估方法；對比分析；優(yōu)缺點(diǎn)

中圖分類號：G724 文獻(xiàn)標(biāo)識碼：A

一、引言

隨著全國科技創(chuàng)新大會的勝利召開，科技創(chuàng)新呈現(xiàn)在更加突出的位置。各大繼續(xù)教育機(jī)構(gòu)也越來越重視通過開展教學(xué)研究創(chuàng)新來提升自身的綜合競爭力。采用教學(xué)研究項目評估，可提高資源的使用效率，為教學(xué)創(chuàng)新決策系統(tǒng)調(diào)整，學(xué)科布局提供科學(xué)依據(jù)和建議，使之更加適合機(jī)構(gòu)事業(yè)發(fā)展的需要。

教學(xué)研究項目評估要遵循一定的原則、程序和標(biāo)準(zhǔn)，運(yùn)用科學(xué)、規(guī)范的方法，對項目的執(zhí)行過程以及目標(biāo)實現(xiàn)程度、經(jīng)費(fèi)的使用管理、項目成果價值、項目社會影響與效益等方面進(jìn)行綜合評價考核。如何選擇適用的項目評估模型和數(shù)據(jù)處理方法成為教學(xué)研究項目研究的重點(diǎn)。目前國內(nèi)外科技評估的評估方法研究較為完善，本文總結(jié)了國內(nèi)外在科技評估中形成的一些經(jīng)典的評估方法，希望對教學(xué)研究項目評估方法的研究提供參考。

二、國內(nèi)外典型科技評估方法的比較研究

國內(nèi)外在科技評估方面采用的方法很多， 但就評估而言并沒有通用的方法庫。每種方法都有一定的使用范圍，而解決一個具體問題又常需結(jié)合多種方法。評估者在評估的實踐中， 應(yīng)根據(jù)不同目的、對象確定不同方法或方法組合。這些方法通常可以劃分為定性評估方法和定量評估方法。

定性評估方法主要依靠評估者的洞察、分析能力，借助于以往的經(jīng)驗和邏輯推斷能力來進(jìn)行評估。定量評估主要以評估指標(biāo)的統(tǒng)計數(shù)據(jù)為依據(jù)，建立評估數(shù)學(xué)模型，用數(shù)學(xué)運(yùn)算求得評估結(jié)果，并以數(shù)量表示出來的一類評估方法。定性評估方法本身也包含需要量化的部分，而單純的定量評估方法得出的評估結(jié)果往往沒有意義。本文將目前比較常用的定性和定量的評估方法分為三類：專家評估方法（定性/定量）、文獻(xiàn)計量分析方法（定量）、數(shù)學(xué)分析方法（定量）。表1中對可參考的科技評估常用方法及其優(yōu)缺點(diǎn)進(jìn)行了總結(jié)。

（一）專家評估方法

專家評估方法是專家根據(jù)其多獲得的信息對評估要素（尤其是難以用客觀數(shù)據(jù)表示的因素）直接打分或做出定性判斷，包括同行評議方法、特爾斐（Delphi）法等。

1.同行評議法

英國是使用同行評議方法最早的國家，后來被逐漸引入政府投資的機(jī)構(gòu)進(jìn)行項目選擇。 同行評議法可以定義為“由從事該領(lǐng)域或接近該領(lǐng)域的專家來評定一項研究工作的學(xué)術(shù)水平或重要性的一種方法”。這種方法常常被科學(xué)界用來判斷工作程序的正確性，確認(rèn)結(jié)果的可靠性以及對有限資源分配的公認(rèn)性和特殊榮譽(yù)。

優(yōu)點(diǎn)：一是應(yīng)用最頻繁，經(jīng)發(fā)達(dá)國家的實踐證明，效果較好、可信度較高。二是適用不同階段的評估。三是充分依靠科學(xué)家群體進(jìn)行民主管理，在科學(xué)研究資源的分配中引入競爭機(jī)制，使得知識生產(chǎn)的要素優(yōu)化配置。同行評議為科學(xué)共同建立了內(nèi)部審查體系和榮譽(yù)機(jī)制，成為科學(xué)發(fā)展的一大動力源泉。

缺點(diǎn)：一是其假設(shè)條件是評議專家具有崇高科學(xué)的敬業(yè)精神和客觀、公正、務(wù)實的職業(yè)修養(yǎng)。這種假設(shè)條件卻容易缺乏有效的監(jiān)督和控制。美國科學(xué)技術(shù)委員會的一項研究認(rèn)為，同行評議像其他依賴于人的判斷方法一樣，受自己利益，特別是朋友關(guān)系和偏見的影響，容易形成“熟人關(guān)系網(wǎng)”，“老朋友網(wǎng)絡(luò)”。二是專家的選擇也存在難以避免的局限性。

2.特爾斐法

特爾斐法最早于20世紀(jì)50年代末由美國著名的咨詢機(jī)構(gòu)蘭德公司提出并使用的。特爾斐法本質(zhì)上是一種專家匿名反饋征詢法，它是對所評估的問題以問卷的方式征得專家的意見之后，進(jìn)行整理、歸納以及統(tǒng)計，再匿名反饋給各專家，再次征詢意見，再進(jìn)行整理、歸納以及統(tǒng)計，經(jīng)過多輪反饋后，直到得到比較一致的意見。特爾斐法是一種群體決策技術(shù)，能夠有效的征求和提煉群體的意見，由于其可信度高，已迅速傳播到世界各國。

特爾斐法的基本程序大致分為4步：一是提出問題。二是選擇專家。三是開始多輪征詢程序，每輪都基本按照制定發(fā)放本輪調(diào)查問卷，手機(jī)問卷，統(tǒng)計歸納，形成下一輪調(diào)查問卷的程序循環(huán)進(jìn)行。四是準(zhǔn)備最后的結(jié)果分析報告。

優(yōu)點(diǎn)：一是匿名：采取“背靠背”的方式，征詢過程不暴露專家的名字，每位專家也不知道共有多少位專家，哪些專家參與咨詢。在提意見時，沒有心理壓力，可暢所欲言。二是定量：能夠?qū)Υ罅糠羌夹g(shù)性的無法定量分析的因素做出概率估算。三是反饋：特爾斐法在每輪征詢中作出概率估算后會將概率估算結(jié)果反饋給專家，充分發(fā)揮了信息反饋的作用。四是趨向：特爾斐法經(jīng)過多輪的征詢反饋，也充分發(fā)揮了信息控制的作用，將分散的評估意見逐次收斂，趨向一致。

缺點(diǎn)：一是費(fèi)時：由于需要采取多輪征詢程序才會使得評估意見趨向一致，當(dāng)輪次較多時，得到最后的結(jié)果分析報告相當(dāng)費(fèi)時。二是局限：當(dāng)評估意見分散程度較大時，雖經(jīng)過多輪反饋，仍可能出現(xiàn)意見不收斂的情況。

（二）文獻(xiàn)計量方法

文獻(xiàn)計量法用于分析科學(xué)研究活動始于19世紀(jì)末和20世紀(jì)初。文獻(xiàn)計量法是指利用出版物、專利、引文等科技評估指標(biāo)進(jìn)行評價的一種定量評估方法。在此，出版物和專利被認(rèn)為是衡量產(chǎn)出能力的尺度，引文數(shù)則是衡量其工作結(jié)果影響力的尺度?；谖墨I(xiàn)計量的科技評估是目前比較被認(rèn)可的方法之一，具有客觀、量化、易于比較等特點(diǎn)，并能夠?qū)萍籍a(chǎn)出能力等重要指標(biāo)有較為直觀的評估。文獻(xiàn)計量法常采用的方法主要有出版物數(shù)量計量、著者數(shù)量計量、引文分析等。

優(yōu)點(diǎn)：一是用客觀的數(shù)據(jù)取代了主觀判斷。二是它對所有的引證都基本做到公平公正。

缺點(diǎn)：一是作為研究成果發(fā)表的文獻(xiàn)數(shù)量與項目研究質(zhì)量并不必然正相關(guān)。二是文獻(xiàn)被引用可能是因為個人關(guān)系、人為的自引等因素，很難表征質(zhì)量上的差異。三是不同學(xué)科的引文率有差異。四是因存在期刊本身質(zhì)量的差別，發(fā)表在不同期刊的論文質(zhì)量可能具有極大差異。五是文獻(xiàn)計量法僅限于就論文、專著、專利等成果進(jìn)行定量分析，不能全面度量科技產(chǎn)出的質(zhì)量及影響。

（三）數(shù)學(xué)分析方法

科技不同階段的評估都是多屬性決策的問題， 既要對科技做出定性的評價， 又需要結(jié)合科學(xué)的評估方法得出定量的分析。在科技的評估實踐中，單純的專家評估或文獻(xiàn)計量方法往往不能滿足評估的要求，還需要進(jìn)行量化處理，引入一些數(shù)學(xué)分析的方法，對科技做出全局性、整體性的評估。目前常用的數(shù)學(xué)分析方法主要有層次分析法、主成分分析法、效用函數(shù)法、模糊綜合評估法、灰色綜合評判法等。

1.層次分析法

層次分析法（Analytic Hierarchy Process 簡稱AHP）是美國匹茲堡大學(xué)運(yùn)籌學(xué)家托馬斯？塞蒂（T.L.Saaty）于20世紀(jì)70年代初，在為美國國防部研究"根據(jù)各個工業(yè)部門對國家福利的貢獻(xiàn)大小而進(jìn)行電力分配"課題時，提出的一種層次權(quán)重決策分析方法。它本質(zhì)上是一種決策思維方式，它把復(fù)雜的決策問題分解為各個組成因素， 并將這些因素按支配關(guān)系分組，形成有序的遞階層次結(jié)構(gòu)，通過兩兩比較的方式確定層次中諸因素的相對重要性， 然后綜合人的判斷以決定決策諸因素相對重要性總的順序。同時層次分析法能把決策過程中定性與定量因素有機(jī)地結(jié)合在一起，用一種統(tǒng)一的方式進(jìn)行處理，既能保證模型的系統(tǒng)性、合理性，又能使決策管理專家充分運(yùn)用其有價值的經(jīng)驗與判斷能力。它是將決策者的思維過程實現(xiàn)數(shù)量化，從而解決多目標(biāo)、多層次、多準(zhǔn)則決策問題的方法。AHP體現(xiàn)了人們決策思維的基本特征，即分解、判斷、排序、綜合。此方法是20世紀(jì)70年代初期美國匹茲堡大學(xué)運(yùn)籌學(xué)家托馬斯？塞蒂（T.L.Saaty）創(chuàng)立的。

使用層次分析法建立數(shù)學(xué)模型可分為5步：一是建立遞階層次結(jié)構(gòu)模型；二是構(gòu)造兩兩比較判斷矩陣；三是層次單排序；四是層次總排序；五是層次總排序一致性檢驗。

優(yōu)點(diǎn)：層次分析法是一種定性定量分析相結(jié)合的決策方法，對主觀判斷作定量描述，加之其所具有的系統(tǒng)性、靈活性、綜合性、簡便性和準(zhǔn)確性的特點(diǎn)，使其成為非常實用的決策方法，并得到了廣泛應(yīng)用。層次分析法十分適用于具有定性的或定性、定量兼有的決策分析，其核心功能是對方案進(jìn)行排序選優(yōu)，為管理者提供定量形式的決策依據(jù)。

缺點(diǎn)：層次分析法得出的結(jié)果是粗略的方案排序。在適用過程中，無論是建立層次結(jié)構(gòu)還是構(gòu)造判斷矩陣，人的主觀判斷、選擇對結(jié)果的影響較大，使得該方法主觀成分較大，應(yīng)用上存在局限性。

2.主成分分析法

主成分分析（Principal Component Analysis，PCA）是由卡爾（Karl）和皮爾遜（Pearson）最早在1901年提出，只不過當(dāng)時是應(yīng)用于非隨機(jī)變量。1933年霍蒂林（Hostelling）將這個概念推廣到隨機(jī)向量。PCA也被稱為主分量分析， 是多變量的分析技術(shù)之一，用于分析數(shù)據(jù)和建立數(shù)理模型。它是利用原變量之間的相互關(guān)系，用較少的新變量代替原來較多的變量，利用降維的思想， 在保留原有指標(biāo)所包含信息的基礎(chǔ)上，通過統(tǒng)計分析把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個彼此不相關(guān)的綜合指標(biāo)的一種統(tǒng)計分析方法。

優(yōu)點(diǎn)：一是避免了評價過程中權(quán)重確定的主觀性和隨意性，評價結(jié)果比較符合實際情況；二是可消除評估指標(biāo)之間的相關(guān)影響；三是可減少指標(biāo)選擇的工作量；四是計算比較規(guī)范，便于計算機(jī)實現(xiàn)。

缺點(diǎn)：一是主成分的解釋其含義一般多少帶有點(diǎn)模糊性，不像原始變量的含義那么清楚、確切，這是變量降維過程中不得不付出的代價。二是主成分分析法中，需首先保證所提取的前幾個主成分的累計貢獻(xiàn)率達(dá)到一個較高的水平（即變量降維后的信息量須保持在一個較高水平上），其次對這些被提取的主成分必須都能夠給出符合實際背景和意義的解釋（否則主成分將空有信息量而無實際含義）。

3.效用函數(shù)法

效用函數(shù)的研究最早可追溯到18世紀(jì)數(shù)學(xué)家丹尼爾？伯努利（Danniel Bernoulli）關(guān)于“圣彼得堡悖論（St.Petersburg Paradox）”的研究?？萍柬椖吭u估指標(biāo)眾多，需要用到多指標(biāo)體系下的評估方法。對于多指標(biāo)綜合評價，簡單的思想是：將多個評價指標(biāo)進(jìn)行同度量化，然后再按照一定得合成模型加權(quán)求得總評價值。多指標(biāo)體系下的各指標(biāo)同度量化一般采用效用函數(shù)評價方法。所謂效用， 是對總目標(biāo)的效能價值或貢獻(xiàn)大小的一種測度。在風(fēng)險決策的情況下， 可用效用來量化決策者對待風(fēng)險的態(tài)度。通過效用這一指標(biāo)， 可將某些難以量化、有質(zhì)的差別的事物（ 事件） 給予量化，將要考慮的因素折合為效用值， 得出各方案的綜合效用值，再進(jìn)行決策。

優(yōu)點(diǎn)：方法簡單和可操作性強(qiáng)。

缺點(diǎn)：科技評價指標(biāo)體系中，不同類別的科技指標(biāo)的重要程度有所不同，而效用函數(shù)法中的權(quán)重是由評估人員主觀確定的，因此科學(xué)性有所欠缺，往往評估結(jié)果與實際狀況出入較大。

4.模糊綜合評估法

模糊綜合評判最早是由我國學(xué)者汪培莊1980年提出的，這一應(yīng)用方法深受廣大科技工作者的歡迎和重視，并且得到廣泛的應(yīng)用。模糊綜合評價法（Fuzzy Comprehensive Evaluation，簡稱FCE）是以模糊數(shù)學(xué)為基礎(chǔ)，應(yīng)用模糊關(guān)系合成的原理，對受到多種因素制約的事物或?qū)ο螅?將一些邊界不清的、不易定量的因素定量化， 進(jìn)行綜合評價的一種方法。即把待考察的模糊對象以及反映模糊對象的模糊概念作為一定的模糊集合，建立適當(dāng)?shù)碾`屬函數(shù)，并通過模糊集合論的有關(guān)運(yùn)算和變換，對模糊對象進(jìn)行定量分析。

優(yōu)點(diǎn)：一是數(shù)學(xué)模型簡單，容易掌握；二是所得結(jié)果為一向量，克服了傳統(tǒng)數(shù)字學(xué)方法結(jié)果單一的缺陷，結(jié)果包含的信息豐富；三是較好地解決了評估指標(biāo)和評估標(biāo)準(zhǔn)模糊性的問題， 克服了人的主觀臆斷， 增強(qiáng)了評估結(jié)果的說服力和準(zhǔn)確性；四是能較全面地匯總各評價主體的意見，綜合反映被評對象的優(yōu)劣程度。

缺點(diǎn)：一是各因素權(quán)重的確定帶有一定的主觀性； 二是不能解決評價指標(biāo)間相關(guān)造成的信息重復(fù)的問題；三是在某些情況下，隸屬函數(shù)的確定有一定困難，過于繁瑣。

5.灰色綜合評判法

1982年，中國學(xué)者鄧聚龍教授創(chuàng)立的灰色系統(tǒng)理論，是一種研究少數(shù)據(jù)、貧信息、不確定性問題的新方法?；疑到y(tǒng)理論以“部分信息已知，部分信息未知”的“小樣本”“貧信息”不確定性系統(tǒng)為研究對象，主要通過對“部分”已知信息的生成、開發(fā)，提取有價值的信息，實現(xiàn)對系統(tǒng)運(yùn)行行為、演化規(guī)律的正確描述和有效監(jiān)控。灰色綜合評判法就是基于灰色系統(tǒng)理論，在已知信息不充分的前提下，評判具有模糊因素的事物或現(xiàn)象的一種方法，在某一時段所處的狀態(tài)， 針對預(yù)定的目標(biāo)，通過系統(tǒng)分析，做出一種介于定性與定量之間的評價與描述， 以便在更高的層次上，對系統(tǒng)的綜合效果與整體水平形成一個可供比較的概念與類別。

優(yōu)點(diǎn)：一是不需要大量的樣本；二是從等級的不明確性出發(fā)，具有較高的分辨力；三是最大程度的綜合考慮了每一個樣本數(shù)據(jù)對最終評價結(jié)果的影響，得出的結(jié)論在理論上更符合被評對象的本原屬性；四是可以用于評定等級，也可用于排序選優(yōu)。

缺點(diǎn)：一是現(xiàn)在常用的灰色關(guān)聯(lián)度量化模型不能全面反映事物之間的關(guān)系；二是不能解決評價指標(biāo)間相關(guān)造成的評價信息重復(fù)問題，指標(biāo)的選擇對評判結(jié)果影響很大。

綜上所述，每種方法各有利弊，項目評估應(yīng)針對不同評估階段，選擇一種或多種方法進(jìn)行全方面的綜合評估。而對繼續(xù)教育機(jī)構(gòu)的教學(xué)研究項目而言，不僅要評估項目本身，還要評估項目對教學(xué)的成效以及對繼續(xù)教育機(jī)構(gòu)的貢獻(xiàn)度，做出定性評價的同時，也應(yīng)根據(jù)具體指標(biāo)情況、結(jié)合各種方法的優(yōu)缺點(diǎn)開展定量分析。

三、結(jié)語

近十多年來，國內(nèi)外也出現(xiàn)了一些新的評估模型和方法，因其理論上無重大突破，未能完全克服經(jīng)典方法中存在的局限性，故近十幾年的評估實踐中，仍然還是這些比較經(jīng)典的評估方法和模型起主導(dǎo)作用。

評估是事物價值在人的意識中的反映，其本身具有主觀性。本文通過對可參考的國內(nèi)外經(jīng)典的科技評估方法梳理，對比研究發(fā)現(xiàn)，教學(xué)研究項目評估工作中，首先應(yīng)制定規(guī)范的評估程序，針對不同的評估對象、不同的評估指標(biāo)體系，選用適用的評估模型和數(shù)據(jù)處理方法，也可對經(jīng)典的評估方法加以修正改造，盡量縮小評估中的差異性，使評估方法具有減弱或消除主觀因素成分的功能，以期獲得更加可靠的評估信息，適應(yīng)特定的評估對象，提高評估的科學(xué)性。

參考文獻(xiàn)

[1]吳述堯.同行評議方法論[M].北京：科學(xué)出版社，1996.

[2]周琳，殷學(xué)平.科研項目評估方法的研究[J].解放軍醫(yī)院管理，2002（1）.

[3]趙煥臣等.層次分析[M].北京：科學(xué)出版社，1986.

[4]陳挺.效用函數(shù)法.決策科學(xué)與系統(tǒng)工程[M].北京：中國國防科學(xué)技術(shù)出版社，1990.

[5]郭齊勝，郅志剛，楊瑞平.裝備效能評估概論[M].北京：國防工業(yè)出版社會，2005.

[6]吳健峰.基于模糊規(guī)則的現(xiàn)代教學(xué)評價的研究與實現(xiàn)[D].上海：華東師范大學(xué)，2007.

[7]張麗娜.AHP-模糊綜合評價法在生態(tài)工業(yè)園區(qū)評價中的應(yīng)用[D].大連：大連理工大學(xué)，2006.

[8]陳海素.基于AHP和模糊評判法的土地利用總體規(guī)劃實施評價研究[D].福州：福建師范大學(xué)，2008.

[9]杜棟，龐慶華，吳炎.現(xiàn)代綜合評價方法與案例精選[M].北京：清華大學(xué)出版社，2011.