俞立平

(浙江工商大學 管理工程與電子商務學院，浙江 杭州 310018)

一、引言

在科技評價中，即使是在等權重的情況下，由于標準化后評價指標的均值并不相等，導致評價得分中不同指標的重要性也不相同，即評價指標具有“自然權重”。計算自然權重的方法是，在不賦權評價的情況下，分別計算各指標均值占評價結果均值的比重。以學術期刊評價為例，JCR 2015經(jīng)濟學期刊中，指標經(jīng)過標準化處理后，影響因子的均值為18.91，總被引頻次的均值為5.82，假設就采用這2個指標進行等權重評價，即直接相加，那么評價結果的均值就是24.73，影響因子均值占總得分的76.47%，而總被引頻次均值僅占23.53%。也就是說，由于評價指標的自然權重問題，導致影響因子與總被引頻次的權重分別為0.765、0.235，而不是人們認為的0.5、0.5，影響因子的權重會高很多(表1)。

在科技評價中，自然權重問題普遍存在，尤其在學術期刊評價中這個問題更為突出，但并沒有引起足夠的重視。主要原因是學術期刊評價指標數(shù)據(jù)絕大多數(shù)并不服從正態(tài)分布。Vinkler證明影響因子并不是論文的真實被引量，僅僅可作為被引幾率的測度指標，認為引文分布具有右偏性[1]。Seglen發(fā)現(xiàn)引文分析數(shù)據(jù)具有冪律分布特征，屬于典型的偏態(tài)分布[2]。Adler也發(fā)現(xiàn)引用數(shù)據(jù)分布是右偏的，服從冪律法則[3]。在學術期刊不服從正態(tài)分布的情況下，為了評價進行的指標數(shù)據(jù)標準化處理，無論是正向指標還是反向指標，大多數(shù)情況下會采用線性標準化方法，標準化指標的數(shù)據(jù)分布依然不會改變，即標準化指標同樣不服從正態(tài)分布，這樣標準化指標均值相等的可能性極小，自然權重問題就會很突出。

在JCR2015經(jīng)濟學期刊中，根據(jù)Jarque-Bera正態(tài)分布檢驗結果，所有的評價指標均不服從正態(tài)分布。根據(jù)標準化數(shù)據(jù)計算的自然權重，最大的是影響因子百分位，權重高達0.288，而最小的為總被引頻次，權重僅為0.030。也就是說，影響因子百分位由于均值為55.059，在評價中的實際重要性自然很大，而總被引頻次的均值僅為5.824，在評價結果中幾乎忽略不計。

表1 JCR 2015經(jīng)濟學期刊自然權重與數(shù)據(jù)特點

自然權重問題是個隱含問題，會嚴重影響科技評價的主觀或客觀賦權工作，導致科技評價賦權混亂，嚴重降低科技評價質(zhì)量。自然權重問題是科技評價中的基礎理論問題，分析其產(chǎn)生的原因以及對評價結果的影響，進而提出改進措施，不僅有利于豐富評價理論，而且對于科技評價實踐具有重要的應用價值，可以降低評價系統(tǒng)誤差，提高評價質(zhì)量，因而具有重要的意義。

二、文獻綜述

在評價中，權重的確定方法一直是研究熱點，也是評價工作的首要問題。第一類是主觀賦權方法，Dalkey等創(chuàng)立了德爾菲法，從而避免集體討論存在的屈從于權威或盲目服從多數(shù)的缺陷，在新產(chǎn)品市場需求和技術預測等領域得到了普遍應用[4]。Saaty應用網(wǎng)絡系統(tǒng)理論和多目標綜合評價方法，創(chuàng)立了層次分析法(AHP)，從而為多準則、多目標或無結構特性的復雜決策和評價問題提供了相對簡便的方法[5]。Ramanathan等在假設專家之間相互熟識的基礎上，通過專家之間的互評來確定專家權重[6]。陸海琴、舒立認為專家權重應該由權威性權重、熟悉度權重和公正性權重等三部分構成，并且詳細討論了這三類權重的設計思路及總權重的計算模式[7]。鐘生艷、魏巍等運用層次分析法確定權重，對醫(yī)院科技能力進行評價[8]。許海云等依據(jù)序關系轉(zhuǎn)換權重的原理和算法，結合專家建議得出各文獻類型的相對序關系，并進一步轉(zhuǎn)換為相應的權重值，最終形成基于期刊文獻類型的序關系轉(zhuǎn)換權重的影響因子[9]。何育靜、夏永祥采用主觀賦權進行產(chǎn)城融合評價[10]。

第二類是客觀賦權方法。Kahneman等認為決策者概率權重函數(shù)遵循非線性的形式，給出了一種概率權重函數(shù)表達式，并對其中的參數(shù)取值進行了估計[11]。Meymandpour等基于信息論計算關聯(lián)數(shù)據(jù)網(wǎng)絡中資源(節(jié)點和關系)的信息量，以此來衡量資源在領域內(nèi)的重要性[12]。Gennert等構造了一個凸性損失函數(shù)，依據(jù)能避免極端大或極端小權重的最小化最大值原則，通過求極值得出一個特殊的最優(yōu)權重向量[13]。張立軍、鄒琦以路徑分析方法為基礎建立指標權重，構建基于路徑系數(shù)權重體系的科技成果獎勵評價模型[14]。周志遠、沈固朝基于粗糙集理論確定權重，認為該方法不需要任何先驗信息，即可完成權重計算，可使情報分析結果更加客觀、有效[15]。熊文濤、齊歡等針對兩類利用離差計算屬性客觀權重的不足，提出了一種新的基于離差最大化的客觀權重確定模型[16]。

第三類是主觀與客觀相結合的賦權方法。賴敏、王廣生采用專家調(diào)研法和層次分析法相結合確定電力企業(yè)科技項目后評估指標權重系數(shù)[17]。張立軍、袁能文在分析專家權威性和可信度測量方法的基礎上，提出一種同時考慮變異系數(shù)權重與專家權重的科技成果綜合評價模型[18]。何倩等采用主觀賦權(專家打分法、對比排序法、層次分析法)和客觀賦權(標準離差法、熵權法、CRITIC 法)相結合的方法制定科技實力指標權重[19]。王瑛、李菲采用聚類分析法將專家的動態(tài)綜合評價轉(zhuǎn)換為靜態(tài)綜合評價，引入橫向拉開檔次法對各指標客觀賦權，結合指標主觀權重，運用數(shù)學規(guī)劃法得到指標的集成權重[20]。鐘賽香等對7種指標權重客觀賦值方法，采用“異同比較”，分析不同方法在不同參數(shù)設置下和聚類與否情況下的權重值、評價值和評價序的變化特征與分布規(guī)律，對JCR 中 70 種人文地理期刊進行排序分析[21]。夏維力、丁珮琪使用主、客觀方法對指標賦權，主觀方法選用專家德爾菲法和層次分析法，客觀方法選用標準離差法、熵權法和 CRITIC法[22]。

關于權重沖突與本源問題研究，傅蓉認為受考核指標的統(tǒng)計特征、計分方式等影響，平衡計分卡考核指標的結果權重與初始設定權重相比出現(xiàn)明顯的標準差和均值權重不一致，這種不一致影響考評排名和分數(shù)，從而扭曲考核的激勵效果[23]。俞立平等以CSTPC數(shù)據(jù)庫醫(yī)學學術期刊為例，首先應用客觀評價方法進行評價，然后通過回歸分析或排序選擇模型估算出部分非直接賦權的客觀評價法的權重，發(fā)現(xiàn)不同客觀評價方法對相同指標的權重差異，單純采用客觀評價法進行評價結果是不可靠的[24]。俞立平、劉愛軍采用傳統(tǒng)回歸和嶺回歸計算模擬權重進而對TOPSIS權重的單調(diào)性進行檢驗，發(fā)現(xiàn)TOPSIS并不具有權重單調(diào)性[25]。

從目前的研究看，學術界在權重的分類、權重的賦值方法、現(xiàn)有評價方法的權重優(yōu)化等領域研究成果極為豐富，主觀賦權方法較少，客觀賦權方法領域的成果較多。近年來，在評價應用中，主觀與客觀賦權方法相結合得到了廣泛的應用，因為它能綜合主觀與客觀賦權評價的優(yōu)點。但是關于評價指標自然權重問題的研究，學術界關注較少，主要原因有以下幾個方面：

第一，現(xiàn)實生活中，盡管一些領域數(shù)據(jù)不服從正態(tài)分布，但是很多領域評價指標往往服從正態(tài)分布，所以大多數(shù)評價指標的均值往往比較接近，所以自然權重問題不嚴重，但只要存在這個問題，也要進行糾正，這是統(tǒng)計學方法不夠優(yōu)化的體現(xiàn)。

第二，在評價對象較少的情況下，由于區(qū)分度較大，即使不考慮自然權重導致最終的實際權重發(fā)生了扭曲，但對評價結果排序的影響不至于太大，從而掩蓋了這個問題。

第三，一些需要賦權的非線性評價方法，其方法本身就存在權重扭曲問題，即由于采用非線性數(shù)學方法進行評價，導致權重也是非線性的，發(fā)生了變化，同樣掩蓋了自然權重問題。

第四，自然權重問題是個隱含問題，容易被熟視無睹。

本文在對自然權重進行深入分析的基礎上，提出自然權重、實際權重的概念以及測度方法，并采用一種新的均值標準化方法來解決這個問題，論文以JCR2015經(jīng)濟學期刊為例，舉例說明其原理與解決方法。

三、設計權重、自然權重與實際權重

(一)幾個權重的關系

以線性加權匯總評價為例，其計算公式為：

Ci=ω1X1+ω2X2+…+ωnXn

(1)

其中，ωj表示權重，Xj是標準化后的評價指標，Ci表示評價得分。ωj可以是主觀賦權，也可以是客觀賦權，或者主觀與客觀相結合賦權，這是傳統(tǒng)意義上的權重，為了以示區(qū)別，將該權重稱為設計權重，傅榮將該權重稱為初始權重[23]，這里將其用ωD表示。

自然權重ωS是假設設計權重相等的情況下，各指標的相對重要性，可以用各指標的均值或匯總值所占比重表示：

(2)

實際權重是在評價結果中，各指標實際均值或者匯總值所占的比重，傅榮稱其為結果權重[23]，這里用ωR表示：

(3)

很明顯，設計權重ωD、自然權重ωS、實際權重ωR并不相等。

(二)自然權重的修正

在線性評價中，只有保證實際權重與設計權重相等，才能真正發(fā)揮權重在評價中的作用。由于自然權重的存在，或者說由于評價指標數(shù)據(jù)的差異性，導致這種情況是一種理想狀況，很難在現(xiàn)實生活中實現(xiàn)。為了做到設計權重與實際權重相等，必須徹底消除自然權重問題，一種最為簡捷的方法就是通過標準化方法，使得所有評價指標的均值相等，這樣其匯總值也相等，即：

(4)

則式(3)變?yōu)椋?/p>

(5)

均值標準化有兩個前提條件必須處理好：第一，指標標準化后均值必須相等；第二，指標標準化后極大值相等，即極大值必須仍然是1或者100(以100為例)。第一個前提條件可以理解，第二個前提的根本原因是，在特殊情況下，不能使某個評價對象的評價值大于100，如果某個評價對象每項指標都是最高，就有可能出現(xiàn)這種情況，不符合常理。為此，本文提出一種“動態(tài)最大均值逼近標準化”方法，其步驟是見圖1。

圖1 標準化過程圖

第一，計算所有指標標準化后的均值，找到最大的均值K。

第二，除了均值極大值指標外，其他指標需要繼續(xù)處理。對于指標Xj，加上所有指標中最大均值K與Xj均值的差，這樣雖然均值相等，但極大值超過100。

第三，對Xj進行二次標準化，所有指標除以極大值，這樣極大值雖然為100，但均值又減小了，所以還要第二步，以提高均值。

第四，如此循環(huán)，直到第二步極大值在許可范圍內(nèi)，比如極大值超過范圍在1%以內(nèi)，即小于101。

因為這種數(shù)據(jù)標準化是動態(tài)的，需要循環(huán)多次，所以將這種標準化方法稱為“動態(tài)最大均值逼近標準化”，由于這種標準化方法是一種線性變換，所以可以保持原始指標中的大量信息，不會破壞原始指標的數(shù)據(jù)分布。一般而言，只要保證標準化方法的線性變化，不會增加新的誤差，也不會使標準化后的數(shù)據(jù)信息量降低。

下面對該標準化方法的均值逼近原理進行證明。假設評價指標中均值最大的指標均值為K，第二次標準化時首先將所有的指標加上均值差，即：

(6)

下面進行二次標準化：

(7)

只要證明Xj''的均值遞增即可，也就是說要證明Xj''的均值減去Xj的均值大于0，即：

(8)

由于K是所有指標中均值極大值的指標，而Xj的均值肯定小于標準化的極大值100，所以式(8)一定是大于0的，也就是說，動態(tài)最大均值逼近標準化方法是單調(diào)遞增的，理論上均值可以無限逼近K。

四、實證結果

(一)數(shù)據(jù)來源

本文以JCR2015經(jīng)濟學期刊為例，為了精簡起見，以總被引頻次、影響因子、特征指標3個指標評價為例，進行相關說明。JCR2015經(jīng)濟學期刊共有333種，刪除了部分缺失數(shù)據(jù)期刊，最終還有278種。

(二)線性加權評價的自然權重

首先是設計權重，也就是評價時通過主觀與客觀方法確定的權重，作為一個算例，假定總被引頻次的權重為0.3、影響因子的權重為0.5、特征因子的權重為0.2。在計算自然權重時，對所有指標標準化后計算其匯總值和均值，然后再計算每個指標匯總值或均值占所有指標的比重，這就是自然權重，結果如表2所示。

表2 自然權重

自然權重之間相差較大，影響因子的自然權重最大，為0.636，總被引頻次的自然權重為0.196，特征因子的自然權重為0.168，影響因子的自然權重超過總被引頻次和特征因子的總和。可見，在科技評價中，自然權重對評價產(chǎn)生了非常重要的影響，但是這種影響是隱含的、間接的。

(三)動態(tài)最大均值逼近標準化

1.總被引頻次的標準化

影響因子標準化結果如表3所示(部分期刊)。3個指標中，均值極大值是影響因子為18.911，總被引頻次為5.824，對總被引頻次進行標準化時，首先加上均值差13.087，這樣雖然均值相等了，但極大值為113.087。超過100，所以進行2次標準化，這樣導致均值又減小到16.723，所以繼續(xù)加上均值差2.188，此時極大值又超過100，變?yōu)?02.188，超過閾值1%，所以還需要進行3次標準化，再加上均值差0.405，此時均值和最大的影響因子均值相等，極大值為100.405，在1%范圍以內(nèi)，此時標準化結束。也就是說，通過3次標準化，3次加均值差以后，總被引頻次標準化后均值和影響因子相等，從而消除了自然權重。

表3 總被引頻次標準化(部分)

2.特征因子標準化

根據(jù)同樣原理進行特征因子的標準化，同樣經(jīng)過3輪標準化和3輪加均值差，最終特征因子的極大值為100.427，也在1%范圍內(nèi)，至此數(shù)據(jù)標準化結束。

(四)消除自然權重后評價結果比較

傳統(tǒng)線性加權匯總評價，是不考慮自然權重的，為了比較采用“動態(tài)最大均值逼近標準化”消除自然權重后評價結果的差異，首先采用傳統(tǒng)方法進行加權匯總評價，然后消除自然權重后進行加權匯總評價，結果如表4所示，由于篇幅所限，本文只公布了排名前30的期刊。

消除自然權重前后評價結果還是有差異的，首先是排名第1的期刊就發(fā)生了變化，排名2～15的期刊變化不大，但15名之間的期刊排名變化較大。兩種評價結果的相關系數(shù)高達0.999 5，盡管如此，涉及到具體排名，還是有差異的，也就是說，消除自然權重與否對總體評價影響不大，但是對個體評價影響較大。因此，在進行小組、區(qū)域等具有總體性質(zhì)的評價中，可以不消除自然權重，但在進行個體評價以及評優(yōu)時，還是要消除自然權重的。

(五)三種權重的比較

最后，計算出自然權重和實際權重，并與設計權重進行比較，結果如表5所示。如果采用傳統(tǒng)的線性加權匯總，那么設計權重、自然權重和實際權重均不一樣。本例中，由于影響因子的自然權重和設計權重均最大，因此其實際權重也最大，達到0.775，而特征因子的自然權重和設計權重均最小，因此其實際權重更小，只有0.082。

表4 消除自然權重前后評價結果比較

表5 修正前三種權重比較

如果采用“動態(tài)最大均值逼近標準化”方法進行原始指標的標準化處理，那么這3種權重結果如表6所示，也就是說，實際權重等于設計權重，而自然權重相等，這樣使得評價賦權的意義更為清晰，使得評價賦權真正發(fā)揮賦權的作用。

表6 修正后三種權重比較

五、結論與討論

(一)自然權重對科技評價結果會造成干擾

在科技評價中，自然權重問題是普遍存在的現(xiàn)象，它是隱藏在評價指標數(shù)據(jù)中的一種權重，根本原因是評價指標不服從正態(tài)分布、評價指標均值不相等所致。在加權線性評價中，如果認識不到自然權重問題，將造成實際權重的嚴重扭曲，從而對評價結果產(chǎn)生影響，降低評價質(zhì)量，尤其是在個體評價中。

(二)動態(tài)最大均值逼近標準化能消除自然權重

為了消除評價指標的自然權重問題，基于標準化指標均值相等、極大值相等原則，本文提出了動態(tài)最大均值逼近標準化方法。其原理是，首先采用傳統(tǒng)的正向指標除以極大值方法進行標準化，然后全部指標加上該指標均值與均值極大值的差，這樣處理后雖然均值相等，但極大值變大了；再次進行標準化處理，這樣會導致均值降低，所以需再加上該指標均值與均值極大值的差。如此循環(huán)，直到極大值超過范圍在1%以內(nèi)。理論證明，每循環(huán)1次，指標均值就遞增1次，具有單調(diào)性。實踐證明，經(jīng)過3次左右循環(huán)就能取得比較滿意的效果，并且徹底消除了自然權重問題。

(三)反向指標可采用類似方法消除自然權重

反向指標也可以采用類似方法進行處理。首先要進行正向化處理，在第一次標準化時進行；然后就可以采用動態(tài)最大均值逼近標準化方法進行消除自然權重處理，然后再進行評價。

(四)自然權重問題具有一定的普遍性

自然權重的存在扭曲評價結果，具有一定的普遍性，是統(tǒng)計學和多屬性評價中的基本問題，在科技評價中這個問題更加嚴重而已。所以重視自然權重現(xiàn)象，通過動態(tài)最大均值逼近標準化方法將其消除，有利于保證設計權重的初衷，使得評價更加公平合理。