黃 超，劉書(shū)雷，吳昕陽(yáng)，武小悅

（1.國(guó)防科技大學(xué)系統(tǒng)工程學(xué)院；2.國(guó)防科技大學(xué)前沿交叉學(xué)科學(xué)院，湖南長(zhǎng)沙 410073）

1 研究背景

“技術(shù)評(píng)估”的概念于1960 年在美國(guó)首次提出，重點(diǎn)關(guān)注超音速運(yùn)輸、環(huán)境污染和基因篩查倫理等的影響［1］。1972 年，美國(guó)國(guó)會(huì)通過(guò)了《技術(shù)評(píng)估法案》，成立了技術(shù)評(píng)估辦公室（Office of Technology Assessment,OTA），為公共政策和立法相關(guān)的科學(xué)和技術(shù)問(wèn)題提供中立客觀依據(jù)，為技術(shù)影響和發(fā)展提供早期預(yù)警［2］。Coates［3］將技術(shù)評(píng)估定義為一種政策研究工具，通過(guò)系統(tǒng)地識(shí)別、分析和評(píng)估技術(shù)對(duì)社會(huì)、文化、政治、環(huán)境等產(chǎn)生的短期和長(zhǎng)期的影響，為決策者提供合理選擇技術(shù)的決策信息。任何國(guó)家投入科學(xué)研究領(lǐng)域的資源是有限的，不可能大力發(fā)展所有領(lǐng)域的各項(xiàng)技術(shù)［4］，因此，為了識(shí)別領(lǐng)域中的關(guān)鍵技術(shù)，了解關(guān)鍵技術(shù)的發(fā)展現(xiàn)狀，預(yù)測(cè)關(guān)鍵技術(shù)的未來(lái)發(fā)展趨勢(shì)，幫助決策者合理分配資源，指導(dǎo)制定正確的發(fā)展路線和科學(xué)的戰(zhàn)略決策，各個(gè)國(guó)家都十分重視開(kāi)展技術(shù)評(píng)估工作。

專家評(píng)價(jià)是利用專家給出的信息對(duì)事物進(jìn)行評(píng)價(jià)的方法。在實(shí)際應(yīng)用中，對(duì)于難以獲取數(shù)據(jù)進(jìn)行客觀分析的問(wèn)題常采用專家評(píng)價(jià)進(jìn)行評(píng)估分析［5］，例如績(jī)效評(píng)價(jià)、技術(shù)方案評(píng)價(jià)、人員選拔、風(fēng)險(xiǎn)評(píng)估和科研項(xiàng)目立項(xiàng)評(píng)審等。專家評(píng)價(jià)是現(xiàn)有技術(shù)評(píng)估領(lǐng)域用于獲取數(shù)據(jù)的主要方法之一，由于技術(shù)的復(fù)雜性和評(píng)估標(biāo)準(zhǔn)的多樣性，單一領(lǐng)域內(nèi)的專家難以給出客觀結(jié)論，因此，技術(shù)評(píng)估需要不同領(lǐng)域內(nèi)的專家進(jìn)行合作，通常涉及R&D 研究人員、工程技術(shù)專家、政治學(xué)家、經(jīng)濟(jì)學(xué)家等［6］。與個(gè)體評(píng)價(jià)相比，專家群體評(píng)價(jià)集成了多位專家的評(píng)價(jià)信息，能充分利用不同專家的知識(shí)結(jié)構(gòu)和思維優(yōu)勢(shì)，從而對(duì)一些復(fù)雜、重大的決策問(wèn)題作出相對(duì)科學(xué)的評(píng)估分析［7］。由于專家的知識(shí)結(jié)構(gòu)、社會(huì)經(jīng)驗(yàn)、個(gè)人偏好、評(píng)價(jià)尺度不同，以及其他因素的影響，對(duì)于同一問(wèn)題，不同專家可能有不同的認(rèn)識(shí)和判斷，給出的評(píng)價(jià)結(jié)果會(huì)存在一定程度的差異［8］。專家一致也稱為“意見(jiàn)一致”或“專家共識(shí)”，又被稱為“專家意見(jiàn)的協(xié)調(diào)程度”［9］，反映了所有專家對(duì)研究對(duì)象的評(píng)價(jià)結(jié)果一致或相近的程度。專家一致性可用于描述專家群體的評(píng)價(jià)結(jié)果達(dá)成一致的程度［10］。對(duì)專家一致性進(jìn)行評(píng)價(jià)，有助于甄別與群體意見(jiàn)差別較大的專家，從而進(jìn)一步了解產(chǎn)生不一致的原因或剔除不一致的評(píng)價(jià)意見(jiàn)，逐漸使群體達(dá)成共識(shí)，有助于研究人員作出更科學(xué)合理的判斷與決策［11］。

專家一致性是群決策的核心重點(diǎn)問(wèn)題，受到領(lǐng)域?qū)W者的廣泛關(guān)注。對(duì)現(xiàn)有相關(guān)文獻(xiàn)進(jìn)行梳理分析發(fā)現(xiàn)，國(guó)內(nèi)外學(xué)者對(duì)專家一致性評(píng)價(jià)方法進(jìn)行研究時(shí)，多以使用現(xiàn)有專家一致性評(píng)價(jià)方法解決現(xiàn)實(shí)應(yīng)用中的專家一致性評(píng)價(jià)問(wèn)題為目標(biāo)，如Wei 等的研究［12］，或提出一種新的專家一致性評(píng)價(jià)方法為目標(biāo)，如Han 等的［13］，且已發(fā)表的文獻(xiàn)中應(yīng)用類(lèi)和理論類(lèi)文獻(xiàn)居多、綜述類(lèi)文獻(xiàn)較少，僅發(fā)現(xiàn)張恒杰等［14］對(duì)群體共識(shí)的研究范式和進(jìn)展進(jìn)行了綜述，但該研究并未介紹專家一致性評(píng)價(jià)方法的分類(lèi)和研究現(xiàn)狀。經(jīng)過(guò)回顧分析發(fā)現(xiàn)，鮮有針對(duì)專家一致性評(píng)價(jià)方法發(fā)展現(xiàn)狀及趨勢(shì)的綜述類(lèi)文章。鑒于此，本研究依據(jù)現(xiàn)有文獻(xiàn)，系統(tǒng)梳理總結(jié)關(guān)于專家一致性評(píng)價(jià)方法的研究現(xiàn)狀和發(fā)展趨勢(shì)，并對(duì)未來(lái)的研究工作進(jìn)行展望，以期幫助相關(guān)領(lǐng)域?qū)W者對(duì)專家一致性評(píng)價(jià)方法有一個(gè)系統(tǒng)清晰的認(rèn)識(shí)，促進(jìn)專家一致性研究的進(jìn)一步發(fā)展和實(shí)際應(yīng)用。

2 專家一致性評(píng)價(jià)方法的分類(lèi)

技術(shù)評(píng)估中的專家評(píng)價(jià)主要用于以下兩類(lèi)問(wèn)題：（1）指標(biāo)評(píng)價(jià)。針對(duì)特定指標(biāo)，要求專家給出評(píng)價(jià)對(duì)象的指標(biāo)評(píng)價(jià)值。在這種情況下，專家給出的是一種絕對(duì)意義上的信息，例如采用百分制描述某項(xiàng)技術(shù)的發(fā)展水平。（2）方案排序，即要求專家給出若干被評(píng)價(jià)對(duì)象的偏好排序。在這種情況下，專家給出的是一種相對(duì)意義上的信息，例如依據(jù)重要性對(duì)多項(xiàng)技術(shù)進(jìn)行排序。這兩類(lèi)問(wèn)題都需要運(yùn)用集結(jié)模型將各位專家意見(jiàn)聚合成專家群體的評(píng)價(jià)結(jié)果。

根據(jù)上述專家評(píng)價(jià)的兩類(lèi)問(wèn)題，將專家一致性評(píng)價(jià)方法分為指標(biāo)評(píng)價(jià)問(wèn)題的專家一致性評(píng)價(jià)方法和方案排序問(wèn)題的專家一致性評(píng)價(jià)方法。由于專家一致性評(píng)價(jià)方法的提出背景不同，模型的復(fù)雜程度以及應(yīng)用領(lǐng)域的范圍不同，因此每個(gè)方法都有其適用性和局限性。其中，指標(biāo)評(píng)價(jià)問(wèn)題中的專家一致性評(píng)價(jià)方法的關(guān)鍵目的為識(shí)別專家對(duì)指標(biāo)賦值是否達(dá)成一致；方案評(píng)價(jià)問(wèn)題中的專家一致性評(píng)價(jià)方法則主要用于解決排序信息，例如偏好矩陣和序數(shù)值等類(lèi)型的專家數(shù)據(jù)的一致性判斷問(wèn)題，不僅需要判斷專家之間是否達(dá)成一致，而且還需要給出不一致的修改方向，以促進(jìn)共識(shí)達(dá)成。兩類(lèi)問(wèn)題中的一致性方法如表1 所示。

表1 專家一致性評(píng)價(jià)方法分類(lèi)

3 指標(biāo)評(píng)價(jià)問(wèn)題的專家一致性評(píng)價(jià)方法

依據(jù)評(píng)價(jià)指標(biāo)的數(shù)量，可將專家一致性評(píng)價(jià)方法分為單指標(biāo)下專家一致性評(píng)價(jià)方法和多指標(biāo)下專家一致性評(píng)價(jià)方法。

3.1 單指標(biāo)下專家一致性評(píng)價(jià)方法

單指標(biāo)是指對(duì)專家給出的各項(xiàng)指標(biāo)的評(píng)分值獨(dú)立處理，即針對(duì)所有指標(biāo)下的評(píng)價(jià)信息獨(dú)立判斷。現(xiàn)有研究主要依據(jù)方差/標(biāo)準(zhǔn)差、變異系數(shù)等離散程度統(tǒng)計(jì)量對(duì)專家一致性進(jìn)行分析。

方差/標(biāo)準(zhǔn)差反映了專家評(píng)價(jià)數(shù)據(jù)的絕對(duì)離散程度。若方差/標(biāo)準(zhǔn)差小，說(shuō)明專家意見(jiàn)集中，反之則說(shuō)明專家意見(jiàn)離散程度大。如丁夢(mèng)蘭［15］通過(guò)計(jì)算每個(gè)指標(biāo)下專家評(píng)分的標(biāo)準(zhǔn)差，判斷一、二級(jí)指標(biāo)中專家對(duì)某一指標(biāo)重要性評(píng)價(jià)的一致性程度，用于構(gòu)建政府?dāng)?shù)字化轉(zhuǎn)型背景下公務(wù)員數(shù)字素養(yǎng)評(píng)價(jià)指標(biāo)體系；邢文濤［16］利用方差衡量專家對(duì)指標(biāo)打分意見(jiàn)的統(tǒng)一程度，將均值和方差作為標(biāo)準(zhǔn)，對(duì)單個(gè)指標(biāo)的標(biāo)準(zhǔn)性、指標(biāo)體系的科學(xué)性進(jìn)行評(píng)估，依據(jù)這兩項(xiàng)參數(shù)篩選指標(biāo)，實(shí)現(xiàn)了水運(yùn)工程質(zhì)量評(píng)價(jià)指標(biāo)體系的測(cè)驗(yàn)和完善。

變異系數(shù)反映了專家評(píng)價(jià)的相對(duì)離散程度，描述了專家評(píng)分的相對(duì)波動(dòng)程度，變異系數(shù)越小，表示專家意見(jiàn)分歧越小，意見(jiàn)越集中、協(xié)調(diào)程度越好［17］。根據(jù)王瑞等［18］、Hou 等［19］的研究，一般情況下，當(dāng)變異系數(shù)小于0.25 時(shí)，表示專家協(xié)調(diào)性較好。如田丹等［17］在構(gòu)建北京市產(chǎn)科護(hù)理安全管理評(píng)價(jià)指標(biāo)體系過(guò)程中，使用變異系數(shù)衡量各專家對(duì)指標(biāo)的重要性、可行性、敏感性評(píng)分的波動(dòng)程度，判斷專家評(píng)分是否一致；Hou 等［19］在建立基于護(hù)理結(jié)局分類(lèi)的中國(guó)腦卒中住院患者護(hù)理結(jié)果核心評(píng)價(jià)指標(biāo)體系的研究中，運(yùn)用變異系數(shù)度量被咨詢專家對(duì)一級(jí)指標(biāo)、二級(jí)指標(biāo)、三級(jí)指標(biāo)的評(píng)分意見(jiàn)的一致性。

基于離散程度的專家一致性評(píng)估方法模型簡(jiǎn)單、計(jì)算難度小，解釋直觀、容易理解，常被應(yīng)用于細(xì)化分析專家群體對(duì)評(píng)估對(duì)象在各個(gè)評(píng)價(jià)指標(biāo)下評(píng)分的一致性程度，例如在進(jìn)口食品社會(huì)關(guān)注度研究中專家對(duì)不同品類(lèi)食品的社會(huì)關(guān)注度的評(píng)價(jià)一致性［5］、指標(biāo)體系構(gòu)建過(guò)程中專家對(duì)各指標(biāo)重要性的評(píng)分一致性等，但該方法忽略了專家獨(dú)特的知識(shí)背景、興趣和社會(huì)關(guān)系，在評(píng)估過(guò)程中認(rèn)為專家的重要性一致，未考慮專家權(quán)重對(duì)專家一致性的影響。

3.2 多指標(biāo)下專家一致性評(píng)價(jià)方法

多指標(biāo)是將專家給出的多項(xiàng)指標(biāo)的評(píng)分值統(tǒng)一處理，即針對(duì)多個(gè)指標(biāo)下的評(píng)價(jià)信息集中判斷。對(duì)于多指標(biāo)評(píng)價(jià)問(wèn)題，主要依據(jù)相關(guān)關(guān)系、顯著性檢驗(yàn)等方法分析專家一致性。

3.2.1 基于相關(guān)關(guān)系的專家一致性評(píng)價(jià)方法

基于相關(guān)關(guān)系的專家一致性評(píng)價(jià)方法，通過(guò)利用不同的相關(guān)關(guān)系測(cè)度衡量專家個(gè)體評(píng)價(jià)信息與專家群體評(píng)價(jià)信息之間的相似程度，進(jìn)而對(duì)專家群體的一致性進(jìn)行判斷。目前常用的相關(guān)關(guān)系測(cè)度方法包括皮爾遜相關(guān)系數(shù)、距離測(cè)度、組內(nèi)相關(guān)系數(shù)等。

采用皮爾遜相關(guān)系數(shù)可以計(jì)算專家個(gè)體與專家群體對(duì)同一研究對(duì)象給出的評(píng)價(jià)信息之間的相似程度，基于此定義群體共識(shí)指標(biāo)。如Zhang 等［20］針對(duì)具有猶豫模糊語(yǔ)言信息的緊急多屬性群決策問(wèn)題提出了一種自適應(yīng)共識(shí)模型，利用皮爾遜相關(guān)系數(shù)定義了專家在各方案上的共識(shí)度，將各方案上所有專家的共識(shí)度聚合得出各方案的共識(shí)度，進(jìn)一步定義了專家個(gè)體貢獻(xiàn)度指標(biāo)和軟群體共識(shí)指標(biāo)。

距離測(cè)度根據(jù)專家個(gè)體評(píng)價(jià)信息與專家群體評(píng)價(jià)信息的距離值定義群體共識(shí)指標(biāo)。如Li 等［21］要求專家使用1～100 的數(shù)值對(duì)各方案在各指標(biāo)下的表現(xiàn)進(jìn)行評(píng)分，利用距離測(cè)度計(jì)算每位專家給出的實(shí)數(shù)值評(píng)價(jià)信息與專家群體實(shí)數(shù)值評(píng)價(jià)信息之間的距離值，得出專家個(gè)體共識(shí)度，對(duì)所有專家個(gè)體共識(shí)度加權(quán)平均獲得群體共識(shí)度，基于此提出了一種基于有限信度和社交網(wǎng)絡(luò)的大規(guī)模群體決策共識(shí)方法；魏翠萍等［22］運(yùn)用猶豫模糊語(yǔ)言術(shù)語(yǔ)集的距離測(cè)度方法，計(jì)算兩兩專家給出的猶豫模糊信息的共識(shí)水平，將所有成對(duì)專家之間的共識(shí)水平聚合，構(gòu)建了群體共識(shí)指標(biāo)。

組內(nèi)相關(guān)系數(shù)（intraclass correlation coefficient，ICC）常用于度量不同評(píng)定者對(duì)同一研究對(duì)象評(píng)價(jià)結(jié)果的一致性或可靠性，可解釋為組間方差與總方差的比值［23］。在專家一致性評(píng)估過(guò)程中，根據(jù)是否考慮評(píng)定者誤差，可分為絕對(duì)一致性和相對(duì)一致性。絕對(duì)一致性ICC 表示為研究對(duì)象方差與總方差（研究對(duì)象方差、評(píng)定者方差和均方誤差的和）的比值，用于衡量評(píng)定者是否給予研究對(duì)象一致的評(píng)分；相對(duì)一致性ICC 則不考慮評(píng)定者方差，用于測(cè)量專家之間的評(píng)分是否高度相關(guān)，在表現(xiàn)形式上僅分母與絕對(duì)一致性有所差別，僅包括研究對(duì)象方差和均方誤差［23］。ICC 值位于區(qū)間［0,1］內(nèi)，越接近1 則表示越一致，一般認(rèn)為低于0.40 表示一致性較差，大于0.75 表示一致性較高［24］。如劉思琦等［25］使用組內(nèi)相關(guān)系數(shù)分析專家在對(duì)錯(cuò) 畸形嚴(yán)重程度的主觀判斷中評(píng)價(jià)的一致性；Chamberlain 等［26］在構(gòu)建預(yù)測(cè)營(yíng)養(yǎng)風(fēng)險(xiǎn)的指標(biāo)研究中，利用組內(nèi)相關(guān)系數(shù)測(cè)試了專家群體對(duì)指標(biāo)重要性評(píng)分的一致性。

基于相關(guān)關(guān)系的專家一致性評(píng)價(jià)方法，既可用于定量數(shù)據(jù)，也可用于定性數(shù)據(jù)，適用范圍廣，已被廣泛應(yīng)用于解決專家整體一致性評(píng)價(jià)問(wèn)題。

3.2.2 基于顯著性檢驗(yàn)的專家一致性評(píng)價(jià)方法

基于顯著性檢驗(yàn)的專家一致性評(píng)價(jià)方法，首先對(duì)專家給出的總體評(píng)分值或總體評(píng)分值的分布形式作出一個(gè)假設(shè)，然后構(gòu)建統(tǒng)計(jì)量判斷假設(shè)（備擇假設(shè)）是否成立?，F(xiàn)有相關(guān)研究主要依據(jù)卡方檢驗(yàn)和方差分析檢驗(yàn)專家之間的評(píng)分值是否存在顯著性差異。

方差分析是基于專家給出的評(píng)分?jǐn)?shù)據(jù)，假設(shè)由于不同專家（或研究對(duì)象）導(dǎo)致的偏差效應(yīng)為0，構(gòu)建檢驗(yàn)統(tǒng)計(jì)量判斷假設(shè)是否成立。如楊依霏等［28］要求專家從4 個(gè)評(píng)分維度對(duì)11 個(gè)學(xué)科門(mén)類(lèi)中的每篇論文進(jìn)行評(píng)分，利用單因素方差分析評(píng)估同一門(mén)類(lèi)中3 位專家對(duì)論文的評(píng)分是否存在顯著差異；高先務(wù)等［29］利用重復(fù)二元方差分析檢驗(yàn)m個(gè)專家對(duì)n個(gè)方案在m個(gè)屬性下主觀評(píng)價(jià)偏差的一致性，判斷專家、方案對(duì)評(píng)分有無(wú)顯著影響，以及專家與方案之間有無(wú)顯著交互影響。

顯著性檢驗(yàn)法可以從專家群體、專家個(gè)體、方案和屬性等多個(gè)角度對(duì)專家一致性進(jìn)行檢驗(yàn)，能夠快速找出與其他意見(jiàn)有差異的評(píng)價(jià)信息，計(jì)算量較小，可操作性強(qiáng)。

4 方案排序問(wèn)題的專家一致性評(píng)價(jià)方法

依據(jù)專家評(píng)估的信息形式，將方案排序問(wèn)題中的專家一致性評(píng)價(jià)方法分為兩類(lèi)：基于判斷矩陣的專家一致性評(píng)價(jià)方法和基于序數(shù)值的專家一致性評(píng)價(jià)方法。

4.1 基于判斷矩陣的專家一致性評(píng)價(jià)方法

在一些決策問(wèn)題中，由于需要考慮不同因素的影響，專家直接給出所有評(píng)價(jià)對(duì)象的全序較為困難，所以在對(duì)比時(shí)，專家常常采用相對(duì)尺度，通過(guò)兩兩比較建立同一環(huán)境下不同評(píng)價(jià)對(duì)象的判斷矩陣，盡可能減少不同評(píng)價(jià)對(duì)象相互比較的困難，提高準(zhǔn)確度?，F(xiàn)常用相似性度量、距離測(cè)度、主成分分析等方法分析判斷矩陣信息形式下的專家一致性。

4.1.1 基于相似性度量的專家一致性評(píng)價(jià)方法

基于相似性度量的專家一致性評(píng)價(jià)方法根據(jù)不同的相似性測(cè)度衡量?jī)蓛蓪＜医o出的判斷矩陣或是專家個(gè)體與專家群體判斷矩陣之間的相似性，對(duì)其群體一致性進(jìn)行評(píng)估。現(xiàn)有常用的相似性測(cè)度有相容性、余弦相似度、灰色關(guān)聯(lián)等。

相容性被定義為兩兩專家之間的判斷矩陣或是專家與群體之間的判斷矩陣的對(duì)稱元素之積的平均值，基于此構(gòu)建專家一致性指標(biāo)。如陳俠等［30］利用相容性指標(biāo)定義了各方案的一致性指標(biāo)及專家群體一致性指標(biāo)，給出了基于互反判斷矩陣的專家一致性判別方法及調(diào)整方法，當(dāng)專家群體判斷結(jié)果未達(dá)成一致時(shí)，選出一致性最差的方案，通過(guò)相應(yīng)調(diào)整方法修改專家原始意見(jiàn)，以促進(jìn)專家群體達(dá)到滿意的一致性；Gro?elj 等［31］針對(duì)三角模糊偏好矩陣信息形式的決策問(wèn)題，利用傳統(tǒng)層次分析法的相容性指數(shù)定義了個(gè)體模糊共識(shí)指數(shù)來(lái)衡量?jī)蓚€(gè)決策者之間的接近程度，進(jìn)而對(duì)專家群體的一致性進(jìn)行分析。

余弦相似度以專家給出的判斷矩陣為依據(jù)，利用幾何平均法將各專家對(duì)方案評(píng)價(jià)的判斷矩陣聚合為各專家對(duì)方案的評(píng)價(jià)向量，通過(guò)余弦相似函數(shù)計(jì)算由判斷矩陣得出的兩位專家的評(píng)價(jià)向量之間的接近程度，然后度量群體成員的一致性水平值。如王丹力等［32］在專家群體一致性研究過(guò)程中，首先對(duì)專家給出的判斷矩陣的一致性進(jìn)行檢驗(yàn)，以保證專家邏輯的前后一致，而后考慮了專家權(quán)重的影響，根據(jù)余弦值的大小判斷兩個(gè)專家之間為強(qiáng)一致性或是強(qiáng)不一致性，基于此提出了專家群體強(qiáng)一致性指標(biāo)和專家個(gè)體一致性指標(biāo)，用于衡量專家群體的一致性和專家個(gè)體的一致性。在群體一致性判斷過(guò)程中，通過(guò)個(gè)體一致性指標(biāo)可以找出一致性較差的專家和一致性較好的專家，通過(guò)建議一致性較差的專家對(duì)比參照一致性較好的專家的評(píng)估意見(jiàn)，用于修改自身判斷，促進(jìn)群體共識(shí)達(dá)成。

灰色關(guān)聯(lián)是利用灰色關(guān)聯(lián)度描述每位專家給出的判斷矩陣與群體判斷矩陣對(duì)于同一方案判斷值之間的緊密程度，灰色關(guān)聯(lián)度越大，說(shuō)明專家與決策群體的評(píng)估越接近，即一致性越高，將各方案下所有專家的灰色關(guān)聯(lián)度指標(biāo)值聚合得出各方案的一致性指標(biāo)，將所有方案的一致性指標(biāo)加權(quán)平均獲得專家群體的一致性指標(biāo)。如李禮等［33］針對(duì)基于互反判斷矩陣的群體決策的不一致問(wèn)題，運(yùn)用灰色關(guān)聯(lián)度理論建立了專家一致性判別方法和調(diào)整方法，設(shè)置一致性閾值為0.73，對(duì)不滿足一致性要求的專家評(píng)價(jià)值進(jìn)行調(diào)整。該方法能夠識(shí)別偏離群體的專家意見(jiàn)，定位到具體需要修改的某個(gè)評(píng)價(jià)值。

基于相似性度量的專家一致性評(píng)價(jià)方法在評(píng)估過(guò)程中考慮了不同專家重要性的影響，有效利用了專家權(quán)重信息，可以確定需要調(diào)整的專家和某項(xiàng)具體評(píng)價(jià)內(nèi)容，但是該方法是基于專家給出的兩兩判斷矩陣進(jìn)行的，在評(píng)估過(guò)程中需要首先考慮專家給出的判斷矩陣的一致性，以保證專家邏輯的正確性。

4.1.2 基于距離測(cè)度的專家一致性評(píng)價(jià)方法

基于距離測(cè)度的專家一致性評(píng)價(jià)方法是，通過(guò)運(yùn)用不同的距離測(cè)度計(jì)算專家個(gè)體判斷矩陣與專家群體判斷矩陣之間的距離值或是專家與專家判斷矩陣之間的距離值，定義專家個(gè)體共識(shí)度指標(biāo)，對(duì)專家個(gè)體共識(shí)度進(jìn)行加權(quán)平均定義群體共識(shí)度指標(biāo)或是選取最小專家個(gè)體共識(shí)度作為群體共識(shí)度，并根據(jù)實(shí)際問(wèn)題設(shè)定相應(yīng)群體共識(shí)度閾值，判斷群體的共識(shí)程度是否達(dá)到標(biāo)準(zhǔn)?，F(xiàn)大多使用以下4 種距離測(cè)度：一是漢明距離，例如Ren 等［34］針對(duì)猶豫模糊語(yǔ)言偏好關(guān)系的群決策問(wèn)題，運(yùn)用猶豫模糊語(yǔ)言漢明距離度量專家個(gè)體偏好信息與整體偏好信息的最小相似度，提出了最差共識(shí)指數(shù)，建立了共識(shí)達(dá)成算法，提出了一種基于矩陣一致性和群體共識(shí)測(cè)量的群決策求解方法；二是曼哈頓距離，例如Cheng等［35］利用對(duì)數(shù)曼哈頓距離度量?jī)蓚€(gè)專家給出的區(qū)間互補(bǔ)判斷矩陣的差異，定義了兩決策者之間的個(gè)體共識(shí)指數(shù)，將任意兩個(gè)決策者的所有個(gè)體共識(shí)指數(shù)中的最小值作為群體共識(shí)指數(shù)；三是歐氏距離，例如Wan 等［36］針對(duì)概率語(yǔ)言偏好關(guān)系的大規(guī)模群體決策問(wèn)題，基于歐式距離測(cè)度開(kāi)發(fā)了一種新的基于個(gè)性化個(gè)體語(yǔ)義的共識(shí)達(dá)成過(guò)程，用于判斷在大學(xué)COVID-19 監(jiān)測(cè)計(jì)劃選擇過(guò)程中決策者的共識(shí)度；四是閔可夫斯基距離，例如Zhang 等［37］研究了直覺(jué)乘法偏好關(guān)系的群體決策背景下共識(shí)問(wèn)題，提出了改進(jìn)的直覺(jué)積性模糊數(shù)之間的漢明距離、歐幾里得距離和閔可夫斯基距離，基于提出的閔可夫斯基距離度量專家個(gè)體與群體之間的距離值，定義了專家個(gè)體共識(shí)度，以最小專家個(gè)體共識(shí)度作為群體共識(shí)度。

基于距離測(cè)度的專家一致性評(píng)價(jià)方法可以解決多種含有不確定信息和模糊信息的專家一致性評(píng)價(jià)問(wèn)題，例如猶豫模糊語(yǔ)言偏好、區(qū)間互補(bǔ)偏好、直覺(jué)模糊偏好等。該方法處理效率高，已被廣泛應(yīng)用于模糊決策中的共識(shí)研究。

4.1.3 基于主成分分析的專家一致性評(píng)價(jià)方法

基于主成分分析的專家一致性評(píng)價(jià)方法是根據(jù)每位專家給出的判斷矩陣的最大特征值及對(duì)應(yīng)的特征向量，將該特征向量歸一化后作為專家對(duì)評(píng)價(jià)對(duì)象給出的評(píng)價(jià)系數(shù)，得出專家群體決策的評(píng)價(jià)系數(shù)矩陣，使用主成分分析法將多位專家的評(píng)價(jià)系數(shù)融合，利用主成分貢獻(xiàn)率衡量專家群體決策結(jié)果的一致性程度。如邱夢(mèng)奇等［38］基于層次分析法（AHP）要求m位專家通過(guò)兩兩比較建立每位專家對(duì)于g個(gè)雷達(dá)導(dǎo)引頭系統(tǒng)抗干擾能力的判斷矩陣，分別對(duì)m位專家給出的判斷矩陣進(jìn)行特征值分解，將最大特征值對(duì)應(yīng)的特征向量作為同一環(huán)境下不同雷達(dá)導(dǎo)引頭系統(tǒng)抗干擾能力的評(píng)價(jià)系數(shù)，得出m×g維群體評(píng)價(jià)矩陣，利用主成分分析法對(duì)該矩陣進(jìn)行降維處理成1×g維群體評(píng)價(jià)矩陣，通過(guò)主成分貢獻(xiàn)率衡量專家群體決策結(jié)果的一致性程度。

基于主成分分析的專家一致性評(píng)估方法，將專家一致性判斷、信息聚合和綜合評(píng)價(jià)融為一體，不僅可以根據(jù)主成分貢獻(xiàn)率來(lái)定量分析專家群體決策結(jié)果的一致性程度，還可以利用降維后的數(shù)據(jù)直接得出最終決策結(jié)果，更有效地剔除了不一致的專家意見(jiàn)，使得專家個(gè)體評(píng)價(jià)結(jié)果對(duì)最終決策結(jié)果的影響變小、評(píng)價(jià)結(jié)果更為合理。此外，該方法還具有計(jì)算速度快的優(yōu)勢(shì)。

4.2 基于序數(shù)值的專家一致性評(píng)價(jià)方法

在分析多個(gè)研究對(duì)象的重要性次序時(shí)，常要求專家對(duì)整體研究對(duì)象進(jìn)行排序，給出所有研究對(duì)象的全序值，據(jù)此選出一個(gè)最優(yōu)值作為決策結(jié)果。目前常用Kendall 協(xié)調(diào)系數(shù)解決序數(shù)值類(lèi)型的專家一致性評(píng)價(jià)問(wèn)題。Kendall 協(xié)調(diào)系數(shù)是基于專家給出的研究對(duì)象的排名順序，計(jì)算評(píng)估對(duì)象序數(shù)的偏離值總和，構(gòu)建檢驗(yàn)統(tǒng)計(jì)量W，根據(jù)W值判斷專家一致性，W取值范圍為0～1，數(shù)值越大代表專家意見(jiàn)的一致性越高［9］。如Akhmetshin 等［39］采用專家估計(jì)方法獲得稅收分析所必需的數(shù)據(jù)集，要求一組專家按重要性對(duì)俄羅斯聯(lián)邦稅法進(jìn)行降序排列，使用Kendall 協(xié)調(diào)系數(shù)評(píng)估專家意見(jiàn)的一致性；Shapo 等［40］在運(yùn)用德?tīng)柗品ê团判蚍椒▽?shí)現(xiàn)軟件項(xiàng)目風(fēng)險(xiǎn)評(píng)估技術(shù)的研究中，采用Kendall 協(xié)調(diào)系數(shù)評(píng)估專家對(duì)排序法的意見(jiàn)一致性；Nikitin 等［41］在混合系統(tǒng)的研究過(guò)程中，將Kendall 協(xié)調(diào)系數(shù)作為共識(shí)指標(biāo)，判斷10 位專家對(duì)因素影響程度的意見(jiàn)一致性，并進(jìn)行卡方檢驗(yàn)，以證明結(jié)果具有統(tǒng)計(jì)學(xué)意義。

基于Kendall 協(xié)調(diào)系數(shù)的專家一致性評(píng)價(jià)方法，實(shí)現(xiàn)過(guò)程直觀簡(jiǎn)潔、計(jì)算簡(jiǎn)便，魯棒性強(qiáng)、易于掌握，被廣泛應(yīng)用于解決各類(lèi)一致性評(píng)價(jià)問(wèn)題。

5 結(jié)論

隨著實(shí)踐應(yīng)用環(huán)境的變化、知識(shí)和信息量的急劇增長(zhǎng)以及技術(shù)評(píng)估的問(wèn)題日益復(fù)雜，專家評(píng)價(jià)作為技術(shù)評(píng)估研究中獲取數(shù)據(jù)的重要方法，為我國(guó)科技創(chuàng)新、經(jīng)濟(jì)增長(zhǎng)和社會(huì)發(fā)展中的技術(shù)評(píng)估問(wèn)題提供了科學(xué)有效的解決途徑，專家一致性評(píng)價(jià)是群體偏好有效集成的前提條件。本研究從技術(shù)評(píng)估中的指標(biāo)評(píng)價(jià)和方案排序兩類(lèi)問(wèn)題，對(duì)國(guó)內(nèi)外學(xué)者提出的不同適用環(huán)境的專家一致性評(píng)價(jià)方法進(jìn)行了較為系統(tǒng)的綜述。依據(jù)實(shí)際應(yīng)用中涉及的指標(biāo)數(shù)量將指標(biāo)評(píng)價(jià)問(wèn)題細(xì)分為單指標(biāo)和多指標(biāo)兩類(lèi)，單指標(biāo)下專家一致性評(píng)價(jià)方法主要被應(yīng)用于反映專家群體對(duì)指標(biāo)體系中各指標(biāo)重要性評(píng)價(jià)的一致性程度，幫助決策者篩選指標(biāo)，用于解決此類(lèi)問(wèn)題的專家一致性評(píng)價(jià)方法主要有方差/標(biāo)準(zhǔn)差和變異系數(shù)；多指標(biāo)下專家一致性評(píng)價(jià)方法主要被應(yīng)用于度量群決策中專家群體對(duì)評(píng)估對(duì)象評(píng)分的一致性，用于解決此類(lèi)問(wèn)題的專家一致性評(píng)價(jià)方法主要有皮爾遜相關(guān)系數(shù)、距離測(cè)度、組內(nèi)相關(guān)系數(shù)、假設(shè)檢驗(yàn)、方差分析。依據(jù)專家給出的評(píng)價(jià)信息的數(shù)據(jù)類(lèi)型將方案排序問(wèn)題細(xì)分為判斷矩陣（偏序）和序數(shù)值（全序）兩類(lèi)，基于判斷矩陣的專家一致性評(píng)價(jià)方法主要被應(yīng)用于測(cè)量專家群體達(dá)成共識(shí)的程度，用于解決此類(lèi)問(wèn)題的專家一致性評(píng)價(jià)方法主要有相容性、余弦相似度、灰色關(guān)聯(lián)、距離測(cè)度和主成分分析；基于序數(shù)值的專家一致性評(píng)價(jià)方法主要被應(yīng)用于衡量專家群體對(duì)研究對(duì)象排名順序的一致性程度，用于解決此類(lèi)問(wèn)題的專家一致性評(píng)價(jià)方法主要是Kendall 協(xié)調(diào)系數(shù)。

現(xiàn)有專家一致性評(píng)價(jià)方法研究成果較多可用于解決不同環(huán)境下的專家一致性評(píng)價(jià)問(wèn)題，每種方法都具其自身優(yōu)勢(shì)，但也存在一定的局限性。為進(jìn)一步推進(jìn)和拓展專家一致性評(píng)價(jià)方法的研究工作，本研究認(rèn)為未來(lái)專家一致性研究應(yīng)用如下：

（1）如何根據(jù)不同問(wèn)題選擇一種合適有效的專家一致性評(píng)價(jià)方法。現(xiàn)有相關(guān)研究缺乏一個(gè)評(píng)估框架幫助研究人員依據(jù)不同問(wèn)題選擇相適應(yīng)的專家一致性評(píng)價(jià)方法。研究人員在判斷專家一致性的過(guò)程中，并不應(yīng)該僅以測(cè)量專家一致性或是判斷專家是否一致為目標(biāo)，應(yīng)充分考慮進(jìn)行專家一致性測(cè)量的目的，從而判斷選用哪一種評(píng)價(jià)方法最為恰當(dāng)。

（2）在專家一致性評(píng)價(jià)過(guò)程中，閾值是判斷專家一致性是否達(dá)到要求的重要評(píng)判標(biāo)準(zhǔn)。目前鮮有文獻(xiàn)分析閾值的設(shè)定方法，常采用主觀方式設(shè)定閾值，缺乏客觀性和合理性。因此，應(yīng)開(kāi)發(fā)更為客觀的方法確定閾值，使得專家一致性判斷結(jié)果更加客觀合理、準(zhǔn)確有效。