卜先錦 毛騰蛟 黃其旺

（軍事科學(xué)院 戰(zhàn)略評(píng)估咨詢(xún)中心，北京100091）

1 引言

“客觀(guān)、獨(dú)立、科學(xué)、公正”是評(píng)估的靈魂，軍事評(píng)估也不例外。在實(shí)際工作中，評(píng)估結(jié)果往往取決于主觀(guān)和客觀(guān)數(shù)據(jù)，其中主觀(guān)數(shù)據(jù)來(lái)源于專(zhuān)家，導(dǎo)致評(píng)估結(jié)果的公正性、可信度易受質(zhì)疑。公正是公平的基礎(chǔ)，美國(guó)學(xué)者阿羅提出了“不可能定理”［1］，證明了在兩條公理和五個(gè)假設(shè)條件下，找不到一個(gè)公平的社會(huì)福利函數(shù)，表明公平的社會(huì)是不存在的。在評(píng)估實(shí)踐中，如何立足于現(xiàn)有客觀(guān)條件，提高評(píng)估結(jié)果的可信度，保證評(píng)估結(jié)果的公正、可信，成為評(píng)估的難題。隨著數(shù)據(jù)科學(xué)的發(fā)展，基于數(shù)據(jù)統(tǒng)計(jì)的因果推斷研究，為評(píng)估結(jié)果的自我質(zhì)疑、自我解剖、自我說(shuō)明提供了可能的解釋方法路徑。

因果推斷理論研究，基于數(shù)理統(tǒng)計(jì)，目前主要有兩大學(xué)派：一是魯賓學(xué)派，誕生于20 世紀(jì)80年代，魯賓在學(xué)者內(nèi)曼因果模型的基礎(chǔ)上，提出了魯賓模型［2，3］（Rubin Casual Model，RCM），度量總體平均因果效應(yīng)，該模型基于可忽略性假定，實(shí)現(xiàn)了從隨機(jī)對(duì)照實(shí)驗(yàn)到觀(guān)察性實(shí)驗(yàn)的轉(zhuǎn)變，目前廣泛運(yùn)用于社會(huì)、經(jīng)濟(jì)、政策以及醫(yī)療等領(lǐng)域。二是珀?duì)枌W(xué)派［4，5］，誕生于20 世紀(jì)90 年代，美國(guó)學(xué)者珀?duì)柕热?，結(jié)合經(jīng)濟(jì)領(lǐng)域的結(jié)構(gòu)方程模型（Structure Equation Model，SEM）和魯賓模型，基于貝葉斯網(wǎng)絡(luò)，提出了概率推理和因果分析框架下的結(jié)構(gòu)因果模型［6］（Structure Causal Model，SCM），該模型采用圖形化方式推斷和展示變量之間的因果關(guān)系，簡(jiǎn)便易懂，學(xué)界認(rèn)可度較高，但由于變量間的因果關(guān)系發(fā)現(xiàn)仍然基于人的經(jīng)驗(yàn)判斷，導(dǎo)致混淆變量難以區(qū)分。近年來(lái)，隨著人工智能技術(shù)的發(fā)展，智能算法的不可解釋性成為強(qiáng)人工智能不能實(shí)現(xiàn)的瓶頸問(wèn)題，珀?duì)柼岢隽擞靡蚬茖W(xué)的理論方法，啟發(fā)改進(jìn)機(jī)器學(xué)習(xí)算法，導(dǎo)致因果熱再度掀起［7，8］。2019 年，軍事科學(xué)院楊學(xué)軍院士向全院科研人員推薦了珀?duì)柕闹鳌稙槭裁础芬粫?shū)，提出了軍事評(píng)估要用“因果語(yǔ)言”說(shuō)話(huà)的要求。他認(rèn)為：評(píng)估的首要任務(wù)是用數(shù)據(jù)、模型和結(jié)論來(lái)支撐和服務(wù)決策，簡(jiǎn)單的票決制無(wú)法確保評(píng)估的公正性和可信度，只有基于因果推斷的方法和模型，才能做到評(píng)估過(guò)程和結(jié)果的可推理、可預(yù)測(cè)、可解釋和可交流。自此，開(kāi)展因果推斷方法研究，助力評(píng)估結(jié)果的解釋?zhuān)蔀檐娛略u(píng)估理論創(chuàng)新的又一引點(diǎn)和熱點(diǎn)，課題組也開(kāi)展相關(guān)研究，取得階段性成果［9］。

論文針對(duì)還原論方法得出的評(píng)估結(jié)果公正性和可信度問(wèn)題，通過(guò)解剖評(píng)估過(guò)程，分析評(píng)估流程和影響評(píng)估結(jié)果的關(guān)鍵因素，采用正交實(shí)驗(yàn)，基于獲取實(shí)驗(yàn)觀(guān)測(cè)數(shù)據(jù)，構(gòu)建潛在結(jié)果模型，并對(duì)影響評(píng)估結(jié)果的敏感因素、偏差及原因進(jìn)行分析，最后比較了潛在結(jié)果與實(shí)際評(píng)估結(jié)果，并進(jìn)行合理性解釋。

2 評(píng)估過(guò)程及影響因素分析

2.1 評(píng)估流程和步驟

在軍事評(píng)估中，無(wú)論是簡(jiǎn)單系統(tǒng)還是復(fù)雜系統(tǒng)，目前主流方法為還原論和系統(tǒng)論或者兩者的結(jié)合。其一般過(guò)程：給出評(píng)估對(duì)象及問(wèn)題，確定評(píng)估專(zhuān)家，分析影響因素，確定打分規(guī)則，確定評(píng)估指標(biāo)和權(quán)重，選擇集結(jié)模型。如圖1 所示。

圖1 評(píng)估一般流程示意圖

這里采集的數(shù)據(jù)，一是評(píng)估指標(biāo)屬性數(shù)據(jù)，反映了評(píng)估對(duì)象的客觀(guān)信息；二是專(zhuān)家打分?jǐn)?shù)據(jù)，反映了評(píng)價(jià)評(píng)估對(duì)象的主觀(guān)信息。此外，由于屬性數(shù)據(jù)和指標(biāo)數(shù)據(jù)難以直接融合，需要對(duì)數(shù)據(jù)進(jìn)行篩選、分析、歸一化處理，再集結(jié)計(jì)算。

2.2 影響評(píng)估結(jié)果的關(guān)鍵因素

影響評(píng)估結(jié)果的因素很多，其中關(guān)鍵因素主要包括評(píng)估專(zhuān)家、評(píng)估指標(biāo)體系及權(quán)重、專(zhuān)家打分集結(jié)規(guī)則，以及綜合評(píng)價(jià)模型。

評(píng)估專(zhuān)家是評(píng)估者，其主觀(guān)價(jià)值判斷直接影響評(píng)估結(jié)果，因此，選擇專(zhuān)家時(shí)，既要考慮專(zhuān)家對(duì)評(píng)估對(duì)象所在領(lǐng)域的熟悉程度，也要考慮他們對(duì)評(píng)估流程和方法的掌握情況。由于專(zhuān)家自身經(jīng)驗(yàn)、學(xué)識(shí)、認(rèn)知水平、專(zhuān)業(yè)領(lǐng)域的不同，評(píng)估同樣情境下的同一對(duì)象，可能會(huì)產(chǎn)生不同的結(jié)果，尤其是當(dāng)判斷偏差較大時(shí)，還會(huì)出現(xiàn)顛覆性結(jié)果，這時(shí)可通過(guò)增加評(píng)估專(zhuān)家數(shù)量“稀釋”偏差，此外，為了消除專(zhuān)家打分的不穩(wěn)定性，還可通過(guò)隨機(jī)抽取專(zhuān)家和制定打分規(guī)則等方法予以解決。

評(píng)估指標(biāo)是根據(jù)評(píng)估目的和任務(wù)，準(zhǔn)確反映評(píng)估對(duì)象某一方面的特性，從不同屬性和側(cè)面刻畫(huà)評(píng)估對(duì)象所具有的特征。指標(biāo)的集合構(gòu)成了指標(biāo)體系，其合理性是評(píng)估結(jié)果科學(xué)性、公正性的重要保證。確定評(píng)估指標(biāo)需要經(jīng)過(guò)研究而非主觀(guān)臆想，指標(biāo)通常應(yīng)具有獨(dú)立性、完備性和適應(yīng)性，而實(shí)際中指標(biāo)往往相互關(guān)聯(lián)，導(dǎo)致因果關(guān)系難以被發(fā)現(xiàn)。

指標(biāo)權(quán)重反映指標(biāo)在指標(biāo)體系中的價(jià)值高低和相對(duì)重要程度，是指標(biāo)在指標(biāo)體系中所占比例值，如果總指標(biāo)為1，其中每個(gè)指標(biāo)占比份額稱(chēng)之為“權(quán)重”。由于指標(biāo)體系指標(biāo)特性和綜合評(píng)價(jià)模型選擇不同，改變指標(biāo)權(quán)重，往往會(huì)導(dǎo)致評(píng)估結(jié)果的改變。

專(zhuān)家打分集結(jié)規(guī)則主要有對(duì)專(zhuān)家打分求均值或求“剪枝均值”等方法，“剪枝均值”即體操打分法，去掉專(zhuān)家打分中的最高分和最低分再求均值，有利于去除專(zhuān)家偏好導(dǎo)致的“異?！敝?，使打分更客觀(guān)和公正。

常用的綜合評(píng)價(jià)模型有三種：一是加權(quán)求和法，適用于各評(píng)估指標(biāo)相互獨(dú)立情況；二是指數(shù)綜合法，適用于各指標(biāo)有較強(qiáng)關(guān)聯(lián)性的情況，突出權(quán)重小的評(píng)估指標(biāo)值的作用，該方法對(duì)指標(biāo)值變化敏感，能體現(xiàn)評(píng)估對(duì)象整體的均衡性；三是混合法，即加權(quán)求和法和指數(shù)綜合法的綜合，適用于部分指標(biāo)相互關(guān)聯(lián)，部分指標(biāo)相互獨(dú)立的情況。

3 可控實(shí)驗(yàn)與潛在結(jié)果模型

3.1 正交實(shí)驗(yàn)設(shè)計(jì)

在因果效應(yīng)模型中，主流魯賓模型基于觀(guān)測(cè)數(shù)據(jù)。當(dāng)隨機(jī)實(shí)驗(yàn)不涉及非人的倫理道德時(shí)，隨機(jī)實(shí)驗(yàn)數(shù)據(jù)與觀(guān)測(cè)數(shù)據(jù)具有相同的物理意義，也稱(chēng)之為可控實(shí)驗(yàn)或準(zhǔn)隨機(jī)實(shí)驗(yàn)。隨機(jī)實(shí)驗(yàn)方法包括全析因?qū)嶒?yàn)、單因素輪換、正交實(shí)驗(yàn)、均勻設(shè)計(jì)等。當(dāng)實(shí)驗(yàn)因素超過(guò)3 個(gè)時(shí)，因素之間會(huì)存在相互作用，彼此影響，不同因素、水平的組合會(huì)導(dǎo)致實(shí)驗(yàn)次數(shù)的急劇增加，這無(wú)疑增加了實(shí)驗(yàn)成本。正交實(shí)驗(yàn)設(shè)計(jì)具有“均勻分散性和齊整可比”的特點(diǎn)，它從全析因?qū)嶒?yàn)點(diǎn)中挑選代表性的樣本點(diǎn)進(jìn)行實(shí)驗(yàn)，大大減少實(shí)驗(yàn)成本。

3.2 關(guān)鍵因素及水平的確定

正交實(shí)驗(yàn)中，關(guān)鍵因素水平的確定是實(shí)驗(yàn)設(shè)計(jì)的重點(diǎn)，也是評(píng)估結(jié)果合理可解釋性的依據(jù)。雖然關(guān)鍵因素及其水平的確定理論上遵循隨機(jī)原則，但是實(shí)際中要依賴(lài)于評(píng)估對(duì)象、需求和經(jīng)驗(yàn)進(jìn)行取值。通常，影響評(píng)估結(jié)果的關(guān)鍵因素主要有評(píng)估專(zhuān)家、評(píng)估指標(biāo)、指標(biāo)權(quán)重、專(zhuān)家打分集結(jié)規(guī)則、綜合評(píng)價(jià)模型等。評(píng)估專(zhuān)家的確定，考慮到專(zhuān)家數(shù)量以及專(zhuān)業(yè)領(lǐng)域，可事先在專(zhuān)家?guī)熘袑?zhuān)家分組，隨機(jī)按組抽?。粰?quán)重系數(shù)按以往經(jīng)驗(yàn)確定，可事先按典型情形分組；專(zhuān)家打分集結(jié)規(guī)則采用“剪枝均值”和均值兩種；綜合評(píng)價(jià)模型可考慮加權(quán)求和法、指數(shù)綜合法和混合法三種。

3.3 評(píng)估結(jié)果的解釋性

評(píng)估結(jié)果的解釋?zhuān)饕獮檎蚪忉尳Y(jié)果、反向回溯過(guò)程。正向解釋結(jié)果，就是專(zhuān)家的選擇、評(píng)估指標(biāo)體系及權(quán)重的確定、專(zhuān)家打分集結(jié)規(guī)則的制定，以及綜合評(píng)價(jià)模型的選擇，弄清關(guān)鍵因素設(shè)置以及設(shè)置帶來(lái)的結(jié)果；反向回溯就是一果多因分析，通過(guò)實(shí)際評(píng)估結(jié)果，反向回溯專(zhuān)家選擇、指標(biāo)體系構(gòu)建、專(zhuān)家打分集結(jié)規(guī)則、綜合評(píng)價(jià)模型選擇的合理性，通過(guò)改變關(guān)鍵要素的水平，比較潛在結(jié)果與實(shí)際結(jié)果的差異，分析其影響，進(jìn)而解釋實(shí)際評(píng)估結(jié)果的合理性。可控正交實(shí)驗(yàn)對(duì)評(píng)估結(jié)果的解釋流程如圖2。

圖2 潛在結(jié)果與實(shí)際結(jié)果比較解釋流程圖

4 評(píng)估結(jié)果解釋案例分析

4.1 案例背景

以某防空旅年度訓(xùn)練考核評(píng)估為例，以營(yíng)為單位進(jìn)行，成績(jī)分為基礎(chǔ)訓(xùn)練、專(zhuān)業(yè)訓(xùn)練、現(xiàn)場(chǎng)答辯，其中，基礎(chǔ)訓(xùn)練、專(zhuān)業(yè)訓(xùn)練為客觀(guān)成績(jī)，現(xiàn)場(chǎng)答辯由專(zhuān)家現(xiàn)場(chǎng)打分獲得；然后按照給定權(quán)重和綜合評(píng)價(jià)模型進(jìn)行計(jì)算、排名并擇優(yōu)。根據(jù)初選情況，某年度防空旅有6 個(gè)營(yíng)（St1-St6）參評(píng)，根據(jù)考核和評(píng)估，已評(píng)出年度3 個(gè)先進(jìn)單位，作為實(shí)際評(píng)估結(jié)果?，F(xiàn)在通過(guò)正交實(shí)驗(yàn)設(shè)計(jì)方法，用問(wèn)卷調(diào)查方式獲取實(shí)驗(yàn)觀(guān)測(cè)數(shù)據(jù)，構(gòu)建潛在結(jié)果模型，并對(duì)潛在結(jié)果與實(shí)際評(píng)估結(jié)果進(jìn)行比較，解釋實(shí)際評(píng)估結(jié)果的可信度與公正性。

4.2 關(guān)鍵因素及其水平

經(jīng)過(guò)對(duì)該防空旅往年的考核評(píng)估情況研究分析，影響各綜合成績(jī)的關(guān)鍵因素主要是單位本身訓(xùn)練水平，從評(píng)估過(guò)程看，還涉及專(zhuān)家選取、考核方式、綜合評(píng)價(jià)模型、專(zhuān)家打分集結(jié)規(guī)則和權(quán)重等。這里參照該防空旅以往評(píng)估經(jīng)驗(yàn)，關(guān)鍵因素及水平選擇如下。

（1）因素1（F1）：選取專(zhuān)家。在專(zhuān)家?guī)熘谐槿?8 名專(zhuān)家，隨機(jī)分為兩組，水平1（p1）代表專(zhuān)家組1，水平2（p2）代表專(zhuān)家組2。

（2）因素2（F2）：考核方式。該因素有兩種水平，水平1（t1）為平時(shí)訓(xùn)練考核，關(guān)注平時(shí)訓(xùn)練成績(jī)，總分300，包括平時(shí)基礎(chǔ)訓(xùn)練100 分，平時(shí)專(zhuān)業(yè)訓(xùn)練100 分，現(xiàn)場(chǎng)答辯100 分；水平2（t2）為年度集中考核，以集中考核成績(jī)?yōu)橐罁?jù)，總分400 分，包括基礎(chǔ)訓(xùn)練100 分，專(zhuān)業(yè)訓(xùn)練200 分，現(xiàn)場(chǎng)答辯100 分。

（3）因素3（F3）：專(zhuān)家打分集結(jié)規(guī)則。包括剪枝均值和均值兩種水平，水平1（m1）表示“剪枝均值”打分法，水平2（m2）表示均值打分法。

（4）因素4（F4）為綜合評(píng)價(jià)模型。主要有兩種水平，水平1（s1）表示加權(quán)求和法（總得分S ＝SE·WE+Sp·Wp+Si·Wi）；水平2（s2）表示混合法（總得分·SiWi）。其中，SE，Sp和Si分別代表基礎(chǔ)訓(xùn)練成績(jī)、專(zhuān)業(yè)訓(xùn)練成績(jī)和答辯成績(jī)，WE，Wp和Wi分別為三者權(quán)重。

（5）因素5（F5）：權(quán)重。按照往年經(jīng)驗(yàn)，有三種水平：水平1（k1 ＝（0.1，0.4，0.5））；水平2（k2 ＝（0.1，0.6，0.3））；水平3（k3 ＝（0.15，0.45，0.4））。關(guān)鍵因素及其水平設(shè)置見(jiàn)表1。

表1 關(guān)鍵因素及水平一覽表

4.3 評(píng)估數(shù)據(jù)的獲取

實(shí)驗(yàn)中評(píng)估數(shù)據(jù)主要為各單位的基礎(chǔ)訓(xùn)練成績(jī)、專(zhuān)業(yè)訓(xùn)練成績(jī)和現(xiàn)場(chǎng)答辯成績(jī)，其中客觀(guān)成績(jī)部分（基礎(chǔ)訓(xùn)練成績(jī)和專(zhuān)業(yè)訓(xùn)練成績(jī)）采用各單位的實(shí)際數(shù)據(jù)?，F(xiàn)場(chǎng)答辯的成績(jī)主觀(guān)成分較大，為了盡可能還原實(shí)際的答辯場(chǎng)景，更加真實(shí)地反映各單位的實(shí)際水平，實(shí)驗(yàn)從實(shí)際專(zhuān)家?guī)熘羞x取18 名專(zhuān)家，分為兩組，采用問(wèn)卷調(diào)查的形式，提供各單位的基礎(chǔ)資料、客觀(guān)訓(xùn)練成績(jī)和實(shí)際的現(xiàn)場(chǎng)答辯錄像，由專(zhuān)家再次進(jìn)行打分。具體數(shù)據(jù)見(jiàn)表2。

表2 單位考核成績(jī)數(shù)據(jù)表

4.4 實(shí)驗(yàn)結(jié)果

采用正交實(shí)驗(yàn)設(shè)計(jì)助手軟件進(jìn)行實(shí)驗(yàn)設(shè)計(jì)，根據(jù)因素和水平數(shù)，生成正交表，如圖3 所示。

圖3 正交實(shí)驗(yàn)正交表

按照正交實(shí)驗(yàn)設(shè)計(jì)，對(duì)表2 中數(shù)據(jù)，計(jì)算給出每個(gè)單位的總得分。需要注意的是，由于各組實(shí)驗(yàn)是不同因素不同水平的組合，為解決結(jié)果統(tǒng)計(jì)中量綱不一致的問(wèn)題，需要對(duì)結(jié)果進(jìn)行歸一化處理，得到各單位的潛在結(jié)果成績(jī)。使用正交設(shè)計(jì)助手軟件得出單位的潛在結(jié)果成績(jī)和極差值，見(jiàn)表3。

表3 正交實(shí)驗(yàn)方案及實(shí)驗(yàn)結(jié)果

以St1 為例，實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 正交實(shí)驗(yàn)極差分析表

本案例的實(shí)際結(jié)果完全由各單位實(shí)際成績(jī)依據(jù)實(shí)際選取的水平計(jì)算獲取。實(shí)際的水平選取如下：采取了年度集中考核方式（t2），按照“剪枝均值”的專(zhuān)家打分集結(jié)規(guī)則（m1），運(yùn)用加權(quán)求和的綜合評(píng)價(jià)模型（s1）。對(duì)每個(gè)單位的8 組實(shí)驗(yàn)成績(jī)求均值和方差，可從均值意義上比較潛在結(jié)果和實(shí)際結(jié)果，見(jiàn)表4。

表4 潛在結(jié)果與實(shí)際結(jié)果對(duì)比

4.5 結(jié)果分析

4.5.1 關(guān)鍵因素分析

極差值衡量因素對(duì)結(jié)果的敏感程度。根據(jù)表3 中的平均極差值，以柱狀圖方式對(duì)各因素的平均極差值進(jìn)行直觀(guān)對(duì)比，見(jiàn)圖5。

圖5 各因素極差對(duì)比圖

由圖5 可知，綜合評(píng)價(jià)模型的極差值最大為4，專(zhuān)家選取和權(quán)重極差值次之，分別為1.34 和1.32，考核方式極差值為0.88，專(zhuān)家打分集結(jié)規(guī)則極差值最小為0.17，表明：一是綜合評(píng)價(jià)模型對(duì)結(jié)果最敏感，會(huì)對(duì)結(jié)果產(chǎn)生較大影響；二是專(zhuān)家和權(quán)重的選擇對(duì)結(jié)果也較為敏感，說(shuō)明專(zhuān)家和權(quán)重選擇的差異會(huì)在一定程度上影響結(jié)果；三是專(zhuān)家打分集結(jié)規(guī)則對(duì)結(jié)果最不敏感，無(wú)論是剪枝均值還是直接求均值，對(duì)于結(jié)果的影響不大，這說(shuō)明幾乎不存在刻意打高分（或低分）的專(zhuān)家，專(zhuān)家的打分結(jié)果相對(duì)比較公正。

4.5.2 實(shí)驗(yàn)偏差分析

由表3 得出各組實(shí)驗(yàn)的潛在結(jié)果，如圖6 所示。表明各單位在不同實(shí)驗(yàn)中成績(jī)的變化趨勢(shì)基本一致，但在實(shí)驗(yàn)3 中，St3 的成績(jī)相比于其他單位有提高，這與總體趨勢(shì)有差異。

圖6 各組實(shí)驗(yàn)潛在結(jié)果對(duì)比圖

進(jìn)一步分析實(shí)驗(yàn)3 中St3 成績(jī)“異?！钡脑?。通過(guò)上面的極差分析，綜合評(píng)價(jià)模型和權(quán)重是對(duì)結(jié)果最為敏感的兩個(gè)關(guān)鍵因素。由表2，St3 的專(zhuān)業(yè)訓(xùn)練成績(jī)最高，而實(shí)驗(yàn)3 中綜合評(píng)價(jià)模型選擇了水平s2（混合法），權(quán)重選擇了水平k2（基礎(chǔ)訓(xùn)練權(quán)重0.1，專(zhuān)業(yè)訓(xùn)練權(quán)重0.6，答辯權(quán)重0.3）。水平k2 放大了專(zhuān)業(yè)訓(xùn)練的權(quán)重，水平s2 又增強(qiáng)了專(zhuān)業(yè)訓(xùn)練和現(xiàn)場(chǎng)答辯的相關(guān)性，兩個(gè)關(guān)鍵因素水平的選擇均對(duì)St3 總成績(jī)提升“有利”。

4.5.3 實(shí)驗(yàn)潛在結(jié)果與實(shí)際結(jié)果對(duì)比

由表4 可知，從均值意義上比較實(shí)驗(yàn)潛在結(jié)果和實(shí)際結(jié)果，如圖7 所示。潛在結(jié)果各單位成績(jī)排序?yàn)镾t1＞St2＞St4＞St3＞St5＞St6，實(shí)際結(jié)果各單位成績(jī)排序?yàn)镾t1＞St4＞St2＞St5＞St3＞St6。按照成績(jī)由高到低，實(shí)驗(yàn)結(jié)果和實(shí)際結(jié)果的評(píng)選結(jié)果一致，評(píng)選出的先進(jìn)單位均為St1、St2 和St4。

圖7 潛在結(jié)果與實(shí)際結(jié)果對(duì)比圖

單位成績(jī)排序具有一定的差異性，主要是St2和St4 的順序發(fā)生改變，St3 和St5 的順序發(fā)生改變。從實(shí)驗(yàn)結(jié)果來(lái)看，St2（85.64）和St4（85.32）、St3（84.69）和St5（84.15）成績(jī)非常接近，從側(cè)面反映了這兩組單位的實(shí)力相近。由于實(shí)際結(jié)果選擇的水平一定，可能對(duì)某一單位更有利，容易產(chǎn)生實(shí)力相近單位成績(jī)排序上的差異，因此，在不影響實(shí)際評(píng)選結(jié)果的前提下，排序差異可以解釋。另一方面，單位成績(jī)的方差越大，表明該單位成績(jī)更容易受關(guān)鍵因素水平選取的影響，從側(cè)面反映出單位成績(jī)不穩(wěn)定、實(shí)力水平相對(duì)較弱，圖7 中St6 的方差最大，成績(jī)卻遠(yuǎn)低于其他單位。

5 總結(jié)及展望

基于正交實(shí)驗(yàn)的潛在結(jié)果模型計(jì)算得出的結(jié)果與實(shí)際結(jié)果一致，說(shuō)明實(shí)際評(píng)估過(guò)程中制定的規(guī)則、權(quán)重、選擇的專(zhuān)家組和綜合評(píng)價(jià)模型等是比較合理的；通過(guò)極差分析，能夠找到對(duì)結(jié)果影響敏感的關(guān)鍵因素；從均值意義上比較實(shí)驗(yàn)結(jié)果和實(shí)際結(jié)果，能夠在一定程度上解釋結(jié)果的差異和合理性。但也發(fā)現(xiàn)一些問(wèn)題，一是觀(guān)測(cè)數(shù)據(jù)獲取過(guò)程中，重現(xiàn)答辯過(guò)程是基于重新抽選專(zhuān)家進(jìn)行問(wèn)卷調(diào)查，與真實(shí)情況有一定的誤差；二是不同量綱歸一化過(guò)程中容易放大或縮小實(shí)際的差異，造成潛在結(jié)果數(shù)據(jù)的差異。如何減少主觀(guān)數(shù)據(jù)的差異，以及評(píng)估對(duì)象裁剪的獨(dú)立性，是一項(xiàng)探索性研究工作，需要進(jìn)一步研究深化。