宋孜宇 唐琦

信號檢測理論（SDT）應(yīng)用于評估中心（AC）法初探

宋孜宇 唐琦

（呼倫貝爾學(xué)院經(jīng)濟(jì)管理學(xué)院 內(nèi)蒙古 海拉爾 021008）

本文介紹信號檢測理論的原理，進(jìn)而從理論上探討了引入信號檢測理論改進(jìn)評估中心評估效度的主要原理和方法，為提高評估中心法的評估效力提供了理論參考。

評估中心法；信號檢測理論；績效

在人力資源招聘決策中，需要對參加應(yīng)聘的人員進(jìn)行各種評估以決定取舍，但是各種評估方法的可靠性（信度）不同，成為直接影響招聘決策質(zhì)量的主要問題。為了解決這一問題，評估中心（assessmentcentre，AC）流程評估法誕生了幾十年并一直倍受關(guān)注，因?yàn)檫@種評估方法可以相對靈活的進(jìn)行定制化評估，盡管評估中心法通常表現(xiàn)出較低的建構(gòu)效度，但并不影響這一方法的廣泛采用，很多學(xué)者認(rèn)為這是評估工具經(jīng)常存在的測量不充分而導(dǎo)致的問題。

目前，國外一些學(xué)者提出引入心理物理（Psychophysical）領(lǐng)域的信號檢測理論（Signal Detection Theory，簡稱SDT）來嘗試進(jìn)一步提高評估的信度。盡管SDT理論早已被心理認(rèn)知等領(lǐng)域的研究所熟知，但是該理論在AC評估者的績效評估領(lǐng)域依然應(yīng)用不足，這是一個(gè)有待開發(fā)的新范式，將有助于進(jìn)一步提高評估中心流程評價(jià)法的建構(gòu)效度。本文將在SDT理論研究的基礎(chǔ)上，簡單探討如何引入SDT方法應(yīng)用于AC評估人員的績效評估。

一、 信號檢測理論及其基本原理

信號檢測理論（Signal Detection Theory，簡稱SDT）是現(xiàn)代信息理論的一個(gè)重要分支，其研究對象是信息傳遞過程中的信號接收問題，主要應(yīng)用于通信工程領(lǐng)域中。在SDT的表達(dá)體系中，某種有待檢測的項(xiàng)目或者目標(biāo)被稱為“信號”。而任何不是信號但可能對信號造成潛在干擾的信息都被歸為“噪音”。這一理論早可以追溯到二戰(zhàn)時(shí)期，當(dāng)時(shí)被應(yīng)用于微弱的聲納信號或雷達(dá)信號檢測統(tǒng)計(jì)決策理論。1954年，美國密西根大學(xué)的學(xué)者首次將SDT理論引入了心理學(xué)，用于研究知覺、記憶、思維以及個(gè)性等領(lǐng)域，把心理物理學(xué)的研究推進(jìn)了一大步。

簡而言之，信號檢測理論是以概率論為基礎(chǔ)，把對刺激的判斷看成是對信號的偵查和做出選擇的過程。在心理學(xué)研究中，可以將人的感覺以及神經(jīng)系統(tǒng)的分析判斷過程視為一個(gè)信息加工的過程，并將刺激變量作為信號，將刺激的各種物理性的或個(gè)體性的隨機(jī)變化作為噪聲，于是將人的感覺判斷過程簡化為噪聲背景下的信號檢測問題。這一過程包含兩個(gè)關(guān)鍵指標(biāo)，一個(gè)是辨別力指標(biāo)，用來指示人的感受性，這一指標(biāo)主要取決于個(gè)體的感覺辨別力，取值越大則表明感受性越強(qiáng)；另一個(gè)關(guān)鍵指標(biāo)是反應(yīng)偏向，與判斷標(biāo)準(zhǔn)有關(guān)，并受利得利失、動機(jī)、態(tài)度、經(jīng)驗(yàn)等因素影響，取值越大表明判斷標(biāo)準(zhǔn)越嚴(yán)苛。

具體應(yīng)用信號檢測理論時(shí)包括兩種實(shí)驗(yàn)方法或模式，分別是有無法（yes-no method）和評價(jià)法（confidence method）。有無法的具體操作是先在一定的噪聲背景中給予或不給予信號刺激，同時(shí)記錄下被試者所做出的信號“有”或“無”的判斷及其正誤，以此計(jì)算出其命中或誤報(bào)的概率，再將概率值帶入標(biāo)準(zhǔn)公式即可算出被試者的辨別力指標(biāo)和反應(yīng)傾向指標(biāo)。而評價(jià)法是要求被試者在做出信號有無判斷的同時(shí)，報(bào)告自己做出判斷的把握程度，即信心指數(shù)，比如做“有”判斷時(shí)有70%的把握判斷正確，從而更精確的評估被試者在不同判斷傾向下的辨別力。

二、 信號檢測理論應(yīng)用于改進(jìn)評估中心有效性的原理

SDT理論主要關(guān)注各種事件在觀察者大腦中所形成的印象，而這種印象正是進(jìn)行決策判斷所需要的。當(dāng)個(gè)體進(jìn)行決策判斷時(shí)，其頭腦會高效的分辨出這種瞬時(shí)產(chǎn)生的認(rèn)知是來自于背景噪聲中的信號，或僅僅是一個(gè)噪聲樣本。評估者所感知的各種證據(jù)在多大程度上能夠成為明確的決策信號，主要取決于對以往內(nèi)部印象的分布如何進(jìn)行采樣，這種分布在性質(zhì)上通常被假定為高斯分布（Macmillan &Creelman, 2005）。而來自信號事件的內(nèi)部印象的平均強(qiáng)度被假定為高于單獨(dú)來自于噪聲的內(nèi)部印象。噪聲加噪聲的分布與噪聲加信號的分布可能相同，也可能不同。這種測評方法所具有的靈敏性提供了有效的指標(biāo)以區(qū)分這兩種分布的性質(zhì)。但如果兩種分布之間存在一些重疊，那么總體的準(zhǔn)確性將不可預(yù)期。

Macmillan等（2005）深入探討了SDT理論應(yīng)用的各種模型，Harvey（1992）認(rèn)為如果能夠?qū)⑦@些模型應(yīng)用到評估中心情境中，把評估專家所進(jìn)行的各種人才分類作為信號來處理以計(jì)算其相似度或可能性，將幫助評估中心法取得更為可靠的結(jié)論。這些模型所提供的信息和結(jié)論將提供不同方面的建議，比如是否要提高評估專家的辨別力，或者調(diào)整評估專家的反應(yīng)傾向等。當(dāng)信號檢測方法被應(yīng)用于人員績效領(lǐng)域時(shí)，它可以量化評估者判斷決策的靈敏度或辨別力。同時(shí)為了應(yīng)用該理論，觀察對象必須能夠按照信號或噪聲的判斷標(biāo)準(zhǔn)進(jìn)行分類。

評估中心的評估人員所要面對的求職者往往提供多種資料以證明他們對組織的適用性，但他們只有經(jīng)過事后的工作考驗(yàn)才能被證明與組織的要求是否匹配。在這種情況下，前面提及的與評估人員績效有關(guān)的兩個(gè)方面就變得尤為重要。首先是通過申請人提交的證據(jù)材料判斷其適用性的辨別力，這是一種能夠區(qū)分候選人適合與否的潛在能力。第二個(gè)方面是基于所有可感知的證據(jù)而進(jìn)行相機(jī)決策的能力。在現(xiàn)實(shí)情境中，即使兩個(gè)鑒別力相同的評估人員面對同一申請人展現(xiàn)出的相同特質(zhì)，仍然可能會對這些特質(zhì)是否足以確定一個(gè)特定的評估分?jǐn)?shù)而意見相左。因此，在評價(jià)評估人員的績效時(shí)就需要一些客觀的測評工具，不但能夠測量他們看法的準(zhǔn)確性，更重要的是能夠明確地測量他們的評價(jià)標(biāo)準(zhǔn)相對于其他評估者或者評估中心的目標(biāo)，是趨向于更加嚴(yán)格還是更加寬松。這些方面的績效測評正是信號檢測理論范式所能夠?qū)崿F(xiàn)的。

三、 信號檢測理論應(yīng)用于改進(jìn)評估中心有效性的具體方法

如果用于決策的判斷信息數(shù)量充足，那么測評方法的辨別力和偏向性都能夠通過信號的呈現(xiàn)和正確判斷的概率而得以揭示，這時(shí)可以稱之為“命中”（hits）。如果觀察者報(bào)告了信號的呈現(xiàn)，但是實(shí)際并沒有信號的呈現(xiàn)，這種情境稱之為“誤報(bào)”（falsealarms）。命中和誤報(bào)的情境都是用來估計(jì)測評方法的鑒別力和偏差的樣本。在報(bào)告一個(gè)信號的出現(xiàn)之前，命中和誤報(bào)的比例會隨著觀察者所需證據(jù)的逐漸增加而規(guī)律變化。在一個(gè)給定的辨別率水平下，用圖形來表示所有命中與誤報(bào)可能的比例組合，將形成一個(gè)連續(xù)曲線，該曲線被稱之為（信息）接收者工作特征曲線（receiver operating characteristiccurve，ROC）。ROC曲線族的分布范圍從位于正對角線上的零值辨別率開始，隨著辨別率值的增加呈現(xiàn)出一個(gè)朝向左上角拱起的曲線，并占據(jù)一個(gè)單位正方形從而形成ROC空間。如果記錄的測評分?jǐn)?shù)反映了信號存在的必然程度，那么將會得到ROC曲線上的若干點(diǎn)，然后就可以通過計(jì)算機(jī)分析來確定最佳擬合模型的參數(shù)。于是，根據(jù)特定數(shù)據(jù)在最佳擬合ROC曲線上的位置就可以用來表示觀察者的反應(yīng)偏差（見圖1）。

圖1 接收者工作特征曲線圖

ROC曲線來自于評估人員對應(yīng)試者所提供信息的判斷數(shù)據(jù)資料。位于圖形主對角線上的虛線代表零辨別力，而位于負(fù)對角線上的虛線代表無偏反應(yīng)（辨別力），圖中的實(shí)線則代表最佳擬合某被試者辨別力數(shù)據(jù)的辨別力曲線，該曲線與無偏反應(yīng)曲線的距離一目了然的反應(yīng)了該評估人員對面試者提供資料的辨別力水平。

具體而言，可以分三個(gè)步驟來實(shí)現(xiàn)對評估中心評估員的辨別力和反應(yīng)傾向進(jìn)行區(qū)分。首先，在一個(gè)評估中心中，針對某一個(gè)具體評估項(xiàng)目，比如申請某零售業(yè)管理人員的候選人選拔項(xiàng)目，候選人被要求參加若干測試項(xiàng)目，并由一組評估者進(jìn)行打分，詳細(xì)記錄這些評估者對每一個(gè)候選人的評分以及綜合評估。這時(shí)，每一項(xiàng)需要打分的活動都有可能成為一個(gè)信號事件或者噪聲事件，而判斷的標(biāo)準(zhǔn)取決于這名候選人最后是否被評估小組確定為合格人選。于是，當(dāng)評估小組最終決定某個(gè)候選人應(yīng)當(dāng)被錄取時(shí)，即評估小組假定此人適合企業(yè)的需要，那么這名候選人按照信號檢測理論就成為了一個(gè)信號，而其他落選的候選人則被指定為噪聲。

其次，為了區(qū)分評估者的辨別力和反應(yīng)傾向的差異，用評估者所做出的所有評分構(gòu)建評估組及評估者個(gè)人的ROC曲線，以此得出關(guān)鍵參數(shù)值。此時(shí)，需要選擇信號檢測模型來進(jìn)行模型擬合分析，并在模型擬合程序中設(shè)定噪聲分布的標(biāo)準(zhǔn)差為1，同時(shí)設(shè)定信號與噪聲的比例分布為自由變化。異方差假設(shè)的合理性可由信號與噪聲比例分布的標(biāo)準(zhǔn)誤來確定，而信號與噪聲比例的分布取自最佳擬合的ROC曲線，最后通過極大似然法從ROC曲線中可以得到各個(gè)參數(shù)的估計(jì)值。這些參數(shù)值包括了每一個(gè)評估者的辨別力參數(shù)、反應(yīng)傾向性參數(shù)以及可信度參數(shù)，從而實(shí)現(xiàn)了對同一組評估組中的每個(gè)評估者之間差異的準(zhǔn)確把握。

最后，根據(jù)所掌握的各個(gè)評估者的辨別力和反應(yīng)傾向性參數(shù)值調(diào)整評估組的成員構(gòu)成，以提高評估組整體的評估能力和有效性。很顯然，評估者的辨別力參數(shù)值和反應(yīng)傾向參數(shù)值越高越好，這說明該評估者有較強(qiáng)的辨別力以及與評估組整體更為一致的辨別傾向性，采用這樣的評估者構(gòu)成評估組將會有更好的評估績效。同時(shí)，對于辨別力參數(shù)值和反應(yīng)傾向性參數(shù)值較低或不均衡的評估者，可以根據(jù)具體的取值情況進(jìn)行有針對性的培訓(xùn)，以提高其辨別力和均衡的辨別反應(yīng)傾向性。

四、結(jié)語

本論文從評估中心法建構(gòu)效度的不足和信號檢測理論的基本原理出發(fā)進(jìn)行探索性思考，提出可以引入信號檢測理論，構(gòu)建一個(gè)信息接收者工作特征曲線（ROC）圖，用以區(qū)分不同的評估者對候選人材料的評估能力或辨別能力，進(jìn)而有效調(diào)整和改進(jìn)評估小組成員評估能力，提高整體評估有效性的方法。盡管本論文所構(gòu)思的探索性方法在本論文并未進(jìn)行驗(yàn)證，但是所提出理論來自于成熟的心理物理領(lǐng)域，所提供的操作方法也比較具體可行，因此對人才測評領(lǐng)域的研究也具有一定的理論價(jià)值和實(shí)踐意義，對評估中心測評方法領(lǐng)域的研究也起到了拋磚引玉的作用。

[1]陳曉惠.心理學(xué)研究中信號檢測論實(shí)驗(yàn)綜述[J].教育教學(xué)論壇，2013（10）:16-18.

[2]陳舒永，馬謀超.信號檢測理論與古典的心理物理學(xué)方法[J].心理學(xué)報(bào)，1979（03）:331-335.

[3]范巍，謝小云.評價(jià)中心法的幾個(gè)經(jīng)典誤差：人才選拔效度的視角[J].第一資源，2008（01）:91-99.

[4]HarveyL. O. The critical operating characteristic and the evaluation of expertjudgment[J]. Organizational Behaviour and Human Decision Processes,1992（53）, 229–251.

[5]MacmillanN. A., Creelman C. D.Detection theory: A user’s guide (2nd ed.). Mahwah,2005,NJ: Lawrence Erlbaum

責(zé)任編輯：王靜

2017-06-17

宋孜宇（1978-），男，漢族，呼倫貝爾學(xué)院經(jīng)濟(jì)管理學(xué)院講師，碩士，首都經(jīng)濟(jì)與貿(mào)易大學(xué)在讀博士生。研究方向：人力資源管理。

唐琦（1983-），呼倫貝爾學(xué)院經(jīng)濟(jì)管理學(xué)院講師，碩士。研究方向：營銷管理。

F243.2

A

1009-4601（2017）06-0052-03