国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

情境判斷測驗的研究述評

2017-02-16 20:24:55凌斌顧金良孫麗君
心理技術與應用 2016年9期
關鍵詞:效度信度

凌斌 顧金良 孫麗君

摘要:情境判斷測驗是人事測評中非常重要的工具和研究主題,近些年來圍繞著它的理論基礎、測量屬性、構念開發(fā)、應用效果等問題展開了一系列的研究。本文闡述了情境判斷測驗作為方法或構念的爭論,論述了它的理論基礎,比較了不同形式的測驗特征,總結了情境判斷測驗的信度和效度研究進展,最后從測驗的呈現(xiàn)方式、作假行為和群體差異三個方面剖析了執(zhí)行情境判斷測驗的關鍵要素。未來研究可以對不同形式的情境測驗進行比較,加強測驗構念和內(nèi)容的研究,嘗試與其他測評工具相結合。

關鍵詞:情境判斷測驗;人事測評;信度;效度

1.前言

情境判斷測驗(situational Judgment Tests,簡稱SJTs)是人事測評中非常重要的選拔和評估工具。近些年來,人力資源研究學者對于情境判斷測驗的理論問題(Kasten&Freund,2015;Weekley&Ployhart,2006),信度效度(Banki&Latham,2010;Catano,Broehu,&Lamerson,2012;Christian,Edwards,&Bradley,2010),構念開發(fā)(Bledow&Frese,2009),測驗形式比較(Lievens&Sackett,2006),實際應用(Buyse&Lievens,2011;Patterson Rowett,Hale,Grant,Roberts,Consans.&Martin.2016)等問題做了深入的探討,并已逐漸成為人事測評領域中的研究熱點。情境判斷測驗是由一些工作相關的情景或場景組成,要求受測者運用相應的知識、技術、能力或其他特質(KSAOs)來解決包含在情境中的困境或問題(Christian,Edwards,&Bradley,2010;Slaughter,Christian,Podsakoff,Sinar,&Lievens,2014;Whetzel&McDaniel,2009)。情境判斷測驗一般會針對情境困境列出一組不同水平的行為方案,要求受測者評價每種行為方案發(fā)生的可能性或效能。情境判斷測驗題項形式可以是書面形式、口頭形式、視頻形式、或者計算機呈現(xiàn)的形式。

情境判斷測驗在人事測評研究中具有重要的方法和理論意義。以往研究仍然在情境判斷測驗的構思與方法定位、理論假設和測量方法指標與屬性等方面存在分歧。這限制了情境判斷測驗的實際效果。本文通過對近期文獻的梳理和分析,以整合的視角闡釋和論述情境判斷測驗在人事測評研究中的最新進展和研究趨勢。正文主要分為以下幾個部分:首先介紹有關情境判斷測驗是一種方法技術還是一種理論構念的研究爭論。從各自視角分析情境判斷測驗的方法性特征與構念性特征,嘗試提出相應的解決方案。然后論述了情境判斷測驗的兩種基礎性理論:行為一致性假設與內(nèi)隱特質策略理論。兩種理論從不同視角詮釋情境判斷測驗預測行為績效的內(nèi)在邏輯。第三,從理論概念出發(fā),比較不同形式的情境判斷測驗,以及對比它與其他測評工具的差異。第四,闡述了情境判斷測驗的信度與效度研究,指出它在心理測量理論與技術方面的特征與趨勢。最后,強調(diào)了操作與執(zhí)行情境判斷測驗的過程中需要注意的三種因素:測驗呈現(xiàn)方式、作假行為和群體差異.它們會對情境判斷測驗的具體實施產(chǎn)生重要影響。

2.作為方法技術或理論構念的爭論

長期以來情境判斷測驗被看作是一種測量概念的方法,是人員選拔或者預測工作績效的途徑。人們只關注情境判斷測驗的分數(shù).而對于分數(shù)與測驗內(nèi)容的關系缺乏探究(Christian et al,2010;Kasten&Freund,2015)。近期研究逐步關注情境判斷測驗的內(nèi)容并將其作為一種構念,因此情境判斷測驗是測量方法還是測量構念成為研究的焦點問題(Christian et al,2010;Libbrecht&Lievens,2012;Lievens&Sackett,2012;Whetzel&Mcdaniel,2009)。在人事選拔方面,測量指標在方法與構念上的區(qū)分對于理解情境判斷測驗研究是非常關鍵的(Whetzel&Mcdaniel,2009),同時也具有重要的理論意義和實踐意義,而混淆方法與構念會降低測量結果的解釋力。測量指標的方法指的是獲得和收集相關領域行為信息的特定方法和技能.如評價中心,紙筆測驗,結構化面試等,是從行為范疇中獲得信息的過程。測量指標的構念指的是從相關領域中抽取的行為樣本,是作為一個心理學的概念,關注預測變量的行為范疇(Arthur Jr&Villado,2008;Guenole,Chernyshenko,Stark,&Drasgow,2015;Slaughter,Christion,Podsakoff,Sinar,&Lievens,2014)。

首先,情境判斷測驗作為一種測量方法,它與其他人事測量工具如評價中心和面試訪談等一樣是用來甄別區(qū)分被測量對象的行為特征。將情境判斷測驗看作是方法,主要是關注方法本身特征,而不關注測驗內(nèi)容。因此,在實際測驗中主要依據(jù)測驗分數(shù)來做出預測推論。以往研究中情境判斷測驗作為方法所測量的構念是單一的或者復合型的.即采用籠統(tǒng)的復合概念來說明測量的內(nèi)容,并給出相應的信效度指標。盡管情境判斷測驗作為測量方法具有有效的預測和甄別能力.但是弱化了測驗內(nèi)容會導致題項內(nèi)部一致性較差.缺乏有效的構念效度,混淆測驗結果與效標之間的關系。這樣一來就難以說明測驗效標的變異是由于測驗構念的變異導致的還是由于測驗方法差異所導致的。盡管大多數(shù)方法范式的研究都會給出比較滿意的信度或者效度值,但是這種范式的情境判斷測驗研究很難做比較。因為不同研究的情境判斷測驗不是在同一個構念水平上.測驗內(nèi)容不是同質的。因此,基于不同構念水平的情境判斷測驗結果增加了人才選拔決策的風險和偏誤。即便是穩(wěn)定性再高的情境判斷測驗在與其他測驗比較時仍然不能忽略測驗題項背后的行為范疇。只有這樣基于情境判斷測驗的結果預期才更具有理論意義。

其次,情境判斷測驗作為一種測量構念的研究范式近些年來廣受關注,用于表現(xiàn)一些心理學概念如個體主動性、領導行為、情緒管理和文化定向等(Bledow&Frese,2009;Burrus,Betaneourt,Hottzman,Minsky,MacCam,&Robeas,2012;Ktinig,Steinmetz,F(xiàn)rese,Rauch,&Wang,2007;Libbrecht&Lievens,2012;Oostrom,Born,Sedie,&Van Der Molen,2012;Slaughter et a1.,2014)?;跇嬆罘妒降那榫撑袛鄿y驗是被作為一種概念來研究,它不局限于單一概念,更多情況下就像大五人格量表一樣屬于多維度概念。Bledow和n—ese(2009)開發(fā)了個體主動性的情境判斷測驗(SJT of personal initiative,SJT-PI),運用情境偏好作為個體主動性的測量指標。構念水平的情境判斷測驗具有很好的理論意義和視角.個體主動性作為主動性績效包含個體的情境化的行動,而在以往的李克特量表中個體主動性的題目比較通用.情境化程度比較低.這樣就很難如實地反應工作情境中的主動績效。Bledow和Frese采用情境判斷測驗是將工作情境加入了題項中.提高了個體主動性的情境化成分,同時也增加了情境判斷測驗的理論意義。構念范式非常重要的特點是對概念構念和測量內(nèi)容進行清晰的界定,測驗題項間的關聯(lián)性也會提升,從而保證了測驗的構念效度、預測效度、效標關聯(lián)效度和內(nèi)部一致性系數(shù)。

情境判斷測驗的方法范式和構念范式不是相互排斥的。Christian等(2010)針對這個問題給出了學術研究和實際應用的建議。首先在學術研究方面:(1)情境判斷研究需要報告詳細的構念信息和內(nèi)容,而不是在方法水平上的復合概念;(2)情境判斷測驗中需增加構念驗證的程序;(3)通過采用情境判斷測驗構念信息來保持構念的恒定.并可以用來比較不同形式的情境判斷測驗對于相關構念的影響等。而在實際應用過程中,基于構念范式.管理者在選擇人事評估工具時先要確定核心構念。此外在選擇測量構念時還要仔細考慮相關聯(lián)的效標,因為當測量構念與效標匹配時效度會更好。

3.情境判斷測驗的理論基礎

情境判斷測驗主要是作為一種應用方法來研究.重點關注方法特征屬性和實施過程.而對于情境判斷背后的行為和認知機制缺乏深入的研究和探索。為什么通過對情境問題的判斷就能有效地預測個體績效?情境判斷與行為表現(xiàn)之間的內(nèi)在邏輯該如何解釋?目前.情境判斷測驗的基礎理論主要有行為一致性假設與內(nèi)隱特質策略理論。

3.1行為一致性假設

行為一致性假設指出過去的行為是未來行為最好的預測指標(Whetzel&Mcdaniel,2009),個體行為存在跨情境的一致性。個體在情境判斷測驗中的行為選擇能夠預測未來的工作績效,并具有良好的效度指標(Mcdaniel.Morgeson,F(xiàn)innegan,Campion,&Braverman,2001)。根據(jù)行為一致性假設,情境判斷測驗提供的多種行為選項被認為是總體行為表現(xiàn)的一個樣本,個體在情境中對各種行為樣本進行判斷并選擇和評價,以此用樣本行為來預測整體的行為傾向或未來的行為變化。這是情境判斷測驗的理論前提,可以用來解釋測驗結果。3

.2內(nèi)隱特質策略理論

內(nèi)隱特質策略理論(implicit trait policy theory)是解釋情境判斷測驗認知機制的最新發(fā)展起來的理論(Motowidlo,Hooper,&Jackson,2006;Oostrom,Born,Serlie,&van der Molen,2012),用來解釋情境判斷測驗與工作績效之間的關系(見圖1)。該理論主要觀點認為人格特質與行為效能之間存在因果關系,主要包括三個理論假設。

第一個假設認為情境判斷測驗所測量的程序知識與工作績效存在因果關系。個體在情境判斷測驗測得的程序知識越高,則工作績效水平也就越高。第二個假設認為人格特質與情境判斷測驗成績也具有因果效應。情境判斷測驗中存在特質匹配.不同行為的效能是由對應的人格特質來決定的。比如具有高責任心特質的個體更愿意相信那些表達這種特質的行為選項.因此個體在特質匹配的情境中會做出更有效的行為表現(xiàn)(Motowidlo et al,2006)。第三個假設認為內(nèi)隱特質策略受到先前經(jīng)驗的影響.個體能否在特質匹配的情境中表現(xiàn)出一致性的行為會受到先前經(jīng)驗的影響。借助先前經(jīng)驗,個體能夠了解到在某種特定工作情景中呈現(xiàn)某種具體的人格特質要比另外的特質會更加有效。

4.類型比較

4.1不同類型的情境判斷測驗比較

情境判斷測驗具有多種不同的測驗形式,比如書面形式、視頻形式、多媒體形式等。測驗形式的變換并不是完全等價的.不同形式的測驗具有不同的預測效度、增益效度和內(nèi)部一致性系數(shù)等(Lievens&Saekett,2006),因此在設計或轉換測驗形式時需要謹慎,并能提供測驗的效度指標。Lievens與Sackett(2006)通過對比視頻和書面兩種測驗形式在預測效度上的差異發(fā)現(xiàn),在高風險測驗環(huán)境中視頻形式的情境判斷測驗(人際導向內(nèi)容)相比書面測驗,與認知能力具有更低的相關,但在預測人際導向效標方面具有更高的預測效度和增益效度。視頻形式的情境判斷測驗相比書面形式測驗還具有更高的表面效度,而且還能夠降低群組間在表面效度上的差異(Chan&Sehmitt,1997)。多媒體形式的情境判斷測驗具有較好的效標關聯(lián)效度,在一項研究中測量領導技能的多媒體情境測驗能夠很好地預測由同事和上級評定的領導行為,而且超過領導經(jīng)驗和人格量表的預測效度(Oostrom,Born,Serlie,&van derMolen,2012)。但是多媒體情境測驗效度除了受到測驗內(nèi)容和特征的影響外還會受到受測者個體特征的影響.比如個體的電腦焦慮特征與多媒體情境測驗的工作關聯(lián)性感知存在負相關關系.而核心自我評估、主觀幸福感、宜人性、情緒穩(wěn)定性、經(jīng)驗開放性特質與測驗的工作關聯(lián)性感知存在正相關關系(Oostrom et al,2010)。這說明受測者自身的心理狀態(tài)和特征會影響情境判斷測驗的效度評價。

基于網(wǎng)絡形式的情境判斷測驗和書面形式的測驗在實際應用中也存在一定的差異.在對求職者樣本的測驗中,基于網(wǎng)絡形式的測驗要比書面形式的測驗表現(xiàn)出更好的測驗性質.結果具有更加正態(tài)的分布,具有更低的平均值,更高的內(nèi)部一致性系數(shù),更好的變異度且題項間具有更高的相關性??傊畬τ谶x拔求職者來說,網(wǎng)絡形式的情境判斷測驗要比紙筆測驗具有更好的測量屬性(Ployhan,Weekley,Holtz,&Kemp,2003)。

4.2與其他測評工具的比較

情境判斷測驗與其他人事測評工具如評價中心和認知能力測驗具有不同的特征和聯(lián)系。它們之間不是孤立關系,而是互補關系.情境判斷測驗可以為評價中心和認知能力測驗的結果提供佐證,強化整體測評效果。但是這三種測驗在情境模擬程度、刺激類型、反應模式、計分方法和實施過程等維度上具有各自的特征(Lievens.Peeters,&Sehollaert,2008)(見表1)。

情境判斷測驗與評價中心都是基于情境模擬的測驗形式,但是情境判斷測驗屬于低保真的模擬.以書面或視頻等形式提供虛擬化的任務情景,情境真實性較低。評價中心測驗屬于高保真的模擬.為受測者提供真實的工作情景,并以真實行為來做出反應。情境判斷測驗與評價中心都提供標準化的測驗內(nèi)容和指導,它們形式多樣但不同。情境判斷測驗要求被試主要以書面和口頭報告的形式來做出反應,而評價中心測驗則由專家來觀察被試的行為變化和角色扮演.并根據(jù)行為標準打分。情境判斷測驗在打分上以演繹推理的方式為主,依靠專家對行為方案進行評估來確定分數(shù),或者以經(jīng)驗數(shù)據(jù)作為衡量指標來確定行為方案的分值。情境判斷測驗實施過程中可以對大樣本群體采取線上或線下的方式來采集數(shù)據(jù),而評價中心測驗一般只針對小樣本群體采取現(xiàn)場實施的方式(Lievens et al,2008)。

以往研究經(jīng)常將情境判斷測驗與認知能力測驗進行比較研究,并通過認知能力測驗的對比來了解情境判斷測驗的測量屬性和性質。認知能力測驗采用經(jīng)典的問卷方式來測量概念,題目內(nèi)容、操作指導和過程都比較標準化.并均有較好的信度和效度。此外,認知能力測驗題目編制和反應計分也均采用標準化處理,被試對題項的反應一般按照等距尺度來打分,題項的同質性比較高。最后,與情境判斷測驗相似,認知能力測驗也可以對大樣本群體通過線上或線下的方式來收集數(shù)據(jù)。

5.測量評價指標一信度與效度

5.1情境判斷測驗的信度問題

信度系數(shù)的選擇與評價是情境判斷測驗信度研究中的主要問題。大多數(shù)研究仍采用Cronbach's a系數(shù)作為情境判斷測驗的信度指標.但是研究結果表明內(nèi)部一致性系數(shù)的差異幅度比較大,Mc—Daniel等(2001)的元分析研究列出內(nèi)部一致性系數(shù)的取值范圍在0.43至0.94之間。Catano等(2012)研究指出Cronbach's a系數(shù)不是評估情境判斷測驗最適應的信度指標,特別是在高風險情境和測驗題目不同質的情況下內(nèi)部一致性系數(shù)非常低.學生樣本中僅系數(shù)為0.46.人力資源專業(yè)人員樣本中a系數(shù)為0.43。已有研究指出測驗長度、反應指導模式、題項異質性程度等會影響內(nèi)部一致性系數(shù)作為情境判斷測驗的信度指標,并低估測驗的穩(wěn)定性程度。情境判斷測驗長度會提高內(nèi)部一致性系數(shù)(Lievens et al,2008)。因此在設計測驗時增加同質題項有助于提高a系數(shù)。另外.情境判斷測驗的反應方式中當采取“woulddo”的反應模式時整體上會產(chǎn)生比“should do”有更高的內(nèi)部一致性系數(shù)。比如要求“評價每個選項的有效性”會產(chǎn)生最高的系數(shù)(0.73),要求“評價每個選項的可能性程度”會產(chǎn)生次高的系數(shù)(0.69),要求被試簡單指出在每個情景中應該做出的行為時產(chǎn)生最低的系數(shù)(0.32)。情境判斷測驗中題目具有高異質性,或者測量的是一些復合性的概念時會產(chǎn)生比較低的內(nèi)部一致性系數(shù)(catano et al,2012;O'ConneH,Hartman,Mcdaniel,Grubb,&Lawrence,2007)。

由于內(nèi)部一致性系數(shù)不足,重測信度和復本信度被認為是情境判斷測驗最為合適的信度指標.能夠較好地表現(xiàn)測驗的可靠性和穩(wěn)定性程度。在實際研究中重測信度和復本信度逐步受到關注.特別是重測信度應用更多。最近的一項研究中,Bledow和Frese(2009)采用重測信度作為個體主動性情境判斷測驗的信度指標,他們對情境測驗中的四個題項在11周的時間間隔中做了重復測量,其重測信度系數(shù)為0.73。在兩個子研究中,Catano等(2012)發(fā)現(xiàn)重測信度分別為0.82和0.66,均比內(nèi)部一致性系數(shù)都高(0.46和0.43)。相比內(nèi)部一致性系數(shù).重測信度要求在同一樣本中重復測量兩次.因此增加了測量的難度和時間成本。但是運用重測信度能夠較真實地表現(xiàn)情境判斷測驗的穩(wěn)定性,同時也能獲得較為滿意的結果(Lievens et al,2008)。復本信度在實際研究中運用的不是很多,這主要是由于編制兩份平行的情境測驗是比較困難的。但已有研究指出復本信度和重測信度一樣.都是情境判斷測驗比較理想的信度指標,Chan和Schmitt(2002)的研究中情境判斷測驗得到良好的復本信度系數(shù)(0.76)。

5.2情境判斷測驗的效度問題

效度是情境判斷測驗研究中非常重要的問題,現(xiàn)有研究主要探討了情境判斷測驗的構念效度、效標關聯(lián)效度和增益效度。這三種效度分別對應了情境判斷的三類問題:(1)情境判斷測驗測量的內(nèi)容是什么?(2)情境判斷測驗的分數(shù)能夠預測什么行為?(3)與其他測驗相比,情境判斷測驗的增量在哪里?

首先第一個問題是情境判斷測驗的構念效度。情境判斷測驗目前最需要迫切解決的就是構念效度,而大多數(shù)情境判斷測驗的局限性就是缺乏清晰的構念效度。盡管情境判斷測驗與認知能力、情緒管理、人格特質、程序知識等概念存在相關,但是在實際編制測驗時,題項間往往存在較為明顯的異質性。因此為了突出和提高人事測評工具的構念效度.目前研究趨勢更加提倡構念導向的研究視角.重點關注測驗反應的維度和構念的檢驗(Chan&Schmitt,2004)。在方法導向的研究范式中情境判斷測驗的構念效度相對比較模糊,測驗包含知識、技能、經(jīng)驗等多種差異化題項,并形成一種復合型的概念,構念效度比較低。但是在概念導向的研究范式中情境判斷測驗可以測量獨立的多維度心理學概念.題項之間在內(nèi)容上做到同質性。以往研究中用情境判斷測驗來測量工作知識(Crook,Beier,Cox,Kell,Hanks,&Motowidlo,2011)、情緒智力(Libbrecht&Lievens,2012)、一般認知能力(Mcdaniel et al,2001)、個體主動性(Bledow&Frese,2009),并與責任心、情緒穩(wěn)定、宜人性等概念存在相關性(Mcdaniel&Nguyen,2001)。已有研究表明情境判斷測驗可以較好地表達構念效度,Crook等(2011)采用單一反應模式的情境判斷測驗來測量工作知識,為了檢驗構念效度,他們在情境判斷測驗編制中區(qū)分了有效行為的知識和無效行為的知識兩種概念,結果發(fā)現(xiàn)這兩種概念是不同的,相關度比較低。Bledow和Frese(2009)在研究中區(qū)分了情境判斷測驗的個體主動性與組織公民行為和責任心,從而驗證了個體主動性的構念效度。此外,情境判斷測驗的構念效度依賴于特定情境,不同測驗樣本中情境判斷測驗的構念效度是不同的。相比在職者樣本,應聘者的測驗分數(shù)與認知能力和人格特質的相關度更高(Mackenzie,Ployhart,Weekley,&Ehlers,2009)。應聘者與在職者對于情境判斷測驗內(nèi)容的理解和提取是不同的,所得分數(shù)也存在差異。

第二個問題是情境判斷測驗的效標關聯(lián)效度.主要表現(xiàn)在情境判斷測驗能夠有效地預測工作相關效標。元分析研究結果表明用來測量人際技能(0.25)、團隊技能(0.38)和領導力(0.28)的情境判斷測驗對于整體工作績效具有較高的預測效度,其中工作績效維度(任務績效、周邊績效和管理績效)、測驗類型(紙筆和視頻形式)對效標關聯(lián)效度具有調(diào)節(jié)作用,結果說明當情境判斷測驗構念與工作績效維度存在內(nèi)容關聯(lián)性時會提高效標關聯(lián)效度,基于視頻形式的情境判斷測驗要比紙筆形式具有更高的效標關聯(lián)效度(Christian et al,2010)。在另外一項元分析中情境判斷測驗對于工作績效的預測效度為0.26,稍微小于McDaniel等(2001)元分析中報告的0.34,而且測驗中兩類測驗反應指導語知識模式與行為傾向模式對效標關聯(lián)效度不存在時顯的調(diào)節(jié)作用(Mcdaniel,Hartman,Whetzel,&Grubb,2007)。情境判斷測驗的效標關聯(lián)效度在國家間存在一定的差異,以往研究在澳大利亞、英國、美國、伊朗(0.23)等國家發(fā)現(xiàn)存在效標關聯(lián)效度.而在有些國家如墨西哥則發(fā)現(xiàn)該效度不佳(Banki&Latham,2010;Weekley&Ployhart,2006)。整體而言,情境判斷測驗作為人事選拔工具和研究構念在預測工作績效等效標方面具有較好的關聯(lián)效度,但是它會受到一些測驗情境因素的調(diào)節(jié)。因此在使用情境判斷測驗時需要注意和區(qū)分不同測驗因素的影響,比如測驗形式和反應指導語等。

最后的一個問題是情境判斷測驗的增益效度.主要指的是情境判斷測驗相比其他測驗在預測效標方面所獲得的改進程度,用來衡量情境判斷測驗在同一類效標上的增量程度和變異貢獻量。我們在實際研究中關注增益效度是為了說明情境判斷測驗可以作為非常理想的預測變量來研究組織行為?,F(xiàn)有大量實證研究支持了情境判斷測驗具有非常理想的增益效度.在預測工作績效方面.它比一般認知能力測驗、工作經(jīng)驗、大五人格等表現(xiàn)出更好的效果.可以提供更高的變異解釋力(Chan&Schmitt,2002;O'connell et al,2007;Oostrom et a1.,2012;Weekley&Ployhart,2005)。Chan和Schmitt(2002)研究中發(fā)現(xiàn)當增加情境判斷測驗作為預測變量時,認知能力、大五人格和工作經(jīng)驗在預測任務績效(0.05)、周邊績效(0.08)和整體績效(0.04)方面具有顯著的增益效度。McDaniel等(2007)在其元分析的研究中綜合分析以往的研究發(fā)現(xiàn)情境景判斷測驗具有較好的增益效度,其中它在認知能力上的增量變異為0.03到0.05.在大五人格上的增量變異為0.06到0.07.在認知能力與大五人格的復合變量中的增量變異為0.01到0.02,他們還指出情境判斷測驗的指導反應形式會調(diào)節(jié)增益效度.行為指導模式的情境判斷測驗具有高出認知能力的增益效度.而知識指導模式的情境判斷測驗具有高出大五人格的增益效度。Buyse和Lievens(2011)在選拔牙科專業(yè)學生的研究中支持了情境判斷測驗在預測學術成績方面具有高于認知能力的增益效度。O'Connell等(2007)在研究中運用認知能力和大五人格預測任務績效和周邊績效時,分別增加情境判斷測驗會提高預測變量的變異解釋量.但是解釋量的增幅不是很顯著(0.003到0.011)。情境判斷測驗的增益效度也會受到測驗情景因素的影響,不同形式的測驗會導致不同的增益效度。Lievens和Sackett(2006)采用情境判斷測驗預測人際導向效標時,視頻形式的情境判斷測驗要比紙筆形式的測驗具有更高的增益效度(0.11 vs.0.01)。此外,不同形式的測驗指導語也會導致不同的增益效度(Mcdaniel et al,2007)。

6.操作執(zhí)行中的影響因素

情境判斷測驗具有情境敏感性的特點,在具體實施過程中會受到一些因素的影響,從而表現(xiàn)出不同的測驗結果和性質。因此在情境判斷測驗實施過程中需要引起關注。

6.1測驗呈現(xiàn)方式

情境判斷測驗在呈現(xiàn)給被試時需要關注測驗形式、反應指導語和題目順序等方面的因素,而忽略這些方面將導致測驗結果和評價決策的誤差。首先測驗形式的差異會導致不同水平的信效度.這得到一些實證研究的支持,比如視頻測驗要比紙筆測驗具有更好的預測效度和增益效度(Chan&Schmitt,1997;Kasten&Freund,2015;Lievens&Sackett,2006;Ployhart,Weekley,Hohz,&Kemp,2003)。相同內(nèi)容的測驗形式在進行比較和轉換時需要特別謹慎,在同一樣本的測評中需要采取相同的測驗形式。情境判斷測驗具有情境敏感性,不同程度的情境嵌入感知會帶來不同的反應行為。在測驗實施過程中給予被試不同的反應指導語也會帶來不同的測驗結果和屬性,反應指導模式會啟動被試產(chǎn)生對測驗情境不同的認知和理解。行為傾向的反應模式會啟動被試產(chǎn)生程序性的認知,更多關注測驗行為反應是如何實施的:而知識傾向的反應模式促使被試產(chǎn)生程序性的知識,主要關注測驗行為的解釋和描述。測驗反應指導語需要與測量概念和預測效標有對應匹配的關系.在預測認知能力時行為模式具有更好的效果,而在預測人格特質時知識模式具有更好的效果(McDaniel et al,2007)。情境判斷測驗的實施需要受測者投入一定的認知資源,特別是題項比較長.題目異質程度高,或者測驗包含無關內(nèi)容時題項在呈現(xiàn)過程中會產(chǎn)生順序效應,即相同的題目放置在前后不同位置上會導致不同的行為選擇(Marentette,Meyers,Hurtz,&Kuang,2012)。因此,測驗開發(fā)者在編制情境判斷測驗時需要降低測驗無關內(nèi)容的干擾,排除測驗中的“雜質”,提高測驗題項的同質性。

6.2測驗作假行為

測驗中的作假行為是人事測評中經(jīng)常遇到的現(xiàn)象,受測者基于相關動機有意識地歪曲測驗反應,做出偏好或期望性的反應(Peeters&Lievens,2005;Whetze]&McDaniel,2009),這會增加測驗系統(tǒng)誤差,降低測驗信效度。已有研究表明情境測驗中的作假行為與效標關聯(lián)效度和增益效度具有顯著負相關關系,相比誠實組被試(0.33),作假組被試的效標關聯(lián)效度更低(0.09),同時在增益效度方面,誠實組被試的情境判斷測驗提供比認知能力和人格測驗更高的變異解釋量,但作假組被試的情境判斷測驗沒有出現(xiàn)顯著的增益方差(Peeters&Lievens,2005)。情境判斷測驗具有情境保真度和情境特定性特征.加之測驗題項在表述上具有復雜性.因此個體對測驗做出反應時容易歪曲測驗反應,不能反應真實的行為。已有研究指出測驗作假行為在不同的反應指導模型中會出現(xiàn)不同的效應.在一項被試內(nèi)的設計中引導被試誠實反應的先后順序會調(diào)節(jié)作假效應(Nguyen,Biderman,&McDaniel,2005)。測驗作假行為對于情境判斷測驗的影響是負面的,因此在測驗實施過程中需給予重視,采取相關措施來降低受測者的作假行為。Lievens,Peeters和Schollaet(2008)研究了降低測驗作假行為的方法,他們指出當情境測驗中加入測驗闡釋(說明原因)的條件后可以降低被試的作假行為,提高他們?nèi)鐚嵎磻膬A向。測驗作假行為應該成為情境判斷測驗研究的方向.通過關注降低測驗作假效應的方法和策略,來避免測驗作假對結果造成的負面影響。測驗作假行為是由于測驗實施過程中所產(chǎn)生的行為,還是由于受測者本身的人格傾向所導致的,已有研究遠沒有解決這些問題。

6.3測驗群體差異

由于情境判斷測驗題項具有情境敏感性和特定性,不像認知能力和人格測驗的題項那樣通用,因此在具體實施過程中會受到人群特征的影響,從而造成測驗結果的差異。以往研究主要從性別、種族、國別、求職和在職等方面來研究情境判斷測驗行為上的差異,并發(fā)現(xiàn)情境判斷測驗存在亞群體差異(Banki&Latham,2010;Chan&Schmitt,1997;Weekley,Ployhart,&Harold,2004;Whetzel,Mcdaniel,&Nguyen,2008)。首先.情境判斷測驗在種族上存在顯著的差異,Chan和Schmitt(1997)研究發(fā)現(xiàn)白人的測驗成績要顯著地好于黑人.而且種族和測驗形式(紙筆和視頻)存在交互作用,種族的測驗差異在視頻形式中會更小,種族測驗差異可以部分歸因于被試閱讀理解上的差異。在另外一項研究中,Banki和Latham(2010)發(fā)現(xiàn),盡管在非西方國家的樣本中支持了情境判斷測驗有較好的效標關聯(lián)效度,但是在不同的文化背景下仍然存在一些差異。情境判斷測驗在整體上具有跨文化通用性,但是受到文化群體的影響,在其效度指標上存在一定的差異。Whetzel等(2008)對情境判斷測驗的亞群體差異做了元分析,結果表明(1)在種族差異上白人被試的測驗成績通常要好于非洲裔、西班牙裔、亞裔被試;(2)女性被試的測驗表現(xiàn)要好于男性被試。其中存在一些變量調(diào)節(jié)了亞群體差異,比如在反應指導模式上知識模式指導的測驗要比行為模式具有更高的種族差異。此外,在以求職者和在職者為樣本的研究中發(fā)現(xiàn)了亞群體差異,求職者在人格測驗中的得分較高.而在情境判斷測驗中的得分較低。但是在兩種群體中測驗的因子結構是等價的,并具有相似的效標關聯(lián)效度(Weekley et a1.,2004)。

7.討論與展望

情境判斷測驗是人事選拔和測評領域中重要的研究主題,既包含重要的理論意義.又具有廣泛的實用價值。盡管情境判斷測驗的研究是豐富的,但是仍然有問題值得關注和研究,以便更好地幫助我們理解情境判斷測驗預測工作績效背后的心理和行為機制。

首先從測驗形式上來看.未來研究可以開發(fā)和比較多種形式的情境判斷測驗。隨著網(wǎng)絡技術、數(shù)字媒體技術和移動技術的發(fā)展,情境判斷測驗可以借助這些技術來提高情境的保真度.讓被試可以更加嵌入地完成情境判斷測驗。以往研究發(fā)現(xiàn),基于多媒體形式或者視頻形式的情境判斷測驗要比傳統(tǒng)的紙筆測驗具有更好的預測效度和增益效度(Kasten&Freund,2015;Lievens&Sack—ett,2006;Patterson et a1.,2016),其中一個重要的原因在于視頻形式的情境判斷測驗具有更加情景化的內(nèi)容.被試在視頻呈現(xiàn)的題目中可以身臨其境,以更加真實的方式參與判斷。數(shù)字網(wǎng)絡、智能手機、立體動畫等媒介形式為提升測驗的情景化提供了較好的方式.特別是移動互聯(lián)網(wǎng)技術的普及和發(fā)展.研究者完全可以借助這種技術來隨時隨地開展情境判斷測驗.甚至可以結合經(jīng)驗抽樣的方法開展縱向的研究設計,提高行為樣本的情境嵌入度。

其次從測驗的研究范式上來看,未來研究需要更多地關注構念范式的研究。傳統(tǒng)方法范式的測驗研究往往只重視測驗分數(shù).而忽略測驗內(nèi)容和概念,這種研究方式需要得到改進。因此在測驗編制時需要關注測驗的構念效度和內(nèi)容效度,測驗分析過程中需要加強構念的檢驗程序,并在結果中報告測驗的詳細內(nèi)容。情境判斷測驗不再僅僅局限于是一種人員選拔的方法.而且還是組織行為研究中的理想構念。實際研究表明,情境判斷測驗具有穩(wěn)定的再測信度.具有良好的預測效度、構念效度和增益效度(Burrus et al,2012;Slaughter et al,2014)。組織管理的問卷研究一般通過編制去情境化的題目來測量某一個概念,有些時候被試對于題目的判斷缺乏參考情境,導致他們可能很難真正地去理解某種描述,造成測量的偏差.而采用情境判斷測量來表征一個構念就可以盡可能地解決這種問題,提高理論的情境性。因此在學術研究中增加概念的情境測驗有助于提高研究的理論價值。

最后情境判斷測驗可以與其他測評工具進行結合來提高人事選拔和決策的質量。已有研究較少將情境判斷測驗與評價中心、傳記數(shù)據(jù)、結構化面試等工具相結合,共同解決一項研究問題,一般是單獨采用某一種方法。每種研究方法都有自己的優(yōu)勢和不足,相互之間可以提供和補充相關的佐證,提高研究的信度和效度。比如認知能力測驗.雖然缺乏特定的情境指導,但是它在反應模式和計分方法上更加標準化和高效,而情境判斷測驗對于測評情境和專家具有較強的依賴。因此,研究中可以嘗試將這兩種方法結合在一起,采用不同的方法針對同一個問題進行分析和測量.從而能夠更加有效地解決研究問題。在實際的人事測評工作中,情境判斷測驗作為概念或許也可以解釋其他測評工具與工作績效之間的關系。它們之間的結合可以更好地理解情境模擬對于工作績效的預測機制。

猜你喜歡
效度信度
《廣東地區(qū)兒童中醫(yī)體質辨識量表》的信度和效度研究
慈善募捐規(guī)制中的國家與社會:兼論《慈善法》的效度和限度
科技成果評價的信度分析及模型優(yōu)化
體育社會調(diào)查問卷信度檢驗的方法學探索——基于中文核心體育期刊163篇文章分析
耳鳴殘疾問卷中文版的信度和效度檢驗及其臨床應用
被看重感指數(shù)在中國大學生中的構念效度
心理學探新(2015年4期)2015-12-10 12:54:02
外語形成性評估的效度驗證框架
中文版腦性癱瘓兒童生活質量問卷的信度
復雜圖形測驗對區(qū)分阿爾茨海默病與非癡呆的診斷效度
翻譯測試的評分員信度研究*——TEM8 翻譯項目評分員問卷調(diào)查記略
外語學刊(2011年6期)2011-01-22 05:55:09
仪征市| 马尔康县| 呼和浩特市| 会昌县| 大丰市| 新疆| 东源县| 龙井市| 永德县| 肇源县| 胶州市| 庄浪县| 晋城| 光泽县| 辽源市| 锡林郭勒盟| 永泰县| 田阳县| 息烽县| 壤塘县| 保山市| 保靖县| 浮梁县| 平乡县| 青铜峡市| 扎囊县| 樟树市| 景谷| 咸丰县| 信丰县| 古浪县| 明水县| 日照市| 会泽县| 三都| 永泰县| 东山县| 郓城县| 无为县| 海宁市| 阿城市|