喻 平
(南京師范大學(xué)課程與教學(xué)研究所 210097)
要研究人的個(gè)性、態(tài)度、能力、人格等心理因素的行為表現(xiàn),常使用測(cè)量方法.所謂心理測(cè)量,就是根據(jù)一定的法則用數(shù)字對(duì)人的行為加以確定,即依據(jù)一定的心理學(xué)理論,使用一定的操作程序,給人的行為和心理屬性確定出一種數(shù)量化的價(jià)值.[1]測(cè)量也包括學(xué)業(yè)成就的測(cè)驗(yàn).
與問(wèn)卷調(diào)查不完全相同,測(cè)量研究對(duì)工具的要求更高,往往把測(cè)量的工具稱為量表.學(xué)業(yè)成就的測(cè)量,需要編制具體題目,通過(guò)預(yù)測(cè)之后的數(shù)據(jù)分析題目的難度、區(qū)分度等指標(biāo),或采用項(xiàng)目分析方法研制修訂題目.人格心理的測(cè)量,主要是編制由一系列問(wèn)題組成的量表,讓被試根據(jù)自己對(duì)問(wèn)題的認(rèn)識(shí)回答.對(duì)量表的要求高于問(wèn)卷,分析指標(biāo)主要是信度和效度.能力傾向的測(cè)量類似學(xué)業(yè)成就測(cè)量,由具體的學(xué)科題目組成,但是能力的測(cè)試往往需要事先對(duì)能力要素作水平劃分,通過(guò)測(cè)試考察被試達(dá)到的能力水平.本文主要討論個(gè)性心理測(cè)量的量表設(shè)計(jì)和數(shù)據(jù)分析方法.
與問(wèn)卷的設(shè)計(jì)相同,量表的設(shè)計(jì)也是一種自上而下的過(guò)程.研究者根據(jù)研究的問(wèn)題,提出量表結(jié)構(gòu)的框架,編制相應(yīng)題項(xiàng),通過(guò)預(yù)測(cè)數(shù)據(jù)對(duì)這個(gè)框架進(jìn)行修正和完善.量表設(shè)計(jì)的過(guò)程如圖1.
圖1 量表制作過(guò)程
前面四個(gè)環(huán)節(jié),我們對(duì)確定維度、擬定題項(xiàng)、量表預(yù)測(cè)作說(shuō)明.
確定維度是指把一個(gè)量表分為幾個(gè)維度,每個(gè)維度就是一個(gè)分量表.確定維度事實(shí)上就是提出一種分量表的結(jié)構(gòu),即總量表由哪幾個(gè)分量表構(gòu)成,這對(duì)整個(gè)量表的編制質(zhì)量有很大影響.做這件事情要思考下面幾點(diǎn):首先,要參閱相關(guān)研究文獻(xiàn),對(duì)相似或相同的研究有所了解,在參考別人研究的基礎(chǔ)上提出自己的構(gòu)想.第二,維度的劃分要以相關(guān)的心理學(xué)理論為基礎(chǔ),不宜脫離相關(guān)理論而自己提出一套體系.例如,構(gòu)建《小學(xué)生學(xué)習(xí)意志量表》框架,需要以心理學(xué)關(guān)于意志品質(zhì)的理論為依據(jù),心理學(xué)將意志品質(zhì)界定為:意志的自覺(jué)性、意志的果斷性、意志的堅(jiān)持性、意志的自制性等,以此為依據(jù)可分別建構(gòu)4個(gè)分量表.第三,分量表應(yīng)當(dāng)圍繞總量表的內(nèi)核,不能偏離總量表的研究指向,而且要有一定的完備性,不能遺漏一些重要的元素.第四,維度的劃分方式不是維一的,采用不同的標(biāo)準(zhǔn)得到的維度可以是不相同的.第五,一般說(shuō)來(lái),一個(gè)量表由總量表和分量表組成的二級(jí)結(jié)構(gòu)比較好,當(dāng)然,根據(jù)研究的問(wèn)題,也可以對(duì)每個(gè)分量表再細(xì)分為若干子量表,但一般不超過(guò)三級(jí),否則量表結(jié)構(gòu)太復(fù)雜使數(shù)據(jù)不便處理.
如果采用探索性因素分析方法制作量表,那么構(gòu)建分量表的過(guò)程可以弱化,因?yàn)榫S度的確定是由因素分析提取的因子決定,即事先提出的量表維度可能被因素分析之后進(jìn)行重組.如果不用探索性因素分析,那么事先提出的各分量表結(jié)構(gòu)就必須有理論基礎(chǔ),設(shè)計(jì)嚴(yán)謹(jǐn),經(jīng)過(guò)項(xiàng)目分析、效度、信度計(jì)算后修訂量表,要求更高的還要進(jìn)行驗(yàn)證性因素分析.
人格測(cè)量的設(shè)計(jì),一般采用利克特量表,因此題項(xiàng)為題干和幾個(gè)選項(xiàng)組成.選項(xiàng)為單項(xiàng)選擇,選項(xiàng)個(gè)數(shù)可以是4、5、6、7個(gè),一般以5個(gè)選項(xiàng)為宜.對(duì)學(xué)業(yè)成績(jī)和能力的測(cè)驗(yàn),一般是根據(jù)被解答問(wèn)題的正確性來(lái)計(jì)分.
量表預(yù)測(cè)目的是要收集數(shù)據(jù)對(duì)量表的各項(xiàng)指標(biāo)作分析,如果還要作因素分析,那么依據(jù)Gorsuch(1983)的觀點(diǎn),①題項(xiàng)與被試人數(shù)的比例最好為1:5;②被試樣本量不得少于100.如果研究主要目的在于找出變量群中包括何種因素,樣本量就要盡量大,才能確保因素分析結(jié)果的可靠性.[2]
下面對(duì)圖1中項(xiàng)目分析和效度分析作專門討論.
項(xiàng)目分析是指通過(guò)預(yù)測(cè)后,對(duì)預(yù)測(cè)數(shù)據(jù)進(jìn)行分析.項(xiàng)目分析的步驟如下:
(1)按量表的總分排序
將各被試在量表中各選項(xiàng)的分?jǐn)?shù)相加,即為每人的總分.然后根據(jù)總分由高分到低分或由低分到高分排序.
(2)對(duì)被試分組
對(duì)被試進(jìn)行分組,分組原則一般為:總分前27%的被試為高分組,后27%的為低分組.
(3)計(jì)算題目的難度和鑒別度
這個(gè)項(xiàng)目的分析主要用于學(xué)業(yè)成績(jī)測(cè)量和能力測(cè)量,即題目中要有正確答案和錯(cuò)誤答案的設(shè)計(jì),在人格的測(cè)量中一般不做此項(xiàng)目分析.
難度計(jì)算公式1:P=平均分/滿分值
難度計(jì)算公式2:P=(PH+PL)÷2
鑒別度計(jì)算公式:D=PH-PL
其中P為題項(xiàng)的難度,PH代表高分組在某個(gè)題項(xiàng)答對(duì)人數(shù)的百分比,PL代表低分組在該題項(xiàng)答對(duì)人數(shù)的百分比,D為鑒別度指數(shù).
(4)檢驗(yàn)高低分兩組在每個(gè)題項(xiàng)的得分差異
采用獨(dú)立樣本t檢驗(yàn)的方法,對(duì)高分組和低分組被試在各個(gè)題項(xiàng)得分作差異顯著性檢驗(yàn),刪除檢驗(yàn)結(jié)果未達(dá)到顯著性的題項(xiàng)(因?yàn)檫@些題項(xiàng)缺乏鑒別度).
(5)同質(zhì)性檢驗(yàn)
計(jì)算全體被試在每一個(gè)題項(xiàng)上的得分與每個(gè)被試在總量表的得分之間的相關(guān)系數(shù),刪除相關(guān)系數(shù)小于0.4的題項(xiàng)(如果相關(guān)系數(shù)高,說(shuō)明該題項(xiàng)與研究的主題有密切聯(lián)系,相關(guān)系數(shù)低則說(shuō)明該題項(xiàng)與研究主題關(guān)系不大,因而應(yīng)當(dāng)刪除).
上述過(guò)程可以作SPSS軟件完成,其中t檢驗(yàn)已經(jīng)在《如何做實(shí)證:調(diào)查研究》一文中作了介紹,相關(guān)系數(shù)的計(jì)算將在《如何做實(shí)證:相關(guān)性研究》一文中介紹.
所謂效度,是指能夠測(cè)到該測(cè)驗(yàn)所欲測(cè)心理或行為特質(zhì)到何種程度.即一個(gè)測(cè)驗(yàn)對(duì)其所要測(cè)量的特性測(cè)量到什么程度的估計(jì).效度包括內(nèi)容效度、結(jié)構(gòu)效度和效標(biāo)關(guān)聯(lián)效度.
內(nèi)容效度是指測(cè)驗(yàn)用的測(cè)題對(duì)整個(gè)測(cè)試內(nèi)容范圍的代表性程度.即測(cè)試題目的取樣要具有代表性,覆蓋面廣.內(nèi)容效度一般由研究者擬訂題項(xiàng),然后請(qǐng)有關(guān)專家作出評(píng)判進(jìn)行修訂.效標(biāo)關(guān)聯(lián)效度是指測(cè)驗(yàn)與外在效標(biāo)之間關(guān)系的程度.作為外在效標(biāo)的工具,本身應(yīng)當(dāng)具有良好的信度和效度,如標(biāo)準(zhǔn)化的學(xué)業(yè)成績(jī)、智力測(cè)驗(yàn)、人格量表、態(tài)度量表等.結(jié)構(gòu)效度(建構(gòu)效度)指編制出來(lái)的測(cè)驗(yàn)是否真正體現(xiàn)了最初所依據(jù)的理論結(jié)構(gòu),結(jié)構(gòu)效度就是能夠測(cè)量到理論建構(gòu)心理特質(zhì)的程度.
下面介紹結(jié)構(gòu)效度的檢驗(yàn)方法.
假如有一份量表是三級(jí)結(jié)構(gòu):
圖2一份量表的結(jié)構(gòu)
結(jié)構(gòu)的合理性.要求:
(1)子量表與總量表之間的相關(guān),應(yīng)該大于各子量表之間的相關(guān).這樣保證各子量表之間有一定相對(duì)獨(dú)立性,而子量表又不能偏離總量表.
(2)各子量表與所屬分量表的相關(guān),應(yīng)該大于子量表與總量表的相關(guān).子量表是各分量表劃分的維度,分量表是總量表劃分的維度,因此,子量表與分量表是直接關(guān)系,分量表與總量表是直接關(guān)系,子量表與總量表是間接關(guān)系.
(3)分量表之間的相關(guān),應(yīng)該小于他們各自與總量表之間的相關(guān).這樣保證各分量表之間有一定相對(duì)獨(dú)立性,而分量表又不能偏離總量表.
這種判斷結(jié)構(gòu)效度的方法比較簡(jiǎn)單,相關(guān)系數(shù)的計(jì)算可以用SPSS軟件完成(相關(guān)性計(jì)算將在《如何做實(shí)證:相關(guān)性研究》一文中介紹).如果某個(gè)子量表或分量表達(dá)不到上述要求,就需要對(duì)該子量表或分量表中的某些題項(xiàng)作刪除,刪除之后再計(jì)算,逐步形成結(jié)構(gòu)合理的量表.
案例1高中生數(shù)學(xué)學(xué)習(xí)策略調(diào)查問(wèn)卷的編制.[4]
這是天津師范大學(xué)王光明教授團(tuán)隊(duì)研究編制的量表,整個(gè)初始量表、修訂量表、數(shù)據(jù)均見參考文獻(xiàn)[4].下面介紹該研究中關(guān)于量表結(jié)構(gòu)效度的一個(gè)計(jì)算.
該研究依據(jù)邁克卡等人提出的相關(guān)理論以及中國(guó)高中生數(shù)學(xué)學(xué)習(xí)的現(xiàn)狀研究,認(rèn)為高中生數(shù)學(xué)學(xué)習(xí)策略主要由學(xué)習(xí)者的認(rèn)知策略、元認(rèn)知策略和資源管理策略3個(gè)主維度組成,包括11個(gè)子維度.認(rèn)知策略包括:復(fù)述策略、精加工策略、組織策略、反饋策略;元認(rèn)知策略包括:計(jì)劃策略、監(jiān)視策略、反思與調(diào)節(jié)策略;資源管理策略包括:時(shí)間管理策略、環(huán)境管理策略、心理管理策略、外在求助策略.在此框架下,設(shè)計(jì)量表,經(jīng)過(guò)測(cè)試數(shù)據(jù),作了結(jié)構(gòu)效度的計(jì)算,結(jié)果見表1.
表1 問(wèn)卷各維度及其與總問(wèn)卷的相關(guān)系數(shù)矩陣
各維度間的相關(guān)系數(shù)在 0.74~0.84 之間,而總的數(shù)學(xué)學(xué)習(xí)策略與各維度的相關(guān)系數(shù)在 0.88~0.96 之間,表明該問(wèn)卷具有較好的結(jié)構(gòu)效度.
用因素分析方法判斷結(jié)構(gòu)效度是一種精度更高的方法.因素分析有兩種,一是探索性因素分析,二是驗(yàn)證性分析.探索性因素分析的功能是能夠?qū)?shù)目眾多的變量濃縮成數(shù)目較少的幾個(gè)變量,可以對(duì)變量進(jìn)行重新組合,有效地提取共同因素,此共同因素與理論架構(gòu)的心理特質(zhì)比較接近,則可說(shuō)此測(cè)量工具或量表具有結(jié)構(gòu)效度.驗(yàn)證性因素分析是對(duì)經(jīng)過(guò)探索性因素分析之后的量表進(jìn)行進(jìn)一步驗(yàn)證,此時(shí)往往需要重新選擇被試進(jìn)行測(cè)試,將數(shù)據(jù)用結(jié)構(gòu)方程模型軟件(如LISREL和AMOS)處理,根據(jù)計(jì)算數(shù)據(jù)可以得到量表的結(jié)構(gòu)效度,同時(shí)可以調(diào)整量表的結(jié)構(gòu)使之達(dá)到最優(yōu)化.下面只討論探索性因素分析,驗(yàn)證性因素分析的相關(guān)內(nèi)容讀者可參考相關(guān)文獻(xiàn).
簡(jiǎn)單地說(shuō),探索性因素分析是通過(guò)一組測(cè)驗(yàn)析取出共同因素的方法.斯皮爾曼認(rèn)為,學(xué)生的每一門功課考試成績(jī)都可以表示成一個(gè)“一般因素”與一個(gè)“特殊因素”之和.例如,對(duì)學(xué)生進(jìn)行語(yǔ)文、數(shù)學(xué)、外語(yǔ)、物理、化學(xué)、生物等學(xué)科的測(cè)驗(yàn),每門學(xué)科看作是一個(gè)變量.那么,從這些變量中可提取若干影響成績(jī)的一般因素(共同因素),如語(yǔ)詞分析能力、邏輯思維能力、記憶力等.而每個(gè)變量又受到各自特殊因素的影響,如數(shù)學(xué)成績(jī)受符號(hào)推理能力的影響,語(yǔ)文成績(jī)受寫作能力的影響等.從量表的角度看,提取的這些共同因素就是對(duì)總量表的維度劃分,即各分量表的名稱.
假設(shè)對(duì)n個(gè)學(xué)生進(jìn)行了p門課程的考試,這p門課程受到m個(gè)共同因素F1,F(xiàn)2,……,F(xiàn)m的影響.若某個(gè)學(xué)生在第i個(gè)測(cè)驗(yàn)的得分為di,在該測(cè)驗(yàn)上的標(biāo)準(zhǔn)分為Zi,那么其因素分析的數(shù)學(xué)模型可表示為如下形式:
Z1=a11F1+a12F2+…+a1mFm+d1Y1
Z2=a21F1+a22F2+…+a2mFm+d2Y2
(1)
……
Zp=ap1F1+ap2F2+…+apmFm+dpYp
其中,F(xiàn)1,F(xiàn)2,……,F(xiàn)m表示第j個(gè)共同因素;系數(shù)aij表示第i個(gè)變量Zi在第j個(gè)共同因素Fj上的系數(shù),稱為因子負(fù)荷;系數(shù)di表示與第i個(gè)測(cè)驗(yàn)有關(guān)的特殊因素Yi的系數(shù),稱為特殊因素負(fù)荷.
把(1)式寫成矩陣形式:
Z=AF+DY
(2)
(1)式可看出因素負(fù)荷aij絕對(duì)值的大小反映了Zi與共同因素Fj關(guān)系的密切程度,即表明了共同因素Fj對(duì)Zi的負(fù)荷程度,所以aij稱為因素負(fù)荷,A稱為因素負(fù)荷矩陣.可以證明,[3]因素負(fù)荷aij等于變量Zi與因素Fj的相關(guān)系數(shù)rij,它既反映了Zi依賴于Fj的程度,也反映了Zi在因素Fj上的相對(duì)重要性.
對(duì)一組測(cè)驗(yàn)進(jìn)行因素分析,找出影響測(cè)驗(yàn)的共同因素,每個(gè)測(cè)驗(yàn)在共同因素上的因素負(fù)荷就是測(cè)驗(yàn)的因素效度,測(cè)驗(yàn)分?jǐn)?shù)總變異中來(lái)自有關(guān)因素的比例就是該測(cè)驗(yàn)結(jié)構(gòu)效度的指標(biāo).通過(guò)因素分析,提取出共同因素,這就保證了量表結(jié)構(gòu)的科學(xué)性,即量表有良好的結(jié)構(gòu)效度.
因此,問(wèn)題的關(guān)鍵是求出因素負(fù)荷矩陣A.這需計(jì)算測(cè)驗(yàn)的相關(guān)系數(shù)矩陣、再生矩陣、再生矩陣的最大特征根、變量共同度的估計(jì)、共同因素個(gè)數(shù)的確定、因素負(fù)荷矩陣進(jìn)行旋轉(zhuǎn)變換等一系列復(fù)雜計(jì)算過(guò)程.本文不討論求因素負(fù)荷矩陣A的原理和過(guò)程,下面以一個(gè)實(shí)例說(shuō)明如何運(yùn)用SPSS軟件作探索性因素分析.
案例2高中生數(shù)學(xué)學(xué)習(xí)策略調(diào)查問(wèn)卷的編制.[4]
下面介紹其文中探索性因素分析的步驟.
該文研究在作探索性因素分析時(shí),是分別對(duì)三個(gè)子量表分析的,沒(méi)有對(duì)總量表作探索性因素分析.文章的后面部分采用驗(yàn)證性因素分析時(shí)再來(lái)考察量表的結(jié)構(gòu)效度.下面以文中“認(rèn)知策略”子量表為例,介紹探索性因素分析的SPSS操作步驟.
(1)點(diǎn)擊[變量視圖],定義變量Q1~Q103.(初始問(wèn)卷有103個(gè)題項(xiàng))
(2)點(diǎn)擊[數(shù)據(jù)視圖],輸入數(shù)據(jù).
(3)依次點(diǎn)擊[分析]、[降維]、[因子分析],彈出〈因子分析〉對(duì)話框.
(4)在〈因子分析〉對(duì)話框中,將“認(rèn)知策略”變量送入〈變量〉中.(認(rèn)知策略變量又分為復(fù)述、精加工、組織、反饋四個(gè)維度,其題項(xiàng)包括44道題,把這44道題目對(duì)應(yīng)的變量送入〈變量〉框中)
(5)點(diǎn)擊[描述],在<因子分析:描述>對(duì)話框中,點(diǎn)擊[單變量描述性](輸出每個(gè)變量的平均值和標(biāo)準(zhǔn)差),點(diǎn)擊[系數(shù)](輸出相關(guān)系數(shù)矩陣),點(diǎn)擊[再生](輸出再生相關(guān)矩陣和殘差矩陣),點(diǎn)擊[KMO和Bartlett的球型度檢驗(yàn)](作Bartlett的球型檢驗(yàn),用于檢驗(yàn)變量的獨(dú)立性).點(diǎn)擊[繼續(xù)].
(6)點(diǎn)擊[抽取],在<因子分析:抽取>對(duì)話框中,點(diǎn)擊[碎石圖](畫出碎石圖),在此使用默認(rèn)的主成分法,抽取特征根大于1的因子.可以在此對(duì)話框中改變抽取因子的方法和抽取因子的個(gè)數(shù).點(diǎn)擊[繼續(xù)].
(7)點(diǎn)擊[旋轉(zhuǎn)],在<因子分析:旋轉(zhuǎn)>對(duì)話框中,點(diǎn)擊[最大方差法](作方差極大正交旋轉(zhuǎn)).點(diǎn)擊[繼續(xù)].
(8)點(diǎn)擊[得分],在<因子分析:得分>對(duì)話框中,點(diǎn)擊[保存為變量](計(jì)算因子得分并在原始數(shù)據(jù)文件中作為變量觀測(cè)值).點(diǎn)擊[繼續(xù)].
(9)點(diǎn)擊[確定],輸出結(jié)果.
元認(rèn)知策略、資源管理策略兩個(gè)子量表同樣操作,將結(jié)果作統(tǒng)一分析.
表2的結(jié)果顯示,理論結(jié)構(gòu)中3個(gè)主維度的KMO值均在0.9左右,Bartlett 球形檢驗(yàn)χ2值顯著(p<0.01),說(shuō)明題項(xiàng)變量間的關(guān)系良好,樣本數(shù)據(jù)適合進(jìn)行因子分析,具體數(shù)據(jù)見表1.隨后,利用主成分分析法和最大方差旋轉(zhuǎn)法確定問(wèn)卷的因子數(shù)和每個(gè)因子所包含的題目數(shù).因子數(shù)的確定要滿足以下原則:①因子特征值大于1;②因子載荷值至少在0.4 以上;③提取出的主成分符合陡階檢驗(yàn);④變量共同度大于0.4(同一個(gè)因子在不同主成分的載荷值均在0.4以上時(shí),予以剔除).因子命名的原則如下:①如果某個(gè)因子的題目主要來(lái)自數(shù)學(xué)學(xué)習(xí)策略模型的某個(gè)子維度,則以這個(gè)子維度的名字命名;②如果對(duì)某個(gè)因子方差貢獻(xiàn)率一半以上的題目分散來(lái)自于數(shù)學(xué)學(xué)習(xí)策略模型的不同子維度,則參考這些題目的共同數(shù)學(xué)學(xué)習(xí)策略來(lái)命名.
表2 問(wèn)卷初測(cè)數(shù)據(jù)因子分析檢驗(yàn)值
利用以上原則對(duì)數(shù)據(jù)進(jìn)行探索性分析,刪除21個(gè)題項(xiàng)(4、5、6、7、9、12、15、17、22、 28、34、38、39、56、69、71、73、76、77、78、81),剩余54題,其中包括50道正式問(wèn)卷題目和4道測(cè)謊題目.同時(shí)發(fā)現(xiàn)當(dāng)對(duì)認(rèn)知策略維度提取4個(gè)主成分,元認(rèn)知策略維度提取 3個(gè)主成分,資源管理策略提取4個(gè)主成分時(shí),得到3個(gè)主成分的因子結(jié)構(gòu)及其載荷值、特征值、共同性的數(shù)據(jù)較為理想,元認(rèn)知策略維度具體數(shù)據(jù)見表3,其他表略.
表3 元認(rèn)知策略因子結(jié)構(gòu)的因子載荷、特征值及因子貢獻(xiàn)率
對(duì)相關(guān)維度進(jìn)行拆分,合并,并重新命名.認(rèn)知策略采用四因素結(jié)構(gòu):精加工策略、組織策略、復(fù)述策略、反饋策略.元認(rèn)知策略采用三因素結(jié)構(gòu):調(diào)節(jié)與反思策略、監(jiān)控策略、計(jì)劃策略.資源管理策略采用四因素結(jié)構(gòu):環(huán)境管理策略、心境管理策略、時(shí)間管理策略、求助策略.由于研究結(jié)果與已有理論架構(gòu)接近一致,因而就得到一份結(jié)構(gòu)效度較高的量表.
用量表正式測(cè)驗(yàn)得到的數(shù)據(jù),一般是作數(shù)據(jù)整體的描述性分析,或者對(duì)不同群體的差異性作分析.由于量表都是采用計(jì)分方式,涉及的不同群體差異比較方法主要是兩種:其一,兩個(gè)群體的差異比較,作t檢驗(yàn)(見文[7]);其二,兩個(gè)以上群體的差異比較,作單因素方差分析,我們將在《如何做實(shí)證:實(shí)驗(yàn)研究》中介紹.
學(xué)業(yè)成績(jī)和能力測(cè)試,也希望對(duì)不同群體的數(shù)據(jù)進(jìn)行比較分析,所用方法還是t檢驗(yàn)或方差分析.
學(xué)業(yè)成就測(cè)驗(yàn)和能力測(cè)驗(yàn)中還有一個(gè)問(wèn)題,就是合格線如何確定,即如何設(shè)定一個(gè)標(biāo)準(zhǔn)以區(qū)分被試中的合格者與不合格者.教育和心理測(cè)量學(xué)專家提出了數(shù)十種標(biāo)準(zhǔn)設(shè)置的方法,但至今沒(méi)有一種公認(rèn)的最科學(xué)的一種方法.其中, Angoff方法因?yàn)閼?yīng)用簡(jiǎn)單且有一定客觀性而為多數(shù)人接受.[5]Angoff方法分為如下3個(gè)步驟:
(1)按照一定的要求選取一組領(lǐng)域評(píng)判者,對(duì)他們進(jìn)行培訓(xùn),使其對(duì)于最低能力應(yīng)試者的概念有較為清楚而統(tǒng)一的看法,并將這組應(yīng)試者稱為邊界組考生,他們是達(dá)到某一標(biāo)準(zhǔn)最低水平的考生.
(2)要求每一個(gè)評(píng)判者對(duì)于每一個(gè)題目做出這樣的判斷:邊界組考生正確回答該題目的概率是多少.
(3)將某個(gè)評(píng)判者對(duì)該測(cè)驗(yàn)中所有題目的判斷值相加,就是評(píng)判者認(rèn)為邊界組考生應(yīng)當(dāng)?shù)玫降姆謹(jǐn)?shù).計(jì)算所有評(píng)判者評(píng)分的平均值,就得到合格分?jǐn)?shù)線.
例如,在對(duì)學(xué)生數(shù)學(xué)核心素養(yǎng)的測(cè)量中,研究者事先要根據(jù)測(cè)試題目,對(duì)優(yōu)秀水平、良好水平、合格水平、不合格水平有一個(gè)準(zhǔn)確的界定,董林偉等人選擇一組初中數(shù)學(xué)特級(jí)教師,正高級(jí)教師和教研人員,采用Angoff方法對(duì)四種水平作了界定,從而對(duì)江蘇省初中二年級(jí)學(xué)生的數(shù)學(xué)核心素養(yǎng)發(fā)展作了全面調(diào)查.[6]