国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

使用逐步CM 曲線法檢驗測驗單維性

2020-07-21 00:43井賢嚴符華均
考試研究 2020年3期
關鍵詞:測驗道題平行

井賢嚴 符華均

近幾年,隨著PISA 等大型教育評價項目在國內(nèi)的傳播和開展,越來越多的研究者對項目反應理論(Item Response Theory,簡稱IRT)感興趣,并嘗試使用IRT 開發(fā)測驗或者對測驗進行數(shù)據(jù)分析,但是不少研究者忽略對模型假設進行檢驗。大部分題目反應模型建立在一些強假設基礎上的,只有滿足這些假設條件,使用模型分析數(shù)據(jù)才具有意義[1]。對于傳統(tǒng)的題目反應模型來說,單維性是重要的前提假設,單維性是指量表或測驗中的所有題目均考察同一特質(zhì)[2]。如果測驗數(shù)據(jù)違反單維性假設,將導致使用單維項目反應理論(Unidimensional Item Response Theory,簡稱UIRT)估計出來的題目參數(shù)和被試參數(shù)異常,會給測驗的信度和效度帶來嚴重的后果,測驗中的其他維度可能導致大的DIF,這不僅會給被試能力的估計值帶來偏差,還會影響測驗的結(jié)構。但許多心理與教育測驗的實際情況是同時測量多種能力,這類測驗往往不符合單維性假設,因此使用IRT 進行數(shù)據(jù)分析時需謹慎對待。

有大量的文獻表明,通過CTT 理論或Rasch 模型的擬合優(yōu)度檢驗,可以對單維性進行統(tǒng)計驗證,但是這些擬合優(yōu)度檢驗通常較弱,因為它們的零假設并不只是關注單維性,也間接地包含其他附加假設(例如并行模型的正態(tài)性、Rasch 模型的局部獨立性等),因此與這些零假設的背離并不一定是與單維性無關的[3]。本文主要介紹一種圖形工具來檢驗單維性——逐步CM 曲線法(step by step Cronbach-Mesbah curve),它由一條曲線組成,該曲線可按步驟使用“子分數(shù)”的信度估計值繪制。

逐步CM 曲線法是一種基于Cronbach’s α 系數(shù)(下文簡稱α 系數(shù))的圖形化方法,用于檢驗測驗單維性。這種方法以探索性的方式進行,通過快速找到可疑題目,即必須刪除哪些題目,以確保曲線的單調(diào)性以及符合平行模型。雖然Cronbach 信度估計是在CTT 平行模型基礎之上構建的,但是Mesbah 的研究表明在Rasch 模型情況下,可以導出一種接近于α系數(shù)的信度系數(shù),因此它在Rasch 模型中可以用與平行模型相同的方式進行解釋[4]。使用Rasch 模型時,可在第一步中采用逐步CM 曲線檢驗測驗的單維性。

但是到目前為止,這個圖形化工具主要在名為ANAQOL 的SAS 宏中實現(xiàn),因此它的使用面僅限于SAS 用戶[5]。Cameletti 和Caviezel 為了使逐步CM 曲線的使用更為廣泛,用開源的R 語言編寫了CMC 程序包[6]。本文在介紹逐步CM 曲線原理的基礎上以自編問卷為例介紹如何運用CMC 程序包分析測驗的單維性。

一、逐步CM 曲線法的原理[7]

單維性是測量單一特質(zhì)工具的性質(zhì),如果一個測驗具有單維性,則兩名被試對一組題目反應的差異值取決于單一的潛在特質(zhì)。逐步CM 曲線法是建立在平行模型的α 系數(shù)基礎之上的,平行模型是用于描述一組題目單維性的傳統(tǒng)變量模型。

(一)平行模型

設Xij為第i 個被試在第j 個題目上的得分。

Xij=τij+εij,其中τij是真分數(shù),εij是誤差分數(shù),假設真分數(shù)與誤差分數(shù)是相互獨立的隨機變量。

其中真分數(shù):

可得:

μj是固定效應,αi是均值為0、標準差為的隨機效應,εij是均值為0、標準差為的隨機效應。

εij和αi是相互獨立的,對于所有的j=1,2,···,k 以及t≠s,(αt,εij)和(αs,εsj)是獨立的。

(二)信度公式

一個題目的信度測量被定義為真分數(shù)的方差以及觀察分數(shù)的方差之間的比值:

可以證明ρ是任意兩個平行題目之間的恒定相關。

K 個題目總的信度通過Spearman-brown 公式計算:

Spearman-brown 公 式 表 明~ρ 隨 著k 的 增 加 而增大。

在平行模型和誤差分布為正態(tài)的假設下,它的極大似然估計是α 系數(shù),用α 表示:

從公式中 可以看出~ρ 和α 有相同的功能。 ~ρ 是題目數(shù)量k 的遞增函數(shù);如果每個題目都遵循平行模型,那么當題目數(shù)量增加時,總的信度就會增加。因此,如果α 不隨著k 的增加而增加甚至減少,這意味著添加的題目不屬于同一維度,即不遵循平行模型。

(三)α 系數(shù)與第一主成分方差貢獻率的關系

α 系數(shù)與由k 個題目計算的主成分分析(PCA)第一主成分方差貢獻率(方差百分比)有直接的聯(lián)系。主成分分析通常是基于k 個變量的相關矩陣R的特征根,在平行模型的假設下,

這個矩陣只有兩個不同的元素:對角線上的1和非對角線上的ρ。相關矩陣R 的最大特征根為λ1=1+ρ(k-1),其他根為λ2=…=λk=1-ρ。因此,

這個公式說明在由α 估計出來的~ρ 和第一主成分特征值λ1之間有單調(diào)關系,在實踐中λ1是由觀測的相關矩陣估計出來第一主成分的方差貢獻率,因此可認為α 是單維性的一種測量方法。

(四)逐步CM 曲線法的原理

為了檢驗一組題目的單維性,可以繪制一條曲線,即逐步CM 曲線。

該曲線x 軸是題目數(shù)量(從2 到k),y 軸的數(shù)是通過以下步驟得到的對應的最大的α 系數(shù):

(1)使用所有k 個題目計算α 系數(shù)α=α-0。

(2)重復有放回地從量表中移除1 道題目i(i=1,……,k),剩余k-1 個題目的α 系數(shù)用α-i表示,α-i的實質(zhì)是SPSS 計算的“項已刪除α 系數(shù)”。所有題目的“項已刪除α 系數(shù)”組成一個向量集:

下標表示每次被移除的題號。α-1向量中最大的α 值對應的題目被刪除,即被移除的題目是使量表剩余的題目具有最大的α 值的題目。例如α-j是α-1向量中最大的,則對應的第j 題被移除。

(3)在第(2)步移除后的題目基礎上有條件地重復第(2)步的過程,直到剩下2 個題目。例如第j 題被移除,則在剩余的題目中,有重復地每次移除一個題目,每次計算“項已刪除α 系數(shù)”,結(jié)果如下向量

α-j向量中最大的值對應的題目被刪除。例如α-(1,j)是α-j中最大的值,則刪除第1 題和第j 題,剩余的題目作為下一步分析的基礎。

上述過程重復執(zhí)行,直到最后剩下2 個題目為止。在每一步中,被刪除的題目都是量表上剩余的α系數(shù)最大的題目。如果刪掉一個不好的題目,α 值就會增加, 如果刪掉一個好的題目,α 值就會變小。Spearman-brown 公式表明,增加題目數(shù)量增加了總分的信度。因此,增加一個題目后,逐步CM 曲線的下降將表明添加的變量與其他變量不屬于同一維度。相反,如果曲線是單調(diào)增加,則所有題目都測量相同的潛在特質(zhì),并且測驗具有單維性特征。

二、基于逐步CM 曲線法的測驗單維性檢驗實例研究

(一)研究目的

實測數(shù)據(jù)使用逐步CM 曲線法檢驗測驗的單維性,說明如何通過幾種常見的曲線形狀進行題目的分析。

(二)數(shù)據(jù)來源

自編測量中學生閱讀偏好的問卷,該問卷Likert 5 點計分,選取其中某些題目作為案例,說明逐步CM 曲線的操作過程以及幾種典型的曲線形狀。該問卷施測于某初中的300 名學生,其中7 年級112 人、八年級188 人;男生145 人,女生136 人,9 人性別數(shù)據(jù)缺失。

(三)數(shù)據(jù)分析方法

(1)使用平行分析,確定數(shù)據(jù)的單維性情況,作為逐步CM 曲線分析的佐證;

(2)采用CMC 包進行逐步CM 曲線分析。

(四)實例展示

選取測量同一維度的8 道題目作為實例展示,稱為數(shù)據(jù)集1,單維性證明使用平行分析,結(jié)果如圖1 所示,第2 個因子的特征值小于隨機數(shù)據(jù)第2 個因子的平均特征值,說明該問卷為單維結(jié)構。

逐步CM 曲線計算代碼被封裝在R 語言CMC包的alpha.curve()函數(shù)中,alpha.curve()可輸入?yún)?shù)為得分矩陣或數(shù)據(jù)框,最終結(jié)果為逐步CM 曲線和逐步CM 曲線對應的數(shù)據(jù)表,如表1 和圖2 所示。數(shù)據(jù)表包含三列數(shù)據(jù),第一列是用于計算α 系數(shù)的題目數(shù)量,第二列是每一步計算出來的最大α 系數(shù),第3 列是每1 步計算出來的最大的α 系數(shù)對應題號,即被刪除的題號。

圖1 數(shù)據(jù)集1 的單維度檢驗(平行分析)

圖2 數(shù)據(jù)集1 逐步CM 曲線圖

逐步CM 曲線法的步驟如下:

(1)計算所有8 道題的α 系數(shù),結(jié)果為0.821,該結(jié)果顯示該問卷的8 道題目的內(nèi)部一致性良好。在這一步中,沒有任何題目被移除,所以第3 列標為“--”。

表1 數(shù)據(jù)集1 逐步CM 曲線數(shù)據(jù)表

(2)計算刪除題目本身后的α 系數(shù),當刪除題號為“I5”時α 系數(shù)出現(xiàn)最大值0.815,則在本步驟中刪除該題。

(3)在(2)剩余的7 道題目基礎上再次計算刪除題目本身后的α 系數(shù),其中最大值為0.81,對應刪除題號是“I6”,則在這一步驟中刪除該題,剩余6 道題目作為下一步計算刪除題目本身后的α 系數(shù)的基礎。

循環(huán)重復(3)的步驟,直到剩余3 道題,繼續(xù)計算刪除題目本身后的α 系數(shù),其中最大值對應的題目為“I7”,則刪除該題,剩余2 道題為I1 和I3,計算步驟終止。

(五)常見的逐步CM 曲線形狀解析

(1)V 型曲線的情形舉例

這種情況一般出現(xiàn)在單維度測驗中,有兩道題目有高相關。觀察圖2 可知,逐步CM 曲線呈現(xiàn)“V”形,從右至左來看,α 系數(shù)逐步下降,剩余3 題時,刪除I7 題,α 系數(shù)陡然上升。 這種情況可能是I1和I3 相關性過高,如表2 所示,I1 和I3 的相關性高達0.65,檢驗題目后發(fā)現(xiàn)存在表述、含義重復冗余的情況。

α 系數(shù)的原始公式是求兩兩題目間的協(xié)方差的平均數(shù),協(xié)方差是兩個變量間的相關與各自方差的乘積,當兩題的相關過大,可能就意味著兩題協(xié)方差較大,其他題目的協(xié)方差在公式中的占比相對偏小,因此在逐步CM 曲線法中,每一步刪除題目時均不會將這兩道題刪除。當問卷中有兩個題目內(nèi)容含義過于重復、冗余的情況時,則曲線成呈現(xiàn)“V”形,在題目編制階段,逐步CM 曲線法有助于偵測該情形。

表2 單維度8 道題目的相關系數(shù)矩陣

嘗試刪除一道題目進行觀察,圖3 和圖4 是分別刪除I1 和I3 后的結(jié)果。圖3 顯示,刪除I1 后逐步CM 曲線從保留7 道題到保留4 道題時,刪題后最大α 系數(shù)都是逐步減小的,但在剩余3 道題時突然增大,破壞了曲線的單調(diào)性。圖4 曲線從左至右是逐步單調(diào)上升,存在單維性。因此刪除I3、保留I1,該問卷最終保留7 道題目。

圖3 刪除I1 題后的逐步CM 曲線

圖4 刪除I3 題后的逐步CM 曲線

(2)倒V 型曲線的情形舉例

將(1)中保留的7 道題與屬于其他維度的三道題目混合,稱為數(shù)據(jù)集2,作為實例來分析逐步CM曲線的特點。各題的相關系數(shù)如表3 所示,7 道題具有緊密的相關關系,M1、M2、M3 之間也有中高程度的相關。通過平行分析可知,10 道題屬于兩個維度,從內(nèi)容上也可推論,前7 道題和后3 道題屬于不同的維度。前7 道題總分與后3 道題目總分的相關為0.05,屬于低程度相關(見圖5)。

逐步CM 曲線如圖6 所示,該曲線為“倒V 型”,隨著刪題數(shù)量的增加,刪題后alpha 系數(shù)逐漸增加,到達頂端值后,又逐漸下降,兩個維度的分界線十分明顯?!暗筕 型”曲線在實際中比較常見,測驗中混入非目標性的題目時,也就意味著測驗中有非目標性的系統(tǒng)誤差。

表3 單維度問卷與其他低相關題目混合時的相關系數(shù)

圖5 數(shù)據(jù)集2 的平行分析結(jié)果

圖6 數(shù)據(jù)集2 逐步CM 曲線

(3)從左至右單調(diào)下降的曲線

將(1)中的I1、I2 題和不屬于該維度的5 道題目進行混合,稱為數(shù)據(jù)集3,做逐步CM 曲線分析,結(jié)果如圖7 所示。各個題目之間的相關如表4 所示,I1、I2之間相關系數(shù)相對較高,而其他題目之間、其他題目與I1、I2 的相關系數(shù)較低。圖7 顯示,逐步CM 曲線從左至右是逐步下降的,雖然I1、I2 只有兩道題,但是這兩道題相關性最大,且并無其他題目與兩題中任意一題相關較高,因此每次計算α 系數(shù)后,刪除的題目都不會是這兩道題,整個曲線就呈現(xiàn)這種形態(tài)。這一般出現(xiàn)在只有少數(shù)題目考察同一維度、而其他題目測驗目標相對分散的情況。

表4 數(shù)據(jù)集3 的相關系數(shù)

圖7 數(shù)據(jù)集3 的逐步CM 曲線

三、結(jié)語

本文介紹了逐步CM 曲線法檢驗測驗單維性的方法,并根據(jù)實際數(shù)據(jù)就如何用統(tǒng)計軟件進行分析做了說明,針對3 種常見的曲線形態(tài)進行了剖析。逐步CM 曲線能作為測驗單維性的初步判斷,同時在測驗編制階段能夠根據(jù)曲線形狀為編制、修改題目提供數(shù)據(jù)參考,有助于科學編制試題。需要注意的是,平行模型的假設比較嚴苛,在現(xiàn)實中不容易滿足,因此該方法作為一種單維性檢驗的簡便方法,優(yōu)勢是便于理解與實操。就本文例舉而言,也存在一定的局限,實際情況中,曲線形態(tài)遠不止文中所列幾種,未能全部總結(jié)和分析,需要在后續(xù)研究和實踐中進行概括。另一方面,對逐步CM 曲線法的分析以實際數(shù)據(jù)為例,未進行模擬數(shù)據(jù)的實驗設計。介紹該方法,希望能夠?qū)鴥?nèi)試卷及測驗的分析技術有進一步的補充和啟發(fā)。

猜你喜歡
測驗道題平行
向量的平行與垂直
平行
誤會
逃離平行世界
這道題誰會做
兩個處理t測驗與F測驗的數(shù)學關系
數(shù)字測驗
再頂平行進口
你知道嗎?
Q博士課堂
长武县| 大方县| 梨树县| 南平市| 磴口县| 安图县| 深泽县| 什邡市| 沁源县| 株洲市| 承德县| 绵阳市| 尼勒克县| 安乡县| 温泉县| 松阳县| 华容县| 泾川县| 临城县| 曲沃县| 饶阳县| 平顺县| 拜城县| 偏关县| 嘉善县| 太原市| 高陵县| 那坡县| 驻马店市| 灵石县| 天峨县| 辽宁省| 云南省| 庄河市| 营山县| 泽州县| 长沙市| 深州市| 丰镇市| 丹东市| 临漳县|