范思穎 武天琪

【摘要】項(xiàng)目反應(yīng)理論可通過(guò)測(cè)試各個(gè)項(xiàng)目反應(yīng)曲線(xiàn)分析項(xiàng)目區(qū)分度、難度、猜測(cè)度等項(xiàng)目參數(shù)，從而為測(cè)試項(xiàng)目的編制和篩選提供數(shù)據(jù)基礎(chǔ)和理論框架。本研究用項(xiàng)目反應(yīng)理論分析西安交通大學(xué)2013年大學(xué)英語(yǔ)考試聽(tīng)力試題，發(fā)現(xiàn)該項(xiàng)目難度中等，題目的區(qū)分度比較理想，聽(tīng)力理解水平較低的考生僅憑猜測(cè)而答對(duì)的概率在正常范圍內(nèi)。但也個(gè)別項(xiàng)目提供的信息量不足、質(zhì)量不高。因此，對(duì)質(zhì)量較低的題項(xiàng)，應(yīng)提高區(qū)分度 、改善試題對(duì)聽(tīng)力能力的貢獻(xiàn)大小等方法提高命題質(zhì)量。

【關(guān)鍵詞】項(xiàng)目反應(yīng)理論;英語(yǔ)聽(tīng)力試題;項(xiàng)目參數(shù)

【作者簡(jiǎn)介】范思穎，武天琪，西安交通大學(xué)外國(guó)語(yǔ)學(xué)院。

一、引言

項(xiàng)目反應(yīng)理論（IRT）是心理與教育測(cè)量理論的新發(fā)展，其理論應(yīng)用的意義主要在于可以指導(dǎo)測(cè)驗(yàn)項(xiàng)目的編制和篩選。理論通過(guò)測(cè)試各個(gè)項(xiàng)目反應(yīng)曲線(xiàn)分析項(xiàng)目區(qū)分度、難度、猜測(cè)度等項(xiàng)目參數(shù)，從而為項(xiàng)目的編制和篩選提供數(shù)據(jù)基礎(chǔ)和理論框架。

本研究以西安交通大學(xué)2013年大學(xué)英語(yǔ)考試為例展示項(xiàng)目反應(yīng)理論在試題質(zhì)量評(píng)價(jià)中的應(yīng)用。本研究數(shù)據(jù)來(lái)自西安交通大學(xué)2013年大學(xué)英語(yǔ)考試結(jié)果，本次考試試卷結(jié)構(gòu)如表1所示。本次考試包含A級(jí)和B級(jí)兩套試卷，其中A級(jí)和B級(jí)的聽(tīng)力和閱讀一樣，詞匯不一樣。本研究抽取A級(jí)與B級(jí)944份學(xué)生試卷作為樣本，只涉及試卷聽(tīng)力部分客觀題的分析，題目數(shù)為25個(gè)。

二、試題分析

1.單維性假設(shè)檢驗(yàn)。單維性假設(shè)檢驗(yàn)是指測(cè)驗(yàn)只測(cè)量被試的某一種潛在特質(zhì)，可以忽略其他潛在特質(zhì)對(duì)測(cè)驗(yàn)結(jié)果的影響。單維性假設(shè)檢驗(yàn)的主要方法是因素分析法。對(duì)考試結(jié)果進(jìn)行因素分析，當(dāng)抽取的第一個(gè)公共因素的特征根值明顯大于第二特征根值的3倍或以上，則認(rèn)為測(cè)驗(yàn)符合單維性條件。對(duì)于詞匯部分題目的KMO檢驗(yàn)值為0.88，大于0.7，說(shuō)明題目適合進(jìn)行因子分析。對(duì)題目的因子維度分析中我們采用主成分分析法，因子提取標(biāo)準(zhǔn)為特征值大于1。

從提取的因子解釋的總方差可以看出，第一個(gè)因子解釋的方差占總方差的16.640%，而第二個(gè)因子解釋的方差僅占5.169%，抽取的第一個(gè)公共因素解釋變異大于第二個(gè)公共因素解釋變異的3倍，可以認(rèn)為本次英語(yǔ)聽(tīng)力測(cè)試的維度是單維的。

2.試題信度檢驗(yàn)。測(cè)試信度主要指測(cè)量的一致性程度?？寺“秃障禂?shù)（Cronbach’s alpha）是心理或教育測(cè)試中最常用的信度評(píng)估工具，它依據(jù)一定公式估量測(cè)驗(yàn)內(nèi)部的一致性，作為信度的指標(biāo)。通常克隆巴赫系數(shù)的值在0和1之間，如果系數(shù)不超過(guò)0.6，一般認(rèn)為內(nèi)部一致性信度不足;達(dá)到0.7-0.8表明測(cè)試具有相當(dāng)?shù)男哦?達(dá)到0.8-0.9表明測(cè)試信度非常好。根據(jù)SPSS的分析結(jié)果，克隆巴赫系數(shù)為0.784，表明本次測(cè)試聽(tīng)力客觀題的信度可以接受。

3.項(xiàng)目分析。在 IRT中，將任一個(gè)項(xiàng)目參數(shù) 、考生能力值與考生對(duì)題目的答對(duì)率以一個(gè)指數(shù)函數(shù)來(lái)表示，再根據(jù)每個(gè)人在每道題目上的回答情況，直接估計(jì)題目的參數(shù)和考生能力值 。這種做法的好處， 是將題目的難度值與考生的能力值都放在同一個(gè)量尺上， 有助于理解考生能力與其在各個(gè)題目上答對(duì)率的關(guān)系。本研究采用 IRT 模型，使用 BILOG-MG3.0軟件對(duì)西安交通大學(xué)2013年大學(xué)英語(yǔ)考試聽(tīng)力部分做項(xiàng)目分析。

BILOG-MG3.0首先輸出聽(tīng)力項(xiàng)目的經(jīng)典測(cè)量項(xiàng)目分析指標(biāo)： 難度（答對(duì)百分比）和區(qū)分度（分別以項(xiàng)目和總分之間的皮爾遜相關(guān)系數(shù)和點(diǎn)雙列相關(guān)系數(shù)表示）。軟件提示，所有項(xiàng)目的區(qū)分度（皮爾遜相關(guān)系數(shù)為和點(diǎn)雙列相關(guān)系數(shù)均大于0.1）比較理想。第二步輸出項(xiàng)目參數(shù)估計(jì)值以及單維性檢驗(yàn)中項(xiàng)目對(duì)單因子的負(fù)荷值，即項(xiàng)目對(duì)聽(tīng)力理解的貢獻(xiàn)大小 。

整體來(lái)講， 聽(tīng)力項(xiàng)目的平均區(qū)分度為0.956 ，標(biāo)準(zhǔn)差為0.188;平均難度為0.442， 標(biāo)準(zhǔn)差為0.578;平均猜測(cè)度為 0.348，標(biāo)準(zhǔn)差為0.082。所有項(xiàng)目的區(qū)分度都在0.5以上;難度較大的試題為第2、3、4、13題。也就是說(shuō)， 西安交通大學(xué)2013 年大學(xué)英語(yǔ)考試聽(tīng)力項(xiàng)目的難度中等，題目的區(qū)分度比較理想。而聽(tīng)力理解水平較低的考生憑猜測(cè)而答對(duì)的概率為34.8%。由于本研究中學(xué)生作答數(shù)據(jù)為只用01表示對(duì)錯(cuò)的兩級(jí)答案，聽(tīng)力理解項(xiàng)目猜測(cè)度在正常范圍內(nèi)。

參數(shù)估計(jì)表明，幾乎所有的聽(tīng)力項(xiàng)目的參數(shù)指標(biāo)都非常理想，難度、區(qū)分度和猜測(cè)度等指標(biāo)大都符合要求。通過(guò)項(xiàng)目特征曲線(xiàn)，發(fā)現(xiàn)第23題和第1題的項(xiàng)目特征曲線(xiàn)都比較吻合理論曲線(xiàn)，但第23題區(qū)分度明顯比第1題大。信息函數(shù)曲線(xiàn)則可以進(jìn)一步驗(yàn)證試題質(zhì)量的好壞。例如，ITEM0023最大信息量約為0.86，質(zhì)量良好;而ITEM0001最大信息量則低于0.25，質(zhì)量較差。

三、結(jié)論

本研究運(yùn)用IRT方法并結(jié)合具體試題對(duì)西安交通大學(xué)2013年大學(xué)英語(yǔ)考試聽(tīng)力理解項(xiàng)目質(zhì)量進(jìn)行了分析，發(fā)現(xiàn)該項(xiàng)目難度中等，題目的區(qū)分度比較理想，聽(tīng)力理解水平較低的考生僅憑猜測(cè)而答對(duì)的概率在正常范圍內(nèi)。但也個(gè)別項(xiàng)目提供的信息量不足、質(zhì)量不高。因此，應(yīng)該對(duì)項(xiàng)目質(zhì)量較低的題目， 可試情況分別采用提高區(qū)分度 、改善試題對(duì)聽(tīng)力能力的貢獻(xiàn)大小等方法提高命題質(zhì)量。

參考文獻(xiàn)：

[1]黃銳，虞秋玲.項(xiàng)目反應(yīng)理論在聽(tīng)力測(cè)試中應(yīng)用的案例研究——以2006年英語(yǔ)專(zhuān)業(yè)四級(jí)聽(tīng)力試題為例[J].集美大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2009，12，3.

[2]彭康洲，李清華.應(yīng)用IRT模型分析TEM 4聽(tīng)力理解項(xiàng)目的質(zhì)量[J].外語(yǔ)教學(xué)理論與實(shí)踐，2009，3.

[3]趙守盈，石艷梅，朱丹.項(xiàng)目反應(yīng)理論在大規(guī)模選拔性考試試題質(zhì)量評(píng)價(jià)中的應(yīng)用[J].教育學(xué)報(bào)，2013，9，1.