趙 軒

?

基于多元概化理論的中小學(xué)教師資格考試數(shù)學(xué)學(xué)科試卷質(zhì)量分析

趙 軒

（教育部考試中心，北京 100084）

中小學(xué)教師資格考試《數(shù)學(xué)學(xué)科知識與教學(xué)能力》科目，考查新入職中學(xué)數(shù)學(xué)教師所必需的學(xué)科知識與教育教學(xué)能力．應(yīng)用多元概化理論對中小學(xué)教師資格考試中學(xué)數(shù)學(xué)學(xué)科試卷進(jìn)行質(zhì)量分析，以期為優(yōu)化試卷結(jié)構(gòu)、修訂考試大綱提供參考依據(jù)，進(jìn)而促進(jìn)中學(xué)數(shù)學(xué)教師資格考試質(zhì)量的提升．

中小學(xué)教師資格考試；多元概化理論；測量信度

概化理論（GT，Generalizability Theory）是在經(jīng)典測量理論（CTT，Classical Test Theory）的基礎(chǔ)之上，通過方差分析的技術(shù)研究測驗(yàn)信度的測驗(yàn)理論，可針對不同情境估計(jì)測量誤差的多種來源．多元概化理論（MGT，Multivariate Generalizability Theory）在概化理論的基礎(chǔ)之上，進(jìn)一步研究測量目標(biāo)在某個特定的全域之上具有多個全域分?jǐn)?shù)的相關(guān)問題．這一理論被廣泛應(yīng)用于考試、表現(xiàn)性評價等諸多方面，對教師的教學(xué)評價等也有直接的幫助[1]．

中小學(xué)教師資格考試是檢測申請人是否具備從事教師職業(yè)所必需的教育與教學(xué)能力的水平考試[2]．《中小學(xué)教師資格考試大綱（試行）》規(guī)定中學(xué)數(shù)學(xué)學(xué)科的考查內(nèi)容包括學(xué)科知識、課程知識、教學(xué)知識和教學(xué)技能[3]．應(yīng)用多元概化理論模型對該科目試卷的測試結(jié)果進(jìn)行分析，可定量比較各考查內(nèi)容模塊的區(qū)分度與內(nèi)部一致性，并為試卷結(jié)構(gòu)、各模塊分?jǐn)?shù)比例分配、信度等方面的研究提供理論框架．

應(yīng)用多元概化理論對中小學(xué)教師資格考試中學(xué)數(shù)學(xué)學(xué)科試卷進(jìn)行分析，以期為改進(jìn)試卷結(jié)構(gòu)、修訂考試大綱，進(jìn)而提高命題質(zhì)量提供參考依據(jù)．

1 研究工具與研究樣本

1.1 概化理論簡介

概化理論是一種能夠達(dá)到區(qū)分考生、評估應(yīng)考者真實(shí)水平的目的，并較好地控制測評誤差的現(xiàn)代測量理論．該理論采取數(shù)學(xué)建模和統(tǒng)計(jì)調(diào)整的方法，重點(diǎn)討論考生能力水平與考試題目之間的實(shí)質(zhì)性關(guān)系；其基本原理是運(yùn)用實(shí)驗(yàn)設(shè)計(jì)的思想，分析與測驗(yàn)分?jǐn)?shù)差異相關(guān)的各項(xiàng)因素（如考生個體水平差異、題目難度差異等），并運(yùn)用方差分析的技術(shù)，以方差分量作為指標(biāo)分別估計(jì)各項(xiàng)因素對分?jǐn)?shù)總變異的影響．概化理論的一個主要功能是可以在各種限定條件下估計(jì)測驗(yàn)信度，并給出各因素與信度的相關(guān)性．在該理論中，測量信度的概念用概化系數(shù)或可靠性系數(shù)來代替[1]．

概化理論用方差分析的方法估計(jì)各種方差成分的相對大小，并可對其大小進(jìn)行直接比較；不僅能估計(jì)出主效應(yīng)，也能對交互效應(yīng)進(jìn)行估計(jì)和直接比較．在概化理論中，通過理論計(jì)算估計(jì)各方差成分相對大小的過程，稱為概化理論的G研究．

概化理論還要通過實(shí)驗(yàn)性研究，進(jìn)一步考察不同測驗(yàn)設(shè)計(jì)條件下概化系數(shù)的變化狀況，如試題容量變化對于概化系數(shù)的影響．從而尋找最佳的誤差控制方法，作出最佳的設(shè)計(jì)決策，為改進(jìn)測驗(yàn)的內(nèi)容、方式方法等提供有價值的信息．這一階段稱為概化理論的D研究[4]．D研究的研究對象和樣本可設(shè)定為G研究的子集．G研究確定測量對象、測量模式并對各項(xiàng)因素的變異數(shù)進(jìn)行總體估計(jì)，D研究建立在G研究的基礎(chǔ)上，根據(jù)研究目的的需要，對測量對象樣本容量、測量模式等進(jìn)行調(diào)整，進(jìn)而在調(diào)整后的特定條件下估計(jì)各種測量誤差與指標(biāo)，為改進(jìn)測量提供信息參考．

多元概化理論在概化理論的基礎(chǔ)上，深入研究測量目標(biāo)具有多個全域分?jǐn)?shù)等方面的問題（如總測驗(yàn)可以分解為多個不同維度的分測驗(yàn)）．主要可應(yīng)用于測試多門學(xué)科或多種能力的綜合測驗(yàn)[1]．近年來，這一理論被廣泛應(yīng)用于高考、研究生考試等大規(guī)模教育考試中，拓展了傳統(tǒng)測試的信度檢驗(yàn)方式[5-6]．

1.2 研究樣本說明

從參加2017年上半年中小學(xué)教師資格考試《數(shù)學(xué)學(xué)科知識與教學(xué)能力（高級中學(xué)）》科目的全部19?359名考生中隨機(jī)抽取1?000名考生作為樣本，有效試卷為1?000份．該科目為考查考生多種能力的綜合性測試，因此對其測驗(yàn)信度進(jìn)行研究適宜采用多元概化理論的原理和方法．多元概化理論模型相關(guān)參數(shù)的計(jì)算采用mGENOVA程序（Brennan，2001）[7]．

2 研究方法

2.1 G研究設(shè)計(jì)

按照考試大綱的試卷結(jié)構(gòu)，將全部試題劃分為“學(xué)科知識”、“課程知識”、“教學(xué)知識”和“教學(xué)技能”4個分測驗(yàn)（下文中分別以V1、V2、V3、V4表示，其中V1為學(xué)科知識，V2為課程知識，V3為教學(xué)知識，V4為教學(xué)技能）．全卷共17道題目，滿分150分．V1包含10道題目，共61分；V2包含3道題目，共27分；V3包含2道題目，共12分；V4包含2道題目，共50分．

2.2 D研究設(shè)計(jì)

為了探討各個分測驗(yàn)對于估計(jì)測驗(yàn)總分可靠性的貢獻(xiàn)程度，考察了各模塊樣本容量變化對于各自測量信度及總分測量信度的影響情況，為優(yōu)化試卷內(nèi)容和結(jié)構(gòu)提供了建議和參考．

3 研究結(jié)果與分析

3.1 4因子概化模型的G研究

根據(jù)G研究設(shè)計(jì)，使用mGENOVA軟件計(jì)算得到考生（）、試題（）以及考生和試題之間的交互效應(yīng)（）在4因子上的方差與協(xié)方差分量的估計(jì)矩陣．如表1所示．

表1 G研究中各效應(yīng)在4因子上的方差與協(xié)方差分量估計(jì)

注：主對角線上的元素為各效應(yīng)在相應(yīng)因子上的方差分量估計(jì)，主對角線以下元素為各效應(yīng)在不同因子間協(xié)方差分量的估計(jì)，主對角線以上元素為因子間相關(guān)系數(shù)的估計(jì)．

從中可見，4因子中考生效應(yīng)（）方差分量最小的因子為教學(xué)知識模塊（0.161?90），其次是課程知識模塊（0.254?00）；方差分量最大的是教學(xué)技能模塊（1.365?04），其次是學(xué)科知識模塊（1.106?07）．這說明在此次考試中，教學(xué)知識和課程知識模塊的區(qū)分作用較小，教學(xué)技能和學(xué)科知識模塊的區(qū)分作用較大；其中一個原因是教學(xué)知識和課程知識模塊總分值較低，教學(xué)技能和學(xué)科知識模塊總分值較高．此外教學(xué)技能模塊所含各小題分值較高，因此其總分值雖低于學(xué)科知識模塊，但方差分量卻大于學(xué)科知識模塊．

此外，根據(jù)協(xié)方差分量的估計(jì)值，4因子之間的協(xié)方差分量均大于0.3，這說明不同考生在各模塊中的得分順序較一致，即整卷內(nèi)部一致性與各模塊題目的區(qū)分度均良好．

考生效應(yīng)（）反映了考生水平差異造成的成績變異大小，試題效應(yīng)（）反映試題難度差異造成的成績變異大小，而交互效應(yīng)（）反映考生和試題因素交互影響產(chǎn)生的誤差，不同效應(yīng)之間方差分量值不可直接比較．從表1試題效應(yīng)（）部分中還可看出課程知識模塊由試題難度差異造成的成績變異最大，說明該模塊所含試題難度跨度相對較大．

3.2 4因子概化模型的D研究

（1）各因子全域分?jǐn)?shù)估計(jì)的測量精度研究．

使用mGENOVA軟件可計(jì)算考生在4個因子上全域分?jǐn)?shù)與相應(yīng)誤差估計(jì)的方差分量，以及概化系數(shù)、可靠性系數(shù)和信噪比，結(jié)果如表2所示．

表2 全域分與相應(yīng)誤差在4因子上的方差分量等指標(biāo)估計(jì)

從表2中可見，考慮到誤差因素，概化系數(shù)（信度）最高的是學(xué)科知識部分（0.703?95），其次是教學(xué)技能部分（0.312?36），課程知識（0.158?95）和教學(xué)知識（0.092?46）部分較低．這說明此次考試對學(xué)科知識模塊的測量精度較高，教學(xué)技能模塊的測量精度可以接受；而課程知識和教學(xué)知識模塊的測量誤差較大，一個可能的原因是在這兩個模塊中，考生各題目得分之間的內(nèi)部一致性較低．

（2）全域總分的測量精度研究．

按照各模塊題量所占比重來決定權(quán)系數(shù)（見表3），對4因子全域分?jǐn)?shù)進(jìn)行合成，可得到全域總分與其相應(yīng)誤差估計(jì)的方差分量，以及全域總分的概化系數(shù)、可靠性系數(shù)和信噪比，結(jié)果見表4．

表3 D研究中4因子合成全域總分的權(quán)系數(shù)

表4 D研究合成全域總分與相應(yīng)誤差方差分量等指標(biāo)估計(jì)

從表4中可見，全域總分的概化系數(shù)為中等水平（0.742?33）；相對誤差不大（0.266?39），因此相對信噪比較高（2.880?97）．這說明此次考試的總體測量信度是可以接受的．

（3）各因子對總方差貢獻(xiàn)度的研究．

用各模塊全域分?jǐn)?shù)與相應(yīng)誤差估計(jì)的方差分量，可計(jì)算出各模塊對總方差的貢獻(xiàn)度，見表5．

由表5可見，各模塊對全域分?jǐn)?shù)方差的貢獻(xiàn)比例與考試大綱規(guī)定的賦分比例存在一定差距，特別是在學(xué)科知識和教學(xué)技能兩個模塊表現(xiàn)得較為突出．學(xué)科知識部分賦分比例為40.67%，方差貢獻(xiàn)率為68.44%；教學(xué)技能部分賦分比例為33.33%，方差貢獻(xiàn)率為14.20%．其可能原因在于學(xué)科知識部分題目容量大，且一半是客觀題（6題，30分），成績分布分散；而教學(xué)技能部分只包含兩個題目，分值較大，且均為主觀題，成績分布較集中．這說明整套試卷中，學(xué)科知識部分的題目在區(qū)分考生能力上的功能最好，即試題區(qū)分度最高．因此增加這部分試題的比重，或在其它部分試題中加強(qiáng)對學(xué)科知識的考察，都能夠提高試卷對于考生的區(qū)分能力，進(jìn)而提高考試信度與區(qū)分效果．

表5 各模塊方差分量對總方差貢獻(xiàn)度與試卷賦分比例比較

（4）各因子題目容量對測量精度的影響研究．

為研究進(jìn)一步提高考試測量精度的方法，研究者改變各因子所含題目數(shù)量，并觀察測驗(yàn)信度隨之產(chǎn)生的變化，具體結(jié)果見表6．

表6 D研究中各因子題目容量對總分概化系數(shù)的影響

從中可見，各因子樣本容量增加為2倍和3倍時，測量信度將大幅提升，這說明增加考試題量可以提高考試信度，這一結(jié)論和CTT的結(jié)論是一致的．分別固定4個因子中3個因子的樣本容量，變化其中一個因子的樣本容量時發(fā)現(xiàn)，單獨(dú)增加每個因子的樣本容量，都會提高測量信度，但提升的幅度不同．4因子對應(yīng)的提升幅度從大到小分別為：學(xué)科知識、教學(xué)技能、課程知識和教學(xué)知識，這與前文的分析是一致的．

由于受到考試時間的限制，大幅度增加題量是不現(xiàn)實(shí)的，不具可操作性．但仍可通過其他技術(shù)手段達(dá)到同樣效果，如適當(dāng)增加題量，小題增加中間分，大題拆分題目分?jǐn)?shù)、增加得分點(diǎn)等方式．可以此來增加整卷的分?jǐn)?shù)檔，從而提高試卷的信度與區(qū)分效果．

4 研究結(jié)論與思考

應(yīng)用多元概化理論對中小學(xué)教師資格考試《數(shù)學(xué)學(xué)科知識與教學(xué)能力》科目試卷進(jìn)行分析，得到如下結(jié)論：

（1）試卷全域概化系數(shù)為0.742?33，屬于中等水平，相對誤差不大，各部分試題區(qū)分度良好，試題試卷整體質(zhì)量較高．

（2）各部分試題的方差貢獻(xiàn)度與考試大綱賦分比例基本相符，說明現(xiàn)有試卷結(jié)構(gòu)較合理，考試基本達(dá)到了大綱設(shè)計(jì)的考查目的．

（3）學(xué)科知識、課程知識、教學(xué)知識和教學(xué)技能4個模塊中，學(xué)科知識模塊對于總方差的貢獻(xiàn)度最高，且增加學(xué)科知識模塊的題目容量對于測量信度的提升最大．因此，在考試時間和總題量不變的前提下，可通過適當(dāng)增加學(xué)科知識部分考核比重的方式來實(shí)現(xiàn)進(jìn)一步提高考試測量信度的目的．

（4）各模塊題量均與測驗(yàn)信度正相關(guān)，因此可采取適當(dāng)增加題量，小題增加中間分，大題拆分題目分?jǐn)?shù)、增加得分點(diǎn)等技術(shù)手段提高試卷的信度與區(qū)分效果．

多元概化理論的引入，為探索教師資格考試的質(zhì)量評價方式提供了更多的可能性．從研究結(jié)果來看，一方面，對于試卷結(jié)構(gòu)的調(diào)整，雖受限于考試時間、考試大綱對試題分?jǐn)?shù)分布等確定性要求，但多元概化理論對試卷的質(zhì)量分析結(jié)果提供了在現(xiàn)有結(jié)構(gòu)下的精細(xì)化調(diào)整方案．另一方面，運(yùn)用多元概化理論進(jìn)行試卷結(jié)構(gòu)分析，在統(tǒng)一題型和各模塊分值的前提情況下，其結(jié)論更有針對性．因此，多元概化理論對于研究中小學(xué)教師資格考試的質(zhì)量評價有重要的意義，與經(jīng)典測量理論的評價結(jié)果相結(jié)合，可以得到更為準(zhǔn)確的試題單題質(zhì)量和試卷整體質(zhì)量改進(jìn)方案．

總之，通過引入多元概化理論對教師資格考試的試卷質(zhì)量進(jìn)行分析和評測，可以為今后完善考核內(nèi)容，調(diào)整試卷結(jié)構(gòu)，修訂考試大綱提供參考，為改進(jìn)試題試卷質(zhì)量提供依據(jù)．進(jìn)一步加強(qiáng)概化理論等基于真實(shí)數(shù)據(jù)的實(shí)證性研究，對于提升考試的科學(xué)化水平，支撐考試的可持續(xù)化發(fā)展具有重要意義．

[1] 楊志明，張雷．測評的概化理論及其應(yīng)用[M]．北京：教育科學(xué)出版社，2003．

[2] 余仁勝，趙軒．中小學(xué)教師資格考試測試結(jié)果的統(tǒng)計(jì)分析研究[J]．中國考試，2015（1）：32-39．

[3] 中華人民共和國教育部．中小學(xué)教師資格考試筆試大綱（試行）[EB/OL]．（2017-05-18）[2017-06-20]．http://ntce. neea.edu.cn/html1/report/1508/369-1.htm.

[4] 劉遠(yuǎn)我，張厚粲．概化理論在作文評分中的應(yīng)用研究[J]．心理學(xué)報，1998，30（2）：211-218．

[5] 關(guān)丹丹，任子朝．應(yīng)用概化理論評價課標(biāo)后高考數(shù)學(xué)試卷[J]．?dāng)?shù)學(xué)通報，2009，48（11）：18-24．

[6] 白娟．基于多元概化理論的全國碩士研究生中醫(yī)綜合考試質(zhì)量分析[J]．天津中醫(yī)藥大學(xué)學(xué)報，2014（2）：44-46．

[7] BRENNAN R L. Generalizability theory [M]. New York: Springer-Verlag, 2001: 55.

[8] 趙軒．注重能力考查，推動專業(yè)化建設(shè)——中學(xué)數(shù)學(xué)教師資格考試目標(biāo)要求和試題特點(diǎn)及測評情況分析[J]．?dāng)?shù)學(xué)教育學(xué)報，2016，25（6）：7-9．

Quality Analysis in Math Subject of National Teacher Certification Examination Based on Multivariate Generalizability Theory

ZHAO Xuan

(National Education Examinations Authority, Beijing 100084, China)

“Subject knowledge and teaching ability of Math”, which was one subject of National Teacher Certification Examination, mainly focused on the basic quality of subject knowledge, and education and teaching ability of new middle school Math teachers. This manuscript applied the Multivariate Generalizability Theory to Math subject of National Teacher Certification Examination for quality analysis, aimed to provide the reference quantified data to improve the structure of examination and modify the examination syllabus, and then promote the quality of middle school Math Teacher Certification Examination.

national teacher certification examination; multivariate generalizability theory; test reliability

[責(zé)任編校：周學(xué)智]

2017–10–28

趙軒（1983—），男，北京人，助理研究員，主要從事考試研究與數(shù)學(xué)教育測量研究．

G424.74

A

1004–9894（2018）02–0038–03

趙軒．基于多元概化理論的中小學(xué)教師資格考試數(shù)學(xué)學(xué)科試卷質(zhì)量分析[J]．?dāng)?shù)學(xué)教育學(xué)報，2018，27（2）：38-40．