鄧佩佩
摘 要 通過試卷成績(jī)分析和試卷質(zhì)量分析,對(duì)試卷進(jìn)行難度、區(qū)分度、信度、效度檢驗(yàn),能夠讓考試這一重要的總結(jié)性評(píng)價(jià)有效地測(cè)驗(yàn)出學(xué)生掌握知識(shí)的真實(shí)水平。以計(jì)算機(jī)應(yīng)用基礎(chǔ)考試試卷為例,結(jié)合SPSS對(duì)其進(jìn)行試卷質(zhì)量分析,能為教師或教學(xué)管理者在教學(xué)研究方面提供幫助,提高試題質(zhì)量和教學(xué)水平,因此,試卷分析十分具有指導(dǎo)意義。
關(guān)鍵詞 考試;試卷分析;SPSS;計(jì)算機(jī)應(yīng)用基礎(chǔ);教學(xué)管理; 克朗巴哈系數(shù)
中圖分類號(hào):G652 文獻(xiàn)標(biāo)識(shí)碼:B
文章編號(hào):1671-489X(2018)14-0020-04
Paper Analysis and Application based on SPSS Software//DENG Peipei
Abstract Through the analysis of the test paper and the quality ana-
lysis of the test paper, this study tests the difficulty, distinction, relia-
bility and validity of the test paper so that the important summative evaluation of the test can effectively test the true level of the students
knowledge of the test. Take the basic computer application examina-
tion papers as an example, combined with SPSS to analyze the paper
quality. For teachers or teaching managers in teaching and research can be assisted to improve the quality of test items and teaching effec-
tiveness, so the paper analysis is very instructive.
Key words examination; papers analysis; SPSS; basics of computer applications; teaching management; Cronbachs Alpha
1 前言
考試是一個(gè)檢驗(yàn)教學(xué)效果和評(píng)價(jià)學(xué)生學(xué)習(xí)效果的重要手段,在學(xué)校管理和教學(xué)質(zhì)量評(píng)價(jià)中占有重要地位,因而考試用的試卷質(zhì)量的好壞便是基礎(chǔ)和前提[1]。然而大多數(shù)教師很少用正規(guī)的方法去對(duì)考試后的試卷做出合理分析,止步于考完得出成績(jī)、評(píng)講試卷即可。要想深入了解試卷題目安排的合理性和有效性,需要用科學(xué)可靠的方法去檢驗(yàn)分析試卷,多方面、多角度進(jìn)行剖析,才能更好地提升和改進(jìn)教學(xué),真正發(fā)揮技術(shù)幫助教育的作用。試卷分析包括試卷成績(jī)分析和試卷質(zhì)量分析,這兩者也存在必然聯(lián)系,試卷成績(jī)分析的前提應(yīng)該是試卷質(zhì)量的保證。因此,試卷分析對(duì)教學(xué)來說是尤為重要的環(huán)節(jié)。
2 SPSS
SPSS是“統(tǒng)計(jì)產(chǎn)品與服務(wù)解決方案”軟件,是用于統(tǒng)計(jì)學(xué)分析運(yùn)算、數(shù)據(jù)挖掘、預(yù)測(cè)分析和決策支持任務(wù)的軟件產(chǎn)品[2]。在教育領(lǐng)域,教育研究定量數(shù)據(jù)的分析起著非常重要的作用。在邏輯推理方面,在數(shù)據(jù)分析的基礎(chǔ)上初步得出一個(gè)結(jié)論,再對(duì)結(jié)論做一個(gè)比較合乎邏輯的推理和演繹。
3 研究?jī)?nèi)容
期末考試是屬于總結(jié)性評(píng)價(jià)的一種類型,也是檢驗(yàn)教學(xué)效果的方法之一[3]。本文主要以某學(xué)校計(jì)算機(jī)應(yīng)用基礎(chǔ)考試試卷為例,結(jié)合SPSS軟件對(duì)其進(jìn)行試卷質(zhì)量的分析,主要包括信度、效度、難度和區(qū)分度。在操作步驟和分析結(jié)果的過程中可以給一些教師或教學(xué)管理人員在教育研究工作中提供方法上的參考價(jià)值,成為教育做出相關(guān)有效決策和判斷的標(biāo)準(zhǔn)和依據(jù)。因此,教育方面的相關(guān)工作人員掌握SPSS軟件或其他教育統(tǒng)計(jì)研究工具軟件是有必要的。
試卷分析作為教學(xué)評(píng)估的手段,可以為教師或教學(xué)管理者在教學(xué)研究方面提供輔助,提高試題質(zhì)量和教學(xué)效率,因此,試卷分析十分具有指導(dǎo)意義。
4 試卷成績(jī)分析
試卷結(jié)構(gòu) 本試卷選取某學(xué)校2016級(jí)學(xué)前教育專業(yè)的計(jì)算機(jī)應(yīng)用基礎(chǔ)課程期末考試試卷,試卷總共有五道大題,分別是填空題(20分)、單項(xiàng)選擇題(20分)、問答題(30分)、計(jì)算題(15分)、操作題(15分),如表1所示。
樣本個(gè)數(shù)30人,分別在每項(xiàng)題的得分明細(xì)情況如表2所示。
試卷基本信息統(tǒng)計(jì) 選擇SPSS軟件,單擊“分析”菜單→“描述統(tǒng)計(jì)”→“描述”,打開“描述”對(duì)話框設(shè)置窗口,將五個(gè)變量依次選入右邊的變量框中,在“描述統(tǒng)計(jì)”選項(xiàng)按鈕中設(shè)計(jì)描述性統(tǒng)計(jì)需要輸出的基本選項(xiàng),勾選其中的“最大值、最小值、平均數(shù)、標(biāo)準(zhǔn)偏差”,單擊“確定”,輸出表3所示詳情表。從表3中可以整體性地觀察到第一列有填空題、單項(xiàng)選擇題、簡(jiǎn)答題、計(jì)算題和操作題這五種類型的題型,清晰明了地得出本次考試成績(jī)中的最小值、最大值、平均數(shù)、標(biāo)準(zhǔn)偏差的信息。
4 試卷質(zhì)量分析
難度分析 難度分析是針對(duì)測(cè)量量表或測(cè)試試卷中單個(gè)項(xiàng)目進(jìn)行的分析[4]。對(duì)試卷評(píng)判它的難易程度,該如何來判斷呢?以便于規(guī)范試卷的合理性,增強(qiáng)試卷的信度。難度系數(shù)是定量,被視作答一個(gè)題目所遇到的困難程度的量數(shù),用符號(hào)P表示。表4所示是試題難度的評(píng)價(jià)指標(biāo)。
計(jì)算難度系數(shù)的方法有很多種,這里采用得分率作為難度系數(shù)的指標(biāo),其計(jì)算公式為:
式中P代表題目難度,X為被試者在某題目上的平均得分,XMAX為該題目的滿分。
【具體步驟】打開SPSS數(shù)據(jù)文件,先將各題項(xiàng)的平均值統(tǒng)計(jì)出來,如表5所示;新建SPSS數(shù)據(jù)文件,命名為“課程期末考試題難度系數(shù)”,分別將統(tǒng)計(jì)出的平均值和滿分值錄入,均值變量命名為Mean,滿分值變量命名為W;選擇“轉(zhuǎn)換”→“計(jì)算變量”,進(jìn)入計(jì)算變量對(duì)話框;在“目標(biāo)變量”中輸入要計(jì)算的難度系數(shù)P,在“數(shù)學(xué)表達(dá)式”框中輸入公式“Mean(平均值)/W(滿分)”,單擊“確認(rèn)”,便得到難度系數(shù)P的值,如圖1所示。
結(jié)合表4,可以看出:?jiǎn)雾?xiàng)選擇題P—0.75,操作題P—0.74,對(duì)應(yīng)的P值大于0.7,表明這兩項(xiàng)題屬于較易題;而填空題P—0.64,簡(jiǎn)答題P—0.68,計(jì)算題P—0.64,難度系數(shù)在0.4~0.7這一區(qū)間,表明這三類題屬于中等難度題。由此可知,試卷各題型總體的難度系數(shù)情況良好,合理性還不錯(cuò)。
區(qū)分度分析 區(qū)分度又稱鑒別力,主要是針對(duì)測(cè)量量表或測(cè)試試卷中的單個(gè)題目的鑒別度進(jìn)行的分析[4]。通過對(duì)試卷測(cè)試題的區(qū)分度分析,可以區(qū)別試卷題目成績(jī)優(yōu)劣,更好地清楚學(xué)生實(shí)際能力水平的區(qū)分情況。題目區(qū)分度評(píng)價(jià)標(biāo)準(zhǔn)如表6所示。
【具體步驟】打開數(shù)據(jù)文件,選擇菜單“數(shù)據(jù)”→“排序個(gè)案”,將“總分”拖入“排序依據(jù)”框;再選擇“降序”排列,單擊“確定”,在數(shù)據(jù)視圖窗口中,總分是按照從大到小的順序排列的;將總?cè)藬?shù)30人乘以27%處的分?jǐn)?shù)記下。在這里,30*27%,記下第八個(gè)的分?jǐn)?shù)是75。
同上操作步驟,再將“總分”按照“升序”排列,記下第八個(gè)的分?jǐn)?shù)是65。
選擇菜單“轉(zhuǎn)換”→“重新編碼為不同變量”,將變量“總分”選入“輸入變量—輸出變量”框中,在右邊的“輸出變量”框中輸入新的變量名“總成績(jī)”,單擊“更改”按鈕。單擊“舊值和新值”按鈕,在最旁邊的“舊值”框中的“范圍,從值到最高”下面輸入高分組限定分?jǐn)?shù)75,在右邊“新值”框中輸入1,表示成績(jī)總分在75分以上的為第一組,單擊“添加”。同理,在左邊的“舊值”框中的“范圍,從最低到值”下面輸入低分組限定分?jǐn)?shù)65,在右邊“新值”框中輸入2,表示成績(jī)總分在65分以下的為第二組,單擊“添加”。在數(shù)據(jù)視圖窗口中便能查看到總成績(jī)按照高低分組的情況。
接著選擇菜單“分析”→“比較均值”→“獨(dú)立樣本T檢驗(yàn)”,將變量“填空題、單項(xiàng)選擇題、簡(jiǎn)答題、計(jì)算題、操作題”選入“T檢驗(yàn)變量”框中;將定義的新變量命名為“總成績(jī)”,選入“分組變量”框中,對(duì)變量進(jìn)行兩獨(dú)立樣本T檢驗(yàn)。單擊“定義組”按鈕,在“用特殊的值”框的Group1、Group2中分別輸入1、2,單擊“確定”按鈕,輸出T檢驗(yàn)結(jié)果,如表7所示。
從表7的第二列和第三列中分別得出方差齊性檢驗(yàn)和T檢驗(yàn)的結(jié)果:首先,Levene的變異數(shù)相等測(cè)試為方差齊性檢驗(yàn),若方差齊性檢驗(yàn)對(duì)應(yīng)的概率P值大于顯著性水平0.05,則表明方差無顯著性差異,就應(yīng)該看第一行的假設(shè)相等變量數(shù)的T檢驗(yàn)結(jié)果;反之,若方差齊性檢驗(yàn)對(duì)應(yīng)的概率P值小于顯著性水平0.05,這表明方差有顯著差異,則看第二行假設(shè)不相等變量的T檢驗(yàn)結(jié)果。
從表7觀察得到方差齊性檢驗(yàn)對(duì)應(yīng)的概率P值都大于顯著性概率水平0.05,表明方差無顯著性差異,應(yīng)該都看第一行的T檢驗(yàn)結(jié)果;填空題、單項(xiàng)選擇題、簡(jiǎn)答題、計(jì)算
題、操作題對(duì)應(yīng)的概率P值分別為0.04、0.04、0.00、0.07、0.23,說明這些題都存在顯著性差異,區(qū)分度較高,可以選擇保留。
效度分析 效度,指測(cè)量結(jié)果的準(zhǔn)確性和有效性的程度,即測(cè)量是否達(dá)到預(yù)期的目的[4]。在課堂教學(xué)過程中,通過評(píng)價(jià)量規(guī)對(duì)學(xué)生的平時(shí)表現(xiàn)進(jìn)行過程性評(píng)價(jià),并記為學(xué)生的“平時(shí)成績(jī)”,現(xiàn)在想了解平時(shí)成績(jī)是否對(duì)學(xué)生的期末考試成績(jī)有影響,在此采用效標(biāo)關(guān)聯(lián)效度分析法進(jìn)行分析。
打開數(shù)據(jù)文件,選擇“分析”→“相關(guān)”→“雙變量”,打開“雙變量相關(guān)性”窗口,將左邊的“平時(shí)成績(jī)、期末成績(jī)”拖入變量列表中,其中平時(shí)成績(jī)作為效標(biāo),分析其與期末成績(jī)的相關(guān)關(guān)系。接著,選擇“相關(guān)系數(shù)”下的“Pearson”檢驗(yàn)方法,計(jì)算效標(biāo)平時(shí)成績(jī)和期末成績(jī)的相關(guān)系數(shù),利用積差相關(guān)法求效度,具體結(jié)果如表8所示。
由表8可以得到,平時(shí)成績(jī)和期末成績(jī)的相關(guān)系數(shù)為0.686,說明本次考試與平時(shí)成績(jī)的相關(guān)性強(qiáng),反映了學(xué)生的真實(shí)水平,有效性和準(zhǔn)確性較好,符合效度要求。
信度分析 信度,廣義上是指教育測(cè)量與評(píng)價(jià)結(jié)果的可信程度;狹義上是指重復(fù)測(cè)量結(jié)果間的一致性程度,即依靠測(cè)量提供穩(wěn)定的、非模棱兩可的信息的程度[4]。本文主要是對(duì)試卷檢驗(yàn)同質(zhì)性信度,也就是內(nèi)部一致性信度,是指測(cè)驗(yàn)內(nèi)部所有題目間的一致性程度。采用克朗巴哈系數(shù)(Cronbachs Alpha),表9所示為克朗巴哈系數(shù)的取值范圍。其計(jì)算公式為:
式中,k為評(píng)估項(xiàng)目數(shù),r為k個(gè)項(xiàng)目相關(guān)系數(shù)的均值。
打開數(shù)據(jù)文件,打開“分析”→“度量”→“可靠性”,將“填空題、單項(xiàng)選擇題、簡(jiǎn)單題、計(jì)算題、操作題”拖入“變量”框中,在“模型”下拉列表選擇“Alpha”,點(diǎn)擊“統(tǒng)計(jì)”按鈕,勾選復(fù)選框“描述性”欄的“如果項(xiàng)目已刪除則進(jìn)行度量”,“項(xiàng)之間”欄的“相關(guān)性”,“摘要”欄的“平均值”“方差”“相關(guān)性”。單擊對(duì)話框中的“繼續(xù)”,返回信度分析主對(duì)話框中的“確定”,輸出結(jié)果如表10、表11和表12所示。
由表10可知,本試卷中進(jìn)行信度分析的指標(biāo)有五個(gè),信度系數(shù)為0.516,參照表9克朗巴哈系數(shù)的取值范圍,信度系數(shù)小于0.7,說明該試卷的信度較低,可靠性和穩(wěn)定性不佳。
表11中,項(xiàng)目平均數(shù)行表示五個(gè)評(píng)估指標(biāo)平均分的基本描述,包括均值(13.813)、最小值(9.667)、最大值(20.467)、范圍(10.800)、最大值最小值的比(2.117)、方差(17.828)。同理,項(xiàng)目方差行和各項(xiàng)目之間的相關(guān)性行分別表示對(duì)五個(gè)指標(biāo)方差和相關(guān)系數(shù)的均值、最小值、最大值、范圍、最大值最小值的比、方差的基本描述。
表12顯示了剔除某評(píng)估指標(biāo)后的情況。其中,從“如果項(xiàng)目已刪除”最后一欄可知,當(dāng)剔除“單項(xiàng)選擇題”這一變量,本次測(cè)驗(yàn)的信度系數(shù)達(dá)到最大,為0.509。通過這種方法可以對(duì)測(cè)驗(yàn)已有的題目選項(xiàng)進(jìn)行修改、刪除等,進(jìn)而提高整個(gè)測(cè)驗(yàn)的信度。
5 總結(jié)與展望
SPSS軟件功能強(qiáng)大,操作簡(jiǎn)便,好學(xué)易懂,在教育研究中對(duì)定量數(shù)據(jù)的統(tǒng)計(jì)與分析上是一款很好的工具。就研究的分析評(píng)價(jià)來說,還有因子分析、主成分分析、回歸分析、聚類分析等,都有較高的使用價(jià)值,對(duì)教育研究有很大的幫助,掌握此類工具的運(yùn)用更能做到教學(xué)最優(yōu)化。
本研究通過試卷成績(jī)分析和試卷質(zhì)量分析,既能反映試卷質(zhì)量的好壞水平,也能了解學(xué)生的知識(shí)點(diǎn)掌握情況。對(duì)試卷進(jìn)行難度、區(qū)分度、信度、效度的檢驗(yàn),對(duì)實(shí)驗(yàn)的步驟和結(jié)果進(jìn)行詳細(xì)的解釋說明,用科學(xué)統(tǒng)計(jì)的方法證明試卷的單個(gè)題目安排是否合理。同時(shí),體現(xiàn)出試卷分析的可操作性和重要性,能夠讓考試這一重要的總結(jié)性評(píng)價(jià)有效地測(cè)驗(yàn)出學(xué)生掌握知識(shí)的真實(shí)水平,對(duì)成績(jī)做進(jìn)一步分析。其中不足的是實(shí)驗(yàn)的樣本量相對(duì)較少,若有更多的實(shí)驗(yàn)對(duì)象,得出的結(jié)論或許更加令人信服。
在進(jìn)一步的研究中,可以采用問卷調(diào)查或訪談的形式向?qū)W生收集一些建議,再?gòu)膶W(xué)校教學(xué)管理者的角度來進(jìn)行整體交流,更好地做到結(jié)合科學(xué)的方法來做試卷分析,讓教師對(duì)癥下藥、及時(shí)調(diào)整,更好地提高教學(xué)質(zhì)量。
參考文獻(xiàn)
[1]任艷玲,朱明放.基于統(tǒng)計(jì)軟件SPSS的學(xué)生試卷分析方法[J].重慶工學(xué)院學(xué)報(bào):自然科學(xué)版,2007(4):95-98.
[2]吳駿.SPSS統(tǒng)計(jì)分析從零開始學(xué)[M].北京:清華大學(xué)出版社,2014.
[3]李文玲,張厚粲,舒華.教育與心理定量研究方法與統(tǒng)計(jì)分析: SPSS實(shí)用指導(dǎo)[M].北京:北京師范大學(xué)出版社,
2008.
[4]張屹,周平紅.教育研究中定量數(shù)據(jù)的統(tǒng)計(jì)與分析[M].北京:北京大學(xué)出版社,2015.