摘要:本文以Access課程為例,探討如何構(gòu)建網(wǎng)絡(luò)題庫(kù),研究Access課程網(wǎng)絡(luò)題庫(kù)的構(gòu)建方法。實(shí)際應(yīng)用效果表明,所構(gòu)建的題庫(kù)難度系數(shù)合理,考試結(jié)果的信度和效度較高,能夠全面、客觀、公正地評(píng)價(jià)學(xué)生的學(xué)習(xí)情況。
關(guān)鍵詞:網(wǎng)絡(luò)題庫(kù);信度;效度;難度系數(shù);區(qū)分度
1 題庫(kù)設(shè)計(jì)原則
計(jì)算機(jī)知識(shí)和技能已經(jīng)成為衡量當(dāng)代大學(xué)生能否適應(yīng)信息社會(huì)發(fā)展的重要標(biāo)志,考試是教學(xué)過(guò)程中的一個(gè)重要環(huán)節(jié),也是檢驗(yàn)教學(xué)效果的一個(gè)重要手段。計(jì)算機(jī)基礎(chǔ)課程的學(xué)生人數(shù)眾多,適合采用無(wú)紙化網(wǎng)絡(luò)考試,實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)選擇考題、自動(dòng)組卷、自動(dòng)評(píng)分。在組織無(wú)紙化網(wǎng)絡(luò)考試時(shí),需要構(gòu)建龐大的題庫(kù)。構(gòu)建題庫(kù)有利于教學(xué)過(guò)程的科學(xué)化、系統(tǒng)化和規(guī)范化,公正、客觀、有效地評(píng)價(jià)教學(xué)效果,提升教學(xué)管理水平。優(yōu)質(zhì)題庫(kù)是教學(xué)管理成熟和完善的標(biāo)志。在設(shè)計(jì)題庫(kù)時(shí),需要注意如下幾個(gè)原則。
1)題庫(kù)設(shè)計(jì)應(yīng)當(dāng)充分考慮教師、學(xué)生、教材和教學(xué)方式等4個(gè)要素,緊緊圍繞教學(xué)要求和教學(xué)目標(biāo),按照教學(xué)大綱設(shè)計(jì)題庫(kù)。
2)題庫(kù)中要有足夠的題量和題型,且難易程度分布合理,確保考試的信度、效度和可操作性,使得考試結(jié)果客觀、公正,能夠全面反映學(xué)生的知識(shí)掌握情況。
3)題庫(kù)中的試題要能覆蓋所有知識(shí)點(diǎn),遍及全書(shū)的各個(gè)章節(jié),每個(gè)知識(shí)點(diǎn)都有相關(guān)的題目。以Access程序設(shè)計(jì)課程為例,題庫(kù)內(nèi)容包括數(shù)據(jù)庫(kù)的基本概念和數(shù)據(jù)庫(kù)的操作。
4)在構(gòu)建題庫(kù)前,需要深入研究和全面把握教材內(nèi)容,經(jīng)過(guò)周密構(gòu)思,確定題量、題型、試題屬性、輸入格式、參考書(shū)目、注意事項(xiàng)等,最終確定題庫(kù)設(shè)計(jì)方案。
5)題庫(kù)中的試題表述,要求語(yǔ)言準(zhǔn)確、表述簡(jiǎn)潔,不能產(chǎn)生多義性,便于計(jì)算機(jī)自動(dòng)評(píng)閱試卷。
2 試題類(lèi)型設(shè)計(jì)
在構(gòu)建題庫(kù)時(shí),首先將每個(gè)章節(jié)中所涉及到的知識(shí)點(diǎn)提取出來(lái),然后根據(jù)知識(shí)點(diǎn)設(shè)計(jì)試題,使得所設(shè)計(jì)的試題不會(huì)出現(xiàn)遺漏內(nèi)容,確保題庫(kù)的覆蓋范圍。Access程序設(shè)計(jì)課程題庫(kù)分兩大部分:理論題和操作題。理論題主要測(cè)試學(xué)生對(duì)基本概念、基本理論的掌握情況,從不同角度考查學(xué)生對(duì)所學(xué)知識(shí)的掌握情況。理論題題型有單項(xiàng)選擇題、雙項(xiàng)選擇題、填空題和判斷題。
2.1 試題數(shù)量設(shè)計(jì)
確定整個(gè)題庫(kù)的數(shù)量是一個(gè)關(guān)鍵,如果題量太小,計(jì)算機(jī)隨機(jī)選題時(shí),同一個(gè)題目重復(fù)的幾率就比較大。在確定題庫(kù)的試題數(shù)量時(shí),要遵守以下原則。
1)一般來(lái)說(shuō),每個(gè)知識(shí)點(diǎn)的試題數(shù)量至少5個(gè)或更多,試題類(lèi)型至少2個(gè)或更多,試題難度至少分為兩個(gè)層次。例如,交叉表查詢(xún)這一知識(shí)點(diǎn),所設(shè)計(jì)的試題數(shù)量多達(dá)20個(gè),試題類(lèi)型4個(gè),試題難度共有4個(gè)層次。
2)重點(diǎn)章節(jié)題量要大,題型要多,試題難度層次完整,盡量設(shè)計(jì)為單項(xiàng)選擇題或雙項(xiàng)選擇題。對(duì)查詢(xún)、窗體、報(bào)表等重點(diǎn)章節(jié),試題數(shù)量占總題量的74%,題型設(shè)計(jì)為單、雙項(xiàng)選擇及填空和判斷。試題難度包含5個(gè)層次,同一知識(shí)點(diǎn),難易有別,基本達(dá)到了設(shè)計(jì)完整、合理的目的。
31非重點(diǎn)章節(jié)題量較小,在無(wú)法設(shè)計(jì)為單項(xiàng)選擇題或雙項(xiàng)選擇題的情況下,可以設(shè)計(jì)為填空題或判斷題。
2.2 理論試題設(shè)計(jì)
題庫(kù)的理論題型包括:?jiǎn)雾?xiàng)選擇題、雙項(xiàng)選擇題、填空題、判斷題,這樣既豐富了題型,又使組成的試卷結(jié)構(gòu)和難易程度更趨合理。在設(shè)計(jì)理論試題時(shí),首先考慮設(shè)計(jì)雙項(xiàng)選擇題,其次考慮設(shè)計(jì)單項(xiàng)選擇題,然后考慮設(shè)計(jì)填空題,最后考慮設(shè)計(jì)判斷題。
1)單項(xiàng)選擇題:一個(gè)知識(shí)點(diǎn)可以設(shè)計(jì)多個(gè)單項(xiàng)選擇題,備選答案要有一定的迷惑性,相互之間關(guān)系平行,不能相互包含。
2)雙項(xiàng)選擇題:一個(gè)知識(shí)點(diǎn)如果存在多于2個(gè)以上選擇,此時(shí)可設(shè)計(jì)多個(gè)雙項(xiàng)選擇題,這樣可以增加試題數(shù)量。
3)填空題:一般來(lái)說(shuō),填空題設(shè)計(jì)為一題一空,一個(gè)知識(shí)點(diǎn)可以設(shè)計(jì)多個(gè)填空題。為了提高試題的客觀性,答案應(yīng)當(dāng)盡量唯一。
4)判斷題:如果知識(shí)點(diǎn)無(wú)法設(shè)計(jì)為單項(xiàng)選擇題、雙項(xiàng)選擇題或填空題,再考慮設(shè)計(jì)為判斷題,判斷題的數(shù)量不易過(guò)多,在計(jì)算機(jī)自動(dòng)組卷時(shí),一套試卷的判斷題不超過(guò)10%。
2.3 操作試題設(shè)計(jì)
計(jì)算機(jī)基礎(chǔ)教育需要注重培養(yǎng)非計(jì)算機(jī)專(zhuān)業(yè)學(xué)生的程序設(shè)計(jì)能力,使學(xué)生能夠運(yùn)用高級(jí)程序設(shè)計(jì)語(yǔ)言獨(dú)立編制簡(jiǎn)單應(yīng)用程序,并應(yīng)用于所學(xué)專(zhuān)業(yè)。操作試題用來(lái)考查學(xué)生的數(shù)據(jù)庫(kù)運(yùn)用能力。試題分為基本應(yīng)用題和綜合應(yīng)用題。兩類(lèi)試題的基本設(shè)計(jì)原則如下。
1)基本應(yīng)用題:基本應(yīng)用題主要是數(shù)據(jù)庫(kù)的基本操作,內(nèi)容包括建立數(shù)據(jù)庫(kù)、修改字段類(lèi)型、字段名稱(chēng)、字段屬性等內(nèi)容,用來(lái)考查學(xué)生的基本操作能力。
2)綜合應(yīng)用題:綜合應(yīng)用題要求學(xué)生對(duì)整個(gè)Access課程有一個(gè)全面的掌握,考查學(xué)生對(duì)整個(gè)課程所學(xué)知識(shí)的把握程度,內(nèi)容包括查詢(xún)、窗體、報(bào)表、頁(yè)、宏、模塊等操作。在設(shè)計(jì)操作試題時(shí),一方面考查學(xué)生對(duì)數(shù)據(jù)庫(kù)的理解,另一方面還要考查學(xué)生對(duì)數(shù)據(jù)庫(kù)的綜合應(yīng)用能力。
3 試題屬性設(shè)置
試題屬性是每個(gè)試題的參數(shù),目的是為計(jì)算機(jī)自動(dòng)組卷提供依據(jù)。試題屬性包括:知識(shí)點(diǎn)、題干、備選答案、正確答案、試題等級(jí)、區(qū)分度等。根據(jù)課題組研制的網(wǎng)絡(luò)考試系統(tǒng),題庫(kù)采用電子表格Excel輸入,4張工作表分別為知識(shí)點(diǎn)編寫(xiě)格式(如表1所示)和三個(gè)題型編寫(xiě)格式(如表2、表3和表4所示),操作試題采用Word格式輸入。
3.1 知識(shí)點(diǎn)
知識(shí)點(diǎn)是教學(xué)內(nèi)容的基本單元,具有基元性和相對(duì)完整性,網(wǎng)絡(luò)考試系統(tǒng)按照知識(shí)點(diǎn)自動(dòng)抽取試題。根據(jù)教材內(nèi)容和教學(xué)大綱,按教材的章節(jié)劃分,析出每節(jié)知識(shí)點(diǎn);再根據(jù)每個(gè)知識(shí)點(diǎn)的內(nèi)容與性質(zhì),設(shè)計(jì)適當(dāng)數(shù)量、難度不同的題型。
知識(shí)點(diǎn)是整個(gè)試題設(shè)計(jì)的關(guān)鍵,知識(shí)點(diǎn)太細(xì),設(shè)計(jì)出來(lái)的題量就小,題型也不會(huì)很豐富;反之,知識(shí)點(diǎn)太寬,設(shè)計(jì)出來(lái)的試題可能出現(xiàn)交叉的情況,即同一試題可能會(huì)屬于兩個(gè)知識(shí)點(diǎn)。考慮到這個(gè)原因,課題組負(fù)責(zé)人指定由經(jīng)驗(yàn)豐富的老師負(fù)責(zé)知識(shí)點(diǎn)的析出,然后再由其他人員設(shè)計(jì)試題。
3.2 難度系數(shù)
難度系數(shù)是指試題的難易程度,是試題屬性的重要參數(shù)之一。本題庫(kù)按照難易程度,劃分為五個(gè)等級(jí)——1、2、3、4、5,其中1級(jí)最容易,5級(jí)難度最大。如果一個(gè)知識(shí)點(diǎn)有多個(gè)題目,難度等級(jí)相同,但區(qū)分度可以不同。每個(gè)試題的難度等級(jí)不是一成不變的,根據(jù)每次考試成績(jī)的難度系數(shù)計(jì)算,可以動(dòng)態(tài)調(diào)整試題的難度等級(jí),使得題庫(kù)能夠更科學(xué)、更客觀地反映試題的難度。
試題難度的計(jì)算公式為P=1-R/N。其中,R為第i題的答對(duì)人數(shù),N為抽取第i題的總?cè)藬?shù)。難度系數(shù)越趨近于0,試題難度就越?。辉节吔?,試題難度就越大。當(dāng)P≤0_3時(shí)表示試題難度較低;0.3<P<0.7時(shí)表示試題難度適中;P≥0.7時(shí)表示試題難度過(guò)高。
3.3 區(qū)分度
試題區(qū)分度是指試題對(duì)學(xué)生實(shí)際水平的區(qū)分程度或鑒別能力,區(qū)分度高的試題能對(duì)不同知識(shí)水平和能力的學(xué)生加以區(qū)分,使能力高的學(xué)生得高分,能力低的學(xué)生得低分;反之,區(qū)分度低的試題則不能對(duì)學(xué)生的能力進(jìn)行有效的鑒別,水平高和水平低的學(xué)生得分相差不大或無(wú)規(guī)律可循。試題區(qū)分度的計(jì)算方法如下。
1)將抽到第i題的全體學(xué)生得分由高到低排序,前27%作為高分組,后27%作為低分組。
2)計(jì)算第i題高分組學(xué)生的平均成績(jī)X和低分組學(xué)生的平均成績(jī)x。
3)設(shè)第i題滿分為W,則第i題區(qū)分度D定義為:D=(X-X)/w。
一般認(rèn)為,D>0.4的試題區(qū)分度為“很好”;0.2≤D≤0.4的試題區(qū)分度為“良好”;D<0.2的試題區(qū)分度為“較差”,如圖1所示。
4 題庫(kù)應(yīng)用效果
Access網(wǎng)絡(luò)題庫(kù)建成后,經(jīng)過(guò)多次考試使用,利用考試效能分析軟件,對(duì)考試成績(jī)和考試效能進(jìn)行了分析。通過(guò)考試成績(jī)分析,有利于教師不斷提高教學(xué)質(zhì)量,學(xué)生也能發(fā)現(xiàn)自己的不足之處,針對(duì)薄弱環(huán)節(jié)加強(qiáng)訓(xùn)練??荚囆芊治鲕浖饕ㄈ齻€(gè)方面的定量分析。
1)成績(jī)分析:分析內(nèi)容包括成績(jī)值分布情況、均值、及格率、優(yōu)秀率、標(biāo)準(zhǔn)差、成績(jī)分組對(duì)比等統(tǒng)計(jì)指標(biāo)。
2)試題分析:試題分析就是計(jì)算題庫(kù)中每道試題的難度和區(qū)分度。
3)試卷分析:試卷分析就是分析計(jì)算機(jī)自動(dòng)組卷的信度和效度。
以2008年級(jí)考試為例,學(xué)生5000余名,平均成績(jī)75.25,及格率占92.97%,優(yōu)秀率占20.41%,考試成績(jī)呈正態(tài)分布。試題難度和區(qū)分度的截圖如圖1所示,從圖中可以看出,試題難度適中,大部分試題難度系數(shù)都在0.3以上,區(qū)分度情況較為理想,對(duì)少數(shù)難度系數(shù)小于0.3的試題和區(qū)分度在0.2以下的試題,可以考慮從題庫(kù)中刪除或修改試題內(nèi)容,使其難易程度和區(qū)分度更趨合理??偟膩?lái)說(shuō),試題平均難度系數(shù)為0.52,平均區(qū)分度為0.34。分析結(jié)果表明,題庫(kù)具有良好的難度和區(qū)分度。
通過(guò)對(duì)每次考試結(jié)果的統(tǒng)計(jì)分析,可以適當(dāng)修正試題屬性以改善題庫(kù)質(zhì)量,提高組卷效力,使考試更加標(biāo)準(zhǔn)、科學(xué)、客觀、公正,真實(shí)、全面反映教學(xué)情況。雖然題庫(kù)設(shè)計(jì)針對(duì)Access程序設(shè)計(jì)課程,但設(shè)計(jì)思想同樣適用于大學(xué)計(jì)算機(jī)基礎(chǔ)和Visual Basic程序設(shè)計(jì)等課程。
(編輯:白