郭文正

（平頂山學(xué)院 外國語學(xué)院，河南 平頂山 467002）

大學(xué)英語機(jī)考系統(tǒng)與試題庫建設(shè)問題探析

郭文正

（平頂山學(xué)院 外國語學(xué)院，河南 平頂山 467002）

大學(xué)英語作為高校的一門公共課，期末或?qū)W期中階段性大規(guī)模的紙質(zhì)考試從制卷、組織考試到改卷、批卷都對教師及教研組提出了很大的挑戰(zhàn).大學(xué)英語在線考試因其便利性、高效性，逐漸在高校普及.在閱卷后的試卷分析環(huán)節(jié)，機(jī)考系統(tǒng)可以直接提供大量數(shù)據(jù)，幫助教師更加科學(xué)、深入的了解學(xué)生對大學(xué)英語課程的掌握程度.但大學(xué)英語機(jī)考系統(tǒng)及試題庫的建設(shè)是一個開放、持續(xù)的工程，通過機(jī)考系統(tǒng)提供的數(shù)據(jù)對學(xué)生成績進(jìn)行分析，可以看出機(jī)考系統(tǒng)及試題庫還有很多問題仍需解決.

大學(xué)英語；上機(jī)考試；試題庫建設(shè)

隨著多媒體、計算機(jī)技術(shù)和網(wǎng)絡(luò)在高校的普及，無紙化、網(wǎng)絡(luò)化辦公已經(jīng)成為高校教學(xué)、管理過程中的一個不可或缺的重要組成部分，而作為教學(xué)工作的末端——大學(xué)英語考試管理，是網(wǎng)絡(luò)化普及的重點和難點，正在試用的大學(xué)英語四、六級考試系統(tǒng)是當(dāng)前英語考試改革的一個趨勢.科學(xué)合理的利用校園網(wǎng)開展網(wǎng)絡(luò)教學(xué)可以緩解高?？荚囘^程中大學(xué)英語公修課學(xué)生多、工作量大的問題，而大學(xué)英語考試系統(tǒng)在考試過程中的應(yīng)用不僅提高了考試效率、增強了考試的公平性，同時也降低了老師改卷的壓力.

1 大學(xué)英語機(jī)考系統(tǒng)

2009年6 月，平頂山學(xué)院大學(xué)英語實行了上機(jī)考試，首次參加考試的學(xué)生為在校普通本科生.大學(xué)英語機(jī)考系統(tǒng)主要是由校網(wǎng)絡(luò)中心研發(fā)推出的，采用NET2.0技術(shù)，以SQL SERVER2005作為底層數(shù)據(jù)庫，通過Internet WWW服務(wù)所具有的各種功能，采用多層B/S結(jié)構(gòu)實現(xiàn)大學(xué)英語考試系統(tǒng).

1.1 大學(xué)英語機(jī)考系統(tǒng)的特點

1.1.1 高效性

為了提高考試系統(tǒng)的試卷安全性，防止學(xué)生互相抄襲，上機(jī)考試采用臨時隨機(jī)組卷，在考生進(jìn)入考試系統(tǒng)時，自動調(diào)用組卷的方法為各位參加考試的學(xué)生組卷，使得每個學(xué)生的考試內(nèi)容不同.在機(jī)閱試卷的時候，機(jī)考系統(tǒng)可以自主計算每位應(yīng)試者的成績，教師對成績有自主修改權(quán)限.

1.1.2 便利性

機(jī)考系統(tǒng)可以很方便的從試題庫中隨機(jī)抽題，供學(xué)生進(jìn)行考試用，也可以自動計算學(xué)生考試成績，在考試完成后，系統(tǒng)可以自動針對班級進(jìn)行成績統(tǒng)計.這樣省去了很多人工操作.

1.1.3 較大的可訪問性和包容性

互聯(lián)網(wǎng)可以突破地區(qū)的限制，增加學(xué)習(xí)的群體和共享的學(xué)習(xí)資源.互聯(lián)網(wǎng)的廣泛適用性能夠提升傳統(tǒng)遠(yuǎn)程教育技術(shù)的適用范圍，也就真正體現(xiàn)了遠(yuǎn)程教育的優(yōu)勢，避免其局限.

1.2 大學(xué)英語機(jī)考系統(tǒng)的六大模塊

大學(xué)英語機(jī)考系統(tǒng)主要包括以下六個方面的模塊：試題庫管理、權(quán)限管理、自動組卷管理、考試控制、自動評分、查詢統(tǒng)計管理.

1.2.1 試題庫管理

以每個課程章節(jié)為依據(jù)，按順序采集考試相關(guān)信息.在錄入考試題目的同時，以類型和難度對考試內(nèi)容分門別類，方便對試題庫的管理.

可以適時對試題庫進(jìn)行豐富、完善.機(jī)試要求有有充足的試題，題量應(yīng)依據(jù)知識點來進(jìn)行合理安排.為了保證試題符合機(jī)試的要求，要將重復(fù)內(nèi)容去除掉.

1.2.2 權(quán)限管理

機(jī)試體系的使用者權(quán)限分為三個級別：管理員、教師、考生.

管理員權(quán)限主要包括以下幾個方面：基本信息的設(shè)置，課程管理，教師管理，學(xué)生管理，權(quán)限管理，考試統(tǒng)計等.

教師權(quán)限：試題錄入、修改、審核、刪除，主觀題試卷批改，考試成績錄入.

考生權(quán)限：在線測試，查詢成績.

1.2.3 組卷方式

按照試題類型、試題容量、課程范圍、分?jǐn)?shù)比值、測試時間、難度系數(shù)等參數(shù)組合試卷.

組卷參數(shù)存入組卷表中，在應(yīng)試者登錄考試系統(tǒng)以后，從組卷表中選擇對應(yīng)信息，系統(tǒng)會自動組卷.

為了防止抄襲，每個參加考試的考生所用試卷不完全相同.

1.2.4 考試控制

管理員統(tǒng)一掌控網(wǎng)上測試的權(quán)限，考前，管理員開放本次考試的考生的權(quán)限，考后，由管理員關(guān)閉本次考試考生的權(quán)限.

1.2.5 自動評分管理

考生在時間結(jié)束前向系統(tǒng)提交試卷或者系統(tǒng)在考試時間結(jié)束時自動終止答題，系統(tǒng)可自主對考生所有客觀題和部分主觀題判分.

1.2.6 查詢統(tǒng)計

系統(tǒng)管理員可以統(tǒng)計查詢系統(tǒng)評分的所有班級成績，也可以調(diào)閱各個班級的成績分布，也可以調(diào)閱個體考試成績，并根據(jù)需要導(dǎo)出相應(yīng)的數(shù)據(jù)出.

教師可以調(diào)閱并導(dǎo)出相應(yīng)班級的成績，并瀏覽成績分布，查看單個考生的分?jǐn)?shù).

學(xué)生也可以從系統(tǒng)中調(diào)閱自己的試卷和得分和詳細(xì)的評分信息.

2 大學(xué)英語機(jī)考試卷分析

學(xué)生完成考試后，由管理員分配改卷權(quán)限，將某些班級的改卷權(quán)限分配給某個老師，教師通過自己的工號登錄到該系統(tǒng)中進(jìn)行主觀題改卷操作.改卷之后，可以通過考試統(tǒng)計功能來統(tǒng)計班級考試信息以及班級考試成績的分別比例信息.教師可以針對有異議成績調(diào)出試卷進(jìn)行查閱，對確實存在評分問題的試卷將該考生信息報給管理員由管理員對考生得分成績進(jìn)行修改.點擊對應(yīng)學(xué)生的卷子名稱調(diào)出考試卷進(jìn)行查看.

教師也可以把數(shù)據(jù)從系統(tǒng)中導(dǎo)出來，對做過該套卷子的所有學(xué)生進(jìn)行試卷分析.

以2012-2013學(xué)年第二學(xué)期平頂山學(xué)院2011級普通本科學(xué)生使用的題庫“大學(xué)英語（四）”試題為例，就本套試卷而言，是嚴(yán)格按照教學(xué)大綱和考試大綱的要求來命題的，實行了客觀題機(jī)考、主觀題教師評卷.試卷的題量比較適當(dāng)，題型覆蓋了大綱中100%的章節(jié)，考查學(xué)生基本理論、基本知識、基本技能的試題占到55%；試卷難度系數(shù)為0.40，較難.第一大題選詞填空的難度系數(shù)為0.53，第四大題聽力的難度系數(shù)為0.58，相比其它大題而言難度較大.

3 大學(xué)英語機(jī)考試題庫的問題

大學(xué)英語機(jī)考系統(tǒng)主要是由我校網(wǎng)絡(luò)中心研發(fā)推出，而試題庫的建設(shè)尤其是試題的采集主要是由我校公共外語教學(xué)部負(fù)責(zé)承擔(dān).在建設(shè)初期，由于對試題庫沒有很科學(xué)、系統(tǒng)的認(rèn)識，國內(nèi)也沒有過多高校有類似項目可供參考，所以試題的采集遇到了很多困難.在國家著名的外語學(xué)府——上海外國語大學(xué)——的幫助下，我校得到了上海外國語大學(xué)英語試題庫的第一手資料，并組織教師按照題庫系統(tǒng)要求進(jìn)行試題錄入工作，之后對試題進(jìn)行抽樣檢查，具體步驟如下：

3.1 篩題組卷

2010年1 月，我校第一次進(jìn)行英語機(jī)考實驗，英語試題庫的建設(shè)是在2010年9月之前完成的.在錄入各個級別的試題過程中，教師根據(jù)自身教學(xué)經(jīng)驗對試題進(jìn)行了篩選，試題錄入結(jié)束后，部門對各個級別試題分別進(jìn)行了組卷，以備教師模擬測試.

3.2 模擬測試

網(wǎng)路中心設(shè)置了10個學(xué)生模擬賬號，教師可以用這些賬號以學(xué)生的身份登錄考試系統(tǒng)進(jìn)行做題，目的有兩個：檢測同一級別隨即所抽取的不同套題難易度是否相近；檢測不同級別隨即所抽取的試題難易度是否呈階梯狀排列.為了檢測結(jié)果的客觀、公正，所有的檢測試卷由同一個教師做題驗證，避免教師之間因為程度的不同而導(dǎo)致檢測結(jié)果存在偏差.試題做完后，又選取另一位教師對所有試題進(jìn)行評閱.根據(jù)評閱結(jié)果，同一級別試題的難易度基本持平，不同級別的試題難易度也有所體現(xiàn).

但根據(jù)上述試卷的分析結(jié)果可以看出，學(xué)生的成績并不理想，不及格率達(dá)到了46.48%，除了學(xué)生自身學(xué)習(xí)可能存在一定的問題之外，說明題庫本級別試題難度過大，個別題型的區(qū)分度不大，試題庫的建設(shè)存在一定的問題，其主要原因還是試題庫建設(shè)初期試題的采集不夠科學(xué).

4 大學(xué)英語機(jī)考試題庫的完善措施

語言測試是一項專業(yè)性極強的工作.一個大規(guī)?？荚図椖?，從開發(fā)到成熟，至少要經(jīng)過三個環(huán)節(jié)：設(shè)計階段、實施階段和考后階段.[1]在考后階段，要有詳盡的試卷分析，包括各種描述統(tǒng)計、試題項目分析、試卷各部分相關(guān)，而一項測試的好壞，主要是看試卷的區(qū)分度、信度及效度.

區(qū)分度是指試題能以何種標(biāo)準(zhǔn)能把不同英語能力水平的考生區(qū)分開，也就是試題的鑒別力.區(qū)分度越高，就越能夠把不同能力階段的考生區(qū)分開來，該試題被錄入系統(tǒng)的價值也就越大.如果測試中針對一道試題，能力強的考生都對了，能力弱的考生答錯了，這題的區(qū)分能力就很強.反之，如果能力強的考生都答錯了，能力弱的考生都答對了，則該題的區(qū)分度很差.著名測量學(xué)方面的專家伊貝爾指出：一道試題的區(qū)分度如果在0.4以上，則表明其區(qū)分度很好；如果在0.3～0.39之間，則說明題目的區(qū)分度較好；如果區(qū)分度在0.2～0.29之間，則此試題的區(qū)分度不太好，需要調(diào)整；如果在0.19以下，那么此題的區(qū)分度特別差，應(yīng)淘汰.比如，前文提到的考題區(qū)分度是0.45，很好；閱讀理解B為0.30，較好；閱讀理解A和聽力理解的區(qū)分度不太好，需要修改；而作文的區(qū)分度非常不好，應(yīng)對題庫中該類題做一個大的調(diào)整.因為作為是主觀題，教師的評分主觀性也影響了該題型的區(qū)分度，所以也應(yīng)該從評卷環(huán)節(jié)反思，如何是給分更加客觀、科學(xué).由于所有接受測試的考生能力往往呈正態(tài)分布，測試中題目難度的分布也是如此，也就是難、中、易都存在，中等難度的試題較多.只有如此，考試才具有較高的鑒別力.

測試的信度也是衡量試卷質(zhì)量的一個不可或缺的標(biāo)準(zhǔn)，也指的是考試成績的統(tǒng)一或穩(wěn)定程度，也即考試能否較好地度量考生的語言水平，這往往使用相關(guān)系數(shù)為指標(biāo)，稱為信度系數(shù).[2]信度系數(shù)愈高即表示該測驗的結(jié)果愈一致、穩(wěn)定與可靠，一般來說，在一個測試中增加同質(zhì)的題目，可以使信度提高.檢測測試信度時，可以拿同一份試題對同樣的考生進(jìn)行兩次或多次網(wǎng)試，如果成績很統(tǒng)一，表明該試題的信度較高，也就是不同的閱卷人評分，所得成績基本一樣；同一閱卷人在不同的時期評分，分?jǐn)?shù)基本一致.需要指出的是，區(qū)分度過低的題目中真實偏差的成分較少，隨機(jī)偏差的成分相對較多，試卷的信度會降低.機(jī)考試題庫不同于一般的紙質(zhì)卷子，系統(tǒng)是按照一定的程序隨機(jī)組出來n套試題，所以對試卷信度的檢測也較一般的紙質(zhì)卷子復(fù)雜、繁瑣，但即便如此，為了保證試卷的質(zhì)量，也應(yīng)抽出時間和精力，通過測試分析的方式，檢測試卷信度.

所謂效度（content validity），是指一套試題是否檢測出了所有應(yīng)該考查的內(nèi)容，也就是說考查的內(nèi)容是否反映了考試的要求，即試題的代表性和覆蓋面的標(biāo)準(zhǔn)，是測試準(zhǔn)確性和有效性的指標(biāo).一項考試的效度如何，可以以此來說明、驗證.第一，表面效度（face validity），即試題是否檢測出了考試內(nèi)容.第二，內(nèi)容效度（content validity），指考試對考試大綱規(guī)定內(nèi)容的考查在何種程度上能表明它所要考試的目標(biāo).第三，結(jié)構(gòu)效度（construct validity），也就是考試是否以有效的語言觀（包括英語習(xí)得觀和語用觀）為參考.第四，共時效度（concurrent validity）.它指將一次考試成績同另外一次考試時間接近的考試成績相比較或教師對考生的評估相比較而得出的系數(shù).第五，預(yù)測效度（predictive validity）.它指考試的預(yù)測能力，也就是考試成績到底在多大程度上能夠預(yù)測出某些可能性，或者說對考生行為做出的預(yù)測性的程度有多高.[3]從前文舉例的“大學(xué)英語（四）”試題分析可以看出，該試卷的難度系數(shù)為0.40，偏難，某些題的區(qū)分度也不大，從題庫中抽取并組卷的該套試題效度不高.測試的效度可以通過以下幾個方面得到提高：

（1）明確測試的目的和意義，依照教學(xué)大綱和考試大綱，實現(xiàn)命題程式化.試題太少、覆蓋面太小、編排不當(dāng)、過易過難等都會影響測試效度.

（2）提高題庫試題質(zhì)量.題庫試題有待更新、完善，剔除偏題、怪題，適時補充與書本相關(guān)的試題.（3）提高測試的信度，減小隨機(jī)誤差的影響.（4）增大樣本容量，使題庫試題具有較好的代表性.

（5）測試標(biāo)準(zhǔn)化、評分標(biāo)準(zhǔn)化，減少與測試目的無關(guān)的因素，降低系統(tǒng)誤差的影響.

5 小結(jié)

在線英語測試體系是伴隨著網(wǎng)絡(luò)的普遍應(yīng)用，在九十年代末開始出現(xiàn)的一種新的教學(xué)測試體系.我校的大學(xué)英語考試改革始于2009年6月，經(jīng)過三年共6次大規(guī)模的使用，可以發(fā)現(xiàn)大學(xué)英語上機(jī)考試相對以往紙質(zhì)考試更加便利、高效.機(jī)考系統(tǒng)可以很方便地從試題庫中隨機(jī)抽題，考試結(jié)束后，系統(tǒng)可以自動準(zhǔn)確地統(tǒng)計出相關(guān)數(shù)據(jù)，教師或教研小組可以利用這些數(shù)據(jù)對一套上千名學(xué)生參加考試的試卷進(jìn)行總體及各項成績的分析，這在以往紙質(zhì)考試中是很難實現(xiàn)的.通過上機(jī)考試，我校的大學(xué)英語在某種意義上實現(xiàn)了教考分離.同時，正是通過歷年的試卷分析結(jié)果，尤其是及格率、各題型的區(qū)分度、平均分及成績分析統(tǒng)計直方圖，可以看出，大學(xué)英語試題庫在題量、題型、難易程度及梯度上應(yīng)該進(jìn)一步地完善、修正.機(jī)考系統(tǒng)的隨機(jī)抽題也應(yīng)該更加細(xì)化，同一級別的每一種題型盡可能有一個難、中、易的區(qū)分，在組題時，通過系統(tǒng)設(shè)置，使每一個學(xué)生隨機(jī)抽到的卷子難易程度趨于均衡，以達(dá)到考試更加科學(xué)、合理、公平，用更加客觀的數(shù)據(jù)說明學(xué)生對知識的把握及語言熟練運用的程度.

〔1〕J.Charles Alderson,Caroline Clapham,Dianne W all.Language Test Construction and Evaluation (楊惠中導(dǎo)讀) [M].Foreign Language Teaching and Research Press:Beijing,2000:F11.

〔2〕朱音爾，張肖瑩.基于網(wǎng)絡(luò)的大學(xué)英語機(jī)考探索與實踐[J].外語電化教學(xué)，2009（2）：63-67.

〔3〕J.B.Heaton.W riting English Language Tests (韓寶成導(dǎo)讀)[M].Foreign Language Teaching and Research Press:Beijing,2000:F26.

G642.474

A

1673-260X（2014）03-0170-03