曾燕虹

（韓山師范學(xué)院 廣東潮州 521000）

例析完形填空的命題及其效度

曾燕虹

（韓山師范學(xué)院 廣東潮州 521000）

多項選擇式完形填空因其信度高、測試范圍廣被廣泛應(yīng)用于各種高風(fēng)險考試中。設(shè)計完形填空題時，先選擇合適的篇章段落，合理刪詞，最后設(shè)定干擾項。檢驗該題目的效度，是先讓學(xué)生先進行預(yù)測，預(yù)測結(jié)果用測試軟件進行數(shù)據(jù)分析，從而判斷該試題的難易度、區(qū)分度以及干擾項的干擾性。數(shù)據(jù)顯示，該卷子的難度和分辨率不夠理想，有些干擾項干擾性太強，有個別卻缺乏干擾性。

完形填空；命題；效度

眾所周知，完形填空是所有大型考試的必考題型。完形填空不僅可以用來測試學(xué)生的閱讀理解能力，還可以檢驗學(xué)生對知識的不同層次的理解和掌握，甚至是考試技巧。但是怎樣設(shè)計完形填空題？怎樣才能知道所設(shè)計的題目是否準確地反映學(xué)生的學(xué)習(xí)情況？這些問題平時都很少人注意到。

這里描述一道完形填空題的設(shè)計過程以及預(yù)考結(jié)果，然后運用考試軟件對數(shù)據(jù)進行分析，從而判斷試題的效度。

一、完形填空題的效度

1.完形填空。完形填空英語成為cloze, 是利用人們對語言的羨余現(xiàn)象，即人們對不完整的語言在思想里想把它補全起來的心里來設(shè)計的題型。開始這種題只是為了檢測語言材料的可讀性以及受試者的閱讀理解能力，后來才發(fā)展到用于測試語言的綜合能力。

完形填空的形式有多種，包括原題型和變體題型。原題型指“在一段話中刪掉一些詞語，變成空格，讓受試者在空格上填上這些被刪掉的詞語”。按填空方式可以分為開放式完形填空和選擇式完形填空。開放式完形填空是主觀題，選擇性完形填空為客觀題，客觀題更具信度。變體題型平時用的不多，題型有用所給詞語的正確形式填空、刪字母完形填空、冗詞完形填空和缺詞完形填空等。本文討論的完形填空是指“原題型的、以不定距、有選擇方式刪詞的MC完形填空”。

2.完形填空題的考點效度。完形填空的考點分為四個層次，分別為單詞層次(W)、詞組層次(P)、句子層次(S)和語篇層次(D)。W層次指答題時無需看單詞之外的上下文就可以決定答案的，這是最低層次考點的題目。P層次的考點一般是考一些固定搭配，只要看前或后的詞語便知道答案。S層次的答案則在本句之內(nèi)就可以決定。D層次的考點，不僅需要理解本句的意思，還要在語篇層次上考慮才能決定，比如有些位于篇章前部分的空缺要在后面才能找到答案。

由此可見，D層次屬于最高層次的考點，W屬于最低層次的考點。考點的層次越高，越能夠檢測出受試的語言綜合運用能力。同時，單詞層次的題目考點聚焦于語法因素，詞匯和詞組的焦點則可能是意義因素、慣用搭配因素或者是語法因素。因此，考點層次越高，題目的效度就越高。由此可見，完形填空命題時，要盡量采用高層次的考點，這樣可以更有效地測試語言的綜合技能，從而準確地反映受試的語言能力。

二、完形填空的命題

完形填空的命題一共分四步：選擇文段、設(shè)計空格、設(shè)置干擾項和試做與定稿。

1.文段的選擇。命題的第一步是選擇合適的文章。Alderson等認為，合適包括題材、體裁、難易度、長度四方面，文章要有一定的信息量和足夠的題眼。本題的受試是普通高中二年級的學(xué)生。該試題可以看成是高考的“預(yù)測”，當(dāng)然，難度要適當(dāng)?shù)陀诟呖荚囶}的難度。命題者在閱讀了幾十篇的文段之后，挑出了3篇，第一篇是關(guān)于智斗竊賊的，第二篇是關(guān)于吸煙的，第三篇是講述在一個老人院的工作經(jīng)歷。考慮到第三篇的理解需要相關(guān)的背景知識，第二篇可能太容易，最后決定采用第一篇，因為除了語言知識之外，內(nèi)容情節(jié)對學(xué)生有一定的吸引力，容易引起學(xué)生的好奇心，不會給他們增加太大的壓力。

2.空格的設(shè)計。設(shè)計空格就是要在文段中根據(jù)測試者的需要刪除某些詞語，所刪除的部分就是考點。要保證測試的效度，就要整體考慮考點的分布，即單詞、詞組、句子和語篇的分布涵蓋。由于后者都包括了前者，所以要盡量設(shè)計高層次的考點，也就是說，語篇的考點越多越好。

已經(jīng)選定的文段一共201個詞，要刪掉20個詞，序號依次從1到20。根據(jù)完形填空的刪詞基本原則，文段的首句作為為受試提供文段的背景知識或中心大意，一般不刪詞。也不按照“每逢第n個詞刪掉”的辦法，以保證考點的合理分布和對高層次考點的測試。最后刪掉了20個詞，層次分布為W層次0個，P層次2個，S層次7個，D層次11個。

3.干擾項的設(shè)置。該完形填空題采用的是MC完形填空。在這里，文段中已經(jīng)提供了MC的題干，命題者需要設(shè)計的是MC的選擇項。MC題型有多種，用得最多的是多項選擇的形式，目前的大型考試都是采用“四選一”的形式?！八摹敝柑峁┧膫€可能作為選擇項。其中正確答案(最佳答案)是答案項，其他的稱為干擾項。因此，除了刪掉的單詞作為考點的答案項外，還要設(shè)置另外的三個選項。

設(shè)置干擾項一般需要三個步驟：第一，每小題設(shè)置三個與答案項一致的選項，每個干擾項的干擾性要一致，盡量避免其中的一個干擾項太強或根本沒有干擾項。第二，安排好干擾項的順序以及答案項在各題中的分布。第三，要反復(fù)檢查以保證答案項的唯一性，避免某一干擾項可以成為答案項的現(xiàn)象。

在設(shè)置干擾項時要注意干擾項必須與答案項是同一類的詞語、同一層次、相同長度、相同詞性。

4.試做與定稿。定稿之前，試做是控制命題質(zhì)量的簡單手段之一。做法是找兩三位沒有參加命題的教師或其他人員在不知道答案的情況下，把試題做一遍，以便發(fā)現(xiàn)存在的任何問題。命題者請了三位同事仔細作答，結(jié)果發(fā)現(xiàn)，一位同事做錯了兩個小題(第10題和第13題)，原因是這兩題的干擾項都干擾項太強了?？紤]到這兩個考點的詞匯都是高中二年級的重點詞語，因此沒有修改。

最后，所有的答案被附在另一頁紙上。

三、完形填空的數(shù)據(jù)分析

對于命題者來說，不僅有必要對每個題目進行數(shù)據(jù)性的分析，同時也要對學(xué)生的學(xué)習(xí)情況進行分析評價，找出學(xué)生的強項和弱點，為教師的提供糾錯的具體信息，從而幫助教師的未來教學(xué)設(shè)計，從長遠來說，為學(xué)生的考試做好準備。這就是考試的反撥作用。

該試題的受試是廣東省深圳市一所普通高級中學(xué)的二年級學(xué)生，一共116人。根據(jù)測試學(xué)常識，一般定量分析的樣本越大越好。116人的樣本是可以接受的，該試驗的偏差性比較小。這次測試可以說是一種試測，主要想了解試題的效度。測試的結(jié)果輸入計算機，然后采用分析軟件GITEST來進行數(shù)據(jù)分析，主要分析試題的難易度、區(qū)分度和干擾項的干擾性。

1.總體評價

該題總題目為20小題，總分值為20分。

圖1.總體評價

圖1顯示，該題的平均分為14.79，通過率為0.74，說明試題的難度偏易。數(shù)值(pd)為1～ 25，中間值是13，數(shù)值越小表示試題越容易，反之亦然。該題的難度系數(shù)為10.42，低于適中的13，同樣證明該試題偏易。雙列相關(guān)系數(shù)(rbis)證明該試題總體來說區(qū)分度還是可以接受的。區(qū)分度是指試題能否把高低水平的受試區(qū)分開來，它的值從-1到0到+1。如果一道題的區(qū)分度是1，這意味著高檔次的受試都答對了本題，而屬于低檔次的受試都答錯了本題。如果數(shù)值是-1，情況剛好相反，低檔次的受試都答對了，高檔次的受試卻答錯了。實際上，一道試題的區(qū)分度達到0.3就算符合要求，超過0.4就說明這道試題的區(qū)分能力很不錯。如果數(shù)據(jù)是負數(shù)，這道試題就不能用了。該試題的區(qū)分度為0.36，說明其總體區(qū)分度還是不錯的。

另外，李筱菊指出，理想的答對率是分別有5%的非常難和非常易的題目，另外15%分別是容易和較難的，剩下60%是難易適中的⑥。表中的下部分顯示，該試題中沒有非常難(VD)的題，第1、2、3、4、5、6和10都屬于容易(E)或非常容易(VE)的，說明該試題的難易度分布不平衡。中間的數(shù)據(jù)(Difficulty)則反映了一共有10小題的區(qū)分度小于0.30，說明這些小題達不到要求，不能正確地反映受試的真實情況。

2. 具體數(shù)據(jù)分析

1)不具區(qū)分度的項目。在10個達不到要求的、區(qū)分度小于0.3的小題中，第3和第5小題屬于極端的例子。所有116位受試全部都選對答案，造成了這兩題的區(qū)分度為0。盡管在設(shè)置選項時把第3小題的考點層次定位為最高的“語篇”層次，但是該題的答案在下文的原句中很容易就找到，而且三個干擾項都屬于低層次的，其干擾性很弱(見圖2)。

圖 2

2)干擾性太強的干擾項。與第3和第5小題相反，第12和第13小題分別都有一個干擾項的干擾性太強了。在第12小題上，116為受試中就有64位選擇選項B作為答案項，而正確的答案是D。

雖然選對答案D的44位受試的平均分比較高(MD：13.76)，但是把選項B選做答案的64位受試的平均分也不低(MB：12.48)。最嚴重的是兩位成績最好的受試居然把選項A當(dāng)做答案，造成了區(qū)分度為負數(shù)。這說明該選項有太強的迷惑性。因此，該小題的干擾項需要修改。圖3是第12小題的詳細數(shù)據(jù)。

圖 3

3)不備干擾性的干擾項。在所有的20個選項中，第2, 6, 8, 16, 17, 18 和 19共7小題分別都有一個干擾項沒有干擾性，也就是說，在116位受試中，沒有一位受試選擇這些選項作為答案。雖然在設(shè)計干擾項時已經(jīng)考慮到難度水平、詞語的層次、長度和詞形等，但結(jié)果顯示，這些干擾項尚不能符合要求。

四、結(jié)論

盡管在編寫試題時命題者盡量考慮到方方面面，然而，數(shù)據(jù)分析的結(jié)果卻顯示，該試題達不到“科學(xué)、有效”的要求。可見要設(shè)計一份科學(xué)性強的試題是非常困難的。因此，命題人員在命題，特別是為大型的、高風(fēng)險的考試命題時要百般細心。平時教師們在挑選試題或制作完形填空試題時必須十分關(guān)注其恰當(dāng)性，多方面考慮影響試題科學(xué)性的因素，盡量保證考試的效度。

[1]Heaton J.В..英語測試 [M].北京:外語教學(xué)與研究出版社,2000.

[2]Tay1or, W. L.語言教學(xué)的基本概念[M].Охford, UK.: ОUP,1983.

[3]Hughes, А.語言教師測試[M].北京:外語教學(xué)與研究出版社,2000.

[4][6]李筱菊.語言測試科學(xué)與藝術(shù)[M].長沙:湖南教育出版社,2001.

[5]А1derson,等.語言測試的設(shè)計與評估[M]. 北京:外語教學(xué)與研究出版社,2000.

Proposition and its validity of cloze test

Zeng Yan-hong

(Hanshan Normal University, Chaozhou Guangdong,521000, China)

Multiple choice cloze because of its high reliability, wide measuring range is widely used in various high risk examination. When design of cloze test, first select the paragraphs of appropriate, reasonable delete word, finally set interference. Test the validity, is to allow students to predict, forecast results are analyzed by the software, so as to determine degree of differentiation and the interference of the interference of the item difficulty. Data shows, the papers and the difficulty of resolution is not ideal, some noise interference is too strong, the individual is the lack of interference.

cloze; proposition; validity

H310.4

A

1000-9795（2014）01-0403-02

［責(zé)任編輯：劉麗杰］

2013-11-21