汪劍

摘要：本研究采用SIBTEST軟件對河南省英語中招試卷中的客觀題部分進行城鄉(xiāng)生源方面項目偏差分析，試圖回答：（1）該試卷中75個客觀題在城鄉(xiāng)生源方面是否存在項目功能差異；（2）該試卷中5個語篇在城鄉(xiāng)生源方面是否存在項目束功能差異。研究發(fā)現(xiàn)：（1）該試卷中的第32題和第36題存在明顯的城鄉(xiāng)生源項目功能差異，對農(nóng)村考生不利；且第32題β絕對值已經(jīng)超過0.88，表明32題已經(jīng)不宜采用，而第36題在選用時需考慮，仍可以采用；（2）該試卷中第3篇閱讀理解語篇項目束的β值較各個分項有明顯放大，這表明，雖然各個分項中沒能顯示針對城鄉(xiāng)生源的項目功能差異，但從整個語篇角度觀察，該語篇對農(nóng)村考生明顯不利，存在明顯的項目束功能差異；而其他四個語篇未發(fā)現(xiàn)存在項目束功能差異。

關(guān)鍵詞：河南省中考英語試卷；城鄉(xiāng)生源；項目功能差異；公平性

一、 引言

任何一個大規(guī)模，高風(fēng)險的考試的公平與否對考試研發(fā)機構(gòu)，組織實施機構(gòu)，所有的考試?yán)嫦嚓P(guān)者，乃至整個社會都會有重要的影響。中招英語考試作為選拔性考試，事關(guān)考生的命運，事關(guān)政府部門的公信力，對整個社會都影響巨大。河南省每年中招考試參與人數(shù)都數(shù)以十萬計，如此一項大規(guī)模，高風(fēng)險測試，許多潛在的因素都可能會影響到測試的信度和效度，對考試公平性和有效性產(chǎn)生潛在影響，進而產(chǎn)生難以估量的社會效應(yīng)。

項目功能差異（Differential Item Functioning，簡稱DIF）檢驗方法是常用的用來檢驗測試公平性的統(tǒng)計方法。DIF是指，對于某個特定項目，如果在來自同一目標(biāo)特質(zhì)的兩批平行被試組中，顯現(xiàn)出不同的統(tǒng)計特性，那么該項目就存在功能差異。（董圣鴻，馬世曄，2001）“同一目標(biāo)特質(zhì)的兩批平行被試組”是指在測驗打算測查的能力（目標(biāo)特質(zhì)）上，兩組被試具有相同的水平。在DIF的實際研究中，常會人為地把被試分為兩組，分別稱為參照組和目標(biāo)組。

二、 文獻(xiàn)綜述

項目功能差異的檢測在國外已是大規(guī)模測試研發(fā)的重要環(huán)節(jié)。在針對語言水平測試方面，國外已有眾多相關(guān)研究（SauliTakala & Felianka Kaftand jieva，2000；Mikyung Kim，2001；Geranpayeh，A.& Kunnan，A.J.2007）。國內(nèi)學(xué)者對項目功能差異理論的研究中，一部分涉及方法論問題，主要包括統(tǒng)計學(xué)中的計算方法（曾秀芹、孟慶茂，1999；曹亦薇，張厚粲，1999）。另一部分主要是對具體測試進行的一些實證性研究。目前國內(nèi)學(xué)者已經(jīng)運用DIF檢驗方法對高考英語考試（雷新勇，2007），英語專四考試（李清華，孔文，2009）等考試進行了相關(guān)研究。但是尚未見到運用DIF方法對中招考試進行的相關(guān)研究。目前河南省中招考試實行全省統(tǒng)一命題考試，涉及的考生人數(shù)眾多。因此同一套試卷中難免出現(xiàn)對某一特定群體不利或有利的項目（題目）。當(dāng)前，我國城鄉(xiāng)差異明顯，經(jīng)濟上的差別反應(yīng)在城區(qū)考生和農(nóng)村考生身上不光體現(xiàn)在外表、衣著方面，由經(jīng)濟差異造成的不同生源的認(rèn)知、生活體驗這些隱形的差異映射到他們對同一個試題的作答上有巨大差異；同等能力層面的來自不同生源的考生對某一帶有項目功能差異的項目會給出截然不同的作答反應(yīng)；因此當(dāng)下社會中城鄉(xiāng)生源差異的客觀性，讓測試設(shè)計者必須在試題命制過程中將之作為一個影響測試信度的一個因素考慮。

三、 研究設(shè)計

1. 研究對象

本研究選擇河南省中招英語試卷進行檢測。

河南省英語中考試卷題型包括七個題型：聽力理解（單選題，共20題）、單項選擇題（單選題，共15題）、完形填空題（單選題，共10題）、閱讀理解題（單選題，共四個語篇，每個語篇包括5個選擇題，共20題）、詞語運用題（選詞填空題，共10題）、補全對話（一個語篇，共5題）和書面表達(dá)（寫作題，1個題目）。因為最后兩個題型屬于主觀題，不作為本研究的考察對象，本研究選用前五個題型進行考察，共75個小題（項目）。另外，對完形填空和閱讀理解題目共有5個語篇，每個語篇后都附帶有多個題目，即多個題目是基于同一個語篇來進行能力考察的，基于此，本研究對5個語篇進行項目束功能差異檢驗。

2. 研究問題

問題1，河南省中招英語試卷的前75個題目在城鄉(xiāng)生源方面是否存在項目功能差異，即該試卷中是否存在對城區(qū)考生，或農(nóng)村考生更有利的題目；

問題2，河南省中招英語試卷的完形填空和閱讀理解在城鄉(xiāng)生源方面是否存在項目束功能差異，即該試卷中完形填空和閱讀理解共5個語篇的是否存在對城區(qū)考生，或農(nóng)村考生更有利的語篇；

問題3，如果檢測到在城鄉(xiāng)生源方面存在項目功能差異的題目或項目束功能差異的語篇，造成差異的原因是什么。

3. 研究樣本

本研究施測對象為河南省內(nèi)一所城區(qū)中學(xué)的九年級500名同學(xué)和一所鄉(xiāng)鎮(zhèn)中學(xué)九年級500名同學(xué)。因嚴(yán)格統(tǒng)計困難，本研究假定該城區(qū)中學(xué)的所有受試對象均為城區(qū)生源，而鄉(xiāng)鎮(zhèn)中學(xué)所有受試對象均為農(nóng)村生源。

4. 研究工具

本研究研究工具為SIBTEST軟件。得到的分析結(jié)果中，β為正值，表示對參照組有利；β為負(fù)值，表示對目標(biāo)組有利。顯著水平定為0.05。若DBF顯著放大（amplification），則表明該語篇（任務(wù)）對兩組受試的功能存在差異；若DBF顯著收縮（cancellation），則表明該語篇（任務(wù)）對兩組受試的功能差異互相抵消，整項任務(wù)無功能差異。

5. 研究步驟

第一，施測并整理數(shù)據(jù)。本研究數(shù)據(jù)采集采用模擬中考的形式進行，以最大限度還原中考中的施測情景。本研究在兩所中學(xué)的受試對象對中考英語課程要求內(nèi)容全部講授完畢后立即用月考的形式用中考題對其進行施測，以保證受試對象尚未對此類真題有全面接觸或試做，能保證考試信度；用Excel格式對每位考生的答題情況進行統(tǒng)計，（將答案轉(zhuǎn)換“0”、“1”計分的數(shù)據(jù)）按照生源分類，并分別命名為城區(qū)生源組和農(nóng)村生源組。并假設(shè)有的題目內(nèi)容對農(nóng)村生源組不利農(nóng)村生源組被設(shè)定為目標(biāo)組，城區(qū)生源組相應(yīng)為參照組。

第二，用軟件處理數(shù)據(jù)。

（1） 對問題一進行數(shù)據(jù)處理：運用SIBTEST程序進行分析，以分測驗為匹配變量來操作。第一次將所有的項目都列為懷疑有DIF的范圍，經(jīng)過篩選的得到結(jié)果是：聽力理解部分1道題，單項選擇題部分2道題，完形填空部分1道題，閱讀理解部分3道題被懷疑有DIF；把這些題目分別剔除，對剩下的題目進行再一次操作，反復(fù)進行，直到?jīng)]有DIF項目為止，這樣得到一個最佳的匹配變量；把篩選出來的項目組成一個“懷疑分測驗組”，用上一步操作得到的最佳匹配變量，再運用程序運算，如果此時得到的項目的β值，仍然在0.05的標(biāo)準(zhǔn)之上，那么這樣的項目就是有DIF的項目。

（2） 用SIBTEST程序分別檢驗問題2中的項目束功能差異（DBF）。

第三，對得出的數(shù)據(jù)進行統(tǒng)計學(xué)意義的解讀。

四、 研究結(jié)果及分析

1. 研究問題1

表1是針對問題1的檢測結(jié)果。結(jié)果顯示，對疑似存在城鄉(xiāng)生源方面DIF的7個題目中，第6，22，47，54，57這5個題組的β絕對值都小于0.05，這表明這5個題目在城鄉(xiāng)差異方面未有明顯項目功能差異；而54題中顯示β值為負(fù)，表明該題目可能對目標(biāo)組（農(nóng)村考生組）有利，但是β絕對值為0.028，遠(yuǎn)低于0.05，表明該題目的項目功能差異不顯著；其他題目β值為正，表明該題目可能對目標(biāo)組（農(nóng)村考生組）不利。而第32題和第36題的β值超過了0.05，分別為0.089、0.072，達(dá)到了顯著水平，表明這兩道題目存在明顯的城鄉(xiāng)地域項目功能差異，對目標(biāo)組（農(nóng)村考生組）不利。根據(jù)DIF顯著性的判斷標(biāo)準(zhǔn)，如果β絕對值在0.05到0.88之間，表明此類題目在選用時需考慮，所以第36題仍可以采用，但32題已經(jīng)超過應(yīng)被棄用的標(biāo)準(zhǔn)，已不宜采用。

2. 研究問題2

表2是針對問題2的檢測結(jié)果中有異常的語篇3的檢測結(jié)果。結(jié)果顯示，第3篇閱讀理解語篇項目束的β值為0.266，而56-60五個題目中，β值全部都低于0.05的標(biāo)準(zhǔn)線，所以該項目束的β值較各個分項有明顯放大（見表格中有黑色底紋部分）；這表明，雖然各個分項中沒能顯示針對城鄉(xiāng)生源差異的項目功能差異，但從整個語篇角度觀察，這個語篇對目標(biāo)組（農(nóng)村考生組）明顯不利，存在明顯的項目束功能差異；而在其他四個語篇中，各個分項目有的對目標(biāo)組不利（β值為正），有的對參照組不利（β值為負(fù)），且β的絕對值都低于0.05的標(biāo)準(zhǔn)線，經(jīng)過抵消，項目束β值未有明顯放大現(xiàn)象，所以其他四個語篇不存在項目束功能差異。

五、 討論

1. 針對問題1的檢測結(jié)果的討論

針對問題1檢測結(jié)果顯示，第32題和第36題的β值分別為0.089和0.072，超過了0.05，達(dá)到了顯著水平，表明這3道題目存在明顯的城鄉(xiāng)生源項目功能差異，對目標(biāo)組（農(nóng)村考生組）不利。

第32題：Now its much easier to shop online when your order is ready， the things you want to buy to you soon.

A. sendB. were sent

C. are sendingD. will be sent

該題答案為D

針對第32題的檢測結(jié)果，筆者認(rèn)為造成這種結(jié)果的原因在于：本題的話題為網(wǎng)上購物，這個話題是城區(qū)學(xué)生日常生活中經(jīng)常接觸到的，而網(wǎng)上購物現(xiàn)象在農(nóng)村尚不普遍，所以農(nóng)村學(xué)生對網(wǎng)上購物這個語境尚不夠充分了解，所以可能誤選。但是由于網(wǎng)上購物將會是一種趨勢，所以這種題目雖然暫時會造成不公平，但是相信造成這種不公平的原因會很快消失，所以這種題目也將隨著社會變遷，不再成為測試不公平的制造者。

第36題為完形填空部分的第二自然段，上下文和選項如下：When I looked 36 the plane，I could see that nearly all the passengers were worried and afraid.

A. atB. around

C. upD. into

該題答案為B

針對第36題的檢測結(jié)果，筆者認(rèn)為造成這種結(jié)果的原因在于：文章講述的在飛機上的事情，而農(nóng)村學(xué)生受經(jīng)濟條件制約，很少坐過飛機，對坐飛機機艙內(nèi)的情景幾乎沒有概念，對講述的故事只能憑空想象，對幾個介詞的選擇更多是靠想象，就更容易誤選，相比較，城區(qū)的學(xué)生坐過飛機的比例較高，在做題時更能結(jié)合自身的經(jīng)驗，更可能選對正確答案。

2. 針對問題2的檢測結(jié)果的討論

針對問題2所做設(shè)計得出的檢測結(jié)果顯示，該試卷中的完形填空和閱讀理解共5個語篇中，除了第3篇閱讀理解外，其他4個語篇中，相對于每個語篇后的單個題目在城鄉(xiāng)地域方面顯示出的項目功能差異（DIF）的β值，4個語篇（項目束）的DBF都沒有明顯放大或縮小，所以這4個語篇對目標(biāo)組沒有明顯不利或有利，表明這4個語篇（項目束）在城鄉(xiāng)生源方面沒有明顯的項目束功能差異。

而針對第3篇閱讀理解檢測的數(shù)據(jù)表明，語篇（項目束）的DBF有顯著放大，β值為0.266，較該語篇中的各單個題目，差別明顯。這表明，該語篇個語篇（項目束）在城鄉(xiāng)生源差異方面有明顯的項目束功能差異，對目標(biāo)組（農(nóng)村生源組）明顯不利。

針對第3篇閱讀理解的檢測結(jié)果，結(jié)合具體語篇，筆者認(rèn)為造成這種結(jié)果的原因在于：語篇為一篇旅游景點指南，而相比較而言，城區(qū)學(xué)生肯定比農(nóng)村的學(xué)生的旅游經(jīng)歷更多，所以當(dāng)遇到此類語篇他們對語篇的理解能力也較農(nóng)村學(xué)生更強些，所以更容易選出正確選項。

這說明該年河南種中考英語試卷的所選用的這一語篇選擇未能較好地避免因城鄉(xiāng)差異因素造成的不公平。

六、 結(jié)論

本研究對河南省中考英語試卷進行城鄉(xiāng)生源方面的項目功能差異分析。研究發(fā)現(xiàn)：第一，本次試卷中的第32題和第36題存在明顯的城鄉(xiāng)地域項目功能差異對農(nóng)村考生不利。且第32題β絕對值已經(jīng)超過0.88，表明32題已經(jīng)不宜采用，而第36題在選用時需考慮，仍可以采用；第二，本次試卷中第3篇閱讀理解語篇項目束的β值較各個分項有明顯放大，表明雖然各個分項中沒能顯示針對城鄉(xiāng)差異的項目功能差異，但從整個語篇角度觀察，這個語篇存在著針對農(nóng)村考生組明顯不利，存在明顯的項目束功能差異；而其他四個語篇未發(fā)現(xiàn)存在項目束功能差異；第三，造成研究結(jié)果的原因與城鄉(xiāng)經(jīng)濟發(fā)展差距有密切聯(lián)系。

由于主客觀條件的限制，本研究存在著不足之處。如本研究是模擬中考情景下采集的數(shù)據(jù)，樣本不具備充分的代表性；此外本研究討論部分，更多憑借筆者的主觀猜斷，主觀性較強；再加上本研究局限于對二級題型進行了檢測，最后兩部分的主觀題都沒有納入的檢測范圍，因此僅憑這得出的結(jié)果，可能有失偏頗。

參考文獻(xiàn)：

[1]SauliTakala &FeliankaKaftandjieva，Test Fairness：A DIF Analysis of an L2 Vocabulary Test，Language Testing，2000（3）.

[2]Mikyung Kim，Detecting DIF across the Different Language Groups in a Speaking Test，Language Testing，2001（1）.

[3]Geranpayeh，A.& Kunnan，A.J.Differential Item Functioning in Terms of Age in the Certificate in Advanced English Examination[J].Language Assessment Quarterly.2007，（2）.

[4]曾秀琴，孟慶茂.項目功能差異及其檢測方法[J].心理學(xué)動態(tài)，1999（2）.

[5]曹亦薇，張厚粲.漢語詞匯測驗中的項目功能差異初探[J].心理學(xué)報，1999（4）.

[6]李清華，孔文.TEM-4閱讀測試的DIF研究，中國外語，2009（1）.

[7]雷新勇.上海高考英語分?jǐn)?shù)的性別差異及其原因，上海教育科研，2007（6）.