曹艷艷，王佳藝

(華東師范大學(xué) 外語(yǔ)學(xué)院，上海 200062)

?

大學(xué)英語(yǔ)四級(jí)閱讀理解“一試多卷”復(fù)本信度與內(nèi)容效度分析

曹艷艷，王佳藝

(華東師范大學(xué) 外語(yǔ)學(xué)院，上海 200062)

摘要：信度與效度向來(lái)是評(píng)價(jià)測(cè)試質(zhì)量的重要指標(biāo)，為預(yù)防考生作弊實(shí)行的“一試多卷”模式中試卷的復(fù)本信度、內(nèi)容效度值得研究?；诖?，分析2014年6月使用的四級(jí)試卷閱讀理解數(shù)據(jù)，考察“一試多卷”模式下四級(jí)考試閱讀理解信度與效度問(wèn)題，以期更好地促進(jìn)大學(xué)英語(yǔ)有效教學(xué)的開展。

關(guān)鍵詞：大學(xué)英語(yǔ)四級(jí)；閱讀理解；復(fù)本信度；內(nèi)容效度

大學(xué)英語(yǔ)四級(jí)考試是一項(xiàng)全國(guó)性的大學(xué)英語(yǔ)教學(xué)考試。為預(yù)防作弊，自2012年12月起，采取在同一考場(chǎng)使用多套試卷的做法。但“一試多卷”模式下的四級(jí)考試信度如何，多套試卷的效度是否一致值得研究?；诖?，通過(guò)分析2014年6月四級(jí)考試3套閱讀理解試卷，參照《大學(xué)英語(yǔ)四級(jí)考試大綱》(簡(jiǎn)稱為《考試大綱》)和《大學(xué)英語(yǔ)課程教學(xué)要求》(簡(jiǎn)稱為《教學(xué)要求》)，探討“一試多卷”模式下的四級(jí)考試閱讀理解信度與效度問(wèn)題。

一、四級(jí)考試的權(quán)威性

四級(jí)考試是在“國(guó)家教育部高教司”直接領(lǐng)導(dǎo)下，由教育部任命成立的“全國(guó)大學(xué)英語(yǔ)四級(jí)考試委員會(huì)”具體組織承辦的規(guī)?；瘶?biāo)準(zhǔn)考試，其權(quán)威性是毋庸置疑的。

四級(jí)考試的權(quán)威性首先體現(xiàn)在考試的性質(zhì)和目的上。該考試屬于“標(biāo)準(zhǔn)關(guān)聯(lián)的常模參照測(cè)驗(yàn)”。考試的目的在于“準(zhǔn)確衡量我國(guó)在校大學(xué)生的英語(yǔ)綜合應(yīng)用能力，為實(shí)現(xiàn)大學(xué)英語(yǔ)課程教學(xué)目標(biāo)發(fā)揮積極的作用”[1]。四級(jí)考試的權(quán)威性也體現(xiàn)在其信度和效度上。信度是效度的基礎(chǔ)，是語(yǔ)言測(cè)試的必要條件，但信度高并不表示效度也高?！靶Ф仁且豁?xiàng)考試的核心問(wèn)題。如果一項(xiàng)考試信度很高，但并沒(méi)有考到應(yīng)考的內(nèi)容，這樣的考試效度就不高”[2]。Oller(1979)認(rèn)為，沒(méi)有效度的測(cè)試不能稱其為測(cè)試[3]。“一試多卷”模式下，試卷的復(fù)本信度直接關(guān)系到四級(jí)考試的權(quán)威性，影響考試的效度。

二、復(fù)本信度

復(fù)本信度是指將一套測(cè)試工具設(shè)計(jì)成多套等價(jià)的復(fù)本，用這些復(fù)本同時(shí)對(duì)同一研究對(duì)象進(jìn)行測(cè)試，計(jì)算出其所得結(jié)果之間的相關(guān)系數(shù)，此系數(shù)即為復(fù)本信度?！耙辉嚩嗑怼奔礊檫@種復(fù)本的近似例子。測(cè)試時(shí)，必須設(shè)計(jì)多套在內(nèi)容、難度、長(zhǎng)度、題材、體裁等方面都類似的試卷，根據(jù)調(diào)查對(duì)象對(duì)多套試卷問(wèn)題所做出的回答，進(jìn)行分析比較，找出相關(guān)系數(shù)，得出多套試卷的信度。囿于大樣本考生答卷的匱乏，重點(diǎn)分析多套試卷的文本，相信同樣能反映復(fù)本信度的真實(shí)情況。

三、內(nèi)容效度與測(cè)試目標(biāo)、教學(xué)要求

內(nèi)容效度指語(yǔ)言測(cè)試內(nèi)容與測(cè)試目標(biāo)之間的適合性與相符性，即測(cè)試所選題目是否符合測(cè)試目的和要求。對(duì)照《考試大綱》《教學(xué)要求》分析試題，看它們之間的吻合度，就可以考察內(nèi)容的效度?！犊荚嚧缶V》指出，四級(jí)考試閱讀理解是為了測(cè)試考生通過(guò)閱讀獲取書面信息的能力?！督虒W(xué)要求》指出，大學(xué)英語(yǔ)教學(xué)目標(biāo)是培養(yǎng)學(xué)生的英語(yǔ)綜合應(yīng)用能力[4]。

四、閱讀理解復(fù)本信度、內(nèi)容效度數(shù)據(jù)分析

2014年6月的四級(jí)考試3套閱讀理解試卷均包括完型填空、多項(xiàng)選擇題型短文閱讀和快速閱讀三部分。

(一)Reading in Depth

1.Banked Cloze

完型填空測(cè)試的目的是為了考核考生對(duì)篇章語(yǔ)境中詞匯的理解和運(yùn)用能力?！犊荚嚧缶V》要求短文長(zhǎng)度為200—250個(gè)詞，為學(xué)生所熟悉的題材。分析3套試卷，從文章來(lái)源看，均改編自美國(guó)出版的報(bào)刊雜志文章，如TheAtlantic，TheAmerican，TheNewYorkTimes。從長(zhǎng)度上看，均在221—232詞之間，符合《考試大綱》的規(guī)定。從談?wù)摰脑掝}上看，涉及教育、氣候和石油等熱點(diǎn)問(wèn)題，都是學(xué)生很熟悉的題材，符合《考試大綱》的要求。從題型上看，均為從15個(gè)備選詞匯中選出10個(gè)最佳詞匯。參照《教學(xué)要求》附錄、大學(xué)英語(yǔ)參考詞匯表來(lái)判斷詞匯的難易程度，卷一考察了15個(gè)一般詞匯，卷二和卷三考察了14個(gè)一般詞匯，1個(gè)《教學(xué)要求》外的詞匯，難度相當(dāng)。從整體上評(píng)價(jià)，3套完形填空的信度都較高。

Messick(1988,1996)提出了整體效度概念，認(rèn)為效度只有一個(gè)，但證明效度的證據(jù)可以來(lái)自多個(gè)方面，測(cè)試的效度實(shí)際上指的就是構(gòu)念效度[5~6]。構(gòu)念效度由相互關(guān)聯(lián)的構(gòu)念組成內(nèi)容和測(cè)試后果等組成。從內(nèi)容效度上分析，所考察詞匯的難易程度、考察形式均一致。Bachman& Palmer(1996)提出了語(yǔ)言測(cè)試有用性框架，認(rèn)為測(cè)試的有用性=信度+構(gòu)念效度+真實(shí)性+交互性+影響力+可行性[7]。從測(cè)試的有用性上看，3套完形填空的信度和內(nèi)容效度都一致。但該題型不能考察考生在真實(shí)交際環(huán)境下運(yùn)用詞匯表達(dá)的能力，在交互性上表現(xiàn)較弱。

2.Passage Reading

《考試大綱》規(guī)定該類閱讀包括閱讀短文兩篇，每篇長(zhǎng)度為300—350個(gè)詞，考生根據(jù)對(duì)文章的理解，從每題的四個(gè)選項(xiàng)中選出最佳答案。3套試卷在長(zhǎng)度上一致，均在346—351個(gè)詞之間。從談?wù)撛掝}上看，涉及兩性職場(chǎng)薪水差異、領(lǐng)導(dǎo)才能、文科重要性、美國(guó)能源進(jìn)口、醫(yī)院應(yīng)用電子設(shè)備和千禧一代等問(wèn)題，都是學(xué)生較熟悉的題材，符合《考試大綱》的要求。從文章來(lái)源看，均改編自英美國(guó)家出版的報(bào)刊雜志文章，如WashingtonPost，BusinessInsider，Time，TheAmerican，TheNewYorkTimes，和TheAmericanSpectator。從考題類型上看，卷一包含觀點(diǎn)判斷、主旨意圖題7個(gè)，細(xì)節(jié)題1個(gè)，因果推理題2個(gè)；卷二共包含觀點(diǎn)判斷、主旨意圖題7個(gè)，細(xì)節(jié)題3個(gè)，因果推理題0個(gè)；卷三共包含觀點(diǎn)判斷、主旨意圖題4個(gè)，細(xì)節(jié)題3個(gè)，因果推理題3個(gè)。3套試題在難度稍高的觀點(diǎn)判斷題和因果推理題的比重上，卷一、卷二相似，與卷三差別較大，考試信度有差異，因此也影響了考試效度。

從內(nèi)容效度上分析，該題型不能直接考察考生實(shí)際應(yīng)用語(yǔ)言表達(dá)的能力，與《教學(xué)大綱》規(guī)定的教學(xué)目標(biāo)有差距，與快速閱讀考察重點(diǎn)重復(fù)，減弱了四級(jí)考試的整體效度。

(二)Skimming & Scanning

《考試大綱》規(guī)定快速閱讀采用1篇較長(zhǎng)的文章，約1000個(gè)詞，要求考生運(yùn)用略讀和查讀的技能從篇章中獲取信息。3套快速閱讀均為科普類說(shuō)明文，體裁相同。談?wù)摰脑掝}分別是“沉溺于刷觸摸屏的一代”、“紙質(zhì)圖書走向末路？”和“我哭，故我在”，均與科學(xué)、技術(shù)發(fā)展有關(guān)，題材接近。從長(zhǎng)度上看，均在1 000—1 018個(gè)詞之間，篇幅相當(dāng)。從整體上判斷，3套快速閱讀難度相當(dāng)，信度接近。

從內(nèi)容效度分析，3套快速閱讀均為從文中快速找出10個(gè)信息的段落來(lái)源，主要考察考生運(yùn)用略讀和查讀技能查詢信息的能力，這與《考試大綱》的規(guī)定一致，但與《教學(xué)要求》的教學(xué)目標(biāo)有差距，影響了考試效度。由于考試對(duì)教學(xué)的反撥效應(yīng)，四級(jí)考試中測(cè)試題型內(nèi)容單一、與教學(xué)目標(biāo)存在差距的現(xiàn)實(shí)，會(huì)削弱大學(xué)英語(yǔ)有效教學(xué)的實(shí)現(xiàn)。

五、結(jié)論

通過(guò)對(duì)比分析四級(jí)考試3套閱讀理解試卷，發(fā)現(xiàn)完形填空信度接近，多項(xiàng)選擇題型短文閱讀信度差異較明顯，快速閱讀信度相當(dāng)。在內(nèi)容效度上，完型填空、多項(xiàng)選擇題型短文閱讀對(duì)英語(yǔ)運(yùn)用考察較單一。過(guò)多地采用選擇題形式影響了對(duì)考生英語(yǔ)綜合應(yīng)用能力的考察，效度受到影響?？偟貋?lái)說(shuō)，比照《考試大綱》，四級(jí)閱讀理解信度較好，對(duì)照《教學(xué)要求》，四級(jí)閱讀理解效度還應(yīng)提高。若能對(duì)閱讀題目類型做進(jìn)一步改進(jìn)，采用讓考生用書面表達(dá)的形式進(jìn)行閱讀測(cè)試，將能更加客觀、準(zhǔn)確地測(cè)量大學(xué)生的英語(yǔ)綜合應(yīng)用能力，提高四級(jí)考試的效度，使其更好地促進(jìn)大學(xué)英語(yǔ)有效教學(xué)的開展。

參考文獻(xiàn)：

[1]全國(guó)大學(xué)英語(yǔ)四、六級(jí)考試委員會(huì).大學(xué)英語(yǔ)四級(jí)考試大綱(修訂版)[M].上海：上海外教教育出版社，2006.

[2]楊慧中.關(guān)于語(yǔ)言測(cè)試學(xué)科發(fā)展的若干思考[C]//莊智象.中國(guó)外語(yǔ)教育發(fā)展戰(zhàn)略論壇.上海：上海外語(yǔ)教育出版社，2009：535.

[3]Oller J. Language Tests at School[M].London: Longman，1979.

[4]教育部高等教育司.大學(xué)英語(yǔ)課程教學(xué)要求[M].北京：高等教育出版社，2007.

[5]Messick S. The once and future issues of validity: Assessing the meaning and consequences of measurement[C]//In H. Wainer & H. Brau (eds.). Test Validity. Hillsdale, N.J.: Laurence Erlbaum，1988：33—45.

[6]Messick S. Validity and washback in language testing[J].Language Testing ，1996，(13):241—256.

[7]Bachman L. & A. Palmer. Language Testing in Practice[M].Oxford: OUP，1996.

(責(zé)任編輯：劉東旭)

中圖分類號(hào)：H319.6

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-7836(2015)02-0160-02

作者簡(jiǎn)介：曹艷艷(1976—)，女，山東臨沂人，講師，從事大學(xué)英語(yǔ)教學(xué)研究；王佳藝(1970—)，女，浙江椒江人，講師，從事大學(xué)英語(yǔ)教學(xué)研究。

基金項(xiàng)目：華東師范大學(xué)大學(xué)英語(yǔ)教學(xué)研究中心項(xiàng)目“深化改革背景下促進(jìn)大學(xué)英語(yǔ)有效教學(xué)的實(shí)踐研究”部分成果

收稿日期：2014-10-15

doi:10.3969/j.issn.1001-7836.2015.02.062