吳 琦 劉立香

一、引言

考研英語作為一項人才選拔性考試，是考取碩士研究生的必考科目之一。在我國，碩士研究生可分為學(xué)術(shù)型碩士（簡稱學(xué)碩）和專業(yè)型碩士（簡稱專碩），相應(yīng)的，考研英語也分為考研英語（一）和考研英語（二）?？佳杏⒄Z（一）是學(xué)碩考試用卷，考研英語（二）為專碩考試用卷。 從試卷內(nèi)容上來看，英語（一）和英語（二）試題結(jié)構(gòu)相似，第一大題均為由20 道單項選擇題組成的完型填空。 本文從篇幅以及考試參加人數(shù)方面考慮，僅對考研英語（一）中的完型填空進(jìn)行探究。完形填空作為一種考查受試者語言綜合運(yùn)用能力的重要題型，自20 世紀(jì)50 年代出現(xiàn)以來就備受各種大型英語考試的青睞， 中考、高考、大學(xué)英語四六級、專業(yè)英語四八級、考研英語、全國大學(xué)生英語競賽等都使用此題型，它也被專家稱為障礙性閱讀。 從命題角度來說，完形填空是依據(jù)格式塔心理學(xué)（Gestalt Psychology），即補(bǔ)全心理設(shè)計的，主要利用了語言冗余（redundancy）現(xiàn)象[1]，其主要的類型可以分為選擇型和填空型，而選擇型完形填空作為一種客觀題型，在閱卷時可有效避免閱卷人的主觀誤差且評分效率較高，所以成為目前語言測試命題中最受歡迎的題型之一。從測試角度而言，完形填空作為一種使用較廣泛的題型，必須具備良好的內(nèi)容效度， 達(dá)到其預(yù)期的目的，從這一點上來看，完形填空試題的效度在考研英語這種大型的選拔性考試中尤為重要。

二、文獻(xiàn)綜述

通過文獻(xiàn)整理發(fā)現(xiàn)， 自2005 年以來國內(nèi)對于內(nèi)容效度的研究呈現(xiàn)快速發(fā)展?fàn)顟B(tài)， 每年均有20篇左右論文發(fā)表。 但從研究材料上來看，多集中在中考英語、高考英語、大學(xué)英語四六級、英語專業(yè)四八級上；從研究內(nèi)容上看，多集中于各大考試的閱讀理解題以及聽力題。如黃娟從語篇輸入和預(yù)期回答兩方面對2014 年至2018 年高考英語全國卷中的閱讀理解試題進(jìn)行了內(nèi)容效度探究，指出近五年來高考英語全國卷閱讀理解試題具有較高的內(nèi)容效度，體裁多樣、題材廣泛，同時也存在部分文章難度偏大、文章排序不夠合理等不足[2]。郝偉麗、馮筠等參照Bachman&Palmer 的考試任務(wù)特征模式，對2013 年12 月大學(xué)英語四級考試中的閱讀理解試題進(jìn)行了內(nèi)容效度探究， 并指出CET-4 閱讀理解的設(shè)計基本符合《考試大綱》的要求，但還需進(jìn)一步改進(jìn)，如均衡各項考查技能以及適當(dāng)控制閱讀難度等[3]。肖超則對2015 年杭州市和寧波市中考英語試卷聽力測試的內(nèi)容效度進(jìn)行了分析，研究結(jié)果表明兩市中考英語聽力測試內(nèi)容緊貼學(xué)生實際生活，全面考查了聽力技能，但也存在話題和技能重復(fù)考查、題型呈現(xiàn)方式單一等問題[4]。不過，從研究方法上來看，多數(shù)論文研究方法較為單一，僅用到文本分析法，而鄒申、楊任明（2008）經(jīng)過研究明確表明語料庫對于研究試題的內(nèi)容效度具有優(yōu)勢，可以幫助加深對試題效度的認(rèn)識[5]。

三、相關(guān)概念界定

（一）內(nèi)容效度

Alderson、Clapham 和Wall 指 出 效 度 可 以 分 為三個類別，分別是內(nèi)部效度、外部效度以及結(jié)構(gòu)效度，并指出內(nèi)容效度是內(nèi)部效度中最重要的一個效度[6]。Bachman（1990）對此也有相同看法，他指出內(nèi)容效度是測試效度的重要組成部分，包括內(nèi)容關(guān)聯(lián)度（content relevance）和內(nèi)容覆蓋面（content coverage）[7]。一份試題的內(nèi)容效度越高，越能準(zhǔn)確地測量出試題想要測量的語言能力；相反，內(nèi)容效度越低，則越偏離測試目的，帶來越多負(fù)面影響。

（二）考點效度

對于如何衡量完形填空試題的內(nèi)容效度，李筱菊（1997）在其著作中提出了“考點效度”這一概念，指出考點效度是指在選詞填空時，詞的取舍需要受什么層次語境的制約；并且認(rèn)為考點效度與考點層次和焦點因素這兩個方面密切相關(guān)[8]。 考點層次從高到低可以分為：語篇層次（D）、句子層次（S）、詞組層次（P）以及單詞層次（W）。 從考點層次方面來講，高層次蘊(yùn)含著低層次，如對語篇層次的考查既包含著對句子層次的考查，也包含著對單詞層次的考查；而反過來，低層次卻不能包含高層次。 因此，從一定程度上來講，考點層次越高，考點效度就越高，相應(yīng)的，內(nèi)容效度也就越高。焦點因素也就是測試所要考查的焦點內(nèi)容，包括語法因素（G）、固定搭配因素（C）以及意義因素（M）。一般來講，高層次的考點側(cè)重于考查意義，而低層次的考點往往只涉及單純的語法。

四、研究設(shè)計

（一）研究材料

選取2010 年至2019 年考研英語（一）完形填空試題作為研究材料，共10 篇語料。 由于2010 年考研英語開始改革，分設(shè)英語（一）和英語（二）試題，因此選取2010 年作為本研究的起點。

（二）研究問題

從試題材料的選擇和題項的設(shè)計這兩方面出發(fā)，主要的研究問題包括：

①完形填空試題中文本材料的相關(guān)性和代表性如何？

②完形填空試題中考點設(shè)計的典型性如何？

（三）研究方法

2010-2019 年的考研英語（一）完形填空試題共10 篇文章，200 道題目。本文由兩名研究者按照相同的標(biāo)準(zhǔn)（內(nèi)容效度分析項目）對其進(jìn)行分析，其間參考兩本市面上較權(quán)威的考研英語真題解析， 待各自完成后再一起核對， 兩者的一致性達(dá)89%，其中不一致的地方共同協(xié)商討論，直至意見統(tǒng)一。

基于前人的研究成果[9，10]，本研究構(gòu)建了考研英語完型填空試題的內(nèi)容效度分析框架，對2010-2019 年考研英語（一）中的完形填空試題進(jìn)行內(nèi)容效度評估（參見表1）。

表1 2010-2019 年考研英語（一）完形填空試題內(nèi)容效度分析項目

（四）研究步驟

首先將2010-2019 十年來考研英語（一）試題中的完形填空試題通過傳圖識字軟件輸入電腦建立微形語料庫；再結(jié)合《全國碩士研究生入學(xué)統(tǒng)一考試英語（一）考試大綱》（以下簡稱《考試大綱》）[11]，對十篇文本進(jìn)行體裁和題材的統(tǒng)計（見表2）；接著運(yùn)用語料庫檢索軟件worldsmith 對文本進(jìn)行類符、形符、TTR 等方面的統(tǒng)計（見表4）；然后根據(jù)“Flesch 易讀度” 公式計算出文本的易讀度 （見表4），之后將所有的考點按照考查項目進(jìn)行分類（見表5）；最后結(jié)合COCA、BNC 語料庫對部分考點的干擾項進(jìn)行典型性分析（見表6、7、8）。

五、研究結(jié)果及討論

（一）文章體裁和題材分析

《考試大綱》要求參加研究生入學(xué)考試的考生能夠讀懂不同體裁和題材的文章，其中體裁包括說明文、議論文、記敘文等，題材包括社會、人文、科學(xué)等。將2010-2019 十年來完形填空試題的體裁和題材統(tǒng)計如表2：

表2 2010-2019 年完形填空試題的體裁和題材統(tǒng)計

由表2 可以看出，2010-2019 年這十年來，考研英語（一）完形填空試題體裁較為穩(wěn)定，以說明文和議論文為主，暫未出現(xiàn)記敘文體裁。 題材涉及面廣，但多以社會類為主，這類社會類話題與生活息息相關(guān)， 如2011 年探討笑的作用、2017 年談?wù)摀肀淼姆e極影響等。由以上分析可以看出考研英語（一）完形填空試題的命制沒有超出《考試大綱》所規(guī)定的范圍，相對來說較為穩(wěn)定，但其覆蓋面不夠大，多為社會類題材，所以在接下來的試題命制中命題人員可考慮多增加一些人文類題材，特別是關(guān)于中國優(yōu)秀傳統(tǒng)文化的傳播與發(fā)展，這與當(dāng)今潮流——用英文講好中國故事相契合。

（二）文本詞匯密度及易讀度分析

文本詞匯是在選擇完形填空試題材料時要考慮的另一個重要維度。一般來說，在選擇完形填空試題文本時除了要考慮體裁和題材外，更應(yīng)該注意文本的語言特征，要選擇難度適中、語言信息豐富、邏輯性強(qiáng)的文本作為完形填空材料。從這一方面來講，文本詞匯的TTR 值具有重要的參考意義，TTR（type-token ratio）是文章的類符-形符比，這一參數(shù)可以用來衡量文本的詞匯密度[12]。 一般來說，文章TTR 值越大，詞匯變化性越高，詞匯密度越大，在一定程度上文章理解難度也就越大。 另外，難易度也是在選擇完形填空文本時需要考慮的另一個重要維度，楊惠中曾指出考試所選用的材料難易度應(yīng)適中，太難或太易都測量不出考生的實際水平[13]。 難易度可通過易讀度數(shù)值體現(xiàn)，易讀度指文本易于閱讀和理解的程度或性質(zhì)[14]。本文采用現(xiàn)如今被廣泛認(rèn)可的Flesch Reading Ease（RE）作為易讀度的檢測公式，其中RE=206.84－0.85wl－1.02sl，wl 指每一百個單詞中的音節(jié)數(shù)，sl 指每個句子的平均詞數(shù)[15]。目前，office word 軟件自帶Flesch Reading Ease公式， 利用該公式算出的數(shù)值取值區(qū)間為0-100，分?jǐn)?shù)越低，則說明文章越難。其數(shù)值對應(yīng)的易讀度參考量表如表3 所示：

表3 易讀度參考量表

表4 是利用語料庫統(tǒng)計軟件worldsmith 對2010-2019 年考研英語（一）完形填空試題所采用文本的類符、形符、類符-形符比（TTR）以及利用Flesch 公式計算所得出的易讀度數(shù)值統(tǒng)計。

表4 2010-2019 年完形填空試題文本詞匯密度及易讀度統(tǒng)計

由于完形填空是一種障礙性閱讀，出題者會在一篇語意連貫的文本中有目的地去掉某些單詞或詞組形成空格，所以在解題時必須具有充分的可理解性文本信息，而恰當(dāng)?shù)念惙?形符比以及易讀度能夠一定程度上反映出文本的可理解程度，因此在決定一篇材料是否可作為完形填空文本時可用來參考。由表4 的統(tǒng)計數(shù)據(jù)可以看出，近十年來研究生入學(xué)考試英語（一）試題中完形填空文本的詞匯密度在57.55%（2012 年）到69.12%（2011 年）間浮動，易讀度在41.3（2011 年）到65.9（2019 年）間上下，據(jù)此可以初步判定這十年來2011 年完形填空試題難度相對較大，其余九年較為穩(wěn)定?？偟膩碚f，這十年來考研英語（一）完形填空試題可理解性適中，難度總體偏難，但由于碩士入學(xué)考試是一種高層次的選拔性考試，所以這種難度范圍是合適的。另一個值得注意的地方是，自2017 年以來，完形填空閱讀材料難度呈現(xiàn)減小趨勢，在2019 年試題難度趨向標(biāo)準(zhǔn)。

（三）考點效度分析

利用李筱菊考點效度分析方法對完形填空考點進(jìn)行考點效度統(tǒng)計，表5 為2010-2019 考研英語（一） 完形填空200 道選擇題的考點層次和焦點因素統(tǒng)計表。

表5 2010-2019 年完形填空試題考點效度統(tǒng)計

由以上統(tǒng)計數(shù)據(jù)可以看出，近十年來完形填空考點層次多以中高層次為主， 低層次考點涉及較少。在每年的20 道題目中，達(dá)到語篇層次的題目最少為3 道題，最多有7 道題。 考點達(dá)到句子層次最多的是2012 年，有17 題，占總數(shù)85%，最少的也達(dá)到12 題，占60%。從各考點的焦點因素來看，對意義的考查占據(jù)了絕大部分，多數(shù)達(dá)80%以上。通過以上分析可以發(fā)現(xiàn)，考研英語（一）完形填空試題考點效度較高，在語言層面以高層次的考點考查了學(xué)生的綜合運(yùn)用能力，但要指出的是，在接下來的試題命制中，還需要提高對語篇層面的考查力度，提高語境層次，只有這樣，才能全方位地提高試題的內(nèi)容效度。

（四）部分考點搭配的頻率分析

由表5 可以看出，2010-2019 十年來考研英語（一）完形填空試題中考查搭配的考點每年至少有兩個，所以筆者采用隨機(jī)抽樣的方法選擇其中幾個搭配考點（2016 年第6 題、2017 年第12 題、2018 年第8 題），運(yùn)用COCA、BNC 語料庫進(jìn)行搭配頻率分析，如表6、表7、表8 所示：

表6 2016 年第6 題各選項在COCA、BNC 中出現(xiàn)的頻率

表7 2017 年第12 題各選項在COCA、BNC 中出現(xiàn)的頻率

由以上三表可知，正確選項與干擾項的搭配在英語國家語料庫、美國當(dāng)代英語語料庫中出現(xiàn)的頻率不太平衡，有些干擾選項的搭配在兩個語料庫中甚至一次都未出現(xiàn)，如2016 第6 題的D 選項以及2017 年第12 題的A 選項；另外，這三題考點其他選項的搭配在語料庫中出現(xiàn)的頻率也較低，因此可以認(rèn)為這三道題的干擾度可能不太高，因而會對題目的內(nèi)容效度產(chǎn)生一定的影響。通過對COCA、BNC兩個大型語料庫的檢索發(fā)現(xiàn)，與marry 搭配出現(xiàn)的最高頻率介詞依次為in、for、into、at、outside、within…， 與severe 搭配出現(xiàn)的最高頻率名詞依次為weather、disabilities、pain、cases、depression、problems…， 與exposure 搭配出現(xiàn)的最高頻率介詞依次為to、of、in、for、on…， 所以這三題的其他三個干擾項完全可以從語料庫檢索的最高頻詞中進(jìn)行選擇，如2016 年第6 題的四個選項可以設(shè)計為marry in、marry for、marry into、marry within，2018 年第8 題的四個選項可以設(shè)計為exposure for、exposure in、exposure of、exposure to。

表8 2018 年第8 題各選項在COCA、BNC 中出現(xiàn)的頻率

五、結(jié)語

本文基于兩個研究問題主要從試題材料、文本詞匯密度、易讀度、考點效度以及部分考點搭配頻率五方面對考研英語（一）中完形填空試題的內(nèi)容效度進(jìn)行了分析探究。 研究結(jié)果表明：①文本材料的體裁和題材選擇基本符合《考試大綱》的要求；②考點的設(shè)計與《考試大綱》的要求基本相符。但也存在一些不足之處，如體裁和題材覆蓋面較窄，試題難度總體偏大，部分考點典型性不高，考點層次有待進(jìn)一步提高等。

基于以上分析，本文嘗試為考研英語（一）完形填空試題命制提供以下建議：

第一，適當(dāng)豐富試題題材。 考試大綱要求參加考研的考生能夠讀懂包括社會、人文、科學(xué)等各類題材的文章，然而在2010-2019 年考研英語（一）中出現(xiàn)的完形填空題材大多為社會類，對文化、科學(xué)、經(jīng)濟(jì)等題材有所忽視， 這不利于拓展學(xué)生的知識面，不利于全面考查學(xué)生的綜合語言運(yùn)用能力，所以在未來的試題命制中，可適當(dāng)增加一些經(jīng)濟(jì)、管理、人文類，特別是有關(guān)中華優(yōu)秀傳統(tǒng)文化的題材，從多個領(lǐng)域拓展學(xué)生的知識面，促進(jìn)學(xué)生綜合語言運(yùn)用能力的發(fā)展。

第二，適當(dāng)提高考點設(shè)計的層次。 考點層次影響考點效度，考點設(shè)計的層次越高，考點效度也就越高，相應(yīng)的，內(nèi)容效度也就越高。 然而，通過對2010-2019 年完形填空試題的分析發(fā)現(xiàn)，相當(dāng)一部分題目只能達(dá)到句子層面，語篇層面的考查相對來說還比較少，這也許是因為句子或詞組層面的題目相對比較容易命制，而要突破句子達(dá)到語篇層面則比較費(fèi)事費(fèi)力，但即便如此，考慮到考點效度和試題質(zhì)量，命題者在試題命制過程中，仍需向這方面努力。

第三，適當(dāng)運(yùn)用語料庫輔助試題命制。近年來，語料庫在語言測試中的應(yīng)用受到越來越多學(xué)者的關(guān)注，其作用也愈發(fā)凸顯，建議命題人員在命制試題時可適當(dāng)運(yùn)用語料庫資源對考點設(shè)計的典型性進(jìn)行檢驗，以提高測試的科學(xué)性和有效性。

本研究也存在一些局限性，如僅對2010-2019十年間考研英語（一）試題中完形填空試題的內(nèi)容效度進(jìn)行了初步探索， 接下來的研究將擴(kuò)大研究對象和樣本，對考研英語（一）試題做更加深入的分析。