劉書(shū)慧

(華南師范大學(xué)國(guó)際文化學(xué)院，廣東廣州510631)

一、引 言

漢語(yǔ)水平考試作為測(cè)試母語(yǔ)非漢語(yǔ)學(xué)習(xí)者漢語(yǔ)水平的大型標(biāo)準(zhǔn)化考試，自2009年推出新漢語(yǔ)水平考試后，仍延續(xù)原有HSK一般漢語(yǔ)能力考試的定位，其測(cè)量結(jié)果對(duì)考生求學(xué)、求職以及漢語(yǔ)能力評(píng)價(jià)的影響后效(consequences)均具有高風(fēng)險(xiǎn)性。［1］因此檢驗(yàn)測(cè)試的效度一直是研究人員關(guān)注的焦點(diǎn)。新HSK5級(jí)是考生數(shù)量最多的一個(gè)等級(jí)，但對(duì)其效度研究卻明顯不足，目前只有符華均等［2］研究了試卷的內(nèi)部結(jié)構(gòu)效度(聽(tīng)力理解、閱讀理解和書(shū)面表達(dá))。閱讀的第一部分完型填空部分與試卷總分的相關(guān)達(dá)到0.82，［2］是試卷極為重要的一部分。本文力圖從考生答題反應(yīng)過(guò)程探討完形填空測(cè)試的答題效度。

完型填空題型已經(jīng)被驗(yàn)證為有效測(cè)試外語(yǔ)學(xué)習(xí)者閱讀理解能力的題型之一。新HSK 5級(jí)閱讀的第一部分完形填空題，提供幾篇文字，每篇文字中有3－4個(gè)空格;空格處填入一個(gè)詞語(yǔ)或一個(gè)句子，每個(gè)空格有4個(gè)選項(xiàng)，考生要從中選出答案;共有15個(gè)題目，考試時(shí)間15分鐘。這個(gè)題型是測(cè)試考生對(duì)上下文的理解和語(yǔ)言綜合運(yùn)用的得體性和準(zhǔn)確性，包括詞語(yǔ)理解、詞語(yǔ)搭配、詞義辨析(同義詞/近義詞)、語(yǔ)法判斷和語(yǔ)段的理解。［3，4］Bachman將完型填空測(cè)試答題所需的信息分為四個(gè)層次:(1)分句內(nèi)信息(within clause);(2)分句間、整句內(nèi)信息(across clause，within sentence);(3)句子間、語(yǔ)篇內(nèi)信息(across sentence，within text);(4)超語(yǔ)篇信息(extra－textual)。［5］雖然完型填空是貫穿了原HSK初中等和改進(jìn)版的題型，但有關(guān)其效度研究卻一直空白。

根據(jù)《教育和心理測(cè)試標(biāo)準(zhǔn)》第五版［6］，效度證據(jù)主要來(lái)自五個(gè)方面:(1)試卷內(nèi)容;(2)反應(yīng)過(guò)程;(3)試卷的內(nèi)部結(jié)構(gòu);(4)測(cè)試分?jǐn)?shù)與其他外部變量之間的關(guān)系;(5)測(cè)試的后果。先前對(duì)新HSK5級(jí)的效度研究［2］提供了試卷內(nèi)部結(jié)構(gòu)的效度證據(jù)，是分?jǐn)?shù)解釋性的必要條件，但并不是充分條件。因?yàn)榧词怪懒艘豁?xiàng)測(cè)試的基本內(nèi)部結(jié)構(gòu)的效度證據(jù)，我們也不一定知道這項(xiàng)測(cè)試分?jǐn)?shù)該怎么解釋。［7］但基于反應(yīng)過(guò)程的效度證據(jù)有助于分?jǐn)?shù)的解釋?zhuān)梢詭椭嚲黹_(kāi)發(fā)人員了解考生分?jǐn)?shù)差異的原因和意義。反應(yīng)過(guò)程指的是考生答題時(shí)的心理反應(yīng)過(guò)程和評(píng)分員給主觀題打分時(shí)的心理反應(yīng)過(guò)程。對(duì)考生的答題反應(yīng)過(guò)程的分析(包括理論分析和實(shí)證分析)，可以提供關(guān)于測(cè)試的構(gòu)建與考生實(shí)際答題的詳細(xì)心理過(guò)程之間的擬合程度方面的證據(jù)。［7］命題人期望考生在完型填空測(cè)試題目上能夠根據(jù)分句內(nèi)、整句內(nèi)、語(yǔ)篇內(nèi)的信息完成任務(wù)，同時(shí)會(huì)區(qū)分近義詞，掌握詞語(yǔ)搭配和語(yǔ)法結(jié)構(gòu)，理解語(yǔ)段的含義。了解考生的答題過(guò)程和在回答過(guò)程中使用的推理可以幫助出題者明白試卷測(cè)試了考生什么能力，考生是否使用了出題者預(yù)期的某些能力。［8］收集考生反應(yīng)過(guò)程的效度數(shù)據(jù)通常通過(guò)內(nèi)省法獲得，只有對(duì)考生答題過(guò)程本身進(jìn)行分析，才能更全面、準(zhǔn)確地揭示測(cè)試任務(wù)的構(gòu)念在實(shí)際操作中實(shí)現(xiàn)的程度，從而為測(cè)試分?jǐn)?shù)意義和構(gòu)念效度提供實(shí)質(zhì)性證據(jù)。［9］本文的研究目的是以?xún)?nèi)省法調(diào)查考生完成新HSK5級(jí)的完型填空測(cè)試的答題反應(yīng)過(guò)程，來(lái)檢驗(yàn)該部分的效度。

二、研究設(shè)計(jì)

(一)研究問(wèn)題

1.考生在完成完型填空測(cè)試過(guò)程中使用了哪些答題策略?

2.考生實(shí)際使用的答題策略是否符合命題人的預(yù)期?

3.不同信息類(lèi)型的題目是否使用不同的答題策略?

(二)被試

參加本研究的調(diào)查對(duì)象是來(lái)自華南師范大學(xué)本三的外國(guó)留學(xué)生22人，其中2人參加預(yù)測(cè)，20人參加實(shí)測(cè)。這些學(xué)生經(jīng)過(guò)2年的漢語(yǔ)學(xué)習(xí)，詞匯量已達(dá)到2 500個(gè)，符合新HSK五級(jí)的測(cè)試對(duì)象。

(三)研究工具

2013年7月的新HSK五級(jí)共有4 088人參加，信度為0.863。①此數(shù)據(jù)由漢考國(guó)際提供，在此表示感謝。完型填空測(cè)試選自這套真題閱讀的第一部分，共15題，有四個(gè)段落，每個(gè)段落有3－4個(gè)空格，要求考生要從4個(gè)選項(xiàng)中選擇合適的詞語(yǔ)或句子補(bǔ)充完整。

閱讀策略列表使用Cohen和Upton［10］的列表，此列表包括兩部分:閱讀策略(28項(xiàng))和考試策略(包括28項(xiàng)考試管理策略Test－management strategies和3項(xiàng)應(yīng)試技巧策略 Test－wiseness strategies)。閱讀策略一方面指讀者閱讀時(shí)在語(yǔ)音、詞匯、句法、語(yǔ)義和語(yǔ)篇層面的加工，還指建立閱讀目標(biāo)、總結(jié)文本、解釋、監(jiān)管和評(píng)估閱讀目標(biāo)實(shí)現(xiàn)、使用不同閱讀方法提高理解，根據(jù)需要對(duì)理解進(jìn)行修復(fù)。［11］這些閱讀策略在列表中都有體現(xiàn)，如R1設(shè)定閱讀目標(biāo)，R23讀完文章后，運(yùn)用邏輯連接詞理解文章的內(nèi)容和段落組織?？荚嚥呗灾冈诳荚囍锌忌x擇使用或在某種程度上意識(shí)到的答題過(guò)程?？荚嚬芾聿呗跃褪悄切┰诜强荚嚽闆r下不會(huì)使用的答題策略，如T11選擇一個(gè)答案，并把答案放在句子里檢查是否正確。應(yīng)試技巧策略指的是考生不依靠自己的語(yǔ)言能力而回答題目時(shí)使用的答題策略，如:因?yàn)檫x項(xiàng)里有一個(gè)也許很重要的詞或短語(yǔ)在短文里出現(xiàn)過(guò)，所以認(rèn)為這個(gè)選項(xiàng)就是答案(TW3)。

這個(gè)列表是目前最新最全面的答題策略列表。這個(gè)策略列表被翻譯成漢語(yǔ)，經(jīng)修改和核對(duì)保證留學(xué)生都能理解每項(xiàng)的意思。與口頭報(bào)告相比，列表法能克服以下局限:留學(xué)生因漢語(yǔ)詞匯有限而無(wú)法表達(dá)清楚使用的策略;因一些策略的使用是無(wú)意識(shí)的，所以口頭報(bào)告法無(wú)法獲得相關(guān)信息，但列表法可以幫助考生提取;口頭報(bào)告要求考生在閱讀的同時(shí)報(bào)告所想，會(huì)打斷閱讀過(guò)程。［12］

(四)研究步驟

先找2位留學(xué)生做預(yù)測(cè)，培訓(xùn)包括解釋研究的目的和策略列表的內(nèi)容，然后發(fā)測(cè)試卷并要求考生一邊完成各題目，一邊在指定位置寫(xiě)出使用的策略編號(hào)，可多選。在預(yù)測(cè)后修改了部分策略的表達(dá)，使之更清晰明了。2個(gè)星期后，對(duì)20人進(jìn)行了實(shí)測(cè)。實(shí)測(cè)之前進(jìn)行大約30分鐘的培訓(xùn)，確保每個(gè)留學(xué)生明白每項(xiàng)策略的意思。學(xué)生答題時(shí)間總計(jì)為30－40分鐘，答題結(jié)束后，筆者收回問(wèn)卷。剔除漏答和記錄全部相同策略的問(wèn)卷4份，有效問(wèn)卷共16份。本研究使用SPSS13.0統(tǒng)計(jì)分析數(shù)據(jù)。

三、研究結(jié)果與分析

(一)考生實(shí)際使用的答題策略

根據(jù)頻數(shù)統(tǒng)計(jì)，考生回答15個(gè)題目共使用閱讀策略286次，使用考試策略258次(考試管理策略244次，應(yīng)試技巧策略14次)，前者略多于后者。這與Salehi［12］的研究結(jié)果是一致的，運(yùn)用配對(duì)T檢驗(yàn)發(fā)現(xiàn)閱讀策略和考試策略使用頻數(shù)沒(méi)有顯著差異(sig=0.582＞0.05)。就是說(shuō)，考生在完型填空答題過(guò)程中使用的考試策略和閱讀策略同樣多。而在實(shí)際目標(biāo)閱讀中是不會(huì)使用這些考試策略的，閱讀測(cè)試沒(méi)有單純考察學(xué)生的閱讀技能，因此完型填空測(cè)試的真實(shí)性程度較低。

統(tǒng)計(jì)策略使用頻數(shù)，刪除使用0次的8項(xiàng)策略(R24、R10、R11、R2、R1、TW2、T8、82)，考生共使用51種策略完成完型填空測(cè)試，使用頻數(shù)超過(guò)(包括)10次的有如下19項(xiàng)策略，其中閱讀策略11項(xiàng)，考試策略8項(xiàng)。

表1 使用頻數(shù)最多的11個(gè)閱讀策略

從表1來(lái)看，在完成完型填空測(cè)試過(guò)程中，總體上學(xué)生還是通過(guò)理解上下文(R28)和全文來(lái)完成各題目(R9、R7、R4、R5、R6、R12)，而不是只簡(jiǎn)單看選項(xiàng)選擇合適答案。從運(yùn)用的閱讀策略來(lái)看，完型填空題測(cè)試了學(xué)生對(duì)詞語(yǔ)的理解(R9、R18)，連接詞的運(yùn)用(R23)，段落結(jié)構(gòu)的思考(R17)和整篇短文主旨的理解(R4、R5、R13)，實(shí)現(xiàn)了完型填空題測(cè)試閱讀綜合技能的目的，具有較高的效度。

表2 使用頻數(shù)最多的8個(gè)考試策略

從表2使用頻數(shù)最高的這些考試策略可以看出，考生在選擇答案時(shí)總是把選項(xiàng)和上下文聯(lián)系在一起(T15、T10、T5、T24、T4)，分析、推斷、理解選項(xiàng)(T19)在上下文中是否合理、是否正確后并作出回答。作為一種測(cè)試閱讀理解的手段，完型填空的根本目的則為測(cè)試考生運(yùn)用上下文理解全篇的綜合語(yǔ)言能力。［13］所以，考生在完成題目時(shí)使用的這些考試策略也正是命題人所期望的。因此從考試策略也可以看出，新HSK五級(jí)的完型填空測(cè)試效度較高。但研究也發(fā)現(xiàn)，考生在完成題目時(shí)很多時(shí)候是借助背景知識(shí)排除不合理選項(xiàng)(T23)再做出回答，而這一策略是偏離命題人的預(yù)期的，也影響了測(cè)試的效度。

(二)預(yù)期答題策略和實(shí)際使用答題策略的擬合度

預(yù)期答題策略是命題人期望考生在完成題目時(shí)使用的答題策略，包括全部的閱讀策略和大部分考試管理策略。非預(yù)期答題策略是命題人不期望考生使用的策略。它不僅包括應(yīng)試技巧策略，還有一些根據(jù)背景知識(shí)使用的答題策略。完形填空是測(cè)試外語(yǔ)學(xué)習(xí)者的閱讀理解能力，不能考查應(yīng)試者的文化背景知識(shí)或某一領(lǐng)域的專(zhuān)門(mén)知識(shí)，因?yàn)镠SK是一般語(yǔ)言能力考試，考這些知識(shí)會(huì)造成不公平，而且考的很難說(shuō)是語(yǔ)言能力。［14］

在策略列表中如下策略屬于非預(yù)期策略:T18根據(jù)背景知識(shí)猜答案;T21運(yùn)用背景知識(shí)選擇答案;T23根據(jù)背景知識(shí)排除不合理的答案;T27根據(jù)背景知識(shí)排除一個(gè)或幾個(gè)選項(xiàng);TW1使用排除法(雖然不理解還是選擇一個(gè)答案，因?yàn)槟：馗杏X(jué)到別的答案都不對(duì));TW2做一個(gè)題目時(shí)會(huì)從別的題目里受到啟發(fā);TW3選擇一個(gè)答案因?yàn)榇鸢咐镉幸粋€(gè)也許很重要的詞或短語(yǔ)在短文里出現(xiàn)過(guò)。

通過(guò)計(jì)算考生在15個(gè)題目中使用的預(yù)期策略和非預(yù)期策略，可以得到預(yù)期策略與實(shí)際使用策略的比率:比率越高就表示考生使用的策略越接近命題人的預(yù)期，比率越低說(shuō)明考生使用的非預(yù)期策略越多，從而偏離命題人的預(yù)期策略，效度受影響。結(jié)果見(jiàn)表3。

表3 預(yù)期使用策略和實(shí)際使用策略的擬合度

從表3看到，16名考生在15個(gè)題目的回答中共使用預(yù)期答題策略503次(占總答題策略的90%)，擬合度為0.90，即考生的答題過(guò)程90%屬于命題人預(yù)期范圍內(nèi);考生使用非預(yù)期答題策略共54次，即只有10%的答題策略使用了非預(yù)期答題策略，所以總體來(lái)說(shuō)完型填空測(cè)試考查了命題人預(yù)期的閱讀理解策略，測(cè)試效度較高。其中擬合度最高的是59題0.97，總共使用了29次有效答題策略，其中R5(快速閱讀整篇文章)和T15(看選項(xiàng)，并把選項(xiàng)放在文章里讀)分別使用3次。

59.……當(dāng)你被拒絕時(shí)，你應(yīng)該面帶_______，向顧客敬禮，因?yàn)樗屇阗嵙?0元。

A贊美 B微笑 C情緒 D決心

擬合度最低的55題使用了7次非預(yù)期答題策略，使用 3次 T18，T23、T27、TW1和 TW3各 1次。55題的答案在分句內(nèi)就能找到，大多數(shù)的時(shí)候?qū)W生通過(guò)重復(fù)、解釋、翻譯等策略來(lái)回答，但使用背景知識(shí)來(lái)猜測(cè)(T18)或排除(T23、T27)不合理的答案，說(shuō)明學(xué)生對(duì)這個(gè)詞的用法很熟悉，不需要反復(fù)看原文，所以即使策略使用的擬合度最低，但55題的正確率還是很高(0.94)。

55.……用筷子進(jìn)食的國(guó)家_______上集中在亞洲，包括中國(guó)以及……

A根本 B總共 C一律 D基本

(三)不同信息類(lèi)型的題目使用的答題策略

從表3可以看到，本研究使用的完形填空測(cè)試題目的信息類(lèi)型有三種:分句內(nèi)(7個(gè))、整句內(nèi)(6個(gè))和語(yǔ)篇內(nèi)(2個(gè))。三種題目使用的答題策略頻數(shù)分別是255、231和72。運(yùn)用獨(dú)立樣本T檢驗(yàn)發(fā)現(xiàn)，考生回答三種信息類(lèi)型題目時(shí)使用的閱讀策略，考試策略和答題策略總頻數(shù)的均值上都沒(méi)有顯著差異。三種信息類(lèi)型題目的正確率均值也沒(méi)有顯著性差異。但是，深入分析考生回答三種信息類(lèi)型題目使用最多的前10種答題策略，還是可以發(fā)現(xiàn)一些差異(如表4所示)。

表4 三種信息類(lèi)型題目使用最多的10種策略

在回答分句內(nèi)信息題目時(shí)，與考試策略相比，考生使用了更多的閱讀策略(8∶2)，如理解文本結(jié)構(gòu)(R23、R25、R18)，用短文大意幫助理解(R17、R12、R13)，仔細(xì)閱讀部分或全部文章(R4、R6)?；卮鹫鋬?nèi)信息題目時(shí)，考生用了更多的考試策略(6:4)中選擇答案的策略(T10、T5、T24、T11、T19)，閱讀策略中更關(guān)注文章的內(nèi)容(R5、R6)和利用邏輯連接詞理解文章的內(nèi)容和段落組織(R23)，并通過(guò)反復(fù)閱讀(R12)來(lái)完成題目，而較少關(guān)注分句層面的關(guān)鍵詞等信息?；卮鹫Z(yǔ)篇內(nèi)信息題目使用的閱讀策略和考試策略數(shù)目相當(dāng)(5∶5)，閱讀策略更關(guān)注語(yǔ)篇意義和內(nèi)容的理解(R9、R4、R7、R17)，而較少關(guān)注文章局部的意思和結(jié)構(gòu)，考試策略中更多的關(guān)注各個(gè)選項(xiàng)在語(yǔ)篇層面的合適性(T15、T10)。根據(jù)考生在不同信息類(lèi)型題目上使用策略的運(yùn)用，可以發(fā)現(xiàn)回答分句內(nèi)題目時(shí)，學(xué)生主要使用閱讀策略完成題目，更關(guān)注文本的內(nèi)容和結(jié)構(gòu)，但在整句內(nèi)信息類(lèi)型和語(yǔ)篇內(nèi)信息題目上，考生偏向使用考試策略，并且還使用了非預(yù)期答題策略(T18、T23)。

四、結(jié) 論

根據(jù)本研究的數(shù)據(jù)結(jié)果和分析，我們可以得出以下結(jié)論。

第一，根據(jù)考生在完形填空測(cè)試的答題過(guò)程中使用的答題策略(閱讀策略和考試策略)可以看出，完型填空題測(cè)試了學(xué)生對(duì)詞語(yǔ)的理解、連接詞的運(yùn)用、段落結(jié)構(gòu)的思考和整篇短文主旨的理解，能把選項(xiàng)和上下文聯(lián)系在一起分析、推斷、理解和判斷。作為一種測(cè)試閱讀理解的手段，能夠考查考生對(duì)上下文的理解和語(yǔ)言綜合運(yùn)用的能力，具有較高的效度。

第二，考生在557次策略使用中，有503次使用了命題人的預(yù)期答題策略完成題目，占90%;非預(yù)期答題策略使用54次，占10%，研究表明完型填空測(cè)試能夠在實(shí)際操作中有效體現(xiàn)本測(cè)試的構(gòu)念，效度較高。

第三，在不同信息類(lèi)型的題目上考生分別使用相應(yīng)的答題策略。通過(guò)仔細(xì)分析部分文章的大意和結(jié)構(gòu)，考生更集中使用閱讀策略完成分句內(nèi)的題目;在回答整句內(nèi)和語(yǔ)篇內(nèi)題目時(shí)考生更偏向使用考試策略，更關(guān)注語(yǔ)篇意義和段落組織。

本研究的局限在于，正式被試只有16人，樣本較小，大部分是東南亞的留學(xué)生。所以本研究的結(jié)論還有待進(jìn)一步驗(yàn)證。

［1］柴省三.關(guān)于HSK閱讀理解測(cè)驗(yàn)構(gòu)想效度的實(shí)證研究.世界漢語(yǔ)教學(xué)，2012(2).

［2］符華均，張晉軍，李亞男，等.新漢語(yǔ)水平考試HSK(五級(jí))效度研究.考試研究，2013(3).

［3］劉英林.高等漢語(yǔ)水平考試的總體設(shè)計(jì)與理論思考.語(yǔ)言文字應(yīng)用，1994(1).

［4］劉英林.中國(guó)漢語(yǔ)水平考試十年(一).漢語(yǔ)學(xué)習(xí)，1996(4).

［5］L.F.Bachman.Performance on Cloze Tests with Fixed Ratio and Rational Deletion.TESOL，1985(3):535 －555.

［6］American Psychological Association，American Educational Research Association，and National Council on Measurement in Education.Standards for Educational and Psychological Testing.Washington，D.C.:American Educational Research Association，1999.

［7］鄒申.語(yǔ)言測(cè)試.上海:上海外語(yǔ)教育出版社，2005.

［8］J.C.Alderson，C.Clapham，D.Wall.Language Test Construction and Evaluation.Cambridge:Cambridge U-niversity Press，1995.

［9］L.Bachman.Modern Language Testing at the Turn of the Century:Assuring That What We Count Counts.Language Testing，2000(1):1–42.

［10］A.Cohen，T.Upton.Strategies in Responding to the New TOEFL Reading Tasks.Monograph Series:ETS，2006.

［11］A.Cohen，T.Upton.“I want to go back to the text”:Response Strategies on the Reading Subset of the New TOEFL.Language Testing，2007(2):209 －250.

［12］M.Salehi.Test Taking Strategies:Implications for Test Validation.Journal of Language Teaching and Research，2011(4):850－85.

［13］陳曉扣.論英語(yǔ)測(cè)試完形填空試題.解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2001(3).

［14］黃理兵，郭樹(shù)軍.HSK閱讀理解試題的語(yǔ)料和命題.世界漢語(yǔ)教學(xué)，2008(2).