張允 高存

摘 ? 要

高考英語寫作測試雖深受業(yè)界關(guān)注，但仍有必要進一步規(guī)范測試開發(fā)程序。Bachman和Palmer提出的測試使用論證為考試任務(wù)的設(shè)計和傳統(tǒng)意義上的效度檢驗提供了行動依據(jù)，以該框架指導(dǎo)高考英語寫作考試任務(wù)的開發(fā)，可以科學(xué)規(guī)劃任務(wù)設(shè)計程序，清楚認識任務(wù)開發(fā)過程中所需要完成的各項工作，同時也有利于收集測試合理化論證所需要的證據(jù)。

關(guān)鍵詞

高考英語測試 ?寫作考試任務(wù) ?測試使用論證 ?測試開發(fā)

任何測試的使用都會對受眾造成影響，所以，必須對測試使用進行合理化論證，以確保根據(jù)分數(shù)所做出的決策是公平的、產(chǎn)生的后果是有益的。[1]因此，一項好的寫作測試遠不止是簡單地想出一個話題讓學(xué)生去寫，爾后根據(jù)我們的判斷來對寫作樣本進行排序[2]。周群指出，我國高考現(xiàn)有考試設(shè)計缺少教育和心理測量理論指導(dǎo)，設(shè)計過程流于行政化程序，考試設(shè)計開發(fā)結(jié)果缺少質(zhì)量保障[3]。高考英語在一定程度上也存在類似問題，其寫作測試雖深受業(yè)界關(guān)注，但仍有必要進一步規(guī)范測試開發(fā)程序。鑒于此，本文將結(jié)合Bachman和Palmer提出的測試使用論證（Assessment Use Argument，簡稱AUA）探討如何科學(xué)規(guī)劃高考英語寫作考試任務(wù)開發(fā)程序，以期為高考英語測試的整體效度論證提供合理化依據(jù)。

一、寫作能力的界定

寫作研究分為三大類，以文本為中心的研究視寫作為文本產(chǎn)品，主要考慮在創(chuàng)造文本時可以利用的語言或修辭資源;以作者為中心的研究主要探討在面臨寫作任務(wù)時優(yōu)秀作者的行為，以尋求構(gòu)建能夠更好地幫助學(xué)習(xí)者習(xí)得這些技能的方式;以讀者為中心的研究則將寫作情境特征上升到文本最終能夠達到的目的，認為作者選擇話語的目的是與他人交往，其呈現(xiàn)個人觀點的方式主要是為了方便讀者理解[4]。這些研究從不同角度對寫作的性質(zhì)進行了闡釋，其中涉及語言知識、交際目的、策略能力、修辭能力、情境以及體裁等多個因素，在設(shè)計測試任務(wù)時需要將這些因素結(jié)合起來才能更好地把握寫作行為的全貌?？傊?，寫作本質(zhì)上是一個交際行為，僅僅掌握書面英語規(guī)范不足以確保交際的順利進行[5]。寫作是寫作環(huán)境（如寫作目的、目標(biāo)讀者等）與作者為完成寫作任務(wù)、滿足讀者需求所采取的行動之間的一種磋商，其表述的清晰性和觀點展示的有效性取決于作者聚焦、組織信息的能力以及正確使用語言規(guī)范的能力。

二、寫作考試任務(wù)開發(fā)的理論依據(jù)

Hughes認為，在測量產(chǎn)出性語言技能時，直接測量更容易操作。[6]然而，“直接測量”這一表述本身并不確切，如同所有的心理測量、語言測試，不管是采用多項選擇的形式，還是要求考生進行短文撰寫，提供的信息都只是關(guān)于某一內(nèi)在特質(zhì)的間接指標(biāo)[7]，因此可以說語言測試從未對語言行為背后的真實能力進行過直接測量[8]。事實上，行為并不等同于能力，如果考生表現(xiàn)較差，其原因不一定是語言能力欠缺，也可能是情緒低落、對任務(wù)話題不夠熟悉或者沒有準(zhǔn)確理解考試任務(wù)[9]。所以，僅僅因為某種試題不是多項選擇題、就機械地選用它的做法是不明智的。

1.AUA框架

AUA框架為測試開發(fā)提供了新視角，更為傳統(tǒng)意義上的效度驗證提供了可付諸實踐的理論模式[10]，可作為高考英語寫作考試任務(wù)開發(fā)的行動依據(jù)。根據(jù)該框架，測試合理化論證過程包括兩個相互關(guān)聯(lián)的活動：清楚表述AUA聲明（claim），以支撐“后果”和“考生表現(xiàn)”間的聯(lián)系;收集支持AUA聲明的相關(guān)證據(jù)（見圖1）[1]。

圖1：AUA框架[1]

AUA借鑒了Toulmin提出的實用推理模型，采用“數(shù)據(jù)→聲明”的推理機制。[11]在整個推理鏈中，上一推理做出的聲明成為下一推理需要的數(shù)據(jù)。比如，最基層推理依靠的數(shù)據(jù)是“考生表現(xiàn)”，而推理得出的聲明包括“測試記錄”和相關(guān)質(zhì)量屬性，在下一個推理過程中，測試記錄則成為推理依靠的數(shù)據(jù)，以此類推。Toulmin的實用推理模型還包括另外兩個元素，即理由（warrant）和反駁（rebuttal）。反駁指挑戰(zhàn)或拒絕聲明中所含質(zhì)量屬性的陳述，反駁能否成立需要通過相關(guān)證據(jù)來證實。理由指闡釋聲明中一個或多個質(zhì)量屬性的陳述，同樣需要通過相關(guān)證據(jù)來證實。

測試開發(fā)包括兩個平行的過程，即測試合理化論證過程和測試生產(chǎn)過程。[1]測試合理化論證是為了使測試的預(yù)計使用合理化。測試生產(chǎn)過程包括策劃、設(shè)計、操作和試測，目的在于生產(chǎn)測試產(chǎn)品。將兩者相結(jié)合才能確保能夠使用測試來達到期望的目的?？傊?，測試開發(fā)者的首要責(zé)任是使決策者信服測試記錄具有一致性，基于測試的解釋有意義，不存在偏見，具有概括性、相關(guān)性和充分性，同時開發(fā)者還必須了解需要做出的決策，以及測試使用期望帶來的后果[1]。

2.考試任務(wù)的開發(fā)

操作階段的重心是開發(fā)考試任務(wù)，包括兩個階段，即確定任務(wù)開發(fā)的具體情境和撰寫相應(yīng)的考試任務(wù)說明[1]。任務(wù)開發(fā)的具體情境主要有三種：（1）目標(biāo)語言使用任務(wù)特征需要經(jīng)過調(diào)整后方可用作考試任務(wù)說明;（2）目標(biāo)語言使用任務(wù)可直接用作考試任務(wù);（3）不存在目標(biāo)語言使用范圍，需要依據(jù)構(gòu)念定義和考生特征來設(shè)計考試任務(wù)。

為確保對所測能力的解釋具有概括性，需要界定和描述目標(biāo)語言使用范圍，并從中選取任務(wù)以作為考試任務(wù)開發(fā)的基礎(chǔ)。Millman和Greece提出可以從兩個維度對教育測量進行分類：所要做的推理類型（例如個人成績、個人水平或群體成績）和推理所適用的范圍（例如所要做的推理是關(guān)于內(nèi)容知識的掌握程度、認知或思維能力的獲取、抑或是將來某個場景中的表現(xiàn)行為）。[12]在語言測試中，推理所適用的范圍即為目標(biāo)語言使用范圍，包括一系列的任務(wù)或刺激、觀測條件以及對反饋做出評價的原則[13]。該范圍可大致分為兩類：教學(xué)范圍和真實生活范圍。[1]前者的界定主要取決于推理類型，一項測試如果是用來檢驗考生對所學(xué)課程的掌握情況（即個人成績或群體成績），界定其目標(biāo)范圍就需要依據(jù)教學(xué)大綱、課程專家的判斷和具體授課情況;如果是用來檢驗考生是否達到了規(guī)定的入學(xué)要求（即個人水平），則需要依據(jù)需求分析（例如調(diào)研勝任大學(xué)低年級學(xué)習(xí)的基本要求）。真實生活范圍的界定則主要依據(jù)需求分析，例如衡量考生是否具備某一領(lǐng)域?qū)ν庹Z能力的基本要求時，需要重點考慮該領(lǐng)域?qū)ν庹Z能力的具體要求。

考試任務(wù)說明主要包括以下幾個部分：考試構(gòu)念的界定、考試任務(wù)的環(huán)境特征（如考試任務(wù)的時間分配）、任務(wù)輸入和輸出特征以及輸入和輸出的關(guān)系、記錄考生行為的方式和任務(wù)作答指示。[1]撰寫考試任務(wù)說明有助于在測試開發(fā)過程中采取防范措施以盡量減少不相關(guān)的因素，這樣可以使推理更可靠、決定更公正。[14]一般來說，一項考試的風(fēng)險性越大，其考試任務(wù)說明應(yīng)該越詳細。

三、高考英語寫作考試任務(wù)的設(shè)計

1.關(guān)于考試任務(wù)的開發(fā)

目標(biāo)語言使用任務(wù)模板通常需要經(jīng)過調(diào)整才能用作考試任務(wù)說明[1]，這一點同樣適用于高考英語寫作考試任務(wù)的開發(fā)。高考英語測試的目標(biāo)范圍是高校英語教學(xué)，包括大學(xué)英語教學(xué)和專業(yè)英語教學(xué)。因此，在開發(fā)寫作考試任務(wù)前需要對高校英語教學(xué)中典型的寫作任務(wù)進行調(diào)研，以確定其主要特征。

任務(wù)特征主要包括三部分內(nèi)容，即情境、文本材料和測試量規(guī)。[15]NAEP寫作框架將寫作任務(wù)開發(fā)指南分成三個部分，即話題、交際目的和目標(biāo)讀者。從這三個方面對目標(biāo)任務(wù)進行調(diào)研實際上就是在探究任務(wù)的情境特征。Jamieson等人將語言使用任務(wù)的話題分為學(xué)術(shù)話題、課堂相關(guān)話題和課外話題[15]，其中高考英語寫作測試所涉及的話題主要是后兩種。話題也就是寫作的題材，其選擇是否恰當(dāng)會直接影響考生的行為表現(xiàn)。寫作任務(wù)的話題必須貼近考生的生活實際，因此選題既要參考對目標(biāo)語言使用范圍的調(diào)查，又要考慮考生對所選話題的熟悉程度。調(diào)研交際目的是為了確定寫作的體裁。體裁可按照形式和功能來劃分，從形式上可分為書信、實驗報告、和議論文等，而從功能上既可以按照交際功能分為描寫、邀請和致歉等類別，也可以按照話語模式（discourse mode）分為敘述、描寫、說明和議論[2]。寫作體裁在很大程度上取決于概化域，即考生在考試外將不得不完成的寫作任務(wù)類型[2]。根據(jù)NAEP寫作框架，在K-12、高等教育以及職業(yè)場所中，最常見的寫作目的是說理（to persuade）、解釋（to explain）和傳達（to convey experience）。董曼霞等研究發(fā)現(xiàn)，高考英語寫作測試考查最多的體裁是應(yīng)用文和說明文，未曾涉及議論文。[16]因此，有必要在充分調(diào)研的基礎(chǔ)上增加對說理性體裁（即議論文）的考查。此外，展示讀者意識是最重要的寫作技能之一[17]，寫作，作為一項社會行為，通常是為了和他人交流思想，寫作的成功與否取決于作者能否滿足讀者的閱讀需求。因此，在設(shè)計寫作考試任務(wù)時要充分考慮目標(biāo)語言使用情境中典型的目標(biāo)讀者，并在寫作提示中予以明確。

對于獨立性寫作（independent writing），如現(xiàn)有高考英語測試中的書面表達題，文本材料指作答提示，而對于綜合性寫作（integrated writing），如讀寫結(jié)合題，文本材料則指所提供的閱讀或聽力文本。無論采用哪種形式，其目的均是為了測量考生的寫作能力，因此需要控制文本材料的難度，以免聽力或閱讀能力影響到寫作能力的發(fā)揮。現(xiàn)有的高考英語書面表達題用漢語提供作答提示，可以很好地避免因為看不懂提示而無法答題的情況。然而，對于一些省份采用的讀寫結(jié)合題，所提供的閱讀材料的難度和長度是否適當(dāng)目前尚缺乏實證研究的支撐，這涉及到考試效度的檢驗。

測試量規(guī)主要包括三個參數(shù)：問題、作答形式和評分標(biāo)準(zhǔn)[15]，其中與寫作測試相關(guān)的是作答形式和評分標(biāo)準(zhǔn)。高考英語寫作測試中常見的作答形式有建構(gòu)性作答（constructed response，即書面表達題）和有限性產(chǎn)出作答（limited production response，即改錯題和讀寫結(jié)合題）。相比之下，書面表達題效度較高，測量也較準(zhǔn)確，但是需要制定合理的評分標(biāo)準(zhǔn)和嚴格的評分程序才能確保評分的可靠性。此外，為了確保對所測能力解釋的概括性，對考生作答的評價方式應(yīng)該與目標(biāo)語言使用范圍中對類似任務(wù)作答的評價方式保持一致。[1]因此，評分標(biāo)準(zhǔn)的制定在一定程度上依賴于對目標(biāo)范圍的調(diào)查。此外，不管采用整體評分法還是分析性評分法，評分標(biāo)準(zhǔn)制定的出發(fā)點均是考試構(gòu)念。由于現(xiàn)有考試缺乏對考試構(gòu)念的明確界定，其評分標(biāo)準(zhǔn)主要關(guān)注對語言知識的考查，雖提及語言運用能力，但由于沒有明確觀測語言運用能力的具體維度，因而不具備可操作性。修訂現(xiàn)有評分標(biāo)準(zhǔn)，首先需要將考試構(gòu)念細化為具體的考核指標(biāo)，使其具有可操作性，然后參照NAEP寫作測試的做法，圍繞觀點發(fā)展、觀點組織和語言運用等三個方面制定具體的評價維度，以便突出對語言運用能力而不是語言知識的考查。

從以上分析可以看出，對目標(biāo)語言使用任務(wù)特征的調(diào)研主要包括情境特征和評價方式兩部分內(nèi)容。確定了目標(biāo)語言使用任務(wù)的特征，接下來的工作是撰寫考試任務(wù)說明。考試任務(wù)說明的第一項是考試構(gòu)念的界定。界定考試構(gòu)念也就是對所要測量的語言能力進行描述，其依據(jù)可以是課程大綱、需求分析、語言能力理論或者幾項內(nèi)容的綜合[1]。根據(jù)Bachman的交際語言能力模型[1][7]，語言能力包括語言知識和策略能力。寫作測試不僅涉及考生的語言知識（如語法、詞匯和修辭知識），還涉及其策略能力（如設(shè)定寫作目標(biāo)、評價任務(wù)需求和可用內(nèi)在資源以及規(guī)劃文章的組織結(jié)構(gòu)）[1]。因此，在確定高考英語寫作測試的構(gòu)念時，需要調(diào)研完成目標(biāo)語言使用任務(wù)需要哪些方面的語言知識和策略能力，具體可參照Rosenfeld等人的做法從內(nèi)容、組織、進展和語言等四個方面以任務(wù)說明的形式對高校英語寫作學(xué)習(xí)中的典型任務(wù)進行調(diào)查，并在此基礎(chǔ)上將考試構(gòu)念細化為具體的聲明，以使其具有可操作性[18]。除了考試構(gòu)念，在撰寫任務(wù)說明時還需要明確考試任務(wù)的環(huán)境特征、任務(wù)輸入和輸出特征以及輸入和輸出的關(guān)系、記錄考生行為的方式和任務(wù)作答指示等內(nèi)容。

2.關(guān)于測試的合理化論證

根據(jù)周群的觀點，改變現(xiàn)有寫作測試僅僅參照中學(xué)課程標(biāo)準(zhǔn)命題的做法，把高校需求作為命題依據(jù)，可以提高考試的構(gòu)念效度，進而有利于高校選拔合格新生。此外，將考試構(gòu)念細化為可以操作的具體指標(biāo)，并改變現(xiàn)有評分標(biāo)準(zhǔn)主要關(guān)注語言知識的做法，不僅可以更加有效地測量考生的書面語言運用能力，而且可以更好地指引中學(xué)英語教學(xué)，改變重知識輕能力的現(xiàn)狀。

前文提到，不同的研究與教學(xué)途徑對寫作性質(zhì)的認識不同，因而也會影響考試構(gòu)念的界定。調(diào)研高校需求，可以充分了解高校任課教師對寫作能力的理解和認識。

此外，根據(jù)對目標(biāo)語言使用任務(wù)特征的調(diào)查，選擇貼近學(xué)生生活的話題，避免對部分考生不利的話題，可以確保測試的公平性。參照目標(biāo)語言使用任務(wù)特征來設(shè)計考試任務(wù)，并使考試評價方式與目標(biāo)范圍中對類似任務(wù)作答的評價方式保持一致，可以確保對所測能力的解釋具有概括性。同時，依據(jù)需求分析來設(shè)計考試任務(wù)并對考生行為進行充分取樣（如根據(jù)交際目的不同設(shè)計兩個書面表達任務(wù)），可以提高對所測能力解釋的相關(guān)性和充分性。

另外，通過制定嚴格的評分程序（包括評分員培訓(xùn)），可以確保評分的可靠性和測試記錄的一致性。

總之，對測試內(nèi)容、形式和取樣方式做出的所有決定都是效度證據(jù)的重要組成部分[19]，因此，開發(fā)高考英語寫作考試任務(wù)的過程也是收集支撐AUA聲明的相關(guān)證據(jù)的過程。高考英語寫作測試雖然只是高考英語科目考試的一部分，但是其開發(fā)過程可以為整個考試的合理化論證提供證據(jù)支持。

四、結(jié)語

作為一項高利害考試，高考英語測試的任務(wù)設(shè)計如果不合理，必然會造成巨大的負面效應(yīng)。AUA框架將測試生產(chǎn)過程和合理化論證過程結(jié)合在一起，目的是為了實現(xiàn)測試的使用能夠帶來有益后果。將該框架作為寫作考試任務(wù)開發(fā)的理論依據(jù)，可以科學(xué)規(guī)劃任務(wù)設(shè)計程序，清楚認識任務(wù)開發(fā)過程中所需要完成的各項工作，同時也有利于收集測試合理化論證所需要的證據(jù)。事實上，AUA框架同樣適用于聽力、閱讀和口語考試任務(wù)的開發(fā)。用該框架指導(dǎo)高考英語測試改革，可以使命題程序規(guī)范化、科學(xué)化與合理化。

參考文獻

[1] Bachman，L.& A.Palmer.Language Assessment in Practice[M].Oxford：Oxford University Press，2010.

[2] Weigle，S.C.Assessing Writing[M].Cambridge：Cambridge University Press，2002.

[3] 周群.基于效度的中美大學(xué)入學(xué)考試開發(fā)比較研究[J].中國高教研究，2010（11）.

[4] Hyland，K.Teaching and Researching Writing[M].Harlow：Pearson，2009.

[5] Cumming，A.，et al.TOEFL 2000 Writing Framework：A Working Paper.Princeton，NJ：Educational Testing Service，2000.

[6] Hughes，A.Testing for Language Teachers[M].Cambridge：Cambridge University Press，1989.

[7] Bachman，L.Fundamental Considerations in Language Testing[M].Oxford：Oxford University Press，1990.

[8] Brown，J.D.Testing in Language Programs：A Comprehensive Guide to English Language Assessment[M].New York： MacGraw-Hill，2005.

[9] Carr，N.T.Designing and Analyzing Language Tests[M].Oxford： Oxford University Press，2011.

[10] 韓寶成，羅凱洲.語言測試效度及其驗證模式的嬗變[J].外語教學(xué)與研究，2013（3）.

[11] Toulmin，S.The Uses of Argument[M].Cambridge：Cambridge University Press，2003.

[12] Schmeiser，C.B.& C.J.Welch.Test development[A]. In Brennan，R.L.（ed.）.Educational Measurement[C].Washington，DC：American Council on Education，2006.

[13] Kane，M.Content-related validity evidence in test development[A].In Downing，S.M.& T.M.Haladyna（eds）：Handbook of Test Development[C].Mahwah，NJ：Lawrence Erlbaum，2006.

[14] Fulcher，G.Assessment in English for academic purposes：putting content validity in its place [J].Applied Linguistics，1999（2）.

[15] Jamieson，J.M.，S.Jones，I.Kirsch，P.Mosenthal & C.Taylor.TOEFL 2000 Framework：A Working Paper.Princeton，NJ：Educational Testing Service，2000.

[16] 董曼霞，高曉瑩，楊志強.高考英語全國卷書面表達題歷時分析與研究（1989～2011）[J].教育測量與評價，2011.（10）.

[17] Harris，M.What does the instructor want？In Sullivan，P.& H.Tinburg（eds.）.What is College-level Writing？[C].Urbana，IL：NCTE，2006.

[18] Rosenfeld，M.，S.Leung & P.K.Oltman.The Reading，Writing，Speaking，and Listening Tasks Important for Academic Success at the Undergraduate and Graduate Levels.Princeton，NJ：Educational Testing Service，2001.

[19] Downing，S.M.Twelve steps for effective test development[A].In Downing，S.M.&T.M.Haladyna（eds）.Handbook of Test Development[C].Mahwah，NJ：Lawrence Erlbaum，2006.

[作者：張允（1977-），男，山東金鄉(xiāng)人，天津商業(yè)大學(xué)外國語學(xué)院副教授，北京外國語大學(xué)中國外語教育研究中心在讀博士;高存（1979-），女，山東鄆城人，天津商業(yè)大學(xué)外國語學(xué)院副教授，天津師范大學(xué)文學(xué)院在讀博士。]

【責(zé)任編輯 ?陳國慶】