王淑雯

(西南石油大學(xué) 外國(guó)語(yǔ)學(xué)院，四川成都 610500)

寫(xiě)作自動(dòng)評(píng)估系統(tǒng)對(duì)中國(guó)大學(xué)生英語(yǔ)寫(xiě)作水平影響的歷時(shí)研究

王淑雯

(西南石油大學(xué) 外國(guó)語(yǔ)學(xué)院，四川成都 610500)

很多研究表明寫(xiě)作自動(dòng)評(píng)估系統(tǒng)對(duì)英語(yǔ)寫(xiě)作水平有積極影響，但缺少探討這種影響是否具有持續(xù)性的歷時(shí)研究。本研究采用定量研究的方法，使用寫(xiě)作自動(dòng)評(píng)估系統(tǒng)“Writing Roadmap”為寫(xiě)作工具，通過(guò)前測(cè)、中測(cè)、后測(cè)和延測(cè)，歷時(shí)考察該工具對(duì)非英語(yǔ)專(zhuān)業(yè)大學(xué)生英語(yǔ)寫(xiě)作水平的積極影響是否具有持續(xù)性。研究發(fā)現(xiàn)：實(shí)驗(yàn)班的語(yǔ)言形式和寫(xiě)作質(zhì)量增幅均顯著高于對(duì)照班，寫(xiě)作質(zhì)量在延測(cè)中具有持續(xù)優(yōu)勢(shì)；實(shí)驗(yàn)班在語(yǔ)篇結(jié)構(gòu)方面的增幅高于對(duì)照班，但無(wú)統(tǒng)計(jì)意義上的差異；兩個(gè)班的寫(xiě)作水平在后測(cè)和延測(cè)的增幅都趨緩。研究表明，該系統(tǒng)對(duì)實(shí)驗(yàn)班英語(yǔ)寫(xiě)作水平的提高具有持續(xù)性影響。這一研究發(fā)現(xiàn)為寫(xiě)作自動(dòng)評(píng)估系統(tǒng)與大學(xué)英語(yǔ)寫(xiě)作教學(xué)進(jìn)一步融合提供了依據(jù)。

寫(xiě)作自動(dòng)評(píng)估系統(tǒng)；英語(yǔ)寫(xiě)作水平；語(yǔ)言形式；語(yǔ)篇結(jié)構(gòu)；寫(xiě)作質(zhì)量

1.0 引言

近年來(lái)，就英語(yǔ)寫(xiě)作教學(xué)的諸多研究發(fā)現(xiàn)，寫(xiě)作并不是一個(gè)個(gè)孤立分離的任務(wù)，而是一系列循環(huán)而又相互嵌入的復(fù)雜認(rèn)知過(guò)程(Flower & Hayes,1981)，也是“寫(xiě)作—反思—修改—再寫(xiě)作—再反思—再修改……”的循環(huán)過(guò)程，且“過(guò)程的好壞決定結(jié)果的好壞”(Martinez & Martinez,1991:73)。寫(xiě)作自動(dòng)評(píng)估系統(tǒng)因其能為使用者提供即時(shí)反饋以及反復(fù)修改的循環(huán)寫(xiě)作機(jī)會(huì)，并監(jiān)控評(píng)估寫(xiě)作過(guò)程，而在國(guó)內(nèi)外教學(xué)中逐漸受到重視。

2.0 國(guó)內(nèi)外寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)研究現(xiàn)狀

20世紀(jì)60年代，寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在美國(guó)問(wèn)世，并迅速被應(yīng)用于英語(yǔ)寫(xiě)作教學(xué)。近年來(lái)，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展以及人工智能技術(shù)突飛猛進(jìn)，該系統(tǒng)不斷得以研發(fā)和完善。目前比較成熟且被廣泛運(yùn)用于教育領(lǐng)域的寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)，如MY Access！、Project Essay Grade、Intelligent Essay Assessor、Electronic Essay Rater和Writing Roadmap等，不僅能為學(xué)習(xí)者的寫(xiě)作提供個(gè)性化、實(shí)時(shí)性的形成性評(píng)價(jià)、診斷性評(píng)價(jià)以及終結(jié)性評(píng)價(jià)，而且能就語(yǔ)言形式、語(yǔ)篇結(jié)構(gòu)和寫(xiě)作質(zhì)量等方面提供多維度的反饋評(píng)價(jià)。

國(guó)外相關(guān)研究表明，寫(xiě)作自動(dòng)評(píng)估系統(tǒng)對(duì)學(xué)生寫(xiě)作質(zhì)量產(chǎn)生了積極影響，尤其是就語(yǔ)言形式層面提供的即時(shí)有效、準(zhǔn)確的反饋有助于減少機(jī)械錯(cuò)誤，提高學(xué)生的寫(xiě)作水平(Rich et al.,2008；Shermis et al.,2004;Hoon,2006)。Milton (2006)的研究還發(fā)現(xiàn)，寫(xiě)作自動(dòng)評(píng)估系統(tǒng)能提高寫(xiě)作學(xué)習(xí)者的學(xué)習(xí)自主性。Scharber et al.(2008)的研究發(fā)現(xiàn)，相較于高年級(jí)學(xué)生，寫(xiě)作自動(dòng)評(píng)估系統(tǒng)更能有效提高低年級(jí)學(xué)生的寫(xiě)作水平。Schroeder et al.(2008)的調(diào)查顯示大多數(shù)使用者對(duì)寫(xiě)作自動(dòng)評(píng)估系統(tǒng)持積極態(tài)度。White et al.(2010)對(duì)西弗吉尼亞州中小學(xué)的調(diào)查表明，使用Writing Roadmap的學(xué)生寫(xiě)作成績(jī)高于沒(méi)有使用該系統(tǒng)的學(xué)生。這些研究主要以英語(yǔ)為母語(yǔ)的中小學(xué)學(xué)生為研究對(duì)象，采用定量研究的方法，關(guān)注系統(tǒng)對(duì)寫(xiě)作結(jié)果的影響，且大多由系統(tǒng)開(kāi)發(fā)商資助完成，研究結(jié)論的客觀(guān)性大打折扣，而且對(duì)系統(tǒng)在課堂教學(xué)應(yīng)用方面的研究較少。除部分研究外(如Shermis et al.,2004;Rich et al.,2008)，其余研究在設(shè)計(jì)上或缺少隨機(jī)抽樣，或缺少實(shí)驗(yàn)前成績(jī)，或缺少對(duì)照組等，其可信性受到質(zhì)疑(唐錦蘭、吳一安，2011)。值得注意的是，目前國(guó)外對(duì)于自動(dòng)評(píng)估系統(tǒng)在教學(xué)中的應(yīng)用研究更加趨于理性，如Wilson (2014)的實(shí)證研究指出，雖然寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在寫(xiě)作教學(xué)中發(fā)揮了重要作用，但仍存在缺陷，如反饋較單一，尤其是欠缺寫(xiě)作策略和任務(wù)聚焦等方面的反饋；Reilly (2014)表達(dá)了對(duì)利用系統(tǒng)進(jìn)行作弊的擔(dān)憂(yōu)。

國(guó)內(nèi)對(duì)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的研究起步較晚，但這兩年發(fā)展迅速。目前的研究主要分為三類(lèi)。一是綜述類(lèi)：如陳瀟瀟、葛詩(shī)利(2008)和葛詩(shī)利、陳瀟瀟(2009)分析了國(guó)外主流寫(xiě)作自動(dòng)評(píng)分系統(tǒng)所采用的技術(shù)及對(duì)國(guó)內(nèi)開(kāi)發(fā)此類(lèi)系統(tǒng)的啟示；梁茂成、文秋芳(2007)依據(jù)語(yǔ)言測(cè)試領(lǐng)域的作文評(píng)分要素, 從技術(shù)層面對(duì)國(guó)外具有代表性的三種作文自動(dòng)評(píng)分系統(tǒng)進(jìn)行評(píng)介和比較；唐錦蘭、吳一安(2011)綜合分析了國(guó)內(nèi)外使用寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的相關(guān)研究成果；王勃然等(2015)回顧了50年來(lái)國(guó)內(nèi)外寫(xiě)作自動(dòng)評(píng)價(jià)領(lǐng)域的主要成果，并展望了未來(lái)發(fā)展態(tài)勢(shì)。二是調(diào)查類(lèi)：如魯艷輝等(2010)發(fā)現(xiàn)智能化在線(xiàn)評(píng)閱系統(tǒng)能促進(jìn)學(xué)生改變寫(xiě)作策略；周穎(2011)調(diào)查了學(xué)生使用WRM寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)進(jìn)行英語(yǔ)寫(xiě)作過(guò)程中遇到的困難，進(jìn)而提出相應(yīng)的對(duì)策；王淑雯(2011)和馬衛(wèi)華、 甄強(qiáng) (2016)的調(diào)查都顯示絕大多數(shù)學(xué)生對(duì)寫(xiě)作自動(dòng)評(píng)估系統(tǒng)持積極肯定態(tài)度；唐錦蘭、吳一安(2012)的調(diào)查發(fā)現(xiàn)，融入自動(dòng)評(píng)價(jià)系統(tǒng)的英語(yǔ)寫(xiě)作實(shí)驗(yàn)教學(xué)使得教師的教學(xué)理念、行為、角色均發(fā)生了變化；張荔、盛越(2015)使用個(gè)案分析法，采用CET4作文樣卷驗(yàn)證了人/機(jī)(句酷批改網(wǎng))評(píng)閱一致性和相關(guān)性較高；但何旭良(2013)指出國(guó)內(nèi)開(kāi)發(fā)的句酷系統(tǒng)的評(píng)價(jià)信度低于教師評(píng)判的信度。第三類(lèi)是實(shí)證研究：如蔣學(xué)清等(2011)采用定量研究和定性研究相結(jié)合的方法，指出寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)WRM在發(fā)展大學(xué)生英語(yǔ)寫(xiě)作能力方面發(fā)揮積極的作用；唐錦蘭(2014)提出了基于自動(dòng)評(píng)價(jià)系統(tǒng)的自主寫(xiě)作、多維反饋以及修改于一體的系統(tǒng)的先導(dǎo)模式，并多視角驗(yàn)證了其效度；胡學(xué)文(2015)通過(guò)數(shù)據(jù)分析發(fā)現(xiàn)，在自動(dòng)評(píng)閱環(huán)境中，學(xué)生自我修改的次數(shù)與作文成績(jī)的提高不存在相關(guān)關(guān)系；楊曉瓊，戴運(yùn)財(cái)(2015)建構(gòu)了基于句酷批改網(wǎng)的自主寫(xiě)作教學(xué)模式，指出該模式有助于提高學(xué)生的自我效能感，降低寫(xiě)作焦慮感；周麗(2015)從生產(chǎn)單位、句式類(lèi)型、從句和短語(yǔ)等四個(gè)角度分析了句酷網(wǎng)對(duì)學(xué)生句法能力的效用。綜上，目前有關(guān)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的研究對(duì)象范圍較廣，包括教師、中小學(xué)生、大學(xué)(非)英語(yǔ)專(zhuān)業(yè)學(xué)生。前期研究多表明寫(xiě)作自動(dòng)評(píng)估系統(tǒng)有助于提高學(xué)生的英語(yǔ)寫(xiě)作質(zhì)量，研究設(shè)計(jì)的共同特點(diǎn)是：a)對(duì)寫(xiě)作質(zhì)量的最終考察多來(lái)自系統(tǒng)，沒(méi)有考察人工閱卷環(huán)境下學(xué)生寫(xiě)作水平的變化；b)缺少歷時(shí)研究；c)沒(méi)有繼續(xù)跟蹤學(xué)生在停止使用系統(tǒng)后，英語(yǔ)寫(xiě)作水平的變化，缺少持久性檢測(cè)，研究結(jié)果的有效價(jià)值可能受到質(zhì)疑。

基于此，本研究以我國(guó)某大學(xué)非英語(yǔ)專(zhuān)業(yè)的100名大一新生為研究對(duì)象，分為實(shí)驗(yàn)班和對(duì)照班，歷時(shí)三個(gè)學(xué)期，通過(guò)前測(cè)、中測(cè)、后測(cè)和半年后人工評(píng)閱的延測(cè)等4次測(cè)試，歷時(shí)考察寫(xiě)作自動(dòng)評(píng)估系統(tǒng)Writing Roadmap(簡(jiǎn)稱(chēng)為WRM)對(duì)實(shí)驗(yàn)班英語(yǔ)寫(xiě)作水平的影響。寫(xiě)作水平主要從語(yǔ)言形式、語(yǔ)篇結(jié)構(gòu)和寫(xiě)作質(zhì)量三個(gè)方面來(lái)衡量。具體研究問(wèn)題是：

(1)學(xué)生的語(yǔ)言形式是否發(fā)生了顯著變化？變化趨勢(shì)如何？

(2)學(xué)生的語(yǔ)篇結(jié)構(gòu)是否發(fā)生了顯著變化？變化趨勢(shì)如何？

(3)學(xué)生的寫(xiě)作質(zhì)量是否發(fā)生了顯著變化？變化趨勢(shì)如何？變化是否具有持續(xù)性？

3.0 研究方法

3.1 寫(xiě)作自動(dòng)評(píng)價(jià)工具

本研究采用由美國(guó)麥克勞—希爾教育測(cè)評(píng)中心(McGraw-Hill)研發(fā)的WRM 為寫(xiě)作工具。該系統(tǒng)提供一個(gè)復(fù)合分和六個(gè)分項(xiàng)分，分值都是0-5分。其中，寫(xiě)作質(zhì)量由復(fù)合分(Holistic)決定。Chandler (2000) 也用復(fù)合分驗(yàn)證整體寫(xiě)作質(zhì)量。我們將分項(xiàng)成績(jī)分為兩類(lèi)，一類(lèi)是語(yǔ)言形式，包括詞匯(Word choice)、句法(Fluency)和規(guī)范(Conventions)；另一類(lèi)是語(yǔ)篇結(jié)構(gòu)，包括內(nèi)容(Ideas and contents)、結(jié)構(gòu)(Organization)和語(yǔ)體(Voice)。WRM 還就作文整體情況和六個(gè)分項(xiàng)維度提供批語(yǔ)反饋(Narrative feedback)。設(shè)置寫(xiě)作輔助工具供學(xué)生寫(xiě)作時(shí)隨時(shí)使用。不限制修改次數(shù)，學(xué)生可以反復(fù)“提交—獲得反饋—修改”，直到滿(mǎn)意為止。

3.2 研究對(duì)象

研究對(duì)象是我國(guó)一所綜合性大學(xué)非英語(yǔ)專(zhuān)業(yè)的100名大一新生，來(lái)自同一個(gè)專(zhuān)業(yè)的兩個(gè)自然班，其中，實(shí)驗(yàn)班50人，對(duì)照班50人，由同一教師任教，使用同樣的英語(yǔ)教材——讀寫(xiě)綜合教材，教學(xué)任務(wù)一致，寫(xiě)作任務(wù)和寫(xiě)作次數(shù)相同。實(shí)驗(yàn)班在第一、二學(xué)期使用WRM，第三學(xué)期采用紙質(zhì)寫(xiě)作和傳統(tǒng)教師批改方式，對(duì)照班一直采用紙質(zhì)寫(xiě)作和傳統(tǒng)教師批改方式，即采用大學(xué)英語(yǔ)四級(jí)測(cè)試中的寫(xiě)作評(píng)分法，從內(nèi)容和語(yǔ)言?xún)蓚€(gè)方面對(duì)作文進(jìn)行綜合評(píng)判，只提供復(fù)合分，不提供分項(xiàng)分。

3.3 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)歷時(shí)三個(gè)學(xué)期，每學(xué)期各16周。其中，WRM實(shí)驗(yàn)為前兩個(gè)學(xué)期。前測(cè)安排在正式上課之前，中測(cè)在第一學(xué)期期末，后測(cè)在第二學(xué)期期末，延測(cè)在教學(xué)實(shí)驗(yàn)結(jié)束的第三學(xué)期期末。實(shí)驗(yàn)開(kāi)始前，兩個(gè)班都接受了WRM的使用訓(xùn)練。前測(cè)、中測(cè)和后測(cè)時(shí)，100名學(xué)生同時(shí)用WRM完成同題作文，限時(shí)30分鐘，不少于120詞，在寫(xiě)作過(guò)程中，我們禁閉了WRM的寫(xiě)作輔助工具。由于成績(jī)要納入該學(xué)期的平時(shí)成績(jī)，所有學(xué)生都參加了3次測(cè)試并能認(rèn)真對(duì)待。延測(cè)采用第三學(xué)期期末考試中的寫(xiě)作成績(jī)(定義為寫(xiě)作質(zhì)量，原始的滿(mǎn)分15分折合為滿(mǎn)分5分)，采用大學(xué)英語(yǔ)四級(jí)寫(xiě)作閱卷標(biāo)準(zhǔn)，密封閱卷，由兩位經(jīng)常參加大學(xué)英語(yǔ)四級(jí)閱卷并多次被評(píng)為優(yōu)秀的教師統(tǒng)一評(píng)閱，若在同一分?jǐn)?shù)檔，取平均分；若跳檔，由兩位老師協(xié)調(diào)確定分?jǐn)?shù)。采用期末考試寫(xiě)作成績(jī)作為延測(cè)是基于以下原因：學(xué)生會(huì)認(rèn)真對(duì)待期末測(cè)試；英語(yǔ)寫(xiě)作，尤其是大學(xué)英語(yǔ)四六級(jí)測(cè)試仍以人工批閱為主，且只提供復(fù)合分，我們要觀(guān)察實(shí)驗(yàn)班在停止使用WRM進(jìn)行寫(xiě)作訓(xùn)練后，他們的寫(xiě)作質(zhì)量在人工閱卷環(huán)境下會(huì)發(fā)生什么變化。

3.4 數(shù)據(jù)收集和分析

本研究的數(shù)據(jù)來(lái)自?xún)蓚€(gè)方面。第一，從WRM 提取的前測(cè)、中測(cè)和后測(cè)的復(fù)合分和分項(xiàng)分。第二，人工評(píng)閱的延測(cè)成績(jī)，僅有復(fù)合分。我們采用SPSS19.0對(duì)數(shù)據(jù)進(jìn)行獨(dú)立樣本t檢驗(yàn)和重復(fù)度量方差分析，回答受試成績(jī)均值的變化程度及其趨勢(shì)。

4.0 結(jié)果與分析

研究結(jié)果從三個(gè)方面匯報(bào)分析：語(yǔ)言形式、語(yǔ)篇結(jié)構(gòu)和寫(xiě)作質(zhì)量。

4.1 語(yǔ)言形式變化

如上文所述，本研究中所涉及的語(yǔ)言形式主要從WRM 設(shè)置的詞匯、句法和規(guī)范三個(gè)維度衡量。其中，詞匯維度主要衡量詞匯豐富性、多樣性和傳遞信息的準(zhǔn)確性；句法維度評(píng)價(jià)句子結(jié)構(gòu)的完整度、句子的流暢度和句式多樣性；規(guī)范維度就拼寫(xiě)、標(biāo)點(diǎn)和語(yǔ)法及詞匯深度進(jìn)行評(píng)價(jià)。

對(duì)照班和實(shí)驗(yàn)班在這三個(gè)維度的前測(cè)、中測(cè)和后測(cè)均值如表1所示。

表1 對(duì)照班和實(shí)驗(yàn)班語(yǔ)言形式獨(dú)立樣本t檢驗(yàn)

注*：Sig. 小于 .05較顯著(下同)

表1顯示，對(duì)照班語(yǔ)言形式的前測(cè)均值都略高于實(shí)驗(yàn)班，但沒(méi)有顯著性差異(分別是p=0.826, p=0.629和p=0.802)，前測(cè)均值在三次測(cè)試中都是最低的，經(jīng)過(guò)兩個(gè)學(xué)期的系統(tǒng)學(xué)習(xí)后，兩個(gè)班在三個(gè)維度的中測(cè)和后測(cè)均值都有所提高，后測(cè)均值最高。在詞匯和規(guī)范維度，實(shí)驗(yàn)班的中測(cè)和后測(cè)均顯著高于對(duì)照班(詞匯p=0.049<0.05和p=0.015<0.05；規(guī)范p=0.013<0.05和p=0.022<0.05)，在句法維度，實(shí)驗(yàn)班的中測(cè)和后測(cè)也均高于對(duì)照班，但沒(méi)有顯著性差異(p=0.289>0.05和p=0.133>0.05)。整體而言，兩個(gè)班的語(yǔ)言形式均值都表現(xiàn)出后測(cè)>中測(cè)>前測(cè)的特征，這表明兩個(gè)班的語(yǔ)言形式成績(jī)均發(fā)生了變化，即呈上升趨勢(shì)。

這種變化是否具有顯著性需要進(jìn)一步進(jìn)行多重比較，結(jié)果如表2所示。

表2 對(duì)照班和實(shí)驗(yàn)班語(yǔ)言形式均值多重比較統(tǒng)計(jì)表

注：1=前測(cè)，2=中測(cè)，3=后測(cè)(下同)

表2顯示，實(shí)驗(yàn)班在三個(gè)維度的均值增幅都高于對(duì)照班。其中，詞匯維度，實(shí)驗(yàn)班前測(cè)-中測(cè)，中測(cè)-后測(cè)和前測(cè)-后測(cè)的比較結(jié)果均有顯著差異(分別是p=0.002<0.05, p=0.000<0.05和p=0.034<0.05)，而對(duì)照班的前測(cè)-中測(cè)和前測(cè)-后測(cè)比較結(jié)果有顯著差異(分別是p=0.037<0.05和p=0.000<0.05)，中測(cè)-后測(cè)結(jié)果不具有統(tǒng)計(jì)意義上的差異(p=0.159>0.05)。在句法和規(guī)范維度，兩個(gè)班的前測(cè)-中測(cè)和前測(cè)-后測(cè)比較結(jié)果有顯著性差異，中測(cè)-后測(cè)比較結(jié)果都沒(méi)有顯著性差異(p=0.176>0.05 和p=0.367>0.05)。

數(shù)據(jù)顯示，兩個(gè)班學(xué)生在語(yǔ)言形式的三個(gè)維度上的均值都表現(xiàn)出在第一學(xué)期(中測(cè))增幅較大，第二學(xué)期(后測(cè))增幅減緩的整體變化趨勢(shì)。實(shí)驗(yàn)班的增幅較大。變化趨勢(shì)見(jiàn)圖1、圖2和圖3。

圖1 詞匯成績(jī)變化趨勢(shì)

圖2 句法成績(jī)變化趨勢(shì)

圖3 規(guī)范成績(jī)變化趨勢(shì)

以上數(shù)據(jù)表明，傳統(tǒng)寫(xiě)作評(píng)閱方法和WRM均對(duì)學(xué)生寫(xiě)作中的語(yǔ)言形式產(chǎn)生了積極影響，實(shí)驗(yàn)班學(xué)生的提高幅度明顯大于對(duì)照班。研究者認(rèn)為導(dǎo)致這一變化趨勢(shì)的原因有：a) 如果學(xué)生有大量用英語(yǔ)寫(xiě)作的機(jī)會(huì)，他們的語(yǔ)法錯(cuò)誤有逐漸減少的可能性(Raimes，2002)。b)WRM是比較新穎的寫(xiě)作工具，實(shí)驗(yàn)班初次接觸，寫(xiě)作積極性較高，但這種熱情在實(shí)驗(yàn)后期下降(這反映在學(xué)生修改作文的次數(shù)減少)，學(xué)生心理素質(zhì)不穩(wěn)定，中測(cè)-后測(cè)成績(jī)?cè)诰浞ê鸵?guī)范維度沒(méi)有顯著性差異。c)詳細(xì)的錯(cuò)誤反饋有助于減少錯(cuò)誤量(Fathman & Whalley，1990；Kepner，1991)，提高語(yǔ)言的準(zhǔn)確性(Chandler, 2000)。WRM既是評(píng)價(jià)工具也是學(xué)習(xí)工具，該系統(tǒng)的寫(xiě)作界面設(shè)置了四種語(yǔ)言形式方面的編輯功能選項(xiàng)：Hint(寫(xiě)作提示)、Tutor (能即時(shí)指出學(xué)生的單詞拼寫(xiě)錯(cuò)誤、詞匯錯(cuò)誤和語(yǔ)法錯(cuò)誤)、Thesaurus(近義詞提示)和Tree(指出學(xué)生的句法結(jié)構(gòu)錯(cuò)誤，并提供修改建議)，學(xué)生在寫(xiě)作過(guò)程中可以隨時(shí)獲得語(yǔ)言錯(cuò)誤提示、診斷提示和修改建議。而傳統(tǒng)教師評(píng)閱通常只就文章的整體印象給一個(gè)總體分?jǐn)?shù)，很少面面俱到地指出學(xué)生作文的所有語(yǔ)言形式錯(cuò)誤，較少提出糾正建議，更不會(huì)提供更豐富的詞匯供學(xué)生選擇。d) 糾錯(cuò)的積極效果并不是來(lái)自于糾錯(cuò)本身，而是源自于學(xué)生的即時(shí)性(Truscott, 2004) 。相對(duì)于教師評(píng)閱反饋的滯后性，WRM提供了即時(shí)反饋信息。e)WRM不限制修改次數(shù)，每次更正錯(cuò)誤后再次提交，學(xué)生都能得到新的反饋，驗(yàn)證修改成果。在“寫(xiě)作—修改—再寫(xiě)作—再修改”的循環(huán)寫(xiě)作過(guò)程中，獲得更多的語(yǔ)言輸出機(jī)會(huì)和交互活動(dòng)，既體驗(yàn)成功，又發(fā)現(xiàn)自我的不足，激發(fā)主觀(guān)能動(dòng)性，最終完成語(yǔ)言知識(shí)的主動(dòng)建構(gòu)。而對(duì)照班在糾錯(cuò)后很少得到進(jìn)一步的反饋，其寫(xiě)作表現(xiàn)為線(xiàn)性終結(jié)過(guò)程。f) Schmidt ( 1990) 的注意假說(shuō) ( Noticing Hypothesis) 指出，有效加工處理信息的必要條件是對(duì)輸入(input)的注意，注意是吸收(intake)內(nèi)化的前提。WR提供的高頻率錯(cuò)誤反饋能引導(dǎo)學(xué)生有意識(shí)地去關(guān)注自己的錯(cuò)誤，進(jìn)行認(rèn)知和加工。久而久之，學(xué)生逐漸將正確的語(yǔ)言形式存儲(chǔ)于長(zhǎng)期記憶中，內(nèi)化為內(nèi)在知識(shí)，從而提高了語(yǔ)言的準(zhǔn)確率。而對(duì)照班學(xué)生在寫(xiě)作中出現(xiàn)的錯(cuò)誤并未得到標(biāo)注，缺少信息輸入，更談不上有意注意。

4.2 語(yǔ)篇結(jié)構(gòu)變化

本研究中所探討的語(yǔ)篇結(jié)構(gòu)主要從WRM 提供的內(nèi)容、結(jié)構(gòu)和語(yǔ)體三個(gè)維度加以衡量。其中，內(nèi)容維度衡量文章的主題是否突出，展開(kāi)句與主題之間是否有相關(guān)性；結(jié)構(gòu)維度就主題思想及其展開(kāi)方式和展開(kāi)順序以及銜接連貫性進(jìn)行評(píng)價(jià)；語(yǔ)體維度主要評(píng)價(jià)學(xué)生能否根據(jù)寫(xiě)作主題、寫(xiě)作目的和閱讀對(duì)象選擇適當(dāng)?shù)捏w裁。

對(duì)照班和實(shí)驗(yàn)班在上述三個(gè)維度的前測(cè)、中測(cè)和后測(cè)均值如表3所示。

表3 對(duì)照班和實(shí)驗(yàn)班語(yǔ)篇結(jié)構(gòu)均值統(tǒng)計(jì)表

表3顯示，對(duì)照班在三個(gè)維度的前測(cè)成績(jī)均值略高于實(shí)驗(yàn)班，但沒(méi)有顯著性差異(分別是p=0.800>0.05, p=0.381>0.05和p=0.897>0.05)；在三次測(cè)試中，兩個(gè)班的前測(cè)均值都是最低的，中測(cè)和后測(cè)均值都有所提高，后測(cè)均值最高。實(shí)驗(yàn)班在三個(gè)維度的中測(cè)均值雖都高于對(duì)照班，但沒(méi)有統(tǒng)計(jì)意義上的差異。在后測(cè)中，實(shí)驗(yàn)班在內(nèi)容和語(yǔ)體兩個(gè)維度的均值沒(méi)有顯著高于對(duì)照班，結(jié)構(gòu)維度均值則低于對(duì)照班，但沒(méi)有顯著差異。整體而言，兩個(gè)班的語(yǔ)篇結(jié)構(gòu)均值都具有后測(cè)>中測(cè)>前測(cè)的特征，這表明語(yǔ)篇結(jié)構(gòu)成績(jī)?cè)跍y(cè)試中發(fā)生了變化，均呈上升趨勢(shì)。

進(jìn)一步進(jìn)行多重比較顯示上述變化是否具有顯著性，詳見(jiàn)表4。

表4 對(duì)照班和實(shí)驗(yàn)班語(yǔ)篇結(jié)構(gòu)均值多重比較結(jié)果

表4顯示，在內(nèi)容維度，實(shí)驗(yàn)班中測(cè)和后測(cè)均值的增加幅度都高于對(duì)照班。前測(cè)-中測(cè)、前測(cè)-后測(cè)和中測(cè)-后測(cè)比較結(jié)果顯示，兩個(gè)班的內(nèi)容維度均值都有顯著提高。在結(jié)構(gòu)維度，實(shí)驗(yàn)班的前測(cè)-中測(cè)和前測(cè)-后測(cè)的均值增加值高于對(duì)照班，但中測(cè)-后測(cè)增加值小于對(duì)照班(分別增加了0.014和0.072)；另外，兩個(gè)班的前測(cè)-中測(cè)和前測(cè)-后測(cè)比較結(jié)果均有顯著性差異，成績(jī)顯著提高，但中測(cè)-后測(cè)都沒(méi)有顯著性改善(對(duì)照班p=0.072>0.05，實(shí)驗(yàn)班p=0.886>0.05)；相比而言，對(duì)照班的后測(cè)增幅稍大于實(shí)驗(yàn)班。在規(guī)范維度，實(shí)驗(yàn)班在前測(cè)-中測(cè)、前測(cè)-后測(cè)的均值增幅高于對(duì)照班，但中測(cè)-后測(cè)的增加值小于對(duì)照班(分別增加了0.108和0.088)；此外，兩個(gè)班都在前測(cè)-中測(cè)和前測(cè)-后測(cè)比較結(jié)果有顯著性差異，而中測(cè)-后測(cè)比較結(jié)果都沒(méi)有顯著差異(對(duì)照班p=0.321>0.05，實(shí)驗(yàn)班p=0.298>0.05)。

數(shù)據(jù)顯示，兩個(gè)班在語(yǔ)篇結(jié)構(gòu)的三個(gè)維度上的均值都表現(xiàn)出在中測(cè)增幅較大，后測(cè)增幅減緩的整體變化趨勢(shì)。不過(guò)，對(duì)照班在結(jié)構(gòu)和語(yǔ)體兩個(gè)維度的后測(cè)均值提升略高于實(shí)驗(yàn)班。變化趨勢(shì)見(jiàn)圖4、圖5和圖6。

圖4 內(nèi)容成績(jī)變化趨勢(shì)

圖5 結(jié)構(gòu)成績(jī)變化趨勢(shì)

圖6 語(yǔ)體成績(jī)變化趨勢(shì)

以上數(shù)據(jù)表明，傳統(tǒng)寫(xiě)作評(píng)閱方法和WRM都對(duì)學(xué)生寫(xiě)作中的語(yǔ)篇結(jié)構(gòu)產(chǎn)生了積極影響，其中實(shí)驗(yàn)班在三個(gè)維度的中測(cè)均值提高幅度高于對(duì)照班，但后測(cè)卻趨緩，甚至在結(jié)構(gòu)和語(yǔ)體維度略低于對(duì)照班。研究者認(rèn)為導(dǎo)致這一變化趨勢(shì)的原因有：a) 經(jīng)過(guò)兩個(gè)學(xué)期的學(xué)習(xí)，語(yǔ)篇結(jié)構(gòu)成績(jī)有自然提高的過(guò)程。b)經(jīng)過(guò)第一學(xué)期16周較大強(qiáng)度的語(yǔ)言輸入，實(shí)驗(yàn)班和對(duì)照班學(xué)生原有的語(yǔ)言認(rèn)知積累得到激發(fā)，中測(cè)均值增加最大，但在第二學(xué)期，學(xué)生的寫(xiě)作認(rèn)知提高速度減緩，進(jìn)而導(dǎo)致后測(cè)均值增加趨緩。c)傳統(tǒng)英語(yǔ)作文評(píng)閱方法重視對(duì)語(yǔ)法錯(cuò)誤的修改，忽略對(duì)結(jié)構(gòu)和語(yǔ)體方面的指導(dǎo)，學(xué)生寫(xiě)作時(shí)也較少關(guān)注語(yǔ)篇內(nèi)容。WRM采用的分項(xiàng)評(píng)分能引導(dǎo)學(xué)生關(guān)注內(nèi)容、結(jié)構(gòu)和語(yǔ)體的重要性，但評(píng)語(yǔ)比較寬泛籠統(tǒng)，多為機(jī)械性批語(yǔ)，缺少修改建議，學(xué)生雖然能認(rèn)識(shí)到語(yǔ)篇結(jié)構(gòu)在寫(xiě)作中的重要性，卻無(wú)所適從，無(wú)法完成認(rèn)知建構(gòu)。d) WRM提供的語(yǔ)料庫(kù)反饋信息顯示，實(shí)驗(yàn)班針對(duì)語(yǔ)篇結(jié)構(gòu)的修改頻次遠(yuǎn)低于語(yǔ)言形式的修改次數(shù)，這與Attali(2004)、Chen & Cheng (2008)和Warschauer & Grimes (2008)的調(diào)查結(jié)果一致。e)思維模式很難在短時(shí)間內(nèi)發(fā)生轉(zhuǎn)變，兩個(gè)班學(xué)生仍然用漢語(yǔ)思維模式進(jìn)行英語(yǔ)寫(xiě)作。首先，學(xué)生雖能控制寫(xiě)作主題，但展開(kāi)句與主題之間的相關(guān)性相對(duì)較弱，語(yǔ)篇展開(kāi)的邏輯性較弱。其次，傳統(tǒng)教師評(píng)閱基本沒(méi)有給出針對(duì)語(yǔ)體的評(píng)語(yǔ)，WRM 就語(yǔ)體方面的反饋信息非常模糊寬泛且基本上千篇一律。因此，學(xué)生的語(yǔ)體意識(shí)相對(duì)淡薄，兩個(gè)班都表現(xiàn)出“讀者負(fù)責(zé)型”的寫(xiě)作特征。第三，由于不了解英漢語(yǔ)篇在銜接手段方面的差異，少量學(xué)生在寫(xiě)作之初缺少結(jié)構(gòu)意識(shí)，后來(lái)為了備考大學(xué)英語(yǔ)四級(jí)，背誦了“模板”作文，在作文中開(kāi)始大量使用過(guò)渡詞，結(jié)構(gòu)維度的均值都有所提升，但這種生搬硬套的過(guò)渡詞過(guò)于單一，沒(méi)有兼顧另外幾種銜接手段，如替代、省略、指示、詞匯銜接等。因此，兩個(gè)班在結(jié)構(gòu)維度的后測(cè)均值是三個(gè)維度中最低的。f) 缺少語(yǔ)篇知識(shí)的可理解性信息輸入。二語(yǔ)寫(xiě)作教學(xué)中，教師多將注意力集中在寫(xiě)作的表層特征，如語(yǔ)法和寫(xiě)作技術(shù)規(guī)范，較少關(guān)注篇章布局、遣詞造句的技能、修辭手段的運(yùn)用 (Applebee,1981;Hedgcock & Lefkowitz,1992;Hyland,2000;Kepner,1991;Vann, et al.,1984；蔡基剛，2002) 。Long(1996)提出的交互假設(shè)(Interaction Hypothesis)認(rèn)為交互包括得到可理解的輸入、提供對(duì)二語(yǔ)形式的反饋和創(chuàng)造調(diào)整后輸出的機(jī)會(huì)。系統(tǒng)提供的語(yǔ)篇結(jié)構(gòu)反饋雖能彌補(bǔ)教學(xué)信息輸入的不足，引起學(xué)生的有意注意，但缺少有意義的反饋，學(xué)生的修改略顯盲目，效果也不理想。

由此可見(jiàn)，寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)尚無(wú)法解決的弊端——不能識(shí)別、評(píng)價(jià)寫(xiě)作在語(yǔ)篇、語(yǔ)境、文化、修辭等方面的高階特征，應(yīng)由教師反饋和寫(xiě)作教學(xué)予以彌補(bǔ)。

4.3 寫(xiě)作質(zhì)量變化

寫(xiě)作質(zhì)量由復(fù)合分?jǐn)?shù)決定。WRM 給予的復(fù)合分并不是各個(gè)單項(xiàng)分累加后的平均分，而是基于上述六個(gè)維度的綜合評(píng)定。對(duì)照班和實(shí)驗(yàn)班寫(xiě)作質(zhì)量的前測(cè)、中測(cè)、后測(cè)和延測(cè)均值情況如表5所示。

表5 對(duì)照班和實(shí)驗(yàn)班復(fù)合分?jǐn)?shù)均值統(tǒng)計(jì)表

表5顯示，對(duì)照班的復(fù)合分前測(cè)均值略高于實(shí)驗(yàn)班，但沒(méi)有統(tǒng)計(jì)意義上的差異(p=0.797>0.05)；前測(cè)均值在四次測(cè)試中都是最低的。經(jīng)過(guò)三個(gè)學(xué)期的系統(tǒng)學(xué)習(xí)后，兩個(gè)班的中測(cè)、后測(cè)和延測(cè)均值都有所提高，延測(cè)均值最高。實(shí)驗(yàn)班的中測(cè)和后測(cè)均值都顯著高于對(duì)照班(p=0.031<0.05和p=0.033<0.05)，延測(cè)均值則未顯著高于對(duì)照班(p=0.358>0.05)。整體而言，兩個(gè)班的復(fù)合分均值都具有延測(cè)>后測(cè)>中測(cè)>前測(cè)的特征，這表明兩個(gè)班的寫(xiě)作質(zhì)量均發(fā)生了變化，呈上升趨勢(shì)。同時(shí)也表明，在停止使用WRM后，實(shí)驗(yàn)班寫(xiě)作質(zhì)量的提高仍具有持續(xù)性。

實(shí)驗(yàn)班和對(duì)照班寫(xiě)作質(zhì)量的變化是否具有顯著性需要進(jìn)一步進(jìn)行多重比較，結(jié)果見(jiàn)表6。

表6 對(duì)照班和實(shí)驗(yàn)班復(fù)合分?jǐn)?shù)多重比較結(jié)果

注：4=延測(cè)

表6顯示，兩個(gè)班除后測(cè)-延測(cè)均值提高都沒(méi)有統(tǒng)計(jì)意義上的差異 (對(duì)照班p=0.346>0.05，實(shí)驗(yàn)班p=0.817>0.05)外，前測(cè)-中測(cè)、前測(cè)-后測(cè)、前測(cè)-延測(cè)、中測(cè)-后測(cè)、中測(cè)-延測(cè)的均值都有顯著提高。實(shí)驗(yàn)班在前測(cè)-中測(cè)、前測(cè)-后測(cè)和中測(cè)-后測(cè)的均值增幅都高于對(duì)照班，但后測(cè)-延測(cè)均值增幅低于對(duì)照班。另外，兩個(gè)班都表現(xiàn)出中測(cè)和后測(cè)增幅較大，延測(cè)增幅減緩的整體變化趨勢(shì)，見(jiàn)圖7。

圖7 寫(xiě)作質(zhì)量變化趨勢(shì)

以上數(shù)據(jù)表明，傳統(tǒng)寫(xiě)作評(píng)閱方法和WRM都對(duì)學(xué)生寫(xiě)作中的寫(xiě)作質(zhì)量產(chǎn)生了積極影響，而且WRM對(duì)實(shí)驗(yàn)班寫(xiě)作質(zhì)量的提高具有持續(xù)性。導(dǎo)致這一變化趨勢(shì)的原因有：a) 持久的英語(yǔ)學(xué)習(xí)能自然提高寫(xiě)作質(zhì)量。b)寫(xiě)作質(zhì)量達(dá)到一定程度后，其后續(xù)提高過(guò)程會(huì)遇到瓶頸因而逐漸減緩。c) 當(dāng)二語(yǔ)習(xí)得者的作文得到整體反饋和分項(xiàng)反饋時(shí)，他們能在修改中表現(xiàn)出語(yǔ)篇內(nèi)容和語(yǔ)言形式兩個(gè)方面的共同進(jìn)步(Ashwell,2000;Fathman & Whalley,1990;Ferris, 1997)，實(shí)驗(yàn)班的復(fù)合分均值增幅高于對(duì)照班這一結(jié)果印證了分項(xiàng)評(píng)分和整體評(píng)分相結(jié)合的方法更能有效提高寫(xiě)作質(zhì)量。d)實(shí)驗(yàn)班并沒(méi)有建構(gòu)完整而穩(wěn)定的寫(xiě)作知識(shí)體系，導(dǎo)致延測(cè)均值沒(méi)有顯著高于對(duì)照班，且后期寫(xiě)作質(zhì)量的提高幅度略低于對(duì)照班。需要指出的是，寫(xiě)作質(zhì)量由語(yǔ)言形式和語(yǔ)篇結(jié)構(gòu)綜合考量，任何一個(gè)維度的分項(xiàng)分?jǐn)?shù)都有可能影響到最后的復(fù)合分(寫(xiě)作質(zhì)量)。實(shí)驗(yàn)班寫(xiě)作質(zhì)量具體在哪個(gè)維度的變化導(dǎo)致其延測(cè)成績(jī)?cè)龇鶞p緩，仍需進(jìn)一步探究。

綜上所述，寫(xiě)作自動(dòng)評(píng)估系統(tǒng)對(duì)于中國(guó)大學(xué)生英語(yǔ)寫(xiě)作水平具有積極影響，尤其能顯著提高語(yǔ)言形式和寫(xiě)作質(zhì)量。即使停止使用后，在人工閱卷環(huán)境下，實(shí)驗(yàn)班學(xué)生寫(xiě)作質(zhì)量的提升仍表現(xiàn)有持續(xù)性，但在語(yǔ)篇結(jié)構(gòu)層面的提高不明顯。

5.0 結(jié)論

評(píng)價(jià)最重要的目的不是證明而是為了改善(Stufflebeam,2003:34)。寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)運(yùn)用于寫(xiě)作教學(xué)中，能夠改變學(xué)習(xí)者的語(yǔ)言學(xué)習(xí)體驗(yàn)，增加可理解性知識(shí)的輸入，提供高頻率、反復(fù)的寫(xiě)作反饋，并創(chuàng)造調(diào)整后輸出的機(jī)會(huì)，從而提高學(xué)生的寫(xiě)作水平。從語(yǔ)言形式看，實(shí)驗(yàn)班學(xué)生在詞匯、句法和規(guī)范等三個(gè)維度的增幅顯著高于對(duì)照班，而且能將正確的語(yǔ)言形式存儲(chǔ)于長(zhǎng)期記憶中。從語(yǔ)篇結(jié)構(gòu)看，實(shí)驗(yàn)班在結(jié)構(gòu)和語(yǔ)體維度的后測(cè)成績(jī)?cè)龇陀趯?duì)照班。這暴露了寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的缺陷——不能從高階層面給予有效反饋，也驗(yàn)證了該系統(tǒng)只能是其他形式反饋的補(bǔ)充而不能是其替代品(Ware & Warschauer,2006)，如何將自動(dòng)寫(xiě)作評(píng)價(jià)系統(tǒng)提供的語(yǔ)言層面的反饋與教師的語(yǔ)篇反饋相結(jié)合，建立多元化的人際交互反饋機(jī)制，還需要進(jìn)一步探究。從寫(xiě)作質(zhì)量看，實(shí)驗(yàn)班的增幅顯著高于對(duì)照班，但這種優(yōu)勢(shì)并沒(méi)有持續(xù)到延測(cè)，說(shuō)明學(xué)生并沒(méi)有建構(gòu)完整而穩(wěn)定的寫(xiě)作知識(shí)體系，所以在教學(xué)中如何突破寫(xiě)作瓶頸也是未來(lái)值得探究的問(wèn)題。

本研究為探討如何將現(xiàn)代信息技術(shù)與大學(xué)英語(yǔ)教學(xué)進(jìn)行整合，使之成為教學(xué)的一個(gè)有機(jī)組成部分，提供新思路。不過(guò)，本研究尚存在一些局限性，如樣本數(shù)量較少，因此，研究結(jié)果的普遍有效性有待后續(xù)研究的進(jìn)一步論證。

[1] Applebee, A. N.WritingintheSecondarySchool(NCTEResearchReport.No. 21)[R]. Urbana: National Council of Teachers of English, 1981.

[2] Ashwell, T. Patterns of teacher response to student writing in a multiple-draft composition classroom: Is content feedback followed by form feedback the best method?[J].JournalofSecondLanguageWriting, 2000,9:227-257.

[3] Attali, Y. Exploring the feedback and revision features of criterion[R]. Paper presented at the Annual meeting of the National Council on Measurement in education. San Diego, CA. April, 2004.

[4] Chandler, J. The efficacy of error correction for improvement in the accuracy of L2 student writing[R]. Paper presented at the AAAL Conference, Vancouver, 2000.

[5] Chen, E. & E. Cheng. Beyond the design of automated writing evaluation: Pedagogical practices and perceived learning effectiveness in EFL writing class[J].LanguageLearningandTechnology, 2008,12:94-112.

[6] Fathman, A. K., & E. Whalley. Teacher response to student writing: Focus on form versus content[A]. In B. Kroll (eds.).SecondLanguageWriting:ResearchInsightsfortheClassroom[C]. Cambridge: Cambridge University Press, 1990.178-190.

[7] Ferris, D. R. The influence of teacher commentary on student revision[J].TESOLQuarterly, 1997,31:315-339.

[8] Flower, L. & J. R. Hayes. A cognitive process theory of writing[J].CollegeCompositionandCommunication, 1981,32:365-387.

[9] Hedgcock, J. & N. Lefkowitz. Collaborative oral/aural revision in foreign language writing instruction[J].JournalofSecondLanguageWriting, 1992,1:255-276.

[10] Hoon, T. Online automated essay assessment: Potentials for writing development[OL]. 2006. http://ausweb.scu.edu.au/aw06/papers/refereed/tan3/paper.html [2014-12-27].

[11] Hyland, F. ESL writers and feedback: Giving more autonomy to students [J].LanguageTeachingResearch, 2000,4:33-54.

[12] Kepner, C. G. An experiment in the relationship of types of written feedback to the development of second-language writing skills[J].TheModernLanguageJournal, 1991,75:305-313.

[13] Long, M. The role of the linguistic environment in second language acquisition[A]. In W. Ritchie & T. Bhatia (eds.).HandbookofSecondLanguageAcquisition[C]. New York: Academic Press, 1996.413-468.

[14] Martinez, N. & J. Martinez.BasicCollegeWriting[M]. Prentice Hall, 1991.

[15] Milton, J. Resource-rich Web-based feedback: Helping learners become independent writers[A]. In K. Hyland & F. Hyland (eds.).Feedbackinsecondlanguagewriting:Contextandissues[C]. New York: Cambridge University Press, 2006.123-139.

[16] Raimes, A. Responding to students’ written errors: Looking at causes[A].Paperpresentedatthe22ndAnnualTESOLConvention, Chicago, 2002.

[17] Reilly, E. D., R. E. Stafford, K. M. Williams & S. B. Corliss. Evaluating the validity and applicability of automated essay scoring in two massive open online courses[J].InternationalReviewofResearchinOpenandDistanceLearning, 2014,11(5):83-98.

[18] Rich, C., H. Harrington, J. Kim & B. West. Automated essay scoring in state formative and summative writing assessment[R]. Paper presented at the Annual Meeting of the American Educational Research Association. New York, March 2008.

[19] Scharber, C., S. Dexter & E. Riedel. Students’ experiences with an automated essay scorer [OL]. 2008. http://escholarship.bc.edu/cgi/viewcontent.cgi? article= 1116&content= jtla [2011-12-27]

[20] Schmidt, R. The role of consciousness in second language learning[J].AppliedLinguistics, 1990,11:129-158.

[21] Schroeder, J., B. Grohe, & R. Pogue. The impact of criterion writing evaluation technology on criminal justice student writing skills[J].JournalofCriminalJusticeEducation, 2008,19(8):432-445.

[22] Shermis, M., J. Burstein & L. Bliss. The impact of automated essay scoring on highstakes writing assessments[R]. Paper presented at the Annual Meeting of the National Council on Measurement in Education. San Diego, April 2004.

[23] Stufflebeam, D. L. The CIPP model for evaluation[A]. In D.L. Stufflebeam & T. Kellaghan (eds.).TheInternationalHandbookofEducationalEvaluation[C], Boston: Kluwer Academic Publishers, 2003.31-62.

[24] Truscott, J. Evidence and conjecture on the effects of correction: A response to Chandler[J].JournalofSecondLanguageWriting, 2004,13(4):337-343.

[25] Vann, R. J., D. E. Meyer & F.O. Lorenz. Error gravity: A study of faculty opinion of ESL errors[J].TESOLQuarterly, 1984,18:427-440.

[26] Ware, P.D. & M. Warschauer. Electronic feedback and second language writing[A]. In K. Hyland & F. Hyland (eds.).FeedbackinSecondLanguageWriting:ContextsandIssues[C]. Cambridge: Cambridge University Press, 2006.

[27] Warschauer, M. & D. Grimes. Automated writing assessment in the classroom[J].Pedagogies:anInternationalJournal, 2008,3:22-36.

[28] White, L., N. Hixson, J. D Brot & J. Perdue. Impact of Writing Roadmap on WESTEST 2 online writing assessment scores [OL]. 2010. http://wvde.state.wv.us/oaa/pdf/research. [2011-12-27].

[29] Wilson, J. Does automated feedback improve writing quality?[J].LearningDisabilities:AContemporaryJournal, 2014,12(1):93-118.

[30] 蔡基剛. 大學(xué)英語(yǔ)四、六級(jí)寫(xiě)作要求和評(píng)分標(biāo)準(zhǔn)對(duì)中國(guó)學(xué)生寫(xiě)作的影響[J]. 解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2002,(5):49-53.

[31] 陳瀟瀟，葛詩(shī)利. 自動(dòng)作文評(píng)分研究綜述[J]. 解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2008,(5):79-83.

[32] 葛詩(shī)利，陳瀟瀟. 大學(xué)英語(yǔ)作文自動(dòng)評(píng)分研究中的問(wèn)題及對(duì)策[J]. 山東外語(yǔ)教學(xué)，2009,(3):21-26.

[33] 何旭良. 句酷批改網(wǎng)英語(yǔ)作文評(píng)分的信度和效度研究[J]. 現(xiàn)代教育技術(shù)，2013,(5):64-67.

[34] 胡學(xué)文. 在線(xiàn)作文自我修改對(duì)大學(xué)生英語(yǔ)寫(xiě)作結(jié)果的影響[J]. 外語(yǔ)電化教學(xué)，2015,(163):45-49.

[35] 蔣學(xué)清，蔡靜，唐錦蘭. 探究自動(dòng)作文評(píng)分系統(tǒng)對(duì)大學(xué)生英語(yǔ)寫(xiě)作能力發(fā)展的影響[J]. 山東外語(yǔ)教學(xué)，2011,(6):36-43.

[36] 梁茂成，文秋芳. 國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J]. 外語(yǔ)電化教學(xué)，2007，(5)：18-24.

[37] 魯艷輝，譚福民，彭舜. 智能寫(xiě)作評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作中的實(shí)證研究[J]. 現(xiàn)代教育技術(shù)，2010,(6)：56-58.

[38] 馬衛(wèi)華, 甄強(qiáng). 大學(xué)生對(duì)在線(xiàn)英語(yǔ)寫(xiě)作自動(dòng)批改系統(tǒng)的評(píng)價(jià)——以句酷批改網(wǎng)為例[J]. 山東廣播電視大學(xué)學(xué)報(bào)，2016,(1):31-33.

[39] 唐錦蘭. 探究寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在英語(yǔ)教學(xué)中的應(yīng)用模式[J]. 外語(yǔ)教學(xué)理論與實(shí)踐，2014,(1)：49-57.

[40] 唐錦蘭，吳一安. 在線(xiàn)英語(yǔ)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究述評(píng)[J]. 外語(yǔ)教學(xué)與研究，2011,(2):273-282.

[41] 唐錦蘭，吳一安. 寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用研究[J]. 外語(yǔ)與外語(yǔ)教學(xué)，2012,(4):53-59.

[42] 王勃然, 金檀, 趙雯. 自動(dòng)寫(xiě)作評(píng)價(jià)研究與實(shí)踐五十年——從單一、合作到交互[J]. 外語(yǔ)研究，2015,(5),50-56.

[43] 王淑雯. 如何利用Writing Roadmap進(jìn)行在線(xiàn)英語(yǔ)寫(xiě)作反饋[J]. 現(xiàn)代教育技術(shù)，2011，(3)：76-81.

[44] 楊曉瓊，戴運(yùn)財(cái). 基于批改網(wǎng)的大學(xué)英語(yǔ)自主寫(xiě)作教學(xué)模式實(shí)踐研究[J]. 外語(yǔ)電化教學(xué)，2015,(2)：17-23.

[45] 張荔，盛越. 自動(dòng)作文評(píng)閱系統(tǒng)反饋效果個(gè)案研究[J]. 外語(yǔ)電化教學(xué)，2015,(3)：38-44.

[46] 周麗. 英語(yǔ)在線(xiàn)寫(xiě)作平臺(tái)對(duì)大學(xué)生寫(xiě)作句法能力的影響[J]. 外語(yǔ)電化教學(xué)，2015,(5)：26-29.

[47] 周穎. 在線(xiàn)形成性評(píng)價(jià)工具在英語(yǔ)寫(xiě)作中的應(yīng)用——困難及對(duì)策探究[J]. 現(xiàn)代教育技術(shù)，2011，(9)：88-93.

A Longitudinal Study on the Impacts of an Automated Writing Assessment System on the English Writing Proficiency of Chinese College EFL Learners

WANG Shu-wen

(School of Foreign Languages, Southwest Petroleum University, Chengdu 610500, China)

While many research results have proved that the automated writing assessment system has positive impacts on the improvement of writing quality, few researches examined the endurance of such effects in a longitudinal way. In this research, a longitudinal study was carried out to examine the effect of “Writing Roadmap” — an automated writing assessment system, on the English writing proficiency of non-English major freshmen. Pre-, mid-, post- and extended-tests were conducted to examine the enduring effect of Writing Roadmap on their English writing proficiency. The results indicate that more improvements in language form and writing quality were observed in the experimental group than that of the control one, and such an improvement in the writing quality was endured in the extended-test. Besides, non-significant improvements were found in textual structure in the experimental group. What’s more, there was little progress in post-test and extended test in both groups. So it is concluded that “Writing Roadmap” has showed enduring positive impact on the writing proficiency of the experimental group. It is expected that the findings of the study will provide references for the further integration of automated writing assessment system with writing teaching in the EFL classroom.

automated writing assessment system; English writing proficiency; language form; textual structure; writing quality

10.16482/j.sdwy37-1026.2017-02-007

2016-11-14

本文為四川省科技廳軟科學(xué)項(xiàng)目“基于語(yǔ)料庫(kù)的中外石油天然氣類(lèi)英語(yǔ)學(xué)術(shù)語(yǔ)篇的言據(jù)性研究”(項(xiàng)目編號(hào)：2015ZR0156)和西南石油大學(xué)教學(xué)課題“對(duì)比語(yǔ)言學(xué)視域下的研究生英語(yǔ)翻譯教學(xué)研究與實(shí)踐”(項(xiàng)目編號(hào)：2016JXYJ-38)的部分成果。

王淑雯(1970-)，女，漢族，安徽省固鎮(zhèn)人，教授。研究方向：語(yǔ)言學(xué)及應(yīng)用語(yǔ)言學(xué)。

H319

A

1002-2643(2017)02-0051-11