李林株

(福建商業(yè)高等?？茖W(xué)校外語(yǔ)系，福建 福州 350012)

?

網(wǎng)絡(luò)視閾下的高職英語(yǔ)寫作評(píng)價(jià)模式研究
——以句酷批改網(wǎng)為例

李林株

(福建商業(yè)高等?？茖W(xué)校外語(yǔ)系，福建 福州 350012)

寫作評(píng)價(jià)是寫作教學(xué)的重要環(huán)節(jié),直接影響到學(xué)生的寫作動(dòng)機(jī)和寫作態(tài)度。傳統(tǒng)的高職英語(yǔ)寫作評(píng)價(jià)模式比較單一,且存在較多缺陷。以句酷批改網(wǎng)為代表的自動(dòng)作文評(píng)分系統(tǒng)的應(yīng)用極大地解決了這些問(wèn)題,但自動(dòng)作文評(píng)分系統(tǒng)也存在明顯的不足。因此應(yīng)建立多元化的英語(yǔ)寫作評(píng)價(jià)模式,并充分發(fā)揮網(wǎng)絡(luò)的優(yōu)勢(shì),增強(qiáng)師生間的互動(dòng),加強(qiáng)對(duì)學(xué)生寫作過(guò)程的指導(dǎo)、監(jiān)督和激勵(lì),以提高學(xué)生的英語(yǔ)寫作水平和能力。

英語(yǔ)寫作;評(píng)價(jià)模式;自動(dòng)作文評(píng)分系統(tǒng);句酷批改網(wǎng)

寫作是英語(yǔ)學(xué)習(xí)中“聽(tīng)、說(shuō)、讀、寫、譯”五項(xiàng)基本技能之一，是英語(yǔ)習(xí)得過(guò)程中的重要環(huán)節(jié)，它不僅能直接體現(xiàn)一個(gè)人的語(yǔ)言綜合應(yīng)用能力，還能反映一個(gè)人的邏輯思維和分析能力。寫作評(píng)價(jià)是寫作教學(xué)的重要環(huán)節(jié)，它直接影響到學(xué)生的寫作動(dòng)機(jī)和寫作態(tài)度。因此，科學(xué)、客觀、綜合地評(píng)價(jià)學(xué)生的英語(yǔ)寫作水平和能力，改進(jìn)英語(yǔ)寫作評(píng)價(jià)模式，并用評(píng)價(jià)的反饋信息有效地指導(dǎo)學(xué)生寫作，提高學(xué)生的英語(yǔ)寫作水平，是從事大學(xué)英語(yǔ)教學(xué)和研究的人員所關(guān)注和研究的熱點(diǎn)。

一、傳統(tǒng)的英語(yǔ)寫作評(píng)價(jià)模式及其缺陷

傳統(tǒng)的高職英語(yǔ)寫作評(píng)價(jià)模式一般是學(xué)生提交紙質(zhì)或者電子文稿，教師逐字逐句批改，給出分?jǐn)?shù)，然后點(diǎn)評(píng)寫作中的典型錯(cuò)誤。這種評(píng)價(jià)模式比較單一，也存在一些明顯的缺陷：第一，批改速度慢，教師負(fù)擔(dān)重；第二，過(guò)多地注重詞匯、語(yǔ)法等方面的錯(cuò)誤，忽視了對(duì)學(xué)生寫作過(guò)程的關(guān)注；第三，教師與學(xué)生缺乏直接交流，無(wú)法了解學(xué)生的寫作思維過(guò)程；第四，教師對(duì)學(xué)生作文的評(píng)判“往往以主觀印象為主，缺乏統(tǒng)一、標(biāo)準(zhǔn)、科學(xué)、客觀的尺度”[1]；第五，學(xué)生往往只關(guān)注分?jǐn)?shù)，對(duì)批改中反饋的問(wèn)題很少進(jìn)一步探討、修改。而研究表明，學(xué)生依據(jù)反饋信息對(duì)作文進(jìn)行整改的第二寫作過(guò)程，對(duì)提高學(xué)生的語(yǔ)言能力有著極重要的作用[2]。這些問(wèn)題都直接影響了學(xué)生寫作的積極性，制約了學(xué)生英語(yǔ)寫作能力的提高。

二、國(guó)內(nèi)外自動(dòng)作文評(píng)分系統(tǒng)概述

近年來(lái)，隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的發(fā)展，語(yǔ)言測(cè)試正逐漸走向智能化，其中自動(dòng)作文評(píng)分系統(tǒng)(Automated Essay Scoring, AES)的研發(fā)和應(yīng)用帶來(lái)了寫作評(píng)價(jià)模式的變革。國(guó)外成熟的自動(dòng)作文評(píng)分系統(tǒng)主要有Project Essay Grade(PEG), Intelligent Essay Assessor(IEA), Electronic Essay Rater(E-rater), IntelliMetricTM, Bayesian Essay Test Scoring sYstem(BETSY)等。這些評(píng)分系統(tǒng)大都只針對(duì)英語(yǔ)作為母語(yǔ)的作文評(píng)分，只有E-rater系統(tǒng)可用于評(píng)判英語(yǔ)作為外語(yǔ)(EFL)的作文，并已應(yīng)用于托福考試的作文評(píng)分。但“該系統(tǒng)最大的問(wèn)題是不能判別語(yǔ)法正確，但內(nèi)容空洞的作文”[3]，再加之“該系統(tǒng)使用起來(lái)價(jià)格昂貴，對(duì)中國(guó)學(xué)生作文的評(píng)價(jià)針對(duì)性不強(qiáng)，其評(píng)分方法只適用于大規(guī)模的考試，并不適合小規(guī)模的課堂教學(xué)寫作等，導(dǎo)致其無(wú)法實(shí)際應(yīng)用于我國(guó)大學(xué)英語(yǔ)寫作教學(xué)和測(cè)試中”[4]。

隨著英語(yǔ)學(xué)習(xí)者和各種大規(guī)?？荚噮⑴c人數(shù)的增加，國(guó)內(nèi)對(duì)自動(dòng)作文評(píng)分系統(tǒng)的需求也日益強(qiáng)烈。目前已開(kāi)發(fā)的自動(dòng)作文評(píng)分系統(tǒng)有由梁茂成教授主持并獲得國(guó)家專利的“大規(guī)?？荚囉⒄Z(yǔ)作文自動(dòng)評(píng)分系統(tǒng)”“《新視野大學(xué)英語(yǔ)》作文自動(dòng)評(píng)分系統(tǒng)” “冰果英語(yǔ)智能作文評(píng)閱系統(tǒng)” “句酷批改網(wǎng)”，部分系統(tǒng)已在一些高校中得到應(yīng)用，但仍處于試驗(yàn)和探索階段。

本文試圖以這幾種系統(tǒng)中目前應(yīng)用最為廣泛的句酷批改網(wǎng)為例，探討基于網(wǎng)絡(luò)的高職英語(yǔ)寫作評(píng)價(jià)模式，為英語(yǔ)語(yǔ)言研究和語(yǔ)言教學(xué)研究提供新的研究視角和研究工具。

三、句酷批改網(wǎng)的特點(diǎn)及優(yōu)勢(shì)

句酷批改網(wǎng)是由北京詞網(wǎng)科技有限公司研發(fā)的英語(yǔ)自動(dòng)作文評(píng)分系統(tǒng)，提供基于云計(jì)算的英語(yǔ)作文自動(dòng)批改在線服務(wù)，通過(guò)計(jì)算學(xué)生作文和標(biāo)準(zhǔn)語(yǔ)料庫(kù)之間的距離，即時(shí)生成作文分?jǐn)?shù)和語(yǔ)言及內(nèi)容分析結(jié)果?！芭木W(wǎng)”自2011年6月上線后，吸引了包括清華大學(xué)、北京大學(xué)、復(fù)旦大學(xué)等5000所內(nèi)地和港澳臺(tái)學(xué)校使用，注冊(cè)教師達(dá)8萬(wàn)人，注冊(cè)學(xué)生1330萬(wàn)人，批改作文191,700,000余篇[5]。

句酷批改網(wǎng)具有以下特點(diǎn)和優(yōu)勢(shì)：

(一)使用便捷、反饋及時(shí)、評(píng)閱效率高。

(二)通過(guò)計(jì)算學(xué)生作文與標(biāo)準(zhǔn)語(yǔ)料庫(kù)之間的距離生成分?jǐn)?shù)，評(píng)分不受人為因素影響，較為客觀。

(三)按句點(diǎn)評(píng)，自動(dòng)識(shí)別拼寫、詞匯、語(yǔ)法、標(biāo)點(diǎn)、搭配等簡(jiǎn)單錯(cuò)誤。學(xué)生可以根據(jù)系統(tǒng)的反饋進(jìn)行多次修改提交，并結(jié)合“學(xué)習(xí)提示”進(jìn)行自主學(xué)習(xí)。人機(jī)互動(dòng)，有利于激發(fā)學(xué)生的寫作興趣和積極性，提高學(xué)生的寫作水平和自主學(xué)習(xí)能力。同時(shí)也減輕了教師的工作量，教師無(wú)需花費(fèi)大量的時(shí)間改正繁瑣的小錯(cuò)誤，而是把精力集中在審查評(píng)閱作文的主題、內(nèi)容、結(jié)構(gòu)、組織等更重要的方面。

(四)提供抄襲檢測(cè)功能，能有效檢測(cè)學(xué)生提交的作文與本班其他同學(xué)的作文或與語(yǔ)料庫(kù)、互聯(lián)網(wǎng)的內(nèi)容是否有重復(fù)，并提供相似度供教師參考。

(五)提供各種數(shù)據(jù)分析，如學(xué)生表現(xiàn)(包括得分排行和修改排行)、成長(zhǎng)軌跡、分?jǐn)?shù)分布、錯(cuò)誤統(tǒng)計(jì)等，有利于教師掌握學(xué)生的總體答題情況、薄弱環(huán)節(jié)，了解學(xué)生的學(xué)習(xí)態(tài)度，監(jiān)控學(xué)生的寫作過(guò)程，為及時(shí)調(diào)整教學(xué)計(jì)劃、改進(jìn)教學(xué)方法提供依據(jù)。

(六)教師可將布置的作文分享到微博、微信或QQ空間，學(xué)生可直接點(diǎn)擊相關(guān)鏈接提交作文，有利于增強(qiáng)師生間的互動(dòng)，提高學(xué)生寫作的積極性。

(七)提供在線寫法指導(dǎo)講座，定期舉辦英語(yǔ)寫作大賽，為各類英語(yǔ)寫作比賽提供技術(shù)支持。如正在舉行的“2016百萬(wàn)同題寫作活動(dòng)”，已吸引超過(guò)萬(wàn)名教師引用，7萬(wàn)余名學(xué)生答題，這無(wú)疑為英語(yǔ)學(xué)習(xí)者和愛(ài)好者提供了更廣闊的自主學(xué)習(xí)平臺(tái)和拓展空間，也成為英語(yǔ)寫作課堂教學(xué)的有益補(bǔ)充和延伸。

四、基于句酷批改網(wǎng)的高職英語(yǔ)寫作評(píng)價(jià)模式的實(shí)證研究

(一)研究的主要問(wèn)題

1.句酷批改網(wǎng)在多大程度上可以用來(lái)預(yù)測(cè)作文得分？即句酷批改網(wǎng)的效度如何？

2.句酷批改網(wǎng)與人工評(píng)閱得分之間是否有顯著的差異？

(二)研究對(duì)象

參與本次研究的對(duì)象均為福建商業(yè)高等?？茖W(xué)校二年級(jí)的學(xué)生，分別是商務(wù)英語(yǔ)專業(yè)學(xué)習(xí)《英語(yǔ)應(yīng)用文寫作》課程的學(xué)生156名(其中12級(jí)54名、13級(jí)48名、14級(jí)54名)和非英語(yǔ)專業(yè)(13級(jí)企業(yè)管理)學(xué)習(xí)《公共英語(yǔ)》課程的學(xué)生20名。

(三)研究工具

句酷批改網(wǎng)

(四)研究方法

教師在句酷批改網(wǎng)上布置作文-學(xué)生提交作文-教師對(duì)學(xué)生提交的作文進(jìn)行人工評(píng)閱-教師運(yùn)用SPSS數(shù)據(jù)統(tǒng)計(jì)軟件將人工評(píng)閱的結(jié)果與句酷批改網(wǎng)的評(píng)閱結(jié)果進(jìn)行比較分析，見(jiàn)表1。

參與人工評(píng)閱的3名教師長(zhǎng)期從事高職英語(yǔ)寫作課程的教學(xué)和理論研究，積累了豐富的寫作教學(xué)經(jīng)驗(yàn)，熟悉評(píng)分規(guī)則，能夠較為準(zhǔn)確地把握作文的命題，給予公正的評(píng)分，并且已將句酷批改網(wǎng)應(yīng)用于英語(yǔ)寫作教學(xué)3年，積累了一定的前期數(shù)據(jù)。

(五)研究結(jié)果

皮爾遜相關(guān)系數(shù)≥0.01即為具有相關(guān)性，數(shù)字越大，相關(guān)性越高。從表1中可以看出，這四篇作文的句酷批改網(wǎng)評(píng)閱與人工評(píng)閱的皮爾遜相關(guān)系數(shù)均大于0.8，表明二者有顯著的相關(guān)性。表1的數(shù)據(jù)表明，將句酷批改網(wǎng)應(yīng)用于高職英語(yǔ)寫作的評(píng)價(jià)模式中是相當(dāng)有效和可信的，在很大程度上可以幫助教師減輕批閱作文的工作量，為綜合評(píng)價(jià)學(xué)生的寫作水平和能力提供有效的參考依據(jù)。

表1　四篇作文的句酷批改網(wǎng)評(píng)閱與人工評(píng)閱對(duì)比

除此之外，筆者還發(fā)現(xiàn)：1.句酷批改網(wǎng)評(píng)閱的平均分?jǐn)?shù)普遍高于人工評(píng)閱的平均分?jǐn)?shù)；2.對(duì)于高職英語(yǔ)專業(yè)中常見(jiàn)的應(yīng)用文寫作，句酷批改網(wǎng)評(píng)閱和人工評(píng)閱的平均分?jǐn)?shù)相差不大，但在具體作文的評(píng)分上卻出現(xiàn)較大的差異。一篇文不對(duì)題的文章與一篇緊扣主題的文章相比，句酷批改網(wǎng)評(píng)分高的情況時(shí)有出現(xiàn)。值得注意的是，這種誤判的情況更多地出現(xiàn)在英語(yǔ)應(yīng)用文文體的寫作中，在非應(yīng)用文文體寫作中誤判的情況相對(duì)較少。

(六)總結(jié)

從以上實(shí)證研究中，筆者總結(jié)出句酷批改網(wǎng)存在的不足：

1．句酷批改網(wǎng)雖然能按句點(diǎn)評(píng)，指出簡(jiǎn)單錯(cuò)誤，但卻不能給出具體的修改建議。

2．句酷批改網(wǎng)更多關(guān)注的是詞匯、語(yǔ)法、句子等形式方面的變量[6]，尚不能準(zhǔn)確地判斷文章與主題的相關(guān)性、內(nèi)在的邏輯性和連貫性[7]，更不能像人一樣去欣賞文章語(yǔ)言的優(yōu)美、幽默、流暢性等能反映文章內(nèi)在質(zhì)量[3]的東西，因此無(wú)法全面準(zhǔn)確地評(píng)估學(xué)生的英語(yǔ)寫作水平，有時(shí)還存在前文中所提到的誤判現(xiàn)象。

3．句酷批改網(wǎng)的智能性還需進(jìn)一步提高。它不能判斷高職英語(yǔ)應(yīng)用文寫作的格式是否規(guī)范，對(duì)教師布置作文的主題也不能準(zhǔn)確地識(shí)別。例如，筆者布置了一篇感謝信的寫作，而機(jī)器模擬提交的則是一篇關(guān)于英語(yǔ)和漢語(yǔ)誰(shuí)更重要的文章。

4．教師在句酷批改網(wǎng)布置高職英語(yǔ)應(yīng)用文寫作中常見(jiàn)的圖表類作文操作上還存在一定的困難，如何便捷地將圖表呈現(xiàn)在寫作要求中還需要系統(tǒng)功能進(jìn)一步完善。

五、充分發(fā)揮自動(dòng)作文評(píng)分系統(tǒng)在英語(yǔ)寫作教學(xué)中的作用

以句酷批改網(wǎng)為代表的自動(dòng)作文評(píng)分系統(tǒng)是網(wǎng)絡(luò)時(shí)代計(jì)算機(jī)與語(yǔ)言結(jié)合的協(xié)同創(chuàng)新，一方面可以有效提升英語(yǔ)寫作教學(xué)的效率，增強(qiáng)教學(xué)的互動(dòng)性，另一方面也為語(yǔ)言研究、語(yǔ)言教學(xué)研究提供了新的研究視角和研究工具，值得被廣大院校引進(jìn)、推廣和應(yīng)用。但正如上文中所提到的，該系統(tǒng)還存在明顯的缺陷，無(wú)法完全取代傳統(tǒng)的人工評(píng)閱模式。為了最大限度地發(fā)揮自動(dòng)作文評(píng)分系統(tǒng)的作用，筆者提出如下建議：

(一)建立基于網(wǎng)絡(luò)的多元化高職英語(yǔ)寫作評(píng)價(jià)模式，將智能評(píng)閱與人工評(píng)閱相結(jié)合，教師評(píng)閱與學(xué)生自評(píng)、互評(píng)相結(jié)合，課堂重點(diǎn)示范評(píng)閱與課后全體評(píng)閱相結(jié)合，形成性評(píng)估與終結(jié)性評(píng)估相結(jié)合，充分發(fā)揮學(xué)生的能動(dòng)性，使每一個(gè)學(xué)生都參與到“寫作—修改—評(píng)閱—再修改—再評(píng)閱”的過(guò)程中來(lái)，從而不斷提高學(xué)生的英語(yǔ)寫作水平和思維能力。

(二)充分發(fā)揮網(wǎng)絡(luò)便利性、即時(shí)性的優(yōu)勢(shì)，通過(guò)微博、微信、QQ等多種方式，增強(qiáng)師生間的互動(dòng)，加強(qiáng)對(duì)學(xué)生寫作過(guò)程的指導(dǎo)、監(jiān)督和激勵(lì)，及時(shí)解決學(xué)生在寫作過(guò)程中遇到的問(wèn)題，把英語(yǔ)學(xué)習(xí)和討論延伸到課外。

(三)協(xié)同語(yǔ)言專家、計(jì)算機(jī)專家、邏輯專家和教學(xué)專家的努力，進(jìn)一步提高自動(dòng)作文評(píng)分系統(tǒng)的智能性和可操作性。合理構(gòu)建完善語(yǔ)料庫(kù)，更多地從語(yǔ)篇組織、結(jié)構(gòu)、邏輯連貫性等方面綜合評(píng)估學(xué)生的英語(yǔ)寫作水平。

[1]李志雪， 李紹山．對(duì)國(guó)內(nèi)英語(yǔ)寫作研究現(xiàn)狀的思考—對(duì)八種外語(yǔ)類核心期刊十年(1993-2002)的統(tǒng)計(jì)分析[J]．外語(yǔ)界，2003，(06)：55-60．

[2]何萬(wàn)貫．第二寫作過(guò)程研究[J]．現(xiàn)代外語(yǔ)，2007，(04)：375-386．

[3]陳瀟瀟，葛詩(shī)利．自動(dòng)作文評(píng)分研究綜述[J]．解放軍外國(guó)語(yǔ)學(xué)院學(xué)報(bào)，2008，(05)：78-83．

[4]葛詩(shī)利，陳瀟瀟．文本聚類在大學(xué)英語(yǔ)作文自動(dòng)評(píng)分中的應(yīng)用[J]．計(jì)算機(jī)工程與應(yīng)用，2009，45(06)：145-148．

[5]句酷批改網(wǎng)．實(shí)時(shí)日志[EB/OL] ．(2016-05-20)[2016-05-12]. http://www.pigai.org/?a=pad3.

[6]Page, E. B. Project Essay Grade: PEG [C]//M. D. Shemis & J. Burstein. Automated Essay Scoring: A Cross-disciplinary Perspective. Mahwah, NJ: Lawrence Erlbaum Associates, 2003: 43-54．

[7]楊冬梅．大學(xué)英語(yǔ)智能寫作評(píng)分系統(tǒng)中教師監(jiān)控策略[J]．湖北廣播電視大學(xué)學(xué)報(bào)，2013，(09)：132-133．

(責(zé)任編輯：練秀明)

Research on English Essay Assessing Model from the Perspective of the Internet in Higher Vocational and Technical College: A Case Study of Pigai

LI Lin-zhu

(Foreign Languages Department, Fujian Commercial College, Fuzhou 350012, China)

Essay scoring is significant in teaching the course of writing, as it influences the motivation and attitude of the students directly. The traditional college English essay assessing model is rather monotonous and has lots of weaknesses. In recent years, the application of such Automated Essay Scoring (AES) as Pigai has greatly solved the problems occurring in the traditional model. However, the research shows AES has both advantages and disadvantages. Therefore, we must develop a diversified English essay assessing model and give full play to the Internet to increase the interaction between the teacher and students, and to strengthen the guidance, supervision and stimulating of the students so as to promote their writing ability in English.

English essay； assessing model; automated essay scoring; Pigai

2016-05-20

福建商業(yè)高等專科學(xué)校2014年校級(jí)課題“基于網(wǎng)絡(luò)的高職英語(yǔ)寫作評(píng)價(jià)模式研究—以句酷批改網(wǎng)為例”(SZ201407B)；2015年教育部職業(yè)院校外語(yǔ)類專業(yè)教學(xué)指導(dǎo)委員會(huì)(簡(jiǎn)稱“外語(yǔ)教指委”) “基于大數(shù)據(jù)的高職英語(yǔ)寫作教學(xué)創(chuàng)新研究課題”中的重點(diǎn)課題“基于大數(shù)據(jù)的高職學(xué)生英語(yǔ)寫作評(píng)價(jià)模式探究—以句酷批改網(wǎng)為例”(GZGZ5414-05)。

李林株(1978-)，女，四川劍閣人，講師，碩士。研究方向：外國(guó)語(yǔ)言學(xué)及應(yīng)用語(yǔ)言學(xué)。

H319

A

1008-4940(2016)04-0085-05