王利娜

（上海健康醫(yī)學院,上海 201318）

隨著語言處理、信息提取等方面技術的不斷進步，作文自動評價系統(tǒng)（Automated Writing Evaluation）得以開發(fā)應用。作文自動評價系統(tǒng)是一種計算機應用軟件，能夠自動生成作文評分，并且/或者在語言、內(nèi)容、篇章結構、技術規(guī)范等方面對作文進行反饋。常見的作文自動評價系統(tǒng)有Criterion、MY Access!、句酷批改網(wǎng)、iWrite英語寫作教學與評閱系統(tǒng)等?！洞髮W英語教學指南（2020版）》指出：大學英語應大力推進最新信息技術與課程教學的融合……使學習者朝著主動學習、自主學習和個性化學習方向發(fā)展[1]。另外，近幾年國內(nèi)外很多高校采取線上線下相結合的教學方式，也使得作文自動評價系統(tǒng)的應用更加廣泛。有關作文自動評價系統(tǒng)的理論和實證研究也成為近幾年外語教學領域的研究熱點。本文將從對作文自動評價系統(tǒng)的介紹及評價、教師和學習者對作文自動評價系統(tǒng)的態(tài)度調(diào)查研究、教師和學習者對作文自動評價系統(tǒng)的具體應用研究、基于作文自動評價系統(tǒng)的在線反饋有效性實證研究四個方面對外語教學中的作文自動評價系統(tǒng)研究進行述評。

一、作文自動評價系統(tǒng)的介紹及評價

目前國內(nèi)外比較流行的作文自動評價系統(tǒng)有E-rater，Criterion，My Access!，句酷批改網(wǎng)，iWrite等。梁茂成和文秋芳（2007）介紹了國外三種作文自動評價系統(tǒng)：Project Essay Grade，Intelligent Essay Assessor和E-rater。Project Essay Grade重語言形式，擅長對語言質(zhì)量的分析，但是對語言內(nèi)容不做分析。Intelligent Essay Assessor重作文內(nèi)容，擅長對作文內(nèi)容質(zhì)量的分析，但是不分析作文的語言質(zhì)量，對篇章結構也不作分析。而E-rater既重語言形式和作文內(nèi)容，又重篇章結構。其語言、內(nèi)容和篇章結構三個模塊與人工評分要素更為吻合，但是它對作文的內(nèi)容質(zhì)量分析存在不足，而對篇章結構的分析也拘泥于文本的表層特征，其對語言質(zhì)量的分析也不夠全面[2]。兩位學者在分析這三種國外作文自動評價系統(tǒng)的長處和不足的基礎上，提出了對我國自主開發(fā)作文自動評價系統(tǒng)的啟示。王穎和李振陽（2012）介紹了E-rater,Criterion,My Access!三種作文自動評價系統(tǒng)，并對其進行了評價[3]。

二、教師和學習者對作文自動評價系統(tǒng)的態(tài)度調(diào)查研究

教師和學習者對作文自動評價系統(tǒng)的態(tài)度在一定程度上會影響到他們對作文自動評價系統(tǒng)的具體應用及其使用效果。已有研究表明，教師和學習者對作文自動評價系統(tǒng)的態(tài)度有很大不同。Lai（2010）調(diào)查了22名英語為外語的學習者對同伴反饋和My Access!反饋的態(tài)度，結果表明相較于作文自動評價系統(tǒng)，學習者更傾向于同伴反饋。在虛擬課堂中，學習者沒有辦法體會到人性化的教學。大多數(shù)學習者認為作文自動評價系統(tǒng)反饋過于籠統(tǒng)，無法據(jù)此作出修改，他們對作文自動評價系統(tǒng)做出的模糊的、固定的有時還是重復的反饋并不滿意[4]。李奕華（2015）通過問卷調(diào)查發(fā)現(xiàn)學習者對句酷批改網(wǎng)的評分結果的滿意度較低。學習者認為句酷批改網(wǎng)僅從語言上評價寫作，無法評價內(nèi)容的相關性和結構的合理性，并且關于寫作的建議也比較空泛。但是，由于基于句酷批改網(wǎng)的線上反饋方式使學習者無需與教師面對面，這能夠在一定程度上緩解他們的寫作焦慮[5]。Li et al.（2015）就Criterion在教學中的應用對學習者和教師進行了訪談。教師肯定了此系統(tǒng)對學習者寫作的積極作用。但是學習者中的觀點卻不一致，這與學習者的語言水平以及教師對作文自動評價系統(tǒng)的觀點及具體使用相關[6]。也有研究表明學習者對作文自動評價系統(tǒng)持肯定態(tài)度。張珊珊和徐錦芬（2019）發(fā)現(xiàn)不同水平的學習者對句酷批改網(wǎng)提供的在線自動反饋是否有效態(tài)度不同，低水平組學習者感知有效性得分高于高水平組學習者的得分[7]。綜上所述，教師和學習者對作文自動評價系統(tǒng)的接受度有所不同，對其是否能夠有效促進外語教學也意見不一，這有待未來研究進一步考察。

三、教師和學習者對作文自動評價系統(tǒng)的具體應用研究

教師和學習者對作文自動評價系統(tǒng)的態(tài)度及其對教學技術的掌握程度在一定程度上會影響到他們在教學中對作文自動評價系統(tǒng)的具體應用。Chen &Cheng（2008）通過對教師和學習者的訪談，調(diào)查了臺灣三個大學英語寫作課堂上教師和學習者對My Access！的使用情況。他們發(fā)現(xiàn)學習者在初期的草稿和修改的過程中對作文自動評價系統(tǒng)的使用更為積極。但是，如果不對學習者使用My Access!加以輔助的話，會使學習者產(chǎn)生挫折感，并限制他們的寫作學習[8]。另外，教師對作文自動評價系統(tǒng)的使用態(tài)度和技能，以及學習者的特點及寫作學習的目標，也會影響到他們對作文自動評價系統(tǒng)的具體應用。盧鹿（2016）采用有聲思維和回溯訪談的方法，研究了學習者基于句酷批改網(wǎng)的二語寫作過程。研究發(fā)現(xiàn)學習者能夠充分關注句酷批改網(wǎng)做出的自動反饋信息，學習者的作文修改過程經(jīng)歷了分析問題、修改語言和檢驗成效三個階段[9]。Ranalli（2021）通過屏幕截圖、刺激回憶以及訪談的方式調(diào)查了學習者使用Grammarly的參與度，以及學習者對其反饋的信任程度。結果發(fā)現(xiàn)，學習者更傾向于把Grammarly當成是校對工具而不是反饋工具[10]。這可能是因為該系統(tǒng)對大部分錯誤都給出了具體的修正方法，因此學習者幾乎不需要再自行更正。而學習者對Grammarly的信任程度也決定了其對Grammarly反饋的參與度。

四、基于作文自動評價系統(tǒng)的在線反饋有效性實證研究

隨著作文自動評價系統(tǒng)的應用越來越廣泛，對其有效性的實證研究也不斷涌現(xiàn)。Attali（2004）研究了Criterion提供的反饋是否有助于學習者后續(xù)作文的修改。結果表明學習者在一定程度上能夠理解并關注到Criterion做出的反饋，并且在后續(xù)作文稿中糾正錯誤[11]。此研究將學習者提交作文稿的次數(shù)作為衡量學習者作文自動評價系統(tǒng)使用情況的指標。學習者作文稿提交的次數(shù)可以粗略估計學習者使用作文自動評價系統(tǒng)的頻率，但是僅根據(jù)學習者作文稿提交次數(shù)判斷學習者是否受益于作文自動評價系統(tǒng)是不準確的。Li et al.（2015）同樣考察了Criterion在以英語為二語的寫作教學中的使用情況。結果發(fā)現(xiàn)，Criterion可以促進學習者作文稿修訂次數(shù)的增加，基于Criterion的反饋有助于提升初稿到終稿的準確性[6]。相較于Attali（2004）的研究，他們不但考察了學習者作文稿修訂的次數(shù)，還把作文準確性也納入統(tǒng)計，結果更加令人信服。

近些年來，國內(nèi)學者對作文自動評價系統(tǒng)在我國英語寫作教學中的效果也進行了探索。呂婷婷等（2015）研究了大學英語寫作教學中數(shù)字化寫作資源平臺的作用。結果表明，這一平臺的自動反饋能夠促進學習者的英語寫作學習。他們提出在產(chǎn)出性詞匯的知識深度層面，需要加強對語境的智能化理解，并完善深層次的語義反饋[12]。李奕華（2015）以90名英語專業(yè)本科生為研究對象進行了實證研究。結果發(fā)現(xiàn)單純的句酷批改網(wǎng)自動評分反饋對學習者整體寫作水平提高的效果較小，教師干預下的句酷批改網(wǎng)自動評分反饋方式更能提高學習者的寫作水平[5]。張華（2019）的研究同樣證實了相較于在線自動反饋，人機多元反饋更有利于學習者寫作質(zhì)量的提高[13]。龔偉等（2019）分析了不同水平組學習者在32周的時間里在句酷批改網(wǎng)上的作文完成情況，發(fā)現(xiàn)基于句酷批改網(wǎng)的作文自動評價有利于學習者語言復雜性的發(fā)展，有無混合教師人工批閱對句法復雜性的影響大于詞匯復雜性的影響[14]。張珊珊和徐錦芬（2019）研究了句酷批改網(wǎng)對不同水平學習者寫作的影響，結果發(fā)現(xiàn)在線自動反饋影響寫作過程，促進多稿多改，但是僅對低水平學習者有幫助，而高水平學習者的寫作水平并無提高。張亞和趙永剛（2020）的實證研究發(fā)現(xiàn)句酷批改網(wǎng)反饋能夠顯著提升學習者的英語寫作水平，但句酷批改網(wǎng)組寫作水平的提升幅度小于教師口頭反饋組，大于教師書面反饋組。但是，各組之間的差異并不顯著。句酷批改網(wǎng)對學習者寫作詞匯句法維度的提升效果最好[15]。由此可見，目前為止對于外語寫作教學過程中基于作文自動評價系統(tǒng)的線上反饋是否能夠有效促進外語寫作教學還沒有形成定論。

結語

本文從對作文自動評價系統(tǒng)的介紹及評價、教師和學習者對作文自動評價系統(tǒng)的態(tài)度調(diào)查研究、教師和學習者對作文自動評價系統(tǒng)的具體應用研究以及基于作文自動評價系統(tǒng)的在線反饋有效性實證研究四個方面對外語教學中的作文自動評價系統(tǒng)研究進行了述評。研究發(fā)現(xiàn)，教師和學習者對作文自動評價系統(tǒng)的接受度有所不同，對其是否能夠有效促進外語教學的效果也意見不一。教師和學習者對待作文自動評價系統(tǒng)的態(tài)度在一定程度上會影響到教學中對作文自動評價系統(tǒng)的具體應用以及線上反饋的效果。另外，由于作文自動評價系統(tǒng)技術和設計本身具有局限性，語言教師需要更加批判性地認識到，作文自動評價系統(tǒng)的實施需要經(jīng)過深思熟慮的教學設計。如何有效實施基于作文自動評價系統(tǒng)的線上反饋是實現(xiàn)作文自動評價系統(tǒng)促進學習者寫作水平提升的關鍵之所在。但是，目前針對外語教學過程中基于作文自動評價系統(tǒng)的線上反饋是否能夠有效促進外語教學尚未形成定論?；谧魑淖詣釉u價系統(tǒng)的大學英語寫作教學在線反饋的最優(yōu)模式也有待進一步挖掘。