楊淑玲

（吉林師范大學(xué) 外國語學(xué)院，吉林 四平 136000）

英語寫作自動(dòng)評分系統(tǒng)反饋功能評析
——以句酷網(wǎng)自動(dòng)評分系統(tǒng)為例

楊淑玲

（吉林師范大學(xué) 外國語學(xué)院，吉林 四平 136000）

句酷網(wǎng)自動(dòng)評分系統(tǒng)為學(xué)習(xí)者和教學(xué)者提供全面準(zhǔn)確的擬人工批改模式，為現(xiàn)代英語寫作學(xué)習(xí)和教學(xué)提供了新的思路和方法，能高效實(shí)現(xiàn)英語寫作的反饋需求，促進(jìn)學(xué)習(xí)者自主學(xué)習(xí)。

英語寫作；句酷網(wǎng)自動(dòng)評分系統(tǒng)；反饋

一、英語寫作自動(dòng)評分系統(tǒng)產(chǎn)生的背景

隨著計(jì)算機(jī)軟件的發(fā)展，基于語料庫的自動(dòng)評分系統(tǒng)的可信度和有效性以及對非母語學(xué)習(xí)者的應(yīng)用也越來越引起人們的興趣。該項(xiàng)技術(shù)的研究起始于20世紀(jì)60年代，幾十年來，自動(dòng)評分系統(tǒng)采用了數(shù)學(xué)統(tǒng)計(jì)、自然語言處理（NLP）及人工智能等方面的最新成果，于1999年進(jìn)入實(shí)際應(yīng)用階段。至今已經(jīng)有多個(gè)國家開發(fā)出針對英語作文的自動(dòng)評分系統(tǒng)，如 E-rater（Electronic Essay Rater），PEG（Project Essay Grader），IEA（Intelligent Essay Assessor），Intellimetric，Writing Roadmap和我國目前比較流行的句酷批改網(wǎng)自動(dòng)評分系統(tǒng)。本文研究的英語自動(dòng)評分系統(tǒng)將以句酷批改網(wǎng)為例。

二、句酷網(wǎng)自動(dòng)評分系統(tǒng)的特點(diǎn)

1.自動(dòng)評分高效準(zhǔn)確

句酷網(wǎng)自動(dòng)評分系統(tǒng)是一種基于語料庫與云計(jì)算技術(shù)的英語作文自動(dòng)評分系統(tǒng)。通過計(jì)算學(xué)習(xí)者作文與標(biāo)準(zhǔn)語料庫的差距，即時(shí)生成學(xué)習(xí)者的作文得分以及語言內(nèi)容的分析結(jié)果，幫助學(xué)生自主提高寫作能力和水平。句酷網(wǎng)自動(dòng)評分系統(tǒng)的核心是打分引擎，它能夠自動(dòng)提取作文中反映英語寫作水平的數(shù)據(jù)指標(biāo)，并且基于事先選擇訓(xùn)練集設(shè)置數(shù)據(jù)指標(biāo)和分?jǐn)?shù)，以及數(shù)據(jù)指標(biāo)和打分維度的對應(yīng)關(guān)系，即打分公式。經(jīng)過多次測試集的對比分析表明，系統(tǒng)打分和人工打分的基本一致率達(dá)到了92.03%。目前系統(tǒng)支持192個(gè)打分?jǐn)?shù)據(jù)指標(biāo)，基于此可以創(chuàng)建多個(gè)打分公式。以四級打分公式為例，使用者將數(shù)據(jù)指標(biāo)設(shè)計(jì)為詞匯、句子、篇章結(jié)構(gòu)和內(nèi)容相關(guān)四大維度。

2.基于語料庫按句點(diǎn)評，促進(jìn)學(xué)習(xí)

目前句酷網(wǎng)自動(dòng)評分系統(tǒng)有兩個(gè)應(yīng)用目標(biāo)：一是用于大規(guī)模考試的自動(dòng)評分，二是用于寫作學(xué)習(xí)，作為一個(gè)提供反饋的工具。目前國外的大多數(shù)系統(tǒng)都是以第一個(gè)目標(biāo)為主，但實(shí)際上對于學(xué)生學(xué)習(xí)的需求來看，第二個(gè)目標(biāo)反而更重要。第二語言寫作的熟練程度需要很多年才能培養(yǎng)出來，包括詞匯、語法、語篇等多個(gè)方面。句酷批改網(wǎng)自動(dòng)評分系統(tǒng)可以幫助學(xué)生解決很多現(xiàn)實(shí)問題。第一是詞匯。詞匯是語言使用中的最基本的單位，很多第二語言學(xué)習(xí)者的最大問題是詞匯量不夠多，無法順利地表達(dá)自己的想法，限于有限的詞匯量，很多學(xué)習(xí)者生搬硬套，找一些表面意義相關(guān)的詞來代替，結(jié)果導(dǎo)致詞匯使用上的錯(cuò)誤。有些學(xué)習(xí)者對詞匯用法的掌握不夠透徹，只知其一不知其二，和其他近義詞的用法混淆，進(jìn)而導(dǎo)致選詞錯(cuò)誤，表達(dá)意思不夠準(zhǔn)確清晰，更不用說符合英語國家的語言文化了。針對這一問題，句酷網(wǎng)上有詞匯辨析功能，有大量的例詞例句供學(xué)習(xí)者使用。第二是語法。語法是語言使用的規(guī)范和規(guī)則，它有明確的標(biāo)準(zhǔn)，不能在寫作中任意發(fā)揮。有些學(xué)習(xí)者在時(shí)態(tài)、各種從句、分詞短語、不定式短語的使用上出現(xiàn)混亂，導(dǎo)致寫作錯(cuò)誤，如主謂不一致、逗號拼接句子、虛懸修飾語、錯(cuò)誤的平行結(jié)構(gòu)。如在Driving to the office in a hurry，his car crashed into a truck這句話中，Driving的真正主語應(yīng)該是he，但是在此句中，主語卻是his car，這個(gè)錯(cuò)誤就是虛懸修飾。還有一個(gè)很重要的原因就是母語的負(fù)遷移影響。有些學(xué)習(xí)者喜歡把要表達(dá)的意思用母語表達(dá)一遍，然后將其翻譯成英語，這樣，就出現(xiàn)了中式表達(dá)，連很多英語為母語的人都很難讀懂。針對這些語法規(guī)則性錯(cuò)誤和中式表達(dá)語，句酷批改網(wǎng)能夠給出準(zhǔn)確的修改意見，一目了然。第三是語篇問題。一篇好的作文，應(yīng)該是用詞準(zhǔn)確、語法無誤，語句通順、表達(dá)流暢，并盡可能做到過渡與銜接自然、中心明確、層次分明、邏輯清楚。有些學(xué)習(xí)者因詞匯量缺乏，反復(fù)使用同一個(gè)詞匯或句式，使文章顯得單調(diào)乏味。而不善于使用連接詞，會(huì)使語句前后銜接不暢，語義不連貫。這一問題也可以通過句酷網(wǎng)詞頻和從句的統(tǒng)計(jì)數(shù)據(jù)中得到啟示。學(xué)習(xí)者結(jié)合句酷批改網(wǎng)的意見，注意語句之間的各種邏輯關(guān)系，如時(shí)空、因果、轉(zhuǎn)折、條件、對比、平行、遞進(jìn)等，合理使用恰當(dāng)?shù)倪B接詞，如that、and、then、when、because、so、if、but等來銜接和過渡單句，包括使之構(gòu)成復(fù)合句，自然會(huì)增強(qiáng)語句之間的邏輯性，使語義清晰連貫，自然流暢。

句酷網(wǎng)自動(dòng)評分系統(tǒng)區(qū)別于其它系統(tǒng)的最大特點(diǎn)就是基于海量語料庫的按句點(diǎn)評，能夠滿足英語作文寫作反饋中四個(gè)方面的需求，主要包括：（1）鼓勵(lì)地道值得推薦的用法：對于學(xué)生作文中高分詞組、搭配或者句型，系統(tǒng)會(huì)給出鼓勵(lì)性意見，讓學(xué)生更加有興趣使用，并且相關(guān)參考讓學(xué)生把已有的發(fā)揮得更好。（2）建議改正錯(cuò)誤用法：對于學(xué)生作文中的語法和拼寫錯(cuò)誤，系統(tǒng)會(huì)告訴錯(cuò)誤類型和改進(jìn)建議。（3）提示中式英語（Chinglish）表達(dá)：中式英語屬于語法正確但會(huì)讓英語本族語感覺不地道的用法，比如“l(fā)earn knowledge”，通過語料庫對比，系統(tǒng)會(huì)把它標(biāo)記為中式英語，以警告為主。（4）舉例闡釋易混用法：系統(tǒng)會(huì)找到學(xué)生經(jīng)常容易用錯(cuò)的詞或者搭配，給出同義詞或者近義詞供學(xué)生參考。換言之，學(xué)生可以隨時(shí)隨地求助自動(dòng)評分系統(tǒng)，針對他們的問題，系統(tǒng)會(huì)逐字逐句檢查批改。除有批改提示之外，還有詞匯查提示，學(xué)生可以根據(jù)學(xué)習(xí)提示了解更多詞匯的地道用法，一邊學(xué)習(xí)，一邊寫作。雖然學(xué)生不能100%的依賴于句酷網(wǎng)的批改，但是，通過學(xué)生自己辨識一般可以判斷句酷網(wǎng)每一句批改的正誤。例如，對于一些具有中國特色的詞匯，翻譯成英文就很有可能被提示為中式英語，但是，學(xué)生只要稍加分析或者查找相關(guān)資料，就很快能夠判斷出正誤。另外，作文反饋與作文改寫緊密相關(guān)，如果沒有改寫續(xù)寫，反饋就失去了意義。教師反饋或者同學(xué)反饋都需要比較長的周期，筆者再次修改又要在某種程度上重新理順?biāo)悸?，比較費(fèi)時(shí)費(fèi)力。句酷網(wǎng)能夠給出即時(shí)的反饋意見，作者不僅可以修改字詞句子，還可以替換新詞，使詞匯多樣句子地道，甚至還會(huì)因某個(gè)詞語產(chǎn)生新的構(gòu)思。學(xué)生通過提供大量的練習(xí)機(jī)會(huì)和即時(shí)的反饋報(bào)告來培養(yǎng)自己的寫作能力，這在幾秒鐘內(nèi)即可實(shí)現(xiàn)，極大地激發(fā)了學(xué)生修改文章的熱情。

3.增加反饋，方便教學(xué)

在課堂教學(xué)中，教師所能提供的反饋數(shù)量和細(xì)致程度都有限，加之學(xué)習(xí)者對于批改反饋的要求不一，重視程度不一，寫作反饋很難滿足學(xué)習(xí)者的要求。在筆者組織的一項(xiàng)問卷調(diào)查中，對于79名學(xué)生進(jìn)行調(diào)查，發(fā)現(xiàn)學(xué)生對于詞匯搭配、句子語法、表達(dá)是否地道比較重視，占到82.15%。而對于思想創(chuàng)新、篇章結(jié)構(gòu)、詞匯多樣性等重視程度稍差，只有39.24%，有一半以上的學(xué)生對于篇章結(jié)構(gòu)、中心思想、題材是否新穎并不重視。對于學(xué)生所重視的反饋項(xiàng)目，教師反饋能否滿足學(xué)生的要求？經(jīng)過調(diào)查，83.54%的學(xué)生表示因?yàn)閷W(xué)生太多，老師批改不可能很仔細(xì)，自己所關(guān)注的詞匯搭配、表達(dá)是否地道，老師不能給與充分的指導(dǎo)，即教師反饋不能滿足他們的要求。句酷網(wǎng)自動(dòng)評分系統(tǒng)無論何時(shí)何地都可以在線使用，這將有助于學(xué)生得到及時(shí)有效的反饋，進(jìn)而提高自己的寫作水平。

此外，句酷網(wǎng)提供的薄弱點(diǎn)分析功能可以幫助老師針對學(xué)生共性薄弱點(diǎn)和薄弱點(diǎn)趨勢制定教學(xué)改進(jìn)計(jì)劃，學(xué)生也可以進(jìn)行針對性的學(xué)習(xí)和訓(xùn)練。英語寫作中，抄襲現(xiàn)象是教學(xué)中最難解決的問題，教師很難察覺哪些作文是直接抄襲了別人的作文，哪些是借鑒了別人的資料。而句酷批改網(wǎng)解決了這一問題，系統(tǒng)具有查找重復(fù)率的功能，數(shù)據(jù)精確，給教師提供了非?？尚诺姆答佇畔?。另外系統(tǒng)出具的地區(qū)、學(xué)校和班級報(bào)告便于教育管理者了解英語寫作教學(xué)效果，也便于教師利用這種分析報(bào)告進(jìn)行教學(xué)科研分析。

三、使用句酷網(wǎng)自動(dòng)評分系統(tǒng)的實(shí)驗(yàn)

1.研究設(shè)計(jì)和方法

實(shí)驗(yàn)對象為吉林師范大學(xué)英語專業(yè)大一學(xué)生一個(gè)班，共計(jì)28人。實(shí)驗(yàn)時(shí)間為大一下學(xué)期。為了讓學(xué)生認(rèn)真配合此次實(shí)驗(yàn)，已經(jīng)告知學(xué)生此次寫作成績占期末考試成績的20%，但同時(shí)因?yàn)槭瞧綍r(shí)測驗(yàn)，學(xué)生沒有過多的壓力，此次寫作可以體現(xiàn)學(xué)生的真實(shí)水平。本次實(shí)驗(yàn)在計(jì)算機(jī)室進(jìn)行，歷時(shí)30分鐘。教師使用句酷網(wǎng)自動(dòng)評分系統(tǒng)為學(xué)生布置作文并告知學(xué)生作文號，學(xué)生按照網(wǎng)址登陸句酷網(wǎng)，根據(jù)作文號查找到題目和作文要求，按照要求完成寫作之后提交作文。學(xué)生在同一時(shí)間同一地點(diǎn)進(jìn)行測試，可以保證數(shù)據(jù)的真實(shí)性和可靠性。

2.數(shù)據(jù)采集和分析

在本次實(shí)驗(yàn)中，教師可以通過系統(tǒng)獲得以下信息：（1）數(shù)據(jù)概述：28篇作文，共4，343詞，290句，最長句44個(gè)單詞，最短句1個(gè)單詞；學(xué)生作文最高分為86.3分（陳同學(xué)），最低分72.1分（張同學(xué)），平均分為：79.2分；系統(tǒng)共從學(xué)生作文中發(fā)現(xiàn)18處錯(cuò)誤，其中，句子不規(guī)范、搭配錯(cuò)誤、動(dòng)詞錯(cuò)誤為學(xué)生們最常犯的錯(cuò)誤。（2）學(xué)生表現(xiàn)：這一數(shù)據(jù)可以讓老師直觀了解當(dāng)篇題目下學(xué)生寫作表現(xiàn)的數(shù)據(jù)圖表?？梢钥吹綄W(xué)生得分前十名的排行榜，修改次數(shù)最多的前十名排行榜，可以查看每個(gè)學(xué)生得分、提交情況、作文寫數(shù)、句子、詞匯、相似度、修改次數(shù)這七個(gè)維度的具體表現(xiàn)。每個(gè)維度按優(yōu)秀、良好、一般、差四個(gè)等級劃分，分別用綠色、藍(lán)色、黃色、紅色四種顏色表示。（3）錯(cuò)誤分布：所有錯(cuò)誤有18處，系統(tǒng)將學(xué)生錯(cuò)誤按照不同類別統(tǒng)一列表，例如：一是句子不規(guī)范：It encourage people to grasp every chance to help them succeed.點(diǎn)評：請檢查encourage，確認(rèn)主謂一致。標(biāo)題：Factors about being successful.學(xué)生：張同學(xué)；二是搭配錯(cuò)誤：Constant grinding can turn an iron rod into a needle.點(diǎn)評：搭配turn rod在語料庫中無此用法，疑似中式英語。標(biāo)題：The factors of success學(xué)生：解同學(xué)；三是動(dòng)詞錯(cuò)誤：No great work can be performed and no high position can be obtained without toil effort.點(diǎn)評：請確認(rèn)without toil中的動(dòng)詞形態(tài)正確。標(biāo)題：The factors of success學(xué)生：解同學(xué)；四是用詞錯(cuò)誤：First，diligent everyone knows the proverb：Successisacquired through ninety-nine percent perspiration and one percent inspiration.點(diǎn)評：diligent everyone疑似詞序有誤。標(biāo)題：On Factors that make a student successful學(xué)生：寧同學(xué)。五是瀏覽作文：此項(xiàng)中，教師可以看到學(xué)生的作文分?jǐn)?shù)和前三行的文字，點(diǎn)擊之后可以看到全文。六是相似統(tǒng)計(jì)：這一功能有助于教師檢查學(xué)生作文抄襲情況。系統(tǒng)可以顯示學(xué)生作文與其他學(xué)生作文之間的重復(fù)率，不僅可以與本班學(xué)生的相似度進(jìn)行比較，還可以與系統(tǒng)中所有學(xué)生的作文進(jìn)行比較。相似統(tǒng)計(jì)分為40%以上、20%-40%、10%-20%、10%以上。系統(tǒng)的大數(shù)據(jù)給教師檢查相似度提供了便利性和準(zhǔn)確性。例如：14級2班程同學(xué)作文相似度為7%，陳同學(xué)作文相似度為4%。點(diǎn)擊進(jìn)入學(xué)生的文章可以看到具體那句話與哪個(gè)學(xué)生的作文相似，相似句子已經(jīng)用紅色標(biāo)注，非常清晰。例如陳同學(xué)的 Success is acquired through ninety-nine percent perspiration and one percent inspiration.和張同學(xué)的Success is acquired through ninety-nine percent perspiration and one percent inspiration.一模一樣，教師可以判斷出這是經(jīng)典名句，不算在抄襲之列。但是張同學(xué)的Some students lose heart easily for not having achieved what they had aimed for.和成都市一中某同學(xué)的句子一模一樣，就可以看出這兩名學(xué)生參考了相同的資料。（6）詞頻：在這一數(shù)據(jù)中，教師可以看到詞性分布、動(dòng)詞、名詞、形容詞、副詞、介詞、連詞、代詞在全體學(xué)生作文中的使用情況。例如在“詞性分布”這一項(xiàng)中可以看到：使用動(dòng)詞808次，占24.44%；名詞718次，占21.72%；形容詞647次，占19.57%；代詞325次，占9.83%；介詞 311次，占9.41%；副詞296次，占8.95%；連詞182次，占5.51%。在“動(dòng)詞”這一項(xiàng)中可以看到be 180次；can 66次；make 42次；do 35次；have 34次；shall 33次；will 32次；succeed 24次等143個(gè)動(dòng)詞的使用頻次。（7）搭配：在這一項(xiàng)中，教師可以看到以下數(shù)據(jù)：搭配分布、動(dòng)詞+名詞、形容詞+名詞、副詞+動(dòng)詞、副詞+形容詞、動(dòng)詞+介詞、形容詞+介詞、名詞+動(dòng)詞。點(diǎn)擊“搭配分布”，就會(huì)看到不同的詞語搭配的使用頻次和所占比例，點(diǎn)擊具體搭配例如“動(dòng)詞+名詞”，可以看到具體詞匯例如achieve success等所有搭配的列舉和使用頻次。（8）分級詞匯：在這一項(xiàng)目中可以看到超高頻詞匯、次高頻詞匯、學(xué)術(shù)詞匯、非常規(guī)詞匯、生詞對照。點(diǎn)擊每一個(gè)項(xiàng)目就可以看到學(xué)生使用的單詞、頻次以及例句。例如點(diǎn)擊“次高頻詞匯”會(huì)看到列舉出來的所有單詞，例如pain出現(xiàn)頻次為四次，例句Face on your？ pain？and turn it into power.點(diǎn)擊頻次4可以看到學(xué)生用這個(gè)pain寫出的句子。這些數(shù)據(jù)為老師對學(xué)生進(jìn)行整體反饋指導(dǎo)提供了支持。（9）數(shù)據(jù)對比：在這一項(xiàng)中可以得到某一同學(xué)與全體同學(xué)的對比情況，包括單詞統(tǒng)計(jì)比對、詞性分布比對、搭配統(tǒng)計(jì)比對、句長分布比對、動(dòng)詞頻次比對。系統(tǒng)會(huì)以柱狀圖和列表的方式向用戶呈現(xiàn)，對比非常準(zhǔn)確清晰。（10）維度分析：維度概述、類符形符比、拼寫正確率、平均詞長、句長分布、平均句長、從句總數(shù)。系統(tǒng)從評判學(xué)生作文的多個(gè)測評維度中挑選出幾大維度（可定制），并列出學(xué)生在各個(gè)維度上的測量值，為分析作文提供數(shù)據(jù)參考。通過作文數(shù)據(jù)在各個(gè)維度的不同表現(xiàn)，可以明確作文的薄弱點(diǎn)所在，并且對學(xué)習(xí)的整體情況進(jìn)行把控。

［1］Hyland，K..Providing productive feedback［J］.ELT Journal 1990（4）：279-285.

［2］蔡基剛.中國大學(xué)生英語寫作在線同伴和教師反饋反饋對比研究［J］.外語界，2011（2）：65-72.

［3］何旭良.句酷批改網(wǎng)英語作文評分的信度和效度研究［J］.現(xiàn)代教育技術(shù)，2013（5）：64-67.

［4］李競.英語寫作教學(xué)中教師書面反饋效果的案例研究［J］.外語界，2013（2）:87-89.

［5］王淑雯.利用自動(dòng)評分系統(tǒng)進(jìn)行在線英語寫作反饋［J］.成人教育，2011（8）：115-117.

［6］楊苗.中國英語寫作課教師反饋和同伴反饋對比研究［J］.現(xiàn)代外語，2006（3）：73-76.

［7］楊麗娟，楊曼君，張陽.我國英語寫作教學(xué)三種反饋方式的對比研究［J］.外語教學(xué)，2013（3）：63-66.

Feedback Function Evaluation on Automatic Scoring System of English Writing ——Take Jukuu Automatic scoring system for Example

YANG Shu-ling
（College of Foreign Languages and Literature Jilin Normal University，Sipin Jilin 136000，China）

Automatic Scoring System of Juku provides a comprehensively accurate artificial correcting mode for learners and teachers.It offers a new perspective and method for the modern teaching and learning of English writing，which can efficiently meet English writing feedback requirements and promote learners'autonomous learning.

English writing；Automatic scoring system of Juku；Feedback

G642

A

2095-8528（2016）05-025-04

編輯 朱榮華

2015-11-01

楊淑玲（1979），女，吉林四平人，講師，碩士，研究方向?yàn)橛⒄Z語言與文化、應(yīng)用語言學(xué)。

此文為吉林省四平市社會(huì)科學(xué)基金項(xiàng)目“英語寫作在線批改反饋研究”（批準(zhǔn)號為201566）的階段性成果。