陳小芳

(浙江師范大學 外語學院，浙江 金華 321004)

自動寫作評分系統(tǒng)對作文句法復雜度的影響

陳小芳

(浙江師范大學 外語學院，浙江 金華 321004)

句法復雜度可以反映出學生的英語水平。借助句法復雜度分析器(L2SCA)對學生提交的初稿與終稿文本的分析，從句法復雜度的角度探討了自動寫作評分系統(tǒng)對學生作文輸出的影響。T檢驗進一步證實自動寫作評分系統(tǒng)會促使學生產出更為復雜的句子，尤其在字數(shù)和從屬從句的運用上更為明顯。

自動寫作評分系統(tǒng)；句法復雜度；L2SCA；從屬從句

引言

寫作是語言輸出的一個重要部分，然而，對多數(shù)外語教師來說，寫作評價是一項艱巨而又費時的工作。為提高對學生寫作評價的效率，自動寫作評分系統(tǒng)應運而生。20世紀90年代研發(fā)了許多自動評分系統(tǒng)，如PEG ( Project Essay Grade), E-rater, Intellimetric, 以及IEA (Intelligent Essay Assessor) 。[1]與人工評價相比，自動寫作評分系統(tǒng)能從多方面對學生的作文做出較為客觀的評價。它不僅可以提高評分效率，而且可以從根本上消除由人工評價造成的差異，能較好地控制評分誤差。[2]因此，自動寫作評分系統(tǒng)被越來越多地使用到語言考試和外語教學中。如從1999年開始，美國教育服務中心已經開始把E-rater運用到GMAT和TOEFL。許多大規(guī)模考試的數(shù)據(jù)也已經證明E-rater具有極高的信度。[1]

近幾年來，越來越多的大學英語教師開始使用自動寫作評分系統(tǒng)以協(xié)助英語寫作教學。國內很常用的一個在線自動寫作評分系統(tǒng)就是批改網。這是一個基于語料庫的在線作文自動評分系統(tǒng)，它不僅可以給學生的作文進行實時評分，還會給學生提供評語以及如何改進每一句中的詞匯和搭配等的建議。

隨著自動寫作評分系統(tǒng)的廣泛運用，國內已經有很多教師開始關注它們對大學生英語寫作的影響。例如，石曉玲以句酷批改網為例研究了自動寫作評分系統(tǒng)對英語寫作的影響，發(fā)現(xiàn)評分系統(tǒng)“有效地激發(fā)了學生的寫作興趣”。[3]張雙祥研究了冰果智能作文評閱系統(tǒng)在大學英語寫作中的應用效果，提出盡管系統(tǒng)效果較好，但還是應該和教師評閱以及同伴互評相結合。[4]楊曉瓊和戴運財則從自我效能和學習動機方面研究了批改網對大學英語寫作的影響，發(fā)現(xiàn)批改網的使用有助于“提高學生的自主英語寫作能力”。[5]可以說，國內對自動寫作評分系統(tǒng)的研究已經取得一定的成果，但現(xiàn)有的研究中很少有從學生作文的句法復雜度角度進行分析。

一、句法復雜度

句法復雜度，也稱為句法熟悉度或語言復雜度，指語言產出中句子結構的形式以及形式的復雜度。句法復雜度在二語研究中非常重要，因為語言的發(fā)展勢必會引起二語學習者的句法知識庫的增長以及改進該學習者在不同的場合正確運用這些知識的能力。[6]因此，研究學生作文的句法復雜度就可以大致了解他們的句法構建能力。

目前常用的句法復雜度的測量工具有Flesch-Kincaid Grade Level、Coh-Metrix和L2SCA。Flesch-Kincaid主要通過測量單詞和句子的長度來判斷句子的難易度，從而確定文章的可讀性。盡管它操作簡單，但它不能測量語篇意義、銜接和文體的差異。[7]Coh-Metrix 是由美國多名語言學家共同開發(fā)的在線文本分析工具，可以多方面分析語篇層面的詞性、詞頻、語義內容、情景模式、詞匯多樣性、潛在語義分析、共指等多種語言特征。[7]

本研究采用的是賓夕法尼亞州立大學陸小飛博士研發(fā)的在線句法復雜度分析器(L2 Syntactic Complexity Analyzer, L2SCA)。句法復雜度具有四個主要的多維度特征：整體復雜度；并列子句；從屬子句和短語復雜度。這四個多維度特征主要是通過字數(shù)(W)、句子(S)、動詞詞組(VP)、從句(C)、T單位(T)、從屬從句(DC)、復雜T單位(CT)、并列詞組(CP)、復雜名詞性短語(CN)等來體現(xiàn)。句法復雜度分析器中共有5類14個測量指標：第一類是單位長度，即平均子句長度(MLC)、平均句子長度(MLS)以及平均T單位長度(MLTU)。第二類是句子復雜度，即每個句子中的子句數(shù)量 (C/S)。第三類是從屬子句使用量：每個T單位中的子句數(shù)量(C/T)，每個T單位中的復雜T單位數(shù)量(CT/T), 每個子句中的從屬子句數(shù)量 (DC/C)，每個T單位中的從屬子句數(shù)量(DC/T)。第三類是并列結構使用量：每個子句中的并列短語數(shù)量(CP/C)，每個T單位中的并列短語數(shù)量(CP/T)，每個句子中的T單位數(shù)量 (T/S)。最后一類是特定短語結構：并列子句中的復雜名詞性短語數(shù)量 (CN/C)，每個T單位中復雜名詞性短語數(shù)量(CN/T)以及每個T單位中的動詞短語數(shù)量(VP/T)。[8]

二、研究設計

1.研究問題

本實驗意在探討自動寫作評分系統(tǒng)對非英語專業(yè)學生的作文輸出是否有影響。如果有，又會體現(xiàn)在哪些方面。具體來說，就是要回答以下兩個問題：

(1)非英語專業(yè)學生是否會有效利用自動寫作評分系統(tǒng)的反饋對自己的作文進行修改？

(2)自動寫作評分系統(tǒng)對非英語專業(yè)學生的作文輸出在句法復雜度上會產生哪些變化？

2. 研究對象

共103名材料中文和機械設計專業(yè)的大一學生參加了本次實驗。這些學生中94%的同學已通過了大學英語四級。在參加實驗之前，所有的受試者均沒有使用自動寫作評分系統(tǒng)的經歷。

3.研究工具

研究者主要通過L2SCA統(tǒng)計分析學生作文的句法復雜度，并運用SPSS中的t檢驗探討自動寫作評分系統(tǒng)對非英語專業(yè)學生作文輸出的主要影響。

4.研究過程

學生按照六級要求寫一篇150個單詞左右的“Modern Technology and Human Intimacy”的命題作文。作文寫完后，學生上傳到批改網，由系統(tǒng)自動對學生的作文做出評分。為了解自動寫作評分系統(tǒng)對學生作文輸出的影響，在本次實驗中，教師不對學生的作文進行人工評閱和在線反饋。為了鼓勵受試者更好地利用自動寫作評分系統(tǒng)所給的反饋，從而對自己的作文做出相應的修改，實驗開始前，受試者就被告知這篇作文的終稿將以適當?shù)谋壤{入平時成績。學生在提交作文后，在截止期內可以根據(jù)自動寫作評分系統(tǒng)所給的反饋意見進行無限次的修改。

5.數(shù)據(jù)收集和分析

截止期后，研究者收集了批改網上提供的一系列數(shù)據(jù)：學生的第一次作文、分數(shù)、最后一次作文和分數(shù)以及修改次數(shù)。通過分析這些數(shù)據(jù)，初步了解自動寫作評分系統(tǒng)對學生作文輸出是否有促進作用。在確定自動寫作評分系統(tǒng)會影響作文輸出后，研究者選擇了批改網上作文初稿和終稿分數(shù)差距在5分以上的學生的兩次作文，運用句法復雜度分析器和SPSS進行更為深入的分析研究。

三、研究發(fā)現(xiàn)

研究者首先對自動寫作評分系統(tǒng)的使用率進行了統(tǒng)計，結果發(fā)現(xiàn)：大部分學生都會利用自動評分系統(tǒng)提出的反饋對自己的作文作出進一步的修改。

1.非英語專業(yè)學生利用自動寫作評分系統(tǒng)的反饋進行作文修改的情況

在這103名學生中，有11名同學沒對自己的作文做任何的修改，只提交了一次。利用評分系統(tǒng)進行修改的學生共92名，占89.32%。

剔除了只提交過一次的11篇作文后，共得到了92名184篇作文。統(tǒng)計發(fā)現(xiàn): 終稿的文章篇幅比初稿有所增加，從初稿的平均每篇187個單詞增加到了每篇約198個單詞。初稿的平均分是87.42分，終稿的平均分是92.84，人均修改次數(shù)為11.95次。除了2名受試者的終稿分數(shù)比初稿更低外，其他90名受試者的作文分數(shù)都有不同程度的提高。從分數(shù)以及修改次數(shù)上來看，絕大多數(shù)學生還是較好地利用了自動評分系統(tǒng)并對自己的作文進行了改進。換言之，自動寫作評分系統(tǒng)對學生的作文輸出具有一定的促進作用。

2.作文自動評分系統(tǒng)對句法復雜度的影響

在研究過程中，研究者發(fā)現(xiàn)學生的每一處改動，尤其是標點以及拼寫的改動都會影響到自動評分系統(tǒng)給出的分數(shù)。因此，為了更為客觀地了解自動評分系統(tǒng)對學生作文的句法復雜度的具體影響，盡可能降低單純因為改變標點而變化的分數(shù)的影響，研究者只選取了前后兩次分數(shù)相差在5分以上的84篇作文，借助二語句法復雜度分析器，統(tǒng)計了前后兩次作文的多維度特征(表1)和14個測量指標(表2)。

表1 初稿與終稿在多維度特征上的差異

從表1可以看出，除了動詞詞組(VP)數(shù)量在終稿中有所降低外,其他所有指標都比初稿要高，特別是字數(shù)(W)、從句(C)、從屬從句(DC)和復雜名詞性短語(CN)。數(shù)量增加最多的是復雜名詞性短語，從原先的949上升到1104。復雜名詞性短語指的是含有以下一個或多個成分的名詞短語：前置形容詞，后置介詞短語和后置定語。[9]復雜名詞性短語的數(shù)量增加說明學生在修改作文過程中更加注重對高級語言的運用。從句和從屬從句的數(shù)量增加也證實了這一點。相對而言，句子(S)、T單位(T)、復雜T單位(CT)、并列詞組(CP)的數(shù)量增加并不明顯。這說明在線自動寫作評分系統(tǒng)對非英語專業(yè)學生的作文輸出有一定的促進作用，雖然句子和T單位數(shù)量變化不大，但句子較之初稿更加復雜，在復雜名詞性短語和從句尤其是從屬從句的運用上更為明顯。

表2 兩次作文的句法復雜度測量指標

表2顯示：在終稿的14個句法復雜度的測量指標中，只有平均子句長度(MLC)高于初稿，這同樣說明學生的終稿在語篇長度上比初稿有改進。每個T單位中的動詞詞組數(shù)量(VP/T)幾乎沒什么改變。其余12個指標終稿都比初稿低，這主要是因為學生的終稿在句子和從句的數(shù)量上都比初稿有所增加。

為了進一步確定初稿與終稿的這些差異是否具有顯著性，所有84篇作文的多維度特征與14個測量指標均被輸入SPSS 19進行t檢驗。結果表明：盡管復雜名詞性短語數(shù)量增加最明顯，但t檢驗顯示它的t值為-0.079, p = 0.432,大于0.05，因此，復雜名詞性短語的數(shù)量改變并不具有顯著性差異。

在多維度特征上，共有4項指數(shù)具有顯著性差異，其中字數(shù)t(82)=-3.108，p=.003；句子t(82)=-5.563，p=0；T單位t(82)=-5.351，p=0。從屬從句t(82)=3.294，p=.001。而在14個測量指標中，除了MLC、CP/C和CN/C外的11項指標均具有顯著性差異，其中CP/T的p=.008，其他10項的p值均小于0.001。這說明自動評分系統(tǒng)對學生的作文輸出在句法復雜度上具有顯著的影響。

四、結果與討論

經過L2SCA統(tǒng)計分析，約90%的同學會利用自動寫作評分系統(tǒng)所給出的分數(shù)及其反饋對作文進行進一步的改進。而對沒有利用自動寫作評分系統(tǒng)進行作文修改的11名同學中，有10位同學的分數(shù)已經在90分以上。這說明自動寫作評分系統(tǒng)的反饋是否能被充分利用，在某種程度上還取決于它給出的實時分數(shù)。一旦學生覺得提升空間不大，他們運用自動寫作評分的反饋進行作文修改的概率就會降低。

對于利用評分系統(tǒng)進行多次修改的學生來說，一方面可能因為有分數(shù)的刺激，另一方面也因為評分系統(tǒng)給出了比較詳細的改進方式。學生可以自行修改或者選擇系統(tǒng)提供的修改意見對文章進行潤色。某種意義上，這大大降低了學生修改作文的難度，讓學生更愿意去改進作文。因而，大學英語教師可以充分利用這種自動評分系統(tǒng)，督促學生加強寫作訓練。

通過比較分析分數(shù)差異較大的作文，可以進一步發(fā)現(xiàn)：從句法復雜度的角度看，自動寫作評分系統(tǒng)主要有助于幫助學生提高文章的篇幅，尤其是復雜名詞性短語和從屬從句的運用，但在并列詞組的運用上并無多大改變。t檢驗表明復雜名詞性短語數(shù)量的差異并不具有顯著性，而句子、T單位和從屬從句的增加則有顯著性的差異。這說明單純地按照系統(tǒng)提供的詞匯進行作文的修改，并不能明顯改變句子的復雜度。相對而言，一篇作文如果要取得更好的分數(shù)，學生應該更加關注句式結構上的復雜性。而這恐怕是很多同學在運用自動評分系統(tǒng)時容易忽略的一點。因此，在寫作教學中，教師最好同時進行人工反饋，引導學生加強對句子結構的關注，多運用不同的句式。只有這樣，才能最終提高寫作質量。

五、結論

本次研究發(fā)現(xiàn)，如果給予適當?shù)募睿^大多數(shù)學生會充分利用自動寫作評分系統(tǒng)對習作進行多次修改，直至達到自己滿意的分數(shù)為止。從句法復雜度的角度看，自動寫作評分系統(tǒng)對學生作文的促進作用主要體現(xiàn)在文章的字數(shù)的增加以及復雜名詞性短語的運用。此外，學生在修改作文過程中，也會改進句子尤其是從屬從句的使用。

當然，本次實驗還有待完善，例如，如果結合人工反饋，學生的作文在句法復雜度上是否會有更明顯的改進？不同體裁的文章在句法復雜度上是否也會有所不同？此外，實驗過程也較短。但不管如何，有一點是不容置疑的，那就是，如果好好加以利用，自動寫作評分系統(tǒng)必將提高大學英語寫作教學的效果。

[1]Attali, Y. amp; Burstein, J. Automated Essay Scoring With e-rater V.2 [J].Journal of Technology, Learning, and Assessment, 2006, 4(3): 1-31.

[2]楊晨，曹亦薇.作文自動評分的現(xiàn)狀與展望[J].中學語文教學，2012(3):78.

[3]石曉玲. 在線寫作自動評改系統(tǒng)在大學英語寫作教學中的應用研究——以句酷批改網為例[J].現(xiàn)代教育技術，2012(10)：67-71.

[4]張雙祥. 大學英語寫作教學中在線寫作自動評價系統(tǒng)應用研究[J].當代教育理論與實踐，2014(11)：100-102.

[5]楊曉瓊，戴運財. 基于批改網的大學英語自主寫作教學模式實踐研究[J].外語電化教學，2015(2)：17-23.

[6]Ortega. Syntactic complexity measures and their relationship to L2 proficiency: a research synthesis of college-level L2 writing [J]. Applied Linguistics, 2003(4): 492-518.

[7]Arthur, C. Graesser. et al. Coh-Metrix: Providing Multilevel Analyses of Text Characteristics [J]. Education Researcher, 2011(5): 223-234.

[8]陸小飛，許琪. 二語句法復雜度分析器及其在二語寫作中的應用[J].外語教學與研究，2016(3)：409-420.

[9]Yang, W. et al. Different topics, different discourse: Relationships among writing topic, measures of syntactic complexity, and judgments of writing quality [J]. Journal of Second Language Writing，2015(28)：53-67.

ClassNo.:H315DocumentMark：A

(責任編輯：蔡雪嵐)

EffectofanAutomatedWritingScoringSystemonSyntacticSyntacticComplexity

Chen Xiaofang

(College of Foreign Languages of Zhejiang Normal University, Jinhua, Zhejiang 321004, China)

Syntactic complexity can reflect a student’s English proficiency. Using L2 Syntactic Complexity Analyzer (L2SCA) to make a contrastive analysis between the first draft and the final version of students’ writings, this paper analyzes the effect of an automated writing scoring system on students’ writing output from the perspective of syntactic complexity. The t test further proves that the automated writing scoring system could enable students to produce more complicated sentences, particularly in the use of more words and dependent clauses (DC).

automated writing scoring system； syntactic complexity; L2SCA; DC

陳小芳，碩士，講師，浙江師范大學外語學院。

2096-3874(2017)11-0122-04

H315

A