朱 燕 祁 穎 張 寧

（北京城市學(xué)院 北京 100083）

影響口語測試評分的因素分析*

朱 燕 祁 穎 張 寧

（北京城市學(xué)院 北京 100083）

本文旨在研究口語測試中影響評分的因素，包括語言因素與非語言因素影響兩個方面。本研究結(jié)果對口語測試的評分員如何更好地把控評分標(biāo)準(zhǔn)有一定的啟示。

語言因素 非語言因素 差異性

在語言測試領(lǐng)域，對口語評分的研究一直是口試研究的重點之一。然而口語測試的實施非常困難，它難就難在語言既是測試的目標(biāo)又是測試的工具［1］。因為英語口語測試的評分是主觀的，因此評分差異是不可避免的。一些語言及非語言因素，例如評價標(biāo)準(zhǔn)和個人喜好，都可能會影響他們的評分結(jié)果。本文以一次大學(xué)英語應(yīng)用能力口語測試（TEP Oral）的數(shù)據(jù)為樣本，旨在對影響其評分的因素進行分析研究。

一、研究背景

北京市屬12家高校聯(lián)合申請的教學(xué)改革項目“三位一體市屬高校大學(xué)英語教育改革模式研究”，目標(biāo)是構(gòu)建一套“測試－教學(xué)－資源庫”三位一體的、具有綜合性、體系化和前瞻性的大學(xué)英語教育改革模式。本項目已經(jīng)研發(fā)了一套具有高信度和效度的大學(xué)生英語口語測試模式——大學(xué)英語應(yīng)用能力口語測試（簡稱TEP），并在北京市18所高校成功推廣該測試的《指南》已由國內(nèi)知名出版社出版。該模式作為一項教育測試，具有教學(xué)檢查性、教學(xué)指導(dǎo)性和教學(xué)形成性的功能，是大學(xué)英語課程體系建設(shè)的重要組成部分。

1.理論研究

語言測試研究中對評分員和評分方法的研究是一個重要的組成部分。目前，大量的口語測試研究都基于此展開，如：評分員在口試中對語言功能和話題的選擇［2］；評分員在口試中的提問及提問的方式［3］；評分員在口試中根據(jù)受試的水平調(diào)整自己語言的程度和方式［4］；以及評分員的性別對口試結(jié)果的影響［5］等。而國內(nèi)學(xué)者的研究主要集中在以下三個方面：評價的可靠性，任務(wù)的有效性，以及錄音口語能力測試。

2.研究問題

在口語測試中，評分員會表現(xiàn)出不同的傾向性并受到多種因素的影響，評分員中受評分方法和評分標(biāo)準(zhǔn)影響的同時還會受自身背景的影響，如：性別、年齡、教學(xué)經(jīng)驗及評分經(jīng)驗的影響。本研究旨在探討哪些因素會影響其評分。

諸多因素中，由評分員主觀評分引入的誤差是影響考生最后得分最為直接的因素?？谡Z測試評分，需要評分員在觀察考生表現(xiàn)的基礎(chǔ)上依據(jù)評分標(biāo)準(zhǔn)進行主觀判斷［6］。因此，評分員在口語測試中不僅是考試操作實施環(huán)節(jié)中的一部分，更是決定分數(shù)含義的重要環(huán)節(jié)，評分的準(zhǔn)確性和一致性是決定考試信度甚至是效度的最為重要的因素之一。在影響因素方面，筆者著重分析了語言因素和非語言因素。前者包括交際效果、內(nèi)容和組織、語法和詞匯、語音語調(diào)、流暢性和可理解性；后者則包括任務(wù)完成情況、對考生的第一印象、考生的自信程度、考生之間的溝通以及身體語言等。

二、研究方法

本次研究樣本為參與TEP口語測試的評分員。參與本次研究的評分員共18名，其中男性5名，女性13名。所有評分員均為高校的英語教師，在測試前進行培訓(xùn)并全部合格。測試前對所有評分員隨機分配了主副考官職責(zé)，在測試過程中，主考官負責(zé)提問及與考生交流，最后根據(jù)考生表現(xiàn)給出一個整體分數(shù)，而副考官則全程不參與交流，根據(jù)測試評分標(biāo)準(zhǔn)進行分項打分。測試后所有評分員均完成了調(diào)查問卷的填寫并對部分評分員進行了訪談。

三、研究結(jié)果

本次測試的考生是隨機從7個專業(yè)進行選取，筆者對測試結(jié)果進行統(tǒng)計發(fā)現(xiàn)，專業(yè)差異對考生成績的影響不顯著。女性考生的成績均值略高于男性考生，差異不明顯。因此，筆者在測試結(jié)束以后，筆者對評分員進行了問卷調(diào)查。問卷的第一部分對評分員的基本信息進行了采集，包括性別、年齡、專業(yè)、教學(xué)經(jīng)驗和口試評分經(jīng)驗。問卷的第二部分則涵蓋了可能影響評分的語言因素和非語言因素。問卷結(jié)束以后，又對部分評分員進行了訪談，以期發(fā)現(xiàn)問卷調(diào)查可能遺漏的問題。

1.評分員基本情況

在所有的18位評分員中，女性13名，男性5名，大部分評分員的年齡在30到40歲之間，另有一人低于30歲，一人高于50歲，兩人介于40到50歲。9名評分員的專業(yè)為語言學(xué)，5名為文學(xué)，還有4名為其他專業(yè)。大部分評分員有五年以上的教學(xué)經(jīng)驗，所有評分員都有口語測試的評分經(jīng)驗。

2.語言因素

在問卷調(diào)查過程中，筆者要求所有評分員根據(jù)以下六種因素對其評分的影響程度進行排序：交際效果、內(nèi)容與組織、語法與詞匯、語音語調(diào)、流利程度、可理解性。

對九位采用整體評分法的主考官而言，影響因素排名前三的分別是：交際效果、可理解性和流利程度。這一結(jié)果表明主考官更加注重考生的整體表現(xiàn)。而采用分項評分法的副考官則認為以下三項影響最大，依次為：可理解性、語法與詞匯、內(nèi)容與組織。這表明副考官更注重評分標(biāo)準(zhǔn)里所列舉的項目。從而這一結(jié)果也表明，評分方法的差異對評分也會產(chǎn)生一定程度的影響。所以，在設(shè)計評分標(biāo)準(zhǔn)的過程中，設(shè)計者必須準(zhǔn)確把握各評分項的權(quán)重，以期能得到更為全面和客觀的評分。

3.非語言因素

對于影響評分過程的非語言因素，問卷包含五個方面：任務(wù)完成情況、對考生的第一印象、考生的自信程度、考生之間的交流和考生的身體語言。調(diào)查結(jié)果顯示，所有評分員均認為排序前三的影響因素為：任務(wù)完成情況、考生之間的交流和考生的自信程度。這表明在非語言因素方面，采用整體評分法的主考官和采用分項評分法的副考官之間沒有顯著差異。這一結(jié)果表明非語言因素對采取不同評分法的評分員沒有產(chǎn)生明顯的差異性影響。

4.補充性訪談

問卷調(diào)查結(jié)束以后，筆者對部分評分員進行了訪談。其中一名評分員指出，評分員在測試中的身體和心理狀態(tài)可能會影響測試結(jié)果；有四名員指出評分員的性格，內(nèi)向和外向性格的不同會在把握評分標(biāo)準(zhǔn)的松緊程度上有差異；有兩名評分員指出，評分員的評分經(jīng)驗對評分的影響也不容忽視。

四、結(jié)語

綜合考慮以上因素，筆者發(fā)現(xiàn)在評分過程中，評分員很容易受各種語言與非語言因素的影響，從而造成評分從差異，因此評分員在測試過程中必須準(zhǔn)確地把握評分標(biāo)準(zhǔn)，盡量避免其他因素的干擾。

有些因素，如評分員的情緒和身體狀態(tài)，是不可控的。因此，測試機構(gòu)必須對可控因素有一個很好的把握，如制定一個更詳細和明確的評分標(biāo)準(zhǔn)，以縮小評分員之間的差異；加強對評分員的培訓(xùn)和測評，以提高評分員的素質(zhì)并淘汰不合格的評分員。對于影響測試分數(shù)的因素和實際測試過程中這些因素所造成的影響，筆者認為可以開展進一步的研究。

［1］Bachman，L. F. Fundamental Considerations in Language Testing. Oxford：Oxford University Press，1990.

［2］Brown，A. & T. Lumley. Interviewer variability in specific purpose language performance tests ［J］.Language Testing，1998（1）：43-64.

［3］Brown，A. Interviewer variation and the co-construction of speaking proficiency ［J］. Language Testing，2003（20）：1-25.

［4］Ross，S. Accommodative questions in oral proficiency interviews［J］. Language Testing，1992（9）：173-186.

［5］O’Loughlin，K. The impact of gender in oral proficiency testing ［J］. Language Testing，2002（19）：169-192.

［6］Myford. C. M. & E. W. Wolfe. Strengthening the ties that bind：improving the linking network in sparsely connected rating designs. TOEFL Technical Report TR-15：Princeton. NJ：Educational Testing Service，2000.

1.民促京津冀一體化項目——“京津冀一體化背景下英語口語應(yīng)用人才培養(yǎng)模式研究子項目”；2.北京市教委重點、委托、聯(lián)合項目“三位一體市屬高校大學(xué)英語教育改革模式研究”（2014-lh03）