欒嵐 朱戈勛 朱婷

摘 要：本研究的主要目的是調(diào)查在配對測試形式中的大學(xué)生英語口語能力的結(jié)構(gòu)效度。共100位學(xué)生參與了此次研究，學(xué)生自由組合兩人一組完成一個口語任務(wù)，學(xué)生的口語表現(xiàn)由兩個獨立的打分者分別針對其口語的準(zhǔn)確性、流利性、詞匯選擇和話輪轉(zhuǎn)換四個方面進(jìn)行打分，滿分為6分。通過皮爾森積差相關(guān)性和克隆巴赫的系數(shù)分析顯示兩位打分者給出的分?jǐn)?shù)具有很高的信度。同時，為了檢測大學(xué)生英語口語能力的構(gòu)念，本研究還采用了探索性和驗證性的因素分析方法。最后，研究得出的模型的良好擬合指數(shù)證明大學(xué)生的英語口語能力應(yīng)由以下4個方面構(gòu)成：準(zhǔn)確性、流利性、詞匯選擇和話輪轉(zhuǎn)換。

關(guān)鍵詞：結(jié)構(gòu)效度；評分員之間的信度；英語口語能力；配對測試

中圖分類號：G640 文獻(xiàn)標(biāo)志碼：A 文章編號：2096-000X（2018）23-0077-03

Abstract： The main aim of the research was to investigate the construct validity of L2 speaking proficiency in a paired testing format. 100 college students were recruited for the study. The participants were tested in pairs （compare-and-contrast task） by two independent raters on four trait categories： accuracy （A）， fluency （F）， word choice （WC） and turn taking （TT）， on a pre-specified 6-point scale. The inter-rater reliability was computed using two approaches （Pearson's Product Moment correlation and Cronbach's alpha）， and they both indicated the ratings were reliable. In order to examine the construct of the participants' speaking performance， we performed exploratory and confirmatory factor analyses. The final model， with very good fit indices， confirmed the initial hypothesis： the construct of L2 oral proficiency is comprised of all four assumed trait factors.

Keywords： construct validity； inter-rater reliability； English speaking proficiency； paired testing

一、概述

隨著交際教學(xué)法的不斷發(fā)展，出現(xiàn)了交際測試法（communicative language testing）（Carroll，1980），“其中對口語能力的測試為體現(xiàn)交際測試法的準(zhǔn)則提供了相當(dāng)大的范圍”?？谠嚨男问绞嵌喾N多樣的，有面試、對話筒錄音和電話交談等。面試形式的口試又可分為幾種：有些考試采用的是一對一的形式，也有一些考試采用的是小組形式或配對形式。

本研究旨在從交際策略能力、測試的效度、信度等方面來討論在配對測試條件下，大學(xué)生的英語口語能力構(gòu)念，從而為大學(xué)生英語口語能力的相關(guān)研究提供一個嶄新視角。

二、英語口語能力的相關(guān)研究

由于本研究的目的是探究在配對口語測試條件下大學(xué)生的口語能力構(gòu)念，因此有必要對口語能力的相關(guān)研究做簡單的回顧。在標(biāo)準(zhǔn)化的外語或二語考試中，口語能力是衡量一個學(xué)生英語能力必不可少的一個方面，很多學(xué)者對于應(yīng)該從哪些方面來測試學(xué)生的口語能力做了大量研究。

大多數(shù)的研究是在心理語言學(xué)或認(rèn)知的框架下，重點關(guān)注口語受測者的話語內(nèi)容或質(zhì)量，以此來衡量受測者的二語習(xí)得的過程和心理機(jī)制。學(xué)者們從不同的角度研究各種變量對于受測者在口語考試中的分?jǐn)?shù)的影響，不同的學(xué)生列出了不同的變量，如受測者之間的關(guān)系、性格、年級、交際目的、話題、場景（Shohamy，1994），準(zhǔn)備時間和任務(wù)類型（Ellis， 2003），以及打分者（Brown et al.，2005）。

一般來說，口語能力構(gòu)念的描述框架以 Chapelle（1998）提出的交互構(gòu)念理論為基礎(chǔ)，即測試構(gòu)念的界定既要涵蓋考生特質(zhì)和語境特征，還要體現(xiàn)兩者的交互，因此可以將其定義為“語境中的口語互動能力”，考生特質(zhì)與交際語境相互影響，共同構(gòu)成口語測試的構(gòu)念。語境被視為構(gòu)念的一個組成部分，考試分?jǐn)?shù)所代表的意義是考生在特定交際語境中表現(xiàn)出來的口語互動能力，因而反映一種局部構(gòu)念，不是抽象的、適用于任何語境的通用語言能力。

三、研究范圍及方法

（一）研究范圍

本研究為探索性的，其目的有兩個：一、打分者是否始終如一地運(yùn)用測試原則，他們給出的分?jǐn)?shù)是否具有一定的信度；二、在配對口語考試形式下，測試的四個方面（準(zhǔn)確性、流利性、詞匯選擇和話輪轉(zhuǎn)換）是否能代表學(xué)生的口語能力。

（二）研究方法

1. 研究對象及測試形式

本研究的參與者為100位非英語專業(yè)的大二學(xué)生，其中男生24人，女生76人，平均年齡18.67歲。從參與人數(shù)來看，本研究的一個主要局限性是女生人數(shù)眾多，然而正如一些研究表明的性別并不會對口語能力造成顯著的影響（O'Loughlin，2002）。為了實驗數(shù)據(jù)的真實性和消除學(xué)生的緊張心理，在實驗考試前，所有的學(xué)生都被告知該實驗只用于研究，并不會影響他們的實際學(xué)業(yè)表現(xiàn)和分?jǐn)?shù)。此外，參與該實驗的100位學(xué)生自由選擇他們的口語搭檔并有幾分鐘的時間來準(zhǔn)備口語考試的話題。

本次研究的評分員是兩位具有10多年教學(xué)經(jīng)驗的女性教師。教師針對事先準(zhǔn)備好的口語話題分別從準(zhǔn)確性、流利性、詞匯選擇和話輪轉(zhuǎn)換四個方面對學(xué)生的口語能力進(jìn)行評分。評分量表從0到5分別代表“一點不能”到“熟練”。

2. 研究過程

除了上面提到的數(shù)據(jù)搜集過程，本研究還運(yùn)用了PASW統(tǒng)計和Amos18這兩個工具來分析數(shù)據(jù)。通過描述性統(tǒng)計獲得由打分者結(jié)合學(xué)生在配對口語考試形式中的表現(xiàn)給出的平均值、標(biāo)準(zhǔn)差、最高分和最低分。此外，為了測試評分員之間的信度，兩位打分者所給出的分?jǐn)?shù)分別由皮爾森積差相關(guān)性和克隆巴赫的系數(shù)分析進(jìn)行相關(guān)統(tǒng)計從而確定其信度。最后，為了檢測在配對口語考試形式中學(xué)生口語能力的構(gòu)念是否如我們事先假設(shè)的一樣，由準(zhǔn)確性、流利性、詞匯選擇和話輪轉(zhuǎn)換四個方面構(gòu)成，本研究還采用了因子分析的方法。首先，運(yùn)用探索性因子分析了解各項分?jǐn)?shù)如何聚集在一起；其次，在Amos18軟件中運(yùn)用驗證性因素分析來檢驗探索性因素分析的結(jié)果。

四、研究結(jié)果與分析

兩位打分者給出的各項分值和總體分值如表1所示。

從上述數(shù)據(jù)可以看出，評分員1給出的分?jǐn)?shù)要稍高于評分員2。當(dāng)我們運(yùn)用t-test來檢驗兩位評分員所給出的分?jǐn)?shù)是否具有顯著差異的時候，結(jié)果表明在準(zhǔn)確性（t=2.119，p=.035）和話輪轉(zhuǎn)換（t=2.735，p=.007）這兩個方面，評分員所給出的分?jǐn)?shù)具有顯著的差異性。

盡管兩位評分員給出的分?jǐn)?shù)稍有不同，為了驗證他們之間的評分信度，有必要采用測試學(xué)的其他方法進(jìn)行驗證，如表2和表3所示。

通過對兩位評分員所給分?jǐn)?shù)進(jìn)行相關(guān)數(shù)據(jù)處理，可以看出他們之間給出的分?jǐn)?shù)具有較高的信度。

驗證了評分員之間的信度，為了回答本研究的第二個研究問題，接下來將通過探索性因子分析的方法對研究假設(shè)的四個方面進(jìn)行檢測，結(jié)果如表4所示。

表4的數(shù)據(jù)表明，學(xué)生的口語能力構(gòu)念包含很多成分，其中一方面應(yīng)包含其語言本身的語用，另一方面應(yīng)包含語言的社會文化方面。

五、結(jié)束語

近年來越來越多的學(xué)者開始關(guān)注口語能力的構(gòu)念研究。本研究從測試層面初步探討大學(xué)生英語口語能力的構(gòu)念，提出在配對口語考試形勢下口語能力構(gòu)念描述框架的初步構(gòu)想。該研究不但為口語能力的構(gòu)念研究提供了一個嶄新視角，而且還便于英語教師在課堂上進(jìn)行操作。然而，本研究僅是一個探索性的研究，與其相關(guān)的理論框架研究和實證研究還有待加強(qiáng)。

參考文獻(xiàn)：

[1]Carroll， B J. Testing communicative performance： an intern study[M].Oxford： Pergamon，1980.

[2]Shohamy， E. The validity of direct versus semi-direct oral test[J].Language Testing，1994， 11（2）：99-123.

[3]Ellis， R. 2003. Task-based language learning and teaching[M]. Oxford： Oxford University Press.

[4]Brown， J.D. et al. Performance assessment： Existing literature and directions for research[J].Second Language Studies，2005，22（2）：91-139.

[5]Chapelle，C. From Reading Theory to Testing Practice[A].In： Chalhoub-Deville，M. （ Ed. ），Issues in Computer-adaptive Testing of reading[C].Cambridge： Cambridge University Press，1998.

[6]O'Loughlin， K. The impact of gender in oral proficiency testing[J].Language Testing，2002，19（2）：169-192.