梁炯霞

(廣東科學(xué)技術(shù)職業(yè)學(xué)院 外國語學(xué)院，廣州 510640)

引言

近年來，線上教學(xué)、線上自主學(xué)習(xí)已經(jīng)發(fā)展成熟并成為日常教學(xué)的常態(tài)。教學(xué)與測試是同時(shí)存在、緊密聯(lián)系且相互作用的。測試是檢測教學(xué)效果和提高教學(xué)質(zhì)量的重要手段，是教學(xué)過程中不可欠缺的重要環(huán)節(jié)。因此，線上測試也應(yīng)與線上教學(xué)一樣得到重視和發(fā)展。本研究從學(xué)生的角度出發(fā)，探討學(xué)生對于線上診斷性測評反饋報(bào)告的看法，了解高中低水平學(xué)生的評價(jià)有何差異，并深入剖析造成差異的原因。由于目前國內(nèi)英語語言能力線上測評平臺(tái)較少，高質(zhì)量且免費(fèi)開放的更少，因此，本研究選擇全球四大著名英語語言能力的線上診斷性評估平臺(tái)之一的DIALANG平臺(tái)，由Alderson團(tuán)隊(duì)于2005年研發(fā)。

一、研究背景

傳統(tǒng)的語言測試只提供一個(gè)籠統(tǒng)的考試分?jǐn)?shù)或語言能力估值，無法解釋具有相同分?jǐn)?shù)或相同語言能力的學(xué)生具有不同的知識(shí)狀態(tài)及不同認(rèn)知結(jié)構(gòu)這一現(xiàn)象。語言測試專家們更希望語言測試能夠提供診斷信息，能夠報(bào)告學(xué)生在考試中的認(rèn)知過程、知識(shí)結(jié)構(gòu)和加工技能，并對高能力被試與低能力被試的差別進(jìn)行刻畫，為教學(xué)和學(xué)習(xí)提供豐富的反饋信息。于是，20世紀(jì)90年代，以認(rèn)知診斷為核心的新一代測量理論應(yīng)運(yùn)而生。診斷性測評的測評方法與目標(biāo)等先天特質(zhì)，決定了診斷性測評只有與互聯(lián)網(wǎng)結(jié)合起來才能獲得發(fā)展。因此，線上診斷性測評研究應(yīng)該受到關(guān)注和重視，應(yīng)與線上教學(xué)研究并駕齊驅(qū)、齊頭并進(jìn)。

目前，國內(nèi)外主要通過構(gòu)建認(rèn)知模型來測量學(xué)生在考試中的知識(shí)結(jié)構(gòu)、加工技能，以及對細(xì)顆?；哪芰傩缘恼莆涨闆r。閱讀、聽力方面的研究最多，寫作和口語次之。如國外：Jang[1]，Li et al[2]，Yi[3]研究了閱讀和聽力的認(rèn)知診斷性評估；Kim[4],Chapelle et al[5]對寫作進(jìn)行認(rèn)知診斷研究；國內(nèi)：馬曉梅等[6]研發(fā)的英語視聽診斷評估與策略指導(dǎo)一體化網(wǎng)絡(luò)系統(tǒng)，被作為西安交通大學(xué)的校本學(xué)習(xí)系統(tǒng)。范婷婷等[7]探討了英語閱讀能力認(rèn)知診斷測試中需解決的主要問題，即理論基礎(chǔ)、屬性定義、題型選擇以及模型的可操作。閔尚超等[8]將聽力能力劃分為六個(gè)認(rèn)知屬性，運(yùn)用四個(gè)不同性質(zhì)的認(rèn)知診斷模型，從粒化認(rèn)知屬性層面探究英語聽力理解中的互補(bǔ)性機(jī)制及其體現(xiàn)。孟亞茹等[9]基于認(rèn)知診斷評估，探索基于聽力認(rèn)知屬性的動(dòng)態(tài)評估干預(yù)模式。此外，也有學(xué)者探討學(xué)生對診斷性反饋報(bào)告的看法，如Wagner[10],Jang et al[11]研究發(fā)現(xiàn)學(xué)生對反饋報(bào)告的態(tài)度不一、對利用該報(bào)告的效率并不理想，學(xué)生需要更多的指導(dǎo)才能高效利用反饋報(bào)告；田霖等[12]也有類似的研究結(jié)論。但是，總的來說，國內(nèi)外對這方面的研究都不多，國內(nèi)更少。

因此，本文研究的問題：(1)學(xué)生對DIALANG英語閱讀能力診斷性評估的反饋報(bào)告評價(jià)如何？(2)高中低水平學(xué)生的評價(jià)有何差異？造成差異的原因是什么？

二、研究設(shè)計(jì)

(一)研究對象

本文的研究對象為某高職院校大一學(xué)生，分別來自計(jì)算機(jī)軟件、體育保健與運(yùn)動(dòng)防護(hù)、體育產(chǎn)業(yè)營銷、財(cái)務(wù)管理、建筑專業(yè)。該樣本專業(yè)和英語水平覆蓋面較廣，具有一定的代表性。

(二)研究方法

本研究主要采用文獻(xiàn)法、問卷調(diào)查法。

(三)研究工具

本研究采用的DIALANG測試平臺(tái)是國外的英語語言能力在線測試平臺(tái)，于2005年由Alderson團(tuán)隊(duì)研發(fā)，提供 14種歐洲官方語言的多語種診斷性測試，涵蓋聽力、閱讀、寫作、詞匯、語法五大方面的語言能力測試。根據(jù)考生的答題情況，依照歐洲共同語言參考標(biāo)準(zhǔn)(簡稱“歐框”)，該平臺(tái)提供語言能力級別診斷報(bào)告和學(xué)習(xí)建議。本研究只選用其中的閱讀能力診斷測試。DIALANG反饋報(bào)告主要包括：(1)級別診斷報(bào)告：A1，A2，B1，B2，C1，C2(級別水平由低至高依次遞增)；(2)各個(gè)級別的學(xué)習(xí)建議。

(四)統(tǒng)計(jì)工具

本研究使用SPSS 24.0進(jìn)行單因素方差分析。

(五)研究過程

為了更科學(xué)準(zhǔn)確地獲取學(xué)生對DIALANG英語閱讀能力診斷性評估反饋報(bào)告的態(tài)度和看法，本課題組開發(fā)編制了一份較有針對性的問卷。問卷經(jīng)過多次試驗(yàn)和修改才最終確定。問卷包含兩大部分：級別診斷報(bào)告和學(xué)習(xí)建議。級別診斷報(bào)告部分含6個(gè)題項(xiàng)，學(xué)習(xí)建議部分含8個(gè)題項(xiàng)，共計(jì)14題項(xiàng)。問卷采用李克特5級計(jì)分量表形式，具體分為完全不同意(1分)、不同意(2分)、不確定(3分)、同意(4分)、完全同意(5分)共5個(gè)等級。

本研究通過問卷星平臺(tái)發(fā)放問卷，回收270份。為減少未認(rèn)真作答帶來的數(shù)據(jù)污染，剔除全選同一個(gè)答案的問卷。剔除無效樣本問卷后剩余252份進(jìn)行數(shù)據(jù)分析。

運(yùn)用描述性統(tǒng)計(jì)方法對252份問卷進(jìn)行分析，了解學(xué)生對DIALANG英語閱讀能力診斷性評估反饋報(bào)告的態(tài)度和看法。

運(yùn)用單因素方差分析法，探究高中低三種測試水平的學(xué)生的態(tài)度看法是否具有顯著性差異。然后結(jié)合國內(nèi)外文獻(xiàn)、DIALANG測試平臺(tái)特點(diǎn)、學(xué)生特征，分析討論造成差異的原因。

三、結(jié)果與討論

(一)學(xué)生的態(tài)度與看法

1.級別診斷報(bào)告

總體而言，將近50%的學(xué)生認(rèn)為級別診斷報(bào)告簡單易懂。但是，有接近30%的學(xué)生持相反意見，認(rèn)為該級別診斷報(bào)告生詞多，該級別診斷報(bào)告的用詞造句不易理解。約60.32%的學(xué)生認(rèn)為該級別診斷報(bào)告能準(zhǔn)確地診斷出其英語閱讀能力總體水平，9.13%學(xué)生認(rèn)為不能，30.56%學(xué)生表示不確定。57.14%學(xué)生認(rèn)為能準(zhǔn)確地診斷出我對英語閱讀能力各項(xiàng)技巧的掌握程度，10.31%學(xué)生認(rèn)為不能，32.54%學(xué)生持不確定意見。

2.學(xué)習(xí)建議

在學(xué)習(xí)建議的可理解性方面，41.27%的學(xué)生認(rèn)為該學(xué)習(xí)建議生詞很少，27.78%的學(xué)生持相反意見，30.95%學(xué)生保持中立態(tài)度。48.02%的學(xué)生認(rèn)為該學(xué)習(xí)建議的用詞簡單易懂，27.38%學(xué)生表示該學(xué)習(xí)建議的用詞不易理解，24.6%學(xué)生表示不確定。52.78%學(xué)生認(rèn)為學(xué)習(xí)建議的句子結(jié)構(gòu)簡單易懂，25.4%學(xué)生表示不確定，21.83%學(xué)生持相反意見。61.51%學(xué)生表示該學(xué)習(xí)建議具有現(xiàn)實(shí)可操作性，10.31%的學(xué)生表示相反意見，28.17%表示不確定。70.24%學(xué)生認(rèn)為該學(xué)習(xí)建議能為我進(jìn)行英語閱讀能力訓(xùn)練指明方向，8.73%持否定意見，21.03%表示不確定。61.11%的學(xué)生認(rèn)為其能夠在實(shí)際學(xué)習(xí)中運(yùn)用該學(xué)習(xí)建議中提到的方法，11.11%的學(xué)生持否定意見，27.78%的學(xué)生表示不確定。66.27%的學(xué)生認(rèn)為其能夠在現(xiàn)實(shí)環(huán)境中找到該學(xué)習(xí)建議中提到的資源，7.14%的學(xué)生持否定意見，26.59%的學(xué)生選擇中立立場。50%的學(xué)生認(rèn)為根據(jù)該學(xué)習(xí)建議能輕松地進(jìn)行英語閱讀訓(xùn)練，15.48%的學(xué)生持相反意見，34.52%的學(xué)生選擇中立立場。

(二)高中低水平差異情況

252份有效問卷中，有四個(gè)水平的學(xué)生，具體分別是A1、A2、B1、B2四個(gè)等級水平。結(jié)合DIALNAG測試平臺(tái)對等級的劃分標(biāo)準(zhǔn)，以及學(xué)生平時(shí)的考試成績，即期末成績或期中成績，本研究把A1定為低水平，A2定為中水平，把B1和B2定為高水平。本研究在高中低三個(gè)測試水平學(xué)生中分別隨意抽取15份數(shù)據(jù)樣本，共計(jì)45份，進(jìn)行單因素方差分析。方差齊性檢驗(yàn)表數(shù)據(jù)顯示，P=0.260，大于0.05，說明方差呈齊性，滿足方差分析的前提假定。方差分析推斷統(tǒng)計(jì)表顯示，sig.=0.439,大于0.05，說明各組平均數(shù)之差沒有達(dá)到顯著水平(見下表)。

單因素組間方差分析推斷統(tǒng)計(jì)表

(三)討論

1.“不確定”的比例略高

在級別診斷報(bào)告和學(xué)習(xí)建議兩大部分問卷中，學(xué)生被試選擇“不確定”的比例略高。14個(gè)題項(xiàng)中，每題的“不確定”選擇比例約在21%—35%區(qū)間。為何會(huì)有這么多學(xué)生選擇中立的態(tài)度？主要原因是問卷填寫前的準(zhǔn)備工作煩瑣復(fù)雜。首先，學(xué)生需要先觀看登錄操作視頻，按照視頻指示登錄DIALANG測試網(wǎng)頁進(jìn)行英語閱讀能力診斷性測試。該平臺(tái)的登錄步驟比較煩瑣。其次，該測試共有30道閱讀題，每題都是閱讀1—2個(gè)段落的小短文完成對應(yīng)選擇題的形式。與被試學(xué)生的平時(shí)英語測驗(yàn)相比，這個(gè)測試是有一定難度的，并且有些題型不太熟悉，至少需要25分鐘才能完成。完成測試之后，學(xué)生還需要認(rèn)真閱讀該測試平臺(tái)提供的級別診斷報(bào)告和學(xué)習(xí)建議，最后才開始填寫問卷。換言之，學(xué)生在填寫問卷之前，已經(jīng)花費(fèi)了大量的時(shí)間和精力去做相關(guān)的準(zhǔn)備工作，在填寫問卷時(shí)難免帶有一點(diǎn)厭煩情緒。

2.級別診斷報(bào)告的準(zhǔn)確性

問卷數(shù)據(jù)表明，均有10%左右的學(xué)生認(rèn)為該級別診斷報(bào)告不能準(zhǔn)確地診斷出其英語閱讀能力總體水平、對英語閱讀能力各項(xiàng)技巧的掌握程度。經(jīng)分析，背后原因主要有兩點(diǎn)。其一，對于被試學(xué)生而言，DIALANG平臺(tái)的英語閱讀能力測試題目總體偏難。題目偏難，區(qū)分度就低，不能很好地區(qū)分出高水平學(xué)生和低水平學(xué)生，難以反映學(xué)生的真實(shí)水平。其二，DIALANG平臺(tái)測試題目中有些題型是學(xué)生平時(shí)很少接觸的，并且整個(gè)平臺(tái)都是以英文呈現(xiàn)的，基礎(chǔ)差的學(xué)生未必能看懂所有的題目指示說明，從而降低了測試的準(zhǔn)確性。其三，DIALANG平臺(tái)的測試結(jié)果診斷報(bào)告從低至高共分為六個(gè)等級：A1，A2，B1，B2，C1，C2，這與學(xué)生平時(shí)習(xí)慣的數(shù)值型分?jǐn)?shù)成績不同，不夠直觀明了。學(xué)生習(xí)慣了100分制的分?jǐn)?shù)，而這些等級與100分制之間沒有直接對等關(guān)系，他們很有可能因此覺得診斷報(bào)告不夠準(zhǔn)確。

3.學(xué)習(xí)建議的可行性

問卷數(shù)據(jù)表明，有10%左右的學(xué)生不認(rèn)為該學(xué)習(xí)建議具有現(xiàn)實(shí)可操作性，能為其進(jìn)行英語閱讀能力訓(xùn)練指明方向、能在實(shí)際學(xué)習(xí)中運(yùn)用該學(xué)習(xí)建議中提到的方法、能在現(xiàn)實(shí)環(huán)境中找到該學(xué)習(xí)建議中提到的資源。15%的學(xué)生認(rèn)為根據(jù)該學(xué)習(xí)建議不能輕松地進(jìn)行英語閱讀訓(xùn)練。原因主要是：DIALANG是國外的在線測試平臺(tái)，其生成的學(xué)習(xí)建議自然是依據(jù)國外的情況條件設(shè)定的，有些建議在中國沒辦法實(shí)施。

4.高中低水平學(xué)生之間的觀點(diǎn)無顯著差異

單因素方差分析顯示，高中低三個(gè)測試水平的學(xué)生對DIALANG在線測試平臺(tái)的態(tài)度和看法沒有顯著性差異。經(jīng)分析，原因可能有如下幾點(diǎn)。其一，這個(gè)問卷調(diào)查是在2020年6月實(shí)施的，恰逢新冠疫情時(shí)期，學(xué)校所有課程都實(shí)行線上教學(xué)，所以這個(gè)問卷調(diào)查也是以線上的形式進(jìn)行。沒有教師在課堂上面對面監(jiān)督，學(xué)生填寫問卷難免有敷衍了事的心態(tài)。其二，學(xué)習(xí)建議部分問卷的最后四道題目都是關(guān)于學(xué)習(xí)建議的可行性，由于大家的生活學(xué)習(xí)條件限制，所以三個(gè)水平學(xué)生的答案自然也是相似度高。其三，整個(gè)問卷調(diào)查中，學(xué)生選擇“不確定”選項(xiàng)比例略高，因而導(dǎo)致三個(gè)水平之間沒有顯著差異。因此，問卷中是否可以刪掉“不確定”這個(gè)中立態(tài)度的選項(xiàng)，也是一個(gè)值得斟酌的問題。

結(jié)束語

隨著線上教學(xué)的常態(tài)化，線上測試必然成為教育發(fā)展的重中之重。了解學(xué)生對構(gòu)建線上測試平臺(tái)的態(tài)度和看法有助于提高平臺(tái)的使用率和有效性，從而推動(dòng)線上測試的改革創(chuàng)新和發(fā)展。本研究還有許多不足之處，例如某些問卷題項(xiàng)還不夠科學(xué)；問卷調(diào)查實(shí)施過程中，教師沒有面對面地讓學(xué)生進(jìn)行平臺(tái)測試然后填寫問卷。否則，將會(huì)獲取到更豐富、更理想的信息。