長沙理工大學(xué) 羅 娟
提 要: 動態(tài)評估近年來成為教育測量領(lǐng)域的熱點(diǎn)。在動態(tài)評估的定量測量研究中,傳統(tǒng)心理測量模式在評估前提、評估過程及預(yù)測學(xué)習(xí)者潛能方面存在局限,阻礙了動態(tài)評估在外語教學(xué)實(shí)踐中的應(yīng)用?;隈R爾科夫鏈構(gòu)建的動態(tài)評估模型以學(xué)習(xí)者基礎(chǔ)的差異性為前提,在評估對象的個體性、評估過程的動態(tài)性與評估結(jié)果的預(yù)測性方面獨(dú)具優(yōu)勢。本文以大學(xué)英語詞匯教學(xué)為例,闡述模型在外語教學(xué)動態(tài)評估中的應(yīng)用,為教學(xué)實(shí)踐中動態(tài)評估的定量測量研究提供了科學(xué)的評估工具。
近年來,課堂教學(xué)動態(tài)評估(dynamic assessment)已經(jīng)引起教育界的廣泛關(guān)注。2007年我國頒布《大學(xué)英語課程教學(xué)要求》,把科學(xué)的教學(xué)評估放在至關(guān)重要的位置,指出現(xiàn)有大學(xué)英語教學(xué)評估模式應(yīng)從測試教學(xué)向評估教學(xué)轉(zhuǎn)變,教學(xué)評估要采取過程性評估和終結(jié)性評估相結(jié)合的形式?;趧討B(tài)評估理論,本文采用馬爾科夫鏈構(gòu)建了外語教學(xué)動態(tài)評估模型,為動態(tài)評估提供科學(xué)的理論基礎(chǔ)與評估工具。
我國現(xiàn)有教學(xué)評估多為傳統(tǒng)的靜態(tài)評估(static assessment),該評估模式側(cè)重學(xué)習(xí)結(jié)果而非動態(tài)的學(xué)習(xí)過程,無法了解學(xué)生的認(rèn)知過程與認(rèn)知變化等特點(diǎn),也不能為教學(xué)提供足夠的即時(shí)反饋信息。
近年來,針對靜態(tài)評估的局限,動態(tài)評估于國外逐漸發(fā)展起來,成為心理測量領(lǐng)域新的研究分支,對教學(xué)評估改革具有積極的借鑒意義。動態(tài)評估也稱學(xué)習(xí)潛能評估(assessment of learning potential),指在評估過程中在有經(jīng)驗(yàn)的評估者的輔助下,通過評估者和學(xué)生間的交互,探索與發(fā)現(xiàn)個體潛在發(fā)展能力的一種評估方式(Lidz 2003: 337)。該理論注重以動態(tài)歷時(shí)的角度,強(qiáng)調(diào)評估與教學(xué)的結(jié)合,通過評估者與學(xué)生之間的互動來了解學(xué)生的認(rèn)知過程和認(rèn)知變化的特點(diǎn)。
動態(tài)評估于20世紀(jì)90年代漸入高潮,F(xiàn)euerstein、 Budoff、 Brown、 Campione、 Carlson、 Stott與Lidz等為代表人物。依據(jù)研究者提出的理念與研究重點(diǎn)不同,動態(tài)評估可分為不同的動態(tài)評估模式。根據(jù)施測過程不同,主要形成兩類動態(tài)評估模式: 互動式與干預(yù)式(Lantolf & Poehner 2004)。以Feuerstein為代表的互動式模式在技術(shù)與時(shí)間上需要高投入,且難以將評估步驟量化并實(shí)現(xiàn)標(biāo)準(zhǔn)化。而較有影響力的干預(yù)式模式繼承了動態(tài)評估的核心思想—Vygotsky的最近發(fā)展區(qū)(Zone of Proximal Development, ZPD) 理論,是一種將測試與教學(xué)干預(yù)相結(jié)合,測量學(xué)習(xí)過程及結(jié)果的模式。它關(guān)注評估的“量化”指標(biāo): 通常以提示量或干預(yù)后前后測成績的增長為指標(biāo)表示學(xué)習(xí)能力的改變,Sternberg & Grigorenko (2002)將其常用基本模式歸納為“三明治”式: 前測—訓(xùn)練—后測(pretest-teach-posttest)。目前大多數(shù)動態(tài)評估都為此類,如Brown等提出的逐步提示評估法(graduated-prompts approach, GPA)、 Guthke的學(xué)習(xí)測驗(yàn)(learning test)、 Budoff的訓(xùn)練測驗(yàn)(training test)、 Carison Wiedl的極限探測法(Testing-the-limits approach)、 Swanson的認(rèn)知加工測驗(yàn)(Swanson Cognitive Processing Testing, S-CPT)等。
通常干預(yù)式模式中的前后測采用相同或平行測驗(yàn),而中間的教學(xué)干預(yù)過程至關(guān)重要,在課堂訓(xùn)練時(shí)教師會隨時(shí)介入來教導(dǎo)學(xué)生解決問題的策略,并把前測與后測表現(xiàn)進(jìn)行比較。如果進(jìn)步顯著,說明學(xué)習(xí)者有較好的潛在能力與發(fā)展可能性。與傳統(tǒng)靜態(tài)評估不同,動態(tài)評估的對象不是現(xiàn)有學(xué)習(xí)結(jié)果,而以動態(tài)、歷時(shí)的角度對個體的認(rèn)知過程進(jìn)行評估,重點(diǎn)是評估在輔導(dǎo)下學(xué)習(xí)者潛在的認(rèn)知發(fā)展水平,旨在促進(jìn)其認(rèn)知能力的遷移。目前動態(tài)評估已獲得普遍認(rèn)可與應(yīng)用,Sternberg (2002)認(rèn)為,它是自Binet測驗(yàn)以來心理測驗(yàn)領(lǐng)域少數(shù)真正有價(jià)值的突破之一。
動態(tài)評估在外語教學(xué)領(lǐng)域剛起步,在理論與方法論層面均有所發(fā)展(韓寶成 2009)。教育實(shí)踐工作者已開始探索將這種評估方式應(yīng)用于日常教學(xué)實(shí)踐(Ginsburg, Klein, Starkey 1998),也有學(xué)者在EFL /ESL教學(xué)領(lǐng)域進(jìn)行實(shí)證研究,驗(yàn)證了動態(tài)評估在日常教學(xué)中的有效性(如Kozulin & Garb 2002; Antón 2009; Teo 2012; Hessamy & Ghaderi 2014; Mohammad & Sedigheh 2016)。定量測量學(xué)習(xí)潛能的研究采用了多種心理測量理論,包括LPS公式(Kozulin & Garb 2002)、t-test、Pearson 相關(guān)系數(shù)、方差分析、多元回歸分析與結(jié)構(gòu)方程等心理測量理論。但傳統(tǒng)的定量測量模式存在以下局限性: 在評估前提上以多個學(xué)習(xí)群體的同質(zhì)性為假設(shè),即多個學(xué)習(xí)群體的學(xué)習(xí)基礎(chǔ)相同,應(yīng)用范圍有限;在評估過程上以初始與最終測試結(jié)果的差值為評估指標(biāo),對學(xué)習(xí)過程的動態(tài)變化反映不足;在評估結(jié)果上,僅能反映學(xué)習(xí)者當(dāng)前階段的學(xué)習(xí)狀態(tài),對學(xué)習(xí)者潛能的預(yù)測信息有限。Emhretson (1991)采用項(xiàng)目反映理論(Item Response Theory,簡稱IRT)及模型作為動態(tài)評估的計(jì)量學(xué)模型,在測量效度及信度、測量潛在水平等方面具有一定優(yōu)勢。但在受試大樣本的前提下,要求研究者具有深厚的數(shù)理知識及電腦軟件輔助來完成,因此限制了IRT在動態(tài)評估中的應(yīng)用。從現(xiàn)有文獻(xiàn)來看,各種動態(tài)評估的模式缺乏整合問題,其中受到指責(zé)最多的就是心理測量問題(范兆蘭 2009)。定量測量學(xué)習(xí)潛能的各種嘗試,尤其是形成穩(wěn)健的心理測量工具和測量模式的種種努力還沒有得到一致結(jié)論(張麗錦等 2003)。評估的動態(tài)性也帶來了信度與效度難以兼顧的問題,成為質(zhì)疑與批評的焦點(diǎn)(韓寶成 2009)。
動態(tài)評估在教學(xué)領(lǐng)域的應(yīng)用前景是廣闊的。但是將評估服務(wù)于教學(xué),在理論與實(shí)踐層面均需要解決定量測量這一關(guān)鍵問題。如何以科學(xué)的測量模型來客觀的量化評估指標(biāo)、動態(tài)地預(yù)測學(xué)習(xí)者的學(xué)習(xí)潛力,實(shí)現(xiàn)對日常教學(xué)進(jìn)行大規(guī)模的動態(tài)評估,具有重要理論及現(xiàn)實(shí)意義。
1) 模型構(gòu)建
鑒于現(xiàn)有動態(tài)評估理論在心理測量方法上的局限,本文采用干預(yù)式的基本模式,以學(xué)習(xí)遷移能力與學(xué)習(xí)速度為量化指標(biāo),采取前測-訓(xùn)練-后測的測驗(yàn)范式,構(gòu)建學(xué)習(xí)效能評估模型(Learning Efficiency Assessment Model,簡稱LEA 模型), 其中E代表學(xué)習(xí)效能量化值,S代表學(xué)習(xí)者群體的能力遷移值,T代表學(xué)習(xí)時(shí)間:
該模型以學(xué)習(xí)者整體為評估對象,其中S在本文中定義為學(xué)習(xí)者群體的能力遷移程度,在實(shí)際教學(xué)中表現(xiàn)為前后測之間因教育干預(yù)帶來的認(rèn)知成績增長;學(xué)習(xí)時(shí)間可采取長時(shí)與短時(shí)兩種模式,以學(xué)期或月、周來計(jì)。模型中學(xué)習(xí)者群體的能力遷移值S為評估關(guān)鍵,那么哪種測量模型能消除多個學(xué)習(xí)群體能力基礎(chǔ)間的差異,以動態(tài)方式反映各群體在某段學(xué)習(xí)時(shí)間內(nèi)的能力遷移變化、并對其未來學(xué)習(xí)潛力進(jìn)行準(zhǔn)確預(yù)測呢?馬爾科夫鏈恰恰是描述這樣一個動態(tài)過程的數(shù)學(xué)模型。
2) 馬爾科夫鏈的基本原理
馬爾科夫鏈(Markov chain)是一種描述動態(tài)隨機(jī)現(xiàn)象的數(shù)學(xué)模型,也是利用某一變量的現(xiàn)在狀態(tài)和動向去預(yù)測該變量未來的狀態(tài)及動向的一種分析,在經(jīng)濟(jì)學(xué)、社會學(xué)、生命科學(xué)領(lǐng)域有著廣泛的應(yīng)用。馬爾科夫鏈中使用了狀態(tài)轉(zhuǎn)移的概念,狀態(tài)指客觀事物可能出現(xiàn)或存在的狀態(tài),而狀態(tài)轉(zhuǎn)移指客觀事物由一種狀態(tài)轉(zhuǎn)移到另一種狀態(tài)的概率(參見程瑋琪等,2015)。馬爾科夫鏈把時(shí)間序列看成一個隨機(jī)過程,預(yù)測對象為一個隨機(jī)變化的動態(tài)系統(tǒng),根據(jù)狀態(tài)之間轉(zhuǎn)移概率矩陣預(yù)測事件的未來發(fā)展,其本質(zhì)是一種概率估計(jì)。
馬爾科夫鏈有“無后效性”(non-after effect)與“遍歷性”(ergodicity)兩個重要特性。“無后效性”是指在事件發(fā)展過程中,在某一時(shí)刻的狀態(tài)已知條件下,事件將來的狀態(tài)及其出現(xiàn)的概率大小只取決于其現(xiàn)在時(shí)刻所處的狀態(tài),而與之前時(shí)刻的狀態(tài)無關(guān);“遍歷性”是指無論事件現(xiàn)在處于什么狀態(tài),在較長時(shí)間內(nèi),馬爾科夫過程逐漸趨于穩(wěn)定狀況,并且與初始狀況無關(guān)。
利用馬爾科夫鏈的特性可假設(shè): 在教學(xué)效果保持穩(wěn)定的條件下,把某個教學(xué)過程分成兩個小階段,基于教學(xué)訓(xùn)練之前的前測(即現(xiàn)在時(shí)刻)與訓(xùn)練后的后測(即下一時(shí)刻)這兩次平行測驗(yàn),把學(xué)生的兩次成績分成M個等級,則前測到后測之間(或現(xiàn)在時(shí)刻到下一時(shí)刻)學(xué)生成績狀態(tài)的轉(zhuǎn)移變化就可反映其學(xué)習(xí)能力的遷移,再通過分析學(xué)生兩次成績在等級間的轉(zhuǎn)移來構(gòu)建轉(zhuǎn)移矩陣。這種轉(zhuǎn)移是學(xué)生現(xiàn)在所處的成績狀態(tài)向下一時(shí)刻的轉(zhuǎn)移,與其以前的狀態(tài)(即學(xué)習(xí)基礎(chǔ))無關(guān),具有無后效性,因此教學(xué)過程可當(dāng)成一個馬爾科夫鏈,以此構(gòu)建的評估模型可有效的剔除學(xué)生基礎(chǔ)差異這一因素。假如在今后較長時(shí)間內(nèi),這一教學(xué)效果持續(xù)保持下去,即馬爾科夫過程逐漸趨于穩(wěn)定狀態(tài),可依據(jù)馬爾科夫鏈的遍歷性求出極限向量,來代表學(xué)習(xí)者群體最終達(dá)到的學(xué)習(xí)水平,因此可對其學(xué)習(xí)的未來發(fā)展趨勢,也就是學(xué)習(xí)潛能做出預(yù)測。
目前動態(tài)評估的實(shí)證研究主要著眼于閱讀與語法教學(xué)(Li & Li 2015),但詞匯教學(xué)很少(Hessamy & Ghaderi 2014)。因此本節(jié)以詞匯教學(xué)為例,將LEA模型應(yīng)用于大學(xué)英語課堂教學(xué)的動態(tài)評估,以實(shí)例來展示評估的具體步驟,并驗(yàn)證模型在動態(tài)評估中的可行性與信度。
1) 實(shí)驗(yàn)過程
本實(shí)驗(yàn)選擇湖南某高校非英語專業(yè)學(xué)生為實(shí)驗(yàn)對象(實(shí)驗(yàn)班55人,控制班49人), 由一位教師采用兩種不同教學(xué)方式進(jìn)行詞匯教學(xué)。教學(xué)內(nèi)容為《新視野英語》教程中的構(gòu)詞法,包含派生法、合成法、轉(zhuǎn)換法、縮略詞與混合法、首字母法縮略六種構(gòu)詞法,每周教授兩種構(gòu)詞法??刂瓢鄬?shí)行常規(guī)傳統(tǒng)教學(xué)模式,要求學(xué)生課前預(yù)習(xí)、課后完成課本練習(xí),由教師在課堂上講授教材內(nèi)容及校對習(xí)題、解答疑難。在實(shí)驗(yàn)班要求學(xué)生在課前歸納、補(bǔ)充教材內(nèi)容的基礎(chǔ)上分組制作PPT,由學(xué)生輪流課堂講授,其他學(xué)生提問、點(diǎn)評,然后教師做總結(jié)性點(diǎn)評,指出不足并解答問題。通過師生、生生互評,幫助學(xué)生理解與掌握詞匯構(gòu)成的基本知識。(本文重點(diǎn)為介紹模型,教學(xué)干預(yù)過程不做詳述。)
2) 測試
測試詞匯選自《新視野大學(xué)英語》及《大學(xué)英語四級詞匯大綱》,涉及六種構(gòu)詞法的100個單詞,按照詞匯拼寫難度與詞頻相近的原則分為兩個平行測試(各50小題),作為前測與后測。為保證測試效度,詞匯測試參考了Nation(2001)詞匯量測試,設(shè)有兩個題型: 拼寫(recall)與識記(recognition)。經(jīng)試測,兩個測試的K-R21信度指數(shù)達(dá)到了0.84與0.82,測試信度較好。
實(shí)驗(yàn)前學(xué)生未接受任何詞匯策略培訓(xùn)。在教學(xué)開始前,教師在兩個班課堂上先實(shí)施前測,在構(gòu)詞法教學(xué)結(jié)束后實(shí)施兩次后測: 第一次后測在每次課堂教學(xué)后根據(jù)教學(xué)內(nèi)容隨即進(jìn)行,以檢驗(yàn)詞匯的短時(shí)記憶效果;第二次后測在所有構(gòu)詞法教學(xué)結(jié)束后進(jìn)行,以檢驗(yàn)長時(shí)記憶效果。最后統(tǒng)計(jì)學(xué)生前測及兩次后測成績,成績滿分為100分,實(shí)驗(yàn)時(shí)間為3周。
3) 模型應(yīng)用
LEA模型的構(gòu)建涉及馬爾科夫鏈的基本原理(詳細(xì)參見Norris 1997: 169-182; Diaconis, Holmes & Neal 2000: 726-752; 李仁蘇,蔡根女,鄭愛芝2007),本文主旨為介紹其在動態(tài)評估中的應(yīng)用,限于篇幅對數(shù)學(xué)原理只做簡要闡述,本節(jié)通過控制班與實(shí)驗(yàn)班的詞匯教學(xué)評估實(shí)例來介紹模型應(yīng)用的主要步驟。
(1) 列出成績轉(zhuǎn)移矩陣表。
根據(jù)學(xué)生的前測與后測兩次成績, 按照一定標(biāo)準(zhǔn)將成績分成m個等級,列出成績轉(zhuǎn)移矩陣表: 用有序標(biāo)碼i、j表示由前測的第i等級轉(zhuǎn)移到后測的第j等級,學(xué)生成績的轉(zhuǎn)移變化情況為nij,表示由第i等級轉(zhuǎn)移到第j等級的人數(shù)(i,j=1, 2, 3, ...,m)。假設(shè)一階段教學(xué)后,把i等級學(xué)生培養(yǎng)為j等級學(xué)生(i>j)是進(jìn)步;反之,把i等生培養(yǎng)成j(i 在詞匯教學(xué)中,將詞匯前測與第一次后測成績分為五個級別: 優(yōu) /Excellent(90~100)、良 /Good(80~89)、中 /Medium(70~79)、及格 /Pass(60~69)、不及格 /Fail(0~59), 然后根據(jù)學(xué)生在施教前后詞匯成績級別的轉(zhuǎn)移變化列出狀態(tài)轉(zhuǎn)移矩陣表。實(shí)驗(yàn)班前測中有8人為優(yōu),經(jīng)過階段教學(xué)后,在詞匯短時(shí)記憶的后測中該8人有6人仍為優(yōu),其他2人降為及格,在五個級別上的分布為(6, 0, 0, 2, 0) (見圖1左部分第1行),依此可列出兩個班的成績轉(zhuǎn)移矩陣表。(注: 文中數(shù)據(jù)分析由基于LEA模型編程開發(fā)的軟件完成。) 圖1. 實(shí)驗(yàn)班(Group 1)與控制班(Group 2)成績轉(zhuǎn)移矩陣表 (2) 根據(jù)轉(zhuǎn)移矩陣表確定狀態(tài)轉(zhuǎn)移概率矩陣P。 圖2. 實(shí)驗(yàn)班(Group 1)與控制班(Group 2)的狀態(tài)轉(zhuǎn)移概率矩陣P (3) 求出平穩(wěn)分布,即求矩陣P特征值為1的特征向量(characteristic vector)。 特征向量是事件發(fā)展達(dá)到穩(wěn)定狀態(tài)時(shí)的概率向量,簡而言之,是指當(dāng)影響事件發(fā)展的諸多因素穩(wěn)定時(shí),事件在這些條件下達(dá)到的將來狀態(tài)及其出現(xiàn)的概率大小,而這一概率大小與初始狀態(tài)無關(guān)。 圖3. 實(shí)驗(yàn)班(Data 1)與控制班(Data 2) 的特征向量 經(jīng)軟件計(jì)算(計(jì)算過程略, 見圖3), 兩個班的短時(shí)記憶成績矩陣P的特征向量為: 如果教學(xué)效果保持穩(wěn)定,依據(jù)教學(xué)的現(xiàn)在狀態(tài),根據(jù)馬爾科夫鏈的遍歷性求出特征向量,按目前成績級別變化(即轉(zhuǎn)移概率基本保持不變),可預(yù)測學(xué)習(xí)群體的未來發(fā)展?jié)摿Γ?在將來詞匯學(xué)習(xí)中,實(shí)驗(yàn)班有19.6%的同學(xué)短時(shí)記憶成績?yōu)閮?yōu),23.27%的同學(xué)成績?yōu)榱迹?0.76%的同學(xué)成績?yōu)橹校?6.37%同學(xué)為差;而控制班有6.59%同學(xué)成績?yōu)閮?yōu),21.42%同學(xué)成績?yōu)榱迹?1.17%同學(xué)為中,10.81%的同學(xué)為差。從直觀上看,實(shí)驗(yàn)班的學(xué)生轉(zhuǎn)移為等級“優(yōu)”與“良”的比率高于控制班,也就是說學(xué)生群體的整體遷移能力趨勢更好。 (4) 設(shè)定教學(xué)成績的等級劃分標(biāo)準(zhǔn),求出學(xué)習(xí)成效評估值S。 將學(xué)生成績分成m個等級的每個狀態(tài)分?jǐn)?shù)范圍的中間值為a1, a2, a3, …, am,以此定量指標(biāo)為權(quán)重,在解出P的特征向量X=(x1,x2, …,xm)后,與x1,x2, …,xm加權(quán)來計(jì)算學(xué)習(xí)成效評估值S,其計(jì)算公式為: S=a1x1+a2x2+a3x3+…+amxm。 在該實(shí)驗(yàn)中,將學(xué)生成績分成五個級別的分?jǐn)?shù)區(qū)間的中間值為95, 85, 75, 65, 55,以該指標(biāo)為權(quán)重,與P矩陣的特征向量加權(quán)計(jì)算短時(shí)記憶詞匯測試中,學(xué)習(xí)者群體的能力遷移值S(見圖4): 圖4. 實(shí)驗(yàn)班(Group 1)與控制班(Group 2)的能力遷移值S計(jì)算過程 由計(jì)算可得,實(shí)驗(yàn)班的學(xué)生群體的能力遷移值為79.61,控制班的學(xué)生群體的能力遷移值為77.3715。 (5) 求學(xué)習(xí)效能量化值E。 將教學(xué)時(shí)間以周或天為單位代入評估公式,求出學(xué)習(xí)效能量化值。兩個班的課堂教學(xué)學(xué)時(shí)均為3周,為方便計(jì)算可設(shè)學(xué)習(xí)時(shí)間為1,因此學(xué)習(xí)效能量化值E的計(jì)算結(jié)果為: 由此可見,EGroup 1>EGroup 2 通過LEA模型分析可見,在詞匯短時(shí)記憶實(shí)驗(yàn)中,兩個班的學(xué)習(xí)效能量化值分別為79.61與72.37,實(shí)驗(yàn)班學(xué)習(xí)效能值略高于控制班,說明實(shí)驗(yàn)班的教學(xué)成效優(yōu)于控制班。 在長時(shí)記憶詞匯測試中,兩個班的能力遷移值S的計(jì)算結(jié)果為(步驟1—3與短時(shí)記憶計(jì)算過程相同,此處略): SGroup 1=0.146×95+0.26×85+0.392 8×75+0.201 2×65+0×55=78.508 SGroup 2=0.042 6×95+0.207 4×85+0.454 6×75+0.233 2×65+0×55=70.929 則兩個班的學(xué)習(xí)效能量化值E的計(jì)算結(jié)果為: 可見: EGroup 1>EGroup 2 同理,LEA模型對詞匯長時(shí)記憶實(shí)驗(yàn)進(jìn)行評估后,對兩個班學(xué)習(xí)者群體的未來發(fā)展?jié)摿ψ龀鲆韵骂A(yù)測: 在將來詞匯教學(xué)中,實(shí)驗(yàn)班將有14.6% 的同學(xué)長時(shí)記憶成績?yōu)閮?yōu),26%的同學(xué)成績?yōu)榱?,而控制班僅有4.26%同學(xué)成績?yōu)閮?yōu),20.74%同學(xué)成績?yōu)榱?。最終結(jié)果顯示,兩個班的學(xué)習(xí)效能量化值分別為78.51與70.93,說明在相同教學(xué)時(shí)間內(nèi)實(shí)驗(yàn)班詞匯長時(shí)記憶的教學(xué)成效明顯優(yōu)于控制班。 由以上實(shí)例可見,基于馬爾科夫鏈的LEA模型可有效地反映教學(xué)實(shí)踐中學(xué)生群體的學(xué)習(xí)能力的遷移,通過對其學(xué)習(xí)的未來發(fā)展趨勢對學(xué)習(xí)潛能進(jìn)行預(yù)測,最終實(shí)現(xiàn)對教學(xué)成效的動態(tài)評估。 4) 信度檢驗(yàn) 評估工具的關(guān)鍵是信度,即評估結(jié)果的可靠性與一致性程度。為驗(yàn)證模型評估結(jié)果的信度,本節(jié)采用t檢驗(yàn)對兩個班級的兩次后測成績進(jìn)行差異顯著性分析。 表1. 詞匯后測成績統(tǒng)計(jì)量 表2. 詞匯后測成績t檢驗(yàn) 由表1及表2可見,使用不同教學(xué)方法的兩個班的短時(shí)及長時(shí)記憶成績均存在差異。無論是是短時(shí)記憶還是長時(shí)記憶,實(shí)驗(yàn)班的教學(xué)成效顯著高于控制班(短時(shí): t=2.117,p=0.037, Cohen’s d=0.11;長時(shí): t=3.134,p=0.002, Cohen’s d=0.47)。t檢驗(yàn)結(jié)果與LEA模型的評估結(jié)果一致,但評估模型的優(yōu)勢是t檢驗(yàn)無法比擬的,下節(jié)具體討論。 傳統(tǒng)動態(tài)評估研究中常用t檢驗(yàn)、方差分析、回歸分析等方法對教學(xué)成效進(jìn)行定量評估,其應(yīng)用存在一定局限性: (1) 應(yīng)用前提: 僅能比較學(xué)習(xí)基礎(chǔ)無顯著差異的學(xué)生群體,無法考慮其原始狀態(tài),不適用基礎(chǔ)不同的群體;(2) 評估模式: 實(shí)質(zhì)是依賴學(xué)生最終成績的一種靜態(tài)評估,無法考慮教學(xué)過程中學(xué)生能力的發(fā)展變化過程,也無法對其發(fā)展?jié)摿ψ龀鲱A(yù)測。 與上述評估方法相比,依照Haywood & Lidz (2007: 6)提出的動態(tài)評估的特征框架,基于馬爾科夫鏈的動態(tài)評估模型主要優(yōu)勢在于: 1) 評估對象的個體性。動態(tài)評估以學(xué)生個體為評估對象,該模型是將學(xué)生個體的原始狀態(tài)與遷移后的狀態(tài)相比,將傳統(tǒng)的常模參照改變?yōu)閭€體自身動態(tài)發(fā)展的縱向比較,而非靜態(tài)評估中將自我與他人對比,體現(xiàn)了關(guān)注個體發(fā)展的評估理念。 2) 評估過程的動態(tài)性。動態(tài)評估強(qiáng)調(diào)以動態(tài)歷時(shí)的角度對學(xué)生的思維、認(rèn)知能力進(jìn)行評估?;隈R爾科夫鏈“無后效性”的評估模型考慮了學(xué)生群體的原始狀態(tài),剔除學(xué)生群體間初始狀況的差異,通過前測與后測間的變化來把握其能力遷移情況,以此構(gòu)建轉(zhuǎn)移矩陣,因此可對初始狀態(tài)存在差異的學(xué)生群體進(jìn)行動態(tài)評估,其本質(zhì)是利用學(xué)生在一定教學(xué)時(shí)間內(nèi)的“遷移度”來計(jì)算其進(jìn)步趨勢,強(qiáng)調(diào)的是測驗(yàn)時(shí)學(xué)生學(xué)習(xí)和改變的認(rèn)知過程。 3) 評估結(jié)果的預(yù)測性。動態(tài)評估關(guān)心的是學(xué)生的潛能,不僅關(guān)注實(shí)際發(fā)展區(qū),還重視最近發(fā)展區(qū),重視被評估者今后形成什么、變成什么。該模型正是一種基于發(fā)展視角的評估方法?;谇皽y與后測,利用馬爾科夫鏈的“遍歷性”,也就是利用教學(xué)的現(xiàn)在狀況及發(fā)展趨勢來預(yù)測學(xué)生的未來潛能及教學(xué)的未來狀況,可對教學(xué)效果的優(yōu)劣做出判斷。而傳統(tǒng)靜態(tài)評估測量的是個體已經(jīng)形成的能力,評估的只是現(xiàn)階段學(xué)習(xí)結(jié)果,只擁有“現(xiàn)在”,看不到“將來”。 本文運(yùn)用該模型對詞匯教學(xué)進(jìn)行了動態(tài)評估,評估原理及方法可拓展到外語教學(xué)實(shí)踐的其他方面,可用于對學(xué)習(xí)者語法、語音、寫作等知識乃至對語言能力、交際能力、學(xué)習(xí)策略等各個方面的動態(tài)評估。在高校外語網(wǎng)絡(luò)多媒體教學(xué)模式已基本成型的大環(huán)境下,結(jié)合計(jì)算機(jī)的數(shù)據(jù)記錄、分析與處理能力,可通過該評估模型進(jìn)行大規(guī)模的評估數(shù)據(jù)采集、分析,以實(shí)現(xiàn)將教學(xué)干預(yù)與同步反饋相結(jié)合,把評估與教學(xué)、診斷、輔導(dǎo)、矯正有機(jī)地結(jié)合在一起。 動態(tài)評估研究還處于發(fā)展初步階段,它不僅是一種理念,也是一種方法,強(qiáng)調(diào)質(zhì)化與量化研究相結(jié)合,需從跨學(xué)科的視角展開研究。本文基于動態(tài)評估理論,采用馬爾科夫鏈構(gòu)建了評估模型,通過詞匯教學(xué)實(shí)例介紹了模型的基本原理與應(yīng)用,并驗(yàn)證模型的信度,從評估對象、評估過程與評估結(jié)果方面探討了模型的優(yōu)勢,為動態(tài)評估的定量測量學(xué)習(xí)潛能研究做出了新的探索。 動態(tài)評估的信度與效度一直是研究的熱點(diǎn),本文初步提出了模型的構(gòu)建,后續(xù)將進(jìn)行更多效度驗(yàn)證研究。盡管動態(tài)評估存在對教師教學(xué)專業(yè)素質(zhì)及評估水平要求較高、評估歷時(shí)長等問題,在理論與實(shí)踐層面還有很多問題亟待解決,但筆者相信,動態(tài)評估必將成為未來教育評估的發(fā)展方向。5. 討論
6. 結(jié)論