李礴,鄧桂萍
(長沙航空職業(yè)技術(shù)學(xué)院,湖南長沙 410124)
當(dāng)前,在我國高校教師教學(xué)質(zhì)量的評(píng)價(jià)體系中,學(xué)生對(duì)教師授課過程及其教學(xué)效果的評(píng)價(jià)已占非常重要的地位。學(xué)生評(píng)教不僅能作為考核教師教學(xué)水平的評(píng)估依據(jù),更能促進(jìn)教師對(duì)教學(xué)活動(dòng)、教學(xué)方式的持續(xù)改進(jìn)。但是,由于學(xué)生對(duì)教師存在個(gè)人情感因素,很容易使得學(xué)生在評(píng)教過程中產(chǎn)生評(píng)教偏差。一方面由于學(xué)生的教育背景、個(gè)人能力以及對(duì)課程知悉程度等差異因數(shù)造成的評(píng)教偏差,屬于感知差異評(píng)教偏差;另一方面,學(xué)生的隨意消極評(píng)教、存心惡意評(píng)教以及為了取悅教師和學(xué)校的趨高評(píng)教而產(chǎn)生的評(píng)教偏差則屬于非感知差異評(píng)教偏差。無論哪種評(píng)教偏差均能嚴(yán)重影響教師的教學(xué)質(zhì)量評(píng)判,無法準(zhǔn)確反映教師的真實(shí)教學(xué)水平。因此,開展對(duì)高校教師教學(xué)質(zhì)量評(píng)價(jià)系統(tǒng)中識(shí)別、修正或剔除學(xué)生的評(píng)教偏差,提升學(xué)生評(píng)教準(zhǔn)確性的研究,對(duì)降低學(xué)生評(píng)教偏差對(duì)教師評(píng)價(jià)效果的影響有著極其重要的研究意義。
本文涉及的高校主要是指各類普通本科院校及高職高專,主要涉及以下幾個(gè)核心概念:
(1)高校教師教學(xué)質(zhì)量評(píng)價(jià)
高校教師教學(xué)質(zhì)量評(píng)價(jià)是對(duì)教師教學(xué)過程及其結(jié)果是否達(dá)到一定質(zhì)量標(biāo)準(zhǔn)所做出的價(jià)值判斷,是衡量教學(xué)工作全面設(shè)計(jì)、實(shí)時(shí)、分析的科學(xué)性,從而確保教學(xué)目標(biāo)和教學(xué)任務(wù)的高效實(shí)現(xiàn)[1]。教師教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)是教學(xué)質(zhì)量評(píng)價(jià)體系或評(píng)價(jià)系統(tǒng)中的重要內(nèi)容。評(píng)價(jià)指標(biāo)通常需要包含:教學(xué)素養(yǎng)、教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)效果等幾個(gè)維度,客觀全面地反映教師的基本素質(zhì)和教學(xué)能力[2]。針對(duì)這幾個(gè)維度展開,形成具體的評(píng)價(jià)指標(biāo)要素,學(xué)生才能對(duì)教師評(píng)價(jià)具有實(shí)際的可操作性。例如教師素養(yǎng)可制定:為人師表、語言表達(dá)、精神狀態(tài)、板書規(guī)范等指標(biāo)要素;教師態(tài)度可制定:教學(xué)紀(jì)律、備課輔導(dǎo)、師生交流、教學(xué)責(zé)任等指標(biāo)要素;教學(xué)方法可制定:教學(xué)互動(dòng)、教學(xué)手段、教學(xué)形式、學(xué)以致用等指標(biāo)要素;教學(xué)效果可制定:課
題氣氛、考試成績、能力提升、全面發(fā)展等指標(biāo)要素。(2)學(xué)生評(píng)教
學(xué)生評(píng)教是指高校在校學(xué)生根據(jù)學(xué)生評(píng)教制度和評(píng)教指標(biāo)體系,通過評(píng)教系統(tǒng)或填寫評(píng)教問卷等方式對(duì)教師的教學(xué)過程、教學(xué)質(zhì)量、教學(xué)效果及學(xué)生收獲等予以定量評(píng)價(jià)的過程[3]。學(xué)生評(píng)教對(duì)于教師的教學(xué)素養(yǎng)、教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)效果等幾個(gè)維度的教學(xué)質(zhì)量評(píng)價(jià)有著重要的參考價(jià)值。本文研究的學(xué)生評(píng)教界定為學(xué)生通過教師教學(xué)質(zhì)量評(píng)價(jià)系統(tǒng),根據(jù)評(píng)價(jià)指標(biāo)對(duì)教師的教學(xué)過程和教學(xué)質(zhì)量進(jìn)行定量評(píng)價(jià)。
(3)學(xué)生評(píng)教偏差
學(xué)生評(píng)教偏差是指學(xué)生在依據(jù)評(píng)價(jià)指標(biāo)對(duì)教師進(jìn)行評(píng)教的過程中,因?qū)W生的主觀因素或客觀因素而產(chǎn)生的學(xué)生評(píng)教結(jié)果與教師的實(shí)際教學(xué)質(zhì)量與效果發(fā)生偏離或偏差。評(píng)教偏差因素可分為感知差異評(píng)教偏差和非感知差異評(píng)教偏差兩方面。學(xué)生的教育背景、個(gè)人能力以及對(duì)課程知悉程度等差異因數(shù)造成的評(píng)教偏差屬于感知差異評(píng)教偏差;學(xué)生的隨意消極評(píng)教、存心惡意評(píng)教以及為了取悅教師和學(xué)校的趨高評(píng)教而產(chǎn)生的評(píng)教偏差則屬于非感知差異評(píng)教偏差[3]。本文的學(xué)生評(píng)教偏差界定為學(xué)生的感知差異評(píng)教偏差和非感知差異評(píng)教偏差兩種,研究目的是如何通過技術(shù)手段來消除學(xué)生的評(píng)教偏差。
當(dāng)前,國內(nèi)外學(xué)者針對(duì)高校學(xué)生評(píng)價(jià)偏差的因素及對(duì)策已展開了廣泛的研究。美國學(xué)者Anikeef研究發(fā)現(xiàn)學(xué)生所處的年級(jí)會(huì)影響評(píng)教分?jǐn)?shù),高年級(jí)學(xué)生給教師打分較為寬松。Feldman和Marsh研究發(fā)現(xiàn)教師個(gè)性特征和性別均能對(duì)學(xué)生評(píng)教產(chǎn)生較大影響。國內(nèi)學(xué)者對(duì)我國高校學(xué)生評(píng)教偏差的因素也進(jìn)行了深入研究。2019年,北京師范大學(xué)劉冬梅等針對(duì)高校學(xué)生評(píng)教的影響因素與應(yīng)對(duì)策略作了研究,其研究分別從高校教師差異和高校學(xué)生差異兩個(gè)角度分析了影響學(xué)生評(píng)教的因素[4]。劉冬梅認(rèn)為,教師的專業(yè)領(lǐng)域差異、任教班級(jí)差異、性格理念差異、才能才干差異以及責(zé)任心與學(xué)生感情差異是教師給學(xué)生產(chǎn)生評(píng)價(jià)偏差的因素;學(xué)生的學(xué)習(xí)態(tài)度差異、學(xué)習(xí)興趣差異、性格愛好差異、學(xué)習(xí)方法差異以及評(píng)教態(tài)度差異是學(xué)生自身方面評(píng)價(jià)偏差的因素。中南民族大學(xué)解佳龍認(rèn)為高校學(xué)生的評(píng)教偏差主要表現(xiàn)在認(rèn)知模糊評(píng)教、隨意消極評(píng)教、存心惡意評(píng)教、引致趨高評(píng)教等四個(gè)方面[5],解佳龍?jiān)趯W(xué)校、學(xué)生和教師三個(gè)層面上提出了高校學(xué)生評(píng)教糾偏的指導(dǎo)策略和建議,但沒有給出如何修正評(píng)教偏差的具體方法。中國地質(zhì)大學(xué)(武漢)譚智力等針對(duì)高校學(xué)生的感知差異造成的評(píng)教偏差現(xiàn)象進(jìn)行了研究,從學(xué)生的教育背景、個(gè)人能力、個(gè)人先前的學(xué)科興趣和了解程度、教師的可愛度、評(píng)價(jià)時(shí)間等幾個(gè)方面分析了產(chǎn)生感知差異的原因[6],但其研究結(jié)果也只是提出了關(guān)于消除感知差異引起的評(píng)教偏差的應(yīng)對(duì)策略,并非具體實(shí)際方法,而且對(duì)于學(xué)生的隨意消極評(píng)教、存心惡意評(píng)教以及學(xué)生為取悅教師和學(xué)校而產(chǎn)生的趨高評(píng)教等行為造成的非感知評(píng)教偏差并未進(jìn)行研究。
以上均是對(duì)我國高校學(xué)生評(píng)教偏差的產(chǎn)生因素及其應(yīng)對(duì)策略的研究成果,為建立學(xué)生評(píng)教模型和科學(xué)的管理機(jī)制提供了理論支撐。
目前我國針對(duì)學(xué)生評(píng)教技術(shù)層面的研究主要體現(xiàn)在學(xué)生評(píng)教系統(tǒng)開發(fā)、統(tǒng)計(jì)分析、結(jié)果處理等軟件設(shè)計(jì)等方面。鄒文林以證據(jù)推理方法研究了網(wǎng)上學(xué)生評(píng)教,認(rèn)為證據(jù)推理方法是一種研究認(rèn)識(shí)不確定性問題的方法,并將證據(jù)推理方法應(yīng)用到學(xué)生評(píng)教中,以證據(jù)推理作為測評(píng)統(tǒng)計(jì)方法開發(fā)了網(wǎng)上評(píng)教系統(tǒng)[7],該研究成果在一定程度上提高了網(wǎng)上評(píng)教數(shù)據(jù)的準(zhǔn)確性,為評(píng)教數(shù)據(jù)處理提出了新的方法。楊超等研究了學(xué)生評(píng)教信息系統(tǒng),對(duì)提高學(xué)生評(píng)教系統(tǒng)的準(zhǔn)確度、可信度提出了建議[8]。艾文國等人提出了按“同質(zhì)課程”建立比較集,設(shè)計(jì)了適合各學(xué)科、專業(yè)特點(diǎn)的動(dòng)態(tài)指標(biāo)體系,并給出了指標(biāo)權(quán)重的確定方案,以標(biāo)準(zhǔn)分評(píng)教模型為基礎(chǔ),構(gòu)建了評(píng)教修正模型[9]。張金標(biāo)運(yùn)用基于信息熵的理論算法構(gòu)建了評(píng)教偏差識(shí)別與修正模型,在一定程度上提高了評(píng)教系統(tǒng)數(shù)據(jù)的可信度[10]。
以上關(guān)于我國高校學(xué)生評(píng)教系統(tǒng)的研究成果大致可以總結(jié)為以下三個(gè)方面:一是利用信息挖掘技術(shù)分析影響教學(xué)質(zhì)量的關(guān)鍵因素;二是利用信息技術(shù)提高評(píng)教系統(tǒng)的準(zhǔn)確度和可信度;三是以動(dòng)態(tài)評(píng)教指標(biāo)體系為基礎(chǔ),構(gòu)建評(píng)教修正模型。
影響學(xué)生評(píng)教偏差的關(guān)鍵因素主要分為兩類,一類是學(xué)生感知差異引起的評(píng)教偏差,另一類是學(xué)生非感知差異引起的評(píng)教偏差。根據(jù)目前的研究成果,可以通過大數(shù)據(jù)分析學(xué)生評(píng)教數(shù)據(jù),得到一般性高校教師教學(xué)質(zhì)量評(píng)價(jià)體系中普遍存在的學(xué)生感知差異因素,以此為基礎(chǔ)建立符合一般性高校教師教學(xué)質(zhì)量評(píng)價(jià)體系且能夠修正學(xué)生感知差異的評(píng)教模型,并在此基礎(chǔ)上研究統(tǒng)計(jì)學(xué)中的各種異常值判別準(zhǔn)則,以識(shí)別或剔除學(xué)生非感知差異產(chǎn)生的評(píng)教偏差,進(jìn)而能夠最大程度地減少因?qū)W生評(píng)教偏差對(duì)教師執(zhí)教水平和執(zhí)教效果的評(píng)價(jià)影響。本文認(rèn)為可以具體從以下幾個(gè)技術(shù)方面進(jìn)行研究:
(1)使用大數(shù)據(jù)分析方法,研究高校學(xué)生評(píng)教數(shù)據(jù)樣本
調(diào)研收集各類高校學(xué)生評(píng)教的大數(shù)據(jù)樣本,采用莖葉圖分析樣本數(shù)據(jù)的分布特征,采用箱型圖分析樣本數(shù)據(jù)的中心特征和離散特征,重點(diǎn)關(guān)注可疑異常數(shù)據(jù)的位置特征,結(jié)合莖葉圖統(tǒng)計(jì)可疑異常數(shù)據(jù)出現(xiàn)的頻次與頻率,計(jì)算出各數(shù)據(jù)段的出現(xiàn)頻率或百分比。根據(jù)分析得到數(shù)據(jù)特征,仿真出易于數(shù)學(xué)模型實(shí)驗(yàn)用的樣本特征數(shù)據(jù)。
(2)構(gòu)建能夠反映高校學(xué)生感知差異的閉環(huán)評(píng)教模型
基于一般性學(xué)生評(píng)教指標(biāo)體系的特征數(shù)據(jù)樣本,提煉出能夠反映學(xué)生評(píng)教偏差因素的評(píng)價(jià)指標(biāo),構(gòu)成評(píng)教指標(biāo)體系,利用主成分分析法和加權(quán)平均法對(duì)評(píng)教指標(biāo)體系中的評(píng)教指標(biāo)權(quán)重進(jìn)行合理配比與計(jì)算,構(gòu)建評(píng)教指標(biāo)的象限圖分析模型,形成一套能夠反映學(xué)生感知差異的學(xué)生評(píng)教模型。評(píng)教模型根據(jù)評(píng)教偏差結(jié)果與實(shí)際應(yīng)用情況重新分析評(píng)教指標(biāo)體系,對(duì)于不合適的評(píng)教指標(biāo)則從評(píng)教指標(biāo)體系中剔除,對(duì)于合適的評(píng)教指標(biāo)則在評(píng)教指標(biāo)體系中予以保留或新增,進(jìn)而形成一個(gè)可以修正學(xué)生感知差異評(píng)教偏差的閉環(huán)評(píng)教模型。
(3)確定在閉環(huán)評(píng)教模型中識(shí)別或剔除學(xué)生非感知差異評(píng)教偏差的最佳方法
通過分析對(duì)比萊因達(dá)準(zhǔn)則、格拉布斯準(zhǔn)則、狄克遜準(zhǔn)則、肖維勒準(zhǔn)則、絕對(duì)均值法以及分位數(shù)法等六種可用于動(dòng)態(tài)檢測數(shù)據(jù)異常值的準(zhǔn)則,對(duì)六種數(shù)據(jù)異常值檢測準(zhǔn)則設(shè)計(jì)相應(yīng)的實(shí)驗(yàn)算法。通過實(shí)驗(yàn),從異常值識(shí)別效果(孤立異常值、連續(xù)異常值)、是否要求樣本正態(tài)分布、算法實(shí)現(xiàn)的難易程度以及適應(yīng)范圍等方面對(duì)比分析六種數(shù)據(jù)異常值判別準(zhǔn)則。六種數(shù)據(jù)異常值判別準(zhǔn)則的對(duì)比如表1所示。
表1 六種數(shù)據(jù)異常值判別準(zhǔn)則的對(duì)比
學(xué)生的評(píng)教數(shù)據(jù)一般呈正態(tài)分布,其中的異常評(píng)分(包括惡意評(píng)分)通常不會(huì)連續(xù)出現(xiàn)。在前面分析對(duì)比的六種數(shù)據(jù)異常值判別準(zhǔn)則中,只有狄克遜準(zhǔn)則和格拉布斯準(zhǔn)則的特點(diǎn)均符合一般評(píng)教系統(tǒng)的數(shù)據(jù)分布要求。經(jīng)進(jìn)一步研究發(fā)現(xiàn),對(duì)于樣本數(shù)量n,在3≤n<25的范圍內(nèi),使用狄克遜準(zhǔn)則和格拉布斯準(zhǔn)則來判別可疑異常數(shù)據(jù)是合適的,但在25≤n≤185的范圍內(nèi),格拉布斯準(zhǔn)則的判別效果比狄克遜準(zhǔn)則更佳。而在一般評(píng)教系統(tǒng)中,單個(gè)被評(píng)項(xiàng)的評(píng)分總數(shù)量在10至100之間,所以格拉布斯準(zhǔn)則比狄克遜準(zhǔn)則更適合于評(píng)教系統(tǒng)的實(shí)際要求。
格拉布斯準(zhǔn)則的基本思想如下:先將呈正態(tài)分布的等精度多次測量的樣本數(shù)據(jù)按從小到大排列,統(tǒng)計(jì)臨界系數(shù)G(a,n)的值為G0,然后分別計(jì)算出G1、Gn:G1=(X-X1)/σ,其中,Gn=(Xn-X)/σ,α是檢出水平值,該值與置信概率有關(guān)。若G1≥Gn且G1>G0,則數(shù)列中首數(shù)據(jù)X1應(yīng)予以剔除;若Gn≥G1且Gn>G0,則數(shù)列中的末數(shù)據(jù)Xn應(yīng)予以剔除;然后對(duì)數(shù)列中剩下的測量值重新計(jì)算平均值和標(biāo)準(zhǔn)偏差以及G1、Gn和G0。重復(fù)上述步驟繼續(xù)進(jìn)行判斷,當(dāng)出現(xiàn)G1<G0且Gn<G0時(shí),則說明此時(shí)的樣本數(shù)列不存在“異常值”,即可停止檢測。
基于格拉布斯準(zhǔn)則結(jié)合評(píng)教系統(tǒng)的評(píng)教指標(biāo),采用協(xié)同過濾算法得到學(xué)生評(píng)教的預(yù)測評(píng)分,通過計(jì)算預(yù)測評(píng)分與實(shí)際評(píng)分之間的平均絕對(duì)偏差MAE來衡量預(yù)測評(píng)分的準(zhǔn)確度。平均絕對(duì)偏差MAE滿足公式1,其中:Pi是指學(xué)生對(duì)n個(gè)評(píng)教對(duì)象的第i個(gè)評(píng)教項(xiàng)目的預(yù)測評(píng)分,Qi是學(xué)生對(duì)該評(píng)教項(xiàng)的實(shí)際評(píng)分。MAE的值越接近于0,說明預(yù)測值與實(shí)際值偏差越小,預(yù)測效果越好。
在取得較好預(yù)測效果的前提下,根據(jù)評(píng)教系統(tǒng)設(shè)定的惡意評(píng)分識(shí)別規(guī)則,將預(yù)測評(píng)分與算法識(shí)別出的異常評(píng)分進(jìn)行差異率計(jì)算,差異率v滿足公式2。其中Pi為第i個(gè)項(xiàng)的預(yù)測評(píng)分,Ti為算法識(shí)別出的某學(xué)生對(duì)第i項(xiàng)的異常評(píng)分。
若計(jì)算的差異率v大于門限值55%以上,則判定異常評(píng)分Ti為惡意評(píng)分,且差異率的門限值可依據(jù)惡意評(píng)分識(shí)別規(guī)則進(jìn)行靈活設(shè)置。
基于以上研究,本文認(rèn)為可以通過大數(shù)據(jù)分析等研究方法,構(gòu)建出能夠反映學(xué)生評(píng)教偏差因素的評(píng)教指標(biāo)體系,對(duì)評(píng)教指標(biāo)體系中的評(píng)教指標(biāo)權(quán)重進(jìn)行合理配比與計(jì)算,研究出能夠反映高校學(xué)生感知差異的閉環(huán)評(píng)教模型,通過實(shí)驗(yàn)確定出格拉布斯準(zhǔn)則在評(píng)教系統(tǒng)中識(shí)別學(xué)生惡意評(píng)分是一種較好的解決方案,進(jìn)而可以為設(shè)計(jì)既能自我修正學(xué)生感知差異評(píng)教偏差,又能識(shí)別或剔除學(xué)生非感知差異評(píng)教偏差的評(píng)教系統(tǒng)提供了有效的解決方案,為最大程度上減少學(xué)生評(píng)教偏差對(duì)教師評(píng)價(jià)效果的影響有著重要的應(yīng)用價(jià)值。