石榮月 范勇 潘婭 李叢磊 葛修婷

摘 要：本研究依托西南某高校移動端APP，在APP上建立本科教師教學質(zhì)量評價體系，應(yīng)用“點贊”的方式對教師教學質(zhì)量進行多維度評價。在該校實施此評價系統(tǒng)兩個學期，評價人數(shù)大于25人的課程數(shù)分別為731門和546門，對評價結(jié)果數(shù)據(jù)進行了定量統(tǒng)計分析，并抽取其中一個學院數(shù)據(jù)輔以專家評價的定性考察，分析其數(shù)據(jù)吻合程度。本研究旨在探討如何利用移動端平臺獲得可靠性高、區(qū)分度好的教學質(zhì)量評價數(shù)據(jù)，同時為高校教師教學質(zhì)量提供實證性依據(jù)。

關(guān)鍵詞：教學質(zhì)量；移動端評價；教育評價

中圖分類號：G40-058.1 文獻標志碼：A 文章編號：1673-8454（2018）23-0024-04

一、引言

實施教育評價是教育教學決策的重要前提，而有效的教育評價依賴于全面的、可靠的評價機制。[1]對教學評價理論和實踐持續(xù)、深入地進行研究，科學、準確、全面地評價教學質(zhì)量，則是促進教學目標有效實現(xiàn)的必要條件之一。近年來，伴隨學生數(shù)量和運行數(shù)據(jù)的增加，迫切需要引入有效應(yīng)對大規(guī)模教學評價的技術(shù)和方法。而移動端的普及、APP開發(fā)技術(shù)和教育技術(shù)學科的發(fā)展，已使“增量評價”、“全面評價”、“可靠評價”為目標的教學評價，有了技術(shù)和方法的保障。

在網(wǎng)絡(luò)普及的背景下，學生網(wǎng)上評價成為了高校教師教學質(zhì)量監(jiān)控的主要手段，部分學者將目光從傳統(tǒng)的學生評價轉(zhuǎn)移到網(wǎng)上評價。關(guān)于學生網(wǎng)上評價的實踐反思，曹輝等人在《高校學生網(wǎng)上評教的困境與反思》中認為，評價指標過于抽象，評價指標的題目過多，難以理解指標體系的設(shè)置，未把學生需求放在中心地位，容易失去學生對評價的耐心；另外，網(wǎng)絡(luò)雖然為學生評價提供了方便的參評方式， 但也使學生評價行為出現(xiàn)異化現(xiàn)象，這些網(wǎng)上評價被動參與行為所產(chǎn)生的評價結(jié)果是有失公允的。凌惜勤等認為傳統(tǒng)的高校學生評教活動多從學校管理本位出發(fā)，主要體現(xiàn)教學管理者的意志和功利性，更注重“總結(jié)性”評價，信息反饋相對滯后，師生間溝通的渠道不暢，流于形式，效果欠佳?？子鸨硎窘處熃虒W質(zhì)量評價中，提倡形成性評價，全面發(fā)揮評價功能，改變以往那種突出評價的選拔分等而忽視改進教育功能的做法。張欣在《學生網(wǎng)上評教的現(xiàn)狀、問題及對策研究》中指出，目前網(wǎng)上評價相關(guān)研究都大都停留在理論研究階段，而且網(wǎng)上評價得不到學校和相關(guān)部門的大力支持，利用評價結(jié)果來提高教學質(zhì)量的研究也很少。

綜上，網(wǎng)上評價主要存在以下不足：①學校多設(shè)置教學評價為查詢成績的前提條件，強制學生參與評價，學生為了盡快完成“任務(wù)”，隨意性較大，導致問卷可信度降低。②評價指標過于煩瑣，為了對教學質(zhì)量進行“全面”評價，設(shè)立了過多的指標。以西南某高校為例，大一至大三的學生每學期課程在10門左右。假設(shè)每個課程設(shè)立問題20個，就要做200個選擇題，花費了學生過多的時間和精力，可靠性也由于過度的煩瑣而值得懷疑。③充分利用評價結(jié)果，對教師進行持續(xù)跟蹤，旨在提高教學質(zhì)量的研究很少。④大部分研究停留在理論研究階段，缺少實證研究的支撐。

為了更深入地了解學生對教學評價的想法，審視我們現(xiàn)有的評價體系。本研究從各年級隨機抽取5名學生進行訪談，通過學生的訪談反饋，可以發(fā)現(xiàn)學生的不滿主要集中于以下兩點：①沒有自主選擇權(quán)，忽略學生對課程的主體性評價。②學校片面強調(diào)“全面性”、“覆蓋式”指標體系，忽視學生的個人意愿。

基于以上文獻研究和個人訪談結(jié)果，本研究擬結(jié)合目前智能終端的普及、“點贊”文化的流行，將教師教學評價系統(tǒng)部署在學生常用校園APP軟件上，對指標體系進行精簡化處理，并賦予學生自主選擇評價課程的權(quán)利，反饋教師教學質(zhì)量，探討教師教學質(zhì)量的穩(wěn)定性。具體研究問題如下：①“點贊”形式下的移動端評價結(jié)果能否與專家評估吻合。②該評價方法能否獲得區(qū)分度較高的評價結(jié)果，使評價結(jié)果落到實處。③通過探索性分析，探討教師教學穩(wěn)定性情況。

二、研究方法

1.評價形式

隨著移動互聯(lián)網(wǎng)的普及，人們使用手機、pad等移動端上網(wǎng)的比例越來越高。用戶在移動端設(shè)備上用“點贊”來使內(nèi)心“喜愛和支持”的感情得以外化。同時點贊憑借其態(tài)度表達的直觀性和快速便捷低成本的優(yōu)勢，迅速成為社會生活中極為常見的傳播符號。[2]在對教師教學質(zhì)量的評價中，引入“點贊”的方式，一方面簡化了傳統(tǒng)的評價形式，增加了學生對評價的接受度，用這種“潮流”的方式可以激發(fā)學生的評價熱情。另一方面，“點贊”的方式能獲得相對真實的信息，篩選出優(yōu)秀教師及待改進教師。運用移動端統(tǒng)計的方式，可以持續(xù)跟蹤教師狀態(tài)，獲得教師教學的穩(wěn)定性及波動性狀態(tài)，統(tǒng)計出教師擅長的課程。

美國學者Howard 研究表明：在大樣本情況下，“學生評價”是穩(wěn)定可靠的。本文采取學生評價方式，將評價系統(tǒng)嵌入學生日常使用的移動APP中（該移動APP提供官網(wǎng)新聞、課表、一卡通、圖書館、網(wǎng)易云課堂、圈子等特色功能），注冊學生數(shù)46722，日均活躍度16785。為解決學生自主選擇權(quán)的問題，在評價系統(tǒng)中設(shè)置由學生自己選擇要點贊的課程教師（學生最多選課程總數(shù)50%的課程，至少選1門課程），用“點贊”的方式為教師評價。這種設(shè)置節(jié)約了學生的評價時間，讓學生有掌控感，發(fā)揮了學生的主觀能動性，是一種基于學生視角的評價方式。

2.指標及權(quán)重設(shè)置

國內(nèi)不同高校評價的指標各不相同，但是內(nèi)容大致包括教學態(tài)度、授課內(nèi)容、教學內(nèi)容、教學水平、教學效果、師德師風等?？傊瑳]有一個適用于所有高校的評價指標和評價標準，但是，在特定領(lǐng)域設(shè)計一個較為客觀的評價指標體系仍是可能的。

本文通過文獻調(diào)研的方法，對國內(nèi)外相關(guān)文獻進行整理，初步確定教學評價的指標清單。然后，以專家論證的方式對指標進行修訂并最終確定教師教學質(zhì)量評價的指標體系。指標體系包括師德師風、敬業(yè)精神和責任意識、課堂教與學氛圍、教學效果與收獲、興趣激發(fā)、教學水平。[3]參與評價是基于學生自愿，評價課程是由學生自主選擇，每位學生選評課程將在1～5門，僅根據(jù)指標設(shè)立六個對應(yīng)的問題。即使主動降低了課程數(shù)和問卷數(shù)，隨著學生主動評價、主動定位參評課程過程的進行，仍然提高了問卷的有效性，同時使課程區(qū)分度拉大，更便于定位優(yōu)秀課程和待改進課程。指標編號及內(nèi)容對照情況如表1所示。

關(guān)于指標權(quán)重的確定，大多研究以德爾菲法、層次分析法、熵權(quán)法、均值法等來確定，本文采用層次分析法進行指標權(quán)重的賦值。層次分析法是指通過不同指標之間的兩兩比較來確定指標間權(quán)重的方法，它也是一種定量與定性分析相結(jié)合的多目標決策分析方法。它的系統(tǒng)性、所需定量數(shù)據(jù)少的特性使其受到很多研究者的追捧，這種方法對項目風險評估過程中出現(xiàn)的多個指標和方案的選擇提供了有效的解決方案。[4]

為得到較為合理的權(quán)重值，本研究選取五位教師參與調(diào)查，其中包括兩位正高級別管理層專家，這兩位專家學術(shù)水平、教學經(jīng)驗、管理經(jīng)驗都較為豐富并且經(jīng)常參與學院組織的專家評價活動。另外包含不參與管理工作的副高級別教師兩位、講師級別教師一位，旨在尊重被評價教師對評價內(nèi)容的看法。根據(jù)問卷反饋結(jié)果和層次分析法中T.L.Satty提出9個重要度等級（見表2），對六項指標進行比較，建立五個6×6的矩陣模型。

Yaahp 是一種層次分析法可視化建模與計算軟件。本研究應(yīng)用Yaahp軟件對采集到的專家數(shù)據(jù)（矩陣）進行處理，得到指標的權(quán)重如表3所示。

三、實證研究

2017年6月中旬-2017年7月下旬、2018年1月中旬-2018年3月下旬開展調(diào)查，邀請學生通過移動APP回答相關(guān)調(diào)查題目。

根據(jù)馬什（Marsh）于1984 年關(guān)于“學生評價”一致性的研究表明，當有50個學生參加評價時，評價的可靠性為0. 95；當有25個學生參與時，評價的可靠性為0. 90，保留參與人數(shù)在25人以上的課程。2017年秋季，從教師課程評價維度，參與調(diào)查的教師課程為1969門，保留評價人數(shù)大于25人的課程，刪除參與人數(shù)少于25人的課程，可評價課程731門。2018年春季，從教師課程評價維度，參與調(diào)查的教師課程為2119門，保留評價人數(shù)大于25人的課程，刪除參與人數(shù)少于25人的課程，可評價課程546門。

評價結(jié)果顯示，平均分為34左右，說明學生僅選擇3～4門課程進行了評價。在教學評價中，我們通常認為離散程度越高，區(qū)分度越好。2017年秋季和2018年春季評價結(jié)果方差分別為334.5和373.7，我們認為離散程度高，評價結(jié)果區(qū)分度好。2017年秋季和2018年春季評價偏度分別為0.354和0.424，分布為正偏或右偏，分布圖形在右邊拖尾，評價得分極高的教師偏少。2017年秋季和2018年春季的評價結(jié)果中，峰度均為負值，為低峰度，觀測值在分布中心附近沒有正態(tài)分布那樣集中，尾部更厚。如表4所示。

1.評優(yōu)等級結(jié)果

參考美國教育測驗服務(wù)中心（ETS）的“學生教學評估報告表”（SIR）中將評價等級分為“最好（前10%以內(nèi)）、比大部分人好（前30%以內(nèi)）、一般、比大部分人差（后30%以內(nèi)）、最差（后l0%以內(nèi)）”五個等級，將被評價課程的學生“點贊”率劃分為五個等級，評價主客體都能夠很精確地掌握指標等級的劃定范圍。

將可評價課程導入數(shù)據(jù)庫，按照SIR的評價等級將課程劃分為五個等級后，分別求五個等級的平均值，如表5所示。

一般學校評價結(jié)果平均分在90分以上，最低分不低于80分。本研究評價結(jié)果是由點贊率得來，而學生只選自己意愿中的百分之五十以內(nèi)的課程給予評價，所以課程結(jié)果非百分制計分，只表示相對分數(shù)。從表4可知，雖然學生更迭，授課教師也不盡相同，但是兩個學期各個區(qū)間的平均分卻十分接近。它說明，反映一個學校教學狀況的客觀規(guī)律是存在的，通過評價結(jié)果能明顯區(qū)分出課程優(yōu)劣。

在評分較高的區(qū)間中，每學期都包括高等數(shù)學、大學物理、程序設(shè)計等，不被學生歡迎的課程主要包括軍事理論、體育達標、形勢與政策等課程。對每位教師的教學評分，我們每學期都征求有關(guān)領(lǐng)導的意見，特別是對評分高的或評分低的教師，我們都會同有關(guān)的系，做進一步的調(diào)查了解，發(fā)現(xiàn)大多數(shù)評分與教師本人的真實教學情況基本相符。由此可知，課程的受歡迎因素，不僅和教師授課水平息息相關(guān)，課程內(nèi)容也是受學生喜歡的因素之一。

對該學校計算機學院的教師性別加以區(qū)分并進行男女教師評價結(jié)果的對比。同2017秋季的調(diào)查比較，2018春季學生對計算機學院的女性教師的滿意度有所下降，但是仍比男性教師高7.45。結(jié)合2017秋季的情況，可以發(fā)現(xiàn)計算機學院女教師的受歡迎程度高于男性教師。如圖1所示。

2.教師教學質(zhì)量穩(wěn)定性分析

從計算機學院評價結(jié)果中，隨機抽取八名兩學期都參與評價的教師，每個節(jié)點代表一名教師評優(yōu)結(jié)果的位置，可以發(fā)現(xiàn)教師三、教師五、教師八評價結(jié)果相對穩(wěn)定，兩個學期都處于分值較低的狀態(tài)，調(diào)查發(fā)現(xiàn)教師三和教師五兩學期教同一門課程，教師八每學期教6門課程以上；而教師四和教師七兩學期評價結(jié)果波動很大，這兩位教師兩學期所教課程并非一門，并且無明顯關(guān)聯(lián)，比如教師七2017年秋季所教課程為離散數(shù)學，而2018年春季所教課程為程序設(shè)計。（見圖2）可見，教師擅長的課程也是影響評價結(jié)果的重要因素。這些數(shù)據(jù)可以幫助教研組指導教學檢查，選擇重點聽課對象，確定專題進行教研活動等。

3.學生評價與專家評價吻合度分析

為了考察學生評價與專家評價的吻合度，我們用學生調(diào)查同樣的指標來編制專家問卷，用李克特五級量表測量專家評價等級，從“非常贊成”（5 分）到“ 很不贊成”（1 分）。專家以不記名的方式參加評價，選擇其中一項。以該高校計算機學院為測試點，聯(lián)系六名同行專家，以他們已有的聽課感受給教師評分。以同樣的權(quán)重為每位參評教師打分，按照“學生教學評估報告表”（SIR）中將教師劃分到不同區(qū)間。運用SPSS對專家數(shù)據(jù)和學生數(shù)據(jù)進行比對，皮爾遜相關(guān)系數(shù)為0.754，顯著性為0.00（顯著性<0.05，相關(guān)顯著），說明學生評價與專家評價吻合度較高。由于專家評價和學生評價的角度不同，例如專家聽課時容易受教師課堂教學的某些“表象”情況所影響。一位語音語調(diào)好、口語流利、板書工整清楚的教師容易受到專家的認同。[5]專家更注重教師“如何教”，而學生更多地體會“學到多少”。所以專家評價和學生評價又會有所不同。

四、結(jié)論

由于本研究沒有學校和教師的協(xié)助，所以學生參與率和高于25人評價的課程相對較低，僅占所有課程的30%左右，仍有很大的提升空間。從高校和教師兩方面給予移動端評價以支持，可以進一步促使移動端的評價發(fā)揮最大的價值與意義。高校教務(wù)評價系統(tǒng)借鑒這種評價方式可以提高教學評價的有效性，發(fā)揮學生評價的功能。對于教師而言只有掌握了學生的評價信息后才能了解學生的需求與想法，進而改進教學。

本文在研究了高校教師教學質(zhì)量評價中的工作流程和特點后，借助于學?，F(xiàn)有的移動端軟件，設(shè)計并實現(xiàn)了一套基于移動端的、運用目前流行的“點贊”形式的高校教師教學質(zhì)量評價系統(tǒng)。結(jié)合學生反饋的意見和建議，在評價過程中給學生自主選擇的權(quán)利，精簡了評價指標，評價結(jié)果能夠與專家評估相吻合。以學生為主體的移動端“點贊”評價結(jié)果，有明顯的區(qū)分度，較好地顯化了高校教師教學質(zhì)量。可以對教師的評優(yōu)、提職、獎勵等提供行政決策性服務(wù)。通過對該高校計算機學院男女教師評價結(jié)果對比發(fā)現(xiàn)，女教師明顯比男教師更受歡迎。學生評價是持續(xù)的，可以依據(jù)持續(xù)的評價結(jié)果跟蹤每位教師的教學穩(wěn)定性情況，發(fā)現(xiàn)教師擅長的課程，用來為改進教學服務(wù)，協(xié)助管理者更好地考察、考核教師的教學質(zhì)量，并進行后續(xù)的跟蹤調(diào)查，提高教師的教學質(zhì)量。

參考文獻：

[1]鄭燕林，柳海民.大數(shù)據(jù)在美國教育評價中的應(yīng)用路徑分析[J].中國電化教育， 2015（7）：25-31.

[2]曹冉.媒介依賴視域下社交媒體“點贊行為”研究[J].新媒體研究，2018（7）.

[3]張欣.學生網(wǎng)上評教的現(xiàn)狀、問題及對策研究[D].重慶師范大學，2015.

[4]錢冬明，羅安妮，王娟等.教育信息化項目風險評估指標體系的構(gòu)建[J].中國電化教育，2017（12）：59-65.

[5]夏偉蓉，呂長竑，魏俊軒.從學生網(wǎng)上評價教師課堂教學質(zhì)量調(diào)查分析大學英語教學和教材[J].外語界，2004（3）：18-25.

（編輯：王天鵬）