何海波+何嘉揚+李林海

【摘 要】為改進課堂教學質量評價方法，本文以模糊綜合評價法為依據，設計適用于APP的評價指標，構建相應的評價模型，并開發(fā)移動評價系統進行為期一學年的應用研究。與常見的一次性評課系統相比，移動評價系統通過發(fā)揮用戶（學生）導向、便捷、實時互動、即時反饋等功能，有效減少了使用障礙并提高了參評積極性，從而提升了評價的效度。

【關鍵詞】移動互聯 教學質量 教學評價 模糊評價 移動評價系統 設計 應用

【中圖分類號】G 【文獻標識碼】A

【文章編號】0450-9889（2017）02C-0120-04

作為教學管理的一個重要環(huán)節(jié)，課堂教學質量評價備受研究者和管理者關注。近年的研究發(fā)現，網上評教已基本上取代了紙面評價，評價指標也因為確立了學生主體觀而日趨完善，教師和學生對課堂教學評價的認可度也達到了較高的水平?？傮w上看，無論是在評價方式改革還是在評價指標改進等方面，課堂教學質量評價體系都有了長足的進步，但仍然存在需要改進的問題。當前，絕大部分高校都采取事后一次性評價的模式，即教學管理部門在學期末集中組織學生對該學期所開設的全部課程進行一次性評價。這種模式至少有兩大弊端。其一，因評價選項較多、工作量較大又有一定的時間限制，加上課堂印象已被沖淡，導致部分學生隨意評價，甚至應付了事。其二，由于評價是單向的，缺乏及時、互動的反饋機制，學生不知道自己的評價意見是否會送達評價對象，也不清楚教師是否會根據意見來改進教學，導致學生參與評教的積極性不高，代評現象較為普遍。上述兩種情況都會影響到評教結果的客觀性，需要引起重視并尋找解決的對策。本研究先應用模糊綜合評價法來構建評價模型，接著以該模型為指導設計、開發(fā)移動評價系統，然后收集該系統投入使用后的評價數據進行驗證研究，嘗試通過引入互聯網思維來改進課堂教學質量評價方法。

一、相關文獻

模糊綜合評價法是一種基于模糊數學的綜合評價方法。模糊綜合評價的優(yōu)勢在于可以用模糊集合的概念反映邊界不是很清晰的問題，或者將不適合用傳統數學量化的事物用模糊集合來反映，然后借助集合與矩陣的數學方法進行分析處理，從而得出評估值。模糊綜合評價法被廣泛應用于信用評價、滿意度評價和自然災害評估等領域的研究。這一方法也被應用于教學管理的研究，并取得了較好的成果。李強等（2008）應用這一方法構建了包括領導及督導、同行、學生等多主體評價的課堂教學質量綜合評判模型；宋虎珍（2012）和魏潔（2014）基于模糊評價法建立了較為完善的高校教師績效考核評價體系；Jeng-Fung Chen等（2015）綜合應用模糊層次分析法和模糊綜合評價法構建了高校教師教學效果評價的指標體系。盡管上述學者的研究，基本上還停留在模型的理論構建層面，缺乏充足的應用實證，但卻為本研究建立模糊評價模型提供了方法借鑒。

相比模型方法，評價指標是課堂評價更為核心的問題?？茖W合理的評價指標是有效評估課堂質量的前提條件。近年來，學者從不同的角度對此進行了較為深入的研究。章小輝（2006）以實證研究的視角，從教學目標、教學內容、教學方法、教學手段、教學效果等五個維度37個課堂評價指標中篩選出了15個有效指標，提出重點突出、注重師生交流、學生能力獲得提高、虛心接受意見并改進教學等指標在教學評價中有更大的價值。喻方元（2008）基于教學評價的發(fā)展觀提出了從教師教學發(fā)展性、學生學習發(fā)展性和教學協調發(fā)展性來構建教學評價指標體系。高維春（2014）等從有效教學評價的視角入手，將在國際上認可度較高的《大學教師教學效果評價問卷（學生用）》（簡稱 SVEQ）量表引入并進行改進研究，注重從學生視角的層面來設計評價指標，用學習價值感而不是教學效果來衡量課堂的價值。綜合這幾位學者的研究成果不難發(fā)現，盡管基于不同的體系框架，但注重學生本位、師生互動溝通、學生能力提升等是他們對有效評價指標的共識。上述學者的研究成果成為本文進行評價指標設計與選擇的重要依據。

二、評價指標體系的設計與模型構建

（一）評價指標及等級維度設計思路。具體如下：

1.從學生視角來設計評價指標。突破要素分析法的局限，借鑒章小輝和高維春等學者的研究成果，以學生看得懂、能理解、好判斷為基本出發(fā)點，力求設計讓學生容易感知、能產生共鳴的指標。

2.用模糊言語取代精確數值來描述評價等級維度?；谀：龜当硎瞿：杏X和不確定問題方面的優(yōu)勢，用“好評、中評、及格、差評”等模糊語言來進行評價等級衡量，而不是用100、80、60、40等精確數值來衡量授課質量的優(yōu)劣情況。

3.考慮指標體系與手機APP技術的適應性。為方便用手機APP進行評價，評價指標層級應簡單明了，數量應少而精，力求在一個手機頁面顯示全部評價指標，以方便操作，避免由于APP占用過多手機資源而可能導致的使用阻礙。

（二）指標選取和等級維度確定。采取專家法進行指標選取和評價等級維度確定，先后組織兩輪篩選和集中研討。第一輪，由二級學院的教學評價工作小組（由二級分管教學副院長、教務科科長、學科帶頭人組成）在借鑒相關學者研究成果的基礎上，結合本單位的教學情況進行討論，提出10項備選指標。第二輪，召集7位教學管理專家進行集中評議（成員包括學校分管教學的副校長、學校督導員、學校教務處處長、二級學院院長、分管教學副院長、教務科長、科學帶頭人代表），對第一輪選取的指標進行審核和修訂，以獲得多數認可為決策規(guī)則，最終確定“重點突出、師生互動、學習收獲和儀容儀表”4項指標（詳見表1）。

三、移動評價系統開發(fā)與應用分析

（一）移動評價系統功能設計。從技術層面看，目前流行的評教系統主要是用WEB1.0開發(fā)的，若引入WEB3.0則能順利地解決原評價體系存在的互動不足的問題，加上移動互聯技術，則能夠解決反饋不及時的問題。基于WEB3.0的思維，應用上述評價模型，項目研究小組與軟件開發(fā)人員共同開發(fā)了一款兼容PC和手機終端的移動評價系統（Mobile Evaluation System，以下簡稱MES）。該系統嵌入了模糊綜合評價模型，并開發(fā)了以下功能：

1.實時評價。上課當日，在學習委員確認教師到課并在系統上簽到后的72小時內，學生可對該次課的教學情況進行評價，教師可同步看到每一位學生對該次課的即時評價。

2.師生互動。學生除了評價外，還可以對教師授課情況進行評論，可以發(fā)表鼓勵意見，也可以提出不滿或建議。教師可以通過系統回應學生的評論，也可以給選定的學生發(fā)送學習指導意見。

3.協調溝通。借鑒淘寶網對賣家的評價機制，設計了師生協調機制。若學生給教師中評及以下等級，則要說明具體原因，否則不能提交評價。教師看到學生的意見后，可以通過系統與學生進行溝通，而有效評課時間（3天）內學生若改變了想法則可以修改原來的評價。當然，是否進行協調由教師自行決定。

4.匿名評價。為鼓勵學生發(fā)表真實的意見，在MES中教師看不到給自己評價和發(fā)表評論的學生姓名，只能看到“學生”字樣，以防備教師可能對給差評的學生采取不利行為。

5.自主評價與默認好評。不強迫學生每次課后都進行評價，學生只需對三分之一的課次進行評價即達到評教次數標準。學生可根據自己的聽課體會選擇評教時機，如學生當次課不評價，則系統默認為好評。

（二）移動評價系統使用基本情況。MES系統開發(fā)成功后，于2014年春學期開始在南寧職業(yè)技術學院商學院試用，經調整完善后于2014年秋學期正式投入使用。以2014年秋學期和2015年學秋為例，平均每學期有131門課程和110位教師的數據輸入MES系統，有1750名學生應用MES系統進行評教（具體情況見表2、表3）。

（三）新、舊系評價統數據對比分析?？紤]到新開發(fā)的MES系統有一個逐步完善的過程，為保險起見，學校實行新舊評價系統并用的政策，要求商學院的學生除了平時用MES系統進行評教外，期末照常參加舊系統的網上評教，這恰好為對比研究提供了很好的機會。舊系統按要素分類法進行評教，共分為5大項，約20個指標，仍舊采用期末結課后由學生對所有課程進行一次性評價的模式。為方便進行數據比較，項目研究小組將新系統成生的綜合評價數值經加權處理后轉換成百分制。

從表4可以發(fā)現，95分以上的教師比例超過95%，平均分高達97.7分，其中99分、98分和97分三檔數值的教師數占比為80.8%。從總體上看，這一組數據區(qū)分度很低，并且與課堂教學實際情況嚴重不相符。可見，舊系統所生產的評價數據的效度是比較低的。這會產生至少兩種負面影響。其一，導致負激勵。由于評教分值是教師年度績效考評的重要組成部分，一般占比在50%左右，應用這一數據會產生不良的后果，教學質量好的教師沒有得到應有的嘉獎，教學質量差的教師也沒有改進教學的壓力。其二，缺乏正反饋。因為評教分值區(qū)分度過低，極可能會導致大部分教師無法合理評估學生對自己教學的滿意程度，以及自己的教學水平在團隊中所處的位置，從而無法發(fā)揮教學評價以評促教的導向功能。其副作用是認真評教的學生會越來越少，因為他們發(fā)現自己認真與否對評教與教學的影響沒有區(qū)別。

表5中，獲95分以上的教師占比為9%（表4中此項為95%），最集中的分值段為81-86分，占比達50%，最低分為70分，最高分為98分，平均分為87.5分（表4中此項為97.7分）。對比分析，不難發(fā)現，由MES系統獲得的評教分值有較好的區(qū)分度，分布也更為理想。盡管這一數值分布情況還達不到標準正態(tài)分布，但已能較為客觀地反映實際教學的情況，若應用于績效考核將會產生正向的激勵作用。

四、原因分析

移動評教系統優(yōu)于舊系統，主要是因為在評價方法和評價方式方面進行了創(chuàng)新。

（一）模糊評價方法有效減少了使用障礙?；趯W生視角設計的模糊評價體系，能更好地幫助學生理解和把握評價標準。例如就評價指標而言，學生通過聽課可能不能確定某位教師是否具有扎實的理論功底或掌握了學科發(fā)展的前沿動態(tài)，但卻能夠判斷自己聽課后是否有“學習收獲”。又如，學生可能分不清問題導向或小組研討等教學方法，但卻能夠判斷課堂中是否有“師生互動”。就評價等級而言，要評價師生互動程度，面對80分還是85分這樣的區(qū)分度較難把握，但若是從“好、中、及格、差”這樣的維度來衡量，學生很更容易就可以作出判斷。此外，MES系統只有四個評價指標，一目了然，很快就能完成操作，減少了可能產生的抵觸情緒。顯然，減少使用障礙提高了評價的客觀性。

（二）引入互聯網思維的評價方式極大地提高了使用意愿。首先，MES評價體系為學生提供了及時表達和獲得及時反饋的機會。借助手機端，學生可以對每一次課程進行即時評價，能將對課堂的感受及時地表達出來，使得評價更鮮活并且更真實，而教師的及時回應和師生之間的互動則形成了正向反饋，讓學生感受到評教的價值，提高了他們參與評教的積極性。其次，MES評價體系讓學生掌握了評教的主動權。學生可以在每次課結束后三天內的任何時刻進行評教，減少了由集中評課、時間緊迫等原因導致的草率評價行為，盡可能降低了干擾因素，同時因為學生有多次自主選擇權，代評行為也會減少，這些都會使得評價更為客觀。總之，即時、互動、用戶自主等具備互聯網思維的設計理念提高了學生的使用意愿，使評價更為真實。

五、結論與展望

移動互聯技術為課堂教學質量評價改革注入了新的動力?；谝苿踊ヂ撉榫诚碌恼n堂教學質量評價模型及其應用研究顯示，以WEB3.0為技術支持的移動評價系統的評價效度遠遠高于舊系統。本文認為，將用戶（學生）導向、便捷、實時互動、即時反饋等互聯網思維引入評價系統，能有效減少使用障礙和提高參評積極性，而這應該成為未來課堂教學質量評價改革的主導方向。本文嘗試將互聯網思維植入課堂評價體系，建立了移動評價模型并驗證了其應用價值，為課堂教學質量評價研究與實踐提供了新的案例。

本研究存在以下兩個方面的局限：第一，驗證分析的數據僅來自一所院校，研究的普適性可能不足；第二，對移動評教系統的評估主要根據評教數據結果進行推斷，沒有對參評學生進行深入、全面的調查。后續(xù)研究可以將移動（下轉第157頁）（上接第122頁）評價系統的普適性驗證和參評主體對新系統的評估作為重點。

【參考文獻】

[1]鞠建國.學生網上評教的新問題評析[J].中國科教創(chuàng)新導刊，2008（20）

[2]吳鋼.于光磊.各類高校學生評價教師課堂教學的調查研究[J].高校教育管理，2012（1）

[3]黃曉兵.韓磊磊.大學生參與課堂教學質量網上評價狀況實證分析[J].高教發(fā)展與評估，2010（1）

[4]陳曉紅，楊志慧.基于改進模糊綜合評價法的信用評估體系研究——以我國中小上市公司為樣本的實證研究[J].中國管理科學，2015（1）

[5]邢權興，孫虎，管濱，等.基于模糊綜合評價法的西安市免費公園游客滿意度評價[J].資源科學，2014（8）

[6]Chengguang Lai，Xiaohong Chen，Xiaoyu Chen，Zhaoli Wang，Xushu Wu，Shiwei Zhao.A fuzzy comprehensive evaluation model for flood risk based on the combination weight of game theory[J].Nat Hazards，2015（77）

[7]李強，黃玉珍，本科課堂教學質量評價的模糊數學方法[J].南通大學學報（自然科學版），2008（6）

[8]宋虎珍.基于模糊綜合評價的高校教師績效考核研究[J].教育探索，2012（11）

[9]魏潔，湯建奎.基于模糊綜合評價的高校教師績效考核研究[J].江蘇高教，2014（6）

[10]Jeng-Fung Chen，Ho-Nien Hsieh，Quang Hung Do，Evaluating teaching performance based on fuzzy AHP and comprehensive evaluation approach[J].Applied Soft Computing，2015（28）

[11]章小輝，陳再萍.高校課堂教學質量的有效教學評價體系結構研究[J].現代教育科學，2006（2）

[12]喻方元.高校教師課堂教學質量評價體系研究[J].高教發(fā)展與評估，2008（3）

[13]高維春，江務學.高職院校教師課堂教學質量學生評價的問卷編制及信效度檢驗[J].現代教育管理，2014（2）

【基金項目】2013年度廣西高等教育教學改革工程項目“廣西‘2+3中高職財經類專業(yè)課程銜接研究”（2013JGA321）；2015年度廣西職業(yè)教育教學改革項目“基于移動互聯網的實時課堂教學評價體系研究與實踐”（桂教職成〔2015〕22號）

【作者簡介】何海波（1979— ），男，廣西南寧人，講師，在職研究生學歷，南寧職業(yè)技術學院商學院副院長；何嘉揚（1976— ），男，廣西上林人，講師，大學本科，南寧職業(yè)技術學院電子商務專業(yè)負責人；李林海（1976— ），男，廣西賓陽人，副教授，中南大學博士研究生，南寧職業(yè)技術學院教師。

（責編 黎 原）