趙晶

對外經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計學(xué)院 北京 100000

1 項(xiàng)目背景介紹

教學(xué)評估工作是高校教學(xué)教研的核心問題，傳統(tǒng)教學(xué)評估存在以下幾個問題：

（1）采用紙質(zhì)+手工統(tǒng)計方式，工作流程信息化水平不夠，采用網(wǎng)上評教加督導(dǎo)紙質(zhì)聽課表統(tǒng)計的半手工方式，人工成本高流程煩瑣。紙制評價記錄未全部實(shí)現(xiàn)數(shù)字化。

（2）重視結(jié)果輕過程：考核成績是教師評估結(jié)果的匯總，無法了解教師在教學(xué)教研過程中的差異，缺少過程性評價。

（3）主觀性強(qiáng)，客觀性弱：主觀性評估受環(huán)境、情緒因素影響較大，需要同時借助客觀數(shù)據(jù)來輔助進(jìn)行評價分析。

（4）評價反饋滯后：評教結(jié)果在年終考核時才能夠反饋給教師，教師難以在整年的教學(xué)過程中實(shí)時獲得教學(xué)優(yōu)化反饋，從而及時調(diào)整教學(xué)教研計劃。

基于以上各類痛點(diǎn)，與山東某所醫(yī)學(xué)院共同開展項(xiàng)目。教師教學(xué)工作的復(fù)雜性決定了教學(xué)評估應(yīng)該是一個定性與定量相結(jié)合的過程，通過構(gòu)建過程性評估體系，將動態(tài)的過程性評估與靜態(tài)的結(jié)果性評估相結(jié)合。這樣可以在任意時間單元，實(shí)時了解到教師的教學(xué)情況，而不是等到學(xué)期末考評時才后知后覺[1]。

過程性評估的核心是多維度過程數(shù)據(jù)的實(shí)時抓取與處理，圍繞著數(shù)據(jù)的搜集、清洗與分析，搭建了教學(xué)評估數(shù)字化平臺，與學(xué)校教務(wù)系統(tǒng)、學(xué)工系統(tǒng)等進(jìn)行了數(shù)據(jù)對接。要解決的主要問題是過程性評估信息的記錄與存儲、通過過程性評估判斷教師的教學(xué)教研情況、通過多元評價為教師提供及時有效的反饋、基于具有一定時間跨度的、連續(xù)的評估結(jié)果和數(shù)據(jù)變化展示教師的成長過程。

數(shù)據(jù)平臺建設(shè)的標(biāo)準(zhǔn)是遵循系統(tǒng)高可拓展性、全量數(shù)據(jù)采集與存儲、應(yīng)用大數(shù)據(jù)分析優(yōu)化的系統(tǒng)設(shè)計理念。從創(chuàng)新與發(fā)展角度進(jìn)行規(guī)劃，在提升目前業(yè)務(wù)效率的前提下考慮未來的系統(tǒng)兼容性。以教務(wù)人員、教師為中心，在盡量降低教師工作量的基礎(chǔ)上，提供良好的用戶體驗(yàn)。有可靠的安防及備份容災(zāi)措施，保證數(shù)據(jù)隱私及安全。

2 教師教學(xué)教研數(shù)據(jù)的獲取

本項(xiàng)目的數(shù)據(jù)來源包括從高校教務(wù)系統(tǒng)提取、學(xué)校要求上報的工作量紙質(zhì)文件統(tǒng)計，調(diào)查問卷紙質(zhì)記錄，共包括近5年教師與學(xué)生的歷史數(shù)據(jù)，主要覆蓋以下七個維度：

（1）學(xué)生評教：學(xué)生對所有課程所有教師的評價結(jié)果，高校一般通過問卷方式下發(fā)紙質(zhì)文檔，學(xué)生填寫完畢后回收統(tǒng)計錄入系統(tǒng)中。

（2）同行及領(lǐng)導(dǎo)聽課：教師對教師以及上級領(lǐng)導(dǎo)抽查聽課的結(jié)果評價數(shù)據(jù)。

（3）學(xué)生成績：每位學(xué)生歷年所有課程的考試成績。

（4）教師工作量：主要包括各為教學(xué)活動的工作量，如：理論教學(xué)、實(shí)踐教學(xué)、實(shí)驗(yàn)教學(xué)、畢業(yè)指導(dǎo)、臨床帶教、考試工作量等。

（5）教師教學(xué)：主要包括課程資源、課堂考勤、提問、練習(xí)、討論數(shù)據(jù)、課后輔導(dǎo)答疑情況、作業(yè)試卷批改情況等。

（6）教師教研：主要教師在本年度參與的科研項(xiàng)目，如項(xiàng)目類型、項(xiàng)目等級、項(xiàng)目級別、承擔(dān)任務(wù)、獲獎情況等。

（7）年終考核數(shù)據(jù)：教師年終考核、評級中最終認(rèn)定的結(jié)果數(shù)據(jù)，這類數(shù)據(jù)也是后期機(jī)器學(xué)習(xí)的基礎(chǔ)[2]。

3 教學(xué)教研數(shù)據(jù)采集與預(yù)處理

搜集到的七類數(shù)據(jù)中，數(shù)據(jù)量分布極不均衡，如教學(xué)工作量數(shù)據(jù)、教學(xué)數(shù)據(jù)因?yàn)樵盒]有硬性管理要求，數(shù)據(jù)量極少。在其他類別數(shù)據(jù)中也存在大量缺失數(shù)據(jù)。在數(shù)據(jù)量小并且確實(shí)數(shù)據(jù)多的情況下，對缺失數(shù)據(jù)的填充極其重要。基于統(tǒng)計學(xué)原理，根據(jù)初始數(shù)據(jù)集中取值的分布情況來對缺失值進(jìn)行補(bǔ)齊，本項(xiàng)目中主要使用平均值填充。對數(shù)值型變量，根據(jù)其他對象取值的平均值來填充。對于非數(shù)值型變量，使用眾數(shù)原理，使用其他所有對象取值次數(shù)最多的值來填充?？傊畛涞囊罁?jù)是使用現(xiàn)存數(shù)據(jù)的多數(shù)信息推測缺失值。

獲取的原始數(shù)據(jù)雜亂無章，看不出規(guī)律。通過查看各項(xiàng)變量的分布情況，變量之間的關(guān)系來發(fā)現(xiàn)數(shù)據(jù)中潛藏的規(guī)律。首先進(jìn)行歸一化處理。歸一化可以將不同維度不同量綱的數(shù)值表達(dá)轉(zhuǎn)換為無量綱的數(shù)字表達(dá)成為純量，減少方差大的特征的影響，在后續(xù)的分析中可以簡化計算，使模型更準(zhǔn)確，本項(xiàng)目主要使用z-score標(biāo)準(zhǔn)化方程。

4 教師教學(xué)評估分析模型建設(shè)

因?yàn)槊總€學(xué)校的評估標(biāo)準(zhǔn)不同，并且最終的產(chǎn)品目標(biāo)是商業(yè)化，就要考慮需要設(shè)計靈活的評估模型，來承載各個院校不同的考核需求。每個院校的數(shù)據(jù)采集維度不同，模型會根據(jù)實(shí)際數(shù)據(jù)情況自動按分類生成。比如按上面采集到的數(shù)據(jù)分為6類，每類分別設(shè)置權(quán)重與分值。權(quán)重與分值設(shè)置可以到極小的顆粒度，如教師在不同等級的報刊發(fā)表論文考核得分不同。

這一步面臨一個很大的困難，如果學(xué)校沒有形成標(biāo)準(zhǔn)成熟結(jié)構(gòu)化的考核體系，對評估模型的設(shè)置會無從下手?？己朔种蹬c權(quán)重設(shè)置缺乏科學(xué)依據(jù)。標(biāo)準(zhǔn)的考核體系需要院校花費(fèi)很大精力去研究。在這個項(xiàng)目中，院校同步對考核體系做標(biāo)準(zhǔn)化規(guī)范。

依據(jù)院校給出的評估標(biāo)準(zhǔn)，基于某學(xué)年某學(xué)期，對教師6類數(shù)據(jù)分別計算得分。對所有教師的評分進(jìn)行排名。圍繞教師收集的數(shù)據(jù)維度越多，找出影響教師評估結(jié)果的關(guān)鍵因素的難度越大。我們試圖通過主成分分析法進(jìn)行降維處理，找出對評估結(jié)果影響最大的幾個關(guān)鍵變量。院校的要求是教師評估結(jié)果需要符合正態(tài)分布，因此分析的重點(diǎn)是考察所有教師的考核結(jié)果分布是否呈現(xiàn)正態(tài)分布。如非正態(tài)分布就需要對教師的教學(xué)形為進(jìn)行干預(yù)與調(diào)節(jié)，以達(dá)到期望的效果。

基于院校年終考核數(shù)據(jù)，運(yùn)用機(jī)器學(xué)習(xí)算法對教師數(shù)據(jù)建模，對下一年評估結(jié)果進(jìn)行預(yù)測。以優(yōu)質(zhì)教師教學(xué)教研行為為依據(jù)，可以對下一年每位教師的教學(xué)教研情況進(jìn)行跟蹤與預(yù)警。同時將不同教師的完成情況進(jìn)行橫向?qū)Ρ?，將無形的教學(xué)質(zhì)量轉(zhuǎn)化為可量化的指標(biāo)。

項(xiàng)目使用2018年春秋兩個學(xué)期，共1萬多條數(shù)據(jù)進(jìn)行模型訓(xùn)練，將數(shù)據(jù)集隨機(jī)分為訓(xùn)練集與測試集，來對比各個模型的優(yōu)劣。使用MSE來對比差異，與測試集預(yù)測變量的差異越小，模型越好。最終訓(xùn)練出的模型測試精確度可達(dá)75%。

在變量的選擇上，使用優(yōu)子集選擇法，對所有預(yù)測變量的所有可能組合分別進(jìn)行擬合，選擇出最優(yōu)模型。通過計算方差膨脹因子，來確認(rèn)解釋變量是否存在共線性或多重共線性的問題。通常VIF大于5時，意味著共線性成為一個問題，通過去掉冗余變量來解決此問題。

5 對分析模型的評估方法

模型的優(yōu)劣取決于我們選擇哪些變量作為解釋變量，解釋變量間是否存在(多重)共線性，是否使用對數(shù)轉(zhuǎn)換等等，最終可以通過以下3個指標(biāo)來檢驗(yàn)：通過計算預(yù)測偏差，MSE越小越好；計算VIF，值越小越好；計算置信區(qū)間，區(qū)間越緊越好。經(jīng)過計算3個指標(biāo)值的完成性均較好。

6 項(xiàng)目中碰到的困難與解決方案

在系統(tǒng)實(shí)際推進(jìn)使用過程中，碰到的最大的問題就是數(shù)據(jù)搜集。除了一些易于記錄與維護(hù)的數(shù)據(jù)外，如考試數(shù)據(jù)、教學(xué)評價數(shù)據(jù)，其他諸如教學(xué)工作量、教研數(shù)據(jù)等在院校的實(shí)際工作開展中，很難采集。在院校信息化平臺建設(shè)中，存在使用多個甚至是十多個信息平臺的情況，各系統(tǒng)間數(shù)據(jù)獨(dú)立不互通。同時教師也增加了額外負(fù)擔(dān)，需要在多個平臺上進(jìn)行數(shù)據(jù)維護(hù)。

院校缺少統(tǒng)一的數(shù)字化平臺來實(shí)現(xiàn)各個平臺間的數(shù)據(jù)共享，要想推進(jìn)項(xiàng)目的實(shí)施，解決數(shù)據(jù)采集的方案之一是與各個平臺做數(shù)據(jù)對接，需要各個平臺維護(hù)團(tuán)隊(duì)的配合。前期成本高工作量大工期長，并且存在很高的不確定性。方案二是讓教師錄入相關(guān)數(shù)據(jù)。要求教師參加數(shù)據(jù)的收集無疑會增加教師的工作量，系統(tǒng)設(shè)計中秉承最大化降低教師工作量的原則，盡量減少教師操作流程與錄入數(shù)量。隨著項(xiàng)目的推進(jìn)，如果評估結(jié)果得到院校的認(rèn)可，并能夠得到大面積的使用，那么則可以考慮與各個平臺的對接工作。在可以得到確定成果的基礎(chǔ)上，持續(xù)投入不斷迭代平臺功能與算法模型。

7 項(xiàng)目總結(jié)與后續(xù)規(guī)劃

本項(xiàng)目的初衷對傳統(tǒng)結(jié)果導(dǎo)向性教學(xué)評估的一種改革嘗試， 院校領(lǐng)導(dǎo)希望可以通過大數(shù)據(jù)與人工智能技術(shù)來實(shí)現(xiàn)結(jié)果性評估到過程性評估的探索，這需要有打破傳統(tǒng)思維模式的勇氣，需要各個院系教師的支持與配合。因此，在系統(tǒng)建設(shè)的過程中，各類數(shù)據(jù)盡最大可能自動采集，盡量減少教師的工作量，從啟動層面將教師的抵觸情緒降到最小。循序漸進(jìn)的改變優(yōu)化教師現(xiàn)有的工作方式，先讓教師看到變革能帶來切實(shí)的益處。經(jīng)過與各個院系的溝通，初期先選兩個院系進(jìn)行推廣試運(yùn)行。項(xiàng)目最終目的是通過教學(xué)評估方式的轉(zhuǎn)變，反向推動數(shù)據(jù)的采集與教師工作方式、工作理念的轉(zhuǎn)變，提升教學(xué)質(zhì)量讓教師和學(xué)生都受益。