張 睿 顧 牡 吳天剛 張志華 王祖源 翟 苗

(同濟大學物理科學與工程學院,上海 200092)

智慧校園的建設推動了“互聯(lián)網(wǎng)+”教學模式的迅速發(fā)展[1]，一方面大批優(yōu)質(zhì)資源通過在線教育的形式被廣泛分享，提高了教學資源的使用效率； 另一方面隨著信息孤島的消失，通過多種渠道獲得教學信息，并通過數(shù)據(jù)挖掘技術(shù)了解學情，對提高師生之間的互動、有效改善教學，也能起到積極的效果。在教學過程中開展形成性評價，通過階段性學習數(shù)據(jù)分析學習動態(tài)，有利于教師及時了解學情，發(fā)現(xiàn)學生學習過程中可能存在的問題，有利于教師調(diào)整教學策略、實施教學干預，通過精準化、個性化的教學模式，提高教學質(zhì)量與教學效果。學生也可以根據(jù)形成性評價所得到的信息，調(diào)整自己的學習策略和方式，提高學生的學習效率。

將智慧校園和形成性評價結(jié)合起來，有助于提高評價體系的科學性與可信度，對教育技術(shù)與教學過程的深度融合能起到十分重要的作用，也能夠更加客觀地分析教學效果與教學質(zhì)量，對精品課程的建設起到促進的作用。在這一情況下, 教學數(shù)據(jù)反映了學生學習過程中哪些方面的情況，使用哪些教學數(shù)據(jù)可以了解學生的學習成效，如何通過數(shù)據(jù)挖掘發(fā)現(xiàn)存在學習困難的學生，是教育工作者需要解決的問題。

1 研究方法

在“互聯(lián)網(wǎng)+”教學模式中，學生的學習數(shù)據(jù)可分為在線教學數(shù)據(jù)與課堂教學數(shù)據(jù)兩大類，其中在線教學數(shù)據(jù)主要來源于在線學習平臺、虛擬仿真平臺，本文數(shù)據(jù)來源于慕課學習平臺；課堂教學數(shù)據(jù)可以包括課堂錄像視頻觀看記錄、聽課記錄等，本文數(shù)據(jù)主要來源于課堂應答系統(tǒng)的答題記錄。在慕課數(shù)據(jù)的形成性評價研究中，我們選取了同濟大學在愛課程網(wǎng)上上線的課程“電磁學”4個學期的學習數(shù)據(jù)作為研究對象；在基于課堂應答系統(tǒng)的形成性評價中，我們選取了同濟大學某教學班級在力學，熱學單元的應答記錄作為研究對象。

在數(shù)據(jù)分析中主要涉及的方法包括相關分析、因子分析與聚類分析。具體思路是通過相關分析和因子分析找到與學習效果有關的學習行為變量，并對學生的學習行為進行分類，結(jié)合問卷調(diào)查的結(jié)果分析各類學習行為的共性。通過聚類分析，根據(jù)學習行為，對學生進行分組，找到出現(xiàn)學習困難的學生，并根據(jù)學習數(shù)據(jù)，分析造成學生學習困難的主要原因。

由于學生的行為和學習成效一般都呈現(xiàn)正相關關系，低作業(yè)完成率或測試完成率意味著學習困難，而學生學習成績分布往往以雙峰形式出現(xiàn)，在聚類分析中通過二聚類分析按學生的行為特征將學生分成兩類，找出學習困難學生所在的特征峰，將有助于發(fā)現(xiàn)學習困難學生。在實際操作中，我們使用k-means算法對學生的學習行為進行二聚類分析。根據(jù)學習分析定義精準率等于預測學習困難學生中總評成績未通過學生與預測學習困難學生的比值；召回率等于預測學習困難學生中總評成績未通過學生與實際總評未通過學生之間的比值[2]。精準率與召回率都是體現(xiàn)預測系統(tǒng)的質(zhì)量的參量，在學習分析技術(shù)中，用F值來綜合表征預測系統(tǒng)的預測能力，見式(1)， 一般情況下可以令α=1，

(1)

2 基于慕課數(shù)據(jù)的形成性評價研究

在慕課學習數(shù)據(jù)中，我們采用的數(shù)據(jù)包括學生測試的完成率、學生作業(yè)的完成率、學生測試的平均成績、學生作業(yè)的平均成績以及學生在論壇上的發(fā)帖數(shù)。課程總評成績的計算按照在線測試成績30%，作業(yè)成績15%，在線討論5%，期末考試50%計算。

從我們的分析結(jié)果來看，測試完成率、作業(yè)完成率、作業(yè)的平均成績和慕課的總評成績屬于同一類數(shù)據(jù)，測試平均成績屬于一類數(shù)據(jù)，論壇上的發(fā)帖數(shù)屬于一類數(shù)據(jù)[3]。選擇與總評成績同一類的學習行為作為預測變量，選取其中某慕課班級(人數(shù)N=1811)進行二聚類分析，預測結(jié)果見表1。該班級不及格人數(shù)為877人，不及格率為48.4%，缺考率為2.7%，由于參加學習的學生以同濟大學在校學生為主，缺考率遠遠低于一般慕課課程。

表1 電磁學慕課在線學習數(shù)據(jù)聚類分析結(jié)果

從數(shù)據(jù)上看，采用測試完成率和作業(yè)完成率作為形成性評價預警指標，對于慕課學習者可以實現(xiàn)精準的預測和較廣的覆蓋度。對于混合式教學班級(人數(shù)N=22，不及格率 13.6%，缺考率零)采取同樣的方法處理數(shù)據(jù)后發(fā)現(xiàn)召回率和F值有所下降，這主要是樣本量較小導致的，但基于測試完成率和作業(yè)完成率預測的精準率仍然接近100%。

從對四門慕課數(shù)據(jù)的因子分析結(jié)果上看，慕課學習數(shù)據(jù)可以分為三類，第一類數(shù)據(jù)(成分一)主要包括在線測試完成率，作業(yè)完成率，總評成績，作業(yè)平均成績；第二類數(shù)據(jù)(成分二)為測試平均成績；第三類數(shù)據(jù)(成分三)為學生的發(fā)帖數(shù)。各成分荷載數(shù)見表2， 除了一項數(shù)據(jù)以外，均大于0.8。

表2 電磁學慕課在線學習數(shù)據(jù)因子分析結(jié)果

3 基于課堂應答系統(tǒng)的教學形成性評價實施

課堂應答系統(tǒng)是收集學生課堂的實時響應，向教師反饋學生學習情況的交互系統(tǒng)[4]。根據(jù)建構(gòu)主義理論，師生之間的互動以及學生之間的互動對于有效的課堂教學有著十分重要的作用。在課堂教學中，教師提出問題，學習者通過課堂反饋系統(tǒng)提交答案，教師通過教師端呈現(xiàn)反饋信息并主動調(diào)整教學過程，及時解決課堂中出現(xiàn)的問題。此外教師還可以通過后臺程序，了解和分析個別同學的學習動態(tài)，及時調(diào)整教學策略，實施教學干預，實現(xiàn)教學過程的個性化。具體的流程如圖1所示。

圖2 課堂應答系統(tǒng)反饋信息

圖1 課堂應答系統(tǒng)使用示意圖

對于常規(guī)課堂教學，由于學生的個人響應并不直接在課堂上呈現(xiàn)，課堂應答系統(tǒng)可以提高學生課堂參與的主動性和參與度。對于大班教學，教師通過課堂應答系統(tǒng)能夠了解班級對教學內(nèi)容中重點難點的學習情況，提高授課的效率和精準性。課堂應答系統(tǒng)的反饋信息如圖2所示。

對于翻轉(zhuǎn)課堂模式下的教學，教師可以通過課堂應答系統(tǒng)設定前測，了解學生預習的情況，并根據(jù)學生的前測結(jié)果確定教學方案。一般來說，如果前測結(jié)果正確率超過70%，可以不討論有關知識點。教師還可以通過課堂應答系統(tǒng)設定后測，確定課堂討論是否達到了預期效果。

在常規(guī)教學中，由于使用課堂應答系統(tǒng)的頻率有限，選擇適當?shù)念}目進行形成性評價將有利于保證評價的科學性。如果需要通過應答數(shù)據(jù)篩選出學習困難的同學，使用的題目應滿足難度適中，區(qū)分度大，答題時間適中的要求，方便使用者通過答題正確率確定學習困難的學生。

我們使用項目反應理論[5]計算了這20道題目的難度系數(shù)和區(qū)分度。難度系數(shù)的平均值為0.45，區(qū)分度的平均值為2.97，整體難度適中，區(qū)分度較大，適合課堂答題使用。進一步分析發(fā)現(xiàn)難度系數(shù)與答題時間呈中度正相關關系(r=0.524，p<0.05，見圖3)和答題的正確率(r=-0.871，p<0.01，見圖4)呈高度負相關關系。一般來說，對于難度系數(shù)相近的題目，學生對有關知識越熟悉，答題時間越短。答題時間較長的題目多是大學期間出現(xiàn)的新知識點。

圖3 課堂應答題難度系數(shù)與平均答題時間的關系

圖4 課堂應答題難度系數(shù)與答題正確率的關系

從數(shù)據(jù)上看，難度系數(shù)適中的題目答題平均時間為2～6分鐘，比較適合課堂答題，而難度系數(shù)較大的題目，平均答題為4～10分鐘，不是很適合課堂答題使用，對于教學中新出現(xiàn)的知識點，答題難度還可以略微降低。

4 基于課堂應答系統(tǒng)數(shù)據(jù)的形成性評價研究

我們使用2018—2019春季學期某班級前半學期課堂應答系統(tǒng)的數(shù)據(jù)(20題)的數(shù)據(jù)來源作形成性評價，這些數(shù)據(jù)包括課堂出勤率、答題正確率與答題響應時間。對班級所有學生(人數(shù)N=144)的數(shù)據(jù)進行二聚類分析，并根據(jù)期末總評成績對預測結(jié)果進行評價(表3)。該班采取混合式教學模式，但沒有進行課堂翻轉(zhuǎn)，在線學習主要起輔助作用。期末總評成績按照在線測試10%，課后作業(yè)10%，出勤10%，在線討論10%，期末考試60%計算，不及格率15%，缺考率1.5%。

表3 課堂應答系統(tǒng)應答記錄分析

從應答系統(tǒng)的數(shù)據(jù)分析上看，學生測試的不及格率較高，召回率較低，但由于答題記錄往往來源于授課過程中的測試，不少知識點都是第一次接觸，對知識的掌握還不夠深入，出現(xiàn)正確率較低的情況也是可以理解的。相對于其他判定參數(shù)，采用應答正確率作為判定參數(shù)具有較好的F值。

對于該教學班一個學期的教學數(shù)據(jù)以及科羅拉多科學學習態(tài)度問卷調(diào)查(CLASS)以及學習投入調(diào)查問卷的結(jié)果，結(jié)合課堂應答系統(tǒng)數(shù)據(jù)和在線學習數(shù)據(jù)進行因子分析，剔除荷載因子小于0.4的項，使得變量盡可能只出現(xiàn)在一個成分內(nèi)，發(fā)現(xiàn)學習數(shù)據(jù)同樣可以分成三類數(shù)據(jù)，其中總評成績，在線測試平均成績，作業(yè)完成率，課堂答題率，作業(yè)平均成績，論壇發(fā)帖量為成分一；課堂答題正確率，學習態(tài)度，學習投入為成分二；課堂答題時間與作業(yè)完成率為成分三；每個成分荷載因子構(gòu)成分別為成分一(0.742，0.742，0.488，0.703，0.656，0.402)，成分二(0.444，0.858，0.819)；成分三(0.761，0.667)。

5 討論與總結(jié)

無論是慕課還是課堂教學，由于總評成績和作業(yè)以及在線測試有關，學生通過完成以上工作完成課程的學習，因此這里慕課和課堂教學數(shù)據(jù)中的成分一都體現(xiàn)了課程完成的情況。由于在慕課教學中，發(fā)帖情況所占總評成績的比重較小，沒有體現(xiàn)在課程完成度里。

我們曾經(jīng)針對翻轉(zhuǎn)課堂型混合式教學班級進行學習態(tài)度問卷調(diào)查，調(diào)查結(jié)果顯示學生的學習態(tài)度、測試完成率、作業(yè)完成率、作業(yè)的平均成績和慕課的總評成績屬于同一類數(shù)據(jù)，[6]。對于本教學班，由于沒有采取翻轉(zhuǎn)課堂的教學形式，只有課堂答題正確率屬于與學習態(tài)度有關的參量。在慕課教學中，在線測試和課堂教學中的課堂答題形式類似，因此也可以把慕課教學中的成分二看成是學習態(tài)度的體現(xiàn)。研究表明，大學新生入學之后，由于適應問題，會出現(xiàn)學習態(tài)度下降的情況[7]。對于大學物理課程，積極主動地學習態(tài)度對學習成效能起到十分重要的作用，授課教師應根據(jù)形成性評價結(jié)果對學生予以積極引導，提高課程質(zhì)量。

我們還針對翻轉(zhuǎn)課堂型混合式教學班級進行性格外向程度測試，發(fā)現(xiàn)論壇發(fā)帖量屬于和學生性格外向程度有關的變量(發(fā)帖數(shù)沒有計入成績)[6]， 也就是說慕課數(shù)據(jù)中的成分三很可能反應的是學生的外向程度。對于課堂應答系統(tǒng)，由于答題時間某種程度上反應了學生的反應時間和智力水平，所以課堂教學數(shù)據(jù)的成分三可以看成是智力因素的體現(xiàn)。

形成性評價主要考察學生是否完成階段性學習任務以及學生的學習態(tài)度情況，對于我們目前混合式教學模式，從數(shù)據(jù)上看在線測試平均成績，課堂答題率(考勤)，作業(yè)平均成績能較好地反應學習完成程度，課堂答題正確率反映學生的學習態(tài)度，建議將這四個參數(shù)作為形成性評價的依據(jù)。

由于實際教學的總評成績不及格率只有10%左右，如果使用慕課數(shù)據(jù)預測實際課堂教學效果, 對于召回率偏低的指標, 將可能導致召回率上升,F值上升；而對于召回率偏高的指標，將可能導致精準率下降和F值下降，需要重新確定評價指標。從數(shù)據(jù)上看，對于慕課，測試平均成績更可能成為評價指標。對于混合式教學，如何將慕課數(shù)據(jù)與應答系統(tǒng)數(shù)據(jù)有效結(jié)合，提高評價與預警的性能還有待進一步考查。

對于學習預警，總結(jié)性評價的難度和區(qū)分度十分重要，如果題目過難，區(qū)分度較低，不及格率升高，學習預警系統(tǒng)的準確率有所下降；難度過低，區(qū)分度較低，不及格率降低，學習預警系統(tǒng)的召回率會減小，這將對學習預警帶來一定的困難。從公平公正的角度出發(fā)，總結(jié)性評價應保證難度系數(shù)的穩(wěn)定性。

教師和學校如何利用教學數(shù)據(jù)進行教學干預，提高學生對知識的掌握，也是一個值得思考的問題。任課教師和學生交流較少，對學生的心理狀態(tài)很難把握，很可能干預適得其反，加大了對學生進行精準化的教學干預的難度。隨著智慧校園的建設，各種數(shù)據(jù)源的開放與學校各部門之間的配合增多，可以為這些問題的解決找到更多的途徑。