李昕 荊永君
摘要:學習者的個體特征和學習過程中的行為表現(xiàn)對在線學習結(jié)果具有一定的預(yù)測作用。為了探究在職教師在線學習結(jié)果的影響因素及預(yù)測模型,研究以教師信息技術(shù)應(yīng)用能力在線學習為研究場景,選取1041名教師作為研究對象,依據(jù)性別、年齡、學科、學段等傾向性指標和參與、專注、績效、規(guī)律4個維度的行為表現(xiàn)指標建立4種學習結(jié)果預(yù)測模型,綜合評估7種分類算法后選擇較優(yōu)的預(yù)測模型和算法,并對確定的預(yù)測模型進行調(diào)參優(yōu)化、動態(tài)適應(yīng)性檢驗、可視化呈現(xiàn)和規(guī)則提取,并對預(yù)測風險給出了干預(yù)策略。研究表明:應(yīng)用CART決策樹算法通過傾向性指標和行為表現(xiàn)指標的混合預(yù)測模型獲得了較優(yōu)的預(yù)測效果,并且該模型具有早期的預(yù)測能力,可以為培訓管理者在不同的學習階段實施學習干預(yù)和支持服務(wù)提供科學依據(jù)。
關(guān)鍵詞:在線專業(yè)發(fā)展;傾向性指標;學習行為;學習結(jié)果;預(yù)測與干預(yù)
中圖分類號:G434 文獻標識碼:A
* 本文系全國教育科學規(guī)劃教育部重點課題“基于學習分析的教師網(wǎng)絡(luò)學習行為預(yù)測與干預(yù)研究”(課題編號:DCA170305)研究成果。
2019年教育部在《關(guān)于實施全國中小學教師信息技術(shù)應(yīng)用能力提升工程2.0的意見》中提出打造智能化、數(shù)字化的教師培訓網(wǎng)絡(luò)平臺,建立自適應(yīng)、個性化的教師培訓學習體驗空間,實現(xiàn)“三提升一全面”的總體發(fā)展目標。基于網(wǎng)絡(luò)的教師培訓具有跨時空、形式多樣、資源豐富、學習方式靈活等優(yōu)勢,已逐漸成為教師專業(yè)發(fā)展的主要途徑,教師在線學習結(jié)果也成為備受關(guān)注的熱點。研究者通過問卷調(diào)查法和訪談法從政策要求、課程設(shè)置、培訓模式、活動設(shè)計等外部環(huán)境因素,以及受訓教師的年齡、性別、學習態(tài)度、學習動機、學習風格等個體內(nèi)部因素多個角度開展了學習結(jié)果影響因素的研究[1][2]。此類研究大多是在教師培訓結(jié)束后開展的調(diào)查研究,屬于事后總結(jié)追因分析,目的是為后續(xù)教師培訓提供參考和決策。隨著學習分析技術(shù)的成熟,在線學習過程中的行為表現(xiàn)指標被納入在線學習結(jié)果的預(yù)測模型,并取得了較好的預(yù)測效果[3]?;谛袨楸憩F(xiàn)指標的預(yù)測可以在學習過程中,當各類學習行為數(shù)據(jù)有了一定積累之后,根據(jù)前期建立的學習行為與學習結(jié)果的預(yù)測模型給出預(yù)測分析,便于在學習過程中實施干預(yù)措施。從研究對象來看,已有的在線學習結(jié)果預(yù)測研究大多數(shù)是針對在校大學生和MOOCs學習者,而關(guān)于在職教師的研究偏少[4]。參加在線學習的教師年齡分布范圍廣、職業(yè)身份特殊、學歷層次較高,受過良好的學科知識教育和教師職業(yè)教育,原有知識基礎(chǔ)、學習動機、職業(yè)發(fā)展的認知等多方面與其他學習者不同。這些因素可能會導致其與其他學習者的在線學習行為和學習結(jié)果的影響因素存在著差異,教師在線學習結(jié)果的影響因素和預(yù)測模型還有待進一步深入研究。因此,本研究嘗試基于教師的傾向性指標(靜態(tài))和學習行為表現(xiàn)指標(動態(tài))建立4種學習結(jié)果預(yù)測模型,并綜合評估機器學習中常用的7種分類算法選擇較優(yōu)的預(yù)測模型和算法,以期獲得更好的預(yù)測性能和早期的預(yù)警能力,為教師在線學習干預(yù)和支持服務(wù)提供精準的決策依據(jù),改善和優(yōu)化教師的在線學習投入,從而提高教師在線學習效果。
大數(shù)據(jù)技術(shù)的興起促使數(shù)據(jù)密集型研究范式被逐漸應(yīng)用于在線學習結(jié)果的預(yù)測研究。研究者更加注重綜合運用多種預(yù)測模型和算法,采集多種場景數(shù)據(jù)豐富數(shù)據(jù)來源,將數(shù)據(jù)按時間維度進行序列化,希冀構(gòu)建的預(yù)測模型不僅能夠獲得較優(yōu)的預(yù)測性能,而且還要具有早期的預(yù)測能力。吳林靜、趙磊等人在綜合對比分析決策樹、K近鄰分類、人工神經(jīng)網(wǎng)絡(luò)等多種分類算法的預(yù)測性能后,確定了大學生和MOOCs學習者的課程成績預(yù)測的較優(yōu)模型,發(fā)現(xiàn)在線學習時長、內(nèi)容交互、人際交互和參與評價等行為是關(guān)鍵的預(yù)測指標[5][6]。羅楊洋等人使用隨機森林增量學習算法構(gòu)建混合式學習環(huán)境中大學生的在線學習行為與課程成績的預(yù)測模型,研究結(jié)果證實隨著樣本量增加準確率越高[7]。胡航、許煒等人利用傾向性指標和在線學習行為、課堂行為、一卡通消費、圖書借閱和運動行為等多種場景數(shù)據(jù),實現(xiàn)了對大學生課程成績的有效預(yù)測[8-10]。王亮、Hassan、Waheed等人分別以日、周、季度為時間窗編制學生活動時間序列預(yù)測開放教育學習者的課程完成情況,研究發(fā)現(xiàn)預(yù)測模型能在學習初期達到較好的準確度,從而使預(yù)測模型具備早期的預(yù)測能力[11-13]。
關(guān)于在職教師的研究中,劉麗娜等人以農(nóng)村幼兒園教師網(wǎng)絡(luò)培訓為案例,利用相關(guān)性和方差分析研究發(fā)現(xiàn)在線學習完成率影響最顯著的是地域因素,與任教年限、年齡、在線學習經(jīng)歷、計算機操作技能以及學習動機、學習風格等心理特征顯著相關(guān),而與性別和學歷無關(guān)[14]。趙艷、吳紹靖等人利用多元回歸分析發(fā)現(xiàn),登錄總時長、登錄次數(shù)、交流討論次數(shù)、完成任務(wù)等因素是中小學教師在線學習成績的關(guān)鍵因素[15][16]。張思等人在綜合對比6種常見的分類算法后,使用決策樹以參與、專注、規(guī)律和交互4個維度的學習投入情況預(yù)測中小學教師的在線學習成績,獲得了較好的準確性[17]。
綜上所述,學習者的個體特征和學習過程中的行為表現(xiàn)能夠有效預(yù)測在線學習結(jié)果。在預(yù)測指標的選擇上,學習者的性別、年齡、知識背景等傾向性指標,和行為的次數(shù)、時間、作業(yè)(練習)成績、人際交互等行為表現(xiàn)指標是相對穩(wěn)定和重要的預(yù)測因子,主要以課程成績、完成情況、是否獲得證書等學習結(jié)果作為預(yù)測目標。由于在線學習者的構(gòu)成來源不同、學業(yè)背景各異,導致學習結(jié)果與學習者的個體特征、在線學習行為之間的關(guān)系復雜。眾多研究表明在線學習結(jié)果的預(yù)測具有一定的教學情境差異,還尚未形成適應(yīng)各類學習者的通用預(yù)測指標和模型[18]。
為了進一步探究在職教師在線學習結(jié)果影響因素及學習結(jié)果預(yù)測模型,本研究以教師信息技術(shù)應(yīng)用能力在線學習為研究場景,開展基于傾向性指標和行為表現(xiàn)指標的學習結(jié)果混合預(yù)測研究。其中,傾向性指標在教師的性別、年齡、計算機操作水平、所在區(qū)域等個體特征的基礎(chǔ)上,增加了與教師職業(yè)緊密相關(guān)的學段、學科特征;行為表現(xiàn)指標在行為產(chǎn)生的數(shù)量、取得的質(zhì)量和持續(xù)時間的基礎(chǔ)上,利用信息熵計算行為規(guī)律指數(shù)衡量行為發(fā)展的穩(wěn)定性,即將行為表現(xiàn)指標劃分為參與、專注、績效和規(guī)律4個維度。依據(jù)傾向性指標和行為表現(xiàn)指標建立4種學習結(jié)果預(yù)測模型,并對構(gòu)建的預(yù)測模型進行算法評估、調(diào)參優(yōu)化、動態(tài)適應(yīng)性檢驗、可視化呈現(xiàn)和規(guī)則提取,以期提高教師在線學習結(jié)果預(yù)測的準確性、穩(wěn)定性和早期預(yù)測能力。
(一)研究場景
Y市教師信息技術(shù)應(yīng)用能力培訓項目由教育管理部門依據(jù)《中小學教師信息技術(shù)應(yīng)用能力標準(試行)》設(shè)計課程內(nèi)容,共包括8個主題,每個主題學習時間為1周(從周一開始至周日結(jié)束),要求中小學在職教師全員參與,并累計在線學習50小時。依托的在線學習平臺包括:課程公告、課程內(nèi)容、在線測試、課程作業(yè)、學習討論、學習小組和學習評價等功能,在線學習活動以任務(wù)驅(qū)動、活動引領(lǐng)、小組協(xié)作學習為主,教師的學習完成率95%以上。學習結(jié)束后參加管理部門統(tǒng)一組織的水平測試,測試結(jié)果分為合格與不合格兩類,合格率為69%。
(二)研究模型
在本研究場景中,教師參加在線學習活動除了自身專業(yè)發(fā)展需求外,還具有一定的組織約束性,在線學習的完成率較高并不適合作為預(yù)測目標,所以選擇水平測試結(jié)果作為預(yù)測目標。在借鑒已有研究和教師在線學習特點的基礎(chǔ)上,構(gòu)建了基于傾向性指標和行為表現(xiàn)指標的學習結(jié)果混合預(yù)測模型。其中,傾向性指標主要是指教師個體特征屬性,包括教師的性別、年齡、計算機操作水平、學校所在區(qū)域、學段和學科6個指標;行為表現(xiàn)指標主要是指教師在線學習過程發(fā)生的教學交互行為。
在遠程教育的教學交互研究中,穆爾和安德森從教學構(gòu)成要素的視角,認為遠程教育的教學交互包括學習者、教師、學習內(nèi)容三者之間的交互[19];陳麗從交互層次的視角提出遠程學習中的教學交互層次塔理論,認為交互由具體到抽象、由低級到高級,分為學習者與媒體界面的操作交互,學習者與資源、學習者、教師的信息交互,以及學習者新舊概念的交互[20]。本研究按照教學交互理論提取教師各類在線學習行為,為了更細致、準確地刻畫教師的在線學習行為表現(xiàn)指標,將其劃分為參與、專注、績效和規(guī)律4個維度[21]。其中參與反映交互行為的數(shù)量,即教師按照課程學習要求與系統(tǒng)、資源、同伴和培訓者間交互的各類在線學習行為發(fā)生的次數(shù),如登錄系統(tǒng)次數(shù)、瀏覽學習內(nèi)容次數(shù)、參與討論次數(shù)等;專注反映交互行為的持續(xù)程度,即教師在線學習時保持注意力的努力程度,如學習投入時間、每次登錄持續(xù)學習時間、學習序列的步長、話題討論的深度和內(nèi)容長度等;績效反映交互行為的質(zhì)量,即教師完成課程評價設(shè)置的相關(guān)學習任務(wù)取得的成績,如練習和作業(yè)的成績、討論話題質(zhì)量、學習任務(wù)完成度等。規(guī)律反映交互行為發(fā)展的有序程度,即教師在線學習行為的偏好和規(guī)律特征,如在不同時間段內(nèi)具有穩(wěn)定的或傾向性的學習頻率、學習投入時間、學習序列等。
為了多角度驗證研究模型的有效性,本研究構(gòu)建了傾向性指標(模型A)、不含規(guī)律維度的行為表現(xiàn)指標(模型B)、全部行為表現(xiàn)指標(模型C)、基于傾向性和行為表現(xiàn)的混合指標(模型D)共4種預(yù)測模型。模型A用于檢驗在學習初期傾向性指標對學習結(jié)果的預(yù)測效果;模型B用于檢驗在學習過程中積累了一定量的交互行為數(shù)據(jù)后,行為表現(xiàn)指標對學習結(jié)果的預(yù)測效果;模型C用于與模型B對比分析,用于檢驗行為表現(xiàn)指標增加規(guī)律維度后對學習結(jié)果預(yù)測效果的影響;模型D用于與其他模型對比分析,以此檢驗基于傾向性和行為表現(xiàn)的混合指標對學習結(jié)果的預(yù)測效果是否優(yōu)于其他模型。
(三)研究方法
本研究的預(yù)測目標是一個二分類問題,因此可以采用邏輯回歸、決策樹、人工神經(jīng)網(wǎng)絡(luò)等分類方法分析傾向性指標和行為表現(xiàn)指標對學習結(jié)果的影響。整個研究過程分為4個階段:一是按照研究模型從系統(tǒng)日志和數(shù)據(jù)庫中收集整理相應(yīng)的傾向性指標和行為表現(xiàn)指標數(shù)據(jù);二是通過相關(guān)性分析篩選出與學習結(jié)果相關(guān)的指標作為4種預(yù)測模型的預(yù)測變量;三是將研究樣本分為訓練集和測試集,運用7種常用的分類算法通過訓練集建立預(yù)測模型,再使用測試集評估預(yù)測模型的預(yù)測性能選出較優(yōu)的預(yù)測模型;四是對確定的預(yù)測模型進行調(diào)參優(yōu)化、動態(tài)適應(yīng)性檢驗、可視化呈現(xiàn)及規(guī)則提取生成規(guī)則集。具體技術(shù)路線如圖1所示。
(一)數(shù)據(jù)收集
按照數(shù)據(jù)可獲得性和完整性,從學習平臺中篩選出1041名教師作為研究對象,共收集教師平臺訪問、工具使用和學習討論等各類在線學習行為數(shù)據(jù)28萬余條。研究對象的基本情況如表1所示。
由表1可知,女性教師的數(shù)量將近男性教師的5倍,這與我國當前基礎(chǔ)教育女性教師偏多的現(xiàn)象相一致。教師年齡主要集中在36—45歲,各學段的教師人數(shù)相對均衡,語文和數(shù)學學科的教師相對多些,物理、化學、歷史和政治等其他學科占三分之一左右,教師所在學校位于中心城區(qū)和計算機操作水平屬于低等水平的人數(shù)各占一半以上。
按照研究設(shè)計從系統(tǒng)訪問日志和數(shù)據(jù)庫中收集整理出教師平臺、工具、資源和人際交互行為的參與、專注和績效的度量指標,并在此基礎(chǔ)上計算獲得各行為度量指標的規(guī)律指數(shù)和行為偏好特征。共篩選出35個教師在線學習行為表現(xiàn)的度量指標,如表2所示。
參與、專注和績效中各度量指標的次數(shù)、時間和成績可以從系統(tǒng)訪問日志和數(shù)據(jù)庫中統(tǒng)計分析獲得。規(guī)律維度中的偏好度量指標是指教師在學習行為序列和學習時間上的傾向性,其中學習序列導向偏好采用滯后序列分析和頻繁序列分析獲得,如基于學習內(nèi)容或績效的行為序列導向[22];主題學習時滯偏好和活躍偏好采用描述性統(tǒng)計和方差分析方法,獲得統(tǒng)計學意義上存在顯著性差異的行為傾向,如主題開始階段學習傾向、夜間學習傾向等。規(guī)律維度中各類度量指標的規(guī)律指數(shù)是衡量每個主題中度量指標的有序程度,由信息熵計算獲得[23][24]。其計算過程為:先將每個主題開放學習時間內(nèi)教師的參與、專注和績效各度量指標形成數(shù)據(jù)集合,再根據(jù)集合中數(shù)據(jù)分布的熵值獲得,其計算公式如下:
規(guī)律指數(shù)Hx的取值范圍為0—1之間,取值越高說明數(shù)據(jù)分布越有序。例如,計算教師x在n個主題內(nèi)的登錄系統(tǒng)次數(shù)的規(guī)律指數(shù),其中pi表示該教師第i個主題登錄系統(tǒng)次數(shù)在n個主題內(nèi)總登錄系統(tǒng)次數(shù)中的比重。假設(shè)教師A和B的8個主題內(nèi)的登錄系統(tǒng)總次數(shù)均為100次,每個主題內(nèi)的登錄系統(tǒng)次數(shù)分布如表3所示。
根據(jù)規(guī)律指數(shù)計算公式,可獲得教師A和B的登錄系統(tǒng)次數(shù)的規(guī)律指數(shù)分別為0.994和0.853,說明教師A比教師B的登錄系統(tǒng)行為更有序、更穩(wěn)定。可見行為度量指標引入規(guī)律指數(shù)后能更深層地反映各類學習行為數(shù)據(jù)的含義。
(二)預(yù)測變量選擇
根據(jù)變量數(shù)據(jù)類型和分布特點,采用Spearman相關(guān)系數(shù)檢驗6個傾向性指標和35個行為表現(xiàn)指標與學習結(jié)果的相關(guān)性,刪除掉不顯著和相關(guān)系數(shù)小于0.2的指標,最終保留20個指標作為學習結(jié)果的預(yù)測變量,如表4所示。
大多數(shù)傾向性指標和行為表現(xiàn)指標與學習結(jié)果在0.05水平上具有顯著相關(guān)性,相關(guān)系數(shù)絕對值在0.2—0.6之間,其中學段、所在區(qū)域、登錄系統(tǒng)次數(shù)、主題學習時間、主題學習時間規(guī)律指數(shù)和討論得分規(guī)律指數(shù)6個指標與學習結(jié)果為中度相關(guān),其他14個指標為弱相關(guān)。因此可以將以上指標作為自變量全部選入學習結(jié)果預(yù)測模型。
(一)預(yù)測模型的構(gòu)建
研究對象的水平測試合格率為69%,可以看出預(yù)測目標數(shù)據(jù)存在不均衡問題,因此采用SMOTE過采樣方法擬合生成測試結(jié)果為不合格的新樣本,最后共有1712名教師數(shù)據(jù)作為數(shù)據(jù)樣本,測試結(jié)果的類別比例接近1∶1,保證數(shù)據(jù)樣本的無偏性,以便提高預(yù)測模型的準確性。按照7∶3的比例將數(shù)據(jù)樣本形成訓練集和測試集,分別用于執(zhí)行和評估各種分類算法和模型。
本研究使用Python語言及常用的機器學習庫Scikit-learn包作為分析工具,首先將預(yù)測變量中的性別、年齡、學段、學科、所在區(qū)域、學習活躍偏好等離散型變量轉(zhuǎn)成One-Hot編碼;其次利用十折交叉驗證法分別使用邏輯回歸、線性判別分析、K近鄰算法、CART算法、樸素貝葉斯、支持向量機和人工神經(jīng)網(wǎng)絡(luò)7種常用的分類算法,對訓練集按照研究設(shè)計的4種預(yù)測模型進行訓練;然后以準確率、精準率、召回率、F1分數(shù)和AUC值作為預(yù)測評估指標,綜合分析預(yù)測評估指標選定4種預(yù)測模型的較優(yōu)分類算法;最后使用測試集評估選定的較優(yōu)分類算法和預(yù)測模型的泛化能力。4種預(yù)測模型的較優(yōu)分類算法的評估指標如表5所示。
從評估指標對比分析可以看出4種預(yù)測模型都有較好的預(yù)測表現(xiàn),在模型A和模型B中人工網(wǎng)絡(luò)算法和線性判別分析算法分別獲得了較優(yōu)的預(yù)測效果,在模型C和模型D中CART算法獲得了較優(yōu)的預(yù)測效果。由模型C與模型B比較發(fā)現(xiàn)除精準率外,其他評估指標有所提高,測試集的準確率、召回率、F1分數(shù)和AUC值分別由0.669、0.701、0.669和0.670提高到0.685、0.806、0.709和0.691,可見在學習行為增加了規(guī)律維度后預(yù)測效果有了一定提升。由模型D與其他模型比較發(fā)現(xiàn),除了召回率略低于模型C外其他評估指標均為最高值,測試集的準確率為0.801、精準率為0.800、F1分數(shù)為0.789、AUC值為0.800,召回率為0.778比模型C(0.806)略有下降。總體來說,基于動態(tài)行為表現(xiàn)的學習結(jié)果預(yù)測性能優(yōu)于基于靜態(tài)傾向性指標,學習行為增加了規(guī)律維度后預(yù)測性能有所提升,基于傾向性指標和行為表現(xiàn)指標的混合預(yù)測模型(模型D)的預(yù)測性能明顯優(yōu)于其他模型,對學習結(jié)果的預(yù)測獲得了較優(yōu)的預(yù)測效果。
(二)預(yù)測模型的優(yōu)化
為使混合預(yù)測模型(模型D)生成的決策樹能夠具有較好的泛化能力,避免出現(xiàn)過擬合問題,本研究采用代價復雜度CCP算法對決策樹進行剪枝處理,通過迭代在訓練集和測試集中尋求一個衡量代價與復雜度之間關(guān)系的較優(yōu)參數(shù)α值。通過計算獲得當α值介于0.05—0.10之間時,決策樹模型的訓練集和測試集的正確率均比較高,穩(wěn)定在0.75—0.90之間。因此本研究以α為0.06構(gòu)建決策樹模型,獲得測試集的準確率、精準率、召回率、F1分數(shù)和AUC值分別為0.791、0.813、0.765、0.788和0.791。最終共有性別、年齡、學段、學科、所在區(qū)域5個傾向性特征指標,和登錄系統(tǒng)次數(shù)、討論內(nèi)容長度、測試成績、登錄系統(tǒng)次數(shù)規(guī)律指數(shù)、主題學習時間規(guī)律指數(shù)、討論內(nèi)容長度規(guī)律指數(shù)、測試成績規(guī)律指數(shù)和討論得分規(guī)律指數(shù)8個行為表現(xiàn)指標參與決策樹分類。參與、專注、績效和規(guī)律4個維度中均有指標被選取為分類特征,其中規(guī)律維度指標最多。按分類特征重要性排序,學段、主題學習時間規(guī)律指數(shù)、討論得分規(guī)律指數(shù)、所在區(qū)域和登錄系統(tǒng)次數(shù)指標排在前5名??梢钥闯觯狙芯刻岢龅膶W習行為規(guī)律維度與其他行為維度比對學習結(jié)果的預(yù)測作用更顯著。例如,主題學習時間方面,有四分之三以上的教師能夠達到培訓方案規(guī)定的學習時間要求(50小時),但不同主題間存在學習時間分配不均衡現(xiàn)象,主題學習時間指標在對學習結(jié)果的預(yù)測中并沒有起到分類作用;而主題學習時間規(guī)律指數(shù)能在一定程度上規(guī)避集中突擊或不規(guī)則“刷課”產(chǎn)生的“學習時間”對學習結(jié)果預(yù)測的影響,起到較好的分類作用。
(三)預(yù)測模型的動態(tài)適應(yīng)性檢驗
為了檢驗預(yù)測模型在學習過程中的動態(tài)適應(yīng)性,以主題學習時間段為時間窗,按照主題的學習進程將教師每個主題內(nèi)的學習行為數(shù)據(jù)逐步累加,分別形成8個主題的行為表現(xiàn)數(shù)據(jù)子集。預(yù)測模型C和D使用CART算法分別對第2—8個數(shù)據(jù)子集(因第1個主題數(shù)據(jù)子集沒有學習行為規(guī)律維度,故排除)進行分類預(yù)測與評估,計算獲得測試集的準確率、精準率、召回率和F1分數(shù)的變化趨勢如圖2所示。
從圖2可以看出,在不同主題學習階段模型D的預(yù)測性能優(yōu)于模型C;隨著學習過程中學習行為數(shù)據(jù)的不斷積累,模型D的預(yù)測性能不斷提升,其中的準確率從0.762上升到0.801;模型D的召回率相對平穩(wěn)而模型C波動較大。其中主題5學習時間處于法定假期,通過學習行為數(shù)據(jù)分析發(fā)現(xiàn),教師整體登錄次數(shù)和學習投入時間明顯低于其他主題,這種學習活躍性和學習投入低且不規(guī)律的現(xiàn)象對學習結(jié)果預(yù)測性能產(chǎn)生了一定影響。整體上來說,基于傾向性指標和行為表現(xiàn)指標的混合預(yù)測(模型D)在整個學習過程中具有很好的動態(tài)適應(yīng)性,可以在不同主題學習階段開展學習結(jié)果預(yù)測,充分發(fā)揮預(yù)測模型的早期預(yù)警能力。
(四)預(yù)測模型的可視化及規(guī)則提取
為了使學習結(jié)果預(yù)測模型獲得的知識更加通俗易懂,便于培訓管理者在實際場景中使用,本研究利用可視化技術(shù)將學習結(jié)果預(yù)測模型進行可視化在線呈現(xiàn),生成的決策樹的局部樹形結(jié)構(gòu)如圖3所示。
節(jié)點中“主題學習時間≤0.878”表示當前節(jié)點分類條件(如無分類條件則為葉子節(jié)點),上分支為滿足分類條件的情況,下分支為不滿足條件的情況。分類不純度代表樣本的不確定性,當樣本中每類的數(shù)量均勻分布時分類不純度越大,分類結(jié)果也就越不確定。樣本比例表示當前節(jié)點樣本數(shù)占總樣本的比例,類別比例表示各分類結(jié)果的比例,類別表示當前節(jié)點被判斷的分類結(jié)果,分類結(jié)果為葉子節(jié)點時用橢圓形標識。培訓管理者可以根據(jù)可視化樹形圖結(jié)合教師的傾向性特征和行為表現(xiàn)特征的多個維度信息建立學習結(jié)果的診斷規(guī)則。例如,從圖3中可以提取如下規(guī)則:
規(guī)則1:如果教師的主題學習時間規(guī)律指數(shù)≤0.878,并且討論得分規(guī)律指數(shù)≤0.936;則學習結(jié)果為不合格的概率為0.798。
規(guī)則2:如果教師的主題學習時間規(guī)律指數(shù)≤0.878,并且討論得分規(guī)律指數(shù)>0.936,并且年齡在46歲以上;則學習結(jié)果為不合格的概率為0.750。
規(guī)則3:如果教師所在學段不為初中,并且主題學習時間規(guī)律指數(shù)>0.977;則學習結(jié)果為合格的概率為0.676。
規(guī)則中傾向性指標是教師固有的個體特征,是無法通過學習活動和主觀努力改變的,只在預(yù)測中起到分類作用;而行為表現(xiàn)指標是在學習過程中動態(tài)發(fā)生的,可以通過外界干預(yù)措施和支持服務(wù)進行優(yōu)化調(diào)整。學習平臺可以通過監(jiān)測教師的在線學習行為表現(xiàn),匹配相應(yīng)的預(yù)測規(guī)則推送給培訓管理者和潛在學習風險群體,助力培訓管理者實施有目的、有針對性的干預(yù)措施和學習支持服務(wù),促使?jié)撛趯W習風險群體調(diào)整在線學習行為和投入時間,從而提高教師在線學習效益。
(五)預(yù)測風險的干預(yù)
在本研究場景中,教師整體在線學習參與度、專注度、績效水平和學習完成率較高,其中大多數(shù)的行為度量指標還具有良好的規(guī)律性。但也有少部分行為度量指標表現(xiàn)欠佳,例如在線測試成績、參與討論次數(shù)不高,以及它們對應(yīng)的規(guī)律指數(shù)較低;也存在著部分學習結(jié)果預(yù)測為不合格的潛在學習風險群體。該類群體是培訓管理者實施干預(yù)和學習支持服務(wù)的重點對象。首先在學習開始階段依據(jù)教師的傾向性指標預(yù)測學習結(jié)果,培訓管理者初步篩選出潛在學習風險群體,分析其學習態(tài)度、動機、認知、自我管理能力和計算機應(yīng)用能力等在線學習準備情況,再結(jié)合其在線學習過程中可能出現(xiàn)的問題行為特點,從培訓前期的設(shè)計與組織抓起,實施補償性群體干預(yù)策略并建立干預(yù)對象持續(xù)跟蹤機制。然后在學習過程中隨著學習行為數(shù)據(jù)的不斷積累,再增加行為表現(xiàn)指標進行混合預(yù)測,進一步提高學習結(jié)果預(yù)測的準確率和精準率,為實施跟蹤式個體學習干預(yù)措施和支持服務(wù)提供科學依據(jù)。
1.學習初期補充性群體干預(yù)
根據(jù)上述學習結(jié)果預(yù)測模型研究結(jié)果,在學習初期依據(jù)傾向性指標預(yù)測模型共獲得兩類潛在學習風險群體。
群體1:小學和初中位于縣區(qū)鄉(xiāng)鎮(zhèn)的教師(學習結(jié)果不合格的預(yù)測概率為0.658)。
群體2:年齡在46歲以上的教師(學習結(jié)果不合格的預(yù)測概率為0.667)。
雖然我國教師在線培訓已經(jīng)開展多年,但不同學段、年齡和地區(qū)教師的在線專業(yè)發(fā)展理念和信息技術(shù)素養(yǎng)等方面還存在著一定差異,培訓設(shè)計與組織應(yīng)正視不同群體的差異,才能促進以人為本的精準培訓的實現(xiàn)[25]。針對以上潛在學習風險群體,可以在培訓前采取補償性的基于人工的群體干預(yù)化解學習風險,將學習風險干預(yù)措施前移。例如,在培訓設(shè)計與組織前,開展在線學習準備情況和需求調(diào)查,特別關(guān)注潛在學習風險群體學習準備方面存在的不足,以及學習需求和困惑。開展必要的理論引領(lǐng)學習,使其認同在線專業(yè)發(fā)展的價值,改變消極的學習態(tài)度,提高在線學習的主觀能動性和感知有用性。提供在線學習技術(shù)和心理輔導,使其具有基本的在線學習技術(shù)能力和心理適應(yīng)能力,提升在線學習感知易用性,從而促進持續(xù)學習行為意向的產(chǎn)生。建立小組合作學習方案,實施互助式學伴機制,根據(jù)教師傾向性指標預(yù)測的學習結(jié)果劃分學習小組,建立城鄉(xiāng)、不同學段和年齡段間的協(xié)作學習小組,形成不同群體間以強帶弱、優(yōu)勢互補、協(xié)作互助、共同發(fā)展的學習共同體。
2.學習過程跟蹤式個體干預(yù)
在學習過程中依據(jù)基于傾向性和行為表現(xiàn)的混合指標預(yù)測模型共獲得5類潛在學習風險群體。
群體1:小學和初中年齡在46歲以上,且主題學習時間不規(guī)律的教師(主題學習時間規(guī)律指數(shù)≤0.878,學習結(jié)果不合格的預(yù)測概率為0.750)。
群體2:小學女性,且主題學習時間和在線測試成績不規(guī)律的教師(主題學習時間規(guī)律指數(shù)≤0.977,在線測試成績規(guī)律指數(shù)≤0.893,學習結(jié)果不合格的預(yù)測概率為0.764)。
群體3:小學和初中,且主題學習時間和參與討論得分不規(guī)律的教師(主題學習時間規(guī)律指數(shù)≤0.878,討論得分規(guī)律指數(shù)≤0.936,學習結(jié)果不合格的預(yù)測概率為0.798)。
群體4:高中,且登錄學習積極性低的教師(平均主題登錄次數(shù)≤7.13,學習結(jié)果不合格的預(yù)測概率為0.868);
群體5:小學和初中位于縣區(qū)鄉(xiāng)鎮(zhèn),且登錄學習積極性低的教師(平均每個主題登錄次數(shù)≤6.06,學習結(jié)果不合格的預(yù)測概率為0.986)。
在學習過程中系統(tǒng)自動采集分析教師的學習行為數(shù)據(jù),當滿足潛在風險群體判別要素的條件時,則觸發(fā)基于系統(tǒng)的學習風險個體干預(yù)機制,如采取學習任務(wù)檢測、推送學習預(yù)警信息、展示學習榜樣行為畫像等策略,實施診斷、指導、提醒、激勵等干預(yù)[26]。
建立學習任務(wù)檢測機制,能夠強化教師學習任務(wù)完成質(zhì)量。如根據(jù)在線學習評價要求設(shè)置學習任務(wù)點,定期檢測任務(wù)點完成情況并給出主題學習報告和總結(jié)評價,促進教師學習過程全面參與,避免出現(xiàn)課程結(jié)束前集中突擊的現(xiàn)象。針對預(yù)設(shè)討論話題設(shè)置回復內(nèi)容長度檢測和詞云展示提醒,避免低質(zhì)量甚至無效的應(yīng)付式回復,促進教師間深度交互??刂圃诰€測試提交時間,避免因測試投入時間過少而導致成績不高的現(xiàn)象,對測試成績較低的教師,推送與測試知識點對應(yīng)的學習內(nèi)容,建議其重新學習內(nèi)容后再測試,鼓勵其取得較好的測試成績。
及時推送學習預(yù)警信息的目的是引起潛在學習風險群體的注意,引導、督促其自主調(diào)整學習狀態(tài),化解學習風險并順利完成在線學習。如針對登錄學習不積極、主題學習時間不規(guī)律的教師,以郵件、手機短息的方式推送學習日程和學習要求,提醒其按要求登錄學習系統(tǒng),并完成內(nèi)容學習、作業(yè)提交、階段測試等任務(wù),督促其提高在線學習的活躍性和規(guī)律性;在設(shè)計發(fā)布學習內(nèi)容和學習任務(wù)時給出完成所需時間要求,在學習系統(tǒng)中設(shè)置在線持續(xù)學習時間提醒功能,讓學習者及時了解自身學習進度和持續(xù)學習時間,促使其保持學習投入時間的充足性和持久性。
社會比較理論認為人類體內(nèi)存在一種評價自己觀點和能力的驅(qū)力,個體需要通過和他人比較才能獲得穩(wěn)定和準確的自我評價,以及維護自尊和自我價值[27]。因此,對潛在學習風險群體可采取學習榜樣行為畫像激勵的策略。選擇與其具有相同傾向性指標的學習榜樣作為社會比較對象,通過數(shù)字畫像技術(shù)呈現(xiàn)二者學習行為表現(xiàn)指標,形成平行比較和上行比較激勵機制,便于潛在學習風險群體認識到自身學習行為表現(xiàn)差距,激發(fā)自我評價、自我提高和自我滿足的社會比較動機,改變不良學習行為,實現(xiàn)自我調(diào)節(jié)學習,從而規(guī)避學習風險。
預(yù)測干預(yù)機制能夠?qū)W習風險的“事后處理”轉(zhuǎn)變成為“事前預(yù)防”和“事中控制”。預(yù)測結(jié)果和問題學習行為預(yù)警信息不僅反饋給學習者起到自我監(jiān)控和自我調(diào)節(jié)的作用,而且也呈現(xiàn)給培訓管理者起到學習督促與監(jiān)管的作用。
教師在線學習結(jié)果的預(yù)測與干預(yù)能夠有效提升教師在線專業(yè)發(fā)展的質(zhì)量。本研究通過多種模型與分類算法對比分析,證實了教師的傾向性指標和行為表現(xiàn)指標對學習結(jié)果具有一定的預(yù)測能力。傾向性指標中與教師職業(yè)相關(guān)的所在學段和學校所在區(qū)域,以及行為表現(xiàn)指標中參與維度的登錄次數(shù)、規(guī)律維度的主題學習時間(專注)規(guī)律指數(shù)和討論得分(績效)規(guī)律指數(shù)等指標是學習結(jié)果的重要影響因素。學習行為增加了規(guī)律維度后能夠提升學習結(jié)果的預(yù)測性能,應(yīng)用CART算法構(gòu)建的基于傾向性和行為表現(xiàn)指標的混合預(yù)測模型獲得了較優(yōu)的預(yù)測效果,并在學習過程中表現(xiàn)出較好的動態(tài)適應(yīng)性,隨著行為數(shù)據(jù)的累加預(yù)測性能不斷提升,預(yù)測模型具有一定的早期預(yù)警能力。未來研究中,可以在預(yù)測指標上增加教師的學習動機、學習風格等心理特征,在數(shù)據(jù)源上還可以引入教師生活、工作等多種場景數(shù)據(jù),將能進一步提高學習結(jié)果的預(yù)測性能。
參考文獻:
[1][15] 趙艷,趙蔚等.基于學習分析技術(shù)的中小學教師遠程培訓效果影響因素實證研究[J].中國電化教育,2014,(9):142-148.
[2] 劉麗娜.在職教師特征與網(wǎng)絡(luò)學習成效關(guān)系的實證研究[J].教師教育學報,2017,(4):46-54.
[3][18] 范逸洲,汪瓊.學業(yè)成就與學業(yè)風險的預(yù)測——基于學習分析領(lǐng)域中預(yù)測指標的文獻綜述[J].中國遠程教育,2018,(1):7-17+46+81.
[4] 田浩,武法提.學習分析視域下學習預(yù)測研究的發(fā)展圖景[J].現(xiàn)代教育技術(shù),2020,(11):98-104.
[5] 吳林靜,勞傳媛等.網(wǎng)絡(luò)學習空間中的在線學習行為分析模型及應(yīng)用研究[J].現(xiàn)代教育技術(shù),2018,(6):46-53.
[6] 趙磊,鄧彤等.基于數(shù)據(jù)挖掘的MOOC學習者學業(yè)成績預(yù)測與群體特征分析[J].重慶高教研究,2021,(6):95-105.
[7] 羅楊洋,韓錫斌.基于增量學習算法的混合課程學生成績預(yù)測模型研究[J].電化教育研究, 2021,(7):83-90.
[8] 胡航,杜爽等.學習績效預(yù)測模型構(gòu)建:源于學習行為大數(shù)據(jù)分析[J].中國遠程教育,2021,(4):8-20,76.
[9][23] 胡航,李雅馨.學習績效預(yù)測模型的應(yīng)用:運動與課堂行為關(guān)系研究[J].中國遠程教育,2021,(10):19-28+76.
[10] 許煒,劉文同等.基于大學課堂學習行為的成績預(yù)測方法研究[J].現(xiàn)代教育技術(shù),2021,(6):104-111.
[11] 王亮.學習者與平臺交互行為挖掘及學習預(yù)測模型構(gòu)建[J].中國遠程教育,2021,(5):62-67.
[12] Hassan SU,Waheed H,et al.Virtual learning environment to predict withdrawal by leveraging deep learning [J].International Journal of Intelligent Systems.2019,(34):1935-1952.
[13] Waheed H,Hassan SU,et al.Predicting academic performance of students from VLE big data using deep learning models [J].Computers in Human Behavior,2020,(11):1-13.
[14] 劉麗娜,平凡等.在職教師特征對其網(wǎng)絡(luò)學習成效的差異性影響初探[J].中國遠程教育,2015,(12):32-37+60+79.
[16] 吳紹靖,易明.中小學教師網(wǎng)絡(luò)學習行為對學習效果的影響[J].現(xiàn)代教育技術(shù),2019,(9):101-107.
[17][21] 張思,劉清堂等.網(wǎng)絡(luò)學習空間中學習者學習投入的研究——網(wǎng)絡(luò)學習行為的大數(shù)據(jù)分析[J].中國電化教育,2017,(4):24-30+40.
[19] 特里·安德森,董秀華.再論混合權(quán)利:一種最新的有關(guān)交互的理論定理[J].開放教育研究,2004,(4):19-26.
[20] 陳麗,王志軍.三代遠程學習中的教學交互原理[J].中國遠程教育,2016,(10):30-37+79-80.
[22] 荊永君,李昕.學習分析技術(shù)支持下的教師在線學習行為特征分析[J].中國電化教育,2020,(2):75-82.
[24] Cao Y,Gao J,et al.Orderliness of campus lifestyle predicts academic performance:A case study in Chinese University [M]. Digital Phenotyping and Mobile Sensing,New Developments in Psychoinformatics,2019.
[25] 唐燁偉,范佳榮等.人本服務(wù)理念下區(qū)域中小學教師信息化教學能力精準培訓策略研究[J].中國電化教育,2019,(11):113-119.
[26] 李艷燕,邢爽等.在線協(xié)作學習中學習分析工具對教師干預(yù)的影響研究[J].中國電化教育,2019,(2):80-86.
[27] 邢淑芬,俞國良.社會比較研究的現(xiàn)狀與發(fā)展趨勢[J].心理科學進展,2005,(1):78-84.
作者簡介:
李昕:副教授,碩士,研究方向為遠程教育與智能教學。
荊永君:教授,博士,研究方向為教師教育研究、在線教育與學習分析。
Research on Hybrid Prediction of Learning Results in Teachers’ Online Professional Development
Li Xin, Jing Yongjun(Institute of Educational Technology, Shenyang Normal University, Shenyang 110034, Liaoning)
Abstract: Online learning results can be predicted through learners’ individual characteristics and behavior in the learning process. In order to explore the influencing factors and prediction model of learning results in Teachers’ online professional development, this paper takes the project of teachers’ information technology application ability online learning as the research scene, and 1041 teachers are taken as the research object. The four learning results prediction models are established according to gender, age, discipline, school stage and other dispositional indicators and behavior indicators such as participation, attention, performance and regularity. After seven classification algorithms are evaluated, the better prediction model and algorithm are selected. Then the generalization ability of the model is optimized by adjusting parameters, the dynamic adaptability is tested, and the knowledge and rules are visualized and extracted from the model. Finally, some intervention strategies for predicting risk are given. The results show that better prediction performance are obtained by using the classification and regression trees(CART) algorithm in the hybrid prediction model of dispositional indicators and behavior indicators. The model has early prediction ability and can provide scientific suggestions for training managers to implement learning intervention and support services in different learning stages.
Keywords: online professional development; dispositional indicators; learning behavior; learning results; prediction and intervention