未晛

（北京勞動(dòng)保障職業(yè)學(xué)院，北京 100029）

一、引言

近年來，人工神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于教育、醫(yī)療衛(wèi)生、經(jīng)濟(jì)等諸多領(lǐng)域，并在疫情期間的社會(huì)生活中發(fā)揮了巨大作用[1][2]。在教育領(lǐng)域，教學(xué)成績(jī)是一項(xiàng)評(píng)價(jià)學(xué)校教學(xué)質(zhì)量的重要指標(biāo)，對(duì)于學(xué)生學(xué)業(yè)、教師教學(xué)能力及學(xué)校教學(xué)管理意義重大。利用人工神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)習(xí)成績(jī)進(jìn)行預(yù)測(cè)，給學(xué)生課業(yè)學(xué)習(xí)提供風(fēng)險(xiǎn)提示，并對(duì)學(xué)生專業(yè)發(fā)展提供合理化建議；教師據(jù)此制定或調(diào)整更符合學(xué)生成長(zhǎng)規(guī)律的教學(xué)策略，同時(shí)促進(jìn)自身教學(xué)水平的提高，進(jìn)而提升學(xué)校教學(xué)質(zhì)量；學(xué)校教務(wù)部門可預(yù)判各學(xué)科教學(xué)質(zhì)量，優(yōu)化教學(xué)管理進(jìn)而預(yù)防教學(xué)事故的發(fā)生。學(xué)習(xí)成績(jī)預(yù)測(cè)已成為人工神經(jīng)網(wǎng)絡(luò)在教育領(lǐng)域應(yīng)用研究的熱點(diǎn)與難點(diǎn)[3-6]。

目前，在學(xué)生成績(jī)預(yù)測(cè)實(shí)踐中常采用BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)，這類算法具有很好的非線性映射能力、泛化能力、容錯(cuò)能力，并在應(yīng)用中取得了一定效果。但人們?cè)谑褂眠^程中發(fā)現(xiàn)，該類算法存在收斂速度慢、容易陷入局部極小值等缺陷[6]。同時(shí)，BP 神經(jīng)網(wǎng)絡(luò)只能單獨(dú)處理單獨(dú)的輸入，前一個(gè)輸入和后一個(gè)輸入是完全無關(guān)的。然而，學(xué)生的學(xué)習(xí)成績(jī)具有一定相關(guān)性，即前期課程基礎(chǔ)對(duì)后期課程成績(jī)有一定影響，此時(shí)BP 神經(jīng)網(wǎng)絡(luò)就產(chǎn)生了不適應(yīng)性[7-9]。這時(shí)，就常用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）模型。長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short Term Memory networks,LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)的典型代表，該模型除具有常規(guī)循環(huán)神經(jīng)網(wǎng)絡(luò)特征外，還能較好地解決原始循環(huán)神經(jīng)網(wǎng)絡(luò)的長(zhǎng)距離依賴問題，已成為當(dāng)前最流行的循環(huán)神經(jīng)網(wǎng)絡(luò)，這也貼近學(xué)生成績(jī)的數(shù)據(jù)變化規(guī)律?；诖耍疚睦瞄L(zhǎng)短期記憶網(wǎng)絡(luò)，以北京勞動(dòng)保障職業(yè)學(xué)院學(xué)生成績(jī)?yōu)槔M(jìn)行成績(jī)預(yù)測(cè)，并在此基礎(chǔ)上給出針對(duì)學(xué)生、教師及學(xué)校三類群體的合理化建議，以達(dá)到提高教學(xué)質(zhì)量的目的。

二、LSTM 概述

（一）LSTM 原理

LSTM 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，由霍克賴特（Hochreiter）和施米德胡貝（Schmidhuber）提出，用于處理長(zhǎng)時(shí)間序列數(shù)據(jù)。LSTM 采用特殊隱式單元，在繼承了大部分RNN 模型特性的同時(shí)，能夠解決長(zhǎng)期依賴問題，避免梯度消失，模型準(zhǔn)確度高、訓(xùn)練速度快、并行處理能力強(qiáng)[10-12]。目前基本的LSTM 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 LSTM 結(jié)構(gòu)圖

LSTM 模型由遺忘門限、輸入門限、輸出門限和神經(jīng)單元狀態(tài)組成。遺忘門限決定哪些信息需要被丟棄，表達(dá)式為：

其中，ft為遺忘門限的激活向量；σ為sigmoid 函數(shù)；W為權(quán)重矩陣；ht為L(zhǎng)STM 神經(jīng)元的輸出向量；xt為L(zhǎng)STM 神經(jīng)元；bf為偏置項(xiàng)；下標(biāo)t表示不同時(shí)刻。

輸入門限決定哪些新信息被存放到單元狀態(tài)中，表達(dá)式為：

其中，it為輸入門限的激活向量；為當(dāng)前輸入的單元狀態(tài)。

LSTM 模型的關(guān)鍵是單元狀態(tài)，即貫穿圖1的水平線，單元狀態(tài)類似于傳送帶，貫穿整個(gè)鏈條，只有小的線性相互作用，使其容易以不變的方式向下流動(dòng)，表達(dá)式為：

其中，Ct為神經(jīng)元細(xì)胞狀態(tài)向量。

輸出門限是來控制單元狀態(tài)有多少輸出到LSTM 模型的當(dāng)前值，表達(dá)式為：

其中，ot為輸出門限的激活向量。式（1）到式（6）就是LSTM 模型前向計(jì)算的全部公式。

（二）LSTM 模型訓(xùn)練算法框架

LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法采用反向傳播算法，包括以下幾個(gè)步驟：首先，按照公式（1）到公式（6）前向計(jì)算每個(gè)神經(jīng)元的輸出值，即ft、it、Ct、ot、ht五個(gè)向量的值。其次，反向計(jì)算每個(gè)神經(jīng)元的誤差項(xiàng)δ 值。像循環(huán)神經(jīng)網(wǎng)絡(luò)一樣，誤差項(xiàng)向兩個(gè)方向進(jìn)行反向傳播：一個(gè)是沿時(shí)間的反向傳播；一個(gè)是將誤差項(xiàng)向上一層傳播。再次，根據(jù)誤差項(xiàng)，使用一定的優(yōu)化算法，通過計(jì)算每個(gè)權(quán)重的梯度來調(diào)整模型參數(shù)，使預(yù)測(cè)結(jié)果靠近優(yōu)化目標(biāo)。最后，通過上述迭代過程訓(xùn)練模型，直至訓(xùn)練得到符合要求的優(yōu)化目標(biāo)，從而建立滿足誤差要求的LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。

三、成績(jī)預(yù)測(cè)的實(shí)現(xiàn)

（一）實(shí)驗(yàn)數(shù)據(jù)

本文進(jìn)行成績(jī)預(yù)測(cè)的數(shù)據(jù)均來自北京勞動(dòng)保障職業(yè)學(xué)院學(xué)生的真實(shí)成績(jī)數(shù)據(jù)，數(shù)據(jù)格式為：姓名、性別、學(xué)號(hào)、學(xué)年、學(xué)期、課程名稱、成績(jī)等，具體如表1 所示。

表1 學(xué)生成績(jī)數(shù)據(jù)

由于存在部分考生請(qǐng)病假、事假，導(dǎo)致缺考等異常情況，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，包括去除空項(xiàng)、非正常數(shù)據(jù)等。同時(shí)，選擇相關(guān)度較好的基礎(chǔ)物理、基礎(chǔ)數(shù)學(xué)等課程，結(jié)合入學(xué)成績(jī)及各學(xué)年度的行圓成績(jī)（主要表征學(xué)生在考勤、自習(xí)課、宿舍衛(wèi)生、校園紀(jì)律等方面的表現(xiàn)）進(jìn)行成績(jī)預(yù)測(cè)，每位學(xué)生由4 項(xiàng)特征屬性進(jìn)行描述，并做出如下假設(shè)：

假設(shè)1：學(xué)生成績(jī)可以通過入學(xué)成績(jī)、各階段歷史成績(jī)和學(xué)生行圓成績(jī)來反映。

假設(shè)2：影響學(xué)生成績(jī)的因素比較穩(wěn)定，不會(huì)大起大落。

按照假設(shè)對(duì)數(shù)據(jù)進(jìn)一步處理（去除非必要項(xiàng)）得到表2 所示的結(jié)果。表2 第一項(xiàng)為序號(hào)，第二項(xiàng)到第四項(xiàng)為基礎(chǔ)數(shù)學(xué)成績(jī)、基礎(chǔ)物理成績(jī)、行圓成績(jī)和入學(xué)成績(jī)。

表2 學(xué)生成績(jī)預(yù)處理結(jié)果

（二）LSTM 模型預(yù)測(cè)框架

由于預(yù)測(cè)成績(jī)數(shù)據(jù)集由4 維特征向量構(gòu)成，所以，輸入層的節(jié)點(diǎn)數(shù)量為4，輸出層為L(zhǎng)STM模型的輸出結(jié)果，即目標(biāo)課程成績(jī)基礎(chǔ)數(shù)學(xué)和基礎(chǔ)物理，所以輸出節(jié)點(diǎn)數(shù)為2。根據(jù)構(gòu)建神經(jīng)網(wǎng)絡(luò)超參數(shù)的經(jīng)驗(yàn)，本文采用經(jīng)典的三層網(wǎng)絡(luò)模型，LSTM 循環(huán)層的節(jié)點(diǎn)數(shù)為20 個(gè)，如圖2 所示。優(yōu)化采用Adam 算法，使用Dropout 正則化方法來防止過擬合現(xiàn)象的發(fā)生。預(yù)測(cè)回歸類模型精度的評(píng)價(jià)方法很多，本文采用平均絕對(duì)值誤差來衡量模型預(yù)測(cè)結(jié)果的好壞。

圖2 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)框架

四、應(yīng)用效果分析及建議

首先，為保持?jǐn)?shù)據(jù)集的獨(dú)立性且不被窺探，在將數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)訓(xùn)練之前，先將數(shù)據(jù)分成訓(xùn)練集和測(cè)試集。數(shù)據(jù)集中共計(jì)7680 個(gè)4 維數(shù)據(jù)，6144 個(gè)數(shù)據(jù)集被用作訓(xùn)練數(shù)據(jù)，其余數(shù)據(jù)用于測(cè)試，然后將訓(xùn)練集和測(cè)試集分成輸入和輸出變量。最后，將輸入（X）重構(gòu)為L(zhǎng)STM 預(yù)期的3D 格式。

其次，對(duì)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行歸一化處理。數(shù)據(jù)歸一化是很重要的環(huán)節(jié)，常用方法如下：

其中xi為樣本數(shù)據(jù)、xmin為最小值、xmax為最大值為歸一化后的數(shù)值。

最后，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，通常利用損失函數(shù)來衡量網(wǎng)絡(luò)模型對(duì)訓(xùn)練數(shù)據(jù)的擬合能力。神經(jīng)網(wǎng)絡(luò)算法通過多次的訓(xùn)練迭代來調(diào)整模型參數(shù)（即網(wǎng)絡(luò)的權(quán)重值），最終通過損失函數(shù)的下降趨勢(shì)來判斷算法是否已經(jīng)取得理想的深度神經(jīng)網(wǎng)絡(luò)模型。圖3 為訓(xùn)練數(shù)據(jù)集的損失函數(shù)，模型收斂較快。

圖3 訓(xùn)練和測(cè)試損失函數(shù)

為方便查看預(yù)測(cè)成績(jī)結(jié)果，采用兩種方式進(jìn)行顯示：一種是列表方式，另外一種是圖表方式。在匹配學(xué)生的姓名、學(xué)號(hào)、系統(tǒng)預(yù)測(cè)成績(jī)后可分別顯示出來，形式如表3 所示。另外，預(yù)測(cè)數(shù)據(jù)也可以呈圖表顯示，如圖4 所示。

表3 列表顯示學(xué)生成績(jī)預(yù)測(cè)

圖4 學(xué)生成績(jī)預(yù)測(cè)結(jié)果

從表3 和圖4 可以看出，基礎(chǔ)物理和基礎(chǔ)數(shù)學(xué)的預(yù)測(cè)成績(jī)和實(shí)際考試成績(jī)誤差較小，預(yù)測(cè)精度較為準(zhǔn)確。但個(gè)別學(xué)生（如學(xué)生5）的預(yù)測(cè)成績(jī)和實(shí)際成績(jī)誤差較大，后經(jīng)教務(wù)處證實(shí)，入學(xué)前約30 名學(xué)生并未選擇基礎(chǔ)物理學(xué)科，而其他學(xué)科則處于持續(xù)學(xué)習(xí)中，數(shù)據(jù)的相關(guān)性受到影響，學(xué)生5 為其中之一。同時(shí)，對(duì)課程的喜愛程度、回答問題次數(shù)等因素也影響學(xué)生的課程成績(jī)，這或許是導(dǎo)致預(yù)測(cè)成績(jī)精度稍差的原因之一。總體而言，模型預(yù)測(cè)成績(jī)和實(shí)際考試成績(jī)的趨勢(shì)一致，精度較為精確。

綜上，基于學(xué)生基礎(chǔ)物理、基礎(chǔ)數(shù)學(xué)、入學(xué)成績(jī)，以及各學(xué)年度行圓成績(jī)等數(shù)據(jù)，在假設(shè)條件下，利用LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行成績(jī)預(yù)測(cè)具有較好的實(shí)驗(yàn)效果，表明該方法具有效性和實(shí)用性。

學(xué)習(xí)成績(jī)預(yù)測(cè)是為教育教學(xué)服務(wù)的，探討預(yù)測(cè)成績(jī)數(shù)據(jù)，在不同維度上對(duì)提高教學(xué)效果具有重要意義。為充分利用預(yù)測(cè)數(shù)據(jù)，達(dá)到提高教學(xué)質(zhì)量的目的，成績(jī)預(yù)測(cè)有三項(xiàng)功能建議。

首先，對(duì)于學(xué)生而言，基于成績(jī)預(yù)測(cè)結(jié)果可以篩查出處于及格線以下及邊緣的課程，達(dá)到對(duì)學(xué)生課程學(xué)習(xí)進(jìn)行提醒與警示的目的，以便學(xué)生對(duì)薄弱科目進(jìn)行重點(diǎn)復(fù)習(xí)或突破，減少課程不及格的風(fēng)險(xiǎn)。學(xué)生可以通過專用接口查詢學(xué)業(yè)預(yù)警情況。例如，蔡同學(xué)從表4 中可以看到存在掛科風(fēng)險(xiǎn)的課程名稱為“基礎(chǔ)數(shù)學(xué)”，今后會(huì)更加注重該學(xué)科的學(xué)習(xí)。通過學(xué)生學(xué)業(yè)預(yù)警，能夠給學(xué)生更直觀的警醒或提示，使其能夠更加重視某學(xué)科的學(xué)習(xí)，及時(shí)解決學(xué)習(xí)中存在的問題，預(yù)防不能如期畢業(yè)情況的發(fā)生。同時(shí)，學(xué)生可以明確自己的優(yōu)勢(shì)學(xué)科，在進(jìn)行專業(yè)選擇、畢業(yè)設(shè)計(jì)時(shí)，倚靠?jī)?yōu)勢(shì)學(xué)科，發(fā)揮特長(zhǎng)，在畢業(yè)擇業(yè)時(shí)亦能做到“人盡其才”。

表4 學(xué)生學(xué)業(yè)預(yù)警

其次，對(duì)于教師而言，通過篩查授課科目的不及格率，定性或半定量了解學(xué)生的學(xué)習(xí)狀態(tài)，對(duì)處于及格線及其邊緣的同學(xué)重點(diǎn)關(guān)注，并主動(dòng)提供學(xué)業(yè)幫助。表5 為根據(jù)預(yù)測(cè)數(shù)據(jù)篩查出的基礎(chǔ)數(shù)學(xué)某任課教師所教授學(xué)生中，存在掛科風(fēng)險(xiǎn)的學(xué)生姓名及其預(yù)測(cè)分?jǐn)?shù)。針對(duì)表5 中的學(xué)生，教師可以從學(xué)生的學(xué)習(xí)興趣、自我效能感、學(xué)習(xí)策略等方面切入，分層分類開展教學(xué)管理。對(duì)于這部分學(xué)生，教師可適當(dāng)?shù)亟档徒虒W(xué)目標(biāo)，增加成功激勵(lì)，提高其自我效能感，并加強(qiáng)薄弱環(huán)節(jié)的調(diào)節(jié)、鼓勵(lì)尋求幫助和進(jìn)行自我監(jiān)控能力的培養(yǎng)。

表5 某學(xué)科掛科風(fēng)險(xiǎn)學(xué)生列表

最為重要的是，教師不僅要關(guān)注學(xué)生成績(jī)數(shù)據(jù)本身，更應(yīng)思考數(shù)據(jù)背后是一個(gè)個(gè)有待教育、引導(dǎo)的鮮活個(gè)體。在關(guān)注學(xué)生學(xué)習(xí)成績(jī)的同時(shí)，更要關(guān)心學(xué)生身心健康的發(fā)展。同時(shí)，借助新的信息技術(shù)手段及時(shí)調(diào)整授課方式方法、改進(jìn)教學(xué)手段，促使教師不斷反思教學(xué)過程。特別是近年來，利用人工智能技術(shù)高效開展線上課程（釘釘直播課、學(xué)習(xí)通、雨課堂等），擴(kuò)展了教學(xué)方式，離散了教學(xué)過程的“時(shí)間—空間”（可回放、重復(fù)、非教室），進(jìn)一步豐富了教師的授課方式和教學(xué)手段，助力教師對(duì)學(xué)生（存在掛科風(fēng)險(xiǎn)）的課業(yè)輔導(dǎo)與教學(xué)。

最后，對(duì)于學(xué)校教務(wù)部門而言，可以系統(tǒng)地對(duì)教師的教學(xué)質(zhì)量做出預(yù)評(píng)估。如果某科目成績(jī)低的學(xué)生過多，則證明該課程存在發(fā)生教學(xué)事故的風(fēng)險(xiǎn)。這時(shí)需要提示相關(guān)教學(xué)部門及時(shí)介入干預(yù)，同時(shí)提醒相關(guān)教師更加注重教學(xué)效果，甚至可以采取更為嚴(yán)格的管理措施來防范教學(xué)事故的發(fā)生。對(duì)學(xué)校教務(wù)部門而言，通過對(duì)教學(xué)質(zhì)量的預(yù)警評(píng)估，能夠達(dá)到改善學(xué)生管理和預(yù)防教學(xué)事故的目的。

本研究可以在以下方面進(jìn)一步擴(kuò)展：①優(yōu)化基礎(chǔ)數(shù)據(jù)。學(xué)習(xí)成績(jī)是學(xué)習(xí)效果的直接體現(xiàn)，受到諸如學(xué)生情感、行為、原有基礎(chǔ)知識(shí)結(jié)構(gòu)等諸多因素的影響，越能準(zhǔn)確刻畫這些信息，并且恰當(dāng)?shù)厝谌氲筋A(yù)測(cè)模型中，越能提高模型的預(yù)測(cè)精度。例如，開展學(xué)生情感特征及目標(biāo)學(xué)科成績(jī)關(guān)聯(lián)性分析，并科學(xué)量化融入模型，無疑對(duì)提高模型預(yù)測(cè)精度大有裨益。所以，這些因素的科學(xué)量化及準(zhǔn)確表達(dá)是一個(gè)重要的研究方向。②探索教學(xué)過程時(shí)效性評(píng)價(jià)新途徑。在本文中，預(yù)測(cè)結(jié)果是依據(jù)歷史成績(jī)、入學(xué)成績(jī)，以及考勤、宿舍衛(wèi)生、校園紀(jì)律等行為特征進(jìn)行的階段性成績(jī)預(yù)測(cè)。實(shí)際上，隨著師生在教學(xué)過程中的互動(dòng)，在學(xué)生更加注重自身學(xué)業(yè)、教師持續(xù)優(yōu)化教學(xué)設(shè)計(jì)并改善教學(xué)活動(dòng)等因素的共同影響下，教學(xué)效果必然實(shí)時(shí)發(fā)生變化，導(dǎo)致模型預(yù)測(cè)結(jié)果亦發(fā)生變化。預(yù)測(cè)結(jié)果的變化量可作為教師教學(xué)效果過程性評(píng)價(jià)的一個(gè)重要參考。

五、結(jié)語

本文的實(shí)驗(yàn)結(jié)果表明，LSTM 模型能夠較準(zhǔn)確地預(yù)測(cè)學(xué)生的課程成績(jī)，具有一定的有效性和實(shí)用性。研究對(duì)預(yù)測(cè)數(shù)據(jù)所具有的豐富內(nèi)涵進(jìn)行了不同維度的挖掘，并提出預(yù)測(cè)成績(jī)的三項(xiàng)功能建議，具有一定的推廣及實(shí)用價(jià)值。