陳國(guó)心

(西安航空學(xué)院 理學(xué)院，西安 710077)

0 引言

教育的本質(zhì)就是一個(gè)教與學(xué)的過(guò)程，是將前人的知識(shí)、經(jīng)驗(yàn)、思維與行為方式等進(jìn)行傳承的過(guò)程。顯然，教育是一個(gè)巨大而復(fù)雜的系統(tǒng)，涉及到教學(xué)、管理、科研、服務(wù)等諸多行業(yè)[1]。教育與其他具有清晰、規(guī)范的業(yè)務(wù)流程的領(lǐng)域(如金融、制造業(yè)等)明顯不同之處在于不同地區(qū)、不同學(xué)校、不同家庭環(huán)境、甚至不同學(xué)生和老師都具有差異性。

伴隨著科技的發(fā)展，教育的方式呈現(xiàn)多樣化。除了傳統(tǒng)課堂的以教師為主導(dǎo)、統(tǒng)一教學(xué)進(jìn)度和教學(xué)目標(biāo)的面對(duì)面講授方式外，包括MOOC、EDX等在內(nèi)的臺(tái)各式各樣的教育學(xué)習(xí)平臺(tái)也在不斷涌現(xiàn)。這些教育學(xué)習(xí)平臺(tái)的出現(xiàn)將接受教育的主體變?yōu)閷W(xué)習(xí)者，且學(xué)習(xí)者可以依據(jù)自身的理解力和興趣愛(ài)好選擇學(xué)習(xí)的內(nèi)容，由被動(dòng)式學(xué)習(xí)轉(zhuǎn)化為主動(dòng)式學(xué)習(xí)。

由于線上教學(xué)方式可以部分彌補(bǔ)傳統(tǒng)教育的不足，很多高校都已建立自己的在線學(xué)習(xí)平臺(tái)，并將部分傳統(tǒng)教育環(huán)節(jié)轉(zhuǎn)移到了線上。而與線上平臺(tái)的建立應(yīng)運(yùn)而生的，是線上教學(xué)過(guò)程中所產(chǎn)生的海量教育數(shù)據(jù)，如何有效地利用這些數(shù)據(jù)改善教師教學(xué)質(zhì)量是當(dāng)下面對(duì)的挑戰(zhàn)之一。

在以美、英、法等國(guó)為代表的發(fā)達(dá)國(guó)家都將大數(shù)據(jù)作為新型戰(zhàn)略資源[2]。我國(guó)也在加速部署教育大數(shù)據(jù)戰(zhàn)略計(jì)劃[3-4]。教育大數(shù)據(jù)可將曾經(jīng)不被重視或無(wú)法收集的數(shù)據(jù)進(jìn)行收集、存儲(chǔ)和分析[5]，這是實(shí)現(xiàn)教學(xué)方式改革的關(guān)鍵支撐，是實(shí)現(xiàn)教學(xué)過(guò)程量化的重要參考指標(biāo)，也是實(shí)現(xiàn)個(gè)性化教育的有力保障，更是最終實(shí)現(xiàn)教學(xué)過(guò)程可量化、教學(xué)決策個(gè)性化、教學(xué)模式定制化、教學(xué)管理可視化的重大教學(xué)改革。

依靠大數(shù)據(jù)技術(shù)的發(fā)展和信息化技術(shù)的普及，達(dá)到通過(guò)量化教學(xué)過(guò)程來(lái)驅(qū)動(dòng)教學(xué)的目的，一方面能夠緩解當(dāng)前教育資源分配不均衡的問(wèn)題，另一方面，分析教學(xué)過(guò)程中產(chǎn)生的數(shù)據(jù)，能夠不斷提升教師的教學(xué)質(zhì)量，并使學(xué)生的學(xué)習(xí)更具個(gè)性化，為教學(xué)發(fā)展起到重要推進(jìn)作用，數(shù)據(jù)驅(qū)動(dòng)教學(xué)結(jié)構(gòu)框架如圖1所示。

圖1 數(shù)據(jù)驅(qū)動(dòng)教學(xué)結(jié)構(gòu)框架

目前，無(wú)論是線上還是線下教育，普遍采用的是一對(duì)多的模式，即一個(gè)老師對(duì)應(yīng)多個(gè)學(xué)生。在這種模式下，不同性別、不同學(xué)科背景的學(xué)生在學(xué)習(xí)習(xí)慣上普遍存在差異，教師有限的精力無(wú)法一對(duì)一地了解每個(gè)學(xué)生的學(xué)習(xí)習(xí)慣和學(xué)習(xí)偏好。不過(guò)，在這種情況下學(xué)生對(duì)教師的教學(xué)評(píng)價(jià)(以下簡(jiǎn)稱評(píng)教)數(shù)據(jù)是學(xué)生對(duì)教師教學(xué)過(guò)程給予反饋的重要方式，因此評(píng)教是了解學(xué)生狀況、關(guān)注學(xué)生差異、獲得學(xué)生反饋信息、提升教學(xué)效果的重要途徑。

盡管如此，由于學(xué)生基數(shù)大，且水平參差不齊，因此學(xué)生評(píng)教內(nèi)容存在主觀性和隨意性，導(dǎo)致對(duì)評(píng)教結(jié)果的判定多以統(tǒng)計(jì)評(píng)分為主而忽略了學(xué)生評(píng)教的文本內(nèi)容。這會(huì)導(dǎo)致教師無(wú)法詳細(xì)客觀地了解學(xué)生的評(píng)教意見(jiàn)，無(wú)法及時(shí)改進(jìn)教學(xué)方式，不利于提高教學(xué)質(zhì)量。目前，國(guó)內(nèi)對(duì)學(xué)生教學(xué)評(píng)價(jià)以評(píng)教系統(tǒng)設(shè)計(jì)或針對(duì)教學(xué)評(píng)價(jià)的情感分析為主，而對(duì)評(píng)教內(nèi)容研究的還比較少。本文利用自然語(yǔ)言處理(NLP)的BERT模型，通過(guò)文本分類、機(jī)器學(xué)習(xí)、可視化分析等方法，對(duì)學(xué)生評(píng)教數(shù)據(jù)中的自然語(yǔ)言描述部分進(jìn)行分類，分析學(xué)生學(xué)習(xí)過(guò)程中重點(diǎn)關(guān)注的教學(xué)環(huán)節(jié)，為教師改進(jìn)教學(xué)過(guò)程提供參考依據(jù)。

1 自然語(yǔ)言處理

自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)和人工智能的研究領(lǐng)域之一，通常將自然語(yǔ)言轉(zhuǎn)換成計(jì)算機(jī)能夠用于理解這個(gè)世界的數(shù)據(jù)或用于生成能夠體現(xiàn)這種理解的自然語(yǔ)言文本[6]。

1.1 Transformer模型

Transformer模型是Google于2017年提出的用于機(jī)器翻譯的經(jīng)典NLP模型[7]，該模型由編碼器(Encoder)和解碼器(Decoder)兩部分組成，每個(gè)編碼器和解碼器中都包含六個(gè)區(qū)塊。

首先，由句子中每個(gè)單詞的詞嵌入值和位置嵌入值共同構(gòu)成單詞的表向量矩陣X(n×d)，其中：n是句子中單詞個(gè)數(shù)；d表示向量維度。其次，將X傳入編碼器中，經(jīng)過(guò)六個(gè)編碼塊得到句子所有單詞的編碼信息矩陣C。最后，編碼器將輸出的編碼矩陣傳遞到解碼器中，解碼器會(huì)在翻譯第i個(gè)單詞時(shí)，掩蓋住i+1之后的單詞，根據(jù)已翻譯的前i-1個(gè)單詞翻譯第i個(gè)單詞。

與傳統(tǒng)的機(jī)器翻譯模型不同，Transformer模型在構(gòu)建編碼器和解碼器的時(shí)候使用了多頭自注意力機(jī)制，使得Transformer模型可以忽略兩個(gè)詞在句子中的距離關(guān)系，只進(jìn)行常數(shù)計(jì)算即可[8]，并且Transformer模型在實(shí)現(xiàn)速度性能最優(yōu)的情況下，也是效果最佳的模型。由于Transformer模型具有上述優(yōu)點(diǎn)，使得其在細(xì)節(jié)化的語(yǔ)義推理方面取得了不錯(cuò)的成績(jī)[9]，在情感分析方面任務(wù)上具備優(yōu)勢(shì)。

1.2 BERT模型

Google在2018年推出基于Transfomer結(jié)構(gòu)的深度雙向編碼表征BERT模型，它通過(guò)聯(lián)合調(diào)節(jié)所有層中的雙向Transformer模型來(lái)訓(xùn)練預(yù)訓(xùn)練深度雙向表示[10]。

由于NLP是以單個(gè)句子為輸入單位，可能出現(xiàn)相同詞語(yǔ)在不同語(yǔ)句表達(dá)不同含義的情況。BERT模型創(chuàng)新性地使用了標(biāo)記語(yǔ)言模型(MLM)和后續(xù)內(nèi)容預(yù)測(cè)(NSP)兩種無(wú)監(jiān)督預(yù)測(cè)任務(wù)模型，其中：MLM從輸入中隨機(jī)掩蓋一些詞語(yǔ)，目標(biāo)是基于其下文預(yù)測(cè)被掩蓋的單詞的原始詞匯；而NSP在MLM的基礎(chǔ)上，隨機(jī)將數(shù)據(jù)劃分為等大小的兩部分，分別是數(shù)據(jù)中上下文連續(xù)的語(yǔ)句對(duì)和上下文不連續(xù)的語(yǔ)句對(duì)，然后使用Transformer模型識(shí)別語(yǔ)句對(duì)是否連續(xù)。這可使BERT模型中的詞向量表征融入到前后左右的上下文語(yǔ)義中，因此BERT訓(xùn)練后的詞向量效果更好，具有更強(qiáng)的通用性。

2 數(shù)據(jù)預(yù)處理與預(yù)訓(xùn)練模型

為了對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和預(yù)訓(xùn)練模型，以某高校某門課程的學(xué)生評(píng)教文本數(shù)據(jù)為例進(jìn)行分析。該文本數(shù)據(jù)共有評(píng)論數(shù)265條，主要針對(duì)教師教學(xué)過(guò)程中的優(yōu)點(diǎn)及不足兩方面進(jìn)行評(píng)價(jià)，其中部分文本內(nèi)容如圖2所示。

圖2 學(xué)生評(píng)教部分文本數(shù)據(jù)

2.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理之前要進(jìn)行數(shù)據(jù)質(zhì)量分析，其主要目的就是檢查原始數(shù)據(jù)中是否存在“臟數(shù)據(jù)”?！芭K數(shù)據(jù)”主要包括缺失值、異常值、不一致的值和重復(fù)數(shù)據(jù)。由于數(shù)據(jù)分析的對(duì)象是文本數(shù)據(jù)，在數(shù)據(jù)質(zhì)量分析方面的“臟數(shù)據(jù)”只有缺失值。經(jīng)過(guò)數(shù)據(jù)質(zhì)量分析后剩余246條無(wú)缺失值數(shù)據(jù)為有效數(shù)據(jù)。

由于評(píng)教文本數(shù)據(jù)完全由自然語(yǔ)言描述，格式比較隨意，不具備嚴(yán)格的語(yǔ)法規(guī)范，因此需要對(duì)評(píng)教數(shù)據(jù)按照預(yù)訓(xùn)練模型的文本格式要求進(jìn)行預(yù)處理。處理流程為：先將有效的評(píng)教數(shù)據(jù)以句為單位進(jìn)行拆分，獲取評(píng)論描述764條；接下來(lái)對(duì)每條評(píng)論描述創(chuàng)建歸一化標(biāo)簽。歸一化標(biāo)簽是將評(píng)教相似內(nèi)容聚合為5個(gè)維度，包括語(yǔ)言、備課、互動(dòng)、作業(yè)評(píng)講、課堂管理，如表1所示。

表1 歸一化標(biāo)簽及其對(duì)應(yīng)的評(píng)教描述內(nèi)容

通過(guò)上述處理所得部分最終數(shù)據(jù)預(yù)處理結(jié)果如圖3所示。

圖3 數(shù)據(jù)預(yù)處理效果圖

2.2 預(yù)訓(xùn)練語(yǔ)言模型

預(yù)訓(xùn)練屬于遷移學(xué)習(xí)的范疇，預(yù)訓(xùn)練語(yǔ)言模型是在大規(guī)模文本中訓(xùn)練出通用的語(yǔ)言表示[11]。此外，預(yù)訓(xùn)練語(yǔ)言模型可以提供更好的模型初始化，帶來(lái)更好的泛化性并加快目標(biāo)任務(wù)的收斂速度，避免對(duì)小數(shù)據(jù)的過(guò)度擬合[12]。

由于BERT的訓(xùn)練本身需要大量GPU資源和高質(zhì)量數(shù)據(jù)[13]，因此可用第三方訓(xùn)練至收斂的BERT預(yù)訓(xùn)練模型。中文預(yù)訓(xùn)練語(yǔ)言模型包括BERT-wwm-base-qa、bert-base-chinese、chinese-bert-wwm-ext等。本文預(yù)訓(xùn)練語(yǔ)言模型利用的是HuggingFace項(xiàng)目中的bert-base-chinese預(yù)訓(xùn)練模型，該模型有Pytorch與TensorFlow兩個(gè)版本，文中利用的是TensorFlow版。

2.3 模型微調(diào)

BERT訓(xùn)練分為二段式，先使用大量無(wú)監(jiān)督文本訓(xùn)練基礎(chǔ)模型，而后只需要在下有任務(wù)的特定數(shù)據(jù)集上微調(diào)，即可獲得SOTA性能[14]。

設(shè)置隨機(jī)種子對(duì)數(shù)據(jù)進(jìn)行隨機(jī)排列，將預(yù)處理后的評(píng)教數(shù)據(jù)集隨機(jī)分為訓(xùn)練集與測(cè)試集，比例為8∶2。調(diào)用預(yù)訓(xùn)練模型，模型主要參數(shù)包括max_length(文本最大長(zhǎng)度)、batch_size(單詞訓(xùn)練選取樣本數(shù))、learning_rate(學(xué)習(xí)率)和樣本訓(xùn)練次數(shù)(Epoch)。設(shè)置max_length=32，batch_size=46，learn_rate=5e-5及epochs=6，為避免單次預(yù)測(cè)中的隨機(jī)值，對(duì)模型循環(huán)運(yùn)行6次，獲得每次運(yùn)行的測(cè)試集分類正確率分布散點(diǎn)圖，結(jié)果如圖4所示。由圖4可見(jiàn)，隨著模型運(yùn)行次數(shù)的增加，測(cè)試集正確率不斷提高，且提高的幅度逐漸減弱并趨于收斂。

圖4 測(cè)試集分類正確率分布散點(diǎn)圖

3 分析與結(jié)論

通過(guò)前述將訓(xùn)練集與測(cè)試集分類正確率取均值可發(fā)現(xiàn)，測(cè)試集正確率會(huì)隨著訓(xùn)練集正確率的提高而提高，最終二者都趨于收斂，如圖5所示。分析所得的評(píng)教數(shù)據(jù)分類模型最終平均損失值與分類正確率平均值分別為0.543和0.857。由此可見(jiàn)，分析結(jié)果基本達(dá)到五個(gè)維度分類評(píng)價(jià)效果，驗(yàn)證了方法的有效性。

圖5 正確率均值折線圖

對(duì)五個(gè)維度分類評(píng)教結(jié)果生成統(tǒng)計(jì)直方圖和餅狀圖，分別如圖6和圖7所示。由圖6和圖7可見(jiàn)，學(xué)生對(duì)備課環(huán)節(jié)的評(píng)論數(shù)達(dá)到382條，占總評(píng)論數(shù)的50%；對(duì)課堂管理相關(guān)的評(píng)論數(shù)為145條，占總評(píng)論數(shù)的19.0%；對(duì)語(yǔ)言與互動(dòng)的評(píng)論數(shù)基本持平，各占總評(píng)論數(shù)的14.3%與13.2%；對(duì)作業(yè)評(píng)講方面的評(píng)論數(shù)最少，只有27條占評(píng)論總數(shù)的3.5%。

圖6 學(xué)生評(píng)教分類統(tǒng)計(jì)柱狀圖

圖7 學(xué)生評(píng)教分類統(tǒng)計(jì)餅狀圖

根據(jù)分析所得的備課相關(guān)的評(píng)論數(shù)據(jù)生成云圖，結(jié)果如圖8所示。由圖8可見(jiàn)，學(xué)生與備課相關(guān)的評(píng)教中對(duì)PPT、板書的評(píng)論最多，其次是對(duì)教學(xué)內(nèi)容、重點(diǎn)內(nèi)容的評(píng)論，再次是教學(xué)過(guò)程中講解是否清楚、思路是否清晰，而對(duì)于教學(xué)資料等項(xiàng)內(nèi)容關(guān)注非常少。

圖8 備課評(píng)論云圖

4 結(jié)語(yǔ)

本文在教育現(xiàn)代化背景下，對(duì)BERT預(yù)訓(xùn)練模型進(jìn)行微調(diào)，實(shí)現(xiàn)某高校學(xué)生評(píng)教數(shù)據(jù)的分類。經(jīng)過(guò)統(tǒng)計(jì)分析，判斷出學(xué)生在教師授課過(guò)程中的主要關(guān)注方向，為教師改善教學(xué)過(guò)程提供了理論依據(jù)，也為后續(xù)針對(duì)評(píng)教五個(gè)維度的情感正負(fù)性分析做好了研究基礎(chǔ)。具體分析結(jié)果表明：

(1)學(xué)生對(duì)本課程授課過(guò)程中的教師備課環(huán)節(jié)最為關(guān)注，而備課環(huán)節(jié)中，對(duì)PPT、板書類教學(xué)介質(zhì)的關(guān)注度最高。因此，在后期教學(xué)過(guò)程中，教師應(yīng)當(dāng)更加重視本課程教學(xué)介質(zhì)的使用，優(yōu)化PPT，注重板書的排版與設(shè)計(jì)。

(2)學(xué)生對(duì)作業(yè)評(píng)講環(huán)節(jié)關(guān)注度最低，證明該環(huán)節(jié)存在感較低，學(xué)生對(duì)該環(huán)節(jié)的重視度不夠。教師應(yīng)在授課過(guò)程中適當(dāng)提高講評(píng)環(huán)節(jié)的時(shí)間占比，提高學(xué)生對(duì)作業(yè)講評(píng)的重視程度。