洪雪峰

基于傳統(tǒng)機器學(xué)習(xí)與深度學(xué)習(xí)的學(xué)生評教情感分類對比分析

洪雪峰

（廣東金融學(xué)院 互聯(lián)網(wǎng)金融與信息工程學(xué)院，廣東 廣州 510521）

通過在網(wǎng)站上收集建構(gòu)154，000條評論的語料庫，運用傳統(tǒng)機器學(xué)習(xí)法和深度學(xué)習(xí)法，對其分類精確值及F測量值進行比對。大量的實證分析表明，基于深度學(xué)習(xí)架構(gòu)在教師評價的情感分類任務(wù)上優(yōu)于傳統(tǒng)的機器學(xué)習(xí)分類器，其分類準確率達到98.29%。建議運用機器深度學(xué)習(xí)的模式，利用卷積神經(jīng)網(wǎng)絡(luò)和雙向長短期記憶神經(jīng)網(wǎng)絡(luò)構(gòu)建情感分析模型，可以學(xué)生評教為提升高校教育質(zhì)量，其結(jié)果可作為衡量教學(xué)效果的指標，并給管理者提供決策依據(jù)。

深度學(xué)習(xí)；機器學(xué)習(xí)；學(xué)生評教；情感分析

教學(xué)質(zhì)量的優(yōu)劣是各高校核心競爭力的指標之一，因此，采用有效的手段提升高校教學(xué)質(zhì)量是各高校的首要任務(wù)。目前大多數(shù)高校均采用教學(xué)質(zhì)量評價這一手段，但其評價結(jié)果的科學(xué)性和有效性一直以來頗受爭議。究其原因，教學(xué)評價活動是一項非常復(fù)雜的活動，其涉及的因素較多。學(xué)生評教通常既包括一些固定的問題，也包括一些開放性問題。固定問題主要是借助評教量化表，該量化表對教學(xué)活動中的教學(xué)目標、教學(xué)設(shè)計、教學(xué)內(nèi)容以及課后練習(xí)等進行指標考核，通過量化表分值統(tǒng)計進而總結(jié)評價可以得到一些發(fā)現(xiàn)。然而，評教量化表日益受到教師們普遍的詬病，其所提供的指標內(nèi)涵不能顯示教學(xué)過程的所有方面。開放式問題卻給了評價者自由表達的空間，該評價意見可以更好地給教師提供更加有用的洞見，從而幫助教師們查漏補缺，提高教學(xué)質(zhì)量。其所涉及的問題可以包括教學(xué)方式、教學(xué)評估、教學(xué)資源、教學(xué)管理等方面，例如課堂內(nèi)容的充實度，教師的授課能力，教師資歷，課后資料等。該評教方式能夠給教學(xué)教育決策部門提供基本信息來源，以達到提高教學(xué)質(zhì)量的目標。高校管理部門可以把學(xué)生評教作為教學(xué)職能的測量方式。此外，該評教方式還可以用于管理層進行決策，如對教師晉升或評聘的決策。

一 情感分析方法

隨著信息與通信技術(shù)的不斷發(fā)展，用戶的生成信息可以分享到互聯(lián)網(wǎng)上。這些用戶生成的信息文本包括對酒店、產(chǎn)品、電影、醫(yī)生和其他事物的評價。同樣地，學(xué)生們也可以在網(wǎng)絡(luò)平臺分享對教師的匿名評價，比如Ratemyprofessors.com就是全球最大的學(xué)生評教平臺之一，擁有1900萬條以上的評價，評價范圍涵蓋了多個國家，例如美國、加拿大和英國等，約7500家學(xué)校的120萬位教授。在此平臺上，學(xué)生們可以通過五星評價范圍來評價教師，并計算教師得分。此外，學(xué)生們可以在平臺的開放討論區(qū)分享自己的觀點。該平臺是學(xué)生們在選取課程前，獲取教師信息的一個重要渠道。從教師的角度出發(fā)，該平臺也為教師們提供了關(guān)于自我效能與人際交往的有價值的信息。因此，這些信息可以作為反饋，促使教師們進一步提高自己的技能。我國絕大多數(shù)高校也采用了網(wǎng)上評教的方式。學(xué)生評價的內(nèi)容實質(zhì)就是對教師的一種情感和情緒的表達，我們可以利用計算機技術(shù)對于學(xué)生情感進行分類，以得到比較準確地教學(xué)評價反饋。

情感分析也稱為觀點挖掘，是計算機領(lǐng)域中，用于識別人們對于某一實體或?qū)W科（例如產(chǎn)品、服務(wù)、組織、個人、議題或事件）的個人觀點、情感、態(tài)度、評價和情感的一種研究方法。情感分析方法主要是從非結(jié)構(gòu)化的內(nèi)容和情感分類任務(wù)中獲得有條理且有深刻見解的知識，這些知識可以作為決策支持系統(tǒng)和決策者做決策時進行參考的重要信息來源。情感分析也可以應(yīng)用于教育領(lǐng)域，用來提升高校的教學(xué)質(zhì)量，提升學(xué)校的知名度和吸引力，還可以用于識別和調(diào)節(jié)網(wǎng)絡(luò)學(xué)習(xí)者的情感，感知學(xué)生們的學(xué)習(xí)表現(xiàn)。

情感分析方法主要有兩種，一種為基于詞匯的方法，另一種為基于機器學(xué)習(xí)的方法?；谠~匯的情感分析方法通過計算單詞和短語的語義指向來識別文本文檔的情感取向。這些方法需要一本與單詞相對應(yīng)的積極與消極情感值的字典?；谠~匯的情感分析方法隨著文本所處位置而有所改變，并不涉及標記數(shù)據(jù)。然而，對于不同的文本，構(gòu)建一個唯一的基于詞匯的字典是很難的。因此，目前情感分析的主要研究方法還是一些基于機器學(xué)習(xí)的傳統(tǒng)算法，例如，SVM、信息熵、CRF等。這些方法歸納起來有三大類：有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。

二 傳統(tǒng)機器學(xué)習(xí)與深度學(xué)習(xí)

機器學(xué)習(xí)方法將情感分類視為監(jiān)督學(xué)習(xí)任務(wù)過程，利用標記文本文檔來構(gòu)建學(xué)習(xí)模型。該方法利用傳統(tǒng)的監(jiān)督學(xué)習(xí)算法，例如樸素貝葉斯(NB)算法、支持向量機(SVMs)和K鄰近(KNN)算法來完成情感分類。早期的情感分析研究指出，由于機器學(xué)習(xí)的方法通常能夠獲得更高的預(yù)測性結(jié)果，在情緒分類任務(wù)中時常有所應(yīng)用。例如，Adinolfietal[1]提出一種基于情緒分析的模型，以此來測量學(xué)生們對不同學(xué)習(xí)平臺，例如大量的網(wǎng)絡(luò)公開課，學(xué)習(xí)日記和Twitter等平臺的滿意度。Altrabshehetal[2]的研究表明，通過機器學(xué)習(xí)方法可以來識別學(xué)生們對于文本反饋，并提取其與學(xué)習(xí)相關(guān)的情緒情感表征。目前，也有很多研究嘗試用Twitter收集學(xué)生們的反饋意見和觀點，例如對微積分、數(shù)據(jù)庫、工程學(xué)分子、生物學(xué)、化學(xué)、物理和科學(xué)等不同課程的感受。Gutierrezetal[3]提出了一種文本挖掘方法來測量學(xué)生們對教師表現(xiàn)的評價。他運用SVMs與RF算法來對學(xué)生評教中的簡短評論進行情感分析，重點篩選了簡評中的詞匯、句法、語義特征等。RaniandKumar[4]對學(xué)生們的反饋進行情緒分析，提出了以基于詞匯的研究方法。在他的模型中，使用了自然語言處理技術(shù)，用于識別課程評價的情緒情感。

深度學(xué)習(xí)是機器學(xué)習(xí)研究中一個新的領(lǐng)域，其動機在于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像、聲音和文本。深度學(xué)習(xí)架構(gòu)是從大數(shù)據(jù)集中學(xué)習(xí)特征，而不需要任何特征抽取過程。深度學(xué)習(xí)架構(gòu)包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、長短期記憶網(wǎng)絡(luò)（LSTM）以及門控遞歸單元（GRU）。隨著深度學(xué)習(xí)方法在圖像處理和語音識別方向的成功應(yīng)用，越來越多的深度學(xué)習(xí)方法也被應(yīng)用于自然語言處理方向，如情緒分析任務(wù)。基于深度學(xué)習(xí)的情感分析方法將特征提取和判斷文本傾向結(jié)合在一起，不需要人工提取特征，準確率較高，但是模型訓(xùn)練時間較長。Glorot[5]和Pang[6]等推出了一個用于情感分析任務(wù)的深度學(xué)習(xí)架構(gòu)。Dos Santosand Gatti[7]提出了一個基于卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)，可以用于Twitter信息的情緒分析。近年來，深度學(xué)習(xí)也運用到采集教育數(shù)據(jù)上。例如，Bustillos等[8]提出了一個以深度學(xué)習(xí)為基礎(chǔ)的意見采集板塊，用于在智能學(xué)習(xí)環(huán)境中采集意見及情感認同。在該方案中，他們研究了多種監(jiān)督學(xué)習(xí)算法，如伯努利神經(jīng)網(wǎng)絡(luò)、多項式神經(jīng)網(wǎng)絡(luò)、支持向量機、線性支持向量機、隨機梯度下降和鄰近算法等，并將卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶架構(gòu)用于深度學(xué)習(xí)的意見采集。在他們的實證分析中，以深度學(xué)習(xí)為基礎(chǔ)的架構(gòu)達到了88.26%的分類準確性。Cabada等[9]提出了數(shù)個用于教育情緒分析的深度學(xué)習(xí)架構(gòu)，使用長短期記憶的卷積神經(jīng)網(wǎng)絡(luò)達到了84.32%的分類準確性。

三 學(xué)生評價情感樣例和評價方法

根據(jù)分類目標的不同，情感分類又可以分為主客觀分類、正負情感極性分類和多情感分類等，主客觀分類是情感分類的基本任務(wù)，主要負責(zé)從大規(guī)模原始數(shù)據(jù)集中識別包含主觀信息的文本，構(gòu)建主觀文本數(shù)據(jù)集進行下一步的情感分析研究。一般而言，研究人員將主觀文本的極性分為正向和負向兩類，正向表示文本的情感語義為褒義，負向表示文本的情感語義為貶義。這種分類方法盡管簡單，卻可以滿足很多現(xiàn)實應(yīng)用的需求，例如判斷學(xué)生對于教師教學(xué)是好評還是差評，他們對于教師的教學(xué)方法和態(tài)度是支持還是反對等等。

目前為止，我們從Ratemyprofessors.com成功收集到了286000份教學(xué)評價。在這個網(wǎng)站上，學(xué)生可以用5分制來評估老師，并從中計算出綜合素質(zhì)分。為了獲取標注語，我們充分利用用戶提供的綜合素質(zhì)分，綜合素質(zhì)分為1或2的評價被標為“負面”評價，而綜合素質(zhì)分為5的被標為“正面”評價。除了網(wǎng)站提供的綜合素質(zhì)分外，我們對原始評價信息也進行了標注。根據(jù)這兩種主要的標注方法，我們建立了89000條正面評價和77000條負面評價的語料庫。為了平衡，我們最終的語料庫包含154000條評論，其中正面評價和負面評價各有77000條。

除了綜合素質(zhì)分外，還考慮了154000條評論的課程難度分。為了分析綜合素質(zhì)分數(shù)和課程難度分數(shù)之間的相互關(guān)系，本論文還采用Pearson的關(guān)聯(lián)性測量方法來確定綜合素質(zhì)分數(shù)和課程難度分數(shù)之間是否存在顯著統(tǒng)計關(guān)系。Pearson相關(guān)系數(shù)為-0.973，這表明教師教學(xué)綜合素質(zhì)分數(shù)和課程難度分數(shù)這兩個變量存在極強的負相關(guān)關(guān)系。

表1 學(xué)生評教樣例

為了在文本語料庫中建立學(xué)習(xí)模型，我們進行了幾項預(yù)處理任務(wù)。對于預(yù)處理的語料庫，我們采用Bustillos等的框架。也就是說，我們執(zhí)行了序列和標點符號消除、統(tǒng)一資源定位符移除、標記化（將文檔中的句子或單詞分成符號或字符）、詞干提取、停用詞和無關(guān)詞的移除。為了評估機器學(xué)習(xí)方法和深度學(xué)習(xí)算法的預(yù)測性能，我們采用分類精度和F值度量的評估方法。

分類精度是在評估監(jiān)督學(xué)習(xí)算法中最為廣泛運用的一種方法之，其公式為：

其中TN、TP、FP、和FN分別代表真負數(shù)、真正數(shù)、假正數(shù)和假負數(shù)。

F值度量是評估監(jiān)督學(xué)習(xí)算法另一個常用方法，是精度（PRE）和查全率（REC）的調(diào)和平均值。PRE是真正數(shù)與真正數(shù)和假正數(shù)的和的比值。REC真正數(shù)和真正數(shù)與假負數(shù)的和的比值?；赑RE和REC，可以得出F值度量的公式，如下所示：

為了評估測試，我們根據(jù)上述算法對語料庫中的學(xué)生教學(xué)評價進行了兩組數(shù)據(jù)分析，包括基于傳統(tǒng)機器學(xué)習(xí)的情感分析和基于深度學(xué)習(xí)的情感分析。在本研究的實證分析中，所建立的語料庫由三種不同的N-gram模型（即unigram、bigram和trigram模型）和三種不同的權(quán)重方案（即基于TP、TF和TF-IDF的權(quán)重）表示。這樣，我們可以得到9種不同的配置。為了建立基于這些配置的學(xué)習(xí)模型，本論文采用了五種傳統(tǒng)的監(jiān)督學(xué)習(xí)方法如NB、SVMs、LR (邏輯回歸)、KNN和RF(隨機森林)法等。

四 實驗結(jié)果分析

（一）關(guān)于傳統(tǒng)機器學(xué)習(xí)的情感分析

文本語料庫通過采用三種傳統(tǒng)的文本演示方案（即TF、TP和TF-IDF方案）及三種不同的N-gram模型（即一元模型、二元模型和三元模型）來表示。在傳統(tǒng)的文本演示方案上，我們評估了四種機器學(xué)習(xí)方法，如NB、SVM、LR、KNN、RF和三種集成學(xué)習(xí)方法即AdaBoost(自適應(yīng)提升算法)、Bagging（裝袋算法）和RS（隨機子空間）的預(yù)測性能。在機器學(xué)習(xí)算法的實驗中，我們采用了10倍交叉驗證方案，即將原始數(shù)據(jù)集隨機分割成10個大小相等的數(shù)據(jù)集。在每次迭代中，其中一組數(shù)據(jù)被用作驗證數(shù)據(jù)，則另外的數(shù)據(jù)集被用作訓(xùn)練數(shù)據(jù)。這個過程重復(fù)10次，最后得到了平均結(jié)果。我們采用了WEKA的默認參數(shù)，并利用WEKA3.9實現(xiàn)了監(jiān)督學(xué)習(xí)算法和集成學(xué)習(xí)方法。

表2 傳統(tǒng)機器學(xué)習(xí)算法分類精度值

表3 傳統(tǒng)機器學(xué)習(xí)算法F測量值

表2和表3分別給出了傳統(tǒng)機器學(xué)習(xí)的文本語料庫分類精度值和F測量值。表2給出了基于傳統(tǒng)加權(quán)方案和N-gram模型的監(jiān)督學(xué)習(xí)算法和集成學(xué)習(xí)方法。這兩種方法展示了9種不同的文本語料庫配置上獲得的分類精度值。在實驗分析中，我們考慮了上述5種監(jiān)督學(xué)習(xí)算法。實驗發(fā)現(xiàn)，在文本語料庫上監(jiān)督學(xué)習(xí)方法的預(yù)測性能上，隨機森林算法在分類精度方面取得了最高的預(yù)測性能。樸素貝葉斯算法位居第二，支持向量機算法則次之。在傳統(tǒng)文本演示方案的預(yù)測性能上，以詞頻為基礎(chǔ)的一元模型特征具有最高的分類精度。其次是由TP方案中具有一元模型特征所取得。最后才是由具有TF-IDF權(quán)重的一元模型特征所取得。表2和表3的實證結(jié)果表明，一元模型優(yōu)于其他N-gram模型，即二元模型和三元模型。此外，與基于TP的表現(xiàn)和基于TF-IDF的加權(quán)相比，基于TF的表現(xiàn)具有更高的預(yù)測性能。

如前所述，集成學(xué)習(xí)方法可與監(jiān)督學(xué)習(xí)算法結(jié)合使用，可以提高預(yù)測性能。在實驗分析中，我們研究了三種不同的集成學(xué)習(xí)方法（AdaBoost，Bagging，RS）。表2和表3中實證分析結(jié)果表明，使用集成學(xué)習(xí)方法可以提高監(jiān)督學(xué)習(xí)方法的預(yù)測性能。對于集成方法而言，在比較的結(jié)構(gòu)中，隨機子空間的隨機森林算法獲得了最高的預(yù)測性能，分類精度為84.25%。

（二）關(guān)于深度學(xué)習(xí)的情感分析

文本語料庫使用了4種詞匯嵌入法（即word2vec、GloVe、fastText和LDA2Vec）表示，并使用了5種深度學(xué)習(xí)架構(gòu)（CNN、RNN、RNN-AM、GRU以及LSTM）來處理文本。對于每個模型，我們采用超參數(shù)搜索算法從每個深度學(xué)習(xí)模型中獲得最優(yōu)預(yù)測性能。為此，我們采用了基于高斯過程貝葉斯優(yōu)化的超參數(shù)優(yōu)化方法。在語料庫中，80%的數(shù)據(jù)被用作訓(xùn)練集，而其余的數(shù)據(jù)被用作測試集。在word2vec和fastText方案中，我們不但考慮了連續(xù)跳格和連續(xù)詞袋方案，還考慮了其矢量大小（矢量大小為200和300）和投影層的尺寸（尺寸大小為100和200）。在LDA2vec方案中，我們考慮了一系列參數(shù)（包括主題數(shù)和負采樣指數(shù)）。在下列表4和表5中，分別列出了5種深度學(xué)習(xí)架構(gòu)獲得的分類精度值和F-測量值。

表4 深度學(xué)習(xí)算法分類準確值

表5 深度學(xué)習(xí)算法F測量值

續(xù)前表

在表4所列的實驗結(jié)果中，我們檢驗了6種詞嵌入模型（word2vecskip-gram模型、word-2vec-CBOW模型、fastTextskip-gram模型、fastText-CBOW模型、Glove和LDA2vec）。從表4中的結(jié)果可以看出，在文本語料庫中，Glove嵌入方案優(yōu)于其他嵌入方案；LDA2vec嵌入方案的預(yù)測性能位居第二；緊隨其后的是fastTextskip-gram模型。分類精度預(yù)測性能最低的是word2vecskip-gram模型。在詞嵌入方案中，我們還考慮了不同的矢量大小和投影層的維度。實驗結(jié)果表明，在矢量大小為300，投影層大小為300的情況下，詞嵌入方案具有較好的預(yù)測性能。在使用深度學(xué)習(xí)架構(gòu)預(yù)測性能的實證分析中，RNN-AM獲得了最高的預(yù)測性能。GRU的預(yù)測性能位居第二，LSTM網(wǎng)絡(luò)的預(yù)測性能位居第三。實證分析表明，RNN-AM、GRU和LSTM的性能優(yōu)于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)。

在實證分析中，CNN結(jié)構(gòu)分類準確度上的預(yù)測性能最低。通過比較配置，RNN‐AM的預(yù)測性能最高，達到98.29%，它與GloVe基于詞嵌入方案的表示相結(jié)合。正如表5所呈現(xiàn)的預(yù)測性能所示，就分類精度而言，所述方案的相同模式仍然有效。RNN-AM中的F測量值最高，GRU的F測量值居其后。單元嵌入方案中的預(yù)測性能在F測量值中，嵌入的方案GloVe單元明顯優(yōu)于其他單元。

以上實驗表明，使用深度學(xué)習(xí)法對學(xué)生評教情感進行分類比傳統(tǒng)學(xué)習(xí)模型效果更優(yōu)。相比較于傳統(tǒng)機器分類算法，深度學(xué)習(xí)法對情感分類的預(yù)測性能更高，尤其是使用RNN‐AM與基于詞嵌入法GloVe代表的分類準確度為98.29%。可見，文本挖掘和機器學(xué)習(xí)技術(shù)能應(yīng)用于教師教學(xué)評價意見反饋，從中更清晰地辨認和識別學(xué)習(xí)者的情感傾向和聲音，比較科學(xué)合理的反映出教師教學(xué)的過程，也更能有效地幫助高校教學(xué)管理者做出正確的決策。

[1]P.Adinolfi et al.,Sentiment analysis to evaluate teaching performance[J].Int.J.Knowl.Soc.Res,2016(4):86–107.

[2]N.Altrabsheh,M.Cocea,and S. Fallahkhair, Predicting learning‐related emotions from students’ textual classroom feedback via Twitter[M].Proceedings of the 8th International Conference on Educational Data Mining,2015.

[3]G.Gutierrez et al.,Mining:Students comments about teacher performance assessment using machine learning algorithms[J].Int.J.Comb.Optimi.Probl,Inf,2018(3):26–40.

[4]S.Rani and P.Kumar,A sentiment analysis system to improve teaching and learning[J].Computer,2017(5):36–43.

[5]X.Glorot,A.Bordes,and Y.Bengio,Domain adaptation for large‐scale sentiment classification:A deep learning approach, proceedings of the 28th International Conference on Machine earning[M].ICML,2011.

[6]P.Pang,and L.Lee.Opinion mining and sentiment analysis[M].FoundTrends Inf.Retr,2008:1–135.

[7]C.Dos Santos and M.Gatti.Deep convolutional neural networks for sentiment analysis of short texts,Proceedings of the 25thInternational Conference on Computational Linguistics [M].Dublin City Univ.Assoc.Comput.Linguist.,2014:69–78.

[8]O.R.Bustillos et al..Opinion mining and emotion recognition inan intelligent learning environment[J].Comput.Applic.Eng.Educ,2019(1):90–101.

[9]R.Z.Cabada,M.L.B.Estrada,and R.O.Bustillos.Mining of educational opinions with deep learning[J].Univers.Comput.Sci,2018(11):1604–1626.

[10]劉華祠.基于傳統(tǒng)機器學(xué)習(xí)與深度學(xué)習(xí)的圖像分類算法對比分析[J].電腦與信息技術(shù),2019(5):12-15.

G43

A

1673-2219（2021）02-0097-06

2020－08－21

廣州市2020年度哲學(xué)社會科學(xué)發(fā)展“十三五”規(guī)劃項目（項目編號2020GZGJ160）。

洪雪峰（1976－），男，廣東金融學(xué)院講師，碩士，研究方向為數(shù)據(jù)挖掘與教育教學(xué)管理。

（責(zé)任編校：周欣）