況姍蕓，鄭美秋，鐘 玲，盧 昀

（華南師范大學(xué)教育信息技術(shù)學(xué)院，廣東廣州 510631）

一、引言

疫情當(dāng)下，科技與教育融合創(chuàng)新，在線教育迅猛發(fā)展，《2022地平線報(bào)告（教與學(xué)版）》提出，疫情背景下的“應(yīng)急在線教學(xué)”將常態(tài)化并逐漸成為未來主流趨勢(shì)[1]；“中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要”明確提出要積極發(fā)展在線課堂，擴(kuò)大優(yōu)質(zhì)公共服務(wù)資源輻射覆蓋范圍[2]。有效應(yīng)對(duì)在線教學(xué)中學(xué)習(xí)者“認(rèn)知層次淺”[3]“情感缺失”[4]等問題，提升在線教學(xué)質(zhì)量成為在線教育研究重心之一。研究發(fā)現(xiàn)，學(xué)業(yè)情緒會(huì)影響學(xué)習(xí)投入度[5]和投入持久性[6]，進(jìn)而影響學(xué)業(yè)成就[7]和學(xué)習(xí)滿意度[8]。積極情緒與深層認(rèn)知行為緊密關(guān)聯(lián)，消極情緒常伴隨淺層認(rèn)知行為[9]，但研究也發(fā)現(xiàn)部分消極情緒，特別是困惑、挫敗等消極情緒能提升學(xué)習(xí)者認(rèn)知投入[10-11]。情緒能預(yù)測(cè)學(xué)生投入度[12]和學(xué)業(yè)成就[13]，情緒水平越高，預(yù)測(cè)效果越顯著。在線學(xué)習(xí)過程中，學(xué)習(xí)者主要會(huì)面臨什么樣的學(xué)業(yè)情緒？如何測(cè)量學(xué)習(xí)者的在線學(xué)業(yè)情緒？對(duì)在線學(xué)習(xí)者情緒類型與測(cè)量方法研究的梳理將有助于推進(jìn)在線學(xué)業(yè)情緒與在線學(xué)習(xí)的評(píng)估與干預(yù)研究，提升在線學(xué)習(xí)績(jī)效。

二、在線學(xué)業(yè)情緒的類型

（一）情緒的分類方法

情緒和情感都是指人對(duì)客觀事物的主觀感受，前者傾向于瞬時(shí)且強(qiáng)烈的情感體驗(yàn)，而后者一般指綜合所有情緒的、穩(wěn)定的情感傾向[14]，一般兩者可以混用。關(guān)于情緒的分類，有研究關(guān)注枚舉的、獨(dú)立的、有限的離散情緒，如我國(guó)古代的“七情”——喜、怒、哀、懼、愛、惡、欲；Ekman等人提出的公認(rèn)的基本情緒[15]——喜悅、憤怒、悲傷、恐懼、厭惡和驚訝。離散情緒的描述形式較符合人們?nèi)粘５恼Z義表達(dá)，且更適用于情緒識(shí)別系統(tǒng)輸出情緒識(shí)別結(jié)果，但各情緒間相互獨(dú)立，相互間的關(guān)聯(lián)性得不到展現(xiàn)。相對(duì)而言，結(jié)合情緒的多重屬性構(gòu)建情緒的分類模型能更好地展現(xiàn)不同情緒間的關(guān)聯(lián)，也有利于開展機(jī)器情感模擬[16]。Russell基于情緒的積極或者消極的傾向和情緒喚醒的強(qiáng)弱程度，提出“愉悅——喚醒”二維分類模型，將28種離散情緒依據(jù)其屬性及程度分布到不同象限空間的不同位置，建立情緒環(huán)[17]；Mehrabian等人在此基礎(chǔ)上增加個(gè)體對(duì)情緒的控制維度提出了“愉悅度——喚醒度——控制度”情緒模型，更加全面地表達(dá)和量化情緒[18]。

（二）在線學(xué)業(yè)情緒的概念

Pekrun是學(xué)業(yè)情緒概念的提出者，將學(xué)生在學(xué)習(xí)過程中獲得的所有與學(xué)業(yè)學(xué)習(xí)活動(dòng)相關(guān)的情緒體驗(yàn)統(tǒng)一定義為學(xué)業(yè)情緒[19]。在線學(xué)業(yè)情緒則是指學(xué)習(xí)者于在線學(xué)習(xí)過程中獲得的所有與在線學(xué)習(xí)活動(dòng)相關(guān)的情緒體驗(yàn)。

（三）在線學(xué)業(yè)情緒的離散類型

在學(xué)業(yè)活動(dòng)中，學(xué)習(xí)者會(huì)遭遇不同的情緒。關(guān)注不同的離散類型有助于深化某一具體情緒對(duì)于學(xué)業(yè)活動(dòng)產(chǎn)生的影響，亦有助于失去具體情緒的有效干預(yù)。薛耀鋒等人在Ekman的基礎(chǔ)上提出六類基本學(xué)業(yè)情緒——高興、驚奇、中性、生氣、疲勞和困惑[20]；Ashwin等人提出更細(xì)致的學(xué)業(yè)情緒類別——幸福、悲傷、喜悅、恐懼、厭惡、驚訝、困倦、無聊、沮喪、困惑、投入和中性[21]。在線學(xué)習(xí)活動(dòng)中，學(xué)習(xí)者學(xué)習(xí)的自主性和孤立性特性往往導(dǎo)致學(xué)習(xí)者會(huì)體驗(yàn)豐富的情緒[22]，因而難以列出所有孤立的離散的在線學(xué)業(yè)情緒，但不同研究者聚焦了不同的離散情緒，Hara等人關(guān)注沮喪、孤獨(dú)、焦慮和困惑[23]；You等人聚焦了享受、自信、恐懼、沮喪、無聊和焦慮[24]；Myers重點(diǎn)關(guān)注學(xué)習(xí)者與智能導(dǎo)師系統(tǒng)交互時(shí)的心流和鄙視情緒[25]。

（四）在線學(xué)業(yè)情緒分類的體系模型

學(xué)業(yè)情緒分類體系模型的研究反映出研究者對(duì)于情緒研究的價(jià)值關(guān)注及目標(biāo)定位。Pekrun等人在“愉悅——喚醒”情緒分類模型的基礎(chǔ)上，提出“愉悅——喚醒”學(xué)業(yè)情緒體系模型，并將常見的9種學(xué)業(yè)情緒分別歸入不同情緒象限區(qū)間，分別為：愉快、希望、自豪歸為積極高喚醒情緒象限，放松歸入積極低喚醒情緒象限，憤怒、焦慮、羞愧歸入消極高喚醒情緒象限，絕望、無聊歸入消極低喚醒情緒象限[26]。9年后，Pekrun又在此基礎(chǔ)上，增加了學(xué)習(xí)活動(dòng)（學(xué)習(xí)結(jié)果）維度，進(jìn)一步豐富了這一分類體系模型[27]。結(jié)合在線學(xué)習(xí)情境，研究者發(fā)現(xiàn)對(duì)于不同學(xué)習(xí)者系統(tǒng)分析了不同學(xué)習(xí)者的在線學(xué)業(yè)情緒類型。詹藝發(fā)現(xiàn)在職教師在線學(xué)習(xí)中不存在積極低喚醒象限的各種情緒[28]；在保留的三個(gè)情緒象限中，劉君玲發(fā)現(xiàn)大學(xué)生存在的在線學(xué)業(yè)情緒有：積極高喚醒情緒——享受、自豪，消極高喚醒情緒——焦慮、羞愧，消極低喚醒情緒——失望、無聊[29]。Altuwairqi等人將學(xué)業(yè)情緒分類與情感投入度結(jié)合，提出了對(duì)應(yīng)不同情感投入水平的學(xué)業(yè)情緒模型，進(jìn)一步明確各情緒與學(xué)習(xí)投入間的關(guān)聯(lián)[30]。也有研究者將學(xué)業(yè)情緒與影響因素關(guān)聯(lián)，主要包括將學(xué)業(yè)情緒分為與學(xué)習(xí)期望、學(xué)習(xí)活動(dòng)和學(xué)習(xí)進(jìn)度關(guān)聯(lián)[31]。不同分類體系模型的構(gòu)建會(huì)產(chǎn)生不一樣的在線學(xué)業(yè)情緒分類結(jié)果，也有助于豐富拓展在線學(xué)業(yè)情緒的研究領(lǐng)域。

三、在線學(xué)業(yè)情緒的測(cè)量方法

在線學(xué)業(yè)情緒與學(xué)習(xí)活動(dòng)密切相關(guān)，其隨時(shí)間變化及學(xué)習(xí)刺激變化而動(dòng)態(tài)變化，表現(xiàn)方式也呈多樣化特點(diǎn)，學(xué)習(xí)者的主觀體驗(yàn)、面部表情、軀體動(dòng)作、語音語調(diào)及外周神經(jīng)系統(tǒng)都可能產(chǎn)生變化。相應(yīng)地，在線學(xué)業(yè)情緒的測(cè)量方法多樣，其測(cè)量主要包括對(duì)情緒的類型及情緒喚醒度高低的測(cè)量。根據(jù)情緒測(cè)量的主體執(zhí)行者，可將情緒測(cè)量方法分為兩類：一是自我報(bào)告法，即被試本人報(bào)告自己的情緒狀態(tài)；二是外顯行為推演測(cè)量法，即第三方根據(jù)主體的外顯行為進(jìn)行測(cè)量，推演并報(bào)告被試的情緒狀態(tài)。

（一）自我報(bào)告法

自我報(bào)告法是情緒測(cè)量應(yīng)用較早、影響廣泛的一種方法，它是指學(xué)習(xí)者本人采用某一量表，通過對(duì)量表或形容詞表的等級(jí)判定來表達(dá)自己的情緒體驗(yàn)的一種情緒測(cè)量方法。研究者認(rèn)為，學(xué)習(xí)者本人對(duì)其情緒有比較清晰的認(rèn)知，其在監(jiān)測(cè)和判斷自己的情緒類型及水平上具有優(yōu)先權(quán)和認(rèn)知權(quán)，有能力報(bào)告自己的情緒。從自我報(bào)告的內(nèi)容來看，它既可能是針對(duì)某一特定情緒，報(bào)告其程度等級(jí)，也可能是針對(duì)多項(xiàng)情緒，報(bào)告自我的情緒類別及各類情緒的體驗(yàn)程度。從自我報(bào)告的時(shí)間點(diǎn)來看，可以分為實(shí)時(shí)報(bào)告和回溯報(bào)告，實(shí)時(shí)報(bào)告是指在事件發(fā)現(xiàn)的同時(shí)報(bào)告自我情緒，回溯報(bào)告是在事件結(jié)束后，學(xué)習(xí)者結(jié)合自己的回憶或事件過程記錄信息對(duì)自我的情緒進(jìn)行報(bào)告。鑒于被試在同一時(shí)間點(diǎn)難以追蹤多種獨(dú)立情緒，實(shí)時(shí)報(bào)告時(shí)多采用單一情緒報(bào)告方式，對(duì)于多項(xiàng)情緒的自我報(bào)告通常采用回溯報(bào)告法[32]。

采用自我報(bào)告法測(cè)量在線學(xué)業(yè)情緒時(shí)，量表的信度和效度對(duì)于測(cè)量結(jié)果的可信度影響巨大。AEQ學(xué)業(yè)情緒問卷是適用于測(cè)量課堂教學(xué)、考試等情境下自我調(diào)節(jié)學(xué)習(xí)中的學(xué)業(yè)情緒問卷，其能有效區(qū)分愉快、自豪、氣憤、厭倦等九種學(xué)業(yè)情緒[33]，其信度和效度在多個(gè)研究中被加以證實(shí)，因而得到廣泛應(yīng)用并得以細(xì)化發(fā)展。Sander等人利用AEQ研究學(xué)生學(xué)業(yè)信心、人格特質(zhì)和學(xué)業(yè)情緒之間的關(guān)系，并構(gòu)建三者的關(guān)系模型[34]；Yu等人基于AEQ編制了在線學(xué)業(yè)情緒量表，該量表著重關(guān)注在線學(xué)習(xí)中的享受、焦慮和無聊[35]此外，也有研究者針對(duì)不同學(xué)習(xí)者特性開發(fā)了針對(duì)性強(qiáng)的在線學(xué)業(yè)情緒測(cè)量量表，如《成人在線學(xué)業(yè)情緒測(cè)評(píng)量表》[36]、《在職教師在線學(xué)業(yè)情緒量表》[37]、《大學(xué)生在線學(xué)業(yè)情緒量表》[38]等。

采用自我報(bào)告法測(cè)量在線學(xué)業(yè)情緒測(cè)量時(shí)，若是要收集學(xué)習(xí)者針對(duì)某一具體學(xué)習(xí)刺激產(chǎn)生的學(xué)業(yè)情緒，會(huì)導(dǎo)致學(xué)習(xí)者認(rèn)知過程的暫停，影響其認(rèn)知流程，過于頻繁的自我報(bào)告會(huì)引發(fā)學(xué)習(xí)者的反感甚至抵制情緒，影響自我報(bào)告的準(zhǔn)確性。但過于稀少的自我報(bào)告次數(shù)又無法正確反應(yīng)情緒與學(xué)習(xí)刺激間的聯(lián)系。同時(shí)，學(xué)習(xí)者在進(jìn)行自我報(bào)告時(shí)，有可能因?yàn)槠谕玫絹碜越處熁蛲榈馁澰S，對(duì)自己的情緒進(jìn)行非客觀性的報(bào)告，亦可能影響報(bào)告結(jié)果的信度。因而，在采取自我報(bào)告方式測(cè)量在線學(xué)業(yè)情緒時(shí)，需要綜合多方因素確定自我報(bào)告的時(shí)間結(jié)點(diǎn)、頻次、報(bào)告內(nèi)容、測(cè)量量表信度及社會(huì)贊許性控制方法。

（二）外顯行為推演測(cè)量法

外顯行為推演測(cè)量法的實(shí)施流程主要循著“情緒數(shù)據(jù)采集——特征提取——識(shí)別判斷”的流程展開，在被試進(jìn)行認(rèn)知學(xué)習(xí)的過程中，第三方在一旁觀察，采集其情緒數(shù)據(jù)（如面部表情、語音語調(diào)、生理數(shù)據(jù)等），之后對(duì)其數(shù)據(jù)特征進(jìn)行提取，再據(jù)其特征進(jìn)行識(shí)別判斷，報(bào)告其情緒結(jié)果。采用外顯行為推演測(cè)量法測(cè)量被試的在線學(xué)業(yè)情緒的優(yōu)勢(shì)是可以避免干擾學(xué)習(xí)者的認(rèn)知過程，但是需要尋找對(duì)熟悉學(xué)習(xí)被試的觀察者或經(jīng)歷過專門訓(xùn)練的觀察者對(duì)學(xué)習(xí)者的學(xué)習(xí)過程進(jìn)行觀察評(píng)價(jià)，并據(jù)學(xué)習(xí)者的外顯行為進(jìn)行推演，編碼報(bào)告學(xué)習(xí)者的情緒狀態(tài)。這一過程中可能會(huì)涉及巨大的人力支出。伴隨著近年機(jī)器學(xué)習(xí)技術(shù)和大數(shù)據(jù)技術(shù)的迅速發(fā)展，多種計(jì)算工具被陸續(xù)引入這一方法中，擔(dān)任情緒外顯行為識(shí)別的第三方。利用傳感設(shè)備、機(jī)器學(xué)習(xí)算法和多模態(tài)混合識(shí)別模型識(shí)別學(xué)習(xí)者的學(xué)業(yè)情緒，具有客觀、高效、省時(shí)的特點(diǎn)，能很好地推進(jìn)在線學(xué)業(yè)情緒識(shí)別與預(yù)測(cè)，并可據(jù)學(xué)習(xí)者的在線學(xué)業(yè)情緒，給出干預(yù)對(duì)策?；谇榫w采集的數(shù)據(jù)來源，在線學(xué)業(yè)情緒識(shí)別主要包括五類方法。

1.基于圖像/視頻的情緒測(cè)量

學(xué)習(xí)者的面部表情、軀體行為能反映學(xué)習(xí)者的在線學(xué)業(yè)情緒狀態(tài)。面部表情是表達(dá)情緒的最主要、最自然和最直接的通道[39]，Darwin認(rèn)為軀體行為會(huì)對(duì)應(yīng)特定的情緒[40]，如耷拉的腦袋表達(dá)學(xué)生學(xué)習(xí)時(shí)出現(xiàn)的無聊情緒。在線學(xué)習(xí)過程中，記錄學(xué)習(xí)者的面部表情和身體資態(tài)的影像數(shù)據(jù)是采集在線學(xué)業(yè)情緒識(shí)別數(shù)據(jù)的一種有效手段。

數(shù)據(jù)采集后，需要對(duì)數(shù)據(jù)的情緒特征數(shù)據(jù)進(jìn)行捕捉，基于圖像的情緒識(shí)別常采用幾何特征和外觀特征；而基于視頻的情緒識(shí)別研究常采用光流特征、幾何動(dòng)態(tài)特征和外觀動(dòng)態(tài)特征[41]。Ekman設(shè)計(jì)了經(jīng)典的人臉面部動(dòng)作編碼系統(tǒng)(FACS)[42]，通過面部動(dòng)作單元（如皺眉、噘嘴等）的運(yùn)動(dòng)變化來表征臉部的幾何特征和紋理特征[43]。

情緒的識(shí)別判斷離不開相關(guān)數(shù)據(jù)集的建設(shè)，常用的表情數(shù)據(jù)集主要有JAFF[44]、CK+[45]、CAS（ME）[46]、MMI[47]等，融面部表情和上身動(dòng)作的數(shù)據(jù)集有FABO數(shù)據(jù)集[48]。在識(shí)別在線學(xué)習(xí)者的在線學(xué)業(yè)情緒時(shí)，研究者會(huì)引入深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)表情特征的自動(dòng)提取，在深度神經(jīng)網(wǎng)絡(luò)中對(duì)特征提取和情緒分類進(jìn)行端對(duì)端的學(xué)習(xí)。另外，也有研究將提取出的特征信號(hào)作為模型輸入，再使用分類算法完成情緒分類的任務(wù)?；诿娌勘砬榈那榫w識(shí)別常用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)分類算法。前者常用于圖像的處理和分析，后者可以存儲(chǔ)時(shí)間序列信息，更適用于處理基于視頻的情緒識(shí)別任務(wù)。Sun等人構(gòu)建由兩個(gè)RNN組成的級(jí)聯(lián)架構(gòu)，能夠分別從視頻序列數(shù)據(jù)中提取人臉特征和上下文特征[49]，大大提高視聽情緒識(shí)別的準(zhǔn)確率。但是，RNN只能存儲(chǔ)短期信息，隨著時(shí)間序列的長(zhǎng)度增加，當(dāng)任務(wù)需要參考的信息特別遠(yuǎn)時(shí)，RNN就喪失了學(xué)習(xí)長(zhǎng)期依賴信息的能力。為解決該問題，研究者提出長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)，通過門控狀態(tài)實(shí)現(xiàn)選擇性記憶，由此存儲(chǔ)先前重要的信息。如Martin等人設(shè)計(jì)基于LSTM的自動(dòng)視聽情緒識(shí)別框架，通過遠(yuǎn)距離上下文建模以提高情緒識(shí)別的準(zhǔn)確性[50]。

2.基于語音的情緒測(cè)量

語音情緒識(shí)別旨在通過聲音信號(hào)中特定的基頻、語速、音調(diào)、振幅等特征來識(shí)別情緒狀態(tài)。語音情緒識(shí)別過程中采用的聲學(xué)特征包括韻律特征、譜特征、音質(zhì)特征和融合的特征[51]。常用的韻律特征有時(shí)長(zhǎng)、基頻、能量等；譜特征主要分為線性譜特征和倒譜特征；音質(zhì)特征包含振幅微擾、諧波噪聲比、共振峰頻率等。如Bahreini等人使用學(xué)習(xí)者語音中的韻律特征作為輸入特征[52]，實(shí)現(xiàn)在線學(xué)習(xí)環(huán)境中七種學(xué)業(yè)情緒（憤怒、悲傷、恐懼、快樂、中性、厭惡和驚訝）的識(shí)別；張世清采用韻律和音質(zhì)特征，從中文自然情感語料庫(kù)中識(shí)別憤怒、喜悅、悲傷和中性四種情緒[53]。

語音情緒識(shí)別模型的性能很大程度上取決于語音情緒數(shù)據(jù)集建設(shè)質(zhì)量[54]，常用的漢語語音情感語料庫(kù)有CASIA漢語情感語料庫(kù)[55]。目前，對(duì)于語音情緒識(shí)別，研究有的采用隱馬爾可夫模型（HMM）、高斯混合模型（GMM）和支持向量機(jī)（SVM）等傳統(tǒng)分類算法[56]，如Albornoz等人構(gòu)建基于HMM、GMM和多層感知器（MLP）的分層分類器，情緒識(shí)別準(zhǔn)確率達(dá)到71.75%[57]。也有的采取基于深度學(xué)習(xí)的分類算法，如Mustaqeem等人設(shè)計(jì)AI輔助的深度卷積神經(jīng)網(wǎng)絡(luò)（DSCNN）架構(gòu)，從語音信號(hào)的頻譜圖中自動(dòng)學(xué)習(xí)特征，并結(jié)合softmax分類器完成語音情緒識(shí)別任務(wù)[58]。

3.基于文本的情緒測(cè)量

基于文本數(shù)據(jù)的情緒識(shí)別是指抽取帶有情感色彩文本中的情感特征的過程，主要采用基于詞典和規(guī)則的方法或基于機(jī)器學(xué)習(xí)的方法。前者利用帶有情感標(biāo)簽的情緒字典、詞典、關(guān)系表等，結(jié)合語義規(guī)則匹配文本數(shù)據(jù)來完成情緒識(shí)別；而后者基于機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)自然語言處理領(lǐng)域中的情緒分類任務(wù)。

目前常用情緒詞典有SentiWordNet[59]、LIWC[60]、GI[61]、How Net[62]、臺(tái)灣大學(xué)的情緒極性詞典（NTUSD）[63]、清華大學(xué)的褒貶義詞典等。此外，許多研究者基于自構(gòu)建的情感詞典開展研究，如劉智等人構(gòu)建包含積極、消極和困惑三種情緒詞匯的情緒詞典，基于在線課程的論壇發(fā)帖記錄識(shí)別學(xué)習(xí)者群體水平在情緒表征方面的差異[64]。然而，隨著語境的變遷、社會(huì)以及信息技術(shù)的發(fā)展，詞典中情感詞匯的情感傾向容易發(fā)生變化，進(jìn)而降低情緒識(shí)別的準(zhǔn)確率，因此研究往往需要投入大量精力和資源擴(kuò)充或修改情緒詞典。

基于機(jī)器學(xué)習(xí)的情緒識(shí)別方法利用大量帶標(biāo)簽或無標(biāo)簽數(shù)據(jù)的語料庫(kù)進(jìn)行有監(jiān)督、半監(jiān)督或無監(jiān)督的學(xué)習(xí)，從而自動(dòng)精準(zhǔn)提取文本特征和輸出情緒分類。Anne等人基于ISEAR和twitter數(shù)據(jù)集對(duì)比四種機(jī)器學(xué)習(xí)分類算法，發(fā)現(xiàn)SVM最適于提取文本中羞愧、高興、悲傷等七種在線學(xué)業(yè)情緒[65]。為進(jìn)一步提升基于文本的情緒識(shí)別的效率和準(zhǔn)確率，研究者引入了注意力機(jī)制和使用預(yù)訓(xùn)練語言模型。葉俊民在在線學(xué)習(xí)情感特征提取過程中，引入注意力機(jī)制，基于遷移學(xué)習(xí)設(shè)計(jì)兩個(gè)層次化注意力網(wǎng)絡(luò)，聚焦少量重要信息，忽略大量的次要信息，大大減少計(jì)算量，節(jié)省標(biāo)記數(shù)據(jù)的時(shí)間和人力成本[66]。預(yù)訓(xùn)練語言模型則先利用大規(guī)模數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，再通過微調(diào)的方式完成下游自然語言處理任務(wù)，避免了隨機(jī)初始化可能造成的過擬合問題，以提升泛化能力，常用的有ELMo、BERT、ERNIE、XL-NET等模型。如Kumar等人構(gòu)建基于BERT的雙通道可解釋文本情緒識(shí)別系統(tǒng)，結(jié)合CNN和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM)提取文本的序列信息，再以嵌入向量的形式輸入到情緒分類模塊，該系統(tǒng)在AffectiveText等4個(gè)數(shù)據(jù)集上識(shí)別高興、悲傷、憎恨、生氣的準(zhǔn)確率均高于70%[67]。

4.基于電生理信號(hào)的情緒測(cè)量

人產(chǎn)生情緒變化時(shí)伴有神經(jīng)系統(tǒng)的改變，如當(dāng)人感到焦慮，其會(huì)心率加快、血壓升高等[68]。因此，通過測(cè)量生理信號(hào)能夠在一定程度上識(shí)別相應(yīng)的情緒狀態(tài)。情緒識(shí)別常用的電生理數(shù)據(jù)有腦電信號(hào)（EEG）、心電信號(hào)（ECG）、肌電信號(hào)（EMG）、皮膚電信號(hào)（SC）等[69]，通常會(huì)采用腦波儀、物理電極、智能手表等可穿戴傳感器采集，相關(guān)常用情緒數(shù)據(jù)集有DEAP[70]和SEED情感腦電數(shù)據(jù)集[71]。

基于電生理信號(hào)的情緒特征常采用時(shí)域特征、頻域特征和時(shí)頻特征。時(shí)域特征主要反映信號(hào)隨時(shí)間的變化情況，其最易獲得，發(fā)展最早。頻域分析是將時(shí)域信號(hào)變換到頻域上，分析信號(hào)中的頻率成分。時(shí)頻分析則將時(shí)域、頻域結(jié)合，從而獲得更全面的特征信息。不同電生理信號(hào)采用的特征提取方式不盡相同，比如腦電信號(hào)通常采用傅里葉變換進(jìn)行時(shí)頻域轉(zhuǎn)換后提取頻域特征，而采用短時(shí)傅里葉變換、小波變換等方法進(jìn)行時(shí)頻分析，以提取腦電信號(hào)的時(shí)頻特征[72]。

基于電生理信號(hào)的情緒識(shí)別研究中常用的分類算法主要有SVM、K-最近鄰（KNN）、線性判別分析（LDA）、邏輯回歸和決策樹，其中Doma等人基于DEAP數(shù)據(jù)集發(fā)現(xiàn)KNN的準(zhǔn)確率最高[73]。

5.基于多模態(tài)數(shù)據(jù)的情緒測(cè)量

基于多模態(tài)數(shù)據(jù)的情緒識(shí)別是指對(duì)個(gè)體的圖像/視頻、語音、文本、電生理信號(hào)等多模態(tài)數(shù)據(jù)進(jìn)行采集、提取情感特征，信息融合理解、最終獲得情緒識(shí)別結(jié)果。從不同的單模態(tài)數(shù)據(jù)中提取信息集成多模態(tài)特征稱為模態(tài)融合[74]，包括數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合。數(shù)據(jù)級(jí)融合在前期傳感器層采集數(shù)據(jù)的階段，將原始采集到的數(shù)據(jù)組合形成一組新數(shù)據(jù)，并作為特征提取的輸入。特征級(jí)融合屬于中期融合，是指從原始數(shù)據(jù)中提取有效的特征并拼接成特征集的過程。決策級(jí)的融合屬于后期融合，通過將各個(gè)單模態(tài)數(shù)據(jù)經(jīng)過特征提取、情緒分類后的結(jié)果根據(jù)某種策略進(jìn)行融合得到最終分類結(jié)果。

常用的多模態(tài)情緒數(shù)據(jù)集主要有DEAP數(shù)據(jù)集[75]、YouTube數(shù)據(jù)集[76]和SEMAINE數(shù)據(jù)集[77]、AFEW數(shù)據(jù)集（包含音頻、視頻和身體姿勢(shì)圖像）[78]、IEMOCAP[79]、BAUM-1[80]、中文自然視聽情感數(shù)據(jù)集（CHEAVD）[81]等。Pérez等人基于YouTube數(shù)據(jù)集開展基于文本、語音和圖像數(shù)據(jù)模態(tài)的多模態(tài)情緒識(shí)別研究，將采集到的多模態(tài)數(shù)據(jù)組合成共同的特征向量，采用數(shù)據(jù)級(jí)的融合方式達(dá)到了75%的識(shí)別準(zhǔn)確率[82]；Tzirakis等人采用CNN提取語音信號(hào)的特征，利用ResNet-50網(wǎng)絡(luò)從視覺信息中提取特征，將語音、圖像兩種數(shù)據(jù)模態(tài)以特征融合的方式實(shí)現(xiàn)多模態(tài)的情緒識(shí)別并對(duì)后續(xù)情緒進(jìn)行預(yù)測(cè)，結(jié)果表明預(yù)測(cè)情緒喚醒度和效價(jià)的最高準(zhǔn)確率分別達(dá)到78.9%和73.2%[83]。

（三）在線學(xué)業(yè)情緒測(cè)量的困境

在線學(xué)業(yè)情緒測(cè)量方法比較表

情緒是學(xué)習(xí)者對(duì)學(xué)習(xí)刺激的反應(yīng)，隨著學(xué)習(xí)刺激的動(dòng)態(tài)變化，在線學(xué)業(yè)情緒也在發(fā)生變化，下表對(duì)比了不同的在線學(xué)業(yè)情緒測(cè)量方法的特點(diǎn)、適用情境與局限性。

從上表可以看出，盡管已有了很多測(cè)量在線學(xué)習(xí)情緒的途徑與技術(shù)，可推進(jìn)在線學(xué)業(yè)情緒采集與分析測(cè)量，但仍可以看出，在線學(xué)業(yè)情緒測(cè)量準(zhǔn)確性存在諸多困難，主要體現(xiàn)在：（1）數(shù)據(jù)采集的信度。數(shù)據(jù)采集的準(zhǔn)確性是決定情緒判斷準(zhǔn)確性的前提基礎(chǔ)，但目前各種采集方法均存在其使用局限，設(shè)備的精細(xì)度、個(gè)體的心理抵觸和數(shù)據(jù)采集環(huán)境等均會(huì)引發(fā)數(shù)據(jù)采集的不準(zhǔn)確性。（2）數(shù)據(jù)處理方法的信度。數(shù)據(jù)處理方法的可信度是決定情緒判斷準(zhǔn)確性的另一關(guān)鍵要素。利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)對(duì)學(xué)業(yè)情緒實(shí)現(xiàn)自動(dòng)化判斷，結(jié)果的準(zhǔn)確性受到數(shù)據(jù)訓(xùn)練集的制約，由于學(xué)業(yè)情緒與社交情緒發(fā)生情境不同，誘發(fā)的情緒也出現(xiàn)差異，學(xué)業(yè)情緒的喚醒度往往不及社交情緒，但目前學(xué)業(yè)情緒訓(xùn)練集建設(shè)薄弱，往往是利用社交情緒訓(xùn)練集加以處理，因此判斷結(jié)果傾向于反映為社交情緒，有些學(xué)業(yè)情緒無法得到識(shí)別，如困惑。

對(duì)應(yīng)上述困難，在展開學(xué)業(yè)情緒測(cè)量時(shí)，應(yīng)該：（1）多通道采集數(shù)據(jù)。盡可能綜合采用多種方法綜合測(cè)量個(gè)體的在線學(xué)業(yè)情緒，多種途徑相互印證，相互制約有利于提升數(shù)據(jù)采集與處理的信度，準(zhǔn)確確認(rèn)個(gè)體的情緒狀態(tài)。（2）加強(qiáng)學(xué)業(yè)情緒數(shù)據(jù)集建設(shè)，提升相關(guān)算法的運(yùn)算效率與信度，保障學(xué)業(yè)情緒正確認(rèn)知。

四、未來研究方向

關(guān)于在線學(xué)習(xí)，已有研究多從教學(xué)資源建設(shè)、平臺(tái)開發(fā)、教學(xué)模式與策略等角度對(duì)個(gè)體的學(xué)習(xí)過程進(jìn)行了充分的關(guān)注，較好地推進(jìn)了數(shù)字化資源、平臺(tái)開發(fā)與在線教學(xué)過程研究，但已有研究對(duì)學(xué)習(xí)者的在線學(xué)業(yè)情緒關(guān)注度嚴(yán)重不足。在線學(xué)業(yè)情緒是學(xué)習(xí)者個(gè)體在線學(xué)習(xí)過程中的主觀體驗(yàn)，其會(huì)影響學(xué)習(xí)者的在線學(xué)習(xí)投入、學(xué)業(yè)成就及學(xué)習(xí)滿意度。良好的在線學(xué)業(yè)情緒不僅有助于學(xué)生在線學(xué)習(xí)活動(dòng)的開展，培養(yǎng)主動(dòng)在線學(xué)習(xí)的態(tài)度，激發(fā)在線學(xué)習(xí)動(dòng)機(jī)，而且有助于建立良好的在線交互，促進(jìn)在線學(xué)習(xí)者身心健康發(fā)展，推進(jìn)“互聯(lián)網(wǎng)+教學(xué)”。未來，在線學(xué)業(yè)情緒研究將要關(guān)注以下三個(gè)方面：

首先，加強(qiáng)在線學(xué)業(yè)情緒的分類體系研究，奠定在線學(xué)業(yè)情緒測(cè)量的理論根基。與社交情緒相比，在線學(xué)業(yè)情緒具有其領(lǐng)域特異性，它更多與學(xué)習(xí)刺激關(guān)聯(lián)，包括數(shù)字化學(xué)習(xí)資源、學(xué)習(xí)平臺(tái)及中介學(xué)習(xí)平臺(tái)產(chǎn)生的學(xué)習(xí)交互等刺激因素，已有研究發(fā)現(xiàn)了數(shù)字化學(xué)習(xí)資源的畫面設(shè)計(jì)、在線學(xué)習(xí)交互、在線學(xué)習(xí)平臺(tái)均會(huì)引發(fā)學(xué)習(xí)者產(chǎn)生一定的在線學(xué)業(yè)情緒，但針對(duì)在線學(xué)業(yè)情緒的分類體系研究目前仍處于起步階段，簡(jiǎn)單引入“愉悅-喚醒”情緒分類體系模型不能很好地推進(jìn)情緒與在線學(xué)習(xí)的關(guān)聯(lián)研究，需要進(jìn)一步將這一分類體系與在線學(xué)習(xí)投入、產(chǎn)出及在線學(xué)習(xí)的不同情境具體關(guān)聯(lián)，深入剖析，建立有利于推動(dòng)在線學(xué)習(xí)研究的在線學(xué)業(yè)情緒分類體系，為在線學(xué)業(yè)情緒的自動(dòng)化識(shí)別奠定理論基礎(chǔ)。

其次，改善在線學(xué)業(yè)情緒測(cè)量的機(jī)器學(xué)習(xí)算法，提升在線學(xué)業(yè)情緒自動(dòng)化測(cè)量的準(zhǔn)確度。在線學(xué)業(yè)情緒的測(cè)量是了解在線學(xué)業(yè)情緒，進(jìn)而分析學(xué)業(yè)情緒對(duì)學(xué)生發(fā)展及在線學(xué)習(xí)發(fā)展的意義。目前，盡管在線學(xué)業(yè)情緒的測(cè)量方法多元化，突破了原有的主要依賴學(xué)習(xí)得個(gè)體或外在觀察者報(bào)告的方法，提升了測(cè)量的寬廣度。但是，由于相關(guān)數(shù)據(jù)集及采集終端設(shè)備的限制，在線學(xué)業(yè)情緒測(cè)量結(jié)果的信度和效度仍難以得到有效保障。未來需要綜合教育學(xué)、心理學(xué)、生理學(xué)、信息科技等多學(xué)科知識(shí)，運(yùn)用多種方法采集多模態(tài)情緒外顯行為大數(shù)據(jù)，推進(jìn)在線學(xué)業(yè)情緒測(cè)量數(shù)據(jù)集建設(shè)，融合情緒結(jié)構(gòu)理論、情感認(rèn)知理論、情感計(jì)算模型構(gòu)建情緒測(cè)量模型，改善情緒分類算法，提升在線學(xué)業(yè)情緒測(cè)量的自動(dòng)化測(cè)量信度、效度與效率，推進(jìn)在線學(xué)業(yè)情緒測(cè)量發(fā)展。

最后，深入剖析在線學(xué)業(yè)情緒對(duì)學(xué)生發(fā)展的影響路徑與機(jī)理研究，推進(jìn)在線學(xué)業(yè)情緒的評(píng)估與干預(yù)。已有研究認(rèn)識(shí)到了在線學(xué)業(yè)情緒會(huì)對(duì)學(xué)生的學(xué)習(xí)投入和學(xué)業(yè)成就的影響，也發(fā)現(xiàn)了其會(huì)對(duì)在線學(xué)習(xí)的滿意度產(chǎn)生影響，但對(duì)于在線學(xué)業(yè)情緒的影響路徑與影響機(jī)理分析甚少，尤其是某類具體的在線學(xué)業(yè)情緒對(duì)于學(xué)習(xí)投入、學(xué)業(yè)成就及學(xué)習(xí)滿意度的影響，以及其影響路徑及影響機(jī)理研究非常之單薄，這些研究的缺乏將導(dǎo)致未來在線學(xué)習(xí)中難以關(guān)注具體的學(xué)業(yè)情緒并對(duì)相應(yīng)情緒展開干預(yù)。未來，需要進(jìn)一步探究學(xué)習(xí)過程與情緒變化過程之間的關(guān)聯(lián)性，明晰在線學(xué)業(yè)情緒發(fā)生、發(fā)展及產(chǎn)生作用的機(jī)理及相關(guān)的調(diào)節(jié)因素，以明確何時(shí)如何有效干預(yù)學(xué)習(xí)者的在線學(xué)業(yè)情緒發(fā)展，突破學(xué)習(xí)者的在線學(xué)習(xí)的困難，實(shí)現(xiàn)“互聯(lián)網(wǎng)+教學(xué)”快速跨越式發(fā)展。