翟雪松 許家奇 王永固

（1. 浙江大學(xué)教育學(xué)院，杭州 310058；2. 浙江工業(yè)大學(xué)教育科學(xué)與技術(shù)學(xué)院，杭州 310023）

一、引言

現(xiàn)階段，實現(xiàn)規(guī)模化與個性化的有機(jī)結(jié)合，是落實《中國教育現(xiàn)代化2035》的主要任務(wù)。特別是在后疫情時代，在線課程成為規(guī)?；逃虒W(xué)的有效補(bǔ)充形式，然而在線課程尚未解決師生及生生間的“溫度”問題，即無法實時對學(xué)習(xí)者的情感進(jìn)行分析和精準(zhǔn)干預(yù)。這一困境致使學(xué)生的學(xué)習(xí)情感得不到及時有效地回應(yīng)，學(xué)習(xí)績效、學(xué)習(xí)感知和高階思維能力也難以提升(周進(jìn), 葉俊民, 李超, 2021)。如何在在線教育中實現(xiàn)有效個性化情感分析，成為亟待破解的難題。同時，教育部等六部門強(qiáng)調(diào)以人工智能支撐網(wǎng)絡(luò)學(xué)習(xí)空間和平臺建設(shè)，構(gòu)建高質(zhì)量教育體系(教育部等, 2021)。如何利用智能技術(shù)促進(jìn)在線課程教學(xué)是未來規(guī)?；逃闹匾魬?zhàn)。因此，探討優(yōu)化現(xiàn)有情感計算技術(shù)，進(jìn)行有效情感識別，適應(yīng)新需求下的在線教育具有重要理論價值和實踐意義。

先前的情感計算技術(shù)路徑主要有兩類：一是基于重量級生理反饋技術(shù)；二是單源的面部表情、聲紋等數(shù)據(jù)的測量。然而，這兩類情感計算路徑難以有效應(yīng)用于在線教育場景。一方面，重量級生理反饋技術(shù)主要是通過分析腦電、核磁共振等重資產(chǎn)生理傳感器，對多維生理參數(shù)進(jìn)行融合分析來判斷情感狀態(tài)(Zheng & Lu, 2015)；雖然重量級生理反饋技術(shù)能實現(xiàn)內(nèi)部神經(jīng)與外部行為信息相結(jié)合，提高情感識別的準(zhǔn)確率。然而，重量級生理反饋技術(shù)投入大、實驗環(huán)境復(fù)雜，與實際教學(xué)場景和學(xué)習(xí)環(huán)境相距較遠(yuǎn)，難以常態(tài)化及規(guī)模化的運用 (翟雪松等, 2020)。并且在大規(guī)模在線開放課程中采集到的生理數(shù)據(jù)有限，部分生理數(shù)據(jù)的采集需要與學(xué)習(xí)者接觸，具有侵入性和操作復(fù)雜性，易對學(xué)習(xí)者產(chǎn)生影響。另一方面，單源數(shù)據(jù)如面部表情的采集較為簡便，是情感表達(dá)最主要和直接的呈現(xiàn)方式，基于面部表情可以實現(xiàn)較為廣泛和準(zhǔn)確的情感識別(陳子健, 朱曉亮, 2019)。然而，單源數(shù)據(jù)的可解釋性較弱，如面部表情具有部分微表情的特征，動態(tài)性和偽裝性使其難以滿足實用性需求(殷明等, 2016)。在在線學(xué)習(xí)環(huán)境下，學(xué)習(xí)者往往處于一種無監(jiān)督、自由放松的狀態(tài)，表情特征不明顯且易受身體姿態(tài)的影響。單一數(shù)據(jù)源難以實現(xiàn)數(shù)據(jù)信息的交叉印證和相互補(bǔ)償，從而影響情感識別準(zhǔn)確度(武法提, 黃石華,2020)。結(jié)合情感計算研究優(yōu)勢與局限，本研究預(yù)構(gòu)建基于多源數(shù)據(jù)的人工智能分析路徑，以期符合大規(guī)模開放教育的情感計算應(yīng)用場景。

本研究首先綜述了在線學(xué)習(xí)情感特征、情感計算的方法及多源數(shù)據(jù)融合的應(yīng)用，借鑒現(xiàn)有情感計算的研究設(shè)計，構(gòu)建了面向在線教育的中學(xué)生面部表情和人臉姿態(tài)情感雙維數(shù)據(jù)集；其次，運用深度學(xué)習(xí)和數(shù)據(jù)融合的方法，構(gòu)建單源數(shù)據(jù)和多源數(shù)據(jù)融合的學(xué)習(xí)情感計算模型，進(jìn)而比較得出最優(yōu)模型；最后進(jìn)行在線情感計算的反思和挑戰(zhàn)論述，以期為在線教育學(xué)習(xí)者情感計算研究帶來新的視角和啟示。

二、研究現(xiàn)狀

情感計算的研究主要集中在數(shù)據(jù)采集、模型構(gòu)建、情感識別以及算法分析等方面。隨著人工智能、學(xué)習(xí)分析技術(shù)的興起和發(fā)展，教育領(lǐng)域的情感計算逐漸轉(zhuǎn)向數(shù)據(jù)多源化和分析智能化，利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等智能算法，從數(shù)據(jù)融合的角度分析學(xué)習(xí)情感成為當(dāng)前研究的前沿(劉智等, 2019; 唐漢衛(wèi), 張姜坤, 2020; 尚俊杰, 王鈺茹, 何奕霖, 2020)。

（一）情感計算在教育中的相關(guān)研究

情感計算涉及計算機(jī)科學(xué)、認(rèn)知科學(xué)和心理學(xué)等多個研究領(lǐng)域，通過計算機(jī)實現(xiàn)人類情感的識別、解釋、建模和分析（權(quán)學(xué)良等, 2021）。情感計算的概念最早由皮卡德教授在《Affective Computing》一書中提出，她認(rèn)為情感計算是由情感產(chǎn)生、與情感相關(guān)聯(lián)且能夠?qū)η楦挟a(chǎn)生影響的計算(Picard,2003)。我國學(xué)者羅森林和潘麗敏(2003)認(rèn)為情感計算是使計算機(jī)具有識別、理解、表達(dá)和適應(yīng)人類情感的能力，與情感、情感的產(chǎn)生、影響情感的方面緊密相關(guān)。

在教育研究中，情感計算的主要應(yīng)用為學(xué)習(xí)情感識別，即準(zhǔn)確判斷學(xué)習(xí)者的情緒，一般通過心理測量、生理測量與行為測量等方法開展(鐘薇等, 2018;葉俊民, 周進(jìn), 李超, 2020)。首先，心理測量是通過分析被試填寫的情感評定量表和與之相關(guān)的問卷，判斷其學(xué)習(xí)情感。如利用學(xué)習(xí)情感量表對學(xué)習(xí)者的課堂學(xué)習(xí)情感進(jìn)行測量(韓穎等, 2019)。其次，生理測量是通過傳感器獲取學(xué)習(xí)者的不同生理信號(腦電信號、體溫信號、心律信號等)進(jìn)行情感判別(王麗英, 何云帆, 田俊華, 2020)。喻一梵和喬曉艷(2017)采集被試的脈搏和心電數(shù)據(jù)，基于深度學(xué)習(xí)算法對被試的正負(fù)性情緒進(jìn)行識別研究。最后，行為測量是基于表情、姿態(tài)、語調(diào)等外在表現(xiàn)動作識別學(xué)習(xí)者的情感?；趯W(xué)習(xí)者面部表情數(shù)據(jù)，通過卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)模型，實現(xiàn)對學(xué)習(xí)過程中的常態(tài)、開心、憤怒、悲傷、驚恐、專注、厭倦等情感的有效識別(徐振國等, 2019)；基于人的面部表情和周圍環(huán)境信息，通過深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行有效情感識別(Lee, Kim, Kim, Park & Sohn, 2019)；利用多模式傳感器測量與情感相關(guān)的身體姿態(tài)從而分析姿態(tài)和情感狀態(tài)的關(guān)系(Dragon, Arroyo, Woolf, Burleson, Kaliouby & Eydgahi, 2008)；監(jiān)測學(xué)習(xí)者鍵盤和鼠標(biāo)的操作行為數(shù)據(jù)，對學(xué)習(xí)者在線情感狀態(tài)進(jìn)行感知(孟雄, 郭鵬飛, 黎知秋, 2015)。綜上，基于心理、生理、行為的測量方法均可以實現(xiàn)學(xué)習(xí)情感分析，通過輕量級人工智能技術(shù)對學(xué)習(xí)者外顯行為進(jìn)行分析是有效的情感計算方式。

（二）在線教育學(xué)習(xí)情感特征及其影響相關(guān)研究

學(xué)習(xí)情感是學(xué)習(xí)者在學(xué)習(xí)過程中產(chǎn)生的情感體驗，具體表現(xiàn)形式為學(xué)習(xí)情緒的表達(dá)，存在于大規(guī)模在線開放課程的各個階段，具有多樣性、復(fù)雜性、多變性的特征。一方面，學(xué)習(xí)情感以主體的需要、愿望等傾向為中介，具有多樣性的特征。董妍和俞國良(2007)指出在教學(xué)過程中, 學(xué)生的學(xué)習(xí)情感包括開心 、厭倦 、失望 、焦慮、氣憤等。德梅洛(D’Mello, 2013)對5個國家1 740名中學(xué)、大學(xué)和成人學(xué)生的14種離散情感狀態(tài)進(jìn)行精細(xì)監(jiān)測，發(fā)現(xiàn)學(xué)習(xí)過程中常出現(xiàn)的情感有困惑、投入、沮喪、厭倦、悲傷、焦慮、開心、恐懼等。另一方面，學(xué)習(xí)情感是一種復(fù)雜的情感體驗，受學(xué)習(xí)動機(jī)、學(xué)習(xí)期望、物理學(xué)習(xí)環(huán)境等因素的影響(郭龍健, 申繼亮, 姚海娟, 2012)。合理的期望和學(xué)習(xí)動機(jī)能夠促使學(xué)習(xí)者產(chǎn)生積極情感，使學(xué)習(xí)者主動地學(xué)習(xí)；相較于師生、生生間互動性更強(qiáng)的線下學(xué)習(xí)環(huán)境，在線學(xué)習(xí)環(huán)境下的情感變化較為穩(wěn)定，較少發(fā)生大幅度的學(xué)習(xí)情感變化(鐘志賢, 邱娟，2009；王云等，2020)。再者，學(xué)習(xí)情感在某一節(jié)點或?qū)W習(xí)階段會發(fā)生變化。如在線學(xué)習(xí)初始階段，學(xué)習(xí)情感多為積極情感，情感狀態(tài)較為穩(wěn)定，然而隨著在線學(xué)習(xí)時間的增長，學(xué)習(xí)者的消極情感也隨之增加(趙宏，張馨邈, 2019)。

學(xué)習(xí)情感是在線教育中影響學(xué)習(xí)認(rèn)知、學(xué)習(xí)成效和心理健康的重要因素(Artino & Jones, 2012)。首先，學(xué)習(xí)情感影響學(xué)習(xí)認(rèn)知。研究者在學(xué)習(xí)者在線參與學(xué)習(xí)任務(wù)的研究中發(fā)現(xiàn)學(xué)習(xí)情感影響學(xué)習(xí)者的學(xué)習(xí)認(rèn)知方式(Robinson & Kathy, 2013)。譚金波和王廣新(2017)在學(xué)習(xí)情感對網(wǎng)絡(luò)信息認(rèn)知搜索行為和搜索績效的影響研究中發(fā)現(xiàn)，積極情感能增強(qiáng)學(xué)習(xí)者的認(rèn)知搜索行為。其次，學(xué)習(xí)情感影響學(xué)習(xí)成效。積極的學(xué)習(xí)情感能夠提高學(xué)習(xí)者的學(xué)習(xí)情緒，降低學(xué)習(xí)者理解學(xué)習(xí)內(nèi)容的難度，提高學(xué)習(xí)效果(Um, Plass, Hayward, & Homer, 2012)。消極的學(xué)習(xí)情感對學(xué)習(xí)者知識能力的掌握及最終學(xué)業(yè)成就具有潛在負(fù)面影響(劉智等, 2018)。最后，學(xué)習(xí)情感影響學(xué)習(xí)者的心理健康。疫情期間的居家隔離使得學(xué)習(xí)者產(chǎn)生較大的心理壓力，長時間的在線學(xué)習(xí)使學(xué)習(xí)者在學(xué)習(xí)時空和媒體使用兩個層面產(chǎn)生情感問題，從而影響學(xué)習(xí)者的心理健康。在學(xué)習(xí)時空方面，在線學(xué)習(xí)的時空分離使學(xué)習(xí)者之間交流互動匱乏，容易產(chǎn)生厭煩、孤獨等負(fù)面情感，產(chǎn)生的負(fù)面情緒如果得不到有效的識別和干預(yù)，將影響學(xué)習(xí)者的身心健康(黃昌勤等, 2021; 蔡紅紅, 2021)。在媒體使用方面，學(xué)習(xí)者在線學(xué)習(xí)平臺和個人學(xué)習(xí)空間的來回切換容易導(dǎo)致焦慮和不適情感的產(chǎn)生(李文昊, 祝智庭, 2020)。綜上分析，學(xué)習(xí)情感對學(xué)習(xí)認(rèn)知、學(xué)習(xí)成效和心理健康的影響反映出在線學(xué)習(xí)情感計算的重要性，要針對特定的環(huán)境、個體特征和情感特征，采用合適的方法進(jìn)行有效的在線學(xué)習(xí)情感計算。

（三）多源數(shù)據(jù)融合在情感計算中的有效性研究

當(dāng)前，多源多模態(tài)的學(xué)習(xí)情感分析逐漸代替單一數(shù)據(jù)源的分析，數(shù)據(jù)融合成為學(xué)習(xí)情感計算的有效方法。數(shù)據(jù)融合最早被稱為信息融合技術(shù)，通過將多種信息進(jìn)行綜合、分析、處理，為模型決策提供更多信息，提高總體決策結(jié)果的準(zhǔn)確性(何俊等, 2020)。第一，數(shù)據(jù)融合的方法。何俊、劉躍和何忠文(2018)根據(jù)與模型的關(guān)系分為模型無關(guān)的方法和基于模型的方法兩大類。其中模型無關(guān)的方法包括早期融合(特征融合)、后期融合(決策融合)和混合融合三種；基于模型的方法包括多核學(xué)習(xí)方法、圖像模型方法、神經(jīng)網(wǎng)絡(luò)方法等。第二，多源數(shù)據(jù)的分類。多媒體數(shù)據(jù)分析涵蓋的多源數(shù)據(jù)類型包括文本、圖片、音頻和視頻等類型的數(shù)據(jù)。在線數(shù)據(jù)分析領(lǐng)域的多源數(shù)據(jù)包括服務(wù)數(shù)據(jù)、個人共享數(shù)據(jù)、行為數(shù)據(jù)等（梁韻基, 2016）。學(xué)習(xí)分析領(lǐng)域，多源數(shù)據(jù)包括生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)三類(吳永和, 李若晨, 王浩楠, 2017)。

隨著數(shù)據(jù)類型的不斷豐富及數(shù)據(jù)量的幾何式增長，多源數(shù)據(jù)融合應(yīng)用于情感計算的研究越來越豐富。一方面，同一層級內(nèi)的數(shù)據(jù)融合能夠有效識別情感，表現(xiàn)在：第一，生理數(shù)據(jù)的融合。通過呈現(xiàn)交互性和非交互性的刺激，收集被試的腦電和心電數(shù)據(jù)，基于決策融合和機(jī)器學(xué)習(xí)的方法(樸素貝葉斯、支持向量機(jī))對被試的情感進(jìn)行分類和識別（Bandara, Song, Hirshfield & Velipasalar, 2016）。第二，行為數(shù)據(jù)的融合。通過收集被試面部表情和語音信息數(shù)據(jù)，采用混合融合的方法識別網(wǎng)絡(luò)學(xué)習(xí)者的學(xué)習(xí)情感(Bahreini, Nadolski & Westera, 2016)；通過收集被試面部表情和上半身行為數(shù)據(jù)，基于特征融合方法和卷積神經(jīng)網(wǎng)絡(luò)模型，得到比單獨面部和上身行為更高的情感識別效果(Ilyas, Nunes, Nasrollahi, Rehm &Moeslund, 2021)。

另一方面，不同層級間的數(shù)據(jù)融合能夠有效識別情感，表現(xiàn)在：生理數(shù)據(jù)和行為數(shù)據(jù)的融合。有些計算機(jī)研究者提出了一種決策融合腦電圖數(shù)據(jù)和面部表情數(shù)據(jù)的方法來識別快樂、中性、悲傷和恐懼四種情感，該方法得到的識別準(zhǔn)確率高于單一面部表情或腦電圖的準(zhǔn)確率(Huang, Yang, Liao & Pan,2017)。行為數(shù)據(jù)和心理數(shù)據(jù)的融合。我國教育研究者融合在線學(xué)習(xí)者的面部表情、語音和文本數(shù)據(jù)，對在線學(xué)習(xí)過程的學(xué)習(xí)情感進(jìn)行識別(薛耀鋒等, 2018)。心理數(shù)據(jù)、生理數(shù)據(jù)和行為層數(shù)據(jù)的融合。教育研究者基于后期融合策略和卷積神經(jīng)網(wǎng)絡(luò)，將面部表情數(shù)據(jù)、腦電數(shù)據(jù)和文本信息數(shù)據(jù)進(jìn)行融合，實現(xiàn)學(xué)習(xí)參與度的有效識別(曹曉明等, 2019)。綜上分析，在線學(xué)習(xí)者生理、心理、行為數(shù)據(jù)的融合能夠?qū)崿F(xiàn)學(xué)習(xí)情感計算，基于深度學(xué)習(xí)的數(shù)據(jù)融合方法能夠有效提升學(xué)習(xí)情感計算的準(zhǔn)確度。

三、研究過程與方法

本研究的目的在于構(gòu)建面向在線教育的中學(xué)生多源學(xué)習(xí)情感數(shù)據(jù)集，比較基于單源數(shù)據(jù)和多源數(shù)據(jù)情感計算模型的情感識別效果，為學(xué)習(xí)情感計算的推廣、應(yīng)用與實踐提出建議。

（一）實驗組織

1. 實驗對象

本研究在杭州市某中學(xué)通過方便取樣法抽取高一年級的36名中學(xué)生，其中男生19名，女生17名。被試年齡范圍在14—16歲之間，均為自愿參加本次實驗，同意并知情實驗內(nèi)容。

2. 實驗工具

本研究的實驗工具如下：（1）基本信息問卷。包括實驗對象的姓名、性別、年齡和班級。（2）實驗過程學(xué)習(xí)情感問卷。該問卷的作用是及時記錄學(xué)習(xí)者觀看不同教學(xué)視頻時最直接的情感表現(xiàn)和狀態(tài)，為后續(xù)的學(xué)習(xí)情感標(biāo)注提供較為科學(xué)的參考依據(jù)。（3）攝像頭。該攝像頭為具有自動對焦功能的高清攝像頭。（4）在線課程資源。課程資源來自網(wǎng)絡(luò)中的在線視頻，包括《新聞聯(lián)播剪輯版》《一元二次不等式及其解法》《關(guān)于新冠肺炎的一切》《Using language》，四個視頻時長均在6—15分鐘，教學(xué)視頻內(nèi)容完整且趣味程度各不相同。（5）ELAN6.0標(biāo)注工具。該工具的作用是幫助被試標(biāo)記自己的學(xué)習(xí)情感。（6）學(xué)習(xí)情感標(biāo)注工具。該工具為基于PyQt5自主開發(fā)的一款簡易情感標(biāo)注軟件，包括文件導(dǎo)入、圖像基本信息、標(biāo)簽按鍵三個部分。

（二）數(shù)據(jù)收集

1. 數(shù)據(jù)采集和篩選

面部表情和人臉姿態(tài)數(shù)據(jù)收集主要包括數(shù)據(jù)采集、數(shù)據(jù)篩選、數(shù)據(jù)標(biāo)注和數(shù)據(jù)集劃分四個階段。第一，數(shù)據(jù)采集。數(shù)據(jù)采集包括被試觀看課程視頻、被試自評打標(biāo)簽、數(shù)據(jù)保存。第二，數(shù)據(jù)篩選。數(shù)據(jù)篩選是對視頻數(shù)據(jù)和圖片數(shù)據(jù)的篩選，包括人工篩選視頻數(shù)據(jù)、機(jī)器獲取人臉圖像數(shù)據(jù)、手動刪除不合格數(shù)據(jù)三部分。不合格圖像數(shù)據(jù)（圖1），包含圖像不完整、面部被遮擋、圖像不清晰。

圖1 不合格圖像

2. 數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注包括被試評價標(biāo)注和研究人員評價標(biāo)注兩部分。被試評價標(biāo)注是被試通過ELAN6.0對自己不同時間的情感狀態(tài)進(jìn)行評判并標(biāo)注對應(yīng)的情感標(biāo)簽，其目的是為研究人員的標(biāo)注提供參考依據(jù)。研究人員評價標(biāo)注是研究人員借助開發(fā)的學(xué)習(xí)情感數(shù)據(jù)標(biāo)注軟件，以面部活動單元(FACS)和表情運動特征作為情感特征參考(Cohn, Ambadar, & Ekmansen, 2007；程萌萌, 林茂松, 王中飛, 2013)，結(jié)合被試自己標(biāo)注的情感示例和實驗過程學(xué)習(xí)情感問卷，對收集到的圖像進(jìn)行標(biāo)注（表1）。本研究標(biāo)注的情感標(biāo)簽包括開心、困惑、平靜、厭倦四種，示例（圖2）。

圖2 學(xué)習(xí)情感示例（某個被試）

本研究的學(xué)習(xí)情感劃分為開心、困惑、平靜、厭倦四種類型，主要劃分依據(jù)有以下三點：首先，在一般意義上的情感計算中，情感類型較為豐富，本研究的情感計算環(huán)境為在線學(xué)習(xí)環(huán)境，學(xué)習(xí)形態(tài)是從教師到學(xué)生的單向傳播，學(xué)習(xí)者與知識的交互方式單一，學(xué)習(xí)者的情感波動較小，情感類型比較集中 (余勝泉, 王慧敏, 2020)；其次，D’Mello (2013) 通過對5個國家1 740名中學(xué)、大學(xué)和成人學(xué)生的14種離散情感狀態(tài)進(jìn)行精細(xì)監(jiān)測發(fā)現(xiàn)，學(xué)習(xí)者在學(xué)習(xí)過程中常出現(xiàn)的學(xué)習(xí)情感有困惑、厭倦、沮喪等；最后，本研究在分析采集視頻和圖像數(shù)據(jù)以及結(jié)合被試情感問卷發(fā)現(xiàn)，被試在觀看本研究提供的在線視頻后，表現(xiàn)出了平靜、困惑、厭倦、開心四種情感類型，好奇、悲傷等情感出現(xiàn)次數(shù)很少。因此，本研究最終聚焦開心、困惑、平靜、厭倦四種情感類型，并進(jìn)行情感的標(biāo)注和分析。

4. 數(shù)據(jù)集劃分

面部表情和人臉姿態(tài)數(shù)據(jù)集的總數(shù)據(jù)量各為3 939張。兩個數(shù)據(jù)集都包含訓(xùn)練集、驗證集和測試集。其中，訓(xùn)練集的圖像數(shù)量2 363張，約占總數(shù)據(jù)量的60%；驗證集的圖像數(shù)量為788張，約占總數(shù)據(jù)量的20%；測試集的圖像數(shù)量為788張，約占總數(shù)據(jù)量的20%。面部表情數(shù)據(jù)集局部如圖3所示，面部表情數(shù)據(jù)為體現(xiàn)學(xué)習(xí)者平靜、困惑、厭倦、開心的面部圖像，數(shù)據(jù)更聚焦面部的特征；人臉姿態(tài)數(shù)據(jù)集為體現(xiàn)平靜、困惑、厭倦、開心四種情感狀態(tài)時的人臉姿態(tài)特征圖像，包含臉部輪廓、眼睛、眉毛、嘴巴和鼻子人臉姿態(tài)特征點，聚焦這些特征點構(gòu)成的姿態(tài)特征。人臉姿態(tài)特征點生成過程如圖4所示。

圖3 面部表情數(shù)據(jù)集（局部）

圖4 人臉姿態(tài)特征點生成過程

（三）多模態(tài)數(shù)據(jù)融合模型設(shè)計

1. 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型選擇

本研究面部表情和人臉姿態(tài)的特征提取基于卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是由輸入層、卷積層、池化層、全連接層和輸出層構(gòu)成的。卷積神經(jīng)網(wǎng)絡(luò)常用于文本分類、二維圖像數(shù)據(jù)提取和預(yù)測，在大型圖像數(shù)據(jù)處理方面具有優(yōu)勢。本研究選取了VGG-16和ResNet-50卷積神經(jīng)網(wǎng)絡(luò)作為情感計算的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)并比較了其效果。VGG-16經(jīng)過2次卷積、5次池化和3次全連接操作，最后輸出預(yù)測的情緒類別，過程（圖5）。ResNet-50 經(jīng)過5個STAGE階段，共49次卷積、2次池化和1次全連接操作，輸出預(yù)測結(jié)果，過程（圖6）。

圖5 VGG-16模型處理數(shù)據(jù)的過程

圖6 ResNet-50模型處理數(shù)據(jù)的過程

2. 多源數(shù)據(jù)融合的方法

在數(shù)據(jù)融合過程中，不同融合方法對情感計算的結(jié)果會有不同影響。本研究采用基于權(quán)重規(guī)則的決策融合實現(xiàn)多源數(shù)據(jù)融合，通過將面部表情單源數(shù)據(jù)模型和人臉姿態(tài)單源數(shù)據(jù)模型的結(jié)果賦予不同權(quán)重，得到不同的融合結(jié)果。權(quán)重賦值需要考慮：（1）不同識別模型的能力不同，對最終結(jié)果的貢獻(xiàn)有差異；（2）不同模型中對不同情感的識別能力有差異。基于此，本研究采用模型整體輸出賦予不同權(quán)重和模型整體輸出中不同情感概率賦予不同權(quán)重兩種方式進(jìn)行權(quán)重賦值融合，具體內(nèi)容如下：

在我國，除了廣泛關(guān)注外，國家在政策上也給予了支持的態(tài)度。在開發(fā)上，除高校外，中小學(xué)、培訓(xùn)機(jī)構(gòu)、網(wǎng)絡(luò)運營商等都在致力于開發(fā)大量的網(wǎng)絡(luò)課程，內(nèi)容十分廣泛。在應(yīng)用上，除了學(xué)校教師、培訓(xùn)機(jī)構(gòu)等聘請教師授課外，還有大量的個人用戶也基于平臺進(jìn)行授課。由于網(wǎng)絡(luò)課程是為了滿足人們的需求，因此聽眾具有多樣性。

模型整體輸出賦予不同權(quán)重的計算公式為：

xm，xn分別表示面部表情和人臉姿態(tài)的權(quán)重。

模型整體輸出中不同情感概率賦予不同權(quán)重的計算公式為：

3. 多源數(shù)據(jù)融合模型總體架構(gòu)

多源數(shù)據(jù)融合的學(xué)習(xí)情感計算模型總體框架（圖7），包括采集模塊、識別模塊和融合模塊三個主要模塊。其中，采集模塊為采集中學(xué)生學(xué)習(xí)過程中的面部表情數(shù)據(jù)和人臉姿態(tài)數(shù)據(jù)；識別模塊為基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建面部表情學(xué)習(xí)情感計算模型和人臉姿態(tài)學(xué)習(xí)情感計算模型；融合模塊為基于決策融合策略的多源數(shù)據(jù)融合，通過權(quán)重規(guī)則的方法，將面部表情識別結(jié)果和人臉姿態(tài)識別結(jié)果進(jìn)行融合，得到最終的融合模型結(jié)果。

圖7 多源數(shù)據(jù)融合的學(xué)習(xí)情感計算模型總體框架結(jié)構(gòu)

四、結(jié)果分析

通過模型訓(xùn)練，提取面部表情和人臉姿態(tài)的特征，得到不同情感識別模型的結(jié)果。模型訓(xùn)練中設(shè)定的參數(shù)主要有優(yōu)化器(optimizer)、損失函數(shù)(loss)、批量大小(batch size)、遍歷次數(shù)(epoch)。

（一）卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)果比較

經(jīng)過訓(xùn)練，基于VGG-16和ResNet-50的面部表情識別模型和人臉姿態(tài)識別模型的損失函數(shù)都達(dá)到收斂，趨向于一個穩(wěn)定的值，兩個模型的結(jié)果（表2）。

表2 不同模型的識別結(jié)果

可以看出在相同的學(xué)習(xí)情感數(shù)據(jù)集和訓(xùn)練次數(shù)設(shè)定情況下，VGG-16的識別效果整體優(yōu)于ResNet-50的識別效果。此外，VGG-16卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)規(guī)整簡潔，能夠通過不斷加深網(wǎng)絡(luò)結(jié)構(gòu)來提升模型的性能，且沒有太多的超參數(shù)。已有研究利用VGG-16模型在學(xué)生課堂行為的識別和學(xué)生學(xué)習(xí)情緒識別中得到了較高的準(zhǔn)確率。因此，本研究最終選用VGG-16作為面部表情和人臉姿態(tài)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型。

（二）單源數(shù)據(jù)的情感識別結(jié)果

基于VGG-16的面部表情模型和人臉姿態(tài)模型在驗證集上對不同情感的識別準(zhǔn)確率情況，如表3所示。其中，面部表情模型對厭倦情感的識別效果最好，準(zhǔn)確率為77.83%?？赡艿脑蚴菂捑氲奶卣鞅憩F(xiàn)單元較多，多為眼皮閉合、嘴唇上抬或下拉，容易被正確識別。其次是開心，準(zhǔn)確率為77.39%。開心的表情特征為嘴角向上、眉毛彎曲、臉頰提升、露出牙齒等特征，比較容易被識別。平靜和困惑的識別準(zhǔn)確率相對較低，為73.89%和71.72%。人臉姿態(tài)模型厭倦的識別效果最好，準(zhǔn)確率為73.40%?？赡艿脑蚴菂捑氲娜四樚卣鞅憩F(xiàn)多為臉部傾斜、偏移等特征比較明顯。其次是開心，準(zhǔn)確率為73.04%。開心的人臉姿態(tài)特征多為下顎拉長、嘴部拉長等特征，容易被識別。平靜識別準(zhǔn)確率相對較低，為71.32%。困惑的識別準(zhǔn)確率最低，為57.07%，這可能與困惑的人臉姿態(tài)特征表現(xiàn)不明顯有關(guān)。

表3 不同學(xué)習(xí)情感的識別結(jié)果

（三）多源數(shù)據(jù)融合模型結(jié)果

1. 模型整體輸出賦予不同權(quán)重

多源數(shù)據(jù)融合模型的結(jié)果為基于權(quán)值規(guī)則的單源面部表情模型結(jié)果和人臉姿態(tài)模型結(jié)果的融合，其中模型整體輸出賦予不同權(quán)重結(jié)果（表4）。

表4 模型整體輸出賦予不同權(quán)重的準(zhǔn)確率情況

2. 模型整體輸出中不同情感概率賦予不同權(quán)重

（四）最優(yōu)模型選擇及情感識別結(jié)果

1. 單源數(shù)據(jù)模型和多源數(shù)據(jù)融合模型比較結(jié)果

本研究不同模型在測試集上的準(zhǔn)確率情況（表5），基于多源數(shù)據(jù)融合模型(模型整體輸出中不同情感概率賦予不同權(quán)重)準(zhǔn)確率最高，為77.79%；其次是多源數(shù)據(jù)融合模型(模型整體輸出)，為77.54%；再次是基于面部表情的識別模型，為74.87%；基于人臉姿態(tài)的模型識別準(zhǔn)確率最低，為68.53%?？梢?，多元數(shù)據(jù)融合模型（不同情感概率賦予不同權(quán)重）為最優(yōu)的情感識別模型。

表5 不同模型測試集的識別準(zhǔn)確率情況

2. 最優(yōu)模型情感識別結(jié)果

最優(yōu)情感識別模型對四類情感識別的準(zhǔn)確率情況（表6），其中厭倦情感的識別效果最好，為82.27%；其次是開心、平靜、困惑情感，依次為80.00%、78.31%、71.21%。

表6 最優(yōu)模型不同學(xué)習(xí)情感的識別結(jié)果

上述結(jié)果表明：（1）基于多源數(shù)據(jù)融合的學(xué)習(xí)情感識別模型比基于面部表情和人臉姿態(tài)的單源數(shù)據(jù)學(xué)習(xí)情感識別準(zhǔn)確率高、效果好；（2）多源數(shù)據(jù)融合模型中，模型整體輸出中不同情感概率賦予不同權(quán)重要比模型整體輸出賦予不同權(quán)重的準(zhǔn)確率要高；（3）多源數(shù)據(jù)融合模型對厭倦情感的識別效果最好，其次是開心情感、平靜情感、困惑情感。

五、反思挑戰(zhàn)

學(xué)習(xí)情感計算從小范圍的實驗室研究走向規(guī)?；⒊B(tài)化應(yīng)用才是情感計算落地的體現(xiàn)。本研究從情感計算的基礎(chǔ)環(huán)節(jié)、有效方法和最終目的三個方面進(jìn)行在線學(xué)習(xí)情感計算的反思，從學(xué)習(xí)者個體、數(shù)據(jù)融合和人工智能倫理三個方面論述在線情感計算面臨的挑戰(zhàn)。

（一）在線學(xué)習(xí)情感計算反思

多源數(shù)據(jù)集的構(gòu)建是在線學(xué)習(xí)情感計算的基礎(chǔ)環(huán)節(jié)。首先，情感表達(dá)的數(shù)據(jù)類型包括面部表情、語音、姿態(tài)、生理信號、文本信息，構(gòu)建多源數(shù)據(jù)集才能有效支撐在線情感計算研究。其次，隨著學(xué)習(xí)情感計算的應(yīng)用場景逐漸增多，解決的問題更加深入細(xì)化，現(xiàn)有支撐情感計算的數(shù)據(jù)集已經(jīng)不能滿足日益增長的教育場景需求和常態(tài)化的應(yīng)用，需要構(gòu)建符合特定教育場景需求的多源數(shù)據(jù)集以解決個性化的學(xué)習(xí)情感計算問題。最后，數(shù)據(jù)集的數(shù)據(jù)量越大，數(shù)據(jù)標(biāo)注越準(zhǔn)確，其在學(xué)習(xí)情感計算研究中的應(yīng)用效果就越好。大規(guī)模多源數(shù)據(jù)集將有效推動學(xué)習(xí)情感計算的規(guī)?；⒊B(tài)化應(yīng)用。本研究針對中學(xué)生在線課程學(xué)習(xí)，系統(tǒng)設(shè)計了中學(xué)生學(xué)習(xí)情感數(shù)據(jù)集的構(gòu)建方案，構(gòu)建了中學(xué)生在線課程學(xué)習(xí)面部表情數(shù)據(jù)集和人臉姿態(tài)數(shù)據(jù)集。通過模型實驗驗證了數(shù)據(jù)集的可用性，能夠作為中學(xué)生在線學(xué)習(xí)情感計算研究的多源數(shù)據(jù)集支撐。

基于深度學(xué)習(xí)的多源數(shù)據(jù)融合是在線學(xué)習(xí)情感計算的有效方法。首先，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)已經(jīng)實現(xiàn)了遠(yuǎn)超過傳統(tǒng)機(jī)器學(xué)習(xí)方法的精確度，利用深度學(xué)習(xí)進(jìn)行情感計算可以實現(xiàn)情感特征的自動提取，簡化數(shù)據(jù)的處理步驟，降低準(zhǔn)入門檻，提升算法的效率。同時，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的卷積神經(jīng)網(wǎng)絡(luò)在圖像數(shù)據(jù)提取、預(yù)測及大型圖像數(shù)據(jù)處理方面具有優(yōu)勢(王永固等，2021)。其次，多源數(shù)據(jù)融合能夠提升在線學(xué)習(xí)情感計算的準(zhǔn)確性。在線學(xué)習(xí)者會經(jīng)歷自學(xué)、問題提出、交流討論等多個環(huán)節(jié)，學(xué)習(xí)情感更加多樣、復(fù)雜，一種數(shù)據(jù)往往很難準(zhǔn)確反映學(xué)習(xí)者的情感狀態(tài)。數(shù)據(jù)融合能夠?qū)鞲衅魈峁┑亩嘣磾?shù)據(jù)進(jìn)行組合，提升獲取、分析信息的能力，得到更加準(zhǔn)確的識別和判斷結(jié)果，從而實現(xiàn)最終的信息優(yōu)化(張琪, 武法提, 許文靜, 2020)。本研究構(gòu)建的多源數(shù)據(jù)融合學(xué)習(xí)情感計算模型可以有效識別中學(xué)生的學(xué)習(xí)情感，識別的準(zhǔn)確率高于單源數(shù)據(jù)的學(xué)習(xí)情感識別模型。可見，基于深度學(xué)習(xí)的多源數(shù)據(jù)融合方法能有效提升學(xué)習(xí)情感計算模型的準(zhǔn)確度，推動了學(xué)習(xí)情感計算在教育教學(xué)的應(yīng)用和實踐。

學(xué)習(xí)情感計算的最終目的是應(yīng)用于教育教學(xué)的不同場景，從而提升教師教學(xué)質(zhì)量，促進(jìn)學(xué)生學(xué)習(xí)。在大規(guī)模在線教育中，學(xué)習(xí)情感計算將在個性化學(xué)習(xí)資源推薦、自適應(yīng)測驗、無差錯學(xué)習(xí)等教育場景應(yīng)用中發(fā)揮重要作用。首先，如何基于學(xué)習(xí)者個體特征，實現(xiàn)個性化學(xué)習(xí)資源推薦成為在線學(xué)習(xí)的難點問題。當(dāng)前，在線教育平臺匯集了大量學(xué)習(xí)資源，但是這些資源僅在靜態(tài)的存儲于平臺中，無法與學(xué)習(xí)者形成一種動態(tài)匹配關(guān)系，即實時根據(jù)學(xué)習(xí)者的在線學(xué)習(xí)狀態(tài)推薦合適的學(xué)習(xí)資源。通過學(xué)習(xí)情感計算，可根據(jù)學(xué)習(xí)者實時的情感狀態(tài)推薦匹配的個性化學(xué)習(xí)資源。如當(dāng)學(xué)生處于厭倦情感時，系統(tǒng)將為其提供有趣的教學(xué)活動；當(dāng)學(xué)生處于困惑情感時，可以為其推薦與所學(xué)內(nèi)容相關(guān)的文本資料、視頻等，幫助學(xué)生解決遇到的問題(江波等, 2018)。其次，自適應(yīng)測驗中，以項目反應(yīng)理論為基礎(chǔ)的自適應(yīng)測驗可以根據(jù)學(xué)習(xí)者的能力水平給以相應(yīng)難度測題，能夠較為真實的反映學(xué)習(xí)者的潛在能力。然而自適應(yīng)測驗仍存在以下問題：一是測量能力結(jié)構(gòu)簡單，缺乏好奇、問題解決、創(chuàng)造等能力的評估；二是測驗結(jié)果的可解釋性較低，仍以分?jǐn)?shù)為標(biāo)準(zhǔn)(鄭旭東, 高守林, 任友群, 2016)。因此，將學(xué)習(xí)情感計算應(yīng)用于自適應(yīng)測驗研究，一方面可以通過測量情感豐富測驗考察的能力結(jié)構(gòu)。另一方面可以從情感的角度解釋學(xué)習(xí)情感的測量結(jié)果，提高測量結(jié)果的科學(xué)性。最后，無差錯學(xué)習(xí)是指在學(xué)習(xí)過程中使用多樣、連續(xù)的學(xué)習(xí)線索或提示刺激學(xué)習(xí)者，從而消除錯誤的學(xué)習(xí)條件，獲得好的學(xué)習(xí)效果，常用于學(xué)習(xí)障礙人群的干預(yù)治療(Clare & Jones, 2008)。將學(xué)習(xí)情感計算應(yīng)用于無差錯學(xué)習(xí)可以持續(xù)關(guān)注學(xué)習(xí)障礙者的情感需求，通過在線索提示中增加情感補(bǔ)償，為學(xué)習(xí)者帶來較好的心流體驗，實現(xiàn)對學(xué)習(xí)障礙者的人文關(guān)懷，降低學(xué)習(xí)障礙者的輟學(xué)率。

（二）在線學(xué)習(xí)情感計算面臨的挑戰(zhàn)

面向教育現(xiàn)代化遠(yuǎn)景目標(biāo)，人工智能將隨時、隨地、隨需對學(xué)習(xí)者的成長產(chǎn)生影響，開啟教育領(lǐng)域個性化的新浪潮(伍紅林, 2019；伏彩瑞等, 2017)。在線情感計算作為人工智能教育研究領(lǐng)域的高地，在具備巨大研究價值和應(yīng)用前景的同時還要面臨學(xué)習(xí)者個體差異、數(shù)據(jù)融合以及倫理問題的挑戰(zhàn)。

從個體層面看，學(xué)習(xí)者的性格、認(rèn)知方式、學(xué)習(xí)策略、動機(jī)等在一定程度上會影響在線情感計算的效果。不同學(xué)習(xí)者的個體差異往往表現(xiàn)出不同的學(xué)習(xí)情感特征，這使得在線情感計算難以普遍適用于所有類型的學(xué)習(xí)者。因此要充分考慮學(xué)習(xí)者的個體差異，提供多樣化、個性化的在線情感服務(wù)，既適用普通學(xué)習(xí)者，又能滿足特殊學(xué)習(xí)者的需求；既保障在線教育，又能為其他類型的教育提供支撐。同時，構(gòu)建基于學(xué)習(xí)者個體差異的情感評價體系，以學(xué)習(xí)者為中心，多方面多角度考慮不同因素對學(xué)習(xí)情感帶來的影響，實現(xiàn)過程性、動態(tài)性和差異性的學(xué)習(xí)情感評價。

情感計算本身是一個多源數(shù)據(jù)問題，基于何種數(shù)據(jù)，使用什么融合方法關(guān)乎情感計算的準(zhǔn)確性(牟智佳, 符雅茹, 2021)。當(dāng)前，現(xiàn)有的數(shù)據(jù)類型和數(shù)據(jù)融合方法已經(jīng)不能滿足大規(guī)模在線情感計算的需求，從數(shù)據(jù)的類型和融合方法層面進(jìn)行創(chuàng)新，從而提升情感計算的準(zhǔn)確度將是在線情感計算的重要挑戰(zhàn)。一方面，探究表征學(xué)生行為、生理、心理等的數(shù)據(jù)，如聲紋數(shù)據(jù)、眼動數(shù)據(jù)、交互數(shù)據(jù)等，從多源異構(gòu)的底層數(shù)據(jù)中發(fā)現(xiàn)學(xué)習(xí)者的在線情感特征(吳永和等, 2021)。另一方面，嘗試多種數(shù)據(jù)融合方法，從特征融合、決策融合、模型融合、混合融合等多視角探索適用于在線學(xué)習(xí)情感計算的數(shù)據(jù)融合方法。

在線學(xué)習(xí)場景下的情感計算需要建立在人工智能倫理框架體系內(nèi)。在線情感計算獲取學(xué)習(xí)者的表情、行為、語音等多源數(shù)據(jù)，雖然在一定程度上提升了教學(xué)和管理，但其背后產(chǎn)生的個人數(shù)據(jù)隱私、信息泄露等問題不可忽視(李青, 李瑩瑩, 2018)。目前，算法和大數(shù)據(jù)已經(jīng)出現(xiàn)了，如信息自由、傳播權(quán)、信息隱私權(quán)、信息觸達(dá)、數(shù)字身份及其保護(hù)等諸多問題，這些問題的進(jìn)一步傳導(dǎo)會帶來身份認(rèn)同、倫理邊界、信息安全、歧視偏見等爭議(趙瑜, 2019)。因此，在人工智能倫理層面，一是要關(guān)注在線教育中數(shù)據(jù)的采集和使用安全問題。包括學(xué)生個人信息數(shù)據(jù)，視頻、音頻等數(shù)據(jù)的采集和使用，明確數(shù)據(jù)的收集、存儲和使用規(guī)則。二是要重視數(shù)據(jù)分析算法安全。確保學(xué)生學(xué)習(xí)底層數(shù)據(jù)和個人數(shù)據(jù)的上傳算法安全以及數(shù)據(jù)分析算法的安全。